JP2004101354A - 生化学的検査用画像処理方法 - Google Patents

生化学的検査用画像処理方法 Download PDF

Info

Publication number
JP2004101354A
JP2004101354A JP2002263034A JP2002263034A JP2004101354A JP 2004101354 A JP2004101354 A JP 2004101354A JP 2002263034 A JP2002263034 A JP 2002263034A JP 2002263034 A JP2002263034 A JP 2002263034A JP 2004101354 A JP2004101354 A JP 2004101354A
Authority
JP
Japan
Prior art keywords
image
biochemical
processing method
image processing
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002263034A
Other languages
English (en)
Other versions
JP3908135B2 (ja
Inventor
Kaneyasu Ookawa
大川 金保
Takatomo Sato
佐藤 卓朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002263034A priority Critical patent/JP3908135B2/ja
Priority to AU2003261818A priority patent/AU2003261818A1/en
Priority to EP03794132A priority patent/EP1548423A1/en
Priority to PCT/JP2003/011019 priority patent/WO2004023117A1/ja
Publication of JP2004101354A publication Critical patent/JP2004101354A/ja
Priority to US11/076,333 priority patent/US20050153356A1/en
Application granted granted Critical
Publication of JP3908135B2 publication Critical patent/JP3908135B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6452Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy

Landscapes

  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By The Use Of Chemical Reactions (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】サンプル画像に含まれる微細パターンの発光輝度を示すシグナルを、簡易な処理で正確かつ迅速に検出できる生化学的検査用画像処理方法を提供できる。
【解決手段】生化学検査用アレイ(1)に励起照明を与えて光画像をサンプル画像として撮り込み、各プローブアレイ要素から発生した蛍光を示す微細パターンの画像を該サンプル画像から除いた背景画像を、レファレンス画像として抽出し、該レファレンス画像で前記サンプル画像を補正する。
【選択図】  図1

Description

【0001】
【発明の属する技術分野】
本発明は、生化学的反応の状態を検査する生化学的検査用の画像処理方法に関する。
【0002】
【従来の技術】
最近、「ハイブリダイゼーションによる配列決定」(SBH)のために、アレイドハイブリダイゼーション(arrayed hybridization)反応の幾つかの方法が開発されている。これには、例えば膜上に格子状配列された異なるオリゴヌクレオチドプローブとDNA試料のアレイとの段階的なハイブリダイゼーションの方法を用いたSBHがある。
【0003】
また、従来「ジェノセンサー(genosensor)」なる語は、その中で二次元アレイの表面に標的核酸配列と相補配列の認識素子としてのオリゴヌクレオチドを結合する方式を称してきた。さらに、ジェノセンサーの概念には、ハイブリダイゼーションを迅速に検出することができ、各試験部位に微細電子部品が存在する微細加工装置が含まれる。
【0004】
このような二次元アレイに対して、近年以下のような新規なフロースルージェノセンサーが提供されている。そこでは、固形支持材料のウェハーにわたり斑点状に配され密充填された孔またはチャンネル内に、核酸認識素子が固定化されている。支持ウェハーとして有用なマイクロチャンネルまたはナノチャンネルのガラス及び多孔性シリコンの製造には、公知の微細加工技術を利用できる。このフロースルージェノセンサーは、微細加工された光学及び電子工学検出部品、フィルム、荷電結合素子アレイ、カメラシステム及びりん光貯蔵技術を包含する種々の公知の検出方法を利用している。このフロースルー装置については、公知の平面表面設計に比して以下の利点が得られる。
【0005】
(1)表面積が膨大に増大したことにより、検出感度が改善される。
【0006】
(2)ハイブリダイゼーション反応に要する時間が短縮し(平均標的分子が表面に結合したプローブに出くわすのに要する時間が、数時間から数ミリ秒に短縮され)、ハイブリダイゼーションがスピード化され、順反応及び逆反応の両方において誤対合識別ができる。
【0007】
(3)多孔性ウェハーを通して溶液を徐々に流動できるため、希薄な核酸溶液を分析することができる。
【0008】
(4)大気に曝される平面表面上のプローブ溶液の小液滴が迅速に乾燥するのを避けられることにより、各分離領域内の表面に対するプローブ分子の化学結合が促進する。
【0009】
以上の利点を有するこのフロースルー装置を、以後三次元アレイと称する。このような三次元アレイに関する従来技術として、特表平9−504864号公報を引用し、図12を用いてその構成及び作用を簡単に説明する。
【0010】
図12は、三次元アレイをなすテーパ付き試料ウェルアレイを示す図である。図12において、多孔性のガラスウェハー101には、複数のテーパ孔102が配設されており、これら各孔102にテーパ付きウェル103が埋設されている。テーパ付きウェル103は、そこに固定した生体分子の結合領域を構成する0.1−10μm直径のチャンネル104を底部に含む。各チャンネル104は図示のように多くの微小の貫通孔105を有している。このウェルアレイを用い、以下のステップで検出を行なう。
【0011】
(1)3−グリシドキシプロピル−トリメトキシシラン4ml、キシレン12ml、N,N−ジイソプロピルエチルアミン(フーニッヒ(Hunig)塩基)0.5mlの溶液をウェハーの孔に流入させ、次いで、そのウェハーを80℃の該溶液に5時間浸漬し、次いで、テトラヒドロフランでフラッシュし、80℃にて乾燥することにより、ウェハーをエポキシシラン−誘導体化ガラスとする。
【0012】
(2)5′−または3′−アルキルアミン(化学合成の間に導入した)を有する複数のオリゴヌクレオチドプローブを、水に10μM−50μMにて溶解し、それぞれ多孔性のガラスウェハー101(シリカウェハー)に微量分注する。65℃にて一晩反応させた後、その表面を65℃の水、次いで10mMトリエチルアミンで簡単に流し、表面上の未反応エポキシ基を取り除く。次いで、65℃の水で再度流し、風乾することにより、アミン−誘導化オリゴヌクレオチドをエポキシシラン−誘導体化ガラスに結合させる。
【0013】
(3)増幅の間に産物に[32P]ヌクレオチドを取り込ませるポリメラーゼ連鎖反応によるか、またはガンマ−32P[ATP]+ポリヌクレオチド・キナーゼを用いて増幅産物を5′−標識することによって、標的DNA(分析物)を調製する。取り込まれなかった標識は、セントリコン(Centricon)濾過によって除去する。好ましくは、1のPCR断片を5′−ビオチン標識すれば、ストレプトアビジン・アフィニティークロマトグラフィーによる一本鎖の調製ができる。少なくとも5nM(5fmol/μl)の濃度であって、少なくとも5,000cpm/fmolの特異活性のハイブリダイゼーション緩衝液(50mMトリス−HCl、pH8、2mMEDTA、3.3M塩化テトラメチルアンモニウム)中に標的DNAを溶解する。数百塩基長のPCR断片が、少なくともオクタマー長の表面につなぎ留めたオリゴヌクレオチドとのハイブリダイゼーションに適している。
【0014】
(4)標的DNA試料をチップの多孔性領域に流し込み、6℃にて5〜15分間インキュベートし、ハイブリダイゼーションを行なう。次いで、18℃にて同様の時間、多孔性チップを通してハイブリダイゼーション溶液を流動させることによって洗浄する。別法として、塩化テトラメチルアンモニウムの代わりに、1MKCLもしくはNaClまたは5.2Mベタインを含有する緩衝液でハイブリダイゼーションを行なうこともできる。
【0015】
(5)CCDジェノセンサー装置を用いてハイブリダイゼーション強度の検出及び定量を行なう。CCDジェノセンサー装置は、高解像度及び高感度のものを用い、化学ルミネセント、蛍光または放射能標識用として用意される。
【0016】
【発明が解決しようとする課題】
従来では、図12に示した三次元アレイを用いて生化学検査を行なう場合、まず生化学検査用アレイを製作する。そして、顕微鏡観察下に配置された標準反射板に励起照明を与えて、レファレンス画像をCCDカメラで撮り込む。次に前記反射板を排出し、これと同じ位置に生化学検査用アレイを配置し、蛍光分子で標識された被検サンプルの溶液を供給し、各プローブとサンプル溶液中の物質とで結合反応を生じさせる。続いて生化学検査用アレイに励起照明を与えて、蛍光画像をCCDカメラで撮り込みサンプル画像とする。このサンプル画像をレファレンス画像で補正することにより、多数のプローブアレイ要素3すなわち微細パターンから発生した蛍光を検出している。
【0017】
しかし従来では、標準反射板を配置してレファレンス画像を得るため、専用の手段が必要となり装置が大型化するとともに、サンプル画像を補正するまでの処理時間が長くなる。また、レファレンス画像を取得する際に、標準反射板上のゴミ等によりノイズが混入することもあり、蛍光輝度を示すシグナルの検出精度に影響を及ぼす。また、標準反射板の保守等も煩雑であるという問題がある。
【0018】
本発明の目的は、サンプル画像に含まれる微細パターンの発光輝度を示すシグナルを、簡易な処理で正確かつ迅速に検出できる生化学的検査用画像処理方法を提供することにある。
【0019】
【課題を解決するための手段】
上記課題を解決し目的を達成するために、本発明の生化学的検査用画像処理方法は以下の如く構成されている。
【0020】
(1)本発明の生化学的検査用画像処理方法は、生化学的物質の溶液を、表面に該生化学的物質に特異的に反応する生化学的物質が各々保持されている生化学検査用アレイに供給し、発光性分子による標識を用いて前記生化学検査用アレイの各プローブアレイ要素ごとに前記発光性分子の発光強度をアレイ型検出器で検出することにより、前記生化学的物質と該生化学的物質に特異的に反応する生化学的物質との反応状態を前記各プローブアレイ要素ごとに検査する生化学的検査用の画像処理方法であり、前記生化学検査用アレイの画像をサンプル画像として撮り込み、前記各プローブアレイ要素から発生した光の強度を示す微細パターンの画像を該サンプル画像から除いた背景画像を、レファレンス画像として抽出し、該レファレンス画像で前記サンプル画像を補正する。
【0021】
(2)本発明の生化学的検査用画像処理方法は上記(1)に記載の方法であり、かつ前記微細パターンの画像に対して収縮処理を施した後に膨張処理を施すことにより前記レファレンス画像を抽出する。
【0022】
(3)本発明の生化学的検査用画像処理方法は上記(2)に記載の方法であり、かつ前記収縮処理及び前記膨張処理は、所定形状のカーネルを用い、前記微細パターンを消滅させるのに必要な回数分実行する。
【0023】
(4)本発明の生化学的検査用画像処理方法は上記(3)に記載の方法であり、かつ前記収縮処理及び前記膨張処理は、3×3画素の十字形カーネルを用い、前記微細パターンの外接円の最大半径以上に相当する画素数を処理回数とする。
【0024】
(5)本発明の生化学的検査用画像処理方法は上記(3)に記載の方法であり、かつ前記収縮処理及び前記膨張処理は、「前記微細パターンの外接円の最大直径以上に相当する画素数」×「前記外接円の最大直径以上に相当する画素数」画素の円形カーネルを用い、処理回数を1とする。
【0025】
(6)本発明の生化学的検査用画像処理方法は上記(1)乃至(5)のいずれかに記載の方法であり、かつ前記サンプル画像の各画素の輝度値を、対応する前記レファレンス画像の各画素の輝度値で除算することにより、前記サンプル画像を補正する。
【0026】
(7)本発明の生化学的検査用画像処理方法は上記(1)乃至(5)のいずれかに記載の方法であり、かつ前記サンプル画像の各画素の輝度値から、対応する前記レファレンス画像の各画素の輝度値を減算することにより、前記サンプル画像を補正する。
【0027】
(8)本発明の生化学的検査用画像処理方法は上記(1)乃至(5)のいずれかに記載の方法であり、かつ前記レファレンス画像の各画素について、(レファレンス画像の最大輝度値/該画素の輝度値)を算出し、その値を対応する前記サンプル画像の各画素の輝度値に乗じて、前記サンプル画像を補正する。
【0028】
(9)本発明の生化学的検査用画像処理方法は上記(1)乃至(8)のいずれかに記載の方法であり、かつ前記レファレンス画像に平滑化処理を施し、前記サンプル画像を補正する。
【0029】
(10)本発明の生化学的検査用画像処理方法は上記(1)乃至(9)のいずれかに記載の方法であり、かつ前記微細パターンの画像は、蛍光標識された多数の微小スポットを有する前記生化学検査用アレイを励起光で照明して得られる蛍光画像であり、前記サンプル画像を補正することにより前記各微小スポットの蛍光輝度を示す信号を検出する。
【0030】
上記手段を講じた結果、それぞれ以下のような作用を奏する。
【0031】
(1)本発明の生化学的検査用画像処理方法によれば、サンプル画像に含まれる微細パターンの発光輝度を示すシグナルを正確に検出することができる。
【0032】
(2)本発明の生化学的検査用画像処理方法によれば、微細パターンのシグナルが消滅し背景のシグナルのみが表われたレファレンス画像を正確に抽出することができる。
【0033】
(3)本発明の生化学的検査用画像処理方法によれば、微細パターンのシグナルを確実に消滅させることができる。
【0034】
(4)本発明の生化学的検査用画像処理方法によれば、短時間の処理で微細パターンのシグナルを確実に消滅させることができる。
【0035】
(5)本発明の生化学的検査用画像処理方法によれば、短時間の処理で微細パターンのシグナルを確実に消滅させることができる。
【0036】
(6)本発明の生化学的検査用画像処理方法によれば、レファレンス画像による簡易な処理でサンプル画像に対して照明むらを補正することができる。
【0037】
(7)本発明の生化学的検査用画像処理方法によれば、レファレンス画像による簡易な処理で背景画像からノイズを除去することができる。
【0038】
(8)本発明の生化学的検査用画像処理方法によれば、レファレンス画像による簡易な処理でサンプル画像を補正することができる。
【0039】
(9)本発明の生化学的検査用画像処理方法によれば、微細パターンのシグナルをより正確に検出できる。
【0040】
(10)本発明の生化学的検査用画像処理方法によれば、生化学検査用アレイ上の微小スポット内のプローブとサンプル溶液に含まれる生化学的物質との間に生じる特異的な結合反応を、各微小スポットごとに正確に検査することができる。
【0041】
【発明の実施の形態】
図1は、本発明の実施の形態に係る生化学的検査用画像処理方法を実施する顕微鏡装置の構成を示す図である。図1において、励起光源11には、水銀光源等が用いられる。この光源11から出射される励起光の光路上には、シャッター12、レンズ13、励起フィルタ14、およびダイクロイックミラー15が配置され、このダイクロイックミラー15の反射光路上には、対物レンズ16および後述する生化学検査用アレイ1が配置されている。また、ダイクロイックミラー15の透過光路上には、蛍光フィルタ17、結像レンズ18、およびCCDカメラ19が配置されている。CCDカメラ19には画像処理部20が接続され、画像処理部20には表示部21が接続されている。
【0042】
図2は、本実施の形態で使用する生化学検査用アレイの概略構成を示す図であり、(a)は上面のフォーマットを示す図、(b)は一部側面図である。生化学検査用アレイ1は、図12に示した三次元アレイからなる。図2の(a)に示すように、生化学検査用アレイ1にはプローブアレイ要素3(微小スポット)が二次元に配列されている。これらプローブアレイ要素3は、図12に示したようにテーパ付きウェル103からなり、底部に0.1−10μm直径のチャンネル104を有し、さらに各チャンネル104は図2の(b)に示すように多くの微小な貫通孔105を有している。各貫通孔105の壁面には、プローブ31が結合している。
【0043】
すなわち生化学検査用アレイ1では、プローブの結合反応を確実にするために、望ましくは多孔性ガラスウェハー101の表面の異なるテーパ付きウェル103にそれぞれプローブの溶液が供給され、該溶液中に含まれるプローブを多孔性ガラスウェハー101の内部に設けられた各チャンネル104の各貫通孔105で保持するのが良いが、多孔性ガラスウェハー101を設けずに、直接各貫通孔105にプローブの溶液を微量分注して保持しても良い。この貫通孔105を含む部材が、多孔質または繊維質の物質あるいは成形物から成る立体構造の反応担体として構成される。
【0044】
以下、本実施の形態における生化学検査の概略を説明する。
【0045】
まず検査者は、顕微鏡観察下に生化学検査用アレイ1を配置する。この生化学検査用アレイ1には、あらかじめプローブアレイ要素ごとに異なるプローブをプローブアレイ要素3に固相化してある。
【0046】
次に検査者は、該生化学検査用アレイ1に蛍光分子で標識された被検サンプルの溶液を供給し、各プローブとサンプル溶液中の物質とで結合反応を生じさせた後、未結合の前記物質をプローブアレイ要素3から除去する。
【0047】
次に、該生化学検査用アレイ1(基板)に励起照明を与えて、サンプル画像をCCDカメラ19で撮り込む。このサンプル画像は、標識に使用する蛍光物質の種類数だけ撮り込まれる。このサンプル画像は、励起強度に比例するバックグラウンド(背景)を示す画像上に、同じく励起強度に比例する多数のプローブアレイ要素3から発生した蛍光の微細パターンが散在し、さらに励起強度と無関係なノイズが加わった画像となる。なお、蛍光物質の劣化を防止するために、撮り込まれた後直ちにシャッター12などで励起照明を遮断するのが好ましい。
【0048】
次に、画像処理部20は、サンプル画像から微細パターンを除いたバックグラウンド画像を抽出し、それぞれレファレンス画像とする。そして画像処理部20は、各レファレンス画像で対応する各サンプル画像を補正する。これにより、サンプル画像に含まれる微細パターンのシグナルが正確に検出される。
【0049】
図3は、本実施の形態による検査手順を示すフローチャートである。以下、図3に従って検査方法およびその作用を説明する。
【0050】
(1)ステップS1:まず検査者は、FITCなどの蛍光分子で標識された生化学的物質の溶液を作成する。
【0051】
(2)ステップS2:検査者は、生化学検査用アレイ1に生化学的物質の溶液を供給し、各プローブと特異的に反応させる。この場合検査者は、図1に示した蛍光顕微鏡の観察下で、試料面に図2の(a)に示す生化学検査用アレイ1を配置し、その表面に一様に生化学的物質の溶液を供給する。これにより、生化学検査用アレイ1上のプローブアレイ要素3内のプローブと溶液に含まれる生化学的物質との間に特異的な結合反応が生じる。この結果、各プローブアレイ要素3内で反応の強さに応じた数量の蛍光分子が間接的にプローブに結合することになる。
【0052】
(3)ステップS3:検査者は、生化学検査用アレイ1から未反応の生化学的物質を除去する。この場合検査者は、前述した結合反応後に、生化学検査用アレイ1の各プローブアレイ要素3から未結合の生化学的物質を除去する。一般的には洗浄液を用いて洗浄する方法が採用されるが、反応担体が立体構造である場合には洗浄液を用いずにポンプなどで溶液ごと除去しても良い。但し、洗浄液を用いる方が確実に除去されることは言うまでもない。
【0053】
(4)ステップS4:検査者は、生化学検査用アレイ1の画像をサンプル画像としてCCDカメラ19で撮り込む。この場合、生化学検査用アレイ1を励起光源11で励起照明して、蛍光画像を撮り込む。
【0054】
励起光源11からの励起光は、レンズ13、励起フィルタ14を介してダイクロイックミラー15で反射され、対物レンズ16を介して生化学検査用アレイ1の上面全体に照射される。生化学検査用アレイ1のプローブアレイ要素3内のサンプル物質に結合している蛍光分子から発生した蛍光と共に、バックグラウンドを形成する生化学検査用アレイ1における反射光、生化学検査用アレイ1の自家蛍光、外部から混入する迷光などが、対物レンズ16、ダイクロイックミラー15、バンドパスフィルタ17および結像レンズ18を介して、CCDカメラ19に入射し、サンプル画像が撮り込まれる。CCDカメラ19で撮り込んだサンプル画像は、画像処理部20へ送られる。
【0055】
なお、本実施の形態では受光素子としてCCDを用いているが、CCDに特定するものではなく、他のエリアセンサを用いても良い。従って、以下に記述される「CCD」は「エリアセンサ」でも通用するものである。
【0056】
図4は、サンプル画像の例を等輝度線を用いて示した図である。図4において41は二次元的に配列された微細パターンの等輝度線、42はバックグラウンドの等輝度線であり、該バックグラウンドの等輝度線42付近の数字は該バックグラウンドの等輝度線の輝度を示す。
【0057】
図5は、サンプル画像の輝度分布を示す図であり、横軸は画素(ピクセル)番地、縦軸は輝度(階調)を示し、図4に示すサンプル画像上の所定の画素行Lの輝度分布を表わしている。今、バックグラウンドが一様な輝度値500を有し、微細パターンを示すシグナルの輝度が全て500である時に、形成されるサンプル画像は、一様なバックグラウンドの輝度値500からのシグナルの突出量は全て500となる。しかし、中央画素付近で最大輝度値500であるような、むらのある励起照明でバックグラウンドが形成される場合のサンプル画像は、図5に示すように、励起照明むらを含むバックグラウンドを示すシグナル(信号)52上に該バックグラウンドの輝度分布に比例するシグナル51が突出した分布となる。
【0058】
(5)ステップS5:画像処理部20は、各サンプル画像に対して収縮処理を行なう。このとき、例えば図6の(a)に示す3×3画素からなる十字形カーネルを適用する。画像処理部20は、サンプル画像の各画素に、図6の(a)に示す十字形カーネルの中心画素61を当てはめ、この中心画素61の輝度を斜線部で示す5画素(中心画素61自身とその上下左右の4画素)の最小輝度に置き換える処理、すなわち収縮処理を行なう。
【0059】
この収縮処理をサンプル画像の全画素に対して1回行なうと、周囲の1画素分だけ収縮する。この収縮処理を、微細パターン41の外接円の最大半径に相当する画素数(例えば13画素)以上の回数分実行すると、サンプル画像は、全微細パターンが消滅しバックグラウンドのみに変調された画像となる。
【0060】
なお、この収縮処理は、3×3画素からなる十字形カーネル以外に円形カーネルも適用できる。例えば、図6の(b)に示す5×5画素からなる円形カーネルを用いることもできる。
【0061】
(6)ステップS6:画像処理部20は、ステップS5で収縮処理された各サンプル画像に対して膨張処理を行なう。このときも、例えば図6の(a)に示す3×3画素からなる十字形カーネルを適用する。画像処理部20は、収縮処理されたサンプル画像の各画素に、図6の(a)に示す十字形カーネルの中心画素61を当てはめ、この中心画素61の輝度を斜線部で示す5画素の最大輝度に置き換える処理、すなわち膨張処理を行なう。
【0062】
この膨張処理を収縮処理されたサンプル画像の全画素に対して1回行なうと、周囲の1画素分だけ膨張する。この膨張処理を、微細パターン41の外接円の最大半径に相当する画素数(例えば13画素)以上の回数分実行すると、サンプル画像は、変調されたバックグラウンド画像が、シグナルの全微細パターンが消滅した状態で、復調した画像となる。この画像をレファレンス画像とする。また、この膨張処理は、3×3画素からなる十字形カーネル以外に円形カーネルも適用できる。例えば、図6の(b)に示す5×5画素からなる円形カーネルを用いることもできる。
【0063】
図7は、ステップS5およびステップS6により得られたレファレンス画像の等輝度線図であり、等輝度線付近の数字は各等輝度線の輝度を示す。図7では、図4に示したサンプル画像から微細パターン41が消滅し、バックグラウンド421のみが表わされている。
【0064】
図8は、レファレンス画像の輝度分布を示す図であり、横軸は画素(ピクセル)番地、縦軸は輝度(階調)を示している。図8は、サンプル画像に対して収縮処理と膨張処理を実行した後の輝度分布を表わしている。図8では、図5にてバックグラウンドを示すシグナル52上に突出していた微細パターンを示す七つのシグナル51が消滅し、バックグラウンドを示すシグナル521のみが表われている。
【0065】
(7)ステップS7:画像処理部20は、図8に示したレファレンス画像の輝度分布から最大輝度を検出する。そして画像処理部20は、レファレンス画像の各画素に対して(レファレンス画像の最大輝度/画素の輝度)を算出し、サンプル画像に乗じて補正サンプル画像を得る。
【0066】
言い換えれば、画像処理部20により、サンプル画像をレファレンス画像で除算し、これに一定値であるレファレンス画像の最大輝度を乗じて補正サンプル画像を得る。ここで、一定値であるレファレンス画像の最大輝度は輝度レベルを補正前のサンプル画像に合わせるためのものであり、レファレンス画像の最大輝度に限定しなくても、後述の効果を損なうものではない。すなわち、レファレンス画像の最大輝度の代わりに1を採用しても良く、この場合、画像処理部20は、サンプル画像の各画素の輝度値を、対応する前記レファレンス画像の各画素の輝度値で除算することにより、補正サンプル画像を得る。
【0067】
図9は、サンプル画像に「レファレンス画像の最大輝度/画素の輝度」を乗じることにより得られた補正サンプル画像を示す図である。図9では、微細パターン411が表わされているとともに、バックグラウンド422が一定強度500の輝度分布で表わされている。
【0068】
図10は、補正サンプル画像の輝度分布を示す図であり、横軸は画素(ピクセル)番地、縦軸は輝度(階調)を示している。図10は、サンプル画像に対して補正を実施した後の輝度分布を表わしている。図10では、バックグラウンドを示すシグナル522は、輝度値がほぼ一定値(約500)となっている。バックグラウンドを示すシグナル522上に突出している微細パターンを示す七つのシグナル511は、最大輝度値がほぼ一定値1000すなわち突出量が500となっている。このように微細パターンを示す各シグナル511の突出量は7個共ほぼ一定値500となり、これはバックグラウンドに影響されず、正確な輝度値を示している。従って、前記突出量を求め、これを補正後のシグナル輝度値とすれば、正確な輝度値が得られることになる。
【0069】
なお、上記ステップS6で得たレファレンス画像に対して、画像処理部20で平滑化処理(ローパスフィルタ処理)を行なうこともできる。このとき、例えば図6の(c)に示す11×11画素からなる円形カーネルを適用する。画像処理部20はレファレンス画像の各画素に、11×11画素からなる円形カーネルの中心画素を当てはめ、この中心画素の輝度を円形カーネル中の97画素の平均輝度で置き換える処理、すなわち平滑化処理を行なう。微細パターン41の外接円の最大半径が例えば13画素である場合、この平滑化処理をレファレンス画像の全画素に対して例えば10回実行する。
【0070】
図11は、平滑化処理されたレファレンス画像の輝度分布を示す図であり、横軸は画素(ピクセル)番地、縦軸は輝度(階調)を示している。図11では、図8におけるバックグラウンドを示すシグナル521に表われていた輝度値の段差が消滅し、滑らかなシグナル523となっている。
【0071】
以上のように平滑化処理されたレファレンス画像を基にして上記ステップS7で補正サンプル画像を得る。その補正サンプル画像の輝度分布では、図10における微細パターンを示す七つのシグナル511の頂部が平坦になる。このようにレファレンス画像に平滑化処理を施すことにより、補正サンプル画像上の微細パターンを示す各シグナルは、より正確な輝度値を示すことになる。
【0072】
また上記ステップS5,S6で、画像処理部20は、3×3画素または5×5画素以外に限らず任意の形状のカーネルを用いて、収縮処理と膨張処理を実行することができる。例として、「微細パターン41の外接円の最大直径(例えば26画素)以上に相当する画素数」×「前記外接円の最大直径以上に相当する画素数」画素の円形カーネル、例えば27×27画素からなる円形カーネルを用い、収縮処理と膨張処理を1回実行してもよい。このように、所定形状のカーネルを用い、微細パターンを消滅させるのに必要な回数分、収縮処理と膨張処理を実行することにより、レファレンス画像を得ることができる。
【0073】
以上のように、むらのある励起照明でバックグラウンドが形成される場合は、除算処理が有効である。一方、これに反して、暗電流ノイズや迷光ノイズなどの励起照明以外のノイズで形成される場合には減算処理が有効である。すなわち画像処理部20は、サンプル画像の各画素の輝度値から、対応する前記レファレンス画像の各画素の輝度値を減算することにより、補正サンプル画像を得る。これにより、バックグラウンド画像に含まれる不要な暗電流ノイズや迷光ノイズなどの直流ノイズを除去することができる。
【0074】
本実施の形態によれば、バックグラウンド中に微細パターンが散在するサンプル画像からバックグラウンド画像のみをレファレンス画像として抽出し、該レファレンス画像でサンプル画像を補正することにより、サンプル画像に含まれる微細パターンの蛍光輝度を示すシグナルを正確に検出することができる。すなわち本実施の形態の画像処理を実行することにより、生化学検査用アレイ1上のプローブアレイ要素3内のプローブと溶液に含まれる生化学的物質との間に生じる特異的な結合反応を、各プローブアレイ要素3ごとに正確に検査することができる。
【0075】
本発明は上記実施の形態のみに限定されず、要旨を変更しない範囲で適宜変形して実施できる。例えば、説明上、微細パターンの数を35、このシグナルの輝度値をすべて同一値500、バックグラウンドの最大輝度値を500としたが、これらの数値は如何なる値でも良い。また、シグナルごとに輝度値が異なっても良い。
【0076】
【発明の効果】
本発明の生化学的検査用画像処理方法によれば、サンプル画像に含まれる微細パターンの発光輝度を示すシグナルを、簡易な処理で正確かつ迅速に検出できる。
【0077】
本発明によれば、レファレンス画像を、従来のように標準反射板を用いて専用の手段で取得する必要がなく、撮り込んだサンプル画像を処理することで取得できる。よって本発明では、サンプル画像を補正するまでの時間が短縮され、専用の手段を用いたときのようにレファレンス画像を取得する際にノイズが混入することもないため、シグナル検出の精度が向上する。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る生化学的検査用画像処理方法を実施する顕微鏡装置の構成を示す図。
【図2】本発明の実施の形態に係る生化学検査用アレイの概略構成を示す図。
【図3】本発明の実施の形態に係る検査手順を示すフローチャート。
【図4】本発明の実施の形態に係るサンプル画像の例を等輝度線を用いて示した図。
【図5】本発明の実施の形態に係るサンプル画像の輝度分布を示す図。
【図6】本発明の実施の形態に係る十字形カーネルと円形カーネルを示す図。
【図7】本発明の実施の形態に係るレファレンス画像の等輝度線図。
【図8】本発明の実施の形態に係るレファレンス画像の輝度分布を示す図。
【図9】本発明の実施の形態に係る補正サンプル画像を示す図。
【図10】本発明の実施の形態に係る補正サンプル画像の輝度分布を示す図。
【図11】本発明の実施の形態に係る平滑化処理されたレファレンス画像の輝度分布を示す図。
【図12】従来例に係る三次元アレイをなすテーパ付き試料ウェルアレイを示す図。
【符号の説明】
1…生化学検査用アレイ
3…プローブアレイ要素
31…プローブ
11…励起光源
12…シャッター
13…レンズ
14…励起フィルタ
15…ダイクロイックミラー
16…対物レンズ
17…NDフィルタ
18…結像レンズ
19…CCDカメラ
20…画像処理部
21…表示部
101…多孔性ガラスウェハー
102…孔
103…テーパ付きウェル
104…チャンネル
105…貫通孔
41,411…微細パターン
42,421,422…バックグラウンド
51,511…微細パターンの輝度を示すシグナル
52,521,522,523…バックグラウンドの輝度を示すシグナル

Claims (10)

  1. 生化学的物質の溶液を、表面に該生化学的物質に特異的に反応する生化学的物質が各々保持されている生化学検査用アレイに供給し、発光性分子による標識を用いて前記生化学検査用アレイの各プローブアレイ要素ごとに前記発光性分子の発光強度をアレイ型検出器で検出することにより、前記生化学的物質と該生化学的物質に特異的に反応する生化学的物質との反応状態を前記各プローブアレイ要素ごとに検査する生化学的検査用の画像処理方法であり、
    前記生化学検査用アレイの画像をサンプル画像として撮り込み、前記各プローブアレイ要素から発生した光の強度を示す微細パターンの画像を該サンプル画像から除いた背景画像を、レファレンス画像として抽出し、該レファレンス画像で前記サンプル画像を補正することを特徴とする生化学的検査用画像処理方法。
  2. 前記微細パターンの画像に対して収縮処理を施した後に膨張処理を施すことにより前記レファレンス画像を抽出することを特徴とする請求項1に記載の生化学的検査用画像処理方法。
  3. 前記収縮処理及び前記膨張処理は、所定形状のカーネルを用い、前記微細パターンを消滅させるのに必要な回数分実行することを特徴とする請求項2に記載の生化学的検査用画像処理方法。
  4. 前記収縮処理及び前記膨張処理は、3×3画素の十字形カーネルを用い、前記微細パターンの外接円の最大半径以上に相当する画素数を処理回数とすることを特徴とする請求項3に記載の生化学的検査用画像処理方法。
  5. 前記収縮処理及び前記膨張処理は、「前記微細パターンの外接円の最大直径以上に相当する画素数」×「前記外接円の最大直径以上に相当する画素数」画素の円形カーネルを用い、処理回数を1とすることを特徴とする請求項3に記載の生化学的検査用画像処理方法。
  6. 前記サンプル画像の各画素の輝度値を、対応する前記レファレンス画像の各画素の輝度値で除算することにより、前記サンプル画像を補正することを特徴とする請求項1乃至5のいずれかに記載の生化学的検査用画像処理方法。
  7. 前記サンプル画像の各画素の輝度値から、対応する前記レファレンス画像の各画素の輝度値を減算することにより、前記サンプル画像を補正することを特徴とする請求項1乃至5のいずれかに記載の生化学的検査用画像処理方法。
  8. 前記レファレンス画像の各画素について、(レファレンス画像の最大輝度値/該画素の輝度値)を算出し、その値を対応する前記サンプル画像の各画素の輝度値に乗じて、前記サンプル画像を補正することを特徴とする請求項1乃至5のいずれかに記載の生化学的検査用画像処理方法。
  9. 前記レファレンス画像に平滑化処理を施し、前記サンプル画像を補正することを特徴とする請求項請求項1乃至8のいずれかに記載の生化学的検査用画像処理方法。
  10. 前記微細パターンの画像は、蛍光標識された多数の微小スポットを有する前記生化学検査用アレイを励起光で照明して得られる蛍光画像であり、前記サンプル画像を補正することにより前記各微小スポットの蛍光輝度を示す信号を検出することを特徴とする請求項1乃至9のいずれかに記載の生化学的検査用画像処理方法。
JP2002263034A 2002-09-09 2002-09-09 生化学的検査用画像処理方法 Expired - Fee Related JP3908135B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002263034A JP3908135B2 (ja) 2002-09-09 2002-09-09 生化学的検査用画像処理方法
AU2003261818A AU2003261818A1 (en) 2002-09-09 2003-08-29 Image processing method for biochemical examination
EP03794132A EP1548423A1 (en) 2002-09-09 2003-08-29 Image processing method for biochemical test
PCT/JP2003/011019 WO2004023117A1 (ja) 2002-09-09 2003-08-29 生化学的検査用画像処理方法
US11/076,333 US20050153356A1 (en) 2002-09-09 2005-03-09 Image processing method for biochemical test

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002263034A JP3908135B2 (ja) 2002-09-09 2002-09-09 生化学的検査用画像処理方法

Publications (2)

Publication Number Publication Date
JP2004101354A true JP2004101354A (ja) 2004-04-02
JP3908135B2 JP3908135B2 (ja) 2007-04-25

Family

ID=31973175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002263034A Expired - Fee Related JP3908135B2 (ja) 2002-09-09 2002-09-09 生化学的検査用画像処理方法

Country Status (4)

Country Link
EP (1) EP1548423A1 (ja)
JP (1) JP3908135B2 (ja)
AU (1) AU2003261818A1 (ja)
WO (1) WO2004023117A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004045131A1 (de) * 2003-12-24 2005-07-28 Yokogawa Electric Corporation, Musashino Korrekturverfahren für die Lichtmengenverteilung und Biochipleser
JP2008064977A (ja) * 2006-09-06 2008-03-21 Olympus Corp 顕微鏡装置の制御方法、顕微鏡装置
KR100877656B1 (ko) * 2005-01-24 2009-01-08 올림푸스 가부시키가이샤 생화학 검사 장치 및 생화학 검사 방법
JP2009168725A (ja) * 2008-01-18 2009-07-30 Nec Corp スポット定量装置、スポット定量方法及びプログラム
JP2012154826A (ja) * 2011-01-27 2012-08-16 Sony Corp 発光強度測定装置
WO2015049759A1 (ja) * 2013-10-03 2015-04-09 株式会社日立製作所 気中物質検知装置用のカートリッジ及び気中物質検知装置
WO2019172097A1 (ja) * 2018-03-07 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP7057926B1 (ja) 2021-03-26 2022-04-21 株式会社汀線科学研究所 蛍光測定装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7723120B2 (en) 2005-10-26 2010-05-25 General Electric Company Optical sensor array system and method for parallel processing of chemical and biochemical information
US8133741B2 (en) 2005-10-26 2012-03-13 General Electric Company Methods and systems for delivery of fluidic samples to sensor arrays
MY152491A (en) * 2005-10-26 2014-10-15 Gen Electric Methods and systems for delivery of fluidic samples to sensor arrays
US7883898B2 (en) 2007-05-07 2011-02-08 General Electric Company Method and apparatus for measuring pH of low alkalinity solutions
CN104114282B (zh) 2011-09-30 2017-07-04 生命技术公司 用于生物分析的系统和方法
EP3317649B1 (en) 2015-06-30 2020-06-24 IMEC vzw Quantification of topologically arranged luminescent dyes

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06105220B2 (ja) * 1991-08-23 1994-12-21 近藤フィリップスライティング株式会社 高感度赤外分光法を用いた凝結性気相物質の非破壊定量分析装置及び方法
DE69731629T2 (de) * 1997-09-11 2005-11-03 Randox Laboratories Ltd., Crumlin Verfahren und Gerät zur Bildanalyse
JP2000338042A (ja) * 1999-05-25 2000-12-08 Fuji Photo Film Co Ltd 画像情報のファイリング方法およびファイリング装置
CA2381344C (en) * 1999-08-05 2007-01-23 Cellomics, Inc. Optical system analysis of cells
JP2002181708A (ja) * 2000-12-14 2002-06-26 Asahi Techno Glass Corp マイクロアレイチップの読取方法及びその装置
JP3576523B2 (ja) * 2000-12-26 2004-10-13 オリンパス株式会社 蛍光輝度測定方法及び装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004045131B4 (de) * 2003-12-24 2006-08-03 Yokogawa Electric Corporation, Musashino Korrekturverfahren für die Lichtmengenverteilung in einem Biochip-Leser und Biochip-Leser
DE102004045131A1 (de) * 2003-12-24 2005-07-28 Yokogawa Electric Corporation, Musashino Korrekturverfahren für die Lichtmengenverteilung und Biochipleser
US7910357B2 (en) 2003-12-24 2011-03-22 Yokogawa Electric Corporation Correction method for the distribution of quantity of light and biochip-reader
US7920733B2 (en) 2005-01-24 2011-04-05 Olympus Corporation Biochemical examination apparatus and biochemical examination method
KR100877656B1 (ko) * 2005-01-24 2009-01-08 올림푸스 가부시키가이샤 생화학 검사 장치 및 생화학 검사 방법
JP2008064977A (ja) * 2006-09-06 2008-03-21 Olympus Corp 顕微鏡装置の制御方法、顕微鏡装置
US8571279B2 (en) 2008-01-18 2013-10-29 Nec Corporation Spot quantification apparatus, spot quantification method, and recording medium
JP2009168725A (ja) * 2008-01-18 2009-07-30 Nec Corp スポット定量装置、スポット定量方法及びプログラム
JP2012154826A (ja) * 2011-01-27 2012-08-16 Sony Corp 発光強度測定装置
WO2015049759A1 (ja) * 2013-10-03 2015-04-09 株式会社日立製作所 気中物質検知装置用のカートリッジ及び気中物質検知装置
JPWO2015049759A1 (ja) * 2013-10-03 2017-03-09 株式会社日立製作所 気中物質検知装置用のカートリッジ及び気中物質検知装置
US10309876B2 (en) 2013-10-03 2019-06-04 Hitachi, Ltd. Cartridge for airborne substance sensing device, and airborne substance sensing device
WO2019172097A1 (ja) * 2018-03-07 2019-09-12 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JPWO2019172097A1 (ja) * 2018-03-07 2021-03-18 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP7235036B2 (ja) 2018-03-07 2023-03-08 コニカミノルタ株式会社 画像処理方法、画像処理装置及びプログラム
JP7057926B1 (ja) 2021-03-26 2022-04-21 株式会社汀線科学研究所 蛍光測定装置
WO2022202723A1 (ja) * 2021-03-26 2022-09-29 株式会社汀線科学研究所 蛍光測定装置
JP2022151092A (ja) * 2021-03-26 2022-10-07 株式会社汀線科学研究所 蛍光測定装置

Also Published As

Publication number Publication date
WO2004023117A1 (ja) 2004-03-18
JP3908135B2 (ja) 2007-04-25
EP1548423A1 (en) 2005-06-29
AU2003261818A1 (en) 2004-03-29

Similar Documents

Publication Publication Date Title
US20050153356A1 (en) Image processing method for biochemical test
US20220154274A1 (en) Method and System for Multiplex Genetic Analysis
JP3908135B2 (ja) 生化学的検査用画像処理方法
US20020168665A1 (en) Biochemical examination method
JP2005233974A (ja) 生化学的検査方法
EP3969884A1 (en) Systems and devices for characterization and performance analysis of pixel-based sequencing
JP2006337245A (ja) 蛍光読み取り装置
US20100068714A1 (en) Multivariate detection of molecules in biossay
US20120220498A1 (en) Fluorescence analyzing method, fluorescence analyzing apparatus and image detecting method
WO2010137543A1 (ja) 核酸分析用デバイス、核酸分析装置、及び核酸分析方法
ES2317081T3 (es) Chip de analisis con gama patron, maletines y procedimientos de analisis.
JP3834519B2 (ja) 生化学的検査方法
JP3715248B2 (ja) 生化学的検査方法
JP4982523B2 (ja) 蛍光分析方法,蛍光分析装置及び画像検出方法
JP2006153889A (ja) 生化学的検査方法
JP2005291821A (ja) 発光強度解析方法及び装置
JP4271188B2 (ja) 生化学的検査方法
JP2006145549A (ja) 生化学的検査方法
JP5372876B2 (ja) 核酸分析デバイス,核酸分析装置、及び核酸分析方法
JP2002272498A (ja) 生化学的検査方法
JP4321716B2 (ja) 蛍光画像補正方法および装置ならびにプログラム
CN102023208B (zh) 微珠分析方法和微珠分析器
JP2007064720A (ja) 検体反応装置
JP2015139373A (ja) 生体分子分析デバイス、及び生体分子分析装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070117

R151 Written notification of patent or utility model registration

Ref document number: 3908135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140126

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees