JP2006519365A - 画像形成装置 - Google Patents

画像形成装置 Download PDF

Info

Publication number
JP2006519365A
JP2006519365A JP2006501387A JP2006501387A JP2006519365A JP 2006519365 A JP2006519365 A JP 2006519365A JP 2006501387 A JP2006501387 A JP 2006501387A JP 2006501387 A JP2006501387 A JP 2006501387A JP 2006519365 A JP2006519365 A JP 2006519365A
Authority
JP
Japan
Prior art keywords
sample
image
slide
forming apparatus
image forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006501387A
Other languages
English (en)
Other versions
JP2006519365A5 (ja
JP4633712B2 (ja
Inventor
アレキサンダー,ジョーン
チャンドラー,マイケル,ブルース
Original Assignee
メディザイク ピーテーワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディザイク ピーテーワイ リミテッド filed Critical メディザイク ピーテーワイ リミテッド
Publication of JP2006519365A publication Critical patent/JP2006519365A/ja
Publication of JP2006519365A5 publication Critical patent/JP2006519365A5/ja
Application granted granted Critical
Publication of JP4633712B2 publication Critical patent/JP4633712B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6452Individual samples arranged in a regular 2D-array, e.g. multiwell plates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4738Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474Details of optical heads therefor, e.g. using optical fibres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4788Diffraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

画像形成装置(46)は、細胞状結合事象試料のマイクロアレイを含む試料スライド(14a)を担持するためのキャリアステージ(12a)と、試料スライド(14a)を照明するための線状光源(37a)と、試料スライド(14a)の連続した部分が光源(37a)によって照明されるようにキャリアステージ(12a)を試料スライド(14a)に対して動かすためのモータ駆動(16a)と、を具備する。デジタル光学ラインスキャンカメラシステム(44a)が、使用の際に、試料スライド(14a)を通って伝達され、それから出る光源からの光線(42a)に対してずれた角度で試料スライドから出る光線(40a)の連続した部分のみを実質的に捉えるように配置されて、試料スライドまたは試料のアレイの複合画像に再構築されるように配列された一連の線状暗視野画像を生成する。

Description

本発明は、広くは、画像形成装置、および、試料スライド等の透明な固相上に試料の画像を導き出す方法、に関する。
例えばガラススライド上のタンパク質マイクロアレイ等の結合パートナーの配列に結合された、例えば患者から得られた細胞等の試料の分析は、診断ツールとして提案されている。
同様に、タンパク質等の特定の分子が試料中に存在するのを示す蛍光マーカーの存在の分析は、診断ツールとして提案されている。
そのような診断ツールの使用および実践を容易にするために、そのような試料のデジタル化されたパターンを捉えるための装置を提供することが望ましい。病理検査室および研究施設の分散型ネットワークに広く使用されるために容易に利用可能にすることができる装置を提供することがさらに望ましい。
少なくとも好適な実施形態において、本発明は、小型画像形成装置およびそのような診断ツールの実践に適切な試料スライドに試料の画像を導き出す方法を提供することを求める。
本発明の第1の態様によると、下記を具備する画像形成装置が設けられる。すなわち、
−試料スライドを担持するためのキャリアステージと、
−試料スライドを照明するための光源であって、上記試料スライドは試料のアレイを含む光源と、
−試料スライドの連続した部分が光源によって照明されるように、試料スライドに対してキャリアステージを動かすための駆動手段と、
−使用の際に、試料スライドを通って伝達され、試料スライドから出る光源からの光線に対してずれた角度で試料スライドから出る光線の上記連続した部分のみを実質的に捉えるように配置されて、試料スライドまたは試料のアレイの画像に再構築されるように配列された一連の部分的な画像を生成するデジタル光学カメラシステムと、である。
好ましくは、光源は実質的に狭いビームを発するように配列された線状光源であり、それによって、照明される試料スライドの連続した部分は帯状部分であり、それによって、一連の部分的な画像は線状画像である。
従来、デジタル光学カメラシステムは、使用の際に、試料スライド上の試料の上記アレイで回折されるかまたは他のやり方で屈折される光線のみを実質的に受け取るように、配置される。
典型的に、デジタル光学カメラシステムは、試料アレイによって回折されないかまたは他のやり方で屈折されない光線が、カメラシステムによって捉えられることを防止するための弁別手段を含む。
有利なことに、弁別手段は、ずれた角度で試料スライドから出る回折したかまたは他のやり方で屈折した光線を、カメラシステムの画像形成レンズへ向けて方向づけるように位置決めされた少なくとも1つのリフレクタを含む。
デジタル光学カメラシステムは、典型的に、線状画像を検知することができるラインスキャン可能カメラを含む。
デジタル光学カメラシステムは、使用の際に、試料スライド上の蛍光マーカーから発した光線を捉えるように、配置されてもよい。
従来、デジタル光学カメラシステムは、少なくとも2つのモードで操作するように配列され、すなわち、試料スライド上の試料のアレイで回折したかまたは他のやり方で屈折した光線がカメラによって捉えられる回折または屈折モードと、試料のアレイ上の蛍光マーカーから発した光線が捉えられる蛍光モードと、である。
デジタル光学カメラシステムは、駆動手段がキャリアステージを第1の方向に動かすときに屈折または回折モードで操作するように配列されてもよく、駆動手段がキャリアステージを第2の方向に動かすときに蛍光モードで操作するように配列される。
光学カメラシステムは、スペクトルの可視部分および不可視部分の両方で光線を検出するように配列されてもよい。
典型的に、試料は、試料スライド上の結合パートナーに結合した細胞のアレイを含む。
本発明の1つの形態において、画像形成装置は、使用の際にキャリアステージが中に位置する試料採取コンパートメントと、電気構成要素コンパートメントと、を具備し、電気構成要素コンパートメントは、試料採取コンパートメントから流体封止され、それによって、使用の際に、電気構成要素コンパートメント内部の構成要素が試料採取コンパートメントから流体汚染されることは妨げられ、キャリアステージは、使用の際に、試料スライドからこぼれた流体を集めるために試料スライドの下に配置されたトレイ要素を含む。
画像形成装置は、外部基準データベース、外部保存データベース、外部PC、および、外部プリンタの少なくとも1つを含むグループの装置へインタフェースするためのインタフェースユニットを含んでもよい。
有利なことに、部分的な画像および再構築された画像は、暗視野画像である。
本発明は、比較目的のために、上記に記載された種類の画像形成装置と、試料のアレイを表す画像強度値を提供するために試料スライドまたは試料のアレイの画像を処理するためのプロセッサ手段と、を含む画像形成システムへ拡張する。
本発明は、比較目的のために、試料のアレイを表す画像強度値を提供するために、試料スライドまたは試料のアレイの画像を処理するためのプロセッサ手段へさらに拡張する。
有利なことに、プロセッサ手段は、スライド上の各試料を位置づけるために且つ各試料の強度をスケールするために、スライド上の公知の基準試料を使用することによって、画像を標準化するように配列される。
プロセッサ手段は、公知の基準試料に基づいて基準マトリックスまたはグリッドを加えることによって各試料を位置づけるように配列され、スケールの範囲を制定するために基準試料を使用してグリッドの各方形内に試料の強度をスケールするように配列され、画像から標準化強度値を生成するようにさらに配列されることが好ましい。
本発明は、試料スライド上の試料を表す画像を導き出す方法をさらに提供し、この方法は、
−試料のアレイを含む試料スライドを提供するステップと、
−試料スライドをキャリアステージに装填するステップと、
−試料スライドの少なくとも一部を照明するステップと、
−試料スライドの連続した部分が光源によって照明されるように、試料スライドに対してキャリアステージを動かすステップと、
−試料スライドから出る光線の連続した回折したかまたは他のやり方で屈折した部分のみを実質的に捉えて、試料のアレイの画像に再構築されるように配列された一連の部分的な画像を生成するステップと、
を含む。
好ましくは、照明される試料スライドの連続した部分は、線状光源を使用することによって照明される帯状部分であり、それによって、一連の部分的な画像は、線状画像として捉えられる。
方法は、有利なことに、試料スライド上の試料によってまたはそこで、回折したかまたは他のやり方で屈折した光線のみを実質的に捉えるステップを含む。
好ましくは、方法は、試料の生物学的状態および/または強度スケーリングを示すために、基準試料で回折したかまたは他のやり方で屈折した光線が、画像を導き出す間に捉えられるようなやり方で配置された基準試料を使用するステップをさらに含む。
方法は、分子プロファイルシグネチャのライブラリに匹敵する分子プロファイルに到達するために、再構築された画像を処理するステップを含んでもよい。
方法は、各試料用に画像強度値を生成するステップと、輪郭線内の画像物体を識別する画像強度の輪郭マップを生成するステップと、上記物体上に仮想グリッドを配置するステップと、をさらに含んでもよい。
方法は、典型的に、画像のねじれを補正するステップと、高められたグリッドを獲得するステップと、高められたグリッドからX−Y座標を計算するステップとをさらに含む。
好ましくは、方法は、各試料用に平均補正強度を計算し、それによって、同一試料の少なくとも2つのセットがスライド上に設けられるステップと、基準試料および複製試料に基づいて各試料に関連した強度データを標準化するステップと、を含む。
方法は、装置から得られた種類の画像を処理するための画像形成処理方法、および、コンピュータに方法を行わせるために実行可能な指令を格納しているコンピュータ読取可能媒体、へ拡張する。
次に、本発明の好適な実施形態が、添付の図面を参照して、例としてのみ説明される。
説明される好適な実施形態において、本発明は、分子プロファイルを識別するのに適切であり、それによって、試料スライドまたは他の透明な固相支持媒体上の試料の分析を使用する診断ツールを実践するのに適切な、結合した細胞状アレイまたは蛍光マーカーを含む試料のずれた平面画像を作るために、一連の暗視野線状画像を取る画像形成装置および方法を提供する。ずれた平面画像は、デジタル式に再組み立てされ、分子プロファイル識別用にパターンマッチングプログラム等へ通ることができるデジタルアレイを提供する。
図1は、本発明を体現する画像形成装置10の概略図を示す。装置10は、スライド14に結合された結合細胞状アレイ(図3の102)を分析するためにスライド14に装着するためのキャリッジ12を具備する。キャリッジ12は、2つのガイドロッド16、18を具備し、それにスライドホルダ20が可動式に装着される。ホルダ20は、スライド14を解放可能に受け取るためにばね部材22、24の形態で2つのバイアス用要素を具備する。
画像形成装置10は、磁気プルステッパ駆動機構をさらに具備し、そのプルバー26が図1に示される。図2により明らかに見られるように、プルバー26は、ホルダ20へ接続するための磁気端部分28を具備し、これは、適切な磁気材料から作られる。例示的な実施形態において磁気プルステッパ駆動機構を使用することは、プルバー26とホルダ20との間にたやすく解放可能に接続を提供するという利点を有し、キャリッジおよび/または画像形成装置10の内部のクリーニングまたは他のメンテナンス目的のために、キャリッジ12を取り外すのを容易にする。
図3は、試料スライド14の例の等角図である。スライド14は、局所結合事象を含む複数の刻み目100を具備する。特に、その各々は、典型的に異なる結合リガンドを含み、結合パートナー102の結合されたアレイを提供する。スライド14は、実質的に光学的に透明な材料から形成され、例えば、ガラスまたは適切なプラスチック材料、例えば、ポリスチレンまたはポリカーボネート(シロロン(Cyrolon)TX−V)、ポリビニルアルコール、ナイロン、または、その複合材料である。そのような支持材料は、未処理であるか、または、各結合パートナーの結合を容易にするために、吸収剤または結合向上コーティングで処理されるか、のいずれかである。実施形態において、アメリカ合衆国、03431、ニューハンプシャー州キーン、10オプティカルアベニュー(10 Optical Avenue、Keene、NH 03431 USA)のシュライシャーアンドシュエルバイオサイエンス社(Schleicher and Schuell BioScience、Inc.)のファスト(FAST)スライドが使用された。これらのスライドは、ニトロセルロースコーティングを備えた高品質ガラスから製造される。タンパク質系材料を上記固相材料に固定するには、数種類の化学的および物理的アプローチがあることが当業者によって認識される。各スライドは、1,000までのまたはそれ以上の結合事象を含んでもよい。
図3Aは、白血病を診断する際の診断ツールとして使用される試料スライド14の上部平面図である。結合パートナー102のアレイは、整列配置および強度補正目的のために一連のキャリブレーションドット104および106の列を含み、且つ、典型的に、最も明るいから最も暗いまでの、完全予想光学範囲をカバーする。結合パートナーを表すモノクローナル抗体等の基準結合パートナーから形成されたキャリブレーションドット108および110の外側周辺列が、最も暗い画像を産すると予想された。それとともに、外側周辺キャリブレーションドットは、画像構築を容易にするために、上記結合事象の空間的境界を規定する。一連のキャリブレーションドット104および106は、モノクローナル抗体から形成されてもよく、漸進的な稀釈によって所定の高濃度から低濃度へ変化する。診断マーカー112および114のアレイは、スライド上で中心に位置し、これは、治療マーカー116のサブアレイおよび診断およびQCマーカー118のサブアレイをさらに含む。アレイ112および114は実質的に同一であり、そのため、照合検査目的に使用することができ、結果は、より信頼のおける成果のために平均される。スライドに関するさらなる情報として、カタログ番号120、使用期限122、および、これおよびスライド上の他の情報をエンコードするバーコード124が挙げられる。
次に、図1へ戻ると、プルバー26は、画像形成装置10内の隔壁30を通って延在し、これは、光学装置10の内部を試料採取区域32と電気構成要素区域34とに分割する。例示的な実施形態において、隔壁30は、試料採取区域と電気構成要素区域との間に流体封止が形成されるように適合され、それによって、電気構成要素区域34内部の電気構成要素が試料採取区域32から汚染されることは妨げられる。
プルバー26は、封止部材36を経由して隔壁30を通って延在し、それは、プルバー26が動くのを可能にするように適合され、一方、試料採取区域32と電気構成要素区域34との間の流体封止を維持する。ドリップトレイ46には、分析中にスライド14から滴る可能性のある流体を集めるために、キャリッジ12が設けられてもよい。
画像形成装置10は、スライド14に装着された結合した細胞状のまたはタンパク質のアレイ102(図3および3A)の画像を取るために、実質的に平坦な光のビーム38を発するためのLEDブラケット37をさらに具備する。ビーム38は、当初は、底部からスライドへ向けて方向づけられるように、第1の鏡(図示せず)によって反射される。スライドの上で、第2の鏡(図示せず)を使用して、結合した結合パートナー(図示せず)で回折しているかまたは他のやり方で屈折している光線を含む当初光ビームの一部40を、デジタルカメラ装置へ向けて方向づける。カメラは、上記カメラの画像キャプチャ能力に一致した速度で光源から発せられた光の束を通って動くときに、スライドまたは固相等価物で回折したかまたは他のやり方で屈折したずれた平坦な光の連続した線状画像を取る。屈折したビーム部分を方向づけるために鏡要素(図示せず)を適切に調節することによって、画像形成装置10は、結合したアレイの画像を導き出すために実質的に回折したかまたは他のやり方で屈折したビーム部分40のみがラインスキャンカメラ44に捉えられるように、適合することができることが、当業者によって認識される。
図4には、例示的な実施形態における光形態を例示する概略図が示される。LEDアレイ37から発したビーム38は、スライド14に入射する。スライド14に結合された結合パートナー(図示せず)で屈折した光線を含むビーム38の1つの部分40は、スライド14後に屈折した部分40として、屈折していない部分43に対して角度αで出現する。この角度αは、典型的に、3〜5度の範囲であり、経験的に、鏡の調節によって決定されてもよい。したがって、鏡45の適切な配向によって、実質的に回折した/屈折したかまたはずれた平坦な部分40のみがラインスキャンカメラ44へ向けて方向づけられ、屈折していない部分が、42に示されるように、カメラから離れて反射するのを保証することができる。スライド14に結合された結合パートナー(図示せず)で回折したかまたは屈折した光線を含む当初ビームの少なくとも1つの他の部分(図示せず)が、スライド14後に、屈折していない部分43に対して角度(−α)で出現すると予想されることが、当業者によって認識される。他方の回折した/屈折したかまたはずれた部分(単数または複数)が、異なる実施形態において、適切な反射配列を使用するかまたはカメラ44の視野の光学的変化によって、集合的に、交互に、または加えて、スキャンカメラ44へ向けて方向づけられてもよい。
試料スライド14に結合した結合パートナーの結果として回折しているかまたは他のやり方で屈折している光線のみを実質的に使用することによって、結合したアレイの陽画像を捉えることが可能になると出願人は認識している。言い換えると、試料スライド14の個別セクションの細胞または結合したパートナーの数は、捉えられた画像の光強度に比例し、それによって、暗視野画像を生じる。さらに、陽画像を捉えることは、照明ビームの伝達された部分の高い背景強度に関連した問題を回避することが認識される。図7は、例示的な画像60を示し、これは、下記により詳細に説明される。
次に、図5および5Aを参照すると、画像形成装置46の第2の好適な実施形態が示され、その中で、第1の実施形態のものに類似したかまたは同一である構成要素は、それに応じて参照符号が付されており、接尾に「a」が加えられている。キャリッジまたはスライドトレイ12aは、スライドに装着された結合アレイ102を分析するために、試料スライド14aを担持する。LEDの線状クラスタを担持するLEDブラケット37aを含むLED光源は、スライドの下側に向けて方向づけられる光の狭いビーム38aを発する。特定の実施形態において、490nmの青色発光波長を有する5つのLEDの線状クラスタを使用して、約10mmの幅を有するスライド上の帯を照明する。鏡45aは、アレイの結合した結合パートナーで回折しているかまたは他のやり方で屈折している光線を含む当初光ビームの部分40aを、ラインスキャン可能なデジタルカメラ装置44aへ向けて方向づける。実施形態において、バスラー(Basler)L101Kラインスキャンカメラが使用される。
一対の駆動トラック48を含むスライドトレイ12aは、DCモータ16aを使用して回転する一対の駆動ローラー18aおよびアイドラーローラー70によって、前後に動かされる。プッシュボタンを押して、試料スライドを挿入するためのスライドトレイ12aを呈する。試料スライドは、スライドトレイ12a内の窪み82内に挿入され、スライドの前縁は、ばね荷重されたスライドリテイナー83を押し上げ、スライドの後縁は、スライドストップ85に当接する。スライドセンサは、スライドによって変位されるときにカットアウト86の閉塞を検知することによって、スライドの存在を示す。ウインドウ87は、光ビーム38aがスライドの下側を照明するのを可能にし、フィンガ開口部88は、スライドを容易に取り外し交換するのを可能にする。
スライドセンサ89は、スライドが挿入されたときを検知し、コントローラ50aへ信号を送って、獲得を開始する。モータ16aは、それが光源37aから発した光の束38aを横切って動くスライド上の結合した細胞によって回折したかまたは他のやり方で屈折した光の連続した線状画像をラインスキャンカメラ44aが取るのに十分な速度で、スライドトレイ14aを前進させる。ラインスキャンカメラ44aは、1ピクセルの幅および1,024ピクセルの長さを有するセンサの線状アレイを有する。本実施形態において、これは、25mmの幅および0.025mmの長さを有する線状画像に等しい。結果として、スライドトレイが前方へ動くときには、結合した細胞アレイの連続した一連の線状画像が、ラインスキャンカメラ44aによって走査される。ラインスキャンカメラの線状開口部から離れて反射するときに、回折していないかまたは屈折していない光42がいかにして画像の形成で何の役割も演じないかは、図5から明らかである。スライドのバーコード124が画像形成領域に到達するときには、これは、マイクロスイッチ(図示せず)によって検知され、その結果として、光源37aがオフにされ、光源90がオンにされてスライドバーコードを照明し、それによって、バーコード124が画像に含まれることを可能にする。近位センサ81がスライドトレイの存在を検出し、プログラマブルロジックコントローラ(PLC)50aへ信号を送って、駆動モータを逆にし、試料スライド14aの除去を可能にする。蛍光色素による蛍光性の検出が必要な場合には、光源37aがオンにされる。スライドトレイの完全延長は、スライドトレイ上のセンサターゲット89を検知し、コントローラに信号を送って、駆動モータ16aをオフにする近位センサ80によって検出される。
図6Aにおいて、画像形成装置46の操作を制御するPLC50aは、プッシュボタン78と一緒に、入力として近位センサ80および81およびスライドセンサ89を有して示される。PLC出力は、DCモータ16a用のモータ前進および後進出力と、走査およびエラー事象をそれぞれ示すためのLED出力48aおよび49aを含む。それぞれ主要およびバーコード照明用の光源37aおよび90の操作を制御するための出力、および、フレームトリガ出力91も含まれる。
本発明を体現する例示的な画像形成装置10および46の操作の基本的な原則は、図1、2、5および6を参照して、下記の通りである。
・展開したスライド14が、水平配向でスライドキャリッジ12および12A内に挿入される。
・スライド14は平坦な光ビーム38を通って運ばれ、一連の線状画像を得る。
・スライド14が首尾よく順次走査された場合には、LED48(図6)は走査が完了したことを示す。そうでない場合には、エラーインジケータ49および任意の可聴警報が作動する。診断チップが、機械または接続されたPCの液晶ディスプレイ(LCD)のディスプレイ51に表示される。追加インジケータは、走査LED49.1、完全ドリップトレイを示すための「トレイフル」LED49.2、および、画像形成装置がクリーニングを必要とする時を示す「クリーン」LED49.2を含む。
・スライド14は、機械から出て、取り外される。
・線状画像は処理ユニット50(図2)または外部のPC系フレームグラビングカードで処理され、結果はLCDディスプレイ51(図6)、シリアルポート52、および/または、イーサネット(登録商標)ポート54、または、PCモニタに利用可能にされる。
例示的な実施形態において、結合された結合パートナーは、スライドを通って光を伝達することによって目に見えるようにされ、結合事象によってずれた平坦な配向で回折したかまたは他のやり方で屈折した光を見る。図7に示された画像60は、例示的な実施形態のプロトタイプを使用して取られた一連の線状画像から、順次組み立てられる。
画像60は比較的粗いが、結果を解釈するには十分な情報があることを当業者は認識する。本発明を体現する生産スキャナによって、よりはっきりした画像を捉えることができることが予想される。
例示的な実施形態のプロトタイプにおいて、細胞は、スライドを横切る狭い帯(およそ2mm)を通して見られる。スライドは、光源およびカメラに対して動かされ、各運動用に画像の薄い(0.025mm)スライスが取られ、次いで、処理ユニット50で再組み立てされ、これは、カメラの一部を形成してもよい。あるいは、カメラは、カメラリンクまたはデータコミュニケーションケーブルを経由してホストコンピュータのフレームグラビングカードと連通する。画像の獲得および処理は、コンピュータ系ソフトウェアに適切なものを使用して実行される。
下記において、本発明の例示的な実施形態のいくつかのさらなる態様が検討される。
画像標準化および処理:
スキャナからスキャナへの画像、および、時間にわたる画像は、光源、画像形成装置、スライドの生態および他の環境条件の変化/劣化のために、同一患者試料で異なる。例えばモノクローナル抗体(Mab)62(図7)等の基準結合パートナーを、少なくとも、各アレイの4つの隅およびアレイの他の外側周辺に使用して、下記によって画像を標準化することができる。
・スライドの生態条件を示す;
・各ドットの強度用の上限を設定し、アレイのまわりの背景を測定することによって、強度範囲はゼロから最大細胞結合まで設定することができ、結果はそれにしたがってスケールされる。これは、システム(単/複)におけるいずれの変化/劣化を最小限にする;
・結合パートナー用の空間的境界を規定し、ひとたび見いだされると、上記結合パートナーのパターン認識用である。
Mab62は、ドットを各アレイに位置づけるのを助けることもできる。ひとたび各アレイの隅が識別されると、仮想グリッドが画像にオーバーレイされることができ、位置づけるか、または、他の非基準結合パートナーである。次いで、背景を取り除くことができ、当業者に公知の技術を使用して、画像が高められる。次いで、グリッドの各平方の平均強度を使用して、アレイの各ドットの細胞結合を定量化することができる。例えば0〜100または等価のピクセル強度から結果として得られたスケールの定量化は、容易に達成される。これを超える定量化レベルを達成しなければならないことが予想される。特定の処理要件に依存して、異なる実施形態では、より多くの基準結合パートナーまたは実際にはより少ない基準結合パートナーを使用することができることが、当業者によって認識される。そのような処理は、局所的にかまたはカメラから離れてかのいずれかで完了するか、または、画像キャプチャ直後かまたは未来の後の時間かのいずれかで完了することができる。
図8は、分子プロファイルを識別するのに使用されるパターン認識プログラムへつなぐためのアレイから得られてもよいデジタル情報を例示するマトリックスを示す。
下記のモデルは、本発明を体現するスキャナとそれが連通する他の装置との間の例示的な相互作用を概略する。
装置は、好ましくは、下記と連通することができる。
・外部または内部のコンピュータおよびプリンタ、例えば、病理学コンピュータおよびプリンタ、であり、既存のデータコミュニケーション標準およびプロトコルに従う必要があってもよい。
・基準データベース。
下記において、本発明を体現するスキャナの使用に先行し且つその後の他のプロセスの例が、例示的な実施のために簡単に概略される。
スキャナに先行するプロセス:
一例として、スライドは、試料をスライドへ移すことによって展開され、それをインキュベートすることを可能にし、次いで、スライドを燐バッファ生理食塩水(PBS)で2回洗浄し、細胞内タンパク質コンパートメントへアクセスするために化学薬品を備えていても備えていなくてもよく、且つ、蛍光的に活性な分子、例えば、蛍光色素マーカー(図8に関連して下記に説明される異なる例示的な試料タイプを参照する)を備えていても備えていなくてもよく、ホルムアルデヒドに固定し、次いで、PBSで2回またはそれ以上洗浄する。
スキャナの後のプロセス:
スライドは、生物的廃棄物に廃棄される。
スキャナは、好ましくは、下記を可能にする適切な材料および特徴を備えて設計される:
・中性洗剤による外部クリーニング
・スライドを汚染させない(生物的および他)
・スライドレセプタクルがクリーニングされ、殺菌され、スライドからこぼれる可能性のあるいずれの流体を排出させることを可能にする
・標準ガラスフォーマットまたは等価物を受け入れ、500,000操作サイクルを超えて維持する。
図9は、二重検出様相の操作のために、本発明を体現する画像形成装置における光学形態を例示する概略図である。この実施形態において、実質的に平らなビーム116がLED光源110から発せられ、試料スライド114の下側へ向けて可変波長を発することができる。図4に関連して上記に説明されたように、光ビーム116の狭い部分がスライド114を通って伝達され、試料スライド114の頂部から伝達された部分118として出現する。
図9に記載された構成において、試料スライド114は、蛍光マーカーを使用して、結合パートナーの試料中に、特定の分子例えばタンパク質の存在を識別する試料を含む。この実施形態には狭いビーム光源110が選ばれ、そのスペクトル内に、蛍光マーカーを励起するのに適切な波長を含み、結果として、蛍光マーカーから光が発せられる。図9に例示されるように、蛍光マーカーから発した光は、点源から発するとみなされてもよく、したがって、全方向性発光場120を産し、その後の再構築のために一連の線状画像を形成する。
したがって、鏡要素122として、全方向性蛍光発光の一部は、矢印124で示されるように、バスラーL301KL等のモノクロおよび多色検出126ができるラインスキャンカメラの形態のデジタルカメラ装置へ向けて、方向づけられる。鏡122の角位置を適切に選択することによって、照明する光ビーム116の伝達された部分118が、126で示されるようにラインスキャンカメラから離れた鏡要素122で反射することを確実にし、すなわち、「補正」角度は、伝達されたビーム部分118に対してずれている。
光回折/屈折および蛍光検出は、両方とも、線状画像の再構築を必要とし、同時にまたは各画像で交互に、ラインスキャンカメラへ向けて方向づけられる。二重検出様相は、平らな光源から照明する光の波長が、単数または複数の蛍光的に活性な分子の励起波長に近いときに、最良に使用される。さらに別の実施形態において、異なる蛍光的に活性な分子のマルチプレックスは、カメラの多色検出能力に依存して、交互操作モードまたは同時操作モードのいずれかで、平坦なおよび/またはずれた平坦な画像をカメラシステムへ方向づけた後に発生する。
本発明の1つの実施形態において、ラインスキャンカラーカメラは、スライドが前方へ通過する間に、回折したかまたは他のやり方で屈折した光を検出し、装置から出るときに、スライドの後方へ通過する間に、光の蛍光放出を検出するように配列される。したがって、カメラは、前方通過ではモノクロ検出モードで操作し、後方通過中に多色検出モードに転換する。戻り通過において、スライドは、より遅い速度で移動し、より長い露出時間の間に、蛍光色素から発したより弱い信号を検出することを可能にする。適切な帯域通過フィルタセット、例えば、オメガオプティカル社(Omega Optical, Inc.)が供給したオメガ(Omega)フィルタ、および、クロマテクノロジー社(Chroma Technology Corp.)が供給したクロマ(Chroma)フィルタを使用して、選択された染料/核酸複合体に対して励起および放出のピークを刺激するために補正波長を使用することを確実にしてもよい。しかし、好ましくは、フィルタを使用する必要なく検出可能な励起が達成されるように光の波長が選択され、ソフトウェア規制識別を使用する。本ケースでは、セルトラッカー(celltracker)緑色蛍光色素に適切であるとして、青色LED配列が選ばれる。二色または三色のLEDを使用して、多くの蛍光色素を励起することができる波長のより広い範囲を提供してもよいことが認識される。各結合事象を制定する画像再構築は、各検出モードから導き出された1つまたはそれ以上のデジタル画像に基づいている。
次に、先に図7および8に関して参照した画像標準化および処理手順が、図10のフローチャートおよび添付の図面を参照してより詳細に説明される。画像形成装置10または46は、先に説明したやり方で、130に示されるように、デジタルデータを生成する。カメラまたは外部マイクロプロセッサの一部を形成するフレームグラバーカードの画像グラバーソフトウェアは、132に示されるように、連続した線状セクションから複合生画像(図8)を構築する。画像処理ソフトウェアは、134に示されるように、各結合事象用に画像強度を生成するように生複合画像をインポートする。
画像処理方法は、複合画像を滑らかにしてピクセル強度136の高周波数変動を除去することと、次いで、ステップ138に示されるように、全強度の輪郭マップの形態で一連の同心性の線を生成し表示する前に、輝度の対数目盛でグレーの8つのレベルに画像を転換することと、を含む。滑らかにすることによって、輪郭線をギザギザにしギャップを残す可能性がある高周波数情報を画像から除去する。画像は、輝度の対数目盛でグレーの8つのレベルに画像を転換され、これは、全画像輝度レベルを下記の値、すなわち、1、2、4、6、8、16、32、64および128へ転換するように設定された256ビットルックアップテーブルを使用して形成される。画像ピクセル輝度値は、このアレイを調べるインデックスとして使用される。異なるグレーレベルの間の境界を使用して、輪郭線を形成する。
輪郭マップは、最大強度ピクセル、すなわち、255の値を有する白ピクセルの背景から構成される。プロセスは、xおよびyループ内部の各ピクセル要素にアクセスすることによって、画像を検討する。その要素は、8つの取り巻くピクセルの中心として処理される。プログラムが、それよりも明るい8つのピクセルを備えた中心ピクセルを見出した場合には、中心ピクセルは輪郭上にあるとしてマークする。マーキングは、ピクセル値(値1、2、4、6、8、16、32、64、128の1つのみを保持する)を第2のアレイへコピーして、画像の輪郭線のピクセルのみを保持することによって行われる。結果は、画像と同一の寸法のアレイであり、すべてのピクセルは255に設定されるが、隣よりも暗い領域の外側縁のグレー値を保持する輪郭線にあるピクセルを除く。図7の画像から導き出された典型的な輪郭マップは、図10Aの140に示される。
輪郭線内のすべての画像物体の位置づけおよび識別が発生し、ステップ139に示されるように、真円度に対する確認および向上が提供される。続く標準化ステップ142において、輪郭線に関連した画像向上が発生して、過剰な暗さを除去し、それによって、空間変化およびアレイを横切る強度に対処するために、真円度をさらに改良し、画像を標準化する。次に、特に、上記プロセスから生じる各別個の輪郭線が、空間画像物体として分類される。各輪郭線が分類されるときに、そのピクセルは、画像と同一の寸法を備えた「既に処理された」アレイに加えられる。これによって、その線のいずれのピクセルを調べることによって、所与の輪郭線が既に処理されているか否かに関する即座の情報が可能になる。ピクセルの座標を使用して、先にクリアされた「既に処理された」アレイの対応する要素にアクセスする。
輪郭マップアレイの各ピクセルは、ループ用にxおよびyによって走査される。ピクセルが、新しい(未処理の)輪郭の一員であるとわかった場合には、その座標は、イメージオブジェクトピクセルファインド(ImageObjectPixelFind)方法へ移動し、これは、輪郭線の残りのピクセルを見出し、輪郭を開または閉として分類する。
方法は、輪郭線のすべてのピクセルを見出し、各々に、「既に処理された」アレイの「既に処理された」としてフラグをつける。これは、輪郭線の各ピクセルの対応するXおよびY座標を保持する2つの他のアレイ、領域X()および領域Y()を戻す。これらの2つのアレイは本質的に、輪郭線のすべてのピクセルを挙げる。これらの2つのアレイに含まれるピクセル座標は、次いで、画像物体(すなわち、輪郭線)のアレイにコピーされ、これは、各画像物体のすべてのピクセル、さらに、物体内のピクセルの数、および、その物体(すなわち、その対数グレースケール輝度のグレースケール領域を含む輪郭線)のグレースケール輝度のリストを保持する。
結果は、各画像物体(輪郭線によって表される)が識別され、イメージオブジェクト()アレイにリストされ、その物体用のピクセルのリストの各ピクセルを処理することによって即座に検討することができる。45ピクセルを超える輪郭を備えた円形物体の数が10未満である場合には、画像は次のメッセージで拒絶される:
「この画像は不良すぎて処理できない。(十分な認識可能なドットがない)。おそらく、スライドが乾燥していたのではないか。再湿潤して、再度走査するかまたは再処理してください。」
次いで、画像物体は、円形であるか否かが分類される。分類は、単一の画像物体を分析する方法によって実行される。このルーチンは、画像で各物体を処理するループに入れられる。ルーチンを使用して、物体の輪郭線の長さ、および、閉鎖物体であるか開放物体であるかを計算する。閉鎖は、輪郭がループであることを意味する。開放は、端部分が一致していない線であることを意味する。各物体は、連続した輪郭線を有する。ルーチンはまた、イメージオブジェクトセンター(ImageObjectCenter)を使用していずれの閉鎖物体の中心の位置を見出し、XおよびY方向における直径も見出す。次いで、物体の円周およびその直径情報を使用して、ルーチンは物体が円形であるか否かを分類する。
結果は、一定の画像物体が今や円形として分類されるということである。これらは、アレイのドットの輪郭用の候補である。多くのこれらの物体の中心は、アレイのドットの中心に一致する。これらの物体およびその中心を位置づけるプロセスは、アレイを画像のいずれかに位置づける作業の背部を破り、仮想グリッドがその上に正確に整列配置されるのを可能にする。
画像向上ルーチンは、画像を高めて、重要な情報を含む輝度の範囲のみを示す。これは、ほとんど情報を有さない非常に暗い区域を除去することによって、画像の情報部分のコントラストを高める。これは、ドットを示す円形領域を検出するのをより容易にし、診断的正確度を高めるために、画像を幾分標準化する傾向もある。
いずれの輝度レベルが情報を含むかを発見する1つの方法は、いずれの円形領域(最も暗いレベルで開始する)を含む第1の対数輝度レベルを求めることである。輪郭輝度は、8ステップで1から128へ走行し、毎回、輝度が倍加する。少なくとも1つの適切な円形物体を含む第1のレベルは、レベルnとラベルづけられる。次いで、画像は再処理され、レベルn−1(Bn-1)の輝度Bと255との間の情報のみを示す。これは、下記の公式を画像の各ピクセルへ加えることによって行われ、新しく高められたコントラスト画像のピクセルを生成する。
画像のすべてのピクセル座標x、y用に、
PixelValue(x、y)new=Max(0,(255*PixelValue(x、y)old−Bn-1)/(255−Bn-1))))
であり、ただし、Max()関数は、単に、負の輝度値を有する新しいピクセルがないことを確実にするだけである。
次いで、新しく高められた画像は、第2フェーズで完全に再処理され、新しいセットの輪郭物体を獲得する。これは、8レベル輝度領域および輪郭物体を完全に再生成し、それらを再分類することを含む。しかし、この向上プロセスは、処理の第2フェーズから明らかに省略される。このステップは146で示され、図10Bに示されるように、画像上に仮想グリッド147を当初配置する。
アレイのカラムを見出すために、単一のヒストグラムが、円形物体の数の画像にわたって引かれ、x座標は各ヒストグラムセル内に入る。ヒストグラムセルは、1ピクセル幅である。ヒストグラムは、画像の幅にわたって続く。カラムを見出すときには、円形物体のy座標は無視される(類似プロセスを使用して列を見出すが、この場合は、ヒストグラムはアレイ下に引かれ、xおよびy座標の使用は逆にされる)。ドットがカラムに入る場合には、ヒストグラムは各カラムのピークを示す。
単に画像のドットが少なすぎてこれを可能にすることができないのでなければ、ピークを見て最良の一体化カラム分離を見出すことによって、グリッド上の各カラムの場所を識別することができる。ヒストグラムは、そのピークを確実に検出するために、滑らかさを必要とする。
ヒストグラムのピークが不鮮明である場合には、または、近い間隔の二重ピーク有する場合には、スライド画像はおそらくねじれている。アルゴリズム評価、テストおよびデバッグを補助するために、画像のオーバーレイとしてヒストグラムを引くのを補助してもよい。結果として、アレイの少なくともいくつかの列およびカラムの位置は公知であり、カラム分離および列分離を制定することができ、長さ転換スケールがアレイ設計とアレイ画像との間に展開されるのを可能にする。
各画像物体は、可能であれば、識別されたグリッド列の1つに割り当てられる。円形とフラグづけられ有効カラムにあるいずれの画像物体は、見出された列の1つに割り当てられ、それが特定の限定内に入ることを提供する。
様々な要因のため、列のねじれがカラムのねじれと同一であると仮定することは安全ではないことがわかり、言い換えると、ねじれはすべてが画像回転によるものではなく、画像歪曲の他の形態によるものもある。したがって、垂直および水平のねじれは、別個に取り除かれる。しかし、ねじれは線状であると仮定され、いずれの高次歪曲は補正されない。
見出された各グリッドカラムでは、そのカラムの傾斜は、そのカラムに入るとフラグづけられた画像物体のx、y座標へ、直線を適合させることによって識別される。この適合は、標準最小二乗法を使用して実行される。すべてのカラムの傾斜を平均して、画像用の平均垂直ねじれを見出す。ねじれ補正ステップは、フローチャートの150に例示される。列のねじれが見出され、類似の方法で補正される。
ひとたび画像がねじれ補正されると、高められたねじれ補正画像でもう1度、画像分析が繰り返され、画像区域および輪郭線を再形成し、画像物体を再分類する。明らかに、この第3フェーズでは、向上およびねじれ補正プロセスは省略される。
合理的な境界内のカラム列交差に入るこれらの円形画像物体は、ドットとして分類される。他の画像物体はドットとして分類されず、下記のプロセスで無視される。
先に生成された列およびカラムの分離を使用して、概算のXおよびYスケール(まったく異なっていてもよい)を生成する。次いで、これらのスケールを使用して、画像ピクセルをmmに転換することができ逆も可能であり、そのため、スライド定義の寸法を画像のアレイ部分の寸法に関係づけることができ、フローチャートのステップ152に示される。
スライドの最初および最後のカラムを使用して、アレイを保持する画像のその部分によって対するアレイ定義を位置づける。X座標はアレイの最初および最後のカラムから公知であり、それから、残りの内部カラムの座標を算定することができる。
図10Bに示されるように、仮想グリッドを備えた画像のオーバーレイが表示される。座標の中心は、最も近い画像データを見出すことによって各平面隅ドットへ位置づける。高められたねじれ補正画像は、円で囲まれた推論された隅ドットでオペレータへオーバーレイされる。次いで、オペレータは、不良品質画像のために隅ドットを位置づけられなかった場合に、隅ドットを位置づけるという選択肢を有する。ひとたびオペレータが最終ドットをクリックすると、位置を使用して、アレイの画像に対するスライド平面を可能にする。
新しい隅ドット位置を使用して、画像ピクセルとmmとの間のより正確な転換スケールを計算することが可能である。これによって、スライドのアレイ区域の平面を表す仮想グリッドがアレイの画像に対して正確に位置づけることを可能にし、そのため、各ドットはその自己のグリッド方形の中心にあるように見える。
ピクセルからmmへ転換する新しいxおよびyスケールは、適切な方向のピクセルにおける4つの隅ドットの中心のx−y座標の距離を、スライド定義(Slide Definition)から導き出されたアレイ平面上のこれらのドットのmm距離に対して比較することによって、計算される。
列の場合はより厳しいが、それは、アレイの頂部および底部の列が、左および右のカラムよりも独特ではないからであり、画像上にすべてをはっきり示さない漸次稀釈される抗体サブタイプを保持する。さらに、完全な頂部および底部の列は、流体、流体縁および波からの偽光、および/または、頂部または底部で開始するスライドからの漸次乾燥によって、ほとんど曖昧であることもあり、目に見えるドットをほとんど有さない列もあるため、すべての列が、初期のプロセスで識別されているわけではない。
したがって、異なるアルゴリズムを使用して、スライド平面を垂直方向の画像に対して整列配置させる。第1に、上記から派生した概算スケールを使用して、列分離をmmに転換する。次いで、スライド設計は、概念的には、画像上を垂直に上下に摺動し、(a)左および右の縁ドットとして認識される円形画像物体と、(b)平面の縁ドットとの間の最良適合を求める。これは、平面をスライド画像下に一時に1ピクセルずつ概念的に動かし、各画像ドットと平面上のその最も近い隣との間の総距離を合計することによって、単一の通過で反復して行われる。最短のそのような距離およびそのピクセルインデックスは、反復中に記録される。反復が完了したときには、この特定の場所は、アレイの画像に対してスライド設計を整列配置するための最良の推測である。
ドット読取エラーが検出される場合には、入力されたデータはスクリーンに残り、オペレータは、180に示されるように、画像を再走査するという選択肢を有する。
ステップ158で、識別されたように各ドットの平均補正強度を使用して計算された背景補正が実行される。強度値は、1つずつ読み取られる。図10Cに示されるように、ドットを含むグリッド平方ロケータにおける各ピクセルの0から255の画像強度から、ヒストグラム162が形成される。局所背景強度が見出され、ピクセル輝度レベルMとして規定される。Mは領域内のピクセルを2つのセットに分割し、すなわち、より暗いセットは、輝度がMより暗いか等しいすべてのピクセルを含み、より明るいセットBは、Mよりも明るいセットのすべてのピクセルを含む。セットAのピクセルの数は、セットBのピクセルの数に対して予め設定された割合を有し、典型的に50%である。
いずれのピクセルが局所背景(上記)の一部であるかを決定した後に、今や、各ドットの相対輝度を計算することは容易である。
プロセスは、計算された半径に基づいて、ドット領域内部のすべてのピクセルの画像強度を合計することによって開始する。アルゴリズムもまた、部分的にドット半径内部にあるピクセルの考慮を含み、ドット内部にあるピクセルの画分にしたがってわずかな部分のプロラタを蓄積する。合計された数(デルタ)は、ピクセル輝度から、上記に計算された局所背景輝度を引いたものをである。
次いで、ピクセル当たりのこの合計の平均値(内平均値(InnerAverageValue))は、画分部分を含むドット内部のピクセルの合計数で、合計を割ることによって、計算される。
次いで、ドット値(Dot Value)は、内平均値を取り、これを標準化して、局所背景上の最大可能輝度に対する割合として表すことによって、形成される。
ステップ164に示されるように、ひとたびドット値が識別され、図8に例示されるようにマトリックスに組み込まれると、ソフトウェアは、未知のドットパターンまたは分子プロファイルを、疾病シグネチャのライブラリから公知のコンセンサスパターンへ最良適合するために、反復アプローチを実行する。分子プロファイルを表すグラフ化および表化は、166で提供され、診断の基礎としてまたは序列法に基づいた予後決定の基礎として、コンセンサスパターンのライブラリに対して、最良に適合した分子プロファイルが確認される。不満足の場合には、分析が168で繰り返されてもよく、または、画像が180で再走査されてもよい。ひとたび適合した分子プロファイルが得られると、170に示されるように、診断レポートが印刷され、データは中央データベースに送られる。
広く説明されたように本発明の精神または範囲から逸脱せずに、特定の実施形態に示されたような本発明に対して、多数の修正および/または変形が行われてもよいことが、当業者によって認識される。従って、本実施形態は、あらゆる点において例示的なものであり、限定的なものではないことを考慮すべきである。
例えば、一定の例示的な試料材料が説明されているが、本発明は、特定の試料材料の分析に限定されないことが認識される。さらに、本発明は、診断または予後の適用に使用されることに限定されないことが認識される。
下記の特許請求の範囲においておよび本発明の開示において、言語または必要な含意を表現するために文脈によって別なものが必要とされる場合を除いて、「具備する」という単語は、「含む」という意味で使用され、すなわち、特定された特徴は、本発明の様々な実施形態のさらなる特徴に関連してもよい。
本発明の第1の実施形態の画像形成装置を例示する概略斜視図であり、ハウジングの一部は取り外されており、明確さのために選択された構成要素のみが示されている。 図1の画像形成装置の異なる図を例示する概略斜視図であり、ハウジングのいくつかは取り外されており、明確さのために選択された構成要素のみが示されている。 本発明を体現する画像形成装置に使用される例示的な試料スライドの斜視図を例示する概略図である。 図3の試料スライドの上部平面図である。 図2の画像形成装置の光学形態を例示する概略図である。 本発明の画像形成装置の第2の好適な実施形態を例示する概略斜視図である。 図5の画像形成装置の一部を形成するスライドトレイアセンブリの上部斜視図である。 図1および5の画像形成装置の正面図の概略図である。 図5の画像形成装置の機能ブロック図である。 本発明を体現するプロトタイプ画像形成装置を使用する試料スライドから取られた画像である。 本発明を体現する、パターンマッチングプログラムへ通るべき試料スライドからの情報を例示するデータアレイである。 異なる試料タイプ用に、図1および3の画像形成装置の光学形態を例示する概略図である。 本発明の画像導出および処理方法の実施形態において、画像を導き出し処理することに関与するステップを示すフローチャートである。 画像が滑らかで輪郭づけられている本発明の画像形成処理方法のステップを示す図である。 仮想グリッドが画像にオーバーレイするように配列されるさらなる処理ステップを示す図である。 図10Bの処理された画像の診断マーカーアレイの結合事象を表す平均強度を例示するヒストグラムを示す図である。

Claims (35)

  1. −試料スライドを担持するためのキャリアステージと、
    −前記試料スライドを照明するための光源であって、前記試料スライドは試料のアレイを含む光源と、
    −前記試料スライドの連続した部分が前記光源によって照明されるように、前記試料スライドに対して前記キャリアステージを動かすための駆動手段と、
    −使用の際に、前記試料スライドを通って伝達され前記試料スライドから出る前記光源からの光線に対してずれた角度で前記試料スライドから出る光線の前記連続した部分のみを実質的に捉えるように配置されて、前記試料スライドまたは試料のアレイの画像に再構築されるように配列された一連の部分的な画像を生成するデジタル光学カメラシステムと、
    を具備する画像形成装置。
  2. 前記光源は実質的に狭いビームを発するように配列された線状光源であり、それによって、照明される前記試料スライドの連続した部分は帯状部分であり、それによって、前記一連の部分的な画像は線状画像である請求項1記載の画像形成装置。
  3. 前記デジタル光学カメラシステムは、使用の際に、前記試料スライド上の試料の前記アレイで回折されるかまたは他のやり方で屈折される光線のみを実質的に受け取るように、配置される請求項1または2に記載の画像形成装置。
  4. 前記デジタルカメラシステムは、前記試料アレイによって回折されないかまたは他のやり方で屈折されない光線が、前記カメラシステムによって捉えられることを防止するために、弁別手段を含む請求項1乃至3のいずれか1項に記載の画像形成装置。
  5. 前記弁別手段は、ずれた角度で前記試料スライドから出る回折したかまたは他のやり方で屈折した光線を、前記カメラシステムの画像形成レンズへ向けて方向づけるように位置決めされた少なくとも1つのリフレクタを含む請求項4記載の画像形成装置。
  6. 前記デジタル光学カメラシステムは、線状画像を検知することができるラインスキャン可能カメラを含む請求項4または5に記載の画像形成装置。
  7. 前記デジタル光学カメラシステムは、使用の際に、前記試料スライド上の蛍光マーカーから発した光線を捉えるように、配置される請求項1乃至6のいずれか1項に記載の画像形成装置。
  8. 前記デジタル光学カメラシステムは、少なくとも2つのモードで操作するように配列され、すなわち、前記試料スライドの試料の前記アレイで回折したかまたは他のやり方で屈折した光線が前記カメラによって捉えられる回折または屈折モードと、試料の前記アレイ上の蛍光マーカーから発した光線が捉えられる蛍光モードと、である請求項1乃至7のいずれか1項に記載の画像形成装置。
  9. 前記デジタル光学カメラシステムは、前記駆動手段がキャリアステージを第1の方向に動かすときに前記屈折または回折モードで操作するように配列され、前記駆動手段が前記キャリアステージを第2の方向に動かすときに前記蛍光モードで操作するように配列される請求項8記載の画像形成装置。
  10. 前記光学カメラシステムは、スペクトルの可視部分および不可視部分の両方で光線を検出するように配列される請求項1乃至9のいずれか1項に記載の画像形成装置。
  11. 前記試料は、前記試料スライド上の結合パートナーに結合した細胞を含む請求項1乃至10のいずれか1項に記載の画像形成装置。
  12. 前記画像形成装置は、使用の際に前記キャリアステージが中に位置する試料採取コンパートメントと、電気構成要素コンパートメントと、を具備し、前記電気構成要素コンパートメントは、前記試料採取コンパートメントから流体封止され、それによって、使用の際に、前記電気構成要素コンパートメント内部の構成要素が前記試料採取コンパートメントから流体汚染されることは妨げられ、前記キャリアステージは、使用の際に、前記試料スライドからこぼれた流体を集めるために前記試料スライドの下に配置されたトレイ要素を含む請求項1乃至11のいずれか1項に記載の画像形成装置。
  13. 前記画像形成装置は、外部基準データベース、外部保存データベース、外部PC、および、外部プリンタの少なくとも1つを含むグループの装置へインタフェースするためのインタフェースユニットを含む請求項1乃至12のいずれか1項に記載の画像形成装置。
  14. 前記ラインスキャン可能カメラは、1ピクセルの幅を有する線状画像を走査するように適合されたラインスキャンカメラである請求項6記載の画像形成装置。
  15. 前記部分的な画像および前記再構築された画像は、暗視野画像である請求項1乃至14のいずれか1項に記載の画像形成装置。
  16. 比較目的のために、請求項1乃至15のいずれか1項に記載の画像形成装置と、試料の前記アレイを表す画像強度値を提供するために前記試料スライドまたは試料のアレイの画像を処理するためのプロセッサ手段と、を含む画像形成システム。
  17. 前記プロセッサ手段は、前記スライド上の各試料を位置づけるために且つ各試料の強度をスケールするために、前記スライド上の公知の基準試料を使用することによって、前記画像を標準化するように配列される請求項16記載のシステム。
  18. 前記プロセッサ手段は、公知の基準試料に基づいて基準マトリックスまたはグリッドを加えることによって各試料を位置づけるように配列され、スケールの範囲を制定するために基準試料を使用して前記グリッドの各方形内に前記試料の強度をスケールするように配列され、前記画像から標準化強度値を生成するようにさらに配列される請求項16または17に記載のシステム。
  19. 試料スライド上の試料を表す画像を導き出す方法であって、
    −試料のアレイを含む試料スライドを提供するステップと、
    −前記試料スライドをキャリアステージに装填するステップと、
    −前記試料スライドの少なくとも一部を照明するステップと、
    −前記試料スライドの連続した部分が光源によって照明されるように、前記試料スライドに対して前記キャリアステージを動かすステップと、
    −前記試料スライドから出る光線の連続した回折したかまたは他のやり方で屈折した部分のみを実質的に捉えて、試料の前記アレイの画像に再構築されるように配列された一連の部分的な画像を生成するステップと、
    を含む方法。
  20. 照明される前記試料スライドの連続した部分は、線状光源を使用することによって照明される帯状部分であり、それによって、前記一連の部分的な画像は、線状画像として捉えられる請求項19記載の方法。
  21. 前記試料スライド上の試料によってまたはそこで、回折したかまたは他のやり方で屈折した光線のみを実質的に捉えるステップを含む請求項19または20記載の方法。
  22. 前記試料は、前記試料スライド上の結合パートナーに結合した細胞を含む請求項19乃至21のいずれか1項に記載の方法。
  23. 前記試料スライド上の蛍光マーカーから発した光線を捉えるステップを含む請求項19乃至22のいずれか1項に記載の方法。
  24. 回折または屈折モードで発した光線と、前記蛍光マーカーから蛍光モードで発した光線と、の両方を捉えるステップを含む請求項23記載の方法。
  25. 第1の通過で前記回折または屈折モードで発した光線を捉え、第2の通過で前記蛍光モードで発した光線を捉えるステップを含む請求項24記載の方法。
  26. 前記第1の通過は第1の方向であり、前記第2の通過は第2の方向である請求項25記載の方法。
  27. 前記試料の生物学的状態および/または強度スケーリングを示すために、基準試料で回折したかまたは他のやり方で屈折した光線が、前記画像を導き出す間に捉えられるようなやり方で配置された基準試料を使用するステップをさらに含む請求項19乃至26のいずれか1項に記載の方法。
  28. 前記基準試料は基準試料結合パートナーであり、前記試料は細胞状結合事象である請求項27記載の方法。
  29. 分子プロファイルシグネチャのライブラリに匹敵する分子プロファイルに到達するために、前記再構築された画像を処理するステップを含む請求項19乃至28のいずれか1項に記載の方法。
  30. 各試料用に画像強度値を生成するステップと、輪郭線内の画像物体を識別する画像強度の輪郭マップを生成するステップと、前記物体上に仮想グリッドを配置するステップと、を含む請求項29記載の方法。
  31. 前記画像のねじれを補正するステップと、高められたグリッドを獲得するステップと、前記高められたグリッドからX−Y座標を計算するステップと、を含む請求項30記載の方法。
  32. 各試料用に平均補正強度を計算し、それによって、同一試料の少なくとも2つのセットが前記スライド上に設けられるステップと、基準試料および複製試料に基づいて各試料に関連した強度データを標準化するステップと、を含む請求項30または31記載の方法。
  33. 添付の図面を参照して実質的に本願に述べられた画像形成装置。
  34. 添付の図面を参照して実質的に本願に述べられた画像形成システム。
  35. 添付の図面を参照して実質的に本願に述べられた、試料スライド上の試料を表す画像を導き出す方法。
JP2006501387A 2003-02-28 2004-03-01 画像形成装置 Expired - Fee Related JP4633712B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AU2003900924A AU2003900924A0 (en) 2003-02-28 2003-02-28 Imaging device
PCT/AU2004/000264 WO2004077031A1 (en) 2003-02-28 2004-03-01 Imaging device

Publications (3)

Publication Number Publication Date
JP2006519365A true JP2006519365A (ja) 2006-08-24
JP2006519365A5 JP2006519365A5 (ja) 2007-02-15
JP4633712B2 JP4633712B2 (ja) 2011-02-16

Family

ID=31499970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006501387A Expired - Fee Related JP4633712B2 (ja) 2003-02-28 2004-03-01 画像形成装置

Country Status (11)

Country Link
US (1) US7680316B2 (ja)
EP (1) EP1604188A4 (ja)
JP (1) JP4633712B2 (ja)
KR (1) KR101071439B1 (ja)
CN (1) CN100557417C (ja)
AU (1) AU2003900924A0 (ja)
BR (1) BRPI0406959A (ja)
CA (1) CA2508846C (ja)
NZ (1) NZ540405A (ja)
WO (1) WO2004077031A1 (ja)
ZA (1) ZA200507598B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515019A (ja) * 2006-12-21 2010-05-06 バイオ−ラッド ラボラトリーズ,インコーポレイティド 二次元配列画像化
JP2013503351A (ja) * 2009-08-31 2013-01-31 バイオ−ラッド ラボラトリーズ インコーポレーティッド 小型自動セルカウンター
JP2015533508A (ja) * 2012-10-29 2015-11-26 ビオムリュ 生物種を観察する方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060246493A1 (en) * 2005-04-04 2006-11-02 Caliper Life Sciences, Inc. Method and apparatus for use in temperature controlled processing of microfluidic samples
US7858382B2 (en) * 2005-05-27 2010-12-28 Vidar Systems Corporation Sensing apparatus having rotating optical assembly
AT502854B1 (de) * 2005-11-30 2009-08-15 Oridis Biomed Forschungs Und E Verfahren und vorrichtung zur bestimmung der relevanz von probenarray-präparaten
US7528374B2 (en) * 2006-03-03 2009-05-05 Vidar Systems Corporation Sensing apparatus having optical assembly that collimates emitted light for detection
US8411896B2 (en) * 2006-12-21 2013-04-02 Cypress Envirosystems, Inc. Gauge reading device and system
US8165339B2 (en) * 2006-12-21 2012-04-24 Cypress Semiconductor Corporation Sense/control devices, configuration tools and methods for such devices, and systems including such devices
WO2009035702A1 (en) * 2007-09-14 2009-03-19 Cypress Semiconductor Corporation Digital image capture device and method
WO2009097147A1 (en) * 2008-01-30 2009-08-06 Cypress Systems Corporation Gauge monitoring methods, devices, and systems
GB0918462D0 (en) 2009-10-21 2009-12-09 Spd Swiss Prec Diagnostics Gmb Connection assembly and method
WO2012048372A1 (en) * 2010-10-11 2012-04-19 Medsaic Pty Ltd Assay for disease detection
KR101450577B1 (ko) * 2014-07-08 2014-10-15 목원대학교 산학협력단 가스 및 입자 검출 라이다용 가변 파장 분광기
CN104748684B (zh) * 2015-04-13 2017-04-05 北方工业大学 一种曲轴轴肩清根的视觉检测方法及装置
EP3563292A4 (en) 2016-12-30 2020-08-12 Leica Biosystems Imaging, Inc. LOW RESOLUTION SLIDE IMAGING AND SLIDE LABEL IMAGING AND HIGH RESOLUTION SLIDE IMAGING USING TWO OPTICAL PATHS AND A SINGLE IMAGING SENSOR
CN114441260A (zh) * 2017-11-27 2022-05-06 徕卡生物系统成像股份有限公司 载片架确定系统
WO2019108110A1 (en) * 2017-11-28 2019-06-06 Fingerprint Cards Ab Biometric imaging system and method of determining properties of a biometric object using the biometric imaging system
CN109060738A (zh) * 2018-07-06 2018-12-21 广州蓝勃生物科技有限公司 一种多波长荧光即时检测仪及其检测方法
KR102146299B1 (ko) * 2018-11-14 2020-08-20 바디텍메드(주) 다중진단 기능을 갖는 일체형 면역진단 형광 리더기
US20230160832A1 (en) * 2020-05-20 2023-05-25 Bsd Robotics Pty Ltd Biological sample quality apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131238A (ja) * 1998-10-22 2000-05-12 Fuji Photo Film Co Ltd シェーディング補正情報の取得方法および画像情報読取装置
JP2000241344A (ja) * 1999-02-22 2000-09-08 Hamamatsu Photonics Kk 透明基板上の表面検査装置
JP2002168787A (ja) * 2000-12-04 2002-06-14 Fuji Photo Film Co Ltd 画像読み取り方法および装置
JP2003028798A (ja) * 2001-07-11 2003-01-29 Olympus Optical Co Ltd 蛍光取得装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386112A (en) * 1990-06-29 1995-01-31 Dixon; Arthur E. Apparatus and method for transmitted-light and reflected-light imaging
US5377003A (en) * 1992-03-06 1994-12-27 The United States Of America As Represented By The Department Of Health And Human Services Spectroscopic imaging device employing imaging quality spectral filters
EP0797090A3 (en) 1996-03-19 1997-10-01 Texas Instruments Incorporated Integrally formed surface plasmon resonance sensor
US6111248A (en) 1996-10-01 2000-08-29 Texas Instruments Incorporated Self-contained optical sensor system
US5946083A (en) 1997-10-01 1999-08-31 Texas Instruments Incorporated Fixed optic sensor system and distributed sensor network
US6415235B1 (en) * 1996-11-06 2002-07-02 Texas Instruments Incorporated Fixed optic sensor system and distributed sensor network
WO1998037417A1 (en) * 1997-02-20 1998-08-27 The Regents Of The University Of California Plasmon resonant particles, methods and apparatus
US5898503A (en) 1997-03-19 1999-04-27 Texas Instruments Incorporated Surface plasmon resonance sensor with interchangeable optical element
NO306357B1 (no) * 1997-10-16 1999-10-25 Torstein Ljungmann Fargemaskin for preparering av vevspröver som er plassert pÕ objektglass
US6160618A (en) 1998-06-19 2000-12-12 Board Of Regents, The University Of Texas System Hyperspectral slide reader
US6111652A (en) 1998-07-14 2000-08-29 Texas Instruments Incorporated High throughput surface plasmon resonance analysis system
US6326612B1 (en) 1998-10-13 2001-12-04 Texas Instruments Incorporated System and method for optical sensing utilizing a portable, detachable sensor cartridge
EP1008956A1 (en) * 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
AU5875900A (en) * 1999-06-18 2001-01-09 Genomic Solutions, Inc. An automated, ccd-based microarray imaging system
EP1203214B1 (en) 1999-08-05 2005-11-09 Cellomics, Inc. Optical system analysis of cells
US6784982B1 (en) * 1999-11-04 2004-08-31 Regents Of The University Of Minnesota Direct mapping of DNA chips to detector arrays
AU773429B2 (en) * 1999-12-14 2004-05-27 University Of Miami Rapid tissue processor
US6594018B1 (en) 2000-02-01 2003-07-15 Texas Instruments Incorporated Miniature integrated multiple channel surface plasmon resonance liquid sensor
US7008794B2 (en) * 2000-03-22 2006-03-07 Axela Biosensors Inc. Method and apparatus for assay for multiple analytes
FR2807543B1 (fr) * 2000-04-06 2004-11-05 Imstar S A Appareil d'imagerie associe a une base de donnees images
US7098041B2 (en) * 2001-12-11 2006-08-29 Kimberly-Clark Worldwide, Inc. Methods to view and analyze the results from diffraction-based diagnostics
DE10215319A1 (de) * 2002-04-02 2003-10-30 Siemens Ag Gerät zur Beleuchtung einer zu untersuchenden Probenplatte
AU2003252253A1 (en) * 2002-07-26 2004-02-16 Olympus Optical Co., Ltd. Image processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131238A (ja) * 1998-10-22 2000-05-12 Fuji Photo Film Co Ltd シェーディング補正情報の取得方法および画像情報読取装置
JP2000241344A (ja) * 1999-02-22 2000-09-08 Hamamatsu Photonics Kk 透明基板上の表面検査装置
JP2002168787A (ja) * 2000-12-04 2002-06-14 Fuji Photo Film Co Ltd 画像読み取り方法および装置
JP2003028798A (ja) * 2001-07-11 2003-01-29 Olympus Optical Co Ltd 蛍光取得装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515019A (ja) * 2006-12-21 2010-05-06 バイオ−ラッド ラボラトリーズ,インコーポレイティド 二次元配列画像化
JP2013503351A (ja) * 2009-08-31 2013-01-31 バイオ−ラッド ラボラトリーズ インコーポレーティッド 小型自動セルカウンター
US9850517B2 (en) 2009-08-31 2017-12-26 Bio-Rad Laboratories, Inc. Compact automated cell counter
JP2015533508A (ja) * 2012-10-29 2015-11-26 ビオムリュ 生物種を観察する方法

Also Published As

Publication number Publication date
KR20050105176A (ko) 2005-11-03
EP1604188A1 (en) 2005-12-14
WO2004077031A1 (en) 2004-09-10
NZ540405A (en) 2007-02-23
EP1604188A4 (en) 2007-05-02
AU2003900924A0 (en) 2003-03-13
CA2508846C (en) 2012-09-04
CA2508846A1 (en) 2004-09-10
CN1748138A (zh) 2006-03-15
US20060238846A1 (en) 2006-10-26
US7680316B2 (en) 2010-03-16
ZA200507598B (en) 2006-12-27
KR101071439B1 (ko) 2011-10-10
CN100557417C (zh) 2009-11-04
JP4633712B2 (ja) 2011-02-16
BRPI0406959A (pt) 2006-01-10

Similar Documents

Publication Publication Date Title
JP4633712B2 (ja) 画像形成装置
KR101539016B1 (ko) 면역분석 검사 방법
JP3559975B2 (ja) 試験片を用いる分析方法
AU758339B2 (en) Agglutination assays
US20060170918A1 (en) Detection Apparatus and Detection Method for Plasmon Resonance and Fluorescence
EP3446170B1 (en) lMAGING SYSTEM WITH ANCILLARY lMAGE DETECTOR FOR SAMPLE LOCATION
JP5830535B2 (ja) 免疫測定用試験ストリップコーム部材を分析するためのシステムおよび方法
JP5480263B2 (ja) 符号化認識を有する分析システム
JP2019537011A (ja) 試料の溶血、黄疸、脂肪血症、又は正常性を検出する方法、装置及び品質チェックモジュール
CN107076964A (zh) 基于图像的激光自动聚焦系统
RU2011127424A (ru) Разбиение образца на оптические срезы и регистрация частиц в образце
EP0588969A1 (en) Optical imaging for agglutination detection
CN110178014A (zh) 用于使用图案照明表征样本的方法和设备
JP2020516885A (ja) 検体評価中にラベル補正する方法及び装置
TW202208850A (zh) 篩檢試紙讀取系統
US20220299445A1 (en) Screening Test Paper Reading System
TWI755755B (zh) 用於測試生物樣本的裝置
AU2004215328B2 (en) Imaging device
CA2475191A1 (en) System and method for rapid reading of macro and micro matrices
JP2004184379A (ja) マイクロアレイの読取方法
KR20190128302A (ko) 복수 종류의 타겟 물질의 분석이 가능한 다중 분석 장치
EP4216170A1 (en) Instrument parameter determination based on sample tube identification
WO2024020305A2 (en) Analyzer having a transparent shield for protecting an imaging system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100105

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100305

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees