JP2014504763A - 顕微鏡スライドの座標系の位置合わせ - Google Patents

顕微鏡スライドの座標系の位置合わせ Download PDF

Info

Publication number
JP2014504763A
JP2014504763A JP2013550455A JP2013550455A JP2014504763A JP 2014504763 A JP2014504763 A JP 2014504763A JP 2013550455 A JP2013550455 A JP 2013550455A JP 2013550455 A JP2013550455 A JP 2013550455A JP 2014504763 A JP2014504763 A JP 2014504763A
Authority
JP
Japan
Prior art keywords
image
reference image
imaging station
processing device
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013550455A
Other languages
English (en)
Other versions
JP5775606B2 (ja
Inventor
ザーニサー,マイケル
ザーニサー,ラッセル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Constitution Medical Inc
Original Assignee
Constitution Medical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Constitution Medical Inc filed Critical Constitution Medical Inc
Publication of JP2014504763A publication Critical patent/JP2014504763A/ja
Application granted granted Critical
Publication of JP5775606B2 publication Critical patent/JP5775606B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20041Distance transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

さまざまな撮像ステーションの座標をマッピングするためのシステム、方法、およびコンピュータプログラム製品が説明される。いくつかの実現化例では、生物標本(112)における細胞(たとえば、赤血球)を用いて、撮像ステーション(120a、120b)間のマッピング情報を定めることができる。細胞の使用により、一方の撮像ステーション(120b)により取得されたターゲット画像(たとえば、生物標本における細胞の部分領域の画像)が、他方の撮像ステーション(120a)により取得された基準画像(たとえば、部分領域を同様に含む、生物標本における細胞のより大きい領域の画像)にパターン整合される。ターゲット画像が一旦基準画像に整合されると、ターゲット画像と基準画像との間の点毎の対応(すなわち座標)が、撮像ステーションをマッピングする座標変換を算出するために確立され得る。

Description

本願の主題は一般に、画像処理に関する。
背景
顕微鏡光学部品と、カメラと、電動ステージと、コンピュータ制御システムとを含む自動撮像システムは、顕微鏡スライド上に堆積された生物標本から細胞の画像を自動的に取得できる。このシステムは次に、対象の細胞を識別するためにこれらの画像を処理する場合がある。これらの細胞は、たとえば、そのような細胞のより高倍率の画像を取得するために、またはある対象の細胞を手動での再調査用に提示するために、後で再訪する必要があるかもしれない。この再訪は、別の撮像ステーション上で起こることが多い。第1の撮像ステーションで見つかった対象の細胞に対応するステージ場所に対し、この第2の撮像ステーションは、まさしくそれらの細胞の位置をさらなる再調査用に再度特定しなければならない。
これら2つの撮像ステーションの座標系が同じであったならば、第2のステーションはそのステージを、第1の撮像ステーション上の細胞について報告されたステージ位置に動かすだけでよく、その細胞は第2の撮像ステーションで視野の中心となったであろう。しかしながら、ステージ毎の違い、もしくはある特定の撮像ステーションにスライドがどのように装填されまたは固定されるかにおける誤りにより、2つの異なる撮像ステーション上の同じステージ座標は往々にして、撮像ステーション光学部品用の視野に提示された標本の異なる領域に対応する。スライドが、撮像ステーションの可動ステージ上に置かれる際に、スライドホルダに対して若干斜めになったりまたは適正に積み重ねられなかった場合、エラーが起こり得る。また、ステージホームスイッチの誤りにより、ステージの公称ゼロ位置が日ごとに次第に変化する場合、エラーが起こり得る。この種の小さいエラーは劇的な影響を与える。なぜなら、第2の撮像ステーション上のより高倍率の視野は、標本全体にわたって10分の1ミリ未満であり得るためである。その量の半分のエラーでさえ、画像から対象の細胞をずらすのに十分である。したがって、各スライドについて、スライド位置付けにおけるあらゆるエラーを測定し補正することが、有利である。
伝統的に、撮像システムにおいて、または手動での再調査用に使用される顕微鏡スライドには、ステージとは独立したスライド用の標準座標系を確立する1つ以上の「基準マーク」が印刷されている。撮像ステーションの各々で、撮像システムはスライド上のこれらのマークの位置を特定し、それらの座標の差が、第1の撮像ステーションからの座標を第2の撮像ステーション用の座標に変換するために適用可能な変換を求めるために使用される。この方法は有効であるが、スライド上に印刷された特殊なマークを必要とし、それは、場合によってはスライド製造コストを増加させる。加えて、この方法は多くの時間を必要とする。なぜなら、画像において基準マークの位置を特定する前にいくつかの場所を探すことが必要となるかもしれないためである。これは特に、高倍率の場合、困難である。なぜなら、より低い倍率を使用する撮像ステーションに比べ、視野がより小さいためである。したがって、顕微鏡スライド上の予め印刷された基準マークを使用することなく、ある撮像ステーション上の対象の物体または視野用のステージ座標を他の撮像ステーション用の座標に変換する方法およびシステムが、必要とされている。
概要
基板上に堆積された生物試料の細胞を用いて、2つ以上の撮像ステーションのステージ座標間の座標変換を求めるシステム、方法、およびコンピュータプログラム製品が説明される。第1の撮像ステーション上にスライドが装填される。第1の撮像ステーションは細胞の画像を取得し、基準画像として使用するある画像を選択する。コンピュータはこれらの基準画像を、第1の撮像ステーションがこれらの基準画像を取得したステージ座標とともに記憶する。スライドは次に、第1の撮像ステーションよりも高倍率で画像を取得可能な第2の撮像ステーション上に装填される。第2の撮像ステーションは、第1の撮像ステーションが基準画像を取得したステージ座標で第2の画像を取得する。
このため、2つの撮像ステーションのステージが完全に整合していたならば、第2の画像は、基準画像の中心にあったのと同じ細胞を中心としたであろう。より典型的には、2つのステージの座標系には若干の不整合があり、第2の画像は、基準画像の中心からずれたあたりに見つかる細胞を中心としている。基準画像の倍率は分かっているので、第1のステーション上のそれらの細胞のステージ座標を求めることができる。このため、第2のシステム上のそれらの細胞のステージ座標が、第1のシステム上のそれらのステージ座標に整合される。このプロセスは、基準画像の各々について繰返される。このようにして求められた対応する座標の対を用いて、第1のステーション上の任意の場所(たとえば、対象の細胞の場所)を第2のステーション上の正しい場所に変換する数学的変換を計算してもよい。
何らかのエラー原因を最小限に抑えるために、より大きい1組の可能な候補から基準画像を選択するための方法も提示される。これは、細胞物質がない大きい区画を有していない基準画像を識別することを含み、それは、第1の撮像ステーションに比べてより高倍率で取得された場合、空白の第2の画像をもたらすかもしれない。加えて、開示された方法は、数学的変換をできるだけ正確なものとするために、間隔を十分にあけ、かつ同一線上にないスライドの領域から、基準画像を選択する。加えて、第2の画像を基準画像に効率よく整合させるための方法が開示されている。
いくつかの実現化例では、第1の撮像ステーションでの対象の物体用の座標に基づいて、第2の撮像ステーションでの対象の物体の位置を再度特定するための方法が提供される。この方法は、第1の撮像ステーション上の標本の基準画像と、第2の撮像ステーション上の標本の第2の画像とを含む、第1の対の画像を取得するステップと、基準画像および第2の画像の双方に現われる細胞群を識別するステップと、基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標を求めるステップと、第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標を求めるステップと、第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換するアフィン変換を計算するステップとを含み得る。
いくつかの実現化例では、第1の撮像ステーションと第2の撮像ステーションとを含むシステムも提供され、第1の撮像ステーションは、第1の撮像ステーション上の標本の基準画像を取得し、第2の撮像ステーションは、第2の撮像ステーション上の標本の第2の画像を取得し、基準画像および第2の画像の双方に現われる細胞群を識別し、基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標を求め、第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標を求め、第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換するアフィン変換を計算する。
この発明の1つ以上の実施例の詳細を、添付図面および以下の説明で述べる。この発明の他の特徴、目的ならびに利点は、説明および図面から、ならびに請求項から明らかとなるであろう。
さまざまな図面における同じ参照符号は、同じ要素を示す。
生物標本撮像システムの一例を示す図である。 複数の基準マークを含む顕微鏡スライドの拡大図である。 2つの異なる撮像ステーションによって同じ領域の細胞から取得した画像の図である。 低倍率で取得した画像の一例を示す図である。 高倍率で取得した画像の一例を示す図である。 低倍率で取得した画像に、高倍率で取得した画像を、さまざまな領域で重ね合わせた図である。 高倍率で取得した画像によってマスキングされた等高線図上の3つの領域を示す図である。 第2の画像を求めることができる画像の一例を示す図である。 図4Aに示す画像よりもカバレージ得点が高い画像の一例を示す図である。 各領域から1つの基準画像が選択可能である、3つの区画が規定された走査区域の一例を示す図である。 走査区域の中心でマスキングされた領域を示す図である。 第1の撮像ステーションに関連する座標を第2の撮像ステーションに関連する座標にマッピングする座標変換を求めるためのプロセスの一例を示す図である。 図1に示す生物学的スクリーニングシステムの一部として、またはそれに加えて形成可能なコンピューティング装置の一例を示す図である。
詳細な説明
システム概要
図1Aは、コンピュータ130によって制御される生物標本撮像システム100の一例を示す。コンピュータ130は、中央処理装置(CPU)132と、ハードドライブ134と、メモリ136と、従来公知の他のハードウェア構成要素(たとえば、通信インターフェイス)とを含む。コンピュータ130は、低倍率撮像ステーション120aおよび高倍率撮像ステーション120bと、コンピュータと撮像ステーションとの間の標準ハードウェア接続を用いる公知の通信プロトコルを介して通信可能である。この通信能力により、コンピュータ130は、ステージ128aおよび128bに、水平面の異なる(x,y)位置に動くよう指令し、対物レンズ126aおよび126bを顕微鏡スライド110の表面に対して縦軸の上下に動かし、また、カメラ124aおよび124bから取込まれた画像を受信するようになる。
システム100は、顕微鏡スライド110上に堆積された生物標本112の画像を取込み、処理することができる。たとえば、生物標本112は、スライド110の表面上の血球の薄い単層を含んでいてもよい。画像取込ステップは、第1の撮像ステーション120aが、低出力の対物レンズ126aの下で、スライド110上に堆積された標本全体を走査することで始まる。コンピュータ130は、標本の低倍率走査から得られた複数の基準画像を選択する。加えて、コンピュータ130は、低倍率画像を処理して、第2の撮像ステーション120bに含まれるようなより高出力の対物レンズ126bの下での撮像を必要とする対象の物体を識別することができる。
第1の撮像ステーション120aに関連して行なわれる走査ステップ、画像取込ステップ、および画像処理ステップの完了後、自動輸送システム(図1には図示せず)がスライド110を高倍率撮像ステーション120bに移動させる。第1の撮像ステーション120aで得られた基準画像の各々について、高倍率撮像ステーション120bはスライド110を、第2のステージ128bを介して、第1の撮像ステーションが基準画像を取込んだステージ座標に移動させて、第2の画像を取得する。以下により詳細に説明されるように、またスライド110上に堆積された標本のさまざまな特徴を用いて、コンピュータ130は第2の画像を基準画像に整合させて、基準画像と第2の画像との間の画素オフセットを、第1の撮像ステーション120a(第1のステージ128a)および第2の撮像ステーション120b(第2のステージ128b)の座標系間のオフセット値(たとえば、ミクロン単位)に変換する。
基準画像および第2の画像の倍率値は分かっているので、コンピュータ130はオフセット値をミクロン単位の距離に変換することができる。一例として、システム100は、第1の撮像ステーション上のステージ座標(54000μm,18000μm)で標本112の基準画像を取得する。システムが第2の撮像ステーションで同じ座標で第2の画像を取得すると、コンピュータ130は、第2の画像が、基準画像の場所の中心より下に200画素、右に300画素の場所に整合すると判断する。基準画像が画素毎に0.88μmの倍率を有する場合、このオフセットはミクロン単位(たとえば、264μm、176μm)に変換可能である。これは、第1のステーション上の座標(54000μm,18000μm)にあった細胞を撮像するには、第2のステーションはそのステージを(54264μm、18176μm)の座標に移動させなければならない、ということを意味する。
システム100は、コンピュータによって選択された残りの基準画像のいずれについてもこのプロセスを完了し、以下により詳細に述べるように、コンピュータ130は、(第1の撮像ステーション120aおよび第1のステージ128aの)第1の座標系を(たとえば、第2の撮像ステーション120bおよび第2のステージ128bの)第2の座標系にマッピングするアフィン変換を計算する。その後、第1の撮像ステーション上で座標が記された細胞の画像を取得する必要がある場合、システム100は、第2の撮像ステーション上で同等のステージ座標を得るために、この変換をそれらの座標に適用する。
スライド走査概要
ある用途では、生物標本112は、細胞の単層としてスライド110上に堆積され、たとえば、その開示が全体としてここに引用により援用される「全血球計算および白血球差分を求める方法」(Method of Determining a Complete Blood Count and a White Blood Cell Differential)と題された同時係属中の米国出願第12/430,885号に開示されたシステムの一実施例によって準備される血液試料を含み得る。1つ以上の固定ステップ、染色ステップ、濯ぎステップ、および/または乾燥ステップの後で、自動輸送システムまたは検査技師が、スライド110を低倍率撮像ステーション120aの第1のステージ128a上に装填する。コンピュータ130は次に、第1のステージ128aに、標本の所望の場所が低出力対物レンズ126aの真下に位置付けられるようにスライド110を動かすよう指令する。
対物レンズ126aを通したカメラ124aの「視野」は、カメラ124aが1つ以上の画像において取込んだスライド110上の標本の領域を含む。システム100の一実施例では、低出力対物レンズ126aは、10倍の対物レンズと、画像をその元のサイズの50%に縮小可能な、低出力対物レンズ126aとカメラ124aとの間の追加の光学部品(図示せず)とを含む。カメラ124aは、1624×1224画素のCCDアレイを含み、アレイにおける各画素は4.4μm×4.4μmである。このため、第1の撮像ステーション120aについての視野寸法は、以下の[1]のように計算可能である。
標準の顕微鏡スライドは、約1インチ×3インチ、または25400μm×76200μmという寸法を有する。したがって、撮像システム100は、生物標本112を含むスライド110の部分をカバーするために、数枚の画像を取得しなければならない。ある特定の用途が標本全体の撮像を必要とする場合、走査プロセスは、第1のステージ128aが低出力対物レンズ126aの下に生物標本112の1つの角を位置付けることで始まり得る。第1のステージ128aは次に、カメラ124aの視野の幅(たとえば、1429μm)と等しい分、「X」方向に段階的に移動可能であり、各段階で1つ以上の画像が取得されてもよい。たとえば、各場所で、カメラ124aは一連の画像を異なる焦点高さおよび/または異なる照明色で取込むことができる。生物標本112の幅全体が走査されると、第1のステージ128aは、カメラ124a用の視野の高さ(たとえば、1077μm)と等しい量、「Y」方向に移動可能である。カメラ124aが生物標本112の他方の端に達するまで第1のステージ128aを反対の「X」方向に同じ段階量だけ段階的に移動させることにより、新しい一連の画像が同様に取得可能である。システム100はこのプロセスを、カメラ124aがスライド110上の生物標本112全体を撮像するまで繰返す。
上述の走査プロセスでは、システム100は、生物標本112の画像を数百枚以上取得可能である。これらの画像を用いて標本に対してある測定を行なって、より高倍率で再訪すべき標本の領域またはある対象の細胞を選択し、第1の撮像ステーション120aからのステージ座標を第2の撮像ステーション120bにマッピングするための1つ以上の基準画像を識別する。たとえば、システム100は、第1の撮像ステーション120aで得た画像を用いて、標本中の赤血球および白血球を数えることができる。加えて、システム100は、さらなる分類のために高倍率で再訪すべき白血球集団の一部を選択してもよい。
低倍率撮像ステーション120aでスライド110が一旦走査されると、スライド110は第2の撮像ステーション120bに移動可能である。カメラ124bは、対物レンズ126aに比べてより高倍率の対物レンズ126bと連携して、第1の撮像ステーションのカメラ124aよりも小さい視野を有するであろう。たとえば、倍率レンズ126bとしての50倍の対物レンズと、640×480画素のCCDを含むカメラ124bとを用いると、第2の画像ステーションでの画素サイズは7.4μmである。このため、第2の撮像ステーション120bでの視野の寸法は[2]として計算され得る。
上述のように、低倍率走査中に撮像された標本112上の1つ以上の対象の場所または細胞を、第2の撮像ステーション120b上で再訪することができる。第2の撮像ステーション120bでの画像取得プロセスを加速するために、コンピュータ130は、第2の撮像ステーション120bで標本のフル走査を行なう代わりに、ステージ128bに、スライド110を動かして標本112上のそれらの特定の場所のみを画像取込用に提示するよう指令してもよい。このため、第2の撮像ステーション120bは、カメラ124bが、第1の撮像ステーションで行なわれた走査中に識別された所望の対象の場所または細胞の画像を取得するように、カメラ124bの視野に対してスライド110を位置付けなければならない。そのような場所または細胞の座標は、第1の撮像ステーション120aの第1のステージ128aの座標系において分かっているので、システムは、まさしくそれらの細胞を正確に再度撮像するために、これらの座標を第2の撮像ステーション120bの第2のステージ128bの座標にマッピングしなければならない。このため、システム100は、2つの座標系(たとえば、第1の撮像システム120aの座標系および第2の撮像システム120bの座標系)間の差を求めて、第2の撮像ステーションで選択された場所を撮像する際にそのような差を勘案しなければならない。さまざまな要因がこの差に影響を与えるため、この差は通常、製造中に1回測定してシステム100のコンピュータ130に記憶させることができない。代わりに、システム100は、スライド110が第1の撮像ステーション120および第2の撮像ステーション120b上で撮像されるたびに、この差を新たに測定する。この測定プロセスは通常、標本112用の基準画像を選択することによって始まる。
基準画像の選択
コンピュータ130は、標本112の低倍率走査中に取得した1つ以上の画像を選択して、第1の撮像ステーション120aと第2の撮像ステーション120bとの間でステージ座標をマッピングするための基準画像210として使用する。適切な細胞数を有する基準画像を選択することは、第2の撮像ステーション120bで取得した、倍率が増大した第2の画像220へのはっきりした整合を行なうのに十分な情報を、基準画像210が含むことを確実にする(たとえば、少なくとも3個または4個の細胞)。また、基準画像210に示された標本の部分は、第1の撮像ステーション120aと第2の撮像ステーション120bとの間のスライド位置付けエラーまたは座標オフセットの、すべてではないにしろ大部分よりも大きい。たとえば、低倍率の視野が1429μm×1077μmである場合、第2の撮像ステーションでのスライド位置は、基準画像座標で取得した第2の画像220が基準画像210内に見える細胞を含まないためには、2分の1ミリよりも大きい必要があるであろう。何らかの位置付けエラーが起こり得るため、第2の画像220は実際、基準画像210の任意の部分と整合し得る。
コンピュータ130は、第1の撮像ステーションで取得した画像にカバレージ得点を割当てて、そのような画像が基準画像として使用するのに受入れ可能かどうかを評価することができる。図4Aは、標本112の低倍率走査中に取込まれた基準画像候補400を示す。画像400は、図4Aに示すように、画像上に格子を重ね合わせることによって、一連のより小さい領域へと分割されてもよい。この例では、格子サイズは8×6個の正方形であるが、細胞カバレージを評価するための他の格子サイズまたは他の方法が可能である。図4Aは、基準画像候補が、細胞を含まない2つの格子正方形404aおよび404bと、細胞のごく一部を含む3つの追加の格子正方形406a、406bおよび406cとを含むことを示している。この例では、コンピュータ130は画像400に−5というカバレージ得点を割当てる。すなわち、格子正方形のうちの5個が受入れ不能である。
図4Bは、図4Aに示す画像よりもカバレージ得点が高い基準画像候補410を示す。画像410における各格子正方形は少なくとも数個の細胞を含んでおり、したがって、システム100は画像410にゼロというカバレージ得点を割当てる(すなわち、画像410は空白の格子正方形を含んでいない)。画像410は画像400よりも高いカバレージ得点値を有するため、システム100は、基準画像を選択する際、画像400よりも画像410を好むであろう。
基準画像候補の細胞カバレージを評価するために他の測定基準または他の採点慣例が使用されてもよいということを、当業者であれば理解するであろう。たとえば、システム100は、細胞で100%満たされた領域に比べ、50%満たされた画像の領域により高い得点を割当ててもよい。細胞で100%満たされた領域では、細胞があまりにも密に詰まっていて、システムは個々の細胞を区別できないかもしれず、それは、スライド上に堆積された標本内のまったく空の領域と同じくらい、位置合わせアルゴリズムにとって問題となり得る。
受入れ可能なカバレージを有する基準画像を選択するだけではなく、コンピュータ130は、選択された基準画像が互いに十分に間隔をあけていることも確実にすることができる。加えて、3つ以上の基準画像を選択する場合、システム100は、標本112の同一線上にない領域から基準画像を選択することができる。システム100が標本112上の互いに近過ぎる点から基準画像を選択したならば、基準画像場所の近傍の外側の標本領域に座標変換測定値を外挿する際に、基準画像場所の測定における小さい誤りが拡大されたであろう。
この発明の実施例は有利には、位置合わせ用に評価された基準画像候補の数を最小限に抑え、ひいては、標本112の低倍率走査中に取込んだ全画像を基準画像候補用に保存するというシステム100に対する負担を軽減する。コンピュータ130は、基準画像を識別するための標本112のある走査領域を予め選択することができる。以下により詳細に説明されるように、コンピュータ130は、標本112の3つの異なる区画を、ある特定の区画を有する画像場所が標本112の他の2つの領域における基準画像場所から十分な距離離れるように規定することができる。
しかしながら、前述のプロセスは、3つの基準画像が互いに非常に接近して選択されるかもしれないという可能性を排除できないであろう。なぜなら、システム100は、3つの領域510a、510b、および510cが集束する点に最も近い、走査区域500の中心近くの基準画像を選択するかもしれないためである。したがって、図5Bに示すように、システム100は走査区域500の中心の領域をマスキングして、3つの領域510a、510b、および510cを走査区域500の縁に沿った領域に制限することができる。マスキングされた領域540が走査区域500と同じ中心および同じアスペクト比を有する場合、マスキング領域外の3つの領域510は、面積が依然として等しい。このマスキング手法は、標本112の走査区域500上で基準画像が間隔を十分にあけていることを確実にするためにシステム100が採用し得る1つの方法である。
上述の低倍率走査中、システム100は、3つの領域510a〜510cの各々において最も高いカバレージ得点を有する画像を追跡してもよい。図5Bに示すように、正方形512a、512b、および512cは、走査区域500全体に対するカメラ124aの視野を表わす。標本112の低倍率走査中に3つの領域510a〜510cのうちの1つから新しい画像が取得されると、コンピュータ130は、その画像についてのカバレージ得点を計算する。カバレージ得点がその領域での現在最良の画像よりもよい場合、システム100はその画像を新しい画像と置き換える。このように、システム100は、低倍率走査中に取得した全画像を保存する代わりに、各領域からの最良の画像のコピーを基準画像用に保存するだけでよい。図5Aおよび図5Bに示すような走査区域500の分割は単なる例示であり、走査区域500を3つの領域に分離するための、または基準画像を選択するための他の方法の使用を除外しない。
低倍率撮像ステーション120a上でスライド110が完全に走査されると、選択された画像およびそれらのそれぞれの座標が、高倍率撮像ステーション120bでスライド110を撮像する際に使用するために、メモリ136またはハードドライブ134に保存され得る。
星座状の位置合わせ
第2の撮像ステーション120bで、コンピュータ130は撮像ハードウェアに、低倍率走査中に識別された基準画像場所に対応するステージ座標で画像を取得するよう指令する。コンピュータ130は次に、スライド110上に堆積された標本112の基準画像210の一部に高倍率画像を位置合わせする整合プロセスを行なう。画像同士を整合させた後で、システム100は、第1の撮像ステーション120aおよび第2の撮像ステーション120bの2つの座標系間の差を計算して、低倍率走査中に識別されたスライド110上の選択された場所を、第2の撮像ステーション120bのより高い倍率で撮像する際に、そのような差を勘案することができる。
基準画像に高倍率画像を位置合わせする際、この発明の実施例は有利には、撮像された細胞の円形形状およびほぼ同等のサイズに依拠することができる。細胞は外観が似ているため、細胞の中心点のパターンが、細胞群を特徴付けるのに十分である。これは、よく知られた星座が、星々の間でほとんど変わらない輝度および色といった特徴によってではなく、その構成する星々の配置によってどのように認識されるかということに似ている。点のパターンを整合させるための多くの公知のアルゴリズムがあることを、当業者であれば認識するであろう。これらの多くは、それらの点の回転および摂動を十分に補償する。しかしながら、細胞の位置合わせのこの場合、位置合わせされる画像は、著しく回転されたり歪んだりする可能性が小さく、図3に示すようにより簡単なアルゴリズムが使用され得る。
システム100は高倍率画像340を処理して、細胞の中心点(たとえば、図3BのXで印された342c、344c、346c)と、背景領域の奥深くにある点(図3BのOで印された342b、344b、346b)とを識別する。点のこのパターンは次に、図3Cに示すように基準画像330のさまざまな場所で重ね合わされる。352aなどのよく整合している場所では、パターンの細胞中心点は基準画像の細胞内に良好に収まり、パターンの背景点は基準画像の背景領域の細胞から良好に外れている。352bなどのそれほど理想的ではない場所は、細胞または背景領域に正しく位置するパターンの点を依然として有するものの、図3Cに示すように細胞または背景領域の縁にずっと近くなっている。352cなどのよくない整合は、細胞および背景領域に適正に位置する点が少ない。基準画像330の可能な各場所で点のこのパターンとの整合を行なうことにより、システムは最もよく整合する場所を識別するか、または、どの場所もよく整合していないため、ターゲット画像340は基準画像330では見えない細胞を含むと判断することができる。
ターゲット画像340からの点のパターンが基準画像330の領域にどのくらいよく整合しているかを評価する場合、システムは、それらの点が細胞または背景領域の縁にどのくらい近いかに基づいて、得点を計算できる。基準画像330から、コンピュータ130は、細胞の縁の点(たとえば、図3Bの点342a、344a、346a、または図3Cの画像フレーム352bの整合指標X)がゼロの値を有し、細胞内の点が縁からの距離に対応する値を有し、細胞外の点が縁からの距離の負の数である値を有する、距離変換と呼ばれるスカラー場を構築する。このため、細胞中心点(たとえば、図3Cに示す画像フレーム352aの342c、344c、および346c)は正の極大であり、背景奥の点(deep background point)(たとえば、図3Cに示す画像フレーム352aの342b、344b、および346b)は負の極小である。ターゲット画像340からの点のパターンが基準画像のさまざまな場所で重ね合わされる場合、図3Dに示すような良好な整合用の距離変換スカラー場は、大きな正の値を有する場所に細胞中心パターン点(X)を各々有し、大きな負の値を有する場所に背景奥のパターン点(O)を各々有するであろう。したがって、各場所の整合得点は、細胞中心パターン点でのフィールド値を単に合計し、そこから背景奥のパターン点でのフィールド値を減算することによって算出可能である。図3Dに示す場所についての得点を、以下の表1に示す。
実際には、ターゲット画像340は数個の細胞、たとえば10〜40個の細胞を含むであろう。したがって、整合パターンは40個もの細胞中心点と40個もの背景奥の点とを含み得る。検査される大抵の場所については、これらの場所のすべてを合計する必要はない。各種の最も顕著な点のいくつかのみをまず合計すれば、大抵の場所の得点は、残りの距離変換値を合計することが必要ないほど十分に低いということが分かるであろう。パターン点がターゲット画像340の距離変換の極大および極小として識別される場合、最も顕著な点は負の最小および正の最大である。その際、整合得点に意味のある値をほとんどまたは全く提供しないものを含む、走査画像におけるあらゆる組の点に、パターン整合プロセスを進める必要はなく、それによりパターン整合プロセスは、整合得点の信頼性に影響を与えることなく加速される。
座標変換
システムが一旦、第2の撮像ステーションからの画像における細胞の位置を特定し、そのような細胞を第1の撮像ステーションで取得した基準画像における場所に整合させると、コンピュータ130は、第2の撮像ステーション上のそれらの細胞の座標を計算できる。コンピュータは、基準画像における画素の分かっているミクロン単位のサイズを用いてこの計算を行なう。すべての基準画像場所についてこのプロセスを繰返して、コンピュータは、2つの異なる撮像ステーション上で同じ細胞の位置を特定するいくつかの対の座標を得る。コンピュータは次に、第1の撮像ステーションの座標を第2の撮像ステーションの座標にマッピングするアフィン変換を計算できる。一実施例では、第1の撮像ステーション120aおよび第2の撮像ステーション120bは、カメラ124aおよび124bの軸がステージ128aおよび128bの軸とそれぞれ整列するように、予め較正される。変換はその場合、第1の撮像ステーション上で細胞が観察された座標に加算して、それらの細胞が第2の撮像ステーション上で見つかる座標を得るための一定のオフセットに過ぎない。
コンピュータ130が3つの異なる基準画像について整合点を求めた一例では、結果は、各々(第1のX,第1のY)および(第2のX,第2のY)の形をした3つの対のステージ座標を含み得る。これら3つの対の座標を仮定すると、1組の座標を他の組にマッピングする変換は、[4]によって与えられ得る。
この変換行列を仮定すると、第1のステージ128aからの1組の座標は、[5]によって与えられ得るような行列乗算により、第2のステージ128b用の1組の座標にマッピングされ得る。
例示的なプロセス
図6は、図1の撮像システム100について説明したような、顕微鏡スライド上に堆積されて第1の撮像ステーションで撮像された対象の細胞についての座標を、第2の撮像ステーションに関連する座標に位置合わせするためのプロセス600の一例を示す。プロセス600は、スライド110上に堆積された生物標本112の第1の撮像ステーション(たとえば、低倍率撮像ステーション120a)での画像分析を行ない、次に、第1の撮像ステーションからの基準画像を用いて、第2の撮像ステーション(たとえば、高倍率撮像ステーション120b)上で選択された物体の位置を再度特定して、第1のステージ(たとえば低倍率撮像ステーション120aの第1のステージ128a)および第2のステージ(たとえば、高倍率撮像ステーション120bの第2のステージ128b)の座標間で変換を行なうために使用可能である。この例では、標本112は、スライド110上に堆積された血球の薄い単層を含む。
いくつかの実現化例では、第1の撮像ステーションは、標本112を含むスライド110を受ける。いくつかの実現化例では、これは自動スライド装填機構によって行なわれ得る。
図6を参照して、602で、第1の撮像ステーション上の標本の基準画像と、第2の撮像ステーション上の標本の第2の画像とを含む、第1の対の画像が取得され得る。いくつかの実現化例では、第1の撮像ステーション120aの撮像ハードウェアが、スライド上の複数の場所を走査し、1つ以上の場所からの画像が基準画像候補として保存される。以下の説明において数字を簡略化するために、この例のシステムの第1の撮像ステーション120aは1000μm×1000μmの視野を有し、画素サイズは1μmである。また、標本112を含むスライド110の走査区域は5000μm×5000μmであり、走査区域の左上の角はμm単位のステージ座標(50000,10000)を有する。システム100が標本112の第1の画像を取得すると、第1の画像はステージ位置(50500,10500)に中心があり、そのため、第1の画像の左上の角の画素(0,0)はステージ場所(50000,10000)に対応し、第1の画像の右下の画素(999,999)はステージ場所(50999,10999)に対応する。
コンピュータ130は、第1のステージ129aを第1の場所に動かすよう指令を送り、焦点画像を取得する。コンピュータ130は次に、画像における赤血球の数を求めつつ、白血球も識別してその位置を特定する。この例では、標本112は、画像座標(200,800)、(500,400)、および(900,700)に白血球を含む。これらの画像座標は、高倍率撮像ステーション120bで再訪するためのステージ座標、すなわち(50200,10800)、(50500,10400)、および(50900,10700)への最終的な変換用に保存され得る。
1つ以上の基準画像候補のカバレージ得点に基づいて、1枚の基準画像が選択される。前述したように、基準画像候補のカバレージは、たとえば、画像に格子を重ね合わせて空の格子正方形の数を数えることによって評価され得る。この例では、コンピュータ130は、第1の基準画像候補において3つの格子正方形が空であると判断し、したがってコンピュータ130は、3というカバレージ得点を基準画像候補に割当てる。第1の基準画像について他の選択肢がまだ存在しないため、この基準画像候補およびカバレージ得点は、画像場所(50500,10500)とともに記憶される。
コンピュータ130は、第1の撮像ステーションで撮像されたスライド110上の次の場所について、前述のプロセスを繰返す。試料がラスタパターンで走査される場合、次のステージ場所は(51500,10500)となり得る。画像の左上の角はステージ場所(51000,10000)に対応でき、それは前の場所の右上の角(50999,10000)にすぐ隣接している。すなわち、2つの画像が並んで配置されている場合、これら2つの画像は、標本112の1枚の連続するより大きい画像を形成する。このように、システム100は、標本112の複数の画像を取得することによって走査区域全体をカバーすることができる。第2の基準画像候補について、画像処理およびカバレージ分析が繰返され得る。この例では、第2の基準画像候補はカバレージ検査において(第1の基準画像候補の3個に比べ)空の格子正方形を2つしか有していない。したがって、第2の基準画像候補は、第1の基準画像用の前の基準画像候補を置き換え、新しい基準画像場所が2というカバレージ得点とともに(51500,10500)に記憶され得る。この実施例では、全部で25個の走査場所について、前述のプロセスが繰返され得る。このプロセスの終わりで、システム100は、基準画像を識別するために選択された予め定められた各走査区域につき1つずつ、3つの基準画像を識別している。
システム100は、たとえば自動スライド輸送機構によって、スライド110を第2の撮像ステーション上へと輸送する。この例では、第2の撮像ステーションは、画素サイズが0.1μmである、100μm×100μmの視野を有する。
第2の撮像ステーションは、第1の撮像ステーションが基準画像を取得したのと同じステージ座標で、第2の画像を取得する。たとえば、ステージは第1の基準場所(51500,10500)に動かされ得る。この場所で、システムは第2の画像を取得する。それは次に、この第2の画像の中心に見える細胞の位置を特定するために、基準画像を探索する。1つ以上の第2の画像を得るために、1つ以上の追加の基準場所が走査され得る。
604で、基準画像および第2の画像の双方に現れる細胞群が識別され得る。いくつかの実現化例では、細胞群を識別するために、システム100は、第2の画像用の1組の整合指標を作り出す。たとえば、1組の整合指標は、第2の画像における物体中心点に対応する第1の整合指標と、第2の画像における背景中心点に対応する第2の整合指標とを含む。前述のように、整合指標「X」は、基準画像における基準細胞内のさまざまな場所を表わすために使用可能であり、整合指標「O」は、基準細胞に近接する空白領域を表わすために使用可能である。
第2の画像は、基準画像内のある場所に整合され得る。整合が見つかるまで、システムは、画像を取得して取得画像を基準画像のある位置に整合させようと試みることにより、前述のプロセスを繰返す。整合しなかった場合、システムは、たとえば、第1の場所からステージを外向きに螺旋状に段階的に移動させることによって整合する場所が見つかるまで、探索を継続する。
606で、基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標が求められ得る。同様に、608で、第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標が求められ得る。第2の撮像ステーションによって取得された第2の画像が、画素座標(900,300)上に中心がある基準画像の領域と整合すると仮定する。基準画像の1つの画素は1μmであるため、第2のステージ上のステージ座標(51500,10500)は、第1のステージ上のステージ座標(51900,10300)に対応する。
第2の画像と基準画像内のある場所との整合を判断した後、610で、第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換する座標変換が計算され得る。前述のように、これはアフィン変換行列を計算することによって行なわれ得る。上に挙げた例を用いると、変換は単に、第1のステージの座標に(−400,200)を加算して、第2のステージ上の同じ細胞の座標を得るであろう。
システムがより高倍率で再訪する必要がある、低倍率走査中に識別された残りの場所について、コンピュータ130は、第1の撮像ステーションの座標を、第2の撮像システムの第2のステージの座標系に変換する。たとえば第1の画像における白血球は、ステージ座標(50200,10800)、(50500,10400)、および(50900,10700)に位置している。これらの座標は、第2のステージの座標系である(49800,11000)、(50100,10600)、および(50500,10900)に変換可能である。コンピュータ130は次に、撮像ハードウェアに、これらの座標の各々に第2のステージを動かすよう命令し、また、低倍率走査中に他の画像が処理された場合には、以前にリストに追加された他の座標に第2のステージを動かすよう命令することができる。各場所で、1つ以上の高倍率画像を取得し、画像処理を行なうことが可能である。たとえば、低倍率で選択された白血球をさらに撮像し分析して、白血球のそれぞれの種類を判断することができる。
一般的なコンピュータシステム
図7は、ここに説明する主題を実現するために、生物学的スクリーニングシステム100の一部として、またはそれに加えて形成可能なコンピューティング装置700の一例を示す。たとえば、撮像ステーション118a/118b、サーバ120、および再調査ステーション122の各々は、たとえばさまざまな命令またはルーチンを実行するためにコンピューティング装置700を含み得る。コンピューティング装置700は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータといったさまざまな形態のデジタルコンピュータを表わし得る。
図7に示すように、コンピューティング装置700は、プロセッサ702と、メモリ704と、記憶装置706と、メモリ704および複数の高速拡張ポート710に接続する高速インターフェイス708と、低速拡張ポート714および記憶装置706に接続する低速インターフェイス712とを含み得る。プロセッサ702、メモリ704、記憶装置706、高速インターフェイス708、高速拡張ポート710、および低速インターフェイス712の各々は、さまざまなバスを用いて相互接続されており、共通のマザーボード上に、または他の態様で、適宜搭載され得る。プロセッサ702は、高速インターフェイス708に結合されたディスプレイ716などの外部入出力装置上にGUI用の図形情報を表示するためにメモリ704または記憶装置706に記憶された命令を含む、コンピューティング装置700内の実行用命令を処理することができる。他の実現化例では、複数のメモリおよび複数の種類のメモリとともに、複数のプロセッサおよび/または複数のバスを適宜使用することができる。また、複数のコンピューティング装置を、必要な動作の一部を各装置が提供する状態で(たとえば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとして)接続することができる。
メモリ704は、コンピューティング装置700内の情報を記憶する。いくつかの実現化例では、メモリ704は揮発性メモリユニットである。いくつかの実施例では、メモリ704は不揮発性メモリユニットである。メモリ704はまた、磁気ディスクまたは光ディスクといった別の形態のコンピュータ読取可能媒体であってもよい。
記憶装置706は、コンピューティング装置700用の大容量記憶を提供可能である。いくつかの実現化例では、記憶装置706は、フロッピー(登録商標)ディスク装置、ハードディスク装置、光ディスク装置、もしくはテープ装置、フラッシュメモリまたは他の同様の固体メモリ装置、もしくはストレージエリアネットワークまたは他の構成の装置を含む装置のアレイといったコンピュータ読取可能媒体であってもよく、もしくはそのようなコンピュータ読取可能媒体を含んでいてもよい。命令は情報担体に記憶可能である。命令は、1つ以上の処理装置(たとえば、プロセッサ702)によって実行される際、上述のような1つ以上の方法を行なう。命令はまた、コンピュータまたはマシン読取可能媒体などの1つ以上の記憶装置(たとえば、メモリ704、記憶装置706、またはプロセッサ702上のメモリ)によって記憶可能である。
高速インターフェイス708は、コンピューティング装置700用の帯域幅集約型の動作を管理し、一方、低速インターフェイス712は、より低い帯域幅集約型の動作を管理する。機能のそのような割当は単なる例示である。いくつかの実現化例では、高速インターフェイス708はメモリ704、ディスプレイ716に(たとえばグラフィックプロセッサまたはアクセラレータを通して)結合され、また高速拡張ポート710に結合され、それはさまざまな拡張カード(図示せず)を受入れ可能である。その実現化例では、低速インターフェイス712は、記憶装置706および低速拡張ポート714に結合される。さまざまな通信ポート(たとえば、USB、Bluetooth(登録商標)、イーサネット(登録商標)、無線イーサネット)を含み得る低速拡張ポート714は、キーボード、ポインティング装置、スキャナなどの1つ以上の入出力装置、もしくは、スイッチまたはルータなどのネットワーキング装置に、たとえばネットワークアダプタを介して結合され得る。
コンピューティング装置700は、図面に示すような多くの異なる形態で実現可能である。たとえば、それは標準サーバ720として実現可能であり、または多くの場合そのようなサーバのグループで実現可能である。加えて、それはラップトップコンピュータ722などのパーソナルコンピュータで実現可能である。それはまた、ラックサーバシステム724の一部としても実現可能である。また、これに代えて、システム全体が、互いに通信する複数のコンピューティング装置で構成可能である。
ここに説明するシステムおよび手法のさまざまな実現化例は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合せで実現可能である。これらのさまざまな実現化例は、ストレージシステム、少なくとも1つの入力装置、および少なくとも1つの出力装置との間でデータおよび命令を授受するために結合された、専用または汎用であり得る少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムでの実現化例を含み得る。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても公知)は、プログラマブルプロセッサ用のマシン命令を含んでおり、高レベルの手続き型および/またはオブジェクト指向型プログラミング言語で、および/またはアセンブリ/マシン言語で実現可能である。ここに使用されるように、マシン読取可能媒体およびコンピュータ読取可能媒体という用語は、マシン命令をマシン読取可能信号として受信するマシン読取可能媒体(たとえば、持続性コンピュータ読取可能媒体)を含む、プログラマブルプロセッサにマシン命令および/またはデータを提供するために使用されるあらゆるコンピュータプログラム製品(たとえば、持続性コンピュータ読取可能媒体)、機器および/または装置(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置(PLD))を指す。マシン読取可能信号という用語は、プログラマブルプロセッサにマシン命令および/またはデータを提供するために使用されるあらゆる信号を指す。
命令のプログラムの実行用の好適なプロセッサは、たとえば、汎用および専用マイクロプロセッサの双方と、あらゆる種類のコンピュータの単独のプロセッサまたは複数のプロセスのうちの1つとを含む。一般に、プロセッサは、読出専用メモリまたはランダムアクセスメモリまたはそれら双方から、命令およびデータを受信するであろう。コンピュータの本質的要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリとである。一般に、コンピュータはデータファイルを記憶するための1つ以上の大容量記憶装置も含み、またはそれと通信するよう作動的に結合されるであろう。そのような装置は、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、および光ディスクを含む。コンピュータプログラム命令およびデータを明白に具現化するのに好適な記憶装置は、EPROM、EEPROM、およびフラッシュメモリ装置などの半導体メモリ装置、内部ハードディスクおよびリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ならびにCD−ROMディスクおよびDVD−ROMディスクを例として含む、あらゆる形態の不揮発性メモリを含む。プロセッサおよびメモリは、ASIC(特定用途向け集積回路)によって補充されてもよく、またはASICに一体化されてもよい。
ユーザとの相互作用を提供するために、ここに説明されたシステムおよび手法は、ユーザに情報を表示するための表示装置(たとえば、CRT(ブラウン管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザがコンピュータに入力を提供できるようにするキーボードおよびポインティング装置(たとえば、マウスまたはトラックボール)とを含むコンピュータ上で実現可能である。ユーザとの相互作用を提供するために、他の種類の装置も同様に使用可能であり、たとえば、ユーザに提供されるフィードバックは、あらゆる形態の感覚的フィードバック(たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザからの入力は、音響入力、音声入力、または触覚入力を含むあらゆる形態で受信されてもよい。
ここに説明されたシステムおよび手法は、(たとえばデータサーバとしての)バックエンド構成要素を含む、または(たとえばアプリケーションサーバとしての)ミドルウェア構成要素を含む、またはフロントエンド構成要素(たとえば、ユーザがここに説明されたシステムおよび手法の一実現化例と相互作用できるようにするグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステムで、もしくはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せで実現可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(たとえば、通信ネットワーク)によって相互接続可能である。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、およびインターネットを含む。
コンピューティングシステムは、クライアントとサーバとを含み得る。クライアントおよびサーバは一般に互いから離れており、通常、通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、コンピュータプログラムがそれぞれのコンピュータ上で実行され、クライアントとサーバとの関係を互いに有することによって生じる。
いくつかの実現化例をこれまで詳細に説明してきたが、他の変更例も可能である。たとえば、クライアントアプリケーションは代表(delegate)にアクセスするとして説明されているが、他の実現化例では、代表(delegate)は、1つ以上のサーバ上で実行中のアプリケーションといった、1つ以上のプロセッサにより実現される他のアプリケーションによって採用されてもよい。
加えて、図面に示した論理フローは、望ましい結果を達成するために、図示された特定の順序、または連続する順序を必要とはしない。加えて、説明されたフローに対し、他のステップが設けられてもよく、またはステップが除外されてもよく、説明されたシステムに対し、他の構成要素が追加されてもよく、または除去されてもよい。したがって、他の実現化例は、添付の請求項の範囲内にある。
この明細書は多くの具体例を含んでいるが、これらは、請求され得る範囲に対する限定として解釈されるべきではなく、むしろ、特定の実現化例に特有であり得る特徴の説明として解釈されるべきである。この明細書において別々の実現化例の文脈で説明されたいくつかの特徴を、単一の実現化例において組合せて実現してもよい。逆に、単一の実現化例の文脈で説明されたさまざまな特徴を、複数の実現化例において別々に、または好適に部分的に組合せて実現してもよい。さらに、特徴はある組合せで作用するとして上述され、そのようなものとして当初請求される場合もあるが、請求される組合せからの1つ以上の特徴は、場合によっては、その組合せから削除されてもよく、請求される組合せは、部分的組合せに、または部分的組合せの変形に向けられてもよい。
同様に、図面には動作がある特定の順序で示されているが、これは、望ましい結果を達成するために、そのような動作を図示された特定の順序で、または連続する順序で行なうこと、もしくは図示されたすべての動作を行なうことを必要とすると理解されるべきではない。状況によっては、マルチタスキングおよび並行処理が有利となる場合がある。また、上述の実現化例におけるさまざまなシステム構成要素の分離は、すべての実現化例においてそのような分離を必要とすると理解されるべきではない。
この発明の多くの実施例を説明してきた。にもかかわらず、この発明の精神および範囲を逸脱することなく、さまざまな変更がなされ得ることが理解されるであろう。したがって、他の実施例は添付の請求項の範囲内にある。

Claims (27)

  1. 第1の撮像ステーションでの対象の物体用の座標に基づいて、第2の撮像ステーションでの対象の物体の位置を再度特定するための方法であって、前記方法は、
    第1の撮像ステーション上の標本の基準画像と、第2の撮像ステーション上の標本の第2の画像とを含む、第1の対の画像を取得するステップと、
    基準画像および第2の画像の双方に現われる細胞群を識別するステップと、
    基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標を求めるステップと、
    第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標を求めるステップと、
    第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換するアフィン変換を計算するステップとを含む、方法。
  2. 第1の撮像ステーションで取得された基準画像と、第2の撮像ステーションで取得された第2の画像とを含む、第2の対の画像を取得するステップと、
    第2の対の画像について、基準画像および第2の画像の双方に現われる細胞群を識別するステップと、
    第1の撮像ステーションおよび第2の撮像ステーション上の、第2の対の画像に関連する細胞群のステージ座標を求めるステップと、
    第1および第2の対の画像に基づいてアフィン変換を計算するステップとをさらに含む、請求項1に記載の方法。
  3. 第1の対の画像を取得するステップは、第1の撮像ステーションでの標本の走査中に得られた複数の基準画像候補から基準画像を選択するステップを含む、請求項1に記載の方法。
  4. 複数の基準画像候補の各々に適合性得点を割当てるステップと、
    最も高い適合性得点を有する基準画像候補を基準画像として選択するステップとをさらに含む、請求項3に記載の方法。
  5. 適合性得点を割当てるステップは、基準画像内から取得された予め定められたサイズの画像が一意的に識別可能な細胞を含む確率に対応する得点を割当てるステップを含む、請求項4に記載の方法。
  6. 適合性得点を割当てるステップは、
    各基準画像候補を複数の画像区域に区分化するステップと、
    各画像区域において細胞がない区域の数を識別するステップと、
    識別された数に基づいて適合性得点を割当てるステップとを含む、請求項4に記載の方法。
  7. 第1の撮像ステーションで、走査中に得られた標本の走査区域内の複数の予め定められた領域の各々から、複数の基準画像候補を取得するステップをさらに含む、請求項3に記載の方法。
  8. 標本の走査区域を等しい楔型区分に分割するステップと、
    各楔型区分から走査区域の中心部分を除去するステップとを含む、複数の予め定められた領域を識別するステップをさらに含む、請求項7に記載の方法。
  9. 基準画像で識別された細胞群を第2の画像が含んでいない場合、第2の撮像ステーションで、第2の画像に近い場所で、1つ以上の追加の画像を取得するステップをさらに含む、請求項1に記載の方法。
  10. 基準画像および第2の画像の双方に現われる細胞群を識別するステップは、
    第2の画像から細胞中心点の配置を識別するステップと、
    第2の画像からの細胞中心点の配置を、基準画像における細胞中心点の配置と比較するステップとをさらに含む、請求項1に記載の方法。
  11. 第2の画像から背景奥の点の配置を識別するステップと、
    第2の画像からの背景奥の点の配置を、基準画像における背景奥の点の配置と比較するステップとをさらに含む、請求項10に記載の方法。
  12. 第2の画像からの細胞中心点および背景奥の点の配置を基準画像と比較するステップは、
    基準画像に対して、細胞中心点および背景奥の点の配置を、2つ以上のオフセットに位置づけるステップと、
    2つ以上のオフセットの各々について整合得点を算出するステップと、
    整合得点に基づいて、オフセットについての整合を判断するステップとを含む、請求項11に記載の方法。
  13. 各オフセットについて整合得点を算出するステップは、
    基準画像の距離変換を算出するステップと、
    細胞中心点の配置用に、距離変換値の第1の合計を計算するステップと、
    背景奥の点の配置用に、距離変換値の第2の合計を計算するステップと、
    整合得点を算出するために、第1の合計から第2の合計を減算するステップとを含む、請求項12に記載の方法。
  14. システムであって、
    データ処理装置と、
    データ処理装置とデータ通信し、命令を記憶するメモリとを含み、前記命令はデータ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせ、前記動作は、
    第1の撮像ステーション上の標本の基準画像と、第2の撮像ステーション上の標本の第2の画像とを含む、第1の対の画像を取得することと、
    基準画像および第2の画像の双方に現われる細胞群を識別することと、
    基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標を求めることと、
    第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標を求めることと、
    第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換するアフィン変換を計算することとを含む、システム。
  15. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    第1の撮像ステーションで取得された基準画像と、第2の撮像ステーションで取得された第2の画像とを含む、第2の対の画像を取得することと、
    第2の対の画像について、基準画像および第2の画像の双方に現われる細胞群を識別することと、
    第1の撮像ステーションおよび第2の撮像ステーション上の、第2の対の画像に関連する細胞群のステージ座標を求めることと、
    第1および第2の対の画像に基づいてアフィン変換を計算することとを含む、請求項14に記載のシステム。
  16. 前記命令は、データ処理装置に、第1の撮像ステーションでの標本の走査中に得られた複数の基準画像候補から基準画像を取得させる、請求項14に記載のシステム。
  17. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    複数の基準画像候補の各々に適合性得点を割当てることと、
    最も高い適合性得点を有する基準画像候補を基準画像として選択することとを含む、請求項16に記載のシステム。
  18. 適合性得点は、基準画像内から取得された予め定められたサイズの画像が一意的に識別可能な細胞を含む確率に対応する得点を含む、請求項17に記載のシステム。
  19. 前記命令は、データ処理装置に、
    各基準画像候補を複数の画像区域に区分化させ、
    各画像区域において細胞がない区域の数を識別させ、
    識別された数に基づいて適合性得点を割当てさせる、請求項17に記載のシステム。
  20. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    第1の撮像ステーションで、走査中に得られた標本の走査区域内の複数の予め定められた領域の各々から、複数の基準画像候補を取得することを含む、請求項16に記載のシステム。
  21. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    標本の走査区域を等しい楔型区分に分割することと、
    各楔型区分から走査区域の中心部分を除去することとを含む、複数の予め定められた領域を識別することを含む、請求項20に記載のシステム。
  22. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    基準画像で識別された細胞群を第2の画像が含んでいない場合、第2の撮像ステーションで、第2の画像に近い場所で、1つ以上の追加の画像を取得することを含む、請求項14に記載のシステム。
  23. 前記命令は、データ処理装置に、
    第2の画像から細胞中心点の配置を識別させ、
    第2の画像からの細胞中心点の配置を、基準画像における細胞中心点の配置と比較させる、請求項14に記載のシステム。
  24. メモリは、データ処理装置によって実行可能であり、そのような実行の際、データ処理装置に以下の動作を行なわせる命令をさらに含み、前記動作は、
    第2の画像から背景奥の点の配置を識別することと、
    第2の画像からの背景奥の点の配置を、基準画像における背景奥の点の配置と比較することとを含む、請求項23に記載のシステム。
  25. 前記命令は、データ処理装置に、
    基準画像に対して、細胞中心点および背景奥の点の配置を、2つ以上のオフセットに位置づけさせ、
    2つ以上のオフセットの各々について整合得点を算出させ、
    整合得点に基づいて、オフセットについての整合を判断させる、請求項24に記載のシステム。
  26. 前記命令は、データ処理装置に、
    基準画像の距離変換を算出させ、
    細胞中心点の配置用に、距離変換値の第1の合計を計算させ、
    背景奥の点の配置用に、距離変換値の第2の合計を計算させ、
    整合得点を算出するために、第1の合計から第2の合計を減算させる、請求項25に記載のシステム。
  27. 1つ以上のプロセッサにより実行されると、1つ以上のプロセッサに以下の動作を行なわせる命令を記憶した、コンピュータ読取可能媒体であって、前記動作は、
    第1の撮像ステーション上の標本の基準画像と、第2の撮像ステーション上の標本の第2の画像とを含む、第1の対の画像を取得することと、
    基準画像および第2の画像の双方に現われる細胞群を識別することと、
    基準画像が取得されたステージ座標から、第1の撮像ステーション上の細胞群のステージ座標を求めることと、
    第2の画像が取得されたステージ座標から、第2の撮像ステーション上の細胞群のステージ座標を求めることと、
    第1の撮像ステーションのステージ座標を第2の撮像ステーションのステージ座標に変換するアフィン変換を計算することとを含む、コンピュータ読取可能媒体。
JP2013550455A 2011-01-18 2011-01-18 顕微鏡スライドの座標系の位置合わせ Active JP5775606B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/021546 WO2012099574A1 (en) 2011-01-18 2011-01-18 Microscope slide coordinate system registration

Publications (2)

Publication Number Publication Date
JP2014504763A true JP2014504763A (ja) 2014-02-24
JP5775606B2 JP5775606B2 (ja) 2015-09-09

Family

ID=44625059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013550455A Active JP5775606B2 (ja) 2011-01-18 2011-01-18 顕微鏡スライドの座標系の位置合わせ

Country Status (9)

Country Link
EP (2) EP2666050B1 (ja)
JP (1) JP5775606B2 (ja)
KR (1) KR101781670B1 (ja)
CN (1) CN103430077B (ja)
AU (1) AU2011355697B2 (ja)
CA (1) CA2825040C (ja)
ES (1) ES2851391T3 (ja)
HK (1) HK1192014A1 (ja)
WO (1) WO2012099574A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099370A (ja) * 2014-11-18 2016-05-30 オリンパス株式会社 顕微鏡システム
KR20200133898A (ko) * 2019-05-21 2020-12-01 신한대학교 산학협력단 의료진단용 세포검체분석장치 및 그 장치의 구동방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2796917A1 (en) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
AU2016314704A1 (en) * 2015-09-02 2018-02-22 Providence Health & Services - Oregon Image processing systems and methods for displaying multiple images of a biological specimen
CN106291897A (zh) * 2016-08-23 2017-01-04 宁波江丰生物信息技术有限公司 一种组织切片扫描装置以及组织切片扫描方法
CN106331411A (zh) * 2016-08-23 2017-01-11 宁波江丰生物信息技术有限公司 一种数字切片制作装置
CN109643453B (zh) * 2016-08-31 2023-06-27 分子装置有限公司 用于基于模板的图像分析的系统和方法
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
CN110892247B (zh) 2017-08-17 2023-08-25 雅培医护站股份有限公司 用于执行光学和电化学测定的设备、系统和方法
US10896316B2 (en) * 2019-02-04 2021-01-19 Tokitae, LLC Automated microscopy scanning systems and methods
CN110208190A (zh) * 2019-07-17 2019-09-06 四川沃文特生物技术有限公司 一种用于显微镜镜检追踪的方法及系统
CN110736747B (zh) * 2019-09-03 2022-08-19 深思考人工智能机器人科技(北京)有限公司 一种细胞液基涂片镜下定位的方法及系统
CN113125434A (zh) * 2019-12-31 2021-07-16 深圳迈瑞生物医疗电子股份有限公司 图像分析系统和控制拍摄样本图像的方法
CN113066121A (zh) * 2019-12-31 2021-07-02 深圳迈瑞生物医疗电子股份有限公司 图像分析系统和识别重复细胞的方法
CN114125261A (zh) * 2020-09-01 2022-03-01 深圳迈瑞生物医疗电子股份有限公司 可移动装置运动校准的方法、图像分析装置和分析系统
CN112505083B (zh) * 2020-11-20 2023-01-31 北京工业大学 扫描电镜内原位蠕变与疲劳测试点追踪定位方法及系统
EP4356100A1 (en) * 2021-06-15 2024-04-24 Ruby Robotics Inc. Sample processing systems, methods, and devices
AU2023263579A1 (en) * 2022-05-04 2024-01-25 Peter Cumpson System and method for analysis of specimens

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284186A (ja) * 1999-03-31 2000-10-13 Sapporo Breweries Ltd 観察装置の位置設定手段における座標変換方法及び座標変換手段を備える観察装置
JP2001283190A (ja) * 2000-03-30 2001-10-12 Fuji Photo Film Co Ltd 画像処理装置
JP2005181312A (ja) * 2003-12-19 2005-07-07 Palo Alto Research Center Inc サンプル媒体上のレチクルマークを用いて、希少細胞のスキャナ画像座標を顕微鏡座標に変換する方法
JP2009175334A (ja) * 2008-01-23 2009-08-06 Olympus Corp 顕微鏡システム、画像生成方法、及びプログラム
WO2010143420A1 (ja) * 2009-06-12 2010-12-16 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996009598A1 (en) * 1994-09-20 1996-03-28 Neopath, Inc. Cytological slide scoring apparatus
EP1410004A2 (en) * 2000-11-17 2004-04-21 Molecular Diagnostics, Inc. Evaluation of microscope slides
DE10336803A1 (de) * 2003-08-11 2005-03-24 Leica Microsystems Wetzlar Gmbh Verfahren und System zur geräteunabhängigen Bestimmung von Koordinaten eines mittels eines Mikroskops abgebildeten Punktes
CN101194263B (zh) * 2005-06-13 2012-02-22 三路影像公司 利用显微镜成像装置再定位载片上样品中的目标的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000284186A (ja) * 1999-03-31 2000-10-13 Sapporo Breweries Ltd 観察装置の位置設定手段における座標変換方法及び座標変換手段を備える観察装置
JP2001283190A (ja) * 2000-03-30 2001-10-12 Fuji Photo Film Co Ltd 画像処理装置
JP2005181312A (ja) * 2003-12-19 2005-07-07 Palo Alto Research Center Inc サンプル媒体上のレチクルマークを用いて、希少細胞のスキャナ画像座標を顕微鏡座標に変換する方法
JP2009175334A (ja) * 2008-01-23 2009-08-06 Olympus Corp 顕微鏡システム、画像生成方法、及びプログラム
WO2010143420A1 (ja) * 2009-06-12 2010-12-16 株式会社ニコン 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200700695005; 富永 大介: '細胞アレイのための大規模画像処理システムの開発' 情報処理学会研究報告 Vol.2007 No.21 , 20070305, p.57-62, 社団法人情報処理学会 *
JPN6015000871; 富永 大介: '細胞アレイのための大規模画像処理システムの開発' 情報処理学会研究報告 Vol.2007 No.21 , 20070305, p.57-62, 社団法人情報処理学会 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099370A (ja) * 2014-11-18 2016-05-30 オリンパス株式会社 顕微鏡システム
KR20200133898A (ko) * 2019-05-21 2020-12-01 신한대학교 산학협력단 의료진단용 세포검체분석장치 및 그 장치의 구동방법
KR102227604B1 (ko) 2019-05-21 2021-03-12 신한대학교 산학협력단 의료진단용 세포검체분석장치 및 그 장치의 구동방법

Also Published As

Publication number Publication date
CA2825040A1 (en) 2012-07-26
HK1192014A1 (zh) 2014-08-08
KR20140006891A (ko) 2014-01-16
WO2012099574A1 (en) 2012-07-26
JP5775606B2 (ja) 2015-09-09
ES2851391T3 (es) 2021-09-06
CN103430077A (zh) 2013-12-04
AU2011355697B2 (en) 2015-07-30
CN103430077B (zh) 2016-03-16
EP2666050A1 (en) 2013-11-27
CA2825040C (en) 2018-06-12
EP2666050B1 (en) 2020-12-16
KR101781670B1 (ko) 2017-09-25
AU2011355697A1 (en) 2013-05-02
EP3800495A1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
JP5775606B2 (ja) 顕微鏡スライドの座標系の位置合わせ
US10068126B2 (en) Microscope slide coordinate system registration
JP4420821B2 (ja) 組織学的アセスメント
US9064304B2 (en) Image quality assessment of microscopy images
KR102140385B1 (ko) 골수 판독을 위한 셀존 레이블링 장치 및 이를 포함하는 셀존 검출 시스템
KR20170139590A (ko) 콜로니 콘트라스트 수집
US9253449B2 (en) Mosaic picture generation
JP2011238228A (ja) スクリーン領域検知方法及びシステム
JP2009175334A (ja) 顕微鏡システム、画像生成方法、及びプログラム
KR20140045331A (ko) 현미경 이미징에서의 빠른 오토-포커스
CN111508032B (zh) 相机标定过程中特征点的排序方法
CN109001902B (zh) 基于图像融合的显微镜聚焦方法
US20230238290A1 (en) Defect observation method, apparatus, and program
JP2023109690A (ja) 欠陥観察方法、装置、およびプログラム
CN114578537A (zh) 一种基于区域多点定面法的显微扫描平台焦平面确定方法
JP4981112B2 (ja) 組織学的アセスメント
WO2015089564A1 (en) Thickness estimation for microscopy
KR102576041B1 (ko) 슬라이드 표본의 고배율 이미지 획득방법
Hogrebe et al. Serial section registration of axonal confocal microscopy datasets for long-range neural circuit reconstruction
CN117764924A (zh) 缺陷复检方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150703

R150 Certificate of patent or registration of utility model

Ref document number: 5775606

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250