JP2016033620A - 画像取得装置 - Google Patents
画像取得装置 Download PDFInfo
- Publication number
- JP2016033620A JP2016033620A JP2014156794A JP2014156794A JP2016033620A JP 2016033620 A JP2016033620 A JP 2016033620A JP 2014156794 A JP2014156794 A JP 2014156794A JP 2014156794 A JP2014156794 A JP 2014156794A JP 2016033620 A JP2016033620 A JP 2016033620A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- posture
- correction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
- G02B27/0031—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration for scanning purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
- G02B26/10—Scanning systems
- G02B26/101—Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
【課題】 撮像手段の姿勢を変更する場合に重畳する他軸変動成分によるずれを補正し、撮像手段の画素を有効利用することを目的とする。【解決手段】 被検物101の画像を取得する画像取得装置100であって、結像光学系102と、撮像素子33と、被検物又は撮像素子の姿勢を変更する変更機構と、目標姿勢に到達するための制御目標値を算出する制御部106と、前記制御目標値に応じて前記変更機構が前記姿勢を変更した後の到達姿勢が前記目標姿勢に近づくように補正する補正機構と、を有し、制御部は、前記姿勢が前記到達姿勢の状態で前記撮像素子が描画情報が既知の補正チャート108を撮像した結果得られた到達画像データと、前記姿勢が前記目標姿勢の状態で撮像素子が補正チャートを撮像した場合に得られるであろう目標画像データと、を比較して補正値を算出し、前記補正機構は、前記補正値に基づいて前記姿勢を補正する。【選択図】 図1
Description
本発明は、画像取得装置に関する。
病理学の分野等で、被検物(プレパラート)を撮像することによりデジタル画像を取得する画像取得装置が注目されている。画像取得装置においては、取得した画像データを用いて、医師による病状診断を可能とする。医師による診断には正確さと速さが求められるため、画像データを高速に取得できること、また取得した画像データは、診断を行いやすい画像であることが求められる。そのためには、プレパラートのなるべく広い領域を高解像度で一度に撮像することが有効である。
対物レンズの画角を大きくして一度に取得できる画像範囲を拡大させれば、画像データを高速に取得することができるが、全画角でフォーカスのあった画像を取得することは難しくなる。これは、被検物の撮像対象面が平坦でなく「うねり」を持つため、対物レンズの焦点深度内に撮像面の一部が入らなくなる場合があるからである。
こうした課題を鑑みた特許文献1には、複数の撮像手段を有し、複数の撮像手段それぞれの位置及び傾きの少なくとも一方(姿勢)を変更可能な画像取得装置が開示されている。複数の撮像手段それぞれの姿勢にすることにより、対物レンズに対する撮像面の姿勢が変更可能となる。被検物の撮像対象面のうねりを計測し、対物レンズの焦点深度内に全ての撮像面が入るように、各撮像手段の姿勢を制御する。
また、特許文献2は、カメラユニットを移動させて測定するレンズ検査機に関して、移動させる三軸ステージの位置決め精度によらず、正確かつ簡便に被検レンズの測定を行うことができるように、カメラユニットの移動補正を自動的に行う技術を開示している。具体的には、レンズマウントに被検レンズを装着する前に、フォーカスチェック用の治具としてチェックプレートを装着し、プレートにプリントされたパターンの中央部と周辺部とをカメラユニットで撮像してベストピント位置を求める。そして、中央部でベストピントが得られたカメラユニットの位置と、周辺部でベストピントが得られた位置との差分に基づいて、三軸ステージでカメラユニットを光軸に垂直な面内方向に移動させるときの光軸方向の補正係数を求める。
特許文献1で開示されているように撮像手段の姿勢を制御する場合、目標の姿勢となるように駆動手段を制御しても、意図した操作軸とは別の軸の変動成分(他軸変動成分)が重畳した姿勢となってしまうことがある。例えば、光軸に対する傾きが変わるように撮像手段を制御した場合、光軸と垂直な方向にも位置が移動したことによって目標の姿勢とのずれが生じることがある。この光軸と垂直な方向への移動が他軸変動成分である。
他軸変動成分があると、撮像対象面のうねりに追従するように制御したはずの撮像面の一部が焦点深度から外れてしまい、ボケた画像が取得されることがある。そのため、撮像手段の有効画素領域の周縁部を除外した部分を画像データの形成(画像形成)に使用可能な領域として取り扱うこととなり、画素の有効利用が妨げられることとなる。
しかし、特許文献1及び2には、このような他軸変動成分の具体的な補正方法は開示されていない。さらには、他軸変動成分は、機構誤差や変形、計測誤差、制御演算誤差などに起因しており、変動の様子が単調で無く、非線形、ヒステリシスや経時変化などの規則性や再現性が低い。そのため、想定目標値に対する補正係数を取得しておき、これに基づいて補正しても効果が少ない場合がある。
上述の課題を鑑み、本発明は、被検物の撮像対象面のうねりに追従させるように撮像手段の姿勢を変更可能な画像取得装置において、撮像手段の姿勢を変更する場合に重畳する他軸変動成分によるずれを補正し、撮像手段の画素を有効利用することを目的とする。
本発明の一側面としての画像取得装置は、被検物における複数の分割領域を撮像して得られる複数の分割画像を繋ぎ合わせて前記被検物の画像を取得する画像取得装置であって、前記被検物からの光を結像する結像光学系と、前記被検物の像を撮像する撮像素子と、前記被検物又は前記撮像素子の姿勢を変更する変更機構と、前記変更機構に対して目標姿勢に到達するための制御目標値を算出する制御部と、前記制御目標値に応じて前記変更機構が前記姿勢を変更した後の到達姿勢が、前記目標姿勢に近づくように前記姿勢を補正する補正機構と、を有し、前記制御部は、前記姿勢が前記到達姿勢の状態で前記撮像素子が描画情報が既知の補正チャートを撮像した結果得られた到達画像データと、前記姿勢が前記目標姿勢の状態で前記撮像素子が前記補正チャートを撮像した場合に得られるであろう目標画像データと、を比較して前記姿勢の補正値を算出し、前記補正機構は、前記補正値に基づいて前記姿勢を補正することを特徴とする画像取得装置。
本発明の一側面としての画像取得装置によれば、被検物の撮像対象面のうねりに追従させるように撮像手段の姿勢を変更可能な画像取得装置において、撮像手段の姿勢を変更する場合に重畳する他軸変動成分によるずれを補正し、撮像手段の画素を有効利用できる。
以降の実施形態で説明する画像取得装置では、画像取得装置として透過型のデジタル顕微鏡を、画像取得の対象となる被検物としてプレパラートをより好ましい例として提示するが、特にこれに限定するものではない。また、説明を具体化するために例示する数値も、特に言及しない限りは、これに限定するものではない。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
(第1の実施形態)
まず、図1を参照して、画像取得装置100(以下、「装置100」と呼ぶ)の構成を説明する。図1は、装置100の構成の概略図である。以下の説明においては、対物レンズ102の光軸方向をZ方向、光軸方向と垂直な方向をX方向、Y方向と定義する。
まず、図1を参照して、画像取得装置100(以下、「装置100」と呼ぶ)の構成を説明する。図1は、装置100の構成の概略図である。以下の説明においては、対物レンズ102の光軸方向をZ方向、光軸方向と垂直な方向をX方向、Y方向と定義する。
装置100は、対物レンズ102、撮像部103、ステージ104、予備計測部105、制御部106、表示部107、ステージ104上に設置された補正チャート108(以下、「チャート108」と呼ぶ)、を有する。
プレパラート101は、画像取得の対象となる画像取得対象物(被検物)である。プレパラート101は、カバーグラスと、組織切片等の生体サンプルなどの試料11と、スライドグラスと、を有し、スライドグラス上に配置された試料11が、カバーグラスおよび接着剤で密封されている。プレパラード101は、ステージ104に配置され、予備計測部105で予備計測が行われてから、予備計測結果に基づいてステージ104によって移動され、対物レンズ102を介して撮像部103によって撮像される。
対物レンズ102は、プレパラート101の像を結像する結像光学系で、具体的には、プレパラート101の像を所定の倍率で拡大しつつ、後述する撮像部103内の反射部材31の反射面上に結像するための結像光学系である。対物レンズ102は、不図示の本体フレームおよび鏡筒によって保持されており、レンズおよびミラーの組み合わせで構成される。対物レンズ102は、撮像部103が有する反射部材31の反射面とプレパラート101とが光学的に共役となるように配置されており、物体側がプレパラート101に相当し、像側が反射面に相当する。対物レンズ102の物体側の開口数NAは0.7以上で、物体面上の少なくとも10mm×10mmの領域を一度に良好に結像できるように構成されていることが好ましい。
撮像部103は、対物レンズ102が結像したプレパラート101の像を撮像する部分で、複数の個別撮像部103A〜103Dを有する。撮像部103は、不図示の本体フレームあるいは対物レンズの鏡筒によって保持されている。図2は、撮像部103の上面図である。図2に示すように、複数の個別撮像部103A〜103Dは、対物レンズ102の視野内に2次元的に配列されており、プレパラート101の異なる複数の領域を同時に撮像できるように構成されている。
個別撮像部103A〜103Dの構成を、図3を参照して説明する。図3は、個別撮像部103Aの構成図である。個別撮像部103Aは、反射部材31、再結像部32、撮像素子33、を有する。反射部材31は、プレパラート101の任意の領域から対物レンズ102を介して結像される光束を反射する。そして、再結像部32が、反射部材31からの光束を撮像素子33の撮像面上に結像し、撮像素子33が、撮像面上の像を撮像してその撮像結果である画像データを制御部106へ出力する。個別撮像部103Aは、さらに、撮像素子33の姿勢を変更するための移動機構(図4の330)、及び、反射部材31、再結像部32の姿勢をそれぞれ制御可能な機構を備える。なお、本明細書の「撮像面」は、撮像素子33の受光面を指すものとする。
反射部材31の反射面と撮像素子33の撮像面とは、再結像部32に対して光学的共役となるように配置されており、物体側が反射面に相当し、像側が撮像面に相当する。また、対物レンズ102の光軸と再結像部32の光軸とは、反射部材31を介して直交するように構成されている。撮像素子33としては、CCDやCMOSセンサ等の(2次元)撮像素子を用いることができる。個別撮像部103B〜103Dも同様の構成である。
装置100に搭載される個別撮像部の数は、対物レンズ102の視野の面積に応じて適宜決定される。搭載される個別撮像部の配置及び構成も、対物レンズ102の視野の形状や撮像素子33の形状、構成などによって適宜決定される。本実施形態では、1例として、X−Y平面に2×2個の個別撮像部103A〜103Dが並んでいる構成とした。なお、個別撮像部103A〜103Dは、反射部材31を複数有する構成でもよいし、反射部材31及び再結像部32を有さず、対物レンズ102が結像した像を撮像素子33は直接撮像する構成でもよい。
ここで、以降の説明においてそれぞれの撮像素子33の姿勢を表す場合に、図2に示す座標系を使用するものとする。図2に示す座標系は、プレパラート101をZ方向に動かした際に、その像が移動する方向をZs方向とする。同様に、プレパラート101をX方向、Y方向に動かした場合に、その像が移動する方向をそれぞれXs方向、Ys方向と定義する。そのため、各個別撮像部103A〜103Dそれぞれにおいて、Xs方向、Ys方向、Zs方向が異なることになる。各座標系についてより明確にするために、個別撮像部103Aの姿勢については、Xsa方向、Ysa方向、Zsa方向と記載し、個別撮像部103Bの姿勢については、Xsb方向、Ysb方向、Zsb方向と記載する。その他の個別撮像部103C、103Dの姿勢についても同様に、例えばXs方向であれば、個別撮像部103Cの姿勢についてはXsc方向、個別撮像部103Dの姿勢についてはXsd方向と記載する。
一般的な個別撮像部では、撮像素子33の撮像面の周囲に撮像素子33を実装した基板等の領域が存在するため、複数の撮像素子33を隙間なく隣接して配置することは困難である。そのため、撮像素子33を備える個別撮像部103A〜103Dを隣接して配置することも容易でなく、図2に示したように離して配置することとなる。この場合、1回の撮像では、個別撮像部103A〜103D同士の隙間に対応する部分が撮像できず、抜け落ちたものとなってしまう。そこで装置100では、この隙間を埋めるため、ステージ104を移動してプレパラート101と撮像部103との相対位置を変更しながら撮像を複数回行う。すなわち、撮像部103は、プレパラート101上の異なる複数の領域を撮像して、各領域の分割画像データを取得する。そして、制御部106で、取得した分割画像データを繋ぎ合わせることで、抜けのないプレパラート101の画像データを取得可能な構成としている。この動作を高速に行うことにより、画像取得に要する時間を短縮しつつ、広い領域の画像を取得できる。
図4は、撮像素子33の姿勢を変更するための移動機構330の構成を説明する図である。移動機構330は、撮像素子実装基板331(以下、「基板331」と呼ぶ)、保持部材332、移動部材333A〜333C、変更機構334A〜334C、基板331が制御目標値に応じて制御された後の到達姿勢を補正するための補正機構335を有する。基板331は、撮像素子33が配置されている部材で、基板331は、保持部材332によって保持されている。
保持部材332は、移動部材333A〜333Cに固定されており、変更機構334A〜334Cが、移動部材333A〜333Cを移動することにより撮像素子33の姿勢を変更できる。変更機構334A〜334C及び補正機構335としては、リニアモータ、エアシリンダ、ステッピングモータ、超音波モータ等を有するリニアアクチュエータを用いた機構などを用いることができる。なお、補正機構335にはZsa軸回りの回転機能を付加しても良い。
図5は、保持部材332をZsa方向から示した図である。図5に示したように、移動部材333A〜333C及び変更機構334A〜334Cは、撮像素子33毎に3つずつ設けられている。移動部材333A〜333Cは、保持部材332に固定され、かつ適度に撓みやすい部材、すなわちZsa方向の剛性に比べXsaおよびYsaの両軸回りの剛性が相対的に低い部材で構成されている。したがって、3つの移動部材333A〜333CをZsa方向に移動させることで、撮像素子33の撮像面のZsa方向の位置を変更できるとともに、その撮像面の傾きを変更できる。
ステージ104は、プレパラート101を支持して移動することにより、プレパラート101の位置を変更する位置変更部である。ステージ104は、プレパラート101を支持する支持部と、支持部をXY方向に移動するXYステージと、支持部をZ方向に移動するZステージと、を含む(いずれも不図示)。XYステージ及びZステージは、制御部106から出力される制御目標値に応じて支持部の移動を行う。
XYステージ(不図示)は、装置100の予備計測部105による予備計測可能な範囲(予備計測範囲)と、撮像部103による撮像可能な範囲(撮像実行範囲)との間を、プレパラート101が往来できるように構成されている。また、撮像実行範囲において、XYステージを移動することで、図2を用いて説明したように、プレパラート101と撮像部103との相対位置を変更し、撮像部103によって複数回の撮像を実行可能とする。
予備計測部105は、予備計測範囲において、プレパラート101に含まれる試料11の存在領域を取得するための計測を行う機能と、試料11の撮像対象面15に関する情報を取得するための計測を行う機能と、を備える。撮像対象面15に関する情報を取得するための計測は、例えば、プレパラート101に含まれるカバーグラスの上面のうねりの計測等である。この場合の具体的な構成は、特許文献1に開示されているものと同等でよく、ここでの詳細な説明は省略する。
あるいは、プレパラート101に含まれるカバーグラスの厚みを計測する構成を更に備え、この計測結果とカバーガラスの上面のうねりの計測結果とから試料11の上面に近いカバーグラス下面のうねりの情報を取得する構成としてもよい。あるいは、プレパラート101に含まれる試料11のZ方向に異なる複数の位置を撮像して得られた撮像結果から、コントラストの変化量、特定波長の照明光に対する透過光量等の計測機能を備える構成としてもよい。
制御部106は、装置100の各構成を制御し、撮像部103の撮像結果を用いて観察用の画像データを生成する。制御部106は、CPU、メモリ、ハードディスクなどを含む演算処理の高速な汎用のコンピュータやワークステーション、専用のグラフィックボード、あるいはこれらの組み合わせによって構成される。また、制御部106は、装置100の設定をユーザが変更する、あるいは後述するチャート108の描画情報を入力するための不図示のインターフェースを備える。
図6は、制御部106の機能ブロック図である。図6に示すように、制御部106は、画像生成部61(以下、「生成部61」と呼ぶ)、目標値算出部62(以下、「算出部62」と呼ぶ)、補正値算出部63(以下、「算出部63」と呼ぶ)、機構制御部64を有する。
生成部61は、撮像部103が取得したプレパラート101の画像データを処理することで、観察用画像のデータを生成する機能である。具体的には、ステージ104をXY方向に移動しながら複数回撮像することにより取得した複数の分割画像データ同士の位置合わせを行い、それらの分割画像データを接続して観察用画像のデータを生成し、表示部107において表示可能とする。
算出部62は、予備計測部105で計測した予備計測結果に基づいて、機構制御部64が、装置100のステージ104を制御するための制御目標値を求める。装置100以外の装置でプレパラート101を予備計測し、その結果を取得して制御目標値を算出する構成としてもよい。具体的には、予備計測部105の予備計測結果を用いて、プレパラート101に含まれる試料11の存在領域を取得する。そして、試料11の存在領域に基づいて、観察用画像のデータを生成する撮像対象面15を選択的に決定する。そして、算出部62は、撮像対象面15を、1つの撮像素子33が1度に撮像可能な分割領域に分割し、各分割領域を撮像する順番及び各分割領域を撮像するためにステージ104を移動する位置を決定する。ここでは、ステージ104の移動順序及びその位置をまとめた制御目標値テーブルを生成する。
機構制御部64は、取得した制御目標値テーブルに基づいてステージ104の移動を制御し、撮像対象領域の画像データのみを取得可能とする。これにより、病理診断などに必要な領域の画像データを選択的に取得することができ、観察用画像のデータの容量を小さくすることができ、データのハンドリングが容易になる。なお、通常は、試料11の存在範囲と等しくなるように撮像対象面15を決定する。
また、算出部62は、予備計測部105の計測結果から、プレパラート101に含まれる試料11の撮像対象面15に関する情報を取得する。また、対物レンズ102、再結像部32の倍率に基づいて、試料11の撮像対象面15からの光束が対物レンズ102を介して結像する結像面(結像曲面)を算出する。分割領域ごとに結像面の近似平面を算出し、取得した近似平面に個別撮像部103A〜103Dそれぞれの撮像面を一致させるために必要な撮像素子33の変更機構334A〜334Cの制御目標値を決定する。この制御目標値に基づいて、機構制御部64が変更機構334A〜334Cを制御して撮像素子33の姿勢を変更することにより、ボケの少ない良好な画像を取得可能とする。
図11は、分割領域を説明する図であり、対物レンズ102の物体側を示している。図11(a)は、Z方向から試料11を見た図で、図11(b)は、そのS1−S2断面図である。図11(a)に示すように、試料11は、複数の分割領域12に分割されている。分割領域12は、1つの撮像素子33が1度に撮像できる領域である。個別撮像部103A〜103Dそれぞれは、複数の分割領域12のうち、対物レンズ102の視野13内の領域14A〜14Dそれぞれを撮像する。以降、個別撮像部103A〜103Dそれぞれの撮像素子33で、1度に撮像可能な領域14A〜14Dを撮像領域14A〜14Dという。図11(b)のS1−S2断面図に示すように、試料11の撮像対象面15は、平坦ではなくうねりを有している。そのため、個別撮像部103A〜103Dは、それぞれの撮像領域14A〜14Dが姿勢制御例16のように、撮像対象面15に追従するように、その姿勢を変更することが求められる。
そこで、算出部62が、試料11の撮像対象面15を分割領域12に分割し、それぞれの分割領域を撮像領域14A〜14DのXY位置に効率よく移動させるためのステージ104の制御目標値を算出する。また、算出部62によって、それぞれの分割領域12から投影される結像面の近似平面を算出し、算出した近似平面に撮像面を一致させるために必要な撮像素子33の変更機構334A〜334Cの制御目標値を決定する。そして、機構制御部64は、算出部62が取得した制御目標値に基づいて、撮像対象面15と撮像部103の撮像領域14A〜14Dとの関係が姿勢制御例16になるように、ステージ104及び変更機構334A〜334Cを制御する。
ここで、図7に撮像素子33の移動機構330の構成の一例を示す。図7では、説明を簡単にするために、移動部材333A、333Cおよび変更機構334A、334Cのみが設けられている場合について述べる。また、ここでは、個別撮像部103Aについて、Xsa軸回りに回転させる回転方向(Θxsa)の姿勢制御を行う例について示しているが、Θxsa方向の制御に限定するものではない。また、別の個別撮像部103B〜103Dも、同様の構成である。
図7では、制御部106から、予備計測結果から算出した制御目標値に基づいて、移動部材333Aを変更機構334Aと反対方向(−Zsa方向)に、移動部材333Cを変更機構334Cに近づく方向(+Zsa方向)に移動制御する。このことによって、移動部材333Aの弾性部336A及び移動部材333Cの弾性部336Cが変形し、基板331が到達位置338に移動している。この到達姿勢338は、理想的に動かしたかった位置(目標姿勢)337に対して、操作軸Xsa軸回りの回転とは別に−Ysa方向の移動成分が重畳している状態である。すなわち、到達姿勢338には、Xsa軸回りの回転とは別の軸の変動成分(他軸変動成分)ΔSが重畳した状態である。
この他軸変動成分について、図8を用いて詳細に説明する。基板331に実装された撮像素子33の撮像面を、撮像素子33が目標姿勢を保っている状態における目標位置337Sに移動させるためには、回転中心337Rを中心に回転するように基板331及び撮像素子33の姿勢を制御することが理想的である。しかし、実際には、回転中心337Rから距離Δdだけ離れた位置338Rが回転中心となり、その結果、基板331の撮像面が、到達位置338Sに移動してしまう。すなわち、他軸変動成分ΔSが重畳して、撮像素子33の撮像面は、目標位置337Sとは異なる位置(到達位置)338Sに移動することがある。
これは、図4及び図7で示したように、移動部材333A、333Cの長さや基板331の厚み、保持部材332の厚み等の物理的な距離が、弾性部336A、336Cと撮像面との間に存在することに起因する。あるいは、変更機構334A〜334Cに発生する計測誤差や、制御部106に発生する制御演算誤差、移動機構330全体に発生する機構誤差や変形等にも起因する。例えば、変更機構334A〜334Cの取り付けが、Zsa方向に対してYsa方向に傾いてしまった場合、意図しないYsa方向への移動が他軸変動成分となる。
他軸変動成分があることにより発生する問題について、図9及び図10を参照して説明する。図9は、試料11と撮像部103の撮像領域との関係を説明する図で、図10は、試料11からの光束の結像面と撮像素子33の撮像面との関係を説明する図である。なお、図9及び図10では、撮像素子33の撮像面をXpa−Ypa面、撮像面に垂直な方向をZpa方向として説明する。Xpa、Ypa、Zpaは、撮像素子33の撮像面を基準とした軸であり、ステージ104の移動を基準とした軸Xsa、Ysa、Zsaに対して、目標姿勢に制御された分だけ傾いている。
図9に示すように、撮像素子33の撮像領域は、他軸変動成分ΔSが発生することによって、目標姿勢における領域331Pから−Ypa方向にΔSypだけ位置がずれた領域331Eとなってしまう。こうした他軸変動成分は、撮像面内の全方向に発生する可能性がある。そのため、各方向の最大移動量を想定すると、撮像素子33の撮像領域のうち、画像を取得するために使用可能な領域は領域331Aとなり、撮像素子33の全画素領域を有効に使用できないこととなる。
また、図10に示すように、撮像素子33の撮像面は、目標姿勢における撮像面の目標位置337Sから−Zpa方向にΔSzpだけ移動した到達位置338Sとなってしまう。そのため、撮像素子33の撮像面が、試料11からの光束が結像する結像面17から遠ざかってしまい、ボケた画像が取得されてしまうこととなる。
そこで、このような問題を解決するために、制御部106は、算出部63を備える。算出部63は、他軸変動成分によるずれが低減された姿勢で撮像部103が撮像を実行できるように、機構制御部64が、補正機構335を制御するための補正値を算出する。具体的には、算出部63は、チャート108の既知の描画情報と撮像部103の制御目標値とから、撮像部103が目標姿勢においてチャート108を撮像した際に取得されることが期待される目標画像データを算出する。
一方で、算出部63は、撮像部103が制御目標値に応じて制御された後に到達した到達姿勢で、撮像部103が、描画情報が既知であるチャート108を撮像した結果得られる到達画像データを取得する。そして、算出部63は、目標画像データと、到達画像データとを比較し、撮像部103の撮像面の到達姿勢に重畳されている他軸変動成分を分析し、その補正値を算出する。
この補正値に基づいて、機構制御部64を介して装置100を制御し、撮像部103の姿勢を他軸変動成分が低減された状態とし、撮像素子の画素領域を有効に使用しつつ、ボケの少ない良好な画像を取得可能とする。
機構制御部64は、算出部62の算出結果及び算出部63の算出結果に基づいて、ステージ104および撮像部103を移動させる変更機構334A〜334C、補正機構335A〜335Cを制御する。
表示部107は、生成部61が生成した観察用画像のデータに基づいて、病理診断に適した観察用画像を表示する機能を有する。CRTや液晶等のモニタにより構成することができる。
チャート108は、レーザ加工やフォトエッヂング等の一般的な微細加工によってチャートパターンが描画された部材を用いることができる。そして、チャート108は、ステージ104上に設置され、プレパラート101が予備計測範囲に配置されている間に、撮像実行範囲に配置されるように構成されている。あるいは、算出部62によって制御目標値が算出されてから、プレパラート101が撮像実行範囲に移動するまでの間に撮像実行範囲に配置されるように構成されてもよい。そして、撮像部103によって到達姿勢に到達した状態で撮像され、算出部63によってその到達画像データが取得される。
チャート108の描画情報は、制御部106の記憶部65に記憶されている。そして、算出部63によって、描画情報と撮像部103の制御目標値とから、撮像部103が目標姿勢に到達している状態でチャート108を撮像した場合に取得が期待される目標画像データを算出する。
図12に、チャート108の一例を示す。図12に示すように、チャート108は、描画部80A〜80Dによって構成され、それぞれ、個別撮像部103A〜103Dが撮像可能な物体側の領域に対応している。また、チャート108が、撮像実行範囲に配置される際に、描画部80A〜80DそれぞれのXY中心と、個別撮像部103A〜103Dの撮像面の理想的な回転中心の物体側に相当するXY位置とが、それぞれ一致する位置関係となっている。ここで、描画部80A〜80DそれぞれのXY中心と、個別撮像部103A〜103Dの撮像面の理想的な回転中心の物体側に相当するXY位置とは、完全に一致している必要はなく、略一致していればよい。
図13(a)、図13(b)に、描画部80Aの一例と、個別撮像部103Aとの関係を示す。図13(a)、図13(b)に示すように、描画部80Aは、表面に配置されている模様811〜813、821〜823を有する。模様811〜813、821〜823は、チャート108の基材を透明部材とし、該基材より透過率が低くなるように加工される。あるいは、基材の透過率を低くし、該基材より透過率が高くなるように加工されてもよい。ここで、模様811と模様821、模様812と模様822、模様813と模様823とは、それぞれ、Z方向に対して同じ位置(高さ)に配置されている。また、描画部80AをZ方向から見た図13(b)のように、模様811と模様821、模様812と模様822、模様813と模様823は、それぞれ、Z方向の直交する直線(X方向の直線)軸として線対称に配置されている。
模様811〜813、821〜823のうち、最も低い位置に配置される模様811、821は、想定される試料11の最下面(スライドグラス上面)の高さに合わせて決定するとよい。また、最も高い位置に配置される模様813、823は、想定される試料11の最上面に合わせて決定するとよい。また、最もY方向外側に配置される模様811、821は、個別撮像部103Aの撮像素子33の画素領域のYpa方向範囲に基づいて決定するとよい。
さらに、図13(a)、図13(b)は、個別撮像部103Aの撮像面をΘxsa方向に移動させた場合の、目標姿勢と到達姿勢との違いについて示している。実際に個別撮像部103Aが到達した到達姿勢における撮像面338Sは、個別撮像部103Aが理想的な回転中心で移動した場合に到達すべき撮像面337Sに対し、−Ysa方向の他軸変動成分をもっている。このため、撮像面338Sの、再結像系32、反射部材31、対物レンズ102を介した描画部80A上における投影領域(撮像領域)は、目標姿勢における撮像領域337PからY軸方向にずれた領域338Pとなる。
図14に、各模様811〜813、821〜823からの光束の結像面と個別撮像部103Aの撮像面との関係を示す。模様811〜813、821〜823は、それぞれ、対物レンズ102で結像され、結像面811P、812P、813P、821P、822P、823Pを形成する。図14に示すように、個別撮像部103Aの撮像面が、撮像面337Sの状態にあるとすると、結像面812P、823Pが撮像面に投影され、画像データが取得されることになる。取得される画像データについて、図15を参照して説明する。
図15は、図13に示した状態において取得した画像データを示す。これらの画像データは、算出部63で補正値の取得に用いる画像データである。具体的には、一方は、撮像部103が目標姿勢を取っている状態(撮像部103が撮像領域337Pを撮像する状態)で描画部80Aを撮像した場合に取得が期待される目標画像データ331Dである。また、他方は、撮像部103が到達姿勢を取っている状態(撮像部103の結像面が結像面338Pの状態)で描画部80Aを撮像した結果得られる到達画像データ331PDである。
目標画像データ331Dは、算出部63によって、制御部106に記憶されている各模様の位置情報と撮像部103の制御目標値に基づいた撮像領域337Pとから取得可能である。図15に示すように、目標画像データ331Dには、模様812、823に対応する模様データ812D、823Dが反映されている。到達画像データ331PDにも、模様812、823に対応する模様データ812PD、823PDが反映されているが、目標画像データ331Dの模様データ812D、823Dとは、位置が異なっている。これは、他軸変動成分によって個別撮像部103Aが目標姿勢からずれているためである。すなわち、算出部63が、目標画像データ331Dと到達画像データ331PDとを比較することにより、撮像部103の撮像面の到達姿勢に重畳されている他軸変動成分が分析可能となる。
具体的には、模様データ812Dの中心と模様データ812PDの中心との差分を他軸変動成分とする。この時、模様データ823Dと模様データ823PDとを用いて同様の差分を求め、2つの差分結果から他軸変動成分を算出しても良い。また、目標画像データ331Dと到達画像データ331PDとを比較する際に、比較に使用する領域は、2つ以上の模様データが含まれないような領域831、832に設定することが好ましい。なお、到達画像データ331PDには、模様813、822から取得されるボケた模様データ813PD、822PDも反映されるが、これらの模様データ813PD、822PDを他軸変動成分の分析に使用する対象から取り除くことが好ましい。
ここまで、図13〜図15を用いて、個別撮像部103Aの撮像面をΘxsa方向に移動させた場合の例について説明してきた。描画部80Aを図16に示すような構成として、模様データのXpa方向の差分と併せて分析することで、Θysa方向および両方向に移動させた場合にも対応可能である。描画部80B〜80Dについても描画図80Aと同様の構成からなる。このような構成にすることにより、個別撮像部103A〜103Dのいずれにおいても、姿勢の変更によって発生した他軸変動成分によるずれを補正できる。
描画部80A〜80Dの、具体的な模様の数や位置関係は、対物レンズ102や撮像部103の形状・構成などによって適宜決定される。図16に描画部80A〜80Dの変形例を示す。この変形例の描画部は、図13に示した模様に加え、模様831〜833、841〜843を有する。模様811、821、831、841と、模様812、822、832、842と、模様813、823、833、843とは、それぞれ、Z方向に対して同じ位置(高さ)に配置されている。また、模様831と模様841、模様832と模様842、模様833と模様843は、それぞれ、X方向の中心に対して、対称な位置に配置されている。
次に、装置100を用いた画像取得方法について、図17に示すフローチャートを用いて説明する。まず、ステップS61では、記憶部65が、チャート108に記載されている模様の位置情報(描画情報)を記憶する。描画情報は、撮像素子33の位置にズレが生じない装置100とは別の装置を用いて、安定した温度環境下でチャート108の撮像を行って画像を取得し、取得した画像に基づいて取得した描画情報を記憶してもよい。ここで使用した別の装置も、複数の撮像素子を有しており、複数の撮像素子それぞれが、装置100における複数の個別撮像素部それぞれと対応しているものとする。
なお、チャート108の描画情報の取得は、上述の別の装置で行ってもよいし、装置100の制御部106にその機能を搭載してもよい。あるいは、上述したような別の装置を使用せずに、装置100を使用し、基準とする姿勢において安定した温度環境の下でチャート108の撮像を行い、この画像に基づいた描画情報を記憶する構成としてもよい。さらに、装置100や別の装置を用いて撮像を行わず、チャート108を作成した際の設計データに基づいた描画情報を記憶する構成としてもよい。描画情報は、装置100の記憶部に記憶せずに、不図示のインターフェースを介して適宜入力してもよい。
このように、ステップS61は、装置100の画像取得動作の準備段階である。ステップS61は、画像の取得を行う度にステップS61の動作を行うか否かを選択するか、あるいは製造時などの初回の調整時にだけ行うことにしてもよい。
次のステップS62では、機構制御部64が、プレパラート101を予備計測範囲に移動させるようにステージ104を制御する。予備計測範囲において、予備計測部105が、プレパラート101の予備計測を行う。
次のステップS63では、算出部62が、ステージ104及び移動機構330の制御手順を決定する。具体的には、算出部62が、予備計測結果に基づいて、プレパラート101に含まれる試料11の観察用画像のデータを生成する撮像対象面15を決定し、撮像対象面15を撮像するための、対物レンズ102と再結像系32とを介した結像面を算出する。これらの結果に基づいて、算出部62は、撮像対象面15の画像のデータを取得するための機構制御部64による位置変更部104、変更機構334A〜334Cの制御手順を制御目標値テーブルとして決定する。
一方で、撮像部103は、撮像範囲にあるチャート108の撮像を行う。これらの結果に基づいて、算出部63は、機構制御部64による補正機構335の制御手順を、制御補正値テーブルとして決定する。なお、ステップS63の各制御手順の決定方法は、図18を用いて後述する。
次のステップS64では、機構制御部64が、プレパラート101が撮像範囲に移動するようにステージ104を制御する。そして、撮像部103がプレパラート101の撮像を行う。ここで、ステップS63で決定した手順(ステージ104を移動させる制御目標値テーブル)に応じて、プレパラート101と撮像部103との相対位置が変更するようにステージ104を制御する。
また、ステージ104の各移動と同時に、ステップS63で決定した手順(撮像部103を移動させる制御目標値テーブルおよび制御補正値テーブル)に応じて、撮像部103の姿勢を制御する。そして、上記の制御の完了ごとに、撮像部103が、プレパラート101の撮像を行い、制御部106は、撮像部103から分割画像データを取得する。
最後のステップS65では、ステップS64で取得した複数の分割画像データ同士の位置合わせを行い、それらの分割画像データを接続して観察用画像のデータを生成し、表示部107において表示可能とする。なお、分割画像データの接続動作は、ステップS64の画像データの取得と並行して行ってもよい。
図18に、ステップS63において装置100が画像データを取得するための制御手順を決定する詳細を説明するフローチャートを示す。
ステップS631では、算出部62が、予備計測結果に基づいて、プレパラート101に含まれる試料11の観察用画像のデータを生成する撮像対象面15と対物レンズ102、再結像系32を介した結像面を算出する。そして、ステージ104および撮像部103の変更機構334A〜334Cの移動を制御するために、表1のような制御目標値テーブルを作成する。表1においては、各個別撮像部103A〜103Dが撮像可能な単位領域(撮像領域)を、所定の順序で撮像対象面15内の分割領域に合わせるために、ステージ104及び撮像部103を移動させるための制御目標値が制御手順ごとに記載される。
次のステップS632では、算出部63が、撮像部103の姿勢の制御補正値テーブルを更新するための前段階として、標準制御補正値テーブルを更新するか否かを判断する。標準制御補正値テーブルは、例えば表2のように、変更機構334A〜334Cに想定される範囲の制御目標値(標準制御目標値)と、それぞれの標準制御目標値に基づいて制御された際に必要となる補正値(標準制御補正値)との関係情報が記載されている。表2には、個別撮像部103Aの変更機構334A〜334Cそれぞれを、標準制御目標値(Zsa1T[n]、Zsa2T[0]、Zsa3T[0])で制御した場合、必要となる標準制御補正値が(Xsa1T[n]、Ysa1T[n])であった例を示す。
標準制御補正値テーブルの更新が不要と判断した場合、ステップS637へ移行し、算出部63は、現在の標準制御補正値テーブルに基づいて制御補正値テーブルを更新する。標準制御補正値テーブルの更新が必要と判断した場合、ステップS633へ移行し、算出部63は、標準制御補正値テーブルに記載する補正値の取得を開始する。次のステップS633では、標準制御補正値テーブルに記載する標準制御補正値を新たに算出するか否かを判断する。
標準制御補正値を新たに算出する必要があると判断した場合、算出部63は、標準制御補正値テーブルから、新たに標準制御補正値を算出する標準制御目標値を決定する。そして、ステップS634へ移行し、決定した標準制御目標値における補正値の取得を開始する。一方、標準制御補正値を新たに算出する必要がないと判断した場合、ステップS637へ移行し、算出部63は、現在の標準制御補正値テーブルに基づいて制御補正値テーブルを更新する。
ステップS634では、算出部63が、目標画像データを取得する。具体的には、ステップS61で記憶したチャート108の描画情報とステップS633で選択した標準制御目標値とから、選択した標準制御目標値の目標姿勢で撮像部103がチャートを撮像した場合に取得される目標画像データを取得する。
次のステップS635では、機構制御部64が、撮像部103をステップS633で決定した標準制御目標値に基づいて制御する。そして、到達姿勢においてチャート108を撮像して到達画像データの取得を行う。
次のステップS636では、ステップS634で取得した目標画像データとステップS635で取得した到達画像データとを比較して、撮像部103の到達姿勢に重畳されている他軸変動成分を分析する。そして、ステップS633で選択した標準制御目標値に対応させる補正値を算出する。その後、算出した標準制御補正値に基づいて撮像素子33の姿勢の補正を行い、この状態で再びステップS635〜S636のフローを行い、再算出した補正値を、先に算出した標準制御補正値に反映させるというシーケンスとしてもよい。あるいは、再算出した補正値と、先に算出した標準制御補正値との変化量が所定値以下になるまで繰り返すというシーケンスとしてもよい。
ステップS637では、現在の標準制御補正値テーブルに基づいて、表3に示すような、撮像部103の姿勢を補正する制御補正値テーブルを更新する。表3においては、制御目標値テーブル(表1)に記録された制御順序ごとに、撮像部103の姿勢を補正するための、各補正機構の制御補正値が記載される。
標準制御補正値テーブルに基づく制御補正値テーブルの更新には、一般的な内挿計算を用いればよい。例えば、表1〜表3の例においては、制御順序N番目に記載されるXsa方向の制御補正値Xsa[N]は、(1)式で求められる。なお、変更機構334Aの制御補正値をXsa1T[N]、変更機構334Bの制御補正値をXsa2T[N]、変更機構334Cの制御補正値をXsa3T[N]とする。
Xsa[N]=Xsa1T[N]+Xsa2T[N]+Xsa3T[N]・・・(1)
Xsa[N]=Xsa1T[N]+Xsa2T[N]+Xsa3T[N]・・・(1)
ここで、制御補正値Xsa1T[N]、Xsa2T[N]、Xsa3T[N]は、それぞれ(2)〜(4)式で表される。
Xsa1T[N]=Xsa1T[n]+a1*(Xsa1T[n+1]−Xsa1T[n]) 0<a1<1・・・(2)
Xsa2T[N]=Xsa2T[n]+a2*(Xsa2T[n+1]−Xsa2T[n]) 0<a2<1・・・(3)
Xsa3T[N]=Xsa3T[n]+a3*(Xsa3T[n+1]−Xsa3T[n]) 0<a3<1・・・(4)
Xsa1T[N]=Xsa1T[n]+a1*(Xsa1T[n+1]−Xsa1T[n]) 0<a1<1・・・(2)
Xsa2T[N]=Xsa2T[n]+a2*(Xsa2T[n+1]−Xsa2T[n]) 0<a2<1・・・(3)
Xsa3T[N]=Xsa3T[n]+a3*(Xsa3T[n+1]−Xsa3T[n]) 0<a3<1・・・(4)
ここで、目標姿勢にするための変更機構334A〜334Cの目標制御値Zsa1[N]、Zsa2[N]、Zsa3[N]は、(5)〜(7)式で表すことができるため、係数a1、a2、a3を求めることができる。
Zsa1[N]=Zsa1[n]+a1*(Zsa1[n+1]−Zsa1[n])・・・(5)
Zsa2[N]=Zsa2[n]+a2*(Zsa2[n+1]−Zsa2[n])・・・(6)
Zsa3[N]=Zsa3[n]+a3*(Zsa3[n+1]−Zsa3[n])・・・(7)
Zsa1[N]=Zsa1[n]+a1*(Zsa1[n+1]−Zsa1[n])・・・(5)
Zsa2[N]=Zsa2[n]+a2*(Zsa2[n+1]−Zsa2[n])・・・(6)
Zsa3[N]=Zsa3[n]+a3*(Zsa3[n+1]−Zsa3[n])・・・(7)
Ysa方向の制御補正値も同様についても、同様の方法で求めることができる。
なお、ステップS633〜S636のフローによる標準制御補正テーブルの更新は、画像取得をする度に要否を選択して行うか、あるいは製造時などの初回の調整時だけ行うこととしてもよい。あるいは、標準制御補正テーブルの標準制御目標値を、ステップS632で作成した制御目標値テーブルに記載されている、撮像部103の制御目標値と一致させ、更新した標準制御補正値テーブルをそのまま制御補正値テーブルとしてもよい。この場合、ステップS633〜S636のフローによる制御補正値テーブルの更新は画像取得動作をする度に行うこととなるが、実際に制御する目標姿勢に即して、規則性の低い他軸変動成分に対応した補正値が取得できる。
あるいは、標準制御補正値テーブルに、ステップS632で作成した制御目標値テーブルに記載されている、撮像部103の制御目標値から特異制御目標値を選択して追加する。そして、特異制御目標値に対する補正値算出のみを選択的に画像取得動作毎に行い、そのまま制御補正値テーブルに反映させることとしてもよい。
ここで、特異制御目標値は、他の制御目標値に比べて特に規則性が低い姿勢を要請する制御目標値であって、ステップS632で制御目標値を算出した際に、制御機構および補正機構の各種諸元または変動成分算出履歴から決定することができる。あるいは、ステップS632で制御目標値を算出した際に、標準制御補正テーブルの複数の標準姿勢目標値と比較し、比較結果の差分が所定値以上である場合に、特異姿勢目標値として決定してもよい。
このような方法で、プレパラート101に含まれる試料11の撮像対象面15のうねりに追従させるように、撮像素子の光軸方向の位置および光軸に対する傾きを変更可能な画像取得装置において、到達した姿勢に重畳している他軸変動成分を簡便に補正できる。
このことによって、各姿勢においてボケの少ない画像を取得し、かつ、撮像素子の画素を有効使用することができる。
このことによって、各姿勢においてボケの少ない画像を取得し、かつ、撮像素子の画素を有効使用することができる。
また、他軸変動成分が重畳して移動する物体の角度計測は容易で無いため、撮像素子33の姿勢を角度計測によって特定することは困難な場合が多く、駆動軸方向以外の計測手段を設けるのは、スペースやコストにおいても不利となる。装置100によれば、角度計測等を行うための計測手段を設ける必要はなく、容易に撮像素子33の姿勢を補正できる。
ここまで、各個別撮像部内が有する撮像素子33の姿勢を変更制御および補正制御することによって、その撮像面を結像面に近づけ、プレパラート101に含まれる試料11の撮像対象面15のうねりによる影響を抑制した画像を取得可能とする例を説明した。しかし、例えば、ステージ104や反射部材31、再結像系32の位置・姿勢を移動制御および補正制御すること、あるいはそれらの組み合わせによっても同様の効果は得られる。例えば、反射部材31の姿勢を移動制御することによって結像面を撮像面に近づけ、その際に発生した他軸変動成分を、撮像素子33の位置を移動制御して補正する構成とすることで、各部材の配置や構成が最適化できる。また、パラレルリンク機構を用いることによって、変更機構334A〜334Cおよび補正機構335を一体構成としてもよい。
また、撮像素子が2次元的に配列された個別撮像部群を用いた説明を行ったが、1次元的又は3次元的に配列された個別撮像部群を用いても良い。また、撮像素子として、2次元撮像素子を用いていたが、1次元撮像素子(ラインセンサ)を用いても良い。
(第2の実施形態)
図19は、本発明を実現する第二の実施形態である画像取得システム200(以下、「システム200」と呼ぶ)の図である。図19に基づいて、本実施形態について説明する。
図19は、本発明を実現する第二の実施形態である画像取得システム200(以下、「システム200」と呼ぶ)の図である。図19に基づいて、本実施形態について説明する。
システム200は、装置100、表示装置201、画像サーバ(画像記憶装置)202を有する。装置100と表示装置201と画像サーバ202とは、ネットワーク203を介して、汎用のLANケーブル204で接続される。あるいは、画像サーバ202と装置100との間、または装置100と表示装置201との間は、汎用I/Fのケーブルで接続される構成としても良い。
画像サーバ202は、装置100により生成された観察用画像のデータを保存する機能を有する。装置100は、第1の実施形態で説明した機能に加えて、観察用画像のデータを画像サーバ202から取得し、病理診断に適した画像や情報を表示するための観察用画像データを再編集可能な機能(不図示)を有する。その他の構成は、図1において説明した装置100と同様であり、詳細な説明は省略する。
表示装置201は、表示部107と同等で、装置100の生成した観察用画像データに基づいて、病理診断に適した観察用画像を表示する機能を有する。また、表示装置201は、装置100の設定をユーザが変更する、あるいはチャート108の描画情報を入力するための不図示のインターフェースを備える。表示装置201を構成するモニタをタッチパネルとしても良い。
このように構成されるシステム200は、構成要素をそれぞれ遠方に配置可能であり、ユーザの遠隔操作による画像取得や画像表示を行うことができる。
システム200の画像取得方法について、図20に示すフローチャートを用いて説明する。まずステップS71では、記憶部65が、チャート108に記載されている模様の位置情報(描画情報)を記憶する。この手順は、図17で説明したステップS61と同様であり、予め取得してあり、再度取得する必要がない場合には省略できる。次のステップS72では、機構制御部64が、プレパラート101を予備計測部105による予備計測が実行可能な範囲(予備計測範囲)に移動させるようにステージ104を制御する。この手順は、図17で説明したステップS62と同様である。
次のステップS73では、算出部62が、予備計測結果に基づいて、表1に示すようなステージ104および撮像部103を移動させる制御手順を決定する。この手順は、図18で説明したステップS631〜S636と同様である。ただし、ステップS631で行う制御目標値テーブルの更新は、画像取得動作毎に最初の1度でよい。また、本実施形態では、ステップS632、S633で行う判断、およびステップS637で行う制御補正値テーブルの更新は行わず、算出部63は、直後に撮像を行う分割領域を撮像するための制御目標値を選択する。ここで選択した制御目標値について、補正値の算出を行う。補正値の取得方法は、第1の実施形態のステップS634〜S636と同様である。
次のステップS74では、機構制御部64が、プレパラート101を撮像部103の撮像範囲に移動するようにステージ104、変更機構334A〜334Cを制御する。また、ステップS73で取得した補正値に基づいて、補正機構335を制御する。その後、撮像部103が、プレパラート101の撮像を行い、生成部61が、撮像部103の撮像結果である分割画像データを取得する。
次のステップS75では、生成部61が、ステップS73で更新した制御目標値テーブルに記載された一連の画像取得制御を完了するか否かを判断する。すなわち、撮像対象面15内の分割領域のうち撮像する領域があるか否かを判断する。画像取得制御を完了すると判断した場合、ステップS76へ移行し、生成部61が、観察用画像のデータを生成する。画像取得制御を完了しないと判断した場合、ステップS72へ移行し、制御目標値テーブルに即した画像取得処理を続行する。この場合、次に撮像する分割領域に対応する制御目標値を、制御目標値テーブルから選択し、その制御目標値に対応する補正値を取得する。
最後のステップS76では、ステップS72〜S75のフローで取得した複数の分割画像データ同士の位置合わせを行い、それらの分割画像データを接続して観察用画像のデータを生成し、表示部107において表示可能とする。なお、分割画像データの接続動作は、ステップS72〜S75のフローの分割画像データの取得と並行して行ってもよい。
本実施形態の場合、ステップS72〜S74を繰り返すことになるため、ステージ104は、撮像部103の姿勢制御を行う度に、チャート108とプレパラート101とを撮像可能範囲に移動することになる。しかし、実際に到達した姿勢に即して、再現性の低い他軸変動成分に対応した補正値が取得できる。第1の実施形態の画像取得方法と組み合わせて、再現性が低いことが予測される特異制御目標値に対する姿勢制御にのみ、選択的にステップS72〜S74のフローを行うこととしてもよい。
このような方法で、プレパラート101に含まれる試料11の撮像対象面15のうねりに追従させるように、撮像素子の光軸方向の位置および光軸に対する傾きを変更可能な画像取得装置において、到達した姿勢に重畳している他軸変動成分を補正できる。その結果、撮像素子の画素を有効利用することができる。また、より安定的に各姿勢においてボケの少ない画像を取得できる。
(第3の実施形態)
本実施形態は、前述の各実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、システム200あるいは装置100のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することで、プログラムが実行される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
本実施形態は、前述の各実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、システム200あるいは装置100のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することで、プログラムが実行される。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが、読み出したプログラムコードを実行することにより、コンピュータ上で稼働しているオペレーティングシステム(OS)などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。
なお、本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
(その他の実施形態)
以上、本発明の好ましい実施形態について説明したが、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。また、第1から第3の実施形態で説明した構成は、お互いに組み合わせて使用できる。従って、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に想到し得るものであり、そのような様々な組み合わせによるシステムも本発明の範疇に属する。
以上、本発明の好ましい実施形態について説明したが、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。また、第1から第3の実施形態で説明した構成は、お互いに組み合わせて使用できる。従って、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に想到し得るものであり、そのような様々な組み合わせによるシステムも本発明の範疇に属する。
例えば、上述した各実施例に係る画像取得装置の画像取得動作において、プレパラート101の撮像時とチャート108の撮像時とでは、対物レンズ102のNAを異なる値に設定することが、高精度な他軸変動成分の検出を行う上で有効な手段となる。具体的には、注目する模様の結像データを取得したいチャート108の撮像時においては、対象範囲全域の結像データを取得したいプレパラート101の撮像時よりも高NAに設定する。このことによって、より高解像度な画像を取得できるため、高精度な他軸変動成分を検出することができる。
一方で、様々な姿勢において注目する模様の結像データを取得したいチャート108の撮像時においては、対象範囲の近似結像面に追従させた姿勢でデータを取得するプレパラート101の撮像時よりも広焦点深度(低NA)に設定する。このことによって、チャート108の模様を単一の高さにのみ構成することができ、これを画像処理して他軸変動成分を検出する工程と共に簡便化することもできる。
また、より高精度な他軸変動成分を検出するためにディストーション補正を行う際にも、NAを調整することが有効な手段として考えられる。他軸変動成分を検出するには、図15に示すような到達画像データ331PDの、各模様の重心位置を検出することが有効である。この時に、NAを変えて到達画像データ331PDのコントラストを調整することができ、各模様の重心位置の検出精度を高めることができる。
NAを調整する構成としては、複数の異なる開口の視野遮蔽板を用途に応じて配置できるNA絞りや、複数の視野遮蔽羽根からなる虹彩絞りなどを用いることができる。更には、プレパラート101の撮像時とチャート108の撮像時とでは、対物レンズ102の結像位置を異なる値に設定する。このことによって、上述したNAを調整することと同様に、チャート108の模様を単一の高さにのみ構成することができ、これを画像処理して他軸変動成分を検出する工程と共に簡便化することもできる。
対物レンズ102の結像位置を調整する構成としては、リニアモータやエアシリンダおよびステッピングモータや超音波モータなどを有するリニアアクチュエータを用いた機構などを用いることができる。このような構成は、不図示の本体フレームと対物レンズ102の鏡筒との接続部、あるいは対物レンズ102内のレンズおよびミラーと鏡筒との接続部に用いる。
上述の実施形態では、試料11内の撮像対象面15を決定し、撮像対象面15について観察用画像のデータを取得している。しかし、これに限らず、撮像対象面15のうねりに追従して撮像を行ったあとは、ステージ104をZ方向に移動して、Z方向の位置が異なる複数の面を撮像して、3次元的な画像を取得する構成にしても良い。
また、上述の実施形態に記載した方法で他軸変動成分による位置ずれを低減する場合、以上の実施形態のように撮像素子33の姿勢を変更する構成に限らず、例えば、ステージ104の姿勢を変更する構成でも良い。また、上述の実施形態の方法は、撮像素子33の撮像面を撮像対象面15に追従させるための姿勢の変更によって生じる位置ずれに限らず、ステージ104の移動に伴って生じる他軸変動成分による位置ずれ等の低減にも利用できる。
さらには、ステージ104上に複数のチャート108を配置し、それぞれのチャートを使用して複数の補正値が含まれる補正値群を複数組取得する構成にしてもよい。そして、例えば、複数組の補正値群における平均値から最終補正値を取得する。この場合、複数のチャート108を結んだ多角形の重心(2つの場合は、直線の中心)は、ステージ104上のプレパラート101又は試料11の中心、もしくは中心付近が配置される位置と略一致していることが好ましい。
このような構成にすることにより、プレパラート101の位置とチャート108の位置とが異なることによって生じる補正値のずれを低減させることができる。
33 撮像素子
100 画像取得装置
101 プレパラート(被検物)
102 対物レンズ(結像光学系)
106 制御部
108 補正チャート
100 画像取得装置
101 プレパラート(被検物)
102 対物レンズ(結像光学系)
106 制御部
108 補正チャート
Claims (17)
- 被検物における複数の分割領域を撮像して得られる複数の分割画像を繋ぎ合わせて前記被検物の画像を取得する画像取得装置であって、
前記被検物からの光を結像する結像光学系と、
前記被検物の像を撮像する撮像素子と、
前記被検物又は前記撮像素子の姿勢を変更する変更機構と、
前記変更機構に対して目標姿勢に到達するための制御目標値を算出する制御部と、
前記制御目標値に応じて前記変更機構が前記姿勢を変更した後の到達姿勢が、前記目標姿勢に近づくように前記姿勢を補正する補正機構と、を有し、
前記制御部は、前記姿勢が前記到達姿勢の状態で前記撮像素子が描画情報が既知の補正チャートを実際に撮像した結果得られた到達画像データと、前記姿勢が前記目標姿勢の状態で前記撮像素子が前記補正チャートを撮像した場合に得られるであろう目標画像データと、を比較して前記姿勢の補正値を算出し、
前記補正機構は、前記補正値に基づいて前記姿勢を補正する
ことを特徴とする画像取得装置。 - 前記変更機構は、前記姿勢を1つ以上の操作軸で変更し、
前記制御部は、前記補正値として、前記操作軸と異なる軸の変動成分を算出し、
前記補正機構は、前記変動成分を低減するように前記姿勢を補正する
ことを特徴とする請求項1に記載の画像取得装置。 - 前記変更手段は、前記撮像素子の受光面と前記結像光学系の光軸方向との傾きを前記操作軸で変更し、
前記補正機構は、前記光軸方向と垂直な方向への移動及び前記結像光学系の光軸を軸とした回転を行う
ことを特徴とする請求項2に記載の画像取得装置。 - 前記補正値は、前記到達画像データの前記描画情報の模様の位置と前記目標画像データの前記描画情報の模様との差分を含み、
前記補正機構は、前記到達画像データの前記模様の位置が前記目標画像データの前記模様の位置に近づくように前記姿勢を補正する
ことを特徴とする請求項1乃至3のいずれか一項に記載の画像取得装置。 - 前記制御部は、前記被検物の画像を取得する撮像対象面の傾きに応じて、前記撮像素子の姿勢を変更する
ことを特徴とする請求項1乃至4のいずれか一項に記載の画像取得装置。 - 前記被検物を支持して、前記結像光学系の光軸方向及び前記光軸方向と垂直な方向に移動するステージを有し、
前記変更機構と前記補正機構とは、前記撮像素子の姿勢を変更する
ことを特徴とする請求項1乃至5のいずれか一項に記載の画像取得装置。 - 前記補正チャートは、前記ステージに配置されている
ことを特徴とする請求項6に記載の画像取得装置。 - 前記制御部は、複数の前記分割領域を撮像する順序と、複数の前記分割領域の像それぞれの結像面と近づくように前記姿勢を変更するための複数の前記制御目標値と、を決定し、複数の前記制御目標値それぞれと対応する複数の前記補正値を算出し、
前記変更機構および前記補正機構のそれぞれは、前記順序に従って前記姿勢の変更および補正を行う
ことを特徴とする請求項1乃至7のいずれか一項に記載の画像取得装置。 - 前記制御部は、複数の制御目標値と前記複数の制御目標値それぞれにおける補正値との関係情報を取得し、前記撮像素子の撮像面と前記分割領域の像の結像面とが近づくように前記姿勢を変更するための制御目標値に対応する補正値を算出する
ことを特徴とする請求項1乃至8のいずれか一項に記載の画像取得装置。 - 前記被検物の画像を取得する撮像対象面を決定するための計測と前記撮像対象面に関する情報を取得するための計測とを行う予備計測部を有し、
前記制御部は、前記撮像対象面に関する前記情報に基づいて、複数の前記制御目標値と複数の前記制御目標値それぞれと対応する複数の前記補正値を算出する
ことを特徴とする請求項1乃至9のいずれか一項に記載の画像取得装置。 - 前記被検物の異なる前記分割領域を撮像する複数の前記撮像素子を有し、
複数の前記撮像素子のそれぞれは、前記変更機構と、前記補正機構と、を有する
ことを特徴とする請求項1乃至10のいずれか一項に記載の画像取得装置。 - 前記補正チャートは、厚みが異なる複数の領域と、前記複数の領域それぞれの表面に配置されている複数の模様と、を有し、
前記複数の模様は、前記結像光学系の光軸と直交する直線を軸として線対称に配置されており、
前記結像光学系が前記直線からの光を結像した前記直線の像は、前記撮像素子の傾きを変更する場合の理想的な回転中心と一致する
ことを特徴とする請求項1乃至11のいずれか一項に記載の画像取得装置。 - 前記撮像素子で前記被検物を撮像する撮像範囲と前記予備計測部とは、異なる位置に配置されており、
前記補正チャートは、前記被検物が、前記予備計測部で計測可能な位置に配置されている状態又は前記予備計測部で計測可能な位置から前記撮像範囲に移動するまでの間に、前記撮像範囲に配置可能である
ことを特徴とする請求項10に記載の画像取得装置。 - 前記ステージは、複数の前記補正チャートが配置され、
前記制御部は、前記撮像素子が複数の前記補正チャートを撮像した結果得られた到達画像データを用いて前記補正値を算出する
ことを特徴とする請求項6又は7に記載の画像取得装置。 - 複数の前記補正チャートの重心を結ぶ直線の中心又は多角形の重心とは、前記ステージに配置されている前記被検物の重心とは、一致している
ことを特徴とする請求項14に記載の画像取得装置。 - 請求項1乃至15のいずれか一項に記載の画像取得装置と、
前記画像取得装置で取得した前記被検物の画像を表示する表示装置と、を有する
ことを特徴とする画像取得システム。 - 被検物における複数の分割領域を撮像して得られる複数の分割画像を繋ぎ合わせて前記被検物の画像を取得する画像取得方法であって、
前記被検物からの光を結像する結像ステップと、
前記被検物の像を撮像素子が撮像する撮像ステップと、
前記撮像素子の目標姿勢に到達するための制御目標値を算出する算出ステップと、
前記制御目標値に応じて前記被検物又は前記撮像素子の姿勢を変更する変更ステップと、
前記姿勢が前記変更ステップで前記姿勢を変更した後の到達姿勢の状態で前記撮像素子が描画情報が既知の補正チャートを実際に撮像した結果得られた到達画像データと、前記姿勢が前記目標姿勢の状態で前記撮像素子が前記補正チャートを撮像した場合に得られるであろう目標画像データと、を比較して前記姿勢の補正値を取得する取得ステップと、
前記補正値に基づいて、前記到達姿勢が、前記目標姿勢に近づくように前記姿勢を補正する補正ステップと、を有する
ことを特徴とする画像取得方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156794A JP2016033620A (ja) | 2014-07-31 | 2014-07-31 | 画像取得装置 |
US14/810,949 US20160033753A1 (en) | 2014-07-31 | 2015-07-28 | Image acquiring apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014156794A JP2016033620A (ja) | 2014-07-31 | 2014-07-31 | 画像取得装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016033620A true JP2016033620A (ja) | 2016-03-10 |
Family
ID=55179858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014156794A Pending JP2016033620A (ja) | 2014-07-31 | 2014-07-31 | 画像取得装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160033753A1 (ja) |
JP (1) | JP2016033620A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173943A (ja) * | 2017-03-07 | 2018-11-08 | イラミーナ インコーポレーテッド | 撮像試料用の光学歪み補正 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3181703B1 (en) * | 2015-12-18 | 2018-12-05 | Paris Sciences et Lettres - Quartier Latin | Optical device for measuring the position of an object |
US10203491B2 (en) * | 2016-08-01 | 2019-02-12 | Verily Life Sciences Llc | Pathology data capture |
JP6423841B2 (ja) * | 2016-10-11 | 2018-11-14 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
CN112733773B (zh) * | 2021-01-18 | 2024-07-16 | 上海商汤智能科技有限公司 | 一种对象检测方法、装置、计算机设备和存储介质 |
CN114184993A (zh) * | 2021-11-09 | 2022-03-15 | 东风电驱动系统有限公司 | 一种带同步自校准的数据采集方法 |
CN117255982A (zh) * | 2022-04-19 | 2023-12-19 | 京东方科技集团股份有限公司 | 手势识别方法、交互方法、手势交互系统、电子设备、存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6285799B1 (en) * | 1998-12-15 | 2001-09-04 | Xerox Corporation | Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system |
KR100772843B1 (ko) * | 2006-02-13 | 2007-11-02 | 삼성전자주식회사 | 웨이퍼 얼라인 장치 및 방법 |
JP5338498B2 (ja) * | 2009-06-09 | 2013-11-13 | ソニー株式会社 | 監視カメラシステムで使用される制御装置、カメラシステム及びプログラム |
US20130044200A1 (en) * | 2011-08-17 | 2013-02-21 | Datacolor, Inc. | System and apparatus for the calibration and management of color in microscope slides |
-
2014
- 2014-07-31 JP JP2014156794A patent/JP2016033620A/ja active Pending
-
2015
- 2015-07-28 US US14/810,949 patent/US20160033753A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173943A (ja) * | 2017-03-07 | 2018-11-08 | イラミーナ インコーポレーテッド | 撮像試料用の光学歪み補正 |
Also Published As
Publication number | Publication date |
---|---|
US20160033753A1 (en) | 2016-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016033620A (ja) | 画像取得装置 | |
US11825062B2 (en) | Motion blur compensation | |
JP5589823B2 (ja) | ステレオカメラの校正装置および校正方法 | |
US11189012B2 (en) | Arrangement having a coordinate measuring machine or microscope | |
CN110612428B (zh) | 使用特征量的三维测量方法及其装置 | |
JP2001332595A (ja) | 焦点合わせ制御機構及びこれを用いた検査装置 | |
WO2011114407A1 (ja) | 波面収差測定方法及びその装置 | |
TW202217231A (zh) | 畸變像差校正處理裝置、畸變像差校正方法及程式 | |
JP5494267B2 (ja) | 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法、およびロボット装置 | |
JPWO2018168757A1 (ja) | 画像処理装置、システム、画像処理方法、物品の製造方法、プログラム | |
KR20070016752A (ko) | 길이 측정장치 및 방법 | |
JP2009253715A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JP2009288162A (ja) | 3次元測定装置 | |
JP2000039310A (ja) | 形状測定方法および形状測定装置 | |
JP2009264894A (ja) | 検査装置 | |
JP2009223164A (ja) | 顕微鏡画像撮影装置 | |
JP4670194B2 (ja) | 顕微鏡システム | |
JP2007025830A (ja) | 3次元物体の認識方法及び装置 | |
JP2022152480A (ja) | 3次元計測装置、3次元計測方法、プログラム、システム、及び物品の製造方法 | |
JP7310541B2 (ja) | 位置測定方法 | |
JP2014115179A (ja) | 測長装置、書画カメラおよび測長方法 | |
JP4644595B2 (ja) | ディスプレイの評価装置、評価方法及びプログラム | |
JP2010283088A (ja) | ウェーハ外観検査装置 | |
JP2020067511A (ja) | カメラシステム、その制御方法およびプログラム | |
WO2013051147A1 (ja) | 画像取得装置の調整方法、画像取得装置および画像取得装置の製造方法 |