JP2016212190A - 画像取得装置及びその制御方法 - Google Patents
画像取得装置及びその制御方法 Download PDFInfo
- Publication number
- JP2016212190A JP2016212190A JP2015094205A JP2015094205A JP2016212190A JP 2016212190 A JP2016212190 A JP 2016212190A JP 2015094205 A JP2015094205 A JP 2015094205A JP 2015094205 A JP2015094205 A JP 2015094205A JP 2016212190 A JP2016212190 A JP 2016212190A
- Authority
- JP
- Japan
- Prior art keywords
- image acquisition
- abnormality
- imaging
- acquisition device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】試料や画像取得装置の安全性、ユーザビリティ、等を向上することができる技術を提供する。
【解決手段】画像取得装置1は、検体を含む試料を撮像する第1撮像手段240と、前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する第2撮像手段300と、前記監視撮像データに基づいて、前記画像取得装置の異常を検出する第1検出手段430と、前記第1検出手段の検出結果に基づいて、前記画像取得装置の動作を停止する停止手段440と、を有し、前記第1検出手段430は、前記監視撮像データに基づいて、前記画像取得装置1の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、前記停止手段440は、前記第1異常が検出された場合に、前記画像取得装置1の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置1の動作を停止する。
【選択図】図1
【解決手段】画像取得装置1は、検体を含む試料を撮像する第1撮像手段240と、前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する第2撮像手段300と、前記監視撮像データに基づいて、前記画像取得装置の異常を検出する第1検出手段430と、前記第1検出手段の検出結果に基づいて、前記画像取得装置の動作を停止する停止手段440と、を有し、前記第1検出手段430は、前記監視撮像データに基づいて、前記画像取得装置1の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、前記停止手段440は、前記第1異常が検出された場合に、前記画像取得装置1の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置1の動作を停止する。
【選択図】図1
Description
本発明は、画像取得装置及びその制御方法に関する。
近年、病理学の分野において、細胞や組織片等の病理標本の顕微鏡像(病理診断画像)をディジタル画像として取得する画像取得装置が注目されている。病理診断画像のディジタル化により、データ管理の効率化や遠隔診断等が可能となる。
撮像対象となる試料は主にプレパラートである。プレパラートでは、数〜数十μm程度に薄くスライスされた組織片が、封入剤を用いてスライドグラスとカバーガラスの間に固定されている。組織片は、一般に、被験者の体内から採取された貴重なサンプルである。そのため、画像取得装置の動作異常や故障によってプレパラートを破損させてしまうようなことは避けねばならない。特に、サンプルの採取をやり直す必要が生じるようなレベルの破損は、診断の遅延、コストの増加、被験者への身体的・精神的負担の増加等、好ましからざる様々な状況を招く虞がある。また、ストッカ等の格納部を有し、一度に多数のプレパラートを処理可能な画像取得装置では、継続して安定的に動作可能な高い動作信頼性と共に、いち早く異常を検出できる高い検出信頼性が求められる。
上記多数のプレパラートを安全且つ高速に処理しつつ異常検出を速やかに行うという課題に関する従来技術は、例えば、特許文献1,2に開示されている。特許文献1に開示の技術では、プレパラートを搬送する搬送装置にプレパラートの落下を防止する落下防止ガイドが設けられており、落下防止ガイドへのプレパラートの引っかかりが検出された場合に、搬送装置の動作が停止される。特許文献2に開示の装置は顕微鏡装置ではないが、特許文献2に開示の技術では、カメラを用いて基板の欠陥が検出された場合に、装置の動作が停止される。
しかしながら、従来の画像取得装置では、異常が検出された場合に常に画像取得装置の動作が停止されるため、画像取得装置の動作の停止がユーザビリティの低下を招くことがある。ここで、画像取得装置の使用現場が無人となる夜間を利用して、多数のプレパラートが処理される場合を考える。最初の数枚のプレパラートが処理された時点で異常が検出されると、画像取得装置の動作が停止され、人手による復帰作業によって異常が解消されるまで、残りのプレパラートは処理されない。このような場合において、ユーザは、通常、異常の発生を翌朝まで気づかず、復帰作業を翌朝まで行わない。その結果、時間的損失が発生する。
また、従来の画像取得装置には、上述した課題の他にも様々な課題がある。例えば、特許文献1に開示の技術では、特定の種類の異常を検出するセンサが、特定の位置に配置されている。このような構成では、特定の位置以外の位置で発生した異常、特定の種類以外の種類の異常、等を検出することはできず、それらの異常に対する処置を行えない。そして、そのような検出及び処理を可能にするためには、複数の位置のそれぞれに1つ以上の
センサを設け、複数のセンサのそれぞれに処置を関連付ける必要がある。このような設計変更は、コスト、処理効率、作業効率、等の面において好ましくない。また、プレパラートは、非常に軽量かつ脆弱な物体である。そのため、駆動装置のトルクの変動を利用してプレパラートの引っかかりを検出する構成では、プレパラートの引っかかりが生じた直後にプレパラートが破損し、異常が検出されないことがある。また、細かく破損したプレパラート片が装置の故障を引き起こすこともある。特許文献2に開示の技術では、搬送対象物(基板)の異常以外の異常は検出されない。
センサを設け、複数のセンサのそれぞれに処置を関連付ける必要がある。このような設計変更は、コスト、処理効率、作業効率、等の面において好ましくない。また、プレパラートは、非常に軽量かつ脆弱な物体である。そのため、駆動装置のトルクの変動を利用してプレパラートの引っかかりを検出する構成では、プレパラートの引っかかりが生じた直後にプレパラートが破損し、異常が検出されないことがある。また、細かく破損したプレパラート片が装置の故障を引き起こすこともある。特許文献2に開示の技術では、搬送対象物(基板)の異常以外の異常は検出されない。
本発明は、試料や画像取得装置の安全性、ユーザビリティ、等を向上することができる技術を提供することを目的とする。具体的には、試料の破損、画像取得装置の故障、ユーザビリティの不必要な低下、等が抑制されるように、画像取得装置の異常に応じて画像取得装置の動作を好適に停止することができる技術を提供することを目的とする。
本発明の第1の態様は
検体を含む試料を撮像する第1撮像手段を有する画像取得装置であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する第2撮像手段と、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する第1検出手段と、
前記第1検出手段の検出結果に基づいて、前記画像取得装置の動作を停止する停止手段と、
を有し、
前記第1検出手段は、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止手段は、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置である。
検体を含む試料を撮像する第1撮像手段を有する画像取得装置であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する第2撮像手段と、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する第1検出手段と、
前記第1検出手段の検出結果に基づいて、前記画像取得装置の動作を停止する停止手段と、
を有し、
前記第1検出手段は、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止手段は、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置である。
本発明の第2の態様は、
検体を含む試料を撮像する画像取得装置の制御方法であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する撮像ステップと、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記画像取得装置の動作を停止する停止ステップと、
を有し、
前記検出ステップでは、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止ステップでは、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置の制御方法である。
検体を含む試料を撮像する画像取得装置の制御方法であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する撮像ステップと、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記画像取得装置の動作を停止する停止ステップと、
を有し、
前記検出ステップでは、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止ステップでは、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置の制御方法である。
本発明の第3の態様は、上述した画像取得装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明によれば、試料や画像取得装置の安全性、ユーザビリティ、等を向上することができる。具体的には、試料の破損、画像取得装置の故障、ユーザビリティの不必要な低下、等が抑制されるように、画像取得装置の異常に応じて画像取得装置の動作を好適に停止することができる。
以下、図面を用いて本発明の実施例について説明する。なお、以下の実施例はあくまで一例であり、本発明の範囲は以下の実施例に限定されない。また、以下の実施例で述べる各特徴は、本発明に必須の特徴とは限らない。本発明は、例えば、ディジタル顕微鏡、バーチャルスライドスキャナ、等のような画像取得装置に適用可能である。また、本発明に係る画像取得装置は、バーチャルスライドシステムのような画像取得システムとして捉えることもできる。
<実施例1>
本発明の実施例1に係る画像取得装置及びその制御方法について説明する。
本発明の実施例1に係る画像取得装置及びその制御方法について説明する。
(装置構成)
まず、本実施例に係る画像取得装置の構成について説明する。図1は、本実施例に係る画像取得装置(画像取得システム)1の構成の一例を示す概略図である。画像取得装置1は、多数の検体の顕微鏡像のディジタル化を自動で行う。画像取得装置1は、本撮像装置200、広域・監視撮像部300、制御部100、画像処理部400、ストッカ500、及び、搬送部600を有する。図1において、太矢印は画像情報に係るデータ信号を示し、細矢印は制御指令信号やステータス信号等を示す。
まず、本実施例に係る画像取得装置の構成について説明する。図1は、本実施例に係る画像取得装置(画像取得システム)1の構成の一例を示す概略図である。画像取得装置1は、多数の検体の顕微鏡像のディジタル化を自動で行う。画像取得装置1は、本撮像装置200、広域・監視撮像部300、制御部100、画像処理部400、ストッカ500、及び、搬送部600を有する。図1において、太矢印は画像情報に係るデータ信号を示し、細矢印は制御指令信号やステータス信号等を示す。
本撮像装置200は、検体を含む試料を本撮像する第1撮像部である。本実施例では、試料として、細胞や組織片等の検体(撮像対象)が封入されたプレパラートが使用される。本撮像により、プレパラートのディジタル顕微鏡像(ディジタル化された顕微鏡像)が得られる。本撮像装置200は、照明部210、ステージ220、レンズ部230、及び、撮像部240を有する。照明部210は、本撮像の対象であるプレパラート(対象プレパラート)に光を照射する。ステージ220は、対象プレパラートの位置決めを行う。レンズ部230は、対象プレパラートからの光を集光及び結像する。撮像部240は、結像された光を電気信号に変換する撮像素子を有する。本撮像では、後述する複数の小区画のそれぞれについて、検体の多層像(多層断面像)が取得される。本実施例では、この多層像を得る撮像を「Zスタック撮像」と記載する。
広域・監視撮像部300は、本撮像に先立って予備撮像(広域撮像)を行う広域撮像部として機能したり、画像取得装置の内部(画像取得装置1の筐体の内部)の監視撮像を行う監視撮像部として機能したりする第2撮像部である。広域撮像では、対象プレパラートの全体が撮像される。広域・監視撮像部300は、例えば、ズーム機能を備えた小型ディジタルカメラと同様の構成を有する。広域撮像によって得られた撮像画像データ(広域撮像データ)は、対象プレパラートのサムネイル画像の作成、複数の小区画(小区画群)の生成、等に使用される。また、対象プレパラートに試料識別情報が記載されている場合に
は、広域撮像データは、試料識別情報の取得に使用されることもある。試料識別情報は、試料を識別する情報である。試料識別情報としては、例えば、バーコードやQRコード(登録商標)等が使用される。監視撮像によって得られた撮像画像データ(監視撮像データ)は、画像取得装置1の内部の異常を検出するために使用される。
は、広域撮像データは、試料識別情報の取得に使用されることもある。試料識別情報は、試料を識別する情報である。試料識別情報としては、例えば、バーコードやQRコード(登録商標)等が使用される。監視撮像によって得られた撮像画像データ(監視撮像データ)は、画像取得装置1の内部の異常を検出するために使用される。
制御部100は、画像取得装置1全体の管理統括を司り、画像取得装置1の動作を制御したり、不図示の外部装置との通信を行ったりする。外部装置としては、例えば、画像取得装置1と使用者との間のユーザーインターフェースや画像ビューワとして機能するPCワークステーション、画像データの保存管理等を行う外部記憶装置や画像管理システム、等が使用される。
画像処理部400は、画像処理を含む種々の処理を行う。本実施例では、画像データを用いた処理を「画像処理」と記載する。そのため、本実施例では、画像処理は、画像データの値を変更する処理に限定されない。画像処理部400は、本撮像処理部410、広域撮像処理部420、異常検出部430、及び、異常判定部440を有する。本撮像処理部410は、撮像部240から本撮像によって得られた撮像画像データ(本撮像データ)を取得し、取得した本撮像データを用いた画像処理を行う。広域撮像処理部420は、広域・監視撮像部300から広域撮像データを取得し、取得した広域撮像データを用いた画像処理を行う。異常検出部430は、広域・監視撮像部300から監視撮像データを取得する。そして、異常検出部430は、取得した監視撮像データに基づいて、画像取得装置1の異常を検出する(第1検出処理)。異常判定部440は、異常検出部430の検出結果に基づいて、画像取得装置1の動作を(強制的に)停止するか否かを判定する。画像処理部400は、本撮像処理部410や広域撮像処理部420によって生成された画像データを不図示の外部装置へ出力したり、種々の処理結果を制御部100に通知したりする。
なお、図1では、画像処理部400の複数の機能にそれぞれ対応する複数の構成要素が示されているが、1つの構成要素が2つ以上の機能を有していてもよい。制御部100や画像処理部400の機能は、CPUやDSP上で動作するソフトウェアによって実現されてもよい。また、制御部100や画像処理部400の機能は、ASICやFPGA等のハードウェアによって実現されてもよい。ソフトウェアによって実現される機能と、ハードウェアによって実現される機能とは、設計時等おいて適宜決定される。
ストッカ500には、複数(多数)のプレパラートが格納される。プレパラートは、ユーザによってストッカ500に格納される。
搬送部600は、ストッカ500に格納された複数のプレパラートを順番に搬送する。具体的には、搬送部600は、プレパラートをストッカ500から搬出し(プレパラートの出庫)、搬出したプレパラートを用いた種々の処理が行われた後、搬出したプレパラートをストッカ500に搬入する(プレパラートの入庫)。
次に、画像取得装置1の各構成要素について、図1,2(a),2(b),3(a)を用いて、より具体的に説明する。図2(a),2(b)は、各構成要素の配置の一例を模式的に示す図であり、図3(a)は、プレパラート10の一例を示す図である。図2(a),2(b)は画像取得装置1の断面図であり、図2(a)は上面図であり、図2(b)は側面図である。図2(a),2(b)に示すように、本実施例では、レンズ部230の光軸方向がZ方向として規定されており、光軸方向に垂直な方向(水平面方向)がXY方向として規定されている。
プレパラート10は、図3(a)に示すように、検体14、スライドグラス12、カバーグラス11、及び、封入材13を有する。スライドグラス12は、プレパラート10の
土台として使用される。検体14は、スライドグラス12上に設けられ、スライドグラス12とカバーグラス11によって挟まれる。カバーグラス11は、検体14を保護する保護膜として使用される。また、スライドグラス12とカバーグラス11の間には封入材13が設けられる。封入材13は、スライドグラス12に対して検体14やカバーグラス11を固定するために使用される。
土台として使用される。検体14は、スライドグラス12上に設けられ、スライドグラス12とカバーグラス11によって挟まれる。カバーグラス11は、検体14を保護する保護膜として使用される。また、スライドグラス12とカバーグラス11の間には封入材13が設けられる。封入材13は、スライドグラス12に対して検体14やカバーグラス11を固定するために使用される。
照明部210は、光を発する光源と、光を対象プレパラートに対して集光するための光学系とを有する。光源としては、ハロゲンランプやLED等を用いることができる。ステージ220は、対象プレパラートを保持してXYZ各方向に精密に移動させる位置制御機構221を有する。位置制御機構221は、例えば、モータとボールネジの組合せやピエゾ素子等の駆動機構によって実現される。また、ステージ220は、ステージ220が移動する際の加速度による対象プレパラートの位置ずれを防止するために、保持固定機構(不図示)を有する。保持固定機構は、例えば、バキューム等によって実現される。レンズ部230は、対物レンズと結像レンズとを有し、照明部210から発せられて対象プレパラートを透過した透過光を、撮像部240が有する撮像素子の受光面上に結像させる。レンズの対象プレパラート側のFOV(Field of View:視野、画角)は、略1mm四方程度であることが好ましく、レンズの対象プレパラート側の被写界深度は、0.5μm程度であることが好ましい。撮像部240は、撮像素子(イメージセンサ)とその制御回路を有する。撮像素子としては、例えば、CCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)、等を用いることができる。撮像部240は、制御部100からの制御信号に基づいて設定された露光時間、センサゲイン、露光開始タイミング等に従って、受光した光を光電変換し、光電変換によって得られた電気信号を画像処理部400に出力する。
本実施例では、レンズ部230は、ダイクロイックプリズムを用いて、透過光を、色成分が互い異なる3つの光に分割する。また、撮像部240は、3つの光にそれぞれ対応する3つの撮像素子を有する。そして、3つの光のそれぞれは、その光に対応する撮像素子に入射する。3つの光の経路は互いに異なる。なお、光の分割方法は、ダイクロイックプリズムを用いた方法に限らない。例えば、ビームスプリッタ及び光学帯域フィルタを用いて光が分割されてもよい。また、上記3つの光の光路長のうち、少なくとも1つの光路長は、残り2つの光路長と異なっていてもよい。また、光が分割されずに、光の値として色成分が互いに異なる複数の値を得ることができる撮像素子が使用されてもよい。例えば、光の値としてRGB値を得ることができる撮像素子が使用されてもよい。
広域・監視撮像部300は、搬送部600のプレート640に載置されたプレパラート10に照明光を照射する照明部と、ズームレンズ、撮像素子、等を有するカメラ部と、を有する。広域・監視撮像部300は、制御部100からの制御信号に基づいて設定された露光時間、センサゲイン、露光開始タイミング、照明量等に従って撮像を行うことにより、撮像画像データを取得する。広域・監視撮像部300は、取得した撮像画像データを画像処理部400に出力する。広域撮像時には、1回の撮像でプレパラート10の全体が撮像できるように、ズームレンズの倍率がテレ側に設定されることが好ましい。そして、監視撮像時には、1回の撮像で筐体内のできるだけ広い範囲が撮像できるように、ズームレンズの倍率がワイド側に設定されることが好ましい。また、広い範囲の監視撮像のために、カメラ部は、筐体内の天板近傍かつ筐体内の中央部近傍に設置されることが好ましい。また、カメラ部による撮像の死角がより低減するように、画像取得装置1の各部材の配置が工夫されていることが好ましい。
なお、広域・監視撮像部300は、上述した倍率(焦点距離)を連続的に変更可能な構成を有していてもよいし、倍率を段階的に変更可能な構成を有していてもよい。広域撮像時と監視撮像時とで異なる焦点距離が設定できれば、広域・監視撮像部300の構成は特
に限定されない。
に限定されない。
なお、筐体外から筐体内への光は遮断されているため、筐体内を照明する照明装置が用いられることが好ましい。このような照明装置を用いれば、監視撮像データとして、一般的なディジタル写真のように撮像対象の詳細を忠実に表す撮像画像データを得ることができる。しかしながら、そのような撮像画像データを監視撮像データとして得る必要はなく、監視撮像データを用いて画像取得装置1の異常が検出できればよい。本実施例では、不図示の記憶部が基準撮像データを予め記憶しており、基準撮像データと監視撮像データを比較することで異常が検出される。そのため、監視撮像データとして、基準撮像データとの差異を判別可能な撮像画像データが得られればよい。基準撮像データは、画像取得装置1の異常が無い状態での監視撮像によって取得された撮像画像データである。また、撮像素子の感度は近年著しく向上しており、プレパラート10に光を照射する高輝度LED(照明部の光源)の進化も目覚しい。そのため、外部からの光が遮断された筐体内が監視撮像の対象であることは、特に問題とはならない。なお、監視撮像データを用いた方法であれば、異常の検出方法は特に限定されない。
制御部100は、後述の動作プロセスに基づいて画像取得装置1の各構成要素の動作を制御する。具体的には、制御部100は、動作条件の設定や動作タイミングの指示等を行う。制御部100は、広域・監視撮像部300に対して、露光時間、センサゲイン、露光開始タイミング、照明光量、ズーム倍率等の設定及び制御を行う。制御部100は、照明部210に対して、光量、絞り等の設定及び制御を行う。また、必要であれば、制御部100は、照明部210に対して、カラーフィルタの切り替え等を制御する。制御部100は、ステージ220に対して、ステージ220の位置の制御を行う。例えば、制御部100は、小区画群に関する情報、不図示のエンコーダ等から取得されたステージの現在の位置に関する情報、等に基づいて、プレパラート10の所望の部位を本撮像できるように、ステージ220のXYZ方向の位置を制御する。制御部100は、撮像部240に対して、露光時間、センサゲイン、露光開始タイミング等の設定及び制御を行う。制御部100は、画像処理部400に対して、処理モードや処理開始タイミングの設定及び制御を行う。また、制御部100は、小区画群に関する情報、試料識別情報、等の広域撮像データの処理結果、異常の検出結果、異常の判定結果、等を画像処理部400から取得する。さらに、制御部100は、不図示の外部装置との通信を行う。具体的には、制御部100は、ユーザが外部装置に入力した動作条件を外部装置から取得したり、画像取得装置1の動作のスタート/ストップを指示する指示信号を外部装置から取得したり、画像取得装置1のステータスを外部装置に出力したりする。
画像処理部400は、主に3つの処理を行う。1つ目の処理は、本撮像時に撮像部240から出力された本撮像データを用いた処理であり、本撮像処理部410により行われる。本撮像処理部410は、本撮像データに対し、RGB間の感度差やγカーブ等の各種補正処理、必要に応じたデータ圧縮処理、プロトコル変換処理等を施す。そして、本撮像処理部410は、制御部100から指示に基づいて、処理が施された後の本撮像データを、外部装置へ出力する。また、本撮像処理部410は、撮像部240から出力された撮像データに基づいて合焦に係わる演算を行った後に、Zスタック範囲(Z方向における撮像範囲)を決定し、Zスタック範囲を制御部100に出力する。具体的には、本撮像処理部410は、多層像の撮像データから検体14の存在範囲を示す合焦評価指標(例えばコントラスト値)の分布を算出し、合焦評価指標の分布に基づいて小区画における検体14の有無を推定する。検体14の存在範囲は、検体14が存在する範囲である。そして、本撮像処理部410は、検体14が存在すると推定された範囲を包含するようZスタック範囲を決定し、Zスタック範囲を制御部100に出力する。なお、Zスタック範囲を設定する他、最合焦位置のみを撮像するように撮像範囲を設定する方法もある。
2つ目の処理は、広域撮像時に広域・監視撮像部300から出力された広域撮像データを用いた処理であり、広域撮像処理部420により行われる。広域撮像処理部420は、広域撮像データを解析し、バーコード情報の読み取り、検体14のXY方向における存在範囲の検出、小区画群の生成、サムネイル画像の生成、等を行う。制御部100は、広域撮像処理部420によって生成された小区画群の情報(座標、数等)に基づいて、本撮像を制御する。
3つ目の処理は、監視撮像時に広域・監視撮像部300から出力された監視撮像データを用いた処理であり、異常検出部430及び異常判定部440により行われる。異常検出部430は、監視撮像データを基準撮像データと比較し、監視撮像データと基準撮像データの間に有意差が認められた場合に画像取得装置1の異常が発生したと見なす。異常判定部440は、異常検出部430にて検出された異常が第1異常であるか第2異常であるかを判定し、判定結果を制御部100に通知する。具体的には、異常判定部440は、検出された異常が第1異常である場合に、画像取得装置1の動作の続行を制御部100に要求し、検出された異常が第2異常である場合に、画像取得装置1の動作の停止を制御部100に要求する。第1異常は、画像取得装置1の動作の障害とならない異常であり、第2異常は、画像取得装置1の動作の障害となる異常である。
上述したように、ストッカ500には、複数のプレパラート10が格納される。ユーザは、画像取得装置1の前面に設けられた不図示のドア(前面ドア)を開き、ストッカ500にプレパラート10を格納する。図2(a),2(b)の例では、10段×4枚の合計40枚のプレパラート10をストッカ500に格納することができる。ストッカ500に格納可能なプレパラート10の枚数は、40枚より多くても少なくてもよい。
搬送部600は、X軸ステージ610、Z軸ステージ620、昇降台630、及び、プレート640を有する。Z軸ステージ620はX軸方向に移動可能にX軸ステージ610に設けられており、昇降台630はZ軸方向に移動可能にZ軸ステージ620に設けられており、プレート640は昇降台630に内蔵された駆動機構によってY軸方向に移動可能に設けられている。Z軸ステージ620、昇降台630、及び、プレート640の移動により、プレパラート10の搬送が行われる。
なお、画像取得装置1の構成は上記構成に限らない。例えば、上記説明した構成と光学的に同等であるならば、試料を載置台に固定され、撮像部とレンズ部の位置がステージ等を用いて制御されてもよい。また、プレパラート10は、ベルトコンベア等を用いて搬送されてもよい。
(撮像プロセス)
次に、画像取得装置1の撮像プロセス(本撮像のための処理プロセス)について説明する。図4(a)は、画像取得装置1の撮像プロセスの一例を示すフローチャートである。図5(a)〜5(d)は、撮像プロセスにおける画像取得装置1の内部動作を模式的に示す図である。例えば、ユーザが、ストッカ500にプレパラート10をセットした後に、画像取得装置1に対して動作開始を指示することで、撮像プロセスが開始される。以下では、1つのプレパラート10の撮像プロセスについて説明する。複数のプレパラート10のそれぞれについて、以下の撮像プロセスが行われる。
次に、画像取得装置1の撮像プロセス(本撮像のための処理プロセス)について説明する。図4(a)は、画像取得装置1の撮像プロセスの一例を示すフローチャートである。図5(a)〜5(d)は、撮像プロセスにおける画像取得装置1の内部動作を模式的に示す図である。例えば、ユーザが、ストッカ500にプレパラート10をセットした後に、画像取得装置1に対して動作開始を指示することで、撮像プロセスが開始される。以下では、1つのプレパラート10の撮像プロセスについて説明する。複数のプレパラート10のそれぞれについて、以下の撮像プロセスが行われる。
まず、搬送部600が、プレパラート10をストッカ500から搬出する(図5(a)、S101)。次に、搬送部600が、プレート640に載置したプレパラート10を広域撮像ポイントとなる広域・監視撮像部300直下まで搬送する(S102)。そして、広域・監視撮像部300が、プレパラート10の全体を一括撮像する(図5(b)、S103)。このとき、プレパラート10全面に画角及び焦点を合わせるため、広域・監視撮
像部300の倍率を調整すると共に、プレパラート10を広域・監視撮像部300近傍まで上昇させてもよい。画像処理部400は、広域撮像データ(プレパラート10全体の撮像結果)を元に、XY方向における検体14の存在範囲を検出し、図3(b)に示すように、検出範囲(存在範囲)を全てカバーするように複数の小区画801を決定する。小区画801の大きさは本撮像装置200のFOV即ち画角に略一致しており、1回の本撮像で1つの小区画801の領域(プレパラート10の一部)の画像が取得される。次に、搬送部600が、広域撮像を終えたプレパラート10を、ステージ220まで搬送する(図5(c),5(d)、S104)。それにより、広域撮像を終えたプレパラート10は、ステージ220に載置・固定される。
像部300の倍率を調整すると共に、プレパラート10を広域・監視撮像部300近傍まで上昇させてもよい。画像処理部400は、広域撮像データ(プレパラート10全体の撮像結果)を元に、XY方向における検体14の存在範囲を検出し、図3(b)に示すように、検出範囲(存在範囲)を全てカバーするように複数の小区画801を決定する。小区画801の大きさは本撮像装置200のFOV即ち画角に略一致しており、1回の本撮像で1つの小区画801の領域(プレパラート10の一部)の画像が取得される。次に、搬送部600が、広域撮像を終えたプレパラート10を、ステージ220まで搬送する(図5(c),5(d)、S104)。それにより、広域撮像を終えたプレパラート10は、ステージ220に載置・固定される。
そして、プレパラート10が載置されたステージ220が、本撮像装置200による最初の本撮像の対象となる小区画801がレンズ部230直下に位置するように、移動する。最初に本撮像の対象となる小区画801は、任意に決められるものの、全小区画が一筆書きのように選択されながら本撮像されるように決定されることが好ましい。次に、画像処理部400が、検体14のZ方向における合焦位置を探索する探索処理を行う(S105)。ここでは、取得されたZ方向における多層像の撮像データを元に合焦評価指標が算出され、Z方向における検体14の存在範囲が推定される。推定された検体14の存在範囲をカバーするようにZスタック撮像が行われる。なお、合焦評価指標に基づいて、最合焦位置が、撮像層(本撮像の対象となる層)として設定されてもよい。次に、推定された合焦範囲に基づいて、ステージ220がXY方向に移動しながら、全ての小区画801に対して本撮像が行われる(図5(d)、S106)。全ての小区画801に対する本撮像が終了すると、搬送部600が、プレパラート10をステージ220からピックアップし(図5(c))、ストッカ500まで搬送し(図5(a)、S107)、ストッカ500に搬入する(図5(a)、S108)。それにより、1つのプレパラート10についての撮像プロセスが完了する。
(XY撮像範囲の算出)
次に、XY撮像範囲の算出について説明する。XY撮像範囲は、XY方向における範囲であり、本撮像の対象となる範囲である。図3(b)は、XY撮像範囲を模式的に示す図である。具体的には、図3(b)は、プレパラート10中の検体14を全て含むように設定された小区画801群を示す図である。
次に、XY撮像範囲の算出について説明する。XY撮像範囲は、XY方向における範囲であり、本撮像の対象となる範囲である。図3(b)は、XY撮像範囲を模式的に示す図である。具体的には、図3(b)は、プレパラート10中の検体14を全て含むように設定された小区画801群を示す図である。
プレパラート10全域を撮像した広域撮像データから検体14のXY方向における存在範囲を検出する画像処理方法としては、画像のコントラストの二値化によって高コントラスト領域を判別する方法が代表的である。一般的に、プレパラート内の検体(細胞や組織片等)は染色されているため、検体は高コントラストで描出される。上記方法は、検体が高コントラストで描出されることを利用した方法である。他の方法として、コントラストの変化に着目して検体14のエッジを検出し、検出したエッジの内側の領域を検体14の存在範囲とみなす方法も挙げられる。プレパラートに稀に付着したゴミや埃等を検体14と誤検知することを防止或いは除去し、検体14のみを撮像対象とするようなアルゴリズムを用いることが好ましい。
小区画801群は、検体14のXY方向における存在範囲全体を含むように設定される。小区画801の大きさは、本撮像装置200のFOVに略一致することが好ましい。また、小区画801とその周囲の小区画801との間に若干の重複部分が設けられることが好ましい。これらにより、画像処理後の本撮像データとして、広範囲に渡って高解像度な顕微鏡画像のデータを得ることができる。
(探索処理と本撮像)
次に、探索処理(S105)と本撮像(S106)について説明する。まず、探索処理
について説明する。図3(c)は探索処理の方法の一例を示す図である。図3(c)の左側には、図3(a)に示すプレパラート10の一点鎖線領域901を拡大した拡大図が示されている。撮像範囲802は、XY方向の撮像エリア(小区画)と被写界深度とで決まる、1回の露光で撮像できる三次元領域である。図3(a)では、Z方向に一定の間隔で8つの撮像範囲802が配置されている。領域901下端即ちスライドグラス12内部から領域901上端即ちカバーグラス11下端近傍に至るまで8つの撮像範囲802が配置される。8つの撮像範囲802は、薄い検体厚程度(数μm程度)の間隔で配置される。探索処理では、ステージ220がZ方向にステップ移動して、複数の撮像範囲802が順番に撮像される。それにより、検体が存在する可能性のあるZ範囲(Z方向の範囲)を全て含むZ範囲を撮像することができる。なお、撮像範囲802の数は8つより多くても少なくてもよい。
次に、探索処理(S105)と本撮像(S106)について説明する。まず、探索処理
について説明する。図3(c)は探索処理の方法の一例を示す図である。図3(c)の左側には、図3(a)に示すプレパラート10の一点鎖線領域901を拡大した拡大図が示されている。撮像範囲802は、XY方向の撮像エリア(小区画)と被写界深度とで決まる、1回の露光で撮像できる三次元領域である。図3(a)では、Z方向に一定の間隔で8つの撮像範囲802が配置されている。領域901下端即ちスライドグラス12内部から領域901上端即ちカバーグラス11下端近傍に至るまで8つの撮像範囲802が配置される。8つの撮像範囲802は、薄い検体厚程度(数μm程度)の間隔で配置される。探索処理では、ステージ220がZ方向にステップ移動して、複数の撮像範囲802が順番に撮像される。それにより、検体が存在する可能性のあるZ範囲(Z方向の範囲)を全て含むZ範囲を撮像することができる。なお、撮像範囲802の数は8つより多くても少なくてもよい。
図3(c)の右側には、図3(c)の左側に示すa−a’断面(撮像エリア右端)上での合焦評価指標の分布が模式的に示されている。本実施例では、8つの撮像範囲802の撮像データをZ方向に内挿補間することにより、合焦評価指標の分布が算出される。合焦評価指標としては、画像のコントラスト値が一般的に用いられる。そして、所定の閾値以上の合焦評価指標を示すZ範囲が、Z方向における検体14の存在範囲、即ち検体厚と判定される。一般的に、プレパラート10では、ほぼ一定の厚みに切断された組織片等が検体14として使用される。そのため、最合焦位置を単一撮像層として設定できる。或いは、存在範囲を全て含むようにZスタック範囲を設定することによって、本撮像プロセスにおいて過不足なく検体14の多層像を取得することもできる。
次に、本撮像について説明する。図3(d)は、本撮像の一例を示す図である。図3(d)は、Zスタック範囲が設定された場合の例を示す。図3(d)には、図3(a)に示すプレパラート10の一点鎖線領域902を拡大した拡大図が示されている。本撮像では、Zスタック範囲に隙間なく複数の撮像範囲802が配置される。撮像範囲802のZ方向のサイズは、被写界深度に等しい。なお、プレパラート10の経年変化やバラツキ等によってZスタック範囲を小区画801の座標によって変化させる必要がある場合等において好ましい方式として、様々な方式が知られている。例えば、小区画801を移動する度に探索処理を行う方式、複数の小区画801のそれぞれについて予め探索処理を行い、各小区画801の合焦評価指標の分布を予め取得するプレマップ方式、等が知られている。これらはいずれも公知技術であり、ここではその詳細な説明は省略する。
(異常検出プロセス)
次に、画像取得装置1の異常検出プロセス(画像取得装置1の異常の検出と、その検出結果に応じた制御のための処理プロセス)について説明する。図4(b)は、画像取得装置1の異常検出プロセスの一例を示すフローチャートである。本実施例では、画像取得装置1が動作を開始すると、異常検出プロセスが定期的に行われる。また、本実施例では、画像取得装置1の動作中に画像取得装置1の外乱が検出された場合にも、異常検出プロセスが行われる。なお、異常検出プロセスを実行するタイミングはこれらに限らない。所定時間おきにのみ異常検出プロセスが行われてもよいし、外乱が検出された場合にのみ異常検出プロセスが行われてもよい。
次に、画像取得装置1の異常検出プロセス(画像取得装置1の異常の検出と、その検出結果に応じた制御のための処理プロセス)について説明する。図4(b)は、画像取得装置1の異常検出プロセスの一例を示すフローチャートである。本実施例では、画像取得装置1が動作を開始すると、異常検出プロセスが定期的に行われる。また、本実施例では、画像取得装置1の動作中に画像取得装置1の外乱が検出された場合にも、異常検出プロセスが行われる。なお、異常検出プロセスを実行するタイミングはこれらに限らない。所定時間おきにのみ異常検出プロセスが行われてもよいし、外乱が検出された場合にのみ異常検出プロセスが行われてもよい。
まず、所定時間おきに発生するタイマ割込、または、画像取得装置1の外乱を制御部100が検出すると(S201)、広域・監視撮像部300が、筐体内を撮像する(S202)。なお、タイマ割込は、広域撮像(図4(a)のS103)が行われる期間外のタイミングで生成されることが好ましい。外乱を検出する処理(第2検出処理)の方法は特に限定されない。例えば、不図示の加速度センサを用いて、画像取得装置1の外部に物がぶつかることで生じた衝撃、地震による画像取得装置1の揺れ、等が外乱として検出されてもよい。不図示の外部装置やネットワークから外乱の発生を示す外乱情報を取得すること
で、外乱が検出されてもよい。プレパラート10が所定のタイミングで所定の位置にあることが既存のセンサ等で検出されなかった場合に、外乱が発生したと判定されてもよい。
で、外乱が検出されてもよい。プレパラート10が所定のタイミングで所定の位置にあることが既存のセンサ等で検出されなかった場合に、外乱が発生したと判定されてもよい。
次に、異常検出部430が、S202で取得された監視撮像データを基準撮像データと比較する(S203)。そして、異常検出部430は、監視撮像データと基準撮像データの間の差異を検出すると(S204)、画像取得装置1の内部の異常が発生したと判断し、その旨を、制御部100を介してユーザに通知する(S205)。差異の検出方法としては、画像処理分野における種々の公知技術を用いることができる(監視撮像データの値と基準撮像データの値との差分を算出する等)。
なお、画像取得装置1の内部構造は予め判明しているため、異常発生個所(異常が発生した箇所)は、上記差異が検出された位置から容易に推定可能である。そのため、S205では、画像取得装置1の内部における異常検出位置(異常が検出された位置;異常発生箇所)に関する情報がユーザに通知されることが好ましい。例えば、「ストッカ500と搬送部600の間」、「ステージ220と搬送部600の間」、等の情報がユーザに通知されることが好ましい。それにより、ユーザは異常発生個所を容易に把握(推定)することができる。例えば、ストッカ500と搬送部600の間での異常が検出された場合には、プレパラート10がストッカ500から搬出される際に落下したと推定できる。また、ステージ220と搬送部600の間での異常が検出された場合には、プレパラート10がステージ220からピックアップされる際に落下したと推定できる。また、S205では、異常の解消がユーザに要求されることが好ましい。異常の解消がユーザに要求されれば、異常を迅速に解消することができる。異常の解消の要求は、異常の発生をユーザに通知したり、異常発生個所をユーザに通知したりすることによっても実現される。上記の通知や要求は、画像表示、ランプの点灯、音声、等を用いて実現できる。
次に、異常判定部440が、S205で検出された異常が第1異常であるか第2異常であるかを判定する(S206)。例えば、落下したプレパラート10と思しき物体が画像取得装置1内のデッドスペースに存在する異常は、画像取得装置1の動作の障害とならないため、第1異常として扱われ、画像取得装置1の動作が続行される(S208)。一方、搬送部600によるプレパラート10の搬送の障害となる異常は、画像取得装置1の動作の障害となるため、第2異常として扱われ、画像取得装置1の動作が停止される(S207)。具体的には、搬送部600が有する複数の可動部の動線上の位置が異常発生箇所である場合、画像取得装置1が動作を続行すると、落下したプレパラート10が搬送部600によって破壊される虞がある。さらに、プレパラート10の破片によって画像取得装置1が故障する虞がある。これらを防止するために、第2異常が検出された場合には画像取得装置1の動作が停止される。画像取得装置1の動作は、異常判定部440からの要求に応じて制御部100により停止される。画像取得装置1の動作が停止されると、異常が解消されるまで停止状態が維持される。
(異常復帰プロセス)
次に、画像取得装置1の異常復帰プロセス(異常が解消されたか否かを判定するための処理プロセス)について説明する。図4(c)は、画像取得装置1の異常復帰プロセスの一例を示すフローチャートである。なお、異常復帰プロセスは、異常が検出された後にのみ行われてもよいし、そうでなくてもよい。例えば、後述する所定の作業が検出される度に異常復帰プロセスが行われてもよい。
次に、画像取得装置1の異常復帰プロセス(異常が解消されたか否かを判定するための処理プロセス)について説明する。図4(c)は、画像取得装置1の異常復帰プロセスの一例を示すフローチャートである。なお、異常復帰プロセスは、異常が検出された後にのみ行われてもよいし、そうでなくてもよい。例えば、後述する所定の作業が検出される度に異常復帰プロセスが行われてもよい。
まず、制御部100が、ユーザによって行われる所定の作業の完了を検出する(S301;第3検出処理)。所定の作業は特に限定されないが、例えば、異常を解消するための作業(復帰作業)である。ユーザは、例えば、前面ドアを開いて復帰作業を行い、復帰作業の完了後に前面ドアを閉じる。この場合、前面ドアの状態が開状態から閉状態へと変化
を、復帰作業の完了として検出することができる。前面ドアの状態は不図示のセンサを用いて検出することができる。なお、所定の作業(復帰作業)の検出方法は上述したものに限らない。例えば、復帰作業の完了を指示するユーザ操作に応じて、復帰作業の完了が検出されてもよい。
を、復帰作業の完了として検出することができる。前面ドアの状態は不図示のセンサを用いて検出することができる。なお、所定の作業(復帰作業)の検出方法は上述したものに限らない。例えば、復帰作業の完了を指示するユーザ操作に応じて、復帰作業の完了が検出されてもよい。
復帰作業の完了が検出されると、広域・監視撮像部300が監視撮像を行い(S302)、異常検出部430がS302で取得された監視撮像データを基準撮像データと比較する(S303)。そして、異常検出部430が、監視撮像データと基準撮像データの間の差異を検出しなかった場合に、異常が解消されたと判断し(S304)、画像取得装置1の動作が開始される(S305)。一方、異常検出部430が、監視撮像データと基準撮像データの間の差異を検出した場合に、異常が解消されていない(復帰作業を再度行う必要がある)と判断し、その旨を、制御部100を介してユーザに通知する(S306)。画像取得装置1の動作は、異常検出部430からの要求に応じて制御部100により開始される。なお、画像取得装置1の動作は、異常が検出されるまでに行われた動作の続きから再開されることが好ましい。
以上述べたように、本実施例によれば、画像取得装置の異常が画像取得装置の動作の障害となる場合には画像取得装置の動作は停止されず、画像取得装置の異常が画像取得装置の動作の障害となる場合に画像取得装置の動画が停止される。そのような簡易な構成により、装置の複雑化及び高コスト化を回避しつつ、時間的損失の発生を最小限に抑えるユーザビリティと、装置の故障や試料の破損の発生する可能性を抑制する高い安全性と、を両立することができる。
なお、本実施例では、監視撮像を行う撮像部が試料の全体を撮像可能な例を説明した。即ち、本実施例では、監視撮像を行う撮像部が広域撮像を行う撮像部を兼ねる例を説明した。しかしながら、監視撮像を行う撮像部はこれに限らない。例えば、監視撮像を行う撮像部が本撮像を行う撮像部を兼ねていてもよい。また、本撮像を行う撮像部および広域撮像を行う撮像部とは別に、監視撮像を行う撮像部が設けられていてもよい。
図6(a),6(b)は、画像取得装置の他の構成を示す上面図である。図6(a),6(b)の例では、搬送部600に載置されたプレパラート10が広域撮像されるのではなく、ステージ220に載置されたプレパラート10が広域撮像部310によって広域撮像される。図6(a)は、本撮像を行う際の配置を示す。図6(a)では、ステージ220が撮像部240の直下に位置している。図6(b)は、広域撮像を行う際の配置を示す。図6(b)では、ステージ220が広域撮像部310の直下に位置している。図6(a),6(b)では、ステージ220上に載置されたプレパラート10は省略されている。このような構成は、ステージ220のXY方向における可動範囲を広げることで構成できる。但し、広域撮像部310が筐体の中央から大きくずれた位置にあるため、広域撮像部310で筐体内を撮像した場合、筐体内の右端領域が死角となる。そのため、広域撮像部310とは別に、監視撮像を行う監視撮像部320を設けることが好ましい。監視撮像部320は、例えば、XY方向における画像取得装置の中心位置近傍に設けられる。それにより、死角を減らすことができる。
<実施例2>
本発明の実施例2に係る画像取得装置及びその制御方法について説明する。本実施例では、ストッカ500の構成と配置、及び、搬送部600の構成と配置が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
本発明の実施例2に係る画像取得装置及びその制御方法について説明する。本実施例では、ストッカ500の構成と配置、及び、搬送部600の構成と配置が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
図7(a),7(b)は、本実施例に係る画像取得装置の各構成要素の配置の一例を模
式的に示す図である。図7(a),7(b)は画像取得装置の断面図であり、図7(a)は上面図であり、図7(b)は側面図である。図7(a)に示すように、本実施例では、ストッカ500がZ軸方向を回転軸として回転駆動可能に構成されている。図7(a),7(b)に示すように、ストッカ500の回転軸を中心として放射状に並べられた2枚以上のプレパラート10をZ軸方向に積層した形態で、複数のプレパラート10がストッカ500に格納される。そして、ストッカ500、搬送部600、及び、ステージ220は、X軸に平行な一直線上に並べられている。このため、搬送部600は、X軸方向に移動するステージを有する必要がなく、X軸方向に移動可能なプレート640を用いてストッカ500とステージ220との間の短い距離だけプレパラート10を搬送すればよい。また、図7(a)に示すように、広域・監視撮像部300のXY方向における中心位置は、本撮像装置200のレンズ中心とストッカ500の回転中心を結んだ直線と、Z軸ステージ620の軸中心を通りY軸に平行な直線との交点に略一致する。このため、プレパラート10をレンズ部230直下に搬送する際に、プレパラート10の搬送を一時停止すれば、広域撮像を行うことができる。また、監視撮像において、プレパラート10の搬送に関する領域に対する死角はない。そのため、適切な監視を行うことができる。
式的に示す図である。図7(a),7(b)は画像取得装置の断面図であり、図7(a)は上面図であり、図7(b)は側面図である。図7(a)に示すように、本実施例では、ストッカ500がZ軸方向を回転軸として回転駆動可能に構成されている。図7(a),7(b)に示すように、ストッカ500の回転軸を中心として放射状に並べられた2枚以上のプレパラート10をZ軸方向に積層した形態で、複数のプレパラート10がストッカ500に格納される。そして、ストッカ500、搬送部600、及び、ステージ220は、X軸に平行な一直線上に並べられている。このため、搬送部600は、X軸方向に移動するステージを有する必要がなく、X軸方向に移動可能なプレート640を用いてストッカ500とステージ220との間の短い距離だけプレパラート10を搬送すればよい。また、図7(a)に示すように、広域・監視撮像部300のXY方向における中心位置は、本撮像装置200のレンズ中心とストッカ500の回転中心を結んだ直線と、Z軸ステージ620の軸中心を通りY軸に平行な直線との交点に略一致する。このため、プレパラート10をレンズ部230直下に搬送する際に、プレパラート10の搬送を一時停止すれば、広域撮像を行うことができる。また、監視撮像において、プレパラート10の搬送に関する領域に対する死角はない。そのため、適切な監視を行うことができる。
<実施例3>
本発明の実施例3に係る画像取得装置及びその制御方法について説明する。本実施例では、ストッカ500の構成と配置、及び、搬送部600の構成と配置が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
本発明の実施例3に係る画像取得装置及びその制御方法について説明する。本実施例では、ストッカ500の構成と配置、及び、搬送部600の構成と配置が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
(装置構成)
まず、本実施例に係る画像取得装置の構成について説明する。図8(a),8(b)は、本実施例に係る画像取得装置の各構成要素の配置の一例を模式的に示す図である。図8(a),8(b)は画像取得装置の断面図であり、図8(a)は上面図であり、図8(b)は側面図である。図8(a)に示すように、本実施例では、ストッカ500がZ軸方向を回転軸として回転駆動可能に構成されている。図8(a),8(b)に示すように、ストッカ500の回転軸を中心として放射状に並べられた2枚以上のプレパラート10をZ軸方向に積層した形態で、複数のプレパラート10がストッカ500に格納される。そして、図8(a)に示すように、ストッカ500の回転中心とZ軸ステージ620の軸中心を結んだ直線が、本撮像装置200のレンズ中心とZ軸ステージ620の軸中心を結んだ直線に略直角に交わるような配置が採用されている。このため、搬送部600は、X軸方向に移動するステージを有する必要がない。その代わりに、搬送部600は、Z軸ステージ620の軸中心と略同じ位置で、Z軸方向を回転軸として回転駆動可能に構成される。プレパラート10は、搬送部600によってストッカ500とステージ220との間を回転移動して搬送される。なお、実施例1のようにプレパラート10がプレートに載置されてもよいが、本実施例では、図8(a),8(b)に示すように、Z軸ステージ620の軸中心から半径方向に伸縮移動可能なハンド650によってプレパラート10が把持される。また、図8(a)に示すように、広域・監視撮像部300のXY方向における中心位置は、Z軸ステージ620の軸中心を通りY軸に平行な直線上にある。このため、プレパラート10をレンズ部230直下に搬送する際に、プレパラート10の搬送を一時停止すれば、広域撮像を行うことができる。また、監視撮像において、プレパラート10の搬送に関する領域に対する死角はない。そのため、適切な監視を行うことができる。
まず、本実施例に係る画像取得装置の構成について説明する。図8(a),8(b)は、本実施例に係る画像取得装置の各構成要素の配置の一例を模式的に示す図である。図8(a),8(b)は画像取得装置の断面図であり、図8(a)は上面図であり、図8(b)は側面図である。図8(a)に示すように、本実施例では、ストッカ500がZ軸方向を回転軸として回転駆動可能に構成されている。図8(a),8(b)に示すように、ストッカ500の回転軸を中心として放射状に並べられた2枚以上のプレパラート10をZ軸方向に積層した形態で、複数のプレパラート10がストッカ500に格納される。そして、図8(a)に示すように、ストッカ500の回転中心とZ軸ステージ620の軸中心を結んだ直線が、本撮像装置200のレンズ中心とZ軸ステージ620の軸中心を結んだ直線に略直角に交わるような配置が採用されている。このため、搬送部600は、X軸方向に移動するステージを有する必要がない。その代わりに、搬送部600は、Z軸ステージ620の軸中心と略同じ位置で、Z軸方向を回転軸として回転駆動可能に構成される。プレパラート10は、搬送部600によってストッカ500とステージ220との間を回転移動して搬送される。なお、実施例1のようにプレパラート10がプレートに載置されてもよいが、本実施例では、図8(a),8(b)に示すように、Z軸ステージ620の軸中心から半径方向に伸縮移動可能なハンド650によってプレパラート10が把持される。また、図8(a)に示すように、広域・監視撮像部300のXY方向における中心位置は、Z軸ステージ620の軸中心を通りY軸に平行な直線上にある。このため、プレパラート10をレンズ部230直下に搬送する際に、プレパラート10の搬送を一時停止すれば、広域撮像を行うことができる。また、監視撮像において、プレパラート10の搬送に関する領域に対する死角はない。そのため、適切な監視を行うことができる。
(撮像プロセス)
次に、本実施例に係る撮像プロセスについて説明する。撮像プロセスにおける大まかな処理の流れは、実施例1(図4(a))と同じである。図9(a)〜9(d)は、撮像プロセスにおける画像取得装置1の内部動作を模式的に示す図である。本実施例では、図4(a)のS101において、図9(a)に示すように、ハンド650がストッカ500の
側を向いて伸縮することにより、プレパラート10がストッカ500から搬出される。S102において、図9(b)に示すように、搬送部600がZ軸方向を回転軸として回転することにより、ハンド650によって把持されたプレパラート10が広域撮像ポイントまで搬送される。そして、S103において広域撮像が行われる。その後、S104において、図9(c),9(d)に示すように、搬送部600がZ軸方向を回転軸として回転することにより、ハンド650によって把持されたプレパラート10が、ステージ220まで搬送され、ステージ220に載置・固定される。そして、S105とS106において、実施例1と同様に、探索処理と本撮像が行われる。本撮像が終了すると、搬送部600が、プレパラート10をステージ220からピックアップし(図9(c))、ストッカ500まで搬送し(図9(a)、S107)、ストッカ500に搬入する(図9(a)、S108)。それにより、1つのプレパラート10についての撮像プロセスが完了する。
次に、本実施例に係る撮像プロセスについて説明する。撮像プロセスにおける大まかな処理の流れは、実施例1(図4(a))と同じである。図9(a)〜9(d)は、撮像プロセスにおける画像取得装置1の内部動作を模式的に示す図である。本実施例では、図4(a)のS101において、図9(a)に示すように、ハンド650がストッカ500の
側を向いて伸縮することにより、プレパラート10がストッカ500から搬出される。S102において、図9(b)に示すように、搬送部600がZ軸方向を回転軸として回転することにより、ハンド650によって把持されたプレパラート10が広域撮像ポイントまで搬送される。そして、S103において広域撮像が行われる。その後、S104において、図9(c),9(d)に示すように、搬送部600がZ軸方向を回転軸として回転することにより、ハンド650によって把持されたプレパラート10が、ステージ220まで搬送され、ステージ220に載置・固定される。そして、S105とS106において、実施例1と同様に、探索処理と本撮像が行われる。本撮像が終了すると、搬送部600が、プレパラート10をステージ220からピックアップし(図9(c))、ストッカ500まで搬送し(図9(a)、S107)、ストッカ500に搬入する(図9(a)、S108)。それにより、1つのプレパラート10についての撮像プロセスが完了する。
<実施例4>
本発明の実施例4に係る画像取得装置及びその制御方法について説明する。本実施例では、異常の判定方法が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
本発明の実施例4に係る画像取得装置及びその制御方法について説明する。本実施例では、異常の判定方法が実施例1と異なる。それ以外の構成、配置、及び、処理プロセスは実施例1と同様であるため、それらの詳細な説明は省略する。
(異常検出プロセス)
実施例1〜3では、所定のタイミングで取得された監視撮像データに基づいて、本来筐体内に無いものが存在することを異常として検出する例について説明した。本実施例では、所定のタイミングで取得された監視撮像データに基づいて、所定のタイミングにおける所定部材の位置が所定位置でない異常を第2異常(画像取得装置の動作の障害となる異常)として検出する例を説明する。所定のタイミングにおける所定部材の位置が所定位置でない異常以外の異常は、第1異常として検出される。所定部材は、例えば、プレパラート10、画像取得装置の可動部(搬送部600、ステージ220、等)、等である。異常検出プロセスにおける大まかな処理の流れは、実施例1(図4(b))と同じである。
実施例1〜3では、所定のタイミングで取得された監視撮像データに基づいて、本来筐体内に無いものが存在することを異常として検出する例について説明した。本実施例では、所定のタイミングで取得された監視撮像データに基づいて、所定のタイミングにおける所定部材の位置が所定位置でない異常を第2異常(画像取得装置の動作の障害となる異常)として検出する例を説明する。所定のタイミングにおける所定部材の位置が所定位置でない異常以外の異常は、第1異常として検出される。所定部材は、例えば、プレパラート10、画像取得装置の可動部(搬送部600、ステージ220、等)、等である。異常検出プロセスにおける大まかな処理の流れは、実施例1(図4(b))と同じである。
図10は、実施例1と同様の構成を有する搬送部600がX軸のマイナス方向へ移動している途中で第2異常が検出された場合を例示したタイムチャートである。太実線は、搬送部600の位置の正常な時間変化を示す。正常時には、時刻t1から時刻t2の間に、搬送部600が位置x1から位置x2に等速移動する。時刻w1〜w3は、監視撮像が行われる時刻である(S201とS202)。正常時には、時刻w1において位置x1に、時刻w2において位置p2に、時刻w3において位置p3に搬送部600が存在する(図10の白丸)。ここでは、監視撮像データを用いた公知の画像処理により、時刻w3における搬送部600の位置として位置p4が検出されたとする(S203とS204、図10の黒丸)。この場合、位置p4は位置p3と異なるため、異常検出部430は、異常が発生した旨を制御部100を介してユーザに通知する(S205)。そして、異常判定部440は、画像取得装置の動作が異常であるため、動作を続行すべきでない判断し(S206)、制御部100に対して動作の停止を要求する(S207)。この例では、位置p4にて何らかの異常が発生したものと推定される。図10の例では、太一点鎖線で示すように、搬送部600が正常な動作により位置p4に達した後に停止している。
本実施例によれば、所定のタイミングにおける所定部材の位置が所定位置でない異常が、第2異常として検出される。それにより、装置の駆動機構をオープンループ制御する構成において異常が発生した場合にも、監視撮像によって異常を検出することができる。例えば、エンコーダを用いないステッピングモータが脱調した場合にも、監視撮像によって脱調を検出することができる。また、装置の駆動機構をクローズドループ制御する構成において異常が発生した場合にも、監視撮像によって異常を検出することができる。例えば、エンコーダが故障した場合にも、監視撮像によって故障を検出することができる。なお、実施例1と同様に、試料の搬送の障害となる異常が、第2異常としてさらに検出される
ことが好ましい。それにより、装置や試料に対する安全性をより高めることができる。
ことが好ましい。それにより、装置や試料に対する安全性をより高めることができる。
なお、実施例1〜4において、監視撮像の時間間隔の短縮に伴い処理負荷は増大する。しかしながら、監視撮像の時間間隔が短いほど早く異常を検出することができる。また、モータを再起動してゼロイングを行うリトライを行うことで脱調を解消できることがある。そのため、脱調を検出する構成においては、脱調検出後にリトライを行い、リトライに成功した場合に画像取得装置の動作が再開されてもよい。また、監視撮像データを用いずにエンコーダの出力値を用いて異常を検出することもできる。そのため、エンコーダを用いた異常検出と、監視撮像データを用いた異常検出との2種類の検出が行われてもよい。それにより、異常検出の信頼性をより高めることができる。
<その他の実施例>
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:画像取得装置 100:制御部 200:本撮像装置 300:広域・監視撮像部
320:監視撮像部 400:画像処理部 430:異常検出部 440:異常判定部
320:監視撮像部 400:画像処理部 430:異常検出部 440:異常判定部
Claims (14)
- 検体を含む試料を撮像する第1撮像手段を有する画像取得装置であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する第2撮像手段と、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する第1検出手段と、
前記第1検出手段の検出結果に基づいて、前記画像取得装置の動作を停止する停止手段と、
を有し、
前記第1検出手段は、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止手段は、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置。 - 前記画像取得装置の異常が無い状態で前記第2撮像手段によって取得された撮像画像データである基準撮像データを記憶する記憶手段をさらに有し、
前記第1検出手段は、前記監視撮像データを前記基準撮像データと比較することで、前記異常を検出する
ことを特徴とする請求項1に記載の画像取得装置。 - 前記監視撮像データの取得と、前記異常の検出と、は定期的に行われる
ことを特徴とする請求項1または2に記載の画像取得装置。 - 前記画像取得装置の外乱を検出する第2検出手段をさらに有し、
前記画像取得装置の外乱が検出された場合に、前記監視撮像データの取得と、前記異常の検出と、が行われる
ことを特徴とする請求項1〜3のいずれか1項に記載の画像取得装置。 - 前記異常が検出された場合に、前記画像取得装置の内部における前記異常が検出された位置に関する情報をユーザに通知する通知手段をさらに有する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像取得装置。 - 前記異常が検出された場合に、前記異常の解消をユーザに要求する要求手段をさらに有する
ことを特徴とする請求項1〜5のいずれか1項に記載の画像取得装置。 - ユーザによって行われる所定の作業の完了を検出する第3検出手段をさらに有し、
前記所定の作業の完了が検出された場合に、前記監視撮像データの取得と、前記異常の検出と、が行われる
ことを特徴とする請求項1〜6のいずれか1項に記載の画像取得装置。 - 前記所定の作業は、前記異常を解消するための作業である
ことを特徴とする請求項7に記載の画像取得装置。 - 前記第2撮像手段は、前記試料の全体を撮像可能であり、
前記第1撮像手段は、前記試料の全体の撮像結果に基づいて、前記試料の一部を撮像する
ことを特徴とする請求項1〜8のいずれか1項に記載の画像取得装置。 - 前記第2撮像手段は、前記第1撮像手段を兼ねる
ことを特徴とする請求項1〜8のいずれか1項に記載の画像取得装置。 - 前記試料を搬送する搬送手段をさらに有し、
前記第1検出手段は、前記試料の搬送の障害となる異常を、前記第2異常として検出する
ことを特徴とする請求項1〜10のいずれか1項に記載の画像取得装置。 - 前記第2撮像手段は、所定のタイミングで前記監視撮像データを取得し、
前記第1検出手段は、前記所定のタイミングにおける所定部材の位置が所定位置でない異常を、前記第2異常として検出する
ことを特徴とする請求項1〜11のいずれか1項に記載の画像取得装置。 - 検体を含む試料を撮像する画像取得装置の制御方法であって、
前記画像取得装置の内部を撮像することで、撮像画像データである監視撮像データを取得する撮像ステップと、
前記監視撮像データに基づいて、前記画像取得装置の異常を検出する検出ステップと、
前記検出ステップの検出結果に基づいて、前記画像取得装置の動作を停止する停止ステップと、
を有し、
前記検出ステップでは、前記監視撮像データに基づいて、前記画像取得装置の動作の障害とならない第1異常と、前記画像取得装置の動作の障害となる第2異常と、を検出し、
前記停止ステップでは、前記第1異常が検出された場合に、前記画像取得装置の動作を停止せず、前記第2異常が検出された場合に、前記画像取得装置の動作を停止する
ことを特徴とする画像取得装置の制御方法。 - 請求項13に記載の画像取得装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094205A JP2016212190A (ja) | 2015-05-01 | 2015-05-01 | 画像取得装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015094205A JP2016212190A (ja) | 2015-05-01 | 2015-05-01 | 画像取得装置及びその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016212190A true JP2016212190A (ja) | 2016-12-15 |
Family
ID=57551621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015094205A Pending JP2016212190A (ja) | 2015-05-01 | 2015-05-01 | 画像取得装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016212190A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149880A1 (ja) * | 2016-02-29 | 2017-09-08 | 富士フイルム株式会社 | 細胞観察装置および方法 |
KR20200087066A (ko) * | 2019-01-10 | 2020-07-20 | 가부시키가이샤 다이후쿠 | 천장 반송차 |
JP2020536277A (ja) * | 2017-10-04 | 2020-12-10 | ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. | 貼り付けスライド判定システム |
JPWO2021060359A1 (ja) * | 2019-09-26 | 2021-04-01 |
-
2015
- 2015-05-01 JP JP2015094205A patent/JP2016212190A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017149880A1 (ja) * | 2016-02-29 | 2017-09-08 | 富士フイルム株式会社 | 細胞観察装置および方法 |
US11061214B2 (en) | 2016-02-29 | 2021-07-13 | Fujifilm Corporation | Cell observation apparatus and method |
JP2020536277A (ja) * | 2017-10-04 | 2020-12-10 | ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. | 貼り付けスライド判定システム |
JP7003241B2 (ja) | 2017-10-04 | 2022-01-20 | ライカ バイオシステムズ イメージング インコーポレイテッド | 貼り付けスライド判定システム |
US11434082B2 (en) | 2017-10-04 | 2022-09-06 | Leica Biosystems Imaging, Inc. | Stuck slide determination system |
KR20200087066A (ko) * | 2019-01-10 | 2020-07-20 | 가부시키가이샤 다이후쿠 | 천장 반송차 |
KR102709730B1 (ko) * | 2019-01-10 | 2024-09-26 | 가부시키가이샤 다이후쿠 | 천장 반송차 |
JPWO2021060359A1 (ja) * | 2019-09-26 | 2021-04-01 | ||
JP7302667B2 (ja) | 2019-09-26 | 2023-07-04 | 東洋紡株式会社 | 分析装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3071930B1 (en) | Apparatus and method for selectively inspecting component sidewalls | |
US11156823B2 (en) | Digital microscope apparatus, method of searching for in-focus position thereof, and program | |
JP2016212190A (ja) | 画像取得装置及びその制御方法 | |
JP2004012325A (ja) | 欠陥検査方法および欠陥検査装置 | |
US7949244B2 (en) | Method for measuring subject distance | |
JP2010256340A (ja) | 高速検査方法とその装置 | |
CN111654242B (zh) | 检测太阳能晶片上的豁口的方法和系统 | |
TW533526B (en) | Method and apparatus to provide for automated process verification and hierarchical substrate examination | |
JP2008262100A (ja) | 標本スキャナ装置、該装置による標本位置検出方法 | |
US20160063307A1 (en) | Image acquisition device and control method therefor | |
WO2018225664A1 (ja) | 欠陥検出装置、欠陥検出方法、ウェハ、半導体チップ、ダイボンダ、半導体製造方法、および半導体装置製造方法 | |
CN103379273A (zh) | 摄像装置 | |
TWI834843B (zh) | 檢查裝置及檢查方法 | |
WO2016031214A1 (en) | Image acquisition apparatus and control method thereof | |
JP2010025597A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
US10466179B2 (en) | Semiconductor device inspection of metallic discontinuities | |
US20120224051A1 (en) | Mask inspection method and mask inspection apparatus | |
KR20150134267A (ko) | 전자 부품 패키지 측면 촬영 장치 | |
EP3163369A1 (en) | Auto-focus control in a camera to prevent oscillation | |
JPH08166534A (ja) | 画像処理装置の自動焦点合せ方法 | |
JP2016075817A (ja) | 画像取得装置、画像取得方法及びプログラム | |
JP2003322625A (ja) | 半導体チップ検査方法及び半導体チップ検査装置 | |
JP7288138B2 (ja) | 検体観察装置、検体観察方法 | |
JP5927973B2 (ja) | 撮像装置、撮像制御プログラム及び撮像方法 | |
JP2003240730A (ja) | 半導体チップ検査装置 |