JP2005274238A

JP2005274238A - 検査装置、検査方法、プログラム及び記憶媒体

Info

Publication number: JP2005274238A
Application number: JP2004085502A
Authority: JP
Inventors: Yoshinori Ono; 義典大野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-03-23
Filing date: 2004-03-23
Publication date: 2005-10-06

Abstract

【課題】色情報のみでは判別が難しいような場合でも、精度良く自動的に特徴を検出できるようにすること。
【解決手段】特性の異なる成分が少なくとも２種類以上含まれる対象２０の検査を行う検査装置を、上記対象２０を複数の波長域で分光撮像し、画像データを取得する撮像部３０と、上記撮像部３０によって取得した画像データをもとに、上記成分に関する物理量を推定する推定部４０と、上記推定部４０によって推定された物理量を解析することにより、上記対象２０に含まれる特徴成分を検出する検出部５０とによって構成する。
【選択図】図１

Description

本発明は、異なる分光特性を有する複数種類の成分が含まれる対象の検査を行う検査装置及び検査方法、並びに、そのような検査方法をコンピュータに実行させるためのプログラム及びそのようなプログラムのプログラムコードを格納したコンピュータが読み取り可能な記憶媒体に関する。

近年、生体組織の内部に存在する病原体の検出や、所望の対象の有無を判別する診断薬が開発されている。これらの診断薬は、生体組織に作用させると、細胞内の特定の特徴に反応し変化することから、病原体などに対する新たな治療薬を開発する場合や、院内感染などの細菌感染症を検出する場合などに役立てられている。

生体試料などの検査は従来、試料をスライドガラスに乗せ、必要に応じて染色して標本を作成し、顕微鏡を用いて人手により一つ一つすべて目視検査されてきた。しかしこのような手法では、広い観察範囲内で小さな特徴を見つけださなければならないため、観測者に多大な負担をかけ、きわめて効率の悪いものであった。

このような測定を自動化する試みとして、特許文献１では、染色した試料を撮像し、その撮像画像を演算することによって、試料内の濁りの度合いや、試料に含有する粒子の濃度を求め、その数値的な量が当初設定した範囲を超えると測定を中断し、越えない場合は続行する技術を提案している。また、検出情報に応じて色情報の補正を行って、他の成分の影響を受けないように分類を実行している。これにより、効率的な自動検査を実現しようとしているものである。
特開平６−２４１９８１号公報

しかし、上記特許文献１に開示の技術では、画像解析結果を色情報を用いて補正しているが、測定対象の状態の違いが、測定結果に影響してしまう可能性があるといった問題点があった。

つまり、カラー画像の色情報は、試料を染色する染色色素の濃度の違いや、観察条件、あるいは観察環境の違いによって同じ対象でも異なって見えることがあるため、安定した精度で解析結果を得ることは困難であった。

また、観測試料には標本を作成する際にゴミやほこりが付着してしまうことがよくある。そのような場合には、それらのゴミなどが検出したい特徴の色と似通ってしまうこともあり、色情報のみでは特徴の判別が困難となる場合もあった。

本発明は、上記の点に鑑みてなされたもので、色情報のみでは判別が難しいような場合でも、精度良く自動的に特徴を検出する検査装置、検査方法、プログラム及び記憶媒体を提供することを目的とする。

本発明の検査装置の一態様は、特性の異なる成分が少なくとも２種類以上含まれる対象の検査を行う検査装置において、上記対象を複数の波長域で分光撮像し、画像データを取得する撮像手段と、上記撮像手段によって取得した画像データをもとに、上記成分に関する物理量を推定する推定手段と、上記推定手段によって推定された物理量を解析することにより、上記対象に含まれる特徴成分を検出する検出手段と、を具備することを特徴とする。

また、本発明の検査装置の別の態様は、異なる分光特性を有する複数種類の成分が含まれる半透明の対象の検査を行う検査装置において、光源によって上記対象に照射された光が上記対象を透過した透過光を複数種類のフィルタそれぞれを通して撮像することで、各フィルタに対応する複数枚の画像データを取得する撮像手段と、上記撮像手段によって取得した画像データをもとに、上記対象に含まれる成分の局所的な物理量を推定する推定手段と、上記推定手段によって上記局所的な物理量を上記対象全域にわたって推定して得られた推定結果に基づいて、上記対象に含まれる成分の特徴を検出する検出手段と、を具備することを特徴とする。

また、本発明の検査方法の一態様は、特性の異なる成分が少なくとも２種類以上含まれる対象の検査を行う検査方法において、上記対象を複数の波長域で分光撮像し、画像データを取得するステップと、上記取得した画像データをもとに、上記成分に関する物理量を推定するステップと、上記推定した物理量を解析することにより、上記対象に含まれる特徴成分を検出するステップと、を備えることを特徴とする。

また、本発明の検査方法の別の態様は、異なる分光特性を有する複数種類の成分が含まれる半透明の対象の検査を行う検査方法において、光源によって上記対象に照射された光の透過光を複数種類のフィルタを通して撮像して、各フィルタに対応する複数枚の画像データを取得するステップと、上記取得した画像データをもとに、上記対象に含まれる成分の局所的な物理量を上記対象全域にわたって推定するステップと、上記推定した結果に基づいて上記対象に含まれる成分の特徴を検出するステップと、を備えることを特徴とする。

また、本発明のプログラムの一態様は、コンピュータに上記検査方法の一態様もしくは別の態様を実行させることを特徴する。

また、本発明の記憶媒体の一態様は、上記プログラムのプログラムコードを格納し、コンピュータが読み取り可能なことを特徴とする。

本発明によれば、色情報のみでは判別が難しいような場合でも、精度良く自動的に特徴を検出する検査装置、検査方法、プログラム及び記憶媒体を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

図１は、本発明の一実施形態に係る検査装置の構成を示す図である。

即ち、光源１０によって光を照射された対象２０は、複数種類の光学フィルタを撮影部の前面に配置した、撮像手段としての撮像部３０において撮像され、画像データが取得される。この撮像部３０で取得された画像データは、推定手段としての推定部４０に転送されて、上記対象２０に含まれる複数種類の成分に関する物理量が推定される。検出手段としての検出部５０では、この推定部４０によって推定された複数種類の成分のそれぞれに関する物理量データを受け取り、上記対象２０に関しての特徴を検出する。そして、その検出結果は、データ化されて、図示しない表示装置に表示される。

ここで、観測する対象２０は、特性の異なる成分が少なくとも２種類以上含まれるものである。本実施形態においては、例えば、血液を遠心分離して取り出した白血球を標本としたものとし、白血球内には病原体の感染菌が含まれているとする。なお、この対象２０はこれに限定される必要はなく、血液や他の生体試料、あるいは生体試料の中に含まれる粒子や成分など検体試料を表す。さらに、本発明における対象２０は、生体試料に限らず半透明の物質であれば何でも構わない。

対象２０は予め観測し易いように、それぞれの成分が染色色素によって染色されており、本実施形態では、白血球細胞と細胞に含まれる感染菌とがそれぞれ染色色素で染色されている。

また、対象２０を照射する光源１０には、ハロゲンランプを使用している。ただし、この光源１０はこれに限定される必要はなく、太陽光や蛍光灯など、光を発するものであり且つ予め光の特性が分かっているものであれば、何でも構わない。

撮像部３０は、図２（Ａ）に示すように、複数種類の光学フィルタ３１と、それら光学フィルタ３１が順次に前面に配置される撮影部３２と、上記複数の光学フィルタ３１を順次切り替える切り替え制御部３３とから構成される。即ち、複数の光学フィルタ３１は、図示しないターレットに装備されており、切り替え制御部３３の制御に従って、ターレットが回転することで、異なる種類の光学フィルタ３１が順次差し替えられる。そして、撮影部３２は、上記対象２０の透過光を光学フィルタ３１を通して受け取り、画像データを取得する。従って、光学フィルタ３１を順次に差し替えて、光学フィルタ３１の枚数分だけ繰り返すことで、複数枚の画像データを取得する。

なお、光学フィルタ３１は、対象２０と撮影部３２との間に構成されているが、これに限定される必要はない。光源１０と対象２０との間に設置するなど、光源１０から撮影部３２までの光路間であれば、任意の位置で構わない。

あるいは、撮像部３０は、図２（Ｂ）に示すような構成でも構わない。即ち、撮像部３０は、対象２０の透過光を２つの光路に分割する分光器３４と、それぞれの光路に対して、第１の光学フィルタ３５を前面に配置した第１の撮影部３６と、第２の光学フィルタ３７を前面に配置した第２の撮影部３８とから構成される。このような構成では、対象２０を透過した光は、分光器３４において複数の光路に分割される。この分光器３４には、ハーフミラーが使用される。そして、分割された光のそれぞれを、光学フィルタ３５または３７を前面に配置した撮影部３６，３８が受け取り、それぞれ画像データを取得する。なお、この例では、２つの光路に分割しているが、これに限定される必要はなく、３方向以上に光路を分割しても構わない。ただし、その場合、それぞれの光路に対して光学フィルタを前面に配置した撮影部が構成される必要がある。

上記複数の光学フィルタ３１あるいは光学フィルタ３５，３７は、予め対象２０に含まれるそれぞれの独立成分の分光特性を調べておき、それぞれの分光特性の差異が最も大きい波長帯を通過させる通過帯域フィルタを使用する。

上記対象２０に含まれる成分が２種類ある場合の例を、図３に示す。横軸に波長、縦軸に透過率をとったときに、それぞれの成分に関する分光特性データが図３に示したように得られた場合、２つのスペクトルの差異が最も大きい波長帯は４５０ｎｍ〜５５０ｎｍあたりとなる。そこで、例えば光学フィルタ３５，３７としては、その４５０ｎｍ〜５５０ｎｍの間で互いに異なる波長帯が通過する光学フィルタとすることとなる。ただし、その波長幅は任意で構わないが、画像データが暗すぎるなど、感度が低くなりすぎないように設計することが必要である。

なお、光学フィルタ３１，３５，３７の特性は、これに限定される必要はなく、対象２０に含まれる成分の特性に応じて、それぞれの成分を分離し易くするように通過帯域を変更したり、帯域幅を変更したりするなど、設計を変更することができる。

また、光学フィルタの枚数は、観測する対象２０に含まれる成分の種類の数と同数、または成分の種類の数よりも多い枚数を使用する。この場合の光学フィルタの特性は、対象２０に含まれる成分の中から選択した２種類の成分の差異に応じて、それぞれ設計される。

推定部４０では、上記のような撮像部３０によって複数の波長帯域で撮影された画像データをもとに、対象２０に含まれる成分に関する物理量、例えば対象２０に含まれる成分の含有量を推定する。ここで、対象２０は染色色素によって染色されており、対象２０に含まれるそれぞれの成分量と、成分を染色した色素の量とは比例する。このことから、成分含有量の推定は、染色色素の量を推定することによって行う。

ここで、画像データから成分含有量を推定する方法について説明する。

マルチバンド画像から撮影被写体の分光特性を推定するには、一般にマルチバンド画像のスペクトル推定システムが用いられることが知られている。この方法は、“Spectral reflectance estimation from multi-band image using color chart”,（村上他、Optics Communications 188 (2001), 47-54）または特開２００１−９９７１０号公報などに開示されているので、その説明は省略する。この推定方法によれば、光学フィルタの分光特性、照明の分光特性、カメラの分光特性、対象の分光特性、及び撮像ノイズの相関行列を用いることにより、画像データの画素値からその画素位置における対象の分光透過率を推定することができる。

また、分光透過率から染色された対象の色素の量を推定する方法が一般に知られている。これは、“分光透過率を用いた組織標本の分析 − 染色状態の定量化手法の検討”，（藤井他、第３回デジタル生体医用画像「色」シンポジウム）に開示されている。この推定方法によれば、画素位置における対象の分光透過率から、Lambert-Beerの法則を応用して、対象の色素量を推定することができる。

上記２つの推定方法を組み合わせることにより、画像データの画素値から対象の色素量、つまり成分含有量を求めることができる。

しかしながら、入力の各画素の値に対してこれらの計算を毎回行っていては、計算コストが非常に大きく、膨大な処理時間がかかってしまう。一方、撮影する画像が８ビットの場合、画素値は０から２５５までの２５６通りと限られている。そこで、本実施形態では、入力のそれぞれの画像データの画素値と、出力のそれぞれの物質の量を対応付けた数値変換テーブルを予め作成しておくものとする。この数値変換テーブルを用いて推定することにより、処理時間が短縮され、効率の良い処理を実現している。

こうして、推定部４０では、すべての画素位置において、成分の含有量の推定値を求め、推定結果を画像データとして出力する。

検出部５０では、この推定部４０におけるそれぞれの成分の含有量の推定結果から、上記対象２０に含まれる特徴成分を検出する。本実施形態では、白血球細胞内に存在する病原体の感染菌を検出するものとする。

この検出部５０は、図４に示すように、判別部５１と統合部５２とから構成されている。

即ち、判別部５１では、上記画像データの画素位置に対応する成分の含有量の推定値データを、上記推定部４０から受け取る。そして、その受け取った成分含有量のデータの一つ一つに対して、予め定めた所定の閾値と比較して、その閾値よりも大きいかどうかを判定する。ここで、成分含有量が閾値よりも大きい場合には、その画素位置には成分が存在していると判定し、小さい場合には成分が存在していないと判定する。この判定を画像データすべての範囲に関して行い、成分が存在すると判定された画素の集合を領域として抽出することで、成分存在領域を得る。これを、細胞色素含有量と感染菌色素含有量の両方に関して行う。

なお、この所定の閾値は、予め定めた固定の値に限られることはない。画像全域における成分含有量の分布データを、判別分析法などの公知の方法によって分布を分類するように、求められた値を閾値として使用しても全く構わない。

また、統合部５２では、判別部５１において求めた成分領域に関して、対象２０に含まれるすべての成分が存在する領域を特徴領域として求める。本実施形態では、病原体の感染菌は細胞内に存在することから、細胞領域かつ感染菌領域である領域を、特徴領域であるとして抽出する。特徴として抽出された領域は、抽出された領域を白色、その他の領域を黒色で表した画像データとして出力され、図示しないモニタやディスプレイなどの表示装置に表示される。なお、この色は白と黒に限定されるものではなく、特徴を強調的に表示するものであれば他の色でも構わない。また、出力は、画像データに限られる必要はなく、検出した領域の重心の座標位置を数値データとして表示するなどの方法でも、全く構わない。

上記のような構成の検査装置の動作を、図５のフローチャートを参照して説明する。なお、このフローチャートは、撮影部３０で撮影された画像データを入力として推定部４０と検出部５０とを含めた動作の流れを示している。

即ち、まず、推定部４０では、撮像部３０で撮影したそれぞれの光学フィルタ３１または３５，３７に関する画像データから、１画素の画素データを取得する（ステップＳ１）。

そして、その取得された画素データをもとに、対象に含まれる成分の物理量（成分含有量）を推定する（ステップＳ２）。なお、このフローチャートでは、対象２０に含まれる成分の物理量が２種類の場合を例にしており、よって、このステップＳ２では、第１の物理量と第２の物量とを推定している。勿論、対象２０に含まれる成分の物理量が３種類以上の場合には、成分の数だけ物理量を推定することになる。

次に、検出部５０は、判定部５１によって、上記ステップＳ２において推定部４０で推定したそれぞれの成分に関する物理量に関して、その物理量が所定の値よりも大きいかどうかを比較することで、当該画素位置がその成分の領域であるか否かを判別する（ステップＳ３）。このステップに関しても、対象２０に含まれる成分の物理量が２種類の場合の例であるので、第１の成分領域と第２の成分領域とを判定しているが、３種類以上の場合には成分の数だけ成分領域を判定することは勿論である。

そして、推定したそれぞれの成分に関する物理量に関してその物理量が所定の値よりも大きくない場合、つまり成分領域でないと判別した場合には、ステップＳ５に進む。

これに対して、推定したそれぞれの成分に関する物理量に関してその物理量が所定の値よりも大きい場合、つまり成分領域であると判別した場合には、検出部５０は、統合部５２によって、当該画素位置がそれぞれの成分領域であるかどうかを調べる（ステップＳ４）。即ち、当該画素位置が第１の成分領域であり且つ第２の成分領域でもあるという条件を満たすか否かを判別する。この条件を満たしている場合には、当該画素位置を特徴領域の一部であるとして検出することになる。そしてその後、ステップＳ５に進む。

一方、上記条件を満たさない場合、つまり当該画素位置が第１の成分領域ではあるが第２の成分領域ではない場合、あるいは第２の成分領域ではあるが第１の成分領域ではない場合には、上記特徴領域であるとは検出せずに、ステップＳ５に進む。

そしてステップＳ５では、画像データのすべての画素データについて調べたか否を判別し、そうであれば終了するが、まだ調べていない画素データがある場合には、上記ステップＳ１に戻って、次の１画素の画素データを上記のようにして調べていくことになる。

こうして、対象２０に含まれるすべての成分が存在する領域を特徴領域として求められ、その特徴領域が強調表示あるいは数値データとして、図示しない表示装置に表示される。

このように、本実施形態によれば、撮像部３０において分光特性に依存した画像データを複数枚取得し、そのデータをもとに推定部４０及び検出部５０によって特徴領域を抽出するので、カラー画像などでは判別が困難であった場合についても、より精度の高い特徴分析を行うことが可能となる。

また、色情報のみでは判別の難しかったノイズやゴミの特徴を精度良く取り除くことが可能となる。

以上、一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、複数の対象２０を検査する場合、各対象２０を撮像部３０の撮像可能範囲に順次自動搬送して、連続的に検査することが考えられるが、特徴領域の存在あるいは所定の大きさ以上の特徴領域を検出したときに、上記自動搬送を一時停止させると共にその検出をブザーやランプ等で報知させるような信号を出力するように、検出部５０の統合部５２を構成しても良い。

また、上記一実施形態では、複数の光学フィルタを用いたが、対象２０に含まれる複数種類の成分の特性に応じて、通過帯域の特性を変化させることが可能な光学フィルタを用いることで、１枚の光学フィルタで仮想的に複数枚の光学フィルタを用いるものとしても良い。

本発明の一実施形態に係る検査装置の構成を示す図である。（Ａ）及び（Ｂ）はそれぞれ図１における撮像部の構成例を示す図である。対象に含まれる成分の分光特性例を示す図である。図１における検出部の構成例を示す図である。一実施形態に係る検査装置の動作を説明するためのフローチャートを示す図である。

符号の説明

１０…光源、２０…対象、３０…撮影部、３１，３５，３７…光学フィルタ、３２…撮影部、３３…切り替え制御部、３４…分光器、４０…推定部、５０…検出部、５１…判別部、５２…統合部。

Claims

特性の異なる成分が少なくとも２種類以上含まれる対象の検査を行う検査装置において、
上記対象を複数の波長域で分光撮像し、画像データを取得する撮像手段と、
上記撮像手段によって取得した画像データをもとに、上記成分に関する物理量を推定する推定手段と、
上記推定手段によって推定された物理量を解析することにより、上記対象に含まれる特徴成分を検出する検出手段と、
を具備することを特徴とする検査装置。
異なる分光特性を有する複数種類の成分が含まれる半透明の対象の検査を行う検査装置において、
光源によって上記対象に照射された光が上記対象を透過した透過光を複数種類のフィルタそれぞれを通して撮像することで、各フィルタに対応する複数枚の画像データを取得する撮像手段と、
上記撮像手段によって取得した画像データをもとに、上記対象に含まれる成分の局所的な物理量を推定する推定手段と、
上記推定手段によって上記局所的な物理量を上記対象全域にわたって推定して得られた推定結果に基づいて、上記対象に含まれる成分の特徴を検出する検出手段と、
を具備することを特徴とする検査装置。
上記撮像手段は、
光源によって上記対象に照射された光が上記対象を透過した透過光の光路上で、複数種類のフィルタを順次に切り替える切り替え手段と、
上記フィルタのそれぞれを通して対象を撮像し、上記複数枚の画像データを取得する撮影手段と、
を備えることを特徴とする請求項１または２に記載の検査装置。
上記撮像手段は、
光源によって上記対象に照射された光が上記対象を透過した透過光を複数の光路に分割する分光手段と、
上記分光手段によって分割された複数の光路のそれぞれの光に対して、フィルタを通して撮像し、上記複数枚の画像データを取得する撮影手段と、
を備えることを特徴とする請求項１または２に記載の検査装置。
上記撮像手段は、上記対象に含まれる成分の種類の数と少なくとも同数のフィルタを用いて撮像し、上記対象に含まれる成分の種類の数と少なくとも同数の画像データを取得することを特徴とする請求項１または２に記載の検査装置。
上記撮像手段におけるフィルタは、異なる特性を有する通過帯域フィルタであることを特徴とする請求項３乃至５の何れかに記載の検査装置。
上記撮像手段におけるフィルタは、上記対象に含まれる上記複数種類の成分の特性に応じて、通過帯域の特性を変化させることが可能な光学フィルタであることを特徴とする請求項３乃至５の何れかに記載の検査装置。
上記推定手段は、取得された画像データの画素位置に対応する対象の物理量を推定することを特徴とする請求項１または２に記載の検査装置。
上記推定手段において推定される物理量は、上記対象に含まれる複数種類の成分の含有量であることを特徴とする請求項１または２に記載の検査装置。
上記推定手段は、上記対象に含まれる成分を染色色素によって染色したときの染色色素の量を推定することを特徴とする請求項９記載の検査装置。
上記推定手段は、上記撮像手段によって取得した複数枚の画像データ内の同じ位置における画素値と、上記対象に含まれる上記複数種類の成分に関する物理量を対応付けた数値変換テーブルとによって、上記物理量を推定することを特徴とする請求項１または２に記載の検査装置。
上記検出手段は、
上記成分が存在するかどうかを判別する判別手段と、
上記判別手段におけるそれぞれの成分に関する判別結果を統合して特徴成分を検出する統合手段と、
を備えることを特徴とする請求項１または２に記載の検査装置。
上記検出手段における判別手段は、上記推定手段の出力するそれぞれの成分に関する上記物理量をもとに、当該成分が存在するかどうかの判別を行うことを特徴とする請求項１２に記載の検査装置。
上記検出手段における判別手段は、上記画素データのそれぞれの画素位置における上記物理量を所定の値と比較して成分の有無を判別し、成分の存在する領域を検出することを特徴とする請求項１３に記載の検査装置。
上記検出手段における統合手段は、上記判別手段の出力する上記成分領域を、すべての成分に関して統合することにより、特徴成分を検出することを特徴とする請求項１２に記載の検査装置。
上記検出手段における統合手段は、上記対象に含まれるすべての成分が存在する領域を検出することを特徴とする請求項１２に記載の検査装置。
上記検出手段は、検出結果を画像データ化して出力することを特徴とする請求項１または２に記載の検査装置。
上記検出手段は、検出結果を数値データ化して出力することを特徴とする請求項１または２に記載の検査装置。
特性の異なる成分が少なくとも２種類以上含まれる対象の検査を行う検査方法において、
上記対象を複数の波長域で分光撮像し、画像データを取得するステップと、
上記取得した画像データをもとに、上記成分に関する物理量を推定するステップと、
上記推定した物理量を解析することにより、上記対象に含まれる特徴成分を検出するステップと、
を備えることを特徴とする検査方法。
異なる分光特性を有する複数種類の成分が含まれる半透明の対象の検査を行う検査方法において、
光源によって上記対象に照射された光の透過光を複数種類のフィルタを通して撮像して、各フィルタに対応する複数枚の画像データを取得するステップと、
上記取得した画像データをもとに、上記対象に含まれる成分の局所的な物理量を上記対象全域にわたって推定するステップと、
上記推定した結果に基づいて上記対象に含まれる成分の特徴を検出するステップと、
を備えることを特徴とする検査方法。
コンピュータに請求項１９または２０に記載の検査方法を実行させることを特徴するプログラム。
請求項２１に記載のプログラムコードを格納し、コンピュータが読み取り可能な記憶媒体。