JP2013130686A

JP2013130686A - 撮像装置

Info

Publication number: JP2013130686A
Application number: JP2011279723A
Authority: JP
Inventors: Kazuhiko Kajiyama; 和彦梶山; Tomoaki Kawakami; 智朗川上; Toshihiko Tsuji; 俊彦辻; Masayuki Suzuki; 雅之鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-12-21
Filing date: 2011-12-21
Publication date: 2013-07-04
Also published as: CN103176268A; US20130162801A1

Abstract

【課題】複数回の撮像で得た複数の画像データから１つの画像データを得る際の取り込み時間を短縮する。
【解決手段】撮像素子と対象物に光を照明する光源と前記対象物の像を前記撮像素子に投影する光学系とを有し、前記撮像素子により前記対象物を撮像する際に前記対象物の第１の領域を撮像する第１の撮像と前記撮像素子と前記対象物との相対位置を変えて前記第１の領域とは異なる第２の領域を撮像する第２の撮像とを含む複数回の撮像を行い、前記複数回の撮像により得られた複数の画像データから１つの画像データを得る撮像装置において、前記撮像素子による前記対象物の撮像を行う際に必要な情報を取得するためのセンサと、前記撮像素子による前記第１の撮像と並行して、前記撮像素子による前記第２の撮像を行う際に必要な情報を前記センサを用いて取得する制御手段と、を有する。
【選択図】図１

Description

本発明は、デジタル顕微鏡等の撮像装置に関するものである。

現在の病理検査では、光学顕微鏡を用いて病理標本を直接、人の目で観察している。近年、病理標本を画像データとして取り込み、ディスプレイ上で観察するデジタル顕微鏡と呼ばれるものが利用されている。デジタル顕微鏡では病理標本の画像データをディスプレイ上で観察できるため、複数人で同時に観察することができる。またこのデジタル顕微鏡を用いると画像データを遠方の病理医と共有して診断を仰ぐこともできる。しかし、従来のデジタル顕微鏡は、病理標本を撮像して画像データとして取り込む際に時間がかかるという問題があった。

時間がかかる原因の１つとして、大きな撮像範囲の病理標本を撮像領域が狭い対物レンズを用いて画像データとして取り込まねばならないことが挙げられる。対物レンズの撮像領域が狭い場合、複数回撮像し、もしくはスキャンしながら撮像し、得られた複数の画像データを繋ぎ合せて１つの画像データを取得する必要がある。そのため、撮像回数を少なくして画像データを取り込む時間を短縮するために、広い撮像領域を有する対物レンズが求められている。

そこで、特許文献１では、広い撮像領域を有する対物レンズと複数の撮像素子が並列に配置された撮像部を使い、複数回の撮像を行うことで得られた複数の画像データから１つの画像データを得ることを開示している。

特開２００９−０６３６５５

特許文献１のように、広い撮像領域を有する対物レンズを用いた撮像装置では、撮像領域の狭いものに比べ撮像時間（電化蓄積開始から終了までの時間）を短縮し、全体画像等のより広い領域の画像データを短時間で取得可能とすることが期待できる。

しかし、撮像して画像データを得るためにはフォーカス位置や露光量情報などが必要となってくるため、それらの情報をどのように取得するかも画像データを短時間で取得することを考える際に重要となってくる。例えば複数回の撮像を行う際に、撮像する毎にこれらの情報を取得していると、情報取得に時間がかかり画像データを短時間で取得可能とは必ずしも言えない。

本発明は、撮像素子と対象物に光を照明する光源と前記撮像対象物の像を前記撮像素子に投影する撮像光学系とを有し、前記撮像素子により前記対象物を撮像する際に前記対象物の所定の領域を撮像する第１の撮像と前記撮像素子と前記対象物との相対位置を変えて前記所定の領域とは異なる領域を撮像する第２の撮像とを含む複数回の撮像を行い、前記複数回の撮像により得られた複数の画像データから１つの画像データを得る撮像装置において、前記撮像素子による前記対象物の撮像を行う際に必要な情報を取得するためのセンサと、前記撮像素子による前記第１の撮像と並行して、前記撮像素子による前記第２の撮像を行う際に必要な情報を前記センサを用いて取得する制御手段と、を有することを特徴とする。

本発明によれば、複数回の撮像を行うことで得られた複数の画像データから１つの画像データを得る撮像装置において、画像データの取り込み時間を短縮することを可能とした撮像装置を提供することができる。

撮像装置の構成を示す概略断面図である。撮像素子配置図である。撮像素子と撮像範囲の図である。結像位置取得用センサの概略図である。結像位置取得用の照明に関する図である。第１実施形態での撮像手順を示す図である。第２実施形態での撮像手順を示す図である。

（第１実施形態）
図１は本実施形態の撮像装置の概要図である。

撮像装置１は、照明光学系１００と標本部２００と撮像光学系３００と撮像部４００と制御部５００を有する。

照明光学系１００は、光源ユニット１１０からの光をオプティカルインテグレータ部１２０で均一化し、レンズ１３０やミラー１４０によって標本２２０へ導くことで、標本全体を均一な照度で照明している。光源ユニット１１０は、例えば１つまたは複数のハロゲンランプやキセノンランプ、ＬＥＤ等で構成されている。

標本部２００は、標本ステージ２１０と、撮像の対象物である標本２２０で構成される。標本ステージ２１０は、いくつかの方向に標本２２０を移動させることができ、例えば撮像光学系３００の光軸方向や光軸と垂直な方向へ移動させたり、もしくは光軸に対して傾くように移動させることができる。

撮像光学系３００は、照明された標本の像を撮像素子４３０に投影する光学系である。

撮像部４００は、撮像ステージ４１０と撮像素子駆動部４２０とＣＣＤやＣＭＯＳ等の撮像素子４３０と撮像情報取得用のセンサ４４０で構成されている。撮像素子４３０は並列に複数配置されており、その間に撮像情報取得用のセンサ４４０が複数配置されている。

制御部５００は、撮像素子４３０による撮像の制御や撮像情報取得用のセンサ４４０を用いて撮像に必要な情報の取得を行うための制御、標本ステージ２１０や撮像素子駆動部４２０等の駆動の制御を行う。そして、これらの制御を行うことにより、標本２２０のある領域（第１の領域）を撮像する第１の撮像と、この第１の撮像の後に撮像素子４３０と標本２２０との相対位置を変えて別の領域（第２の領域）を撮像する第２の撮像とを含む複数回の撮像を行う。そして、この複数回の撮像により得られた複数の画像データから１つの画像データを取得する。

本実施形態は、撮像情報取得用のセンサ４４０として結像位置情報を取得するためのセンサを用いている。図２（ａ）、（ｂ）は、撮像光学系３００の光軸方向から見た撮像素子４３０とセンサ４４０の配置を表している。また、図３（ａ）、（ｂ）は、画像を撮像する際の撮像素子４３０と標本２２０の相対位置の動きを矢印で示している。また、図３（ａ）、（ｂ）において、代表的に１つの撮像素子４３０の撮像の順番を（１）〜（４）で示している。撮像素子４３０とセンサ４４０の配置は、撮像素子４３０と標本２２０との相対位置をどのように動かして複数の画像データを取得するかにより変わる。

図２（ａ）の配置では、図３（ａ）に示すように標本２２０に対して撮像素子４３０を−Ｙ方向に３回移動する（図中の（２）（３）（４））ことで４回撮像し、それにより得られた複数の画像データを繋ぎ合せて１つの画像データを取得する。このとき、撮像素子４３０による撮像を行っている間に、これから撮像する領域の結像位置情報を取得できるようにセンサ４４０を撮像素子４３０の−Ｙ方向に配置する。このようにすることで、撮像素子４３０によるある領域（例えば図中（１））の撮像と、センサ４４０によるこれから撮像する領域（図中（２））の結像位置情報の取得とを並行して行うことができ、全体の撮像にかかる時間を短縮することが可能となる。

図２（ｂ）の配置では、図３（ｂ）に示すように標本２２０に対して撮像素子４３０を−Ｙ方向（２）、＋Ｘ方向（３）、＋Ｙ方向（４）の順に３回移動することで４回撮像し、それらの画像データを繋ぎ合せて１つの画像データを取得する。ここでは説明上、撮像素子４３０を動かしているような図になっているが、標本ステージ２１０により撮像素子４３０に対して標本２２０を移動させてもよい。

このとき、センサ４４０を撮像素子４３０の−Ｙ方向と＋Ｘ方向に配置することで、これから撮像する領域の結像位置情報を取得することができ、撮像と結像位置情報の取得を並行して行うことができる。ここで、撮像と結像位置情報の取得を並行して行うとは、少なくとも撮像素子４３０での電荷蓄積開始から終了までの間に、センサ４４０による結像位置情報の取得を行う動作が重なる時間があればよい。そして、撮像素子４３０での電荷蓄積開始から終了までの間にセンサ４４０による結像位置情報の取得動作を終了し、次の領域を撮像するために標本２２０と撮像素子４３０との平面方向の位置が決まるまでに結像位置の算出が終了していると好ましい。このようにすれば、標本２２０と撮像素子４３０との平面方向の位置が決まってから撮像を開始するまでの時間をより短縮することができる。

図２（ｂ）のような撮像素子の配置の場合、まず（１）の領域の撮像と並行して−Ｙ方向のセンサ４４０を用いた（２）の領域の結像位置情報の取得と、＋Ｘ方向のセンサ４４０を用いた（４）の領域の結像位置情報の取得を行う。次に、撮像素子４３０による（２）の領域の撮像と並行して＋Ｘ方向のセンサ４４０を用いた（３）の領域の結像位置情報の取得を行う。そして、（１）の領域を撮像と並行して取得した（４）の領域の結像位置情報を用いて（４）の領域の撮像を行う。これにより、全体の撮像にかかる時間を短縮することが可能となる。

また、撮像と結像位置情報の取得を並行して行うために最適なセンサの配置は、撮像素子４３０と同等の間隔で複数のセンサ４４０を配置することである。

図２（ａ）の配置では、撮像素子４３０と標本２２０の相対位置をＹ方向にしか変化させないため、撮像素子４３０に対してＹ方向に撮像素子１つ分ずらして撮像素子４３０と同等の間隔でセンサ４４０を配置している。この場合、撮像素子４３０と同じ数のセンサ４４０が必要となる。

一方、図２（ｂ）の配置では、撮像素子４３０と標本２２０の相対位置をＸ方向とＹ方向の２つの方向に変化させるため、撮像素子４３０に対してＸ方向とＹ方向に撮像素子１つ分ずらして撮像素子４３０と同等の間隔でセンサ４４０を配置している。この場合、撮像素子４３０の倍のセンサ４４０が必要となる。

また、いずれの配置においても最初に撮像する領域の結像位置情報は撮像と並行して取得することができないが、撮像回数が増えるにつれてこのことによる影響は小さくなり高速化が期待できる。

次に、結像位置情報を取得するためのセンサ４４０の構成や結像位置情報の取得方法の一例を、図４（ａ）、（ｂ）を用いて説明する。図４（ａ）に示すように、センサ４４０は撮像光学系３００からの光３１２を分割するハーフプリズム４４２、分割した光の光量をそれぞれ取得する光量センサ４４１を含む。ハーフプリズム４４２により分割された光は、光量センサ４４１の２つの受光面４４１ａ、４４１ｂでそれぞれ受光され、それぞれの光量が取得される。光量センサ４４１の２つの受光面４４１ａ、４４１ｂは撮像光学系３００によってできる最小スポットサイズと同程度の大きさとすることで、ピンホールと同じ効果を持たせている。

また、２つの受光面４４１ａ、４４１ｂは撮像光学系３００の像面から等距離となるように調整されているため、２つの受光面４４１ａ、４４１ｂが同じ光量を検出した時に撮像光学系３００の像面と標本２２０の結像位置が一致する。

図４（ｂ）は、２つの受光面４４１ａ、４４１ｂで受光する光量を縦軸に、結像位置を横軸として実線（受光面４４１ｂで受光した光量）と点線（受光面４４１ａで受光した光量）で表したものである。図４（ｃ）では（Ｉａ−Ｉｂ）／（Ｉａ＋Ｉｂ）を縦軸に、結像位置を横軸として表している。図４（ｂ）に示すように、光量センサ４４１の２つの受光面４４１ａ、４４１ｂで受光する光量の曲線は同じ形状で、ピークを持った形状となる。このとき図４（ｃ）に示すように、（Ｉａ−Ｉｂ）／（Ｉａ＋Ｉｂ）はある結像位置では０となり、撮像素子４３０と結像位置が一致している状態となる。（Ｉａ−Ｉｂ）／（Ｉａ＋Ｉｂ）が正の場合は前ピン状態、負の場合は後ピン状態というように２つの光量センサ４４１が受光した光量から結像位置を定量的に計測することができる。

次に、結像位置情報の取得のための照明について図５を用いて説明する。結像位置情報の取得のための補助光１１１は撮像用の光源ユニット１１０とは別の光源６１０から供給される。補助光１１１は、撮像のための光束３１３の外側から暗視野照明となるよう標本２２０を斜め方向から照明する。結像位置情報の取得の際は、暗視野照明にして標本２２０の散乱光のみを取得することで、ノイズやエラーを減らすことができ計測の信頼性を高めることができる。また、撮像用の光源ユニット１１０の光がセンサ４４０へ入射しないようにすることでもノイズやエラーを減らすことができる。そのため、それぞれ目的の違う光による照明領域が標本２２０で重なることなく局所的に照明されるように構成されていることが望ましい。このような構成を達成するために、標本２２０と共役な位置に遮光部を設けることで、照明光学系１００からの光が撮像素子４３０以外を照明しないようにすることが考えられる。また、複数の光源を配置することでそれぞれが各撮像素子４３０を局所的に照明するようにすること等が考えられる。

以上のように光源６１０による補助光の供給開始から結像位置の算出までの一連の動作によって撮像に必要な結像位置の情報を取得し、制御部５００によって撮像素子駆動部４２０の駆動量や駆動方向を決定して撮像素子４３０の駆動を行った後、撮像を行う。

本実施形態の撮像手順を図６を用いて簡単に示す。

まず、標本ステージ２１０により標本２２０を移動し、初期位置でセンサ４４０を用いて標本２２０の最初に撮像する領域の結像位置情報を取得する（Ｓ６０１）。そして、Ｓ６０１で取得した結像位置情報から、結像位置に撮像素子４３０を一致させるように標本ステージ２１０と撮像素子４３０を駆動する（Ｓ６０２）。そして、その位置で、撮像素子４３０による撮像と並行してセンサ４４０を用いて次に撮像する領域の結像位置情報を取得する（Ｓ６０３）。そして、全ての撮像領域をＮ回で撮像するとしたとき、Ｎ−１回の撮像が終了したかどうかを判断する（Ｓ６０４）。Ｎ−１回の撮像が終了していれば、結像位置に撮像素子４３０を一致させるように標本ステージ２１０と撮像素子駆動部４２０を駆動してＮ回目の撮像を行う（Ｓ６０５）。このとき、センサ４４０による結像位置情報の取得は行わない。Ｎ−１回の撮像が終了していなければ、Ｓ６０２に戻る。

このようにして、全ての撮像領域の撮像が終了したら、得られた複数の画像データを繋ぎ合せる処理を行い１つの画像データを取得する。

（第２実施形態）
本実施形態では、撮像情報取得用のセンサ４４０として露光量情報を取得するためのセンサを用いる実施形態を説明する。図１〜６により説明した第１実施形態と同じ構成部分については説明を省略する。

露光量情報を取得するためのセンサ４４０の配置は、複数の撮像素子４３０の配置と、撮像素子と標本２２０との相対位置をどのように動かして画像を取得するかによって変わるが、ここでは第１実施形態と同じ配置とする。

露光量情報を取得するためのセンサ４４０としては第１実施形態と違い撮像素子４３０のようなある程度の面積を持ったＣＭＯＳやＣＣＤを光量センサとして用いることで、広い領域の光量を取得することができ信頼性を高めることができる。光量センサとしてはＣＭＯＳやＣＣＤに限らず、撮像領域からの光量を検出できるものであればよい。

そして、複数のセンサにより得られた光量で最も低いものを基準に露光量を決定することで、標本２２０に対して暗すぎない最小の露光量を決定することができる。最小の露光量で標本２２０を照明することで、画像の白トビを抑えることができる。

また、露光量情報を取得するためには、撮像用の光源ユニット１１０をそのまま利用することもできる。本実施形態の撮像手順を図７を用いて簡単に示す。

まず、初期位置でセンサ４４０を用いて露光量情報を取得する（Ｓ７０１）。次に、標本ステージ２１０を制御して、撮像を行う位置へ標本２２０を移動する（Ｓ７０２）。そして、Ｓ７０１で取得した露光量情報を用いて露光量を制御し、撮像素子４３０による撮像と並行して、センサ４４０を用いて次に撮像する領域の露光量情報を取得する（Ｓ７０３）。そして、全ての撮像領域をＮ回で撮像するとしたとき、Ｎ−１回の撮像が終了したかどうかを判断する（Ｓ７０４）。Ｎ−１回の撮像が終了していれば、取得した露光量を用いて露光量を制御しＮ回目の撮像を行う（Ｓ７０５）。このとき、センサ４４０を用いた露光量情報の取得は行わない。Ｎ−１回の撮像が終了していなければ、Ｓ７０２に戻る。

以上のようにセンサ４４０の光量の取得開始から露光量算出までの一連の動作によって撮像に必要な露光量情報を取得し、制御部５００によって光源ユニット１１０の出力や発光時間を適正に制御することで、標本２２０に合った露光量で撮像することができる。露光量の制御は、フィルタ等を光路中に挿抜したり、撮像素子の電荷蓄積時間を制御することによっても行うことができる。

以上、撮像と並行して取得する情報として結像位置情報と露光量情報について説明したが、本発明はこれらに限定されるものではない。例えば第１実施形態と第２実施形態を組み合わせてもよい。

また、標本２２０を覆うカバーガラス等の影響で撮影領域毎に波面が変わってしまうことも考えられるため、撮像情報取得用のセンサ４４０として波面を計測するものを用いてもよい。

また、一回の撮像時間と情報取得のための時間に差があっても画像データ取得時間を短くする効果はあるが同程度であるときに最も効果が大きいため、どのような撮像情報取得用のセンサ４４０を配置するかは撮像装置のシステム毎に考慮すべきものである。

また、撮像素子４３０とセンサ４４０の配置を図２を例として説明したがこれらに限定されるものではない。

さらに、撮像手順の説明として、分かり易いようにセンサ４４０は次に撮像する領域の情報を取得しているが、これに限らず、全ての撮像領域を撮像する一連の工程の中で、これから撮像する領域の情報を取得すればよい。

本発明の思想は、複数回の撮像を行って得られた画像データから１つの画像データを得る際に、第１の領域の撮像と、これから撮像を行う領域（第１の領域とは異なる第２の領域）を撮像するために必要な情報の取得とを並行して行うことである。そのため、この思想を有する全ての構成が本発明に含まれる。

１１０光源
３００撮像光学系
４３０撮像素子
４４０撮像情報取得用のセンサ
５００制御部

Claims

撮像素子と対象物に光を照明する光源と前記対象物の像を前記撮像素子に投影する光学系とを有し、前記撮像素子により前記対象物を撮像する際に前記対象物の第１の領域を撮像する第１の撮像と前記撮像素子と前記対象物との相対位置を変えて前記第１の領域とは異なる第２の領域を撮像する第２の撮像とを含む複数回の撮像を行い、前記複数回の撮像により得られた複数の画像データから１つの画像データを得る撮像装置において、
前記撮像素子による前記対象物の撮像を行う際に必要な情報を取得するためのセンサと、
前記撮像素子による前記第１の撮像と並行して、前記撮像素子による前記第２の撮像を行う際に必要な情報を前記センサを用いて取得する制御手段と、を有することを特徴とする撮像装置。
前記センサは、結像位置情報を取得するためのセンサであることを特徴とする請求項１に記載の撮像装置。
前記撮像素子を駆動する駆動部を有し、
前記制御手段は、前記取得した結像位置情報に基づいて前記駆動部を駆動することを特徴とすることを特徴とする請求項２に記載の撮像装置。
前記センサは、露光量情報を取得するためのセンサであることを特徴とする請求項１に記載の撮像装置。
前記撮像素子が並べて複数配置され、
前記センサは前記複数の撮像素子の間に配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記撮像装置は顕微鏡であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。