JP2013190768A - 撮像装置、撮像制御プログラム及び撮像方法 - Google Patents

Abstract

【課題】撮像領域毎の撮像に起因する画像の焦点状態の不連続さを防止することが可能な撮像装置、撮像制御プログラム及び撮像方法を提供すること。
【解決手段】本技術に係る撮像装置は、第１の撮像領域設定部と、第１の画像撮像部と、第２の撮像領域設定部と、第２の画像撮像部と、画像結合部とを具備する。第１の撮像領域設定部は、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する。第１の画像撮像部は、第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する。第２の撮像領域設定部は、隣接する第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する第１の撮像領域に跨る第２の撮像領域を設定する。第２の画像撮像部は、第２の撮像領域のそれぞれに対して、第２の撮像画像を撮像する。画像結合部は、第１の撮像画像と第２の撮像画像とを結合させる。
【選択図】図１

Description

本技術は、検体を撮像領域毎に撮像して高倍率画像を取得する撮像装置、撮像制御プログラム及び撮像方法に関する。

顕微鏡を用いて検体の高倍率画像を撮像する撮像装置において、検体の部分的領域（撮像領域）毎に高倍率画像を撮像し、得られた画像を繋ぎ合わせることによって検体の高倍率画像を取得する撮像装置がある。例えば、細胞組織スライドを顕微鏡を介して撮像することによってスライドをデジタル画像データとして保存し、病理診断等に供するＤＰＩスキャナーやＤＰＩビューワーが知られている。

例えば、特許文献１には、検体を含む撮像範囲を複数の撮像領域に区分し、撮像領域毎に高倍率画像を撮像し、撮像領域毎の高倍率画像を結合させることによって撮像範囲全体の高倍率画像を生成する「顕微鏡制御装置」が開示されている。当該装置は、撮像領域毎に高倍率画像を撮像する際、オートフォーカスによって撮像領域毎に合焦位置を探索する構成となっている。

特開２０１２−０１４０１３号公報（［００９０］段落、図５）

ここで、特許文献１に記載の顕微鏡制御装置のように、撮像領域毎の合焦位置で高倍率画像を撮像する場合、撮像領域毎の高倍率画像を結合した画像において撮像領域の境界が鮮明になる場合がある。これは、それぞれの撮像領域において焦点を合わせるために、隣接する撮像領域間で合焦位置が大きく異なる場合に生じ、特に検体の厚みが不規則である場合や検体が大きく傾斜している場合に顕著である。このような場合、結合した高倍率画像において撮像領域の境界部分で高倍率画像の焦点状態が不連続となり、目視による観察や画像処理による解析において不都合を生じる可能性がある。

以上のような事情に鑑み、本技術の目的は、撮像領域毎の撮像に起因する画像の焦点状態の不連続さを防止することが可能な撮像装置、撮像制御プログラム及び撮像方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る撮像装置は、第１の撮像領域設定部と、第１の画像撮像部と、第２の撮像領域設定部と、第２の画像撮像部と、画像結合部とを具備する。
上記第１の撮像領域設定部は、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する。
上記第１の画像撮像部は、上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する。
上記第２の撮像領域設定部は、隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定する。
上記第２の画像撮像部は、上記第２の撮像領域のそれぞれに対して、第２の撮像画像を撮像する。
上記画像結合部は、上記第１の撮像画像と上記第２の撮像画像とを結合させる。

この構成によれば、隣接する第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるとき、即ち、隣接する第１の撮像画像の境界面の焦点状態の差異が鮮明になる可能性のあるときには、その隣接する第１の撮像画像に跨る第２の撮像領域が設定され、第２の撮像画像が撮像される。第１の撮像画像と第２の撮像画像が結合されることにより、隣接する第１の撮像画像の境界が、その境界に跨って撮像された第２の撮像画像によって補われ、結合された画像において、第１の撮像画像の境界面の焦点状態が不連続な画像となることが防止される。

上記第２の画像撮像部は、隣接する上記第１の撮像領域のそれぞれの合焦位置の中間を上記第２の撮像領域の合焦位置としてもよい。

この構成によれば、第１の撮像画像と第２の撮像画像の合焦位置の差異が、第１の撮像画像同士の合焦位置の差異に比べて半分となるため、第１の撮像画像と第２の撮像画像が結合された画像において、合焦位置の差異による境界面の焦点状態の不連続を緩和することが可能となる。

上記第１の画像撮像部は、上記第１の撮像領域の位相差画像を用いて上記第１の撮像領域の合焦位置を検出してもよい。

合焦位置の検出は、位相差画像に含まれる位相差情報に基づいて合焦位置を検出する位相差方式や、複数の合焦位置で撮像された画像のうち、最もコントラストの高い画像の合焦位置を採用するコントラスト方式等を用いてすることができるが、位相差方式を用いることにより、迅速な合焦位置の検出が可能であり、撮像プロセスの所要時間を短縮することが可能となる。

上記画像結合部は、上記第１の撮像画像の中央部と上記第２の撮像画像の中央部とを結合してもよい。

隣接する第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、第１の撮像画像及び第２の撮像画像の中央部においては検出された合焦位置と検体の位置が一致しているが、第１の撮像画像及び第２の撮像画像の端部においては検出された合焦位置と検体の位置が離間している場合が多い。したがって、第１の撮像画像の中央部と第２の撮像画像の中央部を結合することにより、第１の撮像画像と第２の撮像画像の合焦位置が検体により多く一致している（焦点が合っている）領域からなる画像を生成することが可能となる。

上記撮像装置は、上記第２の撮像領域のそれぞれについて、上記画像結合部による結合に必要な画角範囲を特定する画角範囲特定部をさらに具備し、上記第２の画像撮像部は、上記第２の撮像領域のそれぞれについて上記画角範囲の画像を上記第２の撮像画像としてもよい。

この構成によれば、第２の画像撮像部は、第２の撮像領域のうち特定の画角範囲に含まれる画像を第２の撮像画像として生成する。上述のように、第２の画像撮像部は、第２の撮像領域を撮像した第２の撮像画像を画像結合部に供給するのであるが、第２の撮像領域には画像の結合に利用される範囲（画角範囲）と画像の結合に利用されない画角範囲が含まれる。このため、画角範囲特定部が画像の結合に利用される画角範囲を特定し、第２の画像撮像部がその画角範囲の画像を第２の撮像画像として生成することにより、画像の結合に必要な画角範囲のみを第２の撮像画像として生成することが可能となる。これにより、第２の画像撮像部が各第２の撮像領域の全体を第２の撮像画像として生成する場合に比較して、第２の撮像画像の生成速度を向上させ、さらに第２の撮像画像のデータ量を縮減させることが可能である。

上記第２の画像撮像部は、上記第２の撮像領域を撮像した撮像素子の画素のうち、上記画角範囲に相当する画素の出力から上記第２の撮像画像を生成してもよい。

この構成によれば、第２の画像撮像部は、撮像素子が画素の部分読み出し（帯状読み出しを含む）に対応している場合には、画角範囲特定部によって特定された画角範囲に相当する画素の出力（電荷）のみを読み出すことにより、第２の撮像画像を高速に生成することが可能である。上記のように、画角範囲特定部によって特定された画角範囲は、画像の結合に必要な画角範囲であるから、即ち、第２の画像撮像部は第２の撮像画像の生成に必要な画素の出力のみから第２の撮像画像を生成することが可能である。これにより、この構成を有する撮像装置は、第２の撮像画像を連続的に撮像する上でその撮像速度を向上させることができ、即ち、全体の撮像プロセスを短時間で完了させることが可能となる。

上記目的を達成するため、本技術の一形態に係る撮像制御プログラムは、第１の撮像領域設定部と、第１の画像撮像部と、第２の撮像領域設定部と、第２の画像撮像部と、画像結合部とを具備する。
上記第１の撮像領域設定部は、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する。
上記第１の画像撮像部は、上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する。
上記第２の撮像領域設定部は、隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定する。
上記第２の画像撮像部は、上記第２の撮像領域のそれぞれに対して、第２の撮像画像を撮像する。
上記画像結合部は、上記第１の撮像画像と上記第２の撮像画像とを結合させる。

上記目的を達成するため、本技術の一形態に係る撮像方法は、第１の撮像領域設定部が、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する。
第１の画像撮像部が、上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する。
第２の撮像領域設定部が、隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定する。
上記第２の画像撮像部が、上記第２の撮像領域のそれぞれに対して、合焦位置において第２の撮像画像を撮像する。

以上のように、本技術によれば、撮像領域毎の撮像に起因する画像の不連続を防止することが可能な撮像装置、撮像制御プログラム及び撮像方法を提供することが可能となる。

本技術の第１の実施形態に係る撮像装置の構成を示す模式図である。 同撮像装置の動作を示すフローチャートである。 同撮像装置の撮像対象であるプレパラートの低倍率画像の例である。 同撮像装置の第１撮像領域設定部により設定される第１撮像領域を示す模式図である。 同撮像装置の第１画像撮像部による撮像における合焦位置と検体の関係を示す模式図である。 同撮像装置の第２画像撮像部による撮像における合焦位置と検体の関係を示す模式図である。 同撮像装置の第２撮像領域設定部により設定される第２撮像領域を示す模式図である。第２撮像領域Ｒ２の配置の例を示す 同撮像装置の画像結合部による第１撮像画像と第２撮像画像の結合態様を示す模式図である。 本技術の第２の実施形態に係る撮像装置の構成を示す模式図である。 同撮像装置の動作を示すフローチャートである。 本技術の第１の実施形態に係る第２撮像画像を示す模式図である。 本技術の第２の実施形態に係る撮像装置の画角範囲特定部によって特定された第２撮像領域における画角範囲を示す模式図である。 同撮像装置の画像結合部による第１撮像画像と第２撮像画像の結合態様を示す模式図である。

（第１の実施形態）
本技術の第１の実施形態に係る撮像装置について説明する。

［撮像装置の構成］
図１は本実施形態に係る撮像装置１００の構成を示す模式図である。同図に示すように、撮像装置１００は、顕微鏡１１０と顕微鏡制御ユニット１３０によって構成されている。顕微鏡１１０の各部は顕微鏡制御ユニット１３０に接続されている。なお、顕微鏡制御ユニット１３０は、顕微鏡１１０に搭載されていてもよく、顕微鏡１１０とは別の情報処理装置等に搭載されていもよい。

顕微鏡１１０は、顕微鏡制御ユニット１３０による制御を受けて検体の高倍率画像を撮像する。顕微鏡１１０は、高倍率画像に加えて検体の位相差画像を撮像することが可能な顕微鏡とすることができる。

顕微鏡１１０は、光源１１１、コンデンサレンズ１１２、ステージ１１３、対物レンズ１１４、ハーフミラー１１５、フィールドレンズ１１６、絞りマスク１１７、セパレータレンズ１１８、撮像素子１１９及び撮像素子１２０を有する。ステージ１１３には、検体が固定されたプレパラートＰが載置されている。なお、顕微鏡１１０の構成は一例であり、ここに示すものと異なる構成とすることも可能である。

光源１１１は、プレパラートＰに照射される照明光を出射する。光源１１１は電球やＬＥＤ（Light Emitting Diode）等とすることができる。光源１１１は、顕微鏡制御ユニット１３０によって発光タイミング等の制御を受ける。コンデンサレンズ１１２は、光源１１１から出射された照明光をプレパラートＰに集光する。

ステージ１１３はプレパラートＰを支持し、顕微鏡制御ユニット１３０による制御を受けてその位置をＸ−Ｙ平面（プレパラートＰに平行な平面）方向及びＺ方向（プレパラートＰに垂直な方向）に移動させる。ステージ１１３はＸ−Ｙ平面方向に移動することによって、顕微鏡光学系（対物レンズ１１４等）の視野範囲を規定し、Ｚ方向に移動することによって顕微鏡光学系の焦点位置を規定するものとすることができる。

対物レンズ１１４は、プレパラートＰを透過した光を所定の拡大倍率で拡大させる。対物レンズ１１４は、拡大倍率が異なる複数のレンズによって構成されるものとしてもよい。

ハーフミラー１１５は、対物レンズ１１４を透過した光の一部を反射し、残りを透過させる。ハーフミラー１１５は、位相差像として撮像される光と、通常の（位相差像ではない）顕微鏡画像として撮像される光を分離するものである。フィールドレンズ１１６は、ハーフミラー１１５によって反射された光を屈折させ、絞りマスク１１７に入射させる。

絞りマスク１１７は、フィールドレンズ１１６から出射される光を分割し、それぞれをセパレータレンズ１１８に入射させる。絞りマスク１１７は、フィールドレンズ１１６の光軸と直交する面内に、その光軸を境界として対象となる位置に光路となる一対の開口が設けられたマスクであるものとすることができる。

セパレータレンズ１１８は一対が配置され、絞りマスクによって分割されたそれぞれの光を撮像素子１１９の受光面に結合させるレンズである。撮像素子１１９は、一対のセパレータレンズ１１８のそれぞれによって結像された光を光電変換し、位相差画像を生成する。撮像素子１１９は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等とすることができる。撮像素子１１９は、生成した位相差画像を顕微鏡制御ユニット１３０に出力する。

撮像素子１２０は、ハーフミラー１１５を透過した光を光電変換し、検体の画像（低倍率画像及び高倍率画像）を生成する。撮像素子１２０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等とすることができる。撮像素子１２０は、生成した画像を顕微鏡制御ユニット１３０に出力する。

［顕微鏡制御ユニットの構成］
顕微鏡制御ユニット１３０は、プロセッサやメモリ等のハードウェアと、それに読み込まれるソフトウェアの協働によって実現される。顕微鏡制御ユニット１３０は、顕微鏡１１０から出力される画像を取得するとともに、顕微鏡１１０による画像の撮像を制御する。

顕微鏡制御ユニット１３０は、第１撮像領域設定部１３１、第１画像撮像部１３２、第２撮像領域設定部１３３、第２画像撮像部１３４及び画像結合部１３５を有する。これらはそれぞれが互いに接続されるとともに、顕微鏡１１０に接続されている。顕微鏡制御ユニット１３０の各部の機能については撮像装置１００の動作の説明と合わせて説明する。

［撮像装置の動作］
撮像装置１００の動作について説明する。図２は、撮像装置１００の動作を示すフローチャートである。

顕微鏡１１０にプレパラートＰがセットされ、ユーザによって撮像開始の操作入力がなされると、撮像プロセスが開始される。図３に撮像対象とするプレパラートＰの低倍率画像を低倍率画像Ｇとして示す。撮像装置１００は、この低倍率画像Ｇの高倍率画像の撮像を目的として動作するものとする。低倍率画像Ｇには検体（例えば細胞組織）Ｓの像が含まれている。

第１撮像領域設定部１３１が、低倍率画像Ｇ上に第１撮像領域Ｒ１を設定する（Ｓｔ１０１）。図４は、第１撮像領域Ｒ１を示す模式図である。第１撮像領域Ｒ１は、低倍率画像Ｇ上に、同一の大きさで複数が配置される仮想的な領域であり、その大きさや数は、低倍率画像Ｇの大きさと目的とする高倍率画像の撮像倍率によって決定される。撮像領域Ｒ１は、実際には一つの低倍率画像Ｇ上に数百から数千領域が設定される。

続いて、第１画像撮像部１３２によって、各第１撮像領域Ｒ１の高倍率画像（以下、第１撮像画像）が撮像される（Ｓｔ１０２）。具体的には、第１画像撮像部１３２によって、ステージ１１３、光源１１１等が制御され、顕微鏡１１０の視野が第１撮像領域Ｒ１のひとつに合わせられる。第１画像撮像部１３２は、その第１撮像領域Ｒ１において合焦位置を検出する。

合焦位置は、第１撮像領域Ｒ１に含まれる検体Ｓの像に、最も顕微鏡１１０の焦点が合うときの、顕微鏡光学系とプレパラートＰの相対位置（距離）である。第１画像撮像部１３２は、撮像素子１１９によって撮像される第１撮像領域Ｒ１の位相差画像を用いて当該第１撮像領域Ｒ１の合焦位置を検出するものとすることができる。

ここで、第１画像撮像部１３２は、位相差画像を用いるものに限られず、複数の合焦位置で撮像された画像のうち、最もコントラストの高い画像の合焦位置を採用するコントラスト方式を用いることも可能である。しかしながら、位相差方式を用いることにより、迅速な合焦位置の検出が可能であり、撮像プロセスの所要時間を短縮することが可能となる。

第１画像撮像部１３２は、当該第１撮像領域Ｒ１において検出した合焦位置を用いて、撮像素子１２０により当該第１撮像領域Ｒ１の高倍率画像（第１撮像画像）を撮像する。第１画像撮像部１３２は撮像した第１撮像画像をストレージ等に保持する。

第１画像撮像部１３２は、続いてステージ１１３等を制御し、顕微鏡１１０の視野を次の第１撮像領域Ｒ１に移動させる。第１撮像領域Ｒ１の撮像順序は任意であり、例えば列毎に順に撮像するものとすることができる。第１画像撮像部１３２は移動先の第１撮像領域Ｒ１において同様に合焦位置を検出し、その合焦位置に合わせて第１撮像画像を撮像する。第１画像撮像部１３２はこのようにして、低倍率画像Ｇ上の全ての第１撮像領域Ｒ１についてそれぞれ高倍率で撮像し、第１撮像画像を保持する。

ここで仮に、第１撮像領域Ｒ１毎に撮像された第１撮像画像をそのまま結合して、検体Ｓの高倍率画像を生成する場合を考える。図５は、検体と合焦位置の関係を示す模式図である。図５（ａ）は、検体ＳをプレパラートＰに平行な平面（Ｘ−Ｙ平面）に垂直な方向（Ｚ方向）からみた図であり、図５（ｂ）は検体ＳをプレパラートＰに平行な方向（Ｙ方向）からみた図である。図５（ｃ）は、撮像された第１撮像領域Ｒ１の画像（第１撮像画像）を結合した画像示す模式図である。

第１画像撮像部１３２によって、図５（ａ）に示すＸ方向に一列に並ぶ第１撮像領域Ｒ１（網掛けで示す）が撮像されたとする。図５（ｂ）に、図５（ａ）に網掛けで示した第１撮像領域Ｒ１の合焦位置を合焦位置Ｆとして示す。図５（ｂ）に示すように、含まれる検体Ｓの凹凸が平坦な第１撮像領域Ｒ１間の合焦位置Ｆの差は小さい。一方、含まれる検体Ｓの凹凸が大きい（傾斜している）第１撮像領域Ｒ１間の合焦位置Ｆの差は大きくなる。

その結果、図５（ｃ）に示す第１撮像画像を結合した画像においては、同図に矢印で示すように、第１撮像画像の境界が目立つものとなる。図５（ｃ）において、各第１撮像画像の左端に位置する領域（画像領域Ａ１とする）では、合焦位置Ｆが検体Ｓの下側に離間しており、右端に位置する領域（画像領域Ａ２とする）では、合焦位置Ｆが検体Ｓの上側に離間している。

画像領域Ａ１及び画像領域Ａ２は、共に合焦位置Ｆが検体Ｓと離間しているため、焦点（ピント）があっていない像となる。しかし、合焦位置Ｆが検体Ｓより下側（合焦位置より遠い）である画像領域Ａ１と検体Ｓより上側（合焦位置より近い）である画像領域Ａ２は、光学系の色収差に起因して色味等が異なり、第１撮像画像の境界が目立つことになる。

ここでは、第１撮像領域Ｒ１の一方向（Ｘ方向）のみについて示したが他方向（Ｙ方向や斜め方向）においても同様である。即ち、検体Ｓの凹凸が大きい場合には、各第１撮像領域Ｒ１を撮像した第１撮像画像をそのまま結合すると、各第１撮像領域Ｒ１の境界が目立つ不連続な高倍率画像が生成されることとなる。

これに対し、本実施形態においては、以下のようにして対応する。第１画像撮像部１３２によって各第１撮像領域Ｒ１の高倍率画像（第１撮像画像）が撮像（Ｓｔ１０２）された後、第２撮像領域設定部１３３が低倍率画像Ｇ２に対して第２撮像領域Ｒ２を設定する（Ｓｔ１０３）。

図６は、低倍率画像Ｇにおける第２撮像領域Ｒ２を示す模式図である。図６（ａ）は、検体ＳをプレパラートＰに平行な平面（Ｘ−Ｙ平面）に垂直な方向（Ｚ方向）からみた図であり、図６（ｂ）は検体ＳをプレパラートＰに平行な方向（Ｙ方向）からみた図である。図６（ｃ）は、第１撮像領域Ｒ１の撮像画像（第１撮像画像）を結合した画像、図６（ｅ）は第２撮像領域Ｒ２の撮像画像（第２撮像画像）を結合した画像、図６（ｄ）は、第１撮像画像と第２撮像画像を結合した画像を示す模式図である。

図６（ａ）に示すように、第２撮像領域設定部１３３は、隣接する第１撮像領域Ｒ１のうち、第１画像撮像部１３２によって検出された合焦位置Ｆが離間する第１撮像領域Ｒ１の対について、その第１撮像領域Ｒ１の対に跨るように第２撮像領域Ｒ２を設定する。第２撮像領域設定部１３３は、隣接する第１撮像領域Ｒ１のそれぞれの合焦位置が、閾値（例えば、顕微鏡光学系の被写界深度のｎ倍）を超える場合には、その隣接する第１撮像領域Ｒ１の対に対して第２撮像領域Ｒ２を設定するものとすることができる。

なお、図６では、第１撮像領域Ｒ１の一方向（Ｘ方向）のみについて、合焦位置Ｆが離間する第１撮像領域Ｒ１の対に第２撮像領域Ｒ２を設定している。しかし、実際には、別方向（Ｙ方向や斜め方向）についても合焦位置Ｆの離間が閾値を超える場合には、その方向に第１撮像領域Ｒ１の対に跨るように第２撮像領域Ｒ２を設定する。この別方向に対する第２撮像領域Ｒ２の設定については後述する。

第２撮像領域設定部１３３は、図６（ａ）に示すように、第１撮像領域Ｒ１の境界が第２撮像領域Ｒ２の中心に位置するように、第２撮像領域Ｒ２を設定することができる。また、第２撮像領域設定部１３３は、必ずしもこのように第２撮像領域Ｒ２を設定する場合に限られず、少なくとも第２撮像領域Ｒ２が第１撮像領域Ｒ１の対に跨るように、第２撮像領域Ｒ２を設定するものとすることができる。

続いて、第２画像撮像部１３４が、第２撮像領域Ｒ２を撮像する（Ｓｔ１０４）。具体的には、第２画像撮像部１３４は、ステージ１１３等を制御し、顕微鏡１１０の視野をひとつの第２撮像領域Ｒ２に移動させる。第２画像撮像部１３４は、図６（ｂ）に示すように、その第２撮像領域Ｒ２が跨る第１撮像領域Ｒ１の対の合焦位置Ｆの、中間位置を合焦位置（以下、合焦位置Ｆ’）とする。第２画像撮像部１３４は、この合焦位置Ｆ’を用いて撮像素子１２０により第２撮像領域Ｒ２を撮像し、ストレージ等に保存する。

第２画像撮像部１３４は、続いて次の第２撮像領域Ｒ２に顕微鏡の視野を移動させて第２撮像画像を撮像し、以降、全ての第２撮像領域Ｒ２の撮像が完了するまで繰返す。第２撮像領域Ｒ２を撮像する順序は任意とすることができる。

図６（ｅ）に示すように、第２撮像領域Ｒ２を撮像した第２撮像画像は、図６（ｃ）に示す第１撮像画像を結合した画像において、第１撮像画像の境界となる領域（画像中央部）に焦点が合った画像となる。

続いて、画像結合部１３５が、第１撮像画像と第２撮像画像を結合する（Ｓｔ１０５）。画像結合部１３５は、図６（ｄ）に示すように、第１撮像画像（図６（ｃ））の中央部と、第２撮像画像（図６（ｄ））の中央部を、低倍率画像Ｇにおける位置関係に合わせて結合する。第１撮像画像において、第２撮像領域Ｒ２が設定されなかった第１撮像領域Ｒ１の第１撮像画像は、そのまま用いることができる。これにより、図６（ｄ）に示す第１撮像画像と第２撮像画像を結合した画像（以下、結合画像）においては、第１撮像画像及び第２撮像画像のそれぞれの端部に位置する、焦点が合っていない領域（斜線部）がカットされ、画像全体において焦点が合った結合画像が生成される。

上記のように、検体Ｓの凹凸による合焦位置と検体Ｓの離間に起因する第１撮像画像の境界は、第２撮像画像との結合によって解消され、即ち結合画像は、撮像領域の境界が目立つことが防止された良好な高倍率画像とすることが可能である。

なお、上述の説明においては、第１撮像領域Ｒ１の一方向（Ｘ方向）の合焦位置の相違を問題としたが、実際にはこれと異なる方向（Ｙ方向や斜め方向）についても合焦位置の相違が発生し得る。図７は、第２撮像領域Ｒ２の配置の例を示す模式図である。

図７に示す各第１撮像領域Ｒ１には、中央の第１撮像領域Ｒ１を（ｘ、ｙ）とする第１撮像領域Ｒ１の座標（（ｘ＋１、ｙ＋１）等）における合焦位置（（ｚ（ｘ＋１、ｙ＋１））等）が示されている。図中の第２撮像領域Ｒ２ＡはＸ方向、第２撮像領域Ｒ２ＢはＹ方向、第２撮像領域Ｒ２ＣはＸ及びＹ方向においてそれぞれ合焦位置が閾値を超えて相違している場合の第２撮像領域Ｒ２の配置を示す。

第２撮像領域Ｒ２Ａは、（ｘ、ｙ＋１）の第１撮像領域Ｒ１と（ｘ＋１、ｙ＋１）の第１撮像領域Ｒ１の合焦位置の差が閾値（Ｚｔｈ）を超えるとき、即ち下記式（１）が成り立つときの第２撮像領域Ｒ２の配置を示す。

第２撮像領域Ｒ２Ｂは、（ｘ＋１、ｙ−１）の第１撮像領域Ｒ１と（ｘ＋１、ｙ）の第１撮像領域Ｒ１の合焦位置の差が閾値（Ｚｔｈ）を超えるとき、即ち下記式（２）が成り立つときの第２撮像領域Ｒ２の配置を示す。

第２撮像領域Ｒ２Ｃは、（ｘ−２、ｙ）の第１撮像領域Ｒ１と（ｘ、ｙ＋１）の第１撮像領域Ｒ１の合焦位置の差が閾値（Ｚｔｈ）を超えるとき、即ち下記式（３）が成り立つときの第２撮像領域Ｒ２の配置を示す。

｜ｚ（ｘ、ｙ＋１）−ｚ（ｘ＋１、ｙ＋１）｜＞Ｚｔｈ 式（１）
｜ｚ（ｘ＋１、ｙ−１）−ｚ（ｘ＋１、ｙ）｜＞Ｚｔｈ 式（２）
｜ｚ（ｘ−２、ｙ）−ｚ（ｘ、ｙ＋１）｜＞Ｚｔｈ 式（３）

上記第２撮像領域Ｒ２Ａ、第２撮像領域Ｒ２Ｂ及び第２撮像領域Ｒ２Ｃのように、第２撮像領域設定部１３３は、第１撮像領域Ｒ１の各方向において隣接する第１撮像領域Ｒ１との合焦位置の差が閾値を超える場合には、その方向に第１撮像領域Ｒ１に跨る第２撮像領域Ｒ２を設定することができる。したがって、第２撮像領域設定部１３３は、ひとつの第１撮像領域Ｒ１の合焦位置と、その上下左右及び斜め方向の８つの第１撮像領域Ｒ１の合焦位置との比較を実施し、その差異が閾値を超える方向について、第２撮像領域Ｒ２を設定するものとすることができる。

この場合、画像結合部１３５も、第１撮像画像と第２撮像画像を複数方向において結合させるものとすることができる。図８は、第１撮像画像と第２撮像画像の結合態様を示す模式図である。画像結合部１３５は、図８（ａ）に示すように２方向（Ｘ方向及びＹ方向）に第１結合画像（Ａ、Ｂ、Ｃ、Ｄ）と第２結合画像（Ｅ、Ｆ）とを結合することができる。また、画像結合部１３５は、図８（ｂ）に示すように３方向（Ｘ方向、Ｙ方向及び斜め方向）に第１結合画像（Ａ、Ｂ、Ｃ、Ｄ）と第２結合画像（Ｅ、Ｆ、Ｇ）とを結合することができる。いずれの場合であっても、第１撮像画像同士の境界は、第２撮像画像によって補われ、第１撮像画像同士の不連続は防止される。

また、第２撮像領域設定部１３３は、第１撮像領域Ｒ１の対の間に複数の第２撮像領域Ｒ２を多段階に設定することも可能である。第２撮像領域設定部１３３は、隣接する第１撮像領域Ｒ１の間で合焦位置の差異が非常に大きい場合には、隣接する第１撮像領域Ｒ１の間に複数の第２撮像領域Ｒ２を配置する。第２画像撮像部１３４は、各第２撮像領域Ｒ２において、隣接する第１撮像領域Ｒ１の合焦位置を複数に分割した合焦位置を用いて各第２撮像領域Ｒ２を撮像し、第２撮像画像を生成する。これにより、検体Ｓの凹凸が大きい場合であっても、合焦位置の相違に起因する高倍率画像の不連続をより小さくすることが可能である。

なお、上記説明においては、第１画像撮像部１３２が第１撮像領域Ｒ１の撮像を終了した後、第２撮像領域設定部１３３が第２撮像領域Ｒ２の設定を実施し、続いて第２画像撮像部１３４が第２撮像領域Ｒ２を撮像するものとしたが、この順に限られない。第２撮像領域設定部１３３が第１画像撮像部１３２による第１撮像領域Ｒ１の撮像と並行して第２撮像領域Ｒ２を設定し、第２画像撮像部１３４が順次第２撮像領域Ｒ２の撮像を実施するものとすることも可能である。

以上のようにして、撮像装置１００によって検体Ｓの高倍率画像（第１撮像画像と第２撮像画像の結合画像）が生成される。上述のように、隣接する第１撮像領域Ｒ１の間で合焦位置が所定の閾値を超えて異なるとき、即ち、隣接する第１撮像画像の境界が鮮明になる可能性のあるときには、隣接する第１撮像画像の境界が、その境界に跨って撮像される第２撮像画像によって補われ、結合画像において、画像の境界が鮮明となること、即ち不連続な画像となることを防止することが可能である。

（第２の実施形態）
本技術の第２の実施形態に係る撮像装置について説明する。

［撮像装置の構成］
図９は本実施形態に係る撮像装置２００の構成を示す模式図である。同図に示すように、撮像装置２００は、撮像装置１００と顕微鏡制御ユニット２３０によって構成されている。なお、顕微鏡１１０は、第１の実施形態と同様の構成を有するものであるため、第１の実施形態と同一の符号を付し、説明を省略する。本実施形態において、顕微鏡１１０の各部は顕微鏡制御ユニット２３０に接続されている。なお、顕微鏡制御ユニット２３０は、顕微鏡１１０に搭載されていてもよく、顕微鏡１１０とは別の情報処理装置等に搭載されていもよい。

［顕微鏡制御ユニットの構成］
顕微鏡制御ユニット２３０は、プロセッサやメモリ等のハードウェアと、それに読み込まれるソフトウェアの協働によって実現される。顕微鏡制御ユニット２３０は、顕微鏡１１０から出力される画像を取得するとともに、顕微鏡１１０による画像の撮像を制御する。

顕微鏡制御ユニット２３０は、第１撮像領域設定部２３１、第１画像撮像部２３２、第２撮像領域設定部２３３、画角範囲特定部２３４、第２画像撮像部２３５及び画像結合部２３６を有する。これらはそれぞれが互いに接続されるとともに、顕微鏡１１０に接続されている。顕微鏡制御ユニット２３０の各部の機能については撮像装置２００の動作の説明と合わせて説明する。

［撮像装置の動作］
撮像装置２００の動作について説明する。図１０は、撮像装置２００の動作を示すフローチャートである。図１０に示すフローチャートにおいて、第１撮像領域設定（Ｓｔ２０１）から第２撮像領域設定（Ｓｔ２０３）までの各ステップは、第１の実施形態と同様である。

即ち、第１撮像領域設定部２３１が、低倍率画像Ｇ（図３参照）上に第１撮像領域Ｒ１（図４参照）を設定する（Ｓｔ２０１）。続いて、第１画像撮像部２３２によって、各第１撮像領域Ｒ１について合焦位置が検出され、各第１撮像領域Ｒ１の高倍率画像（第１撮像画像）が撮像される（Ｓｔ２０２）。

続いて、第２撮像領域設定部２３３が、第２撮像領域Ｒ２（図６参照）を設定する（Ｓｔ２０３）。第１の実施形態において説明したように、第２撮像領域設定部２３３は、各第１撮像領域Ｒ１毎に検出された合焦位置の差が閾値を超える場合には、その境界に第２撮像領域Ｒ２を設定するものとすることができる。

続いて、画角範囲特定部２３４が、「利用画角範囲」を特定する（Ｓｔ２０４）。利用画角範囲は、第２撮像領域Ｒ２のうち、後述する画像結合ステップ（Ｓｔ２０６）において利用される第２撮像画像に相当する画角範囲である。

図１１は、第１の実施形態における第２撮像画像を示す模式図である。図１１（ａ）は図８（ａ）における画像Ｅを、図１１（ｂ）は図８（ａ）に置ける画像Ｆを、図１１（ｃ）は図８（ｂ）における画像Ｇをそれぞれ示す。これらの図に示すように、上記第１の実施形態においては、第２撮像画像（画像Ｅ、Ｅ、Ｇ等）のうち、一部の領域のみが他の画像（第１撮像画像や第２撮像画像）と結合され、最終的に生成される結合画像（図８参照）に利用される。換言すれば、第２撮像画像においては、結合画像の生成に利用されない画像領域が存在する。

具体的には、図１１（ａ）における画像Ｅは、画像上下方向に対して中央の５０％の画像領域のみが利用され、上部の２５％及び下部の２５％の画像領域は利用されていない。同様に図１１（ｂ）における画像Ｆも、画像左右方向に対して中央の５０％の画像部分のみが利用されている。このため、画像Ｅや画像Ｆにおいて結合画像の生成に利用されるのはその面積の半分である。図１１（ｃ）における画像Ｇの場合には、上下左右方向の中央の５０％の画像部分のみが利用され、即ち結合画像の生成に利用されるのはその面積の１／４である。

このように、第１の実施形態においては、第２撮像画像において結合画像の生成に利用されない画像領域が存在する。本実施形態においては、このような結合画像の生成に利用されない画像領域を含まない第２撮像画像を生成することができる。

画角範囲特定部２３４は、第２撮像領域設定部２３３によって設定された各第２撮像領域Ｒ２の配置（図８参照）に基づいて、各第２撮像領域Ｒ２のうち結合画像の生成に利用される範囲を利用画角範囲として特定する。図１２は、画角範囲特定部２３４によって特定された第２撮像領域Ｒ２における利用画角範囲Ｈの例を示す模式図である。図１２（ａ）は、第１の実施形態における画像Ｅに、図１２（ｂ）は同画像Ｆに、図１２（ｃ）は同画像Ｇにそれぞれ対応する。画角範囲特定部２３４は、特定した利用画角範囲Ｈを第２画像撮像部２３５に供給する。

第２画像撮像部２３５は、第２撮像画像を撮像する（Ｓｔ２０５）。ここで、第２画像撮像部２３５は、上記画角範囲特定部２３４から供給された利用画角範囲Ｈを利用する。具体的には、第２画像撮像部２３５は、ステージ１１３等を制御し、顕微鏡１１０の視野を第２撮像領域Ｒ２の一つに合わせる。第２画像撮像部２３５は、撮像素子１２０にその視野を撮像させる。

次に、第２画像撮像部２３５は、撮像素子１２０の各画素（光電変換素子）の出力（電荷）から第２撮像画像を生成するのであるが、この際、利用画角範囲Ｈの画像を第２撮像画像として生成する。

具体的には、第２画像撮像部２３５は、撮像素子１２０の画素のうち、利用画角範囲Ｈに相当する画素の出力のみを読み出し、第２撮像画像を生成するものとすることができる。撮像素子１２０は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサとすることができるが、その中には、画素行列の一部の画素の出力のみを読み出すことができるものがあり、このような部分的な画素の出力の読み出しが可能である。なお、イメージセンサにおいては、画素行列の画素列又は画素行のいずれかを帯状に読み出すことが可能なものが一般的であるが、画素列及び画素行のいずれも部分的に読み出すことが可能なものも存在する。

第２画像撮像部２３５は、撮像素子１２０が対応する読み出し方式に応じて、利用画角範囲Ｈに相当する画素を含み、かつ最も狭い範囲の画素の出力を読み出し、第２撮像画像を生成するものとすることが可能である。

第２画像撮像部２３５が、このように撮像素子１２０の全部の画素ではなく、部分的な画素の出力を読み出すことにより、第２撮像画像の撮像速度（フレームレート）を高速化することが可能である。多画素のイメージセンサは、その画素の出力の読み出し時間が速度上のボトルネックとなり、撮像速度が制限される。このため、第２画像撮像部２３５が、撮像素子１２０の部分的な画素の出力を読み出すものとすることにより、第２撮像画像の撮像速度を高速化することが可能である。第２撮像画像の撮像速度が向上することは、第２撮像画像の撮像間隔が短縮し、即ち、全ての第２撮像領域Ｒ２の撮像が短時間に終了することを意味する。

また、撮像素子１２０が部分的な画素の出力の読み出しに対応していない場合であっても、第２画像撮像部２３５は撮像素子１２０の全画素の出力から、利用画角範囲Ｈに相当する画素のみの出力を利用して第２撮像画像を生成することが可能である。これにより、第２撮像画像の生成に要する時間を短縮することができ、さらに第２撮像画像のデータ量も縮減させるとが可能である。第２画像撮像部２３５は、生成した第２撮像画像を画像結合部２３６に供給する。

画像結合部２３６は、第１撮像画像と第２撮像画像を結合する（Ｓｔ２０６）。図１３は、画像結合部２３６による第１撮像画像と第２撮像画像の結合態様を示す模式図である。画像結合部２３６は、第１の実施形態と同様にして、第１撮像画像と第２撮像画像を結合させることが可能である。即ち、画像結合部２３６は、図１３（ａ）に示すように２方向（Ｘ方向及びＹ方向）に第１結合画像（Ａ、Ｂ、Ｃ、Ｄ）と第２結合画像（Ｅ、Ｆ）とを結合することができる。また、画像結合部２３６は、図１３（ｂ）に示すように３方向（Ｘ方向、Ｙ方向及び斜め方向）に第１結合画像（Ａ、Ｂ、Ｃ、Ｄ）と第２結合画像（Ｅ、Ｆ、Ｇ）とを結合することができる。いずれの場合であっても、第１撮像画像同士の境界は、第２撮像画像によって補われ、第１撮像画像同士の不連続は防止される。

以上のようにして、撮像装置２００によって検体Ｓの高倍率画像（第１撮像画像と第２撮像画像の結合画像）が生成される。本実施形態に係る撮像装置２００においては、第１の実施形態に係る撮像装置１００と同様に、結合画像において画像の境界が鮮明となること、即ち不連続な画像となることを防止することが可能である。さらに、本実施形態に係る撮像装置２００においては、上述のように第２撮像画像の撮像速度を向上させることが可能であり、即ち、全体の撮像プロセスを短時間で完了させることが可能となる。

本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。

なお、本技術は以下のような構成も採ることができる。

（１）
検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する第１の撮像領域設定部と、
上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する第１の画像撮像部と、
隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定する第２の撮像領域設定部と、
上記第２の撮像領域のそれぞれに対して、第２の撮像画像を撮像する第２の画像撮像部と、
上記第１の撮像画像と上記第２の撮像画像とを結合させる画像結合部と
を具備する撮像装置。

（２）
上記（１）に記載の撮像装置であって、
上記第２の画像撮像部は、隣接する上記第１の撮像領域のそれぞれの合焦位置の中間を上記第２の撮像領域の合焦位置とする
撮像装置。

（３）
上記（１）又は（２）に記載の撮像装置であって、
上記第１の画像撮像部は、上記第１の撮像領域の位相差画像を用いて上記第１の撮像領域の合焦位置を検出する
撮像装置。

（４）
上記（１）から（３）のいずれかひとつに記載の撮像装置であって、
上記画像結合部は、上記第１の撮像画像の中央部と上記第２の撮像画像の中央部とを結合する
撮像装置。

（５）
上記（１）から（４）のいずれかひとつに記載の撮像装置であって、
上記第２の撮像領域のそれぞれについて、上記画像結合部による結合に必要な画角範囲を特定する画角範囲特定部をさらに具備し、
上記第２の画像撮像部は、上記第２の撮像領域のそれぞれについて上記画角範囲の画像を上記第２の撮像画像とする
撮像装置。

（６）
上記（１）から（５）のいずれかひとつに記載の撮像装置であって、
上記第２の画像撮像部は、上記第２の撮像領域を撮像した撮像素子の画素のうち、上記画角範囲に相当する画素の出力から上記第２の撮像画像を生成する
撮像装置。

（７）
検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する第１の撮像領域設定部と、
上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する第１の画像撮像部と、
隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定する第２の撮像領域設定部と、
上記第２の撮像領域のそれぞれに対して、合焦位置において第２の撮像画像を撮像する第２の画像撮像部と、
上記第１の撮像画像と上記第２の撮像画像とを結合させる画像結合部と
としてコンピュータを機能させる撮像制御プログラム。

（８）
第１の撮像領域設定部が、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定し、
第１の画像撮像部が、上記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像し、
第２の撮像領域設定部が、隣接する上記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する上記第１の撮像領域に跨る第２の撮像領域を設定し、
上記第２の画像撮像部が、上記第２の撮像領域のそれぞれに対して、合焦位置において第２の撮像画像を撮像する
撮像方法。

１００、２００…撮像装置
１３１、２３１…第１撮像領域設定部
１３２、２３２…第１画像撮像部
１３３、２３３…第２撮像領域設定部
２３４…画角範囲特定部
１３４、２３５…第２画像撮像部
１３５、２３６…画像結合部

Claims (8)

1. 検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する第１の撮像領域設定部と、
   前記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する第１の画像撮像部と、
   隣接する前記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する前記第１の撮像領域に跨る第２の撮像領域を設定する第２の撮像領域設定部と、
   前記第２の撮像領域のそれぞれに対して、第２の撮像画像を撮像する第２の画像撮像部と、
   前記第１の撮像画像と前記第２の撮像画像とを結合させる画像結合部と
   を具備する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第２の画像撮像部は、隣接する前記第１の撮像領域のそれぞれの合焦位置の中間を前記第２の撮像領域の合焦位置とする
   撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記第１の画像撮像部は、前記第１の撮像領域の位相差画像を用いて前記第１の撮像領域の合焦位置を検出する
   撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記画像結合部は、前記第１の撮像画像の中央部と前記第２の撮像画像の中央部とを結合する
   撮像装置。
5. 請求項１に記載の撮像装置であって、
   前記第２の撮像領域のそれぞれについて、前記画像結合部による結合に必要な画角範囲を特定する画角範囲特定部をさらに具備し、
   前記第２の画像撮像部は、前記第２の撮像領域のそれぞれについて前記画角範囲の画像を前記第２の撮像画像とする
   撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記第２の画像撮像部は、前記第２の撮像領域を撮像した撮像素子の画素のうち、前記画角範囲に相当する画素の出力から前記第２の撮像画像を生成する
   撮像装置。
7. 検体を含む撮像範囲を複数に区分して第１の撮像領域を設定する第１の撮像領域設定部と、
   前記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像する第１の画像撮像部と、
   隣接する前記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する前記第１の撮像領域に跨る第２の撮像領域を設定する第２の撮像領域設定部と、
   前記第２の撮像領域のそれぞれに対して、合焦位置において第２の撮像画像を撮像する第２の画像撮像部と、
   前記第１の撮像画像と前記第２の撮像画像とを結合させる画像結合部と
   としてコンピュータを機能させる撮像制御プログラム。
8. 第１の撮像領域設定部が、検体を含む撮像範囲を複数に区分して第１の撮像領域を設定し、
   第１の画像撮像部が、前記第１の撮像領域のそれぞれに対して、合焦位置において第１の撮像画像を撮像し、
   第２の撮像領域設定部が、隣接する前記第１の撮像領域の間で合焦位置が所定の閾値を超えて異なるときには、隣接する前記第１の撮像領域に跨る第２の撮像領域を設定し、
   前記第２の画像撮像部が、前記第２の撮像領域のそれぞれに対して、合焦位置において第２の撮像画像を撮像する
   撮像方法。