JP2014230170A - 撮像装置、顕微鏡システム及び撮像方法 - Google Patents

Abstract

【課題】被写体の広範囲が写った広域画像と、該広域画像の一部が拡大された拡大画像とが同時に表示されるマルチ表示をリアルタイムに実行可能であり、且つ必要とされる処理能力（帯域）の大幅な増加を抑制することができる撮像装置等を提供する。
【解決手段】物体が載置されるステージ１０と、複数の画素が配置された画素領域を有し、ステージ１０に載置された物体を撮像する撮像素子１３と、該撮像素子１３の画素領域のうちの一部の領域を設定して領域設定情報を出力する領域設定部１５と、ステージ１０と撮像素子１３との相対位置を変更する駆動部１１と、ステージ１０と撮像素子１３との少なくとも一方の駆動状態を検出する駆動検出部１２と、上記駆動状態及び上記領域設定情報に基づいて、撮像素子１３における読み出し動作を制御する読み出し制御部１４とを備える。
【選択図】図１

Description

本発明は、被写体を撮像する撮像装置、該撮像装置を備えた顕微鏡システム及び撮像方法に関する。

従来、生体の病理検査や工業製品の傷検査等の幅広い分野において顕微鏡が活用されている。近年では、顕微鏡にＣＣＤやＣＭＯＳ等の撮像素子を設け、撮像素子から出力された撮像信号を用いて被写体の拡大像をモニタに表示する撮像装置或いは顕微鏡システムが広く普及している。

このような顕微鏡システムには、被写体の拡大像を微細表現するために高解像な画像を生成できることが要求されると共に、蛍光観察を行う際には高感度も要求される。ここで、画像の解像度を高めるためには、撮像素子の画素サイズを微細化する必要があるが、これは同時に感度の低下につながる。このため、旧来は、高解像度と高感度を両立させるために、２Ｍ程度の撮像素子が実用されていた。

しかしながら、最近では、裏面照射型撮像素子やマイクロ分光素子等の高感度化技術により、画素サイズを微細化しても感度を維持できるようになり、顕微鏡システムにおいても、従来の数倍といった画素数の撮像素子が使用されるようになってきた。画素数の多い撮像素子を顕微鏡システムに適用すると、被写体像の微細表現はもとより、例えば、解像度の異なる複数の画像を同時に表示するといった多様な表示方法も可能になってくる。このような複数画像の同時表示機能は、マルチ表示とも呼ばれる。

解像度の異なる２つの画像をマルチ表示する例として、被写体の広い範囲（広域）が写った広域画像と、該広域画像の一部の領域を拡大した拡大画像とを同時に表示する表示方法がある。具体例として、撮像素子の画素数が１２Ｍ、モニタのドット数が２Ｍである場合、上記２画面表示は次のようにして行われる。まず、１２Ｍの画素領域から常時、全画素読み出しを行うことにより、広域且つ高精細な画像情報が得られる。この１２Ｍ画素の画像情報を１／６に間引き、２Ｍドットで表示することにより、解像度は低下するが撮像した領域全体が写った広域画像を得ることができる。また、それと同時に、１２Ｍの画素領域の一部である０．５Ｍの画素から読み出した画像情報をそのまま０．５Ｍドットで表示することにより、広域画像の一部の領域の高精細な（即ち、解像度の劣化のない）画像を得ることができる。この一部領域の画像は、上記広域画像と比べて６倍に拡大した画像となる。

このようなマルチ表示を行うことにより、ユーザにとっては次のようなメリットがある。一般に、顕微鏡観察は、比較的倍率が低い（例えば４倍）対物レンズを用いて撮像して得た広視野の画像から所望の観察部位を探索し、所望の観察部位が見つかった時点で倍率が相対的に高い（例えば１０倍）対物レンズに交換し、該観察部位が拡大された高解像度の画像を観察するという順序で行われる。しかしながら、広域画像と一部領域の拡大画像とを同時に表示するマルチ表示によれば、広域画像からの所望の観察部位の探索と、該観察部位の拡大画像の観察とを、対物レンズの交換等を含む複数の手順を経ることなく、連続的且つ容易に行うことができる。

画像のマルチ表示に関連する技術として、特許文献１には、撮像する画像とその一部分を拡大した画像とを同時に表示部に表示するデジタルカメラが開示されている。

特許文献２には、撮像部が持つ分解能に対して低分解能のモニタが設けられた撮像装置において、第１の表示エリア及び第２の表示エリアを有するモニタに対し、第１の表示エリアに全体画像を表示させ、第２の表示エリアに撮像部から出力される画像データの一部をそのまま表示させ、第１の表示エリアに第２の表示エリアの領域を示す教示マークを表示させる拡大観察装置が開示されている。

特許文献３には、モニタ手段に試料の観察像を表示させ、このモニタ手段に表示された観察像の所望の領域を指定し、指定された観察像の指定領域をモニタ手段のほぼ全画面に表示するのに必要な対物倍率及び／又は試料移動ステージの位置を演算し、演算されたデータに基づいて、対物倍率に対応する対物レンズが観察光路に挿入され、かつ指定領域が観察視野のほぼ中央に位置するように、変倍機構及び試料移動ステージを駆動する顕微鏡変倍装置が開示されている。

特許文献４には、広域画像表示領域に表示される広域画像上で指定した領域を、拡大画像として拡大画像表示領域に表示すると共に、広域画像において拡大画像と対応する領域を、広域画像表示領域において枠状で表示する拡大画像観察装置が開示されている。

特開２０００−７８４４５号公報 特開２００８−１１３４４号公報 特許第２９２５６４７号公報 特許第４９３６８６７号公報

ところで、モニタに表示された画像上でユーザが所望の観察部位をスムーズに探索できるようにするためには、データ量の多い動画をリアルタイムに処理することができる能力が撮像装置に要求される。これは、一部領域の拡大画像に要求される解像度を実現するために、撮像素子の全画素から常時、リアルタイムに高速読み出しを行い、それによって得られた同一フレームの画像情報から複数の画像（広域画像及び一部領域の拡大画像）を生成しなければならないからである。

上述したマルチ表示を行う場合、撮像素子及びその後段に設けられる処理回路に必要とされる処理能力（帯域）は、概ね以下のとおりとなる。なお、フレームレートを６０ｆｐｓ、各画素のビット数を１２ビットとする。まず、電荷の読み出しに必要な処理能力は、（１２Ｍ画素）×（６０ｆｐｓ）×（１２ビット）＝８６４０Ｍｂｐｓとなる。また、１２Ｍ画素の画像情報から２Ｍドットの広域画像を生成するのに必要な処理能力も同様に、（１２Ｍ画素）×（６０ｆｐｓ）×（１２ビット）＝８６４０Ｍｂｐｓとなる。さらに、０．５Ｍ画素の画像情報から０．５Ｍドットの拡大画像を生成するのに必要な処理能力は、（０．５Ｍ画素）×（６０ｆｐｓ）×（１２ビット）＝３６０Ｍｂｐｓとなる。従って、これらの処理を同時に扱うために必要な処理能力は、トータルで１７６４０Ｍｂｐｓとなる。

なお、上述したスペックの撮像装置及びモニタにおいて広域画像を単一表示するだけであれば、必要とされる処理能力は次のとおりとなる。まず、１２Ｍ画素のうちの２Ｍ画素から間引き読み出し又は加算読み出しするのに必要な処理能力は（２Ｍ画素）×（６０ｆｐｓ）×（１２ビット）＝１４４０Ｍｂｐｓとなる。また、２Ｍ画素の画像情報から２Ｍドットの広域画像を生成するのに必要な処理能力も同様に、（２Ｍ画素）×（６０ｆｐｓ）×（１２ビット）＝１４４０Ｍｂｐｓとなる。従って、これらの処理を同時に扱うために必要な処理能力は、トータルで２８８０Ｍｂｐｓとなる。即ち、上述したマルチ表示を行う場合、広域画像を単一表示する場合と比べて、６倍以上の処理能力が必要となる。

このように、リアルタイムにマルチ表示を行う場合、処理回路に入力されるデータ量及び処理回路から出力されるデータ量は、共に増大する。ここで、一般に、装置の処理能力を向上させるためには、回路の並列化による規模の増加や処理周波数の高速化により対応することができるが、その結果、コストの増加や消費電力の増加を招いてしまう。しかしながら、撮像装置において、マルチ表示機能のためだけにコストや消費電力が増加することは好ましくない。

このような問題点に関し、特許文献１及び２においては、リアルタイムなマルチ表示に起因するデータ量の増加への対策について言及されていない。

また、特許文献３及び４においては、ＴＶカメラ又は撮像部から画像データを制御装置又はコンピュータに取り込んで処理した上で表示部に表示しており、リアルタイムに画像表示を行うものではない。従って、リアルタイムなマルチ表示に起因するデータ量増加の問題は生じない。

本発明は、上記に鑑みてなされたものであって、被写体の広範囲が写った広域画像と該広域画像の一部を拡大した拡大画像とを同時に表示するマルチ表示をリアルタイムに実行する際に、必要とされる処理能力の増加を招くことのない撮像装置、顕微鏡システム及び撮像方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、物体が載置されるステージと、複数の画素が配置された画素領域を有し、前記ステージに載置された物体を撮像して撮像信号を出力する撮像素子と、前記画素領域のうちの一部の領域を設定して、該一部の領域に関する情報を出力する領域設定部と、前記ステージと前記撮像素子との少なくとも一方を駆動することにより、前記ステージと前記撮像素子との相対位置を変更する駆動部と、前記駆動部による前記ステージと前記撮像素子との少なくとも一方の駆動状態を検出する駆動検出部と、前記駆動状態及び前記一部の領域に関する情報に基づき、前記撮像素子における読み出し動作を制御する読み出し制御部と、を備えることを特徴とする。

上記撮像装置において、前記駆動検出部は、前記駆動状態として、前記ステージと前記撮像素子との少なくとも一方が移動している状態であるか又は静止している状態であるかを検出し、前記読み出し制御部は、前記駆動状態が移動している状態である場合、前記撮像素子に、前記画素領域に対する間引き読み出し又は加算読み出しを逐次実行させる第１の制御を行い、前記駆動状態が静止している状態である場合、前記撮像素子に、前記一部の領域に対する全画素読み出しを逐次実行させる第２の制御を行う、ことを特徴とする。

上記撮像装置は、前記撮像素子から出力された撮像信号を記憶する記憶部と、前記撮像素子から出力された撮像信号に基づく画像信号を生成する表示処理部と、をさらに備え、前記記憶部は、前記第１の制御の下で出力された前記撮像信号を逐次記憶し、前記表示処理部は、前記駆動状態が移動している状態である場合、前記第１の制御の下で出力された撮像信号に基づき、前記画素領域に対応する第１の画像の画像信号を逐次生成し、前記駆動状態が静止している状態である場合、前記駆動部が静止する直前に前記記憶部に記憶された撮像信号に基づく前記第１の画像に、前記第２の制御の下で出力された撮像信号に基づく前記一部の領域に対応する第２の画像を重畳した画像の画像信号を逐次生成する、ことを特徴とする。

上記撮像装置は、前記第２の画像が表示される領域を囲む領域枠を設定する領域枠設定部をさらに備え、前記表示処理部は、前記駆動状態が移動している状態である場合、前記第１の画像に前記領域枠を重畳した画像の画像信号を逐次生成し、前記駆動状態が静止している状態である場合、前記第１の画像に、前記第２の画像及び前記領域枠を重畳した画像の画像信号を逐次生成する、ことを特徴とする。

上記撮像装置において、前記駆動検出部は、前記ステージと前記撮像素子との相対的な移動速度を検出する速度検出部を備え、前記読み出し制御部は、前記移動速度に応じて、前記撮像素子における読み出し画素数と読み出しフレームレートと画素ビット数とのうちの少なくとも一つを制御する、ことを特徴とする。

本発明に係る顕微鏡システムは、上記撮像装置と、前記ステージに載置された被写体からの観察光を前記画素領域に導く光学系と、を備えることを特徴とする。

本発明に係る撮像方法は、物体が載置されるステージと、複数の画素が配置された画素領域を有し、前記ステージに載置された物体を撮像して撮像信号を出力する撮像素子とを備える撮像装置が実行する撮像方法において、前記画素領域のうちの一部の領域を設定して、該一部の領域に関する情報を出力する領域設定ステップと、前記ステージと前記撮像素子との少なくとも一方を駆動することにより、前記ステージと前記撮像素子との相対位置を変更する駆動ステップと、前記駆動ステップにおける前記ステージと前記撮像素子との少なくとも一方の駆動状態を検出する駆動検出ステップと、前記駆動状態及び前記一部の領域に関する情報に基づき、前記撮像素子における読み出し動作を制御する読み出し制御ステップと、を含むことを特徴とする。

本発明によれば、被写体が載置されるステージと撮像素子との少なくとも一方の駆動状態と一部の領域に関する情報とに基づいて撮像素子における読み出し動作を制御するので、撮像素子から出力される撮像信号の帯域を駆動状態及び設定された一部の領域に応じて抑制することができる。従って、撮像装置において必要とされる処理能力を増加させることなく、広域画像及び該広域画像の一部の拡大画像のマルチ表示をリアルタイムに実行することが可能となる。

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。 図２は、図１に示す撮像装置のステージの移動中における撮像素子の読み出し画素を説明する模式図である。 図３は、図１に示す撮像装置のステージの静止中における撮像素子の読み出し画素を説明する模式図である。 図４は、図１に示す撮像素子における読み出しシーケンスを示すタイミングチャートである。 図５は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。 図６は、図５に示す撮像装置の動作を示すフローチャートである。 図７は、図５に示す撮像装置のステージの移動中における撮像素子の読み出し動作を説明する模式図である。 図８は、図５に示す撮像装置のステージの静止中における撮像素子の読み出し動作を説明する模式図である。 図９は、図５に示す表示部に表示される広域画像の一例を示す模式図である。 図１０は、図５に示す表示部に表示される重畳画像の一例を示す模式図である。 図１１は、図５に示す撮像装置における読み出しシーケンスを示すタイミングチャートである。 図１２は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。 図１３は、図１２に示す撮像装置の動作を示すフローチャートである。 図１４は、図１２に示す撮像装置のステージの移動中における撮像素子の読み出し画素を説明する模式図である。 図１５は、図１２に示す撮像装置のステージの静止中における撮像素子の読み出し画素を説明する模式図である。 図１６は、図１２に示す表示部に表示される広域画像の一例を示す模式図である。 図１７は、図１２に示す表示部に表示される重畳画像の一例を示す模式図である。 図１８は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。 図１９は、図１８に示す撮像装置の動作を示すフローチャートである。 図２０は、図１８に示すステージの移動速度に応じた読み出し動作の制御を説明するためのグラフである。 図２１は、本発明の実施の形態４の変形例１におけるステージの移動速度に応じた読み出し動作の制御を説明するためのグラフである。 図２２は、本発明の実施の形態５に係る顕微鏡システムの構成例を示す模式図である。

以下、本発明に係る撮像装置、顕微鏡システム及び撮像方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。図１に示すように、実施の形態１に係る撮像装置１は、被写体の広い範囲が写った画像（以下、広域画像という）と、該広域画像の一部の領域が拡大された画像（以下、一部領域画像という）との同時表示（マルチ表示）が可能な撮像装置であり、被写体である物体が載置されるステージ１０と、該ステージ１０を被写体の載置面と直交する面内で移動させる駆動部１１と、該駆動部１１によるステージ１０の駆動状態を検出する駆動検出部１２と、複数の画素からなる画素領域を備え、ステージ１０に載置された被写体を撮像して撮像信号を出力する撮像素子１３と、撮像素子１３における読み出し動作を制御する読み出し制御部１４と、撮像素子１３における読み出し動作の対象とする画素の領域（以下、読み出し領域という）を設定する領域設定部１５とを備える。また、撮像装置１は、ステージ１０の移動動作をユーザが操作するための操作部１６をさらに備えても良い。

ステージ１０は、被写体の載置面が例えば水平面と平行になるように設置されている。駆動部１１は、例えば、モータ及び該モータの動作を制御する制御回路を有し、電気的制御によりステージ１０を水平面内で走査する。なお、駆動部１１は、ステージ１０を予め定められた経路で走査しても良いし、後述する操作部１６から入力されるステージ移動指示信号に従い、ユーザ所望の経路で走査しても良い。

駆動検出部１２は、例えば、駆動部１１が備えるモータの回転量を検出するエンコーダによって構成され、ステージ１０の駆動状態、即ち、ステージ１０が移動している状態（移動中）であるか静止している状態（静止中）であるかを検出する。

なお、実施の形態１においては、撮像素子１３の位置を固定し、ステージ１０を移動させることにより、両者の相対的な位置を変化させているが、反対に、ステージ１０の位置を固定し、撮像素子１３を移動させることとしても良い。この場合、駆動検出部１２は、撮像素子１３の駆動状態を検出する。或いは、ステージ１０及び撮像素子１３の双方を相対的に移動させても良く、この場合、駆動検出部１２は、両者の相対的な駆動状態を検出する。

撮像素子１３は、ＣＣＤやＣＭＯＳ等のイメージセンサを備え、複数の画素が配置された所定サイズの画素領域を有している。撮像素子１３は、ステージ１０に載置された被写体からの観察光、即ち、被写体により反射された光又は被写体を透過した光を上記画素領域において受光し、各画素において光電変換を行って、観察光の強度に応じた量の電荷を蓄積する。撮像素子１３は、各画素に蓄積した電荷を所定のタイミングで読み出し、蓄積した電荷量に対応する大きさの電圧信号を増幅し、さらにＡ／Ｄ変換処理を施した上で撮像信号として出力する。

なお、撮像素子１３は必ずしもＡ／Ｄ変換機能を有している必要はない。撮像素子１３がＡ／Ｄ変換機能を有しない場合には、撮像素子１３の後段に別途、Ａ／Ｄ変換部を含む信号処理部を設け、該信号処理部において撮像素子１３から出力されたアナログの撮像信号をデジタルの撮像信号に変換する。

また、撮像素子１３がＣＣＤを備える場合において、画素領域内の一部の画素の撮像信号を撮像素子１３から出力するとき、実際には、画素領域内の全画素から電荷の読み出しを行った上で所定の信号処理を行うことにより、当該一部の画素に対応する撮像信号のみを出力する。本出願においては、このように、一旦、全画素からの電荷の読み出しを行う場合であっても、特定の画素に対応する撮像信号のみを出力する場合には、その画素から読み出しを行ったものとする。

また、以下においては、説明を簡単にするために撮像素子１３は白黒撮像素子とするが、Ｂａｙｅｒ配列等の所定の色配列を有するカラー撮像素子においても、所定の読み出し動作を行うことにより、本願発明を適用することができる。

読み出し制御部１４は、駆動検出部１２により検出されたステージ１０の駆動状態や、後述する領域設定部１５から入力される領域設定情報に従って、撮像素子１３における各画素からの電荷の読み出し動作を制御する。より詳細には、読み出し制御部１４は、ステージ１０が移動中であるとき、画素領域全体に対して間引き読み出し又は加算読み出しを実行するように撮像素子１３を制御する。一方、ステージ１０が静止中であるとき、領域設定部１５により設定された一部の領域に対して全画素読み出しを実行するように撮像素子１３を制御する。

領域設定部１５は、例えば、マウスやタッチパネルのように、画像が表示される画面に対してユーザが所望の領域を選択可能な入力手段を備え、該入力手段に対する操作に応じた領域設定情報を出力する。この領域設定情報は、一部領域画像の生成対象となる広域画像上の座標情報を含んでいる。一部領域画像の生成対象とする広域画像上の領域のサイズは予め規定されており、ユーザは、上記入力手段を操作することにより、該領域の位置を変化させることができる。また、上記入力手段に対して何らユーザ操作がなされない場合、領域設定部１５は、予め定められた座標情報（例えば、広域画像の中央部の座標情報）を領域設定情報として出力する。

操作部１６は、例えば調整ツマミ、各種スイッチ、各種ボタン、キーボード等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等によって構成される入力手段であり、実施の形態１においては、ユーザがステージ１０を所望の経路で走査したいときに用いられる。操作部１６は、該操作部１６に対するユーザの操作に応じた信号を、ステージ移動指示信号として駆動部１１に出力する。

次に、図２〜図４を参照しながら、撮像素子１３における読み出し動作の制御について説明する。図２は、ステージ１０の移動中における撮像素子１３の読み出し動作を説明する模式図である。図３は、ステージ１０の静止中における撮像素子１３の読み出し動作を説明する模式図である。図４は、撮像素子１３の１ラインにおける読み出しシーケンスを示すタイミングチャートである。以下においては、説明を簡単にするために、図２及び図３に示すように、撮像素子１３の画素領域１３ａが（１６ライン）×（１６列）＝２５６個の画素Ｐからなるものとする。なお、図４においては、読み出しが行われない画素ライン（時間Ｔ２〜Ｔ３、Ｔ４〜Ｔ６、Ｔ８〜Ｔ９、Ｔ１０〜Ｔ１１に対応）に関する図示を省略している。また、図４においては、１ライン期間の長さをΔＴとしている。

駆動検出部１２がステージ１０の駆動状態（図４（ａ）参照）を検出した結果、ステージ１０が移動中である場合（例えば時間Ｔ１〜Ｔ５）、読み出し制御部１４は撮像素子１３に、画素領域１３ａの全体に対する間引き読み出し又は加算読み出しを実行させる。例えば、図２は、画素領域１３ａを構成する画素Ｐのうち、４列ごと（１、５、９、１３列目）、４ラインごと（１、５、９、１３ライン目）に画素Ｐ_parから読み出しを行う間引き読み出しを示している（図４（ｂ）参照）。図４（ｂ）においては、読み出しを行う画素Ｐ_parを（ｎ，ｍ）で示している。ここで、符号ｎはライン番号を示し、符号ｍは列番号を示す。なお、図４においては、１フレーム期間の途中（９ライン目）から記載を開始している。

具体的には、撮像素子１３は、９ライン目（時間Ｔ１〜Ｔ２参照）の読み出しを行い、続く１０〜１２ライン目（時間Ｔ２〜Ｔ３参照）の読み出しは行わずに待機し、その後、１３ライン目（時間Ｔ３〜Ｔ４参照）の読み出しを行い、続く１４〜１６ライン目（時間Ｔ４〜）の読み出しは行わずに待機する。このように、ステージ１０が移動している間、撮像素子１３は、１ラインの読み出し及び３ラインの読み出し待機を繰り返す。このような読み出し動作の下で撮像素子１３から出力された撮像信号に所定の処理を施すことで、画素領域１３ａの全体領域に対応する被写体の画像、即ち広域画像が得られる。

一方、駆動検出部１２がステージ１０の駆動状態（図４（ａ）参照）を検出した結果、ステージ１０が静止中である場合（例えば時間Ｔ５〜Ｔ９）、読み出し制御部１４は、領域設定部１５から出力される領域設定情報に従い、広域画像上で選択された領域に対応する画素領域１３ａ内の一部の領域を読み出し領域として設定し、撮像素子１３に、該読み出し領域に対する全画素読み出しを実行させる。例えば、図３は、画素領域１３ａ内に設定された読み出し領域Ｒ内の全画素Ｐ_fulから読み出しを行う場合を示している。

具体的には、駆動状態が移動中から静止中に変化した後、撮像素子１３は、１〜７ライン目（時間Ｔ５〜Ｔ６参照）の読み出しは行わずに待機し、その後、８ライン目（時間Ｔ６〜Ｔ７参照）及び９ライン目（時間Ｔ７〜Ｔ８参照）の読み出しを行い、続く１０〜１６ライン目（時間Ｔ８〜）の読み出しは行わずに待機する。このように、ステージ１０が静止している間、撮像素子１３は、８ライン目及び９ライン目のみの読み出しを繰り返す。このような読み出し動作の下で撮像素子１３から出力された撮像信号に所定の処理を施すことにより、読み出し領域Ｒに対応する被写体の高精細な画像、即ち、一部領域画像が得られる。

その後、ステージ１０の駆動状態が静止中から移動中に変化すると（時間Ｔ９〜）、撮像素子１３は、１ライン目（時間Ｔ９〜Ｔ１０参照）の読み出しを行い、続く２〜４ライン目（時間Ｔ１０〜Ｔ１１参照）の読み出しは行わずに待機し、その後、５ライン目（時間Ｔ１１〜Ｔ１２参照）の読み出しを行い、続く６〜８ライン目（時間Ｔ１２〜参照）の読み出しは行わずに待機する。このように、ステージ１０が移動すると、撮像素子１３は再び、１ラインの読み出し及び３ラインの読み出し待機を繰り返す。

ここで、領域設定部１５に何らユーザ操作がなされず、領域設定部１５から領域設定情報が出力されない場合、読み出し制御部１４は、予め定められた領域（例えば、画素領域１３ａの中央部）を読み出し領域Ｒとして設定しても良い。

また、１フレーム期間中に、ステージ１０の駆動状態が移動中から静止中、又は静止中から移動中に遷移した場合、読み出し制御部１４は、当該フレーム期間の終了を待って撮像素子１３における読み出し動作を切り替える。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図５は、本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。図５に示すように、実施の形態２に係る撮像装置２は、図１に示す撮像装置１に対し、撮像素子１３から出力された撮像信号に所定の処理を施すことにより画像データを生成する画像処理部２０と、記憶部２２と、画像処理部２０から出力された画像を表示する表示部２３とをさらに備える。これらの各部は、バス２４を介して撮像素子１３及び領域設定部１５と接続されている。なお、画像処理部２０、記憶部２２、及び表示部２３以外の撮像装置２の各部の構成は、実施の形態１と同様である。

画像処理部２０は、撮像素子１３から出力された撮像信号にデモザイキング、ホワイトバランス処理、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の画像処理を施すことにより、画像データを生成する。また、画像処理部２０は、生成した画像データに対し、色空間データへの変換、表示部２３の表示領域に応じたデータサイズの変換、表示のための画素数の調整等の処理を行うことにより画像信号を生成する表示処理部２１を有する。

記憶部２２は、例えばＤＲＡＭといった更新記録可能な半導体メモリ等の記憶素子によって構成され、撮像素子１３から出力された撮像信号を逐次記憶すると共に、画像処理部２０により画像処理が施された画像データを記憶する。

表示部２３は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、表示処理部２１から出力された画像信号に基づいて画像を表示する。

次に、撮像装置２の動作について説明する。図６は、撮像装置２の動作を示すフローチャートである。図７は、ステージ１０の移動中における撮像素子１３の読み出し画素を説明する模式図である。図８は、ステージ１０の静止中における撮像素子１３の読み出し画素を説明する模式図である。以下においては、説明を簡単にするために、図７及び図８に示すように、撮像素子１３の画素領域１３ａが（１６ライン）×（１６列）＝２５６個の画素Ｐからなるものとする。

まず、ステップＳ１０において、駆動検出部１２は、ステージ１０の駆動状態を検出する。続くステップＳ１１において、読み出し制御部１４は、ステージ１０の駆動状態が移動中であるか又は静止中であるかを判定する。

ステージ１０が移動中である場合（ステップＳ１１：Ｙｅｓ）、読み出し制御部１４は撮像素子１３に対し、広域画像を生成するための画素の読み出し領域を設定する（ステップＳ１２）。広域画像の場合、画素領域１３ａの全体が読み出し領域として設定される。

ステップＳ１３において、撮像素子１３は、読み出し制御部１４により設定された読み出し領域に対し、所定の密度で間引き読み出し又は加算読み出しを逐次実行する。例えば図７は、４画素ごとに読み出す動作を４ラインごとに行う間引き読み出しを示している。それに応じて、撮像素子１３から、各画素Ｐ_parに蓄積された電荷量に応じた大きさの電圧信号が、Ａ／Ｄ変換された上で撮像信号として出力される。

ステップＳ１４において、撮像素子１３から出力された広域画像の撮像信号は記憶部２２の所定の記憶領域に記憶される。この際、当該所定の記憶領域に別の広域画像の撮像信号が記憶されていた場合、記憶部２２は、今回取得した撮像信号を上書き記憶する。

ステップＳ１５において、画像処理部２０は、撮像素子１３から出力されて記憶部２２に記憶された撮像信号を読み出し、該撮像信号に対してデモザイキングやホワイトバランス処理等の所定の画像処理を施すことにより、広域画像の画像データを生成する。

ステップＳ１６において、表示処理部２１は、広域画像の画像データに対し、色空間データへの変換、リサイズ等の所定の処理を施すことにより、広域画像の画像信号を生成する。例えば図７の場合、複数の画素Ｐ_parから逐次読み出される撮像信号に基づいて、広域画像ｍ１を表す画像信号が逐次生成される。

ステップＳ１７において、表示処理部２１は、ステップＳ１６において生成した画像信号を出力して、表示部２３に広域画像を表示させる。これより、リアルタイムに変化する広域画像ｍ１が表示部２３に表示される。

続くステップＳ１８において、撮像装置２は、観察動作を終了するか否かを判定する。ここで、例えば撮像装置２の電源がオフされた等の場合、観察動作を終了すると判定される。観察動作を終了する場合（ステップＳ１８：Ｙｅｓ）、撮像装置２の動作は終了する。一方、観察動作を終了しない場合（ステップＳ１８：Ｎｏ）、撮像装置２の動作はステップＳ１１に戻る。

一方、ステップＳ１１において、ステージ１０が静止した場合（ステップＳ１１：Ｎｏ）、読み出し制御部１４は撮像素子１３に対し、広域画像を生成するための読み出し動作を停止させる（ステップＳ２０）。

ステップＳ２１において、画像処理部２０は、記憶部２２に直前に記憶された撮像信号を読み出し、該撮像信号に対してデモザイキングやホワイトバランス処理等の所定の画像処理を施すことにより、広域画像の画像データを生成する。

ステップＳ２２において、読み出し制御部１４は、領域設定部１５から領域設定情報を取得する。

ステップＳ２３において、読み出し制御部１４は撮像素子１３に対し、一部領域画像を生成するための画素の読み出し領域を設定する。読み出し領域は、領域設定部１５から取得した領域設定情報に基づき、広域画像上に表示される一部領域画像の位置座標に対応する画素領域１３ａ上の領域が設定される。図８は、画素領域１３ａの中央部の４つの画素が読み出し領域Ｒとして設定された状態を示している。

ステップＳ２４において、撮像素子１３は、読み出し制御部１４により設定された読み出し領域に対し、全画素読み出しを逐次実行する。例えば図８の場合、読み出し領域Ｒ内の全４つの画素Ｐ_fulから読み出しが行われる。それにより、撮像素子１３から、各画素Ｐ_fulに蓄積された電荷量に応じた大きさの電圧信号が、Ａ／Ｄ変換された上で撮像信号として出力される。

ステップＳ２５において、画像処理部２０は、撮像素子１３から出力された撮像信号に対してホワイトバランス処理やデモザイキング等の画像処理を施すことにより、一部領域画像の画像データを生成する。

ステップＳ２６において、表示処理部２１は、ステップＳ２１において生成された広域画像の画像データと、ステップＳ２５において生成された一部領域画像の画像データとを用いて、広域画像に一部領域画像を重畳した重畳画像の画像信号を生成する。例えば図８の場合、ステージ１０が停止する直前に画素Ｐ_parから読み出された撮像信号に基づく広域画像ｍ１’に対し、読み出し領域Ｒ内の画素Ｐ_fulから逐次読み出される撮像信号に基づく一部領域画像ｍ２を重畳した重畳画像ｍ３の画像信号が逐次生成される。

ステップＳ２７において、表示処理部２１は、ステップＳ２６において生成した画像信号を表示部２３に出力し、重畳画像を表示させる。これより、静止画である広域画像ｍ１’に対してリアルタイムに変化する一部領域画像ｍ２が重畳された重畳画像ｍ３が表示部２３に表示される。

ステップＳ２８において、駆動検出部１２は、ステージ１０の駆動状態を検出し、ステージ１０が移動を再開したか否かを判定する。移動を再開した場合（ステップＳ２８：Ｙｅｓ）、撮像装置２の動作は、ステップＳ１１に戻る。

一方、移動を再開しない場合（ステップＳ２８：Ｎｏ）、撮像装置２は、観察動作を終了するか否かを判定する（ステップＳ２９）。ここで、例えば撮像装置２の電源がオフされた等の場合、観察動作を終了すると判定される。観察動作を終了する場合（ステップＳ２９：Ｙｅｓ）、撮像装置２の動作は終了する。

一方、観察動作を終了しない場合（ステップＳ２９：Ｎｏ）、撮像装置２の動作はステップＳ２２に戻る。この際、表示部２３に表示された重畳画像ｍ３に対し、ユーザが、例えば一部領域画像ｍ２にタッチして画面上で移動させる、或いは、一部領域画像ｍ２が表示された部分を画面上でグリップして移動させるといった操作を行うことにより、領域設定部１５は、一部領域画像ｍ２の移動先の位置座標を領域設定情報として読み出し制御部１４に出力する。この場合、読み出し制御部１４は、新たな領域設定情報に従って、読み出し領域Ｒ（図８の破線参照）を再設定する。

図９は、ステップＳ１７において表示部２３に表示される広域画像の一例を示す模式図であり、図１０は、ステップＳ２７において表示部２３に表示される重畳画像の一例を示す模式図である。図９に示すように、ステージ１０の移動中には、全画素読み出しを行う場合と比べて解像度は低いが、被写体の広い範囲が写った広域画像Ｍ１が表示部２３に表示される。この広域画像Ｍ１はリアルタイムに生成されるため、ステージ１０の移動に応じて変化する。従って、ユーザは、ステージ１０の移動に伴って変化する広域画像Ｍ１を観察することにより、より詳しく観察したい領域を探索することができる。

一方、図１０に示すように、ステージ１０の静止中には、ステージ１０が静止する直前に撮像素子１３から出力された撮像信号に基づく広域画像Ｍ１’の静止画に対し、該広域画像Ｍ１’の一部の領域を拡大した一部領域画像Ｍ２が重畳されて表示される。広域画像Ｍ１’及び一部領域画像Ｍ２を含む重畳画像Ｍ３内で、一部領域画像Ｍ２はリアルタイムに変化すると共に、領域設定部１５から出力される領域設定情報に応じて、一部領域画像Ｍ２の表示位置（即ち、広域画像Ｍ１’内で拡大される位置）もリアルタイムに変化する。従って、ユーザは、静止画像として表示された広域画像Ｍ１’の範囲内で、拡大して観察したい領域（一部領域画像Ｍ２）を随時移動させながら詳しく観察を行うことができる。また、広域画像Ｍ１から重畳画像Ｍ３への切り替えはシームレスに行われるので、ユーザは、広域画像Ｍ１において探索した所望の領域を見失うことなく、該領域の拡大画像（一部領域画像Ｍ２）における観察にスムーズに移行することができる。

次に、撮像装置２の動作中に撮像素子１３から出力される撮像信号の帯域について説明する。図１１は、撮像装置２における読み出しシーケンスを示すタイミングチャートである。なお、以下に例示する帯域の値は、図７及び図８に示すように、画素領域１３ａが（１６ライン）×（１６列）＝２５６画素からなる場合における値である。

ステージ１０の移動中（図１１（ａ）の時間Ｆ１〜Ｆ３）、撮像素子１３においては、広域画像生成のために、画素領域１３ａ全体に対する間引き読み出し（又は加算読み出し）が行われ、撮像素子１３から出力された撮像信号が記憶部２２に逐次記憶される。各フレーム期間において撮像素子１３から読み出されて記憶部２２に記憶された撮像信号は（図１１（ｂ）参照）、次のフレーム期間の間に記憶部２２から読み出され、画像処理部２０（表示処理部２１）により所定の処理を受け、広域画像として表示部２３に出力されて表示される（図１１（ｃ）、（ｄ）参照）。

撮像素子１３における読み出しを、例えば図７に示すように、１ラインあたり１、５、９、１３列目の４画素、１フレームあたり１、５、９、１３ライン目の４ラインに対して行う場合、読み出し画素数は１６画素となる。従って、フレームレートを６０ｆｐｓ、各画素のビット数を１２ビットとすると、撮像素子１３から出力される撮像信号の帯域は、１６×６０×１２＝１１５２０ｂｐｓとなる（図１１（ｅ）参照）。

ステージ１０の駆動状態が移動中から静止中に切り替わると（時間Ｆ３）、撮像素子１３においては次のフレームから、一部領域画像生成のために、フレームごとに設定される読み出し領域に対する全画素読み出しが行われ、撮像信号が出力される。このとき、記憶部２２には、静止中に切り替わる直前（時間Ｆ２〜Ｆ３）に読み出された撮像信号が記憶され続けている。この場合、記憶部２２に記憶された撮像信号に基づいて、広域画像の静止画像が生成される。

撮像素子１３における読み出しを、例えば図８に示すように、１フレームあたり４画素とすると、撮像素子１３から出力される撮像信号の帯域は、４×６０×１２＝２８８０ｂｐｓとなる（図１１（ｅ）参照）。このとき、一部領域画像が重畳される広域画像は記憶部２２から読み出される静止画であるため、撮像素子からの信号帯域が増加することはない。

これに対し、広域画像及び一部領域画像のマルチ表示を行う際に、従来のように、広域画像についてもリアルタイムに更新する場合、画素領域１３ａの全画素（１６×１６＝２５６画素）から読み出しを行う必要がある。この場合、撮像素子１３から出力される撮像信号の帯域は、２５６×６０×１２＝１８４３２０ｂｐｓと、非常に大きな値となる。言い換えると、本実施の形態１及び２によれば、撮像信号の入力に関し最大で従来の１／１６程度の処理能力があれば、広域画像及び一部領域画像のマルチ表示が可能となる。

なお、図１１においては、広域画像を生成する際と一部領域画像を生成する際とで、各画素における電荷の蓄積時間を均一（例えば１／６０秒）に設定しているが、互いに異ならせても良い。例えば、図１１に示す期間ｔ_a、ｔ_bのように、画素の読み出しが行われない期間を省略することにより、各画像を生成する際のフレームレートを高くすることも可能である。なお、フレームレートを変更する際には、電荷の蓄積開始タイミング等の初期設定をし直す必要がある。

以上説明したように、本発明の実施の形態１及び２によれば、ステージ１０の駆動状態に応じて撮像素子１３における読み出し動作を制御するので、撮像素子１３から出力される撮像信号の帯域を適宜抑制することができる。このため、広域画像及び一部領域画像のリアルタイムなマルチ表示を、従来よりも少ない処理能力で実行することができる。従って、装置の規模や消費電力の増加を招くことなく、このようなマルチ表示機能を有する撮像装置を構成することが可能となる。

また、本発明の実施の形態１及び２によれば、広域画像から重畳画像への切り替えをシームレスに行うことができる。即ち、拡大画像の表示に際して、例えば対物レンズの切り替えといった作業が不要となる。従って、ユーザは、広域画像において探索した所望の領域を、スムーズに拡大して表示させ、連続して観察を行うことができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図１２は、本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。図１２に示すように、実施の形態３に係る撮像装置３は、図５に示す撮像装置２に対し、画像処理部２０の代わりに画像処理部３０を備える。画像処理部３０以外の撮像装置３の各部の構成及び動作は、実施の形態２と同様である。

画像処理部３０は、表示処理部３１及び領域枠設定部３２を備える。このうち、表示処理部３１の動作は、実施の形態２における表示処理部２１（図５参照）と同様である。
領域枠設定部３２は、領域設定部１５から出力される領域設定情報に基づき、一部領域画像が表示される領域を囲む枠（領域枠）の座標を設定する。

次に、撮像装置３の動作を説明する。図１３は、撮像装置３の動作を示すフローチャートである。図１４は、ステージ１０の移動中における撮像素子１３の読み出し画素を説明する模式図である。図１５は、ステージ１０の静止中における撮像素子１３の読み出し画素を説明する模式図である。なお、本実施の形態３においても、説明を簡単にするために、図１４及び図１５に示すように、撮像素子１３の画素領域１３ａが（１６ライン）×（１６列）＝２５６個の画素Ｐからなるものとする。

図１３に示すステップＳ１０及びＳ１１は、実施の形態２と同様である（図６参照）。
ステップＳ１１において、ステージ１０が移動中の場合（ステップＳ１１：Ｙｅｓ）、領域枠設定部３２は、領域設定部１５から出力された領域設定情報を取得する（ステップＳ３１）。

続くステップＳ３２において、領域枠設定部３２は、取得した領域設定情報に従って、表示部２３において一部領域画像が表示される領域を囲む領域枠の画像データを生成する。
続くステップＳ１２〜Ｓ１５の動作は、実施の形態２と同様である。

ステップＳ１５に続くステップＳ３３において、表示処理部３１は、広域画像の画像データに対し、色空間データへの変換、リサイズ等の所定の処理を施すと共に、ステップＳ３２において生成した領域枠の画像データを用いて、広域画像に領域枠を重畳した画像の画像信号を生成する。例えば図１４の場合、複数の画素Ｐ_parから逐次読み出される撮像信号に基づく広域画像ｍ１に領域枠ｂ１を重畳した画像の画像信号が逐次生成される。
続くステップＳ１７〜Ｓ２５は、実施の形態２と同様である。

ステップＳ２５に続くステップＳ３４において、表示処理部３１は、ステップＳ２１において生成された広域画像の画像データと、ステップＳ２５において生成された一部領域画像の画像データと、ステップＳ３２において生成された領域枠の画像データとを用いて、広域画像に一部領域画像及び該一部領域画像を囲む領域枠を重畳した重畳画像の画像信号を生成する。例えば図１５の場合、ステージ１０が停止する直前に画素Ｐ_parから読み出された撮像信号に基づく広域画像ｍ１’に、読み出し領域Ｒ内の画素Ｐ_fulから逐次読み出される撮像信号に基づく一部領域画像ｍ２と、一部領域画像ｍ２を囲む領域枠ｂ２とを重畳した画像の画像信号が逐次生成される。
続くステップＳ２７〜Ｓ２９の動作は、実施の形態２と同様である。

図１６は、ステップＳ１７において表示部２３に表示される広域画像の一例を示す模式図であり、図１７は、ステップＳ２７において表示部２３に表示される重畳画像の一例を示す模式図である。図１６に示すように、ステージ１０の移動中には、リアルタイムに表示される広域画像Ｍ１に対して領域枠Ｂ１が表示される。従って、ユーザは、一部領域画像として拡大表示される領域を明確に認識することができ、拡大して観察したい所望の領域を容易に選択することができる。

また、図１７に示すように、ステージ１０の静止中には、広域画像Ｍ１’に一部領域画像Ｍ２を重畳した画像に対し、一部領域画像Ｍ２を囲む領域枠Ｂ２がさらに重畳されて表示される。従って、ユーザは、一部領域画像Ｍ２として拡大表示された領域を明確に識別できると共に、該領域を移動させる操作を容易に行うことができる。

なお、上記実施の形態３においては、ステージ１０の静止中に、広域画像Ｍ１’に一部領域画像Ｍ２及び領域枠Ｂ２を重畳した重畳画像を表示部２３に表示することとしたが、広域画像Ｍ１’と一部領域画像Ｍ２とを、表示部２３の画面の異なる領域に配置しても良い。例えば、広域画像Ｍ１’と一部領域画像Ｍ２とを並べて配置し、広域画像Ｍ１’上に領域枠Ｂ２を重畳して表示すれば、ユーザは、表示中の一部領域画像Ｍ２が広域画像Ｍ１’上のどの領域を拡大したものであるかを容易に認識することができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１８は、本発明の実施の形態４に係る撮像装置の構成を示すブロック図である。図１８に示すように、実施の形態４に係る撮像装置４は、図１２に示す撮像装置３に対し、駆動検出部１２及び読み出し制御部１４の代わりに、駆動検出部４０及び読み出し制御部４２をそれぞれ備える。駆動検出部４０及び読み出し制御部４２以外の撮像装置４の各部の構成及び動作は、実施の形態３と同様である。

駆動検出部４０は、加速度センサ等によって構成される速度検出部４１を備え、ステージ１０の駆動状態として、撮像素子１３に対するステージ１０の移動速度（単位時間あたりの移動量）を検出する。

なお、本実施の形態４においては、撮像素子１３の位置を固定し、ステージ１０を移動させているため、速度検出部４１はステージ１０の速度を検出するが、ステージ１０の位置を固定し、撮像素子１３を移動させる場合には、撮像素子１３の移動速度を検出する。

読み出し制御部４２は、ステージ１０の移動速度に応じて、一部領域画像を生成する際の撮像信号の読み出し画素数と、読み出しフレームレートと、画素ビット数との少なくとも１つを設定する。

次に、撮像装置４の動作を説明する。図１９は、撮像装置４の動作を示すフローチャートである。また、図２０は、ステージ１０の移動速度に応じた読み出し動作の制御を説明するためのグラフである。

まず、ステップＳ４０において、駆動検出部４０は、ステージ１０の駆動状態として、ステージ１０の移動速度を検出する。

続くステップＳ４１において、駆動検出部４０は、ステージ１０の移動速度が所定の速度αよりも大きいか否かを判定する。ステージ１０の移動速度が速度αよりも大きい場合（ステップＳ４１：Ｙｅｓ）、撮像装置４の動作はステップＳ３１に移行する。この後のステップＳ３１〜Ｓ１８の動作は、実施の形態３と同様である（図１３参照）。

一方、ステージ１０の移動速度が速度α以下である場合（ステップＳ４１：Ｎｏ）、撮像装置４の動作はステップＳ２０に移行する。この後のステップＳ２０〜Ｓ２３の動作は、実施の形態３と同様である（図１３参照）。

ステップＳ２３に続くステップＳ４２において、読み出し制御部４２は、ステージ１０の移動速度に応じて、一部領域画像を生成するための読み出し画素数と、読み出しフレームレートと、画素ビット数との少なくとも１つを設定する。
以下、ステージ１０の移動速度に応じた読み出し画素数の設定方法を、図２０を参照しながら、次の（i）〜（iii）の場合に分けて説明する。

（i）ステージ１０の速度がゼロ以上且つ第１の速度Ｓ_l未満である場合、読み出し制御部４２は、ステージ１０が静止している状態であると判断する。この場合、読み出し制御部４２は、領域設定部１５により設定された読み出し領域Ｒ（図１５参照）から読み出し得る最大の画素数Ｐ_maxを読み出し画素数として設定する。即ち、読み出し領域Ｒに対する全画素読み出しを設定される。なお、読み出し領域Ｒの外部の画素からの読み出しは行わない。

（ii）ステージ１０の速度が第１の速度Ｓ_lよりも速く且つ第２の速度Ｓ_h（Ｓ_h＞Ｓ_l）以下である場合、読み出し制御部４２は、ステージ１０がゆっくりと移動していると判断する。この場合、読み出し制御部４２は、読み出し領域Ｒのうち、上記（i）の場合よりも少ない画素数Ｐ_midを読み出し画素数として設定する。即ち、読み出し領域Ｒに対する所定の密度での間引き読み出し又は加算読み出しを設定する。また、この場合、読み出し制御部４２は、読み出し領域Ｒの外部の画素についても、読み出し領域Ｒ内と同じ密度で間引き読み出し又は加算読み出しを行うものと設定する。

（iii）ステージ１０の速度が第２の速度Ｓ_hよりも速い場合、読み出し制御部４２は、ステージ１０が速く移動していると判断する。この場合、読み出し制御部４２は、読み出し領域Ｒのうち、上記（ii）の場合よりもさらに少ない画素数Ｐ_minを読み出し画素数として設定する。即ち、読み出し領域Ｒに対する上記（ii）よりも低い密度での間引き読み出し又は加算読み出しを設定する。また、この場合、読み出し制御部４２は、読み出し領域Ｒの外部の画素についても、読み出し領域Ｒ内と同じ密度で間引き読み出し又は加算読み出しを行うものと設定する。

続くステップＳ４３において、撮像素子１３は、ステップＳ４２における設定内容に従って読み出しを行う。

ステップＳ４４において、画像処理部３０は、撮像素子１３から出力された撮像信号にＡ／Ｄ変換等の信号処理を施して生成したデータに対し、さらにデモザイキングやホワイトバランス処理等の所定の画像処理を施すことにより、画像データを生成する。この際、ステップＳ４２において、上記（i）の読み出し制御が行われた場合には、一部領域画像の画像データのみが生成される。一方、上記（ii）又は（iii）の読み出し制御が行われた場合には、一部領域画像に加えて、広域画像の画像データも生成される。

ステップＳ４５において、表示処理部３１は、ステップＳ４４において生成された画像データに対し、色空間データへの変換、リサイズ等の所定の処理を施すことにより、重畳画像の画像信号を生成する。この際、ステップＳ４２において上記（i）の読み出し制御が行われた場合、表示制御部３１は、ステップＳ２１において生成された広域画像の画像データを用い、広域画像の静止画に対してリアルタイムに変化する一部領域画像を重畳した重畳画像の画像信号を生成する。

また、ステップＳ４２において上記（ii）の読み出し制御が行われた場合、表示制御部３１は、ステップＳ４４において生成された広域画像及び一部領域画像の画像データを用い、リアルタイムに変化する広域画像に対してリアルタイムに変化する一部領域画像を重畳した重畳画像の画像信号を生成する。この際、広域画像よりも一部領域画像の方が高解像となるように、表示処理が行われる。

さらに、ステップＳ４２において上記（iii）の読み出し制御が行われた場合、表示制御部３１は、ステップＳ４４において生成された広域画像及び一部領域画像の画像データを用い、リアルタイムに変化する広域画像に対してリアルタイムに変化する一部領域画像を重畳した重畳画像の画像信号を生成する。この際、広域画像と一部領域画像とが同程度の解像度となるように表示処理が行われる。要するに、一部領域画像は表示されないことになる。
ステップＳ２７〜Ｓ２９の動作は、実施の形態３と同様である。

以上説明したように、実施の形態４によれば、ステージ１０の移動速度に応じて撮像素子１３における読み出し動作を段階的に制御するので、撮像信号の帯域を抑制しつつ、ステージ１０が移動を開始する際や停止する際に、表示部２３における一部領域画像の表示状態と非表示状態とを自然に遷移させることができる。

なお、図２０においては、読み出し画素数を段階的に設定したが、ステージ１０の移動速度に応じて読み出し画素数を傾斜的に（シームレスに）変化させても良い。

また、ステージ１０に応じて読み出しフレームレートや画素ビット数を変化させる場合には、ステージ１０の速度が遅いほど読み出しフレームレートを速く、若しくは画素ビット数を大きくし、ステージ１０の速度が速いほど読み出しフレームレートを遅く、若しくは画素ビット数を小さく設定すると良い。また、読み出し画素数と読み出しフレームレートと画素ビット数とを適宜組み合わせて、ステージ１０の速度に応じた設定を行っても良い。

（変形例１）
次に、本発明の実施の形態４の変形例１について説明する。
ステージ１０の移動速度に応じて読み出し画素数、読み出しフレームレート又は画素ビット数を変化させる場合、広域画像及び一部領域画像を生成する際に撮像素子１３から出力される撮像信号の帯域の和が、予め設定された帯域になるように読み出し画素数、読み出しフレームレート又は画素ビット数の設定を行っても良い。

例えば、図２１に示すように、読み出し領域Ｒから読み出される一部領域画像用の撮像信号と読み出し領域Ｒの外部から読み出される広域画像用の撮像信号の帯域の和の上限値を予め設定し、ステージ１０の速度が速くなるほど（Ｓ₁＜Ｓ₂＜Ｓ₃）、一部領域画像用の撮像信号に割り当てられる帯域を減少させ、広域画像用の撮像信号に割り当てられる帯域を増加させるように設定を行っても良い。

（変形例２）
次に、本発明の実施の形態４の変形例２について説明する。
ステージ１０の移動速度に応じた読み出し動作の制御は、広域画像の生成及び表示（図１９のステップＳ１２〜Ｓ１７参照）に適用しても良い。

例えば、ステージ１０の移動速度が速い場合、読み出しフレームレートを高く設定すると共に、間引き読み出し又は加算読み出しを行う際の密度を低く設定して広域画像の解像度を低くする。それにより、広域画像の表示におけるリアルタイム性を維持しつつ、撮像素子１３から出力される撮像信号の帯域を抑制することができる。

一方、ステージ１０の移動速度が遅い場合、間引き読み出し又は加算読み出しを行う際の密度を高く設定して広域画像の解像度を高くすると共に、読み出しフレームレートを低く設定する。それにより、広域画像の画質を維持しつつ、撮像素子１３から出力される撮像信号の帯域を抑制することができる。

読み出しフレームレートを変更する場合には電荷の蓄積開始タイミング等の初期設定をし直す必要があるため、読み出しフレームレートを変更する際の設定は、広域画像の読み出し領域の設定（図１９のステップＳ１２参照）の後、広域画像の読み出し（同ステップＳ１３参照）の前のタイミングで行うと良い。従って、広域画像の読み出しを行っている際に、フレーム期間の途中でステージ１０の移動速度が変化した場合には、当該フレーム期間においては設定済みの読み出しフレームレートにて読み出しを行い、次のフレーム期間から、ステージ１０の移動速度の変化に応じて変更した読み出しフレームレートにて読み出しを行う。

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図２２は、本発明の実施の形態５に係る顕微鏡システムの構成例を示す模式図であり、実施の形態１〜４に係る撮像装置を顕微鏡システムに適用した例を示している。図２２に示すように、実施の形態５に係る顕微鏡システム５は、ステージ１０と、該ステージ１０を駆動する駆動部１１と、ステージ１０の駆動状態を検出する駆動検出部１２と、ステージ１０に対応して設けられた対物レンズ５０と、対物レンズ５０を介して入射する被写体からの観察光を受光する撮像素子１３と、該撮像素子１３における読み出し動作を制御する読み出し制御部１４とを備える。このうち、撮像素子１３及び読み出し制御部１４は、ヘッド部５１の内部に格納されている。

また、顕微鏡システム５は、撮像素子１３から出力される撮像信号を処理することにより画像を生成して表示するコンピュータ５２を備える。コンピュータ５２は、領域設定部１５、画像処理部２０又は３０、記憶部２２及び表示部２３を備え、所定の制御プログラムに従って動作する。また、コンピュータ５２は、記憶部２２に加えて、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録媒体及びその読取装置等によって構成され、顕微鏡システム５の動作を制御する制御プログラムや、該制御プログラムの実行中に用いられる各種パラメータや、画像データ等を記憶する記憶部を備えても良い。

本発明の実施の形態１〜４に係る撮像装置１〜４は、上述したような顕微鏡システムの他にも、例えば、基板検査装置や、液晶検査装置や、配送システムにおいて個々の荷物に附されたラベルを自動検出するラベル検出装置のように、広域画像とその一部領域を拡大した画像とをリアルタイムに同時表示することが望まれる様々な装置やシステムに適用することができる。

本発明は、上述した各実施の形態１〜５並びに変形例そのままに限定されるものではなく、各実施の形態１〜５並びに変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜５並びに変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良い。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成しても良い。

１〜４ 撮像装置
５ 顕微鏡システム
１０ ステージ
１１ 駆動部
１２ 駆動検出部
１３ 撮像素子
１３ａ 画素領域
１４、４２ 読み出し制御部
１５ 領域設定部
１６ 操作部
２０ 画像処理部
２１ 表示処理部
２２ 記憶部
２３ 表示部
２４ バス
３０ 画像処理部
３１ 表示処理部
３２ 領域枠設定部
４０ 駆動検出部
４１ 速度検出部
５０ 対物レンズ
５１ ヘッド部
５２ コンピュータ

Claims (7)

1. 物体が載置されるステージと、
   複数の画素が配置された画素領域を有し、前記ステージに載置された物体を撮像して撮像信号を出力する撮像素子と、
   前記画素領域のうちの一部の領域を設定して、該一部の領域に関する情報を出力する領域設定部と、
   前記ステージと前記撮像素子との少なくとも一方を駆動することにより、前記ステージと前記撮像素子との相対位置を変更する駆動部と、
   前記駆動部による前記ステージと前記撮像素子との少なくとも一方の駆動状態を検出する駆動検出部と、
   前記駆動状態及び前記一部の領域に関する情報に基づき、前記撮像素子における読み出し動作を制御する読み出し制御部と、
   を備えることを特徴とする撮像装置。
2. 前記駆動検出部は、前記駆動状態として、前記ステージと前記撮像素子との少なくとも一方が移動している状態であるか又は静止している状態であるかを検出し、
   前記読み出し制御部は、
   前記駆動状態が移動している状態である場合、前記撮像素子に、前記画素領域に対する間引き読み出し又は加算読み出しを逐次実行させる第１の制御を行い、
   前記駆動状態が静止している状態である場合、前記撮像素子に、前記一部の領域に対する全画素読み出しを逐次実行させる第２の制御を行う、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から出力された撮像信号を記憶する記憶部と、
   前記撮像素子から出力された撮像信号に基づく画像信号を生成する表示処理部と、
   をさらに備え、
   前記記憶部は、前記第１の制御の下で出力された前記撮像信号を逐次記憶し、
   前記表示処理部は、
   前記駆動状態が移動している状態である場合、前記第１の制御の下で出力された撮像信号に基づき、前記画素領域に対応する第１の画像の画像信号を逐次生成し、
   前記駆動状態が静止している状態である場合、前記駆動部が静止する直前に前記記憶部に記憶された撮像信号に基づく前記第１の画像に、前記第２の制御の下で出力された撮像信号に基づく前記一部の領域に対応する第２の画像を重畳した画像の画像信号を逐次生成する、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記第２の画像が表示される領域を囲む領域枠を設定する領域枠設定部をさらに備え、
   前記表示処理部は、
   前記駆動状態が移動している状態である場合、前記第１の画像に前記領域枠を重畳した画像の画像信号を逐次生成し、
   前記駆動状態が静止している状態である場合、前記第１の画像に、前記第２の画像及び前記領域枠を重畳した画像の画像信号を逐次生成する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記駆動検出部は、前記ステージと前記撮像素子との相対的な移動速度を検出する速度検出部を備え、
   前記読み出し制御部は、前記移動速度に応じて、前記撮像素子における読み出し画素数と読み出しフレームレートと画素ビット数とのうちの少なくとも一つを制御する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 請求項１〜５のいずれか１項に記載の撮像装置と、
   前記ステージに載置された被写体からの観察光を前記画素領域に導く光学系と、
   を備えることを特徴とする顕微鏡システム。
7. 物体が載置されるステージと、複数の画素が配置された画素領域を有し、前記ステージに載置された物体を撮像して撮像信号を出力する撮像素子とを備える撮像装置が実行する撮像方法において、
   前記画素領域のうちの一部の領域を設定して、該一部の領域に関する情報を出力する領域設定ステップと、
   前記ステージと前記撮像素子との少なくとも一方を駆動することにより、前記ステージと前記撮像素子との相対位置を変更する駆動ステップと、
   前記駆動ステップにおける前記ステージと前記撮像素子との少なくとも一方の駆動状態を検出する駆動検出ステップと、
   前記駆動状態及び前記一部の領域に関する情報に基づき、前記撮像素子における読み出し動作を制御する読み出し制御ステップと、
   を含むことを特徴とする撮像方法。

Images