JP2019033436A - 撮像装置、撮像システム及び撮像装置の制御方法 - Google Patents

Abstract

【課題】取得画像に対して不足する情報が生じたとしても、その不足した情報を簡単に補う補足情報を取得できる撮像装置を提供する。【解決手段】撮像装置は、対象を撮像して画像信号を出力する撮像部１５１と、ユーザ操作に応じて画像表示範囲を設定する画像表示範囲設定部１１１と、互いに異なる複数の撮像範囲で撮像部１５１に撮像させる撮像制御部１１４と、各々の前記撮像範囲で取得された複数の前記画像信号を用いて、前記画像表示範囲に相当する画像データを生成する画像処理回路１２０とを備える。【選択図】 図１

Description

本発明は、撮像装置、撮像システム及び撮像装置の制御方法に関する。

被写体を撮像して画像を得る装置では、ユーザの操作に応じた撮像や、撮像結果等の観察結果の取得が要求される。例えば特許文献１には、ユーザによるタッチパネルへのタップ操作、長押し操作又はフリック操作が検出された位置を基準とする領域において、画像の表示に影響を与えるパラメータを、タップ操作の強さ、タップ操作の回数、長押し操作の強さ、長押し操作の長押し時間、フリック操作の強さ、フリック操作の方向及びフリック操作の速さのうち少なくとも１つに応じて変更する装置に係る技術が開示されている。

特開２０１７−４２５９２号公報

本発明は、取得画像に対して不足する情報が生じたとしても、その不足した情報を補う補足情報を簡単に取得できる撮像装置、撮像システム及び撮像装置の制御方法を提供することを目的とする。

本発明の一態様によれば、撮像装置は、対象を撮像して画像信号を出力する撮像部と、ユーザ操作に応じて画像表示範囲を設定する画像表示範囲設定部と、互いに異なる複数の撮像範囲で前記撮像部に撮像させる撮像制御部と、各々の前記撮像範囲で取得された複数の前記画像信号を用いて、前記画像表示範囲に相当する画像データを生成する画像処理回路とを備える。

本発明の一態様によれば、撮像システムは、前記撮像装置と、前記ユーザ操作を取得する操作部を備えるコントローラとを備える。

本発明の一態様によれば、撮像装置の制御方法は、対象を撮像して画像信号を出力する撮像部を備える撮像装置の制御方法であって、ユーザ操作に応じて画像表示範囲の設定を行うことと、互いに異なる複数の撮像範囲で前記撮像部に撮像させることと、各々の前記撮像範囲で取得された複数の前記画像信号を用いて、前記画像表示範囲に相当する画像データの生成を実行させることとを含む。

本発明によれば、取得画像に対して不足する情報が生じたとしても、その不足した情報を簡単に補う補足情報を取得できる撮像装置、撮像システム及び撮像装置の制御方法を提供できる。

図１は、第１の実施形態に係る観察システムの外観の概略を示す模式図である。 図２は、第１の実施形態に係る観察システムの構成例の概略を示す模式図である。 図３は、第１の実施形態に係る試料周辺の構成例の概略を示す側面図である。 図４は、第１の実施形態に係る観察装置制御処理の一例を示すフローチャートである。 図５は、第１の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図６Ａは、第１の実施形態に係るズームアップを指示するズーム操作の一例と画像表示範囲について説明するための模式図である。 図６Ｂは、第１の実施形態に係るズームアップを指示するズーム操作の一例と画像表示範囲について説明するための模式図である。 図７Ａは、第１の実施形態に係るズームダウンを指示するズーム操作の一例と画像表示範囲について説明するための模式図である。 図７Ｂは、第１の実施形態に係るズームダウンを指示するズーム操作の一例と画像表示範囲について説明するための模式図である。 図８は、第１の実施形態に係るカウントスキャン処理の一例を示すフローチャートである。 図９は、第１の実施形態に係るカウントスキャン処理情報として記録される情報の一例を示す模式図である。 図１０は、第１の実施形態に係るカウントスキャン処理における画像取得ユニットの移動パターンの一例を示す模式図である。 図１１は、第１の実施形態に係る観察処理の一例を示すフローチャートである。 図１２は、第１の実施形態に係る拡大時補足情報取得処理の一例を示すフローチャートである。 図１３は、第１の実施形態に係る拡大時補足情報取得処理における画像取得ユニットの移動パターンの一例を示す模式図である。 図１４は、第１の実施形態に係る縮小時補足情報取得処理の一例を示すフローチャートである。 図１５は、第１の実施形態に係る縮小時補足情報取得処理における画像取得ユニットの移動パターンの一例を示す模式図である。 図１６Ａは、第２の実施形態に係る観察処理において、所定以上ズームダウンを指示するユーザのズーム操作が行われた場合の補足情報の取得について説明するための図である。 図１６Ｂは、第２の実施形態に係る観察処理において、所定以上ズームダウンを指示するユーザのズーム操作が行われた場合の補足情報の取得について説明するための図である。 図１６Ｃは、第２の実施形態に係る観察処理において、所定以上ズームダウンを指示するユーザのズーム操作が行われた場合の補足情報の取得について説明するための図である。 図１７は、第２の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。

［第１の実施形態］
取得画像に対して不足する情報が生じたとしても、その不足した情報を簡単に補う補足情報を取得できる撮像装置に係る技術には需要がある。そこで本実施形態では、ユーザ操作に伴って生じた情報不足を補う補足情報を撮像によって取得して、ユーザ操作に応じた画像データを生成できる撮像装置の例としての観察装置を説明する。また、以下の説明では、情報不足を発生させるユーザ操作がズーム操作である場合を主な例とする。

＜観察システムの構成＞
（観察システムの概要）
本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る観察システムは、培養中の細胞、細胞群、組織等を撮影し、細胞又は細胞群の個数、形態等を記録するための撮像システムである。ここで、観察システム１の外観の概略を示す模式図を図１に示す。また、観察システム１の構成例を表すブロック図を図２に示す。図１及び図２に示すように、観察システム１は、撮像装置としての観察装置１００と、コントローラ２００とを備える。

観察装置１００は、図１に示すように、筐体１０１と、透明板１０２と、画像取得ユニット１５０とを備える。観察装置１００は、おおよそ平板形状をしている。透明板１０２は、観察装置１００の上面に設けられている。観察対象である試料３００は、透明板１０２上に配置される。筐体１０１の内部には、画像取得ユニット１５０が設けられている。画像取得ユニット１５０は、透明板１０２を介して試料３００を撮像し、試料３００の画像を取得する。試料３００が配置された観察装置１００は、例えばインキュベータ内に設置される。

一方、コントローラ２００は、例えばインキュベータの外部に設置される。観察装置１００とコントローラ２００とは、通信する。コントローラ２００は、観察装置１００の動作を制御する。

以降の説明のため、観察装置１００の試料３００が配置される面と平行な面内に互いに直交するＸ軸及びＹ軸を定義し、Ｘ軸及びＹ軸と直交するようにＺ軸を定義する。

（試料について）
観察システム１の測定対象である試料３００は、例えば次のようなものである。試料３００は、例えば、容器３１０と、培地３２２と、細胞３２４と、反射板３６０とを含む。容器３１０内に培地３２２が入れられ、培地３２２内で細胞３２４が培養されている。容器３１０は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器３１０は、例えば、生体試料を培養するための培養容器である。容器３１０の形状、大きさ等は限定されない。培地３２２は、液体培地でも固体培地でもよい。測定対象は例えば細胞３２４であるが、これは、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞３２４は、スフェロイドや組織であってもよい。さらに、細胞３２４は、どのような生物に由来してもよく、菌等であってもよい。このように、試料３００は、生物又は生物に由来する試料である生体試料を含む。反射板３６０は、透明板１０２を介して試料３００に入射した照明光を反射させて、細胞３２４を照明するためのものであり、容器３１０の上面に配置される。

（観察装置について）
観察装置１００の筐体１０１の上面に配置されている透明板１０２は、例えばガラス等で形成されている。観察装置１００は、例えば筐体１０１と透明板１０２とを含む部材によってその内部が密閉された状態となっている。試料３００は、この透明板１０２上に静置される。図１には、筐体１０１の上面の全体が透明な板で形成されている例が示されているが、観察装置１００は、筐体１０１の上面の一部に透明な板が設けられ、上面のその他の部分が不透明であるように構成されてもよい。

画像取得ユニット１５０は、図２に示すように、撮像部１５１と照明部１５５とを備える。撮像部１５１は、撮像光学系１５２と、撮像素子１５３とを備える。撮像素子１５３は、例えば電荷結合素子（ＣＣＤ）や相補性金属酸化膜半導体（ＣＭＯＳ）センサである。撮像部１５１は、撮像光学系１５２を介して撮像素子１５３の撮像面に結像した像に基づいて画像信号を生成し、生成した画像信号を出力する。照明部１５５は、図１に示すように、撮像部１５１の近傍に設けられている。照明部１５５は、図２に示すように、照明光学系１５６と光源１５７とを備える。光源１５７は、例えば発光ダイオード（ＬＥＤ）である。本実施形態に係る照明光は、細胞３２４の損傷を低減させるために、例えば赤色光である。光源１５７から放射された照明光は、照明光学系１５６を介して、試料３００を照射する。

画像取得ユニット１５０は、図１に示すように、支持部１６５をさらに備える。支持部１６５には、撮像部１５１及び照明部１５５が設けられている。

移動機構１６０は、支持部１６５をＸ軸方向に移動させるためのＸ送りねじ１６１と、Ｘアクチュエータ１６２とを備える。また、移動機構１６０は、支持部１６５をＹ軸方向に移動させるためのＹ送りねじ１６３とＹアクチュエータ１６４とをさらに備える。移動機構１６０は支持部１６５をＺ軸方向に移動させるためのＺ送りねじ及びＺアクチュエータ等を備えてもよい。以下の説明のため、支持部１６５がＸアクチュエータ１６２から離れる方向に移動する方向をＸ方向の正の向き（Ｘ＋方向）とし、Ｙアクチュエータ１６４から離れる方向に移動する方向をＹ方向の正の向き（Ｙ＋方向）とし、支持部１６５から試料３００に向かう方向をＺ方向の正の向き（Ｚ＋方向）とする。

ここで、図３に画像取得ユニット１５０と試料との構成例の概略を模式図として示す。この図に示すように、照明部１５５の照明光学系１５６を介して放射された照明光は、容器３１０の上面に設けられた反射板３６０へ入射し、反射板３６０で反射される。反射板３６０で反射された照明光（反射光）は、細胞３２４を照明する。細胞３２４を照明した照明光は、撮像部１５１の撮像光学系１５２へ入射する。撮像部１５１は、撮像光学系１５２を介して撮像素子１５３の撮像面へ入射した光線を撮像する。

このように、本実施形態に係る観察装置１００は、移動機構１６０に画像取得ユニット１５０を移動させて、試料３００と撮像部１５１との相対位置を変化させる。撮像部１５１は、Ｘ方向及びＹ方向に撮像位置を変更させられながら繰り返し試料３００の撮像を行い、各々の撮像位置で取得した画像信号を出力する。なお、Ｚ軸方向の撮像位置は、移動機構１６０によって変更されてもよいし、撮像光学系１５２の合焦位置が変更されることで変更されてもよい。

観察装置１００は、観察側記録回路１３０をさらに備える。観察側記録回路１３０は、例えば、観察装置１００の備える各部で用いられるプログラム及びパラメータ、観察装置１００で得られたデータを記録する。また、観察側記録回路１３０は、例えば画像信号、画像データ（画素データ）、記録又は表示用の画像データ、動作時の処理データといった各種データを一時的に記録する。また、観察側記録回路１３０には、観察及び測定時の画像取得ユニット１５０の移動パターンに係る情報が記録されている。移動パターンは、後述するカウントスキャン処理におけるＣ移動パターンと、後述する補足情報取得処理におけるＴ移動パターン及びＷ移動パターンとを含む。また、観察側記録回路１３０は、撮像光学系１５２の光軸方向における合焦位置の範囲を、ピント位置範囲ΔＺとして記録している。ピント位置範囲ΔＺの値は、試料３００のサイズ等に応じて予め設定されたり、ユーザの入力によって設定されたりする。

観察装置１００は、画像処理回路１２０をさらに備える。画像処理回路１２０は、画像信号、画像データ等に対して画像処理を施す。画像処理回路１２０は、撮像部１５１の出力する画像信号を用いて撮像画像データを生成する。なお、撮像画像データは、撮像部１５１で生成されてもよい。画像処理回路１２０は、複数の撮像画像データを用いて超解像処理を行い、超解像画像データを生成する。画像処理回路１２０は、複数の撮像画像データを用いて、パノラマ合成のように複数の撮像画像データを貼り合わせる処理を行い、広範囲画像データを生成する。画像処理回路１２０において各種画像処理が施された画像データは、観察側記録回路１３０に記録されたり、コントローラ２００へ送信されたりする。

また、画像処理回路１２０は、得られた画像データに基づく各種解析を行ってもよい。例えば画像処理回路１２０は、得られた画像データ（画像信号）に基づいて、試料３００に含まれる細胞３２４又は細胞群の画像を抽出したり、細胞３２４又は細胞群の数を算出したりする。このようにして得られた解析結果も、観察側記録回路１３０に記録されたり、コントローラ２００に送信されたりする。

このような観察装置１００とコントローラ２００との通信を行うために、観察装置１００は、観察側通信装置１４０をさらに備える。この通信には、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を利用した無線通信が利用される。また、観察装置１００とコントローラ２００とは、有線によって接続されて有線によって通信が行われてもよいし、互いにインターネット等の電気通信回線に接続されてインターネット等の電気通信回線を介して通信が行われてもよい。

観察装置１００は、観察側制御回路１１０と、センサ部１７１と、時計部１７２と、電源１９０とをさらに備える。

観察側制御回路１１０は、観察装置１００の備える各部の動作を制御する。また、観察側制御回路１１０は、観察装置１００の動作に係る各種情報を取得したり、観察装置１００の動作に係る各種判定を行ったり、当該判定の結果に基づいてユーザに対して通知や警告等を行ったりする。

観察側制御回路１１０は、図２に示すように、画像表示範囲設定部１１１、撮像位置設定部１１２、位置制御部１１３、撮像制御部１１４、照明制御部１１５、通信制御部１１６、記録制御部１１７及び測定制御部１１８としての機能を備える。

画像表示範囲設定部１１１は、画像表示範囲を設定する。ここで、画像表示範囲は、画像データとして示される情報の範囲である。画像表示範囲に相当する画像データの生成に必要な情報を画像表示範囲構成情報とする。画像表示範囲は、例えば画像データが表示される際の、当該画像データの表示範囲に相当する。画像表示範囲は、コントローラ２００から取得するユーザのズーム操作の結果に基づいて設定される。画像表示範囲設定部１１１は、設定した画像表示範囲に係る画像表示範囲構成情報について、情報が不足しているか否かの判定をさらに行う。すなわち、画像表示範囲設定部１１１は、ズーム操作に伴い発生した情報不足を補うために、補足情報を取得する必要があるか否かを判定する。画像表示範囲設定部１１１は、当該判定の結果に基づいて、設定した画像表示範囲に対して、既取得範囲と、情報不足範囲とをさらに設定する。既取得範囲は、画像表示範囲構成情報のうち、既取得である情報（既取得情報）に対応する画像表示範囲である。例えば、既取得情報には、画像表示範囲が設定される直前に生成された画像データが含まれる。一方で、情報不足範囲は、画像表示範囲構成情報のうち、不足している情報（補足情報）に対応する画像表示範囲である。

例えば、画像表示範囲設定部１１１は、ズームアップ又はズームダウンを指示するズーム操作に係る制御信号を取得した場合に、ズームアップ又はズームダウン後の画像データとして示される画像表示範囲を設定する。その後、画像表示範囲設定部１１１は、既取得の画像信号又は画像データと、設定された画像表示範囲とを比較して、既取得範囲を設定する。

また、ズームアップを指示するズーム操作（拡大操作）に係る制御信号が取得された場合には、本実施形態では、単にズーム操作に応じて画像表示範囲の画像を拡大するだけではなく、超解像処理が行われてから画像表示範囲に応じた画像の拡大が行われる。このために、画像表示範囲設定部１１１は、設定された画像表示範囲に相当する超解像画像データを超解像処理によって生成する際に、既取得の画像信号又は画像データ（既取得範囲に対応する情報）に加えて、さらに必要となる情報（補足情報）を判定し、情報不足範囲を設定する。この場合、情報不足範囲は、例えば、既取得の画像信号又は画像データに対して、周囲に１画素未満ずれた範囲である。

また、ズームダウンを指示するズーム操作（縮小操作）に係る制御信号が取得された場合には、画像表示範囲設定部１１１は、設定された画像表示範囲に相当する広範囲画像データを画像処理によって生成する際に、既取得の画像信号又は画像データ（既取得範囲に対応する情報）に加えて、さらに必要となる情報（補足情報）を判定し、情報不足範囲を設定する。この場合、情報不足範囲は、例えば、既取得の画像信号又は画像データに対して、周囲に１画像だけずれた範囲である。

このように、本実施形態に係る画像表示範囲設定部１１１は、ユーザのズーム操作に応じて画像表示範囲を設定し、ズーム操作に伴う情報不足を補足するために必要な補足情報を判定して、情報不足を補う情報取得（撮像）が行われる情報不足範囲を設定する。

撮像位置設定部１１２は、画像表示範囲設定部１１１の設定した画像表示範囲（情報不足範囲）に基づいて、撮像位置を設定する。撮像位置は、撮像部１５１に撮像させる位置である。例えば、撮像部１５１が撮像して取得できる範囲を撮像範囲とすると、撮像位置設定部１１２は、画像表示範囲と撮像範囲とを比較して、撮像位置を設定する。なお、本実施形態では、撮像範囲のＸ−Ｙ平面における大きさは、撮像毎に変化しないものとする。すなわち、本実施形態では、撮像部１５１の焦点距離が一定である場合を例として説明をする。設定された撮像位置で取得された画像信号は、画像表示範囲に対応する情報である。なお、既取得範囲が存在する場合であっても、既取得範囲に対応する情報が再度撮像されて取得されてもよい。

位置制御部１１３は、移動機構１６０の動作を制御し、画像取得ユニット１５０の位置を制御する。すなわち、位置制御部１１３は、設定された撮像位置に撮像部１５１を移動させるように、移動機構１６０の動作を制御する。

撮像制御部１１４は、画像取得ユニット１５０の備える撮像部１５１の動作を制御し、設定された撮像位置において、撮像部１５１に試料３００の画像を取得させる。ここで、特定の撮像位置で撮像される試料３００の範囲は、特定の撮像位置での撮像部１５１の撮像範囲である。すなわち、撮像制御部１１４は、互いに異なる複数の撮像範囲で撮像部１５１に試料３００の画像を取得させる。撮像制御部１１４は、ピント・露出切替部としての機能を有する。撮像制御部１１４は、例えば撮像光学系１５２に含まれる合焦用レンズを光軸方向に移動させてピント調節を行う。当該合焦用レンズは、例えば液体レンズのような焦点距離が可変のレンズであってもよい。また、合焦用には焦点の異なるレンズが複数用意されてもよい。用意されたレンズが多眼であればリフォーカス技術などを利用することが可能となる。また、ピント・露出切替部は、例えば絞りの動作を制御して露出の調節をしたり、レンズの光軸方向の動作を制御して光学ズームの調整をしたりしてもよい。

照明制御部１１５は、画像取得ユニット１５０の備える照明部１５５の動作を制御する。通信制御部１１６は、観察側通信装置１４０を介したコントローラ２００との通信を管理する。記録制御部１１７は、観察装置１００で得られたデータの記録について制御する。測定制御部１１８は、測定を行うタイミングや回数など、測定全体を制御する。

センサ部１７１は、例えば、温度センサ、湿度センサ、圧力センサ等を含む。センサ部１７１は、例えば、観察装置１００の内部の温度、湿度、圧力等を計測し、観察側制御回路１１０へ出力する。なお、センサ部１７１は、観察装置１００の外部の温度、湿度、圧力等をさらに計測できるように配置されていてもよい。

時計部１７２は、時刻情報を生成して観察側制御回路１１０へ出力する。当該時刻情報は、例えば取得データの記録時、観察装置１００の動作に係る判定に使用される。

電源１９０は、観察装置１００の備える各部に電源を供給する。電源１９０は、ユーザの操作結果を取得する操作部を備えていてもよい。操作部は、例えばボタン、スイッチ、ダイヤル、レバー、タッチパネル等を含む。ユーザは、例えば観察装置１００の電源をオン／オフとしたいとき、待機状態としたいとき等に当該操作部を操作したりする。

なお、上述した、観察側制御回路１１０と、画像処理回路１２０と、観察側記録回路１３０と、観察側通信装置１４０とは、例えば図１に示すように、回路群１０４として筐体１０１の内部に設けられている。また、観察側制御回路１１０と、画像処理回路１２０と、観察側記録回路１３０と、観察側通信装置１４０とは、画像取得ユニット１５０の内部に設けられていてもよい。

このように、筐体１０１の内部に、透明板１０２を介した撮像によって画像データを生成する画像取得ユニット１５０と、画像取得ユニット１５０を移動させる移動機構１６０とを設けることによって、信頼性が高く、取り扱いや洗浄が容易であり、コンタミネーション等を防止できる構造にすることができる。

（コントローラについて）
コントローラ２００は、例えばパーソナルコンピュータ（ＰＣ）、タブレット型の情報端末等である。図１には、タブレット型の情報端末を図示している。

コントローラ２００には、例えば液晶ディスプレイといった表示装置２７２とタッチパネルといった入力装置２７４とを備える入出力装置２７０が設けられている。入力装置２７４は、タッチパネルの他に、スイッチ、ダイヤル、キーボード、マウス等を含んでいてもよい。

また、コントローラ２００には、コントローラ側通信装置２４０が設けられている。コントローラ側通信装置２４０は、観察側通信装置１４０と通信を行うための装置である。観察側通信装置１４０及びコントローラ側通信装置２４０を介して、観察装置１００とコントローラ２００とは通信を行う。

また、コントローラ２００は、コントローラ側制御回路２１０と、コントローラ側記録回路２３０とを備える。コントローラ側制御回路２１０は、コントローラ２００の各部の動作を制御する。コントローラ側記録回路２３０は、例えばコントローラ側制御回路２１０で用いられるプログラムや各種パラメータ、観察装置１００から受信したデータを記録する。

コントローラ側制御回路２１０は、システム制御部２１１、表示制御部２１２、記録制御部２１３及び通信制御部２１４としての機能を有する。システム制御部２１１は、試料３００の測定のための制御に係る各種演算を行う。表示制御部２１２は、表示装置２７２の動作を制御する。表示制御部２１２は、表示装置２７２に必要な情報等を表示させる。記録制御部２１３は、コントローラ側記録回路２３０への情報の記録を制御する。通信制御部２１４は、コントローラ側通信装置２４０を介した観察装置１００との通信を制御する。

なお、観察側制御回路１１０、画像処理回路１２０及びコントローラ側制御回路２１０は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等の集積回路等を含む。観察側制御回路１１０、画像処理回路１２０及びコントローラ側制御回路２１０は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、観察側制御回路１１０及び画像処理回路１２０は、１つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば観察側記録回路１３０又はコントローラ側記録回路２３０や集積回路内の記録領域に記録されたプログラムに従って行われる。

なお、観察側記録回路１３０、コントローラ側記録回路２３０又はこれらの備える各要素は、例えばフラッシュメモリのような不揮発性メモリであるが、Static Random Access Memory（ＳＲＡＭ）やDynamic Random Access Memory（ＤＲＡＭ）のような揮発性メモリをさらに有していてもよい。また、観察側記録回路１３０と、コントローラ側記録回路２３０とは、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。また、観察システム１の外部にあるデータベース等を、そのメモリの一部として利用してもよい。

＜観察システムの動作＞
ここで、本実施形態に係る観察装置制御処理の一例をフローチャートとして図４に示し、これを参照して観察システム１の動作について説明をする。以下の処理は、例えば、試料３００が上面に配置された観察装置１００が、インキュベータ内に配置された状態で開始される。

ステップＳ１０１において、観察側制御回路１１０は、例えばコントローラ２００がユーザの操作に応じて出力する信号を受信するまで待機する。

ステップＳ１０２において、観察側制御回路１１０は、例えばコントローラ２００から観察装置１００の電源をオンとする電源ＯＮ信号又は観察装置１００の電源をオフとする電源ＯＦＦ信号を受信したか否かを判定する。処理は、電源ＯＮ／ＯＦＦ信号を受信したと判定された場合はステップＳ１０３へ進み、受信したと判定されなかった場合はステップＳ１０４へ進む。ステップＳ１０３において、観察側制御回路１１０は、ステップＳ１０２において電源ＯＮ信号を受信したと判定された場合は、電源１９０に観察装置１００の各部への電源の供給を開始させる。観察側制御回路１１０は、ステップＳ１０２において電源ＯＦＦ信号を受信したと判定された場合は観察装置１００の各部への電源の供給を終了させる。なお、観察側通信装置１４０へは、通信を待機するために、何れの場合も電源が供給され続ける。その後、処理はステップＳ１０１へ戻る。

なお、観察装置１００は、制御信号等の送受信用にBluetooth Low Energy （ＢＬＥ）等の省待機電力の通信装置と、画像を含む観察結果等のデータの送受信用にＷｉ−Ｆｉ等の高速の通信装置とを備えていてもよい。この場合には、観察装置１００の電源がオフの場合にはＢＬＥ等で通信待ちを行い、ステップＳ１０３で電源がオンとされるときにＷｉ−Ｆｉ等の通信がコントローラ２００と確立するようにすればよい。また、コントローラ２００の出力する電源ＯＮ／ＯＦＦ信号に基づいて観察装置１００の電源がオンとされたり、オフとされたりすると説明したが、これに限定されない。観察装置１００の電源は、例えば１分毎等、予め設定された時間間隔でオンとされたり、オフとされたりしてもよい。例えば細胞培養について観察する場合等、観察物の経時変化が緩やかな場合には、必要に応じた時間間隔で撮像等の観察が行われればよい。そのため、このような電源制御は省エネに貢献するものである。

ステップＳ１０４において、観察側制御回路１１０は、例えばコントローラ２００から各種設定に係る制御信号を受信したか否かを判定する。処理は、各種設定に係る制御信号を受信したと判定された場合はステップＳ１０５へ進み、受信したと判定されなかった場合はステップＳ１０１へ戻る。

ステップＳ１０５において、観察側制御回路１１０は、ステップＳ１０４において観察側通信装置１４０が受信した各種設定に係る制御信号に応じて、観察装置１００の各部の設定を行う。ここで設定される情報は、例えば、観察装置１００が取得した画像等の観察結果又は測定結果の送信先に係る情報、撮影条件、測定条件、各種パラメータを含む。なお、観察装置１００が取得した観察結果又は測定結果の送信先は、例えば観察装置１００の観察側記録回路１３０、コントローラ２００のコントローラ側記録回路２３０、ネットワーク上のデータサーバ等である。例えばこのようにネットワーク上に構築されたクラウド等に観察結果又は測定結果を送信すれば、異なるユーザ間での情報共有が容易になるだけでなく、観察システム１の外部で取得画像の解析、画像処理等を行うことができるようになる。

ステップＳ１０６において、観察側制御回路１１０は、例えばコントローラ２００から、カウントスキャン処理の実行を指示する制御信号を受信したか否かを判定する。処理は、カウントスキャン処理の実行を指示する制御信号を受信したと判定された場合はステップＳ１０７へ進み、受信したと判定されなかった場合はステップＳ１０８へ進む。なお、カウントスキャン処理は、例えば測定開始時刻等が予め決められており、当該決められた測定開始時刻で測定が開始されてもよい。ステップＳ１０７において、観察側制御回路１１０は、カウントスキャン処理を実行し、細胞３２４の数をカウントする。カウントスキャン処理の詳細は後述する。その後、処理はステップＳ１０８へ進む。

ステップＳ１０８において、観察側制御回路１１０は、例えばコントローラ２００から、特定位置情報を受信したか否かを判定する。特定位置情報は、ユーザが指示する観察位置又は観察範囲を示す位置情報である。処理は、特定位置情報を受信したと判定された場合はステップＳ１０９へ進み、受信したと判定されなかった場合はステップＳ１１０へ進む。ステップＳ１０９において、観察側制御回路１１０は、特定位置情報に基づいて、観察処理を実行する。観察処理の詳細は後述する。その後、処理はステップＳ１１０へ進む。

ステップＳ１１０において、観察側制御回路１１０は、例えばコントローラ２００がユーザの操作に応じて出力する制御信号に基づいて、観察又は測定に係る処理を終了するか否かを判定する。処理は、終了すると判定された場合はステップＳ１１１へ進み、終了しないと判定された場合はステップＳ１０４へ戻る。

ステップＳ１１１において、観察側制御回路１１０は、例えばコントローラ２００から観察結果又は測定結果を要求する制御信号を受信したか否かを判定する。観察結果又は測定結果は、例えば測定における計測値、取得画像、撮像位置、解析結果等の観察装置１００で得られた各種データを含む。撮像位置は、撮像位置のＸ座標、Ｙ座標及びＺ座標を含む。処理は、観察結果又は測定結果を要求する制御信号を受信したと判定された場合はステップＳ１１２へ進み、受信したと判定されなかった場合はステップＳ１０１へ戻る。

ステップＳ１１２において、観察側制御回路１１０は、例えばステップＳ１０５で設定された送信先に、取得画像等の各種観察や測定で取得された結果、当該結果を解析して取得された解析結果等を送信する。なお、ここで送信される情報には、画像処理回路１２０によって、既取得情報に補足情報が補われて生成された画像表示範囲に相当する画像データが含まれ得る。ただし、画像データの生成は、コントローラ２００等の送信先で行われてもよい。その後、処理はステップＳ１０１へ戻る。

ここで、コントローラ２００で行われるコントローラ制御処理の一例をフローチャートとして図５に示し、これを参照して観察システム１の動作について説明をする。図５のフローチャートに示す処理は、例えば観察装置１００が通信待機している状態で開始する。なお、以下の説明は、図４を参照して上述した観察装置制御処理との対応を示しながら行う。

ステップＳ２０１において、コントローラ側制御回路２１０は、例えば、コントローラ２００が備える各種機能をテキスト、アイコン等でユーザに提示する表示情報を生成し、表示装置２７２に表示させる。

ステップＳ２０２において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、検査アプリの起動が指示されたか否かを判定する。ここで、当該検査アプリは、観察装置１００と互いに通信して観察装置１００の制御を行うためのプログラムを有するアプリケーションソフトウェアである。処理は、検査アプリの起動が指示されたと判定された場合はステップＳ２０３へ進み、判定されなかった場合はステップＳ２０１に戻る。なお、コントローラ２００は例えばタブレットＰＣやスマートフォンであり、本ステップでは、検査アプリの他に、電話アプリやメールアプリが選択され得る。以下の説明では、検査アプリが選択された場合のみを例として説明を行う。

ステップＳ２０３において、コントローラ側制御回路２１０は、指定カメラにアクセスする。当該指定カメラは、例えばステップＳ２０２で選択された検査アプリで制御する対象の撮像装置である。以下、本実施形態では、当該指定カメラは観察装置１００であるとして説明を続ける。

ステップＳ２０４において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザが観察装置１００の電源をオンとする操作又は観察装置１００の電源をオフとする操作（撮像ＯＮ／ＯＦＦ操作）を行ったか否かを判定する。処理は、撮像ＯＮ／ＯＦＦ操作が行われたと判定された場合はステップＳ２０５へ進み、判定されなかった場合はステップＳ２０６へ進む。

ステップＳ２０５において、コントローラ側制御回路２１０は、ステップＳ２０４で検出したユーザの撮像ＯＮ／ＯＦＦ操作の結果に基づき、観察装置１００の電源をオンとする電源ＯＮ信号又は観察装置１００の電源をオフとする電源ＯＦＦ信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、処理はステップＳ２０３へ戻る。なお、本ステップの処理はステップＳ１０２及びステップＳ１０３に対応する。

ステップＳ２０６において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザによって観察装置１００が取得した画像等の観察結果又は測定結果の送信先に係る情報、撮影条件、測定条件、各種パラメータを含む各種設定が行われたか否かを判定する。処理は、各種設定が行われたと判定された場合はステップＳ２０７へ進み、判定されなかった場合はステップＳ２０８へ進む。

ステップＳ２０７において、コントローラ側制御回路２１０は、ステップＳ２０６で検出した各種設定に係る制御信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、処理はステップＳ２０８へ進む。なお、本ステップの処理はステップＳ１０４乃至ステップＳ１０５に対応する。

ステップＳ２０８において、コントローラ側制御回路２１０は、例えばユーザ操作の結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザがカウントスキャン処理の実行を指示したか否かを判定する。処理は、カウントスキャン処理の実行が指示されたと判定された場合はステップＳ２０９へ進み、判定されなかった場合はステップＳ２１０へ進む。

ステップＳ２０９において、コントローラ側制御回路２１０は、カウントスキャン処理の実行を指示する制御信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、処理はステップＳ２１０へ進む。なお、本ステップの処理はステップＳ１０６及びステップＳ１０７に対応する。

ステップＳ２１０において、コントローラ側制御回路２１０は、例えばユーザ操作の結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザが観察又は測定を実行させる特定位置の設定（マニュアル位置設定）を行ったか否かの判定を行う。この判定は、ユーザが特定位置における観察処理の実行を指示したか否かの判定とも表現できる。また、コントローラ側制御回路２１０は、ユーザによってズームアップ又はズームダウンを指示するズーム操作が行われたか否かの判定も行う。処理は、マニュアル位置設定又はズーム操作が行われたと判定された場合はステップＳ２１１へ進み、判定されなかった場合はステップＳ２１４へ進む。なお、本ステップの処理はステップＳ１０８及びステップＳ１０９に対応する。

ここで、ズームアップを指示するズーム操作（拡大操作）の一例と画像表示範囲について説明するための模式図を図６Ａ及び図６Ｂに示す。また、ズームダウンを指示するズーム操作（縮小操作）の一例と画像表示範囲について説明するための模式図を図７Ａ及び図７Ｂに示す。なお、ここでは、コントローラ２００の備える入力装置２７４は、表示装置２７２上に配置されたタッチパネルである場合を例として説明をする。また、コントローラ２００は、例えば、机上等に置かれていたり、ユーザＵ１に左手で把持されていたりする。また、ユーザＵ１は右手でコントローラ２００を操作するとする。例えば、図６Ａ及び図７Ａに示すように、コントローラ２００の表示装置２７２に、細胞３２４を撮像した撮像画像データＩ１が表示されているとする。この場合、撮像画像データＩ１は、画像表示範囲ＩＲ１に相当する画像データである。

例えば、ユーザＵ１は、図６Ｂに示すような画像表示範囲ＩＲ２に相当する画像データＩ２を取得して、細胞３２４についてより詳細に観察したい場合がある。この場合、ユーザＵ１は、図６Ａに示すように、タッチパネル上で右手親指Ｕ１１と右手人差指Ｕ１２との間隔を広げるように動かすことによって、ズームアップを指示するズーム操作（拡大操作）を行う。なお、このようなユーザ操作をピンチ操作と表現してもよい。ズームアップ時のピンチ操作は、ピンチアウト操作である。

一方で、例えば、ユーザＵ１は、図７Ｂに示すような画像表示範囲ＩＲ３に相当する画像データＩ３を取得して、細胞３２４の周囲について観察したい場合がある。この場合、ユーザＵ１は、図７Ａに示すように、タッチパネル上で右手親指Ｕ１１と右手人差指Ｕ１２との間隔を狭めるように動かすことによって、ズームダウンを指示するズーム操作（縮小操作）を行う。なお、ズームダウン時のピンチ操作は、ピンチイン操作である。

本実施形態では、このような操作は、ユーザが無意識にでも行う直感的操作であると考える。すなわち、このような操作は、現状の表示画像に対して何らかの満足がないとユーザが感じた場合に行われ得る。この場合、このような操作は、例えば、画像を拡大したりして、もっと細かく見たいというユーザのニーズや意志が表現された操作であると考えることができる。また、このような操作は、例えば、画像を縮小したりして、もっと包括的に確認したいというユーザのニーズや意思を、表現する操作であるとも考えることができる。本実施形態に係る技術は、このようなユーザのニーズをくみ取って、表示形態に反映させることで、ユーザの満足度を向上させることができる。もちろん、上述したようなユーザ操作は、無意識に行われる操作である必要はない。特定の効果があると分かれば、ユーザが意識的に上述したような操作を行い、より良い確認に応用することは十分想定可能である。本実施形態に係る技術を用いれば、こうした直感的な操作で、様々な表示が現れるので、ユーザは、本来ならたくさんの操作をしなければならない表示の切り替えがワンタッチで出来る。

ここで、再び図５を参照して、コントローラ制御処理について説明を続ける。ステップＳ２１１において、コントローラ側制御回路２１０は、ステップＳ２１０で行われたと判定された操作がズーム操作（拡大又は縮小を指示する操作）であるか否かを判定する。処理は、ズーム操作であると判定された場合はステップＳ２１２へ進み、判定されなかった場合、すなわち、ステップＳ２１０で行われたと判定された操作がマニュアル位置設定である場合はステップＳ２１３へ進む。

ステップＳ２１２において、コントローラ側制御回路２１０は、遷移表示を行う。ズームアップ又はズームダウンの指示に伴って画像表示範囲ＩＲ１が、画像表示範囲ＩＲ２又は画像表示範囲ＩＲ３へと変更された場合、画像表示範囲構成情報に情報不足が生じ得る。そのため、ズーム操作に応じた画像表示範囲ＩＲ２に相当する画像データＩ２又は画像表示範囲ＩＲ３に相当する画像データＩ３が生成されるまでの間、コントローラ側制御回路２１０は、疑似的な画像データＩ２又は画像データＩ３である遷移画像データを生成して、表示装置２７２に表示させる。例えば、ズームアップ時には、画像処理回路１２０は、更新された画像表示範囲ＩＲ２に合わせて既取得の撮像画像データＩ１を引き伸ばして遷移画像データを生成する。例えば、ズームダウン時には、画像処理回路１２０は、既取得の撮像画像データＩ１を画像表示範囲ＩＲ３に応じて縮小して生成する画像データと、透明度を上げる画像処理が施された既取得の撮像画像データＩ１とを重畳させて遷移画像データを生成する。本実施形態に係る遷移表示は、ユーザの直感的な操作によって生じた情報不足を補う補足情報を、撮像部１５１を機械的に移動させながら撮像させて取得する際の画像データ表示の遅延に対するものである。このような遷移表示によって、ユーザＵ１は、操作に応じたコントローラ２００の反応を得ることができる。そのため、このような遷移表示は、ユーザの操作感を向上させることができる。なお、デジタルズーム処理で対応できるズーム指示であった場合には、遷移表示は行われなくてもよい。

ステップＳ２１３において、コントローラ側制御回路２１０は、ユーザが設定した特定位置に係る情報（特定位置情報）を含む信号を生成して、観察装置１００へ送信する。また、コントローラ側制御回路２１０は、画像表示範囲を指示するための制御信号を生成して、観察装置１００へ送信させる。また、当該制御信号には、情報不足がある場合には、補足撮像位置で撮像させるための制御信号が含まれる。その後、処理はステップＳ２１４へ進む。なお、本ステップの処理はステップＳ１０８乃至ステップＳ１０９に対応する。

ステップＳ２１４において、コントローラ側制御回路２１０は、情報不足を補う補足情報（補足画像データ）、観察結果、測定結果等を受信したか否かを判定する。処理は、受信したと判定された場合はステップＳ２１５へ進み、判定されなかった場合はステップＳ２１６へ進む。

ステップＳ２１５において、コントローラ側制御回路２１０は、観察装置１００で取得された補足情報、観察結果、測定結果等を取得し、画像データを表示装置２７２へ表示させる。画像データは、既取得情報に補足情報が補足されて生成される。なお、画像データの生成、すなわち、既取得情報への補足情報の補足は、観察装置１００で行われてもよいし、コントローラ２００で行われてもよい。ここで表示される画像データは、画像表示範囲ＩＲ２に相当する画像データＩ２である超解像画像データと、画像表示範囲ＩＲ３に相当する画像データＩ３である広範囲画像データとを含む。なお、ここで表示される画像データは、画像やドキュメントとしてファイル化されてもよい。また、ファイル化の処理は、本ステップで行われてもよい。

なお、当該測定結果は、例えばステップＳ２０６で設定された観察装置１００の測定結果の送信先から取得されることになる。すなわち、当該測定結果は、設定に応じて、観察装置１００から直接取得されてもよいし、サーバ等の観察装置１００による測定結果の出力先を介して取得されてもよい。その後、処理はステップＳ２１６へ進む。なお、本ステップの処理はステップＳ１１１乃至ステップＳ１１２に対応する。

ステップＳ２１６において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて、検査アプリを終了するか否かを判定する。処理は、終了すると判定された場合は当該検査アプリを終了してステップＳ２０１へ戻り、終了しないと判定された場合はステップＳ２０３へ戻る。なお、観察装置１００との接続が継続している状態の場合には、ステップＳ２０３では処理が行われなくてもよいし、ステップＳ２０４へ戻ってもよい。

ここで、観察装置制御処理のステップＳ１０７におけるカウントスキャン処理の一例をフローチャートとして図８に示し、これを参照して観察システム１のカウントスキャン処理時の動作について説明をする。

ステップＳ３０１において、観察側制御回路１１０は、例えば観察側記録回路１３０に記録されているカウントスキャン処理情報に基づいて、カウントスキャンを開始するための事前処理を実行する。当該事前処理において、観察側制御回路１１０は、画像取得ユニット１５０を移動機構１６０に移動させてカウントスキャンのＸＹ開始位置に戻す。また、観察側制御回路１１０は、撮像光学系１５２及び撮像素子１５３、又は移動機構１６０の動作を制御して、Ｚ方向の初期位置からカウントスキャンを開始できるようにする。その後、観察側制御回路１１０は、カウントスキャンを開始する。

ここで、本実施形態に係るカウントスキャン処理情報として記録される情報の一例を図９に示し、これを参照してカウントスキャン処理情報として記録される情報について説明をする。当該情報は、例えば予め設定されていたり、観察装置制御処理のステップＳ１０５で設定されたりする。

図９に示すように、カウントスキャン処理情報は、カウントスキャンパターンに係る情報ＣＳＰと、カウントスキャン処理の実行に係る情報ＣＳＪと、カウントスキャン処理によって得られた情報ＣＳＲとを含む。カウントスキャンパターンに係る情報ＣＳＰは、例えばカウントスキャンの開始条件ＣＳＰ１、開始位置ＣＳＰ２、終了条件ＣＳＰ３、第１のＸ移動ピッチＣＳＰ５、第１のＹ移動ピッチＣＳＰ６、Ｘ方向の移動からＹ方向の移動へと切り替える条件である第１のＸ→Ｙ条件ＣＳＰ１０、Ｙ方向の移動からＸ方向の移動へと切り替える条件である第１のＹ→Ｘ条件ＣＳＰ１１を含む。ここで、例えば第１のＸ移動ピッチＣＳＰ５はＸ方向への移動（撮像）間隔であり、第１のＹ移動ピッチＣＳＰ６はＹ方向への移動（撮像）間隔である。本実施形態に係る画像取得ユニット１５０は、これら移動ピッチ毎に撮像して画像を取得することになる。カウントスキャン処理の実行に係る情報ＣＳＪは、例えば観察不良等を判定する判定条件である第１のＮＧ判定条件ＣＳＪ１、例えば第１のＮＧ判定条件ＣＳＪ１によって観察不良であると判定された場合等にカウントスキャンを再実施するか否かを判定する判定条件である第１の再トライ判定条件ＣＳＪ２を含む。カウントスキャン処理によって得られた情報ＣＳＲは、例えばカウントスキャン処理で取得された各々の画像に紐付けられて記録される。例えば、第１の結果ＣＳＲ１は、第１のコマＣＳＲ１１と、第１のコマＣＳＲ１１が取得された際の第１の時刻ＣＳＲ１２、第１のＡＦ情報ＣＳＲ１３及び第１の撮影条件ＣＳＲ１４とを含む。なお、撮影条件は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、測定毎に異なっていてもよいし、全ての撮影で共通であってもよい。また、当該情報は、画像が取得された位置の情報、細胞３２４の数をカウントした結果等を含んでいてもよい。

ここで、本実施形態に係るカウントスキャン処理における画像取得ユニット１５０の移動パターンの一例について模式図として図１０に示し、これを参照してカウントスキャンにおける画像取得ユニット１５０の移動について説明をする。ここでは、画像取得ユニット１５０が、図１０中に示す線ＣＬ１上を移動させられながらカウントスキャン処理が実行される場合を例として説明をする。

図１０に示すように、観察側制御回路１１０は、画像取得ユニット１５０を開始位置ＣＰ１に移動させ、画像を取得させる。観察側制御回路１１０は、画像取得ユニット１５０をＹ方向へ第１のＹ移動ピッチだけ移動させ、移動後の位置において画像を取得させる。その後、観察側制御回路１１０は、例えば画像取得ユニット１５０が点ＣＰ２の示す位置に存在するなど、第１のＹ→Ｘ条件ＣＳＰ１１に該当する状態であると判定されるまで、画像の取得と画像取得ユニット１５０の移動とを繰り返す。観察側制御回路１１０は、第１のＹ→Ｘ条件ＣＳＰ１１に該当する状態であると判定された場合には、画像取得ユニット１５０を移動させる方向をＹ方向からＸ方向へ切り替える。移動方向がＹ方向へと切り替えられた後には、観察側制御回路１１０は、例えば画像取得ユニット１５０が点ＣＰ３の示す位置に存在するなど、第１のＸ→Ｙ条件ＣＳＰ１０に該当する状態であると判定されるまで、画像取得ユニット１５０を第１のＸ移動ピッチだけ移動させて画像を取得させる処理を繰り返す。このようにして、観察側制御回路１１０は、画像取得ユニット１５０が点ＣＰ１０に到達した場合等、終了条件ＣＳＰ３が満たされたと判定されるまでカウントスキャン処理を続ける。

ここで、再び図８を参照して観察システム１のカウントスキャン処理時の動作について説明を続ける。

ステップＳ３０２において、観察側制御回路１１０は、カウントスキャンの状態を判定する。当該判定では、例えば、画像処理回路１２０が撮像した画像を解析して観察不良を検出した場合、移動機構１６０が動作不良を検出した場合等に、カウントスキャンの再実施が必要であると判定される。当該判定の条件は、図９に示すように、カウントスキャン処理情報として例えば観察側記録回路１３０に記録されている。なお、カウントスキャン時に取得される画像をコントローラ２００へ送信して、コントローラ２００で行われるライブビュー（ＬＶ）表示に基づいてユーザが判断する仕様も考えられる。処理は、カウントスキャンの再実施が必要であると判定された場合はステップＳ３０３へ進み、判定されなかった場合はステップＳ３０４へ進む。

ステップＳ３０３において、観察側制御回路１１０は、ステップＳ３０２での判定結果に応じて、カウントスキャンにおいて観察不良等が発生している旨、カウントスキャンの再実施が必要である旨等をユーザへ警告させるための制御信号を生成し、コントローラ２００へ送信する。その後、処理はステップＳ３０１へ戻る。

なお、ステップＳ３０１へ戻った後に行われるカウントスキャン処理は、例えばステップＳ３０２における判定の結果に応じて、画像取得ユニット１５０が開始位置まで戻されて再実施されたり、現在の位置から再実施されたりする。

ステップＳ３０４において、観察側制御回路１１０は、例えば、カウントスキャン処理情報として例えば観察側記録回路１３０に記録されている終了条件ＣＳＰ３に基づいて、所定の全域におけるカウントスキャンが終了したか否かを判定する。処理は、全域終了したと判定された場合はステップＳ３０９へ進み、判定されなかった場合はステップＳ３０５へ進む。

ステップＳ３０５において、観察側制御回路１１０は、撮像部１５１に注目被写体である細胞３２４に対して焦点調節（ＡＦ）を行わせ、また、撮像動作を行わせて画像を取得させる。また、観察側制御回路１１０は、図９を参照して上述したように取得した画像等を観察側通信装置１４０に予め設定された送信先へ送信させる。送信された画像は、送信先で画像処理が施されたり、解析に用いられたりする。例えば、画像に基づいた解析では、細胞３２４又は細胞群の数がカウントされる。このような解析等は、コントローラ２００で行われてもよいし、例えばクラウド等のネットワーク上のサーバが備える画像処理回路等、観察システム１の外部で行われてもよい。また、外部で実行された細胞カウントの結果は、観察装置１００又はコントローラ２００へ送信され、観察側記録回路１３０又はコントローラ側記録回路２３０へ記録される。また、細胞カウントは、全域のカウントスキャン処理が終了した後に、取得された画像に基づいて合成された広範囲の高画素画像に基づいて行われてもよい。この場合、広範囲の高画素画像は、観察装置１００の外部で生成されてもよい。その後、処理はステップＳ３０６へ進む。

ステップＳ３０６において、観察側制御回路１１０は、現在の状態がカウントスキャン処理情報として記録されている第１のＸ→Ｙ条件ＣＳＰ１０又は第１のＹ→Ｘ条件ＣＳＰ１１を満たす状態であるか否かを判定する。処理は、第１のＸ→Ｙ条件ＣＳＰ１０又は第１のＹ→Ｘ条件ＣＳＰ１１を満たす状態であると判定された場合はステップＳ３０７へ進み、判定されなかった場合はステップＳ３０８へ進む。

ステップＳ３０７において、観察側制御回路１１０は、ステップＳ３０６での判定の結果に応じて、画像取得ユニット１５０を移動させる方向を切り替える。その後、処理はステップＳ３０８へ進む。

ステップＳ３０８において、観察側制御回路１１０は、その時点での移動方向に応じて、第１のＸ移動ピッチ又は第１のＹ移動ピッチだけ画像取得ユニット１５０を移動させる。その後、処理はステップＳ３０２へ戻る。

ステップＳ３０９において、観察側制御回路１１０は、ステップＳ３０４において全域でカウントスキャンが終了したと判定されたことに応じて、観察側通信装置１４０にコントローラ２００へ終了信号を送信させる。その後、処理は、カウントスキャン処理を終了し、観察装置制御処理のステップＳ１０８へ進む。

ここで、観察装置制御処理のステップＳ１０９における観察処理の一例をフローチャートとして図１１に示し、これを参照して観察システム１の観察処理時の動作について説明をする。

ステップＳ４０１において、観察側制御回路１１０は、ステップＳ１０８で受信した特定位置情報に基づいて、移動機構１６０に撮像部１５１を当該特定位置へ移動させる。観察側制御回路１１０は、当該特定位置で撮像部１５１に撮像させて、画像を取得させる。観察側制御回路１１０は、観察側通信装置１４０に取得した画像をコントローラ２００へ送信させる。

ステップＳ４０２において、観察側制御回路１１０は、ズームアップを指示するユーザ操作（拡大操作）に係る制御信号（拡大指示）を、コントローラ２００から受信したか否かを判定する。処理は、拡大指示を受信したと判定された場合はステップＳ４０３へ進み、判定されなかった場合はステップＳ４０４へ進む。

ステップＳ４０３において、観察側制御回路１１０は、拡大時補足情報取得処理を実行する。拡大時補足情報取得処理の詳細は後述する。拡大時補足情報取得処理の終了後、処理は、観察処理を終了して観察装置制御処理のステップＳ１１０へ進む。

ステップＳ４０４において、観察側制御回路１１０は、ズームダウンを指示するユーザ操作（縮小操作）に係る制御信号（縮小指示）を、コントローラ２００から受信したか否かを判定する。処理は、縮小指示を受信したと判定された場合はステップＳ４０５へ進み、判定されなかった場合は観察処理を終了して観察装置制御処理のステップＳ１１０へ進む。

ステップＳ４０５において、観察側制御回路１１０は、縮小時補足情報取得処理を実行する。縮小時補足情報取得処理の詳細は後述する。縮小時補足情報取得処理の終了後、処理は、観察処理を終了して観察装置制御処理のステップＳ１１０へ進む。

ここで、観察処理のステップＳ４０３における拡大時補足情報取得処理の一例をフローチャートとして図１２に示す。また、拡大時補足情報取得処理における画像取得ユニット１５０の移動パターンの一例を図１３に模式図として示す。これらを参照して観察システム１の拡大時補足情報取得処理における動作について説明をする。

ステップＳ５０１において、観察側制御回路１１０は、ズームアップに伴う情報不足を補う補足情報の取得を開始するための事前処理を実行する。画像表示範囲設定部１１１は、ステップＳ４０２で取得された拡大指示に応じて、画像表示範囲ＩＲ２を設定する。撮像位置設定部１１２は、観察側記録回路１３０に記録されているＴ移動パターンを読み出す。撮像位置設定部１１２は、図１３に示すように、特定位置Ｐ１０（現在位置）を画像表示範囲ＩＲ２の基準として設定する。撮像位置設定部１１２は、設定された画像表示範囲ＩＲ２と、撮像範囲と、Ｔ移動パターンとに基づいて、複数の撮像位置（補足撮像位置）及び画像取得ユニット１５０の移動経路を設定する。本実施形態に係るＴ移動パターンは、特定位置Ｐ１０を開始位置として、補足撮像位置Ｐ１１と、補足撮像位置Ｐ１２と、補足撮像位置Ｐ１３と、補足撮像位置Ｐ１４とを通過する移動経路である。補足撮像位置Ｐ１１は、特定位置Ｐ１０に対してＹ＋方向に例えば０．５画素ずれた位置である。補足撮像位置Ｐ１２は、特定位置Ｐ１０に対してＹ−方向に例えば０．５画素ずれた位置である。補足撮像位置Ｐ１３は、特定位置Ｐ１０に対してＸ−方向に例えば０．５画素ずれた位置である。補足撮像位置Ｐ１４は、特定位置Ｐ１０に対してＸ＋方向に例えば０．５画素ずれた位置である。これらの補足撮像位置で撮像することで取得される撮像画像データ（補足画像データ）は、情報不足範囲に相当する画像データ（補足情報）である。このとき、情報不足範囲は、情報不足範囲ＩＲ１１と、情報不足範囲ＩＲ１２と、情報不足範囲ＩＲ１３と、情報不足範囲ＩＲ１４とを含む。なお、観察処理のステップＳ４０１において、特定位置Ｐ１０を撮像位置とした撮像が行われているため、図１３に示すように、変更される前の画像表示範囲ＩＲ１は既取得範囲である。

ステップＳ５０２において、観察側制御回路１１０は、設定された補足撮像位置での撮像が全て終了したか否かを判定する。処理は、設定された補足撮像位置での撮像が全て終了したと判定された場合はステップＳ５０４へ進み、判定されなかった場合はステップＳ５０３へ進む。

ステップＳ５０３において、位置制御部１１３は、移動機構１６０に画像取得ユニット１５０を次の補足撮像位置へ移動させる。なお、上述したように、本実施形態に係る各々の補足撮像位置と、基準とした特定位置Ｐ１０との間の距離（Ｔ移動ピッチ）は、例えば０．５画素であるが、これに限らない。Ｔ移動ピッチは、既取得の画像データから切り出すだけでは不足する画素あたりの情報を補うに足る距離であればよく、例えば１画素未満であればよい。その後、処理はステップＳ５０２へ戻り、ステップＳ５０２において設定された補足撮像位置での撮像が全て終了したと判定されるまで、ステップＳ５０２及びステップＳ５０３の処理を繰り返す。

ステップＳ５０４において、観察側制御回路１１０は、画像処理回路１２０に、既取得範囲に係る情報（既取得画像データ）と、補足情報（補足画像データ）とに基づいた超解像処理を実行させ、設定された画像表示範囲ＩＲ２に相当する画像データＩ２（超解像画像データ）を生成させる。また、観察側制御回路１１０は、観察側通信装置１４０に、生成された画像表示範囲ＩＲ２に相当する画像データＩ２（超解像画像データ）をコントローラ２００へ送信させる。その後、処理は拡大時補足情報取得処理を終了する。

このように、本実施形態に係る拡大時補足情報取得処理では、観察システム１は、画素あたりの情報を補足する補足情報を取得する。観察システム１は、このように画素あたりの情報量を増やすことで、ユーザの拡大操作に伴う情報不足を補い、ユーザの拡大操作に応じた画像データを生成できる。すなわち、観察システム１は、単にユーザ操作に応じた画像表示範囲を繰り返し撮像させて画像データを取得するだけではない。観察システム１は、ユーザ操作に応じた画像表示範囲において、既取得の画像データから切り出すだけでは不足する画素あたりの情報を補うために、画像取得ユニット１５０を実際に動かして補足情報を取得し、既取得の画像データを確保しながら、既取得の画像データに補足情報を補っていくものである。

ここで、観察処理のステップＳ４０５における縮小時補足情報取得処理の一例をフローチャートとして図１４に示す。また、縮小時補足情報取得処理における画像取得ユニット１５０の移動パターンの一例を図１５に模式図として示す。これらを参照して観察システム１の縮小時補足情報取得処理における動作について説明をする。

ステップＳ６０１において、観察側制御回路１１０は、ズームダウンに伴う情報不足を補う補足情報の取得を開始するための事前処理を実行する。画像表示範囲設定部１１１は、ステップＳ４０４で取得された縮小指示に応じて、画像表示範囲ＩＲ３を設定する。撮像位置設定部１１２は、観察側記録回路１３０に記録されているＷ移動パターンを読み出す。撮像位置設定部１１２は、図１５に示すように、特定位置Ｐ２０（現在位置）を基準として設定する。撮像位置設定部１１２は、設定された画像表示範囲ＩＲ３と、撮像範囲と、Ｗ移動パターンとに基づいて、複数の撮像位置（補足撮像位置）及び画像取得ユニット１５０の移動経路を設定する。本実施形態に係るＷ移動パターンは、特定位置Ｐ２０を開始位置として、補足撮像位置Ｐ２１乃至補足撮像位置Ｐ２８の８箇所の補足撮像位置を通過する移動経路である。補足撮像位置Ｐ２１は、特定位置Ｐ２０に対してＹ＋方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２２は、補足撮像位置Ｐ２１に対してＸ＋方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２３は、補足撮像位置Ｐ２２に対してＹ−方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２４は、補足撮像位置Ｐ２３に対してＹ−方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２５は、補足撮像位置Ｐ２４に対してＸ−方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２６は、補足撮像位置Ｐ２５に対してＸ−方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２７は、補足撮像位置Ｐ２６に対してＹ＋方向に例えば１画像ずれた位置である。補足撮像位置Ｐ２８は、補足撮像位置Ｐ２７に対してＹ＋方向に例えば１画像ずれた位置である。なお、縮小時補足情報取得処理の場合、画像表示範囲が大きくなるほどに補足撮像位置の数が増える。これらの補足撮像位置で撮像することで取得される撮像画像データ（補足画像データＩ３１乃至補足画像データＩ３８）は、例えば図７Ｂに示すように、情報不足範囲に相当する画像データ（補足情報）である。このとき、情報不足範囲は、情報不足範囲ＩＲ２１と、情報不足範囲ＩＲ２２と、情報不足範囲ＩＲ２３と、情報不足範囲ＩＲ２４とを含む。なお、観察処理のステップＳ４０１において、特定位置Ｐ２０を撮像位置とした撮像が行われているため、図１５に示すように、変更される前の画像表示範囲ＩＲ１は既取得範囲である。なお、補足画像データ間には撮像範囲の重複があってもよい。画像処理回路１２０は、補足画像データに対してトリミング処理を施し、補足画像データ間で重複している補足情報を省く。

ステップＳ６０２において、観察側制御回路１１０は、設定された補足撮像位置での撮像が全て終了したか否かを判定する。処理は、設定された補足撮像位置での撮像が全て終了したと判定された場合はステップＳ６０４へ進み、判定されなかった場合はステップＳ６０３へ進む。

ステップＳ６０３において、位置制御部１１３は、移動機構１６０に画像取得ユニット１５０を次の補足撮像位置へ移動させる。本実施形態に係る各々の補足撮像位置と、基準とした特定位置Ｐ２０との間の距離は、例えば１画像（撮像範囲）に相当する距離である。その後、処理はステップＳ６０２へ戻り、ステップＳ６０２において設定された補足撮像位置での撮像が全て終了したと判定されるまで、ステップＳ６０２及びステップＳ６０３の処理を繰り返す。

ステップＳ６０４において、観察側制御回路１１０は、画像処理回路１２０に、既取得範囲に係る情報（既取得画像データ）と、補足情報（補足画像データ）とを貼り合わせる画像処理を実行させ、設定された画像表示範囲ＩＲ３に相当する画像データＩ３（広範囲画像データ）を生成させる。また、観察側制御回路１１０は、観察側通信装置１４０に、生成された画像表示範囲ＩＲ３に相当する画像データＩ３（広範囲画像データ）をコントローラ２００へ送信させる。その後、処理は縮小時補足情報取得処理を終了する。

このように、本実施形態に係る縮小時補足情報取得処理では、観察システム１は、既取得範囲の周囲の画素情報を補足する補足情報を取得する。観察システム１は、このように既取得範囲の周囲の情報量を増やすことで、ユーザの縮小操作に伴う情報不足を補い、ユーザの縮小操作に応じた画像データを生成できる。すなわち、観察システム１は、単にユーザ操作に応じた画像表示範囲を繰り返し撮像させて画像データを取得するだけではない。観察システム１は、ユーザ操作に応じた画像表示範囲において、既取得の画像データでは不足している周囲の情報を補うために、画像取得ユニット１５０を実際に動かして補足情報を取得し、既取得の画像データを確保しながら、既取得の画像データに補足情報を補っていくものである。

＜観察システムの利点＞
本実施形態に係る観察システム１は、ユーザのズーム操作に応じて画像表示範囲を設定し、設定された画像表示範囲に相当する画像データを生成する。本実施形態に係る観察システム１は、ズーム操作に応じた画像表示範囲の変化に伴って画像表示範囲構成情報に情報不足が生じているか否かを判定する。情報不足が生じている場合には、情報不足範囲に相当する補足画像データ（補足情報）を取得するために、本実施形態に係る観察システム１は、撮像部１５１と試料３００との相対位置を変化させながら撮像部１５１に撮像させる。本実施形態に係る観察システム１は、既取得の画像データ（既取得情報）に補足画像データ（補足情報）を補い、設定された画像表示範囲に相当する画像データを生成する。

このようにして、本実施形態に係る観察システム１は、ユーザのズーム操作に伴って発生した情報不足を判定して、通常の光学ズームや電子ズームだけでは取得できない情報を補う補足情報を取得できる。したがって、ユーザは、本実施形態に係る観察システム１を使用すれば、ズームアップ、ズームダウン等を指示する直感的な操作を行うだけで、撮影指示等の操作を行う必要なく、既取得情報に補足情報が補われて生成された画像データを取得することができる。

なお、本実施形態に係る観察システム１は、既取得情報に補足情報を補足してユーザ操作に応じた画像データを生成する。この際、観察システム１は、ズームダウン操作後に生成される画像データにおいて、ズーム操作前の画像データの範囲（既取得範囲）を明示するようにしてもよい。例えば、ズーム操作後に表示される画像データには、ズーム操作前に表示されていた画像データの示す画像表示範囲が枠線で示される。また、観察システム１は、ズームアップ操作後に生成される画像データに、ズーム操作前の画像表示範囲に対するズーム操作後の画像表示範囲を枠線で示したマップを重畳させてもよい。このような構成において、ユーザは、本実施形態に係る観察システム１を使用すれば、既取得情報と、補足情報が補足された現在の情報との対応を容易に把握できる。

なお、本実施形態では、ユーザのズーム操作に応じた画像データが観察装置１００で生成される場合を例として説明したが、これに限らない。ユーザのズーム操作に応じた画像データは、コントローラ２００等の、観察装置１００の設定された送信先において生成されてもよい。すなわち、コントローラ２００は、画像処理回路１２０に相当する画像処理回路を備えていてもよい。

なお、本実施形態では、ピンチ操作によってズーム操作が行われる場合を例として説明をしたが、これに限らない。例えば、本技術は、電子コンパスやジャイロセンサを備える撮像装置であれば、ユーザによって動かされた方向にズームアップ又はズームダウンする撮像装置も実現できる。また、例えば、本技術は、ユーザの動きを検知して、ユーザが表示装置を覗き込む動作をした場合にはズームアップをする撮像装置も実現できる。ユーザの動きは、例えばヘッドマウントディスプレイや、眼鏡型ディスプレイ等、ユーザに固定されて使用される撮像装置によって取得されてもよいし、外部カメラによって取得されてもよい。

なお、本実施形態では、このような操作は、ユーザが無意識にでも行う直感的操作であると考える。すなわち、このような操作は、現状の表示画像に対して何らかの満足がないとユーザが感じた場合に行われ得る。この場合、このような操作は、例えば、画像を拡大したりして、もっと細かく見たいというユーザのニーズや位置が表現された操作であると考えることができる。また、このような操作は、例えば、画像を縮小したりして、もっと包括的に確認したいというユーザのニーズや意思を、表現する操作であるとも考えることができる。本実施形態に係る技術は、このようなユーザのニーズをくみ取って、表示形態に反映させることで、ユーザの満足度を向上させることができる。もちろん、上述したようなユーザ操作は、無意識に行われる操作である必要はない。特定の効果があると分かれば、ユーザが意識的に上述したような操作を行い、より良い確認に応用することは十分想定可能である。本実施形態に係る技術を用いれば、こうした直感的な操作で、様々な表示が現れるので、ユーザは、本来ならたくさんの操作をしなければならない表示の切り替えがワンタッチで出来る。

なお、本実施形態では、ユーザのズーム操作に着目して説明をしたが、本実施形態に係る技術の適用は、ズーム操作に限らない。本技術は、ユーザの直感的な操作に応じて生じる情報不足を判定し、情報不足を補う補足情報を取得し、補足情報が補われた既取得情報を生成できる。例えば、本技術を適用すれば、タッチパネルを押し込む操作によって三次元画像（三次元情報）を取得する撮像システムも実現できる。例えば、画像表示範囲設定部１１１は、ユーザによるタッチパネルの押し込み量や押し込み時間に応じて基準となるズーム操作前の画像表示範囲とＺ軸方向に互いに異なる画像表示範囲を設定する。画像表示範囲に相当する画像データ（三次元画像データ）は、既取得範囲（基準面）が示された立体画像でもよいし、既取得範囲に相当する画像データ（既取得情報）に対して補足画像データ（補足情報）がタイル状に積層されて表示されるものでもよい。このような場合であっても、上述と同様の効果が得られ得る。

このように、本実施形態に係る撮像装置は、撮像の対象を特定の撮像範囲、又は前記特定の撮像範囲とは異なる撮像範囲で撮像して画像信号を出力する撮像部１５１を備える装置である。このような装置であれば、撮像制御部１１４が各々の撮像範囲で撮像部１５１に撮像させることによって、様々な情報の取得が可能となる。このとき、撮像範囲は、例えば撮像部１５１の移動によって変化する。なお、撮像範囲は、複数の撮像部１５１が用意されて、複数の撮像部１５１が選択的に用いられることで変化するものであってもよい。つまり、本実施形態に係る撮像装置は、ユーザ操作に応じて画像表示範囲を設定する画像表示範囲設定部１１１を備えるため、ユーザがその表示に満足しているかどうかを判定できる。そのため、本実施形態に係る撮像装置は、例えば得られた（表示された）画像情報に不足がある場合、複数の画像データを利用してユーザのニーズに応えることが出来る。つまり、本実施形態に係る撮像装置は、各々の前記撮像範囲で取得された複数の前記画像信号を用いて、上記指定された画像表示範囲に相当する画像データを画像処理回路１２０で生成すればよい。つまり、本実施形態に係る撮像装置は、画像表示範囲に相当する画像データを、上記複数の画像信号で得られた情報を利用して得られた合成画像データとして生成することによって、ユーザの思惑通りに表示画像をリッチ化することが出来る。

［第２の実施形態］
本発明における第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。

第１の実施形態では、ユーザのズーム操作に伴って発生した情報不足を、撮像（補足情報の取得）によって補足できる観察システム１について説明をした。しかしながら、観察システム１によって取得される補足情報は、撮像して得られる画像データに限らない。そこで本実施形態では、所定量を超えるズームダウンが指示された場合に、情報不足を補うために、観察や測定で得られた結果を解析したり、分析したりして取得される観察レポートを補足情報としてさらに取得する観察システム１について説明をする。

ここで、本実施形態に係る観察処理において、所定量以上のズームダウンを指示するユーザのズーム操作が行われた場合の補足情報の取得について、図１６Ａ、図１６Ｂ及び図１６Ｃに示す模式図を参照して説明する。

例えば、コントローラ２００の表示装置２７２に、細胞３２４ａを撮像した撮像画像データＩ１が表示されているとする。この場合、撮像画像データＩ１は、画像表示範囲ＩＲ１に相当する画像データである。細胞３２４ａに異常が見られる等、ユーザが図１６Ｂに示すような画像表示範囲ＩＲ３に相当する画像データＩ３を取得して、周囲の細胞３２４の様子を確認したい場合がある。この場合、上述したように、ズームダウンを指示するズーム操作に応じて画像表示範囲ＩＲ３が設定され、補足情報が取得される。このとき、補足情報は、情報不足範囲に相当する画像データ（補足画像データＩ４１乃至補足画像データＩ４６）である。なお、第１の実施形態では、縮小時補足情報取得処理において、８箇所の補足撮像位置が設定されて８枚の補足画像データが取得される場合を例として説明をしたが、情報不足範囲によっては、図１６Ａに示すように、６箇所の補足撮像位置が設定されて６枚の補足画像データが取得されてもよい。すなわち、補足撮像位置は、情報不足範囲の大きさによって適宜決定されればよく、補足情報を取得できれば何箇所でもよい。

このような中、実行可能なズームダウン量は、画像取得ユニット１５０の可動範囲等によって制限される。また、観察装置１００とコントローラ２００との間の通信状況、観察装置１００の状態によっては、撮像による補足情報の取得ができない場合もあり得る。そこで、本実施形態に係る観察システム１は、所定量以上のズームダウン操作が指示された場合には、観察結果のレポートを補足情報として生成する。このとき、所定量以上のズームダウン操作に応じて設定される画像表示範囲ＩＲ４は、既取得情報範囲に相当する画像データＩ３と、情報不足範囲ＩＲ４１を示すレポートとを含む。当該レポートは、例えば、画像データＩ３、画像データＩ３の解析によって取得される細胞カウントの結果や撮像日時、撮像場所、観察者に係る情報等を含むレポート構成情報に基づいて生成される。また、当該レポートは、現在の情報である画像データＩ３に限らず、過去に取得された画像データ等の観察結果を要約するものであってもよい。例えば、レポートは、現在の画像データと過去の画像データとをタイル状に積層して、細胞３２４の経時変化を示すような画像データであってもよい。例えば、細胞カウントの結果の時系列データが、レポートとして示されてもよい。この場合、所定量以上のズームダウン操作は、時間方向に広範囲の情報を取得するズームダウン操作であるとも表現できる。観察システム１は、このようにして得られたレポートを、図１６Ｃのように表示してもよいし、これを画像又はその他の形式のデータとしてファイル化してもよい。なお、得られた結果を観察システム１の外部等、他の場所でも確認できるようにする応用も可能である。例えば、こうして得られた情報の一部をメタデータとして、画像等のファイルに付加（添付）するような応用も可能である。これによって検索性を向上させられる。また、検索性を向上させることによって、観察システム１で得られた情報を外部から確認したり、利用したりし易くすることができる。

ここで、本実施形態に係るコントローラ制御処理の一例をフローチャートとして図１７に示し、これを参照して本実施形態に係る観察システム１の動作について説明をする。なお、以下の説明は、図５を参照して上述した第１の実施形態に係るコントローラ制御処理との対応を示しながら行う。

ステップＳ７０１乃至ステップＳ７１１の処理は、ステップＳ２０１乃至ステップＳ２１１の処理と同様である。処理は、ステップＳ７１１において、ズーム操作（拡大又は縮小を指示する操作）が行われたと判定された場合はステップＳ７１２へ進み、判定されなかった場合はステップＳ７１４へ進む。

ステップＳ７１２において、コントローラ側制御回路２１０は、所定量以上のズームダウンを指示する操作が行われたか否かを判定する。ここで、所定以上と判定されるズームダウン量は、例えばコントローラ側記録回路２３０に予め設定されて登録されている。処理は、所定量以上のズームダウンを指示する操作が行われたと判定された場合はステップＳ７１３へ進み、判定されなかった場合はステップＳ７１４へ進む。

ステップＳ７１３において、コントローラ側制御回路２１０は、観察装置１００に関連情報を送信させるための制御信号を生成し、観察装置１００へ送信させる。ここで、関連情報は、レポート（補足情報）を含む。なお、コントローラ２００においてレポートが生成されてもよい。この場合には、関連情報は、レポートの生成に必要なレポート構成情報を含む。その後、処理はステップＳ７１６へ進む。

ステップＳ７１４及びステップＳ７１５において、コントローラ側制御回路２１０は、ステップＳ２１２及びステップＳ２１３と同様にして、遷移表示を行い、特定位置情報、補足情報を取得するための撮像を指示する制御信号等を含む信号を、観察装置１００へ送信させる。なお、レポート等の関連情報が補足された画像データが表示された状態で拡大操作が行われた場合には、コントローラ側制御回路２１０は、設定された画像表示範囲に相当する画像データを生成するために、補足画像データを撮像して取得させる指示を観察装置１００へ送信する。すなわち、本実施形態に係る観察システム１では、ユーザが画像を縮小させればレポートが生成され、レポートを拡大させれば画像が取得されることになる。その後、処理はステップＳ７１６へ進む。

ステップＳ７１６において、コントローラ側制御回路２１０は、測定結果又は関連情報を受信したか否かを判定する。処理は、測定結果又は関連情報を受信したと判定された場合はステップＳ７１７へ進み、判定されなかった場合はステップＳ７１８へ進む。

ステップＳ７１７において、コントローラ側制御回路２１０は、ステップＳ２１５と同様にして、観察装置１００で取得された補足情報、観察結果、測定結果等を取得し、画像データを表示装置２７２へ表示させる。ここでの画像データの表示は、例えば予め設定されて観察側記録回路１３０に記録されているレイアウト情報に従って行われる。ここでレイアウト情報に従って表示される画像データは、画像表示範囲ＩＲ２に相当する画像データＩ２である超解像画像データと、画像表示範囲ＩＲ３に相当する画像データＩ３である広範囲画像データと、画像表示範囲ＩＲ４に相当する画像データＩ４を含む。なお、上述したように、画像データＩ４は、画像データＩ３とレポートとを含む。また、ステップＳ２１５と同様に、ここで表示される画像データは、画像やドキュメントとしてファイル化されてもよい。また、ファイル化の処理は、本ステップで行われてもよい。その後、処理はステップＳ７１８へ進む。

ステップＳ７１８において、コントローラ側制御回路２１０は、ステップＳ２１６と同様にして、検査アプリを終了するか否かを判定する。処理は、終了すると判定された場合は当該検査アプリを終了してステップＳ７０１へ戻り、終了しないと判定された場合はステップＳ７０３へ戻る。

＜観察システムの利点＞
本実施形態に係る観察システム１は、第１の実施形態に係る観察システム１に加えて以下の利点をさらに有する。観察システム１は、ユーザの所定量以上のズームダウン操作に応じて、観察結果を要約するようなレポートを補足情報として生成する。また、観察システム１は、既取得情報である画像データと、補足情報であるレポートとをレイアウト情報にしたがって配置した画像データを、ユーザのズーム操作に応じて設定された画像表示範囲に相当する画像データとして生成できる。そのため、ユーザは、本実施形態に係る観察システム１を使用すれば、現在の画像データをさらに補足する関連情報を容易に取得できる。

補足情報として取得される関連情報は、現在の画像データを解析した結果であってもよいし、過去に取得された画像データでもよいし、過去の画像データを解析した結果であってもよい。そのため、ユーザは、本実施形態に係る観察システム１を使用すれば、現在の画像データが示す状態を相対的に評価することができる。例えば、ユーザは、既取得の画像データに細胞数の推移を示すレポートが補われた画像データ、既取得の画像データが時系列順に積層された画像データ等を見て、現在の観察結果が妥当であるかを容易に判断できる。このように、本実施形態に係る観察システム１がユーザのズーム操作に応じて取得する補足情報は、取得される画像データの示す観察範囲を拡大したり縮小したりするために用いられるだけでなく、既取得の画像データから読み取れる情報を補足する関連情報を含むものである。

＜変形例＞
なお、本実施形態では、レポートが補足された画像データが観察装置１００において生成される場合を例として説明をしたが、これに限らない。画像データ（既取得情報）へのレポート等の関連情報の補足は、コントローラ２００で行われてもよい。通信状況によっては、コントローラ２００は、観察装置１００に補足画像データを取得させることができない場合や、観察装置１００で取得された補足画像データを取得できない場合もあり得る。そのため、コントローラ２００でレポートが生成される構成であれば、通信状況によって補足画像データが取得できない状況であっても、関連情報が補足された画像データを取得できる。

なお、レポートが補足された画像データが表示されている状態で、さらにズームダウン操作が行われた場合に、補足される関連情報の種類を増やす構成も考えられる。例えば、細胞カウントの結果の推移が表示された状態で、さらにズームダウンが指示された場合に、培地交換の頻度に係る情報が補足されたり、別の試料に対する観察結果が補足されたりしてもよい。また、本実施形態では、所定量以上のズームダウン操作に応じてレポートを補足する観察システム１について説明をしたが、レポート等の関連情報の補足は、所定量以上のズームアップ操作に応じて行われてもよい。

このように、本実施形態に係る撮像装置は、撮像の対象を特定の撮像範囲、又は前記特定の撮像範囲とは異なる撮像範囲で撮像して画像信号を出力する撮像部１５１を備える装置である。このような装置であれば、撮像制御部１１４が各々の撮像範囲で撮像部１５１に撮像させることによって、様々な情報の取得が可能となる。このとき、撮像範囲は、例えば撮像部１５１の移動によって変化する。なお、撮像範囲は、設計によっては、複数の撮像部１５１が用意されて、複数の撮像部１５１が選択的に用いられることで変化するものであってもよい。つまり、その撮像結果の表示を見ながら、ユーザが、それに満足しているかを判定するために、ユーザ操作に応じて画像表示範囲を設定する画像表示範囲設定部１１１を設ければ、ユーザがその表示に満足しているかどうかが判定できる。例えば得られた（表示された）画像情報に不足がある場合、複数の画像データを利用してユーザのニーズに応えることが出来る。つまり、本実施形態に係る撮像装置は、各々の前記撮像範囲で取得された複数の前記画像信号を用いて、上記指定された画像表示範囲に相当する画像データを画像処理回路１２０で生成すればよい。

つまり、本実施形態に係る撮像装置は、画像表示範囲に相当する画像データを、上記複数の画像信号で得られた情報を利用して得られた合成画像データとして生成することによって、ユーザの思惑通りに表示画像をリッチ化することが出来る。この合成画像データによる表示画像のリッチ化は、見える範囲や精細度の度合いを向上させるのみならず、上記画像から得られた情報（ここではレポートやグラフなど）を表示可能に加工とすることで行われる。合成画像データによる表示画像のリッチ化は、上記画像から得られた情報と、少なくとも１つの上記表示された画像とを合成して行われるものであってもよい。こうした合成や情報生成において、ユーザは、本来ならたくさんの操作をしなければならないが、このように本実施形態に係る技術が適用されれば、直感的な操作によってワンタッチで画像生成したり画像表示したりすることが出来る。なお、生成又は取得される画像等の情報は、必ずしも、リアルタイムで表示される必要はないので、表示に限らず、画像を生成、取得するだけでも本発明は成立する。表示画像に対する操作で、新たな情報が取得できるという発明でもある。こうして得られた情報をメタデータとして、画像ファイルに付加（添付）するような応用も可能である。

なお、本実施形態では、撮像装置として観察装置１００を例に説明をしたが、これに限らない。本技術は、撮像範囲を変更しながら撮像できる撮像装置に適用できる。例えば本技術が適用されて、所定量以上のズームダウンが指示された場合に超解像処理を行うデジタルカメラも実現し得る。また、例えば本技術は、監視カメラに適用されてもよい。ユーザは、ズーム操作後には、それまで見ていた画像に補足画像データが補足されて生成された画像データを確認できる。したがって、ユーザは、監視対象を見失うことなく、監視対象をより詳細に確認したり、監視対象の周囲を確認したりと、監視する範囲を変更できる。また、所定量以上のズーム操作に応じて、監視する範囲を通過した人数、監視対象の変化等を纏めたレポートを確認することもできる。また、例えば本技術は、ドローンのような飛行型カメラや、自走式のロボットカメラ等の移動型カメラに適用されてもよい。この場合、ユーザは、遠隔での撮像であっても、ズーム操作の前後に取得される画像データの相対位置の関係を容易に把握できる。また、ユーザは、このような移動型カメラを農業において使用すれば、農作物の生育状態を纏めたレポートが補足された画像データを容易に確認できる。また、例えば本技術は、内視鏡カメラに適用されてもよい。この場合、ユーザは、処置対象を見失うことなく、処置対象をより詳細に確認したり、処置対象の周囲を確認したりと、検査範囲を変更できる。また、所定量以上のズーム操作に応じて、処置対象の変化、処置時間等の処置に関連する情報を纏めたカルテのようなレポートを確認することもできる。また、撮影システムとして構成してもよく、例えば、複数のカメラで撮った結果を適宜合成して、同様の効果を得ることが出来るということは言うまでもない。このとき、複数のカメラに限らず、複数の撮影レンズ、複数に分割された撮影レンズを有する撮像装置等で撮られた結果が適宜合成されてもよい。こうした直感的な操作で、様々な表示が現れる（あるいは画像等の情報が得られる）ので、ユーザは、本来ならたくさんの操作をしなければならない表示の切り替えがワンタッチで出来る。

なお、フローチャートで示した各々の処理及び各々の処理内の各ステップは、その順序を変更可能であり、また、追加及び削除も可能である。これら各々の処理は、観察装置１００及びコントローラ２００の内部に記録された各々のプログラムによって実行される。各々のプログラムは、予め観察装置１００及びコントローラ２００の内部に記録されていても、別の記録媒体に記録されていてもよい。これら記録の方法は様々であり、製品出荷時に記録されるものでもよく、配布された記録媒体が利用されて記録されるものでもよく、インターネット等通信回線が利用されて記録されるものでもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１…観察システム、１００…観察装置、１０１…筐体、１０２…透明板、１０４…回路群、１１０…観察側制御回路、１１１…画像表示範囲設定部、１１２…撮像位置設定部、１１３…位置制御部、１１４…撮像制御部、１１５…照明制御部、１１６…通信制御部、１１７…記録制御部、１１８…測定制御部、１２０…画像処理回路、１３０…観察側記録回路、１４０…観察側通信装置、１５０…画像取得ユニット、１５１…撮像部、１５２…撮像光学系、１５３…撮像素子、１５５…照明部、１５６…照明光学系、１５７…光源、１６０…移動機構、１６１…Ｘ送りねじ、１６２…Ｘアクチュエータ、１６３…Ｙ送りねじ、１６４…Ｙアクチュエータ、１６５…支持部、１７１…センサ部、１７２…時計部、１９０…電源、２００…コントローラ、２１０…コントローラ側制御回路、２１１…システム制御部、２１２…表示制御部、２１３…記録制御部、２１４…通信制御部、２３０…コントローラ側記録回路、２４０…コントローラ側通信装置、２７０…入出力装置、２７２…表示装置、２７４…入力装置、３００…試料、３１０…容器、３２２…培地、３２４…細胞、３２４ａ…細胞、３６０…反射板。

Claims (20)

1. 対象を撮像して画像信号を出力する撮像部と、
   ユーザ操作に応じて画像表示範囲を設定する画像表示範囲設定部と、
   互いに異なる複数の撮像範囲で前記撮像部に撮像させる撮像制御部と、
   各々の前記撮像範囲で取得された複数の前記画像信号を用いて、前記画像表示範囲に相当する画像データを生成する画像処理回路と
   を備える撮像装置。
2. 前記画像表示範囲に相当する前記画像データは、複数の前記画像信号から得られた情報を利用して生成された合成画像データである、請求項１に記載の撮像装置。
3. 前記合成画像データは、複数の前記画像信号の合成、又は前記画像信号から得られた情報を表示可能に加工した情報と少なくとも１つの前記画像信号との合成によって生成される、請求項２に記載の撮像装置。
4. 前記画像処理回路は、得られた前記画像データをファイル化して画像ファイルを生成し、前記画像信号から得られた情報をメタデータとして前記画像ファイルに添付する、請求項１乃至３のうち何れか１項に記載の撮像装置。
5. 前記撮像部を移動させて対象と前記撮像範囲との相対位置を変化させる移動機構と、
   前記画像表示範囲と前記撮像範囲とに基づいて、前記撮像部に前記撮像範囲を撮像させる撮像位置を設定する撮像位置設定部と、
   前記撮像部を前記撮像位置へ移動させるために前記移動機構の動作を制御する位置制御部と
   をさらに備える、請求項１乃至４のうち何れか１項に記載の撮像装置。
6. 前記画像表示範囲設定部は、対応する情報が既取得である既取得範囲と、前記ユーザ操作に伴い発生した情報不足を補うための補足情報を取得する必要がある情報不足範囲とを前記画像表示範囲に対してさらに設定し、
   前記撮像位置設定部は、前記情報不足範囲に基づいて、複数の前記撮像位置を設定し、
   前記画像処理回路は、前記既取得範囲に対応する情報に前記補足情報である複数の前記画像信号を補足して、前記画像データを生成する、
   請求項５に記載の撮像装置。
7. 前記撮像位置設定部は、前記ユーザ操作がズームアップを指示するズーム操作である場合に、前記画像表示範囲から１画素未満ずれた範囲を撮像できるように、前記撮像位置を設定する、請求項５に記載の撮像装置。
8. 前記画像処理回路は、複数の前記画像信号を用いた超解像処理を行い、前記画像データとして超解像画像データを生成する、請求項７に記載の撮像装置。
9. 前記撮像位置設定部は、前記ユーザ操作がズームダウンを指示するズーム操作である場合に、１画像未満の間隔で撮像できるように、前記撮像位置を設定する、請求項５に記載の撮像装置。
10. 前記画像処理回路は、互いに異なる前記撮像位置で取得された複数の前記画像信号を合成し、前記画像データとして広範囲画像データを生成する、請求項９に記載の撮像装置。
11. 前記画像処理回路は、前記ユーザ操作が所定量以上のズーム操作である場合に、既取得の前記画像データに関連する情報を表示するための画像データをさらに生成する、請求項５に記載の撮像装置。
12. 前記画像処理回路は、既取得の前記画像データの解析をさらに行い、前記ユーザ操作が所定量以上のズーム操作である場合に、前記解析の結果を表示するための画像データをさらに生成する、請求項５に記載の撮像装置。
13. 前記画像表示範囲設定部は、前記ユーザ操作が三次元情報の取得を指示する操作である場合に、前記ユーザ操作の前に取得された前記画像表示範囲を基準面として設定し、前記ユーザ操作に応じて前記基準面とＺ軸方向に互いに異なる位置に前記画像表示範囲を設定し、
    前記画像処理回路は、前記基準面が示された、前記画像表示範囲に相当する三次元画像データを生成する、請求項５に記載の撮像装置。
14. 前記撮像位置設定部は、前記ユーザ操作が所定量以上のズーム操作であり、前記ユーザ操作に伴い情報不足が発生した場合に、複数の前記撮像位置を設定する、請求項５に記載の撮像装置。
15. 前記画像処理回路は、前記ユーザ操作から前記画像データが生成されるまでの間に表示される疑似的な前記画像データである遷移画像データをさらに生成する、請求項５に記載の撮像装置。
16. 前記画像処理回路は、前記ユーザ操作の前に設定されていた画像表示範囲に相当する枠を前記画像データに重畳させて、前記画像データを生成する、請求項５に記載の撮像装置。
17. 請求項１乃至１６のうち何れか１項に記載の前記撮像装置と、
    前記ユーザ操作を取得する操作部を備えるコントローラと
    を備える、撮像システム。
18. 対象を撮像して画像信号を出力する撮像部を備える撮像装置の制御方法であって、
    ユーザ操作に応じて画像表示範囲の設定を行うことと、
    互いに異なる複数の撮像範囲で前記撮像部に撮像させることと、
    各々の前記撮像範囲で取得された複数の前記画像信号を用いて、前記画像表示範囲に相当する画像データの生成を実行させることと
    を含む、撮像装置の制御方法。
19. 前記画像表示範囲と前記撮像範囲とに基づいて、前記撮像部に前記撮像範囲を撮像させる撮像位置の設定を行うことと、
    各々の前記撮像位置へ前記撮像部を移動させることと
    をさらに含む、請求項１８に記載の撮像装置の制御方法。
20. 前記画像表示範囲の設定は、対応する情報が既取得である既取得範囲と、前記ユーザ操作に伴い発生した情報不足を補うための補足情報を取得する必要がある情報不足範囲とを前記画像表示範囲に対してさらに設定することを含み、
    前記撮像位置の設定は、前記画像表示範囲のうち前記情報不足範囲に基づいて行い、
    前記画像データの生成は、前記既取得範囲に対応する情報に前記補足情報である複数の前記画像信号を補足して実行させる、
    請求項１９に記載の撮像装置の制御方法。