JP2019186631A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】シェーディング特性を簡易かつ高精度に推定し、画像のシェーディングを補正することをできるようにした撮像装置、撮像方法、およびプログラムを提供する。【解決手段】被写体光束を電気信号に変換し画像データを取得し（Ｓ１、Ｓ５、Ｓ９、Ｓ２１）、画像データに基づいて、フォーカスレンズが被写体に合焦する第１のフォーカスレンズ位置と、第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し（Ｓ１７、Ｓ２７）、第１のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、取得した画像をベストフォーカス画像とし（Ｓ２３）、第２のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、取得した画像をデフォーカス画像とし（Ｓ３１）、デフォーカス画像からシェーディング補正値を生成し、ベストフォーカス画像をシェーディング補正値で補正する（Ｓ３３）。【選択図】 図５

Description

本発明は、撮像部によって撮影対象物を撮像する際に発生するシェーディングを補正できるようにした撮像装置および撮像方法に関する。

撮像部によって取得した入力画像には、被写体を照明する照明装置の配光によってシェーディング（輝度むら）が、発生することがある。このシェーディングを除去するための画像処理方法が種々提案されている。例えば、特許文献１には、画像を複数エリアに分割し、エリア毎にゲイン量を記憶しておき、このゲイン量で入力画像データを補正することが提案されている。

また、温度等の環境を一定に維持する恒温槽やインキュベータ等の内部に観察装置を長期間配置し、培養容器内の細胞等の試料を撮像部によって観察することが知られている。この装置によれば、インキュベータ内部に長期期間の間、試料を配置し、外部からの操作によって観察することができる。

特許第４２１２７４１号公報

インキュベータ等の内部に培養容器を配置し、細胞等の試料を観察する場合には、室内が暗いため、照明装置によって照明を行う。このとき、傾斜照明にて細胞の凹凸を見やすくするが、光源の向きや、光源の位置や指向性等の条件によって、画像にシェーディングが発生する。一般に、細胞の凹凸（コントラスト差）を利用することにより、細胞の数や密度を算出できる。しかし、シェーディングが発生してしまうと、細胞の数等の算出の精度が低下してしまう。特許文献１に開示のシェーディングの補正方法では、ゲイン量を記憶しておく必要があり、ここの照明状況に対応させるのが困難である。また、撮影画像をフィルタでぼかす方法があるが、細胞画像の凹凸の影響を除去するには、平滑化度合の高いフィルタ回路が必要となり、処理が複雑になってしまう。

本発明は、このような事情を鑑みてなされたものであり、シェーディング特性を簡易かつ高精度に推定し、画像のシェーディングを補正することをできるようにした撮像装置、撮像方法、およびプログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係る撮像装置は、被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置において、上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得する撮像部と、上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御するフォーカスレンズ制御部と、上記画像データからシェーディング特性を推定し、該シェーディング特性からシェーディング補正値を算出する補正値生成部と、上記画像データを、上記算出したシェーディング補正値によって補正する画像補正部と、を具備し、フォーカスレンズ制御部は、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において上記撮像部で取得した画像をベストフォーカス画像とし、一方、フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において上記撮像部で取得した画像をデフォーカス画像とし、上記補正値生成部は、上記デフォーカス画像を用いて上記シェーディング補正値を生成し、上記画像補正部は、上記ベストフォーカス画像を上記シェーディング補正値によって補正する。

第２の発明に係る撮像装置は、上記第１の発明において、上記撮像部は、駆動モードとして、少なくともスチル撮影用のスチル撮像駆動モードと、ライブビュー表示用のＬＶ撮像駆動モードとを有し、上記撮像部が、上記ＬＶ撮像駆動モードで駆動されている場合に、上記撮像部が取得した画像の中からデフォーカス画像を決定する。
第３の発明に係る撮像装置は、上記第１または第２の発明において、上記フォーカスレンズの各フォーカスレンズ位置において上記画像データを用いてコントラスト値を算出し、該コントラスト値とフォーカスレンズ位置からコントラストカーブを生成するコントラスト値算出部を有し、上記フォーカスレンズ制御部は、該コントラストカーブに基づいて上記第２のフォーカスレンズ位置を算出する。

第４の発明に係る撮像装置は、上記第３の発明において、上記フォーカスレンズ制御部は、上記コントラストカーブに対し、上記コントラスト値が所定の閾値以下のフォーカスレンズ位置に基づき、上記第２のフォーカスレンズ位置を算出する。
第５の発明に係る撮像装置は、上記第３の発明において、上記フォーカスレンズ制御部は、第２のフォーカスレンズ位置を算出する際に、算出基準となる基準位置を予め設定しておき、上記基準位置から上記第１のフォーカスレンズ位置までの間を上記フォーカスレンズの駆動を制御しながら、上記撮像部で取得した画像データに基づいて算出された上記コントラストカーブの最小値を検出し、そのフォーカスレンズ位置を上記第２のフォーカスレンズ位置とする。

第６の発明に係る撮像装置は、上記第１の発明において、上記フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置を、上記第１のフォーカスレンズ位置から、予め決められたデフォーカス量だけ離れた位置に決定する。
第７の発明に係る撮像装置は、上記第１の発明において、上記フォーカスレンズ制御部は、スチル撮影の開始後に、ベストフォーカス画像およびデフォーカス画像を取得する。

第８の発明に係る撮像装置は、上記第１ないし第７の発明において、上記補正値生成部は、上記シェーディング特性から、ゲイン値を算出し、該ゲイン値を上記シェーディング補正値とする。
第９の発明に係る撮像装置は、上記第１ないし第７の発明において、上記補正値生成部は、上記デフォーカス画像を構成する画素データの中で、最大値を検出し、該最大値と各画素データの比に基づいてゲイン値を算出し、このゲイン値を上記シェーディング補正値とする。

第１０の発明に係る撮像装置は、被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置において、上記光学部材を通過した被写体光束を電気信号に変換し、画像データを出力する撮像部と、上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御するフォーカスレンズ制御部と、上記画像データに基づいてシェーディング特性を推定するシェーディング推定部と、上記シェーディング特性を用いてゲイン値を算出するゲイン生成部と、上記画像データを、上記算出したゲイン値によって補正する画像補正部と、を具備し、フォーカスレンズ制御部は、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において上記撮像部で取得した画像をベストフォーカス画像とし、一方、フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において上記撮像部で取得した画像をデフォーカス画像とし、上記シェーディング推定部は、上記デフォーカス画像に基づいてシェーディング特性を推定し、上記画像補正部は、上記ベストフォーカス画像を上記ゲイン値によって補正する。

第１１の発明に係る撮像方法は、被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置における撮像方法において、上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得し、上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御し、さらに、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において取得した画像をベストフォーカス画像とし、一方、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において取得した画像をデフォーカス画像とし、上記デフォーカス画像から上記シェーディング補正値を生成し、上記ベストフォーカス画像を上記シェーディング補正値で補正する。

第１２の発明に係るプログラムは、被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置内に設けられたコンピュータを実行させるためのプログラムにおいて、上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得し、上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御し、さらに、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において取得した画像をベストフォーカス画像とし、一方、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において取得した画像をデフォーカス画像とし、上記デフォーカス画像から上記シェーディング補正値を生成し、上記ベストフォーカス画像を上記シェーディング補正値で補正することを上記コンピュータに実行させる。

本発明によれば、シェーディング特性を簡易かつ高精度に推定し、画像のシェーディングを補正することをできるようにした撮像装置、撮像方法、およびプログラムを提供することができる。

本発明の第１実施形態に係る細胞観察システムの使用状態を示す外観斜視図である。 本発明の第１実施形態に係る細胞観察システムの断面図である。 本発明の第１実施形態に係る細胞観察システムの照明装置によって生じたシェーディングの例を示す図である。 本発明の第１実施形態に係る細胞観察システムにおいて使用されるカメラ本体の構成を示すブロック図である。 本発明の第１実施形態に係るカメラの撮像動作を示すフローチャートである。 本発明の第１実施形態に係るカメラにおいて、フォーカスレンズのベストフォーカス位置と、デフォーカス位置の関係を示すグラフである。 本発明の第１実施形態に係るカメラのシェーディング補正の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラの撮像動作を示すフローチャートである。 本発明の第２実施形態に係るカメラのデフォーカスライブビュー（ＬＶ）画像決定の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラにおいて、フォーカスレンズのベストフォーカス位置と、デフォーカス位置の関係を示すグラフである。 本発明の第２実施形態に係るカメラのシェーディング補正の動作を示すフローチャートである。 本発明の第２実施形態に係るカメラのデフォーカスライブビュー（ＬＶ）画像決定の動作の変形例を示すフローチャートである。 本発明の第２実施形態に係るカメラにおいて、フォーカスレンズのベストフォーカス位置と、デフォーカス位置の関係の変形例を示すグラフである。

以下、本発明の好ましい実施形態として細胞観察システムに適用した例について説明する。本実施形態に係る細胞観察システムは、撮像部を備えたカメラを有している。このカメラは、画像を生成するためのフォーカスレンズと、このフォーカスレンズのピント合わせを行うための焦点調節機構を有している。また、このカメラは、撮像部によって取得された画像データのコントラスト値（フォーカス位置情報）を算出し、コントラスト値に基づいてベストフォーカス位置（例えば、図６のベストフォーカス位置Ｐｂ等参照）を求め、この位置でベストフォーカス画像を取得する（例えば、図５のＳ２３等参照）。さらに、ベストフォーカス位置とは異なる他の位置（例えば、図６のデフォーカス位置Ｐｄ等参照）で、デフォーカス画像を取得する（例えば、図５のＳ３１等参照）。デフォーカス画像を用いて、シェーディング補正を行うための補正値を算出し（例えば、図７のＳ５５等参照）、ベストフォーカス画像と補正値を用いて、シェーディング補正された画像を生成する（例えば、図７のＳ５５等参照）。

図１は、第１実施形態に係る細胞観察システム１の使用状態を示し、図２は、細胞観察システム１の断面図を示す。細胞観察システム１は、パーソナルコンピュータ（ＰＣ）５と接続されており、ＰＣ５からの操作によって制御される。図１においては、細胞観察システム１とＰＣ５は有線通信によって接続されているが、無線通信によって接続するようにしてもよい。細胞を観察する際には、検体（細胞）４をシャーレ等の容器３に入れ、容器３を細胞観察システムの天板１ａ上に載置する。

細胞観察システム１の内部には、カメラヘッド１０が配置され、カメラヘッド１０は二次元方向に移動することができ、位置を変えながら検体４を観察することができる。カメラヘッド１０内には、小型のカメラ本体１１と光源装置１３が配置されている。光源装置１３は、容器３に向けて投光することができる。この投光は容器３の蓋３ａによって反射され、検体（細胞）４を透過し、カメラ本体１１は、透過光を撮影する。

光源装置１３は、意図的に斜めから検体４に向けて照射させる構成になっており、細胞の陰影を見え易くしている。しかし、斜めからの照射するため、例えば、図３に示すように、撮影画像に光の配光ムラ（この配光ムラがシェーディング）が発生してしまう。シェーディングが発生すると、細胞観察および分析を行う際に必要となる細胞数の算出（セルカウント）や、細胞密度の算出に影響を与えてしまう。

また、検体４を照射する光源は図示しない位置にも複数配置されている。容器３の形状やカメラヘッド１１の位置に応じて、光源が切り替えられることに加え、容器３の蓋の傾きも影響し、撮影画像のシェーディング特性を予め規定することは困難である。そこで、本実施形態においては、デフォーカス画像からシェーディング特性を推定し、撮影画像を補正するようにしている。

図４は、カメラ本体１１の主として電気的構成を示すブロック図である。撮影レンズ１０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズを有している。この撮影レンズ１０１の光軸の後方には、絞り１０３が配置されている。絞り１０３は、口径が可変であり、撮影レンズ１０１を通過した被写体光束の光量を制限する。

また、撮影レンズ１０１はドライバ１０５によって光軸方向に移動することができる。従って、撮影レンズ１０１のフォーカス位置は、マイクロコンピュータ１３１からの制御信号に基づいてドライバ１０５によって制御される。撮影レンズ１０１がズームレンズの場合には、焦点距離が手動又は電動によって調節できる。このドライバ１０５は、絞り１０３の口径の制御も行う。撮影レンズ１０１は、被写体を結像させるためのフォーカスレンズを含む光学部材としての機能を有する。

また、撮影レンズ１０１の光軸上には、メカニカルシャッタ１０６が配置されている。このメカニカルシャッタ１０６は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカニカルシャッタ１０６の後方であって、撮影レンズ１０１によって被写体像が形成される位置には、撮像素子１０７が配置されている。

撮像素子１０７には、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されている。各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。キャパシタに蓄積された電荷は、撮像制御回路によって読み出され、アナログ処理回路１０９に出力される。撮像素子１０７は、光学部材を通過した被写体光束を電気信号に変換し画像データを取得する撮像部として機能する。

撮像素子１０７の蓄積電荷の読出の駆動モードには、スチル撮影用のスチル撮像駆動モードと、ライブビュー表示用のＬＶ撮像駆動モードの２種類、用意されている。ＬＶ撮像駆動モードは、画素からの出力を混合して読出し（各画素から読出し後、混合してもよい）、この読出しをフレームレートに応じた時間毎に繰り返す。スチル撮像駆動モードは、静止画撮影の際に、画素からの出力を混合することなく、画素毎の出力を読み出す。撮像部は、駆動モードとして、少なくともスチル撮影用のスチル撮像駆動モードと、ライブビュー表示用のＬＶ撮像駆動モードとを有する（例えば、図５のＳ１、Ｓ２１参照）。また、撮像部が、ＬＶ撮像駆動モードで駆動されている場合に、撮像部が取得した画像の中からデフォーカス画像を決定する（例えば、第２実施形態に係る図８のＳ１４参照）。

アナログ処理部１０９は、アナログ処理回路を有する。アナログ処理部１０９は、撮像素子１０７から読み出された光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、適切な輝度になるように増幅処理を施す。ＩＳＯ感度の調整は、このアナログ処理部１０９においてアナログ画像信号のゲイン（増幅率）を調整することにより制御する。

アナログ処理部１０９はＡ／Ｄ変換部１１１に接続されている。Ａ／Ｄ変換部１１１は、Ａ／Ｄ変換回路を有し、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１２５に出力する。

バス１２５は、カメラ本体１１の内部で読み出され若しくは生成された各種データをカメラ本体１１の内部に転送するための転送路である。バス１２５には、前述のＡ／Ｄ変換部１１１の他、露出制御部１１３、フォーカス処理部１１５、シェーディング推定部１１７、ゲイン生成部１１９、画像補正部１２１、画像処理部１２３、マイクロコンピュータ１３１、フラッシュメモリ１３５、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１３７、画像圧縮部１３９、メモリインターフェース（以後、メモリＩ／Ｆという）１４１が接続されている。

露出制御部１１３は、被写体輝度を測定し、バス１２５を通じて輝度値をマイクロコンピュータ１３１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０７から出力された画像データを用いて被写体輝度を算出する。露出制御部１１３は、測定した輝度値に基づいて、シャッタ速度値、絞り値、およびＩＳＯ感度等の露出制御値を算出し、絞り１０３、シャッタ１０６等を制御するようにしてもよい。また、マイクロコンピュータ１３１が露出制御値を算出し、絞り１０３、シャッタ１０６等の制御を行うようにしてもよい。

フォーカス制御部１１５は、コントラスト値算出回路を有し、撮像素子１０７から出力された画像データを用いて、コントラスト値を算出する。このコントラスト値は、撮像素子１０７における各隣接画素の画素データの差分値をそれぞれ算出し、全画素についての差分値を積算した値である。コントラスト値は、本明細書においては、フォーカス位置情報ともいう。撮影レンズ１０１内のフォーカスレンズを移動させながら、画像データを取得してコントラスト値を算出する。フォーカスレンズのフォーカス位置とコントラスト値との対応をコントラストカーブとして生成する。コントラストカーブに基づいて、被写体の合焦位置を算出することができる。フォーカス制御部１１５は、フォーカスレンズの各フォーカスレンズ位置において画像データを用いてコントラスト値を算出し、このコントラスト値とフォーカスレンズ位置からコントラストカーブを生成するコントラスト値算出部として機能する。

シェーディング推定部１１７は、シェーディング推定回路を有し、撮影された画像の空間的な画素値の変化からシェーディング特性を推定する。ゲイン生成部１１９は、ゲイン生成回路を有し、シェーディング推定部１１７によって得られたシェーディング特性に基づいて、シェーディングを補正するための補正ゲインを画素ごと或いは領域分割した領域毎に算出する。本実施形態においては、シェーディング特性と、補正ゲインは、図７に示すフローチャートに従って算出する。本実施形態においては、デフォーカス画像における画素データの中の最大値を検出し、この最大値と各画素値の比を算出している（図７のＳ５５参照）。この比は、シェーディング特性を示し、また同時にシェーディング補正を行うための補正値（補正ゲイン値）でもある。なお、シェーディング推定部（シェーディング推定回路）およびゲイン生成部（ゲイン生成回路）は、図４に示すように２つに分けてもよく、また一体化してもよい。さらに、マイクロコンピュータ１３１によってソフトウエアによって実現するようにしてもよい。

シェーディング推定部１１７およびゲイン生成部１１９は、画像データからシェーディング特性を推定し、このシェーディング特性からシェーディング補正値を算出する補正値生成部として機能する（例えば、図５のＳ３３、図７のＳ４１〜Ｓ５９参照）。補正値生成部は、デフォーカス画像を用いてシェーディング補正値を生成する（例えば、図７のＳ５３、Ｓ５５参照）。補正値生成部は、シェーディング特性から、ゲイン値を算出し、このゲイン値をシェーディング補正値とする。補正値生成部は、デフォーカス画像を構成する画素データの中で、最大値を検出し（例えば、図７のＳ４５、Ｓ４７参照）、この最大値と各画素データの比に基づいてゲイン値を算出し（例えば、図７のＳ５５）、このゲイン値をシェーディング補正値とする（例えば、図７のＳ５９参照）。

シェーディング推定部１１７は、画像データに基づいてシェーディング特性を推定するシェーディング推定部として機能する。シェーディング推定部は、デフォーカス画像に基づいてシェーディング特性を推定する。ゲイン生成部１１９は、シェーディング特性を用いてゲイン値を算出するゲイン生成部として機能する。

画像補正部１２１は、Ａ／Ｄ変換部１１１から出力される画像データを入力し、この画像データに、ゲイン生成部１１９によって生成された補正ゲインを乗算する。この演算によって、画像データに対してシェーディング補正がなされる。画像補正部１２１は、画像データを、算出したシェーディング補正値によって補正する画像補正部として機能する（例えば、図７のＳ５９参照）。画像補正部は、ベストフォーカス画像をシェーディング補正値によって補正する（例えば、図７のＳ５７、Ｓ５９参照）。画像補正部１２１は、算出したゲイン値によって補正する画像補正部として機能する（例えば、図７のＳ５９参照）。画像補正部は、ベストフォーカス画像をゲイン値によって補正する（例えば、図７のＳ５７、Ｓ５９参照）。

画像処理部１２３は、画像補正部１２１によってシェーディング補正が施された画像データに対して、種々の画像処理を施す。また、画像処理部１２３は、種々の画像処理として、ホワイトバランス処理、同時化処理、色再現処理、階調補正処理、ノイズリダクション処理等を施す。画像処理部１２３によって処理された画像データは、バス１２５に出力され、ＳＤＲＡＭ１３７に一時記憶される。

前述の露出制御部１１３は露出制御回路を有し、フォーカス制御部１１５はコントラスト値算出回路を有し、シェーディング推定部１１７はシェーディング推定回路を有し、ゲイン生成部１１９はゲイン生成回路を有し、画像補正部１２１は画像補正回路を有し、画像処理部１２３は、画像処理回路を有している。これらの回路は、ＡＳＩＣ（Application Specific Integrated Circuit）やＤＳＰ（Digital Signal Processor）等、種々のハードウエアで構成される。しかし、ハードウエア回路以外にも、回路の一部または全部をマイクロコンピュータ１３１において、プログラムコードに従って処理するようにしてもよい。

マイクロコンピュータ１３１は、このカメラ全体の制御部（コントローラ、プロセッサ）としての機能を果たし、後述するフラッシュメモリ１３５に記憶されているプログラムに従って、カメラ本体１１内の各部を制御することにより、カメラ全体の各種シーケンスを制御する。

マイクロコンピュータ１３１は、画像データに基づいて、フォーカスレンズが被写体に合焦する第１のフォーカスレンズ位置（例えば、図６、図１０、および図１３のベストフォーカス位置Ｐｂ参照）と、第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置（例えば、図６のデフォーカス位置Ｐｄ、図１０のデフォーカス位置Ｐｄ、図１３のデフォーカス位置Ｐｄ参照）を算出し、第１のフォーカスレンズ位置もしくは第２のフォーカスレンズ位置に基づきフォーカスレンズの駆動を制御するフォーカスレンズ制御部として機能する（例えば、図５のＳ１７、Ｓ２７参照）。また、フォーカスレンズ制御部は、第１のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、第１のフォーカスレンズ位置において撮像部で取得した画像をベストフォーカス画像とし、一方、フォーカスレンズ制御部は、第２のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において上記撮像部で取得した画像をデフォーカス画像とする（例えば、図５のＳ２３、Ｓ３１参照）。

フォーカスレンズ制御部は、第２のフォーカスレンズ位置を、第１のフォーカスレンズ位置から、予め決められたデフォーカス量だけ離れた位置に決定する（例えば、図５のＳ２７、図６のデフォーカス量Ｄｅ、デフォーカス位置Ｐｄ参照）。また、フォーカスレンズ制御部は、スチル撮影の開始後に、ベストフォーカス画像およびデフォーカス画像を取得する（例えば、図５のＳ１９、Ｓ２３、Ｓ３１参照）。

フォーカスレンズ制御部は、コントラストカーブに基づいて第２のフォーカスレンズ位置を算出する（例えば、第２実施形態に係る図８のＳ１４、図９のＳ８５参照）。フォーカスレンズ制御部は、コントラストカーブに対し、コントラスト値が所定の閾値以下のフォーカスレンズ位置に基づき、第２のフォーカスレンズ位置を算出する（例えば、第２実施形態に係る図８のＳ１４、図１０のデフォーカス位置Ｐｄ参照）。また、フォーカスレンズ制御部は、第２のフォーカスレンズ位置を算出する際に、算出基準となる基準位置（例えば、図１３の天板位置Ｐｔ）を予め設定しておき、基準位置から第１のフォーカスレンズ位置までの間をフォーカスレンズの駆動を制御しながら、撮像部で取得した画像データに基づいて算出されたコントラストカーブの最小値を検出し、そのフォーカスレンズ位置（例えば、図１３のデフォーカス位置Ｐｄ）を第２のフォーカスレンズ位置とする（例えば、第２実施形態の変形例に係る図１２、図１３のデフォーカス位置Ｐｄ参照）。

マイクロコンピュータ１３１は、外部インターフェース（ＩＦ）１３３に接続されている。外部ＩＦ１３３は、外部に配置されたＰＣ５と接続されており、外部ＰＣ５からの制御命令を受信し、マイクロコンピュータ１３１に出力する。また、外部ＩＦ１３３は、マイクロコンピュータ１３１が取得した画像データ等の情報や、その他の情報をＰＣ５に出力する。

フラッシュメモリ１３５は、電気的に書き換えることのできる不揮発性メモリであり、マイクロコンピュータ１３１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１３１は、前述したように、このプログラムに基づいて当該カメラの制御を行う。また、フラッシュメモリ１３５には、フォーカスレンズをデフォーカス位置に移動させるためのデフォーカス量Ｄｅが記憶されている（図５のＳ２５、図６のデフォーカス量Ｄｅ参照）。

ＳＤＲＡＭ１３７は、画像データ等の一時記憶用の電気的に書き換えることのできる揮発性メモリである。大容量のデータを記憶できれば、ＳＤＲＡＭ以外のメモリであってもよい。このＳＤＲＡＭ１３７は、Ａ／Ｄ変換部１１１から出力された画像データや、画像処理部１２３や画像圧縮部１３９等において処理された画像データを一時記憶する。

画像圧縮部１３９は、画像データの記録媒体１４３への記録時に、ＳＤＲＡＭ１３７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式等の圧縮方式に従って圧縮し、この圧縮した画像データを記録媒体１４３等に記録する。

メモリＩ／Ｆ１４１は、記録媒体１４３に接続されており、画像データ等を、記録媒体１４３に書き込みおよび読出しの制御を行う。記録媒体１４３は、カメラ本体１１に脱着することができるメモリであるが、これに限らず、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。

次に、図５および図７に示すフローチャートを用いて、本実施形態におけるシェーディング補正について説明する。このフロー（図７、および後述する第２実施形態に係る図８、図９、図１１、および図１２に示すフローチャートも同様）は、マイクロコンピュータ１３１が、フラッシュメモリ１３５に記憶されたプログラムに従ってカメラ内の各部を制御することにより実行する。

図５に示すフローがスタートすると、まず、ライブビュー（ＬＶ）撮像を開始する（Ｓ１）。ここでは、外部ＰＣ５から、カメラ本体１１に対して、スタート命令を受信すると、撮像素子１０７が画像データの取得を開始する。ライブビュー画像は動画であり、シャッタ１０６を開放状態とし、所定のフレームレートで撮像素子１０７から画像データが読み出される。ライブビュー画像の画素数は、静止画像よりも画素数が少ない。

ＬＶ撮像を開始すると、次に、フォーカス動作がオンか否かを判定する（Ｓ３）。外部ＰＣ５から、フォーカス動作の指示を受けると、カメラ本体１１の撮影レンズ１０１フォーカス動作を開始する。このステップでは、外部ＰＣ５から指示を受信したか否かに基づいて判定する。なお、予めフラッシュメモリ１３５に、撮影経路、撮影タイミング等のスケジュールを記憶しておく場合には、このスケジュールに従って、フォーカス動作を開始するようにしてもよい。

ステップＳ３における判定の結果、フォーカス動作をオンしない場合には、ライブビュー画像を取得する（Ｓ５）。ここでは、撮像素子１０７によって画像データを取得し、画像処理部１２３によって画像データに画像処理を施してから、外部ＰＣ５に出力する。外部ＰＣ５のモニタに、ライブビュー画像を表示することができる。ライブビュー画像は、撮像素子１０７のフレームレートに応じた時間間隔で、更新される。

一方、ステップＳ３における判定の結果、フォーカス動作がオンの場合には、まず、フォーカス動作の初期位置を設定する（Ｓ７）。フォーカスレンズは検体（細胞）４にピントを合わせることから、検体４の通常のフォーカス位置付近を初期位置とする。マイクロコンピュータ１３１はドライバ１０５によって、フォーカスレンズを初期位置に移動させる。

続いて、ライブビュー画像を取得する（Ｓ７）。ここでは、ステップＳ５と同様に、撮像素子１０７によって画像データを取得し、画像処理部１２３によって画像データに画像処理を施してから、外部ＰＣ５に出力する。外部ＰＣ５のモニタに、ライブビュー画像を表示することができる。

ライブビュー画像を取得すると、次に、フォーカス位置情報を算出する（Ｓ１３）。ここでは、フォーカス制御部１１５が、画像データに基づいて、フォーカス位置情報（コントラスト値）を算出する。このフォーカス位置情報は、フォーカスレンズのピント状態を示す。

フォーカス位置情報を算出すると、ベストフォーカスか否かの判定を行う（Ｓ１３）。ベストフォーカス位置は、フォーカス位置情報（コントラスト値）がピークとなる位置である。ベストフォーカス位置について、図６を用いて説明する。図６の横軸はフォーカスレンズの位置を示し、縦軸はフォーカス位置情報（コントラスト値）を示す。フォーカスレンズの位置を移動させながら、フォーカス位置情報をプロットすると、図６に示すように、位置Ｐｂにおいてピークとなる。このピークとなる位置Ｐｂがベストフォーカス位置である。具体的には、前回の取得画像データから算出したフォーカス位置情報と、今回の取得画像データから算出したフォーカス位置情報を比較し、フォーカス位置情報が増加から減少に転じると、ベストフォーカスと判定する。

ステップ１３における判定の結果、ベストフォーカスでない場合には、フォーカスレンズの位置を変更する（Ｓ１５）。ここでは、マイクロコンピュータ１３１は、ドライバ１０５によって、フォーカスレンズの位置を移動させる。フォーカスレンズの位置が変更されると、ステップＳ９に戻り、ステップＳ１１においてフォーカス位置情報を算出し、ベストフォーカスか否かを判定する。

ステップＳ１３において、ベストフォーカスと判定すると、フォーカスレンズ位置を修正する（Ｓ１７）。ベストフォーカスと判定された時点では、フォーカス位置情報が増加から減少に転じていることから、ベストフォーカス位置を通り過ぎている。そこで、このステップでは、フォーカスレンズをベストフォーカス位置に移動させる。ベストフォーカス位置の修正は、ベストフォーカス前後の３点でのフォーカス位置情報を用いて、補間演算等、公知の演算式に基づいて行う。

ステップＳ１７においてフォーカスレンズ位置の修正を行うと、またはステップＳ５においてライブビュー画像を取得すると、次に、スチル撮影がオンか否かを判定する（Ｓ１９）。ユーザが外部ＰＣのモニタを観察し、静止画の撮影を指示した場合、または外部ＰＣ５またはカメラ本体１１において、予め撮影位置、撮影タイミング等のスケジュールが記憶され、この撮影位置等のスケジュールの条件を満たした場合、スチル撮影（静止画撮影）を実行する。このステップでは、これらの条件を満たしたか否かについて判定する。この判定の結果、スチル撮影がオンでない場合には、ステップＳ３に戻り、前述の処理を実行する。

ステップＳ１９における判定の結果、スチル撮影がオンの場合には、スチル撮像駆動を開始する（Ｓ２１）。ここでは、静止画の画像を取得するために、撮像モードをライブビューモードから静止画モードに変更する。

続いて、ベストフォーカス画像を取得する（Ｓ２３）。ここでは、フォーカスレンズは、ベストフォーカス位置、すなわち合焦位置にあり、この位置で撮像素子１０７から画像データを取得する。画像データを取得すると、ＳＡＲＡＭ１３７に一時記憶する。

ベストフォーカス画像を取得すると、次に、デフォーカス量の読み込みを行う（Ｓ２５）。本実施形態においては、シェーディング補正を行うために、デフォーカス画像を用いる（Ｓ３１、Ｓ３３、図７のＳ４３、Ｓ５３参照）。デフォーカス画像を撮像するためのフォーカスレンズの位置は、ベストフォーカス位置から予め決められているデフォーカス量Ｄｅだけ離れた位置（至近側の位置）としている（図６参照）。このステップでは、フラッシュメモリ１３５に記憶されているデフォーカス量Ｄｅを読み出す。デフォーカス量Ｄｅは、ベストフォーカス位置（合焦位置）に近いと、細胞の構造が残ってしまうためシェーディング補正には相応しくなく、また、合焦位置から相当遠いと、シェーディング自体も大きくボケてしまうため、シェーディング補正には相応しくない。従って、デフォーカス量Ｄｅは、これらの点を鑑みてシェーディング補正を行うに相応しい画像が得られる程度の値とることが好ましい。設計の際に、予め想定する細胞の毎に複数パターン設けておき、実際に観察する細胞に応じて（細胞のコントラスト量に応じて）使い分けても良い。

デフォーカス量を読み込むと、次に、デフォーカス位置を算出する（Ｓ２７）。ここでは、ステップＳ２５において読み出したデフォーカス量Ｄｅと、ステップＳ１７において算出したベストフォーカスレンズ位置Ｐｂを用いて、デフォーカス位置Ｐｄ（図６参照）を算出する。

デフォーカス位置を算出すると、次に、フォーカスレンズ位置を修正する（Ｓ２９）。ここでは、マイクロコンピュータ１３１は、ドライバ１０５によって、ステップＳ２７において算出したデフォーカス位置Ｐｄに、フォーカスレンズを移動させる。

フォーカスレンズがデフォーカス位置Ｐｄに移動すると、デフォーカス画像を取得する（Ｓ３１）。ここでは、フォーカスレンズは、デフォーカス位置、すなわち非合焦位置にあり、この位置で撮像素子１０７から画像データを取得する。画像データを取得すると、ＳＡＲＡＭ１３７に一時記憶する。

デフォーカス画像を取得すると、次に、シェーディング補正を行う（Ｓ３３）。ここでは、シェーディング推定部１１７、ゲイン生成部１１９、および画像補正部１２１が、ステップＳ２３において取得したベストフォーカス画像に対して、ステップＳ３１において取得したデフォーカス画像を用いて、シェーディング補正を行う。シェーディング補正の詳しい動作については、図７を用いて後述する。

シェーディング補正を行うと、次に画像処理を行う（Ｓ３５）。このステップでは、画像処理部１２３が、シェーディング補正された画像に対して、種々の画像処理を施す。画像処理を施した画像を、外部ＰＣ５に送信および／または記録媒体１４３に記録すると、このフローを終了する。なお、複数個所で、スチル撮影を行う場合には、ステップＳ１に戻り、前述の動作を繰り返す。

次に、図７に示すフローチャートを用いて、ステップＳ３３のシェーディング補正の詳しい動作について説明する。シェーディング補正のフローが開始すると、まず、最大値（ｍ）＝０に初期化する（Ｓ４１）。最大値（ｍ）は、撮像素子１０７の画素データの最大値を検出するために、最大の画素値を記憶するメモリである。

次に、デフォーカス画像の画素値（ｋ）を読み込む（Ｓ４３）。前述したように、ステップ３１（図５参照）において、デフォーカス画像を取得し、ＳＤＲＡＭ１３７に一時記憶している。このステップでは、指定された画素アドレスのデフォーカス画像の画素データを読み込む。

デフォーカス画像の画像値（ｋ）を読み込むと、次に、ｋ＞ｍか否かを判定する（Ｓ４５）。ここではステップＳ４３で読み込んだ画素値（ｋ）と、最大値（ｍ）を比較する。この比較の結果、ｋ＞ｍであれば、ｍ＝ｋとする（Ｓ４７）。ステップＳ４３を実行する毎に、ステップＳ５１において、画素位置が更新されることから、新たな画素アドレスにおけるデフォーカス画像の画素値（ｋ）が読み出され、そのときにメモリに記憶されていた最大値（ｍ）と比較する。比較の結果、画素値（ｋ）が最大値（ｍ）より大きければ、最大値（ｍ）が比較対象の画素値（ｋ）に置き換えられる。これを繰り返すことにより、最大値（ｍ）が更新されていく。

ステップＳ４７において、ｍ＝ｋとすると、またはステップＳ４５における判定の結果、ｋ＞ｍでなかった場合には、全画素についてスキャンが完了したか否かを判定する（Ｓ４９）。ステップＳ４３において、順次、デフォーカス画像の画素値が読み出されている。このステップでは、全ての画素値が読み出され、ステップＳ４５における比較がなされたか否かが判定される。なお、スキャンとは、画像データの画素値を順次読み出すことをいう。

ステップＳ４９における判定の結果、全画素についてスキャンされていない場合には、デフォーカス画像の画素位置を更新する（Ｓ５１）。デフォーカス画像の画素値は、所定の順番に従って、順次読出しを行う。このステップでは、所定の順番に従って、次の画素位置を指定する。画素位置を更新すると、ステップＳ４３に戻り、前述の処理を実行する。

ステップＳ４９における判定の結果、全画素についてスキャンが完了すると、次に、デフォーカス画像の画素値（ｋ）を読み込む（Ｓ５３）。ここでは、ステップＳ４３と同様に、指定アドレスのデフォーカス画像の画素データを読み込む。

デフォーカス画像の画素値（ｋ）を読み込むと、次に、ゲインをＧａｉｎ＝ｍ／ｋにより算出する（Ｓ５５）。ここでは、シェーディング推定部１１７およびゲイン生成部１１９が、ステップＳ４５、Ｓ４７において求めた画素値の最大値（ｍ）を、ステップＳ５３で読み出した画素値（ｋ）で除算することにより、ゲインＧａｉｎを算出する。デフォーカス画像は、シェーディングの影響を強く受けた画像であり、画素値の中の最大値を、各画素値（ｋ）で除算したゲインＧａｉｎは、シェーディングの特性曲線と等価といえる。なお、デフォーカス画像をシェーディング特性として取得する場合には、シェーディング推定部１１７とゲイン生成部１１９を一体化させ、シェーディングに基づくゲインとして一度にゲイン生成を行う。また、デフォーカス像を取得し、簡易な処理を行った結果をシェーディング特性として利用する場合には、シェーディング推定部１１７とゲイン生成部１１９を分けてゲイン生成を行う。

ゲインを生成すると、次に、ベストフォーカス画像の画素値（Ｘ）を読み込む（Ｓ５７）。ここでは、ステップＳ２３（図５参照）において取得し、ＳＤＲＡＭ１３７に一時記憶されたベストフォーカス画像から、指定アドレスの画素値（Ｘ）を読み出す。この指定アドレスは、ステップＳ５３において、読み出したデフォーカス画像の画素のアドレスと同じアドレスにする。

ベストフォーカス画像の画素値（Ｘ）を読み出すと、次に、Ｘ＊Ｇａｉｎを算出することにより画素補正を行う（Ｓ５９）。ここでは、ステップＳ５７において、読み出したベストフォーカス画像の画素値（Ｘ）に、ステップＳ５５において算出したゲインＧａｉｎを乗算する。前述したように、ゲインＧａｉｎは、シェーディング特性曲線と等価であり、各画素値（Ｘ）にゲインＧａｉｎを乗算することにより、画素毎にシェーディング補正を行うことができる。

画素補正を行うと、次に、全画素スキャンが完了したか否かについて判定する（Ｓ６１）。このステップでは、全てのデフォーカス画像の画素値（ｋ）と、全てのベストフォーカス画像の画素値（Ｘ）が読み出され、画素補正がなされたか否かが判定される。

ステップＳ６１における判定の結果、全画素のスキャンが完了していない場合には、次に、ベストフォーカス画像画素位置を更新し（Ｓ６３）、デフォーカス画像画素位置を更新する（Ｓ６５）。ベストフォーカス画像の画素位置と、デフォーカス画像の画素位置を、所定の順番に従って、順次、更新する。読出しを行う。画素位置を更新すると、ステップＳ５３に戻り、前述の処理を実行する。

ステップＳ６１における判定の結果、全画素のスキャンが完了した場合には、シェーディング補正のフローを終了し、元のフローに戻る。

このように、本発明の第１実施形態においては、デフォーカス画像の画素値の中の最大値（ｍ）を検出し（Ｓ４５、Ｓ４７参照）、この最大値（ｍ）とデフォーカス画像の画素値（ｋ）を用いてゲインＧａｉｎを算出する（Ｓ５５参照）。そして、ベストフォーカス画像の画素値（Ｘ）に、ゲインＧａｉｎを乗算することによって、画素補正を行う（Ｓ５９）。このため、個々の画素の位置に応じて、シェーディング補正を行うことができる。特に、検体１４に光源装置１３が斜めに照射した場合や、シャーレ等の容器３の形状によって、シェーディングが変化する場合であっても、個々の状況に応じたシェーディング補正を行うことができる。

次に、図８ないし図１１を用いて、本発明の第２実施形態について説明する。第１実施形態においては、スチル撮影を開始後に、デフォーカス画像を取得していた（図５のＳ３１参照）。これに対して、本実施形態においては、スチル撮影前にライブビュー画像を取得中に、デフォーカス画像を決定し、取得している（図８のＳ１４参照）。本実施形態における構成は、図１ないし図４に示した第１実施形態と同様であることから、詳しい説明を省略する。

図８、図９、図１１に示すフローチャートを用いて、本実施形態におけるシェーディング補正について説明する。図８に示すフローは、図５に示すフローと比較すると、ステップＳ１４にデフォーカスＬＶ画像決定を追加し、ステップＳ２５〜Ｓ３１を削除している点等において相違する。この相違点を中心に説明する。

図８に示すフローがスタートすると、まず、ＬＶ撮像を開始し（Ｓ１）、フォーカス動作がオンであれば（Ｓ３Ｙｅｓ）、フォーカス動作初期設定を行い（Ｓ７）、ＬＶ画像を取得し保持する（Ｓ１０）。第１実施形態においては、ＬＶ画像を単に取得するだけであったが、第２実施形態においては、ステップＳ１４においてデフォーカスＬＶ画像を決定するために、取得したＬＶ画像を、ＳＤＲＡＭ１３７等に一時記憶している。

ＬＶ画像を取得し、保持すると、次に、フォーカス位置情報を算出する（Ｓ１１）。本実施形態においては、算出したフォーカス位置情報は、フォーカス位置に関連付けて、メモリ（例えばＳＤＲＡＭ１３７、マイクロコンピュータ１３１内のＲＡＭ等）に、コントラストカーブ（ｔａｂｌｅ［Ｎ］）として、一時記憶しておく。Ｎは、フォーカス位置を表す。続いて、ベストフォーカス位置か否かを判定する（Ｓ１３）。この判定の結果、ベストフォーカス位置でない場合には、フォーカスレンズの位置を変更し（Ｓ１７）、ステップＳ１０に戻り、前述の処理を実行する。

ステップＳ１３における判定の結果、ベストフォーカス位置を決定すると、次に、デフォーカスＬＶ画像を決定する（Ｓ１４）。本実施形態においては、デフォーカス位置Ｐｄを、図１０に示すように、フォーカス位置情報（コントラスト値）が所定の閾値ＴＨとなる位置としている。このステップでは、ステップＳ１０において保持されたＬＶ画像の中から、フォーカス値情報に基づいて、デフォーカスＬＶ画像を決定する。このデフォーカスＬＶ画像決定の詳しい動作については、図９を用いて後述する。

デフォーカスＬＶ画像を決定すると、次に、フォーカスレンズ位置を修正する（Ｓ１５）。ステップＳ１５においてフォーカスレンズ位置を修正すると、またはステップＳ５においてＬＶ画像を取得すると、次に、スチル撮影か否かを判定し（Ｓ１９）、スチル撮影の場合には、スチル撮像駆動を開始し（Ｓ２１）、ベストフォーカス画像を取得する（Ｓ２３）。前述したように、デフォーカス画像はライブビュー画像の中から取得しているので、第１実施形態におけるステップＳ２５〜Ｓ３１は省略し、シェーディング補正を行う（Ｓ３４）。このシェーディング補正の詳しい処理については、図１１を用いて後述する。シェーディング補正を行うと、次に画像処理を行い（Ｓ３５）、図８に示すフローを終了する。

次に、図９に示すフローチャートを用いて、ステップＳ１４のデフォーカスＬＶ画像決定の詳しい動作について説明する。

デフォーカスＬＶ画像決定のフローが開始すると、まず、コントラストカーブ（ｔａｂｌｅ［Ｎ］）と、閾値（ＴＨ）を読み込む（Ｓ７１）。コントラストカーブ（ｔａｂｌｅ［Ｎ］）は、ステップＳ１１において、フォーカス位置に関連付けて記憶されている。また、閾値ＴＨは、フラッシュメモリ１３５に固定値として記憶されている。なお、本実施形態においては、デフォーカス量Ｄｅは固定値としているが、フォーカス位置情報の値の大きさ等に応じて、可変するようにしてもよい。

次に、変数ｎを０に初期化する（Ｓ７３）。変数は、フォーカス位置を更新するための値である。変数ｎを初期化すると、次に、ｔａｂｌｅ［ｎ］＜ＴＨか否かを判定する（Ｓ７５）。ここでは、フォーカス位置［ｎ］におけるフォーカス位置情報（コントラスト値）が、閾値ＴＨよりも小さいか否かを判定する。この判定の結果、ｔａｂｌｅ［ｎ］の方がＴＨよりも小さければ、そのフォーカス位置を保持する（Ｓ７７）。変数ｎは、フォーカス位置に対応しているので、この変数ｎを保持すればよい。図１０より分かるように、閾値ＴＨよりも小さいフォーカス位置情報は、多数、存在する場合もあり、ステップＳ７５の条件を満たしたフォーカス位置に当たる変数ｎを全て記憶することになる。

ステップＳ７７においてフォーカス位置を保持すると、またはステップＳ７５における判定の結果、ｔａｂｅｌ［ｎ］がＴＨよりも小さくなかった場合には、次に、変数ｎに１を加算する（Ｓ７９）。

続いて、全てのｔａｂｅｌ［ｎ］を参照したか否かを判定する（Ｓ８１）。ここでは、全てのフォーカスレンズ位置に対応するコントラストカーブについて、閾値ＴＨと比較が終了したか否かを判定する。この判定の結果、全てのフォーカス位置について閾値ＴＨとの比較が終了していない場合には、ステップＳ７５に戻り、前述の処理を実行する。

ステップＳ８１における判定の結果、全てのｔａｂｅｌ［ｎ］について参照が終了した場合には、次に、ベストフォーカス位置を取得する（Ｓ８３）。ベストフォーカス位置は、フォーカス位置情報（コントラスト値）がピークとなる位置であり、ステップＳ１３において算出している。ここでは、ステップＳ１３における算出結果を取得する。

ベストフォーカス位置を取得すると、次にデフォーカス位置を決定する（Ｓ８５）。ステップＳ７７において、コントラストカーブが、閾値ＴＨよりも小さい（すなわち、デフォーカス状態）フォーカス位置が保持されている。このステップでは、保持されているフォーカス位置の中で、図１０に示すように、ベストフォーカス位置Ｐｂに最も近いフォーカス位置をデフォーカス位置Ｐｄとして決定する。

デフォーカス位置を決定すると、次に、デフォーカスＬＶ画像を決定する（Ｓ８７）。ここでは、ステップＳ８５において決定されたデフォーカス位置において取得したＬＶ画像を、デフォーカスＬＶ画像として決定する。ステップＳ１０において、ＬＶ画像がＳＤＡＲＡＭ１３７に一時記憶されていることから、この一時記憶されたＬＶ画像から、デフォーカス位置に対応するＬＶ画像を読み出せばよい。デフォーカスＬＶ画像を決定すると、デフォーカスＬＶ画像決定のフローを終了して、元のフローに戻る。

次に、図１１に示すフローチャートを用いて、ステップＳ３４のシェーディング補正の詳しい動作について説明する。図１１に示すフローは、図７に示すフローと比較すると、ステップＳ４３、Ｓ４９、Ｓ５３、Ｓ６１の対象をＬＶ画像とし、ステップＳ５２を追加している点等で相違する。この相違点を中心に説明する。図１１においても、図７において同じ処理を行うステップについては、同一のステップ番号を付す。

シェーディング補正のフローが開始すると、まず、最大値（ｍ）＝０に初期化する（Ｓ４１）。続いて、デフォーカスＬＶ画像の画素値（ｋ）を読み込む（Ｓ４４）。ここでは、ステップＳ５７において決定されたデフォーカス画像の画素値（ｋ）を読み込む。デフォーカス画像は、ＳＤＲＡＭ１３７に一時記憶されている。

デフォーカスＬＶ画像の画素値（ｋ）を読み込むと、次にｋ＞ｍか否かを判定し（Ｓ４５）、ｋ＞ｍの場合には、ｍ＝ｋとする（Ｓ４７）。続いて、デフォーカスＬＶ画像について、全画素のスキャンが完了したか否かを判定する（Ｓ５０）。この判定の結果、完了していない場合には、デフォーカス画像の画素位置を更新してから（Ｓ５１）、ステップＳ４４に戻る。

ステップＳ５０における判定の結果、全画素スキャンが完了していた場合には、デフォーカスＬＶ画像を拡大する（Ｓ５２）。ライブ画像（Ｓ１０参照）とスチル撮影で取得した画像（Ｓ２３参照）の画素数は、同じではない。ライブ画像の方が、画素数が少ないために、このステップでは、デフォーカスＬＶ画像の画素数を増加させ、スチル撮影で取得した画像の画素数と同数にする（縦方向の画素数と、横方向の画素数のそれぞれを一致させる）。画素数を増加させる方法として、隣接（近傍を含めてもよい）の画素の画素値を用い、補間法によって、画素間の画素値を算出するようにしてもよい。

デフォーカスＬＶ画像を拡大すると、拡大デフォーカス画像の画素値（ｋ）を読み込む（Ｓ５３）。ここでは、ステップＳ５２において拡大したデフォーカス画像の画素値（ｋ）を読み込む。画素値（ｋ）を読み込むと、次に、ゲインＧａｉｎを生成し（Ｓ５５）、ベストフォーカス画像の画素値（Ｘ）を読み込む（Ｓ５７）。続いて、ステップＳ５７で読み込んだ画素値（Ｘ）に、ステップＳ５５で生成したゲインＧａｉｎを乗算することにより、画素補正を行う（Ｓ５１）。

画素補正を行うと、次に、全画素スキャンが完了したか否かについて判定する（Ｓ６１）。この判定の結果、全画素のスキャンが完了していない場合には、ベストフォーカス画像の画素位置を更新し（Ｓ６３）、デフォーカス画像の画素位置を更新してから（Ｓ６５）、ステップＳ５３に戻る。一方、全画素のスキャンが完了した場合には、シェーディング補正のフローを終了し、元のフローに戻る。

次に、図１２に示すフローチャートを用いて、ステップＳ１４（図８、図９参照）のデフォーカスＬＶ画像決定の変形例を説明する。第２実施形態に係るデフォーカスＬＶ画像決定は、ベストフォーカス位置Ｐｂを検出すると、この位置から予め決められたデフォーカス量Ｄｅだけ至近側に離れた位置をデフォーカス位置Ｐｄと決めていた。これに対して、本変形例では、フォーカス位置情報算出時（Ｓ１１参照）に取得したコントラストカーブ（ｔａｂｌｅ［Ｎ］）を用いて、ベストフォーカス位置と、天板１ａ（図２参照）のフォーカス位置を求める。そして、この両位置の間において、フォーカス位置情報（コントラスト値）が最小となるフォーカス位置をデフォーカス位置Ｐｄと決定する（図１３参照）。

図１２に示すフローの処理が開始すると、まず、コントラストカーブ（ｔａｂｌｅ［Ｎ］）を読み込む（Ｓ９１）。ステップＳ１１において、フォーカス位置情報を算出した際に、フォーカス位置情報をｔａｂｌｅ［Ｎ］としてメモリに記憶している。そこで、このステップでは、記憶されたフォーカス位置情報をｔａｂｌｅ［Ｎ］を読み出す。

続いて、天板でのフォーカス位置（Ｗ）を読み込む（Ｓ９３）。天板１ａのフォーカス位置について、図１３を用いて説明する。図１３は、横軸にフォーカス位置を、また縦軸にフォーカス位置情報をとった場合における、コントラストカーブを示す。フォーカスレンズが検体（細胞）４に合焦するベストフォーカス位置Ｐｂと、天板１ａに合焦する天板位置Ｐｔの２か所で、コントラストカーブがピークとなる。２つのピークのうち、至近側のピークが天板位置Ｐｔとなる。ステップＳ１１においてフォーカス位置情報を算出する際に、天板位置Ｐｔは予め調整値としてメモリに記憶されていることから、この値をメモリから読み出して使用する。天板１ａは固定されていることから、撮影する細胞の位置によらず一定だからである。この天板位置Ｐｔに対応するフォーカスレンズのフォーカス位置（Ｗ）が求まる。なお、天板１ａの位置が変動する可能性がある場合には、フォーカス位置情報を算出する際に、天板位置Ｐｔを検知するようにしてもよい。

天板でのフォーカス位置（Ｗ）を読み込むと、次にベストフォーカス位置を取得する（Ｓ９５）。ベストフォーカス位置は、フォーカス位置情報（コントラスト値）がピークとなる位置であり、ステップＳ１３において算出している。ここでは、ステップＳ１３における算出結果を取得する。

ベストフォーカス位置を取得すると、ｎ＝Ｗ、ｍｉｎ＝ｔａｂｌｅ［Ｗ］を設定する（Ｓ９７）。ここでは、フォーカス位置を表す変数ｎに、天板のフォーカス位置を表すＷを設定する。また、フォーカス位置情報（コントラスト値）の最小値を格納するメモリｍｉｎに、天板位置におけるフォーカス位置情報ｔａｂｌｅ［Ｗ］を設定する。

次に、ｔａｂｌｅ［ｎ］＜ｍｉｎか否かを判定する（Ｓ９９）。ここでは、ステップＳ９１において読み込んだコントラストカーブｔａｂｌｅ［Ｎ］から、フォーカス位置ｎに対応するフォーカス位置情報（コントラスト値）を読出し、このフォーカス位置情報と、フォーカス位置情報の最小値ｍｉｎを比較する。

ステップＳ９９における判定の結果、ｔａｂｌｅ［ｎ］＜ｍｉｎであった場合には、ｍｉｎ＝ｔａｂｌｅ［ｎ］とする（Ｓ１０１）。読出したフォーカス位置情報が、最小値よりも更に小さかったことから、フォーカス位置情報の最小値を更新する。

ステップＳ１０１においてフォーカス位置情報の最小値を更新すると、またはステップＳ９９における判定の結果、ｔａｂｌｅ［ｎ］＜ｍｉｎでなかった場合には、次に、ｎに１を加算する（Ｓ１０３）。

続いて、ｎ＝ベストフォーカス位置か否かを判定する（Ｓ１０５）。フォーカスレンズのフォーカス位置を表すｎが、ベストフォーカス位置Ｐｔに対応するフォーカス位置になったか否かを判定する。この判定の結果、ｎがベストフォーカス位置でなかった場合には、ステップＳ９９に戻り、前述の動作を実行する。

ステップＳ１０５における判定の結果、ｎ＝ベストフォーカス位置の場合には、デフォーカスＬＶ画像を決定する（Ｓ１０７）。ここでは、フォーカス位置情報の最小値ｍｉｎに記憶されているｔａｂｌｅ［ｎ］に対応するライブビュー画像が、デフォーカスＬＶ画像として決定される。ステップＳ１０において、ＬＶ画像がＳＤＡＲＡＭ１３７に一時記憶されていることから、この一時記憶された画像の中から、デフォーカス位置に対応するＬＶ画像を読み出せばよい。デフォーカスＬＶ画像が決定されると、ＳＤＲＡＭ１３７に一時記憶されたライブビュー画像は不要となることから、削除すればよい。デフォーカスＬＶ画像を決定すると、デフォーカスＬＶ画像決定のフローを終了して、元のフローに戻る。

このように、本変形例においては、天板１ａのフォーカス位置Ｐｔと、ベストフォーカス位置Ｐｂの間で（Ｓ９７、Ｓ１０５参照）、フォーカス位置情報（コントラスト値）の最小値ｍｉｎを求めている（Ｓ９９、Ｓ１０１参照）。このため、最小値を探索する範囲が天板位置Ｐｔからベストフォーカス位置Ｐｂの間に限定されるので、演算時間を短縮することができる。また、デフォーカス画像は、コントラスト値が最小となる画像であることから、シェーディング補正を行うに相応しい画像といえる。なお、天板１ａのフォーカス位置Ｐｔ以外にも、コントラスト値がピークとなるフォーカス位置があれば、この位置とベストフォーカス位置の間で、コントラスト値の最小となる画像を求めてもよい。

以上説明したように、本発明の各実施形態や変形例に係る撮像装置は、被写体を結像させるためのフォーカスレンズを含む光学部材を備えている。また、この装置においては、光学部材を通過した被写体光束を電気信号に変換し画像データを取得し（例えば、図７のＳ１、Ｓ５、Ｓ９、Ｓ２１等参照）、画像データに基づいて、フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置（例えば、図６のベストフォーカス位置Ｐｂ）と、第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置（例えば、図６、図１０、図１３のデフォーカス位置Ｐｄ）を算出し（例えば、図５のＳ１７、Ｓ２７等参照）、第１のフォーカスレンズ位置もしくは第２のフォーカスレンズ位置に基づきフォーカスレンズの駆動を制御している（例えば、図５のＳ１７、Ｓ２７等参照）。さらに、第１のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、第１のフォーカスレンズ位置において取得した画像をベストフォーカス画像とし（例えば、図５のＳ２３等参照）、一方、第２のフォーカスレンズ位置へフォーカスレンズの駆動を制御し、第２のフォーカスレンズ位置において取得した画像をデフォーカス画像とし（例えば、図５のＳ３１等参照）、デフォーカス画像からシェーディング補正値を生成し（例えば、図５のＳ３３、図７のＳ５５等参照）、ベストフォーカス画像をシェーディング補正値で補正する（例えば、図５のＳ３３、図７のＳ５７、Ｓ５９等参照）。このため、シェーディング特性を簡易かつ高精度に推定し、画像のシェーディングを補正することができる。また、撮像画像が細胞等の検体である場合には、シェーディング補正した画像を使用することにより、細胞の数や密度の算出精度を安定させることができる。

なお、本発明の各実施形態や変形例においては、ライブビュー画像とスチル画像（静止画画像）の２種類の画像を取得していたが、いずれか一方の画像を取得する撮像装置であってもよい。この場合であっても、ライブビュー画像またはスチル画像のいずれかにおいて取得したベストフォーカス画像とデフォーカス画像を用いて、シェーディング補正を行うことができる。

また、本発明の各実施形態や変形例においては、露出制御部１１３、フォーカス制御部１１５、シェーディング推定部１１７、ゲイン生成部１１９、画像補正部１２１、画像処理部１２３等を、マイクロコンピュータ１３１とは別体の構成としたが、各部の全部または一部をソフトウエアで構成し、マイクロコンピュータ１３１内のＣＰＵによって実行するようにしても勿論かまわない。また、上述の各部の全部または一部を、ヴェリログ（Verilog）によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またＤＳＰ（Digital Signal Processor）等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。また、マイクロコンピュータ１３１の機能の一部をＤＳＰ等のプログラムコードで実行される回路で実現するようにしてもよく、ヴェリログによって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またハードウエア回路によって実現するようにしてもよい。

また、本発明の各実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、シェーディングが発生する撮像装置であれば、本発明を適用することができる。

また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

また、本発明の一実施形態においては、フローチャートを用いて、本実施形態における動作を説明したが、処理手順は、順番を変えてもよく、また、いずれかのステップを省略してもよく、ステップを追加してもよく、さらに各ステップ内における具体的な処理内容を変更してもよい。

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・細胞観察システム、１ａ・・・天板、３・・・容器、３ａ・・・蓋、４・・・検体（細胞）、５・・・パーソナルコンピュータ（ＰＣ）、１０・・・カメラヘッド、１１・・・カメラ本体、１３・・・光源装置、１０１・・・撮影レンズ、１０３・・・絞り、１０５・・・ドライバ、１０６・・・シャッタ、１０７・・・撮像素子、１０９・・・アナログ処理回路、１１１・・・Ａ／Ｄ変換部、１１３・・・露出制御部、１１５・・・フォーカス制御部、１１７・・・シェーディング推定部、１１９・・・ゲイン生成部、１２１・・・画像補正部、１２３・・・画像処理部、１２５・・・バス、１３１・・・マイクロコンピュータ、１３３・・・外部Ｉ／Ｆ、１３５・・・フラッシュメモリ、１３７・・・ＳＤＲＡＭ、１３９・・・画像圧縮部、１４１・・・メモリＩ／Ｆ、１４３・・・記録媒体

Claims (12)

1. 被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置において、
   上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得する撮像部と、
   上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御するフォーカスレンズ制御部と、
   上記画像データからシェーディング特性を推定し、該シェーディング特性からシェーディング補正値を算出する補正値生成部と、
   上記画像データを、上記算出したシェーディング補正値によって補正する画像補正部と、
   を具備し、
   フォーカスレンズ制御部は、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において上記撮像部で取得した画像をベストフォーカス画像とし、一方、フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において上記撮像部で取得した画像をデフォーカス画像とし、
   上記補正値生成部は、上記デフォーカス画像を用いて上記シェーディング補正値を生成し、
   上記画像補正部は、上記ベストフォーカス画像を上記シェーディング補正値によって補正する、
   ことを特徴とする撮像装置。
2. 上記撮像部は、駆動モードとして、少なくともスチル撮影用のスチル撮像駆動モードと、ライブビュー表示用のＬＶ撮像駆動モードとを有し、
   上記撮像部が、上記ＬＶ撮像駆動モードで駆動されている場合に、上記撮像部が取得した画像の中からデフォーカス画像を決定する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記フォーカスレンズの各フォーカスレンズ位置において上記画像データを用いてコントラスト値を算出し、該コントラスト値とフォーカスレンズ位置からコントラストカーブを生成するコントラスト値算出部を有し、
   上記フォーカスレンズ制御部は、該コントラストカーブに基づいて上記第２のフォーカスレンズ位置を算出することを特徴とする請求項１または２のいずれかに記載の撮像装置。
4. 上記フォーカスレンズ制御部は、上記コントラストカーブに対し、上記コントラスト値が所定の閾値以下のフォーカスレンズ位置に基づき、上記第２のフォーカスレンズ位置を算出する、ことを特徴とする請求項３に記載の撮像装置。
5. 上記フォーカスレンズ制御部は、第２のフォーカスレンズ位置を算出する際に、算出基準となる基準位置を予め設定しておき、上記基準位置から上記第１のフォーカスレンズ位置までの間を上記フォーカスレンズの駆動を制御しながら、上記撮像部で取得した画像データに基づいて算出された上記コントラストカーブの最小値を検出し、そのフォーカスレンズ位置を上記第２のフォーカスレンズ位置とすることを特徴とする請求項３に記載の撮像装置。
6. 上記フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置を、上記第１のフォーカスレンズ位置から、予め決められたデフォーカス量だけ離れた位置に決定することを特徴とする請求項１に記載の撮像装置。
7. 上記フォーカスレンズ制御部は、スチル撮影の開始後に、ベストフォーカス画像およびデフォーカス画像を取得することを特徴とする請求項１に記載の撮像装置。
8. 上記補正値生成部は、上記シェーディング特性から、ゲイン値を算出し、該ゲイン値を上記シェーディング補正値とすることを特徴とする請求項１ないし７に記載の撮像装置。
9. 上記補正値生成部は、上記デフォーカス画像を構成する画素データの中で、最大値を検出し、該最大値と各画素データの比に基づいてゲイン値を算出し、このゲイン値を上記シェーディング補正値とすることを特徴とする請求項１ないし７に記載の撮像装置。
10. 被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置において、
    上記光学部材を通過した被写体光束を電気信号に変換し、画像データを出力する撮像部と、
    上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御するフォーカスレンズ制御部と、
    上記画像データに基づいてシェーディング特性を推定するシェーディング推定部と、
    上記シェーディング特性を用いてゲイン値を算出するゲイン生成部と、
    上記画像データを、上記算出したゲイン値によって補正する画像補正部と、
    を具備し、
    フォーカスレンズ制御部は、上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において上記撮像部で取得した画像をベストフォーカス画像とし、一方、フォーカスレンズ制御部は、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において上記撮像部で取得した画像をデフォーカス画像とし、
    上記シェーディング推定部は、上記デフォーカス画像に基づいてシェーディング特性を推定し、
    上記画像補正部は、上記ベストフォーカス画像を上記ゲイン値によって補正する、
    ことを特徴とする撮像装置。
11. 被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置における撮像方法において、
    上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得し、
    上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御し、
    さらに、
    上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において取得した画像をベストフォーカス画像とし、一方、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において取得した画像をデフォーカス画像とし、
    上記デフォーカス画像から上記シェーディング補正値を生成し、
    上記ベストフォーカス画像を上記シェーディング補正値で補正する、
    ことを特徴とする撮像方法。
12. 被写体を結像させるためのフォーカスレンズを含む光学部材を備えた撮像装置内に設けられたコンピュータを実行させるためのプログラムにおいて、
    上記光学部材を通過した被写体光束を電気信号に変換し画像データを取得し、
    上記画像データに基づいて、上記フォーカスレンズが上記被写体に合焦する第１のフォーカスレンズ位置と、上記第１のフォーカスレンズ位置とは異なる第２のフォーカスレンズ位置を算出し、上記第１のフォーカスレンズ位置もしくは上記第２のフォーカスレンズ位置に基づき上記フォーカスレンズの駆動を制御し、
    さらに、
    上記第１のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第１のフォーカスレンズ位置において取得した画像をベストフォーカス画像とし、一方、上記第２のフォーカスレンズ位置へ上記フォーカスレンズの駆動を制御し、上記第２のフォーカスレンズ位置において取得した画像をデフォーカス画像とし、
    上記デフォーカス画像から上記シェーディング補正値を生成し、
    上記ベストフォーカス画像を上記シェーディング補正値で補正する、
    ことを上記コンピュータに実行させるためのプログラム。