JP2015207998A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】撮像対象の各部に対して良好なフォーカス状態となった擬似的に焦点深度を深くした画像（合成写真）を簡易かつ迅速に得ることができ、また、撮像位置から対象までの距離の測定を可能とする画像処理装置を提供すること。
【解決手段】初期設定のフォーカス位置で撮像された多段階画像群から選択された画像データのみならず、再設定されたフォーカス位置で撮像された多段階画像群から選択された画像データに基づいて画像の合成を行うことで、フォーカス状態が良好な画像を用いた画像合成（つなぎ合わせ）が可能となる。従って、立体的な撮像対象に対して各部でフォーカス状態の良好な合成写真を得ることができ、擬似的に焦点深度を深くした画像を得ることができる。また、フォーカスに関するデータに基づいて、撮像位置から撮像対象までの距離の測定を正確に捉えることが可能となる。
【選択図】 図１

Description

本発明は、フォーカス状態に関して多段階に撮像可能であり、かつ、複数の画像をつなぎ合せ可能であり、立体的対象について擬似的に焦点深度を深くした画像を得ることができる画像処理装置及び画像処理方法に関する。

フーリエ変換を用いた画像処理装置として、対象とする画像データから２方向に関する空間周波数スペクトルを得ることで、様々なパターンを有する画像に対して適切な判別や処理が可能であり、パターン特性等を様々な方向に関してバランス良く検出することができる画像処理装置が知られている（特許文献１参照）。この際、対象が立体的である場合に、フォーカス状態を多段階で切り替えつつ対象を撮影することも知られている。

しかしながら、撮像対象が立体的である場合、処理の対象となるべき画像のフォーカス状態が適切でなくなり、上記のような処理対象となるべき画像を良好な状態で得ることができない可能性がある。これは、たとえフォーカス状態を多段階で切り替えるものとしても、多段階のフォーカス位置のうちいずれの位置におけるフォーカス状態もピントが合っていない（デフォーカス状態）場合には、やはり画像を良好な状態で得ることができないことになる。また、仮に多段階とするフォーカス位置を増やした場合、撮像や画像処理に時間や費用を要することになる。
特開２００６−２２１３６５号公報

本発明は、撮像対象の各部に対して比較的良好なフォーカス状態とした画像（合成写真）を簡易かつ迅速に得ることができる画像処理装置を提供することを目的とする。

上記課題を解決するため、本発明に係る画像処理装置は、（ａ）多段階のフォーカス位置に切り替えつつ撮像対象を撮像可能であり、かつ、フォーカスの方向に対して垂直な面内の方向に関して、撮像対象との相対的な位置を変更した撮像を可能とする撮像部と、（ｂ）初期設定された多段階の初期フォーカス位置で撮像部による撮像を行わせる初期設定撮像処理部と、（ｃ）フォーカスの方向に対して垂直な面内での撮像範囲に関して同じ領域において、初期設定撮像処理部での処理に基づいて初期フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第１選択部と、（ｄ）フォーカスの方向に対して垂直な面内での撮像範囲に関して異なる位置にある複数の部分領域において、第１選択部での選択によってそれぞれ選択された画像データについてのベストフォーカス位置に関する分布を算出する分布算出プログラム部と、（ｅ）分布算出プログラム部で算出されたベストフォーカス位置に関する分布の偏りに応じて、フォーカス位置に関して再設定の処理を行う再設定プログラム部と、（ｆ）再設定プログラム部において多段階に再設定された再設定フォーカス位置で撮像部による再度の撮像を行わせる再設定撮像処理部と、（ｇ）再設定撮像処理部での処理に基づいて撮像部によって再設定フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第２選択部と、（ｈ）第１選択部において選択された初期設定での画像データと、第２選択部において選択された再設定での画像データとに基づいて、画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成処理部と、を備える。

上記画像処理装置では、初期設定のフォーカス位置で多段階に撮像された画像群から選択された画像データのみに基づくのではなく、再設定プログラム部において再設定されたすなわち修正されたフォーカス位置で多段階に撮像された画像群から選択された画像データにも基づいて画像の合成を行うことができる。これにより、フォーカス状態がより良好となった画像を用いた画像合成（つなぎ合わせ）が可能となり、特に立体的な撮像対象に対して各部でフォーカス状態の良好な合成写真を得ることができる。

また、本発明の具体的な観点又は態様では、再設定撮像処理部は、再設定フォーカス位置に基づいて、初期設定におけるフォーカスの方向に対して垂直な面内での全ての撮像範囲と同一の範囲について撮像部に撮像を行わせる。この場合、初期設定における撮像範囲の全体について再設定フォーカス位置で撮像された画像を取得できる。

本発明の別の態様では、撮像部は、設定された多段階のフォーカス位置に対応する各フォーカス状態のうち一のフォーカス位置に対応するフォーカス状態を維持して、フォーカスの方向に対して垂直な面内の方向に関して撮像対象との相対的な位置を変更しつつ複数の画像を一括して撮像する。この場合、複数の画像を一括して撮像することで、撮像効率を高めることができる。

本発明のさらに別の態様では、分布算出プログラムは、初期フォーカス位置の段階ごとにベストフォーカス位置の累積値を求め、再設定プログラム部は、累積値の変化率に応じて再設定フォーカス位置を確定させる。この場合、初期フォーカス位置のベストフォーカス位置がフォーカスの方向に対して垂直な面内を占める面積率（累積値）に基づいて再設定フォーカス位置が確定されることで、フォーカス状態がより良好となった画像を取得することが可能になる。

本発明のさらに別の態様では、再設定プログラム部は、多段階の初期フォーカス位置のうち隣接するフォーカス位置の間において累積値が所定の閾値以上増加した場合に、当該フォーカス位置の間に１つ以上の新たなフォーカス位置を設ける。この場合、累積値の増加量に基づいて再設定のための新たなフォーカス位置を決定できる。

本発明のさらに別の態様では、再設定プログラム部は、隣接するフォーカス位置の間に新たなフォーカス位置を設けるに際して、当該隣接するフォーカス位置の間における当該新たなフォーカス位置の分割数及び配置を、累積値の増大率に基づいて決定する。この場合、累積値の変化率が大きいところほど密に、すなわちより高精細にフォーカス位置の設定ができる。

本発明のさらに別の態様では、再設定でのベストフォーカス位置におけるデフォーカス状態に関する数値について算出するとともに、デフォーカス状態に関する数値の算出結果において所定の閾値以上のデフォーカス状態にある再設定時デフォーカス部分領域が存在するか否かを特定する再設定時デフォーカス測定部をさらに備え、再設定撮像処理部は、再設定時デフォーカス測定部により再設定時デフォーカス部分領域が存在するとされた場合に、フォーカスの方向に対して垂直な面内での撮像部の撮像位置を変更し、再設定プログラム部において再設定されたフォーカス位置に基づいて撮像部に撮像を行わせる。この場合、撮像部の撮像位置を変更することで、良好でない状態にある再設定時デフォーカス部分領域について再度画像データを取得し直すことができる。

本発明のさらに別の態様では、再設定撮像処理部は、再設定時デフォーカス部分領域を、撮像部による撮像において撮像中心とするように上記撮像位置を変更する。この場合、再設定時デフォーカス部分領域の撮像における収差を低減できる。

本発明のさらに別の態様では、撮像部は、拡大光学系を有し、拡大像の画像を撮像する。この場合、上記のようにフォーカス状態を向上させることで、焦点深度が浅くなる傾向にある拡大像の画像においてもピントの合った画像を得ることができる。

上記課題を解決するため、本発明に係る画像処理方法は、（ａ）多段階のフォーカス位置に切り替えつつ撮像対象を撮像可能であり、かつ、フォーカスの方向に対して垂直な面内の方向に関して、撮像対象との相対的な位置を変更した撮像を可能とする撮像部を用いた画像処理方法であって、（ｂ）初期設定された多段階の初期フォーカス位置で撮像部による撮像を行わせる初期設定撮像工程と、（ｃ）フォーカスの方向に対して垂直な面内での撮像範囲に関して同じ領域において、初期設定撮像工程での処理に基づいて初期フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第１選択工程と、（ｄ）フォーカスの方向に対して垂直な面内での撮像範囲に関して異なる位置にある複数の部分領域において、第１選択工程での選択によってそれぞれ選択された画像データについてのベストフォーカス位置に関する分布を算出する分布算出工程と、（ｅ）分布算出工程で算出されたベストフォーカス位置に関する分布の偏りに応じて、フォーカス位置に関して再設定の処理を行う再設定工程と、（ｆ）再設定工程において多段階に再設定された再設定フォーカス位置で撮像部による再度の撮像をさせる再設定撮像工程と、（ｇ）再設定撮像工程での処理に基づいて撮像部によって再設定フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第２選択工程と、（ｈ）第１選択工程において選択された初期設定での画像データと、第２選択工程において選択された再設定での画像データとに基づいて、画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成工程と、を備える。

上記画像処理方法では、初期設定のフォーカス位置で多段階に撮像された画像群から選択された画像データのみに基づくのではなく、再設定プログラム工程において再設定されたすなわち修正されたフォーカス位置で多段階に撮像された画像群から選択された画像データにも基づいて画像の合成を行うことができる。これにより、フォーカス状態がより良好となった画像を用いた画像合成（つなぎ合わせ）が可能となり、特に立体的な撮像対象に対して各部でフォーカス状態の良好な合成写真を得ることができる。

第１実施形態に係る画像処理装置の構造を概念的に説明するブロック図である。 記憶装置に格納されるプログラム及びデータについて示すブロック図である。 一つのフォーカス状態において撮像される複数の画像を模式的に示す図である。 （Ａ）は、撮像範囲のうち１つの領域において多段階のフォーカス位置で撮像された対象の拡大像を撮影することによって得た画像ファイルを模式的に示し、（Ｂ）は、異なる領域においてそれぞれ撮像された画像ファイルを模式的に示す図である。 （Ａ）は、撮像範囲のうち１つの領域における画像ファイルを模式的に示し、（Ｂ）は、１つの画像ファイルから同一の部分領域におけるブロック画像の画像データを抽出する様子を模式的に示す図である。 （Ａ）は、各ブロック画像におけるベストフォーカス位置を平面的に示す図であり、（Ｂ）は、各ブロック画像におけるベストフォーカス位置を示すグラフである。 図６（Ｂ）のグラフを示す斜視図である。 初期ベストフォーカス位置についての面積率の累積度数を示すグラフである。 初期ベストフォーカス位置の分布に基づくフォーカス位置の再設定について説明するための模式的な図である。 撮影装置の主な動作を説明するフローチャートである。 変形例の撮像動作について説明するための図である。 第２実施形態に係る画像処理装置に内蔵される記憶装置に格納されるプログラム及びデータについて示すブロック図である。 第２実施形態に係る画像処理装置について説明するためのブロック画像の図である。 第２実施形態に係る画像処理装置について説明するための複数の画像を模式的に示す図である。

〔第１実施形態〕
以下、本発明の第１実施形態に係る画像処理装置について図面を参照しつつ説明する。

図１に示すように、本実施形態に係る画像処理装置１００は、撮像部３０と、インターフェース装置４０と、制御装置５０とを備える。これらのうち、撮像動作を行う撮像部３０は、顕微鏡装置１０と、カメラ２０とを備える。

顕微鏡装置１０は、顕微鏡本体部１１と、顕微鏡駆動装置１１ａと、ステージ１２と、ステージ駆動装置１２ａとを備える。顕微鏡本体部１１は、対物レンズ等からなる拡大光学系であり、顕微鏡駆動装置１１ａは、制御装置５０からの指示に従ってインターフェース装置４０を介して顕微鏡本体部１１を駆動させる装置である。ステージ１２は、顕微鏡本体部１１による撮像対象の観察のために当該撮像対象を載置するためのものであり、ステージ駆動装置１２ａは、制御装置５０からの指示に従ってインターフェース装置４０を介してステージ１２を移動させる装置である。

顕微鏡駆動装置１１ａは、顕微鏡本体部１１を構成する対物レンズ等を駆動して拡大光学系による結像状態を調節する。具体的には、例えば対物レンズを光軸に沿って適宜移動させて、カメラ２０に入射する画像のフォーカス状態（ピント状態）を多段階で或いは連続的に変化させる。なお、図示において、対物レンズを移動させる方向すなわちフォーカスの方向をＺ方向とし、フォーカスの方向に対して垂直な面の方向をＸ方向及びＹ方向とする。ステージ１２がステージ駆動装置１２ａによってＸ方向及びＹ方向について移動することで、顕微鏡装置１０は、顕微鏡本体部１１に対する撮像対象の相対的な位置を変更可能にしている。なお、図示を省略しているが、顕微鏡装置１０は、上記の他、対象を照明するための照明装置を備える。

カメラ２０は、ＣＣＤ等からなる固体撮像装置を内蔵する。この固体撮像装置で検出された画像は、例えばデジタル画像信号として、インターフェース装置４０側に出力される。なお、カメラ２０は、顕微鏡装置１０の顕微鏡本体部１１と一体的になっている。

インターフェース装置４０は、撮像部３０を構成する顕微鏡装置１０やカメラ２０と、制御装置５０との間に介在してデータ信号や指令信号の授受を行う。具体的に説明すると、インターフェース装置４０は、カメラ２０から出力され一時的に保持された画像信号を、制御装置５０からの要求に応じて制御装置５０に出力する。また、インターフェース装置４０は、制御装置５０からの指令に基づいて顕微鏡装置１０の顕微鏡駆動装置１１ａを適当なタイミングで動作させ、カメラ２０によって撮影される画像のピント状態を多段階で変化させる。これにより、対象のピント状態を変化させた多段からなるフォーカス段階で撮影した多数の画像ファイルを得ることができる。また、インターフェース装置４０は、ステージ駆動装置１２ａを適当なタイミングで動作させ、撮像位置を変更する。

制御装置５０は、一般的なコンピュータと同様に、ＣＰＵ５１、入力装置５２、ディスプレイ５３、出力装置５４、記憶装置５５等を備えている。このうち、ＣＰＵ５１は、入力装置５２、ディスプレイ５３、出力装置５４、及び記憶装置５５との間で相互にデータの授受が可能になっている。また、ＣＰＵ５１は、入力装置５２等からの指示に基づいて、記憶装置５５等から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。

具体的には、顕微鏡写真を撮影するための制御用コンピュータプログラムを起動することにより、ＣＰＵ５１は、入力装置５２からの指示等に基づいて、記憶装置５５から必要な制御用データ、演算用データテーブル等を読み出す。さらに、ＣＰＵ５１は、読み出した制御用データ、演算用データテーブル等に基づいて、顕微鏡本体部１１の状態、撮像部３０のフォーカス駆動条件、カメラ２０の設定等を含む動作条件のほか、画像の処理方法等を含む各種管理情報を、整理した状態でディスプレイ５３に表示させる。また、ＣＰＵ５１は、入力装置５２からの指示やプログラムの手順に基づいて、カメラ２０から出力される画像信号を対象の拡大像としてインターフェース装置４０を介して取り込み、取り込んだ画像信号から適当な部分を順次切り出してつなぎ合わせることにより１つの画像ファイルを合成する。具体的には、フォーカス状態を徐々に変化させて（すなわちフォーカス位置を徐々に変化させて）撮影した複数の画像ファイルをそれぞれ多数の部分領域に分割するとともに、対応する同一部分領域間で画像データを比較し、比較した画像データのうち最もピントが合った部分を選択してつなぎ合わせる。なお、フォーカス位置については、カメラ２０の内部におけるレンズの調整のほか、カメラ２０自体をフォーカスの方向（Ｚ方向）について移動させることによっても調整できる。

入力装置５２は、キーボード、マウス等から構成され、ディスプレイ５３を利用した操作により、この制御装置５０を操作するユーザの意思を反映した指令信号をＣＰＵ５１に出力する。

ディスプレイ５３は、ＬＣＤ等により構成され、ＣＰＵ５１から入力される駆動信号に基づいて必要な表示を行う。

出力装置５４は、プリンタ等からなり、ＣＰＵ５１から入力されるデータに基づいて用紙に必要なデータや画像を印字する出力を行う。

記憶装置５５は、制御装置５０を動作させる基本プログラム等を記憶しているＲＯＭと、アプリケーションプログラム、入力指示、入力データ、及び処理結果等を一時格納するＲＡＭ等とからなるメモリ５５ａを備える。さらに、記憶装置５５は、磁気的、或いは光学的な手法によってデータを保持することができるストレージデバイス５５ｂを備える。このストレージデバイス５５ｂは、固定的に設けられたものであるが、着脱自在に装着可能な記録媒体ＲＭ用のドライブを並設することができる。

以上のような画像処理装置１００において、特に顕微鏡で拡大して観察される画像のように、焦点深度が非常に浅いものである場合、撮像部３０において固定的に設けた多段階のフォーカス位置からの撮像が可能であるものとしていても、いずれの段階におけるフォーカス状態もピントが合っていない（デフォーカス状態）ということが生じ得る。このような場合には、複数あるフォーカス状態の画像から相対的に最もピントの合った状態にあると考えられるものすなわちベストフォーカス位置にあるものを選択し採用しても、良好な状態の画像データを得ることができないことになる。本実施形態では、初期設定された多段階のフォーカス位置での撮像を行って得られた画像データだけでなく、当該データに基づいて再度多段階のフォーカス位置を再設定し、再度の撮像を行った上でベストフォーカス位置にある画像データの選択及び取得を可能とすることにより、所期のフォーカス状態の画像を得ることを可能にしている。ここで、多段階のフォーカス位置のうちベストフォーカス位置を選択（決定）する方法については、種々のものが考えられるが、例えばコントラストの高さから選択する方法や高速フーリエ変換の周波数の高さから選択する方法等が考えられる。

図２は、制御装置５０（図１参照）での各種処理のうち、主となる動作である画像データの取得からフォーカス位置の再設定による撮像及び撮像された画像の合成までの各種処理を実行するために記憶装置５５（メモリ５５ａ）に格納されるプログラム及びデータについて示すブロック図である。具体的には、記憶装置５５（メモリ５５ａ）は、プログラム記憶部ＰＳと、データ記憶部ＤＳとを備えている。記憶装置５５は、プログラム記憶部ＰＳにおいて、フォーカス位置設定プログラムＰ１と、ベストフォーカス位置選択プログラムＰ２と、分布算出プログラムＰ３と、再設定プログラムＰ４と、画像合成処理プログラムＰ５とを格納し、さらに、撮像処理プログラムＰＸを格納している。

フォーカス位置設定プログラムＰ１は、撮像部３０による多段階のフォーカス位置での撮像を行うにあたって複数のフォーカス位置を設定するためのプログラムである。ベストフォーカス位置選択プログラムＰ２は、多段階のフォーカス位置で撮像された画像データから最良のフォーカス状態にあるすなわちベストフォーカス位置にある画像を選択するためのプログラムである。分布算出プログラムＰ３は、各画像データにおけるベストフォーカス位置を集計するためのプログラムである。再設定プログラムＰ４は、フォーカス位置の再設定を行うためのプログラムである。なお、ここでは、フォーカス位置の再設定は、分布算出プログラムＰ３を用いた集計結果に基づいてなされる。画像合成処理プログラムＰ５は、上記各プログラムに基づいて撮像された画像のうちから選択されたものを合成して１つの合成された画像（合成写真）を作製するためのプログラムである。撮像処理プログラムＰＸは、フォーカス位置設定プログラムＰ１で設定されたフォーカス位置等の各種設定に基づいて撮像部３０に撮像動作を行わせるためのプログラムである。

また、記憶装置５５（メモリ５５ａ）は、データ記憶部ＤＳにおいて、初期フォーカス位置記憶部Ｄ１と、画像データ記憶部Ｄ２と、再設定フォーカス位置記憶部Ｄ３と、等高位置情報記憶部Ｄ４とを設けている。データ記憶部ＤＳのうち、初期フォーカス位置記憶部Ｄ１は、初期設定でのフォーカス位置に関するデータを記憶させる領域である。ＣＰＵ５１は、プログラム記憶部ＰＳからフォーカス位置設定プログラムＰ１を読み出すとともに初期フォーカス位置記憶部Ｄ１を読み出すことで、初期フォーカス位置での多段階の撮像を撮像部３０に行わせる。

データ記憶部ＤＳのうち、画像データ記憶部Ｄ２は、撮像部３０で撮像された画像データを記憶させる領域である。ＣＰＵ５１は、画像処理において、必要に応じて適宜画像データ記憶部Ｄ２からの情報を読出し、また、各種データの更新の処理を行う。なお、画像データ記憶部Ｄ２において、最終結果として得られる合成画像データを記憶する領域として合成画像データ記憶部Ｄ２ａが設けられている。

データ記憶部ＤＳのうち、再設定フォーカス位置記憶部Ｄ３は、再設定されたフォーカス位置に関するデータを記憶させる領域である。ＣＰＵ５１は、プログラム記憶部ＰＳからフォーカス位置設定プログラムＰ１を読み出すとともに再設定フォーカス位置記憶部Ｄ３を読み出すことで、再設定されたフォーカス位置での多段階の撮像を撮像部３０に行わせる。

データ記憶部ＤＳのうち、等高位置情報記憶部Ｄ４は、各画像データ位置において測定される撮像位置から撮像対象までの距離データを、合成画像データ記憶部Ｄ２ａに格納される合成画像データ以外に最終結果として得られる情報として記憶する。

以下、模式的に示す図３等の各図を参照して、撮像の各段階で取得され画像データ記憶部Ｄ２に画像データとして記憶される画像の状況について説明する。

まず、図３は、多段階のフォーカス状態（フォーカス位置）のうち一のフォーカス状態として、フォーカス方向であるＺ方向に関して最も−Ｚ側に位置するフォーカス位置で撮像された画像の様子を模式的に示している。具体的には、図１の撮像部３０において最も−Ｚ側にフォーカス位置を合わせたフォーカス状態を維持して、ステージ１２を駆動することにより、ＸＹ面内において顕微鏡本体部１１及びカメラ２０を撮像対象に対して相対的に移動して（走査させて）複数の画像がスキャン撮像されることで、図３に示すような対応する複数の画像データである画像ファイルＩＦ_１，１（１），ＩＦ_１，２（１）…がそれぞれ得られるものとなっている。この場合、Ｚ方向に関しては１つのフォーカス状態を維持する一方、ＸＹ面内においては、撮像対象と顕微鏡本体部１１との相対的な位置を変更しながら複数回の撮像を行うことで、複数の画像を一括して迅速なスキャン撮像することを可能としている。他のフォーカス状態（フォーカス位置）においても同様の動作による撮像を繰り返すことで、多段階のフォーカス状態にある複数の画像を得るという多くの回数の撮像を要する場合であっても、迅速に画像データを取得することができる。

図４（Ａ）及び４（Ｂ）は、撮像部３０を上述のように動作させて対象の拡大像を撮影することによって得た多段階の画像ファイルを示している。ここでは、一例として、初期設定において固定的に設定されたフォーカス位置が１０段階で変化するものとする。すなわち、例えば図４（Ａ）に示すように、フォーカスの方向に対して垂直な面内（ＸＹ面内）に関して、撮像範囲全体のうち同じ領域において、１０段階に撮像された１０個の画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）で構成される１組の画像データからなる画像群ＦＧ_１，１が取得される。言い換えると、各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）は、ＸＹ面内の撮像範囲において同一の領域における対象の一部拡大像を、フォーカス位置をずらしながら連続撮影したものとなっている。また、図４（Ｂ）に示すように、撮像範囲のうち他の領域においても、同様にして例えば画像ファイルＩＦ_２，１（１）〜ＩＦ_２，１（１０）からなる画像群ＦＧ_２，１等が取得される。なお、これらの画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１）１０等は、全体の処理が完了するまで記憶装置５５の画像データ記憶部Ｄ２（図２参照）に保管される。また、各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）等は、カラー画像であり、例えば画素ごとにＲＧＢの３原色の強度を特定したデータ群となっている。

図５（Ａ）は、図４（Ａ）に示す図に相当し、図５（Ｂ）は、図５（Ａ）に示す画像群ＦＧ_１，１を構成する各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）から切り出した部分領域である複数の切出領域に対応するブロック画像データを示す図である。図示のように、画像群ＦＧ_１，１は、ブロック画像データからを集めて構成されるものと考えることもできる。具体的には、画像群ＦＧ_１，１は、ブロック画像データＢＡ１（１）〜ＢＡ１（１０），…，ＢＡｎ（１）〜ＢＡｎ（１０），…，ＢＡｚ（１）〜ＢＡｚ（１０）で構成されている。なお、１つのブロック画像データにおいて占める面積は、他のブロック画像データにおいて占める面積と同一であるものとする。各ブロック画像データは、ＸＹ面内に関して同じ領域において１組のブロック画像群をそれぞれ構成する。例えば図の中央位置に示すように、ブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）によりブロック画像群ＢＧｎが構成される。他のブロック画像データについても同様であり、例えば図の端に示すように、ＢＡ１（１）〜ＢＡ１（１０）によりブロック画像群ＢＧ１が構成される。また、ＢＡｚ（１）〜ＢＡｚ（１０）によりブロック画像群ＢＧｚが構成される。画像群ＦＧ_１，１は、ブロック画像群ＢＧ１〜ＢＧｚによって構成されていると考えることもできる。これらのブロック画像群ＢＧｎ等は、画像群ＦＧ_１，１に関するデータとして、以後の画像選択等のために記憶装置５５の画像データ記憶部Ｄ２に一時的に保管される。ブロック画像データの配置等についてより詳細に説明する。画像群ＦＧ_１，１を構成する画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）から、１つのブロック画像群ＢＧｎを構成するブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）を切り出す位置は、各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）上の同一位置であり、隣接するブロック画像群に対して領域の重なりや隙間が生じないようになっている。つまり、ブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）の座標範囲は、その縦横（ＸＹ方向）の画素幅の分だけ離れた間隔でＸＹ面内でマトリクス状に配置されるようになっており、このように配置されたブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）をすべて集めることによって完全な画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）を構成するすなわち画像群ＦＧ_１，１を構成することができる。縦横（ＸＹ方向）の画素幅は、例えば１６ピクセル×１６ピクセルとする。なお、各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）の縁部分では、ブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）の画素幅を中央部分と必ずしも一致させることができない。この場合、ブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）の画素幅を例えば端数分の画素を含めて中央部分の画素幅よりも大きくする。

各画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）を構成するブロック画像群ＢＧ１，…，ＢＧｎ，…，ＢＧｚそれぞれに対して、最もフォーカス状態が良好であるものを選択することで、ベストフォーカス位置が決定する。例えばブロック画像群ＢＧｎを構成するブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）の１０段階の画像のうちから最もフォーカス状態が良好であるものを選択する。なお、この選択に際しては、種々の手法が知られているが、例えばコントラストの高さからベストフォーカス位置にあるものを選択する方法等が適用できる。また、例えば上記特許文献１（特開２００６−２２１３６５号公報）に記載の高速フーリエ変換を用いた係数処理や波位相処理後の空間周波数スペクトルを例えば積分等する方法によってそれぞれ算出した焦点度に基づいて、各ブロック画像データＢＡ１（１）〜ＢＡ１（１０）等のうちいずれのパターンが精細か否か（つまり焦点が合って鮮明か否か）を判断することも可能である。

図６及び図７は、１０段階のブロック画像データからなるブロック画像群から選択されたベストフォーカス位置について例示するものである。図６（Ａ）は、初期設定での撮像において得られた各ブロック画像データにおけるベストフォーカス位置（初期ベストフォーカス位置）を平面的に示す図であり、図６（Ｂ）は、１つの画像群（例えば図５（Ｂ）の画像群ＦＧ_１，１）の各ブロック画像データにおけるベストフォーカス位置を示すグラフである。なお、図６（Ｂ）のグラフは、本来、図７に示す斜視図のように、Ｘ，Ｙの２変数関数である。ここでは、Ｚ方向について１０段階のフォーカス位置が存在するものとしているため、図６（Ｂ）等に示すように、各ブロック画像データにおける初期ベストフォーカス位置を、最も−Ｚ側の位置から順に深度Ｈ１〜Ｈ１０で示している。図６（Ａ）に示すように、例えば座標（１，１）においては、深度Ｈ１〜Ｈ１０のうち、深度Ｈ１が初期ベストフォーカス位置であることを示している。座標（１，１）においては、図５（Ｂ）のブロック画像データのうち例えばブロック画像データＢＡ１（１）〜ＢＡ１（１０）が対応するものであるとすると、これらのうち深度Ｈ１をフォーカス位置とするブロック画像データＢＡ１（１）が選択されることになり、深度Ｈ１が初期ベストフォーカス位置となる。以下、同様にして、各ブロック画像データＢＡｎ（１）〜ＢＡｎ（１０）に関して、初期ベストフォーカス位置がそれぞれ選択される。以上により得られる初期ベストフォーカス位置についての分布の偏りを利用してフォーカス位置を再設定すれば、より高精細な画像を得ることができる。

図８は、上記のようにして得られた初期ベストフォーカス位置の分布の算出に適用される初期ベストフォーカス位置についての面積率の累積度数を示すグラフであり、横軸を深度すなわちフォーカス位置とし、縦軸を累積度数としている。言い換えると、図８は、上述のようにして各ブロック画像データについて得られた初期ベストフォーカス位置である深度Ｈ１〜Ｈ１０についての累積度数を集計したものである。ここでは、１つのブロック画像データにおいて占める面積は、他の画像データにおいて占める面積と同一であるため、このブロック画像データの累積度数は、形成すべき全範囲での合成画像に対する面積率を示すものとなる。また、図中一点鎖線で示す曲線ＣＣは、累積度数の増加度合から導かれる仮想的な増大曲線である。つまり、曲線ＣＣは、初期ベストフォーカス位置の変化を示すものである。また、図９は、初期ベストフォーカス位置の分布に基づくフォーカス位置の再設定について説明するための模式的な図である。つまり、図９は、初期設定の深度Ｈ１〜Ｈ１０と、新たに設定される深度Ｓ１〜Ｓ８とを示す図である。

ここでは、より細かなフォーカス位置の分割をするすなわち新たなフォーカス位置の設定（フォーカス位置の再設定）を行うに当たって、図８に示す面積率（累積値）の増加度合によって再設定時のフォーカス位置の分割数及び配置を決定する。すなわち、曲線ＣＣにおいて、初期設定において隣接する深度である深度Ｈ４から深度Ｈ５までの間での増大率を示す領域Ａ１の面積や曲線ＣＣの傾斜度合いの変化量に対して、閾値を予め定めておき、閾値を越えるか否かによって新ためて再設定するフォーカス位置すなわち深度Ｓ１等を決定する。ここでは、一例として、領域Ａ１，Ａ２の値に基づき深度Ｈ４からＨ５までの間に新たなフォーカス位置すなわち深度Ｓ２，Ｓ３が設定され、深度Ｈ５からＨ６までの間に新たなフォーカス位置すなわち深度Ｓ４が設定されるものとしている。例えば深度Ｓ２や深度Ｓ３の配置は、累積値の増加を示す領域Ａ１の面積の変化に応じて決まっている。閾値として例えば領域Ａ１等の値すなわち面積が全体に対して１０％増加するごとに新たな分割を設ける、すなわち新たな深度の設定を行うものとする。深度の位置は、面積の増加具合に応じて定められるものとする。つまり、増加率が高いほど短い間隔で深度の位置が設定されるものとなっている。具体的には、図８や図９に示す例では、上記閾値に基づいて、領域Ａ１が比較的急激に増加しておりこの増加率に比例させた結果として、深度Ｈ４からＨ５までの間に２箇所新たな深度Ｓ２，Ｓ３を設定している。一方、領域Ａ２が比較的穏やかに増加しておりこの増加率に比例させた結果として、深度Ｈ５からＨ６までの間に１箇所新たな深度Ｓ４を設定している。新たに設定される深度Ｓ２は、深度Ｈ４と深度Ｈ５とのほぼ中間点で深度Ｈ４側に配置されているのに対して、深度Ｓ３は、深度Ｈ５に近い側に配置されている。つまり、より増加率が高いところほど狭い間隔で新たな深度が設定されている。なお、例えば深度Ｓ１のように、新たな深度が元々の深度（深度Ｈ４）と一致するものとなってもよい。ここでは、例えば図９に示すように、再設定においては、８段階の深度Ｓ１〜Ｓ８を設けるものとする。この場合、深度Ｓ１〜Ｓ８が初期設定の深度Ｈ１〜Ｈ１０のうち、より限定された深度Ｈ４〜Ｈ８の間に収まっている。このように累積値の変化率が大きいところほど密にすなわちより狭い範囲で再設定をすることで、より高精細な撮像（高細部スキャン撮像）が可能となる。以上について、見方を変えると、図８において、細分化された新たな深度を設定することによって、右肩上がりの階段状のステップにおける急激な増加を抑える、すなわちステップの上がり具合を安定化（一定化）させるようにするものとなっている。これは、ある深度でベストフォーカス位置が急激に増えるのではなく、徐々に増えていくような多段階の画像データを作成していることになる。

以上のようにして取得された多段階のフォーカス位置にある画像のうちから最もフォーカス状態が良いものを選択し、このような画像データを適宜つなぎ合わせることによって、初期設定ではいずれの段階におけるフォーカス状態もピントが合っていない（デフォーカス状態）のものが存在する場合であっても、再設定での画像データを利用することで良好な合成画像を作成することができる。

また、以上では、初期設定での撮像と、再設定での撮像との２回の撮像動作を行うものとしているが、再設定の操作をさらに繰り返す、すなわち３回以上の撮像動作を行うことにより、より高精細な画像データを取得することも可能である。これは、図８に示す階段状のステップの上がり具合をさらに均一化させることにつながる。

以下、図１等に示す画像処理装置１００の動作の一例について説明する。図１０は、画像処理装置１００の画像取得及び画像処理に関する動作の一例を説明するフローチャートである。

まず、制御装置５０のＣＰＵ５１は、プログラム記憶部ＰＳからフォーカス位置設定プログラムＰ１を読み出すとともに初期フォーカス位置記憶部Ｄ１を読み出すとともに撮像処理プログラムＰＸを読み出すことで、初期フォーカス位置での多段階の撮像を撮像部３０に行わせる。すなわち、ＣＰＵ５１は、初期設定撮像処理部として、初期設定である深度Ｈ１〜Ｈ１０を初期設定のフォーカス位置とする設定（位置調整）を行い（ステップＳ１０１）、これらのフォーカス位置についての通常の撮像動作がなされる（初期設定撮像工程）。ここで、撮像部３０は、各深度Ｈ１〜Ｈ１０について同一の深さすなわちＺ方向について一定のままでＸＹ面内（フォーカスの方向に対して垂直な面内）を走査するようにスキャンして撮像する一括撮像を行う（ステップＳ１０２）。すなわち、図３に示すような同一の高さでＸＹ方向について異なる範囲にある複数の画像の撮像を行う。この動作を深度Ｈ１からＨ１０までの１０回繰り返して行うことで、画像処理に必要となる多量の画像データを迅速かつ的確に取得する。次に、ＣＰＵ５１は、第１選択部として、プログラム記憶部ＰＳからベストフォーカス位置選択プログラムＰ２を読み出して、例えば図５（Ｂ）等に示すように、同じ領域において多段階に撮像された多段階画像群のブロック画像データから、コントラストの高さについての情報等に基づいて初期設定でのベストフォーカス位置すなわち第１次ベストフォーカス位置を選択する（ステップＳ１０３：第１選択工程）。次に、ＣＰＵ５１は、ブロック画像データについてのベストフォーカス位置に関する分布を算出する分布算出プログラム部として、分布算出プログラムＰ３を読み出して、図８等に示すようなベストフォーカス位置に関する分布を算出する（ステップＳ１０４：分布算出工程）。次に、ＣＰＵ５１は、再設定プログラム部として、再設定プログラムＰ４を読み出して、ステップＳ１０４において算出されたベストフォーカス位置に関する分布の偏りに応じて、多段階のフォーカス位置に関して再設定の処理を行う（ステップＳ１０５：再設定工程）。なお、例えば図９において深度Ｓ１〜Ｓ８として示すような再設定のフォーカス位置については、再設定フォーカス位置記憶部Ｄ３に一時記憶される。次に、ＣＰＵ５１は、再設定撮像処理部として、プログラム記憶部ＰＳからフォーカス位置設定プログラムＰ１を読み出すとともに再設定フォーカス位置記憶部Ｄ３を読み出すことで、再設定されたフォーカス位置での多段階の撮像を撮像部３０に行わせる。つまり、ＣＰＵ５１は、撮像部３０による再度の撮像（高細部スキャン撮像）を行わせる（ステップＳ１０６：再設定撮像工程）。次に、ＣＰＵ５１は、第２選択部として、プログラム記憶部ＰＳからベストフォーカス位置選択プログラムＰ２を読み出して、同じ領域において多段階に撮像された多段階画像群のブロック画像データから、再設定時のベストフォーカス位置すなわち第２次ベストフォーカス位置を選択する（ステップＳ１０７：第２選択工程）。最後に、ＣＰＵ５１は、１つの合成画像を作成するための合成処理部として、ステップＳ１０３において選択された初期設定での画像データと、ステップＳ１０７において選択された再設定での画像データとに基づいて、画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成画像作製処理を行い（ステップＳ１０８：合成工程）、取得された各種情報を最終結果として合成画像データ記憶部Ｄ２ａや等高位置情報記憶部Ｄ４に格納し画像処理の動作を終了する。なお、以上において、各画像は、フォーカス位置に基づいて画像処理や画像データの選択を行っているため、結果として等高位置情報記憶部Ｄ４に格納される撮像位置から撮像対象までの距離データは、比較的精度の高いものとなっている。

以上により、本実施形態に係る画像処理装置１００では、初期設定のフォーカス位置で多段階に撮像された多段階画像群から選択された画像データのみならず、再設定プログラム部において再設定されたフォーカス位置で多段階に撮像された多段階画像群から選択された画像データに基づいて画像の合成を行うことで、フォーカス状態が良好な画像を用いた画像合成（つなぎ合わせ）が可能となる。従って、立体的な撮像対象に対して各部でフォーカス状態の良好な合成写真を得ることができ、擬似的に焦点深度を深くした画像を得ることができる。また、フォーカスに関するデータに基づいて、撮像位置から撮像対象までの距離の測定を正確に捉えることが可能となる。

なお、上記のうち、ステップＳ１０６においては、再設定された深度Ｓ１〜Ｓ８について、初期設定と同じ全ての範囲について撮像を行うが、例えば上述した場合の深度Ｓ１のように、新たな深度が元々の深度（深度Ｈ４）と一致するものとなっている場合には、既に必要なデータが一部得られていることになるので、深度Ｈ４をフォーカス位置とする撮像を省略することも可能である。

また、上記では、ＸＹ面内を相対的に移動してスキャン撮像するに際して、再設定での撮像においても初期設定での撮像と同じ範囲すなわち全撮像範囲について撮像を行うものとしているが、再設定での撮像を一部の領域に対してのみ行うものとしてもよい。例えば、フォーカス状態から再設定での撮像を要する範囲が４０％以上ある、といった場合には、全撮像範囲について一括して撮像を行うことが望ましい。一方、例えば再設定での撮像を要する範囲が０．５％以下である、といった場合には、その部分についてのみ再度の撮像を行うほうが効率的である。従って、例えば、再度の撮像を要するか否かの基準となるデフォーカス状態に関する所定の閾値を予め定めておき、その閾値を越えるような領域すなわちフォーカス状態の劣る領域がわずかである場合には、その部分についてのみ再度の撮像を行うことで効率的に撮像処理を進めるものとしてもよい。

また、図１１に示すように、再設定でのスキャン撮像において、ＸＹ面内に関する撮像位置をずらしてもよい。具体的には、例えば、図中において破線で示す初期設定でのスキャン撮像での撮像位置に対して、再設定でのスキャン撮像での撮像位置を、図中において実線で示すように画像ファイルの一片の長さの半分の長さ分だけＸ方向及びＹ方向についてずらした状態で撮像を行うものとしてもよい。

〔第２実施形態〕
以下、本発明の第２実施形態に係る画像処理装置について図面を参照しつつ説明する。なお、本実施形態に係る画像処理装置は、第１実施形態の変形例であり、画像処理装置の構造については、図１等に示す第１実施形態の画像処理装置１００と同様であるので、図示及び説明を省略する。

図１２から図１４までは、本実施形態に係る画像処理装置について説明するための図である。これらのうち、図１２は、記憶装置５５（メモリ５５ａ）に格納されるプログラム及びデータについて示すブロック図であり、第１実施形態の図２に対応するものである。また、図１３は、図６（Ａ）に対応するブロック画像の図であり、図１４は、図３に対応する複数の画像を模式的に示す図である。

図１２に示すように、本実施形態では、プログラム記憶部ＰＳにおいて、図２に示すフォーカス位置設定プログラムＰ１等に加えて、再設定時デフォーカス測定プログラムＰＤをさらに格納している。この再設定時デフォーカス測定プログラムＰＤは、再設定でのベストフォーカス位置におけるデフォーカス状態について数値を算出するとともに、デフォーカス状態に関する数値の算出結果において所定の閾値以上のデフォーカス状態にある再設定時デフォーカス部分領域が存在するか否かを特定する。

撮像部３０による撮像を行った結果として、初期設定あるいは再設定されたフォーカス位置において取得された画像データの一部においてベストフォーカス位置における画像データが、依然として所定の閾値以上のデフォーカスとなっている場合がある。特に、再設定されたフォーカス位置において取得された画像データから選択されたベストフォーカス位置における画像であっても、所定の閾値以上のデフォーカスの状態にある場合が問題となる。このような現象が生じる理由としては、例えば１回の撮像領域のうち周辺側に位置している領域部分のブロック画像は、撮像中心側のブロック画像に比べて収差等の影響を受けやすく、画像が劣化したものとなりやすい。この結果として上記のような問題が発生することがあると考えられる。ここでは、図１３に例示する各ブロック画像のうち、梨地に示す部分が所定の閾値以上のデフォーカス状態にあるものとする。つまり、１つの画像データのうちの一部、例えば周辺側に位置するいくつかのブロック画像において所定の閾値以上のデフォーカスの状態にあるものが存在しているものとする。

本実施形態では、再設定時デフォーカス測定プログラムＰＤにおいて、ベストフォーカス位置におけるブロック画像のデフォーカス状態に関する数値について算出するとともに、デフォーカス状態に関する数値の算出結果において所定の閾値以上のデフォーカス状態にある再設定時デフォーカス部分領域が存在するか否かを特定し、再設定時デフォーカス部分領域が存在するとされた場合に、撮像部３０によるＸＹ面内での撮像位置を変更することで、上記のような問題について対処可能としている。

具体的には、まず、図１０のステップＳ１０７に相当する第２次ベストフォーカス位置判定処理が終了した後、ＣＰＵ５１は、再設定時デフォーカス測定部として、再設定時デフォーカス測定プログラムＰＤを読出しベストフォーカス位置と判定された画像データについてデフォーカス状態に関する数値の算出を行うとともに、デフォーカス状態に関する数値の算出結果において所定の閾値以上のデフォーカス状態にある再設定時デフォーカス部分領域が存在するか否かを特定する。ここで、再設定時デフォーカス部分領域が存在しないと判断されれば、図１０のステップＳ１０８に相当する画像処理を行い、合成画像を作製し、動作を終了する。

一方、再設定時デフォーカス部分領域ＲＤが存在する、すなわち図１３において梨地に示すようなフォーカス状態が良好でないブロック画像データを含む領域が存在すると判断した場合には、当該箇所について再度撮像動作を行う。このため、まず、ＣＰＵ５１は、再設定時デフォーカス測定プログラムＰＤを読み出して得たデフォーカスの算出結果から再設定時デフォーカス部分領域ＲＤの範囲を特定し、その中心位置を確定させる。具体的な一例として図１４に示すように、４つの隣接する画像データのコーナー部分に再設定時デフォーカス部分領域ＲＤが存在する場合、ＣＰＵ５１は、撮像処理プログラムＰＸを読み出して、これらの中心位置ＲＣを特定するとともに、この中心位置ＲＣが撮像部３０による撮像位置の撮像中心ＣＯと一致するように撮像位置を変更させる。すなわち１回の撮像における撮像領域が図中の矩形領域ＤＤ１となり再設定時デフォーカス部分領域ＲＤが中心側において含まれるように、撮像部３０の撮像位置を変更する。このように、再設定時デフォーカス部分領域ＲＤを、撮像部３０による撮像において撮像中心ＣＯとするように撮像位置を変更することで、再設定時デフォーカス部分領域ＲＤのような特にフォーカス状態が悪くなっている領域について収差の少ない状態で画像の取り直しが可能となる。なお、この撮り直しについては、例えば再設定されたフォーカス位置に基づいて撮像を行うものとすることができる。

上記では、撮像部３０の撮像位置を変更するにあたって、再設定時デフォーカス部分領域ＲＤの中心位置ＲＣと撮像領域の撮像中心ＣＯとを一致させるように移動させるものとしているが、適切な再設定時デフォーカス部分領域ＲＤの撮像が行われれば、撮像位置の変更方法はこれに限られない。例えば、撮像中心を、点状とせず、レンズ性能が確保されるある程度の範囲として定め、当該範囲内に再設定時デフォーカス部分領域ＲＤが収まるように撮像を行う方法も考えられる。

以上、実施形態に即して本発明を説明したが、本発明は上記実施形態に限定されるものではない。例えば、本実施形態では、ベストフォーカス位置を、画像ファイルを分割したブロック画像データの単位で決定しているが、分割せずに画像ファイルそのものを単位としてベストフォーカス位置を定めるものとしてもよい。

また、上記では、再設定における新たなフォーカス位置である深度についての分割数や位置の設定を領域Ａの面積の増加率等のベストフォーカス位置の面積の変化を基準にして定めるものとしているが、面積の変化に代えて、或いは面積の変化に加えてベストフォーカス位置におけるフォーカス値に基づいて再設定の分割数や位置を決定するものとしてもよい。これにより、ベストフォーカス位置において、よりフォーカス値が高いところを新たなフォーカス位置として選択できるものとなる。なお、例えばフォーカス値が不十分であると判断された場合には、不十分であるフォーカス位置のうち、最も高いフォーカス値を有するフォーカス位置の近傍であって、まだ設定されていない高さのフォーカス位置で撮像を行うものとすることができる。例えば最も高いフォーカス値を有するフォーカス位置の両隣のフォーカス位置のうちフォーカス値の高い側の位置との中間点を新たなフォーカス位置としてもよい。

さらに、フォーカス値を利用する態様としては、例えばフォーカス値に閾値を設け、初期設定での撮像結果において、フォーカス値が閾値を越えている画像データの割合を算出し、その割合に応じて、再設定での撮像範囲を初期設定での撮像と同じ全撮像範囲とするか一部のみとするかを決定するものとしてもよい。

また、例えば、本実施形態では、画像ファイルＩＦ_１，１（１）〜ＩＦ_１，１（１０）等が顕微鏡画像であるものとして説明したが、一般のカメラ画像についても同様の処理が可能であり、立体的対象や風景、２つの対象を含む画像において鮮明なピントが合った画像ファイルを得ることができる。

また、本実施形態では、画像ファイルの全体に合成処理を施しているが、画像ファイルの一部限定した領域に合成処理を施すこともできる。

１０…顕微鏡装置、 １１…顕微鏡本体部、 １１ａ…顕微鏡駆動装置、 １２…ステージ、 １２ａ…ステージ駆動装置、 ２０…カメラ、 ３０…撮像部、 ４０…インターフェース装置、 ５０…制御装置、 ５２…入力装置、 ５３…ディスプレイ、 ５４…出力装置、 ５５…記憶装置、 ５５ａ…メモリ、 ＰＳ…プログラム記憶部、 ＤＳ…データ記憶部、 Ｐ１…フォーカス位置設定プログラム、 Ｐ２…ベストフォーカス位置選択プログラム、 Ｐ３…分布算出プログラム、 Ｐ４…再設定プログラム、 Ｐ５…画像合成処理プログラム、 ＰＸ…撮像処理プログラム、 ＰＤ…再設定時デフォーカス測定プログラム、 Ｄ１…初期フォーカス位置記憶部、 Ｄ２…画像データ記憶部、 Ｄ３…再設定フォーカス位置記憶部、 Ｄ４…等高位置情報記憶部

Claims (10)

1. 多段階のフォーカス位置に切り替えつつ撮像対象を撮像可能であり、かつ、フォーカスの方向に対して垂直な面内の方向に関して、撮像対象との相対的な位置を変更した撮像を可能とする撮像部と、
   初期設定された多段階の初期フォーカス位置で前記撮像部による撮像を行わせる初期設定撮像処理部と、
   フォーカスの方向に対して垂直な面内での撮像範囲に関して同じ領域において、前記初期設定撮像処理部での処理に基づいて前記初期フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第１選択部と、
   フォーカスの方向に対して垂直な面内での撮像範囲に関して異なる位置にある複数の部分領域において、前記第１選択部での選択によってそれぞれ選択された画像データについてのベストフォーカス位置に関する分布を算出する分布算出プログラム部と、
   前記分布算出プログラム部で算出されたベストフォーカス位置に関する分布の偏りに応じて、フォーカス位置に関して再設定の処理を行う再設定プログラム部と、
   前記再設定プログラム部において多段階に再設定された再設定フォーカス位置で前記撮像部による再度の撮像を行わせる再設定撮像処理部と、
   前記再設定撮像処理部での処理に基づいて前記撮像部によって前記再設定フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第２選択部と、
   前記第１選択部において選択された初期設定での画像データと、前記第２選択部において選択された再設定での画像データとに基づいて、画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成処理部と、
   を備える画像処理装置。
2. 前記再設定撮像処理部は、前記再設定フォーカス位置に基づいて、初期設定におけるフォーカスの方向に対して垂直な面内での全ての撮像範囲と同一の範囲について前記撮像部に撮像を行わせる、請求項１に記載の画像処理装置。
3. 前記撮像部は、設定された多段階のフォーカス位置に対応する各フォーカス状態のうち一のフォーカス位置に対応するフォーカス状態を維持して、フォーカスの方向に対して垂直な面内の方向に関して撮像対象との相対的な位置を変更しつつ複数の画像を一括して撮像する、請求項１及び２のいずれか一項に記載の画像処理装置。
4. 前記分布算出プログラムは、前記初期フォーカス位置の段階ごとにベストフォーカス位置の累積値を求め、
   前記再設定プログラム部は、累積値の変化率に応じて前記再設定フォーカス位置を確定させる、請求項１から３までのいずれか一項に記載の画像処理装置。
5. 前記再設定プログラム部は、多段階の前記初期フォーカス位置のうち隣接するフォーカス位置の間において累積値が所定の閾値以上増加した場合に、当該フォーカス位置の間に１つ以上の新たなフォーカス位置を設ける、請求項４に記載の画像処理装置。
6. 前記再設定プログラム部は、隣接するフォーカス位置の間に新たなフォーカス位置を設けるに際して、当該隣接するフォーカス位置の間における当該新たなフォーカス位置の分割数及び配置を、前記累積値の増大率に基づいて決定する、請求項５に記載の画像処理装置。
7. 再設定でのベストフォーカス位置におけるデフォーカス状態に関する数値について算出するとともに、デフォーカス状態に関する数値の算出結果において所定の閾値以上のデフォーカス状態にある再設定時デフォーカス部分領域が存在するか否かを特定する再設定時デフォーカス測定部をさらに備え、
   前記再設定撮像処理部は、前記再設定時デフォーカス測定部により前記再設定時デフォーカス部分領域が存在するとされた場合に、フォーカスの方向に対して垂直な面内での前記撮像部の撮像位置を変更し、前記再設定プログラム部において再設定されたフォーカス位置に基づいて前記撮像部に撮像を行わせる、請求項１から６までのいずれか一項に記載の画像処理装置。
8. 前記再設定撮像処理部は、前記再設定時デフォーカス部分領域を、前記撮像部による撮像において撮像中心とするように前記撮像位置を変更する、請求項７に記載の画像処理装置。
9. 前記撮像部は、拡大光学系を有し、拡大像の画像を撮像する、請求項１から８までのいずれか一項に記載の画像処理装置。
10. 多段階のフォーカス位置に切り替えつつ撮像対象を撮像可能であり、かつ、フォーカスの方向に対して垂直な面内の方向に関して、撮像対象との相対的な位置を変更した撮像を可能とする撮像部を用いた画像処理方法であって、
    初期設定された多段階の初期フォーカス位置で前記撮像部による撮像を行わせる初期設定撮像工程と、
    フォーカスの方向に対して垂直な面内での撮像範囲に関して同じ領域において、前記初期設定撮像工程での処理に基づいて前記初期フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第１選択工程と、
    フォーカスの方向に対して垂直な面内での撮像範囲に関して異なる位置にある複数の部分領域において、前記第１選択工程での選択によってそれぞれ選択された画像データについてのベストフォーカス位置に関する分布を算出する分布算出工程と、
    前記分布算出工程で算出されたベストフォーカス位置に関する分布の偏りに応じて、フォーカス位置に関して再設定の処理を行う再設定工程と、
    前記再設定工程において多段階に再設定された再設定フォーカス位置で前記撮像部による再度の撮像をさせる再設定撮像工程と、
    前記再設定撮像工程での処理に基づいて前記撮像部によって前記再設定フォーカス位置で多段階に撮像された画像群からベストフォーカス位置にある一の画像データを選択する第２選択工程と、
    前記第１選択工程において選択された初期設定での画像データと、前記第２選択工程において選択された再設定での画像データとに基づいて、画像データをつなぎ合わせて１つの画像に対応するファイルを作成する合成工程と、
    を備える画像処理方法。

Images