JP2012108313A - 撮像装置、プログラム及びフォーカス制御方法 - Google Patents

Abstract

【課題】撮像装置におけるＡＦ処理を高速化することが可能な撮像装置、プログラム及びフォーカス制御方法等を提供すること。
【解決手段】撮像装置は、光学系と、光学系の焦点位置を制御して第１の合焦処理を行う第１合焦処理部３４０と、光学系の焦点位置を制御して第２の合焦処理を行う第２合焦処理部３５０と、第１の合焦処理と第２の合焦処理を切り替える制御を行う合焦処理切り替え部３６０と、を含む。第１合焦処理部３４０は、第１の合焦処理が成されたか否かを判定する合焦判定部を有する。合焦処理切り替え部３６０は、第１の合焦処理が成されたと合焦判定部により判定された場合に、第１の合焦処理から第２の合焦処理に切り替える。
【選択図】 図１

Description

本発明は、撮像装置、プログラム及びフォーカス制御方法等に関する。

撮像装置のＡＦ（オートフォーカス）を行う手法として、一般的にコントラストＡＦと呼ばれる手法が用いられている。この手法では、取得される画像から検出したコントラスト情報に基づいて、レンズの合焦位置を推定する。

具体的には、合焦位置とは、ピントが合う場合におけるレンズの焦点位置のことである。合焦位置においては、コントラスト情報が最大となる特徴がある。そのため、コントラストＡＦでは、レンズの焦点位置を変化させて取得した複数の画像よりコントラスト情報を検出し、検出したコントラスト情報が最大となる焦点位置を合焦位置とする。

特開２００３−１４００３０号公報

しかしながら、この手法では、焦点位置を変更して複数枚の画像を取得する必要があるため、合焦位置を決定するまでに多くの時間を要するという課題がある。

例えば内視鏡診断においては、スコープを挿入しながら観察を行うことや、被写体である生体は拍動などの影響により動く特徴があることなどの理由により、特に高速度なＡＦが要求される。しかしながら上述のように、一般的なコントラストＡＦでは、合焦位置を決定するまでに時間を要する。そのため、コントラストＡＦを内視鏡装置に適用した場合には、ＡＦが十分に機能しない可能性がある。

特許文献１には、内視鏡の撮像部先端に加速度センサを設け、その加速度センサにより撮像部先端の移動方向を検出することにより、合焦位置が近点・遠点側のどちらに変位したかを検出する手法が開示されている。しかしながら、この手法では、移動方向を検出した後は、一般的なコントラストＡＦ処理を用いる必要があるため、内視鏡装置等に適用した場合に、ＡＦが十分に機能しない可能性がある。

本発明の幾つかの態様によれば、撮像装置におけるＡＦ処理を高速化することが可能な撮像装置、プログラム及びフォーカス制御方法等を提供できる。

本発明の一態様は、光学系と、前記光学系の焦点位置を制御して、第１の合焦処理を行う第１の合焦処理部と、前記光学系の前記焦点位置を制御して、第２の合焦処理を行う第２の合焦処理部と、前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う合焦処理切り替え部と、を含み、前記第１合焦処理部は、前記第１の合焦処理が成されたか否かを判定する合焦判定部を有し、前記合焦処理切り替え部は、前記第１の合焦処理が成されたと前記合焦判定部により判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替える撮像装置に関係する。

本発明の一態様によれば、第１の合焦処理が行われ、第１の合焦処理が成されたと判定された場合に第２の合焦処理に切り替えられ、第２の合焦処理が行われる。これにより、撮像装置におけるＡＦ処理を高速化すること等が可能になる。

また、本発明の他の態様は、光学系の焦点位置を制御して、第１の合焦処理を行う第１の合焦処理部と、前記光学系の前記焦点位置を制御して、第２の合焦処理を行う第２の合焦処理部と、前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う合焦処理切り替え部として、コンピュータを機能させ、前記第１合焦処理部は、前記第１の合焦処理が成されたか否かを判定する合焦判定部を有し、前記合焦処理切り替え部は、前記第１の合焦処理が成されたと前記合焦判定部により判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替えるプログラムに関係する。

また、本発明のさらに他の態様は、光学系の焦点位置を制御して、第１の合焦処理を行い、前記光学系の前記焦点位置を制御して、第２の合焦処理を行うと共に、前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う場合に、前記第１の合焦処理が成されたか否かを判定し、前記第１の合焦処理が成されたと判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替えるフォーカス制御方法に関係する。

内視鏡システムの第１の構成例。 撮像素子の色フィルタの配置構成例。 撮像素子の色フィルタの透過率特性例。 撮像部の被写界深度についての説明図。 コントラストＡＦの手法についての説明図。 第１合焦処理部の詳細な構成例。 撮像部と被写体との間の相対的な距離についての説明図。 撮像部と被写体との間の相対的な移動量についての説明図。 第２合焦処理部の第１の詳細な構成例。 移動量検出部の第１の詳細な構成例。 切り替え判定部の第１の詳細な構成例。 第２合焦処理部の第２の詳細な構成例。 周波数特性に基づいて移動量を検出する手法についての説明図。 周波数特性に基づいて移動量を検出する手法についての説明図。 周波数特性に基づいて移動量を検出する手法についての説明図。 移動量検出部の第２の詳細な構成例。 切り替え判定部の第２の詳細な構成例。 第２合焦処理部の第３の詳細な構成例。 動きベクトルに基づいて移動量を検出する手法についての説明図。 動きベクトルに基づいて移動量を検出する手法についての説明図。 移動量検出部の第３の詳細な構成例。 切り替え判定部の第３の詳細な構成例。 コンピュータシステムの構成を示すシステム構成図。 コンピュータシステムにおける本体部の構成を示すブロック図。 ソフトウェアのフローチャート例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
本実施形態が行う合焦処理の概要について説明する。まず、コントラストＡＦ（ＡＦ：Auto-Focus）について説明する。図５に示すように、複数の焦点位置ｄ１〜ｄ５において画像を撮像し、その画像からコントラスト値（例えば高周波成分やエッジ量など）を求める。そして、求めた複数のコントラスト値の中で、コントラスト値が最大となる焦点位置を合焦位置とする。あるいは、ｄ１〜ｄ５でのコントラスト値を補間する処理を行い、補間処理後のコントラスト値が最大となる焦点位置を推定し、推定された焦点位置を合焦位置としてもよい。

しかしながら、このコントラストＡＦでは、焦点位置ｄ１〜ｄ５に対応する複数枚の画像を取得する必要がある。そのため、複数回の焦点位置変更と撮像動作を行う必要があり、合焦までに時間がかかるという課題がある。例えば内視鏡では、スコープを体腔内に挿入して移動させながら観察を行うため、合焦までの時間が長いと病変の見落としにつながってしまう。また、消化管の内壁に正対して観察する場合、心臓の拍動や消化管の蠕動運動によって撮像部と内壁の間の距離が変動するため、高速なＡＦが要求される。

そこで本実施形態では、図１に示すように、第１合焦処理部３４０が第１の合焦処理を行い、合焦処理切り替え部３６０が第１の合焦処理の終了後に第２の合焦処理に切り替える。そして、第２合焦処理部３５０が、切り替え後の撮像において第２の合焦処理を行う。例えば、第１の合焦処理はコントラストＡＦである。第２の合焦処理は、例えば図６等で後述するように、画像の平均輝度に基づいて撮像部と被写体の間の距離変化を検出して合焦処理を行う。この第２の合焦処理では、各フレームにおける合焦位置が算出されるため、複数フレームを要するコントラストＡＦよりも高速なＡＦが可能である。

ここで、フレームとは、例えば撮像素子により１つの画像が撮影されるタイミングや、画像処理において１つの画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。

２．第１の実施形態
２．１．内視鏡システムの第１の構成例
図１に、内視鏡システム（内視鏡装置）の第１の構成例を示す。内視鏡システムは、光源部１００、撮像部２００、制御装置３００（画像処理部）、表示部４００、外部Ｉ／Ｆ部５００を含む。

光源部１００は、白色光を発生する白色光源１１０と、その白色光をライトガイドファイバ２１０に集光するためのレンズ１２０を含む。

撮像部２００は、例えば体腔への挿入を可能にするため細長く且つ湾曲可能に形成されている。また撮像部２００は、観察する部位により異なる撮像部が用いられるため、着脱可能な構造をしている。撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、そのライトガイドファイバ２１０により導かれた光を拡散させて被写体に照射する照明レンズ２２０と、被写体からの反射光を集光する集光レンズ２３０と、集光レンズ２３０により集光された反射光を検出するための撮像素子２４０を含む。

撮像素子２４０は、図２に示すベイヤ配列の色フィルタを有する撮像素子である。また図２に示す３種類の色フィルタｒ,ｇ,ｂは、図３に示す透過率特性を有する。すなわち、ｒフィルタが５８０〜７００ｎｍ、ｇフィルタが４８０〜６００ｎｍ、ｂフィルタが４００〜５００ｎｍの光を透過させる特性を有する。

さらに撮像部２００は、内部にメモリ２５０を有しており、メモリ２５０には各スコープ固有の識別番号が保持されている。そのため、メモリ２５０に保持されている識別番号を参照することで、接続されているスコープの種類を識別することが可能である。

集光レンズ２３０は、焦点位置を可変制御することができ、例えば焦点位置をｄ１〜ｄ５[ｍｍ]の５段階で調整できるものとする。５段階の焦点位置ｄ１〜ｄ５[ｍｍ]には、下式（１）に示す関係が成立するものとする。ここで、本実施形態において焦点位置とは、ピントが合う場合における集光レンズ２３０と被写体との間の距離を表す。集光レンズ２３０は、選択可能な各焦点位置ｄ１〜ｄ５において、例えば図４に示す被写界深度を有する。例えば焦点位置ｄ２における被写界深度は、焦点位置ｄ１〜ｄ３の範囲である。なお、ｄ１〜ｄ５における被写界深度は図４に限定されず、隣り合う被写界深度に重なりがあればよい。

撮像部２００の焦点位置は、接続されるスコープにより異なる。上述したように、メモリ２５０には各スコープ固有の識別番号が保持されているため、その識別番号を参照することで接続されているスコープの種類を識別し、選択可能な焦点位置の情報（ｄ１〜ｄ５）を取得可能である。

制御装置３００は、内視鏡システムの各構成要素の制御や画像処理を行う。制御装置３００は、補間処理部３１０、表示画像生成部３２０、輝度画像生成部３３０（輝度画像取得部）、第１合焦処理部３４０、第２合焦処理部３５０、合焦処理切り替え部３６０、制御部３７０を含む。

外部Ｉ／Ｆ部５００は、内視鏡システムに対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチや、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。また、外部Ｉ／Ｆ部５００は、入力された情報を制御部３７０へ出力する。

補間処理部３１０は、表示画像生成部３２０と、輝度画像生成部３３０に接続されている。輝度画像生成部３３０は第１合焦処理部３４０と、第２合焦処理部３５０に接続されている。合焦処理切り替え部３６０は、第１合焦処理部３４０と、第２合焦処理部３５０にそれぞれ双方向に接続されており、これらの制御を行う。

また、第１合焦処理部３４０、第２合焦処理部３５０、合焦処理切り替え部３６０はそれぞれメモリ２５０及び集光レンズ２３０と双方向に接続されており、集光レンズ２３０の焦点位置の制御を行う。さらに制御部３７０は、表示画像生成部３２０と、第２合焦処理部３５０と、合焦処理切り替え部３６０に接続されており、これらの制御を行う。

補間処理部３１０は、撮像素子２４０により取得（撮像）される画像に対して、補間処理を施す。上述したように、撮像素子２４０は図２に示すベイヤ配列を有するため、撮像素子２４０で取得される画像の各画素は、Ｒ，Ｇ，Ｂ信号のうちの何れか１つの信号値を有するのみで、他の２種類の信号が欠落した状態である。

そのため、補間処理部３１０は、取得画像の各画素に対して補間処理を施すことで、欠落している信号値を補間し、各画素でＲ，Ｇ，Ｂ信号の全ての信号値を有する画像を生成する。ここで補間処理としては、例えば公知のバイキュービック補間処理を用いればよい。なお以下では、補間処理部３１０で生成された画像をＲＧＢ画像と適宜表記する。

補間処理部３１０は、生成したＲＧＢ画像を、表示画像生成部３２０と輝度画像生成部３３０に出力する。

表示画像生成部３２０は、補間処理部３１０から出力されるＲＧＢ画像に対して、例えば公知のホワイトバランス処理や色変換処理、階調変換処理等を施し、表示画像を生成する。そして、表示画像生成部３２０は、生成した表示画像を表示部４００に出力する。

輝度画像生成部３３０は、補間処理部３１０から出力されるＲＧＢ画像に基づいて輝度画像を生成する。具体的には、輝度画像生成部３３０は、ＲＧＢ画像の各画素について、下式（２）を用いて輝度信号Ｙを算出することで、輝度画像を生成する。そして、輝度画像生成部３３０は、生成した輝度画像を第１合焦処理部３４０と、第２合焦処理部３５０に出力する。

第１合焦処理部３４０、及び第２合焦処理部３５０はそれぞれ異なる方法で、集光レンズ２３０の合焦位置を検出する処理を行う。以下の説明では、第１合焦処理部３４０での合焦処理を第１合焦処理、第２合焦処理部３５０での合焦処理を第２合焦処理と表記する。それぞれの合焦処理の詳細については後述する。

合焦処理切り替え部３６０は、２種類の合焦処理の切り替えを行う。ここで、２種類の合焦処理とは、上述の第１合焦処理、及び第２の合焦処理に相当する。

合焦処理の切り替えは、トリガ信号によって行う。具体的には、第１合焦処理部３４０で合焦処理を行う場合、合焦処理切り替え部３６０は第１合焦処理部３４０にトリガ信号を出力し、第２合焦処理部３５０で合焦処理を行う場合には、第２合焦処理部３５０にトリガ信号を出力する。以上に示すように、合焦処理切り替え部３６０は、トリガ信号の出力先を切り替えることで、合焦処理の切り替えを行う。なお、以下の説明ではトリガ信号を、合焦処理実行信号と適宜表記する。

本実施形態では、初期状態において、合焦処理切り替え部３６０は第１合焦処理部３４０に対して合焦処理実行信号を出力するものとする。初期状態は、合焦処理を開始するときの状態であり、例えば電源投入時や撮影開始時である。

第１合焦処理部３４０は、合焦処理切り替え部３６０より合焦処理実行信号が出力されている場合に、輝度画像生成部３３０から出力される輝度画像を用いて合焦位置を検出する。

一般に、合焦位置においては、輝度画像のコントラストが最大となることが知られている。例えば図５に示すように、合焦位置がｄ３である場合、焦点位置ｄ１〜ｄ５におけるコントラストのうち合焦位置ｄ３におけるコントラストが最大となる。そのため、第１合焦処理部３４０は、輝度画像生成部３３０から出力される輝度画像のコントラストが最大となる焦点位置を合焦位置として検出する。例えば、コントラスト値として、輝度画像の高周波成分を用いればよく、あるいは、任意のＨＰＦフィルタの出力を用いればよい。

なお、本実施形態では、第１の合焦処理に用いる評価値はコントラスト値に限定されず、合焦状態を評価するための評価値であればよい。また、コントラスト値は、輝度画像の高周波成分やＨＰＦフィルタの出力に限定されない。例えば、コントラスト値として、輝度画像の勾配情報やエッジ量などを用いることも可能である。勾配情報とは具体的には、輝度画像中の任意の方向における輝度信号の傾きを意味する。例えば水平方向における輝度信号の傾きとしては、勾配情報の算出対象となる注目画素と、その注目画素より水平方向に１画素以上はなれた１つ以上の周辺画素との差分値を算出し、その差分値を輝度信号の傾き（勾配情報）として用いればよい。また、エッジ量としては例えば、複数の方向について算出した上記勾配情報の加重平均値を用いればよい。

２．２．第１合焦処理部
次に、第１の合焦処理について詳細に説明する。図６に、第１合焦処理部の詳細な構成例を示す。図６に示すように第１合焦処理部３４０は、コントラスト算出部３４１、記憶用メモリ３４２（記憶部）、合焦判定部３４３、焦点位置制御部３４４を含む。コントラスト算出部３４１は合焦判定部３４３に接続されている。焦点位置制御部３４４は合焦判定部３４３と、集光レンズ２３０と、メモリ２５０に接続されている。また、記憶用メモリ３４２は、合焦判定部３４３と双方向に接続されている。

第１合焦処理は以下の（ｉ）〜（vi）の手順で行われる。
（ｉ）まず、記憶用メモリ３４２の内容をすべて“０”にセットする。記憶用メモリ３４２には後述するように、コントラストＣ＿ｍｅｍと焦点位置ｄ＿ｍｅｍが保持される。

（ii）次に、焦点位置制御部３４４が、メモリ２５０に保持されている識別番号を参照し、接続されているスコープを識別することで、集光レンズ２３０において選択可能な焦点位置の情報（ｄ１〜ｄ５）を取得する。

（iii）次に、焦点位置制御部３４４が、集光レンズ２３０の焦点位置をｄｍ（ｍは自然数。ｍの初期値は“１”）に設定する。焦点位置制御部３４４は、焦点位置ｄｍを合焦判定部３４３に出力する。

（iv）次に、コントラスト算出部３４１が、輝度画像生成部３３０から出力される輝度画像のコントラストＣを算出する。コントラスト算出部３４１は、そのコントラストＣを合焦判定部３４３に出力する。

（ｖ）次に、合焦判定部３４３が、コントラスト算出部３４１から出力されるコントラストＣと、記憶用メモリ３４２に保持されているコントラストＣ＿ｍｅｍを比較する。合焦判定部３４３は、下式（３）の関係が成立する場合に、記憶用メモリ３４２に保持されている焦点位置ｄ＿ｍｅｍを合焦位置と判定する。ここで下式（３）において“｜Ｖ｜”は実数Ｖの絶対値を取得する処理を表す。

上式（３）の関係が成立して合焦と判定された場合、合焦判定部３４３はｄ＿ｍｅｍを焦点位置制御部３４４に出力し、焦点位置制御部３４４は集光レンズ２３０の焦点位置をｄ＿ｍｅｍに変更する。その後、合焦判定部３４３は合焦処理が完了したことを示すトリガ信号とコントラストＣ＿ｍｅｍを、合焦処理切り替え部３６０に出力し、合焦処理を終了する。
一方、上式（３）の関係が成立しない場合は、以下の（vi）の処理を実行する。

(vi)上記の（ｖ）で非合焦と判定された場合は、合焦判定部３４３は、記憶用メモリ３４２のＣ＿ｍｅｍ，ｄ＿ｍｅｍの値をそれぞれＣ，ｄｍに更新する。さらに合焦判定部３４３は、ｍの値をインクリメントし、上記の（iii）の処理に戻る。

ただし、インクリメント後のｍの値が、“ｍ＞５”となる場合には、ｄ５を合焦位置と判定する。そして、ｄ５を焦点位置制御部３４４に出力し、焦点位置制御部３４４がレンズの焦点位置をｄ５に変更する。その後、合焦判定部３４３は合焦処理が完了したことを示すトリガ信号とコントラストＣを、合焦処理切り替え部３６０に出力し、合焦処理を終了する。

以上に示すように、第１の合焦処理では、集光レンズ２３０の焦点位置を変更し、輝度画像のコントラストが最大となる焦点位置を合焦位置と判定するため、高精度に合焦位置を検出することができる。しかしながら、合焦位置を検出するために、複数枚の画像を取得する必要があるため、合焦位置の検出に時間を要するという課題がある。

そこで、本実施形態では、第１の合焦処理で合焦位置を決定した後は、より高速に合焦位置を検出可能な第２の合焦処理を用いることで、高速な合焦処理を実現する。なお、第２合焦処理の詳細については後述する。

合焦処理切り替え部３６０は、第１の合焦処理が終了したことを表すトリガ信号が第１合焦処理部３４０から出力された場合、合焦処理実行信号の出力先を第２合焦処理部３５０に切り替える。これにより、合焦処理が第１合焦処理から第２の合焦処理に切り替わる。さらに、合焦処理切り替え部３６０は、第１合焦処理部３４０から出力されるコントラスト値を第２合焦処理部３５０に出力する。

第２合焦処理部３５０は、合焦処理切り替え部３６０より合焦処理実行信号が出力されている場合に、輝度画像生成部３３０から出力される輝度画像を用いて合焦位置を検出する。

２．３．第２合焦処理部
次に、第２の合焦処理について詳細に説明する。まず、画像の輝度値に基づいて、撮像部と被写体との間の相対的な移動量を検出する手法について説明する。

図７に示すように、ある時刻ｔにおいて、撮像部２００先端と被写体間の距離がＤであり、集光レンズ２３０で集光される反射光の強度がＬ_ｏｒｇであるとする。図８に示すように、時刻ｔ＋１において撮像部２００先端と被写体間の距離が“Ａ×Ｄ”に変化した場合に、集光レンズ２３０で集光される反射光の強度Ｌ_ｎｏｗについて考える。ここで、時刻ｔは、例えば動画像の中の第１フレームを撮影するときの露光タイミングである。時刻ｔ＋１は、例えば動画像の中の第２フレームを第１フレームの次のフレームとする場合に、その第２フレームを撮影するときの露光タイミングである。

一般に、光の強度は光源からの距離の２乗に反比例して減衰する特徴がある。そのため、撮像部２００先端と被写体間の距離が“Ａ×Ｄ”に変化した場合の反射光の強度Ｌ_ｎｏｗは、下式（４）で求められる。

上式（４）において、Ａは、時刻ｔでの撮像部２００先端と被写体間の距離Ｄを基準とした場合における、時刻ｔ＋１での撮像部２００先端と被写体間の相対的な移動量に相当する。また上式（４）において、Ｉ_ｏｒｇは、時刻ｔにおける照明レンズ２２０からの出射光量であり、Ｉ_ｎｏｗは、時刻ｔ＋１における照明レンズ２２０からの出射光量である。本実施形態では、照明レンズ２２０からの出射光量は時刻によらず一定であるため、“Ｉ_ｎｏｗ／Ｉ_ｏｒｇ＝１”となる。

輝度画像生成部３３０から出力される輝度画像の平均的な輝度信号の大きさは、被写体が同一であれば、集光レンズ２３０で集光される反射光の強度に比例する。従って、例えば時刻ｔで取得された輝度画像の平均輝度をＹ_ｏｒｇ、時刻ｔ＋１で取得された輝度画像の平均輝度をＹ_ｎｏｗとすると、下式（５）の関係が成立する。

従って、時刻ｔを基準とした相対的な移動量Ａは、Ｙ_ｏｒｇ，Ｙ_ｎｏｗを用いて下式（６）により算出される。

なお、本実施形態では、上述のように照明レンズ２２０の出射光量を一定としているが、出射光量を時間的に変化させる場合においても、移動量Ａを算出することが可能である。この場合、移動量Ａは、下式（７）を用いて算出することができる。

図９に、上述の移動量Ａに基づいて合焦処理を行う第２合焦処理部の詳細な構成例を示す。図９に示すように、第２合焦処理部３５０は、移動量検出部３５１、経過時間算出部３５２、合焦位置算出部３５３、焦点位置制御部３５４、コントラスト算出部３５８、切り替え判定部３５７ａを含む。

移動量検出部３５１は、合焦位置算出部３５３と切り替え判定部３５７ａに接続されている。焦点位置制御部３５４は、合焦位置算出部３５３と、集光レンズ２３０と、メモリ２５０に接続されている。コントラスト算出部３５８と、経過時間算出部３５２は切り替え判定部３５７ａに接続されている。また、経過時間算出部３５２と、移動量検出部３５１と、切り替え判定部３５７ａはそれぞれ制御部３７０に接続されている。なお、コントラスト算出部３５８の処理は、図６で上述のコントラスト算出部３４１と同様の処理によりコントラスト値を求めるため、適宜説明を省略する。

移動量検出部３５１が行う処理の詳細について説明する。移動量検出部３５１は、初期フレームを基準とした場合の相対的な移動量Ａを、上式（６）を用いて算出する。ここで、初期フレームとは、合焦処理が第２の合焦処理に切り替えられた直後に取得された輝度画像に相当する。

図１０に、移動量検出部３５１の詳細な構成例を示す。移動量検出部３５１は、平均輝度算出部７１０、平均輝度記憶部７１１、移動量算出部７１２を含む。平均輝度算出部７１０は、平均輝度記憶部７１１と移動量算出部７１２に接続されている。平均輝度記憶部７１１は、移動量算出部７１２に接続されている。また、制御部３７０は、平均輝度算出部７１０に接続されている。

平均輝度算出部７１０は、輝度画像生成部３３０から出力される輝度画像に基づいて、平均輝度Ｙ_ｎｏｗを算出する。例えば、平均輝度Ｙ_ｎｏｗは、下式（８）に示すように輝度画像の所定領域における輝度信号値の平均値とすればよい。

ここで、上式（８）において、Ｙ（ｘ、ｙ）は、輝度画像の座標（ｘ，ｙ）における輝度信号値である。また、（ｘｓ、ｙｓ）は、所定領域の始点座標であり、（ｘｅ，ｙｅ）は、所定領域の終点座標である。また、座標（ｘ，ｙ）のｘ軸、ｙ軸は、画像上での画素の座標を表すための座標軸であり、例えば図１３に示すように直交する２軸である。例えば、ｘ軸は走査線に沿った方向の座標軸であり、ｙ軸は走査線に直交する座標軸である。
とする。

なお、上式（８）に示す所定領域の始点・終点座標は、予め一定の値を決めておくこともできるし、外部Ｉ／Ｆ部５００より、ユーザが任意の値を設定する構成としてもよい。また、本実施形態では、平均輝度Ｙ_ｎｏｗを一つの所定領域より算出する例を示したが、複数の所定領域より平均輝度Ｙ_ｎｏｗを算出する構成とすることも可能である。

平均輝度算出部７１０は、算出した平均輝度Ｙ_ｎｏｗを、移動量算出部７１２と切り替え判定部３５７ａに出力する。平均輝度算出部７１０は、輝度画像が初期フレームの場合には、平均輝度Ｙ_ｎｏｗを平均輝度記憶部７１１に出力する。平均輝度記憶部７１１は、平均輝度算出部７１０から出力された平均輝度Ｙ_ｎｏｗをＹ_ｏｒｇとして保持（記憶）する。

移動量算出部７１２は、平均輝度算出部７１０から出力される平均輝度Ｙ_ｎｏｗと、平均輝度記憶部７１１に保持されている平均輝度Ｙ_ｏｒｇと、上式（６）を用いて初期フレームを基準として求められた相対的な移動量Ａと、を算出する。そして移動量算出部７１２は、算出した移動量Ａを合焦位置算出部３５３に出力する。

合焦位置算出部３５３は、移動量検出部３５１から出力される、初期フレームを基準とした相対的な移動量Ａと、焦点位置制御部３５４から出力される焦点位置の情報と、に基づいて合焦位置を算出する。具体的には、焦点位置制御部３５４から出力される焦点位置の情報は、集光レンズ２３０の初期フレームでの焦点位置ｄ_ｏｒｇや、集光レンズ２３０の現在の焦点位置ｄ_ｎｏｗ、選択可能な全ての焦点位置（ｄ１〜ｄ５）である。

合焦位置算出部３５３は、撮像部２００先端と被写体間の距離ｄｉｓｔを下式（９）を用いて算出する。

そして、上式（９）で算出した距離ｄｉｓｔに応じて合焦位置を変更する。具体的には、距離ｄｉｓｔに一番近い焦点位置を合焦位置ｄ_ｎｅｗと判定する。具体的な判定式は、例えば下式（１０）を用いればよい。

合焦位置算出部３５３は、合焦位置ｄ_ｎｅｗと現在の集光レンズ２３０の焦点位置ｄ_ｎｏｗが同一の場合には焦点位置を変更しない。一方、合焦位置算出部３５３は、ｄ_ｎｅｗとｄ_ｎｏｗが異なる場合には、焦点位置を変更する。この場合、合焦位置算出部３５３は、ｄ_ｎｅｗを焦点位置制御部３５４に出力し、焦点位置制御部３５４が、集光レンズ２３０の焦点位置をｄ_ｎｅｗに変更する。

経過時間算出部３５２は、合焦処理が第２の合焦処理に切り替えられてからの経過時間を算出する。経過時間としては、例えば初期フレームからのフレーム数Ｆ_ＮＵＭをカウントすればよい。具体的には経過時間算出部３５２は、輝度画像生成部３３０から輝度画像が出力される毎に、フレーム数Ｆ_ＮＵＭを下式（１１）を用いてインクリメントすることで、フレーム数をカウントする。ここで、フレーム数Ｆ_ＮＵＭの初期値は“０”とする。経過時間算出部３５２は、フレーム数Ｆ_ＮＵＭを切り替え判定部３５７ａに出力する。

切り替え判定部３５７ａは、コントラスト算出部３５８から出力されるコントラストＣ_ｎｏｗ、経過時間算出部３５２から出力されるフレーム数Ｆ_ＮＵＭ、平均輝度算出部７１０から出力される平均輝度Ｙ_ｎｏｗに基づいて、合焦処理を切り替えるか否かの判定処理を行う。判定処理の手法は、例えば後述する３種類の手法がある。そして、それらの判定処理の何れかにおいて、合焦処理を切り替えるべきと判定された場合には、合焦処理を切り替えることを示すトリガ信号を合焦処理切り替え部３６０に出力する。

合焦処理切り替え部３６０は、切り替え判定部３５７ａから上記トリガ信号が出力された場合、合焦処理実行信号の出力先を第１合焦処理部３４０に切り替える。これにより、合焦処理が第２合焦処理から第１合焦処理に切り替わる。

２．４．切り替え判定部
図１１に、切り替え判定部３５７ａの詳細な構成例を示す。切り替え判定部３５７ａは、コントラスト判定部７７０、経過時間判定部７７１、平均輝度判定部７７２を含む。コントラスト判定部７７０と、経過時間判定部７７１と、平均輝度判定部７７２はそれぞれ制御部３７０に接続されている。

コントラスト判定部７７０は、コントラスト算出部３５８から出力されるコントラストＣ_ｎｏｗと、合焦処理切り替え部３６０から出力されるコントラストＣ_ｏｒｇとを比較する。そして、コントラスト判定部７７０は、下式（１２）の関係が成立する場合、合焦処理を切り替えるものと判定し、合焦処理切り替え部３６０に合焦処理を切り替えることを示すトリガ信号を出力する。ここで、下式（１２）においてＣ_ＴＨは、“１＞Ｃ_ＴＨ＞０”の条件を満たす実数とする。

経過時間判定部７７１は、経過時間算出部３５２から出力されるフレーム数Ｆ_ＮＵＭに対して閾値Ｆ_ＴＨを用いて判定処理を行う。具体的には、経過時間判定部７７１は、“Ｆ_ＮＵＭ＞Ｆ_ＴＨ”の条件が成立する場合に、合焦処理を切り替えるものと判定し、合焦処理切り替え部３６０に合焦処理を切り替えることを示すトリガ信号を出力する。

平均輝度判定部７７２は、平均輝度算出部７１０から出力される平均輝度Ｙ_ｎｏｗに対して、２つの閾値Ｙ_ｍｉｎ，Ｙ_ｍａｘを用いて判定処理を行う。具体的には、平均輝度判定部７７２は、“Ｙ_ｎｏｗ＜Ｙ_ｍｉｎ”若しくは“Ｙ_ｎｏｗ＞Ｙ_ｍａｘ”の条件が成立する場合に、合焦処理を切り替えるものと判定し、合焦処理切り替え部３６０に合焦処理を切り替えることを示すトリガ信号を出力する。

なお、閾値Ｆ_ＴＨ，Ｃ_ＴＨ，Ｙ_ｍｉｎ，Ｙ_ｍａｘは、予め一定の値を設定しておいてもよいし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定できる構成としてもよい。

本実施形態では、上式（４）〜（６）で説明したように、輝度画像の平均輝度の時間的な変化量に基づいて、初期フレームを基準とした相対的な移動量Ａを算出する。

ここで、被写体に近接した状態で観察を行う場合には、撮像部２００先端と被写体間の距離が小さくなる。そのため、集光レンズ２３０で集光される反射光の強度が強くなり、撮像素子２４０で取得される信号が飽和することが考えられる。この時、輝度画像生成部３３０から出力される輝度画像も飽和した画像となる。従ってこの場合、上式（５）に示した関係が成立しないため、上式（６）では上記移動量を算出することができない。

さらに、被写体を遠景で観察する場合には、集光レンズ２３０で集光される反射光の強度が弱くなる。この場合、平均輝度の大きさは小さくなり、ノイズの影響を受けやすくなるため、正確な移動量を算出することができない。

以上に示すように、平均輝度の大きさによっては、上記移動量を算出できない場合がある。そこで本実施形態では、上述のように平均輝度算出部７１０から出力される平均輝度Ｙ_ｎｏｗに対して、２つの閾値Ｙ_ｍｉｎ，Ｙ_ｍａｘを用いて閾値処理を行う。そして、上記閾値処理の結果、合焦処理を切り替えるべきと判定された場合には、合焦処理を第１の合焦処理に切り替える。

また、第２の合焦処理では、合焦位置を高速に決定できる利点がある。しかしながら、第２の合焦処理では、観察対象である被写体が変化しない前提条件の基に、合焦位置を算出している。一方、内視鏡診断においては、当然ながら、複数の部位を診断するため、所定の時間ごとに観察対象となる被写体は変化する特徴がある。

そのため、第２の合焦処理を内視鏡システムに適用すると、上述のように被写体が変化した場合に、合焦位置の検出精度が悪くなる問題がある。この場合、輝度画像生成部３３０から出力される輝度画像のコントラストが低下することが予想される。そこで本実施形態では、合焦処理を第２の合焦処理に切り換えた後でも、輝度画像生成部３３０から出力される輝度画像からコントラストＣ_ｎｏｗを検出し、そのコントラストＣ_ｎｏｗが“Ｃ_ＴＨ×|Ｃ_ｏｒｇ|”よりも低かった場合には、合焦処理を第１の合焦処理に切り替えるものとする。

さらに、本実施形態では、合焦処理を第２の合焦処理に切り替えた後、所定の時間が経過した場合にも、合焦処理を第１の合焦処理に切り替えるものとする。具体的には、合焦処理が第２の合焦処理に切り替えられた後に、輝度画像生成部３３０から出力されるフレーム数Ｆ_ＮＵＭを上式（１１）を用いてカウントする。そして上記フレーム数Ｆ_ＮＵＭが閾値Ｆ_ＴＨを超えた場合に、合焦処理を第２合焦処理から第１の合焦処理に切り替える。

以上の方法を用いることで、高精度に合焦位置を検出しつつ、高速に合焦位置を制御することが可能となる。これにより、医師が手作業で焦点位置を調整することがなくなるため、医師の負担を軽減することができる。さらに、常にコントラストの高い画像を提供することが可能となり、病変の見落とし防止にもつながる。

なお、本実施形態では、合焦位置を制御する例を示したが、内視鏡診断において合焦位置の制御が必要となるのは、主に拡大観察を行う場合である。従って、上述のような合焦位置の制御は、拡大観察時のみ機能する構成としてもよい。

拡大観察と通常観察の切り替えは、例えば外部Ｉ／Ｆ部５００によりユーザが切り替える構成とすればよい。そしてこの場合、通常観察が選択されている期間は、合焦処理切り替え部３６０は合焦処理実行信号を、第１合焦処理部３４０、及び第２合焦処理部３５０のどちらにも出力しないものとする。さらに、通常観察が選択された場合には、合焦処理切り替え部３６０が、集光レンズの焦点位置を強制的にｄ５に設定する。ここで、ｄ５は通常観察時における焦点位置とする。

さて上述のように、コントラストＡＦでは、複数の焦点位置に対応する複数枚の画像を取得する必要があるため、複数回の焦点位置変更と撮像動作を行う必要があり、合焦までに時間がかかるという課題がある。

この点、本実施形態の撮像装置は図１に示すように、光学系と、光学系の焦点位置を制御して第１の合焦処理を行う第１合焦処理部３４０と、光学系の焦点位置を制御して第２の合焦処理を行う第２合焦処理部３５０と、第１の合焦処理と第２の合焦処理を切り替える制御を行う合焦処理切り替え部３６０を含む。そして図６に示すように、第１合焦処理部３４０は、第１の合焦処理が成されたか否かを判定する合焦判定部３４３を有する。合焦処理切り替え部３６０は、第１の合焦処理が成されたと合焦判定部３４３により判定された場合に、第２の合焦処理に切り替える。

ここで、光学系は焦点位置を制御可能な光学系であり、本実施形態では図１に示す集光レンズ２３０に対応する。また、第１の合焦処理が成されるとは、例えば第１の合焦処理が終了することであり、あるいは合焦状態に至ったと判定されることである。例えばコントラストＡＦの場合、コントラスト値の最大値に対応する焦点位置に設定されたとき、第１の合焦処理が成されたと判定される。

本実施形態によれば、撮像装置におけるＡＦ処理を高速化することが可能になる。すなわち、第１の合焦処理よりも高速に合焦可能な第２の合焦処理に切り替えることで、ＡＦ処理を高速化できる。例えば、第１の合焦処理は合焦に至るまでに複数フレームを要するＡＦであり、第２の合焦処理は各フレームにおいて合焦に至るＡＦである。

また、第１の合焦処理が成されたと判定された場合に第２の合焦処理に切り替えることで、第２の合焦処理を合焦状態の初期フレームでスタートできる。これにより、初期フレームを基準とした撮像部と被写体との間の移動量（距離変化）に基づいて合焦状態を維持することが可能になる。

また本実施形態では、図１に示すように、時系列に（連続して）画像を取得する撮像部２００を含む。合焦処理切り替え部３６０は、第１の合焦処理が成されたと判定されるまでは、第１合焦処理部３４０による第１の合焦処理を継続する。一方、合焦処理切り替え部３６０は、第１の合焦処理が成されたと判定された場合は、その後に取得される画像に対する合焦処理を、第２合焦処理部３５０による第２の合焦処理に切り替える。

本実施形態では、ベイヤ配列の撮像素子２４０が時系列に画像を撮像し、補間処理部３１０（広義には画像取得部）が補間処理を行うことで、時系列のＲＧＢ画像（動画像）が取得される。また、合焦処理切り替え部３６０は、合焦処理の実行を指示する制御信号を第１合焦処理部３４０に出力することで第１の合焦処理を継続し、その制御信号を第２合焦処理部３５０に出力することで第２の合焦処理に切り替える。

このようにすれば、時系列に画像を撮像する場合に、まず時系列の画像を用いて第１の合焦処理により合焦させ、合焦した後に第２の合焦処理に切り替えて、その後の時系列の画像を撮像できる。

また本実施形態では、撮像部２００は、複数の焦点位置ｄ１〜ｄ５の画像を時系列に取得する。第１合焦処理部３４０は、時系列に取得された複数の焦点位置ｄ１〜ｄ５の画像のコントラスト値（広義には、合焦状態を評価するための評価値）を算出し、算出したコントラスト値に基づいて第１の合焦処理を行って光学系の焦点位置を制御する。第２合焦処理部３５０は、切り替えが行われた後に時系列に取得される画像の各画像に対して第２の合焦処理を行う。第２合焦処理部３５０は、撮像部２００と被写体の間の相対的な移動量Ａ（またはＡ’，Ａ_ａｌｌ）を検出し、検出した移動量Ａに基づいて光学系の焦点位置を制御する。

このようにすれば、第１の合焦処理としてコントラストＡＦ処理を行い、第２の合焦処理として、撮像部と被写体の間の相対的な移動量に基づく合焦処理を行うことができる。第２の合焦処理では、各画像（各フレーム）の撮像で合焦するため、複数フレーム必要なコントラストＡＦよりも高速なＡＦが可能である。

また本実施形態では、図９に示すように、第２合焦処理部３５０は、第２の合焦処理における合焦状態を評価するためのパラメータに基づいて、合焦処理を切り替えるか否かを判定する切り替え判定部３５７ａを有する。合焦処理切り替え部３６０は、切り替え判定部３５７ａからの判定結果に基づいて、第２の合焦処理から第１の合焦処理に切り替える。

このようにすれば、第２の合焦処理から第１の合焦処理に切り替えることができる。すなわち、合焦状態を評価するためのパラメータを用いることで、合焦精度が劣化した可能性があることを判定可能になる。これにより、第１の合焦処理に切り替えて再び確実な合焦状態に復帰することが可能になる。

また本実施形態では、切り替え判定部が用いるパラメータは、第２の合焦処理に用いられる制御パラメータである。

ここで、制御パラメータとは、第２の合焦処理における合焦処理過程において取得または算出されるパラメータである。例えば、上述の平均輝度Ｙ_ｎｏｗや、後述する周波数特性のマッチング誤差εや、動きベクトルのマッチング誤差ＳＡＤ_ｍｉｎ等である。

このように、制御パラメータは合焦位置の算出に用いる値であるため、制御パラメータを用いることで第２の合焦処理の合焦状態を評価することができる。これにより、第２の合焦処理の合焦状態に基づいて切り替え判定を行うことが可能になる。

また本実施形態では、図９に示すように、第２合焦処理部３５０は、取得された画像に基づいてコントラスト値を算出するコントラスト算出部３５８を有する。切り換え判定部３５７ａは、コントラスト値をパラメータとして、合焦処理を切り替えるか否かの判定を行う。

例えば本実施形態では、切り換え判定部３５７ａは、コントラスト値が閾値Ｃ_ＴＨよりも小さい場合には、合焦処理を第１の合焦処理に切り替えると判定する。

このようにすれば、コントラスト値に基づいて第１の合焦処理に切り替えることができる。ピントがぼけるほどコントラスト値は小さくなるため、コントラスト値を用いることで合焦状態を評価することができる。

また本実施形態では、図１０に示すように、取得された画像の平均輝度Ｙ_ｎｏｗを算出する平均輝度算出部７１０を有する。切り替え判定部３５７ａは、平均輝度Ｙ_ｎｏｗをパラメータとして、合焦処理を切り替えるか否かの判定を行う。

例えば本実施形態では、平均輝度Ｙ_ｎｏｗが閾値Ｙ_ｍａｘよりも大きい場合、あるいは平均輝度Ｙ_ｎｏｗが閾値Ｙ_ｍｉｎよりも小さい場合に、合焦処理を第１の合焦処理に切り替えると判定する。

このようにすれば、画像の平均輝度に基づいて第１の合焦処理に切り替えることができる。例えば輝度が大きすぎる場合には画像が白飛びしている可能性があり、輝度が小さすぎる場合には画像のＳ／Ｎが劣化している可能性がある。これらの場合には、画像から移動量を算出する精度が劣化してしまう。例えば平均輝度から移動量を推定する場合、白飛びやＳ／Ｎ劣化により推定精度が劣化してしまう。そのため、閾値Ｙ_ｍａｘ，Ｙ_ｍｉｎにより判定することで、第１の合焦処理に切り替えて確実な合焦状態に復帰することが可能になる。

また本実施形態では、図９に示すように、第２合焦処理部３５０は、合焦処理切り替え部３６０により第２の合焦処理に切り替えられた後の経過時間を計測する経過時間算出部３５２（経過時間計測部）を有する。切り替え判定部３５７ａは、経過時間をパラメータとして、合焦処理を切り替えるか否かの判定を行う。

例えば本実施形態では、フレーム数Ｆ_ＮＵＭを経過時間としてカウントし、閾値Ｆ_ＴＨを超えた場合に切り替えを行う。なお経過時間はフレーム数に限定されず、クロックのカウント数等の経過時間を表す情報であればよい。

このようにすれば、経過時間に基づいて第１の合焦処理に切り替えることができる。例えば、時間が経過するほど観察位置が移動している可能性がある。あるいは、後述のようにフレーム間の移動量を積算していく場合、時間が経過するほど誤差が蓄積する可能性がある。そのため、経過時間に応じて第１の合焦処理に切り替えることで、確実な合焦状態に復帰することが可能になる。

また本実施形態では、図９に示すように、第２合焦処理部３５０は、撮像部２００と被写体の間の相対的な移動量Ａを検出する移動量検出部３５１を有する。第２合焦処理部３５０は、移動量Ａに基づいて光学系の焦点位置を制御する。具体的には、移動量検出部３５１は、取得された画像の画像信号の時間的な変化量に基づいて移動量Ａを検出する。より具体的には、撮像部２００は、第１の画像と第２の画像を時系列に取得する。上式（６）に示すように、移動量検出部３５１は、第１の画像の平均輝度値Ｙ_ｏｒｇと第２の画像の平均輝度値Ｙ_ｎｏｗの比を画像信号の時間的な変化量として、移動量Ａを検出する。

このようにすれば、移動量検出部により移動量を検出でき、その移動量に基づいて焦点位置を合焦位置に制御できる。また、画像信号の時間的な変化量を用いることで、画像処理により移動量を算出できる。また、フレーム間の平均輝度値の比を用いることで、照明光と距離の関係を利用して移動量を算出できる。なお、画像信号の時間的な変化量は、平均輝度値に限定されず、撮像部と被写体の間の距離変化に応じて変化する変化量であればよい。

また本実施形態では、光学系は、所定数の焦点位置ｄ１〜ｄ５の中から一つの焦点位置を選択することで焦点位置を変更する。

具体的には、第１合焦処理部３４０は、所定数の焦点位置ｄ１〜ｄ５の各焦点位置において取得された画像のコントラスト値を算出し、コントラスト値が最も高い焦点位置に光学系の焦点位置を変更する。第２合焦処理部３５０は、第２の合焦処理により求めた合焦位置に最も近い焦点位置を所定数の焦点位置ｄ１〜ｄ５の中から選択し、選択した焦点位置に光学系の焦点位置を変更する。

また本実施形態では、光学系は、ズーム処理を行ってもよい。そして、第１合焦処理部３４０は、通常観察モードよりもズーム処理の倍率が高倍率に設定された拡大観察モードにおいて、第１の合焦処理を行う。第２合焦処理部３５０は、拡大観察モードにおいて第２の合焦処理を行う。

例えば、観察モードは、ズーム調整ノブによって設定される光学系のズーム倍率に応じて設定される。例えば、ズーム倍率の可変範囲のうち最低倍率に設定された場合は、通常観察モードである。また、最低倍率よりも高倍率に設定された場合は、拡大観察モードである。通常観察モードでは、例えば消化管内を移動しながら低倍率で病変をサーチする通常観察が行われる。拡大観察モードでは、例えば消化管の内壁に正対して病変を高倍率で観察する拡大観察が行われる。

このようにすれば、拡大観察モードにおいて第１の合焦処理と第２の合焦処理によりＡＦを行うことで、ズーム倍率が高倍率に設定されて被写界深度が狭くなった場合であっても合焦状態を維持することが容易になる。

また本実施形態では、第２合焦処理部３５０は、移動量が閾値より小さい場合、光学系の焦点位置を変更しない。

例えば、上式（１０）に示すように、算出した距離ｄｉｓｔに最も近い焦点位置を所定の焦点位置ｄ１〜ｄ５の中から選択する。この場合、１フレーム前の合焦位置がｄ２であり、ｄ１＋（ｄ２−ｄ１）／２≦ｄｉｓｔ＜ｄ２＋（ｄ３−ｄ２）／２を満たす場合には再びｄ２が選択される。すなわち、移動量の変化がこの範囲内であれば光学系の焦点位置が変更されない。

３．第２の実施形態
第１の実施形態では、輝度画像の平均輝度に基づいて上式（６）を用いて初期フレームを基準とした相対的な移動量を検出する手法について説明したが、本実施形態では、輝度画像の周波数特性に基づいて移動量を検出してもよい。

図１２に、この場合の構成例として、第２合焦処理部３５０の第２の詳細な構成例を示す。第２合焦処理部３５０は、移動量検出部３５５、経過時間算出部３５２、合焦位置算出部３５３、焦点位置制御部３５４、コントラスト算出部３５８、切り替え判定部３５７ｂを含む。なお、内視鏡システムの基本構成は第１の実施形態と同様であり、第２合焦処理部３５０以外の処理は第１の実施形態と同一であるため、適宜説明を省略する。また、移動量検出部３５５と切り替え判定部３５７ｂ以外の処理は、第１の実施形態と同一であるため、適宜説明を省略する。

まず、輝度画像の周波数特性と、移動量の関係について説明する。図７に示すように、ある時刻ｔにおいて、撮像部２００先端と被写体間の距離が“Ｄ”の場合に、輝度画像生成部３３０により図１３に示す画像が取得されたとする。

図１３に示す輝度画像を周波数変換すると、例えば図１５のＲ１に示す周波数特性が得られる。内視鏡画像は、図１３に示すように血管が高周波成分を有する特徴がある。この血管の周波数特性により、周波数特性Ｒ１は、例えば特定の周波数ｆ１_ｐｒｅ，ｆ２_ｐｒｅでピークを有する。なお、ピークは２つに限定されない。ここで、周波数特性Ｒ１は、図１３のＰ１に示す点線上の輝度信号を周波数変換したものとする。

次に、図８に示すように、時刻ｔ＋１において、撮像部２００先端と被写体間の距離が“Ａ×Ｄ”となった場合を考える。例えばＡが１よりも大きい実数である場合、撮像部２００先端と被写体間の距離は時刻ｔの場合と比較して相対的に大きくなる。

この場合、輝度画像生成部３３０では、図１４に示す画像が取得される。図１４に示すように、Ｚ１に示す領域が時刻ｔにおける撮像領域に対応しており、図１３と比べて画像上での血管の大きさが相対的に小さくなる特徴がある。従って、図１４のＰ２に示す点線上の輝度信号を周波数変換すると、図１５のＲ２に示す周波数特性となる。上述のように血管は高周波成分を有する特徴があるため、周波数特性Ｒ２も特定の周波数ｆ１_ｎｏｗ，ｆ２_ｎｏｗでピークを有する。

上述のｆ１_ｐｒｅ，ｆ２_ｐｒｅ，ｆ１_ｎｏｗ，ｆ２_ｎｏｗと、時刻ｔを基準とした相対的な移動量Ａの間には、下式（１３）に示す関係が成立する。

上式（１３）より、時刻ｔ＋１での周波数が時刻ｔでの周波数に比例することがわかる。この比例係数をｘとおいて時刻ｔ＋１での周波数をｘ×ｆとし、周波数特性Ｒ１，Ｒ２をそれぞれＷ_ｐｒｅ(ｆ)，Ｗ_ｎｏｗ(ｆ)と表記すると、下式（１４）に示すεが求められる。このεは、“ｘ＝Ａ”の時に最小となる。ここで、ｆｍａｘはナイキスト周波数とする。また、下式（１４）第２項の“Ｗ_ｐｒｅ（０）／Ｗ_ｎｏｗ（０）”は輝度信号の正規化処理に相当する。

以上より、上式（１４）に示すεが最小となるｘを求めることで、移動量Ａを算出することが可能である。ここで、Ｗ_ｎｏｗ(ｆ)は離散値であるため、上式（１４）のＷ_ｎｏｗ(ｘ×ｆ)は、下式（１５）を用いて算出するものとする。下式（１５）において、ｆ＞ｆｍａｘの場合にはＷ_ｎｏｗ（ｆ）＝０である。ｆｍａｘは、例えばＦＦＴ処理における空間周波数の上限値である。また、下式（１５）において、ｉｎｔ（Ｖ）は実数Ｖの整数部を取得する処理を表し、ａ（Ｖ）は実数Ｖの小数部を取得する処理を表すものとする。

図１６に、移動量検出部３５５の詳細な構成例を示す。移動量検出部３５５は、周波数特性取得部７５０、周波数特性記憶部７５１、移動量算出部７５２、移動量積算部７５３を含む。周波数特性取得部７５０は、移動量算出部７５２に接続されている。周波数特性記憶部７５１は、移動量算出部７５２と双方向に接続されている。移動量算出部７５２はさらに、移動量積算部７５３に接続されている。また、周波数特性取得部７５０と、移動量算出部７５２は制御部３７０に接続されている。

周波数特性取得部７５０は、輝度画像生成部３３０から出力される輝度画像を周波数変換することで、周波数特性Ｗ_ｎｏｗ（ｆ）を取得する。周波数変換の処理としては例えば、公知のフーリエ変換を用いればよい。周波数特性取得部７５０は、例えば図１３のＰ１に示す点線上の輝度信号を周波数変換する。

なお、周波数変換に用いる輝度画像の領域は、上記の領域に限定されるものではなく、外部Ｉ／Ｆ部５００より、ユーザが任意の領域を設定できる構成としてもよい。また、Ｐ１以外に複数の領域を設定することも可能である。この場合、例えば複数の領域より取得した周波数特性の平均値を周波数特性Ｗ_ｎｏｗ（ｆ）として用いればよい。

周波数特性取得部７５０は、上述の方法で取得した周波数特性Ｗ_ｎｏｗ（ｆ）を移動量算出部７５２に出力する。

移動量算出部７５２は、フレーム間における相対的な移動量Ａ’を算出する。移動量算出部７５２は、周波数特性取得部７５０から出力される周波数特性Ｗ_ｎｏｗ（ｆ）と、周波数特性記憶部７５１に保持されている周波数特性と、上式（１４）と、を用いてフレーム間における相対的な移動量Ａ’を算出する。周波数特性記憶部７５１には、後述するように、１フレーム前の輝度画像の周波数特性Ｗ_ｐｒｅ（ｆ）が保持されている。

移動量算出部７５２は、上式（１４）に示すεが最小となるｘを移動量Ａ’とする。具体的には、移動量算出部７５２は、下式（１６）に示すようにＮ＋１通りのｘの値の全てについて、上式（１４）に示すεを算出し、この中でεが最小となるｘを移動量Ａ’とする。ここでは、εの最小値をε_ｍｉｎと表記する。ここで下式（１６）においてｎは、０≦ｎ≦Ｎの整数である。

例えば、“ｄｘ＝０．２”，“Ｎ＝２０”とすれば、“ｘ＝０．８〜１．２”まで、刻み幅“０．０２”の２０通りの条件で上式（１４）に示すεが算出される。なお、上式（１６）に示したＮ，ｄｘの値は、予め一定の値を設定することもできるし、外部Ｉ／Ｆ部５００によりユーザが任意の値を設定する構成としてもよい。

移動量算出部７５２は、算出した移動量Ａ’を移動量積算部７５３に出力し、周波数特性取得部７５０から出力された周波数特性Ｗ_ｎｏｗ（ｆ）を、周波数特性記憶部７５１に出力する。周波数特性記憶部７５１は、出力された周波数特性Ｗ_ｎｏｗ（ｆ）をＷ_ｐｒｅ（ｆ）として保持する。従って、周波数特性記憶部７５１には、１フレーム前の輝度画像より取得した周波数特性が保持されることになる。また、移動量算出部７５２は、εの最小値ε_ｍｉｎを切り替え判定部３５７ｂに出力する。

なお、初期フレームにおいては、移動量算出部７５２は移動量Ａ’を“１”、εの最小値ε_ｍｉｎを“０”に強制的に設定するものとする。

移動量積算部７５３は、移動量算出部７５２から出力されるフレーム間における相対的な移動量Ａ’を積算することで、初期フレームを基準とした相対的な移動量Ａ_ａｌｌを算出する。具体的には、移動量積算部７５３は、下式（１７）を用いて、前記移動量Ａ_ａｌｌの値を更新することで、初期フレームを基準とした相対的な移動量Ａ_ａｌｌを算出する。なお、移動量Ａ_ａｌｌの初期値は“１”とする。

切り替え判定部３５７ｂは、第２の合焦処理から第１の合焦処理に切り替える制御を行う。具体的には、切り替え判定部３５７ｂは、コントラスト値や経過時間、移動量の算出精度に基づいて切り替えるか否かの判定を行う。

図１７に、切り替え判定部３５７ｂの詳細な構成例を示す。切り替え判定部３５７ｂは、コントラスト判定部７７０、経過時間判定部７７１、算出精度判定部７７３を含む。なお、コントラスト判定部７７０と経過時間判定部７７１の処理は、第１の実施形態と同一であるため、適宜説明を省略する。算出精度判定部７７３は制御部３７０に接続されている。

算出精度判定部７７３は、移動量算出部７５２から出力されるε_ｍｉｎに対して、閾値ε_ＴＨを用いた判定処理を行う。ε_ｍｉｎは、上式（１４）に示すように、２つの周波数特性Ｗ_ｎｏｗ（Ａ’×ｆ），Ｗ_ｐｒｅ（ｆ）のスペクトルが、どれだけ一致しているかを示す評価値となる。そのため、ε_ｍｉｎが大きい場合には、算出された移動量Ａ’の精度が低いことが予測される。

そのため、算出精度判定部７７３は、“ε_ｍｉｎ＞ε_ＴＨ”の条件が成立する場合、移動量Ａ’の算出精度が低いものと判定する。この場合、算出精度判定部７７３は合焦処理切り替え部３６０に対して、合焦処理を切り替えることを示すトリガ信号を出力する。

本実施形態によれば、高精度に合焦位置を検出しつつ、高速に合焦位置を制御することが可能となる。これにより、医師が手作業で焦点位置を調整することがなくなるため、医師の負担を軽減することができる。さらに、常にコントラストの高い画像を提供することが可能となり、病変の見落とし防止にもつながる。

さらに、本実施形態では、輝度画像の周波数成分に基づいて移動量を検出するため、光源部１００の出射光量の時間的な変動の影響を受けない利点がある。具体的には、図１等で上述の実施形態では、上式（８）を用いて算出した輝度画像の平均輝度を基に移動量を検出する。そのため、光源部１００の出射光量が時間的に変動する場合には、その変動の影響によっても平均輝度が変動する可能性がある。この点、本実施形態によれば、上述のように光源部１００の出射光量が変動する場合にも移動量の推定精度が劣化せず、安定して合焦位置を検出できる利点がある。

本実施形態によれば、図１６に示すように、第２合焦処理部３５０は、取得された画像の周波数特性Ｗ_ｐｒｅ（ｆ），Ｗ_ｎｏｗ（ｆ）を取得する周波数特性取得部７５０を有する。移動量検出部３５５は、周波数特性Ｗ_ｐｒｅ（ｆ），Ｗ_ｎｏｗ（ｆ）に基づいて移動量Ａ_ａｌｌを検出する。

具体的には、時系列に画像を取得する撮像部２００を含み、撮像部２００は、第１の画像と第２の画像を時系列に取得する。上式（１４）に示すように、移動量検出部３５５は、第２の画像の周波数特性Ｗ_ｎｏｗ（ｆ）に対して周波数軸ｆのスケール変換（ｘ×ｆ）を行い、スケール変換の変換倍率ｘを変化させながら第１の画像の周波数特性Ｗ_ｐｒｅ（ｆ）と第２の画像の周波数特性Ｗ_ｎｏｗ（ｘ×ｆ）のマッチング処理を行い、マッチング誤差を表す誤差値εが最も小さい変換倍率ｘに基づいて移動量Ａ_ａｌｌを検出する。より具体的には、上式（１７）に示すように、εが最も小さい場合の変換倍率ｘをフレーム間の移動量Ａ’とし、移動量Ａ’を積算して移動量Ａ_ａｌｌを求める。

このようにすれば、画像の周波数特性に基づいて、撮像部と被写体の間の相対的な移動量を検出できる。すなわち、被写体までの距離が変化すれば画像上での被写体の大きさが変化し、それにより周波数特性の周波数軸方向のスケールが変化することを利用して移動量を検出できる。

なお、本実施形態では周波数特性に限定されず、後述する動きベクトル等の他の動き情報を用いて移動量を検出してもよい。動き情報とは、撮像部と被写体の間の距離が変化したことで生じる画像上での被写体の動きを表す情報である。

また本実施形態では、図１２に示すように、第２合焦処理部３５０は、第２の合焦処理における合焦状態を評価するためのパラメータに基づいて、合焦処理を切り替えるか否かを判定する切り替え判定部３５７ｂを有する。切り替え判定部３５７ｂは、合焦処理を切り替えるか否かの判定を、周波数特性Ｗ_ｐｒｅ（ｆ），Ｗ_ｎｏｗ（ｆ）に基づいて行う。

具体的には、第２合焦処理部３５０は、第１の画像の周波数特性Ｗ_ｐｒｅ（ｆ）と第２の画像の周波数特性Ｗ_ｎｏｗ（ｆ）のマッチング処理を行い、マッチング誤差を表す誤差値εに基づいて第２の合焦処理を行う。切り替え判定部３５７ｂは、パラメータとしての誤差値ε_ｍｉｎ（上記ｘを変化させた場合のεの最小値）が閾値ε_ＴＨより大きい場合に、第２の合焦処理から第１の合焦処理に切り替える。

このようにすれば、周波数特性に基づいて第２の合焦処理から第１の合焦処理に切り替えることができる。また、マッチング処理の誤差値が閾値を超えた場合に切り替えることで、マッチング処理の精度が劣化して移動量の推定が不正確となった可能性がある場合に、第１の合焦処理に切り替えて確実な合焦状態に復帰することが可能になる。

４．第３の実施形態
第１の実施形態では、輝度画像の平均輝度に基づいて上式（６）を用いて初期フレームを基準とした相対的な移動量を検出する手法について説明したが、本実施形態では、輝度画像の局所領域より検出した動きベクトル（広義には動き情報）に基づいて移動量を検出してもよい。

図１８に、この場合の構成例として、第２合焦処理部３５０の第３の詳細な構成例を示す。第２合焦処理部３５０は、移動量検出部３５６、経過時間算出部３５２、合焦位置算出部３５３、焦点位置制御部３５４、コントラスト算出部３５８、切り替え判定部３５７ｃを含む。なお、内視鏡システムの基本構成は第１の実施形態と同様であり、第２合焦処理部３５０以外の処理は第１の実施形態と同一であるため、適宜説明を省略する。また、移動量検出部３５６と切り替え判定部３５７ｃ以外の処理は、第１の実施形態と同一であるため、適宜説明を省略する。

まず、動きベクトルと移動量の関係について説明する。図７に示すように、ある時刻ｔにおいて、撮像部２００先端と被写体間の距離が“Ｄ”の場合に、輝度画像生成部３３０により図１９に示す画像が取得されたとする。

次に、図８に示すように、時刻ｔ＋１において、撮像部２００先端と被写体間の距離が“Ａ×Ｄ”となった場合を考える。例えばＡが１よりも大きい実数である場合、撮像部２００先端と被写体間の距離は時刻ｔの場合と比較して相対的に大きくなる。そのため、輝度画像生成部３３０では、図２０に示す画像が取得されることになる。図２０では、Ｚ２に示す領域が時刻ｔにおける撮像領域に対応している。

図１９に示す画像に対して、Ｓ１，Ｓ２に示す局所領域を設定する。この時、局所領域Ｓ１，Ｓ２は、図２０に示す画像上において局所領域Ｓ１’，Ｓ２’にそれぞれ対応する。この対応関係は、例えば公知のブロックマッチング処理を用いることで算出される。

局所領域Ｓ１，Ｓ２の中心座標をそれぞれ（ｘ１，ｙ１），（ｘ２，ｙ２）、局所領域Ｓ１’，Ｓ２’の中心座標をそれぞれ（ｘ１’，ｙ１’），（ｘ２’，ｙ２’）とする。そうすると、これらの座標と、時刻ｔを基準とした相対的な移動量Ａとの間には、下式（１８）に示す関係が成立する。ここで、ｒｄ_ｐｒｅは、Ｓ１とＳ２の中心座標間の距離であり、ｒｄ_ｎｏｗは、Ｓ１’とＳ２’の中心座標間の距離である。

以上より、上式（１８）を用いることで、相対的な移動量Ａを算出することができる。

移動量検出部３５６は、画像上に設定された局所領域間の距離の変化に基づいて、撮像部と被写体との間の相対的な移動量を検出する。図２１に、移動量検出部３５６の詳細な構成例を示す。移動量検出部３５６は、局所領域設定部７６０、動きベクトル算出部７６１、フレームメモリ７６２、移動量算出部７６３、移動量積算部７５３を含む。局所領域設定部７６０は、移動量算出部７６３と動きベクトル算出部７６１に接続されている。フレームメモリ７６２は動きベクトル算出部７６１と双方向に接続されている。移動量算出部７６３は動きベクトル算出部７６１と、移動量積算部７５３に接続されている。

局所領域設定部７６０は、輝度画像生成部３３０から出力される輝度画像に対して、図１９のＳ１，Ｓ２に示す２つの局所領域を設定する。局所領域Ｓ１，Ｓ２の中心座標をそれぞれ（ｘ１，ｙ１）、（ｘ２，ｙ２）と表記する。局所領域設定部７６０は、輝度画像と、設定した局所領域の情報を動きベクトル算出部７６１に出力する。具体的には、局所領域の情報とは、局所領域の中心座標や、局所領域の大きさである。局所領域設定部７６０は、設定した局所領域の中心座標を移動量算出部７６３に出力する。

なお、設定される局所領域は２つに限定されず、複数の領域であればよい。また、局所領域の座標や局所領域の大きさは、予め一定の値を決めてこともできるし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成とすることもできる。

動きベクトル算出部７６１は、局所領域設定部７６０から出力される輝度画像と、フレームメモリ７６２に保持されている輝度画像を用いて、例えば公知のブロックマッチング処理により、上述の２つの局所領域の動きベクトルを算出する。局所領域Ｓ１，Ｓ２の動きベクトルをそれぞれ（ｄｘ１，ｄｙ１）、（ｄｘ２，ｄｙ２）と表記する。なお、フレームメモリ７６２には、後述するように１フレーム前の輝度画像が保持されている。

ブロックマッチング処理は、基準画像の任意のブロックに対して、相関が高いブロックの位置を対象画像内で探索する方法である。ブロック間の相対的なズレ量が、そのブロックの動きベクトルに対応する。本実施形態においては、局所領域設定部７６０から出力される輝度画像が基準画像、フレームメモリ７６２に保持されている輝度画像が対象画像に相当する。

ブロックマッチングで相関の高いブロックを探索する方法としては、例えば絶対誤差ＳＡＤを用いればよい。これは基準画像におけるブロック領域をＢ、対象画像におけるブロック領域をＢ’として、Ｂと相関が高いＢ’の位置を求める方法である。各ブロック領域での画素位置をｐ∈Ｂ及びｑ∈Ｂ’として、各画素の信号値をＬｐ,Ｌｑとすると、ＳＡＤは下式（１９）で表わされる。下式（１９）に示す値が小さいほど相関が高いと評価する。

ここで、上式（１９）において、ｐとｑはそれぞれ２次元の値を持ち、ＢとＢ’は２次元の領域を持つものとし、ｐ∈Ｂは座標ｐが領域Ｂに含まれていることを示し、ｑ∈Ｂ’は座標ｑが領域Ｂ’に含まれていることを示す。ブロックマッチング処理では、上式（１９）に示す絶対誤差ＳＡＤの値が最小となる場合における、ブロック間の相対的なズレ量を動きベクトルとして出力する。以下では、局所領域Ｓ１，Ｓ２における絶対誤差の最小値をそれぞれＳＡＤ１_ｍｉｎ，ＳＡＤ２_ｍｉｎと表記する。

動きベクトル算出部７６１は、算出した動きベクトル（ｄｘ１，ｄｙ１）、（ｄｘ２，ｄｙ２）を移動量算出部７６３に出力する。その後、動きベクトル算出部７６１は、局所領域設定部７６０から出力された輝度画像をフレームメモリ７６２に出力する。従って、次のフレームでは、フレームメモリ７６２に保持されている画像が１フレーム前の輝度画像となる。また、動きベクトル算出部７６１は、上述の絶対誤差の最小値ＳＡＤ１_ｍｉｎ，ＳＡＤ２_ｍｉｎの中で最小となる評価値を、ＳＡＤ_ｍｉｎとして算出精度判定部７７４に出力する。

なお、初期フレームにおいては、フレームメモリに画像が保持されていないため、動きベクトルを算出できない。そのため、初期フレームでは、動きベクトル算出部７６１は動きベクトルの大きさをすべて“０”に設定し、さらにＳＡＤ_ｍｉｎの値も“０”に設定するものとする。

移動量算出部７６３は、局所領域設定部７６０から出力される局所領域の中心座標（ｘ１，ｙ１），（ｘ２，ｙ２）と、動きベクトル算出部７６１から出力される動きベクトル（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）と、上式（１８）と、を用いてフレーム間における相対的な移動量Ａ’を算出する。上式（１８）の（ｘ１’，ｙ１’），（ｘ２’，ｙ２’）は、下式（２０）を用いて算出する。

移動量算出部７６３は、算出したフレーム間における相対的な移動量Ａ’を移動量積算部７５３に出力する。移動量積算部７５３は、第２の実施形態と同一の処理により移動量Ａ’を積算し、初期フレームを基準とする移動量の積算値Ａ_ａｌｌを算出する。

切り替え判定部３５７ｃは、第２の合焦処理から第１の合焦処理に切り替える制御を行う。具体的には、切り替え判定部３５７ｃは、コントラスト値や経過時間、動きベクトルの算出精度に基づいて切り替えるか否かの判定を行う。

図２２に、切り替え判定部３５７ｃの詳細な構成例を示す。切り替え判定部３５７ｃはコントラスト判定部７７０、経過時間判定部７７１、算出精度判定部７７４を含む。なお、コントラスト判定部７７０と、経過時間判定部７７１の処理は第１の実施形態と同一であるため、適宜説明を省略する。算出精度判定部７７４は制御部３７０に接続されている。

算出精度判定部７７４は、動きベクトル算出部７６１から出力されるＳＡＤ_ｍｉｎに対して、閾値ＳＡＤ_ＴＨを用いた判定処理を行う。ここで、ＳＡＤ_ｍｉｎは、ブロック間の相関の高さを表す評価値に相当する。そのため、この評価値が大きい場合には、ブロック間の相関が低く、算出された動きベクトルの精度は低いことになる。

本実施形態では、フレーム間の相対的な移動量Ａ’は、動きベクトル算出部７６１で算出された動きベクトルと上式（１８）を用いて算出される。そのため、移動量Ａ’の精度は動きベクトルの算出精度に左右される。

そこで、算出精度判定部７７４は、ＳＡＤ_ｍｉｎに対して閾値ＳＡＤ_ＴＨを用いた判定処理を行う。具体的には、算出精度判定部７７４は、“ＳＡＤ_ｍｉｎ＞ＳＡＤ_ＴＨ”の条件が成立する場合に、動きベクトルの算出精度が低いものと判定する。この場合、算出精度判定部７７４は、合焦処理切り替え部３６０に対して、合焦処理を切り替えることを示すトリガ信号を出力する。

なお、閾値ＳＡＤ_ＴＨは、予め一定の値を設定しておくこともできるし、外部Ｉ／Ｆ部５００よりユーザが任意の値を設定する構成としてもよい。

一般に、図８に示すように撮像部２００と被写体間の距離が変動する場合には、画像上での被写体の大きさが変化する。例えば被写体が血管である場合には、画像上における血管の太さや長さが変化する。そのため、撮像部２００と被写体間の距離が大きく変動する場合には、初期フレームと現在フレームの間でブロックマッチング処理を行うと、動きベクトル算出が困難である。

しかしながら、一般的に撮像部２００のフレームレートは３０ｆｐｓ程度であるため、フレーム間における撮像部２００と被写体間の距離の変動量は微小である。

本実施形態では、上述のようにフレーム間で検出した動きベクトルより、フレーム間での相対的な移動量Ａ’を算出し、その移動量Ａ’を上式（１７）を用いて積算することで、初期フレームを基準とした相対的な移動量Ａ_ａｌｌを検出する。このように、本実施形態ではフレーム間の移動量Ａ’を積算するため、撮像部２００と被写体間の距離が大きく変動する場合にも、移動量Ａ_ａｌｌを検出することが可能である。

以上の方法を用いることで、高精度に合焦位置を検出しつつ、高速に合焦位置を制御することが可能となる。これにより、医師が手作業で焦点位置を調整することがなくなるため、医師の負担を軽減することができる。さらに、常にコントラストの高い画像を提供することが可能となり、病変の見落とし防止にもつながる。

なお、上記の実施形態では、局所領域の動きベクトルに基づいて移動量を算出する場合について説明したが、本実施形態ではこれに限定されない。すなわち、動きベクトルに限らず、フレーム間における局所領域間の距離の変化を算出できる動き情報を取得できればよく、その動き情報に基づいて移動量を算出できればよい。

本実施形態によれば、図２１に示すように、第２合焦処理部３５０は、取得された画像から動きベクトル（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）を検出する動きベクトル検出部を有する。移動量検出部３５６は、検出された動きベクトル（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）に基づいて移動量Ａ_ａｌｌを検出する。本実施形態では、動きベクトル算出部７６１が動きベクトル検出部に対応する。

具体的には、撮像部２００は、第１の画像と第２の画像を時系列に取得する。第２合焦処理部３５０は、第１の画像と第２の画像のマッチング処理を行って局所領域Ｓ１，Ｓ２の動きベクトル（ｄｘ１，ｄｙ１），（ｄｘ２，ｄｙ２）を検出し、その動きベクトルに基づいて局所領域Ｓ１，Ｓ２間の距離の変化ｒｄ_ｐｒｅ／ｒｄ_ｎｏｗを求め、その距離の変化に基づいてフレーム間の移動量Ａ’を求め、その移動量Ａ’を積算して移動量Ａ_ａｌｌを求める。

このようにすれば、動きベクトルに基づいて、撮像部と被写体の間の相対的な移動量を検出できる。すなわち、被写体までの距離が変化すれば画像上での被写体間の距離が変化することを利用して移動量を検出できる。

また本実施形態では、図１８に示すように、第２合焦処理部３５０は、第２の合焦処理における合焦状態を評価するためのパラメータに基づいて、合焦処理を切り替えるか否かを判定する切り替え判定部３５７ｃを有する。動きベクトル検出部は、マッチング処理において、マッチング誤差を表す誤差値ＳＡＤ_ｍｉｎを求める。切り換え判定部３５７ｃは、誤差値ＳＡＤ_ｍｉｎをパラメータとして、合焦処理を切り替えるか否かの判定を行う。

より具体的には、切り換え判定部３５７ｃは、マッチング誤差の最小値である誤差値ＳＡＤ_ｍｉｎが閾値ＳＡＤ_ＴＨよりも大きい場合に、第１の合焦処理に切り替えると判定する。

このようにすれば、動きベクトルのマッチング誤差に基づいて第２の合焦処理から第１の合焦処理に切り替えることができる。また、誤差値が閾値を超えた場合に切り替えることで、マッチング処理の精度が劣化して移動量の推定が不正確となった可能性がある場合に、第１の合焦処理に切り替えて確実な合焦状態に復帰することが可能になる。

５．ソフトウェア
上記の本実施形態では、制御装置３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、撮像部により取得された画像に対してＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

撮像部を別体とし、制御装置３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピュータシステムを制御装置として用いることができる。そして、制御装置３００の各部が行う処理を実現するためのプログラム（制御プログラム）を予め用意し、この制御プログラムをコンピュータシステムのＣＰＵが実行することによって実現できる。

図２３は、本変形例におけるコンピュータシステム６００の構成を示すシステム構成図であり、図２４は、このコンピュータシステム６００における本体部６１０の構成を示すブロック図である。図２３に示すように、コンピュータシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピュータシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。

また、このコンピュータシステム６００における本体部６１０は、図２４に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース６１８を備える。

さらに、このコンピュータシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。

そして、このコンピュータシステム６００は、所定の記録媒体に記録された制御プログラム（例えば図２５）を参照して、後述する処理手順を実現するための制御プログラムを読み出して実行することで制御装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピュータシステム６００によって読み取り可能な制御プログラムを記録するあらゆる記録媒体を含む。

すなわち、制御プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピュータシステム６００は、このような記録媒体から制御プログラムを読み出して実行することで制御装置を実現する。なお、制御プログラムは、コンピュータシステム６００によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）６８１またはサーバ６８２が制御プログラムを実行する場合や、これらが協働して制御プログラムを実行するような場合にも、本発明を同様に適用することができる。

各部が行う処理の一部をソフトウェアで構成する場合の一例として、撮像部により取得された画像に対して、制御装置３００の処理をソフトウェアで実現する場合の処理手順を、図２５のフローチャートを用いて説明する。

図２５に示すように、この処理が開始されると、画像を撮像し（Ｓ１）、第１の合焦処理における合焦判定を行う（Ｓ２）。非合焦であると判定した場合には（Ｓ２、Ｎｏ）、光学系の焦点位置を移動する制御を行い（Ｓ３）、画像を撮像する（Ｓ１）。合焦であると判定した場合には（Ｓ２、Ｙｅｓ）、光学系の焦点位置を合焦位置に移動する制御を行う（Ｓ４）。次に、第１の合焦処理が終了したことを表す終了信号を出力し（Ｓ５）、合焦処理を第２の合焦処理に切り替える（Ｓ６）。

第２の合焦処理に切り替わると、画像を取得し（Ｓ７）、移動量を推定して合焦位置を算出する（Ｓ８）。次に、光学系の焦点位置を合焦位置に移動する制御を行い（Ｓ９）、第１の合焦処理に切り替えるか否かの判定を行う（Ｓ１０）。切り替えると判定した場合には（Ｓ１０，Ｙｅｓ）、合焦処理を第１の合焦処理に切り替える（Ｓ１）。切り替えないと判定した場合には（Ｓ１０，Ｎｏ）、撮像終了の判定を行う（Ｓ１１）。撮像を続ける場合には（Ｓ１１，Ｎｏ）、画像を取得して第２の合焦処理を行う（Ｓ７）。撮像を終了する場合には（Ｓ１１，Ｙｅｓ）、処理を終了する。

これにより、例えば別体の撮像部により撮像を行って画像データを取得し、その画像データに対してＰＣ等のコンピュータシステムでソフトウェア的に処理を行うことが可能になる。

また本実施形態は、本実施形態の各部（第１合焦処理部、第２合焦処理部、合焦処理切り替え部、輝度画像生成部等）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。

ここで、プログラムコードとは、第１の合焦処理を行う第１合焦処理部と、第２の合焦処理を行う第２合焦処理部と、前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う合焦処理切り替え部と、を実現する。そして、前記第１合焦処理部は、前記第１の合焦処理が成されたか否かを判定する合焦判定部を有する。前記合焦処理切り替え部は、前記第１の合焦処理が成されたと前記合焦判定部により判定された場合に、前記第２の合焦処理に切り替える。

またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（内視鏡システム、第１の合焦処理、等）と共に記載された用語（内視鏡装置、コントラストＡＦ、等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１００ 光源部、１１０ 白色光源、１２０ レンズ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 集光レンズ、
２４０ 撮像素子、２５０ メモリ、３００ 制御装置、３１０ 補間処理部、
３２０ 表示画像生成部、３３０ 輝度画像生成部、３４０ 第１合焦処理部、
３４１ コントラスト算出部、３４２ 記憶用メモリ、３４３ 合焦判定部、
３４４ 焦点位置制御部、３５０ 第２合焦処理部、
３５１，３５５，３５６ 移動量検出部、３５２ 経過時間算出部、
３５３ 合焦位置算出部、３５４ 焦点位置制御部、
３５７ａ，３５７ｂ，３５７ｃ 切り替え判定部、３５８ コントラスト算出部、
３６０ 合焦処理切り替え部、３６１ 動きベクトル算出部、３７０ 制御部、
４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピュータシステム、６１０ 本体部、
６１１ ＣＰＵ、６１２ ＲＡＭ、６１３ ＲＯＭ、６１４ ＨＤＤ、
６１５ ＣＤ−ＲＯＭドライブ、６１６ ＵＳＢポート、
６１７ Ｉ／Ｏインターフェース、６１８ ＬＡＮインターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６６０ ＣＤ−ＲＯＭ、６７０ ＵＳＢメモリ、６８１ ＰＣ、
６８２ サーバ、６８３ プリンタ、
７１０ 平均輝度算出部、７１１ 平均輝度記憶部、７１２ 移動量算出部、
７５０ 周波数特性取得部、７５１ 周波数特性記憶部、７５２ 移動量算出部、
７５３ 移動量積算部、７６０ 局所領域設定部、７６１ 動きベクトル算出部、
７６２ フレームメモリ、７６３ 移動量算出部、７７０ コントラスト判定部、
７７１ 経過時間判定部、７７２ 平均輝度判定部、７７３，７７４ 算出精度判定部、
Ａ，Ａ’，Ａ_ａｌｌ 移動量、Ｃ，Ｃ_ｎｏｗ，Ｃ_ｏｒｇ コントラスト、Ｃ_ＴＨ 閾値、
Ｄ，Ａ×Ｄ 距離、ｄ１〜ｄ５，ｄ_ｎｏｗ，ｄ_ｏｒｇ 焦点位置、ｄｉｓｔ 距離、
ｆ 周波数軸、ｆ，ｆ１_ｎｏｗ，ｆ２_ｎｏｗ，ｆ１_ｐｒｅ，ｆ２_ｐｒｅ 周波数、
Ｆ_ＮＵＭ フレーム数、Ｆ_ＴＨ 閾値、Ｎ１ 広域エリアネットワーク、
Ｎ３ 公衆回線、ｐ，ｑ 座標、ｒ，ｇ，ｂ 色フィルタ、Ｒ１，Ｒ２ 周波数特性、
ｒｄ_ｐｒｅ，ｒｄ_ｎｏｗ 局所領域間の距離、Ｓ１，Ｓ２ 局所領域、ＳＡＤ 誤差値、
ＳＡＤ_ｍｉｎ 誤差値の最小値、ＳＡＤ_ＴＨ 閾値、Ｗ_ｎｏｗ，Ｗ_ｐｒｅ 周波数特性、
ｘ 変換倍率、Ｙ 輝度信号、Ｙ_ｍｉｎ，Ｙ_ｍａｘ 閾値、
Ｙ_ｎｏｗ，Ｙ_ｏｒｇ 平均輝度値、ε 誤差値、ε_ｍｉｎ 誤差値の最小値、
ε_ＴＨ 閾値

Claims (24)

1. 光学系と、
   前記光学系の焦点位置を制御して、第１の合焦処理を行う第１の合焦処理部と、
   前記光学系の前記焦点位置を制御して、第２の合焦処理を行う第２の合焦処理部と、
   前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う合焦処理切り替え部と、
   を含み、
   前記第１合焦処理部は、
   前記第１の合焦処理が成されたか否かを判定する合焦判定部を有し、
   前記合焦処理切り替え部は、
   前記第１の合焦処理が成されたと前記合焦判定部により判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替えることを特徴とする撮像装置。
2. 請求項１において、
   時系列に画像を取得する撮像部を含み、
   前記合焦処理切り替え部は、
   前記第１の合焦処理が成されたと判定されるまでは、前記第１合焦処理部による前記第１の合焦処理を継続し、
   前記第１の合焦処理が成されたと判定された場合は、その後に取得される前記画像に対する合焦処理を、前記第２の合焦処理部による前記第２の合焦処理に切り替えることを特徴とする撮像装置。
3. 請求項２において、
   前記撮像部は、
   複数の焦点位置の画像を時系列に取得し、
   前記第１合焦処理部は、
   時系列に取得された前記複数の焦点位置の画像のコントラスト値を算出し、算出した前記コントラスト値に基づいて前記第１の合焦処理を行って前記光学系の前記焦点位置を制御し、
   前記第２の合焦処理部は、
   前記切り替えが行われた後に時系列に取得される前記画像の各画像に対して前記第２の合焦処理を行い、
   前記第２の合焦処理部は、
   前記撮像部と被写体の間の相対的な移動量を検出し、検出した前記移動量に基づいて前記光学系の前記焦点位置を制御することを特徴とする撮像装置。
4. 請求項１において、
   前記第２合焦処理部は、
   前記第２の合焦処理における合焦状態を評価するためのパラメータに基づいて、合焦処理を切り替えるか否かを判定する切り替え判定部を有し、
   前記合焦処理切り替え部は、
   前記切り替え判定部からの判定結果に基づいて、前記第２の合焦処理から前記第１の合焦処理に切り替えることを特徴とする撮像装置。
5. 請求項４において、
   前記パラメータは、
   前記第２の合焦処理に用いられる制御パラメータであることを特徴とする撮像装置。
6. 請求項４において、
   前記第２合焦処理部は、
   取得された前記画像に基づいてコントラスト値を算出するコントラスト算出部を有し、
   前記切り換え判定部は、
   前記コントラスト値を前記パラメータとして、合焦処理を切り替えるか否かの前記判定を行うことを特徴とする撮像装置。
7. 請求項４において、
   前記第２合焦処理部は、
   取得された前記画像の平均輝度を算出する平均輝度算出部を有し、
   前記切り替え判定部は、
   前記平均輝度を前記パラメータとして、合焦処理を切り替えるか否かの前記判定を行うことを特徴とする撮像装置。
8. 請求項４において、
   前記第２合焦処理部は、
   取得された前記画像の周波数特性を取得する周波数特性取得部を有し、
   前記切り替え判定部は、
   合焦処理を切り替えるか否かの前記判定を、前記周波数特性に基づいて行うことを特徴とする撮像装置。
9. 請求項８において、
   時系列に画像を取得する撮像部を含み、
   前記撮像部は、
   第１の画像と第２の画像を前記画像として取得し、
   前記第２合焦処理部は、
   前記第１の画像の周波数特性と前記第２の画像の周波数特性のマッチング処理を行い、マッチング誤差を表す誤差値に基づいて前記第２の合焦処理を行い、
   前記切り替え判定部は、
   前記パラメータとしての前記誤差値が閾値より大きい場合に、前記第２の合焦処理から前記第１の合焦処理に切り替える判定を行うことを特徴とする撮像装置。
10. 請求項４において、
    時系列に画像を取得する撮像部を含み、
    前記撮像部は、
    第１の画像と第２の画像を前記画像として取得し、
    前記第２合焦処理部は、
    前記第１の画像と前記第２の画像のマッチング処理を行って被写体の動きベクトルを検出する動きベクトル検出部を有し、
    前記動きベクトル検出部は、
    前記マッチング処理において、マッチング誤差を表す誤差値を求め、
    前記切り換え判定部は、
    前記誤差値を前記パラメータとして、合焦処理を切り替えるか否かの前記判定を行うことを特徴とする撮像装置。
11. 請求項４において、
    前記第２合焦処理部は、
    前記合焦処理切り替え部により前記第２の合焦処理に切り替えられた後の経過時間を計測する経過時間算出部を有し、
    前記切り替え判定部は、
    前記経過時間を前記パラメータとして、合焦処理を切り替えるか否かの前記判定を行うことを特徴とする撮像装置。
12. 請求項１において、
    前記第２合焦処理部は、
    撮像部と被写体の間の相対的な移動量を検出する移動量検出部を有し、
    前記第２合焦処理部は、
    前記移動量に基づいて前記光学系の前記焦点位置を制御することを特徴とする撮像装置。
13. 請求項１２において、
    前記移動量検出部は、
    取得された前記画像の画像信号の時間的な変化量に基づいて前記移動量を検出することを特徴とする撮像装置。
14. 請求項１３において、
    時系列に画像を取得する撮像部を含み、
    前記撮像部は、
    第１の画像と第２の画像を前記画像として取得し、
    前記移動量検出部は、
    前記第１の画像の平均輝度値と前記第２の画像の平均輝度値との比を前記画像信号の時間的な変化量として、前記移動量を検出することを特徴とする撮像装置。
15. 請求項１２において、
    前記第２合焦処理部は、
    取得された前記画像の周波数特性を取得する周波数特性取得部を有し、
    前記移動量検出部は、
    前記周波数特性に基づいて前記移動量を検出することを特徴とする撮像装置。
16. 請求項１５において、
    時系列に画像を取得する撮像部を含み、
    前記撮像部は、
    第１の画像と第２の画像を前記画像として取得し、
    前記移動量検出部は、
    前記第２の画像の周波数特性に対して周波数軸のスケール変換を行い、前記スケール変換の変換倍率を変化させながら前記第１の画像の周波数特性と前記第２の画像の周波数特性のマッチング処理を行い、マッチング誤差を表す誤差値が最も小さい前記変換倍率に基づいて前記移動量を検出することを特徴とする撮像装置。
17. 請求項１２において
    前記第２合焦処理部は、
    取得された前記画像から動きベクトルを検出する動きベクトル検出部を有し、
    前記移動量検出部は、
    検出された前記動きベクトルに基づいて前記移動量を検出することを特徴とする撮像装置。
18. 請求項１において、
    前記光学系は、
    所定数の焦点位置の中から一つの焦点位置を選択することで前記焦点位置を変更することを特徴とする撮像装置。
19. 請求項１において、
    前記光学系は、
    ズーム処理を行い、
    前記第１合焦処理部は、
    通常観察モードよりも前記ズーム処理の倍率が高倍率に設定された拡大観察モードにおいて、前記第１の合焦処理を行い、
    前記第２合焦処理部は、
    前記拡大観察モードにおいて、前記第２の合焦処理を行うことを特徴とする撮像装置。
20. 請求項１において、
    前記撮像装置は、
    時系列的に画像を取得することを特徴とする撮像装置。
21. 請求項１２において、
    前記第２合焦処理部は、
    前記移動量が閾値より小さい場合、前記光学系の前記焦点位置を変更しないことを特徴とする撮像装置。
22. 請求項１において、
    前記第１合焦処理部は、
    取得された前記画像からコントラスト値を算出するコントラスト算出部を有し、
    前記第１合焦処理部は、
    前記コントラスト値に基づいて前記第１の合焦処理を行って前記光学系の前記焦点位置を制御することを特徴とする撮像装置。
23. 光学系の焦点位置を制御して、第１の合焦処理を行う第１の合焦処理部と、
    前記光学系の前記焦点位置を制御して、第２の合焦処理を行う第２の合焦処理部と、
    前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う合焦処理切り替え部として、
    コンピュータを機能させ、
    前記第１合焦処理部は、
    前記第１の合焦処理が成されたか否かを判定する合焦判定部を有し、
    前記合焦処理切り替え部は、
    前記第１の合焦処理が成されたと前記合焦判定部により判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替えることを特徴とするプログラム。
24. 光学系の焦点位置を制御して、第１の合焦処理を行い、
    前記光学系の前記焦点位置を制御して、第２の合焦処理を行うと共に、
    前記第１の合焦処理と前記第２の合焦処理を切り替える制御を行う場合に、
    前記第１の合焦処理が成されたか否かを判定し、
    前記第１の合焦処理が成されたと判定された場合に、前記第１の合焦処理から前記第２の合焦処理に切り替えることを特徴とするフォーカス制御方法。

Images