JP2020096249A - 撮像制御装置、撮像装置及び撮像制御プログラム - Google Patents

Abstract

【課題】ＡＦにかかる計算工数を抑制できる。【解決手段】撮像制御装置は変換部１５１、高域信号算出部１５２、高域信号データ拡張部１５３、比較部１５４及び制御方法決定部１５６を有する。高域信号算出部１５２は第１深度Ｖで取得された第１画像信号、第２深度Ｖ＋αで取得された第２画像信号、及び第３深度Ｖ−βで取得された第３画像信号に対してエッジに関する第１高域信号、第２高域信号及び第３高域信号を算出する。高域信号データ拡張部１５３は、第１拡張高域信号データ、第２拡張高域信号データ及び第３拡張高域信号データに拡張する。制御方法決定部１５６は、比較部１５４において第１拡張高域信号データが第２拡張高域信号データより小さいと判定された領域をバックフォーカス領域と設定し、第１拡張高域信号データが第３拡張高域信号データより小さいと判定された領域をフロントフォーカス領域と設定する。【選択図】図２

Description

本発明は、撮像制御装置、撮像装置及び撮像制御プログラムに関し、特に、静止画及び動画カメラで採用されるオートフォーカス（ＡＦ）技術を用いた撮像制御装置、撮像装置及び撮像制御プログラムに関する。

ビデオカメラやスマートフォンに搭載されたカメラユニットなどの撮像装置では、オートフォーカス（以下、「ＡＦ」と称する場合もある）として、高精度化や小型化に有利なため、コントラスト方式が広く利用されている。コントラスト方式では、コントラスト信号がピークとなるようにフォーカス制御が行われる。しかし、コントラスト方式は、探索範囲が比較的大きくなることが多いために合焦スピードが不十分であり、対象の変化（動きや照明など）に対して脆弱であるといった問題を有する。

この問題に対処するため、近年ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）型ＡＦが利用されている。ＤＦＤ方式は、特殊な光学系や専用センサを用いずに高速・高精度のＡＦを行うことができる。特許文献１には、１）２つの深度の画像の取得、２）全焦点画像の作成、３）全焦点画像に２つの深度におけるボケパラメータを施し、複数の深度に合焦しているときのボケ画像（２セット）を生成する、４）取得済みの２つの深度画像と２セットのボケマップの類似性を評価して距離マップを作る、５）２つの距離マップを合成する、というプロセスが開示されている。また、特許文献２には、全焦点画像を作成後にそれを基に作成した２つの深度におけるボケマップを作成し、それらの大小関係から焦点に対する大小判定を行うことにより距離マップを作成することが開示されている。

国際公開第２０１１／１５８５１５号 特開２０１６−１１１６０９号公報

特許文献１、２では、ＡＦに際して、全焦点画像の作成が必要になる。このプロセスは比較的時間を要するものであるためＡＦのスピードに影響するといった問題がある。さらに特許文献２では、合焦近辺でボケ半径０が判定しにくい場合があり、それに対する解決法が第３実施形態に記載されている（例えば、特許文献２の段落００４６〜００４７参照）が、この計算コストも小さくない。

本開示は、このような事情に鑑みなされたものであり、ＡＦにかかる計算工数を抑制できる撮像制御装置、撮像装置及び撮像制御プログラムを提供するものである。

本発明の第１の態様にかかる撮像制御装置は、第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する変換部と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１高域信号、第２高域信号及び第３高域信号をそれぞれ算出する高域信号算出部と、
前記算出された第１高域信号、第２高域信号及び第３高域信号をそれぞれ、エッジ周辺画素に関する第１拡張高域信号データ、第２拡張高域信号データ及び第３拡張高域信号データに拡張する高域信号データ拡張部と、
前記第１拡張高域信号データ、前記第２拡張高域信号データ、及び前記第３拡張高域信号データを比較する比較部と、
前記比較部において前記第１拡張高域信号データが前記第２拡張高域信号データより小さいと判定された領域をバックフォーカス領域と設定し、前記第１拡張高域信号データが前記第３拡張高域信号データより小さいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する制御方法決定部と、
を備えるものである。

本発明の第２の態様にかかる撮像装置は、撮像部と上記の撮像制御装置とを備えるものである。さらに、本発明の第３の態様にかかる撮像制御プログラムは、第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する処理と、
前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１高域信号、第２高域信号及び第３高域信号をそれぞれ算出する処理と、
前記算出された第１高域信号、第２高域信号及び第３高域信号をそれぞれ、エッジ周辺画素に関する第１拡張高域信号データ、第２拡張高域信号データ及び第３拡張高域信号データに拡張する処理と、
前記第１拡張高域信号データ、前記第２拡張高域信号データ、及び前記第３拡張高域信号データを比較する処理と、
前記第１拡張高域信号データが前記第２拡張高域信号データより小さいと判定された領域をバックフォーカス領域と設定し、前記第１拡張高域信号データが前記第３拡張高域信号データより小さいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する処理と、
をコンピュータに実行させるものである。

本発明により、ＡＦにかかる計算工数を抑制できる撮像制御装置、撮像装置及び撮像制御プログラムを提供することができる。

本実施形態に係る撮像装置の構成を示すブロック図である。 制御部の機能ブロック図である。 ＡＦ制御のフローチャートである。 深度と対象物との位置関係を説明する図である。 深度と対象物との位置関係を説明する図である。 高域信号算出部の詳細な機能ブロック図である。 高域信号算出処理の詳細なフローチャートである。 ガウシアンフィルタに用いられるオペレータの一例を示す図である。 ラプラシアンフィルタに用いられるオペレータの一例を示す図である。 平滑値修正部で行われる平滑値の修正処理を説明するグラフである。 焦点深度と高域信号の関係を示す図である。 基準グラフと正方向にαシフトしたグラフとを比較する図である。 基準グラフと負方向にβシフトしたグラフとを比較する図である。

以下、本開示を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本開示が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

図１は、本実施形態に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、例えばハンディタイプのビデオカメラである。本実施形態に係る撮像装置１００は、フォーカスレンズ１１２を光軸方向へ移動させてオートフォーカスを行うための制御部１５０を含む撮像制御装置を内蔵する。撮像装置は、撮像部を含む本体ユニットに対してオートフォーカスを行うための撮像制御ユニットが装着される構成であっても構わない。また、以下においては、動画像の撮像を前提として説明するが、静止画像の撮像機能を主たる機能とする撮像装置であっても構わない。

光学系１１０は、ズームレンズ１１１、フォーカスレンズ１１２および補正レンズ１１３を含む。ズームレンズ１１１は、光学系１１０の焦点距離を変更するように光軸方向に移動する。フォーカスレンズ１１２は、特定距離の被写体にピントが合うように光軸方向に移動する。補正レンズ１１３は、撮像素子１３０に結像する被写体像のブレが軽減するように光軸に直交する平面方向へ移動する。

被写体像は光学系１１０を通過して撮像素子１３０の結像面に結像する。なお、図においてはズームレンズ１１１、フォーカスレンズ１１２、補正レンズ１１３の順に示しているが、レンズ要素の配置はこの順に限らない。また、ひとつのレンズが複数の機能を担う構成であっても構わない。

撮像素子１３０は、被写体像である光学像を光電変換する素子であり、例えばＣＭＯＳセンサが用いられる。撮像素子１３０で光電変換された被写体信号は、アナログフロントエンド（ＡＦＥ）１３２を介してデジタル信号に変換され、バスライン１３１へ送られる。メモリ１３３は、例えばＳＲＡＭなどの揮発性メモリであるワークメモリと、例えばＳＳＤなどの不揮発性記録媒体であるシステムメモリとを含む。ワークメモリは、ＡＦＥ１３２から受け取った被写体信号をフレーム単位の画像信号として画像処理部１３４へ引き渡したり、画像処理部１３４が画像処理する途中段階において一時的な記憶領域を提供したりする。システムメモリは、撮像装置１００の動作時に必要な定数、変数、設定値、制御プログラム等を保持する。

画像処理部１３４は、設定されている撮像モードやユーザからの指示に応じて、画像データを特定の画像フォーマットの画像ファイルに変換する。例えば、動画像としてＭＰＥＧファイルを生成する場合、連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化を施して圧縮処理を行う。また、画像処理部１３４は、例えば液晶ディスプレイであるモニタ１３６で表示する映像信号を、画像ファイルへの変換に並行して、あるいは画像ファイルへの変換を行うことなく単独で生成する。表示処理部１３５は、受け取った映像信号をモニタ１３６で表示するための表示信号に変換する。

画像処理部１３４によって処理された動画像ファイルは、出力処理部１３７および記録媒体インターフェース１３８を介して、記録媒体２０１に記録される。記録媒体２０１は、撮像装置１００に対して着脱可能な不揮発性メモリ（例えば、フラッシュメモリ等）である。また、出力処理部１３７は、通信ＩＦ１３９を介して、外部機器へ動画像ファイルを送信することもできる。通信ＩＦ１３９は、例えばインターネットへ接続するための無線ＬＡＮユニットである。

撮像装置１００は、ユーザからの操作を受け付ける複数の操作部材１４０を備えている。制御部１５０は、これら操作部材１４０が操作されたことを検知し、操作に応じた動作を実行する。制御部１５０は、例えばＣＰＵ（Central Processing Unit）であり、撮像装置１００を構成する各要素を直接的または間接的に制御する。制御部１５０による制御は、メモリ１３３から読みだされた制御プログラム等によって実現される。制御部１５０は、細分化された処理のそれぞれを実行する機能演算部としての機能も担う。具体的な機能演算部としての処理については、後述する。

補正レンズ駆動部１６１は、補正レンズ１１３を移動させるボイスコイルモータを含む。制御部１５０は、振れ検出センサで検出されたブレを打ち消すように補正レンズ１１３を目標位置へ移動させるための駆動信号を補正レンズ駆動部１６１へ送信する。フォーカス駆動部１６２は、フォーカスレンズ１１２を光軸方向へ移動させるためのモータを含む。フォーカス駆動部１６２は、連続して取得される画像信号のコントラスト情報に基づいて制御部１５０が生成するＡＦ制御信号を受信してフォーカスレンズ１１２を移動させる（詳細は後述する）。ズーム駆動部１６３は、ズームレンズ１１１を光軸方向へ移動させるためのモータを含む。ズーム駆動部１６３は、ユーザの指示に基づいて制御部１５０が生成するズーム制御信号を受信してズームレンズ１１１を移動させる。

ここで、本発明の特徴部分である、画像の各画素においてフロントフォーカスか、バックフォーカスかを決定することでオートフォーカスを制御する撮像制御装置について説明する。

図２は、図１に示した制御部１５０の内部を、処理ごとの機能演算部として模式的に表した機能ブロック図である。図３は、ＡＦ制御のフローチャートである。制御部１５０は、ＡＦ制御に関して、変換部１５１と、高域信号算出部１５２と、高域信号データ拡張部１５３と、比較部１５４と、制御方法決定部１５６と、を有している。

図２に示すように、制御部１５０は、画像処理部１３４（図１）から異なる深度Ｖ，Ｖ＋α、Ｖ−βの３種類の画像信号Ｆ_ｖ、Ｆ_ｖ＋α、Ｆ_ｖ−βを取り込む。

なお、本実施の形態において、画像信号Ｆは、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の３原色で表現されるＲＧＢ信号であるが、特にこれに限られず、ＨＳＶ信号又はＹＵＶ信号であってもよいし、白黒画像信号であってもよい。

ここで、図４及び図５を参照して、深度と対象物との位置関係を説明する。図４は、第１画像信号を取得する第１深度（本例では、Ｖ）と、第２画像信号を取得する第１深度より深い第２深度（本例では、Ｖ＋α）の位置関係を説明するための模式図である。図５は、第１画像信号を取得する第１深度（本例では、Ｖ）と、第３画像信号を取得する第１深度より浅い第３深度（本例では、Ｖ−β）の位置関係を説明するための模式図である。

図４では、レンズ１１１からｄ_ｆ離れた位置に対象物Ｏ_ｆが存在する場合、対象物からの光線群がレンズ１１１を通過した後に深度Ｖの撮像素子１３０上に集光する。一方、レンズ１１１からｄ_ｂａｃｋ離れた位置（合焦している対象物Ｏ_ｆよりレンズ１１１に近い位置）に対象物Ｏ_ｂａｃｋが存在する場合、このバックフォーカスとなっている対象物は第１深度Ｖより深い第２深度Ｖ＋αで集光する。つまり、対象物Ｏ_ｂａｃｋは撮像素子１３０の表面の複数の点で集光するので、ボケた画像となる。

また、図５では、レンズ１１１からｄ_{ｆｒｏｎｔ}離れた位置（合焦している対象物よりレンズ１１１から遠い位置）に対象物が存在する場合、このフロントフォーカスとなっている対象物は、第１深度Ｖより浅い第３深度Ｖ−βで集光する。この場合も、撮像素子１３０の表面の複数の点で集光するので、ボケた画像となる。図４及び図５に示すｃは、「錯乱円径（diameter of CoC）」と呼ばれる場合がある。

なお、画像処理部１３４は、深度Ｖにおける映像とほぼ同時に深度Ｖ＋α及び深度Ｖ−βにおける映像を取得するものとする。ここにおけるα及びβは、視覚的に合焦深度が変化することが検知できる程度の値とし、開口や焦点距離により異なるので都度決定するものとする。またα及びβは同一でなくても構わないが近い値（例えば、α／β＜１／２、あるいはα／β＜１／３）とする。

以上のように、取得された３枚の画像はそれぞれ、画像信号Ｆ_ｖ、Ｆ_ｖ＋α、Ｆ_ｖ−βとして制御部１５０に取り込まれる。

これらの画像信号Ｆ_ｖ、Ｆ_ｖ＋α、Ｆ_ｖ−βは、変換部１５１（本例ではＲＧＢ→Ｙ変換部）に入力され、第１輝度信号、第２輝度信号及び第３輝度信号にそれぞれ変換される（図３のステップＳ１）。この変換は信号規格に基づくマトリクス演算で行われるが、Ｇ信号で代用してもよい。

次に、高域信号算出部１５２で行われる高域信号の算出処理（図３のステップＳ２）を、図６及び図７を参照して詳細に説明する。
図６は、図２に示す高域信号算出部１５２の内部の詳細な機能ブロック図である。図７は、図２に示す高域信号算出部１５２で行われる高域信号の算出の処理フロー図である。

図６に示すように、入力された輝度信号は、平滑化部１５２１においてガウシアンフィルタなどのローパスフィルタを用いて平滑化される（図７のステップＳ２００）。ここでは、図８に示すガウシアンフィルタに用いられるオペレータを使用する。

具体的には、平滑化部１５２１は、第１輝度信号、第２輝度信号及び第３輝度信号をガウシアンフィルタで平滑化した第１平滑信号、第２平滑信号、及び第３平滑信号を生成する。

また、入力された輝度信号は、高域抽出部１５２２において、ラプラシアンフィルタによる高域抽出が行われる（ステップＳ２０１）。ここで用いられるラプラシアンフィルタは、図９に示すような原画から上記ガウシアンを減じる処理であってもよい。このように、５×５の中央部については、（１−３６／２５６＝）２２０／２５６とし、その他については、すべて符号逆転したオペレータとなる（０−ｘ／２５６＝−ｘ／２５６）。

具体的には、高域抽出部１５２２は、第１輝度信号、第２輝度信号及び第３輝度信号をラプラシアンフィルタで抽出した第１抽出高域信号、第２抽出高域信号及び第３抽出高域信号を生成する。

平滑値修正部１５２３（図６）では平滑値ｘで定義される関数ｆ（ｘ）について、ｘが特定値以上のときにはｘ＝ｆ（ｘ）とし、特定値未満のとき（すなわち、暗部）にはｘ＜ｆ（ｘ）となるように、ｆ（ｘ）を増加させるように修正する（ステップＳ２０２）。
例えば８ビット系の場合では、
ｉｆ（ｘ＜３２） ｆ（ｘ）＝３２＋０．５＊（ｘ−３２）；
ｅｌｓｅ ｆ（ｘ）＝ｘ；
とすることができる（図１０参照）。

具体的には、平滑値修正部は、第１平滑信号、第２平滑信号及び第３平滑信号の値がそれぞれ、ｘ_１、ｘ_２，ｘ_３であるとすると、ｘ_１、ｘ_２，ｘ_３がそれぞれ特定値より小さいとき、ｘ_１＜ｆ_１（ｘ_１）、ｘ_２＜ｆ_２（ｘ_２）、及びｘ_３＜ｆ_３（ｘ_３）と修正した第１修正平滑信号、第２修正平滑信号及び第３修正平滑信号を生成する。このような平滑値の修正処理を行う理由については後述する。

除算部１５２４は、高域抽出部１５２２からのラプラシアンの出力を上記のように修正された平滑値ｆ（ｘ）で除算する（ステップＳ２０３）。これにより、高輝度な部分の高域信号が抑えられ、白とびの発生を回避することができ、合焦度合が正しく反映された画像信号を得ることができる。それに対して、低輝度での高域信号が増強されると、暗部でのフォーカシングに貢献する。このような低輝度での高域信号の増強が過大になるとノイズが発生する場合がある。このノイズを回避するために上記のｆ（ｘ）の平滑値の修正処理を行っている。

具体的には、除算部１５２４は、平滑値修正部１５２３により、修正された第１修正平滑信号、第２修正平滑信号及び第３修正平滑信号で、第１抽出高域信号、第２抽出高域信号及び第３抽出高域信号を除算し、第１高域信号、第２高域信号及び第３高域信号σ_ｖ、σ_ｖ＋α、σ_ｖ−βを算出する。

なお、上記高域信号データは、必要に応じてガウシアンなどのローパスフィルタで複数回の平滑化処理を施してもよい。こうして求められた異なる深度の画像に対する高域信号データσ_ｖ、σ_ｖ＋α、σ_ｖ−βを以後の処理に用いる。

ここで、再び図２及び図３に戻って、画像の各画素においてＡＦ制御の処理フローを説明する。
図２に示す高域信号データ拡張部１５３は、上記高域信号データを、エッジ近傍の高域信号データが得られていない画素（エッジ周辺画素）に拡張する（ステップＳ３）。これは後述のバックフォーカスか、あるいはフロントフォーカスかを決定するためのデータの大小比較において、特定画素に対応する画素が存在しないという状況を防ぐためのものである。上記方式により得られている高域信号データはエッジ周辺のみに得られるものであるため、焦点深度設定の違い、変形、微妙な大きさの変化によって、ある画像内のエッジが、比較する画像内のエッジと完全に一致しない場合がある。例えば、複数（二枚）の画像の比較にあたって、片方に存在するエッジがもう片方には（ボケてしまって）存在しない、または変形してしまったり、位置が変わってしまったりしているといった場合が想定される。このような場合、データを拡張することにより、対応画素におけるデータ不在をかなり防ぐことができる。データの拡張には、例えば式(１)で与えられるユークリッド距離Ｌが最小となるような画素におけるデータを利用する。

・・・(式１)

ただし、ｒ，ｇ，ｂはテクスチャ画像の高域信号データのない画素（Ｉ，Ｊ）におけるＲＧＢ値であり、ｒ_ｃ，ｇ_ｃ，ｂ_ｃは高域信号データが既知の画素（Ｉ_ｃ，Ｊ_ｃ）におけるＲＧＢ値である。またｎは１などの適当な定数としている。このようなデータ拡張により、位置と色の近い画素からデータを転用することができる。それぞれの拡張後の高域信号データを「拡張高域信号データＥσ_ｖ」、「拡張高域信号データ（Ｅσ_ｖ＋α）」、「拡張高域信号データＥσ_ｖ−β」と呼ぶことにする。

図１１〜図１３を参照して、焦点深度の異なる３種類の高域信号データの大小比較によるＡＦ制御の決定方法について説明する。図１１は、焦点深度と高域信号の関係を示す。図１１に示すように、深度が合焦位置Ｖのとき、高域信号が最大となる正規分布となっている。このグラフを基準グラフＥσ_ｖと称する場合がある。輝度値やエッジの状態などにより、グラフの形状はいろいろ変化し得るが、ここでは３枚の画像上の各画素についてそれぞれ同一被写体の同一部分を比較することが前提であるので同一の形状のグラフにおいて比較するものとする。

前述の高域信号データの拡張により、特定の画素に対応する拡張高域信号データＥσ_ｖと拡張高域信号データＥσ_ｖ＋αを算出し、比較部１５４（図２）は、拡張高域信号データＥσ_ｖと拡張高域信号データＥσ_ｖ＋αとの比較を行う（図３のステップＳ４）。具体的には、比較部１５４は、輝度信号（Ｖ）の拡張高域信号Ｅσ_ｖと輝度信号（Ｖ＋α）の拡張高域信号Ｅσ_ｖ＋αとの差分Ｐを算出する。図１２に示すように、基準グラフＥσ_ｖ（実線）と、それを正方向にαシフトしたグラフＥσ_ｖ＋α（点線）の大小関係を比較する。シフトされたグラフは対象物Ｏ_ｂａｃｋが第２深度Ｖ＋αで集光することを示しており（図４参照）、合焦する（つまり、ボケ量が低下する、すなわち、拡張高域信号が増加する）対象物Ｏ_ｆは、この対象物Ｏ_ｂａｃｋより奥側（レンズから遠い方）に位置することを示している。したがって、図１２に示すように、シフトされたグラフが、シフトされていないグラフよりも拡張高域信号が大きい部分をバックフォーカスと見なすことができる。換言すれば、シフトしていないグラフが、シフトされたグラフよりも高域信号の小さい部分をバックフォーカス領域と見なすことができる（ステップＳ６）。以上より、制御方法決定部１５６は、フォーカス駆動部１６２に対して、合焦位置を負方向に移動させる（調整する）ように（バックフォーカスするよう）、ＡＦ制御信号を送信する（ステップＳ７）。

一方、前述の高域信号データの拡張により、特定の画素に対応する拡張高域信号データＥσ_ｖと拡張高域信号データＥσ_ｖ−βを算出し、比較部１５４（図２）は、拡張高域信号データ（Ｖ）と拡張高域信号データ（Ｖ−β）を比較する（図３のステップＳ５）。具体的には、比較部１５４は、輝度信号（Ｖ）の拡張高域信号Ｅσ_ｖと拡張輝度信号（Ｖ−β）の高域信号Ｅσ_ｖ−βとの差分Ｑを算出する。図１３に示すように、基準グラフＥσ_ｖ（実線）と、それを負方向にβシフトしたグラフ（点線）の大小関係を比較する。シフトされたグラフは、対象物Ｏ_{ｆｒｏｎｔ}が、第３深度Ｖ−βで集光することを示しており（図５参照）、合焦する（つまり、ボケ量が低下する、すなわち、拡張高域信号が増加する）対象物Ｏｆは、この対象物Ｏ_{ｆｒｏｎｔ}より手前側（レンズに近い位置）に位置することを示している。したがって、図１３に示すように、シフトされたグラフが、シフトされないグラフよりも拡張高域信号が大きい部分をフロントフォーカスと見なすことができる。換言すれば、シフトされないグラフがシフトされたグラフよりも高域信号の小さい部分をフロントフォーカスと見なすことができる（ステップＳ６）。以上より、制御方法決定部１５６は、フォーカス駆動部１６２に対して、合焦位置を正方向に移動させる（調整する）ように（フロントフォーカスするよう）、ＡＦ制御信号を送信する（ステップＳ８）。

制御方法決定部１５６は、上記比較部１５４による大小比較により、焦点深度Ｖにおける撮像データについてフロントフォーカス領域及びバックフォーカス領域を識別することができる。必要に応じて、既知の方法で、合焦判定（合焦範囲内にあるか否か）を行うこともできる（図３のステップＳ９）。更に、必要に応じて従来方法を用いて調整してもよい。

以上、本実施の形態の撮像制御装置によれば、全焦点画像を作成せずに、３種の深度における高域信号の評価を行い、その大小関係を比較することで、フォーカスの前後判定を行うことで合焦範囲を素早く絞り込むことができる。また、絞り込んだ後はコントラスト方式などの従来法によってフォーカス制御を行うため、トータルの計算工数を軽減できる。

さらに、本実施の形態の撮像制御装置によれば、フロントフォーカスと判定された部分は正方向に合焦深度をシフトして再評価し、バックフォーカスと判定された部分は負方向に合焦深度をシフトして再評価することができる。

また、以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

また、上記実施の形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、上記の撮像制御プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１００ 撮像装置
１１０ 光学系
１１１ ズームレンズ
１１１ レンズ
１１２ フォーカスレンズ
１１３ 補正レンズ
１３０ 撮像素子
１３１ バスライン
１３３ メモリ
１３４ 画像処理部
１３５ 表示処理部
１３６ モニタ
１３７ 出力処理部
１４０ 操作部材
１５０ 制御部
１５１ 変換部
１５２ 高域信号算出部
１５３ 高域信号データ拡張部
１５４ 比較部
１５６ 制御方法決定部
１６１ 補正レンズ駆動部
１６２ フォーカス駆動部
１６３ ズーム駆動部
２０１ 記録媒体
１５２１ 平滑化部
１５２２ 高域抽出部
１５２３ 平滑値修正部
１５２４ 除算部

Claims (6)

1. 第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する変換部と、
   前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１高域信号、第２高域信号及び第３高域信号をそれぞれ算出する高域信号算出部と、
   前記算出された第１高域信号、第２高域信号及び第３高域信号をそれぞれ、エッジ周辺画素に関する第１拡張高域信号データ、第２拡張高域信号データ及び第３拡張高域信号データに拡張する高域信号データ拡張部と、
   前記第１拡張高域信号データ、前記第２拡張高域信号データ、及び前記第３拡張高域信号データを比較する比較部と、
   前記比較部において前記第１拡張高域信号データが前記第２拡張高域信号データより小さいと判定された領域をバックフォーカス領域と設定し、前記第１拡張高域信号データが前記第３拡張高域信号データより小さいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する制御方法決定部と、
   を備える、撮像制御装置。
2. 前記高域信号算出部は、前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号をガウシアンフィルタで平滑化した第１平滑信号、第２平滑信号、及び第３平滑信号を生成する平滑化部と、
   前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号をラプラシアンフィルタで抽出した第１抽出高域信号、第２抽出高域信号及び第３抽出高域信号を生成する高域抽出部と、
   前記第１抽出高域信号、前記第２抽出高域信号及び前記第３抽出高域信号を前記第１平滑信号、前記第２平滑信号、及び前記第３平滑信号で除算することで、第１高域信号、第２高域信号及び第３高域信号を算出する除算部と、を備える、請求項１に記載の撮像制御装置。
3. 前記高域信号算出部は、前記第１平滑信号、前記第２平滑信号及び前記第３平滑信号の値がそれぞれ、ｘ_１、ｘ_２，ｘ_３であるとすると、
   ｘ_１、ｘ_２，ｘ_３がそれぞれ特定値より小さいとき、ｘ_１＜ｆ_１（ｘ_１）、ｘ_２＜ｆ_２（ｘ_２）、及びｘ_３＜ｆ_３（ｘ_３）と修正した第１修正平滑信号、第２修正平滑信号及び第３修正平滑信号で、前記前記第１抽出高域信号、前記第２抽出高域信号及び前記第３抽出高域信号を除算し、第１高域信号、第２高域信号及び第３高域信号を算出する平滑値修正部を更に備える、請求項２に記載の撮像制御装置。
4. 前記制御方法決定部は、前記バックフォーカス領域については深度を負方向に調整し、前記フロントフォーカス領域については深度を正方向に調整する、請求項１に記載の撮像制御装置。
5. 撮像部を更に備え、
   請求項１から４のいずれか一項に記載の撮像制御装置と、
   を備える撮像装置。
6. 第１深度で取得された第１画像信号、前記第１深度より深い第２深度で取得された第２画像信号、及び前記第１深度より浅い第３深度で取得された第３画像信号をそれぞれ、第１輝度信号、第２輝度信号及び第３輝度信号に変換する処理と、
   前記第１輝度信号、前記第２輝度信号及び前記第３輝度信号に基づいて、エッジに関する第１高域信号、第２高域信号及び第３高域信号をそれぞれ算出する処理と、
   前記算出された第１高域信号、第２高域信号及び第３高域信号をそれぞれ、エッジ周辺画素に関する第１拡張高域信号データ、第２拡張高域信号データ及び第３拡張高域信号データに拡張する処理と、
   前記第１拡張高域信号データ、前記第２拡張高域信号データ、及び前記第３拡張高域信号データを比較する処理と、
   前記第１拡張高域信号データが前記第２拡張高域信号データより小さいと判定された領域をバックフォーカス領域と設定し、前記第１拡張高域信号データが前記第３拡張高域信号データより小さいと判定された領域をフロントフォーカス領域と設定することでフォーカスを制御する処理と、
   をコンピュータに実行させる撮像制御プログラム。

Images