JP2014052505A - 撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体 - Google Patents

Abstract

【課題】
被写体までの距離を分かりやすく表示する。
【解決手段】
撮像素子（１０３）は、撮像面に分散配置される複数の位相差測距用受光素子を具備する。カメラ信号処理部（１０６）は、撮像素子（１０３）の出力信号から画像信号を生成する。カメラ制御部（１０９）は、撮像素子（１０３）の位相差測距用受光素子の出力信号から、撮影視野の一軸と被写体距離軸からなる２次元面で被写体距離の分布を示す被写体表示画面を生成する。表示部（１０７）は、撮像素子（１０３）による画像信号に被写体表示画面を重畳して表示する。
【選択図】 図１

Description

本発明は、撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体に関する。

一眼レフカメラなどに採用される３５ｍｍフルサイズセンサ（撮像素子）で動画を撮影する機会が増えてきている。３５ｍｍフルサイズなどの大判センサは、ビデオ用の小型センサ（撮像素子）よりも深度が浅いので、ボケ味を生かした撮影が可能となる。即ち、合焦エリアの画像だけでなく、ボケたエリアの画像の見え方が注目される。

大判センサを備えた撮像装置は、被写界深度が浅いので、自動焦点調節が困難である。焦点調整方法としてＴＶ−ＡＦ方式が従来、広く採用されている。また、撮像素子の大型化に鑑み、撮像素子の一部の画素を位相差ＡＦ用に使用する位相差ＡＦ方式も知られている。すなわち、撮影レンズを通過した光束を瞳分割し、各分割光束を一対の画素に入射させて、位相差ＡＦにより測距する（例えば、特許文献１）。

一方、どの位置にフォーカスが合っているのかを視覚的に確認する手段として、焦点位置をモニタ画面上に表示する技術が知られている（例えば、特許文献２）。これにより、現在、撮影視野内のどの位置にフォーカスが合っているかを視覚的に確認できるので、撮影者の意図に合ったフォーカス調整を実現できる。

特開２０００−２９２６８６号公報 特開平１０−１９７９３８号公報

特許文献１に記載の技術では、フォーカスを合わせたい被写体が、撮像素子の位相差ＡＦ用画素に対応する位置に位置する必要がある。例えば、複数の被写体が視野内にあるときに、所望の被写体にフォーカスが合うとは限らない。被写界深度が浅い大判センサを使った撮像装置では、その影響が顕著に撮影画像に現れる。

特許文献２に記載の技術では、撮影者はフォーカス位置と距離を把握できるものの、被写体とフォーカス位置との関係が分からないので，目的とする被写体にフォーカスを合わせるためにどのように操作すれば良いかが分からない。

本発明は、このような不都合を解消し、所望の被写体に確実にフォーカスを合わせて撮影を行える撮像装置、撮像装置の制御方法及びプログラム並びに記録媒体を提示することを目的とする。

以上の課題を解決するため、本発明に係る撮像装置は、撮像面に分散配置される複数の位相差測距用受光素子を具備する撮像素子と、前記撮像素子の出力信号から画像信号を生成するカメラ信号処理手段と、前記複数の位相差測距用受光素子の出力信号から被写体の距離分布を示す距離分布情報を生成する手段と、前記画像信号に前記距離分布情報を重畳して表示する表示手段とを具備することを特徴とする。

本発明によれば、撮影視野の一軸と被写体距離軸からなる２次元面で被写体距離の分布を表示するので、被写体とフォーカス位置の関係が明確になる。撮影者は、どのような操作をするべきなのかの判断を容易にすることができるようになる。

本発明の一実施例の概略構成ブロック図である。 撮像面での位相差ＡＦ用受光素子の配置例を示す模式図である。 マイクロレンズによる瞳分割例を示す模式図である。 位相差検出方式の基本原理を示す模式図である。 カメラ信号処理部とカメラ制御部の測距関係部分の概略構成ブロック図である。 位相差検出用画素部分の補間処理方法を説明する模式図である。 位相差演算処理で得られる位相差情報と、距離マップ作成処理で得られる距離マップの例である。 距離ポイントの作用を説明するための被写体例である。 距離マップ例である。 距離ポイント１〜８の説明図である。 距離ポイントに応じた被写体位置の説明図である。 画面表示範囲と距離ポイントの関係の説明図である。 距離ポイント毎の被写体判定のフローチャートである。 距離マップ表示設定と距離範囲設定の画面例である。 被写体表示画面の表示例である。 タッチパネル操作の場合の制御動作のフローチャートである。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る撮像装置の一実施例であるビデオカメラの概略構成ブロック図を示す。ビデオカメラに適用した実施例を説明するが、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することができる。

図１において、１０１は変倍用のズームレンズ、１０２はフォーカシング用のフォーカスレンズである。１０３は、ＣＭＯＳセンサなどの光電変換素子としての撮像素子である。撮像素子１０３は、その撮像面の画素上に、画像撮影用の受光素子に加えて、一定の規則で分散配置された複数の位相差測距用受光素子を具備する。１０４は撮像素子１０３の出力をゲイン調整するアナログ信号処理部である。１０５はＡ／Ｄ変換部であり、アナログ信号処理部１０４のアナログ出力をデジタル信号に変換する。

１０６はカメラ信号処理部で、Ａ／Ｄ変換部１０５からのデジタル画像信号に各種の画像処理を施し、映像信号を生成する。カメラ信号処理部１０６は、ＴＶ−ＡＦ信号処理回路を含み、画面内の所定の領域の映像信号から高周波成分を抽出してＴＶ−ＡＦ評価値信号を生成する。ＴＶ−ＡＦ評価値信号は、カメラ制御部１０９に出力される。カメラ信号処理部１０６はまた、撮像素子１０３の位相差測距用の画素出力信号をカメラ制御部１０９に出力する。

１０７はＬＣＤ等により構成される表示部であり、カメラ信号処理部１０６からの映像信号を画像表示する。表示部０７には、タッチセンサが組み込まれたタッチパネルを一体化されている。１０８は記録部であり、カメラ信号処理部１０６からの映像信号をＨＤＤ又は半導体メモリ等の記録媒体に記録する。

カメラ制御部１０９は、図示ビデオカメラの全体動作を制御する制御部であり、マイクロコンピュータなどから構成される。カメラ制御部１０９は、カメラ信号処理部１０６からＴＶ−ＡＦ評価値信号を取り込み、コントラストＡＦに基づくフォーカスレンズ１０２の制御信号を生成する。カメラ制御部１０９はまた、撮像素子１０３の位相差測距用画素出力をＡ像とＢ像という二つの出力信号にまとめて位相差測距演算を行い、撮像エリアの各部分のピントずれ量を求める。カメラ制御部１０９は、ＴＶ−ＡＦ信号に基づく制御信号と位相差測距演算結果に従い、合焦レンズ位置にフォーカスレンズ１０２を駆動する。

操作部１１０は、装置全体に関する各種スイッチからなる。カメラ制御部１０９は、操作部１１０のスイッチの状態を検出し、操作部１１０の操作を入力として、図１に示すビデオカメラを制御する。

図２は、撮像素子１０３の画素配置例を示す。図２に示す例では、２列目の２番目、６番目、１０番目及び１４番目の画素が位相差検出用である。位相検出用画素を撮像面上で水平に連続的に設けると測距精度は向上するが、撮影画像の劣化が大きくなる。位相差検出用画素では、通常の画素とは異なり横に受光素子Ａと受光素子Ｂに２分割されている。位相検出用画素の前面（被写体側）には、図３に示すようにマイクロレンズが配置されており、これにより、撮影レンズの入射光束が瞳分割され、各分割光が互いに異なる視差で受光素子Ａ，Ｂに入射する。位相検出用画素の受光素子Ａの出力をまとめてＡ画像を生成し、受光素子Ｂの出力をまとめてＢ画像を生成する。このＡ画像とＢ画像のずれにより、デフォーカス量を決定できる。通常、位相検出用画素の受光素子Ａ，Ｂの出力も、撮影画像の生成に利用される。

図４を参照して、位相差検出による焦点検出原理を説明する。図４（ａ）は合焦時の光路を示す。図４（ｂ）は前ピン時の光路を示す。図４（ｃ）は後ピン時の光路を示す。図４（ａ），（ｂ）及び（ｃ）に示すように、撮影レンズのＡ領域を通る光束によって撮像面上に形成される被写体像（Ａ像）と、Ｂ領域を通る光束によって形成される被写体像（Ｂ像）は、合焦時、前ピン時及び後ピン時で異なる。結像面と撮像面の距離であるデフォーカス量が大きいほど、Ａ像とＢ像のずれは大きくなる。また、前ピンと後ピンではＡ像とＢ像のずれが逆方向になる。従って、この像ずれ量からデフォーカス量を検出できる。

図５は、カメラ信号処理部１０６及びカメラ制御部１０９の概略構成ブロック図を示す。撮像素子１０３から読み出された撮像信号は、位相差測距用画素の部分が欠落した信号となっている。そこで、画素補間処理部５０１が、位相差測距用画素の部分を周囲の画素の信号を使って補間する。例えば、図６に示すように、位相差測距用画素の画素値Ｅ３３として、上側の画素の画素値Ｅ３１と下側の画素Ｅの画素値Ｅ３５の平均を割り当てる。更に、周囲の画素の画素値、例えば、両隣の画素の画素値Ｅ２３，Ｅ４３も補間に利用しても良い。画素のキズを補正する技術をそのまま利用することができる。

位相差測距用画素の受光素子Ａ，Ｂの出力を撮影画像データの生成に使用する場合、受光素子Ａ，Ｂの受光面積が他の撮像用画素の受光面積より小さいので、信号強度（又は電荷）が少なくなる。この場合、画素補間処理部５０１が、受光面積比相当の信号増幅を行う。

映像信号処理部５０２は、画素補間処理部５０１から出力される映像信号を表示部１０７及び記録装置１０８で取り扱えるように変換する。

ＡＦゲートスイッチ５０３は、Ａ／Ｄ変換部１０５からの画像データのうち、ＴＶ−ＡＦで使用する画素値部分でオンとなり、Ａ／Ｄ変換部１０５の出力データをＴＶ−ＡＦ信号処理部５０４に供給する。ＴＶ−ＡＦ信号処理部５０４は、ＡＦゲートスイッチ５０３を介して入力する画像データからその画像先鋭度を示す値を生成する、機能的にはバンドパスフィルタからなる。

ＴＶ−ＡＦ信号処理部５０４は、入力する画像信号から所定の又は所定以上の高周波成分のレベルを求めることでＴＶ−ＡＦ信号を生成する。入力する画像信号が撮像用画素とは信号強度が異なる位相差測距用画素部分を含むままだと、ＴＶ−ＡＦ信号が誤差を含んだ信号となってしまう。また、画面内の任意の位置で測距したいということもある。そこで、カメラ制御部１０９が、画像信号の内でＡＦ信号処理に使用する画素のみを通過するように、ＡＦゲートスイッチ５０３を制御する。すなわち、ＡＦゲートスイッチ５０３は、位相差測距用画素と測距範囲外の全画素を除外する。これにより、ＴＶ−ＡＦ信号処理部５０４は、位相差測距用画素部分の影響を受けないＴＶ−ＡＦ信号を生成できる。

カメラ制御部１０９のセレクタ５０６は、Ａ／Ｄ変換部１０５からの画像データに含まれる位相差測距用画素の受光素子Ａ，Ｂの出力を位相差検出方式のＡ像とＢ像を生成するために振り分ける。位相差演算処理部５０７は、セレクタ５０６による振り分けで生成されるＡ像とＢ像の位相差（ずれ量と方向）を計算する。これにより、図７（ａ）に示す位相差マップのように、撮像面の複数の位置における位相差が算出される。

距離マップ作成処理部５０９は、位相差演算処理部５０７で算出される各位相差から合焦レンズ位置を求め、距離テーブル５１０を参照して撮像面の各部における合焦距離（合焦位置までの距離）を求める。図７（ｂ）は、距離マップ作成処理部５０９で得られる距離マップ例を示す。距離テーブル５１０には、ズームレンズ１０１のズーム位置ごとの、フォーカスレンズ１０２の離散的な位置に対する合焦距離を格納したテーブルである。距離マップ作成処理部５０９は、各フォーカスレンズ位置に対する合焦距離を距離テーブル５１０から補間して求め、図７（ｂ）に示すように撮像面の各測距範囲ごとに被写体距離を決定する。

ＡＦ制御部５１２は、ＴＶ−ＡＦ信号処理部５０４からのＴＶ−ＡＦ信号、及び距離マップ作成処理部５０９からの距離情報に従い、フォーカスレンズ１０２を駆動する。ＡＦ制御部５１２は、状況に応じて、ＴＶ−ＡＦ信号によるフォーカスレンズ１０２の駆動制御と、及び距離マップ作成処理部５０９からの距離情報によるフォーカスレンズ１０２の駆動制御を切り替える。

処理部５０１〜５０４，５０６，５０７，５０９，５１２の一部又は全部の機能は、マイクロコンピュータ又はＣＰＵ上で動作する制御プログラムとして実装できる。

特定の被写体を例に、距離マップから被写体距離の決定までの処理を簡単に説明する。図８Ａは撮像素子１０３の撮像面での被写体８１０の一例を示す。図８Ｂは、図８Ａに示すような被写体の画像データに対し距離マップ作成処理部５０９で得られる距離マップ例を示す。すなわち、距離マップ作成処理部５０９は、図８Ａに示すような被写体の画像データに対し、図８Ｂに例示するように、その測距エリアごとに合焦距離を算出する。図８Ｂにおいて、Ｘ軸（８０７）はビデオカメラ（撮像装置）の水平面に対する左右方向の座標を示し、Ｚ軸（８０８）は水平面に対して上下方向の座標を示す。

図８Ｃは、距離ポイント数が６のときに、図８Ａに示す被写体例の配置データをもとにして、距離ポイント毎に被写体を抜き出す制御を表している。Ｘ軸（８０６）及びＺ軸（８０７）は、図８Ｂと同様にビデオカメラに対する上下左右方向の座標を表しており、Ｙ軸（８０８）はビデオカメラからの距離を座標として表す。距離ポイント１〜６（８０１〜８０６）は、距離ポイント毎の被写体の配置を表すデータである。図８Ｂに示す距離マップ上のある座標（Ｘ、Ｙ）におけるデータをＤＡＴＡ［Ｘ］［Ｙ］（８１１）とすると、図８Ｃにおいて、ある距離ポイントＡにおけるデータは、Ｄ＿ＤＡＴＡ［Ａ］「Ｘ」［Ｙ］（８１２）で表される。

次に、ＡＦ制御部５１２は、各距離ポイントで被写体を抽出する。図９に示すように、ビデオカメラからの最大距離をＤ１、最小距離をＤ２とする。被写体を表示する距離のポイント数をＮとすると、距離ポイント間の距離間隔ΔＤは、ΔＤが一定間隔のとき、
ΔＤ＝（Ｄ１−Ｄ２）／（Ｎ−１） （１）
と表される。

ＡＦ制御部５１２はさらに、最小距離Ｄ２から最大距離Ｄ１までの各距離ポイントに図７（ｂ）に示す距離マップから抽出した被写体を配置する。図８Ｂの座標（Ｘ、Ｙ）のデータＤＡＴＡ［Ｘ］［Ｙ］（８１１）が、図８Ｃでｎ番目の距離ポイントのデータＤ＿ＤＡＴＡ［Ａ］「Ｘ」［Ｙ］に存在すると判定される条件は下記式（２）で与えられる。すなわち、
ＤＡＴＡ［Ｘ］［Ｚ］≦Ｄ２＋ｎΔＤ±ΔＤ／２ （２）
ＡＦ制御部５１２は、同様の判定を全ての距離ポイントに対して実行する。なお、各距離ポイントにおいて、式（２）の計算結果が最小距離Ｄ２を下回る場合と、最大距離Ｄ１を上回る場合には、判定結果を否とする。

図１０は、以上に説明した判定方法に基づく距離ポイント毎の被写体判定のフローチャートを示す。本実施例では、被写体表示画面を表示するか否かは、図１１（ａ）に示すような画面でユーザが予め選択できるようになっており、被写体判定処理は、被写体表示画面が表示されているときにのみ実行されるものとする。

ＡＦ制御部５１２は、被写体表示画面がオンになるのを待機する（Ｓ１００１）。被写体表示画面がオンになると（Ｓ１００１）、ＡＦ制御部５１２は、距離マップ作成処理部５０９から距離マップを取得し（Ｓ１００２）、表示範囲値を取得する（Ｓ１００３）。表示範囲値は、図９で説明した最小距離Ｄ１と最大距離Ｄ２である。Ｄ１とＤ２の値自体は、例えば図１１（ｂ）に示すように、ユーザが使用目的に合わせて選択する。もちろん、固定値でも良い。

次にＡＦ制御部５１２は、表示距離間隔値ΔＤを取得する（Ｓ１００４）。本実施例では距離ポイントを６としており、表示距離間隔ΔＤは、式（１）によって算出される。ＡＦ制御部５１２は、距離ポイントの数に応じて、距離マップのＸ軸方向とＺ軸方向の全データをサーチする（Ｓ１００５、Ｓ１００６、Ｓ１００７）。ＡＦ制御部５１２は、式（２）で表される判定式により（Ｓ１００８）、その距離ポイントに被写体があると判定するとＳ１００９に進み、被写体がないと判定すると、Ｓ１０１０に進む。

ＡＦ制御部５１２は、ステップＳ００７〜Ｓ１０１０の処理をマップ情報の全部の測距エリアに対して実行し（９１１）、全ての距離マップについて実行する（９１２）。

図８Ｄは、距離ポイント１〜６のデータ（即ち、被写体距離データ）を、Ｘ軸／Ｙ軸で表される二次元空間に被写体（８１０）の位置として変換した例であり、これが被写体表示画面となる。被写体表示画面は、撮影視野の一軸と被写体距離軸からなる２次元面で被写体距離の分布を表示する画面となる被写体距離分布情報である。被写体のＸ軸方向への広がりは、被写体の幅を表している。Ｙ軸方向の広がりは、本来であれば被写体の奥行きを表すものである。しかし、本実施例では奥行きを測定できないので、ここでは視認性を良くするために奥行きを持たせて表示している。

被写体表示画面は、図１２（ａ）に１２０４で示すように、表示部１０７の画面に被写体の画像に重畳して表示しても良い。例えば、ピクチャ・イン・ピクチャで表示部１０７の一部に表示する。

また、被写体表示画面の表示スケールに合わせて、図１２（ｂ）に例示するように、距離バー１２０１を表示すると、被写体の配置と距離の関係がより容易に把握できるようになる。図１２（ｂ）に示す例では、２つの被写体１（１２０２）と被写体２（１２０３）が撮影画面内に位置する。

被写体表示画面に同時表示する距離バーを利用してフォーカスを制御する制御動作を説明する。ここでは、ユーザは、表示部１０７のタッチパネルを使って、表示部１０７に表示される距離バーを操作する。距離マップ情報の取得から、被写体表示画面を表示部１０７に表示するまでの制御は、実施例１と同じであるので、この部分の動作説明は省略する。

図１３を参照して、タッチパネルで被写体または距離バーをタッチして、フォーカス調整を行う制御動作を説明する。図１３は、その制御動作のフローチャートを示す。

ＡＦ制御部５１２は、タッチパネルに入力があるまでフォーカス調整の制御を待機する（Ｓ１３０１）。タッチ入力があると（Ｓ１３０１）、ＡＦ制御部５１２は、被写体表示画面上のタッチされた座標を取得する（Ｓ１３０２）。そのタッチが被写体に対してである場合（Ｓ１３０２）、ＡＦ制御部５１２は、ビデオカメラから被写体までの距離情報を取得する（Ｓ１３０５）。タッチしたのが距離バーである場合（Ｓ１３０３，Ｓ１３０４）、ＡＦ制御部５１２は、距離バーの座標から距離情報を取得する（Ｓ１３０６）。

タッチしたのが被写体でも距離バーでもない場合（Ｓ１３０４）、ＡＦ制御部５１２は、タッチ待機状態（Ｓ１３０１）に戻る。

ＡＦ制御部５１２は、ステップＳ１３０６で取得した距離情報に基づいてフォーカスレンズ１０２を駆動する。これにより、所定の焦点距離になるようにフォーカスが調整される。

被写体表示画面の一点をタッチすることでフォーカス調整を行う制御を説明したが、距離バー１２０１をタッチした状態で指をスライドさせてフォーカス制御を行っても、同様の効果が得られる。

上述の各実施例において、カメラ制御部１０９の制御もＡＦ制御部５１２による制御も、１つのハードウエアで実現してよいし、複数のハードウエアが処理を分担して実現しても良い。

以上、本発明をその好適な実施例に基づいて詳述したが、本発明はこれら特定の実施例に限られない。すなわち、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施例は本発明の一実施形態を示すものにすぎず、各実施例を適宜組み合わせることも可能である。

また、上述した実施例においては、本発明をビデオカメラに適用した場合を例にして説明したが、これはこの例に限定されずフォーカス制御機能を有する撮像装置一般に適用可能である。すなわち、パーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダなどであっても適用されうる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (6)

1. 撮像面に分散配置される複数の位相差測距用受光素子を具備する撮像素子と、
   前記撮像素子の出力信号から画像信号を生成するカメラ信号処理手段と、
   前記複数の位相差測距用受光素子の出力信号から被写体の距離分布を示す距離分布情報を生成する手段と、
   前記画像信号に前記距離分布情報を重畳して表示する表示手段
   とを具備することを特徴とする撮像装置。
2. 更に、
   前記撮像素子に対するフォーカスを調整できるフォーカスレンズと、
   前記フォーカスレンズの位置を操作する操作手段と、
   前記操作手段の操作に応じて、前記操作に応じた位置に前記フォーカスレンズを駆動する手段
   とを具備することを特徴とする請求項１に記載の撮像装置。
3. 前記操作手段が、前記表示手段に表示され、ユーザが操作できる距離バーであることを特徴とする請求項２に記載の撮像装置。
4. 撮像面に分散配置される複数の位相差測距用受光素子を具備する撮像素子と、前記撮像素子の出力信号から画像信号を生成するカメラ信号処理手段とを具備する撮像装置の制御方法であって、
   前記複数の位相差測距用受光素子の出力信号から被写体の距離分布を示す距離分布情報を生成するステップと、
   前記画像信号に前記距離分布情報を重畳して表示部に表示させるステップ
   とを具備することを特徴とする撮像装置の制御方法。
5. 撮像面に分散配置される複数の位相差測距用受光素子を具備する撮像素子と、前記撮像素子の出力信号から画像信号を生成するカメラ信号処理手段と、制御手段とを具備する撮像装置において、前記制御手段を、
   前記複数の位相差測距用受光素子の出力信号から被写体の距離分布を示す距離分布情報を生成する手段と、
   前記画像信号に前記距離分布情報を重畳して表示部に表示させる手段
   として機能させることを特徴とする撮像装置の制御プログラム。
6. 請求項５に記載の制御プログラムを格納することを特徴とする記録媒体。

Images