JP2015017999A - 撮像装置 - Google Patents

Abstract

【課題】合焦位置の異なる複数の画像から深度情報を算出する際に、合焦位置の選び方によっては深度情報が上手く算出できない場合が生じる。
【解決手段】被写体を撮影して画像を取得する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、前記撮像部によって取得された、合焦位置が異なる第1の画像および第２の画像から深度情報を算出する深度情報算出部と、前記深度情報算出部によって深度情報を算出するか否かを決定する制御部を備え、前記フォーカス制御部は前記第１の画像の合焦位置を探索する範囲を、前記第１の画像の被写界深度と前記第２の画像の被写界深度が重ならない範囲に限定し、前記制御部は前記第１の画像のピントが合った場合に前記深度情報算出部を動作させる。
【選択図】図１

Description

本発明は撮影された画像から深度情報を算出し、算出された深度情報に基づいて立体視用の映像を生成する方式を変更できる撮像装置に関するものである。

ある三次元シーンの深度情報、すなわち注目する被写体から前記被写体を撮影するカメラまでの距離に関する情報に基づいて撮影画像に様々な処理を施す手法が提案されている。例えば特許文献１では入力画像と深度情報を元に視差画像を生成する手法が開示されている。

一方、このような処理を行う上では処理を施す画像自体から深度情報を算出するのが装置の簡便化などの面で都合が良い。中でも単一の視点から合焦位置の異なる複数枚の画像を撮影し、各画像のボケ具合を比較することで距離を算出するＤｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ（以下ＤＦＦと表記）という手法は複数台のカメラを必要としないなどの利点がある。

ＤＦＦの原理を模式的に示したのが図２（ａ）である。合焦位置ｄ１、ｄ２で撮影された2枚の画像Ｉ１、Ｉ２の各画素について、ピントの合い具合を示す合焦度が定義される。画素ごとに画像間で合焦度を比較することにより距離を算出する。最も単純にはＩ１の方が合焦度が高い画素は距離ｄ１に、Ｉ２の方が合焦度が高い画素は距離ｄ２にある、と考える。

しかし、カメラには被写界深度が存在する。そのため、合焦度は図２（ｂ）のように被写界深度内において一定となる。このため、図２（ｂ）において２枚の画像で合焦度が変わらない範囲では距離を一意に定めることができない。これとは別に、図２（ｃ）のように２枚の画像の両方で合焦度が低い範囲ではボケた画像同士を比較することになり、精度が低下するという問題もある。

これに対して、特許文献２では被写体が近接している、遠景であるなどの条件に基づいて合焦位置を変える手法が開示されている。

特許第４３９２０６０号公報 特開２００７−１３９８９４号公報

"Ａ Ｐｅｒｓｐｅｃｔｉｖｅ ｏｎ Ｒａｎｇｅ Ｆｉｎｄｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ"，Ｒ．Ａ．Ｊａｒｖｉｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯＬ．ＰＡＭＩ−５，Ｎｏ．２，ｐｐ．１２２−１３９，Ｍａｒｃｈ １９８３

特許文献２に記載の手法は想定している被写体の付近に合焦した画像を撮影することで、被写体の付近における被写体距離算出の精度を確保することには有効であるが、被写界深度によってボケが変化しない領域が存在する、という問題には対処できない。

本発明は上記事由を鑑みてなされたものであり、本発明の目的は被写体距離を算出できない条件を除外して撮影を行うことで上記課題を解決することのできる撮像装置を提供することである。

上記の目的を達するために、本発明のある局面に係る撮像装置は被写体の光学像を形成する光学系と、合焦位置の探索範囲を設定する設定部と、前記設定した探索範囲内で合焦動作するフォーカス制御部と、前記探索範囲内で合焦した場合、合焦時点における前記光学像からデジタル画像を生成する撮像部と、前記撮像部によって生成された２枚のデジタル画像であって、同一のシーンかつ合焦位置が異なるデジタル画像から、前記デジタル画像内における被写体の距離に関する情報を生成する情報生成部と、を備え、前記設定部は、前記２枚のデジタル画像のうち後に撮影するデジタル画像の探索範囲を、先に撮影して得られるデジタル画像の撮影条件に基づいて設定する。

また、光学像のフォーカス状態を変更可能な光学系と、合焦位置の探索範囲を設定する設定部と、前記設定した探索範囲内で合焦位置を探索し、光学像のフォーカス状態について前記光学系を制御するフォーカス制御部と、第１の撮像を行って第１のデジタル画像を生成し、前記フォーカス制御部が前記光学系を制御した後、第２の撮像を行って第２のデジタル画像を生成する撮像部と、前記撮像部によって生成された第１のデジタル画像および第２のデジタル画像に基づいて、撮像装置から被写体までの距離に関する情報を生成する情報生成部と、を備え、前記設定部は、前記第１の撮像の際の前記光学系の光学特性と前記第２の撮像の際の前記光学系の光学特性との関係が所定の関係となるように、前記第２の撮像時の合焦位置の探索範囲を設定する構成でもよい。

また、被写体を撮影して画像を取得する撮像部と、前記撮像部のフォーカスを制御するフォーカス制御部と、前記撮像部によって取得された、合焦位置が異なる少なくとも２枚の画像に基づいて、前記被写体までの距離に関する情報である深度情報を算出する深度情報算出部と、を備え、前記フォーカス制御部は、先に撮影して得られる画像の撮影条件から得られる被写界深度と、後の撮影時における被写界深度が重ならない位置に、後の撮影時における合焦位置を設定する構成でもよい。

また、好ましくは前記フォーカス制御部は、前記先に撮影して得られる画像の合焦位置が略無限遠である場合、前記後の撮影時における合焦位置の探索範囲を以下の式１で示す位置ｄより自装置側に設定する。

ただし、ｆは前記撮像部の焦点距離、Ｆは前記撮像部のＦナンバー、Ｃは許容錯乱円径である。

この構成によると、第１の画像を撮影する際に、合焦位置の探索範囲が第1の画像と第２の画像の被写界深度が重ならない範囲に限定されるため、深度情報の算出に十分なボケが得られることを保証することができる。

また好ましくは、前記撮像部によって撮影された画像から人物の顔を検出する顔検出部と、前記後の撮影時においてピントが合い、かつ前記顔検出部が前記後の撮影時に得られた画像から所定の値より大きい顔を検出した場合、前記深度情報算出部を動作させる制御部と、を備える。

この構成によると、ピント合わせの精度が高くない場合でも、画像中の顔の大きさという比較的安定な指標を用いて第1の画像と第２の画像の被写界深度が重ならないことを保証することができる。

また好ましくは、前記撮像部によって撮影された画像から人物の顔を検出する顔検出部と、前記第１の画像のピントが合うか、もしくは前記顔検出部が前記第１の画像から所定の値より大きい顔を検出した場合、前記深度情報算出部を動作させる制御部と、を備える。

本発明にかかる撮像装置によれば、距離計などの追加のハードウェアを用いること無く、深度情報の算出が困難な状況で画像が撮影されることを防ぎ、処理の失敗を防ぐことができる。

本発明の実施の形態１におけるデジタルカメラの構成を示す模式図 合焦位置と合焦度の関係を示す模式図 深度情報算出の処理の流れを示すフローチャート 深度情報の算出に最適な合焦位置と合焦度の関係を示す模式図 制御部によって深度情報を算出するか否かを判断する処理の一例を示すフローチャート 制御部によって深度情報を算出するか否かを判断する処理の変形例を示すフローチャート 実空間上での被写体の大きさと被写体像の大きさの関係を示す模式図 制御部によって深度情報を算出するか否かを判断する処理の更なる変形例を示すフローチャート

（実施の形態１）
以下、本発明をデジタルカメラに適用した場合の実施形態１について図面を参照しながら説明する。

＜１−１.デジタルカメラの構成＞
まずは、デジタルカメラの構成に関して説明する。

図１は、本実施形態１におけるデジタルカメラ１を示す模式図である。

本実施の形態にかかるデジタルカメラ１の電気的構成について、図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。

デジタルカメラ１は、光学系１１０、ズームモータ１２０、ＯＩＳアクチュエータ１３０、フォーカスモータ１４０、ＣＣＤイメージセンサ１５０、画像処理部１６０、メモリ２００、コントローラ２１０、ジャイロセンサ２２０、カードスロット２３０、メモリカード２４０、操作部材２５０、ズームレバー２６０、液晶モニタ２７０、内部メモリ２８０、モード設定ボタン２９０を備える構成となる。

光学系１１０は、ズームレンズ１１１、ＯＩＳ１１２、フォーカスレンズ１１３を含む。

ズームレンズ１１１は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ１１１は、ズームモータ１２０によって制御される。

ＯＩＳ１１２は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２は、デジタルカメラ１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２内において最大Ｌだけ中心から移動することが出来る。ＯＩＳ１１２は、ＯＩＳアクチュエータ１３０によって制御される。

フォーカスレンズ１１３は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３は、フォーカスモータ１４０によって制御される。

ズームモータ１２０は、ズームレンズ１１１を駆動制御する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１１を駆動するようにしてもよい。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２内の補正レンズを光軸と垂直な面内で駆動制御する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

フォーカスモータ１４０は、フォーカスレンズ１１３を駆動制御する。フォーカスモータ１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３を駆動するようにしてもよい。

ＣＣＤイメージセンサ１５０は、光学系１１０で形成された被写体像を撮影して画像信号を生成する。ＣＣＤイメージセンサ１５０は、露光、転送、電子シャッタなどの各種動作を行う。

画像処理部１６０は、ＣＣＤイメージセンサ１５０で生成された画像信号に対して各種の処理を施す。画像処理部１６０は、画像信号に対して処理を施し、液晶モニタ２７０に表示するための画像データ（以下レビュー画像と表記）を生成したり、メモリカード２４０に再格納するための画像信号を生成したりする。例えば、画像処理部１６０は、画像信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種画像処理を行う。

さらに、画像処理部１６０は、上記処理された画像信号に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により画像信号を圧縮する。

さらに、画像処理部１６０は、異なる合焦位置で撮影された画像から撮影シーンの深度情報を算出する深度情報算出部１６２、画像から人の顔を検出する顔検出部１６４とを備える。深度情報算出の具体的な手順については後述する。

さらに、画像処理部１６０は、深度情報算出部１６２によって算出された深度情報に従って視差を合成する視差画像生成やぼかし処理など、種々の画像処理を行う。

画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２７０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。

メモリ２００は、画像処理部１６０及びコントローラ２１０のワークメモリとして機能する。メモリ２００は、例えば、画像処理部１６０で処理された画像信号若しくは、画像処理部１６０で処理される前のＣＣＤイメージセンサ１５０から入力される画像データを一時的に蓄積する。また、メモリ２００は、撮影時における光学系１１０、ＣＣＤイメージセンサ１５０の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量等を示す。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

コントローラ２１０は、全体を制御する制御手段である。コントローラ２１０は、半導体素子などで実現可能である。コントローラ２１０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ２１０は、マイコンなどで実現できる。

ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ２２０から角速度情報を得、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、使用者によりデジタルカメラ１００に与えられる手振れは補正される。なお、ジャイロセンサ２２０は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ２２０がロール角の角速度情報を計測可能な場合、デジタルカメラ１の略水平方向に移動した際の回転について考慮することが可能となる。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。

メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。

操作部材２５０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ２１０を介してＡＦ制御及び、ＡＥ制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。

ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２７０は、ＣＣＤイメージセンサ１５０で生成した画像信号や、メモリカード２４０から読み出した画像信号を表示可能な表示デバイスである。また、液晶モニタ２７０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ２７０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

内部メモリ２８０は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２８０は、デジタルカメラ１全体を制御するための制御プログラム等を格納する。

モード設定ボタン２９０は、デジタルカメラ１で撮影する際の撮影モードを設定するボタンである。「撮影モード」とは、ユーザが想定する撮影シーンを示すものであり、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（４）マクロモード、（５）風景モードを含む２Ｄ撮影モードと、（６）３Ｄ撮影モードなどがある。なお、（１）〜（５）それぞれに対しての３Ｄ撮影モードを持ってもよい。デジタルカメラ１は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ１が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。また、モード設定ボタン２９０は、メモリカード２４０に記録される画像信号の再生モードを設定するボタンである。

測距部３００は、操作部材２５０におけるレリーズボタンが全押しされた場合、その時点における合焦位置を計測する。合焦位置の計測方法として、例えばフォーカスレンズ１１３の位置を読み取る方法や、合焦時の駆動量に基づいて合焦位置を求めるなどの方法を用いることができる。

＜深度情報算出部１６２における深度情報の算出について＞
以下、図面を参照しながら深度情報算出部１６２が算出する深度情報について説明する。

＜ＤＦＦによる深度情報の算出手順＞
図３はＤＦＦによる深度情報算出の手順を示すフローチャートである。

まず始めに、光学系１１０、ＣＣＤイメージセンサ１５０によって合焦位置の異なる複数枚の画像を取得する（ステップＳ１０１）。以下は２枚の画像を用いる場合について記載するが、３枚以上の画像を用いてもよい。なお、各画像の合焦位置をどのように選択するべきかについては後述する。

次に、取得した２枚の画像のそれぞれについて、ピントの合い具合を示す合焦度を算出する（ステップＳ１０２）。合焦度は各画素ないしは複数画素のブロックに対して定義される。合焦度の具体的な算出方法として、例えば非特許文献１にあるような、各画素を中心とした一定範囲内にある画素が持つ画素値のエントロピーや分散を用いる方法がある。また、これ以外にもその他一般に用いられている指標を用いることができる。

最後に、２枚の画像の対応する画素ないしはブロック間で合焦度を比較し、深度を割り当てる（ステップＳ１０３）。具体的には合焦度が最大となる画像の合焦位置を当該画素ないしはブロックの深度情報として割り当てる。なお、３枚以上の画像を用いている場合も同様に合焦度が最大となる画像の合焦位置を深度情報として割り当てる。

＜撮影時における第１の画像および第２の画像に対する合焦位置の設定に関して＞
先述の通り、ＤＦＦによって深度情報を算出する場合、合焦位置の異なる複数枚の画像を用いる。しかし、カメラには被写界深度が存在するため、各合焦位置を適切に選ばないと処理がうまくいかない。要するに、撮影した２枚の画像において、画素ないしはブロックにおいて比較する合焦度が異なる値となるように合焦位置を設定しなければならない。好適な合焦位置は、図４（ａ）に示すような互いの被写界深度がちょうど重ならない位置である。つまり、撮影した２枚の画像において、画素ないしはブロックにおいて合焦度を比較した結果、いずれの合焦度が高いかを判断できる位置を合焦位置とするのが好ましい。

＜合焦位置ｄ１および合焦位置ｄ２の関係について＞
以下、合焦位置ｄ１および合焦位置ｄ２の関係性について説明する。なお、ｄ１はｄ２よりも手前にあるものとする。

まず始めに、過焦点距離と呼ばれる値を求める。これはこの位置にピントを合わせたときに被写界深度の後端がちょうど無限遠となる距離を表す。過焦点距離Ｈは以下の式２で求められる。

ここで、ｆは光学系１１０の焦点距離、Ｆは光学系１１０のＦナンバー、Ｃは許容錯乱円径をそれぞれ表す。

次に、任意の位置ｄにピントを合わせた時の被写界深度の前端ＤＮ、後端ＤＦは、過焦点距離Ｈを用いて以下の式３で表される。

ここで、ｄ＝ｄ２における被写界深度前端ＤＮと、ｄ＝ｄ１における被写界深度後端ＤＦが等しくなるｄ１の値を求めると、式４のようになる。

また、ｄ＝ｄ２における被写界深度前端ＤＮと、ｄ＝ｄ１における被写界深度後端ＤＦが等しくなるｄ２の値を求めると、式５のようになる。

特に、図４（ｂ）のようにｄ２が無限遠である場合、ｄ１の値は式６のように近似できる。

例えば、第１の画像を撮影する前に第２の画像を合焦位置ｄ２で撮影した場合、式４を用いて計算されるｄ１よりも手前の範囲でピントがあったか否かを判断すればよい。

また、第２の画像を撮影する前に第１の画像を合焦位置ｄ１で撮影した場合、式５を用いて計算されるｄ２よりも奥の範囲でピントがあったか否かを判断すればよい。

要するに、第１の画像および第２の画像のうち、どちらの画像を先に撮影したとしても、２枚目に撮影する際にピントを合わせる範囲を設定することができる。

なお、ここでは２枚の画像について被写界深度が重ならない合焦位置を算出する方法を説明したが、３枚以上の場合であっても同様にして合焦位置を定めることが出来る。
＜コントローラ２１０の動作の例１＞
以下、コントローラ２１０における深度情報を算出する動作について図面を参照しながら説明する。

図５はコントローラ２１０によって深度情報算出部１６２の動作を制御する処理の流れを示すフローチャートである。ここでは、第２の画像が無限遠の合焦位置で撮影されているものとし、その後に第1の画像のピント合わせを行う場合について説明する。

まず始めに、第１の画像を撮影するためにピント合わせを行う（ステップＳ２０１）。この際、ピントが合っているかを探索する範囲は式５で示されるｄ１よりも手前に限定される。

次に、この範囲内でピントがあったかどうかを判定する（ステップＳ２０２）。なお、ピントがあっているかの判定には既存の手法を用いることができる。

最後に、ピントがあったと判定され、かつ操作部材２５０におけるレリーズボタンを全押しすることにより第１の画像を撮影した場合、深度情報を算出する（ステップＳ２０３）。近接領域に被写体が存在しない場合など、ピントがあっていると判断されなかった場合、そのまま処理を終了する。

このような構成により、深度情報の算出に不適な条件で画像を撮影することを抑止することができ、深度情報の精度を高めることができる。

なお、上記では第２の画像を先に撮影し、その後に第１の画像を撮影する動作について説明した。しかし、本実施形態は上記に限定されるものではなく、第１の画像を先に撮影し、その後に第２の画像を撮影する動作でも構わない。

＜コントローラ２１０の動作の例１の変形例＞
図６はコントローラ２１０によって深度情報算出部１６２の動作を制御する処理の変形例の流れを示すフローチャートである。先述の例１との違いは、顔検出部１６４によって第１の画像から人物の顔を検出し、その結果を利用して深度情報を算出するか否かを判定する点である。なお、図６のステップＳ３０１，Ｓ３０２、Ｓ３０４はそれぞれ例１のステップＳ２０１、Ｓ２０２、Ｓ２０３と同様のため、説明は省略する。

ステップＳ３０３において、顔検出部１６４によって第１の画像から人物の顔を検出する。検出された顔の大きさが所定の値より大きい場合、深度情報を算出する処理を行う。

顔の大きさの閾値は以下のようにして定める。図７より、光学系の主点から距離ｄにおいて大きさがｅの物体は、主点から距離ｄ’の位置に大きさｅ’の像を結ぶ。図より物体と像は相似なので、式７が成り立つ。

また、所謂レンズの公式より、ｄとｄ’の間には式７が成り立つ。

ここで、ｆは光学系の焦点距離である。式７および式８からｄ’を消去すると式９が得られる。

さらにｄとして式６で求めた値を用いた時のｅ’の値は式１０で表される。

顔の大きさを判定する際、例えば人間の眼間距離であるおよそ６０ｍｍから６５ｍｍをｅとして用いることで画像上での眼間距離ｅ’を求める。また、式１０で求めたｅ’は像の大きさそのものであるため、ＣＣＤイメージセンサ１５０の１画素の大きさに従って画像上の画素数に換算することができる。

このような構成により、人間の顔の大きさという比較的安定に求めることのできる指標が加わることで、ピントが合っているか否かで判断する場合に比べてより判断の精度を高めることができる。

なお、上記では第２の画像を無限遠で撮影した場合を説明した。しかし、本実施形態はこの構成に限定されるものではなく、式９に式４または式５を代入することにより得られる式を用いても構わない。

なお、本例においてはピントが合っており、かつ所定の大きさの顔が検出された時に深度情報を算出しているが、これをピントが合っているか、または所定の大きさの顔が検出された時に深度情報を算出するとしてもよい。

＜コントローラ２１０の動作の例２＞
以下、コントローラ２１０のその他の動作について説明する。

上記の実施例では、第１の画像を撮影する際、ピントが合っているかを探索する範囲は式５で示されるｄ１よりも手前に限定していた。しかし、上記のように探索範囲を設けず、ｄ１にピントが合う位置を固定しても構わない。

図８はコントローラ２１０によって深度情報算出部１６２の動作を制御する処理の流れを示すフローチャートである。ここでは、第２の画像の合焦位置を無限遠として、第１の画像のピント合わせを行う場合について説明する。

まず始めに、第１の画像を撮影するためにピント合わせを行う（ステップＳ４０１）。この際、合焦位置は式６で示されるｄ１に固定される。

次に、この範囲内でピントがあったかどうかを判定し（ステップＳ４０２）、ピントがあったと判定された場合、深度情報を算出する処理を行う（ステップＳ４０３）。近接領域に被写体が存在しない場合など、ピントがあっていると判断されなかった場合、そのまま処理を終了する。ステップＳ４０２およびＳ４０３については制御部の動作の例１におけるステップＳ２０２およびＳ２０３と同様のため、詳細な説明は省略する。

このような構成によっても、深度情報の算出に不適な条件で画像を撮影することを抑止することができ、深度情報の精度を高めることができる。

＜深度情報の利用の例＞
このようにして生成された深度情報を利用することで、シーンの奥行きを反映した画像処理が可能となる。例えば、基準となる深度を定めてそこからの深度の差に応じて両眼視差を付与することで立体視用の画像を生成することができる。また、基準となる深度を定めてそこからの深度の差に応じてぼかしの強度を変えることで、より正確なぼかし処理が可能となる。

＜その他の実施の形態＞
また、上記実施の形態で説明したデジタルカメラにおいて、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

また、上記実施の形態における処理方法の実行順序は、必ずしも、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

例えば、図６で示した処理の流れにおいて、ステップＳ３０２とＳ３０３を入れ替え、先に顔検出処理を行うとしてもよい。

また、制御部の動作の例１および例２で挙げているように第１の画像について判定を行った後に第２の画像を撮影する代わりに、第１の画像を撮影した後第２の画像について判定を行うようにしてもよい。

なお、本発明の具体的な構成は、前述の実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

例えば、制御部の動作の例１および２は第２の画像の合焦位置を無限遠とした場合について説明したが、第２の画像の合焦位置を無限大より手前の任意の位置としてよい。その際は式４に基づいて第１の画像の合焦範囲を定める。

また、制御部の動作の例１および２は２枚の画像を用いる場合について説明したが、３枚以上の画像を用いてもよい。その際は式４を順番に適用することで各画像の合焦範囲を定める。

また、制御部の動作の例１および例２で挙げているように所定の条件を満たした時のみ深度情報を算出する代わりに、深度情報を算出した後、その結果を用いないようにしてもよい。

本発明にかかる撮像装置によると、深度情報の算出に好適な条件での撮影を保証することで処理の失敗を防ぐことができるため、デジタルカメラをはじめとする撮像機器全般に応用可能である。

１１０ 光学系
１２０ ズームモータ
１３０ ＯＩＳアクチュエータ
１４０ フォーカスモータ
１５０ ＣＣＤイメージセンサ
１６０ 映像処理部
２００ メモリ
２１０ コントローラ
２２０ ジャイロセンサ
２３０ カードスロット
２４０ メモリカード
２５０ 操作部材
２６０ ズームレバー
２７０ 液晶モニタ
２８０ 内部メモリ
２９０ モード設定ボタン
３００ 測距部

Claims (6)

1. 被写体の光学像を形成する光学系と、
   合焦位置の探索範囲を設定する設定部と、
   前記設定した探索範囲内で合焦動作するフォーカス制御部と、
   前記探索範囲内で合焦した場合、合焦時点における前記光学像からデジタル画像を生成する撮像部と、
   前記撮像部によって生成された２枚のデジタル画像であって、同一のシーンかつ合焦位置が異なるデジタル画像から、前記デジタル画像内における被写体の距離に関する情報を生成する情報生成部と、を備え、
   前記設定部は、前記２枚のデジタル画像のうち後に撮影するデジタル画像の探索範囲を、先に撮影して得られるデジタル画像の撮影条件に基づいて設定する撮像装置。
2. 光学像のフォーカス状態を変更可能な光学系と、
   合焦位置の探索範囲を設定する設定部と、
   前記設定した探索範囲内で合焦位置を探索し、光学像のフォーカス状態について前記光学系を制御するフォーカス制御部と、
   第１の撮像を行って第１のデジタル画像を生成し、前記フォーカス制御部が前記光学系を制御した後、第２の撮像を行って第２のデジタル画像を生成する撮像部と、
   前記撮像部によって生成された第１のデジタル画像および第２のデジタル画像に基づいて、撮像装置から被写体までの距離に関する情報を生成する情報生成部と、を備え、
   前記設定部は、前記第１の撮像の際の前記光学系の光学特性と前記第２の撮像の際の前記光学系の光学特性との関係が所定の関係となるように、前記第２の撮像時の合焦位置の探索範囲を設定する撮像装置。
3. 被写体を撮影して画像を取得する撮像部と、
   前記撮像部のフォーカスを制御するフォーカス制御部と、
   前記撮像部によって取得された、合焦位置が異なる少なくとも２枚の画像に基づいて、前記被写体までの距離に関する情報である深度情報を算出する深度情報算出部と、を備え、
   前記フォーカス制御部は、先に撮影して得られる画像の撮影条件から得られる被写界深度と、後の撮影時における被写界深度が重ならない位置に、後の撮影時における合焦位置を設定する撮像装置。
4. 前記フォーカス制御部は、前記先に撮影して得られる画像の合焦位置が略無限遠である場合、前記後の撮影時における合焦位置の探索範囲を以下の式１で示す位置ｄより自装置側に設定する請求項１に記載の撮像装置。
   

   

   
   ただし、ｆは前記撮像部の焦点距離、Ｆは前記撮像部のＦナンバー、Ｃは許容錯乱円径である。
5. 前記撮像部によって撮影された画像から人物の顔を検出する顔検出部と、
   前記後の撮影時においてピントが合い、かつ前記顔検出部が前記後の撮影時に得られた画像から所定の値より大きい顔を検出した場合、前記深度情報算出部を動作させる制御部と、を備える請求項１から請求項４のいずれか一項に記載の撮像装置。
6. 前記撮像部によって撮影された画像から人物の顔を検出する顔検出部と、
   前記第１の画像のピントが合うか、もしくは前記顔検出部が前記第１の画像から所定の値より大きい顔を検出した場合、前記深度情報算出部を動作させる制御部と、を備える請求項１から請求項４のいずれか一項に記載の撮像装置。

Images