JP2013106113A

JP2013106113A - 撮像装置

Info

Publication number: JP2013106113A
Application number: JP2011247026A
Authority: JP
Inventors: Shinichiro Hirooka; 慎一郎廣岡; Hirotomo Sai; 寛知齋; Mari Obuchi; 麻莉大渕
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2011-11-11
Filing date: 2011-11-11
Publication date: 2013-05-30
Anticipated expiration: 2031-11-11
Also published as: CN103108133A; US20130120615A1; US8830338B2; JP5802520B2

Abstract

【課題】各々の映像で最適に合焦するようフォーカス制御することで、ダイナミックレンジの拡大とぼけの低減による視認性向上を実現すること。
【解決手段】焦点距離が可変なフォーカスレンズを有する撮像手段と、感度の異なる複数の撮像を実現する露光制御手段と、映像信号や合焦の度合いを示す焦点評価値を生成するカメラ信号処理手段と、カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、カメラ信号処理手段の出力する焦点評価値を元に該撮像手段のフォーカスレンズを制御し、焦点距離を調節するフォーカス制御手段と、によって構成される撮像装置で、カメラ信号処理手段が撮像手段の出力する感度の異なる複数の撮像信号についてそれぞれ焦点評価値を生成し、フォーカス制御手段が撮像手段の感度の異なる複数の撮像に対してそれぞれ対応した焦点評価値を元にフォーカスレンズを制御する。
【選択図】図１

Description

本発明は、フォーカスレンズを自動で最適な合焦位置に制御するオートフォーカス機能と、ダイナミックレンジの大きいシーンの撮影を可能とするワイドダイナミックレンジ機能を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特許文献１には、「１つの被写体を複数の露光条件で撮影して得る複数画面を合成して広ダイナミックレンジの画像を生成するとき、種々の輝度領域にある被写体を対象としたオートフォーカス制御を行う」ことを目的とし、解決手段として、「露光条件の異なる複数の画像から検出した複数の焦点電圧を、オートフォーカス制御手段で参照する焦点電圧として選択的に出力する焦点電圧選択手段を設けることで、異なる露光条件で撮影されたそれぞれの画像において適正な信号レベルで撮影されている種々の被写体を対象としたオートフォーカス制御を可能とする。さらに、複数の焦点電圧を正規化する手段を設け、露光条件の変化が及ぼす焦点電圧への影響を除去することで露光条件に依存しないオートフォーカス制御を可能とする。」という技術が開示されている。

また、特許文献２には、「高速視覚システムのフレームレートで応答する可変焦点レンズ、および、その制御装置を提供する」ことを目的とし、解決手段として、「可変焦点レンズ１０は、内部に液体が充填された収容体１１を有する。収容体１１は、アクチュエータ１４と接触して、その振動を伝達する圧力伝達部１５と、光の入射面および射出面に、二つの光透過部１２、１２とを有する。入射面および射出面の少なくとも一方に、圧力伝達部１５から液体を介して与えられる変位に応答して、光軸方向に凹凸に変位可能な表面部分が設けられ、表面部分は、その面積ｓと、圧力伝達部１５の面積Ｓとの比（ｓ／Ｓ）が、所定の値以下であり、アクチュエータ１４の変位に応答して、表面部分が変位することにより、焦点距離を変化させる。」という技術が開示されている。

特開２００２−３２３６４９号ＷＯ０３／１０２６３６

デジタルビデオカメラやスチルカメラで撮影を行う際に、対象となるシーン内の明暗差が非常に大きいと、シーンの一部でセンサの受光量が十分でなく黒潰れが発生する、あるいは、センサの受光量が飽和して白飛びする場合がある。これを解決する手段の一つとして、露光条件を切り替えて、低照度にある被写体を対象とした高感度の撮像画像と、高照度にある被写体を対象とした低感度の撮像画像をそれぞれ撮像し、特定の比率で合成することでダイナミックレンジの広い画像を生成するといったワイドダイナミックレンジと呼ばれる手法が挙げられる。例えば、高感度撮像のための露光制御と、低感度撮像のための露光制御を、それぞれの撮像信号から光学検波回路が取得した輝度分布情報を基に行うことで、適切なワイドダイナミックレンジ撮影が可能である。

このとき、自動で最適な焦点距離を検出しフォーカスを合わせるオートフォーカス機能を有するカメラでは、合成に用いるそれぞれの撮像画像において主要な被写体が異なるため、いかにフォーカスを合わせるかが課題となる。例えば上記特許文献１では、フォーカスがどの程度合っているかの評価値である焦点電圧を合成に用いる複数の撮像画像においてそれぞれ求め、焦点電圧が高いほうの撮像画像においてフォーカスが合うようにフォーカスレンズの位置を制御している。このように既存の手法では複数の撮像画像のいずれかのみにフォーカスを合わせているのが一般的である。

そのため、例えば暗い室内にいる近くの人物と明るい屋外にいる遠方の人物を同時に撮影するといったケースのように、低照度にある被写体と高照度にある被写体が双方ともユーザが見たい被写体であっても、それぞれの被写体のカメラからの距離が大きく異なると、どちらかの被写体しかフォーカスが合わず、もう片方の被写体はピンぼけして視認性が低下するといった課題がある。

一方で、近年非常に高速に焦点合わせが可能なフォーカスレンズの検討が進み、実用化されつつある。このような例としては、特許文献２に記載のような、焦点合わせのために液体の屈折率を応用し、モータによるレンズ駆動を必要としないような液体レンズが挙げられる。これにより短時間で複数回の撮像を行う場合でもそれぞれの撮像に追従して焦点合わせを行うことが可能となる。

本発明は、上記課題を解決するものであり、ダイナミックレンジの拡大可能な撮像装置であって、映像全体でぼけの少ない合成映像を生成し、視認性の向上や画像認識の際の認識性能を向上させたた撮像装置を提供するものである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次の通りである。
(１)焦点距離が可変なフォーカスレンズを有する撮像手段と、前記撮像手段の露光を制御する露光制御手段と、前記露光制御手段による制御のもと前記撮像手段での感度の異なる複数の撮像に合わせて、前記感度毎に予め設定された焦点距離となるように前記フォーカスレンズを制御するフォーカス制御と、前記露光制御手段による制御並びに前記フォーカス制御手段による制御のもと前記撮像手段にて撮像して得た信号を処理し、互いに感度の異なる複数の合焦画像を生成する信号処理部と、前記信号処理部により生成された互いに感度の異なる複数の合焦画像を合成して出力する映像合成手段と、を有することを特徴とする撮像装置である。
(２)焦点距離が可変なフォーカスレンズを有する撮像手段と、該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、該撮像手段の出力する信号をカメラ信号処理して、映像信号や合焦の度合いを示す焦点評価値を生成するカメラ信号処理手段と、該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、該露光制御手段の露光制御処理や該カメラ信号処理手段のカメラ信号処理や該映像合成手段の映像合成処理を制御するダイナミックレンジ制御手段と、該カメラ信号処理手段の出力する焦点評価値を元に該撮像手段のフォーカスレンズを制御し、焦点距離を調節するフォーカス制御手段と、を備え、該カメラ信号処理手段が該撮像手段の出力する感度の異なる複数の撮像信号についてそれぞれ焦点評価値を生成し、該フォーカス制御手段が同一感度の撮像に対してそれぞれ対応した焦点評価値を元にフォーカスレンズを制御し、該映像合成手段が感度の異なりかつそれぞれ合焦した複数の撮像信号を合成して出力すること、
を特徴とする撮像装置である。
(３)焦点距離が可変なフォーカスレンズを有する撮像手段と、該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、該撮像手段の出力する信号をカメラ信号処理して、映像信号や合焦の度合いを示す焦点評価値を生成するカメラ信号処理手段と、該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、該カメラ信号処理手段の出力する焦点評価値を元に該撮像手段のフォーカスレンズを制御し、焦点距離を調節するフォーカス制御手段と、を備え、該撮像手段が同一の被写体に対する感度の異なる複数の撮像を行う際に、それぞれの感度において同一感度で焦点距離の異なる複数の撮像を行い、該映像合成手段が感度および焦点距離の異なる全ての映像信号を合成して出力することを特徴とする撮像装置である。

本発明によれば、上記課題を解決するものであり、ダイナミックレンジの拡大可能な撮像装置であって、映像全体でぼけの少ない合成映像を生成し、視認性の向上や画像認識の際の認識性能を向上させた撮像装置を提供することが可能である。

本発明の第１実施例に係る撮像装置を示す模式図である。本発明の第１実施例に係る撮像装置のフォーカス制御処理の一例を示す図である。本発明の第２実施例に係る撮像装置を示す模式図である。本発明の第２実施例に係る撮像装置のタイミング制御処理の一例を示す第一の図である。本発明の第２実施例に係る撮像装置のタイミング制御処理の一例を示す第二の図である。本発明の第２実施例に係る撮像装置のフォーカス制御情報記録処理シーケンスの一例を示す図である。本発明の第３実施例に係る撮像装置の映像合成処理の一例を示す第一の図である。本発明の第３実施例に係る撮像装置の映像合成処理の一例を示す第二の図である。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係る撮像装置を示す模式図であって、０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５はフォーカス制御部、０１０６はダイナミックレンジ制御部を示す。

図１に示した撮像装置において、撮像部０１０１は、ズームレンズ及びフォーカスレンズを含むレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等を適宜用いて構成され、撮像素子に受光した光学像を光電変換し、信号として出力する。

露光制御部０１０２は、後述のカメラ信号処理部０１０３より実際の露光量の評価値を、後述のダイナミックレンジ制御部０１０６より目標とする露光量を取得して、その目標露光量に実際の露光量が近づくようにアイリスの絞りやシャッタタイミングやAGCのゲイン量などを制御する。このとき、所定の時間ごとに目標露光量を切り替えることで、所定の時間ごとに異なる感度での撮像が可能である。そこで、例えば、ある露光期間ではシャッタを通常より早いタイミングで切り、次の露光期間ではシャッタを通常より遅いタイミングで切る、といったような露光制御を順次行えば、低照度にある被写体像を優先的に撮像可能な高感度撮像と、高照度にある被写体像を優先的に撮像可能な低感度撮像をそれぞれ行うことができる。説明を容易にするために、本実施例では感度の異なる複数の撮像を行うと言った場合に、このように低照度にある被写体を対象とした高感度撮像と、高照度にある被写体を対象とした低感度撮像をそれぞれ行うことを指すものとする。ただし、これはあくまで一例であり、必ずしも通常より早いシャッタタイミングと通常より遅いシャッタタイミングの組合せでなくても良く、また3つ以上の異なる感度で露光制御を露光期間ごとに切り替えて行う制御ももちろん可能である。また、高感度撮像と低感度撮像を撮像期間毎に交互に行って合成画像を動画像として連続して出力しても良いし、特定のタイミングにおいてのみ異なる露光制御を行っても良い。

カメラ信号処理部０１０３は、撮像部０１０１の出力した信号に対し、輝度信号と色信号への分離処理や、明るさ補正処理や、ガンマ処理や色差変換処理やホワイトバランス補正処理やデジタルズームなどの種々のデジタル信号処理を適宜行い、映像信号を生成して、合成処理部０１０４に出力する。各信号処理を行うときに用いる係数、例えば明るさ補正量やガンマ特性などは、予め設定してＥＥＰＲＯＭなどに格納しておいた値を用いても良いし、映像の輝度分布などの各種の情報を基に制御値を変えても良い。このとき、ダイナミックレンジ制御部０１０６の出力する制御情報に基づき、感度の異なる複数の露光映像に対して、それぞれ異なる係数を用いることで、各露光映像に対し適切なガンマ処理等の信号処理を行うことが可能である。

また、カメラ信号処理部０１０３は、撮像部０１０１の出力した信号に対し、露光量の評価値や輝度分布や焦点評価値等の各統計情報を算出し、露光制御部０１０２やダイナミックレンジ制御部０１０６やフォーカス制御部０１０５に出力する。ここで、焦点評価値とは撮像映像においてフォーカスがどの程度合っているかの評価値を指し、例えば画像全体ないし画像の一部領域内における映像の高周波数帯域成分の積分として取得することが可能である。フォーカスが合っているほど被写体が鮮明になり、隣接する画素同士の差分も大きくなるため、画像全体として高周波数帯域成分が多くなり焦点評価値も大きくなる。

映像合成部０１０４は、カメラ信号処理部０１０３の出力する映像信号について、ダイナミックレンジ制御部０１０６の出力する制御情報に基づき、異なる露光期間の映像信号を所定の比率で合成して、合成映像として、不図示の映像表示部や記録部や動画圧縮部やＰＣなどに出力する。これを実現するには、一例として、ある露光期間の映像信号をＳＤＲＡＭなどのメモリに蓄積しておき、別の露光期間の映像信号と、メモリより読み出した先の露光期間の映像信号を重み付けした上で加算すれば良い。この加算処理を繰り返すことにより、任意の数の感度が異なる映像信号を合成することが可能であり、低照度にある被写体から高照度にある被写体まで映像上で階調が潰れずに撮像することを可能としたワイドダイナミックレンジ機能が実現できる。また、合成の方法としては、異なる露光期間の映像信号を重み付けした上で加算するのではなく、画素ごとにどちらの露光期間の映像信号を用いるかを選択する方法を取っても良い。また、ワイドダイナミックレンジ機能を使用しない場合は、合成処理を行わず、映像信号をそのまま出力してもよい。

フォーカス制御部０１０５は、カメラ信号処理部０１０３の出力する焦点評価値を基に撮像部０１０１が合焦する焦点距離となるようにフォーカスレンズのフォーカスを制御する。具体的には、例えば、予め略同一の露光期間でフォーカスを変更して複数回撮像を行い、得られたそれぞれの焦点評価値を比較することで、焦点評価値が高いほうが合焦の方向であることが分かる。そこで、焦点評価値が高いほうにフォーカスを変え、また別のフォーカスで撮像した場合の焦点評価値と比較して同様の処理を繰り返す。焦点評価値がピークになるまでこの処理を繰り返すことで、撮影被写体に対し最適に合焦することが可能となる。ここで、フォーカス制御の方法としては、例えば、ステッピングモータによりレンズ位置を光軸と並行に移動することにより焦点距離を可変することが可能なフォーカスレンズであれば、パルス信号を与えてステッピングモータを駆動することで所定の焦点距離までフォーカスを変更することが可能であり、また、特許文献２に記載のような液体レンズであれば、電圧を加えて液体の屈折率を変えることで所定の焦点距離までフォーカスを変更することが可能である。

また、フォーカス制御部０１０５は、露光制御部０１０２の制御に従い撮像部０１０１が異なる露光期間で撮像する際に、それぞれの撮像に最適なフォーカス制御を実施する。すなわち、高感度撮像を行う場合には、予め前処理として事前に同一感度で撮像を行い、カメラ信号処理部０１０３がその撮像信号を信号処理して算出した焦点評価値を基にフォーカス制御部０１０５が高感度撮像において最適な焦点距離を推定しておく。同様に低感度撮像についても前処理で低感度撮像時の最適な焦点距離を推定しておく。それにより、実際にワイドダイナミックレンジ機能を使用する際に、高感度撮像と低感度撮像のそれぞれに対応した焦点距離で撮像を行うことで、高感度撮像において撮像される被写体と低感度撮像において撮像される被写体のカメラからの距離が大きく異なる場合でも、それぞれの被写体に焦点の合った鮮明な映像が得られる。これを映像合成部０１０４が合成することにより、画像全体でぼけの少ない、高被写界深度なワイドダイナミックレンジ映像の生成が実現できる。

ダイナミックレンジ制御部０１０６は、カメラ信号処理部０１０３より取得した映像の輝度分布の情報や予め定めた制御目標、不図示のユーザインタフェースより入力したユーザ設定値などの情報を元に、撮像部０１０１の出力する撮像信号よりダイナミックレンジの広い映像を映像合成部０１０４が生成して出力できるように、感度の異なる複数の撮像においてそれぞれの、露光制御部０１０２の露光目標や、カメラ信号処理部０１０３のカメラ信号処理の信号処理の係数や映像合成部０１０４の映像合成処理における映像信号の合成比率などを決定し、制御情報として出力する。これにより、明暗が激しく照度差の広いシーンでも白飛びや黒潰れの発生しない広ダイナミックな映像が生成できる。

なお、露光制御部０１０２の露光制御処理や、カメラ信号処理部０１０３のカメラ信号処理や、映像合成部０１０４の映像合成処理や、フォーカス制御部０１０５のフォーカス制御処理や、ダイナミックレンジ制御部０１０６のダイナミックレンジ制御処理は、通常はカメラ内のマイコンやカメラ信号処理ＩＳＰや専用のＬＳＩなどによって行われる。

図２は、本発明の第１実施例に係る撮像装置のフォーカス制御処理の一例を示す図である。図２に示すフォーカス制御処理はフォーカス制御部０１０５で実施される。図２では、室内にあるカメラ０２０１より暗い室内のカメラに近い距離にいる人物０２０２と明るい屋外のカメラから遠い人物０２０３を同時に撮影するようなシーンを想定している。図２において、図２（ａ）は撮像部０１０１の高感度撮像で得られる映像、図２（ｂ）は撮像部０１０１の低感度撮像で得られる映像、図２（ｃ）は映像合成部０１０４において映像合成処理により得られる合成映像、図２（ｄ）は高感度撮像と低感度撮像においてそれぞれフォーカスをＮｅａｒ端からＦａｒ端まで動かすと仮定したときのカメラ信号処理部０１０３より得られる焦点評価値の遷移を示した模式図である。フォーカス制御部０１０５は撮像部０１０１が高感度撮像を行う際には、図２（ｄ）に実線にて示した高感度撮像映像より得られる焦点評価値を基にフォーカス制御を行う。高感度撮像では屋外の被写体は飽和して白飛びしているため、暗い室内にいる被写体である人物０２０２に合焦したときに最も焦点評価値が高くなり、図２（ａ）のように室内にいる人物０２０２が鮮明に視認できる撮像映像を取得することができる。同様に、撮像部０１０１が低感度撮像を行う際には、図２（ｄ）に点線にて示した低感度撮像映像より得られる焦点評価値を基にフォーカス制御を行うことで、図２（ｂ）のように屋外にいる人物０２０３が鮮明に視認できる撮像映像を取得することができる。映像合成部０１０４が高感度撮像映像と低感度撮像映像を合成することで、図２（ｃ）のように暗く近い室内にいる被写体と明るく遠い屋外にいる被写体の双方に焦点の合った映像が得られる。

このように本実施例に拠れば、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、暗い領域にいる被写体と明るい領域にいる被写体の双方に焦点の合った鮮明な映像が取得でき、視認性を向上することが可能となる。

図３は、本発明の第２実施例に係る撮像装置を示す模式図であって、図３において０１０１は撮像部、０１０２は露光制御部、０１０３はカメラ信号処理部、０１０４は映像合成部、０１０５はフォーカス制御部、０１０６はダイナミックレンジ制御部、０３０７はタイミング制御部、０３０８はフォーカス制御情報記録部であり、図１に示した本発明の第１実施例に係る撮像装置を示す模式図に対し、タイミング制御部０３０７と、フォーカス制御情報記録部０３０８を加えた構成となっている。本発明の第１実施例に係る撮像装置と同様の構成については適宜省略して説明する。

図３に示した撮像装置において、タイミング制御部０３０７は、露光制御部０１０２の露光制御処理のタイミングや、カメラ信号処理部０１０３のカメラ信号処理のタイミングや、映像合成部０１０４の映像合成処理のタイミングや、フォーカス制御部０１０５のフォーカス制御処理の実施タイミングを制御する。例えば、実時間でワイドダイナミックレンジ機能を用いた動画像撮影を行うために撮像部０１０１が高感度撮像と低感度撮像を交互に行い、映像合成部０１０４が合成映像を出力するような場合に、フォーカス制御部０１０５は高感度撮像向けの露光制御処理およびカメラ信号処理および映像合成処理およびフォーカス制御処理と、低感度撮像向けの露光制御処理およびカメラ信号処理および映像合成処理およびフォーカス制御処理が、それぞれ同期を取って正しく動作するようにタイミング制御を行う。タイミング制御部０３０７におけるタイミング制御処理の詳細は図４を用いて後述する。

フォーカス制御情報記録部０３０８は、ＥＥＰＲＯＭやＲＡＭなどの記録媒体を備え、フォーカス制御部０１０５が撮像部０１０１のフォーカスを制御するために用いる制御情報、例えば、撮像部０１０１の焦点距離情報やカメラ信号処理部０１０３より得られた焦点評価値情報、または焦点評価値情報を元に演算を行った際の演算過程の値などをフォーカス制御部０１０５より取得して記録媒体に書込み、または、記録媒体より読み出しでフォーカス制御部０１０５に出力する。フォーカス制御部０１０５は、撮像部０１０１が高感度撮像と低感度撮像を交互に行うような場合に、１回のフォーカス制御処理で最適に合焦するまでフォーカスを制御できない場合に、一旦制御情報をフォーカス制御情報記録部０３０８に出力し、次の制御タイミングでフォーカス制御情報記録部０３０８から前回の制御情報を取得して処理を継続する。これにより、撮像部０１０１が高感度撮像と低感度撮像を交互に行う場合でも、それぞれに対し適切なフォーカス制御処理を連続して行うことが可能となる。フォーカス制御情報記録部０３０８を用いたフォーカス制御情報記録処理の詳細は図６を用いて後述する。これにより実時間で動画像撮影を行う際にも、高感度撮像と低感度撮像のそれぞれで最適なフォーカス合わせを行うことができ、映像全体でぼけが少なくダイナミックレンジの広い映像が得られる。

図４は、本発明の第２実施例に係る撮像装置のタイミング制御処理の一例を示す第一の図である。図４に示すタイミング制御処理はタイミング制御部０３０７で実施される。図４の横軸は時間の経過を示し、１列の中で単位時間当たりに行うセンサ駆動やカメラ信号処理を記載している。例えば、秒３０フレームで動作するカメラであれば、１列の処理に充てられる時間は約３３．３ミリ秒に相当する。なお、本図は説明のために簡略化した模式図であり、実際の制御においては１列すなわちフレームを跨いで処理を行ってもかまわない。本図で示した例では、撮像部０１０１が高感度撮像と低感度撮像を交互に行うことを想定しており、Ａは高感度撮像向けの制御、Ｂは低感度撮像向けの制御を示す。ここでは、高感度撮像の露光が行われる時刻ｎでは、高感度撮像向けのフォーカシングおよび露光を実施し、露光により得られた撮像信号がカメラ信号処理部０１０３に入力される時刻ｎ＋１では、カメラ信号処理部０１０３が高感度撮像信号向けのカメラ信号処理を、映像合成部０１０４が高感度撮像信号向けの映像合成処理をそれぞれ実施する。同様に時刻ｎ＋１では、低感度撮像向けのフォーカシングおよび露光を、時刻ｎ＋２では、低感度撮像信号向けのカメラ信号処理と映像合成処理を実施する。このような処理は、例えば、タイミング制御部０３０７が内部に所定時間の経過や外部からのタイマ割込みで値が変化するループカウンタを持ち、カウンタを参照して各処理の実施タイミングを制御すれば実現できる。これにより、撮像部０１０１が高感度撮像と低感度撮像を交互に行う場合でも、それぞれに対し適切なフォーカス制御を行ったワイドダイナミックレジが実現できる。

図５は、本発明の第２実施例に係る撮像装置のタイミング制御処理の一例を示す第二の図である。図５に示すタイミング制御処理はタイミング制御部０３０７で実施される。図４に示すタイミング制御処理では、各ブロックが行う処理をフレーム単位で制御していたが、さらにフレーム内で処理を行うタイミングを制御することも可能である。図５は撮像部０１０１がフォーカシングを行うタイミングと露光を行うタイミングを示した模式図であり、撮像部０１０１が高感度撮像と低感度撮像を交互に行う場合の例を示している。ここで、矢印で示した露光の期間はセンサの同期信号と０１０２の出力するシャッタタイミングの設定によって一意に定まる。そこで、タイミング制御部０３０７は撮像部０１０１が露光を行っていない図中に点線で示した期間内にフォーカシングが完了するように、フォーカス制御部０１０５がフォーカス制御を行うタイミングを決定する。これにより、撮像部０１０１は露光を開始する前にフォーカシングを完了することができるため、露光期間内で焦点距離が変化することにより発生する映像のぼけを抑制することが可能である。なお、ローリングシャッタを採用しフレームを跨いでラインごとに順次露光を行うＣＭＯＳセンサのように、露光を行わない期間が存在しないセンサなどの場合には、例えば画面上端ないし下端のラインを露光している期間を重心としてフォーカシングを行うようにフォーカス制御のタイミングを決定すればよい。この場合、画面端では若干映像がぼける可能性があるが、主要な被写体の移る画面中央付近では映像のぼけを抑制することが可能である。尚、タイミング制御部３０７により、タイミング制御処理は、ここで示した実施例に限らず、種々変更可能である。

図６は、本発明の第２実施例に係る撮像装置のフォーカス制御情報記録処理シーケンスの一例を示す図である。図６に示すフォーカス制御情報記録処理はフォーカス制御部０１０５およびフォーカス制御情報記録部０３０８で実施される。図６に示すフォーカス制御情報記録処理シーケンスにおいて、ＳＴ０６０１では、フォーカス制御部０１０５はフォーカス制御情報記録部０３０８より現在の露光状態に示す前回制御時の焦点距離情報と焦点評価値を取得する。例えば、撮像部０１０１が高感度撮像と低感度撮像を交互に行う場合に、現在のフォーカス制御部０１０５が制御する対象が高感度撮像向けのフォーカシングであれば、前回の高感度撮像向けのフォーカス制御を行った際に用いた記録済みの焦点距離情報と焦点評価値を取得する。現在のフォーカス制御部０１０５が制御する対象が高感度撮像向けか否かは、タイミング制御部０３０７の出力するタイミング制御の情報を元に判定することが可能である。ＳＴ０６０２では、フォーカス制御部０１０５は、カメラ信号処理部０１０５より高感度撮像信号をカメラ信号処理して演算した最新の焦点評価値を取得する。ＳＴ０６０３では、フォーカス制御部０１０５は、前回の高感度撮像における焦点距離情報と焦点評価値および最新の高感度撮像における焦点評価値を元に撮像部０１０１の次に高感度露光を行う際の焦点距離を決定し、その焦点距離に向けてフォーカスの制御を実施する。ＳＴ０６０４では、フォーカス制御部０１０５はＳＴ０６０３で決定した最新の高感度撮像向けの焦点距離情報と、ＳＴ０６０２で取得した最新の高感度撮像向けの焦点評価値をフォーカス制御情報記録部０３０８に記録する。フォーカス制御情報記録部０３０８は高感度撮像向けの焦点距離情報および焦点評価値と、低感度撮像向けの焦点距離情報および焦点評価値を記録媒体内の別領域に記録することで、高感度撮像向けのフォーカス制御と低感度撮像向けのフォーカス制御をフレームごとに交互に行うような場合でも、独立したフォーカス制御処理を継続して実施することが可能である。

このように本実施例に拠れば、感度の異なる複数の撮像画像を合成することで実現するワイドダイナミックレンジ機能において、実時間で動画像撮影を行う場合でも、ダイナミックレンジを拡大して明暗の差が激しいシーンの撮影でも黒潰れや白飛びの発生を抑えると共に、暗い領域にいる被写体と明るい領域にいる被写体の双方に焦点の合った鮮明な映像が取得でき、視認性を向上することが可能となる。

本発明の第３実施例に係る撮像装置について図１を用いて説明する。本発明の第３実施例に係る撮像装置の構成は図１と同様であるが、本実施例では、撮像部０１０１は感度の異なる複数の撮像を行う際に、それぞれの感度の撮像において一意にフォーカスを合わせるのではなく、それぞれの感度の撮像においてそれぞれフォーカスを異ならせてさらに複数の撮像を行う。すなわち、複数の感度と複数の焦点距離を組み合わせた複数の撮像を実施する。複数の焦点距離の決定方法としては、例えば撮像部０１０１が高感度撮像と低感度撮像を行う場合に、高感度撮像と低感度撮像のそれぞれにおける合焦位置をフォーカス制御部０１０５が検出し、高感度撮像の合焦位置で高感度撮像と低感度撮像のそれぞれを、また、低感度撮像の合焦位置で高感度撮像と低感度撮像のそれぞれを、計４回撮像すればよい。また、いくつかの焦点距離を予め定めておき、それぞれの焦点距離において高感度撮像と低感度撮像のそれぞれを行っても良い。映像合成部０１０４は感度と焦点距離の異なる複数の映像に対し焦点合成処理とダイナミックレンジ拡大のための映像合成処理のそれぞれを行うことで、被写界深度とダイナミックレンジの双方が向上した視認性の高い映像が取得可能となる。

図７は、本発明の第３実施例に係る撮像装置の映像合成処理の一例を示す第一の図である。図７に示す映像合成処理は映像合成部０１０４で実施される。図７において、映像Ａ、Ｂ、Ｃ、Ｄはそれぞれ同一の被写体を異なる感度と焦点で撮像することにより得られた映像を示す。映像合成部０１０４はまず、感度が等しく、焦点距離の異なる映像同士、すなわちこの例では映像ＡとＢ、映像ＣとＤをそれぞれ焦点合成処理による合成処理を行う。焦点合成処理としては、例えば、映像の小領域ごとに焦点距離の異なる映像のそれぞれでエッジ成分を検出し、エッジ成分が大きいほうの映像信号を合成後の映像信号として採用する方法などを用いればよい。これにより、焦点距離の異なる複数の映像間で焦点の合っている領域同士を繋ぎ合わせて合成し、映像全体でぼけの少ない映像を生成することができる。また、エッジ成分だけでなく小領域内の輝度分布や輝度レベルを検出することで、映像内で白飛びや黒潰れが発生している領域付近のぼけを優先的に検出し、ぼけの少ないほうの映像信号を採用するようにしても良い。このようにして得られた各々の感度における焦点合成処理を行った合成映像に対し、さらにダイナミックレンジを拡大するための映像合成処理を行う。これにより、被写界深度とダイナミックレンジの双方が向上した視認性の高い映像が取得可能となる。なお、映像合成の順番はこの例に限定するものではなく、別の例としては、まず同じ焦点距離で撮像した映像ＡとＣ、映像ＢとＤのそれぞれに対しダイナミックレンジを拡大するための映像合成処理を行い、得られた合成映像同士に対し焦点合成処理を行っても良い。

図８は、本発明の第３実施例に係る撮像装置の映像合成処理の一例を示す第二の図である。図８では、室内にあるカメラより暗い室内のカメラに近い距離にいる人物と観葉植物、明るい屋外のカメラから遠い人物を同時に撮影するようなシーンを想定している。図８（ａ）は、高感度でかつフォーカスを室内の被写体に合わせて撮像した映像で図７の映像Ａに相当、図８（ｂ）は、低感度でかつフォーカスを屋内の被写体に合わせて撮像した映像で図７の映像Ｄに相当、図８（ｃ）は、図８（ａ）で示した映像Ａと図８（ｂ）で示した映像Ｄのみを合成して得られた合成映像、図８（ｄ）は、高感度でかつフォーカスを屋外の被写体に合わせて撮像した映像で図７の映像Ｂに相当、図８（ｅ）は、低感度でかつフォーカスを室内の被写体に合わせて撮像した映像で図７の映像Ｃに相当、図８（ｆ）は、映像Ａから映像Ｄの４つの全ての映像を合成して得られた合成映像である。図８（ｂ）に示した映像Ｄでは、黒潰れの発生している境界付近で、手前の被写体である室内の観葉植物のフォーカスが合わずにぼけて広がっている。そのため、映像Ａと映像Ｄのみを合成した場合、図８（ｃ）のようにフォーカスが合わずにぼけて広がった観葉植物の上にフォーカスが合った観葉植物が重畳される形になり、不自然な映像となっている。一方で、予め図８（ｅ）に示した映像Ｃでは、低感度撮像で室内の被写体に焦点を合わせているため、黒潰れの発生している境界付近でも室内の観葉植物でぼけは発生していない。そこで、予め映像Ｃと映像Ｄで焦点合成による映像合成処理を行い、黒潰れの発生している境界付近での室内の観葉植物のぼけと屋外の被写体のぼけをともに抑制した上で、高感度映像とダイナミックレンジ拡大のための合成処理をすることにより、図８（ｆ）のように画像全体でぼけの発生しない自然な映像を得ることができる。
このように本実施例に拠れば、感度と焦点距離を組み合わせて異なる複数の撮像画像を合成することで、被写界深度とダイナミックレンジが拡大され、かつ自然な映像が取得でき、視認性を向上することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。本発明は民生や監視や車載や携帯電話や業務用のデジタルビデオカメラおよびスチルカメラに利用可能である。

０１０１撮像部
０１０２露光制御部
０１０３カメラ信号処理部
０１０４映像合成部
０１０５フォーカス制御部
０１０６ダイナミックレンジ制御部
０２０１室内にあるカメラ
０２０２暗い室内のカメラに近い距離にいる人物
０２０３明るい屋外のカメラから遠い人物
０３０７タイミング制御部
０３０８フォーカス制御情報記録部

Claims

焦点距離が可変なフォーカスレンズを有する撮像手段と、
前記撮像手段の露光を制御する露光制御手段と、
前記露光制御手段による制御のもと前記撮像手段での感度の異なる複数の撮像に合わせて、前記感度毎に予め設定された焦点距離となるように前記フォーカスレンズを制御するフォーカス制御と、
前記露光制御手段による制御並びに前記フォーカス制御手段による制御のもと前記撮像手段にて撮像して得た信号を処理し、互いに感度の異なる複数の合焦画像を生成する信号処理部と、
前記信号処理部により生成された互いに感度の異なる複数の合焦画像を合成して出力する映像合成手段と、
を有することを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記信号処理部は、前記撮像手段にて撮像して得た信号を処理して、互いに感度の異なる複数の信号各々に対応する焦点評価値を生成し、
前記フォーカス制御部は、前記信号処理部で生成された焦点評価値に基づいて前記感度毎に焦点距離を予め設定することを特徴とする撮像装置。
請求項１又は２記載の撮像装置であって、
さらに、前記露光制御手段による露光制御タイミングと前記信号処理手段の信号処理タイミングと前記映像合成手段の合成タイミングと前記フォーカス制御手段による制御タイミングのタイミングを制御するタイミング制御手段を備えることを特徴とする撮像装置。
請求項１乃至３のいずれかに記載の撮像装置であって、
前記フォーカス制御手段は、前記撮像手段が露光を行っていない期間に前記撮像手段のフォーカスが動作するように制御することを特徴とする撮像装置。
焦点距離が可変なフォーカスレンズを有する撮像手段と、
該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、
該撮像手段の出力する信号をカメラ信号処理して、映像信号や合焦の度合いを示す焦点評価値を生成するカメラ信号処理手段と、
該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、
該露光制御手段の露光制御処理や該カメラ信号処理手段のカメラ信号処理や該映像合成手段の映像合成処理を制御するダイナミックレンジ制御手段と、
該カメラ信号処理手段の出力する焦点評価値を元に該撮像手段のフォーカスレンズを制御し、焦点距離を調節するフォーカス制御手段と、
を備え、
該カメラ信号処理手段が該撮像手段の出力する感度の異なる複数の撮像信号についてそれぞれ焦点評価値を生成し、該フォーカス制御手段が同一感度の撮像に対してそれぞれ対応した焦点評価値を元にフォーカスレンズを制御し、該映像合成手段が感度の異なりかつそれぞれ合焦した複数の撮像信号を合成して出力すること、
を特徴とする撮像装置。
請求項５に記載の撮像装置において、さらに、
前記露光制御手段の露光制御タイミングと、前記カメラ信号処理手段の信号処理タイミングと、前記映像合成手段の映像信号の合成タイミングと、前記フォーカス制御手段のフォーカスレンズの制御タイミングとを制御するタイミング制御手段と、
を備え、
該タイミング制御手段が、前記カメラ信号処理手段が前記撮像手段の出力する感度の異なる複数の撮像信号についてそれぞれ焦点評価値を生成し、前記フォーカス制御手段が同一感度の撮像に対してそれぞれ対応した焦点評価値を用いてフォーカスレンズを制御するように、各々の制御タイミングを制御すること、
を特徴とする撮像装置。
請求項６に記載の撮像装置において、さらに、
前記フォーカス制御手段がフォーカス制御のための制御情報を書き込みおよび読み出しするフォーカス制御情報記録手段と、
を備え、
前記フォーカス制御手段が前記タイミング制御手段の制御するタイミングに基づき前記撮像装置の感度の異なる複数の撮像におけるフォーカスを制御する際に、過去の同一感度の撮像における制御情報を該フォーカス制御情報記録手段より読み出して前記撮像手段のフォーカス制御に用い、該感度の撮像における最新の制御情報を該フォーカス制御情報記録手段に書き込みすること、
を特徴とする撮像装置。
請求項５乃至７のいずれかに記載の撮像装置において、
前記フォーカス制御手段が、前記撮像手段が露光を行っていない期間のみ前記撮像手段のフォーカスが動作するように制御すること、
を特徴とする撮像装置。
焦点距離が可変なフォーカスレンズを有する撮像手段と、
該撮像手段の露光を制御して同一の被写体に対する感度の異なる複数の撮像を実現する露光制御手段と、
該撮像手段の出力する信号をカメラ信号処理して、映像信号や合焦の度合いを示す焦点評価値を生成するカメラ信号処理手段と、
該カメラ信号処理手段の生成した感度の異なる複数の映像信号を合成して出力する映像合成手段と、
該カメラ信号処理手段の出力する焦点評価値を元に該撮像手段のフォーカスレンズを制御し、焦点距離を調節するフォーカス制御手段と、
を備え、
該撮像手段が同一の被写体に対する感度の異なる複数の撮像を行う際に、それぞれの感度において同一感度で焦点距離の異なる複数の撮像を行い、該映像合成手段が感度および焦点距離の異なる全ての映像信号を合成して出力すること、
を特徴とする撮像装置。