(実施形態1)
本発明にかかる実施形態を、図面を参照して以下に説明する。本実施形態では、動画撮像機能を有するデジタルスチルカメラ(以下、「デジタルカメラ」とする)によって本発明を実現した場合を例示する。すなわち、本実施形態にかかるデジタルカメラ1は、基本機能であるスチル撮像機能に加え、動画像を撮像することのできる動画撮像機能を有しているものである。そして、この動画撮像機能には、高速動画撮像機能が含まれているものとする。
図1は、本発明の実施形態にかかるデジタルカメラ1の構成を示すブロック図である。本実施形態にかかるデジタルカメラ1の概略的構成は、図示するように、撮像部100、データ処理部200、インタフェース(I/F)部300、などである。
撮像部100は、デジタルカメラ1の撮像動作をおこなう部分であり、図1に示すように、光学装置110やイメージセンサ部120などから構成されている。
光学装置110は、例えば、レンズ、絞り機構、シャッタ機構、などを含み、撮像にかかる光学的動作をおこなう。すなわち、光学装置110の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピードなどといった、画角やピント、露出などにかかる光学的要素の調整がなされる。なお、光学装置110に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置110にシャッタ機構が含まれていなくてもよい。また、光学装置110は、後述する制御部210による制御によって動作する。
イメージセンサ部120は、光学装置110によって集光された入射光に応じた電気信号を生成するイメージセンサから構成される。本実施形態では、イメージセンサとして、CMOS(Complementally Metal Oxide Semiconductor:相補型金属酸化物半導体)が用いられるものとし、特に、高速読み出し(例えば、全画素で60fps(frames per second)以上)をおこなうことのできる、いわゆる高速CMOSであるものとする。本実施形態では、このような高速読み出しのイメージセンサを用いることで、デジタルカメラ1で高速動画撮像が実現されているものとする。
本実施形態における「高速動画撮像」とは、ハイスピードカメラの一般的な定義である秒間100コマ以上の動画撮像を指すものとし、本実施形態にかかるデジタルカメラ1では、300fpsのフレームレートで高速動画撮像をおこなえるものとする。この高速動画撮像は、時間伸張再生(すなわち、スロー再生)をおこなうためのものであり、300fpsで撮像された動画像を、通常のフレームレート(例えば、30fps)で再生することで、時間伸張再生が実現されるものである。
このような高速動画撮像を実現するイメージセンサは、光電変換をおこなうことで、受光に応じた電気信号を発生してデータ処理部200に出力する。また、イメージセンサ部120は、イメージセンサが出力したアナログ電気信号を処理するアナログ信号処理回路(いわゆる、AFE(Analog Front End:アナログ前処理回路)を備える。AFEは、少なくとも信号増幅回路を備えており、イメージセンサの出力信号を増幅して、撮像感度(ゲイン)の調整をおこなう。AFEは、制御部210が指定する増幅率で増幅をおこなうことで、露出に応じた撮像感度の調整をおこなう。
データ処理部200は、撮像部100による撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成するとともに、撮像画像に対する画像処理などをおこなう。図1に示すように、データ処理部200は、制御部210、画像処理部220、画像メモリ230、画像出力部240、記憶部250、外部記憶部260、などから構成される。
制御部210は、例えば、CPU(Central Processing Unit:中央演算処理装置)などのプロセッサや、RAM(Random Access Memory)などの主記憶装置(メモリ)、などから構成され、後述する記憶部250などに格納されているプログラムを実行することで、デジタルカメラ1の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部210によって実現される。
画像処理部220は、例えば、ADC(Analog-Digital Converter:アナログ−デジタル変換器)、バッファメモリ、画像処理用のプロセッサ(いわゆる、画像処理エンジン)などから構成され、イメージセンサ部120によって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。
すなわち、イメージセンサ部120から出力されたアナログ電気信号をADCがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンがいわゆる現像処理などをおこなうことで、画質の調整やデータ圧縮などをおこなう。なお、動画撮像(高速動画撮像)時においては、所定の動画像フォーマット(例えば、H.264/AVCなど)に基づいた符号化処理などが画像処理部220によっておこなわれる。
画像メモリ230は、例えば、RAMやフラッシュメモリなどの記憶装置から構成され、画像処理部220によって生成された撮像画像データや、制御部210によって処理される画像データなどを一時的に格納する。
画像出力部240は、例えば、RGB信号の生成回路などから構成され、画像メモリ230に展開された画像データをRGB信号などに変換して表示画面(後述する表示部310など)に出力する。
記憶部250は、例えば、ROM(Read Only Memory)やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ1の動作に必要なプログラムやデータなどを格納する。本実施形態では、制御部210などが実行する動作プログラムや処理に必要となるパラメータや演算式などが記憶部250に格納されているものとする。
外部記憶部260は、例えば、メモリカードなどといった、デジタルカメラ1に着脱可能な記憶装置から構成され、デジタルカメラ1で撮像した画像データなどを格納する。
インタフェース部300は、デジタルカメラ1とその使用者あるいは外部装置とのインタフェースにかかる構成であり、図1に示すように、表示部310、外部インタフェース(I/F)部320、操作部330、などから構成される。
表示部310は、例えば、液晶表示装置などから構成され、デジタルカメラ1を操作するために必要な種々の画面や、撮影時のライブビュー画像(ファインダ画像)、再生画像、などを表示出力する。本実施形態では、画像出力部240からの画像信号(RGB信号)などに基づいて撮像画像等の表示出力がおこなわれる。
外部インタフェース部320は、例えば、USB(Universal Serial Bus)コネクタやビデオ出力端子などから構成され、外部のコンピュータ装置への画像データの出力や、外部のモニタ装置への撮像画像の表示出力などをおこなう。
操作部330は、デジタルカメラ1の外面上に構成されている各種ボタンなどによって構成され、デジタルカメラ1の使用者による操作に応じた入力信号を生成して制御部210に入力する。操作部330を構成するボタンとして、例えば、撮像動作を指示するためのボタンや、デジタルカメラ1のもつ動作モードを指定するためのモードボタン、各種設定をおこなうための十字キーや機能ボタン、などが含まれているものとする。
このような構成のデジタルカメラ1においては、記憶部250に格納されている動作プログラムを制御部210が実行することで、後述する各処理が実現されるが、この場合に制御部210によって実現される機能を、図2を参照して説明する。
図2は、制御部210によって実現される機能を示した機能ブロック図である。ここでは、デジタルカメラ1の高速動画撮像機能によって高速動画撮像にかかる動作を実現するために必要な機能構成を示す。この場合、図示するように、制御部210は、動作モード処理部211、撮像制御部212、撮像感度制御部213、画像判別部214、フレーム画像生成部215、などとして機能する。
動作モード処理部211は、表示部310との協働により、デジタルカメラ1が有する各種動作モードをデジタルカメラ1のユーザに指定させるために必要な画面表示や指定された動作モード毎の設定画面表示などをおこなう他、操作部330との協働により、ユーザが指定した動作モードを認識し、当該動作モードの実行に必要なプログラムや演算式などを記憶部250から読み出して制御部210の主記憶装置(メモリ)にロードする。本実施形態では、高フレームレート(例えば、300fps)での動画像撮像をおこなう「高速動画撮像モード」が用意されているものとし、この高速動画撮像モードが選択されたことを動作モード処理部211が認識した場合に、以下の各機能が制御部210によって実現される。
撮像制御部212は、デジタルカメラ1のユーザによる操作部330の操作に応じて制御部210に入力した入力信号などに基づいて撮像部100を制御することで、デジタルカメラ1での撮像動作を実行する。高速動画撮像モードにおいては、操作部330を構成しているスタート/ストップボタンが操作されたことで生成された入力信号に基づいて、撮像部100による高速動画撮像動作の開始/終了を制御する。
撮像感度制御部213は、高速動画撮像モードで動画撮像をおこなう際の撮像感度を設定するとともに、撮像された動画像を用いた判別動作に基づいて、設定された撮像感度の変更をおこなう。この場合、撮像感度制御部213は、設定すべき撮像感度の数値を決定し、設定すべき撮像感度で高速動画撮像動作がおこなわれるようAFEの信号増幅回路を制御する。
画像判別部214は、撮像部100の高速動画撮像によって得られた撮像画像から被写体を検出し、連続する撮像画像間での被写体の変化に基づいて、撮像画像を用いたマルチプレーン処理(詳細後述)が可能であるか否かを判別する。
フレーム画像生成部215は、撮像画像から、再生対象となる動画像データを構成するフレーム画像を生成する。本実施形態では、便宜上、撮像部100の高速動画撮像動作によって得られたフレーム画像を「撮像画像」とし、撮像画像を用いて生成された、再生対象となる動画像データを構成しているフレーム画像を「フレーム画像」とする。
フレーム画像生成部215は、画像判別部214の判別結果に応じた処理をおこなうことで、フレーム画像を生成する。この場合において、画像判別部214によってマルチプレーン処理が可能であると判別された撮像画像については、フレーム画像を生成する際に、フレーム画像生成部215がマルチプレーン処理をおこなう。
ここで、本実施形態における「マルチプレーン処理」とは、複数の撮像画像の輝度成分を加算する合成により、一定の輝度となるフレーム画像を生成するものである。つまり、フレーム毎の露光時間が短い高速動画撮像において、露出不足となった複数の撮像画像の輝度成分を加算した合成画像によって再生対象となるフレーム画像を生成することで、適正露出となる輝度に補正する。
また、撮像感度の調整により、撮像画像が適正露出となっている場合もある。マルチプレーン処理の対象となる撮像画像が適正露出である場合、加算平均によって輝度成分を加算する。加算平均は、例えば、適正露出となっている撮像画像の輝度成分を加算してから枚数で除する。高速動画撮像において、撮像画像が適正露出となっている場合は、輝度は十分であるが、高感度で撮像されているためノイズが多くなっている。このような撮像画像については、加算平均をおこなうことで、輝度を維持しつつノイズを低減させることができる。
また、マルチプレーン処理対象とされた撮像画像が露出不足である場合、もしくは、適正露出の画像と露出不足の画像が混在している場合、マルチプレーン処理の際に輝度成分を加算するが、加算する枚数に応じた係数を乗じることにより、一定の輝度となるようにする。この場合、撮像画像全体の輝度と、撮像感度との間に相関関係があるため、対象となっている撮像画像に適用された撮像感度に基づいて係数を設定することができる。
例えば、適正露出となる撮像感度がISO800(高感度)で、露出不足となった撮像画像の撮像感度がISO400(低感度)であった場合に、低感度で撮像された画像の輝度は、高感度で撮像された画像の輝度の1/2とみなすことができる。この場合、低感度で撮像された画像を2枚加算すれば、高感度で撮像された画像の輝度と同じになる。
しかしながら、このような画像を3枚加算する場合には、高感度で撮像された画像(適正露出)の輝度よりも高くなる。この場合、撮像感度の数値に基づいて係数を設定する。ISO感度400(低感度)で撮像した画像を3枚加算した場合、撮像感度を枚数分加算した数値は「1200」となるので、適正露出となる撮像感度を示す数値である「800」にするための係数として「2/3」が設定される。
このような係数を用いたマルチプレーン処理は、撮像感度が混在する場合にもおこなわれる。例えば、高感度(ISO800)で撮像された画像と、低感度(ISO400)で撮像された画像とがマルチプレーン処理の対象となっている場合、感度の数値を加算すると「1200」になる。この場合も、適正露出となる撮像感度を示す数値である「800」にするための係数として「2/3」が設定されることになる。
以上が制御部210によって実現される機能である。なお、本実施形態では、制御部210がプログラムを実行することによる論理的処理で上述した各機能が実現されるものとするが、これらの機能を、例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)などのハードウェアによって構成してもよい。この場合、図2に示した機能のうち、画像処理にかかる機能については、画像処理部220によって実現されてもよい。
以上説明したデジタルカメラ1の構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や種々の付加機能に用いられる構成は必要に応じて備えられているものとする。
このような構成のデジタルカメラ1による動作を以下に説明する。ここでは、高速動画撮像モードが選択されている場合に実行される「高速動画撮像処理(1)」を、図3に示すフローチャートを参照して説明する。この「高速動画撮像処理(1)」は、デジタルカメラ1のユーザが操作部330を操作することで、デジタルカメラ1の動作モードを高速動画撮像モードに設定したことを契機に開始される。
処理が開始されると、動作モード処理部211は、高速動画撮像モードが設定された旨を撮像制御部212および撮像感度制御部213に通知するとともに、高速動画撮像にかかるフレームレート(ハイスピード)を設定する(ステップS101)。ここで、高速動画撮像モードとして用意されるフレームレートが1種類であれば、そのフレームレートを設定し、複数種類ある場合は、フレームレートの設定画面を表示部310に表示することで、ユーザが所望するフレームレートを設定する。
このとき、撮像制御部212は、撮像部100を制御し、高速動画撮像の動作準備をおこなう。ここでは、ファインダ表示用の動画像を取得するために撮像部100を動作させる。この場合、通常のフレームレート(例えば、30fps)、もしくは、ファインダ表示用に通常のフレームレートよりも落としたフレームレートで動画撮像がおこなわれるよう撮像部100を制御する。この撮像動作の際に測光動作がおこなわれ、撮影環境における光量などが計測される。ここでは、イメージセンサ部120のイメージセンサでの受光量に基づいた測光動作がおこなわれるものとする。
フレームレートを設定すると、動作モード処理部211は、設定したフレームレート(ここでは、300fpsであるものとする)を撮像感度制御部213に通知する。また、撮像制御部212からは、ファインダ表示用の撮像動作による測光値が撮像感度制御部213に通知される。
撮像感度制御部213は、動作モード処理部211から通知されたフレームレートと、撮像制御部212から通知された測光値から、現在の撮影環境で高速動画撮像をおこなう場合に適正露出となる撮像感度を算出して設定する(ステップS102)。
この場合、フレームレートから1フレーム分の時間(300fpsの場合、3.3ミリ秒。以下、「単位時間」)が求められるので、その単位時間内となる露光時間で適正露出のEv値(Ev:Exposure Value)とするために必要な撮影感度を算出する。この演算には、既知の露出制御アルゴリズムが用いられるものとし、撮像部100を構成しているレンズのFナンバーなどをパラメータとした演算により、必要な撮像感度が設定される。
ここで、高速動画撮像の場合は、1フレーム分の露光時間が通常の動画撮像よりも格段に短くなるため、設定される撮像感度は比較的高感度(例えば、ISO感度800以上など)となる。すなわち、高速動画撮像においては、高感度域の撮像感度がデフォルトで設定される。
このようにして、設定されたフレームレートと測光値から撮像感度が設定されると、撮像感度制御部213はその旨を動作モード処理部211に通知する。動作モード処理部211は、撮像感度制御部213からの通知に基づいて、所定の表示を表示部310に表示させることで、高速動画撮像が開始できることをユーザに通知する。
この通知を認識したユーザは、高速動画撮像を開始したいタイミングで操作部330を操作する。この操作によって生成された入力信号が操作部330から制御部210に入力されると、撮像制御部212は、撮像開始指示がなされたと判別し(ステップS103:Yes)、撮像部100を制御して高速動画撮像を開始する(ステップS104)。この場合、撮像制御部212は、ステップS101で設定されたフレームレートで高速動画撮像がおこなわれるよう撮像部100を制御する。
また、撮像制御部212は、高速動画撮像を開始した際に、その旨を撮像感度制御部213に通知する。撮像感度制御部213は、撮像制御部212からの通知に応じて、ステップS102で設定した撮像感度となるよう、撮像部100のAFEを制御するとともに、高速動画撮像動作が開始されたことを画像判別部214に通知する。
このようにして高速動画撮像が開始されると、設定されたフレームレートに基づく単位時間毎に撮像画像が生成され、画像メモリ230に順次展開される。このとき、各撮像画像には、例えば、Exif(Exchangeable Image File Format)データが付加されるものとし、撮像時のパラメータ(撮像感度や露光時間、絞り値、など)が記録される。
ここで、1枚目の撮像画像(ステップS105:No)については、フレーム画像生成部215の処理により、当該撮像画像がそのまま1枚目のフレーム画像となる(ステップS108)。
1枚目のフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップS105以降の処理が繰り返し実行される(ステップS109:No)。そして、撮像画像が2枚以上得られると(ステップS105:Yes)、画像判別部214は、画像メモリ230に展開された撮像画像から被写体検出をおこなう(ステップS106)。この場合の被写体検出は、既知の方法が用いられるものとし、例えば、画像中の輝度分布に基づいたセグメンテーションなどによって被写体部分を検出する。あるいは、デジタルカメラ1が顔認識機能を備えている場合には、顔認識によって認識された顔部分を被写体として検出してもよい。
画像メモリ230に展開されている複数の撮像画像で被写体を検出すると、画像判別部214は、連続する撮像画像間で検出された被写体の変化量を検出する(ステップS107)。
本実施形態では、高速動画撮像時における高感度撮像に起因するノイズを低減するため、被写体の変化量に基づいて、撮像感度を制御するとともに、撮像感度の違いによる輝度のバラツキを補正することで、ノイズの低減を図る。このため、画像判別部214によって被写体の変化量が検出されると、撮像画像の輝度を補正するための「輝度補正処理」(ステップS120)と、撮像感度を制御するための「感度制御処理」(ステップS140)と、が並行して実行される。これらの処理を、図4および図5に示すフローチャートを参照して説明する。
まず、「輝度補正処理」を、図4に示すフローチャートを参照して説明する。処理が開始されると、画像判別部214により、検出された被写体部分の撮像画像間での変化量が、所定の許容範囲内にあるか否かを判別される(ステップS121)。
ここでは、被写体の変化量が許容範囲内にあるか否かにより、マルチプレーン処理が可能であるか否かの判別がなされる。すなわち、本実施形態にかかるマルチプレーン処理は、上述したように、撮像画像の輝度成分を加算する画像合成をおこなうものであるため、画像合成により不自然な動画とならないようにする必要がある。よって、連続する撮像画像間で検出された被写体に変化がない場合や、変化があっても位置合わせをおこなうことのできる変化のしかたや変化量である場合にマルチプレーン処理がおこなえることになる。
ここで、被写体変化と許容範囲の例を、図6を参照して説明する。ここでは、本実施形態にかかるデジタルカメラ1が顔認識機能を備えているものとし、顔認識機能によって人間の顔が被写体として検出された場合を例に以下説明する。
図6において、図6(a)は、ある撮像画像の例を示し、図6(b)〜図6(i)は、図6(a)に示した撮像画像に連続する撮像画像の例を示している。つまり、図6(b)〜図6(i)に示す撮像画像で検出された被写体と、図6(a)に示す撮像画像で検出された被写体とを比較することで、被写体の変化のしかたや変化量が検出される。
図6(b)は、検出された被写体の位置が、図6(a)に示す被写体の位置からズレており、そのズレ量が微小である場合を示している。このような微小な位置ズレの場合は、両画像の位置合わせをおこなっても画像全体の変化が微小であるので、マルチプレーン処理によって合成しても問題がない。よって、位置ズレのズレ量が微小である場合には、許容範囲内である(OK)と判別される。
一方、図6(c)は、検出された被写体の位置が、図6(a)に示す被写体の位置からズレており、そのズレ量が大きい場合を示している。このような大きな位置ズレの場合は、両画像の位置合わせをおこなうと画像全体も大きく変化してしまうので、マルチプレーン処理の合成には適さない。よって、位置ズレのズレ量が大きい場合には、許容範囲外である(NG)と判別される。
すなわち、検出された被写体に位置ズレがある場合は、位置合わせによる影響に基づいてズレ量についての許容範囲が規定されることになる。この場合、ズレ量と画像変化の影響は、画像全体のサイズ(画素数)などによって相対的に異なるため、撮像画像の画像サイズに応じて予め規定されるものとする。例えば、「被写体の位置ズレにおける横方向および縦方向それぞれのズレ量が、その画像の横方向および縦方向画素数の1%未満であれば許容範囲内である」、などと規定する。
図6(d)および図6(e)は、撮像画像間で被写体の角度ズレがある場合の例を示している。この場合も、ズレ量分の角度で画像全体を回転させることで位置合わせをおこなうことができるが、回転角度が大きいと、画像全体の形状が規定のフォーマットと異なってしまう。よって、角度ズレについても、そのズレ量(角度)が微小である場合(図6(d))は、許容範囲内(OK)とすることができ、大きい場合(図6(e))は、許容範囲外(NG)となる。
角度については、画像サイズなどにかかわらず、角度の大きさと位置合わせによる影響とが絶対的な関係となるので、例えば、「角度ズレのズレ量(角度)が1度未満であれば許容範囲内である」、などと規定することができる。
図6(f)〜図6(i)は、いずれも、許容範囲外(NG)となる被写体変化の例を示している。図6(f)は、連続する撮像画像間で、検出された被写体の大きさが変化した例を示している。例えば、高速動画撮像中にズーム操作がなされた場合や、被写体とデジタルカメラ1との距離が変化した場合などが相当する。このように被写体の大きさが変化してしまうと、画像上での位置に大きな変化がない場合であっても、被写体を示している領域の範囲が異なっているため、輝度成分の加算による合成をおこなうと、被写体部分がブレたようになってしまうので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の大きさが変化したことが検出された場合は、許容範囲外(NG)と判別される。
図6(g)は、被写体の向きが変化した例を示している。輝度成分の加算による画像合成は、ほぼ同じ被写体画像である必要があるが、向きが変化してしまった場合は、同じ被写体であっても被写体画像間では類似していないので、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の向きが変化したことが検出された場合は、許容範囲外(NG)と判別される。
図6(h)は、検出された被写体の形状が部分的に変化した例を示しており、例えば、被写体となっている人物の表情が変化した場合などが相当する。この場合、被写体画像を構成している要素(例えば、目、鼻、口、など)の位置が変わってしまうので、同じ被写体であっても被写体画像間では類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体の形状が部分的に変化したことが検出された場合は、許容範囲外(NG)と判別される。
図6(i)は、検出された被写体の形状が全体的に変化した例を示しており、例えば、シーンチェンジなどにより、別の被写体に変わった場合などが相当する。この場合は、被写体自体が異なるため、被写体画像間で類似せず、マルチプレーン処理には適さない。よって、被写体の変化量に基づいて、被写体全体の形状が変化したことが検出された場合は、許容範囲外(NG)と判別される。
このようにして、連続する撮像画像間で検出された被写体の変化と、その変化量に基づいて、比較された撮像画像を用いたマルチプレーン処理をおこなえるか否かが判別される。なお、図6に示した例などに基づく判別基準を示す情報が、記憶部250に予め格納されているものとし、画像判別部214は、記憶部250に格納されている判別基準を参照して判別をおこなう。
ここで、被写体の変化量が許容範囲内であると判別した場合(ステップS121:Yes)、画像判別部214は、少なくとも、被写体の変化量が検出された連続する2枚の撮像画像を用いたマルチプレーン処理が可能である(「OK」)と判別し、その旨をフレーム画像生成部215に通知する。
フレーム画像生成部215は、画像判別部214からの通知を受けると、判別結果が連続して「OK」となっている撮像画像(以下、「連続OK画像」とする)の枚数(以下、「連続枚数」とする)を計数し(ステップS122)、連続OK画像の輝度値を加算する(ステップS123)。
フレーム画像生成部215は、輝度値を加算した連続OK画像のそれぞれについて、例えば、各撮像画像に付加されているExifデータを参照することなどにより、当該画像の撮像時に設定されていた撮像感度を認識する。そして、連続OK画像のすべてが「高感度」である場合(ステップS124:Yes)、ステップS123で算出した加算値を、ステップS122で計数した連続OK画像の枚数で除することで(ステップS125)、連続OK画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理(1)」(図3)のフローに戻る。
つまり、高感度撮像では、撮像画像の輝度が十分であるため、輝度値を加算すると露出オーバーとなる。よって、輝度の加算値を平均する加算平均をおこなうことで適正露出とする。また、高感度撮像ではノイズが多くなるが、ノイズ成分は撮像画像毎にランダムに発生しているので、加算平均をおこなうことでノイズは低減する。
一方、連続OK画像のすべてが高感度撮像によって得られたものではない場合(ステップS124:No)、すなわち、連続OK画像のすべてが低感度撮像で得られているか、高感度撮像で得られた画像と低感度撮像で得られた画像が混在している場合、フレーム画像生成部215は、ステップS122で計数した連続OK画像の枚数と、各画像の撮像感度から係数αを算出する(ステップS126)。
ここで、「高速動画撮像処理(1)」(図3)のステップS102で設定された撮像感度(高感度)が、設定されたフレームレートを基に適正露出とする感度であるため、フレーム画像生成部215は、連続OK画像のそれぞれの撮像感度に基づいて、ステップS123で算出した輝度の加算値が、適正露出時の輝度となるような係数αを算出する。
よって、ステップS123で算出した輝度の加算値に、ステップS126で算出した係数αを乗じることで(ステップS127)、連続OK画像を用いたマルチプレーン処理による輝度補正がなされ、「高速動画撮像処理(1)」(図3)のフローに戻る。
このような「輝度補正処理」と並行して実行される「感度制御処理」を、図5に示すフローチャートを参照して説明する。
処理が開始されると、画像判別部214により、検出された被写体変化量が許容範囲内(「OK」)であるか否(「NG」)かの判別がおこなわれ(ステップS141)、判別結果を撮像感度制御部213に通知する。
撮像感度制御部213は、画像判別部214から通知された判別結果が「OK」である場合(ステップS141:Yes)、現在設定している撮像感度が、「高速動画撮像処理(1)」(図3)のステップS102で設定した撮像感度(すなわち、高感度)であるか否かを判別する(ステップS142)。
現在設定されている撮像感度が高感度である場合(ステップS142:Yes)、撮像感度制御部213は、撮像感度を低感度に変更し(ステップS143)、現在設定されている撮像感度が低感度である場合(ステップS142:No)は、撮像感度の変更をおこなわずに、「高速動画撮像処理(1)」(図3)のフローに戻る。
つまり、高速動画撮像の場合、フレームレートが高いため、通常、撮像画像間での変化は小さい。よって、変化量が許容範囲内であると判別された場合は、その後に続く撮像画像においても同様の傾向となる可能性が高い。この場合、マルチプレーン処理によって輝度を向上させることができるので、撮像感度を下げても適正露出とすることができる。このため、被写体の変化量が許容範囲内であると判別された場合には、高速動画撮像においてデフォルトとなっている高めの撮像感度を下げることで、高感度撮像時に発生するノイズの低減を図る。
一方、判別結果が「NG」である場合(ステップS141:No)、撮像感度制御部213は、現在設定されている撮像感度が低感度であるか否かを判別する(ステップS144)。判別された撮像感度が低感度である場合(ステップS144:Yes)は、撮像感度を高感度に変更し(ステップS145)、高感度である場合(ステップS144:No)は、撮像感度の変更をおこなわずに、「高速動画撮像処理(1)」(図3)のフローに戻る。
つまり、被写体の変化量が許容範囲外となった場合、当該撮像画像を用いたマルチプレーン処理による輝度補正がおこなえないので露出不足となるが、このような状態が連続する場合に備え、撮像感度を高感度に再度変更することで、適正露出の撮像画像が得られるようにする。
「高速動画撮像処理(1)」(図3)のフローでは、上述した「輝度補正処理」での処理結果を用いて、フレーム画像生成部215がフレーム画像の生成をおこなう(ステップS108)。
すなわち、被写体の変化量が許容範囲内となる撮像画像が連続している間は、マルチプレーン処理によって輝度補正された画像データによってフレーム画像が生成される。また、例えば、シーンチェンジなどにより、被写体の変化量が許容範囲外となった場合には、マルチプレーン処理による輝度補正をおこなわず、そのときの撮像画像でフレーム画像を生成する。
フレーム画像生成部215により1つのフレーム画像が生成されると、所定の終了イベントが発生するまで、ステップS105以降の処理が繰り返し実行される(ステップS109:No)。
そして、ユーザが操作部330を操作することで撮像終了指示が入力されたり、画像メモリ230の記憶容量などに基づいて規定される撮像可能時間や撮像可能データ量の上限に達したりするなどの終了イベントが発生すると(ステップS109:Yes)、高速動画撮像動作を停止するよう撮像制御部212が撮像部100を制御することで本処理を終了する。
なお、フレーム画像生成部215によって生成されたフレーム画像は、時系列順に編成され、再生対象となる動画像データとして外部記憶部260などに保存される。
以上説明した「高速動画撮像処理(1)」による動作例を、図7を参照して説明する。図7は、撮像部100の高速撮像動作によって得られた撮像画像(C1〜C8)と、撮像画像間での被写体変化量に基づく判別結果(「OK」か「NG」か)、撮像感度の切替タイミング、および、生成されたフレーム画像(F1〜F8)を時系列に沿って模式的に示したものである。
この例では、単位時間あたりの露光時間および絞りが一定であるものとする。すなわち、撮像状況に応じた露出制御をおこなわない撮像動作とする。
「高速動画撮像処理(1)」では、撮像開始時の撮像感度がデフォルトの「高感度」であるため、最初の撮像画像C1は、高感度で撮像されている。よって、撮像画像C1については、適正露出となっているので、最初のフレーム画像F1は、撮像画像C1をそのまま用いたものになる。
2枚目の撮像画像C2が得られると、連続する撮像画像C1とC2の間で被写体変化量を検出することができる。ここで、撮像画像C1とC2との間で検出した被写体変化量に基づく判別結果が「OK」である場合、2枚目のフレーム画像であるF2は、撮像画像C1とC2を用いたマルチプレーン処理によって生成される。この場合、C1およびC2は、いずれも高感度撮像によって得られているので、マルチプレーン処理では加算平均がなされる。
また、判別結果が「OK」であるため、撮像感度がデフォルトの「高感度」から「低感度」に変更される。すなわち、3枚目の撮像画像C3は、低感度撮像によって得られたものになる。
連続する撮像画像C2とC3の判別結果も「OK」であると、撮像画像C1〜C3が「連続OK画像」となる。よって、撮像画像C3に対応するフレーム画像F3は、撮像画像C1〜C3を用いたマルチプレーン処理によって輝度補正がなされる。
この場合、C1およびC2は高感度撮像により得られ、C3は低感度撮像によって得られているため、C1〜C3の輝度値を加算した後、撮像感度と枚数に基づいて算出された係数αを乗じることで、輝度補正がなされる。
ここで、撮像画像C4とC5の間で、例えば、シーンチェンジなどが発生した場合、撮像画像C4とC5の被写体変化量は許容範囲外(NG)となる(ここでは撮像対象が別の被写体になったものとする)。この場合、マルチプレーン処理はおこなわないので、撮像画像C5がフレーム画像F5となる。
撮像画像C2とC3の間で撮像感度が「低感度」に変更されているので、撮像画像C5は低感度撮像によって得られている。この場合、マルチプレーン処理による輝度補正がなされていないので、フレーム画像F5は露出不足となってしまう。
また、判別結果が「NG」であったことで、判別結果が「OK」である撮像画像の連続ではなくなる。つまり、撮像画像C5以降については、それ以前の連続OK画像とは関連せず、連続OK画像となるか不明であるため、撮像感度をデフォルトの「高感度」に戻す。
この場合、次の撮像画像C6については高感度撮像となるので適正露出となる。このとき、C5とC6の間での判別結果が「OK」であれば、撮像画像C6に対応するフレーム画像F6は、C5とC6を用いたマルチプレーン処理で輝度補正されたものになる。この場合、C5は低感度撮像であり、C6は高感度撮像であるため、係数αを用いたマルチプレーン処理となる。
このように、撮像画像間の被写体変化量に基づいて、マルチプレーン処理をおこなえると判別された場合には撮像感度を下げるので、高感度撮像によって発生するノイズを低減することができる。そして、低感度撮像で得られた撮像画像が含まれる場合には、マルチプレーン処理によって輝度補正されるので、撮像画像のそれぞれが露出不足となっていても、適正露出のフレーム画像が生成されるので、全体として適正露出を維持しつつ、ノイズの低減を図ることができる。また、マルチプレーン処理の対象となる画像がすべて高感度撮像で得られている場合は、加算平均によりノイズの低減が図られる。
「高速動画撮像処理(1)」による他の動作例を、図8を参照して説明する。この例では、単位時間毎の露光時間や絞りを制御することで、露出(Ev値)が一定となるよう露出制御されているものとする。
このような露出制御により、各撮像画像は適正露出となっているので、1枚目のフレーム画像(F1)や、判別結果が「NG」となった時のフレーム画像(F5)以外のフレーム画像は、すべて加算平均によるマルチプレーン処理を適用することができる。この場合、1枚目のフレーム画像(F1)や、判別結果が「NG」となった時のフレーム画像(F5)についてはノイズ低減効果が得られないが、それ以外の多くのフレーム画像においては、加算平均によるノイズ低減効果が得られるとともに、係数αを用いたマルチプレーン処理をおこなわないので、処理負荷が軽減される。
このように、適正露出となる撮像画像が連続して得られるのであれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。したがって、撮像感度を高感度とすることによってすべての撮像画像を適正露出とすれば、加算平均によるマルチプレーン処理でノイズ低減を図ることができる。この場合の動作例を、実施形態2として以下に説明する。
(実施形態2)
本実施形態にかかる「高速動画撮像処理(2)」を、図9に示すフローチャートを参照して説明する。この「高速動画撮像処理(2)」も、実施形態1における「高速動画撮像処理(1)」と同様、高速動画撮像モードが設定されたことを契機に開始される。
処理が開始されると、実施形態1の「高速動画撮像処理(1)」におけるステップS101と同様の動作により、動作モード処理部211が、高速動画撮像にかかるフレームレート(ハイスピード)を設定する(ステップS201)。
次に、撮像感度制御部213により撮像感度が設定されるが、実施形態1と同様に、高速動画撮像のデフォルトである「高感度」を設定する(ステップS202)。
そして、デジタルカメラ1のユーザが操作部330を操作することで、撮像開始指示が入力されると(ステップS203:Yes)、撮像制御部212が撮像部100を制御することで高速動画撮像が開始され(ステップS204)、フレーム画像生成部215が、1枚目の撮像画像を用いて1枚目のフレーム画像を生成する(ステップS205:No、ステップS208)。撮像画像が2枚目以降になると、画像判別部214により、各撮像画像での被写体検出(ステップS206)、撮像画像間での被写体変化量の検出(ステップS207)がおこなわれ、検出結果に基づいて「輝度補正処理」(図4)が実行される(ステップS140)。
本実施形態では、実施形態1と異なり、「感度制御処理」(図5)はおこなわない。よって、ステップS202で設定した撮像感度(高感度)のまま撮像動作がおこなわれる。よって、すべての撮像画像が高感度撮像で得られることになるため、2枚目以降のフレーム画像については、すべて加算平均によるマルチプレーン処理がおこなわれる(ステップS140、ステップS208)。
このような動作を所定の終了イベントが発生するまで繰り返しおこない(ステップS209:No)、終了イベントの発生とともに(ステップS209:Yes)、高速動画撮像動作を終了する(ステップS210)。
このような「高速動画撮像処理(2)」による動作を、図10を参照して説明する。図10は、実施形態1で示した図7または図8と同様の模式図である。
本実施形態の場合、高速動画撮像をおこなっている間、撮像感度が「高感度」に設定されているため、撮像画像C1〜C8のすべてが高感度撮像による適正露出の画像となっている。
よって、1枚目のフレーム画像(F1)と、判別結果がNGとなったときのフレーム画像(F5)以外のフレーム画像については、加算平均によるマルチプレーン処理がなされているので、適正露出が維持されるとともに、ノイズの低減が図られている。
このような動作であれば、感度制御をおこなう必要がないため、処理負荷が軽減する。また、フレーム画像の大部分において、加算平均によるマルチプレーン処理がなされるので、高感度で撮像していてもノイズを低減することができる。
(実施形態3)
上記各実施形態では、フレームレートに基づく単位時間毎に1枚の撮像画像を取得していたが、例えば、比較的低いフレームレート(例えば、150fpsなど)が設定された場合、高フレームレート時よりも単位時間が長くなるため、同じ撮像能力である場合、単位時間毎に複数回の撮像動作をおこなうことができる。あるいは、より高速なイメージセンサを使用した場合には、高フレームレート(例えば、300fps)であっても、単位時間毎に複数回の撮像動作をおこなうことができる。
このように、フレームレートに基づく単位時間毎に複数の撮像画像が得られる場合に好適な処理を、図11および図12を参照して説明する。この場合に実行される「高速動画撮像処理(3)」を、図11に示すフローチャートを参照して説明する。本処理の開始条件などは、上記各実施形態の場合と同様である。
処理が開始されると、動作モード処理部211が高速動画撮像にかかるフレームレート(ハイスピード)を設定する(ステップS301)。動作モード処理部211は、撮像部100の動作能力などに基づき、設定されたフレームレートによる単位時間内に複数枚の撮像が可能であるか否かを判別する(ステップS302)。
ここで、単位時間内に複数枚の撮像ができない場合(ステップS302:No)は、本処理を終了する。この場合、上記実施形態1または実施形態2で例示した処理がおこなわれる。
一方、単位時間に複数枚の撮像が可能である場合(ステップS302:Yes)、動作モード処理部211は、その旨を撮像感度制御部213に通知する。この場合、撮像感度制御部213は、ステップS301で設定したフレームレートに基づく単位時間を露光時間とした場合に適正露出となる撮像感度(高感度)を算出し(ステップS303)、算出した撮像感度(高感度)の値を、単位時間に撮像可能な枚数で除算した値の撮像感度(低感度)を設定する(ステップS304)。
そして、デジタルカメラ1のユーザが操作部330を操作することで、撮像開始指示が入力されると(ステップS305:Yes)、撮像制御部212が撮像部100を制御することで高速動画撮像が開始される(ステップS306)。
この場合、撮像制御部212は、ステップS301で設定されたフレームレートに基づく単位時間毎に複数枚の撮像画像を得る撮像動作をおこなうよう撮像部100を制御する(ステップS307)。
すなわち、図12に示すように、各単位時間に複数の撮像画像が得られることになる(図12では、各単位時間に3枚の撮像画像が得られる例を示している)。
このような撮像動作によって撮像画像が画像メモリ230に展開されると、フレーム画像生成部215は、各単位時間で得られた複数の撮像画像でマルチプレーン処理をおこなうことで(ステップS308)、当該単位時間に対応するフレーム画像を生成する(ステップS309)。
図12の例の場合、最初の単位時間で得られた撮像画像C11〜C13の輝度成分を加算平均することで、当該単位時間に対応するフレーム画像F1が生成され、以降の各単位時間においても同様の動作でフレーム画像が生成される。
1つの単位時間についてのフレーム画像を生成すると、所定の終了イベントが発生するまでステップS307以降の処理をおこなうことで(ステップS310:No)、フレーム画像が生成される。
そして、終了イベントの発生とともに(ステップS310:Yes)、高速動画撮像動作を終了して(ステップS311)、本処理は終了する。
このような動作によれば、撮像画像を用いたマルチプレーン処理によってすべてのフレーム画像を生成するので、撮像感度を終始「低感度」とすることができる。このため、高感度撮像によるノイズが発生しない。また、撮像感度を切り替えないため、処理負荷が低減する。
さらに、マルチプレーン処理をおこなえるか否かの判別をおこなわないので、この判別動作だけでなく、判別に必要となる被写体検出動作も不要となり、処理負荷が大幅に軽減される。
以上説明したように、本発明を上記実施形態の如く適用することにより、高速動画撮像時のノイズを低減することができる。
この場合において、撮像画像の輝度値を加算平均するマルチプレーン処理をおこなったり、マルチプレーン処理によって適正露出にできる場合には撮像感度を低感度に変更したりするので、高感度撮像により発生するノイズを低減させることができる。
ここで、各撮像画像で被写体検出をおこない、連続する撮像画像間での被写体変化量に基づいて、マルチプレーン処理をおこなえるか否かの判別をおこなうので、撮影内容に応じた効果的なノイズ低減を図ることができる。
また、マルチプレーン処理の際には、対象となる撮像画像についての撮像感度(適正露出か露出不足か)に応じてマルチプレーン処理の方法を変えるので、適正露出としつつ、ノイズ低減を図ることができる。
また、撮像感度を一定とした場合は、マルチプレーン処理の方法を変えることなくノイズ低減を図ることができるので、処理負荷を軽減することができる。
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、図6に示した被写体変化と判別結果は一例であり、マルチプレーン処理の適否を判別できるものであれば、判別条件は任意である。
また、本発明を上記実施形態で例示したデジタルカメラ1のような撮像装置で実現する場合においては、本発明にかかる構成や機能を予め備えた撮像装置として提供できる他、制御部210の各機能と同様の機能を実現するプログラムを適用することにより、既存の撮像装置を本発明にかかる撮像装置として機能させることもできる。この場合、高速動画撮像機能を有する撮像装置であれば、本発明の適用により、高速動画撮像時の高感度撮像に起因するノイズの発生を低減させることができる。
このようなプログラムの適用方法は任意であり、例えば、CD−ROMやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。