JP2013218031A - 撮像装置 - Google Patents

Abstract

【課題】 焦点検出精度を向上させると共に、品位のある記録用の画像を得る。
【解決手段】 被写体の像信号を得る撮像手段１０３を備えた撮像装置であって、撮像手段の像信号から生成される複数の画像フレームを位置合わせ処理にて合成して焦点検出評価用の合成画像を得る第１の画像合成手段１１２と、撮像手段の像信号から生成される複数の画像フレームを第１の画像合成手段より低い精度の位置合わせ処理にて合成して記録用の合成画像を得る第２の画像合成手段１０９とを有する。
【選択図】 図１

Description

本発明は、複数の画像フレームを位置合わせ処理にて合成する撮像装置に関するものである。

撮像装置としてのデジタルカメラやデジタルビデオカメラで動画撮影をしたときに、記録画像のフレームレートにて像振れ補正のために画像位置合わせを行い、その画像で焦点検出評価を行ってオートフォーカスを行う方法がある。

この方法では前記フレームレート時間内での像振れ補正は行えないために被写体像の空間周波数内の高周波成分が失われてしまって高精度な焦点検出評価が行えないことがある。

像振れ時間を短くして高周波な空間周波数成分を確保するために、フレームレート長を短くして得られた画像の位置合わせ合成を行うことで高精度な焦点検出評価を行える画像信号を確保する方法がある。

この方法では、得られた画像を記録画像に用いると１フレームにおける画像の先鋭度を増す事が出来る。

しかしながらこの方法は撮影記録された画像の前後フレーム間での像変化が視覚的に明確になってくるため物体の変化が離散的（デジタル的）に見えてしまい、不自然な画像になってしまう問題が生じてくる。

画像信号を合成する例として、過去には複数の垂直方向画素または水平方向画素を加算して焦点検出評価に用いるような提案がなされている（引用文献１）。

特開２００６−２６１９２９号公報

しかしながら特許文献１は、単に同時間に生成された画像信号を加算して輝度レベルを確保したものであり、画像振れ補正を行うことで被写体像の高周波な空間周波数成分にて焦点検出評価を行うものでは無い。そのため精度の良い焦点検出は行えなかった。

（発明の目的）
本発明の目的は、焦点検出精度の向上を図ると共に品位のある記録用の画像を得ることができる撮像装置を提供することである。

前記目的を達成するために、本発明の撮像装置は、被写体の像信号を得る撮像手段を備えた撮像装置であって、前記撮像手段の像信号から生成される複数の画像フレームを位置合わせ処理にて合成して焦点検出評価用の合成画像を得る第１の画像合成手段と、前記撮像手段の像信号から生成される複数の画像フレームを前記第１の画像合成手段より低い精度の位置合わせ処理にて合成して記録用の合成画像を得る第２の画像合成手段とを有することを特徴するものである。

本発明によれば、焦点検出精度を向上させると共に、品位のある記録用の画像を得ることができる。

本発明の実施例である撮像装置の概略構成の一例を示すブロック図である。 実施例が有効となるような被写体例を示す図である。 分割フレーム間で位置合わせ処理を行わない場合と位置合わせ処理を行う場合の線分像の状態を表す図である。 画像位置合わせ処理を行わない場合と位置合わせ処理を行う場合の記録用の１フレームで画像合成を行った状態を示す図である。 分割フレームの読出し状態を示す図である。 第１の画像評価範囲ＦＡにおいて画像位置合わせ処理無しで画像合成を行った場合の生成画像を示す。 第１の画像評価範囲ＦＡにおいて画像位置合わせ処理有りで画像合成を行った場合の生成画像を示す。 第２の被写体範囲ＦＲにおける手ぶれによる被写体移動量と、記録画像を補正する状態を示す図である。 実施例の動作を示すフローチャートである。

本発明を実施するための形態は、以下の実施例に記載される通りである。

以下、本発明の実施例である撮像装置を図面に基づいて説明する。

図１は本実施例の撮像装置の概略構成の一例を示すブロック図である。

図１中の撮像装置１００において、撮像光学系１０１は撮像光学系を構成する光学系である。

光彩絞り１０２は撮像光学系１０１の光彩絞りを示しており、絞り制御部１０８により絞り径が制御される。

画像信号抽出部１０４は、撮像素子１０３から出力される光電変換信号から画像領域範囲の異なる記録用画像信号と焦点検出評価用画像信号をそれぞれ生成するものである。撮像素子１０３は撮像手段を構成する。

測光部１０５は、前記の記録用画像信号と焦点検出評価用画像信号に対して画像領域の測光評価を行う。

露光量決定部１０６は、前記測光部１０５の測光結果から記録画像の適正な露光量の演算を行うものである。 そして前記記録画像が適切な露光状態になるようにゲイン調整部１０７にて撮像素子の出力信号強度コントロールを行う。

また同時に、絞り制御部１０８で絞り径の調整を行わせる命令を与え、再び撮像素子１０３からの光電変換信号の変化に対して最適な露光量状態になるように前記した処理を折り返すようなフィードバック制御を行う。

そして画像信号抽出部１０４から得られた画像信号は、規定されたフレーム枚数毎に、第１の画像合成手段である焦点検出評価用画像合成部１１２及び第２の画像合成手段である記録用画像合成部１０９に出力される。なお、記録用画像合成部１０９は焦点検出評価用画像合成部１１２よりも低い精度の位置合わせ処理を行う。

そして前記した焦点検出評価用画像合成部１１２で得られた焦点検出評価用の合成画像は焦点検出評価部１１３においてデフォーカス値やコントラスト値を算出して次の合焦判定部１１４にて現在のフォーカス状態が合焦していると見なされるかを判定する。

次に前記合焦判定部１１４の結果に応じて必要があればフォーカス駆動部１１５にてフォーカス移動を行う。

そしてフォーカス移動後の撮像画像を用いて同じ処理を繰り返して合焦状態の維持を行う。

また画像信号抽出部１０４から得られる画像信号を第２の画像合成手段である記録用画像合成部１０９で合成処理を介して記録用画像生成部１１０で形成された記録用の合成画像は、画像記録部１１１によりフラッシュメモリやハードディスク等の記録媒体に記録される。

図２は、本実施例が有効性を発揮するような被写体例を示す図である。

図２中ＦＡは、焦点検出処理を行うように指定した第１の画像評価範囲を示しており、この被写体例では動体である人物の顔範囲に指定されている
また図２中ＦＲで示された第２の画像評価範囲は静止状態の背景を観察するように設定されている。

本実施例に用いられる焦点検出演算方式は概ね２方式に分けられる。

第１はフォーカスレンズや撮像素子１０３に変調駆動を与えてフォーカス状態を微小変化させて焦点検出評価用画像のコントラスト値変化から合焦状態の判定を行うコントラスト検知方式である。

第２は特開平０１−２１６３０６号公報、特許第３５９２１４７号等で提案されているような撮像素子の一部または全体を焦点検出用画素として一対の像信号から位相差検知を行って焦点状態を検出するような撮像面位相差方式である。

以後記載する焦点検出方式とは前記の何れの焦点検出方式でも良いものであるとする。

前記図２のような被写体において、動体である人物に対し焦点を合わせて動画撮影を行う際には、
（１）１単位当たりの時間の長いフレームレート（低フレームレート）では人物の動きによって流れた画像になるため高周波な空間周波数成分が失われてしまい精度の高いコントラスト評価や位相差方式による焦点検出が行えない。

上記（１）の問題と、更に付随する問題として、
（２）人物の撮影に関して人物の動きによる像振れ成分と手ぶれによる像振れ成分が混在しているために手ぶれが原因となっている振れ成分に対しての像振れ補正が行えない。

以上（１）、（２）の問題が生ずる。

上記問題を解決するために本実施例では図２の様な被写体においては、前記第１の画像評価範囲ＦＡにおいては主被写体である人物の焦点検出を評価するための画像位置合わせ処理を伴った画像合成処理を行う。

そして前記第２の画像評価範囲ＦＲに対しては、前記ＦＡの範囲とは異なった画像合成処理を行って記録用画像の再生フレームレートに合わせた画像を取得する。

よって、前記第１の画像評価範囲ＦＡで画像取得を行って画像位置合わせを行い、更に画像合成を行った画像は動きの速い被写体の像振れが抑えられた、高周波な空間周波数成分が失われることを防止した画像となっている。

そのため、鮮鋭な被写体像情報にて焦点検出が行えることになり、高精度な合焦を行わせることが可能となる。

しかしながら、上記焦点検出用に画像位置合わせを行って合成した画像を記録用画像として用いると前記した（１）、（２）の問題とは異なる新たな問題が発生する。

その事を以下に図３と図４を用いて説明を行う。

図３（Ａ）及び図３（Ｂ）は記録用の各１画像フレームをＦ１〜Ｆ３として前記１画像フレームを時系列に４分割したものをＳＦ１〜ＳＦ４で示した分割フレーム状態を簡素に表したものである。

そして図４（Ａ）及び図４（Ｂ）は、図３（Ａ）及び図３（Ｂ）の分割フレームを異なる条件で画像合成を行って記録用の１フレームとしたものである。

尚、ここでは評価対象となる被写体像は説明の簡単のために図２の第１の画像評価範囲ＦＡ内で垂直方向に被写体像振れ（またはずれ）が生じているような単純な水平線分像Ｌ０を例としている。

また、焦点検出評価は分割フレームＳＦ１〜ＳＦ４を合成した記録用１フレーム単位である図中の第１フレームＦ１、第２フレームＦ２、第３フレームＦ３に対して行われるものである。分割フレームは本発明の複数の画像フレームに相当する。

図３（Ａ）は分割フレームＳＦ１〜ＳＦ４に対して焦点検出を行う水平線分像Ｌ０の位置合わせを行わない状態を示したものである、そして上記状態で画像合成処理を行った後の水平線分像Ｌ０の状態変化を図４（Ａ）中のＬ１で示している。

しかしながらこの合成画像Ｌ１を焦点検出評価用として用いると元が細線であったものが太線に像状態が変化してしまうため高周波成分が失われた被写体像で焦点検出評価を行うことになる。

そのため焦点検出精度の低下を招いてしまう。

一方、図３（Ｂ）は前記した（１）の問題を解消するために前記した図３（Ａ）の画像合成処理に替って分割フレームＳＦ１〜ＳＦ４の水平線分像Ｌ０を垂直方向に位置合わせ処理を行ったものである。

そして図３（Ｂ）の画像位置合わせ処理を行った後に画像合成処理を行い、生成された水平線分像は図４（Ｂ）に示すＬ１となる。

よって分割フレーム上では高速な露出時間で取得される鮮明な水平線分像が劣化されることが無い。そしてそれら分割フレームを位置合わせ合成した合成フレームは焦点検出精度の低下を防止することが可能となる。

しかしながらこのフレーム画像を記録用（記録用）として用いることは新たに、下記問題が発生する。これを問題（３）とする。

（３）焦点検出に最適な画像合成を行った１合成フレームが次なる同処理を行った１合成フレームに切り替わると前記した鮮鋭な被写体像の位置が離散的に変化を起こす。

そのため被写体像が所謂カクカクした離散的（デジタル的）な動きに感じてしまい、記録用画像（記録用画像）としては品位の悪い動画像になってしまう。

その防止を行うために記録用の画像は図３（Ａ）で説明したような処理を行う、そしてこの画像合成像を記録用画像として記録する。これにより前記（３）の問題を低減した品位の良い記録用動画像を得ることができるものである。

以上述べたように、画像合成処理を合成画像の使用目的に応じて異なる処理を行うことで前記したような動画撮影における問題の低減化が行えるものである。

尚、記録用画像は前記図３（Ａ）で説明した処理のように全く被写体像の位置合わせ処理を行わない場合の他に、図３（Ｂ）での焦点検出評価用画像を生成する際の画像位置合わせ処理精度よりも低い精度で画像合成処理を行うことでも良い。

この様に焦点検出評価用画像を生成する際の画像位置合わせ精度は高く設定して焦点検出精度を高め、記録用画像を生成する際の画像位置合わせ精度は低く設定して品位の良い記録用の動画像を得る事が出来る。

また合成を行う画像フレームの数を異なるように（記録用画像は焦点検出評価用画像よりもフレーム数を少なくするように）して、結果として記録用画像は画像位置合わせ処理精度を抑えるようにしても良いものである。

例えば記録用画像の位置合わせ合成フレーム数を２分割フレーム（１フレームを２分割フレームに分割してこれらを合成する）、焦点検出評価用画像の位置合わせ合成フレーム数を８分割フレーム（１フレームを８分割フレームに分割してこれらを合成する）に設定する事を考える。

この時記録用画像は２分割フレームのみ位置合わせ合成となるために被写体の動きなどが抑制されず、次のフレームに滑らかに移行できる。

また、焦点検出評価用画像は８分割フレームを位置合わせ合成しているために合成後の１フレームは被写体の動きや手ぶれが十分抑制されたフレームとなる。したがって、焦点検出精度を高く保つ事が出来る。

次に図３及び図４で説明したような画像を取得するための画像信号の読出しに関して説明を行う。

図５は時間軸に対して撮像素子１０３に結像された撮影画像信号の読出し状態を簡略に示したものであり、撮像素子１０３の水平方向ラインの画像情報を垂直方向に走査して読出しを行うような、一般的なローリングシャッタ方式の画像信号の読出し状態を示している。

図５中の２０１、２０２で示した記録用フレームは、今記録用の１フレーム長を１／３０秒と設定されている想定でそれぞれ１フレームの画像信号読出し制御を示している。

また２０３〜２０６は第１記録用フレーム２０１を、２０７〜２１０は第２記録用フレーム２０２で示した記録用に設定された１フレームあたり１／３０秒のフレームレートを、４分割の画像を取得出来るように４倍の高速読出しで１分割フレームレートを１／１２０秒に設定して読出し制御を行っていることを表している。

この場合、焦点検出評価用に用いる画像データは撮影を行っている被写体像の全ての画像範囲である必要は無く、図２で示したＦＡ及びＦＲの範囲のデータを参照すれは良い。

この様に被写体全体の画像中で画像評価範囲の画像信号を部分的に読み出しすることで特定範囲における焦点検出精度の向上と共に高速な読み出し処理や演算負荷の低減が行えるものである。

そして図５中の分割フレーム２０３〜２０６の複数画像合成により２０１の合成フレームを、分割フレーム２０７〜２１０の複数画像合成により２０２の合成フレームを、記録用画像として記録を行う画像を生成することが可能なものとしている。

尚、記録画像範囲中における特定範囲の部分的な被写体像読み出し構成に関しては、特開２００９−２０７０１２号公報等の過去の文献に記されているものである。

また更に前記（３）の問題を防止しつつ前記で述べた（１）及び（２）の問題を低減するための本実施例が提案する手段に関して以下に説明を行う。

図６及び図７は図２の画像評価範囲ＦＡを図６の２０３〜２０６で示した分割フレーム読み込み制御にて得られた画像を示している。

ここでは撮影を行っている人物が上下方向に速く移動をしている状態であるものとしている。

ＦＬｂは１分割フレーム画像を示しており、ＦＬａは合成する４枚の画像群を示す。ＦＬａは、本発明の複数の画像フレームに相当するものである。

ここで１分割フレーム画像ＦＬｂは１／１２０秒の高速な分割フレーム読み出しによるものである。

しかし記録用フレーム長の１／３０秒が適切な露光量とされているため個々の分割フレーム画像は露光がアンダーな状態になっている。

一方、動体に対しては高速シャッタスピードでの撮影効果により動体の像振れが抑えられて撮影が行われている状態になっている。

図６は画像位置合わせ処理を行わずに合成した画像をＩＭａとしている。

よって、ＩＭａは記録用フレーム長である低速な１／３０秒で１フレームの画像読出しを行って得られる画像と等価であると考えられる。

そのため、動きの速い被写体はＩＭａのようにブレを生じた画像になってしまう。

一方、図７は人物の目を基準（画像合成の対象）として画像位置合わせ合成を行っている状態を示したものであり、分割フレーム像は画像の位置合わせ方法が判りやすくするために人物の目の位置を基準として配置を行って画像を重ねるように画像合成したものをＩＭｂとしている。

個々の分割フレームにおいては振れの少ない画像を位置合わせ処理後に画像合成を行うため、ＩＭｂは前記ＩＭａに対して振れが少なくて適正な露出量となっている鮮鋭な画像を得ることができる。

この画像ＩＭｂをコントラスト評価や位相差評価などの焦点検出評価に用いることで高精度な焦点検出を行うことが可能となる。

次に記録した画像をユーザが鑑賞を行う際の再生像において画像品位を低下させるような像振れ成分を補正する処理に関して以下に述べる。

図８（Ａ）で、Ｆ１は図５のフレーム２０１に相当しており、分割フレーム２０３〜２０６に画像位置合わせ処理を行わないで画像合成を行った第１のフレームで、Ｆ２は同様にフレーム２０２に相当するものである。

ＶはＦ１とＦ２のフレーム間で基準となる被写体位置を示したものであり、ここでは簡単のために上下方向の基準位置を示している。

ΔＨは前記Ｖの移動量を示したものである。

図８（Ｂ）のＭ１は画像を読み込む有効画面範囲を示しており、Ｍ２は像振れ量ΔＨの像移動による撮影範囲の変化分を除去するために画像を切り出して記録用画像として記録を行うものである。

このように像振れ量ΔＨを検出して振れの補正を行うような画像補正処理を行うことで像振れ画像の発生を防止する。

よって、上記の処理を行うことで焦点検出精度の低下を防止して像振れの除去を行うことができる。

そして更に被写体が離散的な動きになることを低減したような前記（１）〜（３）項目の問題点を改善した記録用動画像として好ましい画像を取得することができるものである。

次に図９にて、図１で示した撮像装置の焦点検出動作に関する大まかな流れ図を示す。

ここでは焦点検出用被写体範囲１を図２における合焦を行いたい動体である第１の画像評価範囲ＦＡに相当するものであると仮定する。また、像振れ検出用被写体範囲２は撮影機器の微動が原因となる被写体振れを検出するために静止状態の被写体範囲を選択しているものであり、図２における第２の画像評価範囲ＦＲに相当するものであると仮定をする。

ＳＴＡＲＴは撮影開始操作が行われた状態を想定するものである。

撮影開始後、先ずステップＳ１０１にて図２のＦＡで示されている枠範囲に相当するような焦点検出用被写体範囲１を決定する。

そしてステップＳ１０２にて、図２のＦＲで示されたような手持ち撮影等が原因で撮影機器が微動することによる像振れ量を検出するための像振れ検出用被写体範囲２を決定する。

上記したように評価用画像範囲が決定した状態において図５で説明したように記録用の１フレーム長を複数フレーム長に分割した分割フレームにて、被写体範囲１の画像取得をステップＳ１０３で行う。

そして続けて被写体範囲２の画像取得をステップＳ１０４で行うものである。

被写体範囲１及び被写体範囲２の画像取得が行われた後に、被写体範囲１に対してはステップＳ１０５で画像位置合わせ処理を行い、位置合わせを行った画像をステップＳ１０６で画像合成を行い、得られた合成画像をステップＳ１０７にて焦点検出評価処理を行う。

そしてステップＳ１０８においてステップＳ１０７で得られた焦点検出評価結果に基づいて合焦をしているかの判断を行うものである。

尚、上記焦点検出評価はコントラスト検知方式では被写体のコントラスト値を、位相差検知方式では相関値を評価するものである。

ステップＳ１０８の結果で、合焦状態で無いと判断された場合にはステップＳ１０９で合焦を行うようにフォーカス駆動処理を行う。

尚、この流れ図ではフォーカス駆動処理を行った後に次のステップＳ１１０に移行するような構成としているが、フォーカス駆動のタイミングは以下に説明する被写体範囲２に関わる処理中に平行して行っても良いものである。

次に被写体範囲２に対する処理について述べる。

ステップＳ１１０は被写体範囲２の画像より画像の振れ量検出処理を行うものであり、図８で説明をしたように静止体の画像の移動変化を検知して撮影機器の微動状態による像振れ量を検出するものである。

次のステップＳ１１１は前記ステップＳ１１０で検出されている画像の振れ量を適応して記録や表示に用いられる全体画像の位置合わせ処理を行い、像振れ成分の除去を行うようにする。

そしてステップＳ１１２により全体画像合成を行った後にステップＳ１１３にて画像合成処理を行って、全ての合成を行う画像が重複しない部分を除外するように全体画像の切り出し処理を行う。この切り出し処理の方法は、たとえばすべての画像に共通する領域を切り出して記録画像もしくは表示画像に合わせるように拡大縮小処理する方法が挙げられる。また、他の方法としては、初めの画像を基準画像として、その範囲を切り出し範囲として設定することもできる。この場合、領域によって合成される画像の枚数が異なるが、加算平均処理を行って合成していくことによって、明るさのムラを抑えることができる。

前記切り出し処理を行った全体画像情報はステップＳ１１４にて画像記録処理が行われるものである。

次のステップＳ１１５で撮影を終了する指示が有った場合においては一連の処理を終了し、撮影を継続する場合にはステップＳ１０３に戻って合焦を行うための一連処理と画像を記録するための一連処理を行うものである。

上記では撮影機器の微動による像振れを除去する処理も加えた流れ図の説明を行ったが、像振れの除去精度が低精度で良い場合には、例えばＳ１１０の振れ量検出知手段は画像比較を行う代りに振れ検出センサで代用しても良いものである。

また、像振れ除去を行わなくても良い際にはＳ１０４、Ｓ１１０、Ｓ１１１，Ｓ１１３のステップ処理を省略すれば良い。

以上述べたように第１の画像合成手段と第２の画像合成手段に異なる位置合わせ処置を行わせる事で、焦点検出精度の向上と共に品位のある記録用動画像を得ることのできる撮像装置が達成される。

以上述べた手段は、ビデオカメラやコンパクトデジタルカメラの他に動画記録機能を有した一眼レフカメラ等の撮像装置にも応用できるものである。

１０３ 撮像素子
１０９ 記録用画像合成部
１１０ 記録用画像生成部
１１２ 焦点検出評価用画像合成部
１１３ 焦点検出評価部
ＳＦ１〜４ 分割フレーム

Claims (4)

1. 被写体の像信号を得る撮像手段を備えた撮像装置であって、
   前記撮像手段の像信号から生成される複数の画像フレームを位置合わせ処理にて合成して焦点検出評価用の合成画像を得る第１の画像合成手段と、
   前記撮像手段の像信号から生成される複数の画像フレームを前記第１の画像合成手段より低い精度の位置合わせ処理にて合成して記録用の合成画像を得る第２の画像合成手段とを有することを特徴する撮像装置。
2. 前記低い精度の位置合わせ処理は、位置合わせ処理を行わない場合を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画像合成手段は動体を画像合成の対象とし、前記第２の画像合成手段は静止体を画像合成の対象とすることを特徴する請求項１または２のいずれか１項に記載の撮像装置。
4. 前記第２の画像合成手段は、位置合わせ処理に用いられる前記複数の画像フレームの数を前記第１の画像合成手段より少なくすることを特徴する請求項１ないし３のいずれか１項に記載の撮像装置。

Images