JP2008022080A - 撮像装置及び制御方法 - Google Patents

Abstract

【課題】 デフォーカス画を利用した被写体判別法を動画撮影時に用いることができなかった。
【解決手段】 光電変換により画像を撮像する撮像素子（２）を用いて動画を撮影可能な撮像装置であって、撮像手段により撮像される画像の状態を変更可能な光学手段（１）と、光学手段により第１の状態で動画を撮影中に、撮像した画像における動きが予め設定されたレベル以下であるかどうかを判定する動き検出回路（６）と、動きが予め設定されたレベル以下である場合に、光学手段を制御して、第１の状態と異なる第２の状態の画像を撮像するように制御する撮像制御手段（１４、１５）と、撮像した第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する被写体検出回路（５）と、第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換手段（８、９、１５）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、光電変換により画像を撮影する撮像素子を用いて動画像を撮影可能な撮像装置及びその制御方法に関する。

近年の撮像装置では、被写体を判別してその被写体に好適な信号処理を施すことが求められている。例えば、同じ青色の被写体であっても、「青空」に対してはノイズを除去するために高周波数成分を減衰させる処理が求められるが、「青いシャツ」にはシャツの皺を表現するために逆に高周波数成分を強調する処理が求められる。このためには、被写体が、「青空」なのか「青いシャツ」なのかを判別する必要がある。

上述したような判別を行う為に、被写体に焦点の合った通常の画像（通常画）の他に、完全にボケた画像（以下、「デフォーカス画」と記す。）を撮影し、通常画とデフォーカス画の高域成分を比較する方法がある。通常画とデフォーカス画では、撮像素子の持つ固定ノイズの成分はほぼ等しいが、デフォーカス画は高域の被写体を含まない。この特徴を利用し、通常画とデフォーカス画を比較することで、被写体の高域成分とノイズの高域成分とを切り分けて、被写体を判別することができる（例えば、特許文献１参照）。

特開平０９−１８６９３５号公報

しかしながら、上述した被写体判別法ではデフォーカス画を撮影する必要があるため、撮影した画像を全て用いるる、動画撮影時に用いることができなかった。

上記問題を解決するために、光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な本発明の撮像装置は、前記撮像手段により撮像される画像の状態を変更可能な光学手段と、前記光学手段により第１の状態で動画を撮影中に、撮像した画像における動きが予め設定されたレベル以下であるかどうかを判定する動き判定手段と、前記動きが予め設定されたレベル以下である場合に、前記光学手段を制御して、前記第１の状態と異なる第２の状態の画像を撮像するように制御する撮像制御手段と、前記撮像した第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出手段と、前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換手段とを有する。

また、光電変換により画像を撮像する撮像手段を用いて動画を撮影可能であって、前記撮像手段により撮像される画像の状態を変更可能な光学手段を有する撮像装置の本発明の制御方法は、前記光学手段により第１の状態で動画を撮影中に、撮像した画像における動きが予め設定されたレベル以下であるかどうかを判定する動き判定ステップと、前記動きが予め設定されたレベル以下である場合に、前記光学手段を制御して、前記第１の状態と異なる第２の状態の画像を撮像する撮像ステップと、前記撮像した第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出ステップと、前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換ステップとを有する。

また、別の構成によれば、光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な本発明の撮像装置は、前記撮像手段により撮像された画像の合焦状態を検出する合焦状態検出手段と、前記合焦状態検出手段による検出の結果、前記画像の合焦状態が第１の状態から前記第１の状態と異なる第２の状態に変化した場合に、前記第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出手段と、前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換手段とを有する。

また、光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な撮像装置の本発明の制御方法は、前記撮像手段により撮像された画像の合焦状態を検出する合焦状態検出ステップと、前記合焦状態検出ステップによる検出の結果、前記画像の合焦状態が第１の状態から前記第１の状態と異なる第２の状態に変化した場合に、前記第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出ステップと、前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換ステップとを有する。

本発明によれば、デフォーカス画を利用した被写体判別法を、動画撮影時に用いることが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の構成を示すブロック図である。

レンズ１を透過し、電荷結合素子（ＣＣＤ）やＣＭＯＳセンサ等の撮像素子２により光電変換された入力信号は、アナログフロントエンド（ＡＦＥ）回路３においてリセットノイズ除去、利得調整、アナログ−ディジタル（Ａ／Ｄ）変換等が行われる。この後、カメラ信号処理回路４で撮像系の信号処理を施す。

図２にカメラ信号処理回路４の内部構成を示す。図２において、輝度・色信号（ＹＣ）分離回路４１で、輝度信号成分（Ｙ）と色信号成分（Ｃ）に分離する。色信号成分（Ｃ）は、色信号処理回路４７でガンマ補正、ホワイトバランス補正等の処理が行われ、色差信号Ｒ−Ｙ、Ｂ−Ｙが生成される。また、輝度信号成分（Ｙ）は第１の輝度信号処理回路４２でフィルタリングによる帯域制限を行って、偽色、折り返し成分の除去等を行う。また、輝度信号成分（Ｙ）は高域通過フィルタ（ＨＰＦ）４３により高域成分が抽出され、乗算器４４でゲイン調整される。そして、加算器４５で第１の輝度信号処理回路４２の出力と乗算器４４の出力とを加算してアパーチャ補正を行う。加算器４５の出力は、第２の輝度信号処理回路４６においてクランプ、ガンマ補正等の処理が行われる。第２の輝度信号処理回路４６の出力は、そのまま出力されると共に、と色信号処理回路４７の出力とＹＣ多重回路４８で多重化されて出力される。

図１に戻り、上述したようにして処理されたカメラ信号処理回路４のＹＣ多重回路４８からの出力は、撮像素子２の駆動モードに応じてメモリ８で１フィールドもしくは１フレーム分蓄積される。一方、カメラ信号処理回路４の第２のカメラ信号処理回路４からの出力は選択器９へも送られる。選択器９は、データバス１７を介する主マイコン１５の制御により、カメラ信号処理回路４とメモリ８の出力の何れか一方を選択するように切り替える。そして、選択器９の出力はディジタル−アナログ（Ｄ／Ａ）変換器１０でアナログ信号に変換され、モニタ１１に表示される。

また、カメラ信号処理回路４の第２の輝度信号処理回路４６からは、輝度信号がオートフォーカス（ＡＦ）前処理回路７へ送られ、レンズマイコン１４へ送るための評価値生成等の前処理を行う。レンズマイコン１４では、ＡＦ前処理回路７からの信号と、フォーカスエンコーダ１３から送られるレンズ１の光軸方向の絶対位置を基に、ＡＦ前処理回路７の出力評価値がピーク値となるように、フォーカスモータ１２を駆動してフォーカシングを行う。

一方、ＡＦＥ回路３の出力は被写体検出回路５にも送られて、後述する被写体検出処理を行う。更に、ＡＦＥ回路３の出力は動き検出回路６にも送られる。動き検出回路６は、撮影した画像を１フィールドもしくは１フレーム分格納する容量を有するメモリを有し、格納した前フィールドもしくは前フレームと、新たにＡＦＥ回路３から出力された画像とを比較して、動き量を検出する。

また、１５は撮像装置全体を制御する主マイコン、１６はユーザが撮像装置を操作するための入力キーであり、例えば、ダイヤル、ボタン、タッチパネル、また、これらの組み合わせにより構成される。入力キー１６の操作内容は主マイコン１５に通知され、主マイコン１５は操作内容に応じた処理を行う。

なお、図１に示す構成では、撮像した画像を順次モニタ１１に表示するものとして説明したが、選択器９の出力を記録媒体（不図示）に記録するように構成してもよいことは言うまでもない。

次に、被写体検出回路５で行われる被写体検出動作について説明する。図３は被写体検出回路５の内部構成を示すブロック図である。５０はスイッチであり、動き検出回路６から入力される動き量に基づいて、ＡＦＥ回路３から入力される画像の入力先を通常画メモリ５１とデフォーカス画メモリ５２のいずれかに切り替える。５１は通常画メモリであり、焦点の合った画像（以下、「通常画」と呼ぶ。）を１フィールドもしくは１フレーム分格納する。通常画メモリ５１の出力は帯域通過フィルタ（ＢＰＦ）５３に送られ、予め決められた既定の帯域の被写体及び固定ノイズ成分を抽出する。ＢＰＦ５３の出力は平滑化フィルタ５５で平滑化され、後段の比較に適した形にする。

５２はデフォーカス画メモリであり、焦点をわざと外した画像（以下、「デフォーカス画」と呼ぶ。）を１フィールドもしくは１フレーム分格納する。デフォーカス画メモリ５２の出力は帯域通過フィルタ（ＢＰＦ）５４に送られ、ＢＰＦ５３と同じ既定の帯域の固定ノイズ成分を抽出する。デフォーカス画では、被写体がぼけているために被写体の高周波成分が無いので、固定ノイズ成分のみが抽出されることになる。ＢＰＦ５４の出力は平滑化フィルタ５６で平滑化する。

平滑化フィルタ５５の出力には既定帯域の被写体及び固定ノイズ成分が含まれており、また、平滑化フィルタ５６出力には固定ノイズ成分のみが含まれているので、比較回路５７において平滑化フィルタ５５の出力のみに含まれている被写体を抽出する。

このようにして抽出された既定帯域の被写体成分の信号を、カメラ信号処理回路４へ出力する。

図４は、本第１の実施形態における上記構成を有する撮像装置の動作を説明するためのフローチャートである。

入力キー１６により主マイコン１５に命令を送り撮影動作を開始すると、ステップＳ１１において上述したフォーカシング処理を行う。次に、ステップＳ１２で動き検出回路６において、撮影した画像における被写体の動きのレベルを検出する。ここでは一例として、前フィールドもしくは前フレームの画像と、新たにＡＦＥ回路３から出力された現フィールドまたは現フレームの画像間の動き量を検出する。この動き量を主マイコン１５に送り、予め決められた既定値以下（即ち、予め設定されたレベル以下）であるかどうかを判断する（ステップＳ１３）。

動き量が既定値を超える場合、即ち、画像全体の動きが多い場合は通常撮影を継続し、通常画メモリ５１に画像を取り込み、随時更新していく（ステップＳ１４）。一方、動き量が既定値以下である場合、即ち画像全体の動きが少ない場合はステップＳ１５でデフォーカシングを行う。このとき、主マイコン１５は、レンズマイコン１４に非合焦状態にする命令を送り、レンズマイコン１４では、ＡＦ前処理回路７からのデータを参照しつつ、フォーカスモータ１２を駆動して画像をボケさせる。この非合焦の状態で得られる画像（以下、「デフォーカス画」と呼ぶ。）をデフォーカス画メモリ５２に取り込む（ステップＳ１６）。

画像間の動きが少ないときにデフォーカス画を撮るのは、被写体がブレないので正確な被写体抽出が期待できるからである。

ステップＳ１７において、被写体検出回路５はデフォーカス画メモリ５２のデータと１フィールドもしくは１フレーム前の通常画メモリ５１のデータを上述の動作により比較し、被写体を検出する。検出結果は、図２に示すカメラ信号処理回路４の乗算器４４及び第１の輝度信号処理回路４２に送られる。カメラ信号処理回路４は、検出した被写体の高域成分を強調するために、乗算器４４のゲインを上げると共に、被写体以外の部分は固定ノイズ成分を抑圧するため、第１の輝度信号処理回路４２のフィルタの特性や出力ゲインを制御する。なお、この被写体判別動作はデフォーカス画を取り込んだときのみ行うが、被写体判別の結果は、通常画を取り込んだときに利用する。

なお、図示しないが、被写体判別の結果に応じて、第２の輝度信号処理回路４６及び色信号処理回路４７を制御するようにしてもよい。

上記処理は動画撮影時に行われるが、通常行われる動作撮影のように撮影した画像を逐次表示していくと、デフォーカス画がモニタ１１に表示されることになってしまう。

そこで、本第１の実施形態では、デフォーカス画を撮影したフィールドもしくはフレームにおいては、メモリ８に格納した１フィールドもしくは１フレーム前の画像を選択器９で選択する（ステップＳ１８）。これにより、デフォーカス画をモニタ１１に表示することを回避できる。ステップＳ１９では、選択器９で選択した画像を表示する。ステップＳ２０で入力キー１６から終了が指示されたかを判断し、終了であればこの処理を終了し、そうでなければステップＳ１１に戻り、動作を継続する。

図５は、図４を参照して上述した動作において、動き量が小さい場合を含むＡＦＥ３の出力と選択器９の出力の関係を示す概念図である。図５に示すように、フィールドまたはフレーム間の動きが小さい場合に、次のフィールドまたはフレームでデフォーカス画を撮影する。そして、デフォーカス画を撮影したフィールドまたはフレームでは、１フィールドまたは１フレーム前に撮影し、メモリ８に記憶された通常画を選択する。

上記の通り本第１の実施形態によれば、デフォーカス画を直前の通常画で置換することにより、デフォーカス画を用いて通常画から被写体を抽出する場合であっても、表示する画像の画質の低下を抑えることが可能になる。

なお、本第１の実施形態では、デフォーカス画と通常画の比較により被写体を抽出しているが、デフォーカス画の代わりに、可変頂角プリズム（ＶＡＰ）の制御により意図的に手ぶれを有する画像を用いても差し支えない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態における撮像装置の構成は、第１の実施形態で図１〜図３を参照して説明したものと同様であるので、ここでは説明を省略する。以下、本第２の実施形態における撮像装置の動作について図６を参照して説明するが、図４と同様の処理には同じ参照番号を付し、説明を省略する。

ステップＳ１７において被写体を検出すると、検出結果はカメラ信号処理回路４の制御に用いられる。しかし、第１の実施形態で説明したように、動画撮影にこの被写体判別法をそのまま適用すると、デフォーカス画がモニタ１１に表示されることになってしまう。

そこで、本第２の実施形態では、ステップＳ２１において、前フィールドもしくは前フレームの画像と、新たにＡＦＥ回路３から出力された画像間の動き量（動きのレベル）を、画素毎、あるいはブロック毎に動き検出回路６で検出する。そして、その動き量を主マイコン１５で判断する（ステップＳ２２）。そして、各画素または各ブロックにおける動き量が既定値以下（即ち、予め設定されたレベル以下）である場合、即ち各画素もしくは各ブロックの動き量が少ない場合は、選択器９は、前フィールドもしくは前フレームの通常画を選択する（ステップＳ２３）。一方、動き量が既定値以上である場合、即ち各画素もしくは各ブロックにおける動き量が多い場合は、前フィールドもしくは前フレームの通常画で置き換えると、動きが粗くぎこちなくなる。そのため、選択器９は現フィールド（フレーム）のデフォーカス画を選択する（ステップＳ２４）。

このように、動きの多い部分では一瞬のボケは目立たないので、時間解像度を優先することで、見た目により自然な画像を表示することが可能となる。

なお、ステップＳ２２において、画素毎あるいはブロック毎のフィールド又はフレーム間の動き量を求める際、デフォーカス画を用いると正確な動き量が求められないことがある。従って、直前のフィールド又はフレームの通常画と、更に１フィールド又は１フレーム前の通常画との間の動き量を検出してもよい。その場合、動き検出部６は必要なフィールドまたはフレーム数の画像を記憶可能な容量を有するメモリを用いるようにする。

図７は、図６を参照して上述した動作において、動き量が小さい場合を含むＡＦＥ３の出力と選択器９の出力の関係を示す概念図である。図７に示すように、フィールドまたはフレーム間の動きが小さい場合に、次のフィールドまたはフレームでデフォーカス画を撮影する。そして、デフォーカス画と１フィールドまたは１フレーム前に撮影された通常画間の動きを画素またはブロックごとに比較し、動きが既定値よりも小さい場合には１フィールドまたは１フレーム前に撮影し、メモリ８に記憶された通常画を選択する。また、動きが既定値よりも大きい場合には、デフォーカス画を選択する。

上記の通り本第２の実施形態によれば、デフォーカス画を撮影したとき、注目部分の動きが大きければ、デフォーカス画を選択して時間解像度を優先する。また、注目部分の動きが小さければ、前フィールド（フレーム）の通常画を選択して、見た目の合焦感を優先する。これにより、デフォーカス画を用いて通常画から被写体を抽出する場合であっても、見易い画像を表示することが可能になる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

本第３の実施形態における撮像装置の構成は、第１の実施形態で図１〜図３を参照して説明したものと同様であるので、ここでは説明を省略する。以下、本第３の実施形態における撮像装置の動作について図８を参照して説明する。

入力キー１６により主マイコン１５に命令を送り撮影動作を開始すると、ステップＳ３１において上述したフォーカシング処理を行う。次に、ステップＳ３２でＡＦ前処理回路７から主マイコン１５にＡＦ評価値を取り込み、合焦かどうかを判断する（ステップＳ３３）。

合焦状態なら、ステップＳ３４で通常の撮影を行い、通常画メモリ５１に画像を取り込む。合焦していないピンぼけの状態なら、ステップＳ３５でデフォーカス画として、デフォーカス画メモリ５２に画像を取り込む。次に、ステップＳ３６において、当該デフォーカス画と、１フィールドまたは１フレーム前の通常画を上述の動作により比較し、被写体判別を行う。

このような本第３の実施形態では、能動的にデフォーカス状態を作り出さずに、通常撮影の結果としてピントが合わない画像をデフォーカス画として扱い、被写体判別に用いる点で第１及び第２の実施形態と異なる。

一方、第１及び第２の実施形態と同様に動画撮影にこの被写体判別法をそのまま適用すると、デフォーカス画をモニタ１１に表示することになってしまう。

本第３の実施形態では、ステップＳ３７において、合焦状態であった前フィールドもしくは前フレームのＡＦ評価値に応じて表示する画像を切り赤得る。

ＡＦ評価値を画素毎、あるいはブロック毎に検出して主マイコン１５で判断する（ステップＳ３８）。そして、各画素もしくは各ブロックが合焦状態であれば、ボケた画像が表示されてしまうのを回避するため、１フィールドもしくは１フレーム前の通常画を選択する（ステップＳ３９）。各画素もしくは各ブロックが合焦状態でなければ、ボケた画像でも違和感が無いので、選択器９は時間解像度を優先して現フィールドもしくは現フレームのデフォーカス画を選択する（ステップＳ４０）。

ステップＳ４１では選択器９で選択した画像を表示する。ステップＳ４２で入力キー１６から終了が指示されたかを判断し、終了であれば当該処理を終了し、そうでなければ、ステップＳ３１に戻り、動作を継続する。

図８を参照して上述した動作においては、上記第２の実施形態で説明した図７と同様に選択器９の出力が変化する。ただし、本第３の実施形態では、ＡＦＥ３の出力がデフォーカス画である場合には、デフォーカス画の１フィールドまたは１フレーム前に撮影された通常画の注目画素または注目ブロックの合焦状態に応じて画像を選択するところが、第２の実施形態と異なる。

上記の通り本第３の実施形態では、能動的にデフォーカス状態を作り出さずに、通常撮影の結果としてピントが合っていない画像をデフォーカス画として扱い、被写体判別に用いるので、フォーカスレンズの駆動を簡略化することができる。

また、デフォーカス画を撮影したとき、その直前の通常画で注目部分が合焦状態であれば、急にボケると違和感が生じるので、前フィールドまたは前フレームの通常画で置き換える。一方、直前でも注目部分がボケているのであれば、現フィールドまたは現フレームのデフォーカス画を選択して時間解像度を損なわないようにする。これにより、動画撮影においてデフォーカス画を用いて通常画から被写体を抽出する場合であっても、表示する画像の画質の低下を抑えることが可能になる。

なお、本第３の実施形態における、合焦状態に応じて選択器９で通常画とデフォーカス画を切り換える方法は、第１及び第２の実施形態に既述された能動的にデフォーカス画を生成する方法で用いることも可能である。即ち、図８のステップＳ３１〜Ｓ３５の処理を、図４及び図６におけるステップＳ１１〜Ｓ１６までの処理に置き換えることができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

本第４の実施形態における撮像装置の構成は、第１の実施形態で図１〜図３を参照して説明したものと同様であるので、ここでは説明を省略する。以下、本第４の実施形態における撮像装置の動作について図９を参照して説明するが、図４と同様の処理には同じ参照番号を付し、説明を省略する。

ステップＳ１４またはステップＳ１５で取り込んだ通常画またはデフォーカス画を基にして、ステップＳ５７で被写体検出回路５により被写体抽出処理を行う。ステップＳ１４で通常画を撮像した場合は、公知の方法で被写体抽出処理を行い、ステップＳ１５でデフォーカス画を撮像した場合には、デフォーカス画と１フィールドまたは１フレーム前の通常画を用いて上述した方法により被写体抽出処理を行う。

次に、ステップＳ５７における被写体検出回路５の検出結果をカメラ信号処理回路４の制御に用いて、抽出した被写体に最適な処理を行う（ステップＳ５８）。ステップＳ５９では、ステップＳ５８において動き検出回路６で検出した被写体の動きを追尾する。これにより、画面の動きが小さいときに抽出した被写体に対して、継続的に最適な信号処理を施すことができる。

信号処理としては、例えば、被写体の検出結果を、図２の乗算器４４、第１の輝度信号処理回路４２に送り、検出した被写体の高域成分を強調するために、乗算器４４のゲインを上げる。また、被写体以外の部分はノイズ成分を抑圧するため、第１の輝度信号処理回路４２のフィルタの特性や出力ゲインを制御する。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

本第５の実施形態における撮像装置の構成は、第１の実施形態で図１〜図３を参照して説明したものと同様であるので、ここでは説明を省略する。

図１０は、本第５の実施形態における撮像装置の動作を示すフローチャートである。図１０は、上記第３の実施形態において説明した図８のステップＳ３１〜Ｓ３５及びＳ３７〜Ｓ４０の処理と、上記第４の実施形態において説明した図９のステップＳ５７〜Ｓ５９の処理を組み合わせたものである。従って、図８及び図９と同じ処理にはそれぞれ同じ参照番号を付し、説明を省略する。

このように処理を行うことにより、能動的にデフォーカス状態を作り出さずに、通常撮影の結果としてピントが合っていない画像をデフォーカス画として扱い、被写体判別に用いるので、フォーカスレンズの駆動を簡略化することができる。更に、画面の動きが小さいときに抽出した被写体に対して、継続的に最適な信号処理を施すことが可能になる。

本発明の実施の形態における撮像素子の構成を示すブロック図である。 本発明の実施の形態におけるカメラ信号処理回路の内部構成を示すブロック図である。 本発明の実施の形態における被写体検出回路の内部構成を示すブロック図である。 本発明の第１の実施形態における撮像装置の動作を示すフローチャートである。 本発明の第１の実施形態における画像選択処理を説明する為の概念図である。 本発明の第２の実施形態における撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態おける画像選択処理を説明する為の概念図である。 本発明の第３の実施形態における撮像装置の動作を示すフローチャートである。 本発明の第４の実施形態における被写体検出動作を示すフローチャートである。 本発明の第５の実施形態における撮像装置の動作を示すフローチャートである。

符号の説明

１ レンズ
２ 撮像素子
３ アナログフロントエンド
４ カメラ信号処理回路
５ 被写体検出回路
６ 動き検出回路
７ ＡＦ前処理回路
８ メモリ
９ 選択器
１０ Ｄ／Ａ変換器
１１ モニタ
１２ フォーカスモータ
１３ フォーカスエンコーダ
１４ レンズマイコン
１５ 主マイコン
１６ 入力キー
１７ データバス
４１ 輝度・色信号分離回路
４２ 第１の輝度信号処理回路
４３ 高域通過フィルタ
４４ 乗算器
４５ 加算器
４６ 第２の輝度信号処理回路
４７ 色信号処理回路
４８ ＹＣ多重回路
５０ スイッチ
５１ 通常画メモリ
５２ デフォーカス画メモリ
５３、５４ 帯域通過フィルタ
５５、５６ 平滑化フィルタ
５７ 比較回路

Claims (16)

1. 光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な撮像装置であって、
   前記撮像手段により撮像される画像の状態を変更可能な光学手段と、
   前記光学手段により第１の状態で動画を撮影中に、撮像した画像における動きが予め設定されたレベル以下であるかどうかを判定する動き判定手段と、
   前記動きが予め設定されたレベル以下である場合に、前記光学手段を制御して、前記第１の状態と異なる第２の状態の画像を撮像するように制御する撮像制御手段と、
   前記撮像した第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出手段と、
   前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換手段と
   を有することを特徴とする撮像装置。
2. 前記光学手段はフォーカシングレンズであって、前記第１の状態は合焦状態であり、前記第２の状態は非合焦状態であることを特徴とする請求項１に記載の撮像装置。
3. 前記光学手段は入射光の光路を光軸に直交する方向にシフトする光路シフト手段であって、前記第１の状態はぶれが小さい状態であり、前記第２の状態はぶれが大きい状態であることを特徴とする請求項１に記載の撮像装置。
4. 光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な撮像装置であって、
   前記撮像手段により撮像された画像の合焦状態を検出する合焦状態検出手段と、
   前記合焦状態検出手段による検出の結果、前記画像の合焦状態が第１の状態から前記第１の状態と異なる第２の状態に変化した場合に、前記第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出手段と、
   前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換手段と
   を有することを特徴とする撮像装置。
5. 前記第１の状態は合焦状態であり、前記第２の状態は非合焦状態であることを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段により撮像された画像に予め設定された画像処理を施す画像処理手段と、
   前記検出手段による主被写体の検出結果に応じて、前記画像処理手段による画像処理のパラメータを設定する設定手段と
   を更に有することを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記第２の状態の画像及び前記第２の状態の画像の直前に撮影された第１の状態の画像間における注目画素または注目ブロックにおける動きのレベルを判定する手段を更に有し、
   前記置換手段は、前記動きのレベルが予め設定されたレベルより小さい場合に、前記置き換え処理を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
8. 前記第２の状態の画像の直前に撮影された第１の状態の画像の注目画素または注目ブロックが合焦状態か否かを判定する手段を更に有し、
   前記置換手段は、前記合焦状態である場合に、前記置き換え処理を行うことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
9. 光電変換により画像を撮像する撮像手段を用いて動画を撮影可能であって、前記撮像手段により撮像される画像の状態を変更可能な光学手段を有する撮像装置の制御方法であって、
   前記光学手段により第１の状態で動画を撮影中に、撮像した画像における動きが予め設定されたレベル以下であるかどうかを判定する動き判定ステップと、
   前記動きが予め設定されたレベル以下である場合に、前記光学手段を制御して、前記第１の状態と異なる第２の状態の画像を撮像する撮像ステップと、
   前記撮像した第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出ステップと、
   前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換ステップと
   を有することを特徴とする制御方法。
10. 前記光学手段はフォーカシングレンズであって、前記第１の状態は合焦状態であり、前記第２の状態は非合焦状態であることを特徴とする請求項９に記載の制御方法。
11. 前記光学手段は入射光の光路を光軸に直交する方向にシフトする光路シフト手段であって、前記第１の状態はぶれが小さい状態であり、前記第２の状態はぶれが大きい状態であることを特徴とする請求項９に記載の制御方法。
12. 光電変換により画像を撮像する撮像手段を用いて動画を撮影可能な撮像装置の制御方法であって、
    前記撮像手段により撮像された画像の合焦状態を検出する合焦状態検出ステップと、
    前記合焦状態検出ステップによる検出の結果、前記画像の合焦状態が第１の状態から前記第１の状態と異なる第２の状態に変化した場合に、前記第２の状態の画像と、当該画像の直前に撮像された第１の状態の画像とを比較して、主被写体を検出する検出ステップと、
    前記第２の状態の画像を当該画像の直前に撮像された第１の状態の画像に置き換える置換ステップと
    を有することを特徴とする制御方法。
13. 前記第１の状態は合焦状態であり、前記第２の状態は非合焦状態であることを特徴とする請求項１２に記載の制御方法。
14. 前記撮像手段により撮像された画像に予め設定された画像処理を施す画像処理ステップと、
    前記検出ステップにおける主被写体の検出結果に応じて、前記画像処理ステップで行われる画像処理のパラメータを設定する設定ステップと
    を更に有することを特徴とする請求項９乃至１３のいずれかに記載の制御方法。
15. 前記第２の状態の画像及び前記第２の状態の画像の直前に撮影された第１の状態の画像間における注目画素または注目ブロックにおける動きのレベルを判定するステップを更に有し、
    前記動きのレベルが予め設定されたレベルより小さい場合に、前記置換ステップを実行することを特徴とする請求項９乃至１４のいずれかに記載の制御方法。
16. 前記第２の状態の画像の直前に撮影された第１の状態の画像の注目画素または注目ブロックが合焦状態か否かを判定するステップを更に有し、
    前記合焦状態が予め設定された合焦状態よりも高い場合に、前記置換ステップを実行することを特徴とする請求項９乃至１４のいずれかに記載の制御方法。

Images