JP2009302830A - 撮像装置 - Google Patents

Abstract

【課題】顔認識機能を利用して静止画用の切り出しを行う場合も、動画用の切り出し領域に制限されることなく、撮像素子の全有効画素からのデータに対して顔認識を行うことができる撮像装置を提供する。
【解決手段】撮像装置は、撮像素子３０２からの映像データに対して、動画用の切り出しを行う映像信号処理手段３０４と、撮像素子３０２からの映像データに対して、静止画用の切り出しを行う画像信号処理手段３１１とを具備し、動画記録中に静止画同時記録を行う際に、映像信号処理手段３０４による動画用の切り出し処理と、画像信号処理手段３１１による静止画用の切り出し処理とを同一の映像データに対して異なる切り出し位置で並列に行う。
【選択図】図１

Description

本発明は、動画記録中に静止画を記録できる機能を持つデジタルビデオカメラ等の撮像装置に関する。

従来の撮像装置において、被写体の顔を認識し、認識部分に自動でフォーカスを合わせる機能を持つものがある。

例えば、撮像した被写体の顔周辺画像から顔の大きさを検出し、画角における顔の占める割合が予め設定された大きさになるよう前記顔周辺画像に対して拡大・縮小処理を行うことで、適正な顔の大きさの画像を記録する撮像装置が提案されている（特許文献１）。

一方、図１０は、従来の手ぶれ補正機能を備えたデジタルビデオカメラを説明するためのブロック図である。

このデジタルビデオカメラは、レンズ２０１を介して撮像素子２０２に結像した光学像を、該撮像素子２０２が映像データに変換する。

防振処理手段２０３は、搭載したジャイロの出力および撮像素子２０２から出力された映像データを基に、画角のぶれを検出し、検出した画角のぶれに応じて映像データの切り出し位置を設定する。

映像信号処理手段２０４は、撮像素子２０２から出力された映像データを規格化された映像信号に変換し、防振処理手段２０３により設定された切り出し位置から動画用の切り出しを行う。

動画信号処理手段２０５は、映像信号処理手段２０４にて切り出された映像信号に対してデジタルビデオテープ等の動画記録媒体２０６に記録するのに適した信号に変換して、動画記録媒体２０６に記録する。

静止画信号処理手段２０７は、映像信号処理手段２０４にて切り出された映像信号を基に静止画像を生成して、ＳＤカード等の静止画記録媒体２０８に記録する。

図１１は、図１０に示す従来のデジタルビデオカメラにおける撮像素子の画角、静止画切り出し領域、及び切り出された静止画の画角の関係を説明するための説明図である。

１０１は撮像素子２０２の全画素領域から出力された映像データであり、１０２が検出された画角のぶれに応じて設定された切り出し位置である。そして、１０３が設定された切り出し位置１０２に従って実際に切り出された映像信号である。
特開平１１−８４４８１号公報

しかし、上記特許文献１では、動画記録中に静止画を同時に記録する場合に、次のような問題がある。

即ち、動画記録中に静止画を同時記録する場合は、撮像素子から出力された映像データに対して、画角のぶれを相殺するための切り出しを行い、この切り出された映像データから動画および静止画が生成される。そのため、前後のフレーム映像との画角のずれを考慮する必要のない静止画においても、画角のぶれに応じて映像信号が切り出されてしまう。そのため、検出した顔が最適な位置となるように静止画の切り出しを行おうとしても、すでに画角のぶれに応じて映像信号が切り出されてしまっているために、所望の構図となる静止画の切り出しができなくなる場合がある。

また、動画記録中に静止画を同時記録する場合は、顔認識機能を用いて被写体の顔を拡大した静止画を記録する際にも、動画用の切り出しが施された映像データから静止画を切り出すため、撮像素子の全有効画素からのデータに対して顔認識を行うことができない。例えば、全有効画素の映像信号からは顔を検出できる場合であっても、手ぶれ補正のために映像信号を切り出したことによって、顔の一部が欠けてしまい、顔が検出できなくなってしまうことが考えられる。

そこで、本発明は、顔認識機能を利用して静止画用の切り出しを行う場合も、動画用の切り出し領域に制限されることなく、静止画に好適な映像信号の切り出しを行うことができる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、映像データを出力する撮像素子と、該撮像素子から出力された映像データに対して動画用の切り出しを行う映像信号処理手段と、前記撮像素子から出力された映像データに対して静止画用の切り出しを行う画像信号処理手段と、を備え、動画の記録中に静止画の記録を行う際に、前記映像信号処理手段による動画用の切り出し処理と、前記画像信号処理手段による静止画用の切り出し処理とを同一の映像データに対して異なる切り出し位置で並列に行う、ことを特徴とする。

本発明によれば、顔認識機能を利用して静止画用の切り出しを行う場合も、動画用の切り出し領域に制限されることなく、静止画に好適な映像信号の切り出しを行うことができる。

以下、本発明の実施形態を図面を参照して説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラを説明するためのブロック図である。

本実施形態のデジタルビデオカメラは、図１に示すように、レンズ３０１を介して撮像素子３０２に結像した光学像が、該撮像素子３０２により映像データに変換される。

防振処理手段３０３は、デジタルビデオカメラに搭載されたジャイロの出力を基に、画角のぶれを検出し、検出した画角のぶれに応じて動画の切り出し位置を設定する。

映像信号処理手段３０４は、撮像素子３０２から出力された映像データを規格化された映像信号に変換し、防振処理手段３０３により設定された動画用切り出し位置から動画用の切り出しを行う。

動画信号処理手段３０５は、映像信号処理手段３０４から出力された映像信号に対してデジタルビデオテープ等の動画記録媒体３０６に記録するのに適した信号に変換して、動画記録媒体３０６に記録する。

顔認識手段３０７は、撮像素子３０２から出力された、すなわち、映像信号処理手段３０４によって切り出しが行われる前の映像データを基に、被写体の顔位置を検出する。ズーム倍率制御手段３０９は、静止画の画角内における被写体の顔の大きさ（画角内で顔が占める面積の割合）を設定する。ズーム倍率入力装置３１０は、ズーム倍率を撮影者が入力するための装置である。

デジタルズーム手段３０８は、撮像素子３０２から出力された映像データを、顔認識手段３０７で検出された被写体の顔の位置を中心として拡大する際のズーム倍率を決定する。

画像信号処理手段３１１は、撮像素子３０２から出力された映像データに対して、顔認識手段３０７で検出された被写体の顔の位置情報と、デジタルズーム手段３０８で決定されたズーム倍率とを基に、静止画用の切り出しを行う。

画素数カウント手段３１２は、画像信号処理手段３１１から出力された映像データの画素数をカウントする。静止画信号処理手段３１３は、画像信号処理手段３１１から出力された映像信号を基に静止画像を生成して、ＳＤカード等の静止画記録媒体３１４に記録する。

上記構成のデジタルビデオカメラにおける動画記録中の静止画同時記録では、撮像素子３０２から、動画用の切り出しを行う映像信号処理手段３０４と、静止画用の切り出しを行う画像信号処理手段３１１に対して、映像データを並列に出力する。これにより、映像信号処理手段３０４での動画用の切り出し処理と、画像信号処理手段３１１での静止画用の切り出し処理とを、同一の映像データに対して異なる切り出し位置にて、並列して行うことができる。

次に、図２及び図３を参照して、映像信号処理手段３０４における動画用の切り出し処理（デジタルビデオカメラの手ぶれ補正を目的とする処理）について説明する。

図２は映像信号処理手段３０４における動画用の切り出し処理について説明するためのフローチャート図、図３は映像信号処理手段３０４における動画用の切り出し処理を模式的に示す図である。なお、図２での各処理は、ＲＯＭやハードディスク等に記憶されたプログラムがＲＡＭにロードされて、ＣＰＵに含まれる映像信号処理手段３０４により実行される。

図２において、ステップＳ７０１では、映像信号処理手段３０４は、撮像素子３０２から出力された映像データを取得し、ステップＳ７０２に進む。

ステップＳ７０２では、映像信号処理手段３０４は、防振処理手段３０３の出力から得られた揺れデータ積分値による、手ぶれ補正値を計算する。ここで、本実施形態では、防振処理手段３０３は、揺れを検出するジャイロ、ジャイロ出力の直流成分をカットするＤＣカット用ＨＰＦ、ＤＣカット用ＨＰＦの出力をデジタル変換するＡＤコンバータから構成される。

防振処理手段３０３は、ＤＣカット用ＨＰＦがジャイロの出力のＤＣ成分をカットし、ＡＤコンバータがその出力に対してＡＤ変換を行い、映像信号処理手段３０４に出力する。そして、映像信号処理手段３０４は、防振処理手段３０３から出力されたデジタルデータを積分することで、手ぶれ補正値を算出し、ステップＳ７０３に進む。

なお、図３（ａ）において、符号７０５は撮像素子３０２から出力される映像データの全画素領域、符号７０６は前回の動画の切り出し位置、符号７０４はステップＳ７０２で算出された手ぶれ補正値を示す。

次に、ステップＳ７０３では、映像信号処理手段３０４は、ステップＳ７０２で算出した手ぶれ補正値に応じて動画の切り出しを行う。具体的には、映像信号処理手段３０４は、手ぶれ補正値を撮像素子３０２の出力データにおける位置情報に換算することで、手ぶれ補正値に応じた位置からの動画の切り出しを行う。

なお、図３（ｂ）において、符号７０７は手ぶれ補正値から換算した位置情報、符号７０９は前回の動画の切り出し位置、符号７０８は位置情報７０７から設定された動画用の切り出し位置を示す。

ここではジャイロ出力から手ぶれ補正量を演算する例をあげて説明を行ったが、ジャイロを用いずに、映像データのみから手ぶれ補正量を求めてもよい。例えば、映像データの連続するフレームデータをそれぞれ複数ブロックに分割し、フレームデータ間で比較を行うことで、分割したブロック毎に動きベクトルを求める。そして、ブロックの位置に応じて重み付けを行って、それぞれのブロックの動きベクトルを加算することで、手ぶれ補正量を求めることもできる。

次に、図４及び図５を参照して、画像信号処理手段３１１における静止画用の切り出し処理について説明する。図４は画像信号処理手段３１１における静止画用の切り出し処理について説明するためのフローチャート図、図５は画像信号処理手段３１１における静止画用の切り出し処理を模式的に示す図である。なお、図４での各処理は、ＲＯＭやハードディスク等に記憶されたプログラムがＲＡＭにロードされて、ＣＰＵに含まれる画像信号処理手段３１１により実行される。

図４において、ステップＳ８０１では、顔認識手段３０７と画像信号処理手段３１１は、撮像素子３０２から出力された映像データを取得し、ステップＳ８０２に進む。

ステップＳ８０２では、顔認識手段３０７は、ステップＳ８０１で取得した映像データを基に、顔の領域及び顔の中心位置を検出する。なお、顔の検出方法は、特に限定されず、例えば、エッジ検出や形状パターン検出による顔検出方法、色相抽出や肌色抽出による顔検出方法を用いることができる。

また、候補領域を小領域に分割し、該分割領域毎の特徴点を予め設定した顔パターンと照合して、その確度から顔領域を抽出する方法（特開２０００−１３７７８８号公報参照）も用いることができる。

更には、顔の候補領域を抽出し、各候補領域の重複度から確度を評価して顔領域を抽出する方法（特開２０００−１４９０１８号公報参照）を用いることができる。その他、顔の候補領域を抽出して、各候補領域の濃度が閾値に対応する値である場合に、胴体候補領域を抽出し、顔及び胴体候補領域の濃度や彩度コントラストを用いて角度を評価して、顔領域を抽出する方法（特開２０００−１４８９８０号公報参照）等がある。なお、顔の中心位置の検出処理は、上記方法で検出された顔の領域における中心位置の座標データである。図５（ａ）の符号８０５は顔認識手段３０７にて検出された顔の領域であり、図５（ｂ）の符号８０６は顔認識手段３０７にて検出された顔の中心位置を示す。

次に、ステップＳ８０３では、画像信号処理手段３１１は、ズーム倍率（切り出し領域における顔領域の倍率）を取得し、ステップＳ８０４に進む。ズーム倍率は、静止画切り出し領域と顔の領域との面積の割合を示す倍率で、本実施形態では予めその値が設定されているものとする。図５（ｃ）の符号８０８は顔認識手段３０７にて検出された顔の領域の縦方向長さを示している。この顔の領域の縦方向長さがｘで、設定されたズーム倍率が２倍であった場合、符号８０７で示される切り出し予定位置の縦方向長さ８０９は２ｘとなる。

ステップＳ８０４では、画像信号処理手段３１１は、顔領域とズーム倍率とから算出された大きさの切り出し領域を、図５（ｂ）に示した顔の中心位置を基準（中心）として設定し、ステップＳ８０１で取得した映像データから静止画用の切り出しを行う。図５（ｄ）の符号８１０は、ステップＳ８０４で設定された切り出し位置を示す。

図６は、本実施形態における動画用の切り出し領域と静止画用の切り出し領域を比較するための図である。この図６において、符号１０４は、撮像素子３０２から出力される全画素領域の映像データ、符号１０５は、画角のぶれに応じて設定された動画用の切り出しを行う領域である。従来技術のように、動画用の切り出し後に静止画用の切り出しを行うのであれば、この領域１０５内から静止画用の切り出しを行う必要があった。

これに対し、本実施形態では、静止画用の切り出し処理と動画用の切り出し処理とを並列に行い、全画素領域１０４から被写体の顔位置を検出して、被写体が中央に位置するような静止画用の切り出しを行うことが可能となる。即ち、動画用の切り出し領域１０５の外側に位置する領域を含めて、静止画用の切り出し領域１０６を設定することが可能となる。なお、図６において符号１０８は顔認識手段３０７で認識された被写体の顔位置、符号１０９は切り出し領域１０６の映像信号から生成された静止画である。さらに、符号１１０は、ズーム倍率制御手段にて符号１０９の静止画よりも高いズーム倍率が設定された場合の静止画を示す。

以上説明したように、本実施形態では、撮像素子３０２の出力する映像データに対して、動画用の切り出し処理と、静止画用の切り出し処理を並列で行うことができる。これにより、顔認識機能を利用して静止画用の切り出しを行う場合も、動画用の切り出し領域に制限されることなく、静止画に好適な切り出し領域を設定することが可能となる。

（第２の実施形態）
次に、図７を参照して、本発明の撮像装置の第２の実施形態であるデジタルビデオカメラについて説明する。なお、本実施形態のデジタルビデオカメラの装置構成は、上記第１の実施形態と同様であるため、符号を流用して説明する。

本実施形態では、顔認識手段３０７で複数の被写体の顔が検出された場合、検出された顔の数だけ被写体の顔の位置情報をデジタルズーム手段３０８に出力する。デジタルズーム手段３０８は、取得した顔の位置情報の数だけのズーム倍率を決定して画像信号処理手段３１１に出力する。画像信号処理手段３１１は、取得した複数の顔の位置情報とズーム倍率に応じて、静止画の切り出しを行う。これに対し、動画では、第１の実施形態と同様に、画角のぶれに応じて１つの切り出し領域のみが設定される。

図７に、複数の被写体の顔が検出された場合の静止画用の切り出し領域を示す。図７において、符号４０１は撮像素子３０２から出力される全画素領域の映像データ、４０２，４０３，４０４は検出されたそれぞれの被写体の顔に対する静止画の切り出し領域の例を示す。

本実施形態では、複数の被写体の顔が検出された場合、検出された顔の数の静止画を記録することが可能となるため、撮影者にとって被写体の顔の静止画を撮り逃すことを防止することができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図８及び図９を参照して、本発明の撮像装置の第３の実施形態であるデジタルビデオカメラについて説明する。なお、本実施形態のデジタルビデオカメラの装置構成は、上記第１の実施形態と同様であるため、符号を流用して説明する。

図８は、デジタルズーム手段３０８でのズーム倍率が、ズーム倍率入力装置３１０を介して撮影者によって設定される場合の動作を説明するためのフローチャート図である。

図９は、ズーム倍率入力装置３１０を介してズーム倍率を設定する場合の不図示の表示部への表示例を示す図である。なお、図８での各処理は、ＲＯＭやハードディスク等に記憶されたプログラムがＲＡＭにロードされて、ＣＰＵにより実行される。ここで、ＣＰＵには、顔認識手段３０７、デジタルズーム手段３０８、ズーム倍率制御手段３０９、画像信号処理手段３１１、画素数カウント手段３１２、静止画信号処理手段３１３等が含まれるものとする。

図８において、ステップＳ５０１では、撮影者によってズーム倍率入力装置３１０によってズーム倍率が設定されると、ズーム倍率制御手段３０９は、設定されたズーム倍率情報をデジタルズーム手段３０８に出力する。

ここで、図９を参照して、ズーム倍率入力装置３１０からズーム倍率を入力してズーム倍率を変化させると、静止画画角内の被写体の顔の大きさを表すアイコン６１０の大きさが変化し、静止画画角内での被写体の顔の大きさを設定することができる。

図９において、符号６０２はデフォルトの静止画画角と顔の大きさとの割合を示す表示である。また、符号６０３はズーム倍率入力装置３１０で静止画画角内の顔の大きさの割合を小さくした場合の表示、符号６０４はズーム倍率入力装置３１０で静止画画角内の顔の大きさの割合を大きくした場合の表示である。

次に、ステップＳ５０２では、動画記録中に静止画の同時記録が行われる場合、顔認識手段３０７から被写体の顔が中央に配置される位置情報がデジタルズーム手段３０８に出力される。

デジタルズーム手段３０８は、顔認識手段３０７から出力された位置情報とステップＳ５０１で設定されたズーム倍率情報とに応じたズーム倍率を決定する。画像信号処理手段３１１は、撮像素子３０２から出力された映像データに対して、顔認識手段３０７での被写体の顔の位置情報と、デジタルズーム手段３０８で決定されたズーム倍率とを基に、静止画用の切り出しを行う。

次に、ステップＳ５０３では、画素数カウント手段３１２は、ステップＳ５０２で切り出された静止画の画素数をカウントして、カウントされた画素数が目標値を超えているか否かを判断する。そして、カウントされた画素数が目標値未満の場合、ステップＳ５０４に進み、カウントされた画素数が目標値を超える場合、ステップＳ５０５に進む。

ステップＳ５０４では、画素数カウント手段３１２は、ズーム倍率制御手段３０９に対してズーム倍率を下げるための信号を出力する（リミッタ機能）。これは、カウントされた画素数が目標値未満である場合には、切り出されて拡大された画像の解像度が粗くて画質が低いことが想定されるため、解像度を高めるためにズーム倍率を下げる処理を行う。そして、前記信号を取得したズーム倍率制御手段３０９は、ズーム倍率入力装置３１０において入力されたズーム倍率情報より拡大率を低下させたズーム倍率情報をデジタルズーム手段３０８に出力する。

デジタルズーム手段３０８は、顔認識手段３０７から出力された位置情報と拡大率を低下させたズーム倍率情報とに応じたズーム倍率を決定し、画像信号処理手段３１１は、上記同様にして、再度静止画の切り出しを行い、ステップＳ５０３に戻る。

一方、ステップＳ５０３でカウントされた画素数が目標値を超える場合は、ステップＳ５０５において、静止画信号処理手段３１３は、画像信号処理手段３１１で切り出された領域の映像信号を基に静止画像を生成して、静止画記録媒体３１４に記録する。このときに静止画記録媒体３１４に記録される静止画の一例を図６の符号１１０に示す。

以上説明したように、本実施形態では、従来撮影者には設定できなかった静止画画角における被写体の顔の大きさをズーム倍率入力装置３１０から容易に設定することが可能となる。

また、切り出された静止画の画素数が目標値未満の場合は、ズーム倍率入力装置３１０において入力されたズーム倍率情報より拡大率を低下させたズーム倍率情報を用いて静止画の切り出しを行うため、デジタルズームによる画質の低下を防ぐことができる。その他の構成及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラを説明するためのブロック図である。 映像信号処理手段における動画用の切り出し処理について説明するためのフローチャート図である。 映像信号処理手段における動画用の切り出し処理を模式的に示す図である。 画像信号処理手段における静止画用の切り出し処理について説明するためのフローチャート図である。 画像信号処理手段における静止画用の切り出し処理を模式的に示す図である。 静止画用の切り出し処理を説明するための説明図である。 本発明の撮像装置の第２の実施形態であるデジタルビデオカメラにおいて、複数の被写体の顔が検出された場合の静止画用の切り出し領域を説明するための説明図である。 本発明の撮像装置の第３の実施形態であるデジタルビデオカメラにおいて、デジタルズーム手段でのズーム倍率がズーム倍率入力装置を介して撮影者によって予め設定されている場合の動作を説明するためのフローチャート図である。 ズーム倍率入力装置を介してズーム倍率を設定する場合の不図示の表示部への表示例を示す図である。 従来のデジタルビデオカメラを説明するためのブロック図である。 従来の静止画用の切り出し処理を説明するための説明図である。

符号の説明

３０１ レンズ
３０２ 撮像素子
３０３ 防振処理手段
３０４ 映像信号処理手段
３０５ 動画信号処理手段
３０６ 動画記録媒体
３０７ 顔認識手段
３０８ デジタルズーム手段
３０９ ズーム倍率制御手段
３１０ ズーム倍率入力装置
３１１ 画像信号処理手段
３１２ 画素数カウント手段
３１３ 静止画信号処理手段
３１４ 静止画記録媒体

Claims (6)

1. 映像データを出力する撮像素子と、該撮像素子から出力された映像データに対して動画用の切り出しを行う映像信号処理手段と、前記撮像素子から出力された映像データに対して静止画用の切り出しを行う画像信号処理手段と、を備え、
   動画の記録中に静止画の記録を行う際に、前記映像信号処理手段による動画用の切り出し処理と、前記画像信号処理手段による静止画用の切り出し処理とを同一の映像データに対して異なる切り出し位置で並列に行う、ことを特徴とする撮像装置。
2. 前記撮像素子から出力された映像データの画角のぶれを検出する防振処理手段を備え、
   前記映像信号処理手段は、前記防振処理手段により検出された画角のぶれに基づいて、動画用の切り出し処理を行う、ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子から出力された映像データを基に被写体の顔の位置を検出する顔認識手段を備え、
   前記画像信号処理手段は、前記顔認識手段により検出された被写体の顔の位置情報に基づいて、静止画用の切り出し処理を行う、ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像素子から出力された映像データを、前記顔認識手段により検出された被写体の顔の位置情報に応じた位置で拡大するためのズーム倍率を決定するデジタルズーム手段を備え、
   前記画像信号処理手段は、前記顔認識手段により検出された被写体の顔の位置情報と、前記デジタルズーム手段により決定されたズーム倍率とに基づいて、静止画用の切り出し処理を行う、ことを特徴とする請求項３に記載の撮像装置。
5. 前記顔認識手段により複数の被写体の顔が検出された際に、該顔認識手段は、検出された複数の被写体の顔の位置情報を前記デジタルズーム手段に出力し、該デジタルズーム手段は、取得した複数の顔の位置情報に応じたズーム倍率を決定する、ことを特徴とする請求項２に記載の撮像装置。
6. 前記画像信号処理手段によって切り出された静止画の画素数をカウントするカウント手段を備え、該カウント手段によりカウントされた画素数が目標値未満の場合に、前記デジタルズーム手段で決定されたズーム倍率を下げる、ことを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。

Images