JP2008187364A - 画像記録装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents

Abstract

【課題】全体的な構図と印画した時の画質が損なわれない範囲で、より詳細な人物の表情等を克明に残すような構図を同時に撮影可能な画像記録装置を提供する。
【解決手段】画像記録装置は、動画撮影指示による動画像撮影手段と、静止画撮影指示による静止画撮影手段と、動画撮影手段による動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出手段とを有する。また、顔検出手段により人物の顔が検出された場合、静止画撮影における画角を設定する画角設定手段を有する。各手段ハシステム制御部１６０がその機能を有する。
【選択図】図４ａ

Description

本発明は、画像記録装置及びその制御方法、並びにプログラム及び記憶媒体に関する。

デジタルカメラやデジタルビデオカメラを始めとした、光学被写体を撮像素子に結像させ、得られた画像データに各種の信号処理を施し、液晶モニタに被写界映像を映し出すと共に、記録媒体に記録する撮像装置（画像記録装置）が提案されている。

記録される画像データは、撮像素子の有効領域に位置するデータ殆ど全てを利用した静止画画像と、撮像素子の有効領域に位置するデータを画素重心が均一になるように間引いたり、加算平均などを行って得られたデータのみを利用した動画画像などがある。

また、上記撮像装置の中には、撮影される被写体の画角を設定する手段として、変倍レンズによる光学ズームと、撮像素子の出力画像データの内、光学中心から全画角の整数倍の領域を抽出した画像データを加工した電子ズームとを有する装置がある。そして、光学ズームと電子ズームを組み合わせてより広範囲な画角設定を実現させる提案がなされている（特許文献１、２）。

電子ズームの技術には、撮像素子から読み出す駆動方法を操作する技術と（特許文献１、３）、撮像素子から得られた画像を拡大処理する技術（特許文献４、５）の大きく２種類がある。

また、上記撮像装置の中には、被写界内に存在する人物の顔を検出する機能を持ったものも存在する。例えば、特許文献６では、被写界内に存在する人物の顔を検出したら、自動的に撮影を行う。また、特許文献７では、検出された顔を含む顔領域の顔画像を拡大表示させる。或いは、特許文献８、９にあるように、検出された顔の人物の一部を測距領域として自動焦点調節したり、測光を行って適正露出にして撮影するデジタルカメラが提案されている。

更に、近年では、静止画画像と動画画像を独立して撮影記録するだけでなく、動画記録中に静止画を撮影記録するデジタルカメラも提案されている。この動画中に静止画撮影を行う提案に関して、特許文献１０には、動画撮影の画角設定と、静止画撮影の画角設定とを独立して且つ、ズームアップして行うにあたり、動画と静止画を一つの画面内で区別して表示する技術が提案されている。
特開２００２−３１４８６８号公報 特開平０９−０３３７９３号公報 特開平１１−２５２４３３号公報 特開平８−００９２２１号公報 特開平０９−０３３７９３号公報 特開２００３−９２７００号公報 特開２００５−１０２１７５号公報 特開２００３−１０７３３５号公報 特開２００３−１０７５５５号公報 特開２００５−３１８５４０号公報

近年、デジタルカメラに用いられる撮像素子は高画素化が進み、サービスサイズの印画サイズに対しては有り余る解像度がある。また、動画や静止画を撮影記録する記録媒体の容量は増加し且つ、書き込み速度が高速化してきているため、長時間に渡って動画を記録できるようになってきている。

こうした状況においては、これまでにない用途が考えられる。例えば、動画や静止画撮影の用途は様々であるが、旅先の観光スポットでの全体の工程を動画で撮影しながら、所望のポイントでの静止画撮影を行って、旅先から帰った後で動画再生と関連させて静止画を楽しむ状況が考えられる。

この場合、静止画画像においては、印画した時の画質が損なわれない範囲で、より詳細な人物の表情等を克明に残すような撮影を行い、全体像を示す動画との繋がりを崩さないことが要求されてくる。

また、静止画撮影においても、一度の撮影で全体的な雰囲気を写した画角設定画像と、そこに映し出される人物を中心とした人物の表情がより鮮明に映し出される画角設定画像とが同時に記録されるような撮影が要求されてくる。

これに対して、上記特許文献では、動画中に撮影する静止画の画角を自動的に且つ、人物に注目して設定することは言及しておらず、また、一度の静止画撮影で複数の画角設定画像を人物に注目して設定する技術は開示されていない。

本発明の目的は、全体的な構図と印画した時の画質が損なわれない範囲で、より詳細な人物の表情等を克明に残すような構図を同時に撮影可能な画像記録装置及びその制御方法を提供することにある。

上記目的を達成するために、請求項１記載の画像記録装置は、動画撮影指示による動画像撮影手段と、静止画撮影指示による静止画撮影手段と、前記動画撮影手段による動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出手段と、前記顔検出手段により人物の顔が検出された場合、静止画撮影における画角を設定する画角設定手段とを有することを特徴とする。

請求項６記載の画像記録装置の制御方法は、動画撮影指示による動画像撮影ステップと、静止画撮影指示による静止画撮影ステップと、前記動画撮影ステップによる動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出ステップと、前記顔検出ステップにより人物の顔が検出された場合、静止画撮影における画角を設定する画角設定ステップとを有することを特徴とする。

請求項１１記載の画像記録装置の制御プログラムは、動画撮影指示による動画像撮影モジュールと、静止画撮影指示による静止画撮影モジュールと、前記動画撮影モジュールによる動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出モジュールと、前記顔検出モジュールにより人物の顔が検出された場合、静止画撮影における画角を設定する画角設定モジュールとをコンピュータに実行させることを特徴とする。

請求項１２記載のコンピュータ読み取り可能な記憶媒体は、請求項１１記載の画像記録装置の制御プログラムを格納する。

本発明によれば、全体的な構図と印画した時の画質が損なわれない範囲で、より詳細な人物の表情等を克明に残すような構図を同時に撮影可能となる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る撮像装置のシステム構成を示すブロック図である。

図１において、撮像装置（本発明の画像記録装置）１００は、変倍レンズ１１０、焦点調節レンズ１１１、後段への光束を遮断するメカニカルシャッタ１１２、後段への光束を調節する絞り１１３、撮像素子１１４を備える。

また、撮像装置１００は、撮像素子１１４を駆動し、サンプリングに必要なタイミングパルスを発生するタイミング発生部１１５を備える。また、撮像素子１１４の出力をタイミング発生部１１５のタイミングパルスに基づいて二重相関サンプリングするＣＤＳ素子１１６を備える。また、ＣステップＳＤ出力を量子化するＡ／Ｄ変換器１１７を備える。

本実施の形態においては、撮像素子１１４としてＣＣＤを用いるが、Ｘ−Ｙアドレッシング可能なＣＭＯステップＳセンサを用いた場合においても、後述する動作や処理については違わない。

また、撮像装置１００は、撮像出力となるＡ／Ｄ変換器１１７の出力を受ける、信号処理回路、顔検出回路、縮小回路、ラスタブロック変換回路及び、圧縮回路等を含む画像処理部１１８を備える。

画像処理部１１８において、信号処理回路では、Ａ／Ｄ変換器１１７の出力データに色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。またそれと同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２６にＹＵＶ形式の画像データを形成する。

画像処理部１１８において、縮小回路では、信号処理回路の出力を受けて、入力される画素データの切り出し、間引き及び、線形補間処理等を行い、水平垂直共に画素データの縮小処理を施す。

それを受けて、ラスタブロック変換回路では、縮小回路で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２６がバッファメモリとして用いられて実現される。バッファメモリでブロックスキャンデータに変換した画像データは、圧縮回路でＪＰＥＧデータをブロック単位で圧縮する。

図２は、図１における画像処理部１１８内の顔検出回路の構成を示すブロック図である。

図２において、入力される信号は、信号処理回路の出力ＹＵＶ形式の画像データ或いは、ＪＰＥＧ伸張され、メモリ部１２６にバッファリングされたＹＵＶ形式の画像データが選択可能である。

入力されたＹＵＶ形式の画像データは、画像変換部１１８ａで一旦、所定サイズの画像に変換される。その後、画像抽出部１１８ｂにおいて所望領域が切り出され、中間画像が生成される。中間画像は一時メモリ１１８ｃに記憶される。中間画像を一時的に記憶するメモリ１１８ｃはメモリ部１２６を併用してもよい。

次に、特徴抽出部１１８ｄにおいて、輝度抽出及びフィルタ処理を行う。その結果をパターン比較部１１ｅでパターン比較して、顔の座標、サイズ、目の座標、サイズ及び、その信頼度を出力する。尚、顔検出時のパターン比較を行う場合において、検出する顔の最大個数や、顔として認識する画素サイズを設定することができる。

これらの制御は、ＣＰＵとそのインターフェイス回路、ＤＭＡＣ（Direct・Momory・Access・Controller）、バスアービター等で構成される、図１の撮像装置１００のシステム制御部１６０で行われる。ＣＰＵが実行するプログラムは、フラッシュメモリ１２５に記憶されている。

撮像装置１００は、メカニカルシャッタ１１２、絞り１１３を制御する露出制御部１１９、変倍レンズ１１０、焦点調節レンズ１１１を光軸上に沿って移動させ、被写界像を撮像素子１１４上に結像させるレンズ制御部１２０を備える。

また、撮像装置１００は、画角設定を行わせるためのＴ／Ｗスイッチ１２１、撮像装置１００の動作を確定されるためのモードダイヤル１２２を備える。Ｔ／Ｗスイッチ１２１を操作して行う画角設定には、変倍レンズ１１０を移動して行う光学ズームと、撮像素子１１４の駆動と撮像素子１１４の出力を画像処理して行う電子ズームとがあり、Ｔ／Ｗスイッチ１２１は共用される。

また、撮像装置１００は、静止画撮影指示を行うレリーズスイッチ１２３、動画撮影指示を行う動画スイッチ１２４、電源となる電池１４２、撮像装置１００と電池１４２とを係合させる切片１７０と１４１を備える。

また、撮像装置１００は、撮像装置１００に電池１４２を保持する電池ボックス１４０、画像を記録する記録媒体１３２、撮像装置１００と記録媒体１３２とを係合させる切片１２８と１３１を備える。切片１２８は、Ｉ／Ｆ部１２７に接続される。また、記録媒体１３２の着脱を検出するスイッチ１２９、記録媒体１３２の書き込み禁止スイッチを検出するスイッチ１３３を備える。

また、撮像装置１００は、モニタ１５１上に表示されるＧＵＩビットマップで表現されるメニュー設定やＥＶＦ表示と同時に表示されるＧＵＩ選択決定を行うために使用される上下左右並びに、決定スイッチが配置された複合選択スイッチ１８０を備える。複合選択スイッチ１８０は、静止画撮影時にモニタ１５１上に表示された画角設定に対して、静止画として撮影記録される画角を設定するためにも使用される。

また、撮像装置１００は、画像処理部１１８で生成され、メモリ部１２６に記憶された画像データを表示用画像に変換してモニタに転送する再生回路１５０を備える。

再生回路１５０では、ＹＵＶ形式の画像データを、輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行いアナログ化されたＹ信号にＬＰＦを施す。また、Ｄ／Ａ変換を行ったアナログＣ信号にＢＰＦを施して、変調色差成分の周波数成分のみを抽出する。

こうして生成された信号成分とサブキャリア周波数に基づいて、ＹＵＶ形式の画像データを、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力する。撮像素子１１４からの画像データを逐次処理することによって電子ビューファインダ（ＥＶＦ）が実現される。

図３は、図１における各スイッチの見取り図である。

図３において、Ｔ／Ｗスイッチ１２１は、中心の突起を指の先端で矢印方向に操作することによって、Ｔｅｌｅ（望遠）側もしくは、Ｗｉｄｅ（広角）側に変倍することができる。

Ｔ／Ｗスイッチ１２１の操作環は、スイッチ内蔵の可変抵抗に接続され（不図示）、スイッチ操作で一義的に決定する電圧値をシステム制御部１６０のＡ／Ｄ変換器でデジタル信号に変換する。システム制御部１６０内のＣＰＵとプログラムによって、Ｔ／Ｗスイッチ操作に応じて変倍スピードを制御することができる。

例えば、１０ビットの変換器で、中心を５１１ＬステップＳＢとして±２５５は低速領域、±２５６以上は高速領域とするなどが考えられる。速度分割は２分割に限定されるものではない。

撮像素子１１４の単位画素には、Ｒ、Ｇ、Ｂの色相フィルタがあり、ベイヤ配列を成している。静止画を撮影する場合などには、有効領域の殆ど全ての画素を読み出して画像生成を行う。

ＣＣＤの場合には、先幕としてフォトダイオード（以後、ＰＤ）の電荷を掃き捨てた後、後幕としてメカニカルな遮蔽部材によるシャッタを閉じて光路を断った後、ＰＤに蓄積した一面分の電荷をＣＣＤの垂直転送レジスタに移し、１ラインずつ読み出しが行われる。

ＣＭＯステップＳの場合には、各画素のＰＤと共に、ＰＤで発生した電荷を一時的に蓄積しておく蓄積領域となるフローティング・デフュージョン（以下、ＦＤ）の電荷を一括してリセットし、行単位で読み出しを行う一括リセット読み出しが行われる。この時も後幕にはメカニカルな遮光部材によるシャッタが用いられる。そして、得られた画像は一旦メモリ部１２６に保存され、画像処理部１１８にて所望の信号処理を行う。

これに対して、ＥＶＦや動画撮影を行う場合、その性質上、画素数を表示用画像生成に必要な画素数近辺になるように間引いたり、加算平均して撮像素子１１４から読み出し、出力される画像データを逐次画像処理する。

ＣＭＯステップＳの場合には、画素もしくは、行単位でＰＤ及び、ＦＤに蓄積された電荷をリセットした後、画素もしくは、行単位で順次読み出すことによって、行単位の蓄積時間を一定に保ちながら連続的に電荷を読み出す走査を行う。また、ＣＣＤの場合には、面単位でＰＤの電荷を掃き捨て、面単位で垂直転送路に移して読み出す。

図４（ａ）は、図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。

本処理は、図１におけるシステム制御部１６０によって実行される。

図４（ａ）において、まず、モードダイヤル１２２を撮影モードに設定すると撮影モードに入る。撮影モードに入ると、ＥＶＦ表示を行う（ステップＳ４０１）。

ＥＶＦ表示に際しては、先に説明した通り、ＥＶＦに適した方法で撮像素子１１４を駆動し、１フレーム単位で連続的に得られる画像データ出力を画像処理部１１８で色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。

そして、それと同時に、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２６にＹＵＶ形式の表示用画像データを形成する。表示用画像を格納するメモリ（ＶＲＡＭ）は３フレーム分用意し、１フレーム生成される度に画像を書き込むＶＲＡＭを順次切り替える。この時、表示用画像データは撮像素子１１４の出力レートで生成される。

また再生回路１５０は、先に説明した処理を施し、表示用画像データをＹ信号とＲＧＢ信号に変換してモニタ１５１に出力する。表示は再生回路の周期で更新され、表示用画像が生成される度に、次回の更新タイミングで表示するＶＲＡＭを切り替えてＥＶＦを実現する。

これらの処理は、ハードウェアとプログラムによって実現されるが、一連の流れを図５乃至図７で説明する。

図５は、図１の撮像装置によって実行される表示用画像データ生成処理の手順を示すフローチャートである。

図５において、ＥＶＦ動画が開始されると、撮像素子１１４を駆動し（ステップＳ５０１）、撮像素子１１４の出力から表示用画像としてＹＵＶデータを生成するＶＲＡＭ領域をＶＲＡＭ１に設定する（ステップＳ５０２）。ＶＲＡＭ領域を設定したら表示用画像生成を開始する（ステップＳ５０３）。

生成が完了すると（ステップＳ５０４）、ＶＲＡＭ領域をＶＲＡＭ２に設定して（ステップＳ５０５）、表示用ＶＲＡＭをＶＲＡＭ１に切り替える（ステップＳ５０６）。ＥＶＦ表示が終了でなければ（ステップＳ５０７）、表示を開始する（ステップＳ５０８）。

次の表示用画像データが生成されると（ステップＳ５０９）、ＶＲＡＭ領域をＶＲＡＭ３に設定し（ステップＳ５１０）、表示用ＶＲＡＭをＶＲＡＭ２に切り替える（ステップＳ５１１）。

ＥＶＦ表示が終了でなく（ステップＳ５１２）、次の表示用画像データが生成されると（ステップＳ５１３）、ＶＲＡＭ領域をＶＲＡＭ１に設定して（ステップＳ５１４）、表示用ＶＲＡＭをＶＲＡＭ３に切り替える（ステップＳ５１５）。ＥＶＦ表示が終了でなければ（ステップＳ５１６）ステップＳ５０４から繰り返す。ＥＶＦ表示が終了なら、表示を終了する（ステップＳ５１７）。そして、本処理を終了する。

図６は、図５のステップＳ５０８によって実行される表示開始処理の手順を示すフローチャートである。

図６において、処理中でなければ（ステップＳ６０１）、表示用ＶＲＡＭ読み出しを開始し（ステップＳ６０２）、表示用ＶＲＡＭを処理して表示を行う（ステップＳ６０３）。表示更新で表示用ＶＲＡＭが切り替わり（ステップＳ６０４）、表示が更新される。

図７は、図５のステップＳ５１７によって実行される表示終了処理の手順を示すフローチャートである。

図７において、表示用ＶＲＡＭの読み出しを終了し（ステップＳ７０１）、信号処理を停止して終了する。

図４（ａ）に戻り、表示用画像データを利用した顔検出処理を開始する（ステップＳ４０２）（顔検出処理手段）。

図８は、図４（ａ）のステップＳ４０２で実行される顔検出処理の手順を示すフローチャートである。

図８において、システム制御部１６０は、顔検出回路のパターン比較部１１８ｅに検出する顔の最小サイズと検出する顔の数を設定する（ステップＳ８０１）。先に説明した一連の顔検出を行う（ステップＳ８０２）。この時、顔検出回路にはシステム制御部１６０のＤＭＡＣで表示用画像データが入力される。

顔検出が終了すると（ステップＳ８０３）、検出結果である顔の座標、サイズ、目の座標、サイズ及び、その信頼度をシステム制御部１６０が管理するメモリ領域に待避する（ステップＳ８０４）。顔検出が終了でなければ（ステップＳ８０５）次の検出を開始する。顔検出が終了であれば、本処理を終了する。これらの動作は、図４（ａ）の動作とは非同期で独立したスレッドで実行制御される。

図４（ａ）に戻り、モード変更があれば、不図示ではあるが必要に応じてＥＶＦ処理と顔検出を停止してから別のモードに遷移する。動画撮影指示があれば（ステップＳ４０４）、動画撮影処理に入る（ステップＳ４１０）（動画撮影手段）。また、静止画撮影指示があれば（ステップＳ４０５）、静止画撮影処理に入る（ステップＳ４３０）（静止画撮影手段）。

これらがない間は待機状態になり、待機期間では、静止画撮影時の画角設定を事前に行うことができる（ステップＳ４０６、ステップＳ４５０）（静止画画角設定手段）。

図４（ｂ）に示す通り、静止画画角設定状態に入ると、顔検出の結果、顔が検出されているか否かを判定する（ステップＳ４５１）。顔が検出されていない場合には、モニタ１５１上に表示するＧＵＩとして表示される切り出し枠を消す（ステップＳ４５２）。

また、顔が検出されている場合には、顔検出している結果から最も信頼度が高い枠のサイズに近い複数の枠を選択する（ステップＳ４５３）。選択された枠の重心を求める（ステップＳ４５４）。

予め設定されている頭身比率で検出された顔枠単位の画角サイズを決定した後、重心が画角の中心となり、選択された顔枠毎の画角が納まるように切り出し枠を決定する（ステップＳ４５５）。初期設定では、２．５頭身に設定されている。頭身比率で切り出し枠を決定した後、全体画角からはみ出した分切り出し枠の座標を補正する（ステップＳ４５６）。

最終的に決定した切り出し枠をモニタ上にＧＵＩとして表示する（ステップＳ４５７）。静止画画角設定状態にあり、複合選択スイッチ１８０の上下左右釦で頭身比率を変更されない間は、検出される顔枠に応じて切り出し枠が更新される。本実施の形態では、顔検出結果に応じて枠表示をダイレクトに行っているが、所定の時定数を持って切り出し枠表示がめまぐるしく変化しないようにすることも可能である。

また、複合選択スイッチ１８０によって頭身比率が変更指示されると（ステップＳ４５８）、切り出しサイズを決定する頭身比率値を変更する（ステップＳ４５９）。複合選択スイッチ１８０による頭身比率の変更は、０．５頭身ステップで可能にしておく。

上記説明では、使用者の設定に応じて頭身比率を設定したが、図４（ｅ）のようにモードダイヤルの設定で一義的に頭身比率を設定してもよい。例えば、上記説明のアルゴリズムが適応されるのは、プログラムモードに代表されるモードに適応し、オートモード、ポートレートモード、スナップショットモード、風景モード、夜景モード等では人物が入る場合の頭身比率を固定して設定する。

図４（ｅ）の設定では、オートモードで且つマクロ撮影設定でない場合には（ステップＳ４７０）、頭身比率をＡに設定する（ステップＳ４７１）。また、ポートレートモードの場合には（ステップＳ４７２）、頭身比率をＢに設定する（ステップＳ４７３）。また、スナップショットモードの場合には（ステップＳ４７４）、頭身比率をＣに設定する（ステップＳ４７５）。

更に、風景モードもしくは、夜景モードの場合には（ステップＳ４７６）、頭身比率をＤに設定する（ステップＳ４７７）。上記何れでもない場合には、頭身比率をＥに設定する（ステップＳ４７８）。

上記モードに応じた頭身比率の使い分けや実際に設定する頭身比率に限りは無い。つまり、全てのモードで一律としても、全て異なっても、いかなる組み合わせでもよい。勿論、撮影モードが増えても、頭身比率を独立して設定可能であることには変わりはない。更には、モードよって一義的に決定する頭身比率を撮影前に使用者によって複合選択スイッチ１８０で変更させるのもよい。

また、上記説明では、顔が検出された場合に、顔検出結果から最も信頼度が高い枠のサイズに近い複数の枠を選択するとしたが、撮影モード等によって変えてもよい。例えば、図４（ｂ）のステップＳ４５３の処理として図４（ｆ）に示すように枠選択を行う。

まず、オートモードの場合には（ステップＳ４８０）、信頼度のみに着目し、信頼度の高い順に上位３枠を選択する（ステップＳ４８１）。また、ポートレートモードの場合には（ステップＳ４８２）、サイズのみに着目して最も大きいサイズの枠を選択する（ステップＳ４８３）。更にその他のモードにおいては、先に説明した通り、信頼度の最も高い枠に近いサイズの枠を複数選択する（ステップＳ４８４）。検出された顔枠の選択方法やモードとの組み合わせは、これらに限定されるものではない。

こうした動作とＥＶＦ表示を図９（ａ）乃至図９（ｃ）で説明する。

図９（ａ）乃至図９（ｃ）は、モニタ１５１に表示されるＥＶＦの全体画角を示す図である。映し出される映像は、背景と図９（ａ）と図９（ｂ）には人物が一人いる場合である。

図中には、枠の切り出しを説明するために便宜的に複数の枠を表示している。Ｐ枠は、顔検出結果求められる枠座標とサイズである。Ｑ枠は、画角設定が初期設定の場合に切り出される２．５頭身の場合に表示される切り出し枠である。Ｒ枠は、６頭身の場合に表示される切り出し枠を示している。

図９（ａ）の画角設定の場合には、検出された顔座標のから頭身比率で切り出した枠が全体画角を越えることがないため補正の必要はない。一方、図９（ｂ）の画角設定では、２．５頭身の切り出しは全体画角を越えることはないものの、６頭身の切り出し枠は全体画角を超えてしまうため、水平もしくは、垂直方向に切り出し枠をシフト補正する必要がある。また、図９（ｃ）では顔が検出されないため、切り出し枠は表示されない。

次に、図４（ａ）のステップＳ４０４で動画撮影指示があった場合の処理について図４（ｃ）で説明する。

メモリ部１２６上には、動画記録に用意した複数の動画用バッファを用意し、表示用ＶＲＡＭとして生成したＹＵＶ画像を動画記録画像サイズにサイズ変更した後に、圧縮処理を施して、メモリ部１２６上に蓄積する。また、単一バッファが満たされると記録媒体１３２に書き込みを行う一連の動作を開始する（ステップＳ４１１）。動画撮影記録を行っている最中においても、待機期間と同様にして静止画画角設定が行える。

複合選択スイッチ１８０によって、静止画画角設定が指示されると（ステップＳ４１２）、先に説明した画角設定処理を行う（ステップＳ４５０）。静止画撮影指示が行われず（ステップＳ４１３）、動画スイッチによって動画撮影記録中止が指示されると（ステップＳ４１４）、表示用画像のサイズ変更並びに圧縮処理を中止する（ステップＳ４１５）。中止までに蓄積した動画用バッファにあるデータは全て記録媒体１３２に書き込む。

動画撮影記録中に静止画撮影が指示されると、表示用ＶＲＡＭ生成と、動画バッファに蓄積する一連の動画処理を中断する（ステップＳ４１６）。次に、適正露出が得られる露光時間で電荷を蓄積し、全画素を読み出し、メモリ部１２６の撮像素子１１４の生画像を記憶する（ステップＳ４１７）。

記憶した生画像を読み出し、前述した処理を施して全画角のＹＵＶデータを作成する（ステップＳ４１８）。この時のホワイトバランスをとるための白抽出は、画面全体に対して行う。作成したＹＵＶデータのサイズ変更したＹＵＶデータを生成し、顔検出回路に入力して顔検出を行う（ステップＳ４１９）。

顔検出が終了し（ステップＳ４２０）、顔が検出されない場合には（ステップＳ４２２）、先に生成した全画角のＹＵＶデータを圧縮処理して静止画画像を生成する（ステップＳ４２８）。そして、表示用ＶＲＡＭ画像生成を再開し、ＥＶＦ表示並びに、動画処理も再開する（ステップＳ４２９）。

また、顔が検出された場合には（ステップＳ４２１）、顔検出している結果から最も信頼度が高い枠のサイズに近い複数の枠を選択する（ステップＳ４２２）。続いて選択された枠の重心を求め（ステップＳ４２３）、予め設定されている頭身比率で切り出し枠を決定する（ステップＳ４２４）。

頭身比率で切り出し枠を決定した後、全体画角からはみ出した分切り出し枠の座標を補正する（ステップＳ４２５）。こうして決定した切り出し枠で全画角ＹＵＶから画像を切り出し（ステップＳ４２６）、記録画像サイズにサイズ変更を行う（ステップＳ４２７）。サイズ変更後の処理は同様なので割愛する。

尚、上記説明では、撮影した撮像生画像から得られる全画角のＹＵＶデータから顔検出し直したが、撮影直前に決定したＥＶＦ時の表示用ＹＵＶ画像から検出した枠で記録画像の切り出しを行ってもよい。特に、切り出したい背景を特定したい場合に有効である。また、ホワイトバランス処理は、全画角で行った白抽出結果が保たれるので、切り出したことによってホワイトバランスが崩れることはない。

また、先に静止画画角設定での説明と同様にして、顔枠選択に関しては、図４（ｃ）のステップＳ４２２から図４（ｆ）に遷移し、モードに応じた枠選択を行ってもよい。

ここで動画中静止画を撮影する場合の撮影画像の画角設定の様子を図９（ａ）乃至図９（ｈ）で説明する。

図９（ａ）乃至図９（ｃ）はＥＶＦ表示で説明した通り、撮影被写界の全体画角である。全画角のＹＵＶデータから切り出し枠を決定した結果が図９（ｄ）乃至図９（ｈ）に示した画像である。

図９（ａ）において、撮影前に決定した頭身比率が２．５頭身の場合には、撮影記録される静止画画像は、図９（ｇ）で示すような画角設定で得られる。また、撮影前に決定した頭身比率が６頭身の場合には、撮影記録される静止画画像は、図９（ｄ）で示すような画角設定で得られる。

図９（ｂ）において撮影前に決定した頭身比率が２．５頭身の場合には、図９（ａ）の場合と同様にして、切り出される記録画角がけられることはないので、撮影記録される静止画画像は、図９（ｈ）で示すような画角設定で得られる。

しかしながら、撮影前に決定した頭身比率が６頭身の場合には、切り出される記録画角がけられるので、前述した通り、切り出し枠の座標を補正して、静止画画像として得られる画像は、図９（ｅ）で示すような画角設定で得られる。

また、図９（ｃ）で示すように、顔検出を行っても顔が検出されない画像においては、頭身比率の設定に依らず、図９（ｆ）のように全画角の静止画画像が得られる。

次に、図４（ａ）のステップＳ４０５で静止画撮影指示があった場合の処理について図４（ｄ）を用いて説明する。

まず、静止画撮影指示があると、前述した方法でＥＶＦ表示を中断する（ステップＳ４３１）。次に、適正露出が得られる露光時間で電荷を蓄積し、全画素を読み出し、メモリ部１２６の撮像素子１１４の生画像を記憶する（ステップＳ４３２）。記憶した生画像を読み出し、前述した処理を施して全画角のＹＵＶデータを作成する（ステップＳ４３３）。

作成したＹＵＶデータのサイズ変更したＹＵＶデータを生成し、顔検出回路に入力して顔検出を行う（ステップＳ４３４）。顔検出が終了し（ステップＳ４３５）、顔が検出されない場合には、先に生成した全画角のＹＵＶデータを圧縮処理して静止画画像を生成する（ステップＳ４４３）。そして、表示用ＶＲＡＭ画像生成を再開してＥＶＦ表示を再開し（ステップＳ４４４）、顔検出も再開する（ステップＳ４４５）。

また、顔が検出された場合には（ステップＳ４３６）、顔検出している結果から最も信頼度が高い枠のサイズに近い複数の枠を選択する（ステップＳ４３７）。続いて、選択された枠の重心を求め（ステップＳ４３８）、予め設定されている頭身比率で切り出し枠を決定する（ステップＳ４３９）。

頭身比率で切り出し枠を決定した後、全体画角からはみ出した分切り出し枠の座標を補正する（ステップＳ４４０）。こうして決定した切り出し枠で全画角ＹＵＶから画像を切り出し（ステップＳ４４１）、記録画像サイズにサイズ変更を行う（ステップＳ４４２）。

サイズ変更後は、先に生成した全画角のＹＵＶデータと、切り出しとサイズ変更が行われたＹＵＶデータを圧縮処理して、記録する静止画画像データを生成する。その後の処理は同様なので説明を割愛する。

また、上記説明における全画角の圧縮処理を行う手順は、切り出しとサイズ変更を行ったＹＵＶデータを生成した後としたが、全画角のＹＵＶデータが得られた時点で行っても問題はない。また、図９（ａ）乃至図９（ｈ）による静止画撮影時の撮影画像の画角設定の様子は、動画撮影時に静止画を撮影する場合と同様であるので、説明を割愛する。

また、上記説明では、頭身比率を１つだけ記憶設定するようにしたが、複数記憶するようにしてもよい。その場合には、動画中静止画を撮影する際に、図４（ｃ）の頭身比率に応じた切り出し制御（ステップＳ４２４乃至ステップＳ４２７）を繰り返す。また、静止画撮影する際には、図４（ｄ）の頭身比率に応じた切り出し制御（ステップＳ４３９乃至ステップＳ４４２）を繰り返す。

更に、頭身比率に応じた切り出し制御において、切り出すアスペクト比は、限定されるものではない。例えば、３：２や４：３であったり、１６：９であってもよい。また、撮影モードに応じて、これらのアスペクト比を切り替えてもよい。

更に、同一の頭身比率でアスペクト比の異なる静止画画像を生成してもよい。更に言えば、ステップＳ４２４または、ステップＳ４３９において、検出された個々の顔枠と頭身比率で求められた切り出し枠が求められた時に、重心を中心にした画角設定で最も近いアスペクト比を選択してもよい。例えば、人物が一人の時には４：３が選択され、複数の人物が横に並んだ構図では１６：９が選択されるようになる。

更に、切り出し枠サイズを決定する際に、記録画素数に相当するサイズ以下にならないようにしてもよい。例えば、図４（ｅ）で説明したモードに応じた頭身比率の決定において、記録画素数を印画サイズ近傍の１６００×１２００以上に小さく切り出さないように制限するのである。即ち、頭身比率２．５で決定した切り出し枠サイズが１６００×１２００を下回ったら、画像中心がずれないように上下左右に切り出し枠を拡張する。

また、動画撮影記録中の静止画撮影時と同様にして、顔枠選択に関しては、図４（ｄ）のステップＳ４３７から図４（ｆ）に遷移し、モードに応じた枠選択を行ってもよい。

本発明によれば、動画記録でその場の雰囲気の全体像を記録すると共に、動画撮影記録中における静止画撮影時においては、印画時の画質が損なわれない範囲で人物を中心とした撮影が可能となる。

また、一度の静止画撮影で複数の画角の映像が自動的に記録できるため、撮影時の全体の雰囲気と人物を中心とした静止画が一度に得られる。また、静止画記録画角は、事前に人物の頭身バランスを設定可能なので、動画撮影画角を変えずに、撮影前に静止画の画角設定をイメージできる。また、モードに応じて人物の抽出方法を変えることによって、撮影者の意図に沿った画像を自動的に撮影することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の実施の形態に係る撮像装置のシステム構成を示すブロック図である。 図１における画像処理部１１８内の顔検出回路の構成を示すブロック図である。 図１における各スイッチの見取り図である。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される撮影モード処理の手順を示すフローチャートである。 図１の撮像装置によって実行される表示用画像データ生成処理の手順を示すフローチャートである。 図５のステップＳ５０８によって実行される表示開始処理の手順を示すフローチャートである。 図５のステップＳ５１７によって実行される表示終了処理の手順を示すフローチャートである。 図４ａのステップＳ４０２で実行される顔検出処理の手順を示すフローチャートである。 図１におけるモニタへの表示内容、撮影画角及び記録画角を示す説明図である。 図１におけるモニタへの表示内容、撮影画角及び記録画角を示す説明図である。 図１におけるモニタへの表示内容、撮影画角及び記録画角を示す説明図である。

符号の説明

１００ 撮像装置（画像記録装置）
１１８ 画像処理部
１６０ システム制御部（制御手段）

Claims (12)

1. 動画撮影指示による動画像撮影手段と、
   静止画撮影指示による静止画撮影手段と、
   前記動画撮影手段による動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出手段と、
   前記顔検出手段により人物の顔が検出された場合、静止画撮影における画角を設定する画角設定手段と、
   を有することを特徴とする画像記録装置。
2. 前記画角設定手段は、一度の静止画撮影で全体画角を設定すると共に、前記顔検出手段の顔検出処理結果に基づいて、人物中心の画角で画角を設定することを特徴とする請求項１記載の画像記録装置。
3. 前記画角設定手段による画角設定は、一義的に行われることを特徴とする請求項１または２記載の画像記録装置。
4. 撮影される静止画における人物の頭身比率を切り替えると共に、該頭身比率と前記顔検出手段の出力に基づいて記録画角を決定することを特徴とする請求項１記載の画像記録装置。
5. 静止画における人物の頭身比率を設定する頭身比率設定手段を備え、該頭身比率設定手段によって決定された頭身比率と前記顔検出手段の出力に基づいて、撮影する静止画における記録画角を決定することを特徴とする請求項１記載の画像記録装置。
6. 動画撮影指示による動画像撮影ステップと、
   静止画撮影指示による静止画撮影ステップと、
   前記動画撮影ステップによる動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出ステップと、
   前記顔検出ステップにより人物の顔が検出された場合、静止画撮影における画角を設定する画角設定ステップと、
   を有することを特徴とする画像記録装置の制御方法。
7. 前記画角設定ステップは、一度の静止画撮影で全体画角を設定すると共に、前記顔検出ステップの顔検出処理結果に基づいて、人物中心の画角で画角を設定することを特徴とする請求項６記載の画像記録装置の制御方法。
8. 前記画角設定ステップによる画角設定は、一義的に行われることを特徴とする請求項６または７記載の画像記録装置の制御方法。
9. 撮影される静止画における人物の頭身比率を切り替えると共に、該頭身比率と前記顔検出ステップの出力に基づいて記録画角を決定することを特徴とする請求項６記載の画像記録装置の制御方法。
10. 静止画における人物の頭身比率を設定する頭身比率設定ステップを備え、該頭身比率設定ステップによって決定された頭身比率と前記顔検出ステップの出力に基づいて、撮影する静止画における記録画角を決定することを特徴とする請求項６記載の画像記録装置の制御方法。
11. 動画撮影指示による動画像撮影モジュールと、
    静止画撮影指示による静止画撮影モジュールと、
    前記動画撮影モジュールによる動画撮影中に静止画撮影指示がなされた場合、被写界内の人物の顔を検出する顔検出モジュールと、
    前記顔検出モジュールにより人物の顔が検出された場合、静止画撮影における画角を設定する画角設定モジュールと、
    をコンピュータに実行させることを特徴とする画像記録装置の制御プログラム。
12. 請求項１１記載の画像記録装置の制御プログラムを格納するコンピュータ読み取り可能な記憶媒体。

Images