JP2007049449A - 画像記録装置 - Google Patents

Abstract

【課題】 特殊技術を有しない撮影者であっても、人物を撮像する場合において顔の認識及び顔部分の動き情報取得が自動的に行われ、その情報を元にシャッタースピード、又は連写スピードが決定されつつ撮像処理ができる画像記録装置の提供。
【解決手段】 被写体の顔画像が認識出来た時に、撮影モードを決定し撮像動作を行い、その際、動き検出用のサーチ領域を決定し、そのサーチ領域内の動き検出により撮影モードとしてシャッタースピード及び連写スピードを決定することを特徴とする画像記録装置。
【選択図】 図１

Description

本発明は、各種データ、特にデジタル画像データの記録処理を行うための画像記録装置に関する。

従来から、膨大なデータ量の各種データを符号化することによりデータ量を削減して比較的低い伝送レートで伝送し得るようにするための各種装置が開発されている。

例えば、画像データを磁気テープ等の記録媒体に記録するデジタルＶＴＲにおいても１２４Ｍｂｐｓ程度の入力画像データを５分の１の２５Ｍｂｐｓ程度に圧縮して磁気テープ上に記録し、再生するための規格（以下、ＳＤ規格と称する）が制定されている。

このような規格に基づくデジタルＶＴＲにおいては、入力データをＤＣＴ変換した後に量子化し、この量子化データを可変長符号化することによってデータの圧縮を行っており、さらに量子化する際の量子化ステップを各種のパラメータに基づいて可変したり、可変長符号化された後のデータ量が一定となるようにレート制御が行われる。

また、上記装置おいては、静止画像の取り込みも可能であり、デジタルカメラの機能も有している。このような装置においては、特殊な技術を持たない撮影者が静止画像を撮影する事を想定し、撮影の失敗をなくす為にシャッタースピード、露出、ピント合わせを自動的に設定するように成っているものがほとんどである。
特開２００３−０９２７０１号公報

上述のような撮像装置において、最終的にレリーズボタンを押すのは撮影者の意志に依っているため、例えば、人物撮影時に、撮影者が人物を認識してもレリーズのタイミングがずれて撮影機会を逸する事があった。

その問題を解決するために特許文献１には、顔の特徴を認識し、各顔のパーツが認識出来た時、自動的にレリーズボタンを押す事が出来る撮像装置が提案されている。しかしながら、上記認識後に自動的にレリーズボタンを押す事が出来たとしても、その時の被写体の顔の動きの速さなどが考慮されずに撮像動作が行われる事になる。

その結果、被写体の顔の動きの速さによって、初期設定されたシャッタースピードでは鮮明な画像として撮像出来ない場合があるという問題がある。

本発明は上述のような実情に鑑みてなされたものであり、特殊技術を有しない撮影者であっても、人物を撮像する場合において顔の認識及び顔部分の動き情報取得が自動的に行われ、その情報を元にシャッタースピード、又は連写スピードが決定されつつ撮像処理が出来る画像記録装置を提供することを目的とする。

前記課題を解決するために、本発明は、
入力された画像信号から、顔を認識する顔画像認識手段と前記顔画像の各部分を判別する手段を有し、その画像を静止画像として記録媒体に記録する画像記録装置において、
被写体の顔画像が認識出来た時に、撮影モードを決定し撮像動作を行うことを特徴とする。

その際、動き検出用のサーチ領域を決定し、そのサーチ領域内の動き検出により撮影モードとしてシャッタースピード及び連写スピードを決定することを特徴とする画像記録装置を提供するものである。

本発明によれば、特殊技術を有しない撮影者であっても、人物を撮像する場合において顔の認識及び顔部分の動き情報取得が自動的に行われ、その情報を元にシャッタースピード、又は連写スピードが決定されつつ撮像処理が出来ることにより上記問題を解決することができる。

以下、本発明の好適実施例を図１ないし図６を用いて説明する。

図１は、デジタルＶＴＲに適用した本発明の一実施例における基本構成ブロック図を示したものである。

本実施例は、図１に示すように各種処理ブロックが１１１のＣＰＵによって所望の制御をされつつ各々のブロックの動作を保証するように構成されている。

図１は、本発明の実施例である画像記録装置の構成を表す図である。ここで、本実施例に於ける画像記録装置は、動画像と静止画像を記録再生する事が出来るディジタルビデオカムコーダー（以上ＤＶＣと記す）を前提として説明する。

ＣＰＵ１１１内には、ＲＯＭ化された一部のプログラムが格納され、容量の問題や、今後変更される可能性がある事などを考慮された上記以外のプログラムは、プログラムフラッシュメモリ１１２に格納されている。ＤＶＣの起動時、又は通常動作時においては、上記プログラムフラッシュメモリ１１２からＣＰＵ１１１内に適宜ロードされながら動作する事で、以後説明する各種の制御動作を行う。

記録時において被写体は、レンズ１０１を通して撮像素子１０２に結像される。撮像素子１０２に結像された被写体は、光電変換された後に所定の周期で読み出され、カメラ信号処理１０３にて標準的な画像信号になるような信号処理が施される。１０７は、フォーカス制御や、ズーム制御をするためのモータドライバであり、１０８は、シャッタースピード、露出設定、及び撮像素子１０８の読み出しタイミングを制御するためのタイミング発生器である。

上記、入力された画像信号は、画像メモリ１０４に一時的に蓄積されると同時にディスプレイ１０６へと送られ、現在撮影中の動画像又は、静止画画像が表示される。操作スイッチ１０５に含まれる撮影ボタンを押す事で撮影が開始される。静止画像を撮影する場合は、撮影ボタンが押された事をトリガとして、予めＣＰＵ１１１からタイミング発生器１０８に設定されたシャッタースピード、露出等により所望の静止画像が取り込まれることになる。

撮影が開始されると前記画像メモリ１０４に一時的に蓄積された画像は、図示せずも圧縮符号化がなされ、画像メモリ１０４をバッファとして一旦蓄積された後にインタフェース１１０を介してハードディスク又は磁気テープ、半導体メモリ等の記録媒体１０９に記録される。

１１３は、静止画像撮影時における人物の顔特徴検出回路である。ここでは、公知の顔画像認識技術により被写体の顔特徴を検出する。上記公知例では、静的識別手法による顔の構造認識、又は、動的識別手法による顔の形状変化認識が可能であり、コンピュータの分野では、主に２次元的手法により、上記認識を実現している。

なお、本発明での顔認識は入出管理システムや人物画像データベースシステム等で求められるような個人の顔として確実に認識できるレベルである必要は無く、被写体の顔と向きが認識できるレベルで良い。

１１４は、動き検出部であり、本実施例では、特に被写体の顔部分の動きを検出するものである。複数枚の画像を蓄積できる画像メモリ１０４から連続する２つの画像データ間の差分を計算する事で所望の動き情報を検出しＣＰＵ１１１へ通知する。ＣＰＵ１１１はその情報を元に、静止画取り込みをする場合の各種パラメータ、タイミングを決定し、タイミング発生器１０８を制御する。

また、顔特徴検出１１３が検出結果をＣＰＵ１１１に通知し、ＣＰＵ１１１がその結果により動き検出１１４を制御する事で、動き検出１１４は被写体の顔付近の動き情報を検出する事で演算時間を短縮する。

次に、図２のフローチャート、及び図４を用いて、本実施例に於ける基本的な静止画像取り込み手段を説明する。

ステップ２００は、フローチャートの開始である。ステップ２０２は図１で説明した処理により画像を画像メモリ１０３への取り込み処理である。ステップ２０４は、動き検出結果をＣＰＵ１１１へ通知する事でＣＰＵ１１１がタイミング発生器１０８へシャッタースピードを設定する。

次にステップ２０６は、同様の動き情報により、ＣＰＵ１１１がタイミング発生器１０８へ連写スピードを設定する。ここで、ユーザのモード設定により、静止画像を１枚のみを取り込む設定の場合は、ステップ２０４の設定に基づいて取り込まれ、連写モードに設定されている場合は、ステップ２０６の設定に基づいて連続した取り込みが実施される。

ステップ２０８、ステップ２１０は上述した顔認識であり、ステップ２０８にて顔として認識されたならば、ステップ２１０にて少なくとも２つの目が認識されたかどうかの判断が行われ、認識できた場合はステップ２１２によりレリーズボタンが押し下げられて静止画像が取り込まれる。それ以外はステップ２０２に戻り、同様の処理が繰り返される。

図４は、被写体とその動きの様子の一例を示したものである。

４００は、被写体の全景、４０２は、カメラに対して横を向いている被写体、４１０は、顔特徴検出１１３の検出結果によりＣＰＵ１１１によって顔付近に設定されたサーチウィンドウである。上記サーチウィンドウは、ユーザの設定により表示／非表示を選択できる。ここで、サーチウィンドウは、顔特徴検出１１３に於ける従来からの肌色検出及び輪郭検出結果により、図示せずもＣＰＵが少なくとも肌色領域を全て網羅するような画像メモリ１０４上の位置を設定する事により決定される。その設定は、動き検出１１４にそのサーチウィンドウ領域のアドレス範囲として設定される。

動き検出１１４はこのサーチウィンドウ内において動き情報を検出し、ＣＰＵ１１１に結果を通知する。４０６は４００の状態から被写体の顔が動き、その結果、被写体の顔がカメラの方向を向き、２つの目を検出可能になった状態の場合に於ける被写体の全景を示した図である。４０８は、カメラの方向を向いた被写体である。

フローチャートのステップ２０４では、被写体が４０２の状態から４０８の状態に移行する時の動き情報を得た結果をＣＰＵ１１１に伝える事で、ＣＰＵ１１１は、シャッターチャンスに於ける良好なシャッタースピード、又は連写スピードを設定する。

次に、図３のフローチャート、及び図５、図６を用いて、本実施例に於ける基本的な肌色検出領域の動き検出手段を説明する。

ステップ３００は、フローチャートの開始である。ステップ３０２は、図１の構成によってＮフレーム目の画像を画像メモリ１０４への取り込みである。ステップ３０４は、同様にＮ＋１フレーム目の画像を画像メモリ１０４への取り込みである。ステップ３０６は、Ｎ＋１フレームの画像をリファレンスとして行う肌色検出処理である。

その結果が、図４のサーチウィンドウに反映される。ステップ３０８は、その設定されたサーチウィンドウ内である肌色検出領域内の動き検出処理である。ここで、検出された動き検出情報は、ステップ３１０にてマイコンへ通知される。ステップ３１２は撮影が終了したかどうかの判断であり、終了であれば、ステップ３１４で終了し、継続していればステップ３０２に戻る。

図５は、３０８の肌色検出領域の動き検出方法を示した図である。図４と同一のものには同一の番号を付している。

まず、４０４、４１０のサーチウィンドウ内を任意の画素ブロックに分割する。分割された画素ブロックは、５００、及び５０２のように２次元的に、夫々Ａ（ｐ：水平方向のブロックナンバー、ｑ：垂直方向のブロックナンバー）、Ｂ（ｎ：水平方向のブロックナンバー、ｍ：垂直方向のブロックナンバー）と表現する。

ここで、Ａのブロックの夫々が、Ｂのどの位置のブロックと一致するかを逐次的に比較する事で動き情報を得る。

図６は、肌色検出部の動き検出を更に詳細に説明するためのフローチャートである。

ステップ６００は、フローチャートの開始である。ステップ６０２は、ＣＰＵ１１１により肌色検出結果からサーチウィンドウを設定するステートである。ステップ６０４は、サーチウィンドウ内の画像ブロック配列（ｎ，ｍ，ｐ，ｑ）の初期化である。

ステップ６０６は、Ｂ（ｎ，ｍ）とＡ（ｎ，ｍ）の比較であり、例えば、画素ブロックの輝度データ又は色差データの平均値が比較される。最初は、Ｂ（０，０）とＡ（ｎ，ｍ）が順次比較される。ここで、比較値が一致した場合は、ステップ６３０へ遷移し、ＣＰＵ１１１へその動き情報を通知してステップ６２０へ遷移し、次のＢ（０，１）とＡ（ｎ，ｍ）が順次比較される。

ステップ６０８は、Ｂ（ｎ，ｍ）とＡ（ｐ，ｑ）が一致しなかった場合、ｑをインクリメントする。ステップ６１０はｑが最大値を超えたかどうかの判断をし、最大値を超えた場合は、ステップ６１２にてｑを初期化し、ステップ６１４にてｐをインクリメントしてステップ６１６へ遷移する。

ステップ６１６では、ｐが最大値を超えたかどうかの判断をし、最大値を超えた場合は、ステップ６１８にてｐを初期化する。ステップ６１０及び、ステップ６１６の判断でいずれも最大値に満たない場合は、ステップ６０６へ遷移し、順次、画素ブロックの比較処理を繰り返す。

ステップ６１８にてｐが初期化された後は、ステップ６２０に遷移して、Ｂブロックのｍがインクリメントされてステップ６２２に遷移する。ステップ６２２では、ｍが最大値を超えたかどうかの判断をし、最大値を超えた場合は、ステップ６２４にてｍを初期化し、ステップ６２６にてｎをインクリメントする。

ステップ６２８にてｎが最大値かどうかを判断し、最大値を超えた場合、サーチウィンドウ内の全てのブロックについて動き検出が完了したと判断しステップ６３２にて処理を終了する。

ステップ６２２、及びステップ６２８で最大値に達していない場合は、いずれもステップ６０６に戻り、同様の処理を繰り返す。

なお、リファレンスにするブロックは、ＡとＢのどちらでも構わない。

本実施例に於ける上記一連の処理は、毎フレーム毎に実施され、被写体の顔検出及び目の検出により、被写体がカメラ方向を向いたと判断した時点で、その検出値を元にシャッタースピード及び、連写スピードを決定し、静止画像を取り込む事になる。

本発明の第一の実施例を表す図 本発明の静止画像取り込みのフローチャート 本発明の静止画像取り込み時の動き検出手段を表すフローチャート 撮影時の被写体の一例の図 被写体のサーチ領域を表す図 本発明の動き検出のフローチャート

符号の説明

１０１ レンズ
１０２ 撮像素子
１０３ カメラ信号処理
１０４ 画像メモリ
１０５ 操作スイッチ
１０６ ディスプレイ
１０７ モータドライバ
１０８ タイミング発生器
１０９ 記録媒体
１１０ 記録媒体のインタフェース
１１１ ＣＰＵ
１１２ プログラムフラッシュメモリ
１１３ 顔特徴検出
１１４ 動き検出
２００ フローチャートの開始
２０２ 画像取り込み
２０４ シャッタースピード設定
２０６ 連写スピード設定
２０８ 顔認識
２１０ 目判別
２１２ レリーズボタン押下
２１４ フローチャートの終了
３００ フローチャートの開始
３０２ Ｎフレーム目の画像取り込み
３０４ Ｎ＋１フレーム目の画像取り込み
３０６ 肌色検出
３０８ 肌色領域からの動き検出
３１０ マイコンとの通信
３１２ 撮像終了判断
３１４ フローチャートの終了
４００ 撮像Ｎフレームのイメージ図
４０２ 正面を向いていない被写体
４０４ 動き検出用のサーチ領域
４０６ 撮像Ｎ＋１フレームのイメージ図
４０８ 正面を向いた被写体
４１０ 動き検出用のサーチ領域
５００ Ｎフレームの動き検出用の単位ブロック
５０２ Ｎ＋１フレームの動き検出用の単位ブロック
６００ フローチャートの開始
６０２ サーチウィンドウ設定
６０４ サーチブロックの２次元配列の初期化
６０６ ブロックデータの比較
６０８ ｑのインクリメント
６１０ ｑと最大値との比較
６１２ ｑのクリア
６１４ ｐのインクリメント
６１６ ｐと最大値との比較
６１８ ｐのクリア
６２０ ｍのインクリメント
６２２ ｍと最大値との比較
６２４ ｍのクリア
６２６ ｎのインクリメント
６２８ ｎと最大値との比較
６３０ マイコンへの通知
６３２ フローチャートの終了

Claims (3)

1. 入力された画像信号から、顔を認識する顔画像認識手段と前記顔画像の各部分を判別する手段を有し、その画像を静止画像として記録媒体に記録する画像記録装置において、
   被写体の顔画像が認識出来た時に、撮影モードを決定し撮像動作を行うことを特徴とする画像記録装置。
2. 請求項１に記載の画像記録装置において、
   顔画像領域を検出する手段を有し、動き検出用のサーチ領域を決定することを特徴とする画像記録装置。
3. 請求項２に記載の画像記録装置において、
   サーチ領域内の動き検出により撮影モードとしてシャッタースピード及び連写スピードを決定することを特徴とする画像記録装置。

Images