JP2009060355A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】他の人物の動きに影響されることなく、特定の人物の動きに応じた連写制御を行う。
【解決手段】顔登録ファイル２０は、撮影時に母、父等の家族名称を示す情報であるユーザ設定情報２０１、当該ユーザ（登録者）の顔画像における特徴データであるユーザ辞書データ２０２、及び当該ユーザ（登録者）の顔画像データ２０３を含んで構成される。よって、表示可能なユーザ設定情報２０１と顔画像データ２０３とを、当該顔登録ファイル２０を管理するための管理情報として機能させ得るように構成されている。従って、被写体の中から特定の人物を認識でき、その特定の人物の動きに応じた連写制御を行う。
【選択図】 図２

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特に連写技術に関するものである。

近年、電子カメラ、デジタルカメラ、カメラ付き携帯電話など撮像装置の進歩が著しい。メモリの大容量化、低価格化が進み、大量の画像データを記録できるとともに、高速シャッター技術により高速連写も可能になってきている。
一般に高速連写は被写体の状態に拘わらず、シャッターを押してから離すまでの間に多数の画像を撮影するものである。
従って、被写体に変化がない場合は、同じ写真が何枚も撮影されてしまうという課題があった。

そこで、被写体の変化に応じて連写を制御しようという思想が出てきた。例えば、特開２００７−４９４４９号公報（特許文献１）には、被写体の顔画像が認識出来た時に、撮影モードを決定し撮像動作を行い、その際、動き検出用のサーチ領域を決定し、そのサーチ領域内の動き検出により撮影モードとしてシャッタースピード及び連写スピードを決定することを特徴とする画像記録装置が記載されている。

特開２００７−４９４４９号公報

しかしながら、特許文献１記載の技術では、顔画像の認識及び被写体の動きのみを検出してシャッタースピード又は連写スピードの設定を行っているため、複数の人物が画面に入っているときに、目的とする人物以外の人物の動きに連動して連写をしてしまう可能性があった。

本発明は上記課題を解決するためになされたものであり、目的とする人物の動きに連動した連写を実現することができる撮像装置、撮像方法、およびプログラムの提供を目的とする。

本発明は上記目的を達成するため、以下を提供するものである。
画像入力手段と、前記画像入力手段から入力された画像データから顔を認識する顔認識手段と、前記顔認識手段により認識された被写体の動きを検出する動き検出手段と、複数枚の画像を連続して撮影する連写手段と、前記動き検出手段の検出結果に応じて、前記連写手段を制御する連写制御手段と、を具備したことを特徴とする撮像装置。
また、前記顔認識手段は、人物の顔画像を認識することを特徴とする請求項１記載の撮像装置。
また、前記顔認識手段は、複数の人物の顔画像を認識し、該複数の人物の顔画像の特徴情報をそれぞれ記憶する特徴情報記憶手段を備えることを特徴とする請求項２記載の撮像装置。
また、前記動き検出手段は、前記複数の人物の顔画像の特徴情報に基づいて特定の人物を認識し、該特定の人物の動きを検出することを特徴とする請求項３記載の撮像装置。
また、前記連写制御手段は、前記検出手段により検出された特定の人物の動きに応じて連写間隔を制御することを特徴とする請求項４記載の撮像装置。
また、前記連写制御手段は、前記検出手段により検出された特定の人物の動きが相対的に大きいときは連写間隔を相対的に短く、動きが相対的に小さいときは連写間隔を相対的に長く制御することを特徴とする請求項５記載の撮像装置。
また、連写手段を備えた撮像装置の撮像方法であって、入力された画像データから複数の人物の顔画像を認識し、認識された人物のうち特定の人物の動きを検出し、該特定の人物の動きが相対的に大きいときは連写間隔を相対的に短く、動きが相対的に小さいときは連写間隔を相対的に長く制御することを特徴とする撮像方法。
また、請求項７記載の撮像方法をコンピュータに実行させるためのプログラム。

本発明によれば、目的とする人物の動きに連動した連写を実現することができる。

以下、本発明の一実施の形態を図にしたがって説明する。
（実施の形態）
図１は、本発明の実施の形態を示すデジタルカメラ１のブロック図である。このデジタルカメラ１はＡＦ機能（オートフォーカス機能）を備えたものであって、フォーカスレンズ２、ズームレンズ３、ＣＣＤ４、ＣＤＳ／ＡＤブロック５、ＴＧ（Timing Generator）６、ＣＣＤデータ前処理ブロック７、色処理（ＣＰ）ブロック８、ＪＰＥＧ符号化器９、ＤＲＡＭ１０、内蔵のフラッシュメモリ１１、ＲＡＭ１２、ＣＰＵ１３、表示部１４、キーブロック１５、カード・インターフェイス１６、モータ駆動ブロック１７、及び入出力インターフェイス１９を備えている。カード・インターフェイス１６には、図示しないカメラ本体のカードスロットに着脱自在に装着されたメモリカード１８が接続されており、入出力インターフェイス１９には他のデジタルカメラやパソコン等の外部機器が接続される。

フォーカスレンズ２及びズームレンズ３はそれぞれが図示しないレンズ群から構成されるものである。モータ駆動ブロック１７は、フォーカスレンズ２を光軸方向に駆動するフォーカスモータ１７０ａ、及びズームレンズ３を光軸方向に駆動するズームモータ１７０ｂと、ＣＰＵ１３から送られる制御信号に従いフォーカスモータ１７０ａ及びズームモータ１７０ｂをそれぞれ駆動するモータドライバ１７１ａ，１７１ｂとから構成されている。なお、フォーカスモータ１７０ａ及びズームモータ１７０ｂは共にステッピングモータである。

ＣＣＤ４は、フォーカスレンズ２とズームレンズ３を介して投影された被写体像を光電変換し撮像信号として出力する。ＴＧ６は、所定周波数のタイミング信号を生成してＣＣＤ４を駆動する。ＣＤＳ／ＡＤブロック５は、ＣＣＤ４からの出力信号をサンプリングしてノイズを除去しデジタル信号に変換する。ＣＣＤデータ前処理ブロック７は、デジタル信号に変換された撮像信号に対し輝度信号処理等のデータ処理を行う。色処理（ＣＰ）ブロック８は、輝度信号処理等が行われた画像信号に対して色分離等の色処理を行い、Ｙ，Ｃｂ，Ｃｒの画像データを生成する。ＤＲＡＭ１０は、色処理後のＹ，Ｃｂ，Ｃｒの画像データを逐次記憶する。

表示部１４は、カラーＬＣＤと、それを駆動する駆動回路等からなり、撮影モードが設定された状態でシャッタキーが押されていない撮影待機状態には、ＣＣＤ４から取り込まれＤＲＡＭ１０に蓄積された１フレーム（画面）分の画像データに基づくスルー画像を表示し、再生モードが設定された状態では、メモリカード１８から読み出されるとともに伸張された画像データに基づく記録画像を表示する。
ＪＰＥＧ符号化器９は、画像記録時（撮影処理時）には、色処理（ＣＰ）ブロック８から入力した画像データをＪＰＥＧ圧縮する。メモリカード１８は、カード・インターフェイス１６を介して送られた圧縮後の画像データを記録する。記録された画像データは、記録画像の再生時に読み出され、ＪＰＥＧ符号化器９により伸張された後、表示部１４において表示される。また、キーブロック１５は、撮影モード、再生モード、顔画像登録モード等の各種モードの切り替えに使用される切替キーや、ＳＥＴキー、シャッタキー、絞りやシャッタ速度を設定するための設定キー、ズーム倍率の変更に使用されるズームキー等の各種の操作キーを含み、キー操作に応じた操作信号をＣＰＵ１３へ送る。また、シャッタキーは、所謂ハーフシャッタ機能を備えたものであり、撮影予告のための半押し操作と、撮影指示用の全押し操作が可能な構成である。

前記フラッシュメモリ１１には、ＣＰＵ１３によるデジタルカメラ１の制御、すなわちＡＦ制御、ＡＥ制御、ＡＷＢ制御等に必要なプログラムと各種データ、後述するフローチャートに示す制御を実行するための制御プログラム等が格納されており、ＣＰＵ１３は、キーブロック１５からの操作信号と前記プログラムに従いＲＡＭ１２を作業用メモリとして動作する。

図２（Ａ）は、後述するフローチャートに従った処理により作成される顔登録ファイル２０のファイル構造を示す図である。この顔登録ファイル２０は、「セグメント」毎に「マーカーコード」、「セグメントの内容」及び「備考」の書き込み欄が設けられている。セグメント「ＡＰＰ２」（マーカーコード；ＦＦＥ２ｈ）のユーザ設定情報２０１は、図２（Ｂ）に示すように、「Ｌｅｎｇｔｈ」、「Ｍｏｄｅｌ」、「Ｆａｍｉｌｙ Ｐｒｉｏｒｉｔｙ」、「Ｆａｍｉｌｙ Ｎａｍｅ」で構成されている。「Ｆａｍｉｌｙ Ｐｒｉｏｒｉｔｙ」は、撮影時の優先順位を示す情報であり、「Ｆａｍｉｌｙ Ｎａｍｅ」は母、父等の家族名称を示す情報である。

セグメント「ＡＰＰ３」（マーカーコード；ＦＦＥ３ｈ）のユーザ辞書データ２０２は、図２（Ｃ）に示すように、「Ｌｅｎｇｔｈ」、「Ｂｏｄｙ（ユーザ辞書データ）」で構成されている。「Ｌｅｎｇｔｈ」は、当該ユーザ辞書データのデータ長さを示す情報であり、「Ｂｏｄｙ（ユーザ辞書データ）」は後述するようにして取得された顔画像の特徴を示す特徴データである。

また図２（Ａ）において、セグメント「ＤＱＴ」〜「ＳＯＳ」（マーカーコード；ＦＦＤＢｈ〜ＦＦＤ９ｈ）は、後述するように撮影された顔画像データ２０３である。つまり、１つの顔画像データ２０３は、Ｙ量子化テーブル・Ｃ量子化テーブル、スタンダードハフマンテーブル、リスタートインターバル、フレームヘッダ、スキャンヘッダの各情報で構成されている。

したがって、この顔登録ファイル２０は、撮影時に優先順位や母、父等の家族名称を示す情報であるユーザ設定情報２０１、当該ユーザ（登録者）の顔画像における特徴データであるユーザ辞書データ２０２、及び当該ユーザ（登録者）の顔画像データ２０３を含んで構成される。よって、表示可能なユーザ設定情報２０１と顔画像データ２０３とを、当該顔登録ファイル２０を管理するための管理情報として機能させ得るように構成されている。もちろん家族に限ることなく、友人でも任意のグループでもよい。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作を説明する。電源をオンにした後、キーブロック１５に設けられているモード切替キーを操作して顔登録モードを設定すると、ＣＰＵ１３は、前記プログラムに従って動作することにより、図３のフローチャートに示すように処理を実行する。すなわち、ＣＣＤ４から取り込まれＤＲＡＭ１０に順次蓄積される１フレーム（画面）分の画像データに基づき、スルー画像の表示を開始する（ステップＳ１０１）。したがって、このとき撮影者が登録しようとする人物の顔にデジタルカメラ１を向けていると、表示部１４には所定のフレームレートで当該人物の顔画像が表示される。

次に、ガイド表示処理を実行して、表示部１４にガイド枠を表示する（ステップＳ１０２）。このステップＳ１０２での処理により、図４に示すように、表示部１４の略中央部に縦長矩形状のガイド枠１４１を表示させる。これにより、撮影者はこのガイド枠１４１内に、前記人物の顔画像Ｆが収まるようにデジタルカメラ１の向き等を調整することを促される。そして、図４に示すように、ガイド枠１４１内に顔画像Ｆが収まるようにデジタルカメラ１を調整した後、シャッターキーを操作すると、ステップＳ１０３の判断がＹＥＳとなる。

したがって、ステップＳ１０３からステップＳ１０４に進み特徴データを取得する。この特徴データの取得に際しては、ＣＣＤ４から順次取り込まれる１フレーム（画面）分の顔画像の画像データから所定の輝度情報や輝度分布情報等の特徴データを抽出する。無論、周知のアイリスデータ取得技術や認識技術を用いて、顔画像における瞳の輝度分布情報であるアイリスデータを特徴データとして取得するようにしてもよい。

次に、このステップＳ１０４での処理に前記特徴データを取得できたか否かを判断する（ステップＳ１０５）。取得できなかった場合には、所定時間が経過したか否かを判断し（ステップＳ１０６）、所定時間を経過していない場合にはステップＳ１０４からの処理を繰り返す。このステップＳ１０４からの処理を繰り返し実行した場合において、特徴データが取得できずに所定時間が経過した場合には、ステップＳ１０６の判断がＹＥＳとなる。したがって、この場合には表示部１４にエラー表示を行って（ステップＳ１０７）、ステップＳ１０１からの処理を再開する。

前記エラー表示を見たユーザは、例えば撮影環境が暗い等の特徴データを取得不可能な撮影環境であることを認識することができる。そして、撮影者が撮影環境を改善する等により、特徴データが取得されるとステップＳ１０５の判断がＹＥＳとなる。したがって、ステップＳ１０５からステップＳ１０８に進み取得した特徴データをＤＲＡＭ１０に一時的に記憶する。次に、顔画像撮影処理を実行して、前記ガイド枠１４１内の顔画像Ｆの画像データをＤＲＡＭ１０に保存する（ステップＳ１０９）。

引き続き、他の管理データの追加入力ガイドを実行して、例えば「顔画像以外の他の管理データを入力しますか？」等の追加入力ガイドを表示部１４に表示させる（ステップＳ１１０）。この追加ガイド表示を見た撮影者が、キーブロック１５での操作により、前記撮影時の優先順位や母、父等の家族名称を入力すると、ステップＳ１１１の判断がＹＥＳとなる。したがって、ステップＳ１１１からステップＳ１１２に進み、この追加入力された管理データを前記ユーザ設定情報２０１としてＤＲＡＭ１０に一時的に記憶する（ステップＳ１１２）。

また、キーブロック１５にての操作により、追加入力の終了が指示されたか否かを判断し（ステップＳ１１３）、追加入力の終了操作があったならば、ステップＳ１１３からステップＳ１１４に進みファイル作成処理を実行する。このファイル作成処理に際しては、ＤＲＡＭ１０内において図２（Ａ）に示した顔登録ファイル２０のフォーマットを作成するとともに、この顔登録ファイル２０のフォーマット内に、ユーザ辞書データ２０２として前記ＤＲＡＭ１０に一時記憶した特徴データを書き込み、前記顔画像データ２０３として前記ＤＲＡＭ１０に保存した顔画像Ｆの画像データを書き込むとともに、前記ユーザ設定情報２０１を書き込む。これにより、ＤＲＡＭ１０内において、図２（Ａ）に示した顔登録ファイル２０が生成されることとなる。

引き続き、ファイル記録処理を実行して、ＤＲＡＭ１０内にて生成されている前記顔登録ファイルをフラッシュメモリ１１に記録する（ステップＳ１１５）。また、表示処理を実行して、フラッシュメモリ１１に記録した顔登録ファイル２０からユーザ設定情報２０１と顔画像データ２０３とを読み出して、表示部１４に表示させる（ステップＳ１１６）。したがって、撮影者はこれを見ることにより、今回特徴データを登録した人物の顔画像とユーザ設定情報とを確認することができる。

引き続き、キーブロック１５にての操作により現在設定されている顔登録モードの終了が指示されたか否かを判断する（ステップＳ１１７）。顔登録モードの終了操作があるまで、ステップＳ１０１からの処理を繰り返し、顔登録モードの終了操作があった時点で、このフローに従った処理を終了する。

したがって、ステップＳ１０１が繰り返されることにより、顔画像における特徴データであるユーザ辞書データ２０２、及びユーザ設定情報２０１と顔画像データ２０３とからなる管理情報とを含む顔登録ファイル２０を人物毎に作成して、フラッシュメモリ１１に記録することができる。

また、本実施の形態においては、顔画像の特徴データが取得できたことを条件として（ステップＳ１０５）、顔画像の撮影処理を実行するようにしており（ステップＳ１０９）、撮影した顔画像から特徴データを取得する従来の手順とは異なる手順で処理を行っている。ここで、撮影した顔画像から特徴データを取得する従来の手順の場合、当該撮影した顔画像から特徴データが取得できなかった場合には、撮影が無駄となってしまうこととなる。しかし、本実施の形態の手順によれば、顔画像の特徴データが取得できたことを条件として（ステップＳ１０５）、顔画像の撮影処理を実行することから、顔画像の撮影処理は単一回で済み、無駄な顔画像の撮影処理を回避することができる。もちろん従来の手順通り撮影した顔画像から特徴データを取得してもよい。

また、顔画像における特徴データであるユーザ辞書データ２０２と、ユーザ設定情報２０１及び顔画像データ２０３とからなる管理情報とが単一のファイル（顔登録ファイル２０）で記録されている。よって、特徴データとその管理情報とを常に一体不可分なデータとして取り扱うことができ、これより情報整合性が崩れることを防ぐことができる。

なお、本実施の形態においては、顔登録ファイル２０をフラッシュメモリ１１に記録するようにしたが、メモリカード１８に記録したり、別途専用メモリを固定的に設けて、この専用メモリに顔登録ファイル２０を記録するようにしてもよい。

顔登録ファイル２０をメモリカード１８に記録した場合、メモリカード１８はカメラ本体のカードスロットに着脱自在に装着されていることから、このメモリカード１８を取り外して、他のデジタルカメラに装着することができる。これにより、他のデジタルカメラにおいても後述するように、顔登録ファイル２０を利用した撮影を行うことができる。

次に連写について説明する。
連写は、通常は図５に示すように１回のシャッターで複数枚の画像を撮影するものである。しかして、本実施の形態においては、顔画像における特徴データであるユーザ辞書データ２０２、及びユーザ設定情報２０１と顔画像データ２０３とからなる管理情報とを含む顔登録ファイル２０を人物毎に作成して、フラッシュメモリ１１に記録しているので、特定の人物を認識することができる。
例えば図６には３人の人物Ａ、Ｂ、Ｃが写っているが、Ｃを特定の人物とすれば、Ｃだけを認識することができる。また、動き検出の方法は色々知られているが、例えば連続する２枚の画像データ間の差分を計算することで動きの大きさの情報を得ることができる。この差分を計算するためには連写して得られた画像データを使用してもよいし、ビューファインダーとして繰り返し取り込んでいるビデオスルー画像を使用してもよい。差分の計算はＣＰＵ１３で行う。

人物を背景から抜き出す技術も色々知られている。一般的には動かない背景に対して動いた人物を抜き出す。あるいは、顔認識した上で、人物であると推定される被写体を抜き出す。現実問題としては、きれいに人物を抜き出すことは極めて難しいが、本実施の態様においては、人物を抜き出すことが目的ではなく、人物Ａ、Ｂ、Ｃすべてが写っている画像を連写するのであるから、きれいに抜き出す必要はなく、人物Ａ、Ｂ、Ｃを区別することができて、その動きを検出することができれば足りる。
人物Ａ、Ｂの動きを無視して人物Ｃの動きだけ検出することを前提としているが、考え方としては、人物Ａ、Ｂの動きも検出し、人物Ａ、Ｂの動きが検出されたときはシャッターを動作しないようにすることもできる。

図７に示すように、特定の人物が速く動いたことを検出したときは連写間隔を短く設定し、遅く動いたことを検出したときは連写間隔を長く設定する。これにより、人物Ａ、Ｂの動きに影響されることなく、人物Ｃの動きに対応して連写間隔を制御することができる。一例としては連写中、通常は１秒に１枚の割合で写真を撮影するよう制御し、人物ＡまたはＢが動いたとしても１秒に１枚のペースを維持するが、人物Ｃが動いたときは１秒に５枚のペースで撮影するよう制御し、更に人物Ｃの動きが所定の差分以上であった場合、すなわち大きく動いたときは１秒に１０枚のペースで撮影するよう制御する。あるいは、人物Ｃが止まっている間は撮影を停止するようにしてもよい。一旦撮影を停止した後は、露出やフォーカスなどの撮影条件を再設定しても良い。
なお、上記実施の態様では人物の顔認識を行うことを前提として説明したが、原理としては動物の認識にも適用できる。人間とうさぎが写っている画像において、人間の動きに影響されることなくうさぎの動きに対応した連写鮮魚をすることも可能である。

本発明の各実施の形態に共通するデジタルカメラのブロック図である。 （Ａ）は顔登録ファイル２０のファイル構造を示す図、（Ｂ）はユーザ設定情報の詳細を示す図、（Ｃ）はユーザ辞書データの詳細を示す図である。 本発明の実施の形態における顔登録モードの処理手順を示すフローチャートである。 ガイド表示の表示画面例を示す図である。 シャッター動作と連写間隔の状態を示す図である。 同実施の形態における被写体の表示例を示す図である。 特定の被写体の動きと連写間隔の状態を示す図である。

符号の説明

１ デジタルカメラ
４ ＣＣＤ
６ ＴＧ
８ ブロック
９ ＪＰＥＧ符号化器
１０ ＤＲＡＭ
１１ フラッシュメモリ
１２ ＲＡＭ
１３ ＣＰＵ
１４ 表示部
１５ キーブロック
１６ インターフェイス
１９ 入出力インターフェイス
２０ 顔登録ファイル
１４１ ガイド枠
１４２ 優先順位
１４３ 家族名称
２０１ ユーザ設定情報
２０２ ユーザ辞書データ
２０３ 顔画像データ

Claims (8)

1. 画像入力手段と、
   前記画像入力手段から入力された画像データから顔を認識する顔認識手段と、
   前記顔認識手段により認識された被写体の動きを検出する動き検出手段と、
   複数枚の画像を連続して撮影する連写手段と、
   前記動き検出手段の検出結果に応じて、前記連写手段を制御する連写制御手段と、
   を具備したことを特徴とする撮像装置。
2. 前記顔認識手段は、人物の顔画像を認識することを特徴とする請求項１記載の撮像装置。
3. 前記顔認識手段は、複数の人物の顔画像を認識し、該複数の人物の顔画像の特徴情報をそれぞれ記憶する特徴情報記憶手段を備えることを特徴とする請求項２記載の撮像装置。
4. 前記動き検出手段は、前記複数の人物の顔画像の特徴情報に基づいて特定の人物を認識し、該特定の人物の動きを検出することを特徴とする請求項３記載の撮像装置。
5. 前記連写制御手段は、前記検出手段により検出された特定の人物の動きに応じて連写間隔を制御することを特徴とする請求項４記載の撮像装置。
6. 前記連写制御手段は、前記検出手段により検出された特定の人物の動きが相対的に大きいときは連写間隔を相対的に短く、動きが相対的に小さいときは連写間隔を相対的に長く制御することを特徴とする請求項５記載の撮像装置。
7. 連写手段を備えた撮像装置の撮像方法であって、
   入力された画像データから複数の人物の顔画像を認識し、認識された人物のうち特定の人物の動きを検出し、該特定の人物の動きが相対的に大きいときは連写間隔を相対的に短く、動きが相対的に小さいときは連写間隔を相対的に長く制御することを特徴とする撮像方法。
8. 請求項７記載の撮像方法をコンピュータに実行させるためのプログラム。

Images