JP2011511507A - カメラシステム及びカメラシステムを動作させる方法 - Google Patents

Abstract

１又は２以上の被写体が行うまばたきを検出すべく、カメラ装置の画像フィールドが検査される。この検出は、プレビュービデオ信号フレームを比較することによって実行されうる。各まばたきが追跡され、被写体と関連付けられる。各まばたきについてのまばたき時間及びまばたき率に関する統計データが生成される。写真撮影を指示するユーザ入力に応答して、まばたきが行われているかどうかが判定され、その指示の時点においてまばたきが検出されなかったときは、カメラ装置のフラッシュが発光され写真の画像データが取り込まれる。まばたきが検出されたときは、まばたきの最中におけるフラッシュの発光及び画像データの取り込みを最小限にするため、フラッシュの発光及び画像データの取り込みが統計データに基づく時間量だけ遅延される。

Description

本開示の技術は一般に写真撮影に関し、特に、画像フィールド内の被写体を検査し、フラッシュの動作を制御して、被写体がまばたき行っている間のフラッシュの発光を最小限にするようにするシステム及び方法に関する。

モバイルデバイスや無線電子デバイスの普及がますます進んでいる。現在のところ、例えば、移動電話機、携帯用メディアプレーヤ、携帯用ゲーム装置が、広く使用されている。さらに、ある特定の種類の電子デバイスに関連付けられた諸機能についてはますます多様化が進んでいる。例えば、多くの移動電話には現在、静止画像やビデオ画像の取り込みが可能なカメラが含まれている。

低輝度の状態では、多くのカメラが場面に補助光を提供するフラッシュに依存して、結果として得られる写真の画像品質の向上が図られている。しかし、フラッシュが発光され、画像フィールド内の人物がまばたきをしている最中に写真の画像データが取り込まれた場合、結果として生じる被写体の写真表現は、人物が目を閉じた状態や、半目の状態になってしまう。

低輝度の状態における写真撮影の方法を改善するために、本開示は改善されたまばたき検出及びフラッシュ動作技法について記述する。開示される本技法は、顔の特徴認識処理を含むまばたき検出アプローチに依拠するのではなく、低輝度の状態において良好に機能するまばたき検出アプローチによるものである。また、本アプローチは、実行される際ほとんど処理電力を消費しないソフトウェアの形で実装可能である。その結果、（約１２またはそれ以上の被写体などの）比較的多数の被写体のまばたき動作を容易に追跡することが可能となる。

本開示の１つの側面によれば、カメラ装置を制御する方法は、画像フィールドの、一連のフレームを有するビデオ信号を生成し、前記ビデオ信号の現フレームから前記ビデオ信号の前フレームを減算して差分フレームを生成し、まばたきを表す前記差分フレームにおける画像データを識別することによって、前記画像フィールド内の１又は２以上の被写体によるまばたきを検出するために画像フィールドを検査するステップを含む。本方法はさらに、各々のまばたきを追跡し、該各々のまばたきを前記１又は２以上の被写体のうちの１の被写体と関連付けるステップと、前記１又は２以上の被写体の各被写体のまばたき持続時間及びまばたき率に関する統計データを生成するステップと、写真の撮影を指示するユーザ入力に応答して、まばたきが行われているか否かを判定し、前記指示の時点においてまばたきが検出されなかったときは、前記カメラ装置のフラッシュを発光して前記写真の画像データを取り込み、まばたきが検出されたときは、前記１又は２以上の被写体のまばたきの最中における前記フラッシュの発光及び前記画像データの取り込みを最小限にするため、前記フラッシュの発光及び前記画像データの取り込みを前記統計データに基づく時間量だけ遅延させるステップとを有する。

本方法の一実施形態によれば、前記遅延の長さは、前記指示の時点において検出された、多数の人のサンプルの平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間である。

本方法の一実施形態によれば、前記遅延の長さは、前記指示の時点において検出された、多数の人のサンプルの平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間である。

本方法の一実施形態によれば、前記遅延の長さは、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間である。

本方法の一実施形態によれば、前記遅延の長さは、前記１又は２以上の被写体の数及び前記統計データを計算に入れた予測アルゴリズムを用いて決定される。

一実施形態によれば、本方法は、他のまばたきが行われているか否かを判定することなく、前記遅延の後に、前記フラッシュを発光して前記画像データを取り込むステップを更に有する。

一実施形態によれば、本方法は、前記遅延が終了した時点において他のまばたきが行われているか否かを判定するステップを更に有する。

本方法の一実施形態によれば、前記遅延が終了した時点において他のまばたきが行われているときは、前記フラッシュの発光及び前記カメラ装置の前記画像データの取り込みを遅延させ、他のまばたきが行われていないときは、前記フラッシュを発光して前記写真の画像データを取り込む。

一実施形態によれば、本方法は、顔検出及び顔認識のうちの少なくとも一方を用いて各被写体の動きを追跡するステップと、前記追跡された動きを用いて、まばたきと被写体との関連付けを補助するステップとを更に有する。

一実施形態によれば、本方法は、顔認識を用いて被写体を識別するステップと、前記識別された被写体が前記カメラ装置の前記画像フィールドに現われる後続の写真撮影動作において用いるための前記識別された被写体に関連する前記統計データを記憶するステップとを更に有する。

本開示の別の側面によれば、カメラ装置は、写真の画像データを取り込み、画像フィールドの、一連のフレームを有するビデオ信号を生成するセンサと、前記写真の画像データの取り込み中に補助照明を提供するフラッシュと、前記センサ及び前記フラッシュの動作を制御するコントローラとを有する。前記コントローラは、前記ビデオ信号の現フレームから前記ビデオ信号の前フレームを減算してまばたきを表す差分フレームを生成し、該差分フレームにおける画像データを識別することによって、前記画像フィールド内の１又は２以上の被写体によるまばたきを検出するために前記画像フィールドを検査し、各々のまばたきを追跡し、該各々のまばたきを前記１又は２以上の被写体のうちの１の被写体と関連付け、前記１又は２以上の被写体の各被写体のまばたき持続時間及びまばたき率に関する統計データを生成し、写真の撮影を指示するユーザ入力に応答して、まばたきが行われているか否かを判定し、前記指示の時点においてまばたきが検出されなかったときは、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御し、まばたきが検出されたときは、前記１又は２以上の被写体のまばたきの最中における前記フラッシュの発光及び前記画像データの取り込みを最小限にするため、前記統計データに基づく遅延時間だけ待機するように構成されうる。

本カメラ装置の一実施形態によれば、前記遅延時間は、前記指示の時点において検出された、多数の人のサンプルの平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間である。

本カメラ装置の一実施形態によれば、前記遅延時間は、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間である。

本カメラ装置の一実施形態によれば、前記遅延時間は、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間である。

本カメラ装置の一実施形態によれば、前記遅延時間は、前記１又は２以上の被写体の数及び前記統計データを計算に入れた予測アルゴリズムを用いて決定される。

本カメラ装置の一実施形態によれば、前記コントローラは、他のまばたきが行われているか否かを判定することなく、前記遅延の後に、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御する。

本カメラ装置の一実施形態によれば、前記コントローラは、前記遅延が終了した時点において他のまばたきが行われているか否かを判定する。

本カメラ装置の一実施形態によれば、前記遅延が終了した時点において他のまばたきが行われているときは、前記コントローラは、前記フラッシュの発光及び前記画像データの取り込みを遅延させ、他のまばたきが行われていないときは、前記コントローラは、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御する。

本カメラ装置の一実施形態によれば、前記コントローラは、顔検出及び顔認識のうちの少なくとも一方を用いて各被写体の動きを追跡し、前記追跡された動きを用いて、まばたきと被写体との関連付けを補助する。

本カメラ装置の一実施形態によれば、前記コントローラは、顔認識を用いて被写体を識別し、前記識別された被写体が前記カメラ装置の前記画像フィールドに現われる後続の写真撮影動作において用いるための前記識別された被写体に関連する前記統計データをメモリに格納する。

本カメラ装置の一実施形態によれば、前記カメラ装置はネットワークを介して呼を確立する移動電話の一部である。

上記の特徴及び更なる特徴は、以下の説明及び添付図面を参照することにより明らかになる。説明及び図面において、本発明の原理を採用できる方法のいくつかを示すものとして本発明の特定の実施形態が詳細に開示されているが、本発明の範囲はそれらの実施形態に限定されるものではないことは理解されよう。逆に、本発明は、本明細書に添付の請求の範囲の趣旨及び条件内に含まれる全ての変更、変形及び均等物を含むものである。

一実施形態に関して記載されているか、例示されているかの少なくともいずれかの特徴は、１又は２以上の別の実施形態において同じ方法で、又は同様の方法で、あるいは、その他の実施形態の特徴と組み合わされた態様か、又はその他の実施形態の特徴の代わりの態様かの少なくともいずれかの態様で用いることができる。

本明細書で使用される場合、「備える（comprises）」及び「備えている（comprising）」という用語は、言及された特徴、数値、ステップ又は構成の存在を特定するために用いられるが、これら以外の１又は２以上の別の特徴、数値、ステップ、構成、又はこれらのグループの存在又は追加を排除するものではない。

、 代表的なカメラ装置を含む例示の電子デバイスの正面図及び背面図である。 図１及び図２の電子デバイスの概略ブロック図である。 図１及び図２の電子デバイスが動作することができる通信システムの概略図である。 まばたき検出及びフラッシュ動作に関連する例示の技法を示すフローチャートである。 まばたき検出及びフラッシュの動作に関連する別の例示の技法を示すフローチャートである。 まばたき検出及びフラッシュの動作に関連する別の例示の技法を示すフローチャートである。

以下図面を参照して実施形態について説明するが、以下の図面を通して同一の参照番号は同様の要素を参照するために用いられる。これらの図は必ずしも縮尺どおりではないことは理解されよう。

改善されたカメラシステム及びカメラの動作方法を示す種々の実施形態について添付の図面を参照して以下に説明する。例示の実施形態では、上記カメラシステムは移動電話機の一部を構成するデジタルカメラ装置として実現される。専用のカメラ、又は、（パーソナル・デジタル・アシスタント（ＰＤＡ）、メディアプレーヤ、ゲーム用装置、「ウェブ」カメラ、コンピュータなどの）カメラを装備した別のタイプの電子デバイス（但しこれらのみに限定されるわけではない）等のような他の動作状況においてもカメラを動作させる上記技法を適用できることは理解されよう。カメラ装置は、写真とも呼ばれる静止画像の形で画像データを取り込むために用いることができるが、静止画像に加えて、ビデオ画像を取り込むことも可能であることは理解されよう。

まず図１及び図２を参照すると、電子デバイス１０が示されている。例示の電子デバイス１０は移動電話である。電子デバイス１０はデジタル静止画像とデジタルビデオクリップの少なくともいずれかを撮影するためのカメラ装置１２を含む。電子デバイス１０は移動電話である必要はなく、専用のカメラ又は上記のような何らかの別の装置であってもよいことを強調しておく。

さらに図３を参照すると、カメラ装置１２は一般的なカメラ装置として構成することが可能であり、このカメラ装置には、カメラ装置１２の視野内の場面から出る光をセンサ１６上へ合焦する結像光学系１４が含まれる。センサ１６は入射光を画像データに変換する。結像光学系１４には、レンズ装置と、該レンズ装置を補助する、カメラを動作させるレンズ部品とが含まれてもよい。これらのレンズ部品には、保護ウィンドウ、フィルタ、プリズム、ミラー、合焦用機械部、（マルチゾーンオートフォーカス装置などの）合焦制御用電子デバイス及び光学ズーミング用機械部などがある。カメラ装置１２の他の部品には、フラッシュ１８、露出計２０、電子ファインダとして、かつ、インタラクティブなユーザインタフェースの一部として機能するディスプレイ２２、ユーザ入力を受け付けるためのキーパッド２４及びボタン２６の少なくともいずれかと、光学式ファインダ（図示せず）、並びに、共通してカメラと接続されたその他の任意の部品が含まれてもよい。ボタン２６のうちの１つは写真撮影を指示するためにユーザが押すことができるシャッターキーでありうる。

フラッシュ１８は写真の画像データの取り込み中に補助光源の機能を果たすことができる。理解されるように、センサ１６は所定のフレームレートでデータを取り込み、電子ファインダとして動作するようにディスプレイ２２へ供給されるプレビュービデオ信号を生成することができる。以下に説明するように、このビデオ信号を分析して、カメラ装置１２の視野（画像フィールドとも呼ばれる）の範囲内の被写体のまばたきを検出することができる。

カメラ装置１２の別の部品はカメラ装置１２の動作を制御する電子コントローラ２８であってもよい。例えば、関連メモリによって記憶された論理演算命令を実行するプロセッサとして、ファームウェアとして、専用の回路部品から成る構成として、あるいは、上記の実施形態の組み合わせとしてコントローラ２８を実現してもよい。したがって、カメラ装置１２の動作方法は、コンピュータ可読媒体に記憶された（ソフトウェアなどの）実行可能コードとして物理的に実現されてもよいし、あるいは、上記動作方法は電気回路の一部として物理的に実現されてもよい。別の実施形態では、電子コントローラ２８の機能は、電子デバイス１０の動作全体の制御を司る制御回路３０によって実行されてもよい。このケースではコントローラ２８を省いてもよい。別の実施形態では、カメラ装置１２の制御機能はコントローラ２８と制御回路３０との間で分散されてもよい。

図５には、画像フィールド内の被写体のまばたきを検出し、検出したまばたきに従ってフラッシュの発光を制御するようにカメラ装置１２を動作させる方法例を示すフローチャートが示されている。上記例示された方法については変形が可能であり、したがって、実施形態例が本明細書で開示された技法を実行する唯一の態様であると考えるべきではない。

論理フローは、カメラ装置１２が起動されるブロック３２から開始される。カメラ装置１２の起動はセンサ１６の動作を開始させることができる。例えば、センサ１６はセンサ１６に対して入射する光を画像データに変換する。入射光の検知及び画像データの出力を行って、所定のフレームレートで生成される一連の画像フレームからなるビデオ信号を生成することができる。ビデオ信号はユーザ用の電子ファインダとして機能するディスプレイ２２を駆動するために用いることもできる。

次に、ブロック３４において、まばたきの存否を検出するために画像フィールドを追跡する。ビデオ信号から得られる前フレームから得られる画像データをビデオ信号の現フレームの画像データから差し引くことによってまばたきの検出を実行することができる。前フレームは、フレームシーケンスから得られる直前回のフレームであってもよいし、あるいは、現フレームに先行する２つのフレームから現フレームに先行する約５個のフレームのような、直前のフレームよりも古いフレームであってもよい。上記差し引きの結果を差分フレームとする。ほとんどの状況において、１フレーム間での画像フィールドの変化はほとんど検出されないと考えられる。しかし、２つの比較対象フレームにおいて同じ（又は実質的に同じ）であるいずれかの画素がゼロ値を有し（又はゼロ値の近傍にあり）、かつ、２つの比較対象フレーム間において変化したいずれかの画素が所定のしきい値以上の画像データ値を有することに起因して、現フレームと前フレームとの間の差分の検出が可能となる。

差分フレームの画像データの分析によってまばたきの検出が可能となる。条件を満たす対称差分（symmetrical difference）の存否が差分フレームによって示されれば、まばたきが行われていると判定することができる。対称差分は、第１の被写体と、第１の被写体のほぼ鏡像である近接配置の第２の被写体とを表す、差分フレーム内の画像データとなり得る。例えば、一対の長円形が存在しており、これらの長円形が、所定の水平距離の範囲内において互いに隔置され、かつ、所定の垂直方向のオフセット許容範囲内において互いに隔置されている場合には、まばたきが行われていると判定することができる。長円形とは、卵形、偏楕円面又は楕円形のうちの任意のフィーチャであってもよい。別の実施形態では、この処理は長円形に加えて又は長円形の代わりに円形の探索であってもよい。所定の水平距離は、カメラ装置１２のズーム設定と、カメラ装置１２と画像フィールド内の被写体との間の距離に基づくオートフォーカス設定との少なくともいずれかの設定に基づいて調整されうる。差分フレームから得られる画像データがまばたきの開始を示すことができる場合と全く同様に、差分フレームから得られる画像データはまばたきの終了を示すことができる。

ビデオ信号のすべての新たなフレームに関連する差分フレームの生成、１つ毎のフレームに関連する差分フレームの生成、あるいは（３つ毎のフレームや５つ毎のフレームのような）何らかの別の増分するフレーム数に対する差分フレームの生成のようなステップによって検査ステップを継続的に行うことができる。追跡情報を用いて、（被写体の人物の目が閉じ始めるときなどの）まばたきの立ち上りを検出することができると共に、（被写体の人物の目が再び開くときなどの）まばたきの終わりを検出することが可能となる。このようにして、任意の所定の時点において被写体がまばたきをしているかどうかを知ることが可能となる。

画像フレーム内におけるまばたきの位置、（まばたきの開始とまばたきの終了との間の時間のような）まばたき持続時間、及び画像フレームの同じ隣接位置にあるまばたきの間の時間を含む、個々の検出されたまばたきに関する情報を追跡することができる。画像フレームの同じ隣接位置で検出されたまばたきは（被写体とも呼ばれる）同じ人物に属するものであると考えられる。例えば、画像データの特定の座標との関係でまばたきが検出された場合、これらの座標からの所定の距離の範囲内にある後続のいずれのまばたきも同じ被写体に属すると判定できる。一例として、まばたきが３つの座標位置の近くで検出された場合、３つの被写体が画像フレームの中に存在していると判定される。これらの被写体は被写体Ｘ、被写体Ｙ、被写体Ｚと呼ぶことができる。任意の所定の画像フレームに対して、およそ３つの被写体が存在し得ることは理解できよう。

個々の被写体に対する個々のまばたき持続時間を追跡することができると共に、個々の被写体に関連するまばたきの間の時間を追跡することができる。この情報に基づいて個々の被写体に関する統計を導き出すことができる。例えば、個々の被写体に関連する平均まばたき時間を計算することができると共に、個々の被写体に関連するまばたきの間の平均時間（まばたき率(blink rate)又はまばたき頻度(blink frequency)とも呼ばれる）を計算することができる。研究によって、人間のまばたきの平均持続時間は約２５０ミリ秒（ｍｓ）であり、かつ、人間によるまばたきの平均回数は毎分約１０回であることが明らかになっている。これらの値は任意の特定の個人について変動する場合がある。本例では、センサ１６から得られたビデオ信号の分析によって、５秒間のまばたきの間の平均時間で被写体Ｘが約１００ｍｓの平均まばたき持続時間を要することを示すことができる。約１０秒間のまばたきの間の平均時間で被写体Ｙは約２４５ｍｓの平均まばたき持続時間を要することが検知されるかもしれない。約７秒間のまばたきの間の平均時間で被写体Ｚは約３００ｍｓの平均まばたき持続時間を要することが検知されるかもしれない。

一実施形態では、カメラ装置１２と、画像フィールド内の被写体との少なくともいずれかの動きを追跡することが可能であり、それによって、たとえ被写体の目が画像フレーム内での位置を変えても、個々の被写体に関連付けられたまばたきは引き続き個々の被写体に関連付けられる。したがって、たとえ被写体がカメラ装置１２に対する自分の頭部の角度を動かしたり、この角度を変えたりした場合であっても、まばたきは引き続き被写体に属するとすることができる。一実施形態では、このタイプの追跡は、上述したまばたき検出技法を顔検出と顔認識の少なくともいずれかのアルゴリズムと組み合わせることによって実行可能である。このアルゴリズムは個々の被写体用の画像フィールド及び被写体の動きを監視するものである。次いで、たとえ片方の目だけがカメラ装置１２に見えている場合であっても、あるいは、被写体が短時間の間カメラ装置１２の視野から一時的にブロックされた場合（被写体が別の人物の後ろへ動いた場合など）であっても、被写体のまばたきを追跡することは可能である。

顔認識が用いられる場合、識別された人物に関連する統計情報を記憶することができる。次いで、この記憶されたデータは後続の写真撮影動作において再利用され、更新されることができる。また、上記記憶されたデータは、当該データが収集された時点において検知された照明条件に関連付けられてもよい。類似の照明条件で関連データが記憶されている個々の人物が後続の写真撮影動作に含まれていた場合、現在の写真撮影動作の照明条件に類似した照明条件に関連する記憶したまばたきデータを再利用し、更新することができる。照明条件に加えて、１日の時刻及び１日の同様の時刻に関連付けられたまばたきデータに上記記憶されたデータを関連付けてもよく、後続の写真撮影動作のために照明条件を再利用し、更新することも可能である。

ブロック３４の追跡が長時間行われれば行われるほど、被写体に関するより多くのデータを得ることが可能となる。したがって、ユーザが、写真撮影のためにポーズをとっている１グループの人々の１又は２以上の写真を撮影しようと試みるとき、多量のまばたきデータの収集が可能となるが、ユーザが人物の気取らない写真を素早く撮影するか、被写体がまばたきをわざと我慢している場合には、まばたきデータが生成される可能性は比較的低くなる。

ブロック３６において、シャッターキーの押下によるような、ユーザによる写真撮影の指示が行われたかどうかの判定が行われる。写真撮影が指示されていなかった場合、論理フローはブロック３４に関連して説明したように引き続きまばたき情報を収集することができる。

ブロック３６において肯定の判定が行われると、論理フローはブロック３８へ進むことができる。ブロック３８において、１又は２以上の被写体が現在まばたきを行っているか否かに関する判定が行われる。いずれの被写体も現在まばたきを行っていなければ論理フローはブロック４０へ進むことができる。ブロック４０において、カメラ装置１２は写真を取り込む準備を行うことができる。例えば、他の可能な変更の中には、ビデオ取り込みに用いる感度から静止画像データの取り込み用感度へセンサ１６の感度を変更できるものもある。また、フラッシュ１８は光のバーストを放射するようにトリガしてもよい。光のバーストの最中に、センサ１６は写真の画像データを取り込むことができる。その後、ブロック４２において、カメラ装置１２の視野の範囲に入る場面の一部を示す写真が画像ファイルの中に含まれている場合、その画像ファイルを記憶することができる。さらに正確に言えば、この画像ファイルの中には、画像データが取り込まれた時点における画像フィールドを表す画像データが含まれている。ほとんどの実施形態において、画像ファイルにより記憶された画像データは、センサ１６により出力された画像データのダウンサンプルバージョンと圧縮バージョンの少なくともいずれかになる。

ブロック３８においてまばたきが検出されれば、論理フローはブロック４４へ進むことができる。ブロック４４において、フラッシュ１８が発光されると共に、センサ１６が写真の画像データを取り込んだ時点において１又は２以上の被写体がまばたきを行う確率を下げるために、或る時間の間処理を遅延させることができる。一実施形態では、遅延時間は、上述の２５０ｍｓのような、多数の人のサンプルの平均まばたき時間にしてもよい。別の実施形態では、遅延時間は、多数の人のサンプルの平均まばたき時間から、まばたきの開始からシャッターキーが押された時点までに測定された被写体の現在のまばたきについて記録された持続時間を差し引いた時間とすることができる。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値として機能するであろう。別の実施形態では、遅延時間は約１００ｍｓ、約１５０ｍｓ、約２００ｍｓあるいは別の或る時間長のような所定の時間量であってもよい。

別の実施形態では、遅延時間は、まばたきを行っている被写体に対して計算された平均まばたき時間とすることができる。この被写体に対して正確な平均まばたき時間を計算するのに十分なデータが収集されなかった場合には、（約２５０ｍｓなどの）デフォルトのまばたき時間を用いてもよい。別の実施形態では、遅延時間は、被写体の平均まばたき時間から、まばたきの開始からシャッターキーが押された時点までに測定された、被写体の現在のまばたきについての記録された持続時間を差し引いた時間とすることができる。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値として機能するであろう。この被写体に対して正確な平均まばたき時間を計算するのに十分なデータが収集されなかった場合には、（約２５０ｍｓなどの）デフォルトのまばたき時間を用いてもよい。

別の実施形態では、被写体の数と、被写体のまばたき行動に関して収集されたデータと、（上述の２５０ｍｓの平均まばたき持続時間及び毎分１０回のまばたきの平均まばたきレートなどの）デフォルトのまばたきデータとのうちの少なくともいずれかのデータを考慮に入れる予測アルゴリズムを用いて遅延時間を計算してもよい。このようにして、ブロック３６において肯定の判定をトリガした被写体の目が開く時間と、別の人々がまばたきを行う可能性を回避する時間との両方の時間を提供できるように遅延時間を設定することが可能となる。例えば、別の被写体がまさにまばたきをしようとしていることが収集データによって示された場合、上記可能性を考慮するためにフラッシュの発光と画像データの取り込みとを遅延することができる。

ブロック４４の遅延に続いて、論理フローはブロック４０へ進む。このブロック４０で、カメラ装置１２は写真撮影の準備を行い、フラッシュ１８を発光し、センサ１６は写真の画像データを取り込む。例示の方法の変形では、論理フローは、ブロック４４に続いて、ブロック３８へ戻って、別のまばたきが検出されたかどうかの判定を行う。

図６には、画像フィールド内の被写体のまばたきを検出し、検出した任意のまばたきに従ってフラッシュの発光を制御するようにカメラ装置１２を動作させる別の方法例を示すフローチャートが例示されている。図５の対応するブロックと同じか、このブロックと類似の論理ブロックに対しては同じ参照番号が付されている。また、簡潔さを旨として、共通番号が付されたこれらのブロックの動作については図６に関連する詳細な説明は行わない。カメラ装置１２を起動させ、かつ、ビデオ信号の取り込みを開始することによって、ブロック３２から論理フローを開始することができる。次いで、上記にさらに詳述したように、ブロック３４においてまばたきを検出して、まばたきに関するデータの収集を行う。

ブロック３６において、シャッターキーの押下によって行われるような、ユーザによる写真撮影の指示が行われたかどうかの判定が行われる。写真撮影が指示されていなかった場合、論理フローはブロック３４に関連して説明したように引き続きまばたき情報を収集することができる。

ブロック３６において肯定の判定が行われた場合、論理フローはブロック３８へ進む。ブロック３８において、１又は２以上の被写体が現在まばたきを行っているか否かに関する判定が行われる。被写体のいずれも現在まばたきを行っていなければ、論理フローはブロック４０へ進む。ブロック４０において、カメラ装置１２は写真撮影の準備を行い、フラッシュ１８を発光して、センサ１６は写真の画像データを取り込む。その後、ブロック４２において、カメラ装置１２の視野の範囲に入る場面の一部を示す写真が画像ファイルの中に含まれていれば、その画像ファイルを記憶する。

ブロック３８において肯定の判定が行われれば、論理フローはブロック４６へ進む。説明の便宜上、画像フィールドの中に３以上の被写体が存在し、かつ、まばたきを行った結果ブロック３８において肯定の判定が得られた被写体を被写体Ｘであると仮定する。異なる数の被写体が画像フィールドの中に存在しているか、被写体Ｘ以外の被写体がまばたきを行った結果、ブロック３８の肯定の判定が得られたかの少なくともいずれかの可能性があることを認識されたい。

ブロック４６において、フラッシュ１８が発光され、かつ、センサ１６が写真の画像データを取り込んだ時点において１又は２以上の被写体がまばたきを行う確率を下げるために、或る時間の間処理を遅延させることができる。一実施形態では、（例示の被写体Ｘの場合のように）まばたきをした被写体のまばたき履歴に基づいて遅延を行うことができる。例えば、遅延時間は、まばたきをした被写体について計算された平均まばたき時間とすることができる。別の実施形態では、遅延時間は、被写体の平均まばたき時間から、まばたきの開始からシャッターキーが押された時点までに測定された、被写体の現在のまばたきについての記録された持続時間を差し引いた時間とすることができる。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値をとることができる。別の遅延時間によるアプローチも考えられる。例えば、遅延時間は、上述の２５０ｍｓのような、多数の人のサンプルの平均まばたき時間であってもよい。別の実施形態では、遅延時間は約１００ｍｓ、約１５０ｍｓ、約２００ｍｓあるいは別の或る時間長のような所定の時間量であってもよい。別の実施形態では、遅延時間は、多数の人のサンプルの平均まばたき時間から、まばたきの開始からシャッターキーが押された時点までに測定された被写体の現在のまばたきについての記録された持続時間を差し引いた時間であってもよい。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値として機能するであろう。さらに別の実施形態では、上記にさらに詳述したように予測アルゴリズムを用いて遅延時間を計算してもよい。

ブロック４６の遅延後、論理フローはブロック４８へ進むことができる。ブロック４８において、１又は２以上の被写体がブロック４６の遅延時間中にまばたきを開始したか否かの判定が行われる。被写体のいずれもまばたきを行わなかった場合、上述のように論理フローはブロック４０へ進み、その後、ブロック４２へ進む。

ブロック４８において肯定の判定が行われた場合、論理フローはブロック５０へ進む。説明の便宜上、まばたきが行われた結果ブロック４８において肯定の判定が得られた被写体を被写体Ｙであると仮定する。被写体Ｙ以外の被写体がまばたきを行った結果、ブロック４８の肯定の判定が得られる場合もあることを認識されたい。

ブロック５０において、フラッシュ１８が発光され、かつ、センサ１６が写真の画像データを取り込んだ時点において１又は２以上の被写体がまばたきを行う確率を下げるために、或る時間の間処理を遅延させてもよい。一実施形態では、（例示の被写体Ｙの場合のように）まばたきをした被写体のまばたき履歴に基づいて遅延を行うことができる。例えば、遅延時間は、まばたきをした被写体に対して計算された平均まばたき時間であってもよい。別の実施形態では、遅延時間は、被写体の平均まばたき時間マイナスまばたきの開始からシャッターキーが押された時点までに測定された、被写体の現在のまばたきについての記録された持続時間であってもよい。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値をとることができる。別の遅延時間によるアプローチも考えられる。例えば、遅延時間は、上述の２５０ｍｓのような、多数の人のサンプルの平均まばたき時間にしてもよい。別の実施形態では、遅延時間は約１００ｍｓ、約１５０ｍｓ、約２００ｍｓあるいは別の或る時間長のような所定の時間量であってもよい。別の実施形態では、遅延時間は、多数の人のサンプルの平均まばたき時間から、まばたきの開始からシャッターキーが押された時点までに測定された、被写体の現在のまばたきについての記録された持続時間を差し引いた時間であってもよい。この差分は、被写体のまばたきが終了するまでの残り時間を示す妥当な近似値として機能するであろう。さらに別の実施形態では、上記でさらに詳述したように予測アルゴリズムを用いて遅延時間を計算してもよい。

ブロック５０の遅延に続いて、論理フローはブロック４０へ進む。このブロック４０で、カメラ装置１２は写真撮影の準備を行い、フラッシュ１８を発光すると共に、センサ１６は写真の画像データを取り込む。例示の方法の変形では、論理フローは、ブロック５０に続いて、ブロック３８かブロック４８のブロックへ戻って、別のまばたきが検出されたかどうかを判定する。

図７には、画像フィールド内の被写体のまばたきを検出し、検出した任意のまばたきに従ってフラッシュの発光を制御するようにカメラ装置１２を動作させる別の方法例を示すフローチャートが例示されている。図５と図６の少なくともいずれかの図の対応するブロックと同じか、これと類似の論理ブロックに対しては同じ参照番号が付されている。また、簡潔さを旨として、共通番号が付されたブロックの動作については図７に関連する詳細な説明は行わない。図７により描かれている方法では、カメラ装置１２は画像フィールド内の被写体のまばたきに関する統計データを収集する必要はない。

カメラ装置１２を起動させ、かつ、ビデオ信号の取り込みを開始することによって、ブロック３２から論理フローを開始することができる。次いで、ブロック３４において、シャッターキーの押下によるような、ユーザによる写真撮影の指示が行われたかどうかの判定が行われる。写真撮影が指示されていなかった場合、論理フローはブロック３６において肯定の判定を待機する。

ブロック３６において肯定の判定が行われた場合、論理フローはブロック５２へ進む。ブロック５２において、１又は２以上の被写体が現在まばたきを行っているか否かに関する判定が行われる。ブロック３２のカメラの起動からブロック３６の肯定の判定までの間ビデオ信号を継続的に監視することができ、それによって任意の所定時刻に、ブロック５２に対する肯定の判定又は否定の判定を行うことができるようになっていることを付記しておく。ブロック５２において肯定の判定が行われた場合、論理フローは否定の判定が行われるまで待機する。ブロック５２において否定の判定が行われた場合、論理フローはブロック４０へ進む。ブロック４０において、カメラ装置１２は写真撮影の準備を行い、フラッシュ１８を発光すると共に、センサ１６は写真の画像データを取り込む。その後、ブロック４２において、カメラ装置１２の視野の範囲に入る場面の一部を示す写真が画像ファイルの中に含まれている場合、その画像ファイルを記憶する。

画像フィールド内のまばたきを追跡し、かつ、カメラ装置１２を制御するための開示したシステム及び方法は、結果として、被写体がまばたき行っている間写真が撮影される確率を下げることになる。開示された本技法は、写真の画像データを取り込むための補助光源としてフラッシュの使用が推奨されるような低輝度の状況においても機能することができる。実装時に、オートフォーカス設定とセンサ設定の少なくともいずれかを決定するために照明を行う光源のような補助光源を使用することなくまばたきの追跡を遂行することができる。また、開示されたアプローチはあまりプロセッサ集約的なアプローチではない。すなわち、この開示されたアプローチは、多量の処理能力を消費することなく、画像フィールド内の（１又は２以上の人物のような）比較的少数の人々のために、あるいは、画像フィールド内の（約１２人以上の人物のような）比較的多数の人々のために用いることができる。

さらに、開示された本技法はフラッシュへの負担を軽くすることができる。例えば、１人以上の被写体がまばたきをしていたなと思いながら、１グループの人々の複数の写真撮影を行うのがユーザの一般的撮影状況である。しかし、フラッシュ１８はリフレッシュに若干の時間をかけることが可能である。まばたきの可能性が低いときにフラッシュ１８を発光するように制御すれば、フラッシュによるまばたき写真が撮影される必然性を少なくすることが可能となる。

写真撮影のためにカメラ装置１２が使用される任意の状況に対して上記開示した本技法の利用が可能であるが、単複の被写体が写真撮影のためにポーズをとっている状況において最大の効果を得ることが可能となる。例えば、ポーズが行われる状況としては、カメラ装置１２を見つめながら、自分の写真を撮影してもらうことを予期している１グループの人々の写真が撮影される場合と、カメラ装置１２のユーザも画像フィールドの中に入ることができるように、セルフタイマが用いられる場合との少なくともいずれかの状況がある。

図示のように、図１と図２に示されている例示の電子デバイス１０は移動電話機である。移動電話機として実現される場合の電子デバイス１０の機能についてさらに図３を参照しながら説明する。例示の電子デバイス１０は「レンガ」又は「ブロック」フォームファクタのハウジングを有するものとして示されてはいるが、（シェル型ハウジングのような）「フリップ」オープン型フォームファクタハウジング又は（「スライダ型ハウジング」のような）スライド型フォームファクタハウジングのような別の種類のハウジングを利用してもよいことは理解できよう。

図示のように、電子デバイス１０はディスプレイ２２を含んでもよい。ディスプレイ２２は動作状態、時刻、電話番号、連絡先情報、種々のメニューのような情報を表示する。このメニューによってユーザは電子デバイス１０の種々の機能の利用が可能となる。ディスプレイ２２を用いて、電子デバイス１０が受信した内容と、電子デバイス１０のメモリ５４から取り出した内容の少なくともいずれかの内容を視覚的に表示することも可能である。ディスプレイ２２を用いて、写真、移動体用テレビのコンテンツ及びゲームに関連付けられたビデオのような画像、ビデオ及び他のグラフィックをユーザに提示することが可能となる。

キーパッド２４とボタン２６の少なくともいずれかは多様なユーザ入力操作を提供する。例えば、キーパッド２４は、電話番号、電話番号リスト、連絡先情報、覚え書き、テキストなどの英数字情報を入力するための英数字キーを含んでいてもよい。さらに、キーパッド２４とボタン２６の少なくともいずれかは、呼を起動するか、呼に応答するかのいずれかを行うための「呼送信」キー、及び、呼を終了するための「呼終了」キー、又は呼の「停止」キーのような特別の機能キーを含んでいてもよい。特別のファンクションキーが、ディスプレイ２２に表示されるメニューを通じてナビゲーションを容易にするメニューナビゲーションキー及び選択キーを含んでいてもよい。例えば、ポインティングデバイスとナビゲーションキーの少なくともいずれかを設けて、ユーザからの指向性入力を受け付けるようにしてもよい。特別のファンクションキーが、再生の開始、停止、及び中断と、トラックのスキップ又は反復などを行うための視聴覚コンテンツ再生キーを含んでもよい。移動電話機と関連付けられた他のキーには、音量キー、音声ミュートキー、電源オン／オフキー、ウェブブラウザ開始キーなどが含まれてもよい。キー又はキー様の機能はディスプレイ２２に関連付けられたタッチスクリーンとして実現することも可能である。また、ソフトキー機能を実現するために、ディスプレイ２２と、キーパッド２４と、ボタン２６とのうちの少なくともいずれかを互いに組み合わせて用いてもよい。したがって、カメラ装置１２を制御するために、ディスプレイ２２と、キーパッド２４と、ボタン２６とのうちの少なくともいずれかを用いてもよい。

電子デバイス１０には、呼を確立するか、被呼／発呼装置と信号を交換するかの少なくともいずれかを電子デバイス１０が実行できるようにする通話回路が含まれている。但し、上記被呼／発呼装置は一般に別の移動電話機又は地上回線電話機であってもよい。しかし、被呼／発呼装置は、別の電話機である必要はなく、インターネットウェブサーバ、コンテンツ提供サーバなどの別の何らかのデバイスであってもよい。呼は任意の好適な形をとることが可能である。例えば、呼は、セルラ回線交換ネットワークを介して確立される従来方式の呼であってもよいし、あるいは、セルラネットワークのパケット交換機能を介して、又は、（ＩＥＥＥ８０２．１１規格をベースとするネットワークなどの）ＷｉＦｉ、（８０２．１６規格をベースとするネットワークなどの）ＷｉＭＡＸなどの別のパケット交換ネットワークを介して確立されるボイス・オーバ・インターネットプロトコル（ＶｏＩＰ）電話であってもよい。別例として、セルラネットワーク又は代替ネットワークを介して確立されるビデオイネーブルドコール（video enabled call）が含まれる。

移動電話機１０は、テキストメッセージ、インスタントメッセージ、電子メールメッセージ、マルチメディアメッセージ、画像ファイル、ビデオファイル、オーディオファイル、着信音、シグナリングオーディオ、シグナリングビデオ、（ポッドキャスト及び独立系放送番組（ＲＳＳ）データフィードを含む）データフィードなどのデータの送信と、受信と、処理とのうちの少なくともいずれかを行うように構成されてもよい。テキストメッセージとは普通「ＳＭＳ」（シンプルメッセージサービスを表す）と呼ぶ人もいるメッセージであることに留意されたい。ＳＭＳはテキストメッセージを交換するための代表的な規格である。同様に、マルチメディアメッセージのことを普通「ＭＭＳ」（マルチメディアメッセージサービスを表す）と呼ぶ人もいる。ＭＭＳはマルチメディアメッセージを交換するための代表的な規格である。データ処理は、データをメモリ５４に格納する処理と、このデータとのユーザインタラクションを可能にするアプリケーションを実行する処理と、データに関連付けられたビデオと画像の少なくともいずれかを表示する処理と、データに関連付けられたオーディオサウンドを出力する処理などを含んでもよい。

電子デバイス１０は、電子デバイス１０の機能及び動作の制御全体を実行するように構成された主制御回路３０を含んでもよい。図示のように、制御回路３０は写真の品質管理を含むカメラ装置１２の制御に責任を負う回路である。

制御回路３０は中央演算処理装置（ＣＰＵ）、マイクロコントローラ又はマイクロプロセッサのような処理装置５６を含んでもよい。処理装置５６は電子デバイス１０の種々の機能を実現するコードを実行することができる。電子デバイス１０の動作を実行するために、制御回路３０の内部にあるメモリ（図示せず）と、メモリ５４のような独立のメモリとの少なくともいずれかのメモリの中に上記コードを格納してもよい。電子デバイス１０をプログラムして、種々の論理機能を動作させ、かつ、これらの機能を実行する方法は、コンピュータプログラミングの当業者、及び、特に移動電話機や別の電子デバイス用のアプリケーションプログラミングの当業者には明らかである。

他のデータ記憶装置の役割の中で、メモリ５４はカメラ装置１２により取り込まれた写真とビデオクリップの少なくともいずれかを格納するために用いることができる。上記とは別に、独立のメモリに画像を格納してもよい。メモリ５４は、例えば、１又は２以上のバッファ、フラッシュメモリ、ハードドライブ、取り外し可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、又は他の好適な装置であってもよい。典型的な構成では、メモリ５４は、長期データ格納用の（ＮＡＮＤ構成又はＮＯＲ構成のフラッシュメモリのような）不揮発性メモリと、制御回路３０用のシステムメモリとして機能する揮発性メモリとを含んでもよい。例えば、揮発性メモリは同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）を実装したＲＡＭであってもよい。メモリ５４はデータバスを介して制御回路３０とデータの交換を行うことができる。メモリ５４と制御回路３０との間にある付随する制御ライン及びアドレスバスが存在していてもよい。

引き続き図１から図３を参照すると、電子デバイス１０には無線回路６０に結合されたアンテナ５８が含まれている。無線回路６０は、アンテナ５８を介して信号の送受信を行う無線周波数送受信機を含む。無線回路６０は、移動通信システムにおいて動作するように構成することができると共に、データと視聴覚コンテンツの少なくともいずれかの送受信を行うために用いることができる。移動無線ネットワークと放送ネットワークの少なくともいずれかのネットワークとインタラクションを行うための受信機のタイプには、例えば、移動通信用グローバルシステム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、汎用パケット無線サービス（ＧＰＲＳ）、ＷｉＦｉ、ＷｉＭＡＸ、携帯機器向けデジタルビデオ放送（ＤＶＢ−Ｈ）、地上デジタルテレビジョン放送（ＩＳＤＢ）などのみならず、これらの規格の上位バージョンなども含まれる。但しこれらのみに限定されるわけではない。アンテナ５８及び無線回路６０が１又はそれ以上の無線トランシーバを表すものであってもよいことは理解できよう。

電子デバイス１０には、無線回路６０により送信され／無線回路６０から受信されるオーディオ信号の処理を行う音声信号処理回路６２もさらに含まれる。一般に行われているように、電子デバイス１０を介してユーザが聴いたり、話したりすることができるようにするスピーカ６４とマイク６６とが音声信号処理回路６２に結合されている。無線回路６０及び音声信号処理回路６２は処理全体を実行できるように制御回路３０と個別に結合されている。ユーザに対して再生を行うために、制御回路３０から音声信号処理回路６２へオーディオデータを渡すことができる。オーディオデータは、例えば、メモリ５４により格納され、かつ、制御回路３０により取り出される、オーディオファイルから得られるオーディオデータか、移動無線サービスから得られるシグナリングオーディオデータの形で受信されるオーディオデータを含んでもよい。音声信号処理回路６２は任意の適切なバッファ、デコーダ、増幅器などを含んでもよい。

ディスプレイ２２は、ビデオ処理回路６８によって制御回路３０との結合が可能であり、該ビデオ処理回路６８は、ディスプレイ２２の駆動のために用いられるビデオ信号にビデオデータを変換する。ビデオ処理回路６８は任意の適切なバッファ、デコーダ、ビデオデータプロセッサなどを含んでもよい。ビデオデータは、制御回路３０によって生成されるか、メモリ５４内に格納されているビデオファイルから取り出されるか、無線回路６０によって受信される着信ビデオデータ信号から導き出されるか、あるいは別の任意の好適な方法によって取得されてもよい。また、（カメラ装置１２用のファインダ機能を提供するプレビュービデオ信号のような）ビデオデータはカメラ装置１２によって生成されてもよい。

電子デバイス１０は１又は２以上のＩ／Ｏインタフェース７０をさらに含んでもよい。Ｉ／Ｏインタフェース７０は一般的な移動電話機用Ｉ／Ｏインタフェースの形のものであってもよく、１又は２以上の電気コネクタを含むものであってもよい。一般に行われているように、Ｉ／Ｏインタフェース７０を用いて、電子デバイス１０をバッテリ充電器に結合して、電子デバイス１０の内部の電力供給装置（ＰＳＵ）７２のバッテリを充電するようにしてもよい。さらに加えて、あるいは代替例において、Ｉ／Ｏインタフェース７０は、電子デバイス１０との有線インタフェースを備えた（個人用ハンズフリー（ＰＨＦ）デバイスなどの）ヘッドセット装置と電子デバイス１０とを接続する機能を果たすようにしてもよい。さらに、Ｉ／Ｏインタフェース７０は、データ交換を行うためのデータケーブルを介して電子デバイス１０をパーソナルコンピュータや他のデバイスと接続する役割を果たすようにしてもよい。電子デバイス１０は、車両用電源アダプタや電気コンセントの電源アダプタに接続されているとき、Ｉ／Ｏインタフェース７０を介して動作電力を受け取ることができる。外部電源が存在しない場合、ＰＳＵ７２は電子デバイス１０を動作させるための電力を供給することができる。

電子デバイス１０はまた、制御回路３０及びメモリ５４のような、電子デバイス１０の種々の部品を計時するためのシステムクロック７４を含んでもよい。

電子デバイス１０は、全地球測位システム（ＧＰＳ）受信機、ガリレオ衛星システム受信機などの位置データ受信装置７６を含むものであってもよい。位置データ受信装置７６は電子デバイス１０の所在位置の検出に関与することができる。

電子デバイス１０は、付属品、別の移動無線端末、コンピュータ、又は、別の装置との通信を確立するための、赤外線トランシーバと（ブルートゥースインタフェースなどの）ＲＦインタフェースの少なくともいずれかのようなローカル無線インタフェース８０を含むものであってもよい。例えば、ヘッドセット装置が対応する無線インタフェースを有するある実施形態では、ローカル無線インタフェース７８は電子デバイス１０を（ＰＨＦ装置などの）ヘッドセット装置に作動的に結合することができる。

さらに図４を参照すると、電子デバイス１０は、通信システム８０の一部として動作するように構成することができる。システム８０は、電子デバイス１０による送信呼並びに電子デバイス１０へ向けられた着信呼の管理と、データの送信と、他の任意のサポート機能の実行とのためのサーバ８４を備えた通信ネットワーク８２を含んでもよい。サーバ８４は送信媒体を介して電子デバイス１０と通信を行う。送信媒体は、例えば、（セルタワーなどの）通信タワー、他の移動電話機、無線アクセスポイント、衛星などを含む任意の適切な装置又は装置であってもよい。上記ネットワークの一部は無線送信路を含むものであってもよい。ネットワーク８２は複数の電子デバイス１０と、別の種類のエンドユーザ装置との通信活動をサポートすることができる。理解されるように、サーバ８４はサーバ機能を実行するために用いられる一般的なコンピュータシステムとして構成することが可能であり、さらに、サーバ８４の機能を実現する論理演算命令を含むソフトウェアを実行するように構成されたプロセッサと、このようなソフトウェアを格納するメモリとを含むことが可能である。

或る好ましい実施形態を図示し、説明したが、本明細書を読み、理解すれば、本発明の技術的範囲に属する均等物及び変更が当業者には思い浮かぶことは理解されよう。

Claims (21)

1. カメラ装置（１２）を制御する方法であって、
   画像フィールドの、一連のフレームを有するビデオ信号を生成し、
   前記ビデオ信号の現フレームから前記ビデオ信号の前フレームを減算して差分フレームを生成し、
   まばたきを表す前記差分フレームにおける画像データを識別する
   ことによって、前記画像フィールド内の１又は２以上の被写体によるまばたきを検出するために画像フィールドを検査するステップと、
   各々のまばたきを追跡し、該各々のまばたきを前記１又は２以上の被写体のうちの１の被写体と関連付けるステップと、
   前記１又は２以上の被写体の各被写体のまばたき持続時間及びまばたき率に関する統計データを生成するステップと、
   写真の撮影を指示するユーザ入力に応答して、まばたきが行われているか否かを判定し、前記指示の時点においてまばたきが検出されなかったときは、前記カメラ装置のフラッシュ（１８）を発光して前記写真の画像データを取り込み、まばたきが検出されたときは、前記１又は２以上の被写体のまばたきの最中における前記フラッシュの発光及び前記画像データの取り込みを最小限にするため、前記フラッシュの発光及び前記画像データの取り込みを前記統計データに基づく時間量だけ遅延させるステップと、
   を有することを特徴とする方法。
2. 前記遅延の長さは、前記指示の時点において検出された、多数の人のサンプルの平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間であることを特徴とする請求項１に記載の方法。
3. 前記遅延の長さは、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間であることを特徴とする請求項１に記載の方法。
4. 前記遅延の長さは、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間であることを特徴とする請求項１に記載の方法。
5. 前記遅延の長さは、前記１又は２以上の被写体の数及び前記統計データを計算に入れた予測アルゴリズムを用いて決定されることを特徴とする請求項１に記載の方法。
6. 他のまばたきが行われているか否かを判定することなく、前記遅延の後に、前記フラッシュを発光して前記画像データを取り込むステップを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. 前記遅延が終了した時点において他のまばたきが行われているか否かを判定するステップを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
8. 前記遅延が終了した時点において他のまばたきが行われているときは、前記フラッシュの発光及び前記カメラ装置の前記画像データの取り込みを遅延させ、他のまばたきが行われていないときは、前記フラッシュを発光して前記写真の画像データを取り込むことを特徴とする請求項７に記載の方法。
9. 顔検出及び顔認識のうちの少なくとも一方を用いて各被写体の動きを追跡するステップと、
   前記追跡された動きを用いて、まばたきと被写体との関連付けを補助するステップと、
   を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の方法。
10. 顔認識を用いて被写体を識別するステップと、
    前記識別された被写体が前記カメラ装置の前記画像フィールドに現われる後続の写真撮影動作において用いるための前記識別された被写体に関連する前記統計データを記憶するステップと、
    を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の方法。
11. カメラ装置（１２）であって、
    写真の画像データを取り込み、画像フィールドの、一連のフレームを有するビデオ信号を生成するセンサ（１６）と、
    前記写真の画像データの取り込み中に補助照明を提供するフラッシュ（１２）と、
    前記センサ及び前記フラッシュの動作を制御するコントローラ（２８、３０）と、
    を有し、
    前記コントローラは、
    前記ビデオ信号の現フレームから前記ビデオ信号の前フレームを減算してまばたきを表す差分フレームを生成し、該差分フレームにおける画像データを識別することによって、前記画像フィールド内の１又は２以上の被写体によるまばたきを検出するために前記画像フィールドを検査し、
    各々のまばたきを追跡し、該各々のまばたきを前記１又は２以上の被写体のうちの１の被写体と関連付け、
    前記１又は２以上の被写体の各被写体のまばたき持続時間及びまばたき率に関する統計データを生成し、
    写真の撮影を指示するユーザ入力に応答して、まばたきが行われているか否かを判定し、前記指示の時点においてまばたきが検出されなかったときは、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御し、まばたきが検出されたときは、前記１又は２以上の被写体のまばたきの最中における前記フラッシュの発光及び前記画像データの取り込みを最小限にするため、前記統計データに基づく遅延時間だけ待機する
    ことを特徴とするカメラ装置（１２）。
12. 前記遅延時間は、前記指示の時点において検出された、多数の人のサンプルの平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間であることを特徴とする請求項１１に記載のカメラ装置。
13. 前記遅延時間は、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間であることを特徴とする請求項１１に記載のカメラ装置。
14. 前記遅延時間は、前記指示の時点において検出された前記まばたきに関連する被写体について計算された平均まばたき時間から、前記まばたきの開始から前記指示の時点までに測定された前記まばたきの持続時間を差し引いた時間であることを特徴とする請求項１１に記載のカメラ装置。
15. 前記遅延時間は、前記１又は２以上の被写体の数及び前記統計データを計算に入れた予測アルゴリズムを用いて決定されることを特徴とする請求項１１に記載のカメラ装置。
16. 前記コントローラは、他のまばたきが行われているか否かを判定することなく、前記遅延の後に、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御することを特徴とする請求項１１乃至１５のいずれか１項に記載のカメラ装置。
17. 前記コントローラは、前記遅延が終了した時点において他のまばたきが行われているか否かを判定することを特徴とする請求項１１乃至１５のいずれか１項に記載のカメラ装置。
18. 前記遅延が終了した時点において他のまばたきが行われているときは、前記コントローラは、前記フラッシュの発光及び前記画像データの取り込みを遅延させ、他のまばたきが行われていないときは、前記コントローラは、前記フラッシュを発光して前記写真の画像データを取り込むよう前記フラッシュ及び前記センサを制御することを特徴とする請求項１７に記載のカメラ装置。
19. 前記コントローラは、顔検出及び顔認識のうちの少なくとも一方を用いて各被写体の動きを追跡し、前記追跡された動きを用いて、まばたきと被写体との関連付けを補助することを特徴とする請求項１１乃至１８のいずれか１項に記載のカメラ装置。
20. 前記コントローラは、顔認識を用いて被写体を識別し、前記識別された被写体が前記カメラ装置の前記画像フィールドに現われる後続の写真撮影動作において用いるための前記識別された被写体に関連する前記統計データをメモリに格納することを特徴とする請求項１１乃至１９のいずれか１項に記載のカメラ装置。
21. 前記カメラ装置は、ネットワーク（８２）を介して呼を確立する移動電話（１０）の一部であることを特徴とする請求項１１乃至２０のいずれか１項に記載のカメラ装置。

Images