JP2011078009A

JP2011078009A - 撮像装置および撮像装置用プログラム

Info

Publication number: JP2011078009A
Application number: JP2009229762A
Authority: JP
Inventors: Takumi Mori; 工毛利
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2009-10-01
Filing date: 2009-10-01
Publication date: 2011-04-14

Abstract

【課題】被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことができる撮像装置および撮像装置用プログラムを提供する。
【解決手段】被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データから顔画像を検出する顔画像検出手段と、前記顔画像検出手段が検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定手段と、前記手画像探索領域設定手段が設定した探索領域に存在する手画像を検出する手画像検出手段と、前記顔画像検出手段が検出した顔画像および前記手画像検出手段が検出した手画像に基づいて前記手画像の形状または動きを認識する認識手段と、前記認識手段が認識した前記手画像の形状または動きに応じた動作制御を行う動作制御手段と、を備える。
【選択図】図１

Description

本発明は、被写体を撮像してデジタルの画像データを生成する撮像装置および撮像装置用プログラムに関する。

近年、被写体を撮像してデジタルの画像データを生成するデジタルカメラ等の撮像装置においては、顔認識技術やジェスチャ認識技術などの種々の入力技術を用いて動作制御を行う技術が提案されている。この技術では、ユーザの顔の表情、ユーザの手や指の３次元位置、形状、動きなどを認識することによって撮像装置の制御を行っている。以下、より具体的な従来技術を説明する。

下記特許文献１では、カメラより入力画像から被撮影者を特定し、被撮影者が行うジェスチャによって、カメラおよび運台を制御し、カメラのレリーズなどの動作を行う技術が開示されている（例えば、特許文献１を参照）。

また、下記特許文献２では、ロボット装置と、そのロボット装置の周囲にいる人間とのコミュニケーションを行う場合において、ロボット装置の周囲を撮影し、撮影された画像から、人間の顔の検出と、手または腕を検出し、検出した顔および手または腕の状態からジェスチャを認識する方法が開示されている（例えば、特許文献２を参照）。

特開２００５−５１４７２号公報特開２００７−２５７０８８号公報

しかしながら、上述した従来技術では、被写体として複数の人物が存在している場合、人の顔と手の対応付けを正確に行うことができず、遠隔操作を的確に行うことができないという問題があった。

本発明は、上記に鑑みてなされたものであって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことができる撮像装置および撮像装置用プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データから顔画像を検出する顔画像検出手段と、前記顔画像検出手段が検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定手段と、前記手画像探索領域設定手段が設定した探索領域に存在する手画像を検出する手画像検出手段と、前記顔画像検出手段が検出した顔画像と前記手画像検出手段が検出した手画像との対応関係に基づいて前記手画像の形状または動きを認識する認識手段と、前記認識手段が認識した前記手画像の形状または動きに応じた動作制御を行う動作制御手段と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記手画像探索領域設定手段は、前記顔画像を含む顔画像領域の近傍に手画像の探索領域を設定することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記顔画像検出手段が顔画像を検出する際に参照する顔画像のパターン情報を少なくとも記憶するパターン情報記憶手段を備え、前記顔画像検出手段は、前記パターン情報記憶手段が記憶するパターンのうち特定のパターンに対応した顔画像のみを検出することを特徴とする。

また、本発明に係る撮像装置用プログラムは、被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データを記憶する記憶手段とを備えた撮像装置に、前記撮像手段が生成した画像データから顔画像を検出する顔画像検出ステップ、前記顔画像検出ステップで検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定ステップ、前記手画像探索領域設定ステップで設定した探索領域に存在する手画像を検出する手画像検出ステップ、前記顔画像検出ステップで検出した顔画像および前記手画像検出ステップで検出した手画像を前記記憶手段から読み出し、この読み出した顔画像と手画像の対応関係に基づいて前記手画像の形状または動きを認識する認識ステップ、前記認識ステップで認識した前記手画像の形状または動きに応じた動作制御を行う動作制御ステップ、を実行させることを特徴とする。

本発明によれば、画像データから顔画像を検出し、この検出した顔画像に対応する手画像の探索領域を設定し、この設定した探索領域で手画像を検出し、この検出した手画像の形状または動きに応じて動作制御を行うため、顔画像と手画像とを正確に対応付けることができる。したがって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことが可能となる。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態に係る撮像装置の個体別情報記憶部が記憶する個体別情報の例を示す図である。図３は、顔画像領域および手画像領域の変化の具体例を示す図である。図４は、本発明の一実施の形態に係る撮像装置が撮像した画像における顔および手の検出処理の概要を示す図である。図５は、本発明の一実施の形態に係る撮像装置の手画像探索領域設定部が設定する手の探索領域の設定例を示す図である。図６は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本発明の一実施の形態に係る撮像装置の構成を示す図である。同図に示す撮像装置１は、被写体を撮像して画像データを生成する撮像部２と、撮像部２が生成した画像データに対して画像処理を施す画像処理部３と、画像処理部３が出力する画像データを含む情報を表示する表示部４と、撮像装置１の操作指示信号が入力される入力部５と、撮像装置１の動作を制御する制御部６と、撮像装置１の動作に関する各種情報を記憶する記憶部７と、を備える。

撮像部２は、一または複数のレンズを有する光学系と、シャッタと、絞りと、撮像素子とを備える。光学系は、例えば焦点距離可変のズームレンズを有し、撮像素子の撮像面上に被写体像を結像する。また、撮像素子は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）を用いて実現され、光学系が結像した被写体像をもとにデジタルの画像データを生成する。

画像処理部３は、撮像部２が出力した画像データに対応する画像に含まれる人物の顔画像および手画像をそれぞれ検出する顔画像検出部３１および手画像検出部３２を有する。ここで、顔画像検出部３１は、例えば、髪や目や口などの人物像の頭部を構成する各部分に関する幾何学的な形状特徴を利用して人物の頭部領域を抽出する方法や、肌色領域に注目して顔領域を抽出する方法や、ガボールウェーブレット変換などにより画像データの中から人物の顔位置での特徴量から顔領域を認識する方法などの公知の手法を用いて顔画像を検出する。

表示部４は、液晶、プラズマ、有機ＥＬ（Electro-Luminescense）等を用いて実現される。

入力部５は、撮像装置１の電源ボタン、撮像指示を与えるシャッターボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。入力部５を構成する各種ボタンの少なくとも一部の機能をタッチパネルによって実現することも可能である。

制御部６は、顔画像検出部３１によって検出された人物の顔と対応する手を手画像検出部３２が探索する領域を設定する手画像探索領域設定部６１と、手画像検出部３２が検出した手のジェスチャを認識するジェスチャ認識部６２と、ジェスチャ認識部６２が認識したジェスチャに応じた動作制御を行う動作制御部６３とを有する。制御部６はＣＰＵ（Central Proccessing Unit）等を用いて実現され、制御対象の各部とバスラインを介して接続されている。ジェスチャ認識部６２は、顔画像検出部３１が検出した顔画像と手画像検出部３２が検出した手画像との対応関係に基づいて手画像の形状または動きを認識する認識手段としての機能を有する。

記憶部７は、撮像部２が撮影した画像データを記憶する画像データ記憶部７１と、画像データに含まれる人物被写体の個体別情報を記憶する個体別情報記憶部７２と、顔画像検出部３１および手画像検出部３２が顔画像や手画像の追尾を行う時に参照する顔や手のパターンを記憶するパターン情報記憶部７３と、ジェスチャ認識部６２が認識したジェスチャと動作制御部６３が制御する動作との対応関係を記憶する対応関係記憶部７４と、本実施の形態に係る撮像装置用プログラムを含み、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部７５と、有する。記憶部７は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリなどを用いて実現される。なお、記憶部７が、外部から装着されるメモリカード等の記録媒体に対して情報を記録する一方、記録媒体が記録する情報を読み出す記録媒体インターフェースとしての機能を有していてもよい。

図２は、個体別情報記憶部７２が記憶する個体別情報の例を示す図である。同図に示す個体別情報は、顔領域情報と手領域情報とを有する。このうち、顔領域情報は、初期情報、ロックオン情報、過去情報、現在情報、追跡位置データ列、動きベクトル情報によって構成されている。初期情報、過去情報、および現在情報は、領域位置情報、領域サイズ情報、肌色情報、髪色情報などをそれぞれ有する。過去情報は現在情報の一つ前の画像フレームで顔画像検出部３１が検出した情報である。ロックオン情報は、顔の追尾を行っているロックオン状態（Ｌ）にあるか、または顔の追尾を行っていないアンロック状態（Ｕ）にあるかを示す情報である。ロックオン情報がアンロック状態にある場合、顔領域情報としては初期情報のみ存在する。追跡位置データ列は、所定の間隔での顔画像領域の領域位置情報のデータ列｛Ｆｍ（００），Ｆｍ（１０），Ｆｍ（２０），・・・｝を示している。ここで、ｍは個体の識別番号である。また、図２では、所定の間隔が１０フレームごと（００，１０，２０，・・・）である場合を示している。動きベクトル情報は、データ列｛Ｆｍ（００），Ｆｍ（１０），Ｆｍ（２０），・・・｝において、隣接するデータの差分により算出され、例えばＶＦｍ（００，１０）＝Ｆｍ（１０）−Ｆｍ（００）である。

手領域情報は、顔領域情報と同様、初期情報、ロックオン情報、過去情報、現在情報、追跡位置データ列、動きベクトル情報によって構成されている。初期情報、過去情報、および現在情報は、領域位置情報、領域サイズ情報、肌色情報、左右情報などをそれぞれ有する。ロックオン情報、追跡位置データ列、動きベクトル情報は、顔領域情報と同様に定義される。

図３は、顔画像領域および手画像領域の変化の具体例を示す図である。図３において、顔画像領域Ｆｍは、時間とともに変化しなかった場合を示している（Ｆｍ＝Ｆｍ（００），Ｆｍ（１０），Ｆｍ（２０），・・・）。これに対し、手領域はＨｍ（００），Ｈｍ（１０），Ｈｍ（２０），Ｈｍ（３０），Ｈｍ（４０）と徐々に変化している。このため、手の動きベクトルＶＨｍ（００，１０），ＶＨｍ（１０，２０），ＶＨｍ（２０，３０），ＶＨｍ（３０，４０）も互いに異なる。なお、顔画像領域が動いている場合には、顔画像の動きベクトル分を差し引いて手画像の領域位置情報のデータ列や動きベクトルを求めればよい。ところで、図３では、１０フレーム毎の手画像領域を示しているため、隣接する手画像領域であっても離れているが、１フレームごとで見た場合、隣接するフレーム画像間の手画像領域は図３ほど離れておらず、互いに重なり合っているのが一般的である。

なお、顔領域情報として、顔の大きさ、顔の回転姿勢角度、存在領域、肌のテクスチャ（皺）などの情報を加えてもよい。また、手領域情報として、手の大きさ、手の回転姿勢角度、手の重心、手の色、手の表と裏、手のテクスチャなどの情報を加えてもよい。手の色を記録する際には、ＲＧＢ表色系からＨＳＶ表色系などに変換することにより、光の影響を受けにくい形式で記憶しておくのが好ましい。

次に、図４および図５を参照して、撮像装置１が行う処理の特徴を説明する。図４は、撮像装置１が撮像した画像における顔および手の検出処理の概要を示す図である。図４に示す画像１００は、３人の人物が被写体として写っている。撮像装置１では、顔画像検出部３１が、画像１００に写っている人物の顔およびその顔の位置を検出する。図４に示す場合、顔画像検出部３１は、３つの顔画像を検出し、各顔画像に対応する顔画像領域Ｆ（１）〜Ｆ（３）を設定する。その後、手画像探索領域設定部６１は、顔画像領域Ｆ（１）〜Ｆ（３）にそれぞれ対応した手画像の探索領域を設定する。

図５は、手画像の探索領域の設定例を示す図である。図５において、探索領域Ｄ_H(N)は、顔画像領域Ｄ_F(N)の左下方に設定される。顔画像領域Ｄ_F(N)に横のサイズをＷとし、縦のサイズＨとすると、探索領域Ｄ_H(N)の横のサイズはａＷ，縦のサイズはｂＨとなる。ここで、ａ，ｂは１より小さい定数である。また、顔画像領域Ｄ_F(N)の重心Ｇ_Fと探索領域Ｄ_H(N)の重心Ｇ_Hとの水平方向の差分はΔｘであり，鉛直方向の差分はΔｙである。手画像検出部３２は、手画像探索領域設定部６１が設定した探索領域で手画像の検出を行う。

図４に示す場合、手画像検出部３２は、顔画像領域Ｆ（２），Ｆ（３）にそれぞれ対応した手画像を検出し、この検出した手画像に対応する手画像領域Ｈ（２），Ｈ（３）を設定している。これに対し、手画像検出部３２は、顔画像領域Ｆ（１）に対応する手画像を検出していないため、顔画像領域Ｆ（１）に対応する手画像領域は設定されていない。なお、手領域Ｈａ、Ｈｂは、図５に示す探索領域Ｄ_H(N)とは無関係の領域である。このため、手画像検出部３２は、手領域Ｈａ、Ｈｂを検出しない。

このようにして、本実施の形態では、画像中で検出した顔の近傍にある手を検出するようにしているため、被写体である人物に対して顔の近くに手を持ってくるように伝えれば、顔画像と手画像との対応付けを容易にかつ正確に行うことができる。

図６は、撮像装置１の処理の概要を示すフローチャートである。図６において、撮像装置１は、まず撮像部２が撮像することによって画像（スルー画像）を取得する（ステップＳ１）。

続いて、顔画像検出部３１は、パターン情報記憶部７３が記憶する人物の顔のパターン情報を用いることにより、取得した画像に含まれる人物の顔画像の検出を行う（ステップＳ２）。顔画像検出部３１が画像中に含まれる人物の顔画像を検出した場合（ステップＳ２：Ｙｅｓ）、制御部６は検出した人物の顔画像にラベルＮ（Ｎは自然数）を付与する（ステップＳ３）。このラベルは画像中での人物を識別するための便宜的なものであり、個体別情報記憶部７２が記憶する識別番号ｍとは異なる。以下、画像中に含まれる人物の総数がＮ_Sであるとし（Ｎ＝１，２，・・・，Ｎ_S）、顔画像を「顔画像Ｆ（Ｎ）」という。この後、制御部６は、Ｎ＝０と初期化（ステップＳ４）した後、Ｎ＋１をＮとおく（ステップＳ５）。なお、ステップＳ２において、顔画像検出部３１が顔画像を検出しなかった場合（ステップＳ２：Ｎｏ）、撮像装置１は一連の処理を終了する。

ステップＳ５に続いて、撮像装置１は、個体別情報記憶部７２を参照して、顔画像Ｆ（Ｎ）に対応する初期情報があるか否かを判定する（ステップＳ６）。顔画像Ｆ（Ｎ）に対応する初期情報がある場合（ステップＳ６：Ｙｅｓ）、制御部６は、顔画像Ｆ（Ｎ）の現在情報を過去情報として個体別情報記憶部７２へ記録し（ステップＳ７）、顔画像Ｆ（Ｎ）の検出結果を現在情報として個体別情報記憶部７２へ記録する（ステップＳ８）。続いて、制御部６は、顔画像Ｆ（Ｎ）の過去情報の領域位置情報を追跡位置データ列に記録する（ステップＳ９）。その後、制御部６は、顔画像Ｆ（Ｎ）の動きベクトルを算出して個体別情報記憶部７２へ記録する（ステップＳ１０）。

その後、ラベルＮがＮ_Sである場合（ステップＳ１１：Ｙｅｓ）、撮像装置１はラベルＮ＝０と再初期化し（ステップＳ１２）、Ｎ＋１をＮとおく（ステップＳ１３）。一方、ラベルＮがＮ_Sでない場合（ステップＳ１１：Ｎｏ）、撮像装置１はステップＳ５へ戻る。

ステップＳ６において、顔画像Ｆ（Ｎ）に対応する初期情報がない場合（ステップＳ６：Ｎｏ）、制御部６は、顔画像Ｆ（Ｎ）の検出結果を初期情報として記録する（ステップＳ１４）。この後、撮像装置１は、上述したステップＳ１１へ移行する。

以下、ステップＳ１５以降の処理を説明する。まず、顔画像Ｆ（Ｎ）に対応する手画像Ｆ（Ｎ）の初期情報、過去情報がない場合（ステップＳ１５：Ｎｏ）、手画像探索領域設定部６１は、顔画像Ｆ（Ｎ）の現在情報に基づいて手画像Ｈ（Ｎ）の探索領域Ｄ_H(N)を設定する（ステップＳ１６）。

続いて、手画像検出部３２は、設定した探索領域で手画像Ｈ（Ｎ）を検出する（ステップＳ１７）。手画像検出部３２が探索領域Ｄ_H(N)で手画像Ｈ（Ｎ）を検出した場合（ステップＳ１７：Ｙｅｓ）、制御部６は、手画像Ｈ（Ｎ）の検出結果を初期情報、過去情報として記録する（ステップＳ１８）。一方、手画像検出部３２が探索領域Ｄ_H(N)手画像Ｈ（Ｎ）を検出しなかった場合（ステップＳ１７：Ｎｏ）、撮像装置１は一連の処理を終了する。

次に、顔画像Ｆ（Ｎ）に対応する手Ｆ（Ｎ）の初期情報、過去情報がある場合（ステップＳ１５：Ｙｅｓ）を説明する。この場合、撮像装置１は、顔画像Ｆ（Ｎ）の現在情報と手画像Ｈ（Ｎ）の過去情報とに基づいて手の探索領域Ｄ_H(N)を設定する（ステップＳ１９）。ここでの探索領域Ｄ_H(N)は、過去情報を検出した場合の検出領域を含み、かつ過去情報を検出した場合の探索領域よりも大きい面積を有するように通常は設定される。これにより、手画像検出部３２は、手画像を確実に追尾、検出することができる。なお、頭部領域の位置に変動があった場合には、この変動に合わせて手の探索範囲の位置を調整することが望ましい。

ステップＳ１９の後、設定した探索領域Ｄ_H(N)で手画像Ｈ（Ｎ）を検出した場合（ステップＳ２０：Ｙｅｓ）、制御部６は、手画像Ｈ（Ｎ）の過去情報との相関度を判定する（ステップＳ２１）。ここでの相関度は、例えばテンプレートマッチングによる画像相関処理など、従来より知られている画像処理技術を適用することができる。一般的なテンプレートマッチングによる画像相関処理を行う場合、撮影された画像をモノクロ化し、一つ前の画像フレームの画像データを比較基準画像として用いる。このため、最新の手画像領域内の画像データは、パターン情報記憶部７３にテンプレート画像として記録される。なお、ステップＳ２０において、設定した探索領域Ｄ_H(N)で手画像Ｈ（Ｎ）を検出しなかった場合（ステップＳ２０：Ｎｏ）、撮像装置１は後述するステップＳ２８へ移行する。

制御部６が判定した結果、手画像Ｈ（Ｎ）の過去情報と一定の相関がある場合（ステップＳ２２：Ｙｅｓ）、制御部６は、手画像Ｈ（Ｎ）の現在情報を過去情報として記録し（ステップＳ２３）、手画像Ｈ（Ｎ）の検出結果を現在情報として記録する（ステップＳ２４）。

続いて、制御部６は、手画像Ｈ（Ｎ）の過去情報の領域位置情報を追跡位置データ列に記録する（ステップＳ２５）。その後、制御部６は、手画像Ｈ（Ｎ）の動きベクトルを算出して個体別情報記憶部７２へ記録する（ステップＳ２６）。

この後、ジェスチャ認識部６２は、手画像Ｈ（Ｎ）の追跡位置データ列および動きベクトルに基づいて、手画像Ｈ（Ｎ）のジェスチャを認識する（ステップＳ２７）。

その後、ラベルＮがＮ_Sである場合（ステップＳ２８：Ｙｅｓ）、動作制御部６３はジェスチャ認識部６２の認識結果をもとに対応関係記憶部７４を参照して撮像装置１の動作制御を行う（ステップＳ２９）。例えば、被写体が図３に示すようなジェスチャを行った場合、動作制御部６３は、対応関係記憶部７４を参照し、そのジェスチャに対応する動作（例えばレリーズ、動作ロック／ロック解除など）を撮像装置１に行わせるように制御する。これに対し、ラベルＮがＮ_Sでない場合（ステップＳ２８：Ｎｏ）、撮像装置１はステップＳ１３へ戻る。

ステップＳ２２において制御部６が判定した結果、手画像Ｈ（Ｎ）の過去情報と一定の相関がない場合（ステップＳ２２：Ｎｏ）、制御部６は、手領域情報をリセットする（ステップＳ３０）。これにより、ロックオン情報はアンロック状態となる。その後、撮像装置１は、ステップＳ２８へ移行する。

なお、図６においては、全てのフレームで追跡位置データ列の記録と動きベクトルの算出、記録を行う場合を説明したが、図２、図３を参照して説明したように、所定間隔のフレームごと（例：１０フレームごと）に追跡位置データ列の記録と動きベクトルの算出、記録を行うようにしてもよいし、動きベクトルの変化量が大きくなるフレームのみを記録するようにしてもよい。

以上説明した本発明の一実施の形態によれば、画像データから顔画像を検出し、この検出した顔画像に対応する手画像の探索領域を設定し、この設定した探索領域で手画像を検出し、この検出した手画像の形状または動きに応じて動作制御を行うため、手の探索範囲を狭めることによって顔画像と手画像とを正確に対応付けることができる。したがって、被写体の人数によらず、被写体の顔や手の状態に基づく遠隔操作を的確に行うことが可能となる。

また、本実施の形態によれば、顔と手の対応関係を初期化し、この初期化に基づいて手の動きを追跡するため、複数の人物の手の動きを個別に追尾することができる。したがって、複数の人が同時に行うジェスチャで撮像装置を操作させることも可能となる。また、一人の人物の手の動きについて、片手だけではなく、両手を同時に検出することもできるので、両手を使ったジェスチャで操作させることも当然可能となる。

また、本実施の形態によれば、初期化の位置をジェスチャ動作開始位置として定義することにより、ジェスチャ動作の解析が容易となる。

なお、本発明は、上述した一実施の形態に限定されるべきものではない。例えば、被写体全ての顔画像を検出する代わりに、撮像装置の持ち主など特定の人物の顔画像のみを検出することができる。この場合には、人物ごとにジェスチャと動作との対応関係を設定することができるようにしてもよい。

また、本発明において、ジェスチャとしては、特定の人物の手をその人物の顔の前に置いたり、他の人物の頭部に接触するようなジェスチャを設定することも可能である。

また、本発明において、ジェスチャの代わりに手の位置および形状から定まるポスチャ（posture）認識によって動作制御を行うようにしてもよい。例えば、図４に示す場合、真ん中の人は顔の左側で指を３本立てたポスチャをしている。そこで、このようなポスチャをしている人物が少なくとも一人いる場合に撮像装置１の動作制御を行うようにしてもよい。また、画像中の全ての人物が同じポスチャをしている場合に撮像装置１の動作制御を行うようにしてもよい。

なお、本発明は、撮像装置のみならず、テレビ等の家電製品の遠隔操作にも広く利用することができる。

１撮像装置
２撮像部
３画像処理部
４表示部
５入力部
６制御部
７記憶部
３１顔画像検出部
３２手画像検出部
６１手画像探索領域設定部
６２ジェスチャ認識部
６３動作制御部
７１画像データ記憶部
７２個体別情報記憶部
７３パターン情報記憶部
７４対応関係記憶部
７５プログラム記憶部
１００画像

Claims

被写体を撮像してデジタルの画像データを生成する撮像手段と、
前記撮像手段が生成した画像データから顔画像を検出する顔画像検出手段と、
前記顔画像検出手段が検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定手段と、
前記手画像探索領域設定手段が設定した探索領域に存在する手画像を検出する手画像検出手段と、
前記顔画像検出手段が検出した顔画像と前記手画像検出手段が検出した手画像との対応関係に基づいて前記手画像の形状または動きを認識する認識手段と、
前記認識手段が認識した前記手画像の形状または動きに応じた動作制御を行う動作制御手段と、
を備えたことを特徴とする撮像装置。
前記手画像探索領域設定手段は、
前記顔画像を含む顔画像領域の近傍に手画像の探索領域を設定することを特徴とする請求項１に記載の撮像装置。
前記顔画像検出手段が顔画像を検出する際に参照する顔画像のパターン情報を少なくとも記憶するパターン情報記憶手段を備え、
前記顔画像検出手段は、
前記パターン情報記憶手段が記憶するパターンのうち特定のパターンに対応した顔画像のみを検出することを特徴とする請求項１または２に記載の撮像装置。
被写体を撮像してデジタルの画像データを生成する撮像手段と、前記撮像手段が生成した画像データを記憶する記憶手段とを備えた撮像装置に、
前記撮像手段が生成した画像データから顔画像を検出する顔画像検出ステップ、
前記顔画像検出ステップで検出した顔画像に対応した手画像の探索領域を設定する手画像探索領域設定ステップ、
前記手画像探索領域設定ステップで設定した探索領域に存在する手画像を検出する手画像検出ステップ、
前記顔画像検出ステップで検出した顔画像および前記手画像検出ステップで検出した手画像を前記記憶手段から読み出し、この読み出した顔画像と手画像の対応関係に基づいて前記手画像の形状または動きを認識する認識ステップ、
前記認識ステップで認識した前記手画像の形状または動きに応じた動作制御を行う動作制御ステップ、
を実行させることを特徴とする撮像装置用プログラム。