JP2014103479A - 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】カメラの撮影画像から人物の顔画像などの物体を効率的に検出する。
【解決手段】上下方向が０度、±４５度、±９０度、１８０度だけそれぞれ傾いた複数のテンプレート画像を、顔や手など、検出対象毎に用意する。画像認識部５０４は、情報処理装置１００の実際の使用状態に応じて、複数のテンプレート画像の各々に優先順位を付け、各テンプレート画像を優先順位に応じた頻度で用いて撮像画像をスキャンして、ユーザーの顔や手など所望する物体の検出処理を行なう。出現する確率の高い傾きのテンプレートを高い頻度で使用することで、検出効率や検出精度を向上する。
【選択図】 図１２

Description

本明細書で開示する技術は、カメラの撮影画像を処理する画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラムに係り、特に、画像に含まれる人物の顔画像などの物体を検出する画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラムに関する。

人が生活する環境には、家電製品や情報機器など、ユーザーが制御対象とするさまざまな製品が存在している。この種の機器をユーザーが遠隔操作する方法の１つとして、ジェスチャー操作が挙げられる。

例えば、操作ボタン又はメニューを表示する操作表示手段を操作する操作者を撮像し、撮像画像から検出した手の領域の形と動きと操作表示手段の表示を基に操作者による操作を検出する遠隔操作装置について提案がなされている（例えば、特許文献１を参照のこと）。この先行技術によると、手先の輪郭を使ってユーザーのジェスチャーを認識することができる。

また、仮想操作面に対する操作者の動作を３次元的に読み取り、操作者の一部と仮想操作面との位置関係に基づいて動作が操作であるか否かを判定し、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動作が行なわれると、仮想操作階層にあらかじめ割当てられた操作種別及び仮想操作階層内での操作者の動作に基づいて操作の内容を決定する画像認識装置について提案がなされている（例えば、特許文献２を参照のこと）。

ジェスチャー操作は、ユーザーをカメラで撮影した画像から、ユーザーの顔や手を認識してジェスチャーを理解することを基本とする。したがって、カメラを搭載したさまざまな家電製品や情報機器にジェスチャー操作を採り入れることができると考えられる。

顔認識システムは、例えば、顔画像の位置を検出して検出顔として抽出する顔検出処理と、検出顔の識別（人物の特定）を行なう顔識別処理で構成される。このうち顔検出処理は、顔などのテンプレート画像を入力画像上でスキャンさせ、パターン・マッチングにより検出顔を抽出するのが一般的である（例えば、特許文献３を参照のこと）。

ところが、入力画像中の顔画像がカメラの光軸を中心として回転しているなど、テンプレート画像の姿勢と適切にパターン・マッチングしないため、顔検出精度が低下するという問題がある。例えば、ジェスチャー操作を行なう機器にカメラが搭載され、且つ、機器本体が回転機構で支持されているような場合には（例えば、特許文献４〜６を参照のこと）、内部カメラで撮影された顔画像が回転することが想定される。

あるいは、カメラを搭載した機器がハンディー・タイプなどの場合も、操作するユーザーの腕の動きに応じてカメラの姿勢が変化して、撮影する被写体画像が回転することが想定される。

例えば、入力画像データを縮小させ、且つ複数の角度に回転させた複数の縮小回転画像データを用いて、顔画像の変化に追従して顔検出を行なう顔画像検出装置について提案がなされている（例えば、特許文献７を参照のこと）。しかしながら、複数（ｎ枚）の縮小回転画像データに対してテンプレート画像とのパターン・マッチングを行なうと、処理量がｎ倍に増大してしまう。

また、加速度センサー（傾き角度検出手段）を用いて携帯電話の傾きを検出し、撮影された画像から顔検出処理を行なう際には、検出された携帯電話の傾き情報に基づいて顔検出用の被写体画像を回転させて、あるいは画素の読出し順序を変更して顔検出を行なうカメラ付携帯型電子機器について提案がなされている（例えば、特許文献８を参照のこと）。しかしながら、検出処理自体の効率は上がるものの、被写体画像を回転させる処理が増えてしまう。また、回転処理した後の被写体画像に対してしかテンプレート画像とのパターン・マッチングを行なわないのであれば、被写体の顔の傾きが携帯電話の傾き情報と一致しない場合には、検出精度が低下することが懸念される。

本明細書で開示する技術の目的は、カメラの撮影画像から人物の顔画像などの物体を効率的に検出することができる、優れた画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
カメラ部の使用状態を判定する使用状態判定部と、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
を具備し、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
画像処理装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置の前記物体検出部は、前記物体の複数のテンプレート画像を備え、前記使用状態に基づいて前記複数のテンプレート画像を優先順位付けし、優先順位に応じた頻度で各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出するように構成されている。

本願の請求項３に記載の技術によれば、請求項２に記載の画像処理装置の前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の姿勢を判定し、前記物体検出部は、前記物体の傾きの異なる複数のテンプレート画像を前記カメラ部の前記姿勢に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出するように構成されている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像処理装置の前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の光軸の方向を判定し、前記物体検出部は、各テンプレート画像を前記判定された光軸の方向に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の画像処理装置の前記使用状態判定部は、前記カメラ部の光軸のロール回りの回転角度を判定し、前記物体検出部は、前記カメラ部の光軸のロール回りの回転角度に近い傾きを持つテンプレート画像により高い優先順位を付与するように構成されている。

本願の請求項６に記載の技術によれば、請求項３に記載の画像処理装置の前記物体検出部は、前記撮影画像の領域毎に各テンプレート画像を優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出するように構成されている。

本願の請求項７に記載の技術によれば、請求項６に記載の画像処理装置は、前記カメラ部の光軸が鉛直方向を向いているときに、前記物体検出部が、前記撮影画像の領域毎に、前記撮像装置の光軸に対する前記領域の角度位置に応じて、各テンプレート画像を優先順位付けするように構成されている。

また、本願の請求項８に記載の技術は、
カメラ部の使用状態を検出する使用状態検出部と、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
を具備する画像処理装置である。

本願の請求項９に記載の技術によれば、請求項８に記載の画像処理装置は、前記撮影画像を画面に表示する表示部をさらに備えている。そして、前記最適化部は、ユーザーを撮影した前記撮影画像を前記画面上で前記ユーザーに正対して表示するように最適化するように構成されている。

本願の請求項１０に記載の技術によれば、請求項９に記載の画像処理装置の前記使用状態検出部は、前記カメラ部の光軸の方向と、前記画面の光軸の方向を検出し、前記最適化部は、前記カメラ部の光軸の方向と前記画面の光軸の方向に基づいて、前記撮影画像を最適化するように構成されている。

本願の請求項１０に記載の技術によれば、請求項９に記載の画像処理装置の前記使用状態検出部は、前記カメラ部の光軸のロール軸回りの回転Δψ_cと、前記画面の光軸のロール回りの回転Δψ_dを検出し、前記最適化部は、前記撮影画像をψ軸回りに−（Δψ_c＋Δψ_d）だけ回転させるように構成されている。

また、本願の請求項１２に記載の技術は、
カメラ部の使用状態を判定する使用状態判定ステップと、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出ステップと、
を有し、
前記物体検出ステップでは、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
画像処理方法である。

また、本願の請求項１３に記載の技術は、
カメラ部の使用状態を検出する使用状態検出ステップと、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化ステップと、
を有する画像処理方法である。

また、本願の請求項１４に記載の技術は、
カメラ部と、
前記カメラ部の使用状態を判定する使用状態判定部と、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
を具備し、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
撮影装置である。

また、本願の請求項１５に記載の技術は、
カメラ部と、
前記カメラ部の使用状態を検出する使用状態検出部と、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
を具備する撮影装置である。

また、本願の請求項１６に記載の技術は、
カメラ部の使用状態を判定する使用状態判定部、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
コンピューター・プログラムである。

また、本願の請求項１７に記載の技術は、
カメラ部の使用状態を検出する使用状態検出部、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１６、１７に係る各コンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１６、１７に係る各コンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１、８に係る各画像処理装置と同様の作用効果をそれぞれ得ることができる。

本明細書で開示する技術によれば、カメラの撮影画像から人物の顔画像などの物体を効率的に検出することができる、優れた画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術を適用した画像処理装置は、カメラによる撮影画像上でテンプレート画像をスキャンさせて顔などの物体を検索するが、傾きの異なる複数のテンプレート画像を用意するとともに、各テンプレート画像の使用頻度や、撮影画像内でテンプレート画像をスキャンする領域の優先順位を、カメラの姿勢に応じてコントロールすることによって、効率的にオブジェクトを検出することができる。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、大画面を有する情報処理装置１００の使用形態の一例（Ｗａｌｌ）を示した図である。 図２Ａは、大画面を有する情報処理装置１００の使用形態の他の例（Ｔａｂｌｅｔｏｐ）を示した図である。 図２Ｂは、テーブルトップ状態の表示画面の利用形態を示した図である。 図３Ａは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図３Ｂは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図３Ｃは、大画面を有する情報処理装置１００の使用形態の他の例を示した図である。 図４は、情報処理装置１００の機能的構成を模式的に示した図である。 図５は、入力インターフェース部１１０の内部構成を示した図である。 図６は、出力インターフェース部１３０の内部構成を示した図である。 図７Ａは、カメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）の定義を示した図である。 図７Ｂは、カカメラ部５０３の光軸並びに大画面の光軸の基準方向（０，０，０）を示した図である。 図８は、大画面の前に直立したユーザーを、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定されたカメラ部５０３で撮影する様子を示した図である。 図９は、大画面の前に直立したユーザーを、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定されたカメラ部５０３で撮影する様子を示した図である。 図１０は、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定されたカメラ部５０３で、大画面の四方から表示映像を覗き込む複数のユーザーを撮影する様子を示した図である。 図１１は、上下方向が０度、±４５度、±９０度、１８０度だけそれぞれ傾いた複数のテンプレート画像を例示した図である。 図１２は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下で、各テンプレート画像に設定する優先度を示した図である。 図１３は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下で、各テンプレート画像に設定する優先度を示した図である。 図１４は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定された使用状態下で、各テンプレート画像に設定する優先度を示した図である。 図１５は、画像認識部５０４内において、カメラ部５０３の撮像画像からユーザーの顔や手などの物体を検出する物体検出部１５００の機能的構成を模式的に示した図である。 図１６は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下で、テンプレート画像供給部１５０３から各テンプレート画像が優先度に応じた頻度で供給される様子を示した図である。 図１７は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下で、テンプレート画像供給部１５０３から各テンプレート画像が優先度に応じた頻度で供給される様子を示した図である。 図１８は、情報処理装置１００本体を壁から取り外して平置きにされた使用状態下で、テンプレート画像供給部１５０３から各テンプレート画像が優先度に応じた頻度で供給される様子を示した図である。 図１９は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下で想定される撮影画像を例示した図である。 図２０は、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下で想定される撮影画像を例示した図である。 図２１は、情報処理装置１００本体を壁から取り外して平置きにした使用状態下で想定される撮影画像を例示した図である。 図２２は、物体検出部１５００が撮影画像から所望の物体を検出するための処理手順を示したフローチャートである。 図２３は、大画面が横置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態で、カメラ部５０３による撮影画像の上下方向が正しくなるように表示する様子を示した図である。 図２４は、大画面が縦置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態で、カメラ部５０３による撮影画像の上下方向が正しくなるように表示する様子を示した図である。 図２５は、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）の状態のカメラ部５０３で自分撮りした撮影画像を例示した図である。 図２６は、図２５に示した撮影画像を、光軸方向が（φ_d，θ_d，ψ_d）＝（０，０，９０°）の大画面に表示した様子を示した図である。表示した様子を示した図である。 図２７は、図２５に示した撮影画像を最適化して表示した様子を示した図である。 図２８は、カメラ部５０３の撮影画像を最適化処理する機能的構成を模式的に示した図である。 図２９は、カメラ部５０３の撮影画像を最適化処理するための処理手順を示したフローチャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

Ａ．システム構成
本実施形態に係る情報処理装置１００は、大画面を有するが、主な使用形態として、図１に示すように壁に掛ける「Ｗａｌｌ」、並びに、図２に示すように卓上に設置する「Ｔａｂｌｅｔｏｐ」が想定される。

図１に示す「Ｗａｌｌ」状態では、情報処理装置１００は、例えば回転・取り付け機構部１８０によって壁面上で回転可能且つ着脱可能な状態で取り付けられている。図示の例では、大画面が横置きとなる姿勢に回転位置が設定されている。

回転・取り付け機構部１８０は情報処理装置１００と外部との電気的接点を兼ねており、この回転・取り付け機構部１８０を介して情報処理装置１００に電源ケーブルやネットワーク・ケーブル（いずれも図示しない）が接続されているものとし、情報処理装置１００は、商用ＡＣ電源から駆動電力を受電できるとともに、インターネット上の各種サーバーにもアクセスすることができる。

情報処理装置１００は、カメラや距離センサー、近接センサー、並びにタッチ・センサーを備えており、画面に正対しているユーザーの位置（距離、方位）を把握することができる。また、情報処理装置１００は、ユーザーの位置に応じた最適なインタラクションを自動選択するようになっている。例えば、情報処理装置１００は、ユーザーの位置に応じて、被操作オブジェクト枠組み、情報密度などのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示を自動で選択し又は調整する。また、情報処理装置１００は、画面へのタッチ、近接、手などを用いたジェスチャー、リモコン、ユーザー状態による間接操作など複数の入力手段の中から、ユーザーの位置若しくはユーザーまでの距離に応じて自動で選択することができる。

また、情報処理装置１００は、１台以上のカメラも備えている。図示の例では、大画面を横置きにした状態で、上端縁のほぼ中央にカメラが設置されている。この状態では、カメラは、光軸が水平方向を向いており、大画面に正対しているユーザーの姿を撮影することができる。カメラの撮像画像を処理することで、ユーザーの位置を測定できる他、人物、物体、機器などさまざまな物体の認識を行なうことができる。顔や手などの人物の認識結果に基づいて、ジェスチャー入力を行なうこともできる。また、情報処理装置１００は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる。

Ｗａｌｌ状態では、大画面上に、ユーザーが操作する対象となる被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。被操作オブジェクトには、テレビ放送の受信コンテンツ、記録メディアからの再生コンテンツ、ネットワークを介して取得したストリーミング動画、ユーザーが所持するモバイル端末など他の機器から取り込んだ動画、静止画コンテンツなどが含まれる。

図１に示すように大画面が横置きとなるように、壁に掛けた情報処理装置１００の回転位置を設定すると、画面全体の大きさを持つ被操作オブジェクトとして、ほぼムービーで描写する世界観そのままに映像を表示することができる。

情報処理装置１００を回転・取り付け機構部１８０に取り付け、壁に掛けた状態のままで回転させると、図３に示すように大画面が縦置きとなる姿勢にすることができる。情報処理装置１００本体と一体となって、カメラの位置が、画面の右端縁のほぼ中央に移動する。この状態では、カメラは、光軸が水平方向を向いたままであり、大画面に正対しているユーザーの姿を撮影することができる。但し、カメラの光軸はロール軸回りに９０度回転するので、その撮影画像も９０度だけ回転する。

情報処理装置１００が備える大画面のアスペクト比は、ハイビジョン映像相当の１６：９を想定している。大画面を縦置きの姿勢にすると、図３Ａに示すように、アスペクト比が１６：９の画面を垂直方向に３つ配置することができる。例えば、異なる放送局から同時受信する放送コンテンツ、記録メディアからの再生コンテンツ、ネットワーク上のストリーミング動画など、３種類のコンテンツ＃１〜＃３を上下方向に並べて同時に表示することができる。さらに、ユーザーが例えば指先で画面上を上下方向に操作すると、図３Ｂに示すように、コンテンツが上下方向にスクロールする。また、ユーザーが３段のうちいずれかの場所で指先により左右方向に操作すると、図３Ｃに示すように、その段で画面が水平方向にスクロールする。

一方、図２Ａに示す「Ｔａｂｌｅｔｏｐ」状態では、情報処理装置１００は卓上に平置きにされている。図１に示した使用形態では回転・取り付け機構部１８０が電気的接点を兼ねているのに対し（前述）、図２Ａに示すように卓上に設置された状態では、情報処理装置１００への電気的接点が見当たらない。そこで、図示のＴａｂｌｅｔｏｐ状態では、情報処理装置１００は、内蔵バッテリーにより無電源で動作可能に構成してもよい。また、情報処理装置１００が例えば無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の移動局機能に相当する無線通信部を備えるとともに、回転・取り付け機構部１８０が無線ＬＡＮのアクセスポイント機能に相当する無線通信部を備えるようにすれば、情報処理装置１００は、Ｔａｂｌｅｔｏｐ状態においても、アクセスポイントとしての回転・取り付け機構部１８０との無線通信を通じてインターネット上の各種サーバーにアクセスすることができる。

ＴａｂｌｅＴｏｐ状態では、大画面の四方から複数のユーザーが表示映像を覗き込むことになる。また、カメラの光軸は鉛直方向を向き、大画面の上空の風景を撮影する。この場合、撮影画像内のユーザーの顔や手の上下方向は、画面を覗き込むユーザーの立ち位置、すなわち撮影画像内で映る領域毎にまちまちになる。

Ｔａｂｌｅｔｏｐ状態の大画面上には、被操作対象となる複数の被操作オブジェクトが定義されている。被操作オブジェクトは、動画、静止画、テキスト・コンテンツを始め、任意のインターネット・サイト、アプリケーションやウィジェットなどの機能モジュールの特定の表示領域を有する。

情報処理装置１００は、大画面の４つの側縁部の各々に、ユーザーの存在又は状態を検出する近接センサーを備えている。上述と同様に、大画面に接近したユーザーをカメラで撮影して人物認識してもよい。また、超近距離通信部は、存在を検出したユーザーがモバイル端末などの機器を所持しているか否かを検出したり、ユーザーが所持する他端末からのデータ送受信要求を検出したりする。

情報処理装置１００は、近接センサーなどでユーザーの存在を検出すると、その検出結果をＵＩ制御に利用する。ユーザーの存在の有無だけでなく、ユーザーの胴体や両手足、頭の位置などを検出するようにすれば、より詳細なＵＩ制御に利用することもできる。また、情報処理装置１００は、超近距離通信部も備えており、超近距離まで接近したユーザーが所持する機器との間で直接且つ自然なデータ送受信を行なうこともできる。

情報処理装置１００の画面を大型化すれば、Ｔａｂｌｅｔｏｐ状態では、複数のユーザーが同時にタッチ入力するだけのスペースの余裕が生じる。また、複数のユーザーが大画面越しに向き合い、画面の表示を見ながら会話やディスカッションを行なうことができる（図２Ｂを参照のこと）。

図４には、情報処理装置１００の機能的構成を模式的に示している。情報処理装置１００は、外部からの情報信号を入力する入力インターフェース部１１０と、入力された情報信号に基づいて表示画面の制御などのための演算処理を行なう演算部１２０と、演算結果に基づいて外部への情報出力を行なう出力インターフェース部１３０と、ハード・ディスク・ドライブ（ＨＤＤ）などからなる大容量の記憶部１４０と、外部ネットワークと接続する通信部１５０と、駆動電力を扱う電源部１６０と、テレビ・チューナー部１７０を備えている。記憶部１４０には、演算部１２０で実行する各種処理アルゴリズムや、演算部１２０で演算処理に使用する各種データベースが格納されている。

入力インターフェース部１１０の主な機能は、ユーザーの存在の検出、検出したユーザーによる画面すなわちタッチパネルへのタッチ操作の検出、ユーザーが所持するモバイル端末などの機器の検出並びに機器からの送信データの受信処理である。図５には、入力インターフェース部１１０の内部構成を示している。

リモコン受信部５０１は、リモコンやモバイル端末からのリモコン信号を受信する。信号解析部５０２は、受信したリモコン信号を復調、復号処理して、リモコン・コマンドを得る。

カメラ部５０３はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を備え、単眼式、又は、２眼式若しくはアクティブ型のうち一方又は両方を採用する。また、カメラ部５０３は、パンやチルト、ズームなどのカメラ制御部を備えている。カメラ部５０３は、パンやチルト、ズームなどのカメラ情報を演算部１２０に通知するとともに、演算部１２０からのカメラ制御情報に従ってカメラ部５０３のパン、チルト、ズームを制御できるものとする。

画像認識部５０４は、カメラ部５０３による撮影画像を認識処理する。具体的には、背景差分によりユーザーの顔や手の動きを検出してジェスチャー認識したり、撮影画像に含まれるユーザーの顔や手などの物体を認識したり、ユーザーまでの距離を認識したりする。

画像認識部５０４は、画像認識処理に際して、カメラ部５０３によるカメラによる撮影画像上でテンプレート画像をスキャンさせて、パターン・マッチングを行なうことにより、顔などの認識対象となる物体を検出する。本実施形態では、傾きの異なる複数のテンプレート画像を用意しておき、画像認識部５０４は、各テンプレート画像の使用頻度や、撮影画像内の各領域でテンプレート画像をスキャンする優先順位を、情報処理装置１００本体（すなわち、本体と一体となったカメラ部５０３）の姿勢に応じてコントロールすることによって、撮影画像内の物体検出処理の効率化並びに誤検出の防止を図るようにしている。物体検出処理の詳細については後述に譲る。

マイク部５０５は、音やユーザーが発する会話を音声入力する。音声認識部５０６は、マイク部５０５から入力された音声信号を音声認識する。

距離センサー５０７は、例えばＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）などからなり、ユーザーやその他の物体から返ってくる信号を検出する。信号解析部５０８は、その検出信号を解析して、ユーザーや物体までの距離を測定する。ＰＤＳセンサー以外に、焦電センサーや簡易カメラなどを距離センサー５０７に用いることができる。距離センサー５０７は、情報処理装置１００から例えば５〜１０メートルの半径内にユーザーが存在するかどうかを常時監視している。このため、距離センサー５０７には、消費電力の小さなセンサー素子を用いることが好ましい。

タッチ検出部５０９は、画面に重畳されたタッチ・センサーなどからなり、画面にユーザーの指先が触れた場所から検出信号を出力する。信号解析部５１０は、タッチ検出部５０９の検出信号を解析して、位置情報を得る。

近接センサー５１１は、大画面の４つの側縁部の各々に設置され、例えば静電容量式によりユーザーの身体が画面に近接したことを検出する。信号解析部５１２は、近接センサー５１１の検出信号を解析する。

超近距離通信部５１３は、例えばＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）により、ユーザーが所持する機器などからの非接触通信信号を受信する。信号解析部５１４は、超近距離通信部５１３の受信信号を復調、復号処理して、受信データを得る。

３軸センサー部５１５は、ジャイロなどで構成され、情報処理装置１００のｘｙｚ各軸回りの姿勢を検出する。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部５１６は、ＧＰＳ衛星からの信号を受信する。信号解析部５１７は、３軸センサー部５１５並びにＧＰＳ受信部５１６からの信号を解析して、情報処理装置１００の位置情報や姿勢情報を得る。

入力インターフェース統合部５２０は、上記の情報信号の入力を統合して演算部１２０に渡す。また、入力インターフェース統合部５２０は、各信号解析部５０８、５１０、５１２、５１４の解析結果を統合して、情報処理装置１００の周囲にいるユーザーの位置情報を取得して演算部１２０に渡す。

演算部１２０の主な機能は、入力インターフェース部１１０によるユーザー検出結果、画面のタッチ検出結果、及びユーザーが所持する機器からの受信データに基づくＵＩ画面の生成処理などの演算処理と、演算結果の出力インターフェース部１３０への出力である。演算部１２０は、例えば記憶部１４０にインストールされているアプリケーション・プログラムをロードし、実行することで、アプリケーション毎の演算処理を実現することができる。

出力インターフェース部１３０の主な機能は、演算部１２０の演算結果に基づく画面上へのコンテンツやＵＩの表示と、ユーザーが所持する機器へのデータ送信である。図６には、出力インターフェース部１３０の内部構成を示している。

出力インターフェース統合部６１０は、演算部１２０による演算結果に基づく情報出力を統合して扱う。

出力インターフェース統合部６１０は、コンテンツ表示部６０１に対して、受信したＴＶ放送コンテンツや、ブルーレイ・ディスクなどの記録メディアから再生したコンテンツなど、動画又は静止画コンテンツの表示部６０３、スピーカー部６０４への画像及び音声出力を指示する。

また、出力インターフェース統合部６１０は、ＧＵＩ表示部６０２に対して、被操作オブジェクトなどのＧＵＩの表示部６０３への表示を指示する。

また、出力インターフェース統合部６１０は、超近距離通信部５１３に対して、ユーザーが所持する機器などへの、非接触通信によるデータ送信を指示する。

情報処理装置１００は、カメラ部５０３の撮影画像の認識や、距離センサー５０７、タッチ検出部５０９、近接センサー５１１、超近距離通信部５１３などの検出信号に基づいて、ユーザーを検出することができる。また、カメラ部５０３の撮影画像の顔認識や、超近距離通信部５１３でユーザーが所持する機器を認識することで、検出したユーザーの人物を特定することができる。特定されたユーザーは情報処理装置１００にログインすることができる。勿論、ログインできるアカウントを特定のユーザーに限定することもできる。また、情報処理装置１００は、ユーザーの位置やユーザーの状態に応じて、距離センサー５０７、タッチ検出部５０９、近接センサー５１１を使い分けて、ユーザーからの操作を受け取ることができる。

また、情報処理装置１００は、通信部１５０を通じて外部ネットワークに接続している。外部ネットワークとの接続形態は、有線、無線を問わない。情報処理装置１００は、通信部１５０を通じて、ユーザーが所持するスマートフォンなどのモバイル端末や、タブレット端末などの他の機器と通信することができる。情報処理装置１００、モバイル端末、タブレット端末の３種類の装置の組み合わせにより、いわゆる「３スクリーン」を構成することができる。情報処理装置１００は、他の２スクリーンよりも大画面上で、３スクリーンを連携させるＵＩを提供することができる。

例えば、ユーザーが画面上でタッチ操作する、あるいは所持端末を情報処理装置１００に接近させるなどのアクションを行なっているバックグランドで、情報処理装置１００と対応する所持端末との間で、被操作オブジェクトの実体である動画、静止画、テキスト・コンテンツなどのデータ送受信が行なわれる。さらに外部ネットワーク上にはクラウド・サーバーなどが設置されており、３スクリーンは、クラウド・サーバーの演算能力を利用するなど、情報処理装置１００を通じてクラウド・コンピューティングの恩恵を受けることができる。

Ｂ．物体検出処理
本実施形態に係る情報処理装置１００では、画像認識部５０４がカメラ部５０３による撮影画像を画像認識して、顔認識に基づく人物認証や、顔の表情や手の形状認識に基づくジェスチャー入力を行なうことができる。

画像認識部５０４は、画像認識処理に際して、カメラ部５０３によるカメラによる撮影画像上でテンプレート画像をスキャンさせて、パターン・マッチングを行なうことにより、顔などの認識対象となる物体を検出する（前述）。

ところが、撮影画像内の顔画像が、顔画像がカメラの光軸を中心として回転しているなど、姿勢が適当でないと、テンプレート画像とパターン・マッチングがとれなくなり、顔検出精度が低下するという問題がある。

とりわけ、本実施形態に係る情報処理装置１００は、回転・取り付け機構部１８０によって壁面上で回転可能且つ着脱可能な状態で取り付けられるので、装置１００本体に搭載されたカメラ部５０３の光軸は任意の回転角度で回転する。そして、情報処理装置１００の大画面に正対したユーザーをカメラ部５０３で撮影した場合、ユーザー自体は顔の姿勢を変えなくても、撮影画像内のユーザーの顔画像は、カメラ部５０３の光軸の回転角度に応じて傾斜する。回転・取り付け機構部１８０に対し、情報処理装置１００本体が回転すると、カメラ部５０３の光軸や大画面の光軸はロール軸回りに回転することになる。

ここで、図７Ａに示すように、ｘｙｚ平面上でカメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）を定義する。但し、φ_cはｘｚ平面上でｚ軸正方向を０度とし、θ_cはｙｚ平面上でｚ軸正方向を０度とし、ψ_cはｘｙ平面上でｙ軸正方向を０度とする。図１に示したように、情報処理装置１００の大画面を横置きにした状態で、画面の上端縁のほぼ中央の場所に、カメラ部５０３が固定されている。以下では、カメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）は、大画面の光軸の方向（φ_d，θ_d，ψ_d）と一致するものとして扱う。図７Ｂに示すように、情報処理装置１００の大画面を横置きにした状態での正面を向く方向を、カメラ部５０３の光軸、並びに、大画面の光軸の基準方向（０，０，０）を定義する。

情報処理装置１００本体を壁に掛けた状態で、図１に示したように大画面が横置きとなる姿勢に回転位置が設定されていると、カメラ部５０３の光軸の方向は、基準方向（φ_c，θ_c，ψ_c）＝（０，０，０）である。また、図３に示したように大画面が縦置きとなる姿勢に回転位置が設定されると、カメラ部５０３の光軸の方向は（φ_c，θ_c，ψ_c）＝（０，０，９０°）である。

大画面の前に直立したユーザーを、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定されたカメラ部５０３で撮影すると、図８に示すように、横置きにした撮影画像内のユーザーの顔や手の上下方向は、撮影画像の上下方向と一致する。したがって、画像認識部５０４では、規定の（すなわち、傾きのない）テンプレート画像とのパターン・マッチングをとることにより、ユーザーの顔や手を検出することができる。

一方、大画面の前に直立したユーザーを、光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定されたカメラ部５０３で撮影すると、図９に示すように、横置きにした撮影画像内のユーザーの顔や手の上下方向は、撮影画像の上下方向からロール軸回り（図面上で時計回り）に９０度だけ回転する。したがって、画像認識部５０４では、規定の（すなわち、傾きが一定の）テンプレート画像とのパターン・マッチングをとっても、マッチング度が低く、ユーザーの顔や手を検出することができなくなる。

また、情報処理装置１００本体を壁から取り外して、ＴａｂｌｅＴｏｐ、すなわち大画面を平置きにした状態では、カメラ部５０３の光軸の方向は（φ_c，θ_c，ψ_c）＝（０，９０°，０）であるが、大画面の四方から複数のユーザーが表示映像を覗き込むことになる。このときのカメラ部５０３の撮影画像を図１０に例示するが、撮影画像内のユーザーの顔や手の上下方向は、画面を覗き込むユーザーの立ち位置、すなわち撮影画像内で映る領域毎にまちまちである。このため、規定の（すなわち、傾きが一定の）テンプレート画像とのパターン・マッチングをとっても、マッチング度が低く、ユーザーの顔や手を検出することができない領域が存在する。

演算処理量に制限が厳しくないシステムにおいては、想定し得るすべての顔の傾きや手の向きをすべて考慮して検出処理を行なえばよいが、想定する角度によって非常に高い処理負荷がかかる。

情報処理装置１００の実際の使用状態では、撮影画像内での顔画像や手の画像の上下方向は、一様の頻度でそれぞれの角度に傾くのではなく、頻度の高い傾きと、頻度の低い傾きや、ほとんど皆無の傾きがあると考えられる。したがって、想定するすべての角度を考慮して顔画像や手の画像の検出処理を行なうのは非効率的である。また、低い頻度の傾きについても、高い頻度の傾きと同様に検出処理を行なうのは、処理負荷をいたずらに増大することになる。

例えば、情報処理装置１００本体が壁に掛けられ大画面が横置きとなるように配置された使用状態（すなわちカメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０））では、ユーザーが通常は床面に直立していることを考慮すると、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向が撮影画像の上下方向と一致する。ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向が４５度程度まで傾くことは、比較的高い頻度で発生する。また、顔画像の上下方向が９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。ところが、顔画像の上下方向が真逆すなわち１８０度傾くことは皆無に等しいと言える。

また、情報処理装置１００本体が壁に掛けられ画面が縦置きとなるように配置された使用状態（すなわちカメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）の場合）では、ユーザーが通常は床面に直立していることを考慮すると、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向が撮影画像の上下方向に対し（すなわち、ロール軸回りに）９０度だけ傾いている。ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向が４５度程度まで傾くことは、比較的高い頻度で発生する。また、顔画像の上下方向が９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。ところが、顔画像の上下方向が撮像画像の上下方向と一致し又は真逆になること（すなわち、傾きが０度又は１８０度になること）は、ユーザーが寝転がっている場合などであり、発生する頻度は低くなると言える。

他方、情報処理装置１００本体を壁から取り外して、ＴａｂｌｅＴｏｐ、すなわち平置きにした使用状態（すなわちカメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）の場合）では、大画面の四方から複数のユーザーが表示映像を覗き込むことを考慮すると、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向がそのユーザーが大画面（言い換えればカメラ部５０３の撮像面）を覗き込む方向と一致する。ユーザーがカメラ部５０３の撮像面を覗き込む方向は、カメラ部５０３の光軸の方向ψ_cに対するユーザーの角度位置（仮に角度αとする）に相当する。ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向がαに対し±４５度程度まで傾くことは、比較的高い頻度で発生する。ところが、顔画像の上下方向がαに対し±９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。また、顔画像の上下方向がαと真逆すなわち１８０度傾くことは皆無に等しいと言える。

そこで、本実施形態では、図１１に例示するように、上下方向が０度、±４５度、±９０度、１８０度だけそれぞれ傾いた複数のテンプレート画像を、顔や手など、検出対象毎に用意する。そして、画像認識部５０４は、情報処理装置１００の実際の使用状態に応じて、複数のテンプレート画像の各々に優先順位を付け、各テンプレート画像を優先順位に応じた頻度で用いて撮像画像をスキャンして、ユーザーの顔や手など所望する物体の検出処理を行なうようにしている。出現する確率の高い傾きのテンプレートを高い頻度で使用することで、検出効率や検出精度を向上することができる。また、出現する確率の低い傾きのテンプレートを低い頻度で使用することにより、処理負荷を低減することができる。

ここで言う、情報処理装置１００の使用状態とは、情報処理装置１００本体の大画面をＷａｌｌすなわち壁掛け状態にしているか、あるいは、ＴａｂｌｅＴｏｐすなわち平置き状態にしているかどうかを意味する。また、情報処理装置１００本体が壁掛け状態の場合、大画面が横置き又は縦置きであるか、すなわちカメラ部５０３の光軸の（ロール軸回りの）回転位置ψ_cも使用状態を意味する。また、情報処理装置１００本体が平置き状態の場合、ユーザーが大画面を覗き込む方向も使用状態を意味し、カメラ部５０３の光軸の方向ψ_cに対するユーザーの角度位置αで表わされる。要するに、情報処理装置１００の使用状態は、カメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）と言い換えることもできる。

例えば、情報処理装置１００本体が壁に掛けられ、大画面が横置きとなるように配置され、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下では、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向が撮影画像の上下方向と一致する。そこで、傾きが０度のテンプレートを最も高い優先度に設定する。また、ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向が４５度程度まで傾くことは、比較的高い頻度で発生する。したがって、傾きが±４５度のテンプレート画像を高い優先度に設定する。また、顔画像の上下方向が９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。そこで、傾きが±９０度のテンプレート画像を低い優先度に設定する。また、顔画像の上下方向が真逆すなわち１８０度傾くことは皆無に等しい。そこで、傾きが１８０度のテンプレートを最低の優先度に設定する。図１２には、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下で、各テンプレート画像に設定する優先度を示している。画像認識部５０４は、各テンプレート画像をそれぞれの優先度に応じた頻度で使用して、カメラ部５０３の撮影画像から顔や手などの物体の検出処理を行なう。

情報処理装置１００本体が壁に掛けられ、大画面が縦置きとなるように配置され、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下では、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向が撮影画像の上下方向に対し（若しくはロール軸回りに）９０度だけ傾いている。そこで、傾きが９０度のテンプレートを最も高い優先度に設定する。また、ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向が４５度程度まで傾くことは、比較的高い頻度で発生する。したがって、傾きが４５度（並びに１３５度）のテンプレート画像を高い優先度に設定する。また、顔画像の上下方向が９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。そこで、傾きが０度並びに１８０度のテンプレート画像を低い優先度に設定する。また、顔画像の上下方向が撮像画像の上下方向と一致し又は真逆になることは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。そこで、傾きが２７０度のテンプレートを最低の優先度に設定する（図１３を参照のこと）。

他方、情報処理装置１００本体を壁から取り外して平置きにし、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定された使用状態下では、撮影画像内の顔画像並びに手の画像のほとんどは、その上下方向がそのユーザーが大画面（言い換えればカメラ部５０３の撮像面）を覗き込む方向と一致する。

ここで言う、ユーザーがカメラ部５０３の撮像面を覗き込む方向とは、カメラ部５０３の光軸の方向ψ_cに対するユーザーの角度位置αに相当する。ユーザーが首をかしげるしぐさやジェスチャーを行なって、顔画像の上下方向がαに対し±４５度程度まで傾くことは、比較的高い頻度で発生する。ところが、顔画像の上下方向がαに対し±９０度程度傾くことは、ユーザーが寝転がっている場合などであり、発生する頻度は低くなる。また、顔画像の上下方向がαと真逆すなわち１８０度傾くことは皆無に等しい。

例えば、ユーザーの角度位置αが０度付近となる領域では、傾きが０度のテンプレートを最も高い優先度に設定し、傾きが±４５度のテンプレート画像を高い優先度に設定し、傾きが±９０度のテンプレート画像を低い優先度に設定し、傾きが１８０度のテンプレートを最低の優先度に設定する。また、ユーザーの角度位置αが−９０度付近となる領域では、傾きが−９０度のテンプレートを最も高い優先度に設定し、傾きが−４５度並びに−１３５度のテンプレート画像を高い優先度に設定し、傾きが０度並びに１８０度のテンプレート画像を低い優先度に設定し、傾きが９０度のテンプレートを最低の優先度に設定する。また、ユーザーの角度位置αが４５度付近となる領域では、傾きが４５度のテンプレートを最も高い優先度に設定し、傾きが０度並びに９０度のテンプレート画像を高い優先度に設定し、傾きが−４５度並びに１３５度のテンプレート画像を低い優先度に設定し、傾きが２２５度のテンプレートを最低の優先度に設定する（図１４を参照のこと）。要するに、カメラ部５０３の撮影画像上で、ユーザーの角度位置がαの領域では、傾きがαのテンプレートを最も高い優先度に設定し、傾きがθ±４５度のテンプレート画像を高い優先度に設定し、傾きがα±９０度のテンプレート画像を低い優先度に設定し、傾きがα＋１８０度のテンプレートを最低の優先度に設定する、と一般化することができる。

図１５には、画像認識部５０４内において、カメラ部５０３の撮像画像からユーザーの顔や手などの物体を検出する物体検出部１５００の機能的構成を模式的に示している。

カメラ部５０３は、情報処理装置１００が備える大画面の正面にいるユーザーを撮影し（例えば、図８〜１０を参照のこと）、その撮影画像を物体検出部１２００に供給する。カメラ部５０３は、例えば１秒間にＮ回撮影を行ない、撮影画像を物体検出部１５００に出力する。そして、物体検出部１５００は、顔や手などの複数のテンプレート画像の各々を、情報処理装置１００の使用状態に応じた頻度で用いて、１秒当たりＮ枚の画像フレームから、ユーザーの顔や手などの物体を検出する。

図１５に示すように、物体検出部１５００は、使用状態判定部１５０１と、テンプレート画像保持部１５０２と、テンプレート画像供給部１５０３と、パターン・マッチング処理部１５０４を備えている。

使用状態判定部１５０１は、情報処理装置１００の実際の使用状態を判定する。情報処理装置１００の使用状態とは、情報処理装置１００本体の大画面をＷａｌｌすなわち壁掛け状態にしているか（例えば図１、図８を参照のこと）、あるいは、ＴａｂｌｅＴｏｐすなわち平置き状態にしているか（例えば図３Ａ、図９を参照のこと）どうかを意味する。情報処理装置１００本体が壁掛け状態の場合、大画面が横置き又は縦置きであるか、すなわちカメラ部５０３の光軸の（ロール軸回りの）回転位置ψ_cも使用状態を意味する。また、情報処理装置１００本体が平置き状態の場合（例えば、図２Ａ、図１０を参照のこと）、ユーザーが大画面を覗き込む方向も使用状態を意味し、覗きこむ方向はカメラ部５０３の光軸の方向ψ_cに対するユーザーの角度位置αで表わされる。使用状態判定部１５０１は、例えば３軸センサー５１５の出力情報や、カメラ部５０３の撮影画像の解析結果などに基づいて、使用状態を判定することができる。

テンプレート画像保持部１５０２は、図１１に示したように、人の顔や手などの検出対象となる物体毎の、上下方向の傾きが異なる複数のテンプレート画像を保持している。なお、遠近に応じて撮影画像内での被写体の画像サイズが相違するため、撮影画像を正規化処理するか、又は、上下方向の傾きが同じでサイズの異なるテンプレート画像を用意する必要がある。但し、本明細書では、説明の簡素化のため、撮影画像に含まれるユーザーの顔などの物体の画像の大きさは正規化されているものとして扱う。

テンプレート画像供給部１５０３は、使用状態判定部１５０１が判定した情報処理装置１００の使用状態に応じて、顔などの特定の検出対象の物体の各テンプレート画像を優先順位付けし、優先順位に応じた頻度でパターン・マッチング処理部１５０４に供給する。

使用状態判定部１５０１が、情報処理装置１００本体は壁に掛けられ大画面が横置きとなるように配置されていること、すなわち、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下であると判定したとする。この場合、テンプレート画像供給部１５０３は、図１２に示したように、傾きが０度のテンプレートを最も高い優先度、傾きが±４５度のテンプレート画像を次に高い優先度、傾きが±９０度のテンプレート画像を低い優先度に設定、傾きが１８０度のテンプレートを最低の優先度に、それぞれ設定する。

また、使用状態判定部１５０１が、情報処理装置１００本体は壁に掛けられ大画面が縦置きとなるように配置されていること、すなわち、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下であると判定したとする。この場合、テンプレート画像供給部１５０３は、図１３に示したように、傾きが９０度のテンプレートを最も高い優先度、傾きが４５度（並びに１３５度）のテンプレート画像を次に高い優先度、傾きが０度並びに１８０度のテンプレート画像を低い優先度に設定、傾きが２７０度のテンプレートを最低の優先度に、それぞれ設定する。

また、使用状態判定部１５０１が、情報処理装置１００本体は壁から取り外され平置きにされていること、すなわち、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定された使用状態下であると判定したとする。この場合、テンプレート画像供給部１５０３は、図１４に示したように、カメラ部５０３の撮影画像上で、ユーザーの角度位置がαの領域では、傾きがαのテンプレートを最も高い優先度、傾きがθ±４５度のテンプレート画像を高い優先度、傾きがα±９０度のテンプレート画像を低い優先度、傾きがα＋１８０度のテンプレートを最低の優先度に、それぞれ設定する。

そして、テンプレート画像供給部１５０３は、各テンプレート画像をそれぞれの優先度に応じた頻度で、各テンプレート画像をそれぞれの優先度に応じた頻度でパターン・マッチング処理部１５０４に出力する。例えば、最も高い優先度のテンプレート画像を１０分の４の頻度、次に高い優先度の各テンプレート画像を１０分の２の頻度、低い優先度の各テンプレート画像を１０分の１の頻度で出力するとともに、最も優先度の低いテンプレート画像をまったく出力しない。

カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下では、テンプレート画像供給部１５０３は、例えば図１６に示すように、傾きが０度のテンプレートを１０回当たり４回、傾きが±４５度のテンプレート画像をそれぞれ１０回当たり２回、傾きが±９０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で出力する。

また、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下では、テンプレート画像供給部１５０３は、例えば図１７に示すように、傾きが９０度のテンプレートを１０回当たり４回、傾きが４５度（並びに１３５度）のテンプレート画像をそれぞれ１０回当たり２回、傾きが０度並びに１８０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で出力する。

また、情報処理装置１００本体を壁から取り外して平置きにし、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定された使用状態下では、テンプレート画像供給部１５０３は、カメラ部５０３の撮影画像上で、ユーザーの角度位置αに応じた頻度で、各テンプレート画像を出力する。例えば、図１８中でグレーにより示した、ユーザーの角度位置αが−９０度となる領域で、顔画像（物体）を検出するときには、傾きが−９０度のテンプレートを１０回当たり４回、傾きが−４５度並びに−１３５度のテンプレート画像をそれぞれ１０回当たり２回、傾きが０度並びに１８０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で出力する。

パターン・マッチング処理部１５０４には、カメラ部５０３から例えば１秒間にＮ回のフレーム・レートで撮影画像が入力される。例えばＮ＝１０とする。また、テンプレート画像供給部１５０３からパターン・マッチング処理部１５０４には、図１６〜図１８に示したように、情報処理装置１００本体の使用状態に応じた頻度で各テンプレート画像が供給される。パターン・マッチング処理部１５０４は、カメラ部５０３から１０ｆｐｓで入力される撮影画像を、テンプレート画像供給部１５０３から供給されるテンプレート画像を使ってパターン・マッチングして、顔画像の検出を逐次行なう。

例えば、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，０）に設定された使用状態下では、図１９に示すように、撮影画像中の顔画像の傾きは０度付近であることが想定される。したがって、図１６に示したように、傾きが０度のテンプレートを１０回当たり４回、傾きが±４５度のテンプレート画像をそれぞれ１０回当たり２回、傾きが±９０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で使用して、カメラ部５０３から１０ｆｐｓで入力される撮影画像に対してパターン・マッチングを行なうと、パターン・マッチング処理部１５０４は、顔画像を効率的に検出するとともに、処理負荷を軽減することができる。

また、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，０，９０°）に設定された使用状態下では、図２０に示すように、撮影画像中の顔画像の傾きは９０度付近であることが想定される。したがって、図１７に示したように、傾きが９０度のテンプレートを１０回当たり４回、傾きが４５度（並びに１３５度）のテンプレート画像をそれぞれ１０回当たり２回、傾きが０度並びに１８０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で使用して、カメラ部５０３から１０ｆｐｓで入力される撮影画像に対してパターン・マッチングを行なうと、パターン・マッチング処理部１５０４は、顔画像を効率的に検出するとともに、処理負荷を軽減することができる。

また、情報処理装置１００本体を壁から取り外して平置きにし、カメラ部５０３の光軸の方向が（φ_c，θ_c，ψ_c）＝（０，９０°，０）に設定された使用状態下では、例えば図２１中に示した撮影画像中のグレーで示す、ユーザーの角度位置αが−９０度となる領域で顔検出を行なう際、顔画像の傾きは−９０度付近であることが想定される。したがって、図１８に示したように、傾きが−９０度のテンプレートを１０回当たり４回、傾きが−４５度並びに−１３５度のテンプレート画像をそれぞれ１０回当たり２回、傾きが０度並びに１８０度のテンプレート画像をそれぞれ１０回当たり１回の頻度で使用して、カメラ部５０３から１０ｆｐｓで入力される撮影画像に対してパターン・マッチングを行なうと、パターン・マッチング処理部１５０４は、顔画像を効率的に検出するとともに、処理負荷を軽減することができる。

画像認識部５０４は、物体検出部１５００における顔画像などの物体検出結果を、入力インターフェース統合部５２０を介して演算部１２０に出力する。演算部１２０では、検出した顔画像に基づいて、顔認識や個人認証、ジェスチャー入力を行なうなど、物体検出結果をさまざまな用途に利用することができる。

図２２には、物体検出部１５００が撮影画像から所望の物体を検出するための処理手順をフローチャートの形式で示している。

使用状態判定部１５０１は、例えば３軸センサー５１５の出力情報や、カメラ部５０３の撮影画像の解析結果などに基づいて、カメラ部５０３が撮影する際の情報処理装置１００の使用状態を判定する（ステップＳ２２０１）。

テンプレート画像供給部１５０３は、使用状態判定部１５０１が判定した情報処理装置１００の使用状態に応じて、顔などの特定の検出対象の物体の各テンプレート画像を優先順位付けし、優先順位に応じた頻度でパターン・マッチング処理部１５０４に供給する（ステップＳ２２０２）。

パターン・マッチング処理部１５０４は、カメラ部５０３から例えば１０ｆｐｓで入力される撮影画像に対して、テンプレート画像供給部１５０３から優先順位に応じた頻度で供給されるテンプレート画像とのマッチング処理を行なう（ステップＳ２２０３）。

そして、パターン・マッチング処理部１５０４は、テンプレート画像とマッチングする領域を撮影画像から検出すると（ステップＳ２２０４のＹｅｓ）、その検出結果を演算部１２０に出力して（ステップＳ２２０５）、本処理ルーチンを終了する。

また、パターン・マッチング処理部１５０４がテンプレート画像とマッチングする領域を撮影画像から検出できないときには（ステップＳ２２０４のＮｏ）、ステップＳ２２０２に戻り、テンプレート画像供給部１５０３から次に供給される（傾きの異なる）テンプレート画像を用いて、カメラ部５０３から入力される撮影画像に対して繰り返しマッチング処理を行なう。

Ｃ．使用状態に応じた撮影画像の最適化処理
本実施形態に係る情報処理装置１００のように装置本体とカメラが一体となった情報端末の利用形態の１つとして、ユーザーがカメラ部５３０のレンズを自分自身に向けて被写体とする「自分撮り」が知られている（例えば、特許文献９を参照のこと）。

一般的なカメラでは、ユーザーがレンズを自分自身に向けた状態では、ファインダーが反対側を向くため、構図を確認できないため、意図した通りに撮影するのは難しい。これに対し、本実施形態に係る情報処理装置１００のように、カメラ部５０３の光軸が大画面の光軸と同じ方向を向いている場合には、ユーザーは、大画面に表示されている撮影画像を見て、構図を確認しながら自分撮りすることができる。

上述したように、情報処理装置１００本体は、回転・取り付け機構部１８０によって壁面上で回転可能且つ着脱可能な状態で取り付けられており、大画面が横置きとなる姿勢や縦置きとなる姿勢に回転位置を設定することができる。ユーザーが自分撮りの際に大画面を見て構図を確認することを考慮すると、大画面が横置き及び縦置きのいずれの回転位置においても、カメラ部５０３による撮影画像の上下方向を揃え、撮影画像内のユーザーの姿を正対して表示する必要がある。

例えば、大画面が横置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態では、図２３に示すように、カメラ部５０３による撮影画像の上下方向が正しくなるように表示する必要がある。同様に、大画面が縦置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態では、図２４に示すように、カメラ部５０３による撮影画像の上下方向が正しくなるように表示する必要がある。

しかしながら、大画面が縦置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態では、カメラ部５０３の光軸の方向は（φ_c，θ_c，ψ_c）＝（０，０，９０°）となることから、その撮影画像は図２５に示す通りとなる。また、大画面が縦置き姿勢となるように情報処理装置１００本体の回転位置を設定した状態では、大画面の光軸も（ロール軸回りに）９０度回転して、（φ_d，θ_d，ψ_d）＝（０，０，９０°）となっている。このため、図２５に示した撮影画像を、光軸（φ_d，θ_d，ψ_d）＝（０，０，９０°）を向く大画面にそのまま表示すると、撮影画像の光軸は（０，０，９０＋９０°）となり、図２６に示すように上下方向が真逆になってしまう。

そこで、本実施形態では、ユーザーを自分撮りするカメラ部５０３の光軸の方向の変位と、カメラ部５０３が自分撮りした撮影画像を表示する大画面の光軸の方向の変位に基づいて、大画面に表示する撮影画像の上下方向が正しくして、ユーザーの姿を正対表示するように、情報処理装置１００内部で撮影画像の表示を最適化するようにしている。

例えば、カメラ部５０３の光軸がψ軸回りにΔψ_cだけ変位して（φ_c，θ_c，ψ_c）＝（０，０，Δψ_c）に設定されるとともに、大画面の光軸がψ軸回りにΔψ_dだけ変位して（φ_d，θ_d，ψ_d）＝（０，０，Δψ_d）に設定される場合には、撮影画像をψ軸回りに−（Δψ_c＋Δψ_d）だけ回転させて、図２７に示すように、その光軸が（φ_p，θ_p，ψ_p）＝（０，０，０）に設定された状態で表示されるようにする。

本実施形態のように、情報処理装置１００本体とカメラ部５０３が一体である場合には、Δψ_c＝Δψ_dが成り立つ。また、図２５並びに図２６に示した例では、Δψ_c＝Δψ_d＝−９０°である。したがって、自分撮りした撮影画像に対して、ψ軸回りに−（Δψ_c＋Δψ_d）＝−１８０°だけ回転させて、大画面に表示すれば、撮影画像の上下方向が正しくなるように最適化することができる。

自分撮りなどを行なう際のカメラ部の撮影画像の最適化処理は、例えば演算部１２０内で実行される。図２８には、カメラ部５０３の撮影画像を最適化処理する機能的構成を模式的に示している。

使用状態検出部２８０１は、カメラ部５０３で自分撮りなどを行なう際の情報処理装置１００の使用状態を検出する。ここで言う使用状態は、具体的には、自分撮りするカメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）と、その撮影画像を表示する大画面の光軸の方向（φ_d，θ_d，ψ_d）である。使用状態検出部２８０１は、例えば３軸センサー５１５の出力情報や、カメラ部５０３の撮影画像の解析結果などに基づいて、使用状態を検出することができる。

最適化部２８０２は、使用状態検出部２８０１からカメラ部５０３の光軸の方向（φ_c，θ_c，ψ_c）と大画面の光軸の方向（φ_d，θ_d，ψ_d）を入力すると、カメラ部５０３の撮影画像を大画面に表示する際に上下方向が正しくなるように最適化処理する。

図２９には、カメラ部５０３の撮影画像を最適化処理するための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば演算部１２０が所定の画像処理アプリケーションを実行するという形態で実現する。

使用状態検出部２８０１は、例えば３軸センサー５１５の出力情報や、カメラ部５０３の撮影画像の解析結果などに基づいて、情報処理装置１００の実際の使用状態を検出する（ステップＳ２９０１）。使用状態として、具体的には、カメラ部５０３の光軸方向（φ_c，θ_c，ψ_c）と、情報処理装置１００の大画面の光軸方向（φ_d，θ_d，ψ_d）を検出する。

また、カメラ部５０３からは撮影画像が入力される（ステップＳ２９０２）。

最適化部２８０２は、使用状態検出部２８０１からカメラ部５０３の光軸方向（φ_c，θ_c，ψ_c）と、情報処理装置１００の大画面の光軸方向（φ_d，θ_d，ψ_d）を入力すると、撮影画像に対する補正量を算出する（ステップＳ２９０３）。

例えば、カメラ部５０３の光軸がψ軸回りにΔψ_cだけ変位して（φ_c，θ_c，ψ_c）＝（０，０，Δψ_c）に、大画面の光軸がψ軸回りにΔψ_dだけ変位して（φ_d，θ_d，ψ_d）＝（０，０，Δψ_d）になっていることが検出された場合には、撮影画像の補正量として、ψ軸回りに−（Δψ_c＋Δψ_d）を算出する。

そして、最適化部２８０２は、算出した補正量に基づいて撮影画像を補正する（ステップＳ２９０４）。補正後の撮影画像は、大画面に表示される（ステップＳ２９０５）。大画面に表示される撮影画像は、図２７に示したように、上下方向が正しくなったユーザーの姿を表示するので、ユーザーは正対して観察することができる。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）カメラ部の使用状態を判定する使用状態判定部と、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
を具備し、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
画像処理装置。
（２）前記物体検出部は、前記物体の複数のテンプレート画像を備え、前記使用状態に基づいて前記複数のテンプレート画像を優先順位付けし、優先順位に応じた頻度で各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
上記（１）に記載の画像処理装置。
（３）前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の姿勢を判定し、
前記物体検出部は、前記物体の傾きの異なる複数のテンプレート画像を前記カメラ部の前記姿勢に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
上記（２）に記載の画像処理装置。
（４）前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の光軸の方向を判定し、
前記物体検出部は、各テンプレート画像を前記判定された光軸の方向に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
上記（３）に記載の画像処理装置。
（５）前記使用状態判定部は、前記カメラ部の光軸のロール回りの回転角度を判定し、
前記物体検出部は、前記カメラ部の光軸のロール回りの回転角度に近い傾きを持つテンプレート画像により高い優先順位を付与する、
上記（４）に記載の画像処理装置。
（６）前記物体検出部は、前記撮影画像の領域毎に各テンプレート画像を優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
上記（３）に記載の画像処理装置。
（７）前記カメラ部の光軸が鉛直方向を向いているときに、
前記物体検出部は、前記撮影画像の領域毎に、前記撮像装置の光軸に対する前記領域の角度位置に応じて、各テンプレート画像を優先順位付けする、
上記（６）に記載の画像処理装置。
（８）カメラ部の使用状態を検出する使用状態検出部と、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
を具備する画像処理装置。
（９）前記撮影画像を画面に表示する表示部をさらに備え、
前記最適化部は、ユーザーを撮影した前記撮影画像を前記画面上で前記ユーザーに正対して表示するように最適化する、
上記（８）に記載の画像処理装置。
（１０）前記使用状態検出部は、前記カメラ部の光軸の方向と、前記画面の光軸の方向を検出し、
前記最適化部は、前記カメラ部の光軸の方向と前記画面の光軸の方向に基づいて、前記撮影画像を最適化する、
上記（９）に記載の画像処理装置。
（１１）前記使用状態検出部は、前記カメラ部の光軸のロール軸回りの回転Δψ_cと、前記画面の光軸のロール回りの回転Δψ_dを検出し、
前記最適化部は、前記撮影画像をψ軸回りに−（Δψ_c＋Δψ_d）だけ回転させる、
上記（９）に記載の画像処理装置。
（１２）カメラ部の使用状態を判定する使用状態判定ステップと、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出ステップと、
を有し、
前記物体検出ステップでは、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
画像処理方法。
（１３）カメラ部の使用状態を検出する使用状態検出ステップと、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化ステップと、
を有する画像処理方法。
（１４）カメラ部と、
前記カメラ部の使用状態を判定する使用状態判定部と、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
を具備し、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
撮影装置。
（１５）カメラ部と、
前記カメラ部の使用状態を検出する使用状態検出部と、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
を具備する撮影装置。
（１６）カメラ部の使用状態を判定する使用状態判定部、
前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部、
としてコンピューターを機能させるようにコンピューター可読形式で記述され、
前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
コンピューター・プログラム。
（１７）カメラ部の使用状態を検出する使用状態検出部、
前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

特開２０１０−７９３３２号公報 特開２０１０−１５５５３号公報 特許第４３８９９５６号公報 特開平１１−２４５７７号公報 特開２００３−１５７０１６号公報 特開２０１１−１７７３８号公報 特開２００８−２８７７０４号公報 特開２００９−１０５５５９号公報 特開２０１１−１９０５１号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術を適用した情報処理装置１００として、大画面を有するＴＶ受像機を想定した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。パーソナル・コンピューター、タブレットやスマートフォンなどの多機能端末を始め、ＴＶ受像機以外のさまざまなタイプの情報処理装置に対しても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１００…情報処理装置
１１０…入力インターフェース部
１２０…演算部
１３０…出力インターフェース部
１４０…記憶部
１５０…通信部
１６０…電源部
１７０…テレビ・チューナー部
１８０…回転・取り付け機構部
５０１…リモコン受信部、５０２…信号解析部
５０３…カメラ部、５０４…画像認識部
５０５…マイク部、５０６…音声認識部
５０７…距離センサー、５０８…信号解析部
５０９…タッチ検出部、５１０…信号解析部
５１１…近接センサー、５１２…信号解析部
５１３…超近距離通信部、５１４…信号解析部
５１５…３軸センサー部、５１６…ＧＰＳ受信部、５１７…信号解析部
５２０…入力インターフェース統合部
６０１…コンテンツ表示部、６０２…ＧＵＩ表示部
６０３…表示部、６０４…スピーカー部
１５００…物体検出部
１５０１…使用状態判定部、１５０２…テンプレート画像保持部
１５０３…テンプレート画像供給部、１５０４…パターン・マッチング処理部
２８０１…使用状態検出部、２８０２…最適化部

Claims (17)

1. カメラ部の使用状態を判定する使用状態判定部と、
   前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
   を具備し、
   前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
   画像処理装置。
2. 前記物体検出部は、前記物体の複数のテンプレート画像を備え、前記使用状態に基づいて前記複数のテンプレート画像を優先順位付けし、優先順位に応じた頻度で各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
   請求項１に記載の画像処理装置。
3. 前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の姿勢を判定し、
   前記物体検出部は、前記物体の傾きの異なる複数のテンプレート画像を前記カメラ部の前記姿勢に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
   請求項２に記載の画像処理装置。
4. 前記使用状態判定部は、前記カメラ部が前記物体を撮影する際の光軸の方向を判定し、
   前記物体検出部は、各テンプレート画像を前記判定された光軸の方向に基づいて優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
   請求項３に記載の画像処理装置。
5. 前記使用状態判定部は、前記カメラ部の光軸のロール回りの回転角度を判定し、
   前記物体検出部は、前記カメラ部の光軸のロール回りの回転角度に近い傾きを持つテンプレート画像により高い優先順位を付与する、
   請求項４に記載の画像処理装置。
6. 前記物体検出部は、前記撮影画像の領域毎に各テンプレート画像を優先順位付けし、優先順位に応じた頻度で傾きの異なる各テンプレート画像を前記撮影画像とパターン・マッチングして前記物体を検出する、
   請求項３に記載の画像処理装置。
7. 前記カメラ部の光軸が鉛直方向を向いているときに、
   前記物体検出部は、前記撮影画像の領域毎に、前記撮像装置の光軸に対する前記領域の角度位置に応じて、各テンプレート画像を優先順位付けする、
   請求項６に記載の画像処理装置。
8. カメラ部の使用状態を検出する使用状態検出部と、
   前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
   を具備する画像処理装置。
9. 前記撮影画像を画面に表示する表示部をさらに備え、
   前記最適化部は、ユーザーを撮影した前記撮影画像を前記画面上で前記ユーザーに正対して表示するように最適化する、
   請求項８に記載の画像処理装置。
10. 前記使用状態検出部は、前記カメラ部の光軸の方向と、前記画面の光軸の方向を検出し、
    前記最適化部は、前記カメラ部の光軸の方向と前記画面の光軸の方向に基づいて、前記撮影画像を最適化する、
    請求項９に記載の画像処理装置。
11. 前記使用状態検出部は、前記カメラ部の光軸のロール軸回りの回転Δψ_cと、前記画面の光軸のロール回りの回転Δψ_dを検出し、
    前記最適化部は、前記撮影画像をψ軸回りに−（Δψ_c＋Δψ_d）だけ回転させる、
    請求項９に記載の画像処理装置。
12. カメラ部の使用状態を判定する使用状態判定ステップと、
    前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出ステップと、
    を有し、
    前記物体検出ステップでは、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
    画像処理方法。
13. カメラ部の使用状態を検出する使用状態検出ステップと、
    前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化ステップと、
    を有する画像処理方法。
14. カメラ部と、
    前記カメラ部の使用状態を判定する使用状態判定部と、
    前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部と、
    を具備し、
    前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
    撮影装置。
15. カメラ部と、
    前記カメラ部の使用状態を検出する使用状態検出部と、
    前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部と、
    を具備する撮影装置。
16. カメラ部の使用状態を判定する使用状態判定部、
    前記カメラ部による撮影画像から複数の方法で物体を検出する物体検出部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述され、
    前記物体検出部は、前記複数の方法を前記使用状態に基づいて優先順位付けして前記撮影画像から前記物体を検出する、
    コンピューター・プログラム。
17. カメラ部の使用状態を検出する使用状態検出部、
    前記使用状態に基づいて前記カメラ部の撮影画像を最適化する最適化部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。