JP2015075877A - 撮影システム - Google Patents

Abstract

【課題】表示装置に対する撮影部の位置を正確に検出すると共に、顔認証に必要な参照画像に最適な画像を取得する事が可能な撮影システム及び撮影方法を提供する。【解決手段】画像を撮影する撮影部と、画像を表示する表示部を有する表示装置とを備え、前記撮影部の撮影方向と前記表示部の表示方向とが所定の範囲になるよう設置された撮影システムであって、前記撮影部で撮影された画像から顔を検出する顔検出部と、前記表示部に表示することで位置検出の際の指標となる指標画像を生成する指標画像生成部とを備え、前記顔検出部によって検出された顔の方向と、前記指標画像生成部によって生成された指標画像の前記表示部における表示位置とから、前記表示装置に対する前記撮影部の位置を検出する位置検出部を有することを特徴とする撮影システム。【選択図】図１

Description

本発明は、表示装置と撮影部とを備える撮影システムに関し、より詳細には、顔認識処理に好適な画像を取得することを可能とする撮影技術に関する。

従来から、撮影部により撮影した画像から顔を検出し、検出された顔情報と、予め登録された登録者の顔情報とを比較することによって人物の認証を行う顔認証システムが提供されている。

このような顔認証システムは、セキュリティー用途を始め、高齢者等の見守りサービスや、ＰＣや家電において個人に応じた設定を反映させる用途など、幅広く使用されている。認証の手順としては、顔検出を行い、検出した顔画像の特徴量（眼、鼻、口の位置や形状など）をあらかじめ登録しておいた顔画像（参照画像）の特徴量と比較し、特徴の一致度に応じてその人物が誰かを特定する。認証したい人物に対し、あらかじめ認証に適した画像を登録しておくことで高精度に人物を特定する事が可能となる。認証に適した画像とは、様々な顔角度の画像、あるいは明るい環境や低照度の暗い環境など様々な状況下における画像である。適切な参照画像を取得する際には、適切な指示を行うことが必要である他、適切な指示を行う為に撮影部の位置を正確に把握する事が必要となる場合がある。

特許文献１に記載の顔画像登録装置は、入力部に登録動作の開始の指示が入力されたときに、撮影部を制御して複数枚の顔画像を撮影させ、撮影された顔画像のうち１枚以上をそれぞれ登録画像として記憶部に格納する登録動作を開始する。制御部は、登録動作中、指示部を制御して顔の向きを変えるように登録者に対して指示することで、カメラ１台で顔の向きがそれぞれ異なる複数枚の顔画像の撮影を可能としている。

また、特許文献２に記載の位置向き推定装置は、表示装置の画面に表示された目印を撮影部により撮影し、画面に対して相対的に定められた所定の位置と所定の向きで撮影された基準画像と比較することによって、当該撮影部の位置および向きを推定することを可能としている。

特開２００９−２５８９９１号公報 特開２００６−２７９５４３号公報

上記のような撮影部を用いた顔認証によるシステムを、前述したようにテレビやディスプレイなどの表示装置において使用したいという要望がある。その際、撮影部を表示装置に内蔵、あるいはケーブル等を通じて外部接続し、周辺に配置することになるが、前述の特許文献に記載の装置では、以下のような問題がある。

特許文献１に記載の顔画像登録装置においては、スピーカーや液晶パネル、電光掲示板などによって顔方向を指示することで、様々な角度の顔画像を参照画像として取得することが出来るが、正確に取得したい角度の顔画像を指示することは困難であるほか、指示部と撮影部とがほぼ同じ位置にあることが前提であり、これらが離れている場合については考慮されていない。

また、特許文献２に記載の位置向き推定装置においては、表示装置を撮影部によって撮影することで自身の位置向き推定を行っているが、テレビやディスプレイなどの表示装置において顔認証する場合に、撮影部であるカメラがテレビの表示面が画角に入らない方向に配置されている場合が多い。このように撮影部がディスプレイの表示面側を向いていない場合には、位置の推定を行うことが出来ないという問題がある。

本発明は、以上のような問題点を解決するためになされたものであって、表示装置と撮影部とによって構成され、表示装置に対する撮影部の位置を正確に検出することを目的とする。また、顔認証に必要な参照画像に最適な画像を取得することを目的とする。

本発明の一観点によれば、画像を撮影する撮影部と画像を表示する表示部を有する表示装置とを備え、前記撮影部の撮影方向と前記表示部の表示方向とが所定の範囲になるよう前記撮影部が前記表示装置の表示面側を撮影するように設置されたている撮影システムであって、前記撮影部で撮影された画像から顔を検出する顔検出部と、前記表示部に表示することで位置検出の際の指標となる指標画像を生成する指標画像生成部とを備え、前記顔検出部によって検出された顔の方向と、前記指標画像生成部によって生成された指標画像の前記表示部における表示位置とから、前記表示装置に対する前記撮影部の位置を検出する位置検出部を有する事を特徴とする撮影システムが提供される。

本発明法によれば、表示装置に対する撮影部の位置を正確に検出することができる。また、顔認証に必要な参照画像に最適な画像を取得することができる。

本発明の第１の実施形態における撮影システムの一構成例を示す機能ブロック図である。 本発明の第１の実施形態における撮影システムの使用環境例を示す図である。 本発明の第１の実施形態における撮影部の位置検出処理の流れを示すフローチャートである。 本発明の第１の実施形態における指標画像例を示す図である。 本発明の第１の実施形態における顔検出結果例を示す図である。 本発明の第１の実施形態における表示装置、撮影部、使用者を上方から俯瞰した図と撮影部の撮像面と被写体の関係を示す図である。 本発明の第１の実施形態における参照画像取得のフローチャートである。 本発明の第１の実施形態における指標画像の表示位置に関する図である。 本発明の第１の実施形態における参照画像の検出処理のフローチャートである。 本発明の第１の実施形態における指標画像の他の例を示す図である。 本発明の第２実施形態における撮影システムの一構成例を示す機能ブロック図である。 本発明の第２の実施形態における指標画像生成部の構成例を示す図である。 本発明の第２の実施形態における指標画像例を示す図である。 本発明の第３の実施形態における撮影システムの一構成例を示す機能ブロック図である。 本発明の第３の実施形態における指標画像例を示す図である。 本発明の第３の実施形態における表示装置、撮影部、使用者を上方から俯瞰した図である。 本発明の第３の実施形態における指標画像の表示位置と使用者の注視位置に関する図である。 本発明において、参照画像を使用者が自身で決定する例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における撮影システムの一構成例を示す機能ブロック図である。

本実施形態における撮影システムは、表示装置１００と撮影部１０１によって構成される。表示装置１００は、テレビやディスプレイなどであり、撮影部１０１は撮像素子を備えるカメラなどである。表示装置１００は、撮影部１０１を制御すると共に、撮影部１０１からの画像を受け取る撮影制御部１０２と、撮影部１０１からの画像を解析し、顔の検出を行う顔検出部１０３、検出した顔の向きを検出する顔方向検出部１０４、検出した顔の認識を行う顔認識部１０５、表示装置１００に対する撮影部１０１の位置を検出する位置検出部１０６、位置検出部１０６において位置を検出する際の指標となる画像を生成する指標画像生成部１０７、画像を表示する表示部１０８、撮影部１０１からの画像をはじめ様々な情報を記憶する記憶部１０９を有している。顔検出や顔方向検出、顔認識、位置検出、指標画像生成処理は、表示装置１００内に備える中央処理装置や専用ＩＣ（Integrated Circuit）などの半導体部品によって処理され、表示部１０８は液晶やプラズマ、有機ＥＬ（electro-luminescence）などによって構成される。記憶部１０９は、ハードディスクやフラッシュメモリ、あるいはＤＲＡＭ（Dynamic Random Access Memory）といった記憶媒体によって構成される。

本実施形態における撮影システムの概略を記載する。表示装置１００に撮影部１０１が接続された際、指標画像生成部１０７は撮影制御部１０２からの情報に従い、後述の指標画像を表示部１０８に表示し、本撮影システムの使用者に対し表示した指標画像を注視するよう促す。顔検出部１０２は、そのときの使用者の顔を検出し、顔方向検出部１０４は、検出した顔の方向を検出する。位置検出部１０６は、検出した顔の方向と指標画像の表示位置に基づいて、表示装置１００に対する撮影部１０１の相対的な位置を検出する。位置検出後に、指標画像生成部１０７は撮影部１０１の位置を考慮して、新たな指標画像を表示部１０８に表示する。そして、使用者に指標画像を注視するよう促し、そのとき顔検出部１０３によって検出された顔画像を、顔認識を行う際の参照画像として記憶部１０９に登録する。撮影部１０１により取得された画像を解析し、顔検出、顔方向検出を行い、登録された参照画像と現在の撮影画像内の顔画像とを、顔認識部１０５によって比較することにより、顔の認証が可能となる。以下、詳細な動作について説明を行う。

図２は本撮影システムの使用環境例を示す図である。表示装置１００と撮影部１０１とは、例えばＵＳＢ（Universal Serial Bus）等の画像の伝送を可能とする規格に従うケーブルによって接続され、表示装置１００の前方に使用者１１０が存在するものとする。図２に示すように、撮影部１０１の撮影方向（光軸方向）と表示装置１００における表示部１０８の表示方向は、どちらも使用者１１０の方向である。表示方向とは、表示部１０８の表示面に垂直で、表示部１０８から光を発する方向を示す。なお、撮影部１０１と表示装置１００とは、撮影方向と表示方向が所定の範囲内になるように配置されるものとする。ここで所定の範囲とは、例えば、各方向のベクトルの成す角が±９０度以内である範囲とする。顔検出精度を考慮すると、±４５度以上である事が望ましい。顔検出、顔方向検出精度は撮影した顔画像が正面顔に近づくほど向上する。特に、撮影される顔の角度が正面に対し４５度以内であると、顔の各器官（目、鼻、口等）が画像内に映る為、検出精度は高い。そのため、使用環境を考慮すると撮影方向と表示方向の成す角がこの角度内であるほうが、使用者の視聴位置と想定される範囲において顔を４５度以内で撮影できる可能性が高く、撮影部の位置検出精度や参照画像取得時の精度も上がる。

以下、図３に示すフローチャートに従い、表示装置１００に対する撮影部１０１の位置検出方法について説明を行う。

指標画像生成部１０７は、指標画像の位置を決定し（ステップＳ１０）、表示部１０８へ表示する指標画像の情報を送る。表示部１０８は指標画像生成部１０７によって送られてくる画像と、その指標画像を注視するよう促すメッセージを表示する（ステップＳ１１）。ここで、指標画像の例を図４に示す。図４で例示する黒丸が指標画像１１１であり、点線で示す領域１１２にはメッセージが表示される。ここでは、指標画像１１１は画面中央に表示されており、破線の領域には「上に表示する点を注視してください」などの指標画像を注視することを促すメッセージ１１２が表示される。

指標画像１１１を表示部１０８に表示した後、撮影制御部１０２を通じて撮影部１０１に、表示装置１００の前に居る使用者を撮影させる（ステップＳ１２）。顔検出部１０３は撮影された画像から指標画像１１１を注視する使用者の顔を検出する（ステップＳ１３）。使用者の顔が検出できなかった場合は、再度、撮影部１０１による画像の取得を行う。

図５は、撮影画像において検出した顔について説明する図である。撮影画像１１３において、図２における使用者１１０が映っている。点線で示す検出領域１１５は、顔検出部１０３によって検出された顔を含む領域を示している。顔検出の方法としては、Ｖｉｏｌａ−Ｊｏｎｅｓ法など、様々なアルゴリズムが提案されているが、本発明の本質とは異なることから詳細な説明は割愛する。

検出した顔画像から、顔方向検出部１０４は顔の方向を検出する（ステップＳ１４）。検出が出来なかった場合には、再度、撮影部１０１による画像の取得を行う。顔方向の検出方法としては、眼や鼻、口といった特徴器官の相対的な位置関係の変化などから判断できる。この時に検出される顔角度は、正面顔に対する左右上下方向の角度とする。

位置検出部１０６は、顔方向検出部１０４において検出される顔方向と、画像上の位置から表示装置１００に対する撮影部１０１の位置を検出する（ステップＳ１５）。位置の検出方法について、図面を参照しながら説明する。

図６（ａ）は、図２に示した表示装置１００と撮影部１０１、使用者１１０を上方から俯瞰した図である。表示装置１００上に指標画像１１１が表示されており、使用者１１０は表示装置１００の中央に表示されている指標画像１１１を注視している。この時、ステップＳ１４で検出した顔方向から、図６（ａ）のαで示す角度がわかる。

また、撮影部１０１から使用者１１０までの距離Ｚは、図６（ｂ）に示すように撮影部１０１のレンズ焦点距離をｆとし、使用者の顔における横方向の大きさをＷ、撮像した画像上の使用者の顔方向の距離をｄ１とすると、以下の式（１）で表す事が可能となる。

Ｚ ＝ ｆ（Ｗ−ｄ１）/ｄ１ 式（１）

なお、ｄ１は「画像上におけるピクセル数」×「撮影部１０１における撮像素子の画素ピッチ」により算出される。また、顔の大きさＷについては、日本人における顔の幅の平均値は１５ｃｍ〜１６ｃｍ程度で、男女差や身長等によってあまり変化が無いことがわかっている。そのため、例えばＷをこの平均である１６ｃｍ等に設定すればよい。検出した顔の特徴から、性別・年齢等を推定し、その条件に応じた顔の大きさにおける平均値を用いるようにしても良い。これは、ルックアップテーブル等を用いて管理する事で実現可能である。

また、図６（ａ）、図６（ｂ）に示すように、撮影部１０１の光軸中心から使用者１１０までの距離をＬとすると、距離Ｌは画像上の光軸中心から使用者の顔の中心までの距離ｄ２を用いて、以下のように表すことが可能となる。

Ｌ ＝ ｄ２（Ｚ＋ｆ）/ｆ 式（２）

以上により、撮影部１０１から使用者までの距離Ｚと、撮影部１０１の光軸中心からの使用者１１０までの距離Ｌが算出できる。これらの数値を元に、以下の式（３）により表示装置１００の中心である指標画像１１１から撮影部１０１までの距離ｘが算出できる。

ｘ ＝ Ｌ−Ｚ×ｔａｎ（α） 式（３）

上下方向の位置については詳細を記載しないが、左右方向と同様の考え方により算出することが可能である。このようにして、撮影部１０１が表示装置１００の表示面側を撮影するように設置されている場合に、表示装置１００に対する撮影部１０１の位置を正確に特定することが可能となる。このように、位置が正確に検出できることで、使用者の顔を検知し、顔方向を検出することと合わせて、使用者が表示装置１００のどこを見ているかといった情報を正確に把握することが可能となる。また、この後に記載する顔認識処理を行う際には、顔認識に好適な参照画像を得るための動作を行うことが可能となる。

ここまでは、撮影部１０１の表示装置１００に対する位置検出方法について説明したが、以下はこの検出した位置を利用した顔認証における参照画像の取得処理と、顔認識処理について記載する。参照画像は、顔認証実行時に撮影された人物が誰かを特定するために使用される画像である。

図７は、参照画像を取得する際の処理をフローチャートで示しており、以下、フローチャートに従って説明を行う。

参照画像の取得、登録処理は、撮影部１０１が表示装置１００に接続され、位置検出が終わった直後、あるいは顔認証時に登録されていない顔を検出した場合などに行われる。まず、撮影部１０１は撮影制御部１０２の指示に従い、画像の撮影を行う（ステップＳ２０）。次に、顔検出部１０３は取得された画像から顔検出処理を行い、顔が検出されたかどうかを判定する（ステップＳ２１）。次に指標画像生成部１０７は、検出された顔の位置と、先ほど位置検出部１０６によって検出した撮影部１０１の位置に基づいて、指標画像の表示位置を決定する（ステップＳ２２）。図８において、表示位置の一例について説明する。

ステップＳ２１で検出した顔位置に応じて、左右方向における指標画像の表示開始位置を決定する。ここでは、使用者１１０の正面となる位置を表示開始位置とし、図８における指標画像１１６、１１７の位置が該当する。位置検出部１０６によって検出した撮影部１０１の位置は、表示部１０８に対して左上の図示する位置にあることが表示装置１００で既にわかっている。そのため、上下方向の顔傾きの無い画像を参照画像として登録したい場合、指標画像１１６に示すように、撮影部１０１に近い表示部１０８の上部に指標画像を表示する（ステップＳ２３）。そして、この指標画像を使用者に注視させることにより、参照画像として必要とする顔角度に向けて使用者の顔角度を誘導することが可能となる。

指標画像を表示させた後に、使用者１１０に指標画像を注視させ、撮影部１０１によって画像を再度撮影する（ステップＳ２４）。撮影した画像から使用者の顔を検出し（ステップＳ２５）、顔が検出された場合は検出された顔画像を参照画像の１つとして記憶部１０９に登録する（ステップＳ２６）。認証に使用する参照画像は、様々な顔角度で画像を登録することで認証精度が向上する。そのため、参照画像の登録をそこで終わるか、更に別の角度の顔画像を取得するかどうかを判定する（ステップＳ２７）。別の角度における顔画像を取得する場合は、ステップＳ２２に戻って、再度指標画像の位置を決定する。

例えば、図８に黒丸で示す指標画像１１６の位置に指標画像を表示した後であれば、左右方向に顔角度を振った参照画像を取得したい場合、指標画像１１６から矢印によって示した白抜き点の位置に、順次指標画像の位置を変更することによって、所望の参照画像を取得できる。また、同様に顔向きが下向きで左右方向に振った参照画像を取得したい場合には、図８の１１７に示す位置から、同様に矢印の方向に順次指標画像位置を変更し、使用者に都度注視させて顔画像を得ることで対応が可能となる。

このようにして取得した参照画像を用いることで、本実施形態の撮影システムにおいて顔認証処理を行う事が可能となる。

以下に、顔認証のフローを簡略に記載する。図９に示すように、表示装置１００は撮影部１０２によって撮影した画像を、撮影制御部１０２を通して取得し（ステップＳ３１）、顔検出部１０３で顔検出処理を行う（ステップＳ３２）。そして、顔方向検出部１０４によって検出した顔の角度を検出する（ステップＳ３３）。そして顔認識部１０５は、記憶部１０９に登録された参照画像の中から、顔方向が近い多数の人物の参照画像を読み出し（ステップＳ３４）、検出した顔画像の特徴量（眼や口などの器官検出結果に基づく情報や、その他顔の特徴を示す情報）が、どの参照画像の特徴量と最も近いかを判定することで、対応する参照画像を検出し（ステップＳ３５）、人物の特定を行う（ステップＳ３６）。そして必要に応じて、表示部１０８に認識結果を示す表示を行うようにすると良い。

なお、顔方向の検出は必ずしも必要ではないが、全ての参照画像を総当りするより処理量を低減することが出来るため、本実施の形態に示すように正確な顔角度で参照画像を保持している場合には、認証の精度を含め特に高い効果が得られる。

このように、検出した撮影部１０１の位置情報と、撮影システムの使用者１１０の位置関係を利用して、適切な位置に指標画像を表示することで、顔認証に必要な参照画像を精度良く取得することが可能となる。これによって顔認証の精度を向上させることが可能となる。

尚、本実施の形態では、図４に示すように指標画像１１１の表示と同時に、指標画像を注視することを促すメッセージ１１２が表示されるものとしたが、メッセージでなく音声で指示しても良い。

また、図６（ｂ）に示すように、計算により角度や距離等算出しているが、撮像面の位置と角度、顔の大きさと距離の関係などは撮影部で使用する撮像素子に応じてルックアップテーブルを備えるようにし、テーブルを参照して特定するようにしてもよい。

また、参照画像取得時に必要な画像の枚数は、あらかじめ必要な精度に応じて枚数を決めておいても良いし、使用者自身が終了するかどうかを判定しても良い。

また、ここでは、指標画像を図８に示すように黒丸で表しているが、この例に限らずどのような画像であっても良い。図１０に示すように、指標画像生成部１０７で指定した位置に応じて、顔の角度がわかりやすいような複数のモデルを表示部１０８に表示させるようにしても良い。このような、モデル画像を使用し、使用者がこれにあわせて角度を提示することで、より直感的に精度よく参照画像の取得が可能となる。

これ以外にも、撮影部のプレビュー映像の表示サイズと表示位置を制御して、プレビューを注視させるようにしても良い。

また、ここでは、撮影部１０１の位置を、表示装置１００を正面から見て左上としたが、この位置に限定するものではない。また、位置検出部１０６は、撮影部１０１の位置と指標画像の表示位置、使用者の顔角度により自動で検出するものとしたが、ユーザーが表示画面上で直接指定するようにしても良い。例えば、表示装置１００を示す画像を表示部１０８に表示させ、そこに対してどの位置に撮影部１０１があるかを、リモコン等を使用して特定する方法である。

また、ここでは顔方向を使って位置検出等を行っているが、視線の検出を行い、視線に応じて位置検出を行っても良い。

（第２の実施形態）
本発明の第２の実施形態における撮影装置の構成を示すブロック図を図１１に示す。なお、第１の実施形態と同様の動作をするものに関しては同一の符号を付してある。第１の実施形態との差分を中心に記載する。

本実施形態における撮影システムは、表示装置２００と撮影部１０１によって構成される。表示装置２００は、例えばテレビであり、撮影部１０１は撮像素子を備えるカメラである。表示装置２００は、撮影部１０１を制御すると共に、撮影部１０１からの画像を受け取る撮影制御部１０２と、撮影部１０１からの画像を解析し、顔の検出を行う顔検出部１０３、検出した顔の向きを検出する顔方向検出部１０４、検出した顔の認識を行う顔認識部１０５、表示装置１００に対する撮影部１０１の位置を検出する位置検出部１０６、位置検出部１０６において位置を検出する際の指標となる画像を生成する指標画像生成部２０１、赤外線等によって表示装置２００と通信して操作信号を送るリモコン装置からの信号を受信するリモコン受光部２０２、画像を表示する表示部１０８、撮影部１０１からの画像をはじめ様々な情報を記憶する記憶部１０９を有している。

本実施形態における指標画像生成部２０１の詳細な構成例について、図１２を参照して説明する。指標画像生成部２０１は、番組表制御部２０３、設定画面制御部２０４、カーソル制御部２０５によって構成される。第１の実施形態との差分は、指標画像生成部２０１によって生成される指標画像とその表示タイミングである。以下に指標画像について記載する（第１の実施形態の図３におけるステップＳ１０、ステップＳ１１に対応する）。

本実施形態における指標画像例を図１３に記載する。図１３は、指標画像生成部２０１における番組表制御部２０３によって生成された番組表２０６と、カーソル制御部２０５によって生成されたカーソル２０７が表示部１０８に表示されている様子を示している。本実施形態における指標画像はカーソル２０７である。カーソル２０７は、番組表２０６上で使用者が位置を操作するものであり、この時、使用者は表示画面上でカーソル部分を注視している。よって、このときの使用者の顔方向と、指標画像（カーソル）位置によって、位置検出部１０６は、撮影部１０１の表示装置１００に対する位置を検出することが可能となる。

ここでは、番組表とカーソルとを例として示したが、表示装置１００の各種設定（画質調整、入力切替、省エネ設定等）を行う際も、同様に設定項目をカーソルによって制御するため、同様に位置検出を行うことが可能となる。図１２で示した設定画面制御部２０４によって、設定画面を表示し、カーソル制御部２０５によって制御するカーソルの位置情報を使用することで実現する。

このように、番組表や設定画面表示時のカーソルを指標画像として使用することで、テレビの通常使用下において、使用者に意識させることなく、自動で撮影部１０１の位置検出を行うことが可能となる。

また、参照画像取得時も、同様に自動で取得することが可能である。第１の実施形態の図７におけるフローチャートにおいて、ステップＳ２２からステップＳ２６までを、カーソル操作に応じて自動的に行うものである。あらかじめ取得したい参照画像の角度を記憶部１０９に記憶しておくか、あるいは、参照画像として保持している顔角度に関する情報を記憶部１０９に記憶しておくものとする。撮影部１０１の表示装置１００に対する位置と、指標画像生成部２０１によって生成される指標画像であるカーソル位置と使用者の位置とに応じて、そのとき撮影される使用者の顔画像が、取得したい角度の顔画像かどうかを判別する。取得したい角度の顔画像であった場合には、参照画像として記憶部１０９に登録する。

このように、番組表や設定画面表示時のカーソルを指標画像として使用することで、使用者に参照画像登録操作をさせることなく、自動的に参照画像の取得とその後の顔認識処理が可能となる。

なお、このように番組表など表示装置の機能と連動して撮影部１０１の位置検出や参照画像の取得を行う場合、そのときの使用者の表示装置からの距離が重要となる。距離が近いほど、位置が正確に検出できるほか、参照画像も鮮明に取得することができるためである。そのため、記憶部１０９に位置検出や参照画像を取得した際の使用者の位置、距離に関する情報を記憶しておき、使用者がより表示装置に近い位置で表示装置の機能を使用した場合、位置検出や参照画像取得処理を再度行うようにすることにより、認識精度の向上を図ることが可能となる。

なお、ここでは指標画像であるカーソルは、枠形状のものとしたが、矢印など別の形状であっても良い。また、カーソルに限らず例えば、番組視聴中や撮影部を表示装置と接続した際に、表示画面上に指標画像としてメッセージ画像を表示し、そのメッセージ表示時に、本実施形態と同様に、撮影部の位置検出を行っても同様の効果が期待できる。

（第３の実施形態）
本発明の実施形態について、図面を参照しながら説明する。図１４は、本発明の第３の実施形態における撮影システムの構成を示すブロック図である。なお、第１の実施形態と同様の動作をするものに関しては同一の符号を付してある。

本発明の実施形態における撮影システムは、撮影装置３００と表示装置３０１によって構成される。撮影装置３００は、撮像素子を備える撮影部１０１、撮影部１０１を制御すると共に、撮影部１０１からの画像を受け取る撮影制御部１０２と、撮影部１０１からの画像を解析し、顔の検出を行う顔検出部１０３、検出した顔の向きを検出する顔方向検出部１０４、検出した顔の認識を行う顔認識部１０５、表示装置３０１に対する撮影部１０１の位置を検出する位置検出部３０２、位置検出部３０２において位置を検出する際の指標となる画像を生成する指標画像生成部１０７、撮影システムの使用者に注視位置を指示する注視位置指示部３０３、撮影部１０１からの画像をはじめ様々な情報を記憶する記憶部１０９によって構成される。表示装置３０１は、撮影装置３００からの画像を受け取り、画像を表示する表示部１０８を備える。

第１の実施形態との構成における相違点は、顔検出や顔認識の処理部が撮影装置側にある点である。外付けの撮影装置側にＣＰＵ等を備えて顔検出や顔認識の機能を備える構成にすることにより、表示装置側に顔認識等の機能を備えることなく、第１の実施形態と同様のシステムを実現することが可能である。

第１の実施形態との動作の差分として、位置検出時の動作と参照画像取得時の動作について説明する。処理の基本的な流れは第１の実施形態のフローチャートと同様であるため、割愛する。

図１５は、本実施形態における使用環境例を示す図である。撮影装置３００、表示装置３０１、使用者１１０が存在し、表示装置３０１に向かって右下の位置に撮影装置３００が設置されている。図１６（ａ）は、図１５に示す使用環境において、上方から俯瞰した図であり。撮影装置３００、表示装置３０１、使用者１１０の位置関係を示している。撮像装置３００は表示装置３０１の表示面よりも後方に配置されているため、撮影装置３００における撮影部１０１も図に示すように後方に位置する。このように、表示面と撮像面の位置が異なる場合、奥行方向の位置についても検出する必要がある。この環境下における奥行方向の位置検出処理について説明する（第１の実施形態におけるステップＳ１５）。

位置検出部３０２は、顔方向推定部１０４において検出される顔方向と、撮影した画像上の使用者の位置、指標画像の表示位置から表示装置３０１に対する撮影部１０１の位置を検出する。

図１６（ａ）に示すように、表示装置３０１上に、指標画像３０４が記号Ａで表す位置に表示されており、使用者１１０は表示装置３０１に表示されている指標画像３０４を注視している。撮影装置３００から使用者１１０までの距離Ｚ、撮影装置３００の光軸中心から使用者１１０の中心までの距離Ｌは実施形態１と同様の処理によって算出が可能である。

ここで、指標画像３０４の表示位置を図１６（ａ）のＡからＢに向けて距離ｘだけ移動したとする。このときの使用者１１０の顔角度の変化は図の角度αによって表され、この角度は顔方向検出部１０４によって算出される角度からわかる。この角度は、使用者１１０と表示装置３０１の奥行方向の位置に応じて変化する。

例えば、図１６（ｂ）に示すように、撮影部１０１と表示装置３０１が奥行方向に同一の位置に置かれていたとすると、指標画像３０４を表示装置３０１上でＡからＢの位置に距離ｘ移動したときの顔角度の変化量はβであり、α＞βとなる。このように、表示装置３０１と使用者の距離に応じて角度は変化し、距離が離れているほど指標画像がＡからＢまで動いた際の角度変化は小さくなる。よって、あらかじめ表示装置３０１の画面上での移動距離に対する角度変化を、奥行の違い毎にルックアップテーブルとして記憶部１０９に保持しておくことで、表示装置３０１と使用者１１０との距離Ｚ’を算出することが出来る。この距離Ｚ’と、撮影部１０１と使用者１１０との距離Ｚを比較することにより、表示装置３０１に対する撮影部１０１の奥行方向の位置を検出することが可能となる。これにより、撮影部１０１と表示装置３０１との位置が奥行方向に異なる場合であっても、撮影部１０１の位置を検出する事が可能となる。

次に、参照画像の取得方法について記載する。（第１の実施形態における図６のフローチャートに対応する）。

撮影部１０１や使用者１１０の位置によっては、表示装置３０１における表示部１０８の表示領域を利用しただけでは、必要な顔角度の参照画像を全て取得することが出来ない可能性がある。図１６（ａ）に示すような位置関係の場合、表示部１０８の領域だけでは、使用者１１０が表示装置３０１の表示面に向かって右方向（撮影部１０１のある方向）の顔角度に対応する参照画像を取得することが困難である。

そのため、図１７に示すように、表示部１０８上において、指標画像３０４が順次表示される位置間隔とタイミングで画面外まで注視位置を誘導するよう、注視位置指示部３０３によって使用者１１０に促す。

図１７における黒丸３０４は指標画像３０４であり、指標画像３０４の表示開始位置を示している。白抜き丸で表される領域は指標画像３０４の表示予定位置であり、矢印に従い一定の時間間隔で移動して表示される。画面外にある点線で示す白抜き丸は画面外で使用者１１０に注視させたい位置を示している。例えば、図１７のメッセージ領域３０５に「指標画像の移動する方向、間隔で注視位置指示部による音声が鳴るまで順次顔を動かしてください」といったメッセージを表示し、画面外まで使用者１１０の顔を誘導することで、多くの顔角度の参照画像を取得することができる。

このように、注視位置指示部３０８による注視位置の指示と、表示部１０８によって表示される指標画像３０４の表示位置との変位によって、顔を移動する間隔の指標を使用者１１０に与えることが出来るため、表示画面外を使用者が注視する場合の顔角度においても精度良く所望の顔方向の参照画像を取得することが出来る。

なお、第１の実施形態のフローチャートにおいて、図１７の指標画像３０４を白抜き丸の位置まで表示する部分までは同じ処理であり、それ以降はステップＳ２２とステップＳ２３の処理が無くなる点がフローとして異なる。ステップＳ２２とステップＳ２３がなくなる際、代わりに注視位置指示部３０３によって指標画像３０４の表示間隔に基づいてビープ音などを鳴らして使用者１１０への指標としても良い。表示間隔に基づいて音声を鳴らす事で、指標画像３０４の表示位置の変化に合わせて顔を移動していた使用者１１０が、より正確に点線白抜き丸で示した位置で顔を止めることが可能となる。

なお、本実施形態において、参照画像の取得時に画面外の領域に顔方向を誘導する際、左右方向の例を示しているが、上下方向など別の方向に誘導する場合にも対応できる。また、ここでは表示したメッセージと指標画像によって画面外への誘導を行った例を示したが、指標画像の表示位置と速度によって指示するのではなく、例えば表示装置上に２本の直線や矢印を表示し、その延長線上の交点を注視するよう誘導する誘導方法など、方向で示すような別の表示方法を利用したものであっても良い。

また、各実施形態において、撮影部は表示装置に対して外付けされる例を示しているが、表示装置内部に内蔵する形であっても良い。この時は、撮影部の位置が固定されるため、撮影部の位置検出は出荷時などにあらかじめ内部に設定して保持しておくようにしても良い。

（第４の実施形態）
上記の各実施の形態では、参照画像を記憶する例を示したが、本実施の形態では、記憶対象を以下のようにする。

すなわち、記憶対象は画像だけではなく、参照画像から検出した顔の特徴量も記憶する。顔の特徴量は、参照画像から抽出することができる。この顔の特徴量を利用することで、参照画像を用いる場合よりも少ないデータ量で顔認証を行うことができる。

或いは、画像ではなく参照画像から検出した顔の特徴量のみを記憶するようにしても良く、検出した顔画像から特徴量を算出し、顔認識部で特徴量同士を比較し、一致度を見ることで認証が可能である。要するに、認証の精度とメモリ容量や処理負担を考慮して、適宜、変更することができる。

また、記憶部に保持するデータとしては、画像、画像＋特徴量、特徴量のみなど、様々な形式が可能である。

また、上記の各実施の形態では、表示装置に対する撮影部の相対的な位置を検出する位置検出において、検出した顔の方向と指標画像の表示位置に基づいて行うこととしたが、これ以外の方法であってもよい。顔の方向と指標画像の表示位置に基づいて行う場合、自動で相対位置を検出できるため最も効果が高いが、他の方法により位置を検出した場合でも、顔認証時に必要となる参照画像の取得については、上記の実施の形態に記載した手法により適切な参照画像の取得が可能となる為である。ここで、顔の方向と指標画像の表示位置に基づいて行う方法以外の方法の例としては、使用者が自身で決定すると言う方法がある。第１の実施の形態の構成を例にとると、図１８に示すように、表示装置１００における表示部１０８上に、表示装置自身を示す画像４０１を表示し、その周囲に撮影部１０１の配置位置を選択するための選択画像４０２を表示し、使用者がＡ〜Ｆで示す位置から、撮影部１０１の位置を指定するような方法がある。ここでは、Ａ〜Ｆで選択としたが、カーソル等でより正確な位置を選択しても良い。また、撮影部１０１の角度なども数値で入力できるようにしても良い、表示装置１００に対する撮影部１０１の角度情報を入力可能にする事で、撮影部１０１の角度が表示装置１００の表示面に垂直な方向からずれていても、それを考慮した指標画像の表示等が可能になる。 本発明の各実施の形態による撮影システムは、スマートフォンなどの端末装置やデジタルテレビジョン受信装置などに利用可能である。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。

（付記）
本発明は以下の開示を含む。

（１）
画像を撮影する撮影部と、画像を表示する表示部を有する表示装置とを備え前記撮影部の撮影方向と前記表示部の表示方向とが所定の範囲になるよう設置された撮影システムであって、
前記撮影部で撮影された画像から顔を検出する顔検出部と、
前記表示部に表示することで位置検出の際の指標となる指標画像を生成する指標画像生成部とを備え、
前記顔検出部によって検出された顔の方向と、前記指標画像生成部によって生成された指標画像の前記表示部における表示位置とから、前記表示装置に対する前記撮影部の位置を検出する位置検出部を有することを特徴とする撮影システム。
本発明によれば、表示装置に対する撮影部の位置を正確に検出することができる。

（２）
前記位置検出部は、
前記指標画像から前記撮影部までの距離を、前記撮影部の光軸中心から使用者までの距離から前記撮影部から使用者までの距離と前記顔の方向とに基づいて求めた値を減算することにより求めることを特徴とする（１）に記載の撮影システム。

撮影部から使用者までの距離Ｚと、撮影部の光軸中心からの使用者までの距離Ｌが算出し、これらの数値を元に、以下の式により表示装置の中心である指標画像から撮影部までの距離ｘが算出できる。

ｘ ＝ Ｌ−Ｚ×ｔａｎ（α）

前記指標画像から前記撮影部までの距離を精度良く求めることができる。

（３）
さらに、前記顔検出部で検出された顔に対して、顔認証を行う顔認証部を備え、
前記顔検出部によって検出された顔位置から算出される撮影システムの使用者の位置と、前記位置検出部によって検出した撮影部の位置とに基づき、前記指標画像生成部によって生成された指標画像の表示位置を制御することを特徴とする（１）又は（２）に記載の撮影システム。

（４）
さらに、撮影システムの使用者に注視位置を指示する注視位置指示部を備え、
前記指標画像の表示とともに、前記指標画像を注視するよう指示することを特徴とする（１）から（３）までのいずれか１に記載の撮影システム。
撮影部の位置を動きにあわせて精度良く求めることができる。

（５）
前記指標画像生成部よって生成された指標画像の前記表示部における表示位置の変位と、前記注視位置指示部による注視位置の指示によって、前記表示部の表示画面外を前記使用者が注視している際の顔角度に応じた参照画像を取得可能とすることを特徴とする（１）から（４）までのいずれか１に記載の撮影システム。

顔認証に必要な参照画像に最適な画像を取得することが容易である。

（６）
前記指標画像は、前記表示部上で前記使用者が位置を操作するカーソルであることを特徴とする、（１）から（５）までのいずれか１に記載の撮影システム。

（７）
画像を撮影する撮影部と、画像を表示する表示部を有する表示装置とを備え、
前記撮影部の撮影方向と前記表示部の表示方向とが所定の範囲になるよう設置された前撮影システムにおける制御方法であって、
前記撮影部によって画像を撮影する撮影ステップと、
前記撮影部で撮影された画像から顔を検出する顔検出ステップと、
前記撮影部の表示装置に対する位置を検出する位置検出ステップと、
前記表示装置の表示部に指標画像を表示する指標画像生成ステップを含み、
前記位置検出ステップは、前記顔検出ステップによって検出された顔の方向と、前記指標画像生成ステップによって生成された指標画像の表示部における表示位置から、前記撮影部の位置を検出することを特徴とする制御方法。

（８）
コンピュータに（７）に記載の制御方法を実行させるためのプログラム。

（９）
（８）に記載のプログラムを記録するコンピュータ読み取り可能な記録媒体。

本発明は、撮像装置に利用可能である。

１００…表示装置、１０１…撮影部、１０２…撮影制御部、１０３…顔検出部、１０４…顔方向検出部、１０５…顔認識部、１０６…位置検出部、１０７…指標画像生成部、１０８…表示部、１０９…記憶部、１１０…使用者、２００…表示装置、２０１…指標画像生成部、２０２…リモコン受光部、２０３…番組表制御部、２０４…設定画面制御部、２０５…カーソル制御部、３００…撮影装置、３０１…表示装置、３０２…位置検出部、３０３…注視位置指示部。

Claims (5)

1. 画像を撮影する撮影部と画像を表示する表示部を有する表示装置とを備え、前記撮影部の撮影方向と前記表示部の表示方向とが所定の範囲になるよう設置された撮影システムであって、
   前記撮影部で撮影された画像から顔を検出する顔検出部と、
   前記表示部に表示することで位置検出の際の指標となる指標画像を生成する指標画像生成部とを備え、
   前記顔検出部によって検出された顔の方向と、前記指標画像生成部によって生成された指標画像の前記表示部における表示位置とから、前記表示装置に対する前記撮影部の位置を検出する位置検出部を有することを特徴とする撮影システム。
2. さらに、前記顔検出部で検出された顔に対して、顔認証を行う顔認証部を備え、
   前記顔検出部によって検出された顔位置から算出される撮影システムの使用者の位置と、前記位置検出部によって検出した撮影部の位置とに基づき、前記指標画像生成部によって生成された指標画像の表示位置を制御することを特徴とする請求項１に記載の撮影システム。
3. さらに、撮影システムの使用者に注視位置を指示する注視位置指示部を備え、
   前記指標画像の表示とともに、前記指標画像を注視するよう指示することを特徴とする請求項１又は２に記載の撮影システム。
4. 前記指標画像生成部よって生成された指標画像の前記表示部における表示位置の変位と、前記注視位置指示部による注視位置の指示によって、前記表示部の表示画面外を前記使用者が注視している際の顔角度に応じた参照画像を取得可能とすることを特徴とする請求項１から３までのいずれか１項に記載の撮影システム。
5. 前記指標画像は、前記表示部上で前記使用者が位置を操作する為のカーソルであることを特徴とする請求項１から４までのいずれか１項に記載の撮影システム。

Images