JP2016177393A - 情報処理装置、顔認識方法、及びプログラム - Google Patents

Abstract

【課題】必要に応じた画質で顔認識を行うことを可能とする。【解決手段】デジタルサイネージ装置１は、制御部２３は、撮像部３５により第一画質モードで撮影を行わせるとともに、撮像部３５により得られた撮像画像に顔認識を行う。ユーザ操作が検出され、撮像画像から認識された顔のサイズが所定以上であり、撮像画像から認識された顔の移動量が所定量以下となり、デジタルサイネージ装置１の前にいる人物の動作がデジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした場合、制御部２３は、撮像部３５により第一画質よりも高画質な第二画質モードで撮影を行わせ、撮像部３５により得られた撮像画像に顔認識を行う。【選択図】図１

Description

本発明は、情報処理装置、顔認識方法、及びプログラムに関する。

従来、人物の撮像画像から顔認識を行う技術が知られている。
例えば、特許文献１には、撮像された場所や時間に関わらず顔認識を高速に実現するために、撮像された人の属性を推定し、その測定結果に対応付けて記憶されている個人識別特徴量のみを用いて、認識手段がその人が誰であるかを認識することが記載されている。

また、一般的に、顔認識は、処理を高速に行うために、必要最低限の画像サイズで行われている。

特開２００６−２０２０４９号公報

しかしながら、画像サイズが小さいと画質が十分でないため、撮像画像から人物の属性を認識するような場合には、精度よく認識できない場合があった。

本発明の課題は、必要に応じた画質で顔認識を行えるようにすることである。

上記課題を解決するため、請求項１に記載の発明の情報処理装置は、
人物を撮像する撮像手段と、
前記撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認識を行う第一顔認識手段と、
前記人物の動作が所定の条件を満たしたか否かを判定する判定手段と、
前記判定手段により前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識手段と、
を備える。

本発明によれば、必要に応じた画質で顔認識を行うことが可能となる。

本実施形態におけるデジタルサイネージ装置の機能的構成を示すブロック図である。 図１のスクリーン部の概略構成を示す図である。 第一コンテンツ切り替えテーブル記憶部のデータ格納例を示す図である。 第二コンテンツ切り替えテーブル記憶部のデータ格納例を示す図である。 図１の制御部により実行されるコンテンツ出力処理を示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。以下の実施形態では、本発明に係る情報処理装置をデジタルサイネージ装置１に適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。

［デジタルサイネージ装置１の構成］
図１は、デジタルサイネージ装置１の主制御構成を示すブロック図である。図２は、図１のスクリーン部２２の概略構成を示す正面図である。デジタルサイネージ装置１は、例えば、店舗等に設置され、顧客に対して商品説明等の広告コンテンツを出力する装置である。

図１に示すように、デジタルサイネージ装置１は、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、計時部３０と、を備えている。プロジェクタ２４、記憶部２５、通信部２６、計時部３０は、図１に示すように制御部２３に接続されている。

制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、プログラムとの協働により、後述するコンテンツ出力処理を始めとする各種処理を実行することにより、第一顔認識手段、判定手段、第二顔認識手段、制御手段、推定手段として機能する。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図１に示すように、プログラム記憶部２５１が設けられている。プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや、後述するコンテンツ出力処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部２５には、コンテンツ記憶部２５２が設けられている。コンテンツ記憶部２５２には、コンテンツの識別情報に対応付けて、デジタルサイネージ装置１で出力するコンテンツのデータが記憶されている。コンテンツデータは、例えば、複数のフレーム画像により構成される動画データ及び各フレーム画像に対応する音声データにより構成されている。コンテンツには、どのような性別と年齢にも対応する汎用的なコンテンツ（汎用コンテンツと呼ぶ）と、第一コンテンツと、第二コンテンツと（詳細後述）が含まれる。

また、記憶部２５には、第一コンテンツ切り替えテーブル記憶部２５３と、第二コンテンツ切り替えテーブル記憶部２５４が設けられている。
ここで、第一コンテンツは、第一画質（低解像度）の撮像画像から認識された人物の顔に基づいて推定された大まかな人物の特徴（ここでは、性別、年齢層）に対応したコンテンツである。第二コンテンツは、第二画質（高解像度）の撮像画像から認識された顔に基づいて推定された詳細な特徴（ここでは、性別、年代）に対応したコンテンツである。

第一コンテンツ切り替えテーブル記憶部２５３には、第一画質の撮像画像から認識された顔に基づいて推定された人物の特徴（性別及び年齢層）と、その特徴を有する顧客に適合するコンテンツの識別情報とが対応付けて記憶されている。図３に、第一コンテンツ切り替えテーブル記憶部２５３のデータ格納例を示す。

第二コンテンツ切り替えテーブル記憶部２５４には、第二画質の撮像画像から認識された顔に基づいて推定された人物の特徴（性別及び年代）と、その特徴を有する顧客に適合するコンテンツの識別情報とが対応付けて記憶されている。図４に、第二コンテンツ切り替えテーブル記憶部２５４のデータ格納例を示す。

また、記憶部２５には、条件記憶部２５５が設けられている。条件記憶部２５５には、第一画質モード（低解像度で撮影するモード）から第二画質モード（高解像度で撮影するモード）に切り替えるための条件が記憶されている。この条件は、操作部３２により、又は、通信部２６を介して設定することができる。

通信部２６は、モデム、ルータ、ネットワークカード等により構成され、ＬＡＮ（Local Area Network）等の通信ネットワークに接続された外部機器との通信を行う。

計時部３０は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を取得して制御部２３に出力する。

次に、スクリーン部２２について説明する。
図２に示すように、スクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーン２９１や予め人物が印刷されたフィルム２９２が貼付されて構成されたスクリーンである。プロジェクタ２４は、画像形成部２７のフィルムスクリーン２９１が貼付された領域に画像を投影する。なお、透光板２９全体にフィルムスクリーン２９１を貼付した構成とし、人物についても投影を行うこととしてもよい。画像形成部２７と前述したプロジェクタ２４とにより、出力手段を構成している。

台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３と、非接触通信部３４と、撮像部３５と、が設けられている。

操作部３２は、複数の操作ボタンを備え、操作ボタンの押下信号を検出して制御部２３に出力する。各操作ボタンには、その操作ボタンを押下することにより実行される処理やその操作ボタンを押下することによるコンテンツの切り替え先等を表示する表示領域３２ａがそれぞれ対応付けられている。

非接触通信部３４は、ＮＦＣ（Near Field Communication）等による無線通信機能を備え、ＩＣカード３や携帯端末４と無線通信を行うことにより、ＩＣカード３や携帯端末４に対してデータの読み書きを行ったり、携帯端末４とデータの送受信を行ったりする。非接触通信部３４は、検出手段として機能する。

ここで、ＩＣカード３は、デジタルサイネージ装置１が設置された店舗の会員カード等であり、非接触通信が可能であり、顧客を識別するための顧客ＩＤ等が記憶されている。携帯端末４は、顧客が所持している、顧客を識別するための顧客ＩＤ等が記憶された非接触通信可能な携帯端末である。デジタルサイネージ装置１の制御部２３は、非接触通信部３４によりＩＣカード３又は携帯端末４をかざす操作が検出された場合に、ＩＣカード３又は携帯端末４に書き込まれた顧客ＩＤを読み出してログイン認証を行い、所定のサービスを提供する。

撮像部３５は、画像形成部２７に対向する空間の画像を連続的に撮影して撮像画像を生成する。撮像部３５は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。
カメラの光学系は、画像形成部２７の前にいる人物（顧客）を撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。

操作部３２、音声出力部３３、非接触通信部３４、撮像部３５は、図１に示すように制御部２３に接続されている。

［デジタルサイネージ装置１の動作］
次に、デジタルサイネージ装置１の動作について説明する。
図５に、デジタルサイネージ装置１において実行されるコンテンツ出力処理のフローチャートを示す。コンテンツ出力処理は、デジタルサイネージ装置１の電源がＯＮの間、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、画像形成部２７及び音声出力部３３によりコンテンツを出力させる（ステップＳ１）。例えば、制御部２３は、コンテンツ記憶部２５２から汎用コンテンツのコンテンツデータを読み出し、そのフレーム画像を順次プロジェクタ２４に出力してプロジェクタ２４により画像形成部２７に投影させる。また、読み出したコンテンツデータの音声データを音声出力部３３に出力し、コンテンツの音声を出力させる。

次いで、制御部２３は、撮像部３５により第一画質モード（低解像度モード）で撮影を行わせて撮像画像を取得し（ステップＳ２）、取得した第一画質の撮像画像に対して顔認識処理を行う（ステップＳ３）。顔認識の手法は特に限定されないが、例えば、特開２０１２−５３８１３号公報に記載のＨａａｒ−ｌｉｋｅ特徴を用いた手法等、公知の画像処理技術を用いて行うことができる。

次いで、制御部２３は、顔認識処理の結果、顔が認識されたか否かを判断する（ステップＳ４）。顔が認識されなかったと判断した場合（ステップＳ４；ＮＯ）、制御部２３は、ステップＳ１に戻る。

ステップＳ４において、顔が認識されたと判断した場合（ステップＳ４；ＹＥＳ）、制御部２３は、所定の条件を満たしたか否かを判断する（ステップＳ５）。

ここで、第一画質モードで撮影された第一画質の撮像画像は、低解像度であるため、上述の顔認識処理を高速で行うことができるが、後述する性別・年齢推定処理の推定精度は低く、特に年齢の認識誤差が大きい。一方、第二画質モード（高解像度モード）で撮影された第二画質の撮像画像は、高解像度であるため、顔認識処理等の処理時間がかかるが、後述する性別・年齢推定処理の推定精度は高い。そこで、本実施形態では、撮像画像に写っている人物の動作がコンテンツに興味を持っているとみなすことのできる所定の条件、例えば、（１）ユーザ操作が検出された（デジタルサイネージ装置１を操作した）、（２）認識した顔が所定のサイズ以上になった（デジタルサイネージ装置１に近づいた）、又は、（３）認識した顔の移動量が所定量以下となった（移動中から静止してコンテンツをみている）等を満たした場合に、第二画質モードに切り替えて撮影、顔認識、及び性別・年齢推定を行い、より一層コンテンツを見ている人物に適したコンテンツを出力するようにする。なお、第二画質モードに切り替えるための所定の条件は、例えば、上記（１）〜（３）の何れか又は組み合わせであり、条件記憶部２５５に記憶（設定）されている。

上記（１）の条件について、制御部２３は、操作部３２の何れかの操作ボタンの操作、ＩＣカード３をかざす操作、携帯端末４をかざす操作の何れかが検出された場合に、ユーザ操作が検出されたと判断する。ＩＣカード３や携帯端末４をかざす操作が検出されたか否かは、非接触通信部３４の通信エリア内にＩＣカード３や携帯端末４が検出されたか否かにより判断する。

また、（２）の条件について、制御部２３は、ステップＳ３の顔認識処理で認識された顔が所定のサイズ以上になった場合に、認識した顔が所定のサイズ以上になったと判断する。

また、（３）の条件について、制御部２３は、前回の顔認識処理で認識した顔の位置（例えば、顔の中心位置の座標）をメモリに記憶しておき、前回の顔の位置と今回の顔の位置のずれ量が所定量以下である場合に、認識した顔の移動量が所定量以下となったと判断する。

ステップＳ５において、所定の条件を満たしていないと判断した場合（ステップＳ５；ＮＯ）、制御部２３は、撮像画像から認識された顔に基づいて、その人物の大まかな特徴（ここでは、性別、年齢層）を推定する（ステップＳ６）。
具体的には、プログラム記憶部２５１に記憶されている性別・年齢判定プログラムにより認識された顔に基づいて性別・年齢推定処理を行う。年齢の推定方法は特に限定されないが、例えば、特開２０１２−５３８１３号公報に記載の顔領域のシワ特徴量、シミ特徴量、唇特徴量に基づいて年齢を推定する手法や、顔画像から抽出した顔の輪郭、目、鼻、口等のパーツの配置、肌の状態等に基づいて年齢を推定する手法等、公知の画像処理技術を用いて行うことができる。年齢層については、推定された年齢を子供、大人、老人に分類することにより推定を行う。認識された顔が複数の場合は、例えば、一番サイズの大きい顔に基づいて人物の性別、年齢層を推定する。

そして、制御部２３は、第一コンテンツ切り替えテーブル記憶部２５３を参照し、出力対象のコンテンツを第一コンテンツのうち推定された大まかな特徴に応じたコンテンツに切り替えて画像形成部２７及び音声出力部３３によりコンテンツの出力を行わせ（ステップＳ７）、ステップＳ２に戻る。

一方、ステップＳ５において、所定の条件を満たしたと判断した場合（ステップＳ５；ＹＥＳ）、制御部２３は、撮像部３５により第二画質モードで撮影を行わせて撮像画像を取得し（ステップＳ８）、取得した第二画質の撮像画像に対して顔認識処理を行う（ステップＳ９）。

次いで、制御部２３は、認識された顔に基づいて、人物の詳細な特徴（ここでは、性別、年代）を推定する（ステップＳ１０）。具体的には、プログラム記憶部２５１に記憶されている性別・年齢判定プログラムにより認識された顔に基づいて性別・年齢推定処理を行い、推定された年齢に基づいて年代を推定する。認識された顔が複数の場合は、例えば、一番サイズの大きい顔に基づいて人物の性別、年代を推定する。

そして、制御部２３は、第二コンテンツ切り替えテーブル記憶部２５４を参照し、出力対象のコンテンツを第二コンテンツのうち認識された人物の詳細な特徴に応じたコンテンツに切り替えて画像形成部２７及び音声出力部３３によりコンテンツの出力を行わせ（ステップＳ１１）、ステップＳ２に戻る。

制御部２３は、デジタルサイネージ装置１の電源がＯＮである間、ステップＳ１〜ステップＳ１１の処理を繰り返し実行する。

上記コンテンツ出力処理によれば、デジタルサイネージ装置１の前に人物の顔が認識されないか、または、人物の顔が認識されてはいるがコンテンツに興味を持っているとみなすことができる所定の条件を満たしていない場合、低解像度の第一画質モードで撮影された第一画質の撮像画像に顔認識を行うことで、顔認識処理の処理時間を短縮し、制御部２３のＣＰＵの負荷を抑えることができる。また、人物の顔が認識されている場合は、第一画質で得られるレベルでその人物の性別や大まかな年齢層を推定して、推定結果に基づいて第一コンテンツの出力を行うことができる。一方、人物の動作がコンテンツに興味を持っているとみなせる所定の条件を満たしている場合は、高解像度の第二画質モードで撮影された第二画質の撮像画像に顔認識を行うことで、その人物の性別や年代を精度よく推定して、その人物により一層適合した第二コンテンツの出力を行うことができる。

以上説明したように、デジタルサイネージ装置１によれば、制御部２３は、撮像部３５により第一画質モードで撮影を行わせるとともに、撮像部３５により得られた撮像画像に顔認識を行う。ユーザ操作が検出された場合、撮像画像から認識された顔のサイズが所定以上である場合、撮像画像から認識された顔の移動量が所定量以下となった場合等の、デジタルサイネージ装置１の前にいる人物の動作がデジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした場合、制御部２３は、撮像部３５により第一画質よりも高画質な第二画質モードで撮影を行わせ、撮像部３５により得られた撮像画像に顔認識を行う。

従って、例えば、デジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした人物が見つかるまでは、低解像度の第一画質の撮像画像を用いて顔認識を行うことで、処理時間を短縮し、制御部２３のＣＰＵの負荷を抑えることができる。また、デジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした人物がみつかった場合に、その人物についての詳細な特徴を取得するのに必要な高解像度の第二画質の撮像画像を用いて顔認識を行う等、必要に応じた画質で顔認識を行うことができる。

また、制御部２３は、第一画質の撮像画像による顔認識から第二画質の撮像画像による顔認識に切り替えた場合に、出力対象のコンテンツを切り替える。具体的に、制御部２３は、第一画質の撮像画像による顔認識で認識された顔に基づいて推定された人物の大まかな特徴に応じた第一コンテンツを画像形成部２７及び音声出力部３３に出力させる。人物の動作がデジタルサイネージ装置１に興味を持っているとみなすことができる所定の条件を満たすことにより第二画質の撮像画像による顔認識に切り替えた場合、制御部２３は、出力対象のコンテンツを第二画質の撮像画像による顔認識で認識された人物の詳細な特徴に応じた第二コンテンツに切り替える。
従って、デジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした人物がいない場合は、幅広い層に対応する第一コンテンツを出力し、デジタルサイネージ装置１に興味をもっているとみなすことができる所定の条件を満たした場合に、その人物に適合した第二コンテンツを出力することができる。

なお、上記実施形態における記述内容は、本発明に係るデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、第一画質モードで撮像部３５により撮像を行うことで、第一画質の撮像画像を取得する場合を例にとり説明したが、第一画質の撮像画像の取得方法は、これに限定されない。例えば、第二画質で撮像部３５により撮像された撮像画像を間引く等により第一画質の撮像画像を取得することとしてもよい。

また、上記実施形態においては、コンテンツを予めデジタルサイネージ装置１に記憶しておき、記憶されているコンテンツの中から認識された人物に適合するコンテンツを選択することとしたが、通信ネットワークを介して接続されたサーバ装置にコンテンツを記憶しておき、認識された人物の特徴に適合するコンテンツをサーバ装置から受信することとしてもよい。

また、上記実施形態においては、プロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に本発明を適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置を有する情報処理装置に適用しても同様の効果を奏することができ、この例に限定されない。

また、上記実施形態においては、画像形成部２７が人型である場合を例にとり説明したが、他の形状としてもよく、これに限定されるものではない。

また、上記実施形態のコンテンツ出力処理においては、コンテンツの評価を行っていないが、コンテンツの出力履歴を記憶部２５に記憶していき、予め定められた集計タイミング（例えば、一定期間毎）が到来した際に、コンテンツの出力履歴を集計して第一コンテンツの評価を行うこととしてもよい。
ここで、第二コンテンツが出力されたということは、デジタルサイネージ装置１の前にいる人物の動作がコンテンツに興味を持っているとみなすことができる所定の条件を満たしたということであるから、その直前に出力されていた第一コンテンツは、人の興味を引くことができたと考えられる。そこで、コンテンツの出力履歴に基づいて第一コンテンツのそれぞれの出力中又は出力直後に第二コンテンツを出力した確率を算出することで、第一コンテンツへの評価を行うことができる。

例えば、コンテンツ出力処理において、制御部２３は、新たなコンテンツに切り替える毎に、切り替え先のコンテンツの識別情報を出力履歴として記憶部２５に記憶していく。集計タイミングが到来すると、制御部２３は、記憶部２５に記憶されているコンテンツの出力履歴に基づいて、第一コンテンツのそれぞれの出力中又は出力直後に第二コンテンツを出力した確率（即ち、第二コンテンツに切り替えられた確率）を算出する。そして、算出された確率に基づいて、第一コンテンツを評価する（第一評価手段）。
例えば、第一コンテンツＡ１〜Ａ３があった場合、それぞれのコンテンツについて、出力中又は出力直後に第二コンテンツを出力した確率を算出する。そして、例えば、第一コンテンツＡ１の次に第二コンテンツを出力した確率が２０％、第一コンテンツＡ２の次に第二コンテンツを出力した確率が５０％、第一コンテンツＡ３の次に第二コンテンツを出力した確率が１０％であった場合、Ａ２＞Ａ１＞Ａ３という評価を与えることができる。

また、上記実施形態においては、顔認識の結果は、コンテンツの切り替えに利用することとして説明したが、コンテンツの評価やマーケティング用のデータの取得に利用することとしてもよい。

例えば、図５のコンテンツ出力処理のフローのステップＳ１において、制御部２３は、汎用コンテンツではなく、評価（マーケティング）対象のコンテンツの出力を開始する。ステップＳ５で所定の条件を満たしていないと判断した場合、制御部２３は、ステップＳ６〜Ｓ７を行わずにステップＳ２に戻る。ステップＳ５で所定の条件を満たしたと判断した場合、制御部２３は、撮像部３５により第二画質モードで撮影を行わせ、得られた第二画質の撮像画像に顔認識処理を行う。そして、制御部２３は、認識された顔に基づいて性別、年齢の推定を行い、出力中のコンテンツの識別情報と推定された性別及び年齢を対応付けて記憶部２５に記憶し、ステップＳ２に戻る。

このようにして記憶部２５に記憶した情報に基づいて、制御部２３が予め定められた集計タイミングで、コンテンツ毎に、そのコンテンツを見た人の性別及び年齢を集計することで、コンテンツ毎に、そのコンテンツに興味を持った人の性別や年齢層を把握することが可能となる。また、コンテンツは、上述のように、商品の説明であるので、コンテンツで説明された商品に興味のある性別や年齢をマーケティング情報として得ることも可能となる。

また、コンテンツの出力中において、第一画質で顔が認識されていた時間は、人物がデジタルサイネージ装置１の前にいた時間であり、第二画質で顔が認識されていた時間は、人物がコンテンツに興味を持っていた時間とみなすことができる時間であることから、第二画質で顔が認識されていた時間が長いコンテンツを高く評価することができる。そこで、評価対象の各コンテンツの出力中に、制御部２３は、第一画質で顔が認識されている時間と、第二画質で顔が認識されている時間とをそれぞれ計時し、第一画質で顔が認識されていた時間に対して、第二画質で顔が認識されていた時間に重み付けを行い、足し合わせた時間に基づいて各コンテンツの評価を行うこととしてもよい（第二評価手段）。

ここで、第一画質で顔が認識されている時間は、例えば、図５のステップＳ４において一旦顔が認識された後、ステップＳ４で顔が認識されなくなったと判断されるか、又はステップＳ５で所定の条件を満たしたと判断されるまでの時間とすることができる。また、第二画質で顔が認識されている時間は、例えば、一旦ステップＳ５で所定の条件を満たしたと判断された後、撮像画像から顔が認識されなくなったか、又は、所定条件を満たさなくなったと判断されるまでの時間とすることができる。

また、制御部２３は、第一画質の撮像画像から顔認識を行った際に初めて認識された顔（前回の顔認識で認識されていなかった顔）の位置に基づいて、デジタルサイネージ装置１の向きを評価することとしてもよい。

例えば、制御部２３は、前回の顔認識で第一画質の撮像画像から認識されていなかった人物の顔が認識された場合に、第一画質の撮像画像においてその顔が認識された位置に基づいてその人物が来た方向を判定する（方向判定手段）とともに、その顔が第二画質の撮像画像から認識されるか否か監視する。そして、その人物の顔が認識されなくなると、制御部２３は、その人物が来た方向に対応付けて、第二画質の撮像画像からその顔が認識されたか否かを示す情報を記憶部２５に記憶する。予め定められた集計タイミングが到来すると、制御部２３は、記憶部２５に記憶されている情報に基づいて、人物が来た方向毎に、第二画質の撮像画像からその顔を認識した確率を算出し、算出した確率に基づいて、どの方向から来た顧客がデジタルサイネージ装置１の出力するコンテンツに興味を持つかを検出し、デジタルサイネージ装置１の向きを評価する（第三評価手段）。例えば、右から来た確率が高い場合は、デジタルサイネージ装置１を左に向ける等のアドバイスを画像形成部２７や音声出力部３３から出力することで、デジタルサイネージ装置１のスクリーン部２２をより顧客の興味の引きやすい方向に向けることができ、全体としての広告効果が向上する。

上記第一評価手段、第二評価手段、第三評価手段の機能は、通信ネットワークを介して接続されたサーバ装置により実行することとしてもよい。

その他、デジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
人物を撮像する撮像手段と、
前記撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認識を行う第一顔認識手段と、
前記人物の動作が所定の条件を満たしたか否かを判定する判定手段と、
前記判定手段により前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識手段と、
を備える情報処理装置。
＜請求項２＞
ユーザ操作を検出する検出手段を備え、
前記判定手段は、前記検出手段によりユーザ操作が検出された場合、前記撮像画像から認識された顔のサイズが所定以上である場合、前記撮像画像から認識された顔の移動量が所定量以下となった場合のうちの少なくとも一つに該当した場合に、前記人物の動作が所定の条件を満たしたと判定する請求項１に記載の情報処理装置。
＜請求項３＞
コンテンツを出力する出力手段と、
前記第一顔認識手段による顔認識から前記第二顔認識手段による顔認識に切り替えられた場合に、出力対象のコンテンツを切り替える制御手段を備える請求項１又は２に記載の情報処理装置。
＜請求項４＞
前記第一顔認識手段により認識された顔又は前記第二顔認識手段により認識された顔に基づいて前記人物の特徴を推定する推定手段を備え、
前記制御手段は、前記第一顔認識手段により顔認識が行われた場合に、前記第一顔認識手段により認識された顔に基づいて前記推定手段により推定された人物の特徴に応じた第一コンテンツを前記出力手段に出力させ、前記第二顔認識手段により顔認識が行われた場合に、前記第二顔認識手段により認識された顔に基づいて前記推定手段により推定された人物の特徴に応じた第二コンテンツに出力対象のコンテンツを切り替える請求項３に記載の情報処理装置。
＜請求項５＞
前記第一コンテンツの出力中又は出力直後に前記第二コンテンツの出力に切り替えられた確率を算出し、算出された確率に基づいて前記第一コンテンツの評価を行う第一評価手段を備える請求項４に記載の情報処理装置。
＜請求項６＞
コンテンツを出力する出力手段と、
前記コンテンツの出力中に前記第一顔認識手段により顔認識が行われていた時間と前記第二顔認識手段により顔認識が行われていた時間とに基づいて、前記コンテンツの評価を行う第二評価手段と、
を備える請求項１又は２に記載の情報処理装置。
＜請求項７＞
前記第一顔認識手段及び前記第二顔認識手段は、前記撮像手段による連続的な撮像に基づいて取得された撮像画像に順次顔認識を行い、
前記第一顔認識手段において前回の顔認識で認識されていなかった人物の顔が認識された場合に、前記撮像画像における前記顔が認識された位置に基づいて、前記人物が来た方向を判定する方向判定手段と、
前記人物が来た方向毎に、前記第一顔認識手段により認識された顔が前記第二顔認識手段において認識された確率を算出し、算出された方向毎の確率に基づいて、前記情報処理装置の向きを評価する第三評価手段を備える請求項１〜６の何れか一項に記載の情報処理装置。
＜請求項８＞
人物を撮像手段により撮像する撮像工程と、
前記撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認識を行う第一顔認識工程と、
前記人物の動作が所定の条件を満たしたか否かを判定する判定工程と、
前記判定工程において前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識工程と、
を含む顔認識方法。
＜請求項９＞
コンピュータを、
人物を撮像する撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認前記人物の動作が識を行う第一顔認識手段、
所定の条件を満たしたか否かを判定する判定手段、
前記判定手段により前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識手段、
として機能させるためのプログラム。

１ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ コンテンツ記憶部
２５３ 第一コンテンツ切り替えテーブル記憶部
２５４ 第二コンテンツ切り替えテーブル記憶部
２５５ 条件記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３２ 操作部
３３ 音声出力部
３４ 非接触通信部
３５ 撮像部

Claims (9)

1. 人物を撮像する撮像手段と、
   前記撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認識を行う第一顔認識手段と、
   前記人物の動作が所定の条件を満たしたか否かを判定する判定手段と、
   前記判定手段により前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識手段と、
   を備える情報処理装置。
2. ユーザ操作を検出する検出手段を備え、
   前記判定手段は、前記検出手段によりユーザ操作が検出された場合、前記撮像画像から認識された顔のサイズが所定以上である場合、前記撮像画像から認識された顔の移動量が所定量以下となった場合のうちの少なくとも一つに該当した場合に、前記人物の動作が所定の条件を満たしたと判定する請求項１に記載の情報処理装置。
3. コンテンツを出力する出力手段と、
   前記第一顔認識手段による顔認識から前記第二顔認識手段による顔認識に切り替えられた場合に、出力対象のコンテンツを切り替える制御手段を備える請求項１又は２に記載の情報処理装置。
4. 前記第一顔認識手段により認識された顔又は前記第二顔認識手段により認識された顔に基づいて前記人物の特徴を推定する推定手段を備え、
   前記制御手段は、前記第一顔認識手段により顔認識が行われた場合に、前記第一顔認識手段により認識された顔に基づいて前記推定手段により推定された人物の特徴に応じた第一コンテンツを前記出力手段に出力させ、前記第二顔認識手段により顔認識が行われた場合に、前記第二顔認識手段により認識された顔に基づいて前記推定手段により推定された人物の特徴に応じた第二コンテンツに出力対象のコンテンツを切り替える請求項３に記載の情報処理装置。
5. 前記第一コンテンツの出力中又は出力直後に前記第二コンテンツの出力に切り替えられた確率を算出し、算出された確率に基づいて前記第一コンテンツの評価を行う第一評価手段を備える請求項４に記載の情報処理装置。
6. コンテンツを出力する出力手段と、
   前記コンテンツの出力中に前記第一顔認識手段により顔認識が行われていた時間と前記第二顔認識手段により顔認識が行われていた時間とに基づいて、前記コンテンツの評価を行う第二評価手段と、
   を備える請求項１又は２に記載の情報処理装置。
7. 前記第一顔認識手段及び前記第二顔認識手段は、前記撮像手段による連続的な撮像に基づいて取得された撮像画像に順次顔認識を行い、
   前記第一顔認識手段において前回の顔認識で認識されていなかった人物の顔が認識された場合に、前記撮像画像における前記顔が認識された位置に基づいて、前記人物が来た方向を判定する方向判定手段と、
   前記人物が来た方向毎に、前記第一顔認識手段により認識された顔が前記第二顔認識手段において認識された確率を算出し、算出された方向毎の確率に基づいて、前記情報処理装置の向きを評価する第三評価手段を備える請求項１〜６の何れか一項に記載の情報処理装置。
8. 人物を撮像手段により撮像する撮像工程と、
   前記撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認識を行う第一顔認識工程と、
   前記人物の動作が所定の条件を満たしたか否かを判定する判定工程と、
   前記判定工程において前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識工程と、
   を含む顔認識方法。
9. コンピュータを、
   人物を撮像する撮像手段による撮像に基づいて取得された第一画質の撮像画像に顔認前記人物の動作が識を行う第一顔認識手段、
   所定の条件を満たしたか否かを判定する判定手段、
   前記判定手段により前記人物の動作が前記所定の条件を満たしたと判定された場合に、前記撮像手段による撮像に基づいて取得された前記第一画質よりも高画質な第二画質の撮像画像に顔認識を行う第二顔認識手段、
   として機能させるためのプログラム。

Images