JP2010113693A - 顔画像抽出装置・方法及び電子広告装置並びにプログラム - Google Patents

Abstract

【課題】画像表示装置の前にいる人物を撮像した画像から、「偶々そこにいた人物」を排除して、「画像表示装置が提供する画像に特別な関心を持っている人間」の顔画像を抽出する。
【解決手段】顔画像抽出装置６は、前記原画像から所定の範囲の画像を切り出す抽出範囲切り出し部６２と、抽出範囲切り出し部６２で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出部６３を備える。また、正面顔画像抽出部６３が抽出した顔画像の中から、撮像装置３に最も近い画像を選択する近接顔画像選択部６４を備える。あるいは、前記所定の範囲を、ユーザが任意に設定する抽出範囲設定部６１を備える。
【選択図】図２

Description

本発明は、人物を撮像した画像から、特定の条件を具備する顔画像を抽出する装置、および該装置を備える電子広告装置等に関する。

電子広告装置あるいはデジタルサイネージと呼ばれる装置を店舗等に設置して、当該店舗等を訪れる顧客に広告映像を観覧させることが知られている。電子広告装置は、例えば液晶表示装置のような画像表示装置を備えて、当該電子広告装置の内部に記録された広告映像等、あるいは上位の配信装置から配信される広告映像等を前記画像表示装置に表示する装置である。

特許文献１には、電子広告装置にカメラを備えて、前記カメラが撮像した画像から、電子広告装置の画面を観覧する人間の顔部の画像（以下、「顔画像」という）を検出して、当該人間の性別・年齢等を推定して、その性別・年齢等に応じた広告映像を表示して、電子広告装置による広告効果を高めることが提案されている。

特許文献２には、街頭に設置されて宣伝広告を行うディスプレイの近傍にカメラを備えて、ディスプレイの周辺領域を通行する通行人を撮像して、その通行人の映像を含む合成映像をディスプレイに表示することが提案されている。

特許文献３には、ディスプレイに撮像部を内蔵して、ディスプレイに表示された広告映像等を視聴する人物を撮像して、その人物の性別又は年齢層等の属性を判別して、前記広告映像等に対する人物属性別の視聴度を算出することが提案されている。

また、特許文献４には、映像取得手段で取得された画像から人間の頭部を検出する方法・装置、および前記方法・装置で検出された頭部の部分画像から正面顔画像を取得する方法・装置が開示されている。

また、特許文献５には、画像中の顔の向きを推定する顔向き推定装置及び方法が開示されている。

特開２００５−２５１１７０号公報 特開２００６−２５１３００号公報 特開２００６−２５４２７４号公報 特開２０００−２２２５７６号公報 特開２００４−０９４４９１号公報

特許文献１、３に開示された発明は、広告映像等を観覧する人間を撮像して、その人間の属性を推定して、その属性に応じた広告映像を表示し、あるいは、推定した属性を、広告映像等の効果を評価するための資料としている。また、特許文献２に開示された装置は、撮像された人間の画像をディスプレイに表示して、広告映像等を観覧する人間の注意を喚起して、広告の効果を高めている。つまり、特許文献１〜３に開示された発明は、広告映像等を観覧する人間を撮像した画像を直接又は間接に使って、電子広告装置による広告効果を高めている。

さて、「広告映像等に特別な関心を持っている人間の顔画像」だけを抽出すると、特許文献１〜３に開示された発明の効果は更に高まると考えられる。

一方、一般に、電子広告装置は多くの人間に見られる必要がある。そのため、デジタルサイネージは通行人の多い場所に設置される。従って、電子広告装置に備えられた撮像手段の視野の中には、多数の「偶々、そこにいた人間」、つまり「広告映像等に特別な関心を持っている人間」以外の人間が含まれると考えられる。

しかしながら、特許文献１〜３に開示された発明には、電子広告装置に内蔵された撮像手段が撮像した画像から、「偶々、そこにいた人間の顔画像」を排除して、「広告映像等に特別な関心を持っている人間の顔画像」だけを抽出する手段を欠いている。したがって、このような手段を実現して、電子広告装置に備えれば、電子広告装置の広告効果を更に高めることができる。

本発明は、このような背景に鑑みてなされたものであり、画像表示装置の前に居る人物を撮像した画像から、「偶々そこにいた人物」を排除して、「画像表示装置が提供する画像に特別な関心を持っている人間」だけの顔画像を抽出する顔画像抽出装置を提供するものである。また、かかる顔画像抽出装置を備える電子広告装置を提供するものである。

上記課題を解決するために、本発明に係る顔画像抽出装置は、原画像から人物の顔画像を抽出する顔画像抽出装置において、前記原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段と、前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段を備える。

また、本発明に係る電子広告装置は、画像表示装置と、前記画像表示装置が表示する人物を撮像する撮像手段を備える電子広告装置において、前記撮像手段が撮像した原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段と、前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段を有することを特徴とする。

また、本発明に係る顔画像抽出方法は、原画像から人物の顔画像を抽出する顔画像抽出方法において、前記原画像から所定の範囲の画像を切り出す抽出範囲切り出しステップと、前記抽出範囲切り出しステップで切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出ステップとを有することを特徴とする。

また、本発明に係るプログラムは、コンピュータにインストールされて、当該コンピュータを、原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段、前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段として機能させることを特徴とする。

本発明によれば、原画像の特定の範囲（例えば、撮像手段の視野の中央付近）にあって、撮像手段に正対している人物の顔画像を抽出するので、電子広告装置が表示する画像に特に関心を持っている人物の顔画像を、精度良く抽出することができる。また、かかる顔画像抽出装置を電子広告装置に備えれば、電子広告装置が提供する広告映像等に特別な関心を持つ人物の顔画像を抽出し、その顔画像から得られる情報を電子広告装置にフィードバックしたり、マーケティング情報として活用することが可能となる。

以下、本発明を実施するための最良の形態について説明する。

図１は、本発明の実施形態に係る顔画像抽出装置を備える電子広告装置の概念的な構成図である。

図１に示すように、電子広告装置１はディスプレイ装置２と撮像装置３を備える。

ディスプレイ装置２は、ビデオ制御装置４に制御されて、ビデオ制御装置４から供給されるビデオ信号に基づいて広告映像等を表示する液晶表示装置である。

撮像装置３は、その光軸がディスプレイ装置２の光軸と平行に（つまり、ディスプレイ装置２に正対する人物５が、撮像装置３に対しても平行になるように）配置されたビデオカメラであり、ディスプレイ装置２が表示する広告映像等を観覧している人物５を撮像することができる。

撮像装置３で撮像された画像は、顔画像抽出装置６に送られる。顔画像抽出装置６は前記画像を処理して、人物５の内、ディスプレイ装置２が表示する広告映像等に特別の関心を持っていると推定される人物（以下、「特定人物」という）の顔画像を抽出して、人物属性推定装置７に送る。

人物属性推定装置７は、顔画像抽出装置６から送られた前記特定人物の顔画像に基づいて、前記特定人物の属性（性別及び年齢）を推定する。人物属性推定装置７で推定された前記特定人物の性別及び年齢は、ビデオ制御装置４にフィードバックされ、ビデオ制御装置４は前記特定人物の性別及び年齢に応じた広告映像等（例えば、前記特定人物が男性ならば男性向け商品の広告映像）をディスプレイ装置２に表示させる。

さて、顔画像抽出装置６は図２に示すような構成を有する。

顔画像抽出装置６は、撮像装置３で撮像された画像から前記特定人物の顔画像、つまりディスプレイ装置２に表示された広告映像等に特別な関心を持つ人物の顔画像だけを抽出するコンピュータであり、抽出範囲設定部６１、抽出範囲切り出し部６２、正面顔画像抽出部６３及び近接顔画像選択部６４を備える。

抽出範囲設定部６１は、前記特定人物の顔画像の抽出を行う範囲を、撮像装置３で撮像された画像８の一部に限定するために、その範囲を設定する範囲を設定入力する入力装置である。本実施形態では、図３に示すように、画像８の中心を座標原点（０，０）とし、左右端のＸ座標が−５０及び５０、上下端のＹ座標が−５０及び５０の直交座標系を定義し、抽出範囲は、その中心の座標と辺の長さで設定することにしている。

例えば、抽出範囲設定部６１に（０，０，５０，５０）を入力すれば、図３にＡで示したような、座標原点（０，０）を中心とし、水平方向に５０、垂直方向に５０の広がりを持つ矩形領域が抽出範囲に設定される。また、（２５，０，５０，１００）を入力すれば、図３にＢで示したように、画像８の右半分が抽出範囲に設定される。また、（０，０，１００，１００）を入力すれば、画像８の全領域が抽出範囲に設定される。

また、抽出範囲を矩形に代えて円形の領域で定義してもよい、この場合、抽出領域は円の中心の座標と半径で定義できる。

あるいは、画像８の面積に対する比率で抽出範囲を定義してもよい。例えば、抽出範囲設定部６１に（２５）を入力すると、座標原点（０，０）を中心とする画像８全体に対する面積比２５％の部分画像が抽出範囲に設定されるようにしてもよい。

あるいは、抽出範囲設定部６１を省いて、抽出範囲を事前に決められた範囲に固定してもよい。いずれにしても、一般に抽出範囲の中心は座標原点（０，０）に設定される。ディスプレイ装置２が表示する広告映像等に特別の関心を持っている人物は、ディスプレイ装置２の真正面中央、つまり撮像装置３の視野の中央に立つことが多いと考えられえるからである。

抽出範囲切り出し部６２では、撮像装置３で撮像された画像から抽出範囲設定部６１で設定された抽出範囲の画像を切り出す。例えば、抽出範囲設定部６１に（０，０，５０，５０）を設定入力した場合に、抽出範囲切り出し部６２は、撮像装置３が図４（ａ）に示すような５人の人物が撮像された画像８から、図４（ｂ）に示すような部分画像９を切り出す。

正面顔画像抽出部６３では、部分画像９を検索して、正面向きの顔画像を抽出する。部分画像９には、３人の人物が撮像されているが、ディスプレイ装置２が表示する広告映像等に特別の関心を持っている人物は、顔の正面をディスプレイ装置２を向けていることが多いと考えられえるからである。

正面向きの顔画像の抽出には、各種の公知の手段を選択することができる。例えば、標準となる正面顔画像を正面顔画像抽出部６３の内部に備えて、前記画像から抽出した顔画像と前記正面顔画像の類似度を求めてもよい。あるいは、正面顔画像において、人間の両目が、顔の輪郭の中心線に対して実質的に対称に並び（図５（ａ）参照）、顔を斜めに見ると両目は前記中心線に対して非対称になる（図５（ｂ）参照）ことを利用してもよい。また、正面向きの顔画像の抽出に当たっては、許容範囲を設定しても良い。つまり、顔画像が正面向きの位置を中心に所定の許容範囲で左右に振れていても、正面向きであるとして処理するようにしてもよい。

煩雑を避けるために、正面向きの顔画像を抽出する手段の詳細な説明は省略する。前述したように、画像から人間の頭部を検出し、検出された頭部の部分画像から正面顔画像だけを取得する手段が特許文献３に開示され、画像中の顔の向きを推定する手段が特許文献４に開示されている。また、その他の各種公知文献にも記載されているので、参照されたい。

正面向きの顔画像が複数個抽出された場合に、一つの顔画像を選択する必要がある。そこで、近接顔画像選択部６４は、正面顔画像抽出部６３が抽出した正面向きの顔画像の中から、ディスプレイ装置２に最も近い位置にいる人物５の顔画像を選択する。ディスプレイ装置２が表示する広告映像等に特別の関心を持っている人物は、ディスプレイ装置２の直近で前記広告映像等を観覧していることが多いと考えられるからである。

人物５とディスプレイ装置２の距離の推定には、前記顔画像上の左右の目の間隔を用いる。図６に示すように、人物５がディスプレイ装置２（撮像装置３）に近づけば、左右の目の間隔は大きく撮像されるからである。

あるいは、２台の撮像装置３を左右に配置して、いわゆるステレオ撮影を行って、視差によって生じる画像のずれに基づいて距離を推定することもできる。

また、顔画像抽出装置６では、図７に示すような顔画像抽出プログラムが実行される。

この顔画像抽出プログラムは電子広告装置１の撮像装置３が撮像を行うと実行され、まず、撮像装置３が撮像した画像から所定の（あるいは、抽出範囲設定部６１を使って設定された）抽出範囲の画像が切り取られる（ＳＴＥＰ１）。

次に、前記切り出された画像から、撮像装置３に対して（＝ディスプレイ装置２に対して）正面を向いている人物の顔画像を抽出する（ＳＴＥＰ２）。前記映像に特別な関心を持つ人物はディスプレイ装置２に正対していると推定されるからである（前記切り出された画像の中にあっても、正面を向いていなかったら、かかる人物の画像であるとはいえない）。

正面を向いている人物の顔画像が無ければ（ＳＴＥＰ３；ＮＯ）、プログラムを終了し、前記顔画像が抽出されれば（ＳＴＥＰ３；ＹＥＳ）、ＳＴＥＰ４に進む。

正面を向いている人物の顔画像のうち、ディスプレイ装置２に最も近い（＝撮像装置３に最も近い）顔画像を選んで、人物属性推定装置７に出力し、プログラムを終了する。ディスプレイ装置２に表示される映像に特別な関心を持つ人物はディスプレイ装置２に近寄ると推定されるからである。なお、正面を向いている人物の顔画像が１枚だけならば、その１枚が選ばれる。

さて、ここでビデオ制御装置４の構成について説明する。ビデオ制御装置４は、物理的には、図８に示すように、スケジュールデータベース（ＤＢ）４１と、広告映像ＤＢ４２と、入出力インターフェイス（Ｉ／Ｆ）４３と、入力出部４４と、制御部４５から構成される。

スケジュールＤＢ４１は、ディスプレイ装置２に広告映像を配信（表示）する配信スケジュールを格納する。配信スケジュールは、図９に示すように、時刻時間（時分秒）と表示対象の広告映像（例えば、音声付きの動画）の格納位置のアドレス（ＵＲＬ（Uniform Resource Locator）とを含む。

広告映像ＤＢ４２は、図１０に示すように、表示対象の広告映像の映像データ（例えば、ＭＰＥＧフォーマットの音声付動画）を格納する。各映像データはＵＲＬで特定される。配信スケジュールは、このＵＲＬで配信対象の映像データを特定する。各広告映像には、ＩＤ（映像ＩＤ）と対象者の属性情報が付されている。

入出力インターフェイス４３は、ディスプレイ装置２に広告映像の映像データを出力し、人物属性推定装置７が出力する人物５の属性情報を受信する通信インターフェイスである。

入出力部４４は、キーボード、マウス、表示装置などから構成され、制御部４５に種々の指示やデータを入力し、また、制御部４５からの出力を表示する。

制御部４５は、プロセッサなどから構成され、タイマＴＣを備えると共に制御プログラムに従って動作する。具体的には、制御部４５は、スケジュールＤＢ４１に登録されている配信スケジュールに従って、ディスプレイ装置２に表示すべき広告映像を、広告映像ＤＢ４２から読み出し、入出力インターフェイス４３から供給する。また、制御部４５は、入出力部４４からの指示に応答して、配信スケジュールを編集及び更新する。

さらに、制御部４５は、人物属性推定装置７から入力される人物５の属性情報に基づいて、前記配信スケジュールを変更して、前記属性情報に対応する広告映像を、広告映像ＤＢ４２から読み出し、入出力インターフェイス４３から供給する。

次に、上記構成の電子広告装置１の動作を説明する。
まず、ビデオ制御装置４の制御部４５は、タイマＴＣが計時する現在時刻とスケジュールＤＢ４１に登録されているスケジュールとに従って、広告映像ＤＢ４２から表示対象の広告映像を読み出し、ディスプレイ装置２に供給する。ディスプレイ装置２は、供給された広告映像を表示する。

一方、撮像装置３は、前方の画像を撮影し、例えば、１／３０秒のフレーム周期でフレーム画像を取得し、顔画像抽出装置６に送信する。顔画像抽出装置６は前述の処理を実行して、その結果（顔画像）を人物属性推定装置７に送信する。人物属性推定装置７は前記顔画像に基づいて、前記顔画像に係る人物５の年齢・性別（属性情報）を推定し、その結果をビデオ制御装置４に送信する。

ビデオ制御装置４が人物属性推定装置７から属性情報を受信すると、制御部４５は図１１に示すような処理を行う。

まず、制御部４５は、スケジュールＤＢ４１に記述された配信スケジュールによる広告映像の配信を中止する（ＳＴＥＰ１１）。

次に、制御部４５は、広告映像ＤＢ４２を検索して、人物属性推定装置７から受信した属性情報に見合う属性情報を持つ広告映像（対応映像）を読み出し（ＳＴＥＰ１２）、ディスプレイ装置２に配信する（ＳＴＥＰ１３）。前記対応映像の表示が終了したら（ＳＴＥＰ１４；ＹＥＳ）、前記配信スケジュールによる広告映像の配信を再開して（ＳＴＥＰ１５）、処理を終わる。

以上説明したように、電子広告装置１は顔画像抽出装置６を備えて、撮像装置３が捉えた画像の中から、電子広告装置１が表示する広告映像に特別な関心を持つ人物の顔画像を抽出して、その人物の年齢・性別等を人物属性推定装置７を介して、ビデオ制御装置４にフィードバックすることができる。そのため、電子広告装置１による広告の効果を高めることができる。

なお、本発明の技術的範囲は、本実施形態に限定されるものではない。特許請求の範囲に示された技術的思想の範囲で、種々の応用変形ができることは言うまでもない。

また、本実施形態の説明では、説明の便宜のために、顔画像抽出装置６の各構成要素（例えば、抽出範囲切り出し部６２）が独立したハードウェアを備えるかのように図示したが、本発明の顔画像抽出装置は係る構成のものに限定されない。前記各構成要素をソフトウェアで実現して、１台のコンピュータで顔画像抽出装置を構成することも当然可能である。同様に、電子広告装置の構成要素の全部又は１部をソフトウェアで実現して、１台のコンピュータで電子広告装置を構成することができることも言うまでもない。

また、本実施形態では、人物属性推定装置７で、顔画像抽出装置６が抽出した顔画像に基づいて、人物５の性別年齢等を推定して、ビデオ制御装置４にフィードバックする例を示したが、本発明の電子広告装置はかかる構成のものに限定されない。つまり、顔画像抽出装置６が抽出した顔画像の利用の仕方によって、本発明の技術的範囲は限定されない。あるいは、顔画像抽出装置６が抽出した顔画像を媒体に記録して、あるいは通信手段を使って、外部のシステム（つまり、電子広告装置１以外のシステム）で利用するものも、本発明の技術的範囲に包含される。

顔画像抽出装置を備える電子広告装置の概念的な構成図である。 顔画像抽出装置の概念的な構成図である。 抽出範囲設定部の機能を説明する図である。 抽出範囲切り出し部の機能を説明する図である。 正面画像抽出の原理を説明する図である。 近接顔画像選択の原理を説明する図である。 顔画像抽出プログラムの例を示すフローチャートである。 ビデオ制御装置の概念的な構成図である。 スケジュール情報の構成例を示す図である。 広告映像情報の構成例を示す図である。 広告映像の変更処理プログラムの例を示すフローチャートである。

符号の説明

１ 電子広告装置
２ ディスプレイ装置
３ 撮像装置
４ ビデオ制御装置
５ 人物
６ 顔画像抽出装置
７ 人物属性推定装置
８ 画像
９ 部分画像
４１ スケジュールデータベース
４２ 広告映像データベース
４３ 入出力インターフェイス
４４ 入力出部
４５ 制御部
６１ 抽出範囲設定部
６２ 抽出範囲切り出し部
６３ 正面顔画像抽出部
６４ 近接顔画像選択部

Claims (7)

1. 原画像から人物の顔画像を抽出する顔画像抽出装置において、
   前記原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段と、
   前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段と、
   を備えることを特徴とする顔画像抽出装置。
2. 前記正面顔画像抽出手段が抽出した顔画像の中から、前記原画像を撮像した撮像手段に最も近い画像を選択する近接顔画像選択手段を備える
   ことを特徴とする請求項１に記載の顔画像抽出装置。
3. 前記抽出範囲切り出し手段が切り出す画像は、前記原画像の中心をその中心とする部分画像である
   ことを特徴とする請求項１に記載の顔画像抽出装置。
4. 前記所定の範囲を、ユーザが任意に設定する抽出範囲設定手段を備える
   ことを特徴とする請求項１に記載の顔画像抽出装置。
5. 画像表示装置と、
   前記画像表示装置が表示した映像を観覧する人物を撮像する撮像手段と、
   前記撮像手段が撮像した原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段と、
   前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段と、
   を備えることを特徴とする電子広告装置。
6. 原画像から人物の顔画像を抽出する顔画像抽出方法において、
   前記原画像から所定の範囲の画像を切り出す抽出範囲切り出しステップと、
   前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出ステップと、
   を有することを特徴とする顔画像抽出方法。
7. コンピュータにインストールされて、当該コンピュータを、
   原画像から所定の範囲の画像を切り出す抽出範囲切り出し手段、
   前記抽出範囲切り出し手段で切り出された画像から正面向きの顔画像を抽出する正面顔画像抽出手段、
   として機能させるコンピュータプログラム。
   

Images