JP2011180917A

JP2011180917A - 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム

Info

Publication number: JP2011180917A
Application number: JP2010045744A
Authority: JP
Inventors: Takayuki Kodaira; 孝之小平; Satoshi Imaizumi; 聡今泉
Original assignee: NEC Solution Innovators Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2010-03-02
Filing date: 2010-03-02
Publication date: 2011-09-15
Anticipated expiration: 2030-03-02
Also published as: CN102783174A; WO2011108183A1; JP5115763B2; HK1178354A1; US20120321197A1; CN102783174B; US8971635B2

Abstract

【課題】人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出する。
【解決手段】上体特徴データ記憶部１１０は、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶している。上体検出部１４０は、上体特徴データ記憶部１１０が記憶している複数の上体方向特徴データを方向データに対応付けて読み出し、複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する。
【選択図】図１

Description

本発明は、画像から人物像を抽出する画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラムに関する。

不特定の通行人が通る場所に画像表示装置を設置し、この画像表示装置を介して通行人に情報を提供する、というサービス（以下、デジタルサイネージと記載）が広がっている。このようなサービスに関する技術の一つに、特許文献１に記載の技術がある。この技術は、通行人の顔、半身、又は全身の画像情報を取得し、この画像情報から顔の構成をパラメータ化して特徴量として抽出し、抽出した特徴量に基づいて通行人に提供すべき情報を決定するものである。

特開２００３−２７１０８４号公報

デジタルサイネージにおいて、画像表示装置の前を通行する人の数と、通行人の体の向きを検出することは、情報提供の効果を測定する上で重要である。従来は、画像データから直接顔画像を抽出していたため、例えば後ろ向きの人など、画像データに顔が十分に移っていない人を検出することは難しかった。このようなことから、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる技術を開発することが望まれている。

本発明の目的は、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラムを提供することにある。

本発明によれば、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備える画像処理装置が提供される。

本発明によれば、映像コンテンツを記憶しているコンテンツ記憶手段と、
通信網を介して前記コンテンツ記憶手段が記憶している前記映像コンテンツを受信し、受信した前記映像コンテンツを表示する画像表示装置と、
前記画像表示装置の前を撮像して画像データを生成する撮像装置と、
通信網を介して前記画像データを受信して処理する画像処理装置と、
を備え、
前記画像処理装置は、
人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、前記画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備えるコンテンツ配信システムが提供される。

本発明によれば、画像データを取得する画像取得手段と、
前記画像取得手段が取得した画像データから、画像データから人物の上体を示す上体画像データを抽出するとともに、当該上体画像データが示す上体の向きを特定する画像処理手段と、
を備える画像処理装置が提供される。

本発明によれば、コンピュータが、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶しておき、
前記コンピュータが、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する、画像処理方法が提供される。

本発明によれば、コンピュータを画像処理装置として機能させるプログラムであって、
前記コンピュータに、
人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する機能と、
前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する機能と、
を実現させるプログラムが提供される。

本発明によれば、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出できる。

第１の実施形態にかかる画像処理装置の構成を示すブロック図である。上体特徴データ記憶部が記憶しているデータの構成をテーブル形式で示す図である顔特徴データ記憶部が記憶しているデータの構成をテーブル形式で示す図である。顔画像記憶部が記憶しているデータの構成をテーブル形式で示す図である。図１に示した画像処理装置の動作を示すフローチャートである。顔画像記憶部が記憶しているデータの構成の変形例を示す図である。第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。上体画像記憶部が記憶しているデータの構成をテーブル形式で示す図である。図７に示した画像処理装置の動作を示すフローチャートである。第３の実施形態に係る画像処理装置の機能構成を示すブロック図である。属性データ記憶部が記憶しているデータをテーブル形式で示す図である。顔画像記憶部が記憶しているデータをテーブル形式で示す図である。第４の実施形態に係る画像処理装置機能構成を示すブロック図である。視聴率記憶部が記憶しているデータをテーブル形式で示す図である。視聴率算出部の動作を示すフローチャートである。第５の実施形態に係るコンテンツ配信システムの構成を示す図である。画像処理装置の機能構成を示すブロック図である。表示制御部が行う処理の一例を説明するためのフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また以下の各実施形態において「記憶」には、メモリ上に一時的に記憶する場合と、ハードディスクなどに記憶させて保存する場合の双方が含まれる。このため、記憶部は、ハード構成上は、メモリである場合や、ハードディスクやストレージ等である場合などがある。

また以下の各実施形態において、上体方向特徴データとは、画像データから人の上体を抽出するときに用いられるデータである。詳細には、上体方向特徴データは、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示すデータである。また方向データとは、人の上体や顔がどの方向を向いているかを示すデータである。顔特徴データは、画像データから人の顔を抽出するときに用いられるデータである。動画識別情報は、画像処理装置１００が処理する動画データを互いに識別するためのデータである。

（第１の実施形態）
図１は、第１の実施形態にかかる画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、上体特徴データ記憶部１１０及び上体検出部１４０を供えている。上体特徴データ記憶部１１０は、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶している。ここで上体とは、例えば人体のうち頭部及び両肩を含む部分を指す。上体検出部１４０は、上体特徴データ記憶部１１０が記憶している複数の上体方向特徴データを方向データに対応付けて読み出し、複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する。

また画像処理装置１００は、顔特徴データ記憶部１２０、画像データ取得部１３０、顔画像検出部１５０、及び顔画像記憶部１６０を備えている。

顔特徴データ記憶部１２０は、人物の顔であることを示し、かつ当該顔が特定の方向を向いていることを示す顔方向特徴データを方向データに対応付けて記憶している。

画像データ取得部１３０は、画像処理装置１００が処理する画像データを、その画像データを他の画像データから識別する画像識別情報に対応付けて取得する。画像データは、静止画を示す画像データであってもよいし、動画の各フレームを示す複数の画像データであってもよい。

顔画像検出部１５０は、上体画像データを、当該上体画像データを抽出するときに用いた上体方向特徴データに対応する方向データに対応付けて取得し、取得した方向データに対応する顔特徴データを顔特徴データ記憶部１２０から読み出す。そして顔画像検出部１５０は、読み出した顔特徴データを用いて上体画像データから人物の顔を示す顔画像データを抽出する。ただし顔画像検出部１５０は、取得した方向データに対応していない顔特徴データを用いて、顔画像データを抽出してもよい。

顔画像記憶部１６０は、顔画像検出部１５０が検出した顔画像データを記憶する。顔画像記憶部１６０は、顔画像データを、この顔画像データを抽出するときに用いられた顔方向特徴データに対応する方向データに対応付けて記憶してもよい。

なお、図１に示した画像処理装置１００の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。画像処理装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。

図２は、上体特徴データ記憶部１１０が記憶しているデータの構成をテーブル形式で示す図である。上体特徴データ記憶部１１０は、複数の向き（角度）別に、その向きを向いている人物の上体画像の特徴データ（上体方向特徴データ）を記憶している。上体方向特徴データのデータ構成は、その上体方向特徴データに対応している向きによって異なっていてもよい。例えば上体方向特徴データは、両手の写り方、胴体の形状、顔の形状、及び目の数等によって定められる。

図３は、顔特徴データ記憶部１２０が記憶しているデータの構成をテーブル形式で示す図である。顔特徴データ記憶部１２０は、複数の向き（角度）別に、その向きを向いている人物の顔画像を抽出するときに用いられる特徴データ（顔特徴データ）を記憶している。顔特徴データは、例えば顔の形状、及び目の数等によって定められる。

図４は、顔画像記憶部１６０が記憶しているデータの構成をテーブル形式で示す図である。顔画像記憶部１６０は、画像識別情報別に、その画像識別情報に対応する画像データから抽出された顔画像データを記憶している。図４に示す例では、画像データは動画データを構成する各フレームである。そのため画像識別情報は、動画データを識別するための動画識別情報と、フレームを特定するための情報（例えば時刻情報）によって構成されている。また顔画像記憶部１６０は、顔画像データを、その顔画像データに対応する方向データに対応付けて記憶している。例えば顔画像記憶部１６０は、図４に示すテーブルを、画像識別情報別かつ方向データ別に有している。

図５は、図１に示した画像処理装置１００の動作を示すフローチャートである。本図を含め、これ以降に説明する各処理は、即時に行われてもよいし、バッチ処理によって適切なタイミングで行われてもよい。

まず画像処理装置１００の画像データ取得部１３０は、画像データを画像識別情報に対応付けて取得する（ステップＳ１０）。上体検出部１４０は、画像データ取得部１３０が取得した画像データ及び画像識別情報を取得する。次いで上体検出部１４０は、いずれかの上体方向特徴データを方向データに対応付けて上体特徴データ記憶部１１０から読み出す（ステップＳ２０）。次いで上体検出部１４０は、読み出した上体方向特徴データを用いて画像データを処理することにより、上体画像データを抽出する（ステップＳ３０）。次いで上体検出部１４０は、抽出した上体画像データを顔画像検出部１５０に出力する。このとき上体検出部１４０は、画像識別情報、及びステップＳ２０で読み出した上体方向特徴データに対応する方向データを、上体画像データに対応付けて顔画像検出部１５０に出力する。

次いで顔画像検出部１５０は、上体検出部１４０から取得した方向データに対応する顔方向特徴データを顔特徴データ記憶部１２０から読み出す（ステップＳ４０）。次いで顔画像検出部１５０は、読み出した顔方向特徴データを用いることにより、上体検出部１４０から取得した上体画像データから顔画像データを抽出する（ステップＳ５０）。そして顔画像検出部１５０は、抽出した顔画像データを、上体検出部１４０から取得した画像識別情報及び方向データに対応付けて顔画像記憶部１６０に記憶させる（ステップＳ６０）。ただし上述したように顔画像検出部１５０は、取得した方向データに対応していない顔特徴データを用いて、顔画像データを抽出してもよい。

画像処理装置１００は、ステップＳ２０〜ステップＳ６０に示した処理を、全ての上体方向特徴データに対して行う（ステップＳ６２）。

次に、本実施形態の作用及び効果について説明する。本実施形態において画像処理装置１００の上体特徴データ記憶部１１０には、方向データ別に、その方向に対応する上体方向特徴データが記憶されている。そして上体検出部１４０は、上体特徴データ記憶部１１０が記憶している上体方向特徴データを用いて、画像データから上体画像データを抽出する。従って、人の向きによらずに人物像を精度よく検出し、かつこの人の体の向きを検出することができる。

また顔画像検出部１５０は、上体検出部１４０が検出した上体画像データから顔画像データを検出している。このようにすると、画像データから直接顔画像を検出する場合と比較して、精度よく顔画像データを検出することができる。

なお図６に示すように、顔画像記憶部１６０は、顔画像データを、その顔画像データを抽出するときに用いた顔特徴データに対応している方向データ（顔方向）のみではなく、
その顔画像データを抽出した上体画像データに対応している方向データ（上体方向）にも対応付けて記憶してもよい。

（第２の実施形態）
図７は、第２の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態に係る画像処理装置１００の機能構成は、上体画像記憶部１４５を有している点を除いて、第１の実施形態に係る画像処理装置１００と同様の構成である。上体画像記憶部１４５は、上体検出部１４０が検出した上体画像データを、当該上体画像データを抽出するときに用いた上体方向特徴データに対応する方向データに対応付けて記憶している。

図８は、上体画像記憶部１４５が記憶しているデータの構成をテーブル形式で示す図である。上体画像記憶部１４５は、画像識別情報別に、その画像識別情報に対応する画像データから抽出された上体画像データを記憶している。画像識別情報の構成は、第１の実施形態において図４を用いて説明した構成と同様である。また上体画像記憶部１４５は、上体画像データを、その上体画像データに対応する方向データに対応付けて記憶している。例えば上体画像記憶部１４５は、図８に示すテーブルを、画像識別情報別かつ方向データ別に有している。

図９は、図７に示した画像処理装置１００の動作を示すフローチャートである。本実施形態において、上体画像データを抽出するまでの処理（ステップＳ１０〜ステップＳ３０）は第１の実施形態において図５を用いて説明した処理と同様であるため、説明を省略する。

上体検出部１４０は上体画像データを抽出すると、抽出した上体画像データを、画像識別情報及び方向データに対応付けて上体画像記憶部１４５に記憶させる（ステップＳ３２）。そして上体検出部１４０は、ステップＳ２０〜ステップＳ３２に示した処理を、全ての上体方向特徴データに対して行う（ステップＳ３４）。

その後顔画像検出部１５０は、特定の方向データに対応している上体画像データのみを読み出す。すなわち顔画像検出部１５０は、予め定められた少なくとも一つの方向データ、例えば後ろ向き（１８０°）や横向き（９０°，２７０°）に対応付けられている上体画像データを読み出さず、残りの方向データ、例えば正面向き（０°）に対応付けられている上体画像データを読み出す（ステップＳ３６）。

その後の処理（ステップＳ４０〜ステップＳ６０）は、第１の実施形態と同様であるため説明を省略する。

本実施形態によっても、第１の実施形態と同様の効果を得ることができる。また上体画像記憶部１４５を有しているため、抽出した上体画像データとその方向を示す方向データを用いて、上体画像データを処理することができる。例えば図９に示す例では、顔画像検出部１５０は、全ての上体画像データに対して顔画像の抽出処理を行うのではなく、特定の方向、例えば正面を向いている上体画像データに対してのみ顔画像データの抽出処理を行う。このため、画像処理装置１００の負荷を少なくすることができる。

（第３の実施形態）
図１０は、第３の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態における画像処理装置１００は、属性検出部１７０及び属性データ記憶部１７５を有している点を除いて、第１又は第２の実施形態に係る画像処理装置に示す画像処理装置１００と同様の構成である。なお図１０は、第２の実施形態と同様の場合を示している。

属性データ記憶部１７５は、属性別、例えば年齢別及び性別に顔の特徴を示す属性特徴データを、例えば方向データ別に記憶している。属性検出部１７０は、属性データ記憶部１７５が記憶している属性特徴データを読み出して用いることにより、顔画像記憶部１６０が記憶している顔画像データを年齢別かつ性別に分類する。

具体的には属性検出部１７０は、顔画像記憶部１６０から顔画像データを方向データに対応付けて読み出す。そして属性検出部１７０は、顔画像記憶部１６０から読み出した方向データに対応する属性特徴データを、属性データ記憶部１７５から読み出す。そして属性検出部１７０は、属性データ記憶部１７５から読み出した特徴データを用いることにより、顔画像記憶部１６０から読み出した顔画像データの属性を示すデータを定める。そして属性検出部１７０は、属性を示すデータを、その顔画像データに対応させて顔画像記憶部１６０に記憶させる。

なお属性検出部１７０が行う処理は、予め定められた方向データ、例えば正面を向いていることを示す方向データに対応している顔画像データに対してのみ行われてもよい。

図１１は、属性データ記憶部１７５が記憶しているデータをテーブル形式で示す図である。本図に示すように属性データ記憶部１７５は、年齢層別及び性別に顔の特徴を示す属性特徴データを、方向データに対応付けて記憶している。なお本図に示す例では、年齢層は１０歳単位で区切られているが、年齢層を定義する単位はこれに限定されない。また本図に示す例では属性データ記憶部１７５は、方向データが０°、すなわち正面を向いているときに用いられる特徴データを記憶しているが、他の方向を向いているときに用いられる特徴データをさらに記憶していてもよい。

図１２は、本実施形態における顔画像記憶部１６０が記憶しているデータをテーブル形式で示す図である。本実施形態において顔画像記憶部１６０は、図４に示したデータに加えて、さらに属性を示すデータを顔画像データに対応付けて記憶している。

本実施形態によっても第１又は第２の実施形態と同様の効果を得ることができる。また顔画像データに属性を示すデータが対応付けられるため、どのような属性の人がどの方向を向いているかを分析することができる。また属性データ記憶部１７５は方向データ別に属性データを記憶しているため、属性検出部１７０は、高い精度で顔画像データ別に属性を定めることができる。

（第４の実施形態）
図１３は、第４の実施形態に係る画像処理装置１００の機能構成を示すブロック図である。本実施形態に係る画像処理装置１００は、以下の点を除いて第２又は第３の実施形態のいずれかと同様の構成である。なお図１３は、第３の実施形態と同様の場合を示している。

本実施形態において画像データは、画像表示装置の前を撮像することにより生成されている。そして複数の方向データは、視認方向データと非視認方向データとに分けられている。視認方向データは、上体画像データが示す上体が画像表示装置を向いていることを示すものであり、非視認方向データは、上体画像データが示す上体が画像表示装置を向いていないことを示している。

そして画像処理装置１００は、視聴率算出部１８０及び視聴率記憶部１８５を備えている。視聴率算出部１８０は、上体画像記憶部１４５が記憶している上体画像データを用いて、画像表示装置の視聴率を算出する。視聴率は、例えば、上体画像データの総数に対する、視認方向データに対応している上体画像データの数の比率として算出される。画像処理装置１００が複数存在している場合、視聴率記憶部１８５は、画像処理装置１００の識別情報別に視聴率を算出する。視聴率記憶部１８５は、視聴率算出部１８０が算出した視聴率を、日時を示す情報に対応付けて記憶する。

図１４は、視聴率記憶部１８５が記憶しているデータをテーブル形式で示す図である。視聴率記憶部１８５は、日別かつ時間帯別に視聴率を記憶している。画像処理装置１００が複数存在している場合、視聴率記憶部１８５は、画像処理装置１００の識別情報別に、日別かつ時間帯別の視聴率を記憶してもよい。ただし、視聴率の単位はこれに限定されず、画像処理装置１００の識別情報別ではなく全体的な視聴率を記憶してもよい。

図１５は、視聴率算出部１８０の動作を示すフローチャートである。視聴率算出部１８０は、予め決められたタイミングで、本図に示す処理を行う。

まず視聴率算出部１８０は、予め決められた時間帯別に、上体画像記憶部１４５が記憶している上体画像データの数を集計する。これにより、上体画像データの総数すなわちその時間帯に画像処理装置の前を通った人の総数が算出される（ステップＳ１１０）。

次いで視聴率算出部１８０は、予め決められた時間帯別に、上体画像記憶部１４５が記憶している上体画像データのうち視認方向データに対応している上体画像データの数を集計する。これにより、その時間帯に画像処理装置を視認したと推定される人の数が算出される（ステップＳ１２０）。

次いで視聴率算出部１８０は、ステップＳ１２０で算出した数をステップＳ１１０で算出した数で除することにより、予め決められた時間帯別に視聴率を算出する（ステップＳ１３０）。その後視聴率算出部１８０は、視聴率記憶部１８５に、時間帯別の視聴率を記憶させる（ステップＳ１４０）。

本実施形態によっても、第２又は第３の実施形態と同様の処理を行い、これらと同様の効果を得ることができる。また視聴率算出部１８０が視聴率を算出しているが、この視聴率は、上体画像データの数に基づいて算出されている。すなわち本実施形態において視聴率の母数となるデータには、例えば横向きや後ろ向きの人など、顔検出のみでは検出することが難しい人物も含まれる。従って、高い精度で視聴率を算出することができる。

また非視認方向データに対応している上体画像データの数等を分析することにより、画像処理装置の前を通る人が画像処理装置を視認しない理由を推定できる場合もある。

なお本実施形態において、画像処理装置１００が処理する画像データは、展示スペースを撮像することにより生成されてもよい。この場合、画像処理装置１００を用いることにより、展示スペースの視聴率、すなわち展示スペースの前を通った人の総数に対する展示スペースを視認した人の割合を算出することができる。

また顔画像記憶部１６０が図６に示すデータ構成を有していた場合、視聴率算出部１８０は、顔画像記憶部１６０が記憶しているデータを用いて視聴率を算出してもよい。この場合、視聴率算出部１８０は、上体の方向と顔の方向の組み合わせに基づいて、視聴率を個別に算出することができる。この場合、顔特徴データ記憶部１２０は、上体画像データが示す上体の向きから独立した状態で、顔の向き別に顔特徴データを記憶している。そして顔画像データ検出部１５０は、顔画像データを検出するときに用いた顔特徴データに対応する顔の向きを、顔画像記憶部１６０に記憶させる。

例えば視聴率算出部１８０は、上体と顔の双方が画像表示装置の正面を向いていた顔画像データの数を予め定められた時間帯別に算出し、この数を、第１の視聴率を算出するときの分子としてもよい。また視聴率算出部１８０は、顔のみが画像表示装置の正面を向いていた顔画像データの数を予め定められた時間帯別に算出し、この数を、第２の視聴率を算出するときの分子としてもよい。なお、第１の視聴率及び第２の視聴率を算出する場合のいずれにおいても、視聴率の分母は、顔画像記憶部１６０が記憶している顔画像データの総数を予め定められた時間帯別に算出することにより、定められる。これらの場合は、例えば画像処理装置１００は第1の実施形態と同様の構成をとることもできる。

（第５の実施形態）
図１６は、第５の実施形態に係るコンテンツ配信システムの構成を示す図である。このコンテンツ配信システムは、画像処理装置１００、コンテンツ配信装置２００、画像表示装置３００、及び撮像装置４００を備えている。

コンテンツ配信装置２００は映像コンテンツを記憶しており、この映像コンテンツを、インターネット等の通信網１０を介して画像表示装置３００に送信する。画像表示装置３００は、コンテンツ配信装置２００から受信した映像コンテンツを表示する。撮像装置４００は、画像表示装置３００の前を撮像して画像データ、例えば動画データを生成し、生成した画像データを、即時に通信網１０を介して画像処理装置１００に送信する。画像処理装置１００は、撮像装置４００から受信した画像データに対して、第４の実施形態に示した処理を行う。

図１７は、本実施形態における画像処理装置１００の機能構成を示すブロック図である。本実施形態における画像処理装置１００は、以下の点を除いて第４の実施形態に示した画像処理装置１００と同様の構成である。

まず、画像データ取得部１３０は、撮像装置４００から画像データを受信する。そして上体検出部１４０は、受信した画像データを即時に処理して上体画像データを抽出する。

また画像処理装置１００は、表示制御部１９０を備えている。表示制御部１９０は、上体検出部１４０が検出した上体画像データのうち視認方向データに対応している上体画像データの数や、抽出された上体画像データに対応している方向データに基づいて、画像表示装置３００を制御する。

図１８は、表示制御部１９０が行う処理の一例を説明するためのフローチャートである。画像処理装置１００の画像データ取得部１３０が画像データを取得する（ステップＳ１１０）と、上体検出部１４０は、視認方向データに対応している上体方向特徴データを即時に読み出す（ステップＳ１２０）。次いで上体検出部１４０は、ステップＳ１２０で読み出した上体方向特徴データを用いることにより、ステップＳ１１０で取得した画像データから上体画像データを抽出する処理を行う（ステップＳ１３０）。上体画像データが抽出された場合（ステップＳ１４０：Ｙｅｓ）、表示制御部１９０は処理を行わない。上体画像データが抽出されなかった場合（ステップＳ１４０：Ｎｏ）、表示制御部１９０は、画像表示装置３００を制御する（ステップＳ１５０）。ここで行う制御は、例えば画像表示装置３００の音声を大きくする処理や、画像表示装置３００の表示を中止する処理がある。

また表示制御部１９０は、抽出された上体画像データに対応している方向データに基づいて、画像表示装置３００を制御する場合、上体検出部１４０は、全ての上体方向特徴データを用いて、ステップＳ１１０で取得した画像データから上体画像データを抽出する処理を即時に行う。そして抽出した上体画像データに対応している方向データの集計結果に基づいて、画像表示装置３００の制御を行う。制御の内容には、例えば画像表示装置３００の音声を大きくする処理や、画像表示装置３００の表示を中止する処理がある。

本実施形態によっても、第４の実施形態と同様の効果を得ることができる。また表示制御部１９０は、視認方向データに対応している上体画像データの数に基づいて、画像表示装置３００を制御する。従って、画像表示装置３００を視認している人の数に基づいて、画像表示装置３００を制御することができる。

なお、映像コンテンツが属性を示すデータ（性別や年齢層）に対応付けられている場合、画像処理装置１００はコンテンツ配信装置２００を制御してもよい。例えば画像処理装置１００は、ステップＳ１３０で抽出された上体画像データから顔画像データを抽出し、この顔画像データに対応する属性を示すデータを認識する。そして画像処理装置１００はコンテンツ配信装置２００に、認識した属性に対応する映像コンテンツを画像表示装置３００に配信させる。このようにすると、画像表示装置３００を注視している人の属性に合わせて、画像表示装置３００に映像コンテンツを表示させることができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

１０通信網
１００画像処理装置
１１０上体特徴データ記憶部
１２０顔特徴データ記憶部
１３０画像データ取得部
１４０上体検出部
１４５上体画像記憶部
１５０顔画像検出部
１６０顔画像記憶部
１７０属性検出部
１７５属性データ記憶部
１８０視聴率算出部
１８５視聴率記憶部
１９０表示制御部
２００コンテンツ配信装置
３００画像表示装置
４００撮像装置

Claims

人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備える画像処理装置。
請求項１に記載の画像処理装置において、
前記上体検出手段が検出した前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶する上体画像記憶手段を備える画像処理装置。
請求項１又は２に記載の画像処理装置において、
人物の顔であることを示す顔方向特徴データを前記方向データに対応付けて記憶する顔特徴データ記憶手段と、
前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて取得し、取得した前記方向データに対応する前記顔方向特徴データを前記顔特徴データ記憶手段から読み出し、読み出した前記顔方向特徴データを用いて前記上体画像データから人物の顔を示す顔画像データを抽出する顔画像検出手段と、
前記顔画像検出手段が検出した顔画像データを記憶する顔画像記憶手段と、
を備える画像処理装置。
請求項３に記載の画像処理装置において、
前記顔画像検出手段は、予め定められた少なくとも一つの前記方向データに対応付けられている前記上体画像データを読み出さず、残りの前記方向データに対応付けられている前記上体画像データを読み出す画像処理装置。
請求項３又は４に記載の画像処理装置において、
属性別に顔の特徴を示す属性特徴データを記憶する属性データ記憶手段と、
前記属性データ記憶手段が記憶している前記属性特徴データを読み出して用いることにより、前記顔画像データを年齢別かつ性別に分類する属性検出手段をさらに備える画像処理装置。
請求項５に記載の画像処理装置において、
前記属性検出手段は、予め定められた前記方向データに対応している前記顔画像データのみを、年齢別かつ性別に分類する画像処理装置。
請求項１〜６のいずれか一つに記載の画像処理装置において、
前記画像データは、画像表示装置の前を撮像することにより生成されている画像処理装置。
請求項７に記載の画像処理装置において、
前記方向データは、前記上体画像データが示す上体が前記画像表示装置を向いていることを示す視認方向データと、前記画像表示装置を向いていないことを示す非視認方向データとに分けられており、
前記上体検出手段が検出した前記上体画像データを、当該上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶する上体画像記憶手段と、
前記上体画像記憶手段が記憶している前記上体画像データを用いて、前記上体画像データの総数に対する、前記視認方向データに対応する前記上体画像データの数の比率を視聴率として算出する視聴率算出手段をさらに備える画像処理装置。
請求項３に記載の画像処理装置において、
前記画像データは、画像表示装置の前を撮像することにより生成されており、
前記顔特徴データ記憶手段は、前記顔の向き別に前記顔特徴データを記憶しており、
前記顔画像記憶手段は、前記顔画像データを、当該顔画像データを抽出するときに用いた前記顔特徴データに対応する向き、及び当該顔画像データが抽出された前記上体画像データを抽出するときに用いた前記上体方向特徴データに対応する前記方向データに対応付けて記憶しており、
前記顔画像記憶手段が記憶している前記顔の向き及び前記方向データの組み合わせを用いて、前記画像表示装置を視認したと推定される前記顔画像データの数を算出し、前記顔画像データの総数に対する、前記算出した数の比率を視聴率として算出する視聴率算出手段をさらに備える画像処理装置。
請求項７〜９のいずれか一項に記載の画像処理装置において、
前記方向データは、前記上体画像データが示す上体が前記画像表示装置を向いていることを示す視認方向データと、前記画像表示装置を向いていないことを示す非視認方向データとに分けられており、
前記上体検出手段は、前記画像データを生成する撮像装置から即時に前記画像データを取得し、当該即時に取得した前記画像データから前記上体画像データを抽出し、
さらに、前記即時に取得した前記画像データから抽出され、かつ前記視認方向データに対応している前記上体画像データの数に基づいて、前記画像表示装置を制御する表示制御手段を備える画像処理装置。
請求項７〜１０のいずれか一項に記載の画像処理装置において、
前記上体検出手段は、前記画像データを生成する撮像装置から即時に前記画像データを取得し、当該即時に取得した前記画像データから前記上体画像データを抽出し、
さらに、前記即時に取得した前記画像データから抽出された前記上体画像データに対応している前記方向データに基づいて、前記画像表示装置を制御する画像処理装置。
画像データを取得する画像取得手段と、
前記画像取得手段が取得した画像データから人物の上体を示す上体画像データを抽出するとともに、当該上体画像データが示す上体の向きを特定する画像処理手段と、
を備える画像処理装置。
映像コンテンツを記憶しているコンテンツ記憶手段と、
通信網を介して前記コンテンツ記憶手段が記憶している前記映像コンテンツを受信し、受信した前記映像コンテンツを表示する画像表示装置と、
前記画像表示装置の前を撮像して画像データを生成する撮像装置と、
通信網を介して前記画像データを受信して処理する画像処理装置と、
を備え、
前記画像処理装置は、
人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する上体特徴データ記憶手段と、
前記上体特徴データ記憶手段が記憶している前記複数の上体方向特徴データを前記方向データに対応付けて読み出し、前記複数の上体方向特徴データそれぞれを用いることにより、前記画像データから人物の上体を示す上体画像データを抽出する上体検出手段と、
を備えるコンテンツ配信システム。
コンピュータが、人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶しておき、
前記コンピュータが、前記複数の前記上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する、画像処理方法。
コンピュータを画像処理装置として機能させるプログラムであって、
前記コンピュータに、
人物の上体であることを示し、かつ当該上体が特定の方向を向いていることを示す上体方向特徴データを、当該上体方向特徴データの方向を示す方向データに対応付けて複数の方向別に記憶する機能と、
前記複数の上体方向特徴データそれぞれを用いることにより、画像データから人物の上体を示す上体画像データを抽出する機能と、
を実現させるプログラム。