JP2007181070A - コンテンツ注目評価装置及びコンテンツ注目評価方法 - Google Patents

Abstract

【課題】広告や番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できるコンテンツ評価装置及びコンテンツ評価方法を提供する。
【解決手段】本発明のコンテンツ評価装置は、カメラ１５０ａ〜ｃが撮影した画像から動領域を検出する動領域検出部２０２ａと、該動領域が人物であるか否かを検出する人物検出部２０２ｂとを有する通行人物検出部２０２と、該人物の顔を検出する顔検出処理部２０３ａと、該顔の方向を検出する顔方向検出処理部２０３ｂとを有する注視人物検出部２０３とを備えたシステムサーバ２００と、通行人物検出部２０２により検出された通行人数を算出する通行人数算出部３０２と、注視人物検出部２０３により検出されたコンテンツの注視人数を算出する注視人数算出部３０５と、通行人数と注視人数とから該コンテンツの注視率を算出する注視率算出部３０６とを備えた集計センタサーバ３００とを有する。
【選択図】 図２

Description

本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置及びコンテンツ注目評価方法に関し、特に、コンテンツ媒体の前面に存在する人物全ての人数に対する該コンテンツに注目している人物の人数の比率を算出して、コンテンツの影響・効果を評価するコンテンツ注目評価装置及びコンテンツ注目評価方法に関する。

本来、広告やＴＶ放送等のコンテンツは、人々の注目をより多く引き付けて初めてその意義を発揮するものである。ゆえに、広告の出稿主やＴＶ放送のスポンサー等は、いかにして効率よく人々の注目を引き付けるように広告を企画し設置するか、若しくはいかに多くの人々に視聴されているＴＶ放送のスポンサーとなってＴＶコマーシャルの効果を高めるかということに強い問題意識を持つ。このため、コンテンツがどれだけ人々に注目されているかの評価に対して、広告の出稿主やＴＶ放送のスポンサーは高い関心を持っている。

このような背景の中で、コンテンツに対する人々の注目を評価する手法が種々考案されている。例えば特許文献１には、広告メディアの前方を撮影可能なカメラで撮影した画像から人間の顔を検出し、その検出された顔のうち該広告メディアを向いていると評価できる顔を検出して集計することによって、どれだけの人数が該広告メディアに注目したかを評価する広告メディア評価装置が開示されている。

また、特許文献２には、次の広告効果確認システムが開示されている。即ち広告番組に対する視聴者の反応を画像に撮影し、該画像が撮影された際の該広告番組の特徴を示すデータを付加して撮影された画像とともに分析装置へ送信する。該分析装置では、受信した画像自体を時系列に整理して出力するので、広告番組に対する視聴者の反応を目視により適時かつ容易に確認することを可能とするのみならず、受信した画像に含まれる視聴者の特徴的な反応を検出して計数することによって、どれだけの視聴者が広告番組に注目していたかを確認することができる。

特開２０００−２０９５７８号公報 特開平１１−１５３９７７号公報

しかしながら、上記特許文献１及び２に代表される従来技術では、広告メディアや広告番組に注目している絶対的な人数のみしか把握することができず、広告メディアや広告番組の前面を通過した人数のうちどれだけの人数が該広告メディアや広告番組に注目したかと言う比率を評価することができず、結果として評価自体の意義を十分に発揮できないという問題があった。

具体的には、上記特許文献１によれば、確かに広告メディアに注目した人数を把握することができるが、どれだけの人数が広告メディアの前面を通過した中でどれだけの人数が該広告メディアに注目したかという評価を下すことができず、広告メディアの効果を正当に評価することができなかった。例えば広告メディアに対して１０人が注目したという統計データが得られたとしても、該広告メディアの前面を通過した２０人中の１０人が該広告メディアに注目したという場合と、該広告メディアの前面を通過した１００人のうち１０人が該広告メディアに注目したという場合では、自ずと広告メディアの効果に対する評価結果は異なるものとなるが、このような厳密な評価を下すことが不可能であった。

また、上記特許文献２では、広告番組の効果が依然として目視により評価されなければならないという工程を含み、評価の客観性が維持できない。また、この従来技術によってもどれだけの視聴者が広告番組に注目していたかという統計を取ることができるが、上記特許文献１の従来技術と同様に、どれだけの人数が広告番組の前面を通過した中でどれだけの人数が該広告番組に注目したかという評価を下すことができず、広告番組の効果を正当に評価することができなかった。

さらに、上記特許文献２の技術では、視聴者の反応を示す画像を分析装置へ送信するため、人物を特定することが可能となり、視聴者のプライバシーの保護が十分に図れないという問題点があった。

これらのことから、広告メディアや広告番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できる方法の確立が極めて重要な課題となってきている。特に広告メディアや広告番組は、巨額の出稿費用を要することから、効果的でない方法によって視聴者に提供しても出稿費用の無駄となるため、出稿主は、いかに効果的に広告メディアや広告番組を提供するかについて極めて強い関心を持っている。そして効果的に広告メディアや広告番組を提供する指針として、広告メディアや広告番組の効果のより客観的な評価方法の確立が待ち望まれていた。

本発明は、上記問題点（課題）を解消するためになされたものであって、広告メディアや広告番組の視聴者のプライバシーを保護しつつ広告メディアや広告番組の効果をより客観的に評価できるコンテンツ評価装置及びコンテンツ評価方法を提供することを目的とする。

上述した問題を解決し、目的を達成するため、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、前記画像に撮像された人物を検出する人物検出手段と、前記人物検出手段により検出された人物の数を計数する人数計数手段と、前記人物検出手段により検出された人物の顔を検出する顔検出手段と、前記顔検出手段により顔が検出された人物の顔方向を検出する顔方向検出手段と、前記顔方向検出手段により検出された人物の顔方向のうち前記コンテンツを注目する顔方向である人物の数を計数するコンテンツ注目数計数手段と、前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除したコンテンツ注目率を算出する注目率算出手段とを備えたことを特徴とする。

また、本発明は、上記発明において、前記人数計数手段により計数された人物の数及び前記コンテンツ注目数計数手段により計数された人物の数を記憶する記憶手段をさらに備え、前記注目率算出手段は、前記記憶手段に記憶される前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除して前記コンテンツ注目率を算出することを特徴とする。

また、本発明は、上記発明において、前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物が該コンテンツ媒体を注目する時間を計時する注目時間計時手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記記憶手段は、前記注目時間計時手段により計時された前記時間を記憶することを特徴とする。

また、本発明は、上記発明において、前記注目時間計時手段は、前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に、該人物が該コンテンツ媒体を注目する時間を計時し、前記記憶手段は、前記注目時間計時手段により計時された前記時間を、前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶することを特徴とする。

また、本発明は、上記発明において、前記記憶手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶される前記時間の和を前記コンテンツ媒体を注目する顔方向であると検出された全人物の数で除して平均注目時間を算出する平均注目時間算出手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記顔検出手段により顔が検出された人物の顔の属性を判定する顔属性判定手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記記憶手段は、前記顔属性判定手段により判定された顔の属性を記憶することを特徴とする。

また、本発明は、上記発明において、前記顔検出手段により顔が検出された人物の顔以外の部分の色を判定する色判定手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記記憶手段は、前記色判定手段により判定された色の情報をさらに記憶することを特徴とする。

また、本発明は、上記発明において、前記人数計数手段により計数された人物の数と前記コンテンツ注目数計数手段により計数された人物の数とに基づいて数値化された注目レベルを判定する注目レベル判定手段をさらに備えたことを特徴とする。

また、本発明は、上記発明において、前記コンテンツ注目評価装置は、前記撮像装置が接続される画像分析装置と、少なくとも一つの前記画像分析装置と通信可能に接続されたコンテンツ注目評価分析装置とから構成され、前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記憶手段を有することを特徴とする。

また、本発明は、コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、前記画像に撮像された人物を検出する人物検出工程と、前記人物検出工程により検出された人物の数を計数する人数計数工程と、前記人物検出工程により検出された人物の顔を検出する顔検出工程と、前記顔検出工程により顔が検出された人物の顔方向を検出する顔方向検出工程と、前記顔方向検出工程により検出された人物の顔方向のうち前記コンテンツを注目する顔方向である人物の数を計数するコンテンツ注目数計数工程と、前記コンテンツ注目数計数工程により計数された人物の数を前記人数計数工程により計数された人物の数で除したコンテンツ注目率を算出する注目率算出工程とを含んだことを特徴とする。

本発明によれば、コンテンツ注目数計数手段により計数された人物の数を人数計数手段により計数された人物の数で除したコンテンツ注目率を算出する注目率算出手段を備えたので、該コンテンツに対する注目をより客観的に評価することができるという効果を奏する。

また、本発明によれば、人数計数手段により計数された人物の数及びコンテンツ注目数計数手段により計数された人物の数を記憶する記憶手段を備えたので、これらの数値を統計分析の用に供することができるという効果を奏する。

また、本発明によれば、顔方向検出手段によりコンテンツ媒体を注目する顔方向であると検出された人物が該コンテンツ媒体を注目する時間を計時する注目時間計時手段を備えたので、コンテンツを注目する時間を該コンテンツを注目する人数で平均する平均注目時間を算出することができ、より多様な方法でコンテンツ注目の評価を行うことができるという効果を奏する

また、本発明によれば、注目時間計時手段により計時された時間を統計分析の用に供することができるという効果を奏する。

また、本発明によれば、人物単位で注視時間を記憶するので、より精度の高い統計結果に基づき、より客観的な評価を行うことができるという効果を奏する。

また、本発明によれば、記憶手段によりコンテンツ媒体を注目する顔方向であると検出された人物毎に記憶される時間の和をコンテンツ媒体を注目する顔方向であると検出された全人物の数で除して平均注目時間を算出する平均注目時間算出手段を備えたので、より精度が高い平均注目時間を算出することができ、該平均注目時間に基づきより客観的な評価を行うことができるという効果を奏する。

また、本発明によれば、顔の属性を判定することにより、コンテンツ注目評価の指標をより多彩とし、より多面的な評価を行うことができるという効果を奏する。

また、本発明によれば、顔属性判定手段により判定された顔の属性を統計分析の用に供することができるという効果を奏する。

また、本発明によれば、色判定手段により判定された色の情報を統計分析の用に供することができるという効果を奏する。

また、本発明は、注目レベルによりコンテンツへの注目を客観的かつ直截的に分かりやすい数値に数値化して把握可能とすることができるという効果を奏する。

また、本発明は、コンテンツ注目評価装置に対して個人を特定可能な情報を送らず、該個人を特定可能な情報はあくまで撮像装置と画像分析装置との間でのみ授受されるのみであるので、個人情報を保護することができるコンテンツ注目評価装置を提供することができるという効果を奏する。

以下に添付図面を参照して、本発明に係るコンテンツ注目評価装置、コンテンツ注目評価システム及びコンテンツ注目評価方法の好適な実施例を詳細に説明する。本発明のコンテンツ注目評価装置及びコンテンツ注目評価システムは、コンテンツが多数の人間によって注目されうる場所、例えば駅構内施設に設置する場合に好適である。以下の実施例１〜４ではコンテンツを広告、コンテンツ媒体を広告看板とし、実施例５ではコンテンツをＴＶ放送番組、コンテンツ媒体をＴＶとすることとなる。

図１は、本発明の実施例１に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例１は、屋外における広告効果評価方法であって、該広告看板に対する通行人の注視率を算出する実施例である。同図に示すように、本方法は、広告看板の前面の広告看板エリアに存在する人物の数を把握し、これらの人物のうち視線が広告看板に向いている人物の数を数え、広告看板エリアに存在する人物の数に対する視線が広告看板に向いている人物の数の比率を算出して、当該広告看板の広告（コンテンツ）の広告効果を評価するものである。

具体的には、図１によれば、広告看板の前面で広告看板の広告を見ることが可能な広告看板エリア内（図１中の破線による長方形）には、Ａ〜Ｄの４人が存在している（広告看板エリアの通行）。そして、そのうちのＡ及びＣが広告看板を注視している。よって広告看板エリアの通行人物数α＝４人、広告看板の注視人数β＝２人、注視率（β／α）＝５０％となる。

従来のコンテンツ注目評価（広告効果評価）方法では、広告を見ている人数を計数することは可能であった。しかし広告を見ている絶対的な人数だけであると、広告に注目している人数が少ない場合にはこれが単に広告の前面に存在する人数が少ないためであるのか、若しくは広告の前面に存在する人数が多いにもかかわらず広告に注目している人数が少ないためであるのかが判然としなかった。

本発明は、かかる従来技術の問題点を解消するために、コンテンツ注目評価（広告効果評価）の指標を広告に注目している絶対的な人数とせず、広告に注目している人数を広告の前面に存在する人数で除した注目率としたところに特徴がある。

図２は、実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。同図によれば、通路の横に広告看板１００ａが配設された通路を通過する通行人物を撮影するための３台の広角カメラが該通路の所定位置に配置されている。即ち、広告看板１００ａ側から通路に存在する通行人物を撮影するカメラ１５０ａ、向かって左側に広告看板１００ａが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ１５０ｂ、向かって右側に広告看板１００ａが位置する当該通路上の配設位置から通路に存在する通行人物を撮影するカメラ１５０ｃがそれぞれの配設位置に存在する。

同図に示したカメラ領域ｒ１は、カメラ１５０ｂ及びカメラ１５０ｃにより通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ１５０ｂ又はカメラ１５０ｃにより撮影されることによって通行人物として検出され得る。また、カメラ領域ｒ１で検出された通行人物の顔方向が広告看板１００ａ方向を向くか否かが検出される。同様にカメラ領域ｒ２は、カメラ１５０ａにより通行人物の撮影が可能な領域である。カメラ領域ｒ２に存在する通行人物は、カメラ１５０ａによる撮影によってその存在が検出されることはもとより、通行人物の顔が広告看板１００ａ方向を向くか否かが検出される。これは、カメラ１５０ａが広告看板１００ａの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ１５０ａにより撮影されることによる。

カメラ１５０ａ、１５０ｂ、１５０ｃ及びシステムサーバ２００がケーブルＣを介して接続されている。少なくとも一つのシステムサーバ２００がネットワークＮを介して集計センタサーバ３００と接続されている。システムサーバ２００と集計センタサーバ３００は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ２００は、カメラ１５０ａ、１５０ｂ又は１５０ｃにより撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ１５０ａ、１５０ｂ及び１５０ｃは通行人物を含む画像を撮影して該画像をシステムサーバ２００へ送信する。システムサーバ２００では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ３００へ送信する。集計センタサーバ３００は、該属性データを集計し各種分析指標を算出する。即ち、個人を特定することができる画像情報は、システムサーバ２００及びカメラ１５０ａ、１５０ｂ、１５０ｃ間で閉じており、これら以外に送信されることもなければ取得されることもない。よって本実施例１の広告注目評価システムは、システムサーバ２００及びカメラ１５０ａ、１５０ｂ、１５０ｃにおいて集中的に個人情報保護を図るだけで個人情報の漏洩・拡散を防止できるシステムとなっている。

なお、本発明において個人情報保護の対象となる「個人を特定することができる情報」とは、人物を特定することができる顔画像を含んだ個人を映した画像である。これに対して、本発明において「個人を特定することができない情報」とは、「個人を特定することができる情報」である“個人を映した画像”から抽出した客観データである。例えば、通行人数、広告看板注視数、顔下領域の色、顔情報からの年代及び性別などは、何れも個人を特定することができない客観データである。“個人を映した画像”に関する画像データは、カメラ１５０ａ、１５０ｂ、１５０ｃ及びシステムサーバ２００で構成される閉じたコンピュータシステムの内部で処理されるだけであり、該閉じたコンピュータシステムの外へは一切送出・送信されない。該閉じたコンピュータシステムの外部、例えば集計センタサーバ３００へ送出・送信されるデータは、“個人を映した画像”に関する画像データから抽出された通行人数、広告看板注視数、顔下領域の色、顔情報からの年代及び性別などの客観データである。これらの客観データから個人を特定することは不可能であるために、本発明のコンテンツ注視評価システムは、個人情報を強く保護することができるシステムであると言うことができる。

次に、図２に示したシステムサーバ２００の構成について説明する。図３は、図２に示したシステムサーバ２００の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ２００は、主制御部２０１と、通行人物検出部２０２と、注視人物検出部２０３と、記憶部２０４と、キーボードなどの操作部２０６が接続される操作制御部２０５と、ディスプレイ装置などの表示部２０８が接続される表示制御部２０７と、外部とのデータ授受を制御するＩ／Ｆ部２０９とを有する。主制御部２０１はシステムサーバ２００全体の処理を制御する制御部である。具体的には、カメラ１５０からＩ／Ｆ部２０９を介して画像データを受け取って通行人物検出部２０２又は注視人物検出部２０３へ受け渡す処理を行い、通行人物検出部２０２又は注視人物検出部２０３から出力される情報を記憶部２０４へ受け渡したりＩ／Ｆ部２０９を介して集計センタサーバ３００へ送信したりする処理を行い、若しくは操作部２０６が受け付け操作制御部２０５で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部２０７を介して表示部２０８へ表示させる処理を実行する。

通行人物検出部２０２は、カメラ１５０により撮影された画像のフレーム差分から動領域を検出する動領域検出部２０２ａと、該移動領域が人物を示す矩形であるか否かを判定して人物を検出する人物検出部２０２ｂとを有する。注視人物検出部２０３は、人物検出部２０２ｂにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部２０３ａと、顔検出処理部２０３ｂにより検出された顔が向いている顔方向を検出する顔方向検出処理部２０３ｂとを有する。人物検出部２０２ｂ及び顔検出処理部２０３ａは、同一人物を重複して検出することを防止するため、検出済みの人物の画像データにフラグを立て、フラグが立っている人物は検出を行わないフラグ制御を行う。このフラグ制御によれば、新たに検出された人物にはフラグが立っておらず、既に検出済みの人物にはフラグが立っているため、新たに検出された人物と既に検出済みの人物とを区別することができる。

記憶部２０４は、不揮発性の磁気的記録装置であり、前述の顔方向検出処理部２０３ｂにより広告看板を注視する顔方向であると判定する顔方向の判定基準を格納する注視判断基準２０４ａを有する。具体的には、顔領域の縦横比率を判定し、当該画像を撮影したカメラ１５０と広告看板１００ａとの位置関係と撮影された画像に含まれる顔の縦横比率を判定して、顔方向が広告看板を注視するものであるか否かを判断する。例えばカメラ１５０ａが撮影した顔の場合、該カメラ１５０ａと広告看板１００ａとが同一方向を向く位置関係にあることから、縦横比率が人間の顔本来の比率に近ければ近いほど該顔が広告看板を注視している可能性が高い。他方でカメラ１５０ｂ若しくはカメラ１５０ｃが撮影した顔の場合、該カメラ１５０ｂ若しくはカメラ１５０ｃと広告看板１００ａとが垂直方向を向く位置関係にあることから、縦横比率が人間の顔本来の比率よりも縦長であればあるほど該顔が広告看板を注視している可能性が高い。

次に、図２に示した集計センタサーバ３００の構成について説明する。図４は、図２に示した集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通行人数算出部３０２と、通行人数登録部３０３と、注視人数登録部３０４と、注視人数算出部３０５と、注視率算出部３０６と、記憶部３０７と、キーボードなどの操作部３０９が接続される操作制御部３０８と、ディスプレイ装置などの表示部３１１が接続される表示制御部３１０と、外部とのデータ授受を制御するＩ／Ｆ部３１２とを有する。主制御部３０１は集計センタサーバ３００全体の処理を制御する制御部である。具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１２を介して属性データを受け取って通行人数算出部３０２又は注視人数算出部３０５へ受け渡す処理を行う。該属性データの授受を契機として通行人数算出部３０２は通行人数として画像に含まれていた人物の数を計数し、また注視人数算出部３０４は注視人数として画像に含まれていた広告看板を注視する顔角度の人物の数を計数し、注視率算出部３０６はこれら通行人数と注視人数とに基づいて注視率を算出する。また主制御部３０１は、通行人数登録部３０３又は注視人数登録部３０４から出力される情報を記憶部３０７へ受け渡す処理を行い、若しくは操作部３０９が受け付け操作制御部３０８で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３１０を介して表示部３１１へ表示させる処理を実行する。

通行人数算出部３０２は、システムサーバ２００から送信されてくる属性データから通行人物とされる人数を計数する。この計数結果は通行人数登録部３０３及び注視率算出部３０６へ受け渡される。また注視人数算出部３０５は、システムサーバ２００から送信されてくる属性データから注視人物とされる人数を計数する。この計数結果は注視人数登録部３０４及び注視率算出部３０６へ受け渡される。なお、通行人数算出部３０２及び注視人数算出部３０５は、１００ミリ秒毎に人数の計数を行う。即ち、１００ミリ秒間の画像フレームに含まれる通行人物又は注視人数を累計する。

通行人数登録部３０３は、通行人数算出部３０２により１００ミリ秒単位で計数された通行人数を記憶部３０７が有するＤＢ３０７ａに登録する処理を行い、注視人数登録部３０４は、注視人数算出部３０５により１００ミリ秒単位で計数された注視人数を記憶部３０７が有するＤＢ３０７ａに登録する処理を行う。注視率算出部３０６は、１００ミリ秒単位でＤＢ３０７ａに登録された通行人数及び注視人数を、１００ミリ秒単位で指定した連続する時間にわたってそれぞれ合計し、（注視人数の合計）÷（通行人数の合計）を計算して注視率を算出する。

記憶部３０７は、不揮発性の磁気的記録装置であり、１００ミリ秒毎の通行人数及び注視人数を登録するＤＢ３０７ａを有する。１００ミリ秒毎に１レコードが生成され、この１レコードに相当する１００ミリ秒に含まれる画像のフレームに撮影されている通行人数の累計及び注視人数の累計が登録されている。

次に、図４に示したＤＢ３０７ａに格納されるデータベーステーブルについて説明する。図５は、図４に示したＤＢ３０７ａに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「日時」、「通行人数」及び「注視人数」のカラムを持つ。そして１００ミリ秒単位にレコードが生成されている。例えば「日時」が“2005/11/15 15：30：45：200”であるレコードには、2005年11月15日15時30分45秒200ミリ秒から2005年11月15日15時30分45秒300ミリ秒までの１００ミリ秒間にカメラ１５０により撮影された画像のフレームに含まれる通行人及び広告看板の注視人それぞれの人数を計数した数値が格納される。通行人数の計数値“10”は「通行人数」のカラムに格納され、注視人数の計数値“2”は「注視人数」のカラムに格納される。１００ミリ秒を単位として注視率を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「通行人数」及び「注視人数」を合計して注視率＝（「注視人数」の合計値）÷（「通行人数」の合計値）を算出することができる。

このようにデータベーステーブルを構成し、「日時」、「通行人数」及び「注視人数」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、「日時」と共に変化する周辺照度や歩行環境などの周辺環境が広告看板への注視に与える影響を統計的に把握することができる。また、「日時」により特定可能な気温、天候、社会情勢（報道や争乱など）の外部的要因が広告看板への注視に与える影響を把握することができる。また、広告媒体としての広告看板自体の体裁やデザインや設置方法が該広告看板への注視に与える影響の把握が可能となる。このような注視の評価により、広告看板への注意喚起をより促すような広告看板の提示方法を確立し、効果の立証を行うことが可能となる。

次に、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける動領域検出方法について説明する。図６は、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける動領域検出方法の概略を説明する説明図である。同図に示すように、カメラ１５０によって撮影された画像は、連続するフレームを最小単位とする動画として構成されるため、ｎを自然数とするｎ番目のフレームｎとフレームｎの次フレームであるフレーム（ｎ＋１）に差分がある場合に、この差分によって動領域の存在を推定することができる。このようにして画像において動領域を検出することができる。

次に、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける人物識別方法について説明する。図７は、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける人物識別方法の概略を説明する説明図である。同図に示すように、人物の全身を頭部、胴体及び脚部の三つの部分に分け、それぞれの部分が顔領域ｆ、顔下領域１ｕｆ１及び顔下領域２ｕｆ２の領域比率と概ね一致すると見なしうるか否かを判定することによって、検出された動領域が人物であるか否かを判定する。具体的には、検出された動領域が顔領域ｆ、顔下領域１ｕｆ１及び顔下領域２ｕｆ２のそれぞれの矩形の組み合わせによって近似しうるか否かを判定し、近似しうると判定する場合に該動領域は人物であると見なす。このようにして動領域が領域比率に基づいて人物と識別される。

次に、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び注視人数の検知・計数手順について説明する。図８は、図２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び注視人数の検知・計数手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１０１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１０２）、人物であると判定される場合に（ステップＳ１０２肯定）、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する（ステップＳ１０３）。新たに検出された人物であると判定される場合（ステップＳ１０３肯定）、通行人を検知した旨を集計センタサーバ３００へ送信する（ステップＳ１０４）。なお、ステップＳ１０２で動領域が人物であると判定されない場合（ステップＳ１０２否定）、ステップＳ１１０へ処理を移す。またステップＳ１０３で新たに検出された人物であると判定されない場合（ステップＳ１０３否定）も、ステップＳ１１０へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１０４の処理により通行人を検知した旨が送信されてくる以前に、１００ミリ秒の計時を開始する計時開始処理を実行する（ステップＳ２０１）。続いて、システムサーバ２００から通行人を検知した旨を受信したならば、通行人数のカウンタをインクリメントして通行検知数カウント処理を実行する（ステップＳ２０２）。

ステップＳ１０４に続いてシステムサーバ２００では、顔領域検出処理を実行する（ステップＳ１０５）。続いて顔領域検出か否かを判定し（ステップＳ１０６）、顔領域検出と判定されたならば（ステップＳ１０６肯定）、顔方向検出処理を実行する（ステップＳ１０７）。なお、顔領域が検出されなかったと判定されると（ステップＳ１０６否定）、ステップＳ１１０へ処理を移す。ステップＳ１０７の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し（ステップＳ１０８）、広告看板注視状態であると判定される場合（ステップＳ１０８肯定）、広告看板注視を検知した旨を集計センタサーバ３００へ送信する（ステップＳ１０９）。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１０９の処理により広告看板注視を検知した旨が送信されてくると、注視人数のカウンタをインクリメントして注視検知数カウント処理を実行する（ステップＳ２０３）。続いてステップＳ２０１の処理以来計時されている時間が１００ミリ秒に至ったか否かを判定する（ステップＳ２０４）。計時されている時間が１００ミリ秒に至ったと判定される場合に（ステップＳ２０４肯定）、通行検知数及び注視検知数をＤＢ３０７ａに登録する（ステップＳ２０５）。計時されている時間が１００ミリ秒に至ったと判定されない場合には（ステップＳ２０４否定）、ステップＳ２０２へ処理を移す。続いて通行検知数・注視検知数カウント終了か否かを判定する（ステップＳ２０６）。ここで通行検知数・注視検知数カウント終了と判定される場合には（ステップＳ２０６肯定）集計センタサーバ３００における処理を終了し、通行検知数・注視検知数カウント終了と判定されない場合には（ステップＳ２０６否定）ステップＳ２０１へ処理を移す。

ステップＳ１０９に続いてシステムサーバ２００では、画像のトラッキング終了か否かを判定し（ステップＳ１１０）、トラッキング終了と判定される場合には（ステップＳ１１０肯定）システムサーバ２００における処理を終了し、トラッキング終了とされない場合には（ステップＳ１１０否定）ステップＳ１０１へ処理を移す。

図９は、本発明の実施例２に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例２は、屋外における広告効果評価方法であって、該広告看板に対する通行人の平均注視時間を算出する実施例である。同図に示すように、本方法は、広告看板の前面の広告看板エリアに存在する人物の数を把握し、これらの人物のうち視線が広告看板に向いている人物が該広告看板に注視する時間を計時し、該注視する時間を広告看板エリアに存在する人物の数で平均して、当該広告看板の広告（コンテンツ）の広告効果を評価するものである。

なお以下に実施例２の構成として説明する集計センタサーバ３００、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例１と同様である。

図９によれば、広告看板の前面で広告看板の広告を見ることが可能な広告看板エリア内（図９中の破線による長方形）に、１人の人物が、図９に向かって左方から右方へ移動しつつ広告看板を注視している。ある時刻から所定時間内に、同様に広告看板をβ人が注視したものとする。そしてそれぞれの人物が該広告看板を注視する注視時間γ_iを計時する。このγ_iから該広告看板を注視する全ての人物についての総和γを計算してγ／βを算出することによって、ある時刻から所定時間内に該広告看板を注視する平均注視時間に基づいて当該広告看板の広告（コンテンツ）の広告効果を評価することができる。

次に、実施例２の集計センタサーバ３００の構成について説明する。図１０は、実施例２の集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、実施例２の集計センタサーバ３００は、主制御部３０１と、通過検出時刻登録部３１３と、注視検出時刻登録部３１４と、注視検出時間算出部３１５と、注視検出時間登録部３１６と、総注視時間算出部３１７と、注視人数算出部３１８と、平均注視時間算出部３１９と、記憶部３０７と、キーボードなどの操作部３０９が接続される操作制御部３０８と、ディスプレイ装置などの表示部３１１が接続される表示制御部３１０と、外部とのデータ授受を制御するＩ／Ｆ部３１２とを有する。主制御部３０１は集計センタサーバ３００全体の処理を制御する制御部である。

具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１２を介してカメラ１５０が撮影した人物の属性データを受け取って通過検出時刻登録部３１３、注視検出時刻登録部３１４又は注視検出時間算出部３１５へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部３１３は当該人物の通過検出時刻をＤＢ３０７ａに登録し、注視検出時刻登録部３１４は当該人物の注視検出時刻をＤＢ３０７ａへ登録する。注視検出時間算出部３１５は、当該人物の属性データから連続して広告看板を注視する注視検出時間を算出する。注視検出時間算出部３１５により算出された注視検出時間は注視検出時間登録部３１６へ受け渡され、該注視検出時間登録部３１６は注視時間をＤＢ３０７ａへ登録する。また総注視時間算出部３１７は指定された時刻帯に属する通過検知時刻或いは注視検出時刻を持つレコードの注視時間を算出し、注視人数算出部３１８は総注視時間算出対象のレコード数をカウントして注視人数の総和を算出する。平均注視時間算出部３１９は、総注視時間算出部３１７により算出された総注視時間を、注視人数算出部３１８により算出された注視人数で割って平均注視時間を算出する。

また主制御部３０１は、通過検出時刻登録部３１３、注視検出時刻登録部３１４、注視検出時間登録部３１６又は平均注視時間算出部３１９から出力される情報を記憶部３０７へ受け渡す処理を行い、若しくは操作部３０９が受け付け操作制御部３０８で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３１０を介して表示部３１１へ表示させる処理を実行する。

通過検出時刻登録部３１３は、システムサーバ２００から送信されてくる属性データから人物が通過人として検知された時刻をＤＢ３０７ａに登録する。注視検出時刻登録部３１４は、システムサーバ２００から送信されてくる属性データから人物が広告看板を注視する顔方向であると検知された時刻をＤＢ３０７ａに登録する。なお、通過検出時刻登録部３１３及び注視検出時刻登録部３１４は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻及び注視検出時刻がＤＢ３０７ａに登録される。

注視検出時間算出部３１５は、システムサーバ２００から受信したカメラ１５０により撮影された人物の属性データが、当該人物が広告看板を注視しているとする注視検出情報である時間を計時する。この時間は、当該人物が連続して広告看板を注視している時間であることが望ましいが、微小な時間を挟んで断続的に広告看板を注視する場合も、連続して広告看板を注視していると見なすようにしてもよい。注視検出時間算出部３１５により算出された注視検出時間は注視検出時間登録部３１６に受け渡され、該注視検出時間登録部３１６によりＤＢ３０７ａに登録される。

総注視時間算出部３１７は、ＤＢ３０７ａを検索して、指定された時刻帯に属するレコードの注視時間を総和する。また注視人数算出部３１８は、注視時間を総和されたレコード数をカウントして注視人数とする。平均注視時間算出部３１９は、総注視時間算出部３１７により総和された総注視時間と注視人数算出部３１８によりカウントされた注視人数とから総注視時間÷注視人数を計算して、平均注視時間を算出する。

記憶部３０７は、不揮発性の磁気的記録装置であり、人物単位の通行人ＩＤ、通過検出時刻、注視検出時刻及び注視検出時間を登録するＤＢ３０７ａを有する。このＤＢ３０７ａには人物単位に１レコードが生成される。

次に、図１０に示したＤＢ３０７ａに格納されるデータベーステーブルについて説明する。図１１は、図１０に示したＤＢ３０７ａに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」及び「注視検出時間」のカラムを持つ。カメラ１５０により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ＩＤ」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知され、広告看板への100ミリ秒の注視時間が計時された人物のレコードである。１００ミリ秒を単位として平均注視時間を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「注視検出時間」を合計し、該時刻帯に含まれるレコード数をカウントして平均注視時間＝（「注視検出時間」の合計値）÷（レコード数）を算出することができる。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録され、注視検出時間には“0”が登録される（例えば通行人ＩＤ“1”のレコード参照）。

このようにデータベーステーブルを構成し、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」及び「注視検出時間」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、ある人物の広告看板への注視に連鎖して他の人が該広告看板へ注視したという注視の連鎖の把握が可能となる。これによって広告看板の体裁やデザインや設置方法、若しくは気温、天候、社会情勢（報道や争乱など）の外部的要因によりどのように変化するかを把握でき、広告看板注視のターゲット層からより多くの注視を獲得可能な広告方式を提案することができる。また、例えば駅のコンコースに広告看板が設置されている状況を想定するとして、特定時間帯に該コンコースの通行流動速度が著しく低下する状況が存在する場合に、「注視検出時刻」及び「注視検出時間」の統計を取ることにより、広告看板への注視がどのように通行流動速度に影響を与えているか（例えば注視の連鎖が発生したことにより通行流動速度の低下を招いたか否かなど）を把握することが可能となる。

次に、実施例２のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、広告看板注視時間算出及び平均注視時間算出手順について説明する。図１２は、実施例２のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、広告看板注視時間算出及び平均注視時間算出手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１１１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１１２）、人物であると判定される場合に（ステップＳ１１２肯定）、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する（ステップＳ１１３）。新たに検出された人物であると判定される場合（ステップＳ１１３肯定）、該人物に通行人ＩＤを付与し（ステップＳ１１４）、通行人を検知した旨を通行人ＩＤと共に集計センタサーバ３００へ送信する（ステップＳ１１５）。なお、ステップＳ１１２で動領域が人物であると判定されない場合（ステップＳ１１２否定）、ステップＳ１２２へ処理を移す。またステップＳ１１３で新たに検出された人物であると判定されない場合（ステップＳ１１３否定）、ステップＳ１１９へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００から通行人を検知した旨を受信したならば、ＤＢ３０７ａに当該通行人ＩＤを持つレコードを追加し、通行検知時刻登録処理を実行する（ステップＳ２１１）。

ステップＳ１１５に続いてシステムサーバ２００では、顔領域検出処理を実行する（ステップＳ１１６）。続いて顔領域検出か否かを判定し（ステップＳ１１７）、顔領域検出と判定されたならば（ステップＳ１１７肯定）、顔方向検出処理を実行する（ステップＳ１１８）。なお、顔領域が検出されなかったと判定されると（ステップＳ１１７否定）、ステップＳ１２２へ処理を移す。ステップＳ１１８の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し（ステップＳ１１９）、広告看板注視状態であると判定される場合（ステップＳ１１９肯定）、広告看板注視を検知した旨を集計センタサーバ３００へ送信し（ステップＳ１２０）、広告看板注視状態であると判定されない場合、（ステップＳ１１９否定）、ステップＳ１２１へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１２０の処理により広告看板注視を検知した旨が送信されてくると、注視時刻は登録されているか否かの判定処理を実行する（ステップＳ２１２）。注視時刻が登録されていない場合（ステップＳ２１２否定）注視時刻登録処理を実行し（ステップＳ２１３）、注視時刻が登録されている場合（ステップＳ２１２肯定）ステップＳ２１４へ処理を移す。

システムサーバ２００におけるステップＳ１１９の処理で広告看板注視状態と判定されなかった場合（ステップＳ１１９否定）、注視非検知の旨を集計センタサーバ３００へ送信する（ステップＳ１２１）。集計センタサーバ３００で注視非検知を受信したならば、注視時刻が登録されているか否かを判定し（ステップＳ２１４）、注視時刻が登録されていると判定するならば（ステップＳ２１４肯定）、現在システム時刻と注視時刻とから注視時間を算出し（ステップＳ２１５）、注視時間をＤＢ３０７ａに登録する（ステップＳ２１６）。なお、ステップＳ２１４で注視時刻が登録されていると判定されないならば（ステップＳ２１４否定）、ステップＳ２１７へ処理を移す。続いて通行検知・注視検知終了か否かを判定し（ステップＳ２１７）、通行検知・注視検知終了の場合に（ステップＳ２１７肯定）集計センタサーバにおける処理を終了し、通行検知・注視検知終了でない場合に（ステップＳ２１７否定）ステップＳ２１１へ処理を移す。

システムサーバ２００で、ステップＳ１２０又はステップＳ１２１に続いて、他に検出できる人物があるか否かを判定し（ステップＳ１２２）、他に検出できる人物がある場合には（ステップＳ１２２肯定）システムサーバにおける処理を終了し、他に検出できる人物がない場合には（ステップＳ１２２否定）ステップＳ１１１へ処理を移す。

図１３〜１６は、本発明の実施例３に係るコンテンツ注目評価装置及びコンテンツ注目評価システムの実施例を説明するための図である。実施例３は、屋外における広告効果評価方法であって、該広告看板に対する通行人の顔属性を判定処理する実施例である。本方法は、広告看板の前面の広告看板エリアに存在して該広告看板を注視する人物の顔属性を判定し、年齢・性別をＤＢに蓄積して統計分析の用に供するものである。

なお以下に実施例３の構成として説明するシステムサーバ２００、集計センタサーバ３００、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例１又は２と同一である。

図１３は、実施例３のシステムサーバ２００の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ２００は、主制御部２０１と、通行人物検知部２０２と、注視人物検出部２０３と、記憶部２０４と、キーボードなどの操作部２０６が接続される操作制御部２０５と、ディスプレイ装置などの表示部２０８が接続される表示制御部２０７と、外部とのデータ授受を制御するＩ／Ｆ部２０９とを有する。これらの構成要素間のデータの授受は、実施例１と同様である。

また、主制御部２０１、通行人物検出部２０２、記憶部２０４、操作制御部２０５、表示制御部２０７及びＩ／Ｆ部２０９の機能は実施例１と同様であるので、ここでの説明を省略する。

注視人物検出部２０３は、人物検出部２０２ｂにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部２０３ａと、顔検出処理部２０３ａにより検出された顔が向いている顔方向を検出する顔方向検出処理部２０３ｂと、検出された顔の属性を判定する顔判定処理部２０３ｃとを有する。顔検出処理部２０３ａは、実施例１と同様であるので、ここでの説明を省略する。

顔判定処理部２０３ｃは、顔検出処理部２０３ａにより顔領域が検出された人物の顔の属性を判定して年齢や性別を判定する。顔判定処理部２０３ｃは、年齢判定処理部２０３ｃ−１及び性別判定処理部２０３ｃ−２を有する。年齢判定処理部２０３ｃ−１は、カメラ１５０で撮影された顔画像から年齢を推定する処理部であり、性別判定処理部２０３ｃ−２は、カメラ１５０で撮影された顔画像から性別を推定する処理部である。これらの処理部は、推定結果を集計センタサーバ３００へ送信する。

なお、年齢判定処理部２０３ｃ−１及び性別判定処理部２０３ｃ−２は、入力された人物画像データに対して年齢及び性別をそれぞれ出力する。例えば年齢判定処理部２０３ｃ−１及び性別判定処理部２０３ｃ−２は、人物全体の動画像から１フレーム分の顔画像を切り出す画像切り出し部と、該顔画像データが示す顔画像の特徴、例えば顔の輪郭、顔の肉付き状態、肌・皮膚の状態、装飾の有無、髪型などを識別して点数化する識別部と、該識別部の点数化の結果に応じて年齢や性別を判定して出力する結果判定出力部とを有する。

次に、実施例３の集計センタサーバ３００の構成について説明する。図１４は、実施例３の集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通過検出時刻登録部３１３と、注視検出時刻登録部３１４と、通行人年代登録部３２０と、通行人性別登録部３２１と、記憶部３０７と、キーボードなどの操作部３０９が接続される操作制御部３０８と、ディスプレイ装置などの表示部３１１が接続される表示制御部３１０と、外部とのデータ授受を制御するＩ／Ｆ部３１２とを有する。

具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１２を介してカメラ１５０が撮影した人物の属性データを受け取って通過検出時刻登録部３１３、注視検出時刻登録部３１４、通行人年代登録部３２０又は通行人性別登録部３２１へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部３１３は当該人物の通過検出時刻をＤＢ３０７ａに登録し、注視検出時刻登録部３１４は当該人物の注視検出時刻をＤＢ３０７ａへ登録する。通行人年代登録部３２０は、当該人物の属性データに基づき年代をＤＢ３０７ａに登録する。また通行人性別登録部３２１は当該人物の属性データに基づき性別をＤＢ３０７ａに登録する。

また主制御部３０１は、通過検出時刻登録部３１３、注視検出時刻登録部３１４、通行人年代登録部３２０又は通行人性別登録部３２１から出力される情報を記憶部３０７へ受け渡す処理を行い、若しくは操作部３０９が受け付け操作制御部３０８で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３１０を介して表示部３１１へ表示させる処理を実行する。

ここで主制御部３０１、通過検出時刻登録部３１３、注視検出時刻登録部３１４、通行人年代登録部３２０、通行人性別登録部３２１、記憶部３０７、操作制御部３０８及び表示制御部３１０の機能は実施例２と同様であるので、説明を省略する。

通行人年代登録部３２０は、システムサーバ２００から送信されてくる属性データに基づき人物の年代をＤＢ３０７ａに登録する。通行人性別登録部３２１は、システムサーバ２００から送信されてくる属性データに基づき人物の性別をＤＢ３０７ａに登録する。なお、通過検出時刻登録部３１３、注視検出時刻登録部３１４、通行人年代登録部３２０及び通行人性別登録部３２１は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻、注視検出時刻、年代及び性別がＤＢ３０７ａに登録される。

次に、図１４に示したＤＢ３０７ａに格納されるデータベーステーブルについて説明する。図１５は、図１４に示したＤＢ３０７ａに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」、「年代」及び「性別」のカラムを持つ。カメラ１５０により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ＩＤ」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知された、年代が10歳以上20歳未満、性別が男性の人物のレコードである。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録される（例えば通行人ＩＤ“1”のレコード参照）。

なお、本実施例３では、年代は、10歳未満、10歳以上20歳未満、20歳以上40歳未満、40歳以上60歳未満、60歳以上の５つの階層に分類されることとするが、これは一例に過ぎず、これに限られるものではない。

このようにデータベーステーブルを構成し、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」、「年代」及び「性別」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、どの「年代」でありどの「性別」の人物が、いつ広告看板の前面を通過し、かつ該広告看板を注視したか否か、注視したとすればいつ注視したかを把握することが可能となり、広告看板を注視する人物の「年代」及び「性別」を把握することが可能となる。

次に、実施例３のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔属性取得及び顔属性登録手順について説明する。図１６は、実施例３のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔属性取得及び顔属性登録手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１３１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１３２）、人物であると判定される場合に（ステップＳ１３２肯定）、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する（ステップＳ１３３）。新たに検出された人物であると判定される場合（ステップＳ１３３肯定）、該人物に通行人ＩＤを付与し（ステップＳ１３４）、通行人を検知した旨を通行人ＩＤと共に集計センタサーバ３００へ送信する（ステップＳ１３５）。なお、ステップＳ１３２で動領域が人物であると判定されない場合（ステップＳ１３２否定）、ステップＳ１４４へ処理を移す。またステップＳ１３３で新たに検出された人物であると判定されない場合（ステップＳ１３３否定）、ステップＳ１３９へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００から通行人を検知した旨を受信したならば、ＤＢ３０７ａに当該通行人ＩＤを持つレコードを追加し、通行検知時刻登録処理を実行する（ステップＳ２２１）。

ステップＳ１３５に続いてシステムサーバ２００では、顔領域検出処理を実行する（ステップＳ１３６）。続いて顔領域検出か否かを判定し（ステップＳ１３７）、顔領域検出と判定されたならば（ステップＳ１３７肯定）、顔方向検出処理を実行する（ステップＳ１３８）。なお、顔領域が検出されなかったと判定されると（ステップＳ１３７否定）、ステップＳ１４４へ処理を移す。ステップＳ１３８の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し（ステップＳ１３９）、広告看板注視状態であると判定される場合（ステップＳ１３９肯定）、広告看板注視を検知した旨を集計センタサーバ３００へ送信し（ステップＳ１４０）、広告看板注視状態であると判定されない場合（ステップＳ１３９否定）、ステップＳ１４４へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１４０の処理により広告看板注視を検知した旨が送信されてくると、注視時刻登録処理を実行する（ステップＳ２２２）。

システムサーバ２００においてステップＳ１４０が終了したならば、人物の顔属性取得可能か判定し（ステップＳ１４１）、顔属性取得可能と判定される場合に（ステップＳ１４１肯定）年代・性別取得処理を実行し（ステップＳ１４２）、顔属性取得可能と判定されない場合に（ステップＳ１４１否定）ステップＳ１４４へ処理を移す。ステップＳ１４２へ続いて集計センタサーバ３００に対して年代・性別送信処理を実行する（ステップＳ１４３）。

集計センタサーバ３００でステップＳ１４３の処理により送信されてきた年代・性別情報を受信したならば、年代・性別をＤＢ３０７ａへ登録する年代・性別登録処理を実行する（ステップＳ２２３）。続いて通行人属性取得終了かを判定し（ステップＳ２２４）、通行人属性取得終了である場合（ステップＳ２２４肯定）、集計センタサーバ３００における処理を終了する。なお通行人属性取得終了でない場合（ステップＳ２２４否定）、ステップＳ２２１へ処理を移す。

システムサーバ２００で、ステップＳ１４３に続いて、他に検出できる人物があるか否かを判定し（ステップＳ１４４）、他に検出できる人物がある場合には（ステップＳ１４４肯定）システムサーバにおける処理を終了し、他に検出できる人物がない場合には（ステップＳ１４４否定）ステップＳ１３１へ処理を移す。

図１７〜２０は、本発明の実施例４に係るコンテンツ注目評価装置及びコンテンツ注目評価システムの実施例を説明するための図である。実施例４は、屋外における広告効果評価方法であって、該広告看板に対する通行人の顔下属性を判定処理する実施例である。顔下属性とは、具体的には顔領域以外の人体の領域の基調となる色である。本方法は、広告看板の前面の広告看板エリアに存在して該広告看板を注視する人物の顔下属性を判定し、判定された色の情報をＤＢに蓄積して統計分析の用に供するものである。

なお以下に実施例４の構成として説明するシステムサーバ２００、集計センタサーバ３００、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例１、２又は３と同一である。

図１７は、実施例４のシステムサーバ２００の構成を示す機能ブロック図である。同図に示すように、このシステムサーバ２００は、主制御部２０１と、通行人物検出部２０２と、注視人物検出部２０３と、記憶部２０４と、キーボードなどの操作部２０６が接続される操作制御部２０５と、ディスプレイ装置などの表示部２０８が接続される表示制御部２０７と、外部とのデータ授受を制御するＩ／Ｆ部２０９とを有する。これらの構成要素間のデータの授受は、実施例１と同様である。

また、主制御部２０１、通行人物検出部２０２、記憶部２０４、操作制御部２０５、表示制御部２０７及びＩ／Ｆ部２０９の機能は実施例１と同様であるので、ここでの説明を省略する。

注視人物検出部２０３は、人物検出部２０２ｂにより検出された人物の矩形の動領域から顔に相当する矩形を取り出し、該矩形が顔であるか否かを判定して顔を検出する顔検出処理部２０３ａと、顔検出処理部２０３ａにより検出された顔以外の人体領域が基調とする色を判定する顔下領域判定処理部２０３ｄとを有する。顔検出処理部２０３ａは、実施例１と同様であるので、ここでの説明を省略する。

顔下領域判定処理部２０３ｄは、顔検出処理部２０３ａにより顔領域が検出された人物の顔以外の人体領域の属性を判定して基調となる色を判定する。即ちここで判定される色は、主に当該人物が着用する衣服の色調となる。顔下領域判定処理部２０３ｄは、判定結果を集計センタサーバ３００へ送信する。

なお、顔下領域判定処理部２０３ｄによる色判定は、光の三源色（ＲＧＢ）に基づいて判定される色に限られるものではない。即ち、顔下領域を減色していき、同一色（ＲＧＢ）であると見なされる部分を一つの矩形領域にまとめていく。このようにすると顔下領域は複数の矩形領域に分割されるが、これら複数の矩形領域のうち最も面積が大きい矩形領域の色（ＲＧＢ）を以って顔下領域の代表色とする。次に、色空間（ＲＧＢ）における代表色（ＲＧＢ）の表色を、Ｌ^*ａ^*ｂ^*色空間におけるＬ^*ａ^*ｂ^*表色系へ変換する。ここでＬ^*は明度、ａ^*は色相、ｂ^*は彩度をあらわす。色相と彩度を色度と総称する。即ち、光の三源色（ＲＧＢ）のそれぞれの色の刺激値により色を特定するＲＧＢ色空間から、明度、色相、彩度により色を特定するＬ^*ａ^*ｂ^*色空間への変換を行う。このＬ^*ａ^*ｂ^*表色系により色を特定することとしてもよい。

また、顔下領域を減色していき、同一色（ＲＧＢ）であると見なされる矩形領域のうち最も面積が大きい矩形領域の色（ＲＧＢ）を以って顔下領域の代表色とし、この代表色（ＲＧＢ）をＣＩＥ（International Commission on Illumination）１９７６で定められたＵＣＳ色度図の座標系への変換を経てＬ^*ｕ^*ｖ^*色空間のＬ^*ｕ^*ｖ^*表色系へ変換することとしてもよい。ここで、Ｌ^*は明度指数、ｕ^*及びｖ^*はクロマティクネス指数であり、色をＬ^*、ｕ^*及びｖ^*の３つの指標で表現するものである。このＬ^*ｕ^*ｖ^*表色系により色を特定することとしてもよい。

次に、実施例４の集計センタサーバ３００の構成について説明する。図１８は、実施例４の集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通過検出時刻登録部３１３と、注視検出時刻登録部３１４と、通行人顔下属性登録部３２２と、記憶部３０７と、キーボードなどの操作部３０９が接続される操作制御部３０８と、ディスプレイ装置などの表示部３１１が接続される表示制御部３１０と、外部とのデータ授受を制御するＩ／Ｆ部３１２とを有する。

具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１２を介してカメラ１５０が撮影した人物の属性データを受け取って通過検出時刻登録部３１３、注視検出時刻登録部３１４又は通行人顔下属性登録部３２２へ受け渡す処理を行う。該属性データの授受を契機として通過検出時刻登録部３１３は当該人物の通過検出時刻をＤＢ３０７ａに登録し、注視検出時刻登録部３１４は当該人物の注視検出時刻をＤＢ３０７ａへ登録する。また通行人顔下属性登録部３２２は当該人物の属性データに基づき顔下領域の色をＤＢ３０７ａに登録する。

また主制御部３０１は、通過検出時刻登録部３１３、注視検出時刻登録部３１４又は通行人顔下属性登録部３２２から出力される情報を記憶部３０７へ受け渡す処理を行い、若しくは操作部３０９が受け付け操作制御部３０８で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３１０を介して表示部３１１へ表示させる処理を実行する。

ここで主制御部３０１、通過検出時刻登録部３１３、注視検出時刻登録部３１４、記憶部３０７、操作制御部３０８及び表示制御部３１０の機能は実施例２と同様であるので、説明を省略する。

通行人顔下属性登録部３２２は、システムサーバ２００から送信されてくる属性データに基づき人物の顔下領域の色をＤＢ３０７ａに登録する。なお、通過検出時刻登録部３１３、注視検出時刻登録部３１４及び通行人顔下属性登録部３２２は、人物単位で時刻の登録を行う。即ち、トラッキングにより追跡された複数の連続する画像フレームに含まれる通行人物又は注視人数のうち同一人物であると見なされる人物単位に通過検知時刻、注視検出時刻及び顔下属性がＤＢ３０７ａに登録される。

次に、図１８に示したＤＢ３０７ａに格納されるデータベーステーブルについて説明する。図１９は、図１８に示したＤＢ３０７ａに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」及び「顔下属性」のカラムを持つ。カメラ１５０により撮影された人物で同一人物と見なされる人物単位にレコードが生成されている。例えば「通行人ＩＤ」が“2”であるレコードは、2005年7月11日15時32分51秒800ミリ秒に広告看板エリアの通過が検知され、2005年7月11日15時33分45秒900ミリ秒に広告看板の注視の開始が検知された、顔下属性が“GREEN”の人物のレコードである。即ち「通行人ID」が“2”の人物の顔以外の領域である衣服の色調は、緑を基調としていることとなる。なお、ある人物について広告看板への注視が検出されなかった場合には、「注視検出時刻」のカラムにはNull値が登録される（例えば通行人ＩＤ“1”のレコード参照）。

なお、本実施例４では、顔下属性は、“GREEN”、“YELLOW”、“RED”、“PURPLE”、“BLUE”、“BLACK”、“WHITE”の７つの色に分類されることとするが、これは一例に過ぎず、これに限られるものではない。

このようにデータベーステーブルを構成し、「通行人ＩＤ」、「通過検出時刻」、「注視検出時刻」及び「顔下属性」の情報を記憶し、この記憶されたデータを分析することによって、次の効果が期待できる。即ち、いかなる「顔下属性」を持つ人物、具体的にはいかなる色調の衣服を着用する人物が、いつ広告看板の前面を通過し、かつ該広告看板を注視したか否か、注視したとすればいつ注視したかを把握することが可能となり、広告看板を注視する人物の「顔下属性」を把握することが可能となる。

次に、実施例４のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知及び顔下属性取得及び顔下属性登録手順について説明する。図２０は、実施例４のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔下属性取得及び顔下属性登録手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１５１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１５２）、人物であると判定される場合に（ステップＳ１５２肯定）、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する（ステップＳ１５３）。新たに検出された人物であると判定される場合（ステップＳ１５３肯定）、該人物に通行人ＩＤを付与し（ステップＳ１５４）、通行人を検知した旨を通行人ＩＤと共に集計センタサーバ３００へ送信する（ステップＳ１５５）。なお、ステップＳ１５２で動領域が人物であると判定されない場合（ステップＳ１５２否定）、ステップＳ１６４へ処理を移す。またステップＳ１５３で新たに検出された人物であると判定されない場合（ステップＳ１５３否定）、ステップＳ１５９へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００から通行人を検知した旨を受信したならば、ＤＢ３０７ａに当該通行人ＩＤを持つレコードを追加し、通行検知時刻登録処理を実行する（ステップＳ２３１）。

ステップＳ１５５に続いてシステムサーバ２００では、顔領域検出処理を実行する（ステップＳ１５６）。続いて顔領域検出か否かを判定し（ステップＳ１５７）、顔領域検出と判定されたならば（ステップＳ１５７肯定）、顔方向検出処理を実行する（ステップＳ１５８）。なお、顔領域が検出されなかったと判定されると（ステップＳ１５７否定）、ステップＳ１６４へ処理を移す。ステップＳ１５８の処理結果が顔方向が広告看板注視状態であるとされるか否かを判定し（ステップＳ１５９）、広告看板注視状態であると判定される場合（ステップＳ１５９肯定）、広告看板注視を検知した旨を集計センタサーバ３００へ送信し（ステップＳ１６０）、広告看板注視状態であると判定されない場合（ステップＳ１５９否定）、ステップＳ１６４へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１６０の処理により広告看板注視を検知した旨が送信されてくると、注視時刻登録処理を実行する（ステップＳ２３２）。

システムサーバ２００においてステップＳ１６０が終了したならば、人物の顔下色属性取得可能か判定し（ステップＳ１６１）、顔下色属性取得可能と判定される場合に（ステップＳ１６１肯定）顔下色属性取得処理を実行し（ステップＳ１６２）、顔下色属性取得可能と判定されない場合に（ステップＳ１６１否定）ステップＳ１６４へ処理を移す。ステップＳ１６２へ続いて集計センタサーバ３００に対して顔下色属性送信処理を実行する（ステップＳ１６３）。

集計センタサーバ３００でステップＳ１６３の処理により送信されてきた顔下色属性情報を受信したならば、顔下色属性をＤＢ３０７ａへ登録する顔下色属性登録処理を実行する（ステップＳ２３３）。続いて通行人属性取得終了かを判定し（ステップＳ２３４）、通行人属性取得終了である場合（ステップＳ２３４肯定）、集計センタサーバ３００における処理を終了する。なお通行人属性取得終了でない場合（ステップＳ２３４否定）、ステップＳ２３１へ処理を移す。

システムサーバ２００で、ステップＳ１６３に続いて、他に検出できる人物があるか否かを判定し（ステップＳ１６４）、他に検出できる人物がある場合には（ステップＳ１６４肯定）システムサーバにおける処理を終了し、他に検出できる人物がない場合には（ステップＳ１６４否定）ステップＳ１５１へ処理を移す。

図２１は、本発明の実施例５に係るコンテンツ注目評価方法の概念を説明するための説明図である。実施例５は、屋内におけるＴＶ放送番組視聴率評価方法であって、該ＴＶ放送番組に対する通行人の視聴率を算出する実施例である。同図に示すように、本方法は、ＴＶの電源がオンであるか否かを判定し、ＴＶ画面の前面のＴＶ画面エリアに存在する人物の数（ＴＶ画面エリア内人数）を把握し、これらの人物のうち視線がＴＶ画面に向いている人物の数（ＴＶ視聴者人数）を数え、ＴＶの電源がオンか否か、ＴＶ画面エリア内人数及びＴＶ視聴者人数に基づいて視聴レベルを算出して、当該ＴＶの放送番組（コンテンツ）の放送効果を評価するものである。

なお以下に実施例５の構成として説明するコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成、集計センタサーバ３００、データベーステーブル及びコンテンツ注目評価装置及びコンテンツ注目評価システムにおける処理手順以外は、実施例１と同様である。

図２１によれば、ＴＶ画面の前面でＴＶ番組放送を見ることが可能なＴＶ画面エリア内（図２１中の破線による長方形）に、３人の人物Ｆ、Ｇ、Ｈが存在している。そのうちＦ及びＧは、ＴＶ画面を注視している。同図に示すように、ＴＶ画面エリア内に３人の人物が存在し、そのうちＴＶ画面を２人が注視したと検知されることとなる。これらの検知結果とＴＶ電源がオンか否かに基づいて、ある時刻から所定時間内（例えば１００ミリ秒）に該ＴＶ画面を注視する注視レベルを算出し、該注視レベルに基づいて当該ＴＶ放送番組（コンテンツ）の放送効果を評価することができる。

図２２は、実施例５のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。同図によれば、通路の横にＴＶ画面１００ｔが配設された通路を通過する通行人物を撮影するための１台の広角カメラ、即ちＴＶ画面１００ｔ側から通路に存在する通行人物を撮影するカメラ１５０が配設されている。

同図に示したカメラ領域ｒは、カメラ１５０により通行人物の撮影が可能な領域である。この領域内に存在する通行人物は、カメラ１５０により撮影されることによって通行人物として検出され得る。また、カメラ領域ｒで検出された通行人物の顔方向が広告看板１００ｔ方向を向くか否かが検出される。これは、カメラ１５０が広告看板１００ｔの同一面内又はその近傍に配設されていることにより、視線を向けるために広告看板へ顔方向を向けると、この広告看板方向を向く顔がカメラ１５０により撮影されることによる。

カメラ１５０及びシステムサーバ２００がケーブルＣを介して接続されている。少なくとも一つのシステムサーバ２００がネットワークＮを介して集計センタサーバ３００と接続されている。システムサーバ２００と集計センタサーバ３００は異なるフロアに設置されているものとするが、同一のフロアに設置されてもよく、また同一のコンピュータシステムに実装されていてもよいものである。システムサーバ２００は、カメラ１５０により撮影された画像を分析して該画像から通行人物及び該通行人物の顔方向を検出するための分析装置である。カメラ１５０は通行人物を含む画像を撮影して該画像をシステムサーバ２００へ送信する。システムサーバ２００では該画像を分析して該画像に含まれる通行人物の客観的な属性データを検出して該属性データを集計センタサーバ３００へ送信する。集計センタサーバ３００は、該属性データを集計し各種分析指標を算出する。即ち、個人を特定することができる画像情報は、システムサーバ２００及びカメラ１５０間で閉じており、これら以外に送信されることはない。よって本実施例５の広告注目評価システムは、システムサーバ２００及びカメラ１５０において集中的に個人情報保護を図るだけで個人情報の漏洩・拡散を防止できるシステムとなっている。

次に、図２２に示した集計センタサーバ３００の構成について説明する。図２３は、図２２に示した集計センタサーバ３００の構成を示す機能ブロック図である。同図に示すように、この集計センタサーバ３００は、主制御部３０１と、通行人数算出部３０２と、通行人数登録部３０３と、視聴人数登録部３２３と、視聴人数算出部３２４と、視聴レベル判定部３２５と、記憶部３０７と、キーボードなどの操作部３０９が接続される操作制御部３０８と、ディスプレイ装置などの表示部３１１が接続される表示制御部３１０と、外部とのデータ授受を制御するＩ／Ｆ部３１２とを有する。主制御部３０１は集計センタサーバ３００全体の処理を制御する制御部である。具体的には主制御部３０１は、システムサーバ２００からＩ／Ｆ部３１２を介して属性データを受け取って通行人数算出部３０２又は視聴人数算出部３２４へ受け渡す処理を行う。該属性データの授受を契機として通行人数算出部３０２は通行人数として画像に含まれていた人物の数を計数し、また視聴人数算出部３２４は視聴人数として画像に含まれていたＴＶ画面を向く顔角度の人物の数を計数する。また主制御部３０１は、通行人数登録部３０３又は視聴人数登録部３２３から出力される情報を記憶部３０７へ受け渡す処理を行い、若しくは操作部３０９が受け付け操作制御部３０８で所定入力信号に変換された所定操作信号の入力を契機として前述の各処理を実行し、前述の各処理の処理結果を表示制御部３１０を介して表示部３１１へ表示させる処理を実行する。

通行人数算出部３０２は、システムサーバ２００から送信されてくる属性データから通行人物とされる人数を計数する。この計数結果は通行人数登録部３０３及び視聴レベル判定部３２５へ受け渡される。また視聴人数算出部３２４は、システムサーバ２００から送信されてくる属性データから視聴人物とされる人数を計数する。この計数結果は視聴人数登録部３２３及び視聴レベル判定部３２５へ受け渡される。なお、通行人数算出部３０２及び視聴人数算出部３２４は、１００ミリ秒毎に人数の計数を行う。即ち、１００ミリ秒間の画像フレームに含まれる通行人物又は視聴人数を累計する。

通行人数登録部３０３は、通行人数算出部３０２により１００ミリ秒単位で計数された通行人数を記憶部３０７が有するＤＢ３０７ａに登録する処理を行い、視聴人数登録部３２３は、視聴人数算出部３２４により１００ミリ秒単位で計数された視聴人数を記憶部３０７が有するＤＢ３０７ａに登録する処理を行う。視聴レベル判定部３２５は、１００ミリ秒単位でＤＢ３０７ａに登録された通行人数、視聴人数及びＴＶ電源のオン・オフに基づき視聴レベルを判定する。そして該判定結果を主制御部３０１を介して記憶部３０７へ受け渡し、ＤＢ３０７ａに登録させる処理を行う。

記憶部３０７は、不揮発性の磁気的記録装置であり、１００ミリ秒毎の通行人数、視聴人数及び視聴レベルを登録するＤＢ３０７ａを有する。１００ミリ秒毎に１レコードが生成され、この１レコードに相当する１００ミリ秒に含まれる画像のフレームに撮影されている通行人数の累計、視聴人数の累計及び視聴レベルが登録されている。

なお図２３に示した視聴レベル判定部３２５による判定結果である視聴レベルは、図２４に示すようになる。図２４は、各視聴レベルに対応する視聴レベルの内容を示す説明図である。同図に示すように、ＴＶ電源がオフの場合には、通行人数及び視聴人数に関わらず、視聴レベルは“レベル０”となる。ＴＶ電源がオンであってＴＶ放送番組を受信中であれば、視聴レベルは、“レベル１”〜“レベル３”のいずれかとなる。ＴＶ電源がオンであって“カメラ前方人間不存在状態”即ち「通行人数が０」である場合には、視聴レベルは“レベル１”となる。ＴＶ電源がオンであって“カメラ前方人間存在状態、正面顔非検出状態”即ち「通行人数は０でないが、視聴人数が０」である場合には、視聴レベルは“レベル２”となる。また、ＴＶ電源がオンであって“カメラ前方人間存在状態、正面顔検出状態”即ち「通行人数、視聴人数共に０でない」場合には、視聴レベルは“レベル３”となる。このように、ＴＶ電源がオンであるか否か、通行人数及び視聴人数に基づいて視聴レベルが判定される。

次に、図２３に示したＤＢ３０７ａに格納されるデータベーステーブルについて説明する。図２５は、図２３に示したＤＢ３０７ａに格納されるデータベーステーブルのテーブルイメージ図である。同図に示すように、データベーステーブルは、「日時」、「ＴＶ電源」、「通行人数」、「視聴人数」及び「視聴レベル」のカラムを持つ。そして１００ミリ秒単位にレコードが生成されている。例えば「日時」が“2005/11/15 15：30：45：200”であるレコードには、2005年11月15日15時30分45秒200ミリ秒から2005年11月15日15時30分45秒300ミリ秒までの１００ミリ秒間にカメラ１５０により撮影された画像のフレームに含まれる通行人及び広告看板の視聴人それぞれの人数を計数した数値が格納される。通行人の計数値は「通行人数」のカラムに格納され、視聴人の計数値は「視聴人数」のカラムに格納される。なお、１００ミリ秒を単位として視聴率を算出したい時刻帯を指定し、該時刻帯に含まれるレコードの「通行人数」及び「視聴人数」を合計して視聴率＝（「視聴人数」の合計値）÷（「通行人数」の合計値）を算出することもできる。

このようにデータベーステーブルを構成し、「日時」、「ＴＶ電源」、「通行人数」、「視聴人数」及び「視聴レベル」の情報を記憶し、この記憶されたデータを分析することにより、次の効果が期待できる。即ち、時刻帯の違いやＴＶ電源のオン・オフの違いに応じて「通行人数」に違いが生じるか、ＴＶ番組放送の内容に応じて「視聴人数」の違いが生じるかなどを把握可能となる。また「視聴レベル」を判定することにより、ＴＶ番組放送の視聴状況を直截的に把握可能となる。

次に、図２２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び視聴人数の検知・計数、視聴レベル評価手順について説明する。図２６は、図２２に示したコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び視聴人数の検知・計数、視聴レベル評価手順を示すフローチャートである。同図に示すように、システムサーバ２００は、先ず動領域を検出する（ステップＳ１７１）。続いて、検出された動領域が人物であるか否かを判定し（ステップＳ１７２）、人物であると判定される場合に（ステップＳ１７２肯定）、該人物に立てられたフラグを参照して、新たに検出された人物か否かを判定する（ステップＳ１７３）。新たに検出された人物であると判定される場合（ステップＳ１７３肯定）、通行人を検知した旨を集計センタサーバ３００へ送信する（ステップＳ１７４）。なお、ステップＳ１７２で動領域が人物であると判定されない場合（ステップＳ１７２否定）、ステップＳ１８０へ処理を移す。またステップＳ１７３で新たに検出された人物であると判定されない場合（ステップＳ１７３否定）も、ステップＳ１８０へ処理を移す。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１７４の処理により通行人を検知した旨が送信されてくる以前に、１００ミリ秒の計時を開始する計時開始処理を実行する（ステップＳ２４１）。続いて、システムサーバ２００から通行人を検知した旨を受信したならば、通行人数のカウンタをインクリメントして通行検知数カウント処理を実行する（ステップＳ２４２）。

ステップＳ１７４に続いてシステムサーバ２００では、顔領域検出処理を実行する（ステップＳ１７５）。続いて顔領域検出か否かを判定し（ステップＳ１７６）、顔領域検出と判定されたならば（ステップＳ１７６肯定）、顔方向検出処理を実行する（ステップＳ１７７）。なお、顔領域が検出されなかったと判定されると（ステップＳ１７６否定）、ステップＳ１８０へ処理を移す。ステップＳ１７７の処理結果が顔方向がＴＶ画面視聴状態であるとされるか否かを判定し（ステップＳ１７８）、ＴＶ画面視聴状態であると判定される場合（ステップＳ１７８肯定）、ＴＶ画面視聴を検知した旨を集計センタサーバ３００へ送信する（ステップＳ１７９）。

一方集計センタサーバ３００では、システムサーバ２００からステップＳ１７９の処理によりＴＶ画面視聴を検知した旨が送信されてくると、視聴人数のカウンタをインクリメントして視聴検知数カウント処理を実行する（ステップＳ２４３）。続いてステップＳ２４１の処理以来計時されている時間が１００ミリ秒に至ったか否かを判定する（ステップＳ２４４）。計時されている時間が１００ミリ秒に至ったと判定される場合に（ステップＳ２４４肯定）、視聴レベルの判定処理を実行する。具体的には、ＴＶ電源オンか否かを判定し（ステップＳ２４５）、ＴＶ電源オンと判定される場合に（ステップＳ２４５肯定）通行検知数は０であるか否かを判定する（ステップＳ２４６）。なおＴＶ電源オンと判定されない場合には（ステップＳ２４５否定）、視聴レベルは“レベル０”と判定される。

通行検知数は０であると判定された場合に（ステップＳ２４６肯定）視聴レベルは“レベル１”と判定され、通行検知数は０であると判定さなかった場合に（ステップＳ２４６否定）、視聴検知数は０か否かが判定される（ステップＳ２４９）。視聴検知数は０であると判定された場合に（ステップＳ２４９肯定）視聴レベルは“レベル２”と判定され、視聴検知数は０であると判定されなかった場合に（ステップＳ２４９否定）視聴レベルは“レベル３”と判定される。そして、これらステップＳ２４７、ステップＳ２４８、ステップＳ２５０又はステップＳ２５１で判定された視聴レベルと、通行検知数と、視聴検知数とがＤＢ３０７ａに登録される（ステップＳ２５２）。続いて通行検知数・視聴検知数カウント終了と判定される場合には（ステップＳ２５３肯定）集計センタサーバ３００における処理を終了し、通行検知数・視聴検知数カウント終了と判定されない場合には（ステップＳ２５３否定）ステップＳ２４１へ処理を移す。

ステップＳ１７９に続いてシステムサーバ２００では、画像のトラッキング終了か否かを判定し（ステップＳ１８０）、トラッキング終了と判定される場合には（ステップＳ１８０肯定）システムサーバ２００における処理を終了し、トラッキング終了とされない場合には（ステップＳ１８０否定）ステップＳ１７１へ処理を移す。

以上、本発明の実施例について実施例１〜５を説明したが、本発明は、これらに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例１〜５は、適宜に組み合わせて実施可能である。

本発明は、広告やＴＶ放送番組などのコンテンツへの注目をより客観的な方法で評価する場合に有効であり、特に、広告媒体やＴＶのコンテンツ媒体をより注目されるように効率よく設置する設置手法を調査したい場合に有用である。

実施例１に係るコンテンツ注目評価方法の概念を説明するための説明図である。 実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。 実施例１のシステムサーバ２００の構成を示す機能ブロック図である。 実施例１の集計センタサーバ３００の構成を示す機能ブロック図である。 実施例１のデータベーステーブルのテーブルイメージ図である。 実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける動領域検出方法の概略を説明する説明図である。 実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける人物識別方法の概略を説明する説明図である。 実施例１のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び注視人数の検知・計数手順を示すフローチャートである。 実施例２に係るコンテンツ注目評価方法の概念を説明するための説明図である。 実施例２の集計センタサーバ３００の構成を示す機能ブロック図である。 実施例２のデータベーステーブルのテーブルイメージ図である。 実施例２のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、広告看板注視時間算出及び平均注視時間算出手順を示すフローチャートである。 実施例３のシステムサーバ２００の構成を示す機能ブロック図である。 実施例３の集計センタサーバ３００の構成を示す機能ブロック図である。 実施例３のデータベーステーブルのテーブルイメージ図である。 実施例３のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔属性取得及び顔属性登録手順を示すフローチャートである。 実施例４のシステムサーバ２００の構成を示す機能ブロック図である。 実施例４の集計センタサーバ３００の構成を示す機能ブロック図である。 実施例４のデータベーステーブルのテーブルイメージ図である。 実施例４のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人検知、広告看板注視検知、顔下属性取得及び顔下属性登録手順を示すフローチャートである。 本発明の実施例５に係るコンテンツ注目評価方法の概念を説明するための説明図である。 実施例５のコンテンツ注目評価装置及びコンテンツ注目評価システムのネットワーク構成を説明するための説明図である。 実施例５の集計センタサーバ３００の構成を示す機能ブロック図である。 実施例５の各視聴レベルに対応する視聴レベルの内容を示す説明図である。 実施例５のデータベーステーブルのテーブルイメージ図である。 実施例５のコンテンツ注目評価装置及びコンテンツ注目評価システムにおける通行人数及び視聴人数の検知・計数、視聴レベル評価手順を示すフローチャートである。

符号の説明

１００ａ 広告看板
１００ｔ ＴＶ画面
１５０、１５０ａ、１５０ｂ、１５０ｃ カメラ
２００ システムサーバ
２０１ 主制御部
２０２ 通行人物検出部
２０２ａ 動領域検出部
２０２ｂ 人物検出部
２０３ 注視人物検出部
２０３ａ 顔検出処理部
２０３ｂ 顔方向検出処理部
２０３ｃ 顔判定処理部
２０３ｃ−１ 年齢判定処理部
２０３ｃ−２ 性別判定処理部
２０３ｄ 顔下判定処理部
２０４ 記憶部
３００ 集計センタサーバ
３０１ 主制御部
３０２ 通行人数算出部
３０３ 通行人数登録部
３０４ 注視人数登録部
３０５ 注視人数算出部
３０６ 注視率算出部
３０７ 記憶部
３０７ａ ＤＢ
３１３ 通過検出時刻登録部
３１４ 注視検出時刻登録部
３１５ 注視検出時間算出部
３１６ 注視検出時間登録部
３１７ 総注視時間算出部
３１８ 注視人数算出部
３１９ 平均注視時間算出部
３２０ 通行人年代登録部
３２１ 通行人性別登録部
３２２ 通行人顔下属性登録部
３２３ 視聴人数登録部
３２４ 視聴人数算出部
３２５ 視聴レベル判定部

Claims (13)

1. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価装置であって、
   前記画像に撮像された人物を検出する人物検出手段と、
   前記人物検出手段により検出された人物の数を計数する人数計数手段と、
   前記人物検出手段により検出された人物の顔を検出する顔検出手段と、
   前記顔検出手段により顔が検出された人物の顔方向を検出する顔方向検出手段と、
   前記顔方向検出手段により検出された人物の顔方向のうち前記コンテンツを注目する顔方向である人物の数を計数するコンテンツ注目数計数手段と、
   前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除したコンテンツ注目率を算出する注目率算出手段と
   を備えたことを特徴とするコンテンツ注目評価装置。
2. 前記人数計数手段により計数された人物の数及び前記コンテンツ注目数計数手段により計数された人物の数を記憶する記憶手段をさらに備え、
   前記注目率算出手段は、前記記憶手段に記憶される前記コンテンツ注目数計数手段により計数された人物の数を前記人数計数手段により計数された人物の数で除して前記コンテンツ注目率を算出することを特徴とする請求項１に記載のコンテンツ注目評価装置。
3. 前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物が該コンテンツ媒体を注目する時間を計時する注目時間計時手段をさらに備えたことを特徴とする請求項１又は２に記載のコンテンツ注目評価装置。
4. 前記記憶手段は、前記注目時間計時手段により計時された前記時間を記憶することを特徴とする請求項３に記載のコンテンツ注目評価装置。
5. 前記注目時間計時手段は、前記顔方向検出手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に、該人物が該コンテンツ媒体を注目する時間を計時し、
   前記記憶手段は、前記注目時間計時手段により計時された前記時間を、前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶することを特徴とする請求項３又は４に記載のコンテンツ注目評価装置。
6. 前記記憶手段により前記コンテンツ媒体を注目する顔方向であると検出された人物毎に記憶される前記時間の和を前記コンテンツ媒体を注目する顔方向であると検出された全人物の数で除して平均注目時間を算出する平均注目時間算出手段をさらに備えたことを特徴とする請求項５に記載のコンテンツ注目評価装置。
7. 前記顔検出手段により顔が検出された人物の顔の属性を判定する顔属性判定手段をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載のコンテンツ注目評価装置。
8. 前記記憶手段は、前記顔属性判定手段により判定された顔の属性を記憶することを特徴とする請求項７に記載のコンテンツ注目評価装置。
9. 前記顔検出手段により顔が検出された人物の顔以外の部分の色を判定する色判定手段をさらに備えたことを特徴とする請求項１〜８のいずれか一つに記載のコンテンツ注目評価装置。
10. 前記記憶手段は、前記色判定手段により判定された色の情報をさらに記憶することを特徴とする請求項９に記載のコンテンツ注目評価装置。
11. 前記人数計数手段により計数された人物の数と前記コンテンツ注目数計数手段により計数された人物の数とに基づいて数値化された注目レベルを判定する注目レベル判定手段をさらに備えたことを特徴とする請求項１〜１０のいずれか一つに記載のコンテンツ注目評価装置。
12. 前記コンテンツ注目評価装置は、前記撮像装置が接続される画像分析装置と、少なくとも一つの前記画像分析装置と通信可能に接続されたコンテンツ注目評価分析装置とから構成され、
    前記画像分析装置は、前記画像に含まれる人物を特定不可能なデータを前記コンテンツ注目評価分析装置へ送信し、
    前記コンテンツ注目評価分析装置は、前記人物を特定不可能なデータを記憶する前記憶手段を有することを特徴とする請求項１〜１１のいずれか一つに記載のコンテンツ注目評価装置。
13. コンテンツ媒体の前面に存在する人物を撮像装置が撮像した画像に基づいて、該コンテンツ媒体の前面に存在する人物の該コンテンツに対する注目を評価するコンテンツ注目評価方法であって、
    前記画像に撮像された人物を検出する人物検出工程と、
    前記人物検出工程により検出された人物の数を計数する人数計数工程と、
    前記人物検出工程により検出された人物の顔を検出する顔検出工程と、
    前記顔検出工程により顔が検出された人物の顔方向を検出する顔方向検出工程と、
    前記顔方向検出工程により検出された人物の顔方向のうち前記コンテンツを注目する顔方向である人物の数を計数するコンテンツ注目数計数工程と、
    前記コンテンツ注目数計数工程により計数された人物の数を前記人数計数工程により計数された人物の数で除したコンテンツ注目率を算出する注目率算出工程と
    を含んだことを特徴とするコンテンツ注目評価方法。

Images