JP2009116510A - 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置 - Google Patents

注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置 Download PDF

Info

Publication number
JP2009116510A
JP2009116510A JP2007287346A JP2007287346A JP2009116510A JP 2009116510 A JP2009116510 A JP 2009116510A JP 2007287346 A JP2007287346 A JP 2007287346A JP 2007287346 A JP2007287346 A JP 2007287346A JP 2009116510 A JP2009116510 A JP 2009116510A
Authority
JP
Japan
Prior art keywords
information
attention
attention level
degree
provision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007287346A
Other languages
English (en)
Inventor
Daisuke Abe
大輔 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2007287346A priority Critical patent/JP2009116510A/ja
Publication of JP2009116510A publication Critical patent/JP2009116510A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】人が多く集まる場所や街中のように広範囲の場所であっても、その周辺の人間の数や挙動を総合的に解析して注目度を求めることができる注目度算出装置等を提供する。
【解決手段】注目度を入力する注目度入力部312を備える情報提供装置2と連携可能な注目度算出装置1であって、撮像装置により撮像された映像に映った人間を認識し、当該人間の挙動を解析する認識処理部301と、前記認識処理部301で認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、当該人間の数や挙動に応じて予め設定された重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出部302と、前記注目度算出302が求めた注目度を出力する注目度出力部303とを備える。
【選択図】図3

Description

本発明は、撮像された映像から人間を認識して注目度を求める注目度算出装置等に関する。
現在、街中や店舗、電車内など様々な箇所に液晶ディスプレイなどの情報を提供する装置が設置されており、装置からは広告などの多くの情報が提供されている。また、これらの情報を提供する装置については、特に広告の配信に関して、効果的に情報を配信するための方法が様々提案されている。
特許文献1に示す技術は、所定の空間部にいる人の属性(男性、女性、子供、流れ)を判断して、最も効果がある広告、音楽を提供するシステムに関する技術であり、地下街、アーケード等の通路に監視カメラ装置を配置し、これらの、監視カメラ装置で撮像した画像を監視制御装置が取得する。そして、監視制御装置が、監視カメラ装置からの画像から通路の人間が女性か男性か子供(総称して人間属性情報ともいう)を判断し、これらの人間種類の人数、流れ方向を計測する。この計測した流れ方向、人数及び人間属性情報によって、通路のエアコン、照明等を適切に制御すると共に、通路の表示モニタ又はスピーカに適宜な広告映像、音楽コンテンツを供給する技術である。
また、特許文献2に示す技術は、屋内あるいは屋外における広告表示または画像表示を、人間の特徴、特に顧客としての特徴に合わせて自動的に切り換えることにより、広告の効果や人間や顧客にとって表示画像の効果や価値を高めることのできる画像表示方法に関する技術であり、撮影画像中の人間を抽出し、該抽出された人間の第1の特徴を検出し、該検出された人間の第1の特徴に応じて、画像表示媒体に表示する画像を切り換える技術である。
さらに、特許文献3に示す技術は、リアルタイムで顧客の行動に基づいて選定した有効なプロモーション情報を提供する技術であり、画像処理部は、各カメラ部からの映像を画像処理して、映像の中に含まれている顧客の人間情報、滞在時間情報等を取得し、画像解析部は、映像中の対象人間の行動を解析して行動軌跡情報を生成する。プロモーション実行判定部は、人間の行動軌跡の認識結果をもとにその人間に対してどのようなプロモーションデータを表示するべきかどうかを判定し、指定されたプロモーションデータを、情報提供部を通して特定のディスプレイに対して送信して表示させる。これにより、行動軌跡を基に選定した特定人間に対して有効なプロモーションデータをリアルタイムに提供する技術である。
2007−34585号公報 2002−73321号公報 2006−113711号公報
しかしながら、特許文献1ないし3に示した技術は、装置の周辺にいる個々の人間の身長、性別などの属性や行動を判別して情報を提供する技術であるため、複数の属性や行動を示す人間が同時に通過するような場所での使用には不向きであり、同時に通過する人間が少ない場所等での適用に限られてしまうという課題を有する。
また、情報を提供するために、撮像した映像から判断している属性が、年齢、性別、行動などの比較的細かい情報であるため、狭い範囲を監視し解像度の高い状態で人間を撮影する必要があり、街中にある大型ディスプレイのように、広範囲から視聴できる装置には適用できないという課題を有する。
さらに、人が多く集まる場所においては、いずれかの属性向けの情報だけしか提供できず、本来期待している、人間に特化した情報配信が行えないという課題を有する。
そこで、本発明は前記課題を解決するためになされたものであり、人が多く集まる場所や街中のように広範囲の場所であっても、その周辺の人間の数や挙動を総合的に解析して注目度を求めることができる注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置を提供することを目的とする。
(1.情報提供システム)
本情報提供システムは、周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記映像に映っている1又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段と、を備える注目度算出装置と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置から出力された注目度を入力する注目度入力手段と、前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、を備える情報提供装置とを備えるものである。
このように、本情報提供システムにおいては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができるという効果を奏する。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。
また、提供情報が出力された履歴情報を、提供情報が出力された時の注目度と対応付けて格納して保存するため、提供時における注目度を集計することができ、各提供情報の実際の効果を後から確認することができ、改善が必要な場合には、それを直ちにフィードバックすることができるという効果を奏する。
(2.注目度算出装置)
本注目度算出装置は、周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えるものである。
このように、本注目度算出装置においては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて様々が処理を行うことができるという効果を奏する。
(3.認識処理手段の詳細)
本注目度算出装置は、前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析するものである。
このように、本注目度算出装置においては、映像に映っている各人間と撮像装置との距離、映像に映っている各人間の顔の向き、映像に映っている各人間の視線方向、映像に映っている各人間の移動速度、及び、映像に映っている各人間の移動方向の少なくとも一の情報に基づいて人間の挙動を解析するため、様々な視点で細かい解析結果を得ることができると共に、それらの結果を総合的に判断して注目度を求めることで、正確な注目度を得ることができるという効果を奏する。
(4.様々な物理量の検知)
本注目度算出装置は、任意の物理量を検知する検知手段を備え、該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めるものである。
このように、本注目度算出装置においては、装置の周辺の状況を、任意の物理量を検知した結果に基づいて解析し、注目度を求めるため、映像のみから注目度を求める場合に比べて、より正確に人間と撮像装置の距離や人間の数や移動方向や移動速度を測定することができ、高精度に注目度を求めることができるという効果を奏する。
なお、物理量とは、音波、電波、電磁波、温度、圧力、重量等の物理的な量である。
(5.情報提供装置)
本情報提供装置は、注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えるものである。
このように、本情報提供装置においては、注目度に基づいて周辺にいる人間に対して情報を提供するため、状況に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができるという効果を奏する。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。
(6.特別情報出力手段)
本情報提供装置は、前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えるものである。
このように、本情報提供装置においては、提供情報出力手段が任意の一の提供情報を出力している場合に、注目度入力手段が入力した注目度に基づいて、他の提供情報を提供情報データベースから抽出して出力するため、注目度が急激に変化した場合であっても、現在提供している情報は提供している状態を保持しつつ、他の提供情報を効果的で且つ動的に提供することができるという効果を奏する。
これまで、本発明をシステム、及び、装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
本実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明はシステム、方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、CD−ROM、DVD−ROM、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
(本発明の第1の実施形態)
(1.概要)
以下に、本実施形態に係る注目度算出装置の概要を説明する。図1は、本実施形態に係る注目度算出装置の概要を示す図である。ここでは、注目の対象となるディスプレイがあり、そのディスプレイを見る(聞く)人間(近くに存在する人間)を監視するためのカメラを設け、カメラで撮像される映像を画像処理により解析することで、当該ディスプレイへの注目度を求める。ディスプレイを注視している人間が多いほど注目度が高くなり、ディスプレイに対して興味を示しているということがわかる。
このようにして求めた注目度は、例えば、注目度に対応した情報の提供(詳細は後述する)、注目度による人気度の調査等の技術に応用することができる。
(2.構成と機能)
(2−1 注目度算出装置のハードウェア構成)
図2は、本実施形態に係る注目度算出装置のハードウェアの構成図である。注目度算出装置1は、CPU(Central Processing Unit)201、RAM(Random Access Memory)202、ROM(Read Only Memory)203、フラッシュメモリ(Flash memory)204、外部記憶装置であるHD(Hard disk)205、LAN(Local Area Network)カード206、マウス207、キーボード208、ビデオカード209、このビデオカード209と電気的に接続する表示装置であるディスプレイ209a、サウンドカード210、このサウンドカード210と電気的に接続する音出力装置であるスピーカ210a及びフレキシブルディスク、CD−ROM、DVD−ROM等の記憶媒体を読み書きするドライブ211からなる。
なお、上記ハードウェア構成はあくまで一例を示したものであり、構成要素の変更をすることができるのは当然である。
(2−2 注目度算出装置のモジュール構成と機能)
図3は、本実施形態に係る注目度算出装置1のモジュール構成図である。注目度算出装置1は、認識処理手段としての認識処理部301と注目度算出手段としての注目度算出部302と、注目度出力手段としての注目度出力部303とを備える。
なお、本実施形態に係る注目度算出装置1は、注目度を入力する注目度入力処理部を備える情報提供装置と連携することが可能となっている。つまり、注目度算出装置1が求めた注目度に基づいて、情報提供装置が処理を行うことが可能となっている。
認識処理部301は、カメラ110で撮像された映像に映った人間を認識し、認識された人間の挙動を解析する処理を行う。解析処理を行う際には、撮像された各人間とカメラとの距離、撮像された各人間の顔の向き、撮像された各人間の視線方向、撮像された各人間の移動速度、及び、撮像された各人間の移動方向の少なくとも一の情報に基づいて行う。解析方法の詳細は後述する。
なお、カメラ110と注目度算出装置1は一体的な装置として捉えてもよい。すなわち、注目度算出装置の構成要素にカメラ110を含むようにしてもよい。
注目度算出部302は、認識処理部301で認識された人間の数、解析結果、及び、人間の挙動に応じて予め設定された重み付け情報に基づいて、注目度を求める処理を行う。この注目度算出処理は、一定時間間隔で行われる。注目度の算出方法の詳細は後述する。
注目度出力部303は、注目度算出部302が求めた注目度を出力する処理を行う。
なお、注目度の出力は、画面や紙に値を出力してもよいし、上記に示した情報提供装置に出力してもよい。また、情報提供装置以外にも注目度を利用して処理を行う装置と連携して注目度を出力するようにしてもよい。
(3.動作)
図4は、本実施形態に係る注目度算出装置1の動作を示すフローチャートである。まず、注目の対象物周辺の映像をカメラにより撮像する(ステップS401)。撮像された映像は、認識処理部301に入力される(ステップS402)。認識処理部301は、入力された映像から人間を認識し(ステップS403)、認識した人間の数を求める(ステップS404)。
次に、人間の挙動を解析する処理が行われる。認識した各人間の人間全体の映像から体の向きを検出する(ステップS405)。人間全体から人間の顔を抽出して、顔の方向を検出する(ステップS406)。抽出された顔から目周辺を抽出して、視線方向を検出する(ステップS407)。撮像したカメラと人間との距離を予め用意された距離変換テーブルから計測する(ステップS408)。人間の移動方向と移動速度を検出する(ステップS409、ステップS410)。
ここで、人間の認識、及び、人間の挙動を解析する処理について詳細に説明する。図5は、人間を認識し、挙動を解析する処理を示す図である。人間の認識、及び、挙動の解析とは、人間全体の検出(図5(a)に相当)、人間全体の体の方向(図5(b)に相当)、人間の顔の方向(図5(c)に相当)、人間の視線の方向(図5(d)に相当)、カメラと人間との距離(図5(e)に相当)、人間の移動速度(図5(f)に相当)、及び、人間の移動方向(図5(f)に相当)の少なくとも一の情報を解析する処理である。
人間全体の検出については、例えば、背景差分法(辻村他、“背景自動更新による差分システムに関する研究”、電子情報通信学会総合大会、2003)と呼ばれる一般的な画像処理が知られており、背景画像と呼ばれる、検出対象が映っていない基準画像と入力画像との間で差を計算し、差がある領域を物体として検出することで、実現することができる。人間全体を認識することで、映像内の人間の数を求めることができる。また、体全体の向きは、図5に示す検出領域の横幅、及び、目の位置から検出することができる。例えば、検出領域の横幅が所定の値以上で目が検出された場合は、体がカメラ110の方向に向いている可能性が高く、検出領域の横幅が所定の値以上で目が検出されない場合は、体がカメラ110とは反対の方向を向いている可能性が高い。また、検出領域の横幅が所定値以下の場合は、体がカメラ110に対して横向きになっている可能性が高いと判断できる。
顔の検出については、ニューラルネットワークを用いた一般的な学習方法(H.Arowley他、“Neural network-based face detection”、IEEE Trans.on Pattern Analysis and Machine Intelligence、Vol.2.0、No.1、pp23-38、1998)により予め顔と非顔を学習しておき、学習に基づいて撮像された映像の中から顔の領域を検出する方法で実現することができる。顔の検出に関しては、撮像の状況によっては、人間の顔の細かい情報が得られない可能性があるが、人間全体を検出した後に検出領域の肌色部分を求めることで大まかな顔の向きを検出することができる。図6は、顔の向きを検出する処理を示す図である。図6に示すように、人間全体の検出領域の上部分(頭部分)に肌色領域が一定以上存在していなければ、その人間の顔がカメラ110の反対側を向いていると判断することができる。
視線の検出については、テンプレートマッチング(青山他、“一台のカメラによる顔と視線方向の推定”、IEICE technical report.Pattern recognition and understanding、Vol.95、No.583、PP.131-136)により、予め代表的な視線方向の画像を辞書として登録しておき、辞書画像と入力画像を比較して類似度が最も高い辞書画像の視線方向を、その人間の視線方向として検出することができる。この場合も、顔の向きの検出と同様に、撮像の状況によっては、視線の細かい情報が得られない可能性があるが、重み付け情報に調整することができる。
カメラ110と人間との距離については、カメラ110の焦点距離、高さ、向き等の設置条件を予め把握しておき、カメラ110と撮像した映像の幾何学特性を用いることで計算することができる。図7は、カメラ110と人間の距離を計算する処理を示す図である。図7に示すように、認識した人間の映像中における位置、大きさからカメラ110と人間との実際の距離を変換する距離変換テーブルを作成しておく。距離変換テーブルは、例えば、検出領域のx座標、検出領域のy座標、検出領域のサイズに応じて、カメラ110と人間の実際の距離が抽出できるような構成とする。図8は、カメラ110と人間との距離を計算する処理のフローチャートである。まず、入力映像が入力され、人間が検出される。人間が検出された領域の検出位置(x座標、y座標)とサイズを取得し、距離変換テーブルを参照する。距離変換テーブルに基づいてカメラ110と人間との実際の距離を求める。
なお、カメラ110と人間との距離は実際の値でもよいし、相対的な値を用いてもよい。
移動速度、移動方向については、一の人間について、所定の時間内で移動した距離(x座標、y座標から算出)と移動前後における検出領域の大きさの変化により移動速度と移動方向を検出することができる。例えば、人間がカメラ110に対して左右方向に移動した場合は、移動前後で検出領域の大きさはそれほど変化がなく、位置のみが変化する。一方、人間がカメラ110に対して前後方向に移動した場合は、移動前後で検出領域の大きさは変化するが、位置はそれほど変化しない。つまり、座標の変化の度合いと検出領域の変化の度合いから人間の移動速度と移動方向を検出することができる。
なお、距離変換テーブルと同様に、移動速度変換テーブル、移動方向変換テーブルを用意し、x座標、y座標、及び、検出領域の大きさの変化に基づいて、移動速度及び移動方向を検出するようにしてもよい。
図4に戻って、上記ステップS404からS410までの処理が終了すると、認識された全ての人間について処理が行われたかどうかが判定され(ステップS411)、全ての人間について処理が行われていなければ、ステップS405に戻って、次の人間の解析処理を行う。全ての人間について処理が終了していれば、注目度を求めて(ステップS412)、処理を終了する。
ここで、注目度の算出方法について詳細に説明する。注目度Nを以下の式で定義する。
Figure 2009116510
numは撮像された映像中の人数、Pbdyは体の向き、Pfacは顔の向き、Peyeは視線の強さ、Pdisはカメラ110と人間との距離、Pdirは移動方向、Pspdは移動速度、Ave(A)はAの平均値、α、β、γ、δ、ε、ζ、η、θは重み付け係数である。体の向きPbdy、顔の向きPfac、視線の強さPeyeは、カメラ110に対して正対している向きであれば1、真逆の向きであれば0とし、カメラ110に体、顔、視線が向いているほど高い値をとる。移動方向Pdirは、カメラ110に向かっている場合を1、カメラから遠ざかっている場合を0とし、カメラ110に近づくほど高い値をとる。移動速度Pspdは、移動速度が遅いほど高い値をとる。
式(1)において、第1項は人数、第2項は体の向き、第3項は顔の向き、第4項は視線の強さ、第5項はカメラ110と人間との距離、第6項は視線の強さと、カメラと人間の距離との積、第7項は移動方向、第8項は移動速度の評価値を意味している。各重み付け係数については、どの解析結果を重視するかにより調整される。
なお、移動方向と移動速度の積の項目を追加してもよい。また、式(1)は、上記に限定されず、解析する項目により変化する。例えば、体の向きPbdy、顔の向きPfac、移動方向Pdir、移動速度Pspdを解析しなければ、以下の式になる。
Figure 2009116510
なお、上記式(2)において、(1)式のβ、γ、η、θを0に設定してもよい。
このように、認識処理部301が解析した結果に基づいて、注目度算出処理部302が注目度の算出を行うことができる。
なお、図4において、ステップS405の体の向きを検出する処理からステップS410の移動速度を求める処理までは、全て省略してもよいし、少なくとも一の処理を行うようにしてもよい。また、それに合わせて、注目度算出処理部302が行う算出処理も対応させる。例えば、図4においてステップS404の処理を省略した場合は、式(1)における第2項の項目は削除されるか、またはβの値を0に設定する。
以上のように、本実施形態に係る注目度算出装置においては、撮像された映像に映った人間の数や挙動を解析し、それらの結果と予め設定された重み付け情報に基づいて注目度を求めるため、人が多く集まる場所や街中のように広範囲の場所であっても、総合的に注目度を求めることができ、求めた注目度に応じて様々が処理を行うことができる。また、映像に映った各人間と撮像装置との距離、映像に映った各人間の顔の向き、映像に映った各人間の視線方向、映像に映った各人間の移動速度、及び、映像に映った各人間の移動方向の少なくとも一の情報に基づいて人間の挙動を解析するため、様々な視点で細かい解析結果を得ることができると共に、それらの結果を総合的に判断して注目度を求めることで、正確な注目度を得ることができる。
(本発明の第2の実施形態)
本実施形態に係る注目度算出装置のハードウェア構成は、第1の実施形態と同様であるため説明は省略する。
図9は、本実施形態に係る注目度算出装置のモジュール構成図である。第1の実施形態と異なる点は、入力情報としてカメラ110で撮像された映像以外に、音を集音するマイク130、ミリ波レーダ140、荷重センサ150を備える点である。その他の構成については、第1の実施形態と同様であるため説明は省略する。
なお、カメラ110、マイク130、ミリ波レーダ140、荷重センサ150と注目度算出装置1は一体的な装置として捉えてもよい。すなわち、注目度算出装置の構成要素にカメラ110、マイク130、ミリ波レーダ140、荷重センサ150を含むようにしてもよい。
以下、複数のセンサを基に人間の認識、及び、挙動の解析を行う認識処理部301の処理について詳細に説明する。カメラ110により撮像された映像による人間の認識、及び、挙動の解析については第1の実施形態と同様であるため説明は省略する。マイクによる人間の認識については、例えば、ISBN:978425409716、“ニューラルネットと計測制御”で示されているニューラルネットワークを用いて、予め人間の混雑/注目状況毎の装置周辺の音声を記録/学習することで、現在の音声ではどの程度の混雑/注目状況かを把握することができる。ミリ波レーダについては、例えば、IEICE technical report. PRMU、Vol.106、No.605、pp.85−90に示されているように、対象物から反射してきた電波を受信し、伝搬時間やドップラー効果によって生じる周波数差などを基に、対象物の位置や相対速度を測定し、映像による人間の認識結果と統合することで、映像での距離計測の精度を高めることができる。用いるセンサは、マイク、ミリ波レーダ単体、併用でも、その他のものを使っても良い。以上の処理により、映像による人間の認識、及び、挙動の解析結果以外に、音声、ミリ波などのカメラ110以外のセンサによる人間の認識、及び、挙動の解析結果を得ることができる。これらの結果を注目度算出部302へ送る。
注目度算出部302は、認識処理部301の結果に基づいて注目度を求める。注目度Nを以下のように定義する。
Figure 2009116510
numは撮像された映像中の人数、Pbdyは体の向き、Pfacは顔の向き、Peyeは視線の強さ、Pdisはカメラ110と人間との距離、Pdirは移動方向、Pspdは移動速度、Pvoiceは音声による認識結果、Ps2はセンサ2による認識結果、PsNはセンサNによる認識結果、Ave(A)はAの平均値、α、β、γ、δ、ε、ζ、η、θ、ι、λ、ωは重み付け係数である。第8項までは式(1)と同じくカメラ110により撮像された映像の認識、及び、挙動の解析結果である。ただし、ミリ波レーダを用いた場合は、Pdisはミリ波レーダによる結果とする。第9項以下は、カメラ以外のセンサの認識処理部301での認識、及び、挙動の解析結果である。以上のように、複数のセンサの認識結果を総合的に判断し注目度を求める。各重み付け係数については、第1の実施形態と同様に、どの認識結果を重視するかにより調整される。
以上のように、本実施形態に係る注目度算出装置においては、装置の周辺の状況を、任意の物理量を検知した結果に基づいて総合的に解析して注目度を求めるため、映像のみから注目度を求める場合に比べて、より正確に人間と撮像装置の距離や人間の数や移動方向や移動速度を測定することができ、高精度に注目度を求めることができる。
なお、物理量は、音波、電波、電磁波、温度、圧力、重量等の物理的な量であれば何でもよく、その物理量に対応したセンサを備える構成となる。
(本発明の第3の実施形態)
(1.構成と機能)
(1−1 ハードウェア構成)
本実施形態に係る情報提供装置のハードウェア構成は、第1及び第2の実施形態と同様であるため説明は省略する。
(1−2 モジュール構成と機能)
図10は、本実施形態に係る情報提供装置のモジュール構成図である。情報提供装置2は、提供情報データベース311と、注目度入力手段としての注目度入力部312と、提供情報管理手段としての提供情報管理部313と、提供情報選択手段としての提供情報選択処理部314と、履歴情報保存手段としての履歴情報生成部315と、履歴情報データベース316とを備える。
提供情報データベース311は、情報提供装置2の周辺にいる人間に対して提供する提供情報を格納するデータベースである。
注目度入力部312は、注目度を入力する処理を行う。注目度は、例えば、第1の実施形態で示したような注目度算出装置から入力するようにしてもよいし、値をマウス207やキーボード208から入力するようにしてもよい。
提供情報管理部313は、提供情報データベース311が格納する提供情報を管理する処理を行う。提供情報の詳細な管理方法は後述する。
提供情報選択部314は、提供情報管理部313が管理する情報に基づいて提供情報を選択してモニタ160に出力する処理を行う。
履歴情報生成部315は、提供情報選択部314が選択してモニタ160に出力した提供情報と注目度入力部312が入力した注目度を対応付けて履歴情報を生成する処理を行う。
履歴情報データベース316は、履歴情報生成部315が生成した履歴情報を格納するデータベースである。
なお、履歴情報生成部315及び履歴情報データベース316については備えても備えなくてもよい。
(2.動作)
図11は、本実施形態に係る情報提供装置2の動作を示すフローチャートである。まず、注目度入力部312により注目度が入力される(ステップS1101)。入力された注目度に基づいて提供情報データベース311に格納されている提供情報の出力優先度を決定する(ステップS1102)。出力優先度に基づいて出力制御情報(出力制御テーブル)を生成する(ステップS1103)。出力制御テーブルから出力する提供情報を選択し(ステップS1104)、モニタ160に出力する(ステップS1105)。モニタ160に出力された提供情報については、出力制御テーブルに「出力済み」を示すフラグをセットする(ステップS1106)。ステップS1105で出力された提供情報とステップS1101で入力された注目度を対応付けて履歴情報を生成し(ステップS1107)、履歴情報データベース316に格納する(ステップS1108)。全ての提供情報について「出力済み」を示すフラグがセットされたかどうかを判定し(ステップS1109)、全ての提供情報についてフラグがセットされていなければ、ステップS1104に戻って、次の提供情報を選択する。全ての提供情報についてフラグがセットされていれば、「出力済み」を示すフラグをクリアして(ステップS1110)、処理を終了する。
なお、履歴情報生成部315及び履歴情報データベース316を備えない構成とした場合は、ステップS1107及びステップS1108の処理は省略してもよい。
上記処理をさらに詳細に説明する。提供情報選択部314は、図12に示すような、注目度と出力する提供情報とを対応付けた提供情報選択テーブルを保持している。図12(a)は、晴れの日の平日の朝用の提供情報選択テーブルであり、図12(b)は、晴れの日の休日の朝用の提供情報選択テーブルである。このように、曜日、天気、時間帯ごとに様々な状況に応じて提供情報選択テーブルが存在する。
提供情報選択テーブルは、注目度により出力を優先する提供情報を記したものであり、図12(a)の場合は、映像Aは注目度が10以上の場合に優先されることを意味する。すなわち、優先度が高い映像ほど注目度の高い場合に表示する機会を設定できる。このように、注目度入力部312が入力した注目度を提供情報選択選択テーブルで参照し、出力を優先すべき提供情報を提供情報管理部313に通知する。
なお、提供情報選択テーブルは、曜日、天気、時間帯ごと以外にも、月、年、週、季節、温度、湿度、気圧、イベント、及び、地域等、あらゆる状況に応じて用意することが可能である。
一方、提供情報管理部313は、モニタ160に表示する提供情報を管理するために、図13に示すような提供情報表示テーブルを保持している。提供情報表示テーブルは、提供情報の表示順、提供する情報、表示する時間、及び、提供状態を管理するフラグを有しており、この表示順と表示時間を基にしたタイミングで繰り返し表示する。ただし、この順番は、提供情報選択部314より送られてくる優先度を示す優先情報により変更される。情報提供表示テーブルのフラグは、提供情報がモニタ160に表示完了後1(表示済み)になり、テーブル内の全ての提供情報が表示完了となったら(フラグが全て1になったら)全ての提供情報のフラグを0にクリアする。フラグは、注目度による提供情報の変更を制御するための仕組みであり、フラグが1の提供情報については、提供情報選択部314から優先情報が送られてきた場合であっても表示順の変更を禁止する。この仕組みにより、注目度が高い状況で、同じ提供情報が何度も表示される状態を防止する。この映像表示テーブルの表示順に応じて提供情報選択部314へ提供情報を送る。
図14及び図15を参照してさらに具体的に説明する。図14は、提供情報選択部314が保持する提供情報選択テーブルと提供情報管理部313が保持する提供情報表示テーブルである。図15は、提供情報が提供される様子を時系列に示した図である。図14(a)は、提供情報選択部314が保持する提供情報選択テーブルであり、図14(b)は、時刻T0における提供情報管理部313が保持する提供情報表示テーブルである。時刻T0においては、映像C、映像D、映像A、映像Bの順に表示される状態であり、現時点ではどの映像も表示されていない状態である。図15で時刻T1において、注目度情報(=25)を受信すると、図14(a)の提供情報選択テーブルより、注目度25で優先される映像は映像Aと映像Bであるため、時刻T2で提供情報選択部314は、これら2つの映像の表示順を優先するように提供情報管理部313へ通知する。この通知により、提供情報管理部313では、提供情報表示テーブルについて、映像A及び映像Bの表示順を現在表示中の映像Cの次に変更し、新しい表示順を確定し、時刻T3で次に表示予定の映像Aを提供情報選択部314へ送る。時刻TNでは、映像Cの表示が完了し、映像Cのフラグに1が設定される。
映像Cについて、フラグに「1:表示済み」が設定されると、履歴情報生成部315が履歴情報を生成する。履歴情報は、図16に示すように、映像表示時の注目度や表示回数などの履歴情報である。図16(a)は、提供情報と当該提供情報が表示された時刻と注目度を対応付けたテーブルであり、図16(b)は、提供情報と当該提供情報が表示された回数と平均の注目度を示すテーブルである。これらの履歴テーブルは履歴情報データベース316に保存され、必要に応じて参照、取り出しが可能である。
このような構成で処理を行うことで、注目度に応じて、表示する情報の順番を動的に制御することが可能となり、映像表示時の注目度および表示回数などの履歴情報を保存しておくことで、表示時や表示時刻毎の注目度を集計することができると共に、各映像が広告映像である場合においては、広告費に見合った注目度や表示回数で表示されているかを確認することができ、新しい広告費の設定基準の作成や、広告費へのフィードバック(追加徴収および返金)する仕組みを可能とする。
以上のように、本実施形態に係る情報提供装置においては、注目度に基づいて周辺にいる人間に対して情報を提供するため、状況に応じて適切な情報を動的に提供することができ、情報を効果的に発信することができる。特に、提供情報が広告映像のような場合は、注目度により広告映像の効果が大きく異なるため、非常に有効な技術となる。また、提供情報が出力された履歴情報を、提供情報が出力された時の注目度と併せて格納して保存するため、提供時における注目度を集計することができ、各提供情報の実際の効果を後から確認することができ、改善が必要な場合には、それを直ちにフィードバックすることができる。
なお、提供される情報は映像に限定せず、音声や映像と音声の組み合わせでもよい。
また、第1及び第2の実施形態に係る注目度算出装置と組み合わせて、情報提供システムを構築するようにしてもよい。
(本発明の第4の実施形態)
(1.構成と機能)
(1−1 ハードウェア構成)
本実施形態に係る情報提供装置のハードウェア構成は、第1、第2及び第3の実施形態と同様であるため説明は省略する。
(1−2 モジュール構成と機能)
図17は、本実施形態に係る情報提供装置のモジュール構成図である。第3の実施形態と相違する点は、提供情報選択部314が通常の場合に提供情報を送信するモニタ160以外に、特別の場合に提供情報を送信する特別情報表示部170を備えている点である。
特別情報表示部170は、モニタ160に表示されている任意の一の提供情報以外の提供情報を表示する必要がある場合に、提供情報選択部314から送られてくる他の提供情報を表示する処理を行う。
(2.動作)
図18は、本実施形態に係る情報提供装置2の動作を示すフローチャートである。ステップS1101からステップS1105までの処理は第3の実施形態と同様であるため、説明は省略する。ステップS1105で任意の一の提供情報が出力されると、当該提供情報が出力されている間に注目度が大きく変化したかどうかを判定する(ステップS1801)。変化の度合いは、予め閾値を設定しておき(例えば10)、変化量がその閾値を超えた場合に、注目度が大きく変化したと判断する。注目度が大きく変化していなければ、第3の実施形態と同様にステップS1106からステップS1110までの処理を行って、処理を終了する。注目度が大きく変化していれば、特別情報表示部170に他の提供情報を出力する(ステップS1802)。ステップS1802で他の提供情報の出力が完了すると、第3の実施形態と同様にステップS1107からステップS1110までの処理を行って、処理を終了する。
上記処理について、さらに詳細に説明する。図19は、特別情報表示部170に提供情報を表示する様子を示す図である。図19は、街中の大画面でサッカー中継が行われている。試合に動きがない場合は、画面に注目する人数が少なく、その注目度(例えば、注目度5とする)に対応する提供情報(提供情報Sとする)が通常の提供情報出力領域に表示される。しかし、ゴールシーンのように、試合に動きが出てくると、画面に注目する人数が急激に増え、その注目度(例えば、40とする)と通常の提供情報出力領域に表示されている提供情報Sの対応関係が大きくずれる場合がある。そのような場合に、提供情報Sの表示を維持させつつ、注目度40に対応する提供情報(提供情報Tとする)を特別情報表示領域に表示させる。このように提供情報の表示を選択的に表示させることで、注目度に対応する提供情報を表示させることができる。特に、提供情報が広告の場合には、広告費をたくさん払っているにも関わらず、注目度が高い時に広告情報が提供されないのは不公平となってしまうため、そのような不公平感をなくし、広告費を多く払ったスポンサーの広告情報は、注目度が高い場合には必ず提供されるようにすることができる。
以上のように、本実施形態に係る情報提供装置においては、提供情報出力手段が任意の一の提供情報を出力している場合に、注目度入力手段が入力した注目度に基づいて、他の提供情報を提供情報データベースから抽出して出力するため、注目度が急激に変化した場合であっても、現在提供している情報は提供している状態を保持しつつ、他の提供情報を効果的で且つ動的に提供することができる。
なお、第1及び第2の実施形態に係る注目度算出装置と組み合わせて、情報提供システムを構築するようにしてもよい。
(その他の実施形態)
(1.表示回数の設定)
提供情報管理部313より送られてくるモニタ160へ表示する提供情報について、注目度に応じて、モニタへ表示する時間(回数)を調整することができる。図20に表示時間(回数)調整するための時間調整テーブルを示す。時間調整テーブルは、注目度により表示する提供情報の表示時間(回数)を記したものであり、この場合、映像Aは注目度が50〜100の場合には2回連続で表示し、映像Cは注目度によらず1回のみ表示することを意味する。すなわち、優先度が高い映像ほど注目度の高い場合には表示する機会を多く設定できる。また、提供情報選択テーブルのように、注目度のみではなく、表示する曜日、時間帯によっても用意することも可能である。
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
(2.付記)
上記実施形態に関し、更に以下の付記を開示する。
(付記1)周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記映像に映っている1又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段と、を備える注目度算出装置と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置から出力された注目度を入力する注目度入力手段と、前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、を備える情報提供装置とを備える情報提供システム。
(付記2)周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えることを特徴とする注目度算出装置。
(付記3)前記付記2に記載の注目度算出装置において、前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析することを特徴とする注目度算出装置。
(付記4)前記付記2または3に記載の注目度算出装置において、任意の物理量を検知する検知手段を備え、該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めることを特徴とする注目度算出装置。
(付記5)注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えることを特徴とする情報提供装置。
(付記6)前記付記5に記載の情報提供装置において、前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えることを特徴とする情報提供装置。
(付記7)周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として動作させる注目度算出方法であって、前記コンピュータに、人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶ステップと、前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理ステップと、該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求めるステップと、前記注目度を求めるステップで求められた注目度を出力する注目度出力ステップと実行させる注目度算出方法。
(付記8)周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として機能させる手順を実行させるための注目度算出プログラムであって、人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶手順と、前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手順と、前記認識された人間物の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める手順と、前記注目度を求める手順で求められた注目度を出力する注目度出力手順とをコンピュータに実行させるための注目度算出プログラム。
(付記9)前記付記7に記載の注目度算出方法において、前記認識処理ステップで、前記映像に映っている各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動が解析されることを特徴とする注目度算出方法。
(付記10)前記付記8に記載の注目度算出プログラムにおいて、前記認識処理手順で、前記映像に映っている各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動が解析されることを特徴とする注目度算出プログラム。
このように、上記各実施形態によれば、通行人の注目度を計測し、計測値により提供する情報を動的に制御することができる。これにより、例えば、提供情報が広告の場合は、高い広告費を支払えば、注目度が高い状況(多くの人が見ている,存在している、近くにいる、など)で広告を提供できるなど、対価に合った情報提供を可能にし、広告主の満足度および広告効果を高めることができる。また、広告費を決定するために、予め情報提供装置周辺の通行量などの統計値について人手を介して調べるという作業も必要ない。従って、広告配信依頼側には効果的な情報配信の機会を与え、広告配信場所の提供側には広告配信料の統計調査の簡易化を図るなど、双方にとって有益な広告配信システムを実現することができる。
第1の実施形態に係る注目度算出装置の概要を示す図である。 第1の実施形態に係る注目度算出装置のハードウェアの構成図である。 第1の実施形態に係る注目度算出装置のモジュール構成図である。 第1の実施形態に係る注目度算出装置の動作を示すフローチャートである。 人間の認識及び挙動を解析する処理を示す図である。 顔の向きを検出する処理を示す図である。 カメラと人間の距離を計算する処理を示す図である。 カメラと人間との距離を計算する処理のフローチャートである。 第2の実施形態に係る注目度算出装置のモジュール構成図である。 第3の実施形態に係る情報提供装置のモジュール構成図である。 第3の実施形態に係る情報提供装置の動作を示すフローチャートである。 提供情報選択テーブルを示す図である。 提供情報表示テーブルを示す図である。 提供情報選択部が保持する提供情報選択テーブルと提供情報管理部が保持する提供情報表示テーブルを示す図である。 提供情報が提供される様子を時系列に示す図である。 履歴情報を示す図である。 第4の実施形態に係る情報提供装置のモジュール構成図である。 第4の実施形態に係る情報提供装置の動作を示すフローチャートである。 特別情報表示部に提供情報を表示する様子を示す図である。 時間調整テーブルを示す図である。
符号の説明
1 注目度算出装置
2 情報提供装置
110 カメラ
120 算出結果
130 マイク
140 ミリ波レーダ
150 荷重センサ
160 モニタ
170 特別情報表示部
201 CPU
202 RAM
203 ROM
204 フラッシュメモリ
205 HD
206 LANカード
207 マウス
208 キーボード
209 ビデオカード
209a ディスプレイ
210 サウンドカード
210a スピーカ
211 ドライブ
301 認識処理部
302 注目度算出部
303 注目度出力部
311 提供情報データベース
312 注目度入力部
313 提供情報管理部
314 提供情報選択部
315 履歴情報生成部
316 履歴情報データベース

Claims (8)

  1. 周辺の映像を撮像する撮像装置、注目度算出装置と情報提供装置が連動する情報提供システムであって、
    人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
    前記映像に映っている1又は複数の人間を認識し、当該人間の挙動を解析する認識処理手段と、
    前記認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、
    前記注目度算出手段が求めた注目度を出力する注目度出力手段と、
    を備える注目度算出装置と、
    前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、
    前記注目度算出装置から出力された注目度を入力する注目度入力手段と、
    前記注目度、及び、前記出力の優先度に基づいて、前記提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、
    該制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から提供する提供情報を選択する提供情報選択手段と、
    該選択された提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段と、
    該出力した提供情報及び当該提供情報が出力された時の注目度を対応付けて、履歴情報として格納する履歴情報保存手段と、
    を備える情報提供装置とを備える情報提供システム。
  2. 周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能な注目度算出装置であって、
    人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
    前記撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手段と、
    該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める注目度算出手段と、
    前記注目度算出手段が求めた注目度を出力する注目度出力手段とを備えることを特徴とする注目度算出装置。
  3. 請求項2に記載の注目度算出装置において、
    前記認識処理手段が、前記映像に映った各人間と前記撮像装置との距離、当該映像に映っている各人間の顔の向き、当該映像に映っている各人間の視線方向、当該映像に映っている各人間の移動速度、及び、当該映像に映っている各人間の移動方向の少なくとも一の情報に基づいて、当該人間の挙動を解析することを特徴とする注目度算出装置。
  4. 請求項2または3に記載の注目度算出装置において、
    任意の物理量を検知する検知手段を備え、
    該検知手段にて検知された物理量に基づいて、前記認識処理手段が当該注目度算出装置の周辺の状況を解析し、前記注目度算出手段が当該認識処理手段にて解析された結果に基づいて注目度を求めることを特徴とする注目度算出装置。
  5. 注目度を出力する注目度出力手段を備える注目度算出装置と連携可能な情報提供装置であって、
    人間の数や挙動に応じて予め設定された重み付け情報を格納する重み付け情報格納手段と、
    前記撮像装置の周辺にいる人間に対して提供する提供情報を、注目度に応じて設定された出力の優先度と対応づけて格納する提供情報データベースと、
    前記注目度算出装置の前記注目度出力手段から注目度を入力する注目度入力手段と、
    前記入力した注目度、及び、当該注目度に応じて予め設定された提供情報の出力の優先度に基づいて、前記提供情報データベースに格納された提供情報の出力動作を制御するための制御情報を生成する提供情報管理手段と、
    該生成した制御情報に基づいて、前記提供情報データベースに格納された提供情報の中から、提供する提供情報を選択する提供情報選択手段と、
    該選択した提供情報を、前記提供情報データベースから抽出して出力する提供情報出力手段とを備えることを特徴とする情報提供装置。
  6. 請求項5に記載の情報提供装置において、
    前記提供情報出力手段が任意の一の提供情報を出力している場合に、前記注目度入力手段が入力した注目度に基づいて、前記情報選択手段が他の提供情報を選択し、当該他の提供情報を前記提供情報データベースから抽出して出力する特別情報出力手段を備えることを特徴とする情報提供装置。
  7. 周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として動作させる注目度算出方法であって、
    前記コンピュータに、
    人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶ステップと、
    前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理ステップと、
    該認識された人間の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求めるステップと、
    前記注目度を求めるステップで求められた注目度を出力する注目度出力ステップと実行させる注目度算出方法。
  8. 周辺の映像を撮像する撮像装置、注目度を入力する注目度入力手段を備える情報提供装置と連携可能なコンピュータに、注目度算出装置として機能させる手順を実行させるための注目度算出プログラムであって、
    人間の数や挙動に応じて設定された重み付け情報を記憶する重み付け情報記憶手順と、
    前記撮像装置により撮像された映像に映っている人間を認識し、当該人間の挙動を解析する認識処理手順と、
    前記認識された人間物の数、及び、当該人間の挙動を解析した結果、並びに、前記重み付け情報に基づいて、注目の度合いを示す注目度を求める手順と、
    前記注目度を求める手順で求められた注目度を出力する注目度出力手順とをコンピュータに実行させるための注目度算出プログラム。
JP2007287346A 2007-11-05 2007-11-05 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置 Withdrawn JP2009116510A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007287346A JP2009116510A (ja) 2007-11-05 2007-11-05 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007287346A JP2009116510A (ja) 2007-11-05 2007-11-05 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置

Publications (1)

Publication Number Publication Date
JP2009116510A true JP2009116510A (ja) 2009-05-28

Family

ID=40783612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007287346A Withdrawn JP2009116510A (ja) 2007-11-05 2007-11-05 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置

Country Status (1)

Country Link
JP (1) JP2009116510A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011019200A2 (ko) * 2009-08-11 2011-02-17 (주) 퓨처로봇 홍보 가능한 지능형 디스플레이 장치 및 그 홍보 방법
CN102087846A (zh) * 2009-12-07 2011-06-08 三菱电机株式会社 区域信息控制装置
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2013050945A (ja) * 2011-08-30 2013-03-14 General Electric Co <Ge> 人物トラッキング及びインタラクティブ広告
JP2013149050A (ja) * 2012-01-19 2013-08-01 Fujitsu Ltd 注目対象特定装置、注目対象特定方法、及びプログラム
JP2014014899A (ja) * 2012-07-09 2014-01-30 Toshiba Corp 情報処理装置、情報処理システム、サービス提供システムおよび情報処理方法
JP2015066625A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 注目対象推定システムならびにロボットおよび制御プログラム
CN105117767A (zh) * 2015-08-07 2015-12-02 西安诺瓦电子科技有限公司 显示屏关注度统计方法及系统
US9842255B2 (en) 2014-12-24 2017-12-12 Fujitsu Limited Calculation device and calculation method
JP2019128557A (ja) * 2018-01-26 2019-08-01 日本電信電話株式会社 情報出力装置、方法およびプログラム
CN111310602A (zh) * 2020-01-20 2020-06-19 北京正和恒基滨水生态环境治理股份有限公司 一种基于情绪识别的展品关注度分析系统及分析方法
CN111861606A (zh) * 2019-04-29 2020-10-30 浙江大搜车软件技术有限公司 车型热度的计算方法及装置、电子设备、存储介质
CN113506132A (zh) * 2021-07-06 2021-10-15 树蛙信息科技(南京)有限公司 线下关注度的确定方法及装置
CN114671311A (zh) * 2020-12-24 2022-06-28 三菱电机株式会社 电梯的显示控制装置
CN116682071A (zh) * 2023-08-04 2023-09-01 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011019200A2 (ko) * 2009-08-11 2011-02-17 (주) 퓨처로봇 홍보 가능한 지능형 디스플레이 장치 및 그 홍보 방법
WO2011019200A3 (ko) * 2009-08-11 2011-06-30 (주) 퓨처로봇 홍보 가능한 지능형 디스플레이 장치 및 그 홍보 방법
CN102087846A (zh) * 2009-12-07 2011-06-08 三菱电机株式会社 区域信息控制装置
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2013050945A (ja) * 2011-08-30 2013-03-14 General Electric Co <Ge> 人物トラッキング及びインタラクティブ広告
KR20130027414A (ko) * 2011-08-30 2013-03-15 제너럴 일렉트릭 캄파니 사람 추적 및 양방향 광고
KR101983337B1 (ko) * 2011-08-30 2019-05-28 제너럴 일렉트릭 캄파니 사람 추적 및 양방향 광고
JP2013149050A (ja) * 2012-01-19 2013-08-01 Fujitsu Ltd 注目対象特定装置、注目対象特定方法、及びプログラム
JP2014014899A (ja) * 2012-07-09 2014-01-30 Toshiba Corp 情報処理装置、情報処理システム、サービス提供システムおよび情報処理方法
JP2015066625A (ja) * 2013-09-27 2015-04-13 株式会社国際電気通信基礎技術研究所 注目対象推定システムならびにロボットおよび制御プログラム
US9842255B2 (en) 2014-12-24 2017-12-12 Fujitsu Limited Calculation device and calculation method
CN105117767B (zh) * 2015-08-07 2018-05-15 西安诺瓦电子科技有限公司 显示屏关注度统计方法及系统
CN105117767A (zh) * 2015-08-07 2015-12-02 西安诺瓦电子科技有限公司 显示屏关注度统计方法及系统
JP2019128557A (ja) * 2018-01-26 2019-08-01 日本電信電話株式会社 情報出力装置、方法およびプログラム
CN111861606A (zh) * 2019-04-29 2020-10-30 浙江大搜车软件技术有限公司 车型热度的计算方法及装置、电子设备、存储介质
CN111310602A (zh) * 2020-01-20 2020-06-19 北京正和恒基滨水生态环境治理股份有限公司 一种基于情绪识别的展品关注度分析系统及分析方法
CN114671311A (zh) * 2020-12-24 2022-06-28 三菱电机株式会社 电梯的显示控制装置
CN114671311B (zh) * 2020-12-24 2023-12-26 三菱电机株式会社 电梯的显示控制装置
CN113506132A (zh) * 2021-07-06 2021-10-15 树蛙信息科技(南京)有限公司 线下关注度的确定方法及装置
CN116682071A (zh) * 2023-08-04 2023-09-01 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质
CN116682071B (zh) * 2023-08-04 2023-11-10 浙江大华技术股份有限公司 商品关注信息分析方法、设备及存储介质

Similar Documents

Publication Publication Date Title
JP2009116510A (ja) 注目度算出装置、注目度算出方法、注目度算出プログラム、情報提供システム、及び、情報提供装置
US8295542B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
JP6260979B1 (ja) 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム
US8724845B2 (en) Content determination program and content determination device
JP5621421B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5272213B2 (ja) 広告効果測定装置、広告効果測定方法およびプログラム
JP4934861B2 (ja) 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
US20130241821A1 (en) Image processing system, image processing method, and storage medium storing image processing program
JP5054753B2 (ja) 情報処理装置および情報処理方法
JP5511035B2 (ja) 広告配信対象者特定装置、および、広告配信装置
US8144196B2 (en) Display, display method, and display program
JPWO2008072739A1 (ja) 視聴傾向管理装置、システム及びプログラム
JP2023528126A (ja) 水産養殖における分析及び選別
US20180197018A1 (en) Information processing device, information processing method, and computer program product
JP2009151408A (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
JP7421149B2 (ja) 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置
JP4926232B2 (ja) 情報処理装置および情報処理方法
KR101744940B1 (ko) 디지털 사이니지 시스템에서 상황인지형 컨텐츠 추천장치
JP2018206341A (ja) 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム
JP4944183B2 (ja) 情報処理装置および情報処理方法
JP2005157134A (ja) 情報出力方法及び装置及びプログラム及び情報出力プログラムを格納したコンピュータ読み取り可能な記憶媒体
US20210385426A1 (en) A calibration method for a recording device and a method for an automatic setup of a multi-camera system
KR20190074933A (ko) 컨텐츠 노출 측정 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100616

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20101027