以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本開示は以下の記述に限定されるものではなく、本開示の要旨を逸脱しない範囲において適宜変更可能である。また、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。
実施の形態1.
(効果推定システムの全体構成)
図1を参照して、実施の形態1に係る効果推定システムの全体構成について説明する。図1は、実施の形態1に係る効果推定システムの全体構成を示すブロック図である。
図1を参照すると、実施の形態1に係る効果推定システム1は、情報提供装置10と、効果推定装置20(本開示の情報処理装置に対応する)と、を備える。効果推定システム1は、情報提供装置10と効果推定装置20とがネットワーク50を介して通信可能に接続されて構成される。
情報提供装置10は、例えば、繁華街、商業施設、駅、及びバス停等、人通りの多い場所や、列車、バス、タクシー、パーソナルモビリティ等の車内に設置される。情報提供装置10は、表示装置を備えており、当該表示装置にコンテンツを表示することで、通行人や乗客に対して各種の情報を提供する。情報提供装置10は、例えば、いわゆるデジタルサイネージである。コンテンツの種類は限定されず、時間帯や、情報提供装置10が設置される場所等に応じて、表示されるコンテンツが適宜選択されてよい。例えば、コンテンツは、広告、商業施設の施設情報、並びに、電車及びバスの運行情報等を示す静止画又は動画である。なお、図1では、簡単のため1台の情報提供装置10を図示しているが、複数の情報提供装置10がネットワーク50を介して効果推定装置20と接続されてもよい。
効果推定装置20は、情報提供装置10においてコンテンツを表示した効果を推定する。具体的には、効果推定装置20は、当該コンテンツの効果を示す指標として、当該コンテンツに対する視聴者の注目度を推定する。
以下、情報提供装置10及び効果推定装置20の構成について詳細に説明する。
(情報提供装置の構成)
図2を参照して、図1に示す情報提供装置10の構成について説明する。図2は、図1に示す情報提供装置10の機能構成を示す機能ブロック図である。なお、説明のため、図2には、図1に示す効果推定装置20も併せて図示している。ただし、簡単のため、図1に示すネットワーク50については図示を省略している。
図2を参照すると、情報提供装置10は、その機能として、表示部101と、表示制御部103と、撮像部105と、通信部107と、を有する。なお、他の装置の通信部と区別するため、以下では、便宜的に、通信部107を情報提供装置通信部107とも記載する。
表示部101は表示装置によって構成され、表示制御部103からの制御により、その画面にコンテンツを表示する。表示部101を構成する表示装置の種類は限定されず、当該表示装置は、例えば液晶ディスプレイ装置、プラズマディスプレイ装置、又は有機ELディスプレイ装置等、各種の公知の表示装置であってよい。あるいは、表示部101は、プロジェクタによって構成されてもよく、スクリーン、路面、又は壁面等にコンテンツを表示してもよい。
表示制御部103は、表示部101の動作を制御し、表示部101にコンテンツを表示させる。情報提供装置10は図示しない記憶部を備えており、当該記憶部に、表示する対象である各種のコンテンツの画像データや、これらのコンテンツを表示するルール(例えば、時間帯及び情報提供装置10の設置場所に応じた表示するコンテンツの種類、コンテンツを表示する時間、並びに、コンテンツを表示する順序等)等が記憶されている。表示制御部103は、当該記憶部を参照することにより、当該ルールに従って、表示部101にコンテンツを表示させる。
また、表示制御部103は、表示部101にコンテンツを表示させた実績データ(以下、表示実績データとも記載する)を、情報提供装置通信部107に提供する機能を有する。表示実績データは、表示部101が表示したコンテンツを特定する情報(例えば、当該コンテンツを示す識別子)と、それらのコンテンツを表示した時刻についての情報と、を少なくとも含む。表示実績データは、情報提供装置通信部107を介して効果推定装置20に送信される。
なお、表示制御部103は、例えば、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)等のプロセッサと、メモリ等の記憶素子が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の表示制御部103の機能が実現される。
撮像部105は、動画を撮影可能なカメラによって構成され、表示部101によって表示されるコンテンツを視聴可能な領域(以下、視聴領域とも記載する)を撮影する。撮像部105によって、視聴領域に存在する人が撮影され得る。視聴領域は、表示部101の画面の前方の所定の広さの領域として設定される。表示部101の画面が大きければ、それだけ遠方からコンテンツを視聴可能となるため、視聴領域は、当該画面の大きさに応じて適宜設定されてよい。
撮像部105を構成するカメラの種類は限定されず、各種の公知のカメラが用いられてよい。ただし、後述するように、本実施の形態では、効果推定装置20の視聴者特性検出部205において視聴者の肌の輝度の変化が検出されるため、その目的に適うよう、撮像部105は、輝度を検出可能なカメラによって構成される。撮像部105は、視聴領域を撮影した画像のデータ(以下、単に撮影画像データとも記載する)を、情報提供装置通信部107に提供する。なお、撮影画像データには、その画像を撮影した時刻についての情報も含まれている。
情報提供装置通信部107は、ネットワーク50(図1を参照)を介して効果推定装置20との間で各種の情報をやり取りする通信インタフェースである。情報提供装置通信部107は、通信カード又は通信チップ等によって構成される。情報提供装置通信部107は、表示制御部103から提供された表示実績データ、及び撮像部105から提供された撮影画像データを、ネットワーク50を介して効果推定装置20に送信する。なお、情報提供装置通信部107における通信の方式は限定されず、各種の公知の通信方式が用いられてよい。また、情報提供装置通信部107を構成する通信カード又は通信チップ等としては、採用された通信方式に適合するものが適宜用いられてよい。
なお、情報提供装置10は、以上説明した機能以外にも、一般的なデジタルサイネージが有する各種の機能を有してよい。例えば、情報提供装置10は、その機能として、スピーカ等の音声出力装置からなる音声出力部を更に有してもよい。コンテンツが音声を含むものである場合には、情報提供装置10は、表示部101によってコンテンツに係る画像を表示するとともに、当該音声出力部からコンテンツに係る音声を出力することができる。
(効果推定装置の構成)
図3を参照して、図1に示す効果推定装置20の構成について説明する。図3は、図1に示す効果推定装置20の機能構成を示す機能ブロック図である。なお、説明のため、図3には、図1に示す情報提供装置10も併せて図示している。ただし、簡単のため、図1に示すネットワーク50については図示を省略している。
図3を参照すると、効果推定装置20は、その機能として、通信部201と、視聴者抽出部203と、視聴者特性検出部205と、注目度推定部207と、注目度記憶部209と、を有する。なお、他の装置の通信部と区別するため、以下では、便宜的に、通信部201を効果推定装置通信部201とも記載する。
効果推定装置通信部201は、ネットワーク50(図1を参照)を介して情報提供装置10との間で各種の情報をやり取りする通信インタフェースである。効果推定装置通信部201は、通信カード又は通信チップ等によって構成される。効果推定装置通信部201は、情報提供装置10から送信された、表示部101における表示実績データ、及び撮像部105における撮影画像データを、ネットワーク50を介して受信する。効果推定装置通信部201は、受信した表示実績データを注目度推定部207に提供する。また、効果推定装置通信部201は、受信した撮影画像データを視聴者抽出部203及び視聴者特性検出部205に提供する。なお、効果推定装置通信部201における通信の方式は限定されず、各種の公知の通信方式が用いられてよい。また、効果推定装置通信部201を構成する通信カード又は通信チップ等としては、採用された通信方式に適合するものが適宜用いられてよい。
視聴者抽出部203は、撮影画像データに基づいて、視聴領域を撮影した画像から視聴者を抽出する。具体的には、視聴者抽出部203は、その機能として、人抽出部211を有する。人抽出部211は、視聴領域を撮影した画像に含まれる人を抽出する。この際、人抽出部211は、画像内に複数の人が存在する場合には、これら複数の人をそれぞれ抽出する。そして、視聴者抽出部203は、人抽出部211によって抽出された人を視聴者とみなして、当該視聴者の各々を特定する情報(例えば、視聴者の各々を示す識別子等)を付した上で、当該視聴者についての情報を視聴者特性検出部205に提供する。
人抽出部211が人を抽出する方法は限定されない。例えば、人抽出部211は、明度の違いに基づいて当該画像内に存在する事物の輪郭を抽出し、当該輪郭の大きさ及び形状に基づいて、人を抽出することができる。あるいは、例えば、人抽出部211は、画像内に存在する人の顔を検出することにより、人を抽出することができる。人の抽出方法はかかる例に限定されず、その他各種の公知の画像解析技術が用いられてよい。ただし、上記のように、人抽出部211は、画像内に複数の人が存在する場合にはこれら複数の人をそれぞれ抽出するため、例えば画像において人が重なっている場合であっても、それらの人を個別に認識できる技術が用いられることが好ましい。
視聴者特性検出部205は、撮影画像データに基づいて(すなわち、視聴領域を撮影した画像に基づいて)、視聴者特性を検出する。視聴者特性検出部205は、各視聴者に付された識別子を用いて、視聴者抽出部203(すなわち、人抽出部211)によって抽出された視聴者ごとに、視聴者特性を検出する。視聴者特性検出部205が抽出する視聴者特性には、当該視聴者の生理的特性が含まれる。生理的特性とは、コンテンツに対する視聴者の反応を示し得る、当該視聴者の身体的な特性である。
本実施の形態では、視聴者特性検出部205は、その機能として心拍数検出部221を有する。心拍数検出部221は、視聴領域を撮影した画像に基づいて、視聴者の生理的特性として心拍数を検出する。心拍数検出部221が心拍数を検出する方法は限定されず、各種の公知の方法が用いられてよい。一例として、心拍数検出部221は、国際公開第2020/054122号に記載の方法を用いて、人の肌を含む画像に基づいて、肌表面の輝度の変化から脈波を推定し、当該脈波から心拍数を検出することができる。心拍数検出部221は、各視聴者に付された識別子を用いて、視聴者ごとに心拍数を検出する。
視聴者特性検出部205(すなわち、心拍数検出部221)は、検出した視聴者特性についての情報(すなわち、心拍数についての情報)を、その視聴者特性(すなわち、心拍数)が検出された視聴者を示す識別子、及び、撮影画像データに含まれる、その視聴者特性(すなわち、心拍数)を検出するための画像が撮像部105によって撮影された時刻についての情報と対応付けて、注目度推定部207に提供する。
注目度推定部207は、視聴者特性検出部205によって検出された視聴者特性(すなわち、本実施の形態においては心拍数)に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度を推定する。注目度推定部207は、上記の視聴者特性(すなわち、心拍数)に対応付けられた視聴者を示す識別子を用いて、視聴者ごとに当該注目度を推定する。例えば、注目度推定部207は、視聴者ごとに、コンテンツの視聴開始時と視聴終了時での心拍数の変化量を算出する。当該心拍数の変化量に対して、注目度の高低を定める複数の閾値が予め設定されており、注目度推定部207は、算出した心拍数の変化量を当該閾値と比較することにより、例えば「注目度:低」、「注目度:中」、「注目度:高」といったカテゴリとして注目度を推定する。例えば、注目度推定部207は、当該心拍数の変化量が第1の閾値未満であれば「注目度:低」と推定し、当該心拍数の変化量が第1の閾値以上第2の閾値未満であれば「注目度:中」と推定し、当該心拍数の変化量が第2の閾値以上であれば「注目度:高」と判断する。ただし、注目度は、その高低を比較可能な形式で推定されればよく、注目度の具体的な形式は限定されない。例えば、注目度は、当該心拍数の変化量に応じた得点として推定されてもよい。なお、注目度推定部207は、心拍数の変化量ではなく、心拍数の値自体を用いて、当該心拍数の値を閾値と比較することで、同様に注目度を推定してもよい。
注目度推定部207は、効果推定装置通信部201から提供された表示実績データに基づいて、推定した注目度に対応するコンテンツ(すなわち、注目度の推定に用いられた視聴者特性(すなわち、心拍数)を検出するための画像が撮像部105によって撮影された時刻に、表示部101によって表示されていたコンテンツ)を抽出する。そして、注目度推定部207は、推定した注目度についての情報を、当該注目度に対応する視聴者を特定する情報(例えば、視聴者を示す識別子)、及び、抽出した、注目度に対応するコンテンツを特定する情報(例えば、コンテンツを示す識別子)と対応付けて、注目度記憶部209に出力する。
注目度記憶部209は、HDD(Hard Disk Drive)又はフラッシュメモリ等の不揮発性の記憶装置から構成され、注目度推定部207によって推定された注目度を記憶する。具体的には、注目度記憶部209は、注目度推定部207によって推定された注目度についての情報、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報を、互いに対応付けて記憶する。
以上、実施の形態1に係る効果推定システム1の構成について説明した。なお、効果推定装置20の視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207は、例えば、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207の機能が実現される。
(効果推定方法の処理手順)
図4を参照して、実施の形態1に係る効果推定方法(本開示における情報処理方法に対応)の処理手順について説明する。図4は、実施の形態1に係る効果推定方法の処理手順を示すフロー図である。図4に示す一連の処理は、図3を参照して説明した、効果推定装置20における情報処理方法に対応する。効果推定装置20の視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、図4に示す一連の処理が実行される。各処理の詳細については、図3を参照して既に説明しているため、ここでは詳細な説明を省略する。
図4を参照すると、実施の形態1に係る効果推定方法では、まず、情報提供装置10の撮像部105によって撮影された視聴領域の画像から、人(視聴者)が抽出される(ステップS101)。ステップS101に示す処理は、図3を参照して説明した、視聴者抽出部203(人抽出部211)によって実行される処理に対応している。
次に、情報提供装置10の撮像部105によって撮影された視聴領域の画像に基づいて、ステップS101に示す処理で抽出された視聴者ごとに、心拍数が検出される(ステップS103)。ステップS103に示す処理は、図3を参照して説明した、視聴者特性検出部205(心拍数検出部221)によって実行される処理に対応している。
次に、検出された心拍数に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度が、視聴者ごとに推定される(ステップS105)。そして、推定された注目度についての情報が、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報と、互いに対応付けられて出力される(ステップS107)。ステップS105及びステップS107に示す処理は、図3を参照して説明した、注目度推定部207によって実行される処理に対応している。
以上、実施の形態1に係る効果推定方法の処理手順について説明した。
以上説明したように、本実施の形態によれば、不特定多数の人に対して情報を提供する情報提供装置10において、コンテンツの視聴者を抽出した上で、当該視聴者ごとに視聴者特性が検出され、当該コンテンツに対する注目度が推定される。従って、より高い確度で注目度を推定することが可能となる。また、撮像部105によって撮影された画像に基づいて視聴者の抽出と注目度の推定がなされる構成となっており、他のセンサを要しない。従って、より簡易な構成によって注目度を推定することが可能となる。このように、本実施の形態によれば、例えばデジタルサイネージのような不特定多数に対して情報を提供する装置において、コンテンツに対する視聴者の注目度を把握し、当該コンテンツの効果を推定することを、より簡易な構成によって、より高い確度で行うことが可能となる。
ここで、デジタルサイネージの一使用態様として、例えば、広告主から提供される広告を表示する使用態様が広く普及している。広告主は、売上向上や知名度向上を目的として広告出稿を行うため、その広告の効果を把握したいという強い要望がある。例えば、広告の効果を把握するための従来の方法として、売上等の広告出稿の結果を示す数値と広告出稿量との相関を取ることで、広告の効果を推定する方法が知られている。あるいは、例えば、モニターによるアンケート結果に基づいて広告の効果を推定する方法も知られている。
しかしながら、広告出稿の結果を示す数値と広告出稿量との相関を取る方法では、広告の出稿から一定期間が経過した後の売上等の数値の変化を考慮しないと、当該相関を取ることができないため、広告の効果を早期に見積もることができない。従って、効果の低い広告を出稿し続けることとなる恐れがある。また、アンケート結果に基づいて広告の効果を推定する方法では、モニターがアンケートに誠実に回答していない可能性があり、そのアンケート結果が広告の効果を正しく表しているとは限らない。また、アンケートの実施には多大なコストが掛かることも懸念される。このように、従来、広告出稿による効果を具体的に見積もることは難しかった。
かかる事情に対して、本実施の形態では、上述したように、コンテンツに対する視聴者の注目度を把握し、当該コンテンツの効果を推定することを、より簡易な構成によって、より高い確度で行うことが可能となる。また、視聴領域を撮影した画像から検出される視聴者特性に基づいて効果を推定することができるため、より早期に当該効果を見積もることが可能となる。このように、本実施の形態に係る効果推定システム1によれば、コンテンツが広告である場合において、広告出稿の効果を把握したいという広告主の要望に好適に応えることが可能となる。また、広告主が広告出稿の効果をより正確に、より早期に把握できることで、広告主としては、広告出稿の費用対効果を把握した上で、効果の低い広告出稿を抑え、効果の高い広告のみを出稿することが可能となるため、広告主の広告出稿の需要を喚起することも可能となる。
実施の形態2.
本開示の実施の形態2について説明する。実施の形態2は、実施の形態1における効果推定装置20の視聴者特性検出部205及び注目度推定部207の機能が変更されたものに対応する。その他の事項は実施の形態1と同様であるため、以下の実施の形態2についての説明では、実施の形態1と重複する事項についてはその説明を省略し、実施の形態1と相違する事項について主に説明する。
(効果推定装置の構成)
実施の形態2の係る効果推定システムの全体構成、及び情報提供装置10の構成は、実施の形態1と同様であるため、その詳細な説明を省略する。実施の形態2では、効果推定装置の構成が実施の形態1とは異なる。図5を参照して、実施の形態2に係る効果推定装置の構成について説明する。図5は、実施の形態2に係る効果推定装置20aの機能構成を示す機能ブロック図である。なお、説明のため、図5には、図3と同様に、効果推定装置20aとともに効果推定システムを構成する情報提供装置10を併せて図示している。実際には情報提供装置10と効果推定装置20aとは、実施の形態1と同様、ネットワークを介して接続され得るが、簡単のため、図5では当該ネットワークについては図示を省略している。
図5を参照すると、効果推定装置20a(本開示における情報処理装置に対応する)は、その機能として、効果推定装置通信部201と、視聴者抽出部203と、視聴者特性検出部205aと、注目度推定部207aと、注目度記憶部209と、を有する。また、視聴者抽出部203は、その機能として、人抽出部211を有する。効果推定装置通信部201、視聴者抽出部203、人抽出部211、及び注目度記憶部209の機能は、実施の形態1におけるこれらの機能と同様であるため、詳細な説明を省略する。
視聴者特性検出部205aは、実施の形態1と同様に、撮影画像データに基づいて(すなわち、視聴領域を撮影した画像に基づいて)、生理的特性を含む視聴者特性を検出する。視聴者特性検出部205は、視聴者抽出部203(すなわち、人抽出部211)によって付された識別子を用いて、その抽出された視聴者ごとに、視聴者特性を検出する。
本実施の形態では、視聴者特性検出部205aは、その機能として開眼度検出部223を有する。開眼度検出部223は、視聴領域を撮影した画像に基づいて、視聴者の生理的特性として開眼度を検出する。開眼度検出部223が開眼度を検出する方法は限定されず、各種の公知の方法が用いられてよい。一例として、開眼度検出部223は、国際公開第2017/159215号に記載の方法を用いて、人の顔を含む画像に基づいて、目の輪郭を検出し、当該輪郭から開眼度を検出することができる。開眼度検出部223は、各視聴者に付された識別子を用いて、視聴者ごとに開眼度を検出する。
視聴者特性検出部205a(すなわち、開眼度検出部223)は、検出した視聴者特性についての情報(すなわち、開眼度についての情報)を、その視聴者特性(すなわち、開眼度)が検出された視聴者を示す識別子、及び、撮影画像データに含まれる、その視聴者特性(すなわち、開眼度)を検出するための画像が撮像部105によって撮影された時刻についての情報と対応付けて、注目度推定部207aに提供する。
注目度推定部207aは、視聴者特性検出部205aによって検出された視聴者特性(すなわち、本実施の形態においては開眼度)に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度を推定する。注目度推定部207aは、上記の視聴者特性(すなわち、開眼度)に対応付けられた視聴者を示す識別子を用いて、視聴者ごとに当該注目度を推定する。開眼度に応じて注目度を推定する方法は、実施の形態1における心拍数を用いる方法と同様であってよい。すなわち、例えば、注目度推定部207aは、視聴者ごとに、コンテンツの視聴開始時と視聴終了時での開眼度の変化量を算出する。当該開眼度の変化量に対して、注目度の高低を定める複数の閾値が予め設定されており、注目度推定部207aは、算出した当該開眼度の変化量を当該閾値と比較することにより、例えば「注目度:低」、「注目度:中」、「注目度:高」といったカテゴリとして注目度を推定する。例えば、注目度推定部207aは、当該開眼度の変化量が第1の閾値未満であれば「注目度:低」と推定し、当該開眼度の変化量が第1の閾値以上第2の閾値未満であれば「注目度:中」と推定し、当該開眼度の変化量が第2の閾値以上であれば「注目度:高」と判断する。ただし、注目度は、その高低を比較可能な形式で推定されればよく、注目度の具体的な形式は限定されない。例えば、注目度は、当該開眼度の変化量に応じた得点として推定されてもよい。なお、注目度推定部207aは、開眼度の変化量ではなく、開眼度の値自体を用いて、当該開眼度の値を閾値と比較することで、同様に注目度を推定してもよい。
注目度推定部207aは、効果推定装置通信部201から提供された表示実績データに基づいて、推定した注目度に対応するコンテンツ(すなわち、注目度の推定に用いられた視聴者特性(すなわち、開眼度)を検出するための画像が撮像部105によって撮影された時刻に、表示部101によって表示されていたコンテンツ)を抽出する。そして、注目度推定部207aは、推定した注目度についての情報を、当該注目度に対応する視聴者を特定する情報(例えば、視聴者を示す識別子)、及び、抽出した、注目度に対応するコンテンツを特定する情報(例えば、コンテンツを示す識別子)と対応付けて、注目度記憶部209に出力する。注目度記憶部209は、これらの情報を互いに対応付けて記憶する。
以上、実施の形態2に係る効果推定システムの構成について説明した。なお、効果推定装置20aの視聴者抽出部203(人抽出部211)、視聴者特性検出部205a(開眼度検出部223)、及び注目度推定部207aは、例えば、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の視聴者抽出部203(人抽出部211)、視聴者特性検出部205a(開眼度検出部223)、及び注目度推定部207aの機能が実現される。
(効果推定方法の処理手順)
図6を参照して、実施の形態2に係る効果推定方法(本開示における情報処理方法に対応)の処理手順について説明する。図6は、実施の形態2に係る効果推定方法の処理手順を示すフロー図である。図6に示す一連の処理は、図5を参照して説明した、効果推定装置20aにおける情報処理方法に対応する。効果推定装置20aの視聴者抽出部203(人抽出部211)、視聴者特性検出部205a(開眼度検出部223)、及び注目度推定部207aを構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、図6に示す一連の処理が実行される。各処理の詳細については、図5を参照して既に説明しているため、ここでは詳細な説明を省略する。
図6を参照すると、実施の形態2に係る効果推定方法では、まず、情報提供装置10の撮像部105によって撮影された視聴領域の画像から、人(視聴者)が抽出される(ステップS201)。ステップS201に示す処理は、図5を参照して説明した、視聴者抽出部203(人抽出部211)によって実行される処理に対応している。ステップS201に示す処理は、実施の形態1におけるステップS101に示す処理と同様である。
次に、情報提供装置10の撮像部105によって撮影された視聴領域の画像に基づいて、ステップS201に示す処理で抽出された視聴者ごとに、開眼度が検出される(ステップS203)。ステップS203に示す処理は、図5を参照して説明した、視聴者特性検出部205a(開眼度検出部223)によって実行される処理に対応している。
次に、検出された開眼度に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度が、視聴者ごとに推定される(ステップS205)。そして、推定された注目度についての情報が、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報と、互いに対応付けられて出力される(ステップS207)。ステップS205及びステップS207に示す処理は、図5を参照して説明した、注目度推定部207aによって実行される処理に対応している。
以上、実施の形態2に係る効果推定方法の処理手順について説明した。
以上説明したように、本実施の形態によれば、実施の形態1における心拍数に代えて、視聴者の生理的特性として開眼度が検出され、当該開眼度に基づいて注目度が推定される。このように、心拍数に代えて開眼度を用いた場合であっても、実施の形態1と同様に、より簡易な構成によって、より高い確度で、コンテンツに対する注目度を推定し、当該コンテンツの効果を推定することが可能となる。なお、視聴者の生理的特性として、実施の形態1のように心拍数を用いるか、実施の形態2のように開眼度を用いるかは、例えば撮像部105によって撮影された視聴領域の画像の解像度や明度等に応じて、その生理的特性をより精度よく検出できるものが、適宜選択されてよい。
実施の形態3.
本開示の実施の形態3について説明する。実施の形態3は、実施の形態1における効果推定装置20の視聴者抽出部203の機能が変更されたものに対応する。その他の事項は実施の形態1と同様であるため、以下の実施の形態3についての説明では、実施の形態1と重複する事項についてはその説明を省略し、実施の形態1と相違する事項について主に説明する。
(効果推定装置の構成)
実施の形態3の係る効果推定システムの全体構成、及び情報提供装置10の構成は、実施の形態1と同様であるため、その詳細な説明を省略する。実施の形態3では、効果推定装置の構成が実施の形態1とは異なる。図7を参照して、実施の形態3に係る効果推定装置の構成について説明する。図7は、実施の形態3に係る効果推定装置20bの機能構成を示す機能ブロック図である。なお、説明のため、図7には、図3と同様に、効果推定装置20bとともに効果推定システムを構成する情報提供装置10を併せて図示している。実際には情報提供装置10と効果推定装置20bとは、実施の形態1と同様、ネットワークを介して接続され得るが、簡単のため、図7では当該ネットワークについては図示を省略している。
図7を参照すると、効果推定装置20b(本開示における情報処理装置に対応する)は、その機能として、効果推定装置通信部201と、視聴者抽出部203bと、視聴者特性検出部205と、注目度推定部207と、注目度記憶部209と、を有する。効果推定装置通信部201、視聴者特性検出部205と、注目度推定部207、及び注目度記憶部209の機能は、実施の形態1におけるこれらの機能と同様であるため、詳細な説明を省略する。
視聴者抽出部203bは、撮影画像データに基づいて、視聴領域を撮影した画像から視聴者を抽出する。具体的には、視聴者抽出部203bは、その機能として、人抽出部211及び視聴者特定部213を有する。人抽出部211の機能は、実施の形態1と略同様である。人抽出部211は、視聴領域を撮影した画像に含まれる人を抽出する。人抽出部211は、抽出した人についての情報を、視聴者特定部213に提供する。
視聴者特定部213は、撮影画像データに基づいて、人抽出部211によって抽出された人の中から、コンテンツの視聴者を特定する。例えば、視聴者特定部213は、人抽出部211によって抽出された人について、視聴領域での滞留時間を検出し、当該滞留時間が一定時間(例えば1分)以上である人を、コンテンツの視聴者と特定する。そして、視聴者抽出部203bは、視聴者特定部213によって特定された視聴者についての情報を、当該視聴者の各々を特定する情報(例えば、視聴者の各々を示す識別子等)を付した上で、視聴者特性検出部205に提供する。
ここで、実施の形態1、2では、人抽出部211によって抽出された人、すなわち、視聴領域に存在する人を視聴者とみなしていた。しかしながら、実際には、視聴領域に存在している人の中には、コンテンツを視聴していない人(例えば、視聴せずに単に視聴領域を通過する人や、視聴せずに単に視聴領域に滞留している人等)も含まれ得る。これに対して、本実施の形態では、視聴者特定部213によって、視聴領域に存在する人(例えば、視聴領域を通過している人や、視聴領域に滞留している人等)の中から視聴者が特定される。従って、視聴者の注目度を、より高い確度で推定することが可能となる。
なお、視聴者特定部213が視聴者を特定する方法は上記の方法に限定されず、各種の方法が用いられてよい。例えば、視聴者特定部213は、撮影画像データに基づいて、人抽出部211によって抽出された人の視線又は顔の向きを検出し、当該視線又は顔の向きが情報提供装置10の表示部101に向けられている人を、視聴者と特定してもよい。
視聴者特性検出部205及び注目度推定部207の機能は、実施の形態1と同様である。ただし、本実施の形態では、視聴者特性検出部205は、視聴者特定部213によって特定された視聴者を対象として、視聴者特性を検出する(本実施の形態においては、視聴者特性として、心拍数検出部221が視聴者の心拍数を検出する)。そして、注目度推定部207は、当該視聴者ごとに、コンテンツに対する注目度を推定し、推定した注目度についての情報を、当該注目度に対応する視聴者を特定する情報(例えば、視聴者を示す識別子)、及び、注目度に対応するコンテンツを特定する情報(例えば、コンテンツを示す識別子)と対応付けて、注目度記憶部209に出力する。注目度記憶部209は、これらの情報を互いに対応付けて記憶する。
以上、実施の形態3に係る効果推定システムの構成について説明した。なお、効果推定装置20bの視聴者抽出部203b(人抽出部211及び視聴者特定部213)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207は、例えば、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の視聴者抽出部203b(人抽出部211及び視聴者特定部213)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207の機能が実現される。
(効果推定方法の処理手順)
図8を参照して、実施の形態3に係る効果推定方法(本開示における情報処理方法に対応する)の処理手順について説明する。図8は、実施の形態3に係る効果推定方法の処理手順を示すフロー図である。図8に示す一連の処理は、図7を参照して説明した、効果推定装置20bにおける情報処理方法に対応する。効果推定装置20bの視聴者抽出部203b(人抽出部211及び視聴者特定部213)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、図8に示す一連の処理が実行される。各処理の詳細については、図7を参照して既に説明しているため、ここでは詳細な説明を省略する。
図8を参照すると、実施の形態3に係る効果推定方法では、まず、情報提供装置10の撮像部105によって撮影された視聴領域の画像から、人が抽出される(ステップS301)。ステップS301に示す処理は、図7に示す人抽出部211によって実行される処理に対応している。
次に、ステップS301に示す処理で抽出された人の中から、コンテンツの視聴者が特定される(ステップS303)。ステップS303に示す処理は、図7を参照して説明した、視聴者特定部213によって実行される処理に対応している。
次に、情報提供装置10の撮像部105によって撮影された視聴領域の画像に基づいて、ステップS303に示す処理で特定された視聴者ごとに、心拍数が検出される(ステップS305)。ステップS305に示す処理は、図7を参照して説明した、視聴者特性検出部205(心拍数検出部221)によって実行される処理に対応している。ステップS305に示す処理は、実施の形態1におけるステップS103に示す処理と同様である。
次に、検出された心拍数に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度が、視聴者ごとに推定される(ステップS307)。そして、推定された注目度についての情報が、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報と、互いに対応付けられて出力される(ステップS309)。ステップS307及びステップS309に示す処理は、図7を参照して説明した、注目度推定部207によって実行される処理に対応している。ステップS307及びステップS309に示す処理は、実施の形態1におけるステップS105及びステップS107に示す処理と同様である。
以上、実施の形態3に係る効果推定方法の処理手順について説明した。
以上説明したように、本実施の形態によれば、コンテンツの視聴者をより確実に特定した上で、当該視聴者を対象として注目度が推定される。従って、注目度、ひいてはコンテンツの効果を、より高い確度で推定することが可能となる。
実施の形態4.
本開示の実施の形態4について説明する。実施の形態4は、実施の形態1における視聴者特性検出部205の機能が変更されたものに対応する。その他の事項は実施の形態1と同様であるため、以下の実施の形態4についての説明では、実施の形態1と重複する事項についてはその説明を省略し、実施の形態1と相違する事項について主に説明する。なお、実施の形態4は、実施の形態2における視聴者特性検出部205aの機能が変更されたものとして構成されてもよい。すなわち、以下の実施の形態4の説明において、実施の形態1に係る各機能(例えば、心拍数に基づいて注目度を推定する機能)が、実施の形態2に係る各機能(例えば、開眼度に基づいて注目度を推定する機能)に置き換えられてもよい。
(効果推定装置の構成)
実施の形態4の係る効果推定システムの全体構成、及び情報提供装置10の構成は、実施の形態1と同様であるため、その詳細な説明を省略する。実施の形態4では、効果推定装置の構成が実施の形態1とは異なる。図9を参照して、実施の形態4に係る効果推定装置の構成について説明する。図9は、実施の形態4に係る効果推定装置20cの機能構成を示す機能ブロック図である。なお、説明のため、図9には、図3と同様に、効果推定装置20cとともに効果推定システムを構成する情報提供装置10を併せて図示している。実際には情報提供装置10と効果推定装置20cとは、実施の形態1と同様、ネットワークを介して接続され得るが、簡単のため、図9では当該ネットワークについては図示を省略している。
図9を参照すると、効果推定装置20c(本開示における情報処理装置に対応する)は、その機能として、効果推定装置通信部201と、視聴者抽出部203と、視聴者特性検出部205cと、注目度推定部207cと、注目度記憶部209cと、を有する。また、視聴者抽出部203は、その機能として、人抽出部211を有する。効果推定装置通信部201、視聴者抽出部203、及び人抽出部211の機能は、実施の形態1におけるこれらの機能と同様であるため、詳細な説明を省略する。
視聴者特性検出部205cは、実施の形態1と同様に、撮影画像データに基づいて(すなわち、視聴領域を撮影した画像に基づいて)、生理的特性を含む視聴者特性を検出する。視聴者特性検出部205cは、視聴者抽出部203(すなわち、人抽出部211)によって付された識別子を用いて、その抽出された視聴者ごとに、視聴者特性を検出する。
視聴者特性検出部205cは、その機能として、心拍数検出部221と、性別検出部225と、年齢検出部227と、を有する。心拍数検出部221は、視聴領域を撮影した画像に基づいて、視聴者の心拍数を検出する。心拍数検出部221の機能は実施の形態1と同様である。性別検出部225は、視聴領域を撮影した画像に基づいて、視聴者の性別を検出する。年齢検出部227は、視聴領域を撮影した画像に基づいて、視聴者の年齢を検出する。年齢は、具体的な数値として検出されてもよいし、「子ども」、「成人」、「高齢者」等の年齢層として検出されてもよい。この際、心拍数検出部221、性別検出部225、及び年齢検出部227は、視聴者抽出部203(すなわち、人抽出部211)によって付された識別子を用いて、その抽出された視聴者ごとに、心拍数、性別、及び年齢をそれぞれ検出する。このように、視聴者特性検出部205cは、視聴者特性として、当該視聴者ごとに、その心拍数、性別、及び年齢を検出する機能を有する。
なお、性別検出部225が視聴領域を撮影した画像に基づいて視聴者の性別を検出する処理、及び年齢検出部227が視聴領域を撮影した画像に基づいて視聴者の年齢を検出する処理の具体的な方法は限定されず、各種の公知の画像解析技術が用いられてよい。例えば、性別検出部225及び年齢検出部227は、視聴領域を撮影した画像に含まれる視聴者の顔画像から、性別及び年齢に関係する顔の特徴量を抽出し、当該特徴量に基づいて性別及び年齢を検出することができる。
視聴者特性検出部205c(すなわち、心拍数検出部221、性別検出部225、及び年齢検出部227)は、検出した視聴者特性についての情報(すなわち、心拍数、性別、及び年齢についての情報)を、その視聴者特性(すなわち、心拍数、性別、及び年齢)が検出された視聴者を示す識別子、及び、撮影画像データに含まれる、その視聴者特性(すなわち、心拍数、性別、及び年齢)を検出するための画像が撮像部105によって撮影された時刻についての情報と対応付けて、注目度推定部207cに提供する。
注目度推定部207cは、視聴者特性検出部205cによって検出された視聴者特性のうち、心拍数に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度を推定する。注目度推定部207cは、心拍数に対応付けられた視聴者を示す識別子を用いて、視聴者ごとに当該注目度を推定する。心拍数に基づいて注目度を推定する方法は、実施の形態1と同様であってよい。すなわち、例えば、注目度推定部207cは、実施の形態1と同様に、心拍数の変化量を算出し、当該心拍数の変化量に基づいて注目度を推定する。
注目度推定部207cは、実施の形態1と同様に、効果推定装置通信部201から提供された表示実績データに基づいて、推定した注目度に対応するコンテンツ(すなわち、注目度の推定に用いられた視聴者特性(すなわち、心拍数)を検出するための画像が撮像部105によって撮影された時刻に、表示部101によって表示されていたコンテンツ)を抽出する。そして、注目度推定部207cは、推定した注目度についての情報を、当該注目度を推定した視聴者の性別についての情報、当該注目度を推定した視聴者の年齢についての情報、当該注目度に対応する視聴者を特定する情報(例えば、視聴者を示す識別子)、及び、抽出した、注目度に対応するコンテンツを特定する情報(例えば、コンテンツを示す識別子)と対応付けて、注目度記憶部209cに出力する。
注目度記憶部209cは、HDD又はフラッシュメモリ等の不揮発性の記憶装置から構成され、注目度推定部207cによって推定された注目度を記憶する。具体的には、注目度記憶部209cは、注目度推定部207cによって推定された注目度についての情報、当該注目度を推定した視聴者の性別についての情報、当該注目度を推定した視聴者の年齢についての情報、当該注目度に対応する視聴者を特定する情報、及び、当該注目度に対応するコンテンツを特定する情報を、互いに対応付けて記憶する。
以上、実施の形態4に係る効果推定システムの構成について説明した。なお、効果推定装置20cの視聴者抽出部203(人抽出部211)、視聴者特性検出部205c(心拍数検出部221、性別検出部225、及び年齢検出部227)、及び注目度推定部207cは、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の視聴者抽出部203(人抽出部211)、視聴者特性検出部205c(心拍数検出部221、性別検出部225、及び年齢検出部227)、及び注目度推定部207cの機能が実現される。
(効果推定方法の処理手順)
図10を参照して、実施の形態4に係る効果推定方法(本開示における情報処理方法に対応する)の処理手順について説明する。図10は、実施の形態4に係る効果推定方法の処理手順を示すフロー図である。図10に示す一連の処理は、図9を参照して説明した、効果推定装置20cにおける情報処理方法に対応する。効果推定装置20cの視聴者抽出部203(人抽出部211)、視聴者特性検出部205c(心拍数検出部221、性別検出部225、及び年齢検出部227)、及び注目度推定部207cを構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、図10に示す一連の処理が実行される。各処理の詳細については、図9を参照して既に説明しているため、ここでは詳細な説明を省略する。
図10を参照すると、実施の形態4に係る効果推定方法では、まず、情報提供装置10の撮像部105によって撮影された視聴領域の画像から、人(視聴者)が抽出される(ステップS401)。ステップS401に示す処理は、図9を参照して説明した、視聴者抽出部203(人抽出部211)によって実行される処理に対応している。ステップS401に示す処理は、実施の形態1におけるステップS101に示す処理と同様である。
次に、情報提供装置10の撮像部105によって撮影された視聴領域の画像に基づいて、ステップS401に示す処理で抽出された視聴者ごとに、心拍数、性別、及び年齢が検出される(ステップS403)。ステップS403に示す処理は、図9を参照して説明した、視聴者特性検出部205c(心拍数検出部221、性別検出部225、及び年齢検出部227)によって実行される処理に対応している。
次に、検出された心拍数に基づいて、情報提供装置10の表示部101に表示されたコンテンツに対する注目度が、視聴者ごとに推定される(ステップS405)。そして、推定された注目度についての情報が、当該注目度を推定した視聴者の性別についての情報、当該注目度を推定した視聴者の年齢についての情報、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報と、互いに対応付けられて出力される(ステップS407)。ステップS405及びステップS407に示す処理は、図9を参照して説明した、注目度推定部207cによって実行される処理に対応している。
以上、実施の形態4に係る効果推定方法の処理手順について説明した。
以上説明したように、本実施の形態によれば、視聴者特性として、注目度の推定に用いられる生理的特性(本実施の形態においては心拍数)に加えて、視聴者の性別及び年齢が検出される。そして、推定された注目度についての情報が、これら視聴者の性別及び年齢についての情報と対応付けて出力される。従って、出力された注目度を分析する際に、視聴者の性別及び年齢との相関を分析することができ、コンテンツを表示した効果をより詳細に分析することが可能となる。
なお、以上の説明では、視聴者特性として視聴者の性別及び年齢の両方が検出されていたが、本実施の形態はかかる例に限定されない。視聴者特性としては、視聴者の性別及び年齢のいずれか一方のみが検出され、その検出された事項のみが、注目度についての情報と対応付けて出力されてもよい。例えば、コンテンツの特性上、視聴者の性別及び年齢のうちの一方のみが当該コンテンツに対する注目度に影響を及ぼすことが予想される場合には、視聴者特性として、その影響を及ぼすことが予想されるもののみが検出され得る。
実施の形態5.
(効果推定システムの全体構成)
本開示の実施の形態5について説明する。図11を参照して、実施の形態5に係る効果推定システムの全体構成について説明する。図11は、実施の形態5に係る効果推定システムの全体構成を示すブロック図である。
図11を参照すると、実施の形態5に係る効果推定システム5は、情報提供装置10と、効果推定装置20と、コンテンツ配信装置30と、を備える。効果推定システム5は、情報提供装置10と効果推定装置20とコンテンツ配信装置30とがネットワーク50を介して通信可能に接続されて構成される。本実施の形態では、効果推定装置20からコンテンツ配信装置30に、注目度を推定した結果についての情報が送信される。コンテンツ配信装置30は、当該注目度に基づいて、情報提供装置10において表示されるコンテンツを選択し、選択したコンテンツを情報提供装置10に対して送信する。
ここで、図11に示す情報提供装置10の構成及び効果推定装置20の構成は、実施の形態1と同様である。つまり、実施の形態5に係る効果推定システム5は、実施の形態1に係る効果推定システム1に対して、コンテンツ配信装置30が追加的に設けられたものに対応する。コンテンツ配信装置30以外の事項は実施の形態1と同様であるため、以下の実施の形態5についての説明では、実施の形態1と重複する事項についてはその説明を省略し、実施の形態1と相違する事項について主に説明する。なお、実施の形態5は、実施の形態2における視聴者特性検出部205aの機能が変更されたものとして構成されてもよい。すなわち、以下の実施の形態5の説明において、実施の形態1に係る各機能(例えば、心拍数に基づいて注目度を推定する機能)が、実施の形態2に係る各機能(例えば、開眼度に基づいて注目度を推定する機能)に置き換えられてもよい。
(コンテンツ配信装置の構成)
上記のように、実施の形態5に係る情報提供装置10の構成及び効果推定装置20の構成は、実施の形態1と同様であるため、その詳細な説明を省略する。図12を参照して、実施の形態5に係るコンテンツ配信装置30の構成について説明する。図12は、実施の形態5に係るコンテンツ配信装置30の機能構成を示す機能ブロック図である。なお、説明のため、図12には、図11に示す情報提供装置10及び効果推定装置20を併せて図示している。ただし、簡単のため、図12ではネットワーク50については図示を省略している。
図12を参照すると、コンテンツ配信装置30は、その機能として、通信部301と、コンテンツ記憶部303と、コンテンツ選択部305と、を有する。なお、他の装置の通信部と区別するため、以下では、便宜的に、通信部301をコンテンツ配信装置通信部301とも記載する。
コンテンツ配信装置通信部301は、ネットワーク50(図11を参照)を介して情報提供装置10及び効果推定装置20との間で各種の情報をやり取りする通信インタフェースである。コンテンツ配信装置通信部301は、通信カード又は通信チップ等によって構成される。コンテンツ配信装置通信部301は、効果推定装置20から、注目度を推定した結果についての情報を受信する。当該注目度を推定した結果についての情報は、図3を参照して説明した、実施の形態1に係る注目度推定部207が出力する情報である。すなわち、当該注目度を推定した結果についての情報には、注目度推定部207によって推定された注目度についての情報、当該注目度に対応する視聴者を特定する情報、及び当該注目度に対応するコンテンツを特定する情報が含まれる。コンテンツ配信装置通信部301は、受信した注目度を推定した結果についての情報を、コンテンツ選択部305に提供する。また、コンテンツ配信装置通信部301は、コンテンツ選択部305によって選択されたコンテンツを、情報提供装置10に対して送信する。
コンテンツ記憶部303は、HDD又はフラッシュメモリ等の不揮発性の記憶装置から構成され、情報提供装置10において表示される各種のコンテンツを記憶する。例えば、コンテンツが広告である場合であれば、コンテンツ記憶部303は、当該広告を示す画像データを記憶する。
コンテンツ選択部305は、コンテンツ配信装置通信部301から提供された注目度を推定した結果についての情報に基づいて、注目度に関する予め定められたルール(以下、コンテンツ選択ルールとも記載する)に従って、コンテンツ記憶部303に記憶されているコンテンツの中から、情報提供装置10に配信するコンテンツを選択する。例えば、コンテンツ選択ルールは、「直近の一定期間(例えば、1週間又は1ヶ月等)で注目度の累計が最も高かったコンテンツを選択する」等である。コンテンツ選択部305は、選択したコンテンツを、コンテンツ配信装置通信部301を介して情報提供装置10に対して送信させる。
なお、コンテンツ選択部305は、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記のコンテンツ選択部305の機能が実現される。
以上、実施の形態5に係る効果推定システム5の構成について説明した。本実施の形態によれば、推定された注目度を考慮して、情報提供装置10において表示されるコンテンツが決定される。従って、例えばより注目度が高いコンテンツを優先的に表示する等、より効果的にコンテンツを表示することが可能になる。
実施の形態6.
(効果推定システムの全体構成)
本開示の実施の形態6について説明する。図13を参照して、実施の形態6に係る効果推定システムの全体構成について説明する。図13は、実施の形態6に係る効果推定システムの全体構成を示すブロック図である。
図13を参照すると、実施の形態6に係る効果推定システム6は、情報提供装置10と、効果推定装置20d(本開示の情報処理装置に対応する)と、決済システム40と、を備える。効果推定システム6は、情報提供装置10と効果推定装置20dと決済システム40とがネットワーク50を介して通信可能に接続されて構成される。
ここで、図13に示す情報提供装置10の構成は、実施の形態1と同様である。つまり、実施の形態6に係る効果推定システム6は、実施の形態1に係る効果推定システム1に対して、効果推定装置20に代えて効果推定装置20dが設けられるとともに、決済システム40がネットワーク50に追加的に接続されたものに対応する。これら以外の事項は実施の形態1と同様であるため、以下の実施の形態6についての説明では、実施の形態1と重複する事項についてはその説明を省略し、実施の形態1と相違する事項について主に説明する。なお、実施の形態6は、実施の形態2における視聴者特性検出部205aの機能が変更されたものとして構成されてもよい。すなわち、以下の実施の形態6の説明において、実施の形態1に係る各機能(例えば、心拍数に基づいて注目度を推定する機能)が、実施の形態2に係る各機能(例えば、開眼度に基づいて注目度を推定する機能)に置き換えられてもよい。
なお、本実施の形態では、情報提供装置10において表示されるコンテンツは広告であり、当該広告に、当該広告に係る商品又はサービスの料金を割引するクーポンが含まれている。当該クーポンは、例えば、広告に係る画像データとともに「広告を見たことを店頭で告げると料金を割引する」旨の文字を表示することで提供されてもよいし、スマートフォン等のデバイスで読み取り可能な2次元コード、又は非接触通信手段(例えば、NFC(Near Field Communication)や音声透かし技術等)を用いて伝送されるデータとして提供されてもよい。
決済システム40は、かかるクーポンが含まれる広告に係る商品又はサービスの決済システムである。決済システム40は、当該商品又は当該サービスの売上を少なくとも管理するが、その際、当該広告に含まれるクーポンの使用状況も管理する。決済システム40は、当該クーポンの使用状況についての情報を、効果推定装置20dに送信する。
(効果推定装置の構成)
図14を参照して、実施の形態6に係る効果推定装置20dの構成について説明する。図14は、実施の形態6に係る効果推定装置20dの機能構成を示す機能ブロック図である。なお、説明のため、図14には、図13に示す情報提供装置10及び決済システム40を併せて図示している。ただし、簡単のため、図14ではネットワーク50については図示を省略している。
図14を参照すると、効果推定装置20dは、その機能として、通信部201dと、視聴者抽出部203と、視聴者特性検出部205と、注目度推定部207dと、注目度記憶部209dと、を有する。また、視聴者抽出部203は、その機能として、人抽出部211を有する。また、視聴者特性検出部205は、その機能として、心拍数検出部221を有する。視聴者抽出部203、人抽出部211、視聴者特性検出部205、及び心拍数検出部221の機能は、実施の形態1におけるこれらの機能と同様であるため、詳細な説明を省略する。なお、他の装置の通信部と区別するため、以下では、便宜的に、通信部201dを効果推定装置通信部201dとも記載する。
効果推定装置通信部201dは、実施の形態1に係る効果推定装置通信部201と同様に、情報提供装置10から表示実績データ及び撮影画像データを取得する。更に、本実施の形態では、効果推定装置通信部201dは、決済システム40から、情報提供装置10において表示された広告に含まれるクーポンの使用状況についての情報を受信する。効果推定装置通信部201dは、撮影画像データを視聴者抽出部203及び視聴者特性検出部205に提供する。視聴者抽出部203(すなわち、人抽出部211)及び視聴者特性検出部205(すなわち、心拍数検出部221)は、実施の形態1と同様に、撮影画像データに基づいて、視聴者の抽出処理及び視聴者特性(本実施の形態においては、心拍数)の検出処理を行い、検出した心拍数についての情報を、その視聴者特性(すなわち、心拍数)が検出された視聴者を示す識別子、及び、撮影画像データに含まれる、その視聴者特性(すなわち、心拍数)を検出するための画像が撮像部105によって撮影された時刻についての情報と対応付けて、注目度推定部207dに提供する。一方、効果推定装置通信部201dは、表示実績データ及びクーポンの使用状況についての情報を、注目度推定部207dに提供する。
注目度推定部207dは、視聴者特性検出部205によって検出された心拍数に基づいて、情報提供装置10の表示部101に表示された広告に対する注目度を、視聴者ごとに推定する。例えば、注目度推定部207cは、実施の形態1と同様に、心拍数の変化量を算出し、当該心拍数の変化量に基づいて注目度を推定する。また、注目度推定部207dは、効果推定装置通信部201から提供された表示実績データに基づいて、推定した注目度に対応する広告(すなわち、注目度の推定に用いられた視聴者特性(すなわち、心拍数)を検出するための画像が撮像部105によって撮影された時刻に、表示部101によって表示されていた広告)を特定する。以上の各機能は、実施の形態1に係る注目度推定部207の機能と同様である。
注目度推定部207dは、実施の形態1に係る注目度推定部207と同様に、推定した注目度についての情報を、当該注目度に対応する視聴者を特定する情報(例えば、視聴者を示す識別子)、及び、特定した、注目度に対応する広告を示す情報(例えば、広告を示す識別子)と対応付けて、注目度記憶部209dに出力する。その際、本実施の形態では、注目度推定部207dは、当該注目度に対応する広告に含まれるクーポンの使用状況についての情報も、これらの情報に更に対応付けて出力する。
注目度記憶部209dは、HDD又はフラッシュメモリ等の不揮発性の記憶装置から構成され、注目度推定部207dによって推定された注目度を記憶する。具体的には、注目度記憶部209dは、注目度推定部207dによって推定された注目度についての情報、当該注目度に対応する視聴者を特定する情報、当該注目度に対応する広告を特定する情報、及び当該注目度に対応する広告に含まれるクーポンの使用状況についての情報を、互いに対応付けて記憶する。
以上、実施の形態6に係る効果推定システム6の構成について説明した。なお、効果推定装置20dの視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207dは、CPU又はDSP等のプロセッサ、並びにメモリ等の記憶素子等が搭載された制御基板によって構成される。当該記憶素子には、例えば当該プロセッサが実行するプログラム、及び当該プロセッサがプログラムを実行した結果得られた情報等が格納される。当該プロセッサが所定のプログラムに従って演算処理を実行することにより、上記の視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207dの機能が実現される。
(効果推定方法の処理手順)
図15を参照して、実施の形態6に係る効果推定方法(本開示における情報処理方法に対応する)の処理手順について説明する。図15は、実施の形態6に係る効果推定方法の処理手順を示すフロー図である。図15に示す一連の処理は、図14を参照して説明した、効果推定装置20dにおける情報処理方法に対応する。効果推定装置20dの視聴者抽出部203(人抽出部211)、視聴者特性検出部205(心拍数検出部221)、及び注目度推定部207dを構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、図15に示す一連の処理が実行される。各処理の詳細については、図14を参照して既に説明しているため、ここでは詳細な説明を省略する。
図15を参照すると、実施の形態6に係る効果推定方法では、まず、情報提供装置10の撮像部105によって撮影された視聴領域の画像から、人(視聴者)が抽出される(ステップS501)。ステップS501に示す処理は、図14を参照して説明した、視聴者抽出部203(人抽出部211)によって実行される処理に対応している。ステップS501に示す処理は、実施の形態1におけるステップS101に示す処理と同様である。
次に、情報提供装置10の撮像部105によって撮影された視聴領域の画像に基づいて、ステップS501に示す処理で抽出された視聴者ごとに、心拍数が検出される(ステップS503)。ステップS503に示す処理は、図14を参照して説明した、視聴者特性検出部205(心拍数検出部221)によって実行される処理に対応している。ステップS503に示す処理は、実施の形態1におけるステップS103に示す処理と同様である。
次に、検出された心拍数に基づいて、情報提供装置10の表示部101に表示された広告に対する注目度が、視聴者ごとに推定される(ステップS505)。そして、推定された注目度についての情報が、当該注目度に対応する視聴者を特定する情報、当該注目度に対応する広告を特定する情報、及び当該注目度に対応する広告に含まれるクーポンの使用状況についての情報と、対応付けられて出力される(ステップS507)。ステップS505及びステップS507に示す処理は、図14を参照して説明した、注目度推定部207dによって実行される処理に対応している。なお、ステップS505に示す処理は、実施の形態1におけるステップS105に示す処理と同様である。
以上、実施の形態6に係る効果推定方法の処理手順について説明した。
以上説明したように、本実施の形態によれば、コンテンツである広告にクーポンが含まれる場合に、当該クーポンの使用状況についての情報が、推定した注目度と対応付けて出力される。ここで、例えば、クーポンの使用回数が多い場合には、広告に興味を示した視聴者も多いと考えられるため、クーポンの使用状況についての情報は、注目度推定部207dによって推定された注目度とは別の観点で、広告出稿の効果を示す指標となり得る。従って、注目度推定部207dによって推定された注目度と、クーポンの使用状況についての情報とを用いて、広告出稿の効果を分析することにより、当該効果をより高い確度で見積もることが可能となる。
(変形例、補足等)
以上、添付図面を参照しながら本開示の好適な実施の形態について詳細に説明したが、本開示に係る技術はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変形例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。例えば、本開示に係る技術は、以上説明した実施の形態以外にも、以下のような形態を取り得る。
例えば、上述した実施の形態1~6において効果推定装置20、20a、20b、20c、20dが推定した注目度についての情報を出力する際に、情報提供装置10の設置場所についての情報、注目度に対応するコンテンツが表示された時間帯についての情報、及び/又は当該時間帯における情報提供装置10の設置場所の周辺状況についての情報(例えば、気象情報、イベント開催情報、及び/又は混雑情報等)が、当該注目度についての情報と更に対応付けて出力されてもよい。これらの情報を用いることにより、推定された注目度に基づいてコンテンツを表示した効果を分析する際に、情報提供装置10の設置場所や時間帯、周辺状況まで考慮した、より詳細な分析が可能となる。
また、例えば、上述した実施の形態1~6に係る効果推定装置20、20a、20b、20c、20dでは、注目度推定部207、207a、207b、207c、207dによって推定された注目度についての情報が、注目度記憶部209、209c、209dに出力されていたが、本開示はかかる例に限定されない。注目度推定部207、207a、207b、207c、207dは、推定した注目度についての情報を、効果推定装置20、20a、20b、20c、20d内の他の構成、又は外部の他の装置に対して出力してもよい。例えば、注目度推定部207、207a、207b、207c、207dによって推定された注目度についての情報が、効果推定装置20、20a、20b、20c、20dに設けられる表示装置に表示されてもよい。また、例えば、注目度推定部207、207a、207b、207c、207dによって推定された注目度についての情報が、外部の記憶装置に記憶されたり、外部の表示装置に表示されたりしてもよい。
また、例えば、上述した実施の形態1~6に係る情報提供装置10において、撮像部105を構成するカメラの台数は、任意であってよい。例えば、複数台のカメラによって異なる角度から視聴領域を撮影することにより、その撮影された画像に基づく視聴者抽出部203、203bによる視聴者の抽出処理、及び視聴者特性検出部205、205a、205cによる視聴者特性の検出処理の精度を向上させることができ、結果的に注目度の推定処理の精度を向上させることが可能となる。ただし、カメラの台数を増加させた場合には設置コストの増加が懸念されるため、撮像部105を構成するカメラの台数は、上記の各処理の精度と設置コストとを勘案して、適宜決定されてよい。
また、以上説明した実施の形態1~6に係る事項は、可能な範囲で互いに組み合わされてよい。例えば、実施の形態5に係る効果推定装置20として、実施の形態4に係る効果推定装置20cが用いられてもよい。この場合、推定した注目度についての情報、当該注目度を推定した視聴者の性別についての情報、当該注目度を推定した視聴者の年齢についての情報、当該注目度に対応する視聴者を特定する情報、及び、当該注目度に対応するコンテンツを特定する情報が、互いに対応付けられて、効果推定装置20cからコンテンツ配信装置30に送信される。そして、コンテンツ配信装置30では、コンテンツ選択ルールに基づいて情報提供装置10に配信するコンテンツを選択する際に、視聴者の性別及び/又は年齢まで考慮して、当該コンテンツが選択されてよい。かかる様態によれば、より適切なコンテンツ(例えば、より宣伝効果の高い広告)を情報提供装置10に配信することが可能となる。
また、例えば、実施の形態6に係る効果推定装置20dに対して、実施の形態4に係る効果推定装置20cの視聴者の性別及び年齢の検出機能が実装されてもよい。この場合、推定した注目度についての情報、当該注目度を推定した視聴者の性別についての情報、当該注目度を推定した視聴者の年齢についての情報、当該注目度に対応する視聴者を特定する情報、当該注目度に対応するコンテンツを特定する情報、及びクーポンの使用状況についての情報が、互いに対応付けられて効果推定装置20cから出力されることとなる。かかる態様によれば、推定された注目度を分析する際に、コンテンツの種類、視聴者の性別、視聴者の年齢、及びクーポンの使用状況との相関を分析することができ、コンテンツを表示した効果をより詳細に分析することが可能となる。
また、例えば、実施の形態1に係る効果推定装置20に対して、実施の形態2に係る効果推定装置20aの開眼度の検出機能、及び当該開眼度に基づく注目度の推定機能が実装されてもよい。この場合、効果推定装置20は、心拍数及び開眼度の両方を用いて、注目度を推定することができる。2つの指標を用いて注目度を推定することにより、その推定の精度をより向上させることが可能になる。
ここで、以上では、効果推定装置20、20a、20b、20c、20dの注目度推定部207、207a、207b、207c、207dにおいて注目度についての情報とともに出力される情報として、視聴者を特定する情報、コンテンツを特定する情報、視聴者の性別についての情報、視聴者の年齢についての情報、情報提供装置10の設置場所についての情報、注目度に対応するコンテンツが表示された時間帯についての情報、当該時間帯における情報提供装置10の設置場所の周辺状況についての情報、及びクーポンの使用状況についての情報があり得る旨説明したが、これらのうちのどの情報を注目度についての情報とともに出力するかは、効果推定システム1、5、6の設計者又はユーザ等によって、任意に設定可能であってよい。例えば、図16~図19に示すような情報の出力が可能である。
図16は、効果推定装置から出力される情報の一例を示す図である。図16に示す例では、コンテンツを特定する情報(図示する例では、コンテンツを示す識別子)、及び視聴者を特定する情報(図示する例では、視聴者を示す識別子)が、注目度についての情報と対応付けられて出力されている。図16に示す例では、注目度は、数値ではなく、「低」、「中」、「高」といったカテゴリとして表現されている。なお、図16に示す情報の出力方法は、実施の形態1で説明した情報の出力方法に対応している。
図17は、効果推定装置から出力される情報の他の例を示す図である。図17に示す例では、コンテンツを特定する情報(図示する例では、コンテンツを示す識別子)、視聴者を特定する情報(図示する例では、視聴者を示す識別子)、視聴者の性別についての情報、及び視聴者の年齢についての情報が、注目度についての情報と対応付けられて出力されている。図17に示す例では、注目度は、数値ではなく、「低」、「中」、「高」といったカテゴリとして表現されている。なお、図17に示す情報の出力方法は、実施の形態4で説明した情報の出力方法に対応している。
ここで、注目度推定部207、207a、207b、207c、207dは、一部の情報を加工して出力してもよい。どのように情報を加工して出力するかも、効果推定システム1、5、6の設計者又はユーザ等によって、任意に設定可能であってよい。例えば、注目度推定部207、207a、207b、207c、207dは、注目度を「低」、「中」、「高」といったカテゴリとして推定した場合に、視聴者を特定する情報に基づいて、注目度の各カテゴリに属する視聴者の人数を算出し、当該人数についての情報を出力してもよい。あるいは、注目度に対応するコンテンツが表示された時間帯についての情報を一緒に出力する場合には、注目度推定部207、207a、207b、207c、207dは、ある時間帯の全視聴者数に対する、注目度の各カテゴリに属する視聴者の人数の割合(すなわち、注目度の分布)を、時間帯ごと、視聴者の性別ごと、及び/又は視聴者の年齢(あるいは年齢層)ごとに算出し、当該注目度の分布についての情報を出力してもよい。
図18は、時間帯ごとの注目度の分布が算出される場合における、効果推定装置から出力される情報の一例を示す図である。図18に示す例では、注目度に対応するコンテンツが表示された時間帯についての情報、コンテンツを特定する情報(図示する例では、コンテンツを示す識別子)、及び時間帯ごとの注目度の分布についての情報が、注目度についての情報と対応付けられて出力されている。図19は、時間帯ごと、視聴者の性別ごと、及び視聴者の年齢層ごとの注目度の分布が算出される場合における、効果推定装置から出力される情報の一例を示す図である。図19に示す例では、注目度に対応するコンテンツが表示された時間帯についての情報、コンテンツを特定する情報(図示する例では、コンテンツを示す識別子)、視聴者の性別についての情報、視聴者の年齢についての情報、並びに、時間帯ごと、視聴者の性別ごと、及び視聴者の年齢層ごとの注目度の分布についての情報が、注目度についての情報と対応付けられて出力されている。
効果推定装置20、20a、20b、20c、20dでは、例えば、以上説明した図16~図19に示すような様態で、注目度についての情報が、各種の情報と対応付けられて、注目度記憶部209、209c、209dに記憶されてよい。
また、上述した実施の形態では、効果推定装置20、20a、20b、20c、20dにおいて、視聴者抽出部203、203bが抽出した視聴者と、視聴者特性検出部205、205a、205cが視聴者特性を検出する視聴者とを対応付けるために、視聴者に付された識別子を用いていたが、本開示はかかる例に限定されない。例えば、視聴者抽出部203、203bが撮影画像データに基づいて視聴者を抽出した後、視聴者特性検出部205、205a、205cが、当該撮影画像データに含まれる、抽出された視聴者に対応する画像部分に基づいて視聴者特性を検出する(すなわち、視聴者抽出部203、203b及び視聴者特性検出部205、205a、205cが、同一の撮影画像データに基づいて連続的に処理を行う)構成としてもよい。この場合、識別子を用いなくても、視聴者特性検出部205、205a、205cが、視聴者抽出部203、203bによって抽出された視聴者ごとに視聴者特性を検出することが可能となる。また、この場合、視聴者抽出部203、203bから視聴者特性検出部205、205a、205cに、視聴者を抽出した撮影画像データを提供し、視聴者特性検出部205、205a、205cが提供された当該撮影画像データに基づき視聴者特性を検出する構成とすることができるので、効果推定装置通信部201、201dから視聴者特性検出部205、205a、205cに撮影画像データを提供する処理も行われなくてもよい。
また、上述した実施の形態では、効果推定装置20、20a、20b、20c、20dにおいて、注目度推定部207、207a、207c、207dが、時刻についての情報を用いて、撮影画像データから検出された視聴者特性に基づいて推定された注目度と、表示実績データから抽出されたコンテンツを特定する情報との対応付けを行っていたが、本開示はかかる例に限定されない。例えば、効果推定装置通信部201、201dが情報提供装置10から撮影画像データを取得した時点で、当該撮影画像データに、その画像が撮像部105によって撮影された時刻に表示部101に表示されていたコンテンツを特定する情報が付与されていてもよい。この場合、時刻についての情報を用いて対応付けを行わなくても、撮影画像データから検出された視聴者特性に基づいて注目度を推定する際に、当該撮影画像データに付与されたコンテンツを特定する情報から、当該注目度に対応するコンテンツを特定することが可能となる。
なお、効果推定装置20、20a、20b、20c、20dの内部の演算処理において、各種の情報の対応付けをどのように行うかは、演算処理に係る負荷等を考慮して、効果推定システム1、5、6の設計者等によって適宜設定されてよい。
また、効果推定装置20、20a、20b、20c、20dは、上述した実施の形態における各機能を実現し得るように構成されればよく、その具体的な装置構成は限定されない。例えば、効果推定装置20、20a、20b、20c、20dは、上述した各機能に特化した専用の情報処理装置であってもよいし、PC又はサーバ等の汎用的な情報処理装置であってもよい。効果推定装置20、20a、20b、20c、20dが汎用的な情報処理装置である場合には、当該効果推定装置20、20a、20b、20c、20dの各機能(具体的には、視聴者抽出部203、203b、視聴者特性検出部205、205a、205c、及び注目度推定部207、207a、207c、207d)を実現するためのコンピュータプログラムを作製し、PC又はサーバ等の情報処理装置に実装することにより、これらの各機能が実現され得る。当該コンピュータプログラムは、ネットワークを介して配信されてよい。あるいは、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体が提供されてもよい。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。