JP2021089554A - コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 - Google Patents

コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 Download PDF

Info

Publication number
JP2021089554A
JP2021089554A JP2019219342A JP2019219342A JP2021089554A JP 2021089554 A JP2021089554 A JP 2021089554A JP 2019219342 A JP2019219342 A JP 2019219342A JP 2019219342 A JP2019219342 A JP 2019219342A JP 2021089554 A JP2021089554 A JP 2021089554A
Authority
JP
Japan
Prior art keywords
attribute
content
saliency
user
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019219342A
Other languages
English (en)
Other versions
JP7150688B2 (ja
Inventor
翔一郎 三原
Shoichiro Mihara
翔一郎 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019219342A priority Critical patent/JP7150688B2/ja
Publication of JP2021089554A publication Critical patent/JP2021089554A/ja
Application granted granted Critical
Publication of JP7150688B2 publication Critical patent/JP7150688B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザの属性の推定結果における確度をより向上させることができる属性推定装置を提供する。【解決手段】属性推定システムにおいて、属性推定装置は、コンテンツを提示されたユーザの属性を推定する。提示されるコンテンツは、その確度を決定すべき属性に関連した属性関連要素を有している。属性推定装置は、属性関連要素における注意を引き付ける度合いに係る顕著性を含む、コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得部と、属性関連要素に対するユーザの反応の程度又は有無を含む、コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得部と、顕著性に係る情報と反応に係る情報とに基づいて、ユーザが、属性関連要素の関連した属性を有する確度を決定する属性確度決定部とを有する。属性確度決定部は、属性関連要素における顕著性が低いほど、より高い当該確度を決定することが好ましい。【選択図】図1

Description

本発明は、ユーザの属性を推定する技術に関する。
近年、街頭、駅や、空港等、多くの人が往来する環境・施設において、静止画や動画、さらには音声を含むコンテンツを提示可能なデジタルサイネージが普及している。
デジタルサイネージは、電子データの各種コンテンツを適宜出力することができ、例えば広範なエリアにおいて、多数のユーザに対し適切なタイミングで所望のコンテンツを提示することも可能となるので、広告、告知や案内等の提示には非常に好適な手段となっている。
現在、このデジタルサイネージの利用分野では、提示先となるユーザの人物属性に応じたコンテンツを提示し、提示効果を向上させる検討が進められている。実際、ユーザの人物属性を推定することができれば、例えば、その人物属性に応じた広告コンテンツを提示して広告効果を高めたり、その人物属性に応じた案内コンテンツを提示してより正確に又はより迅速に必要情報を伝達したりすることも可能となるのである。
ここで、推定すべき人物属性には、年齢や性別といったような外見によって推測可能な属性もあれば、外見からは所定の確度をもって推測することが困難な、例えば、性格・人格や、第一言語若しくは国籍等の属性も存在する。このうち前者については、例えば深層学習モデルによる画像認識技術を利用し、(例えばデジタルサイネージに設置されたカメラによる)カメラ画像データから、相当の精度で推定可能であることが周知である。
一方、外見だけからは(すなわちカメラ画像データだけからは)推測困難な後者の属性に対して、いくつかの推定方法が提案されている。
例えば特許文献1には、ユーザの内面的な特徴を示すサイコグラフィック属性を推定するべく、ユーザに対し特定のサイコグラフィック属性に対応するコンテンツを提示して、それに対するユーザの反応に基づき当該ユーザの特定のサイコグラフィック属性を有する確度を決定する技術が開示されている。ここで、この技術では、ユーザが、特定のサイコグラフィック属性を有する人が集中して存在すると推定されるエリアから来た場合に、当該ユーザが特定のサイコグラフィック属性を有する確度を引き上げることも提案されている。
また、非特許文献1には、ユーザの第一言語を推定するため、ディスプレイに複数の言語で書かれた単語や文章を表示しつつ、ディスプレイを閲覧するユーザの視線を、センサを用いて読み取り、視線が最も長い時間滞留した単語や文章に対応する言語を当該ユーザの第一言語として推定する技術が開示されている。
特開2017−204134号公報
王,浅井,山名,「多言語表示に対する視線情報を用いた第一・第二言語推定」,DEIM Forum 2016 F4-1,2016年,[令和1年11月25日検索]、インターネット<URL: https://db-event.jpn.org/deim2016/papers/179.pdf>
しかしながら、上述した特許文献1や非特許文献1に記載されたような従来技術では依然、人物属性の推定結果における十分な確度の確保が容易ではないことが課題となっている。
例えば、特許文献1に記載された技術では、文章や図柄等の構成要素の一部を変更した複数のコンテンツを用意し、各コンテンツに対するユーザの反応を調査した上で、特定のサイコグラフィック属性推定用のコンテンツを決定し、その推定に用いている。したがって、属性推定用としてユーザに提示可能なコンテンツは当初から限定されているのである。すなわち、如何なる構成要素からなるコンテンツが、特定の属性のユーザに対して有効であるかに着目してコンテンツを決定しているので、例えば所与のコンテンツを用いてこの技術により人物属性の推定を行ったとしても、高い推定結果の確度を達成することは困難である。
また、非特許文献1に記載された技術では、ユーザに提示する単語や文章のコンテンツの表示方法について、いくつかのパターンでの検証を行い、ユーザに対し、それらのパターンのうちのいずれか1つによる表示を行って(人物属性としての)第一言語の推定を行っている。すなわち、属性推定結果の確度の向上については、コンテンツの表示方法をより好適なものに選択することにとどまっており、例えばコンテンツ自体の特徴が属性推定結果に与える影響は何ら考慮されていない。
これに対し、本願発明者は、実際にはコンテンツ自体の特徴、例えば構成文字の大きさ等が属性推定結果に大きな影響を与えることを確認しており、このことからすると、非特許文献1に記載の技術では依然、第一言語の推定結果における十分な確度の確保は困難であることが理解される。
そこで、本発明は、ユーザの属性の推定結果における確度をより向上させることが可能な属性推定装置、プログラム及び方法を提供することを目的とする。
本発明によれば、コンテンツを提示されたユーザの属性を推定する属性推定装置であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定装置は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
を有することを特徴とする属性推定装置が提供される。
この本発明による属性推定装置において、属性確度決定手段は、当該属性関連要素における顕著性が低いほど、より高い当該確度を決定することも好ましい。また、当該属性関連要素に対する当該ユーザの反応の程度が高いほど、より高い当該確度を決定することも好ましい。
また、当該コンテンツが、その確度を決定すべき属性に関連しない非関連要素も有している場合に、当該顕著性に係る情報は当該非関連要素における顕著性も含み、属性確度決定手段は、当該属性関連要素における顕著性が、当該非関連要素における顕著性と比較してより低いほど、より高い当該確度を決定することも好ましい。
さらに、本発明による属性推定装置において、反応情報決定取得手段は、
(a)当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、
(b)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、
(c)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報
を、当該反応に係る情報に決定することも好ましい。
またさらに、本発明による属性推定装置において、顕著性決定取得手段は、
(a)当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、
(b)当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、
(c)当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、
当該顕著性に係る情報を決定することも好ましい。
また変更態様として、当該コンテンツは、予め決定された自らにおける顕著性に係る情報を付与されており、顕著性決定取得手段は、当該ユーザに提示される当該コンテンツに予め付与された顕著性に係る情報を取得することも好ましい。
さらに、本発明による属性推定装置に係る具体例として、当該その確度を決定すべき属性は、当該ユーザがある言語を第1言語とすること、又は当該ユーザがある言語に係る国に属していることであり、当該コンテンツは、このある言語に係る文字、単語、語句若しくは文、又はこのある言語に係る音声を含む属性関連要素を有していることも好ましい。
本発明によれば、また、コンテンツを提示されたユーザの属性を推定するコンピュータを機能させる属性推定プログラムであって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定プログラムは、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
してコンピュータを機能させることを特徴とする属性推定プログラムが提供される。
本発明によれば、さらに、コンテンツを提示されたユーザの属性を推定するコンピュータにおける属性推定方法であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定方法は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
を有することを特徴とする属性推定方法が提供される。
本発明の属性推定装置、プログラム及び方法によれば、ユーザの属性の推定結果における確度をより向上させることが可能となる。
本発明による属性推定装置を含む属性推定システムの一実施形態を示す模式図である。 本発明による属性推定方法の一実施形態を説明するための模式図である。 本発明による属性推定方法の他の実施形態を説明するための模式図である。 本発明による属性推定方法の更なる他の実施形態を説明するための模式図である。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
[属性推定装置・システム]
図1は、本発明による属性推定装置を含む属性推定システムの一実施形態を示す模式図である。
図1に示した本実施形態の属性推定システムは、
(a)街頭、駅や、空港等、多くの人が往来する環境・施設に設置されており、これらの人(以後、ユーザとも称する)に対しコンテンツを提示可能な、少なくとも1つのデジタルサイネージ2と、
(b)デジタルサイネージ2に対し、提示すべきコンテンツを配信するコンテンツ配信サーバ3と、
(c)デジタルサイネージ2によってコンテンツを提示されたユーザの属性を推定する、本発明による属性推定装置の一実施形態としての属性推定装置1と
を有している。
このうち、上記(a)のデジタルサイネージ2は本実施形態において、コンテンツ配信サーバ3から配信されたコンテンツが画像(映像)を含む場合に、この画像(映像)を表示するための画面と、当該コンテンツが音声を含む場合にこの音声を出力するためのスピーカ203とを備えており、様々な状況・環境においてユーザに対し、広告、告知や案内に係る情報を適宜提供することができる。
また、デジタルサイネージ2は本実施形態において、
(a1)コンテンツの提示を受けたユーザを可視光センサや近赤外光センサによって撮影することが可能であり、さらに公知の眼球運動計測手法により当該ユーザの視線測定も可能となっているカメラ201と、
(a2)当該ユーザの発した音声を捕捉可能なマイク202と、
(a3)属性推定装置1やコンテンツ配信サーバ3との通信のための通信インタフェースと
を更に備えており、コンテンツの提示を受けたユーザの反応を含む測定情報(例えば当該ユーザの画像データ、視線データや音声データ)を属性推定装置1へ送信可能となっている。
さらに、上記(b)のコンテンツ配信サーバ3は本実施形態において、ユーザに提示すべきコンテンツをデジタルサイネージ2へ送信するとともに、属性推定装置1に対し、当該コンテンツ(及び/又は、後述する当該コンテンツの顕著性情報)を送信可能となっている。
ここで、属性推定装置1へ送信されユーザの属性推定に利用される(顕著性情報に係る)コンテンツは、その確度を決定すべき「属性」に関連した「属性関連要素」を有するものとなっている。例えば、その確度を決定すべき「属性」が"第1言語がスペイン語である"との属性である場合に、「属性関連要素」としてのスペイン語の文を含むようなコンテンツとなっているのである。
また、上記(c)の属性推定装置1は、具体的にその特徴として、
(A)「属性関連要素」における注意を引き付ける度合いに係る「顕著性」を含む、ユーザに提示されたコンテンツにおける「顕著性」に係る情報である「顕著性情報」を決定又は取得する顕著性決定取得部111と、
(B)「属性関連要素」に対するユーザの「反応の程度又は有無」を含む、当該コンテンツに対する「反応」に係る情報である「反応情報」を決定又は取得する反応情報決定取得部112と、
(C)「顕著性情報」と「反応情報」とに基づいて、ユーザが、「属性関連要素」の関連した属性を有する「確度」を決定する属性確度決定部113と
を有している。
例えば理解の容易な具体例として、上記(C)の「確度」を決定すべき属性が"第1言語がスペイン語である”との属性であって、空港のロビーに設置されたデジタルサイネージ2に、日本語、英語、スペイン語、韓国語、及び中国語のそれぞれによる同内容の5つの案内文を含む案内文コンテンツが提示された場合を考える。
この場合、上記(A)の「属性関連要素」はスペイン語の案内文となり、また、「顕著性」は、例えばこのスペイン語の案内文を構成する文字の大きさ(表示サイズ)とすることができる。さらに、上記(B)の「属性関連要素」に対するユーザの「反応の程度又は有無」には、当該コンテンツが視認される案内文コンテンツであることから例えば、ユーザの視点がこのスペイン語の案内文(属性関連要素)上に滞留した時間を採用することができる。
ここで属性推定装置1は、例えば、単に視点滞留時間(反応の程度)が所定以上であるので、"第1言語がスペイン語である"との属性を有する「確度」を高い値に決定する、といった処理を行うのではなく、スペイン語の案内文(属性関連要素)における「顕著性」、例えば文字の表示サイズも考慮して「確度」を決定する。
実際、属性を推定する場面においては、ユーザの反応のみならず、ユーザには基本的に依存しないコンテンツ自体の特徴である「顕著性」、例えば構成文字の大きさが、推定結果に多大な影響を与えるのであり、属性推定装置1は、そのような重要な知見も取り入れた属性推定処理を実施可能となっているのである。
より具体的に本実施形態では、上記(C)の属性確度決定部113は、スペイン語の案内文(属性関連要素)における文字の表示サイズ(顕著性)が小さい(低い)ほど、より高い「確度」を決定する。これは実際に、スペイン語の案内文(属性関連要素)の文字(顕著性)がより小さい(低い)にもかかわらず、この案内文(属性関連要素)に対し所定以上の注視(反応)が行われているならば、"第1言語がスペイン語である"こと(所定の「属性」を有すること)は、より確からしいと推察されることに基づく。
このように、属性推定装置1においては、コンテンツにおける「顕著性情報」も考慮することによって、ユーザの属性の推定結果における確度をより向上させることが可能となるのである。
ここで、「コンテンツ」は当然、文字、語句、文や、記号、さらにはシンボルやマークを含む図形等の情報をディスプレイに表示させるものに限定されず、写真等の静止画像や、動画像(映像)を表示させるものであってもよく、例えば、空中に投影される3D画像(映像)を含むものとすることもできる。また、「コンテンツ」は以上に述べたような視覚情報を含むものに限定されるものでもなく、例えば音声、音響や、音楽等の情報を出力させるものであってもよい。また、風圧や振動といったような触覚に訴える情報を含むものとすることも可能である。
また、推定すべき「属性」についても、上述したような第1言語や、国籍、さらには性格・人格や、職種、趣味といったような種々の属性(ユーザが人であれば人物属性)を設定することが可能である。さらに「属性」は、このような静的な属性に限定されるものでもなく、例えば、(ユーザの推定時点における)感情や、さらにはニーズ・要求(の対象)といったような動的属性も「属性」として設定可能である。いずれにしても、コンテンツにおいて、それに関連した「属性関連要素」を設定できるような属性であれば種々のものが、「属性」として採用可能である。
さらに、対象部分における注意を引き付ける度合いを示す「顕著性」も勿論、上述したような文字の表示サイズに限定されるものではない。この「顕著性」についても、後に説明するように種々のタイプの設定が可能となっている。また、「反応の程度又は有無」についても、上記の視点滞留時間に限定されるものではなく、様々なタイプのものが設定可能であり、それについても後に詳細に説明を行う。
なお、図1において属性推定装置1は、「コンテンツ」及び/又はその「顕著性情報」をコンテンツ配信サーバ3から取得しているが、勿論、他の装置、例えば配信を受けたデジタルサイネージ2から取得してもよい。ここで本実施形態の属性推定装置1においては、「コンテンツ」自体の取得は必須ではなく、ユーザに提示されたコンテンツの「顕著性情報」を取得又は算出できればよいのである。
また、属性推定装置1自体が、コンテンツ配信サーバとして「コンテンツ」を配信し、さらに、配信した「コンテンツ」の「顕著性情報」を生成する形態をとることも可能である。さらに、デジタルサイネージ2自体が、本発明に係る属性推定処理の機能を有し、属性推定装置1として動作する形態をとることもできる。例えば、複数(多数)のデジタルサイネージ2が設置されている場合において、各デジタルサイネージ2が属性推定装置1として機能してもよく、または、特定のデジタルサイネージ2が、他のデジタルサイネージ2から測定情報を含む必要な情報を取得して、デジタルサイネージ2全体における属性確度決定処理を実施することも可能である。
さらにデジタルサイネージ2を用いず、属性推定装置1自体が、ユーザに対するコンテンツの提示を実施してもよい。例えば、属性推定装置1はスマートフォンであって、自身のディスプレイやスピーカによってコンテンツを提示し、さらに、提示されたコンテンツを視聴しているユーザを内臓カメラによって撮影する、といった実施形態をとることも可能である。
さらにまた、本発明による属性推定装置1の構成要素である上記(A)〜(C)のうちの少なくとも1つが、他の構成要素とは別の装置に含まれるような形態をとることも不可能ではない。例えば、複数のサーバの全体によって上記(A)〜(C)の機能を実現することも可能となっている。ここでこのような場合でも、これらの全体をもって、本発明による属性推定方法を実施する属性推定装置又はシステムであると捉えることができるのである。
[装置機能構成,属性推定プログラム・方法]
同じく図1の機能ブロック図によれば、属性推定装置1は、通信インタフェース部101と、コンテンツ・顕著性保存部102と、測定・反応情報保存部103と、ユーザ属性保存部104と、キーボード(KB)105と、ディスプレイ(DP)106と、プロセッサ・メモリとを有する。
ここで、このプロセッサ・メモリは、本発明による属性推定プログラムの一実施形態を保存しており、また、コンピューティング機能を有していて、この属性推定プログラムを実行することによって、属性推定処理を実施する。このことから、属性推定装置1は、ユーザ属性推定の専用装置であってもよいが、本発明による属性推定プログラムを搭載した、例えばクラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ(PC)、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることもできる。
さらに、プロセッサ・メモリは、顕著性算出部111aを含む顕著性決定取得部111と、反応情報算出部112aを含む反応情報決定取得部112と、属性確度決定部113と、通信制御部121と、入出力制御部122と、アプリケーション部123とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された属性推定プログラムの機能として捉えることができる。また、図1における属性推定装置1の機能構成部間を矢印で接続して示した処理の流れは、本発明による属性推定方法の一実施形態としても理解される。
同じく図1の機能ブロック図において、コンテンツ・顕著性保存部102は、デジタルサイネージ2によってユーザに提示されたコンテンツを、コンテンツ配信サーバ3から通信インタフェース部101及び通信制御部121を介して取得し、保存・管理する。
ここで、取得されるコンテンツは、その確度を決定すべき属性に関連した「属性関連要素」を有している。また、その確度を決定すべき属性に関連しない「非関連要素」を更に有していてもよい。例えば、推定すべき属性が"第1言語がスペイン語である”との属性である場合に、日本語、英語、スペイン語、韓国語、及び中国語のそれぞれによる同内容の5つの案内文を含む案内文コンテンツをユーザに提示した場合、取得された当該案内文コンテンツにおいては、スペイン語の案内文が「属性関連要素」となり、その他の4つの案内文が「非関連要素」に相当するのである。
ちなみに、その確度を決定すべきユーザの属性が、"「ある言語」を第1言語とする"こと"又は"「ある言語」に係る国に属している"ことである場合に、ユーザに提示される(さらに、コンテンツ・顕著性保存部102で保存・管理される)コンテンツは、「ある言語」に係る文字、単語、語句若しくは文、又は「ある言語」に係る音声を含む「属性関連要素」を有していることも好ましい。また、「ある言語」以外の言語に係る文字、単語、語句若しくは文、又は「ある言語」以外の言語に係る音声を含む「非関連要素」を更に有していることも好ましい。これにより、後の属性確度決定処理が、後述するようにより適切に実施可能となるのである。
なお、その確度を推定すべき属性は、例えば属性推定装置1において管理者が予め設定したものとすることができる。また、コンテンツ・顕著性保存部102に保存・管理されるコンテンツは、その確度を推定すべき所定の属性に関連した「属性関連要素」を有する当該属性推定用コンテンツとして、例えば属性推定装置1やコンテンツ配信サーバ3において予め登録されたものであってもよい。またその際、コンテンツは、当該所定の属性と対応付けて登録されることも好ましく、さらに、その顕著性情報も同じく対応付けて登録されることも好ましい。
さらに、コンテンツは、その確度を推定すべき複数の属性にそれぞれ関連した複数の「属性関連要素」を有したものであってもよい。例えば、上記の案内文コンテンツにおいて、推定すべき属性が、"第1言語がスペイン語である”との属性と、"第1言語が中国語である”との属性の2つである場合に、当該案内文コンテンツは、スペイン語の案内文及び中国語の案内文の2つの「属性関連要素」を有することになるのである。
同じく図1の機能ブロック図において、顕著性決定取得部111は、コンテンツ・顕著性保存部102に保存・管理された属性推定用のコンテンツを受け取り、当該コンテンツの顕著性情報を決定する。この顕著性情報には上述したように、
(a)「属性関連要素」における顕著性
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」における顕著性
も含まれている。ここで、このような決定された顕著性情報は、対応するコンテンツのコンテンツIDと紐づけた上で、コンテンツ・顕著性保存部102において保存・管理されることも好ましい。
また、上記(a)及び(b)の顕著性は、本実施形態において顕著性算出部111aによって算出・決定される。
具体的に、顕著性算出部111aは、(ア)取得したコンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析し、その結果から顕著性を算出することができる。
例えば、取得したコンテンツが視覚情報を含む画像(映像)コンテンツである場合に、「属性関連要素」の画像部分(又は「非関連要素」の画像部分)における、
(ア1)その他の部分との輝度の差(コントラスト)、
(ア2)その他の部分との色相の差、
(ア3)周囲の部分との境界における輝度勾配、又は当該輝度勾配方向での輝度差、又は
(ア4)構成単位、例えば文字、記号や、シンボルやマークといった図形の大きさ(表示サイズ)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。
なお、上述したような特徴は、画像コンテンツを構成する画像の画素値を解析することによって、又は実際に表示された画面画像を測定することによって決定することができる。
また、顕著性算出部111aは、(イ)取得したコンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析し、その結果から顕著性を算出してもよい。
例えば、取得したコンテンツが音声情報を含む音声コンテンツである場合に、「属性関連要素(例えばスペイン語の案内音声)」の音声部分(又は「非関連要素(例えばスペイン語以外の案内音声)」の音声部分)における、
(イ1)出力される音量(又は音声波の振幅)、又は
(イ2)音の高さ(又は音声波の周波数)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。なお、これらの特徴は、音声コンテンツを構成する音声データの波形解析を行うことによって、又は実際に出力された音声の波形を測定し解析することによって決定することができる。
さらに、顕著性算出部111aは、(ウ)取得したコンテンツに対する生体の感覚器の反応を測定若しくは解析し、その結果から顕著性を算出することもできる。
例えば、(ウ1)取得したコンテンツが視覚情報を含む画像(映像)コンテンツである場合に、網膜神経節細胞におけるオン中心型とオフ中心型の受容野による視覚刺激への応答を模擬した公知の画像処理によって特徴を抽出し、当該特徴を表す量を、例えば0から1までの値に規格化したものを顕著性としてもよい。ちなみにこのような画像処理及び特徴抽出は、例えば非特許文献:Laurent Itti, Christof Koch, and Ernst Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), Vol. 20, No. 11, 1254〜1259頁, 1998年に記載されている。
または、(ウ2)瞳孔の大きさ又は眼球のマイクロサッカードの大きさの変化に係る特徴を抽出して、当該特徴を表す量を、例えば0から1までの値に規格化したものを顕著性とすることも可能である。なおこのような特徴の抽出は、例えば特開2015−132783号公報に記載されている。
いずれにしても、顕著性算出部111aは、「属性関連要素」や「非関連要素」における注意を引き付ける度合いを測定・解析結果から算出して、当該度合いを顕著性とすることができるのである。ちなみに、ここで算出される顕著性には、脳科学や画像認識の分野において、空間的配置によってボトムアップ性注意を誘引する特性の強さを表す技術概念である、いわゆるサリエンシも含まれるものとする。
また本実施形態において、顕著性算出部111aで算出される顕著性は、基本的にユーザの属性には依存しない、コンテンツ自体の構成・特徴から決定されるものとすることも好ましい。例えば、特表2012−532366号公報にも開示されているように、一般にユーザの視覚的注意は、局所的コントラストや色といったようなコンテンツの視覚的特徴に支配される外発的注意と、表示されているコンテンツの内容に関連し、ユーザのタスクや経験に依存する内発的注意とに分類される。このうち、本実施形態で算出される顕著性は、外発的注意に係る指標とすることも好ましいのである。
なお変更態様として、顕著性決定取得部111は、以上に述べたような顕著性を自ら算出することはせず、例えばコンテンツ配信サーバ3から又はデジタルサイネージ2から、ユーザに提示されたコンテンツの顕著性情報を、当該コンテンツに付与された形で又は単独で取得してもよい。この場合、コンテンツ配信サーバ3又はデジタルサイネージ2は、当該コンテンツにおける上述したような顕著性を算出・決定する機能を有し、算出・決定された当該顕著性を含む当該コンテンツの顕著性情報を、属性推定装置1へ送信することも好ましい。
さらに上記の変更態様において、コンテンツ配信サーバ3は、配信する各コンテンツについて予め顕著性を算出しておき、コンテンツ毎に当該コンテンツのコンテンツIDと当該コンテンツの顕著性情報とを対応付けて、このように生成したコンテンツ・データセットを、自ら備えているコンテンツデータベースに保存・管理しておくことも好ましい。
またこの場合、コンテンツ配信サーバ3は、顕著性情報を付与したコンテンツを属性推定装置1に送信してもよい。または他の好適な態様として、デジタルサイネージ2は、ユーザに提示したコンテンツのコンテンツIDを、例えば測定情報ともに属性推定装置1へ通知し、属性推定装置1は、このコンテンツIDをもってコンテンツ配信サーバ3へ顕著性情報を問い合わせ、コンテンツ配信サーバ3から、対応する顕著性情報を取得することも好ましい。
同じく図1の機能ブロック図において、反応情報決定取得部112の反応情報算出部112aは、デジタルサイネージ2から受け取った、コンテンツの提示を受けたユーザの反応を含む測定情報(例えば当該ユーザの画像データ、視線データや音声データ)に基づき、当該コンテンツに対する反応情報を算出・決定する。ちなみに、これらの測定情報や反応情報は、対応するコンテンツのコンテンツIDと紐づけた上で、測定・反応情報保存部103において保存・管理されることも好ましい。
ここで、この反応情報には、
(a)当該コンテンツの「属性関連要素」に対する当該ユーザの「反応の程度又は有無」
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」に対する当該ユーザの「反応の程度又は有無」
も含まれている。
例えば、反応情報算出部112aは、(ア)ユーザに提示されたコンテンツの「属性関連要素」を含む提示範囲内における当該ユーザの視点位置に係る情報を算出し、当該情報を反応情報に決定してもよい。
具体的には、(カメラ201から)測定情報として取得された視線データを、デジタルサイネージ2の画面に表示されたコンテンツの画像の画像座標系内の点データに変換して、時系列の視点位置(視点座標)を決定し、「反応の程度又は有無」として、視点が「属性関連要素」の画像部分(又は「非関連要素」の画像部分)上に滞留している時間である視点滞留時間を算出してもよい。
また、反応情報算出部112aは、(イ)コンテンツの「属性関連要素」を含む部分又は全体を提示されたユーザの動きに係る情報を算出し、当該情報を反応情報に決定してもよい。
具体的には、(カメラ201から)測定情報として取得された画像データから、機械学習アルゴリズムによる周知の画像認識技術及び対象追跡技術を用いて、ユーザの位置や向きに係る時系列情報、例えばユーザとデジタルサイネージ2の画面(における「属性関連要素」の画像部分(又は「非関連要素」の画像部分))との距離の時系列情報や、デジタルサイネージ2の画面と正対したユーザの顔の向きを基準向きとしたユーザの顔の向きを示す方位角の時系列情報を算出し、当該情報から導出した情報、例えばユーザがデジタルサイネージ2の画面前の所定範囲内に滞在した滞在時間、若しくはデジタルサイネージ2の画面の方に向いていた対向時間を、反応情報に決定することができる。
さらに、反応情報算出部112aは、(ウ)コンテンツの「属性関連要素」を含む部分又は全体を提示されたユーザの発する音声に係る情報を決定し、当該情報を反応情報に決定することもできる。
例えば、(マイク202から)測定情報として取得された音声データから、周知の音声解析技術を用いてユーザの声紋を特定し、当該ユーザの音声を識別した上で、当該ユーザの音声の大きさ(音声波の振幅)の時系列情報を算出し、当該情報から導出した情報、例えばユーザがデジタルサイネージ2の画面前の所定範囲内に滞在した滞在時間を、反応情報に決定してもよい。
なお、反応情報算出部112aは、デジタルコンテンツ2から受け取った測定情報からユーザの反応に係る情報を算出できない場合(ユーザがデジタルコンテンツ2の測定範囲内に存在しない場合、又は存在しているがノイズ等の影響によりユーザの反応が抽出されない場合)、反応情報算出処理を終了することも好ましい。
また変更態様として、以上に説明したような反応情報が、反応情報算出部112aによって算出・決定されるのではなく、測定情報の生成元であるデジタルサイネージ2において算出・決定されることも好ましい。この場合、反応情報決定取得部112は、デジタルサイネージ2から送信された反応情報を受け取ることとなる。
同じく図1の機能ブロック図において、属性確度決定部113は、顕著性決定取得部111で決定又は取得された顕著性情報と、反応情報決定取得部112で決定又は取得された(当該顕著性情報と同じコンテンツIDに対応付けられた)反応情報とに基づき、コンテンツを提示されたユーザが、当該コンテンツの「属性関連要素」の関連した属性を有する確度を決定する。
属性確度決定部113は、さらに、決定した確度に基づいて、当該ユーザの有する属性を推定する。例えば、決定した確度が予め設定された所定の確度閾値を超えた場合、当該ユーザはこの確度に係る属性を有すると推定してもよい。
ここで本実施形態において、属性確度決定部113は、
(ア)「属性関連要素」における顕著性が低いほど、より高い確度を決定し、
さらに、コンテンツが非関連要素も有する場合において、
(イ)「属性関連要素」における顕著性が、「非関連要素」における顕著性と比較してより低いほど、より高い確度を決定する
のである。
例えば、
(a)「属性関連要素」の顕著性s1(属性関連要素が複数ある場合は顕著性s1_1,s1_2,・・・)については単調減少関数となり、
(b)「非関連要素」の顕著性S2(非関連要素が複数ある場合は顕著性s2_1,s2_2,・・・)については単調増加関数となり、
(c)「属性関連要素」の「反応の程度(反応情報)」Δ1(属性関連要素が複数ある場合は「反応の程度」Δ1_1,Δ1_2,・・・)については単調増加関数となり、さらに、
(d)「非関連要素」の「反応の程度(反応情報)」Δ2(非関連要素が複数ある場合は「反応の程度」Δ2_1,Δ2_2,・・・)については単調減少関数となるような
次式(1)の確度関数PLを用いて、確度PLを算出することができる。
(1) PL=PL(S1, S2, Δ1, Δ2)
実際、「属性関連要素」の顕著性s1が小さい場合、そのようなコンテンツの特徴からすると、この「属性関連要素」がユーザの注意を引き付ける可能性は低いが、それにもかかわらず、ユーザが「属性関連要素」に対しより高い反応を行った、すなわち「反応の程度」Δ1が大きな値をとるとすると、当該ユーザは、「属性関連要素」に注意を向けるべき属性を有している可能性が高く、すなわち、確度PLをより大きな値として算出することが妥当となるのである。
また、「非関連要素」についての顕著性S2が大きい場合、そのようなコンテンツの特徴からすると、それ以外の部分である「属性関連要素」がユーザの注意を引き付ける可能性は、その分だけ低くなるが、それにもかかわらず、ユーザが「属性関連要素」に対しより高い反応を行った、すなわち「反応の程度」Δ1が大きな値をとり、相対的に「反応の程度」Δ2が小さな値をとるとすると、当該ユーザは、「属性関連要素」に注意を向けるべき属性を有している可能性が高く、すなわち、確度PLをより大きな値として算出することが妥当となるのである。
さらに、顕著性s1と顕著性S2とは、確度PLに対し相対的に影響を及ぼすと考えられることから、確度PLは、両者の相違の程度に係る量、例えば比や差に係る量(具体例としては後述する式(5)のC1のような逆数の内分比)の関数となるように設定されることも好ましい。
<表示コンテンツによる属性推定処理>
図2は、本発明による属性推定方法の一実施形態を説明するための模式図である。
図2によれば、デジタルサイネージ2の画面には、言語L(図2では中国語)の文である属性関連要素を有する案内文コンテンツが表示されている。ちなみに本実施形態において、その確度を推定すべき属性は、"第1言語が言語L(中国語)である"との人物属性に設定されている。
ここで、デジタルサイネージ2のカメラ201は、視線測定機能を備えていて、表示された案内文コンテンツに対したユーザの視線データを生成し、デジタルサイネージ2は、当該視線データを測定情報として、表示した案内文コンテンツのコンテンツIDとともに属性推定装置1へ送信する。
次いで、属性推定装置1の反応情報決定取得部112の反応情報算出部112aは、受信された測定情報である視線データを解析し、コンテンツを提示されたユーザの視点が属性関連要素(言語L(中国語)の文)上に滞留した時間である視点滞留時間Δtを算出する。
一方、属性推定装置1の顕著性決定取得部111の顕著性算出部111aは、受信されたコンテンツIDのコンテンツ(上記の案内文コンテンツ)の顕著性情報である、属性関連要素(言語L(中国語)の文)の顕著性S_L(0<S_L≦1)を算出する。ここで、顕著性S_Lは、例えば構成文字の表示サイズを規格化した値とすることができる。
次いで、属性推定装置1の属性確度決定部113は、当該ユーザの"第1言語が言語L(中国語)である"確度PLを、次式
(2) PL={1+exp(−a*(Δt−b)}−1*(k*S_L)−1
を用いて算出する。なお上式(2)のPLは、左辺の値が1を超える場合には、
(3) PL=1
に設定される。または、属性確度決定部113は、確度PLを、次式
(4) PL={1+exp(−a*(Δt−b)/(k*S_L))}−1
を用いて算出してもよい。
ここで、上式(2)及び(4)のパラメータa、b及びkは、実験によって又は経験的に決定されてもよく、または、ユーザの視点滞留時間とユーザの属性との対応がとれた学習データを用いた周知の機械学習によって決定することも可能である。
最後に、属性確度決定部113は、算出したPLが所定閾値Th_PLを超えた値である場合(PL>Th_PL)に、当該ユーザは"第1言語が言語L(中国語)である"との属性を有する、すなわち当該ユーザの第1言語は言語L(中国語)であるとの属性推定結果を出力するのである。
図3は、本発明による属性推定方法の他の実施形態を説明するための模式図である。
図3によれば、デジタルサイネージ2の画面には、言語L1(図3では日本語)の案内文である属性関連要素と、言語L2(図3ではポルトガル語)の案内文である非関連要素とを有する案内文コンテンツが表示されている。ちなみに本実施形態において、その確度を推定すべき属性は、"第1言語が言語L1(日本語)である"との人物属性に設定されている。
ここで、デジタルサイネージ2のカメラ201は、視線測定機能を備えており、表示された案内文コンテンツに対したユーザの視線データを生成し、デジタルサイネージ2は、当該視線データを測定情報として、表示した案内文コンテンツのコンテンツIDとともに属性推定装置1へ送信する。
次いで、属性推定装置1の反応情報決定取得部112の反応情報算出部112aは、受信された測定情報である視線データを解析し、コンテンツを提示されたユーザの視点が、属性関連要素(言語L1(日本語)の案内文)上に滞留した時間である視点滞留時間Δt1、及び非関連要素(言語L2(ポルトガル語)の案内文)上に滞留した時間である視点滞留時間Δt2を算出する。
一方、属性推定装置1の顕著性決定取得部111の顕著性算出部111aは、受信されたコンテンツIDのコンテンツ(上記の案内文コンテンツ)の顕著性情報である、属性関連要素(言語L1(日本語)の案内文)の顕著性S_L1(0<S_L1≦1)、及び非関連要素(言語L2(ポルトガル語)の案内文)の顕著性S_L2(0<S_L2≦1)を算出する。ここで、顕著性S_L1及び顕著性S_L2はいずれも、例えば構成文字の表示サイズを規格化した値とすることができる。
次いで、属性推定装置1の属性確度決定部113は、当該ユーザの"第1言語が言語L1(日本語)である"確度PL1を、次式
(5) PL1=EX1/(EX1+EX2)
EX1=exp(−a1*(Δt1−b1)*C1)−1
EX2=exp(−a2*(Δt2−b2)*C2)−1
C1=(1/S_L1)/{(1/S_L1)+(1/S_L2)}=S_L2/(S_L1+S_L2)
C2=(1/S_L2)/{(1/S_L1)+(1/S_L2)}=S_L1/(S_L1+S_L2)
を用いて算出する。
ここで、上式(5)のパラメータa1、a2、b1及びb2は、実験によって又は経験的に決定されてもよく、または、ユーザの視点滞留時間とユーザの属性との対応がとれた学習データを用いた周知の機械学習によって決定することも可能である。
最後に、属性確度決定部113は、算出したPL1が所定閾値Th_PLを超えた値である場合(PL1>Th_PL)に、当該ユーザは"第1言語が言語L1(日本語)である"との属性を有する、すなわち当該ユーザの第1言語は言語L1(日本語)であるとの推定結果を出力するのである。
以上、"第1言語が言語L1(日本語)である"との人物属性を推定する一実施形態について説明を行ったが、この場合、案内文コンテンツにおける属性関連要素である言語L1(日本語)の案内文の顕著性S_L1(例えば構成文字の表示サイズ)を、あえて、非関連要素である言語L2(ポルトガル語)の案内文の顕著性S_L1(構成文字の表示サイズ)よりも小さくしておくことも好ましい。これにより、顕著性S_L1(構成文字の表示サイズ)がより小さいにもかかわらず、言語L1(日本語)の案内文がより多く注視された場合に、式(5)からして、実際の可能性に即したより大きい確度PLを決定することが可能となるのである。
また、本実施形態では、当該ユーザの"第1言語が言語L2(ポルトガル語)である"確度PL2も、上記の確度PL1と合せて算出可能となっている。すなわち、次式
(6) PL2=EX2/(EX1+EX2)
を用いてPL2を算出することができるのである。
さらに、以上の実施形態とは異なり、案内文コンテンツの中に、非関連要素(言語L1以外の言語の案内文)がN個(N≧2)存在し、それぞれの顕著性S_L2_i(i=1,・・・,N)が算出されている場合、次式
(7) EX2_i=exp(−a2_i*(Δt2_i−b2_i)*C2_i)−1
ここで、C2_iは、算出された全ての「顕著性の逆数」における
「顕著性S_L2_iの逆数」の内分比
によって算出されたEX2_i(i=1,・・・,N)におけるiについての総和を、上式(5)のEX2と置き換えた式をもって、確度PL1を算出することができる。
またさらに、案内文コンテンツの中に、属性関連要素(言語L1の案内文)がM個(M≧2)存在し、それぞれの顕著性S_L1_j(j=1,・・・,M)が算出されている場合、次式
(8) EX1_j=exp(−a1_j*(Δt1_j−b1_j)*C1_j)−1
ここで、C1_jは、算出された全ての「顕著性の逆数」における
「顕著性S_L1_jの逆数」の内分比のjについての総和
によって算出されたEX1_j(j=1,・・・,M)におけるjについての総和を、上式(5)のEX1と置き換えた式をもって、確度PL1を算出することができるのである。
<音声コンテンツによる属性推定処理>
図4は、本発明による属性推定方法の更なる他の実施形態を説明するための模式図である。
図4によれば、言語L1(図4では中国語)の案内音声である属性関連要素と、言語L2(図3では韓国語)の案内音声である非関連要素とを有する案内音声コンテンツが、空港施設内における通路の左側及び右側のそれぞれに設置されたデジタルサイネージ2及びデジタルサイネージ2’から、当該通路を進行するユーザに向けて提示されている。
具体的には、当該ユーザから見て左前方に位置するデジタルサイネージ2のスピーカ203から、言語L1(中国語)の案内音声(属性関連要素)が出力され、一方、当該ユーザから見て右前方に位置するデジタルサイネージ2’のスピーカ203’から、言語L2(韓国語)の案内音声(属性関連要素)が、言語L1の案内音声と同時に又は若干ずれたタイミングで、出力されている。
ちなみに本実施形態において、その確度を推定すべき属性は、"第1言語が言語L1(中国語)である"との人物属性に設定されている。
ここで、デジタルサイネージ2及び2’それぞれのカメラ201及び201’は、表示された案内音声コンテンツに反応して進行方向を変えたユーザを撮像した画像データを生成し、デジタルサイネージ2及び2’は、当該画像データを測定情報として、出力された案内音声コンテンツのコンテンツIDとともに属性推定装置1へ送信する。
次いで、属性推定装置1の反応情報決定取得部112の反応情報算出部112aは、受信された測定情報である画像データを解析し、ユーザとデジタルサイネージ2の画面との距離の時系列情報、及びユーザとデジタルサイネージ2’の画面との距離の時系列情報を決定して、それぞれから、ユーザが、デジタルサイネージ2の画面前の所定範囲内に滞在した滞在時間Δt1、及びデジタルサイネージ2’の画面前の所定範囲内に滞在した滞在時間Δt2を算出する。
一方、属性推定装置1の顕著性決定取得部111の顕著性算出部111aは、受信されたコンテンツIDのコンテンツ(上記の案内音声コンテンツ)の顕著性情報である、属性関連要素(言語L1(中国語)の案内音声)の顕著性S_L1(0<S_L1≦1)、及び非関連要素(言語L2(図3では韓国語)の案内音声)の顕著性S_L2(0<S_L2≦1)を算出する。ここで、顕著性S_L1及び顕著性S_L2はいずれも、例えば案内音声の出力音量を規格化した値とすることができる。
次いで、属性推定装置1の属性確度決定部113は、当該ユーザの"第1言語が言語L1(中国語)である"確度PL1を、上述した式(5)を用いて算出し、算出したPL1が所定閾値Th_PLを超えた値である場合(PL1>Th_PL)に、当該ユーザは"第1言語が言語L1(中国語)である"との属性を有する、すなわち当該ユーザの第1言語は言語L1(中国語)であるとの推定結果を出力するのである。
以上、"第1言語が言語L1(中国語)である"との人物属性を推定する一実施形態について説明を行ったが、この場合、案内音声コンテンツにおける属性関連要素である言語L1(中国語)の案内音声の顕著性S_L1(例えば出力音量)を、あえて、非関連要素である言語L2(韓国語)の案内音声の顕著性S_L2(出力音量)よりも小さくしておくことも好ましい。これにより、顕著性S_L1(出力音量)がより小さいにもかかわらず、言語L1(中国語)の案内音声に注意を向けた動きがより明確となった場合に、式(5)からして、実際の可能性に即したより大きい確度PL1を決定することが可能となるのである。
以上、図3及び4を用いて説明した実施形態では、反応情報のみならず、顕著性情報をも考慮してユーザの属性推定の確度を決定している。ここで例えば、上述した式(4)において(k*S_L)を1に設定したり、上述した式(5)においてC1及びC2を1に設定したりして、反応情報のみから確度を算出することも可能ではある。しかしながら、以上に説明したように、確度算出に顕著性情報も利用することによって、実際の可能性を反映した、より高い精度の確度を決定することが可能となるのである。
また上述したように、提示するコンテンツにおいて予め、属性関連要素の顕著性や、非関連要素の顕著性、さらには両顕著性の相違の程度を調整しておくことによって、実際の可能性に即したより高い精度の推定処理を実施することも可能となるのである。すなわち、本発明の属性推定においては、所与のコンテンツを活用して属性推定処理を遂行することもでき、または、提示するコンテンツに対し顕著性についての工夫を加えることによって、より高い精度の属性推定処理を実現することも可能となるのである。
図1の機能ブロック図に戻って、属性確度決定部113で推定(決定)された属性に係る情報、例えばコンテンツIDと、コンテンツの提示日時と、提示場所(又はサイネージID)と、推定される属性と、その確度と(、さらに取得・決定可能ならばユーザIDと)を対応付けた情報は、属性推定結果として、通信制御部121及び通信インタフェース部101を介し、外部の情報処理装置、例えばコンテンツ配信に係る業者の端末へ送信されてもよい。
このような属性推定結果を取得した当該業者は、例えばデジタルサイネージ2に対し、所定のタイミングで、推定される属性に応じたより好適な広告コンテンツや案内コンテンツを提示させることも可能となる。例えば、第1言語がポルトガル語であると推定されたユーザに対し、ポルトガル語による広告コンテンツや案内コンテンツを提供してもよい。また、ポルトガル国におけるニュースコンテンツを提示することもできるのである。
また、上記の属性推定処理結果は、ユーザ属性保存部104で保存・管理され、適宜利用されることも好ましい。またさらに、アプリケーション部123に格納された所定のアプリケーション・プログラムに取り込まれ、当該プログラムの処理経過・結果が、キーボード105からの指示の下、入出力制御部122を介してディスプレイ106に表示されて、種々の処理、例えばユーザ属性に係る統計処理や、コンテンツの評価処理等が実施されることも好ましい。
以上、詳細に説明したように、本発明によれば、コンテンツにおける顕著性情報も考慮することによって、ユーザの属性の推定結果における確度をより向上させることが可能となる。
またこれにより、より高い精度で推定したユーザの属性に応じ、当該ユーザにより適切な情報を提示することも可能となる。例えば、提示するコンテンツが広告コンテンツであれば広告効果をより向上させたり、また、提示するコンテンツが案内コンテンツであれば、より正確な情報をよりスムーズに伝達したりすることも可能となるのである。
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 属性推定装置
101 通信インタフェース部
102 コンテンツ・顕著性保存部
103 測定・反応情報保存部
104 ユーザ属性保存部
105 キーボード(KB)
106 ディスプレイ(DP)
111 顕著性決定取得部
111a 顕著性算出部
112 反応情報決定取得部
112a 反応情報算出部
113 属性確度決定部
121 通信制御部
122 入出力制御部
123 アプリケーション部
2 デジタルサイネージ
201 カメラ
202 マイク
203 スピーカ
3 コンテンツ配信サーバ

Claims (10)

  1. コンテンツを提示されたユーザの属性を推定する属性推定装置であって、
    当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定装置は、
    当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
    当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
    当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
    を有することを特徴とする属性推定装置。
  2. 前記属性確度決定手段は、当該属性関連要素における顕著性が低いほど、より高い当該確度を決定することを特徴とする請求項1に記載の属性推定装置。
  3. 当該コンテンツは、その確度を決定すべき属性に関連しない非関連要素も有しており、
    当該顕著性に係る情報は、当該非関連要素における顕著性も含み、
    前記属性確度決定手段は、当該属性関連要素における顕著性が、当該非関連要素における顕著性と比較してより低いほど、より高い当該確度を決定する
    ことを特徴とする請求項1又は2に記載の属性推定装置。
  4. 前記反応情報決定取得手段は、当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報を、当該反応に係る情報に決定することを特徴とする請求項1から3のいずれか1項に記載の属性推定装置。
  5. 前記顕著性決定取得手段は、当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、当該顕著性に係る情報を決定することを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。
  6. 当該コンテンツは、予め決定された自らにおける顕著性に係る情報を付与されており、
    前記顕著性決定取得手段は、当該ユーザに提示される当該コンテンツに予め付与された顕著性に係る情報を取得する
    ことを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。
  7. 前記属性確度決定手段は、当該属性関連要素に対する当該ユーザの反応の程度が高いほど、より高い当該確度を決定することを特徴とする請求項1から6のいずれか1項に記載の属性推定装置。
  8. 当該その確度を決定すべき属性は、当該ユーザがある言語を第1言語とすること、又は当該ユーザがある言語に係る国に属していることであり、
    当該コンテンツは、前記ある言語に係る文字、単語、語句若しくは文、又は前記ある言語に係る音声を含む属性関連要素を有している
    ことを特徴とする請求項1から7のいずれか1項に記載の属性推定装置。
  9. コンテンツを提示されたユーザの属性を推定するコンピュータを機能させる属性推定プログラムであって、
    当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定プログラムは、
    当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
    当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
    当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
    してコンピュータを機能させることを特徴とする属性推定プログラム。
  10. コンテンツを提示されたユーザの属性を推定するコンピュータにおける属性推定方法であって、
    当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定方法は、
    当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
    当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
    を有することを特徴とする属性推定方法。
JP2019219342A 2019-12-04 2019-12-04 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 Active JP7150688B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019219342A JP7150688B2 (ja) 2019-12-04 2019-12-04 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019219342A JP7150688B2 (ja) 2019-12-04 2019-12-04 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2021089554A true JP2021089554A (ja) 2021-06-10
JP7150688B2 JP7150688B2 (ja) 2022-10-11

Family

ID=76220214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019219342A Active JP7150688B2 (ja) 2019-12-04 2019-12-04 コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP7150688B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083925A (ja) * 2010-10-10 2012-04-26 Jvc Kenwood Corp 電子機器及びその表示言語判定方法
JP2017156514A (ja) * 2016-03-01 2017-09-07 株式会社Liquid 電子看板システム
WO2017163719A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 出力制御装置、出力制御方法、およびプログラム
JP2017204134A (ja) * 2016-05-11 2017-11-16 日本電信電話株式会社 属性推定装置、属性推定方法およびプログラム
JP2017204133A (ja) * 2016-05-11 2017-11-16 日本電信電話株式会社 推定装置、推定方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012083925A (ja) * 2010-10-10 2012-04-26 Jvc Kenwood Corp 電子機器及びその表示言語判定方法
JP2017156514A (ja) * 2016-03-01 2017-09-07 株式会社Liquid 電子看板システム
WO2017163719A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 出力制御装置、出力制御方法、およびプログラム
JP2017204134A (ja) * 2016-05-11 2017-11-16 日本電信電話株式会社 属性推定装置、属性推定方法およびプログラム
JP2017204133A (ja) * 2016-05-11 2017-11-16 日本電信電話株式会社 推定装置、推定方法およびプログラム

Also Published As

Publication number Publication date
JP7150688B2 (ja) 2022-10-11

Similar Documents

Publication Publication Date Title
US10776977B2 (en) Real-time lip synchronization animation
US8571851B1 (en) Semantic interpretation using user gaze order
US10846522B2 (en) Speaking classification using audio-visual data
US8793118B2 (en) Adaptive multimodal communication assist system
CN114144790A (zh) 具有三维骨架正则化和表示性身体姿势的个性化语音到视频
JP2020174338A (ja) 情報を生成するための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム
US11948558B2 (en) Messaging system with trend analysis of content
JP2019179390A (ja) 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
Tsai et al. Sentiment analysis of pets using deep learning technologies in artificial intelligence of things system
US11699162B2 (en) System and method for generating a modified design creative
Roon et al. Comparison of auto-contouring and hand-contouring of ultrasound images of the tongue surface
JP7150688B2 (ja) コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法
JP7110738B2 (ja) 情報処理装置、プログラム及び情報処理システム
WO2023144386A1 (en) Generating data items using off-the-shelf guided generative diffusion processes
US20220327956A1 (en) Language teaching machine
KR20180082825A (ko) 모션 인식에 따른 그래픽 효과 발생 방법 및 그 장치
Komiya et al. Head pose estimation and movement analysis for speech scene
CN108334806B (zh) 图像处理方法、装置和电子设备
Cheng Visual Art Design of Digital Works Guided by Big Data
Dietz et al. Exploring eye-tracking-driven sonification for the visually impaired
Enrique III et al. Integrated Visual-Based ASL Captioning in Videoconferencing Using CNN
US20230229828A1 (en) Disability simulations and accessibility evaluations of content
US20240127618A1 (en) Quantitative disorder enhanced augmentative/alternative communication device and process
Awata et al. Japanese sign language recognition based on three elements of sign using kinect v2 sensor
US20210097284A1 (en) Techniques for presentation of electronic content related to printed material

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7150688

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150