JP2021089554A - コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 - Google Patents
コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 Download PDFInfo
- Publication number
- JP2021089554A JP2021089554A JP2019219342A JP2019219342A JP2021089554A JP 2021089554 A JP2021089554 A JP 2021089554A JP 2019219342 A JP2019219342 A JP 2019219342A JP 2019219342 A JP2019219342 A JP 2019219342A JP 2021089554 A JP2021089554 A JP 2021089554A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- content
- saliency
- user
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定装置は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
を有することを特徴とする属性推定装置が提供される。
(a)当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、
(b)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、
(c)当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報
を、当該反応に係る情報に決定することも好ましい。
(a)当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、
(b)当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、
(c)当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、
当該顕著性に係る情報を決定することも好ましい。
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定プログラムは、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
してコンピュータを機能させることを特徴とする属性推定プログラムが提供される。
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、本属性推定方法は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
を有することを特徴とする属性推定方法が提供される。
図1は、本発明による属性推定装置を含む属性推定システムの一実施形態を示す模式図である。
(a)街頭、駅や、空港等、多くの人が往来する環境・施設に設置されており、これらの人(以後、ユーザとも称する)に対しコンテンツを提示可能な、少なくとも1つのデジタルサイネージ2と、
(b)デジタルサイネージ2に対し、提示すべきコンテンツを配信するコンテンツ配信サーバ3と、
(c)デジタルサイネージ2によってコンテンツを提示されたユーザの属性を推定する、本発明による属性推定装置の一実施形態としての属性推定装置1と
を有している。
(a1)コンテンツの提示を受けたユーザを可視光センサや近赤外光センサによって撮影することが可能であり、さらに公知の眼球運動計測手法により当該ユーザの視線測定も可能となっているカメラ201と、
(a2)当該ユーザの発した音声を捕捉可能なマイク202と、
(a3)属性推定装置1やコンテンツ配信サーバ3との通信のための通信インタフェースと
を更に備えており、コンテンツの提示を受けたユーザの反応を含む測定情報(例えば当該ユーザの画像データ、視線データや音声データ)を属性推定装置1へ送信可能となっている。
(A)「属性関連要素」における注意を引き付ける度合いに係る「顕著性」を含む、ユーザに提示されたコンテンツにおける「顕著性」に係る情報である「顕著性情報」を決定又は取得する顕著性決定取得部111と、
(B)「属性関連要素」に対するユーザの「反応の程度又は有無」を含む、当該コンテンツに対する「反応」に係る情報である「反応情報」を決定又は取得する反応情報決定取得部112と、
(C)「顕著性情報」と「反応情報」とに基づいて、ユーザが、「属性関連要素」の関連した属性を有する「確度」を決定する属性確度決定部113と
を有している。
同じく図1の機能ブロック図によれば、属性推定装置1は、通信インタフェース部101と、コンテンツ・顕著性保存部102と、測定・反応情報保存部103と、ユーザ属性保存部104と、キーボード(KB)105と、ディスプレイ(DP)106と、プロセッサ・メモリとを有する。
(a)「属性関連要素」における顕著性
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」における顕著性
も含まれている。ここで、このような決定された顕著性情報は、対応するコンテンツのコンテンツIDと紐づけた上で、コンテンツ・顕著性保存部102において保存・管理されることも好ましい。
(ア1)その他の部分との輝度の差(コントラスト)、
(ア2)その他の部分との色相の差、
(ア3)周囲の部分との境界における輝度勾配、又は当該輝度勾配方向での輝度差、又は
(ア4)構成単位、例えば文字、記号や、シンボルやマークといった図形の大きさ(表示サイズ)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。
(イ1)出力される音量(又は音声波の振幅)、又は
(イ2)音の高さ(又は音声波の周波数)
といったような特徴に基づき、これらの特徴を表す量を決定し、さらに当該量を例えば0から1までの値に規格化したものを顕著性としてもよい。なお、これらの特徴は、音声コンテンツを構成する音声データの波形解析を行うことによって、又は実際に出力された音声の波形を測定し解析することによって決定することができる。
(a)当該コンテンツの「属性関連要素」に対する当該ユーザの「反応の程度又は有無」
が含まれており、また、当該コンテンツが「非関連要素」を含んでいる場合には、
(b)「非関連要素」に対する当該ユーザの「反応の程度又は有無」
も含まれている。
(ア)「属性関連要素」における顕著性が低いほど、より高い確度を決定し、
さらに、コンテンツが非関連要素も有する場合において、
(イ)「属性関連要素」における顕著性が、「非関連要素」における顕著性と比較してより低いほど、より高い確度を決定する
のである。
(a)「属性関連要素」の顕著性s1(属性関連要素が複数ある場合は顕著性s1_1,s1_2,・・・)については単調減少関数となり、
(b)「非関連要素」の顕著性S2(非関連要素が複数ある場合は顕著性s2_1,s2_2,・・・)については単調増加関数となり、
(c)「属性関連要素」の「反応の程度(反応情報)」Δ1(属性関連要素が複数ある場合は「反応の程度」Δ1_1,Δ1_2,・・・)については単調増加関数となり、さらに、
(d)「非関連要素」の「反応の程度(反応情報)」Δ2(非関連要素が複数ある場合は「反応の程度」Δ2_1,Δ2_2,・・・)については単調減少関数となるような
次式(1)の確度関数PLを用いて、確度PLを算出することができる。
(1) PL=PL(S1, S2, Δ1, Δ2)
図2は、本発明による属性推定方法の一実施形態を説明するための模式図である。
(2) PL={1+exp(−a*(Δt−b)}−1*(k*S_L)−1
を用いて算出する。なお上式(2)のPLは、左辺の値が1を超える場合には、
(3) PL=1
に設定される。または、属性確度決定部113は、確度PLを、次式
(4) PL={1+exp(−a*(Δt−b)/(k*S_L))}−1
を用いて算出してもよい。
(5) PL1=EX1/(EX1+EX2)
EX1=exp(−a1*(Δt1−b1)*C1)−1
EX2=exp(−a2*(Δt2−b2)*C2)−1
C1=(1/S_L1)/{(1/S_L1)+(1/S_L2)}=S_L2/(S_L1+S_L2)
C2=(1/S_L2)/{(1/S_L1)+(1/S_L2)}=S_L1/(S_L1+S_L2)
を用いて算出する。
(6) PL2=EX2/(EX1+EX2)
を用いてPL2を算出することができるのである。
(7) EX2_i=exp(−a2_i*(Δt2_i−b2_i)*C2_i)−1
ここで、C2_iは、算出された全ての「顕著性の逆数」における
「顕著性S_L2_iの逆数」の内分比
によって算出されたEX2_i(i=1,・・・,N)におけるiについての総和を、上式(5)のEX2と置き換えた式をもって、確度PL1を算出することができる。
(8) EX1_j=exp(−a1_j*(Δt1_j−b1_j)*C1_j)−1
ここで、C1_jは、算出された全ての「顕著性の逆数」における
「顕著性S_L1_jの逆数」の内分比のjについての総和
によって算出されたEX1_j(j=1,・・・,M)におけるjについての総和を、上式(5)のEX1と置き換えた式をもって、確度PL1を算出することができるのである。
図4は、本発明による属性推定方法の更なる他の実施形態を説明するための模式図である。
101 通信インタフェース部
102 コンテンツ・顕著性保存部
103 測定・反応情報保存部
104 ユーザ属性保存部
105 キーボード(KB)
106 ディスプレイ(DP)
111 顕著性決定取得部
111a 顕著性算出部
112 反応情報決定取得部
112a 反応情報算出部
113 属性確度決定部
121 通信制御部
122 入出力制御部
123 アプリケーション部
2 デジタルサイネージ
201 カメラ
202 マイク
203 スピーカ
3 コンテンツ配信サーバ
Claims (10)
- コンテンツを提示されたユーザの属性を推定する属性推定装置であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定装置は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
を有することを特徴とする属性推定装置。 - 前記属性確度決定手段は、当該属性関連要素における顕著性が低いほど、より高い当該確度を決定することを特徴とする請求項1に記載の属性推定装置。
- 当該コンテンツは、その確度を決定すべき属性に関連しない非関連要素も有しており、
当該顕著性に係る情報は、当該非関連要素における顕著性も含み、
前記属性確度決定手段は、当該属性関連要素における顕著性が、当該非関連要素における顕著性と比較してより低いほど、より高い当該確度を決定する
ことを特徴とする請求項1又は2に記載の属性推定装置。 - 前記反応情報決定取得手段は、当該コンテンツの当該属性関連要素を含む提示範囲内における当該ユーザの視点位置に係る情報、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの動きに係る情報、又は、当該コンテンツの当該属性関連要素を含む部分又は全体を提示された当該ユーザの発する音声に係る情報を、当該反応に係る情報に決定することを特徴とする請求項1から3のいずれか1項に記載の属性推定装置。
- 前記顕著性決定取得手段は、当該コンテンツについての視覚、視認若しくは表示に係る物理量若しくは幾何学的量を測定若しくは解析した結果から、当該コンテンツについての聴覚若しくは音響に係る物理量を測定若しくは解析した結果から、又は、当該コンテンツに対する生体の感覚器の反応を測定若しくは解析した結果から、当該顕著性に係る情報を決定することを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。
- 当該コンテンツは、予め決定された自らにおける顕著性に係る情報を付与されており、
前記顕著性決定取得手段は、当該ユーザに提示される当該コンテンツに予め付与された顕著性に係る情報を取得する
ことを特徴とする請求項1から4のいずれか1項に記載の属性推定装置。 - 前記属性確度決定手段は、当該属性関連要素に対する当該ユーザの反応の程度が高いほど、より高い当該確度を決定することを特徴とする請求項1から6のいずれか1項に記載の属性推定装置。
- 当該その確度を決定すべき属性は、当該ユーザがある言語を第1言語とすること、又は当該ユーザがある言語に係る国に属していることであり、
当該コンテンツは、前記ある言語に係る文字、単語、語句若しくは文、又は前記ある言語に係る音声を含む属性関連要素を有している
ことを特徴とする請求項1から7のいずれか1項に記載の属性推定装置。 - コンテンツを提示されたユーザの属性を推定するコンピュータを機能させる属性推定プログラムであって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定プログラムは、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得する顕著性決定取得手段と、
当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得する反応情報決定取得手段と、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定する属性確度決定手段と
してコンピュータを機能させることを特徴とする属性推定プログラム。 - コンテンツを提示されたユーザの属性を推定するコンピュータにおける属性推定方法であって、
当該コンテンツは、その確度を決定すべき属性に関連した属性関連要素を有しており、前記属性推定方法は、
当該属性関連要素における注意を引き付ける度合いに係る顕著性を含む、当該コンテンツにおける顕著性に係る情報を決定又は取得し、また、当該属性関連要素に対する当該ユーザの反応の程度又は有無を含む、当該コンテンツに対する反応に係る情報を決定又は取得するステップと、
当該顕著性に係る情報と当該反応に係る情報とに基づいて、当該ユーザが、当該属性関連要素の関連した属性を有する確度を決定するステップと
を有することを特徴とする属性推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219342A JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019219342A JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021089554A true JP2021089554A (ja) | 2021-06-10 |
JP7150688B2 JP7150688B2 (ja) | 2022-10-11 |
Family
ID=76220214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019219342A Active JP7150688B2 (ja) | 2019-12-04 | 2019-12-04 | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7150688B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083925A (ja) * | 2010-10-10 | 2012-04-26 | Jvc Kenwood Corp | 電子機器及びその表示言語判定方法 |
JP2017156514A (ja) * | 2016-03-01 | 2017-09-07 | 株式会社Liquid | 電子看板システム |
WO2017163719A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 出力制御装置、出力制御方法、およびプログラム |
JP2017204134A (ja) * | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 属性推定装置、属性推定方法およびプログラム |
JP2017204133A (ja) * | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 推定装置、推定方法およびプログラム |
-
2019
- 2019-12-04 JP JP2019219342A patent/JP7150688B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083925A (ja) * | 2010-10-10 | 2012-04-26 | Jvc Kenwood Corp | 電子機器及びその表示言語判定方法 |
JP2017156514A (ja) * | 2016-03-01 | 2017-09-07 | 株式会社Liquid | 電子看板システム |
WO2017163719A1 (ja) * | 2016-03-23 | 2017-09-28 | 日本電気株式会社 | 出力制御装置、出力制御方法、およびプログラム |
JP2017204134A (ja) * | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 属性推定装置、属性推定方法およびプログラム |
JP2017204133A (ja) * | 2016-05-11 | 2017-11-16 | 日本電信電話株式会社 | 推定装置、推定方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7150688B2 (ja) | 2022-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10776977B2 (en) | Real-time lip synchronization animation | |
US8571851B1 (en) | Semantic interpretation using user gaze order | |
US10846522B2 (en) | Speaking classification using audio-visual data | |
US8793118B2 (en) | Adaptive multimodal communication assist system | |
CN114144790A (zh) | 具有三维骨架正则化和表示性身体姿势的个性化语音到视频 | |
JP2020174338A (ja) | 情報を生成するための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム | |
US11948558B2 (en) | Messaging system with trend analysis of content | |
JP2019179390A (ja) | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル | |
Tsai et al. | Sentiment analysis of pets using deep learning technologies in artificial intelligence of things system | |
US11699162B2 (en) | System and method for generating a modified design creative | |
Roon et al. | Comparison of auto-contouring and hand-contouring of ultrasound images of the tongue surface | |
JP7150688B2 (ja) | コンテンツの顕著性を考慮してユーザの属性を推定する装置、プログラム及び方法 | |
JP7110738B2 (ja) | 情報処理装置、プログラム及び情報処理システム | |
WO2023144386A1 (en) | Generating data items using off-the-shelf guided generative diffusion processes | |
US20220327956A1 (en) | Language teaching machine | |
KR20180082825A (ko) | 모션 인식에 따른 그래픽 효과 발생 방법 및 그 장치 | |
Komiya et al. | Head pose estimation and movement analysis for speech scene | |
CN108334806B (zh) | 图像处理方法、装置和电子设备 | |
Cheng | Visual Art Design of Digital Works Guided by Big Data | |
Dietz et al. | Exploring eye-tracking-driven sonification for the visually impaired | |
Enrique III et al. | Integrated Visual-Based ASL Captioning in Videoconferencing Using CNN | |
US20230229828A1 (en) | Disability simulations and accessibility evaluations of content | |
US20240127618A1 (en) | Quantitative disorder enhanced augmentative/alternative communication device and process | |
Awata et al. | Japanese sign language recognition based on three elements of sign using kinect v2 sensor | |
US20210097284A1 (en) | Techniques for presentation of electronic content related to printed material |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7150688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |