JP2011239158A - ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム - Google Patents
ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム Download PDFInfo
- Publication number
- JP2011239158A JP2011239158A JP2010108683A JP2010108683A JP2011239158A JP 2011239158 A JP2011239158 A JP 2011239158A JP 2010108683 A JP2010108683 A JP 2010108683A JP 2010108683 A JP2010108683 A JP 2010108683A JP 2011239158 A JP2011239158 A JP 2011239158A
- Authority
- JP
- Japan
- Prior art keywords
- user
- reaction
- change
- scene
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】シーンごとにメタデータ12が付与されたコンテンツ10の各シーンに対するユーザUの反応を推定する反応推定装置であって、メタデータ12が対応するシーンに対して示すことが期待されるユーザUの反応を定義したものであり、状態検出装置で検出されたユーザUの状態からその状態変化を検出する状態変化検出手段31と、コンテンツ10からメタデータ12を取得するメタデータ取得手段32と、状態変化の変化量が所定の閾値を超えた場合、その時点でユーザUが視聴していたシーンに付与されたメタデータ12が表す反応を、当該シーンに対してユーザUが示した反応として判定する反応判定手段33と、を備える
【選択図】図1
Description
以下、第1実施形態に係るユーザ反応推定装置30の構成について、図1を参照しながら詳細に説明する。なお、以下の説明では、ユーザ反応推定装置30を含むユーザ反応推定システム100全体の構成を説明しながら、その中のユーザ反応推定装置30について説明することとする。
以下、前記した状態変化検出手段31の具体的構成および具体的処理手順について、図2を参照しながら詳細に説明する。状態変化検出手段31は、ここでは図2に示すように、表情取得手段31aと、表情変化算出手段31bと、を備えている。
以下、前記した反応判定手段33の具体的構成および具体的処理手順について、図3を参照しながら詳細に説明する。反応判定手段33は、図3に示すように、比較手段33aと、閾値格納手段33bと、反応抽出手段33cと、を備えている。
以下、ユーザ反応推定装置30の動作、すなわちユーザ反応推定方法について、図4を参照しながら簡単に説明する。ユーザ反応推定方法は、図4に示すように、状態変化検出ステップS10と、メタデータ取得ステップS20と、反応判定ステップS30と、を行う。ここで、状態変化検出ステップS10とメタデータ取得ステップS20の順序は、メタデータ取得ステップS20が先でもよく、あるいは、2つの処理を同時に行っても構わない。
状態変化検出ステップS10は、状態変化検出手段31によって、撮像装置40によって撮像されたユーザUの状態からその状態変化を検出するステップである。状態変化検出ステップS10では、撮像装置40から状態変化検出手段31に対して、コンテンツ10視聴中におけるユーザUの状態および撮像時間が入力され、当該状態変化検出手段31によって、ユーザUの状態からユーザUの状態変化が算出される。なお、本実施形態において、ユーザUの状態および状態変化とは、前記したように、コンテンツ10視聴中におけるユーザUの画像データおよびユーザUの表情変化のことを示している。
メタデータ取得ステップS20は、メタデータ取得手段32によって、コンテンツ10から、各シーンに付与されたメタデータ12を取得するステップである。メタデータ取得ステップS20では、ユーザUがコンテンツ10を視聴する際に、メタデータ取得手段32に対して、コンテンツ10のシーンごとに付与されたメタデータ12およびシーン放送時間が入力され、当該メタデータ取得手段32から反応判定手段33に対して、メタデータ12およびシーン放送時間が出力される。
反応判定ステップS30は、反応判定手段33によって、ユーザUの状態変化およびメタデータ12を用いてユーザUの反応を判定するステップである。反応判定ステップS30では、状態変化検出手段31から反応判定手段33に対して、コンテンツ10視聴中におけるユーザUの状態変化および撮像時間が入力され、メタデータ取得手段32から反応判定手段33に対して、メタデータ12およびシーン放送時間が入力される。そして、反応判定手段33によって、ユーザUの状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点でユーザUが視聴していたシーンに付与されたメタデータ12が定義する反応を、シーンに対してユーザUが示した反応として判定し、これをユーザ反応推定情報として格納装置50に出力する。
以下、第2実施形態に係るユーザ反応推定装置の構成について、図1および図5を参照しながら詳細に説明する。第2実施形態に係るユーザ反応推定装置は、図1に示す状態変化検出手段31を、図5に示す状態変化検出手段34としたこと以外は、前記した第1実施形態に係るユーザ反応推定装置30と同様の構成を備えている。従って、前記したユーザ反応推定装置30と重複する構成については、図示および説明を省略する。
第2実施形態に係るユーザ反応推定装置が備える状態変化検出手段34は、図5に示すように、視線位置取得手段34aと、視線位置変化算出手段34bと、を備えている。
以下、第3実施形態に係るユーザ反応推定装置の構成について、図1および図6を参照しながら詳細に説明する。第3実施形態に係るユーザ反応推定装置は、図1に示す状態変化検出手段31を、図6に示す状態変化検出手段35としたこと以外は、前記した第1実施形態に係るユーザ反応推定装置30と同様の構成を備えている。従って、前記したユーザ反応推定装置30と重複する構成については、図示および説明を省略する。
第3実施形態に係るユーザ反応推定装置が備える状態変化検出手段35は、図6に示すように、頭部位置取得手段35aと、頭部位置変化算出手段35bと、を備えている。
以下、第4実施形態に係るユーザ反応推定装置の構成について、図1および図7を参照しながら詳細に説明する。第4実施形態に係るユーザ反応推定装置は、図1に示す状態変化検出手段31を、図7に示す状態変化検出手段36としたこと以外は、前記した第1実施形態に係るユーザ反応推定装置30と同様の構成を備えている。従って、前記したユーザ反応推定装置30と重複する構成については、図示および説明を省略する。
第4実施形態に係るユーザ反応推定装置が備える状態変化検出手段36は、図7に示すように、重心位置取得手段36aと、重心位置変化算出手段36bと、を備えている。
以下、第5実施形態に係るユーザ反応推定装置30’の構成について、図8および図9を参照しながら詳細に説明する。第5実施形態に係るユーザ反応推定装置30’は、図1に示す撮像装置40および状態変化検出手段31を、図8に示す圧力測定装置60および図9に示す状態変化検出手段37としたこと以外は、前記した第1実施形態に係るユーザ反応推定装置30と同様の構成を備えている。従って、前記したユーザ反応推定装置30と重複する構成については、説明を省略する。
圧力測定装置60は、コンテンツ10視聴中におけるユーザUの体重による圧力を測定するものである。すなわち、圧力測定装置60は、ユーザUの状態を検出するための状態検出装置として機能する。圧力測定装置60の具体例としては、ユーザUが上に乗ることができる圧力センサ等が挙げられる。圧力測定装置60は、図9に示すように、ユーザUの体重による圧力の測定データと、当該圧力を測定した時間(図示省略、以下「測定時間」という)と、を状態変化検出手段37に出力する。
第5実施形態に係るユーザ反応推定装置30’が備える状態変化検出手段37は、図9に示すように、重心位置取得手段37aと、重心位置変化算出手段37bと、を備えている。
11 映像、音声
12 メタデータ
20 コンテンツ提供装置
30 ユーザ反応推定装置
30’ ユーザ反応推定装置
31 状態変化検出手段
31a 表情取得手段
31b 表情変化算出手段
32 メタデータ取得手段
33 反応判定手段
33a 比較手段
33b 閾値格納手段
33c 反応抽出手段
34 状態変化検出手段
34a 視線位置取得手段
34b 視線位置変化算出手段
35 状態変化検出手段
35a 頭部位置取得手段
35b 頭部位置変化算出手段
36 状態変化検出手段
36a 重心位置取得手段
36b 重心位置変化算出手段
37 状態変化検出手段
37a 重心位置取得手段
37b 重心位置変化算出手段
40 撮像装置
50 格納装置
60 圧力測定装置
100 ユーザ反応推定システム
200 ユーザ反応推定システム
S10 状態変化検出ステップ
S20 メタデータ取得ステップ
S30 反応判定ステップ
U ユーザ
Claims (9)
- シーンごとにメタデータが付与されたコンテンツをユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定装置であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段と、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段と、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段と、
を備えることを特徴とするユーザ反応推定装置。 - 前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの顔の表情変化を検出し、
前記反応判定手段は、前記ユーザの顔の表情変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項1に記載のユーザ反応推定装置。 - 前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの視線の位置変化を検出し、
前記反応判定手段は、前記ユーザの視線の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項1に記載のユーザ反応推定装置。 - 前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの頭部の位置変化を検出し、
前記反応判定手段は、前記ユーザの頭部の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項1に記載のユーザ反応推定装置。 - 前記状態検出装置は、前記ユーザを撮像するための撮像装置であり、
前記状態変化検出手段は、前記撮像装置で撮像された画像データから、画像処理によって前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項1に記載のユーザ反応推定装置。 - 前記状態検出装置は、前記ユーザの体重による圧力を測定するための圧力測定装置であり、
前記状態変化検出手段は、前記圧力測定装置で測定された圧力の測定データから、前記ユーザの身体の重心の位置変化を検出し、
前記反応判定手段は、前記ユーザの身体の重心の位置変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定することを特徴とする請求項1に記載のユーザ反応推定装置。 - 前記メタデータは、前記コンテンツ提供装置による前記コンテンツの提供中または提供後に、前記シーンに付与されることを特徴とする請求項1から請求項6のいずれか一項に記載のユーザ反応推定装置。
- シーンごとにメタデータが付与されたコンテンツの各シーンに対する前記ユーザの反応を推定するユーザ反応推定方法であって、
前記メタデータは、対応する前記シーンに対して前記ユーザが示すことが期待される前記ユーザの反応を定義したものであり、
状態変化検出手段によって、前記ユーザが前記コンテンツを視聴しているときの前記ユーザの状態から、当該ユーザの状態変化を検出するステップと、
メタデータ取得手段によって、前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するステップと、
反応判定手段によって、前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定するステップと、
を行うことを特徴とするユーザ反応推定方法。 - 対応するシーンに対してユーザが示すことが期待されるユーザの反応を定義したメタデータがシーンごとに付与されたコンテンツを前記ユーザに提供するコンテンツ提供装置と前記ユーザの状態を検出する状態検出装置とを用いて、前記コンテンツ提供装置から前記ユーザに提供された前記コンテンツの各シーンに対する前記ユーザの反応を推定するために、コンピュータを、
前記ユーザが前記コンテンツを視聴しているときに前記状態検出装置で検出された前記ユーザの状態から、当該ユーザの状態変化を検出する状態変化検出手段、
前記ユーザが前記コンテンツを視聴しているときに、当該コンテンツから前記メタデータを取得するメタデータ取得手段、
前記状態変化の変化量が所定の閾値を超えたか否かを判定し、当該変化量が所定の閾値を超えた場合、その時点で前記ユーザが視聴していた前記シーンに付与された前記メタデータが定義する反応を、前記シーンに対して前記ユーザが示した反応として判定する反応判定手段、
として機能させることを特徴とするユーザ反応推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108683A JP2011239158A (ja) | 2010-05-10 | 2010-05-10 | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010108683A JP2011239158A (ja) | 2010-05-10 | 2010-05-10 | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011239158A true JP2011239158A (ja) | 2011-11-24 |
Family
ID=45326657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010108683A Pending JP2011239158A (ja) | 2010-05-10 | 2010-05-10 | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011239158A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015029393A1 (ja) * | 2013-08-29 | 2015-03-05 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2020501260A (ja) * | 2016-12-02 | 2020-01-16 | リアルアイズ・オーウー | メディアコンテンツ成果の予測のためのデータ処理方法 |
WO2020240976A1 (ja) * | 2019-05-27 | 2020-12-03 | ソニー株式会社 | 人工知能情報処理装置及び人工知能情報処理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036874A (ja) * | 2005-07-28 | 2007-02-08 | Univ Of Tokyo | 視聴者情報測定システム及びこれを用いたマッチングシステム |
JP2008204193A (ja) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム |
JP2008234431A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム |
JP2009049796A (ja) * | 2007-08-21 | 2009-03-05 | Sony Corp | 情報提示装置及び情報提示方法 |
JP2009188670A (ja) * | 2008-02-05 | 2009-08-20 | Sony Corp | 情報処理装置および方法、プログラム、並びに、記録媒体 |
JP2010055409A (ja) * | 2008-08-28 | 2010-03-11 | Nec Personal Products Co Ltd | キーワード抽出装置、キーワード抽出方法及びプログラム |
-
2010
- 2010-05-10 JP JP2010108683A patent/JP2011239158A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036874A (ja) * | 2005-07-28 | 2007-02-08 | Univ Of Tokyo | 視聴者情報測定システム及びこれを用いたマッチングシステム |
JP2008204193A (ja) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム |
JP2008234431A (ja) * | 2007-03-22 | 2008-10-02 | Toshiba Corp | コメント蓄積装置、コメント作成閲覧装置、コメント閲覧システムおよびプログラム |
JP2009049796A (ja) * | 2007-08-21 | 2009-03-05 | Sony Corp | 情報提示装置及び情報提示方法 |
JP2009188670A (ja) * | 2008-02-05 | 2009-08-20 | Sony Corp | 情報処理装置および方法、プログラム、並びに、記録媒体 |
JP2010055409A (ja) * | 2008-08-28 | 2010-03-11 | Nec Personal Products Co Ltd | キーワード抽出装置、キーワード抽出方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
山本 誠、外2名: ""テレビ視聴行動からの個人的選好獲得"", 情報処理学会研究報告, vol. 第2008巻,第27号, JPN6013045964, 10 March 2008 (2008-03-10), pages 115 - 120, ISSN: 0002631479 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015029393A1 (ja) * | 2013-08-29 | 2015-03-05 | ソニー株式会社 | 情報処理装置および情報処理方法 |
US10019058B2 (en) | 2013-08-29 | 2018-07-10 | Sony Corporation | Information processing device and information processing method |
JP2020501260A (ja) * | 2016-12-02 | 2020-01-16 | リアルアイズ・オーウー | メディアコンテンツ成果の予測のためのデータ処理方法 |
JP7111711B2 (ja) | 2016-12-02 | 2022-08-02 | リアルアイズ・オーウー | メディアコンテンツ成果の予測のためのデータ処理方法 |
WO2020240976A1 (ja) * | 2019-05-27 | 2020-12-03 | ソニー株式会社 | 人工知能情報処理装置及び人工知能情報処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210382929A1 (en) | Multimedia content tags | |
US9706235B2 (en) | Time varying evaluation of multimedia content | |
KR100828371B1 (ko) | 컨텐츠의 메타 데이터 생성 방법 및 장치 | |
CN101999108B (zh) | 大笑检测器以及用于追踪对媒体呈现的情绪反应的系统和方法 | |
US8634701B2 (en) | Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics | |
CA2808910C (en) | System and method for measuring audience reaction to media content | |
US8667519B2 (en) | Automatic passive and anonymous feedback system | |
US20120072936A1 (en) | Automatic Customized Advertisement Generation System | |
US20120159527A1 (en) | Simulated group interaction with multimedia content | |
US20140052696A1 (en) | Systems and methods for visual categorization of multimedia data | |
JP5391144B2 (ja) | 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置 | |
TW200921454A (en) | Method and apparatus for video digest generation | |
AU2012256402A1 (en) | Video recommendation based on affect | |
JP2013070155A (ja) | 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム | |
US11763720B2 (en) | Methods, systems, and media for detecting a presentation of media content on a display device | |
KR20090121016A (ko) | 시청자 반응 측정 방법 및 시스템 | |
JP2013109537A (ja) | 関心度推定装置及びそのプログラム | |
JP7260505B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム及び端末装置 | |
US20050251741A1 (en) | Methods and apparatus for capturing images | |
JP2011239158A (ja) | ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム | |
JP2011071795A (ja) | 放送受信装置 | |
KR101838792B1 (ko) | 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치 | |
JP2014060642A (ja) | 表示装置及び表示システム | |
JP2005318372A (ja) | 注目度推定方法、注目度推定装置および注目度推定プログラム | |
CN105992065B (zh) | 随选视讯社交互动方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140204 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |