JP7440020B2 - Information processing method, terminal device, information processing device, and information processing system - Google Patents
Information processing method, terminal device, information processing device, and information processing system Download PDFInfo
- Publication number
- JP7440020B2 JP7440020B2 JP2020010943A JP2020010943A JP7440020B2 JP 7440020 B2 JP7440020 B2 JP 7440020B2 JP 2020010943 A JP2020010943 A JP 2020010943A JP 2020010943 A JP2020010943 A JP 2020010943A JP 7440020 B2 JP7440020 B2 JP 7440020B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- emotion
- content
- heart rate
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 30
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000008451 emotion Effects 0.000 claims description 294
- 238000012545 processing Methods 0.000 claims description 80
- 102000001554 Hemoglobins Human genes 0.000 claims description 77
- 108010054147 Hemoglobins Proteins 0.000 claims description 77
- 238000004458 analytical method Methods 0.000 claims description 57
- 230000001815 facial effect Effects 0.000 claims description 48
- 230000002996 emotional effect Effects 0.000 claims description 17
- 239000000049 pigment Substances 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 90
- 230000008569 process Effects 0.000 description 75
- 238000004891 communication Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 18
- 230000036541 health Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000002123 temporal effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 206010019345 Heat stroke Diseases 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 206010016352 Feeling of relaxation Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000036571 hydration Effects 0.000 description 1
- 238000006703 hydration reaction Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本開示は、情報処理方法、端末装置、情報処理装置、及び情報処理システムに関する。 The present disclosure relates to an information processing method, a terminal device , an information processing device , and an information processing system .
近年、人の顔を撮影して得られた撮影画像から被写体の人の感情を判定する技術が開発されている。特許文献１には、ＲＧＢカメラを用いて撮影した顔画像に基づいて、被写体の人の心拍変動を示す心拍変動スペクトログラムを作成し、心拍変動スペクトログラムに基づいて被写体の人のストレス状態を判定する技術が提案されている。特許文献１に開示された技術では、顔画像から色素成分分離によってヘモグロビン画像が作成され、ヘモグロビン画像に基づいて心拍変動スペクトログラムが作成される。
2. Description of the Related Art In recent years, technology has been developed to determine the emotions of a photographed subject from an image obtained by photographing a person's face.
特許文献１に開示された技術によって作成される心拍変動スペクトログラムは、被写体の人のストレス状態の判定だけでなく、人の感情の判定にも利用することができる。よって、特許文献１に開示された技術は、人の感情を判定した結果を用いて種々の処理を行う様々なシステムに利用されることが期待される。
The heart rate variability spectrogram created by the technique disclosed in
本開示はこのような事情に鑑みてなされたものであり、その目的は、コンテンツに対する視聴者の感情を分析することを支援することが可能な情報処理方法等を提供することにある。 The present disclosure has been made in view of these circumstances, and the purpose thereof is to provide an information processing method and the like that can support analysis of viewers' emotions toward content .
本開示の一態様に係る情報処理方法は、コンテンツを表示部に表示し、表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する処理をコンピュータが実行する。 An information processing method according to an aspect of the present disclosure displays content on a display unit, acquires facial image data of a user's face viewing the displayed content, and extracts a pigment component corresponding to hemoglobin from the facial image data. extracting hemoglobin image data to generate hemoglobin image data, generate heartbeat data indicating the user's heartbeat based on the hemoglobin image data, perform frequency conversion on the heartbeat data, and generate heartbeat variability indicating the user's heartbeat variability. A computer executes a process of generating data, analyzing the user's emotion based on the heart rate variation data, and generating emotion data indicating the user's emotion.
本開示の一態様にあっては、コンテンツを視認（視聴）するユーザの顔画像に基づいて、視認中のユーザの感情を逐次分析できるので、コンテンツの再生タイミング毎のユーザの感情を取得できる。また、複数のユーザの感情の分析結果に基づいて、コンテンツに対する視認者（視聴者）の感情レポートを生成できる。よって、視認者の感情レポートをコンテンツの作成者に提供することができ、また、視認者の感情レポートに基づいてコンテンツに対する評価を行うことができる。 In one aspect of the present disclosure, the emotions of the user viewing (viewing) the content can be sequentially analyzed based on the facial image of the user viewing (listening to) the content, so the emotions of the user at each content reproduction timing can be acquired. Furthermore, it is possible to generate a viewer's (viewer's) emotion report regarding the content based on the analysis results of the emotions of a plurality of users. Therefore, the viewer's emotional report can be provided to the content creator, and the content can be evaluated based on the viewer's emotional report.
以下に、本開示の情報処理方法、端末装置及び情報処理装置について、コンテンツを視認（視聴）するユーザの感情を分析する感情分析システムに適用した実施形態を示す図面に基づいて具体的に説明する。以下の実施形態では、コンテンツは画像のみを含むコンテンツであってもよく、画像及び音声を含むコンテンツであってもよい。よって、以下では、コンテンツを視聴する場合には、画像及び音声を含むコンテンツを見る場合だけでなく、画像のみのコンテンツを視認する場合も含まれる。また、視聴者は、画像及び音声を含むコンテンツを視聴するユーザだけでなく、画像のみのコンテンツを視認するユーザ（視認者）も含まれる。 Below, the information processing method, terminal device, and information processing device of the present disclosure will be specifically described based on drawings showing an embodiment applied to an emotion analysis system that analyzes the emotions of a user who views (views) content. . In the following embodiments, the content may be content that includes only images, or may be content that includes images and audio. Therefore, in the following, viewing content includes not only viewing content that includes images and audio, but also viewing content that includes only images. Furthermore, viewers include not only users who view content that includes images and audio, but also users (viewers) who view content that only includes images.
（実施形態１）
図１は、感情分析システムの構成例を示す模式図である。本実施形態の感情分析システムは、サーバ（情報処理装置）１０及び複数の端末装置２０を含み、サーバ１０及び各端末装置２０は、インターネット又はＬＡＮ（Local Area Network）等のネットワークＮを介して情報の送受信を行う。サーバ１０は、サーバコンピュータ又はパーソナルコンピュータ等であり、複数台設けられてもよいし、１台のサーバ装置内に設けられた複数の仮想マシンによって実現されてもよいし、クラウドサーバを用いて実現されてもよい。サーバ１０は、コンテンツの視聴中のユーザ（視聴者）の心拍変動に関するデータを各端末装置２０から取得して蓄積する処理、蓄積したデータに基づいて各視聴者の感情を分析する処理、分析した結果に基づいて各コンテンツに対する感情レポートを生成する処理等、種々の情報処理を行う。端末装置２０は、タブレット端末、パーソナルコンピュータ等であり、感情分析システムに用いられる専用端末であることが好ましい。端末装置２０は、コンテンツの再生処理（表示処理）、再生中のコンテンツを視聴するユーザ（視聴者）の心拍変動に関するデータを収集する処理等、種々の情報処理を行う。端末装置２０は例えば、ショッピングモール等に設けられたフードコート内の飲食店で料理を注文したユーザに貸し出され、注文した料理が出来上がったことを通知する通知端末を、注文した料理が出来上がるまでの間コンテンツを再生させるように構成した装置を用いることができる。また端末装置２０は、美術館や博物館等で入館者に貸し出され、展示作品に対する解説コンテンツを再生する端末を用いることができる。
(Embodiment 1)
FIG. 1 is a schematic diagram showing a configuration example of an emotion analysis system. The emotion analysis system of this embodiment includes a server (information processing device) 10 and a plurality of
図２は、感情分析システムの構成例を示すブロック図である。端末装置２０は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、カメラ２６等を含み、これらの各部はバスを介して相互に接続されている。制御部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを適宜実行することにより、端末装置２０が行うべき種々の情報処理、制御処理等を行う。
FIG. 2 is a block diagram showing an example of the configuration of the sentiment analysis system. The
記憶部２２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部２２は、制御部２１が実行する制御プログラム２２Ｐ及び制御プログラム２２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部２２は、制御部２１が制御プログラム２２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部２２には、後述するコンテンツＤＢ（データベース）２２ａ及び心拍変動ＤＢ２２ｂが記憶される。コンテンツＤＢ２２ａ及び心拍変動ＤＢ２２ｂは、端末装置２０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介して端末装置２０と通信可能な記憶装置に記憶されてもよい。
The
通信部２３は、例えば無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。なお、通信部２３は、有線通信によってネットワークＮに接続される構成でもよい。表示部２４は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部２１からの指示に従って各種の情報を表示する。入力部２５は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部２１へ送出する。表示部２４及び入力部２５は一体として構成されたタッチパネルであってもよい。
The
カメラ２６は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して入射した光を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色に対応する撮像素子にて光電変換してＲＧＢのカラー画像データを取得する。カメラ２６は、制御部２１からの指示に従って撮影を行い、取得した画像データ（撮影画像）を逐次記憶部２２へ送出して記憶する。なお、カメラ２６及び表示部２４は、図１に示すように、カメラ２６の撮影方向が表示部２４の表示画面側となるように端末装置２０に設けられており、表示部２４の表示画面を視認するユーザの顔をカメラ２６で撮影できるように配置されている。
The
端末装置２０において、記憶部２２に予め記憶される制御プログラム及びデータは、制御部２１が通信部２３を介してネットワークＮ経由で外部装置からダウンロードして記憶部２２に記憶してもよい。また、端末装置２０が可搬型記憶媒体に記憶された情報を読み取る読み取り部を有する場合、記憶部２２に予め記憶される制御プログラム及びデータは、制御部２１が読み取り部を介して可搬型記憶媒体から読み取って記憶部２２に記憶してもよい。
In the
サーバ１０は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読み取り部１６等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ、ＭＰＵ又はＧＰＵ等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等をサーバ１０に行わせる。
The
記憶部１２は、ＲＡＭ、フラッシュメモリ、ハードディスク、ＳＳＤ等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２には、後述するコンテンツＤＢ１２ａ、心拍変動ＤＢ１２ｂ及び感情ＤＢ１２ｃが記憶される。コンテンツＤＢ１２ａ、心拍変動ＤＢ１２ｂ及び感情ＤＢ１２ｃは、サーバ１０に接続された外部の記憶装置に記憶されてもよく、ネットワークＮを介してサーバ１０と通信可能な記憶装置に記憶されてもよい。
The
通信部１３は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。入力部１４は、マウス及びキーボード等を含み、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。
The
読み取り部１６は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリを含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が読み取り部１６を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に予め記憶される制御プログラム及びデータは、制御部１１が通信部１３を介してネットワークＮ経由で外部装置からダウンロードして記憶部１２に記憶してもよい。更に、半導体メモリ１ｂから、制御部１１が制御プログラム及びデータを読み出してもよい。
The
図３は、サーバ１０に記憶されるＤＢ１２ａ～１２ｃ及び端末装置２０に記憶されるＤＢ２２ａ～２２ｂの構成例を示す模式図である。サーバ１０に記憶されるコンテンツＤＢ１２ａ及び端末装置２０に記憶されるコンテンツＤＢ２２ａは同様の構成を有しており、図３ＡはコンテンツＤＢ１２ａ，２２ａを示す。またサーバ１０に記憶される心拍変動ＤＢ１２ｂ及び端末装置２０に記憶される心拍変動ＤＢ２２ｂは同様の構成を有しており、図３Ｂは心拍変動ＤＢ１２ｂ，２２ｂを示す。図３Ｃは感情ＤＢ１２ｃを示す。
FIG. 3 is a schematic diagram showing a configuration example of the
コンテンツＤＢ１２ａ，２２ａは、端末装置２０によって再生されるコンテンツを記憶している。図３Ａに示すコンテンツＤＢ１２ａ，２２ａは、コンテンツＩＤ列、コンテンツデータ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶する。コンテンツデータ列は、各コンテンツの再生用データを記憶する。コンテンツは動画コンテンツであってもよく静止画コンテンツであってもよく、再生用データはコンテンツに係る画像を表示するための表示用データである。なお、再生用データはコンテンツに係る音声を出力するための音声出力用データを含んでいてもよい。コンテンツの再生用データは、コンテンツＤＢ１２ａ，２２ａに記憶されるほかに、記憶部１２，２２の所定領域又は外部の記憶装置に記憶されてもよく、この場合、コンテンツデータ列は、コンテンツの再生用データを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。サーバ１０のコンテンツＤＢ１２ａの記憶内容は、通信部１３又は入力部１４を介して追加、変更又は削除の指示を取得する都度、制御部１１によって追加、変更又は削除される。端末装置２０のコンテンツＤＢ２２ａの記憶内容は、例えばネットワークＮ経由でサーバ１０から更新用のデータを受信した場合に、制御部２１によって更新される。コンテンツＤＢ１２ａ，２２ａの記憶内容は図３Ａに示す例に限定されず、例えばコンテンツに付されたコンテンツ名、コンテンツの再生時間等が記憶されていてもよい。また、コンテンツＤＢ１２ａ，２２ａは異なる構成であってもよく、例えば端末装置２０のコンテンツＤＢ２２ａに、各コンテンツの再生順序が登録されていてもよい。
The
心拍変動ＤＢ１２ｂ，２２ｂは、端末装置２０を用いてコンテンツを視聴した視聴者の情報を記憶する。図３Ｂに示す心拍変動ＤＢ１２ｂ，２２ｂは、コンテンツＩＤ列、視聴ＩＤ列、年齢列、性別列、心拍変動データ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶する。視聴ＩＤ列は、各コンテンツに対する視聴処理（再生処理）毎に割り当てられた識別情報を記憶する。なお、視聴ＩＤは、例えば各コンテンツの視聴処理（視聴者）毎に割り当てられる。年齢列及び性別列はそれぞれ、それぞれの視聴処理を行った視聴者の年齢及び性別を記憶する。心拍変動データ列は、コンテンツの視聴処理中における視聴者の心拍変動を示すデータを記憶する。心拍変動を示すデータは、心拍変動ＤＢ１２ｂ，２２ｂに記憶されるほかに、記憶部１２，２２の所定領域又は外部の記憶装置に記憶されてもよく、この場合、心拍変動データ列は、心拍変動を示すデータを読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶する。
The heart
端末装置２０の心拍変動ＤＢ２２ｂに記憶されるコンテンツＩＤ及び視聴ＩＤは、制御部２１がコンテンツの再生処理を開始した場合に、制御部２１によって記憶される。また端末装置２０の心拍変動ＤＢ２２ｂに記憶される年齢、性別及び心拍変動データは、コンテンツの再生処理中に制御部２１が検出する都度、制御部２１によって記憶される。端末装置２０は、心拍変動ＤＢ２２ｂに記憶した各データを、例えばコンテンツ毎又は視聴処理毎にまとめてサーバ１０へ送信する。サーバ１０の心拍変動ＤＢ１２ｂの記憶内容は、制御部１１が例えばネットワークＮ経由で端末装置２０から各データを取得する都度、制御部１１によって記憶される。心拍変動ＤＢ１２ｂ，２２ｂの記憶内容は図３Ｂに示す例に限定されず、また、心拍変動ＤＢ１２ｂ，２２ｂは異なる構成であってもよい。例えばサーバ１０の心拍変動ＤＢ１２ｂに、データの送信元の端末装置２０の識別情報が登録されていてもよい。なお、心拍変動ＤＢ１２ｂ，２２ｂには、コンテンツを視聴した視聴者個人を特定できない形式のデータが記憶されることが好ましい。
The content ID and viewing ID stored in the heart
感情ＤＢ１２ｃは、端末装置２０を用いてコンテンツを視聴した視聴者の感情に関する情報を記憶する。図３Ｃに示す感情ＤＢ１２ｃは、コンテンツＩＤ列、視聴ＩＤ列、年齢列、性別列、感情データ列等を含む。コンテンツＩＤ列は、各コンテンツに予め割り当てられた識別情報を記憶し、視聴ＩＤ列は、各視聴処理（再生処理）に割り当てられた識別情報を記憶し、年齢列及び性別列はそれぞれ、それぞれの視聴処理を行った視聴者の年齢及び性別を記憶する。感情データ列は、コンテンツの視聴中における視聴者の感情を示すデータを記憶し、具体的には喜び列、怒り列、悲しみ列、驚き列、嫌悪列、リラックス列等を含む。喜び列、怒り列、悲しみ列、驚き列、嫌悪列、リラックス列はそれぞれ、コンテンツの視聴中に視聴者が喜び、怒り、悲しみ、驚き、嫌悪、リラックスのそれぞれの感情について感じた可能性を示す数値を記憶する。各感情の数値は、例えばコンテンツの再生開始からの経過時間（再生時間）に対応付けて時系列的に記憶されており、コンテンツの視聴中における視聴者の感情の変化を示す。各感情を示す数値は、心拍変動ＤＢ１２ｂに記憶された各コンテンツの視聴処理における視聴者の心拍変動データを分析して算出される。感情ＤＢ１２ｃに記憶される感情データ以外の各データは、制御部１１が、心拍変動ＤＢ１２ｂに記憶された心拍変動データに基づいて視聴者の感情分析処理を開始した場合に、制御部１１によって記憶される。また感情ＤＢ１２ｃに記憶される感情データは、制御部１１が感情分析処理によって各感情の数値を取得する都度、制御部１１によって記憶される。感情ＤＢ１２ｃの記憶内容は図３Ｃに示す例に限定されず、例えば各視聴処理を行った端末装置２０（心拍変動データを収集した端末装置２０）の識別情報が登録されていてもよい。また、感情ＤＢ１２ｃに記憶される各感情は、図３Ｃに示す例に限定されない。
The
次に、端末装置２０の制御部２１が制御プログラム２２Ｐを実行することによって実現される機能について説明する。図４は、端末装置２０の制御部２１によって実現される機能を示すブロック図、図５は、端末装置２０による処理の説明図である。端末装置２０の制御部２１は、記憶部２２に記憶してある制御プログラム２２Ｐを実行した場合、コンテンツ再生部２０１、撮影部２０２、属性判定部２０３、ヘモグロビン画像生成部２０４、心拍データ生成部２０５、心拍変動データ生成部２０６、出力部２０７の各機能を実現する。なお、本実施形態では、これらの各機能を制御部２１が制御プログラム２２Ｐを実行することにより実現するが、これらの一部を専用のハードウェア回路で実現してもよい。
Next, functions realized by the
端末装置２０において記憶部２２には、図３Ａに示すようなコンテンツＤＢ２２ａと、図３Ｂに示す構成においてコンテンツＩＤのみが記憶された心拍変動ＤＢ２２ｂとが格納されているものとする。なお、心拍変動ＤＢ２２ｂは、コンテンツＩＤも記憶されていない状態であってもよい。
It is assumed that the
コンテンツ再生部２０１は、コンテンツＤＢ２２ａに記憶されているコンテンツの再生用データに基づいてコンテンツを再生する（コンテンツに係る画像を表示部２４に表示する）。なお、再生用データにコンテンツに係る音声を出力するための音声出力用データが含まれる場合、コンテンツ再生部２０１は、音声出力用データに基づいてコンテンツに係る音声をスピーカ（図示せず）から出力する。コンテンツ再生部２０１は、コンテンツＤＢ２２ａに記憶されている順に各コンテンツを再生してもよいし、コンテンツＤＢ２２ａに再生順序が登録されている場合には、登録された再生順序で各コンテンツを再生してもよい。コンテンツ再生部２０１は、コンテンツの再生処理を開始した場合、このコンテンツのコンテンツＩＤに対応付けて、視聴ＩＤを心拍変動ＤＢ２２ｂに記憶する。なお、視聴ＩＤは、各コンテンツにおいてそれぞれの視聴処理間で重複しないＩＤであればどのような情報でもよい。
The
撮影部（取得部）２０２は、コンテンツ再生部２０１がコンテンツの再生処理を開始した場合、カメラ２６による撮影を開始し、表示部２４に表示されるコンテンツを視聴する視聴者の顔の顔画像（カラーの顔画像データ）を取得する。撮影部２０２は、例えば１秒間に３０枚（３０フレーム）の顔画像を取得し、取得した顔画像を例えば記憶部２２に順次記憶しておく。
When the
属性判定部２０３は、撮影部２０２が取得した顔画像（顔画像データ）に基づいて、この顔画像の被写体である人の属性を判定する。属性判定部２０３は例えばテンプレートマッチング技術によって顔画像中の被写体の属性を判定する。具体的には、年齢（年齢層）及び性別を含む人の属性毎に、各属性の人の一般的な顔又は顔の各器官の画像に基づくテンプレートを予め記憶部２２に記憶しておき、属性判定部２０３は、顔画像にいずれかのテンプレートに一致する領域があるか否かを検知し、一致する領域を検知した場合、一致したテンプレートに対応付けられた属性を、ここでの被写体の属性に判定する。属性判定部２０３は、被写体の属性を判定した場合、再生中のコンテンツのコンテンツＩＤと実行中の再生処理（視聴処理）の視聴ＩＤとに対応付けて、判定した属性（年齢及び性別）を心拍変動ＤＢ２２ｂに記憶する。
The
ヘモグロビン画像生成部（抽出部）２０４は、撮影部２０２が取得した顔画像（顔画像データ）に対して色素成分分離処理を行い、ヘモグロビンに対応する色素成分を抽出してヘモグロビン画像（ヘモグロビン成分の顔画像データ）を生成する。なお、ヘモグロビン画像生成部２０４は、撮影部２０２が取得した顔画像から被写体の顔領域を検出し、検出した顔領域に対してのみ色素成分分離を行ってヘモグロビン画像を生成すればよい。この場合、ヘモグロビン画像生成部２０４は、例えば顔領域以外の領域（背景領域）における各画素の画素値を全て０にしてもよい。
The hemoglobin image generation unit (extraction unit) 204 performs pigment component separation processing on the facial image (facial image data) acquired by the
心拍データ生成部２０５は、ヘモグロビン画像生成部２０４が生成したヘモグロビン画像に基づいて、被写体の人の心拍を示す心拍データ（脈波データ）を生成する。具体的には、心拍データ生成部２０５は、順次生成されるヘモグロビン画像において、被写体の顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、それぞれのヘモグロビン画像における平均画素値の時間変化を心拍データとして生成する。なお、ヘモグロビン成分の成分量は血流量を表すので、ヘモグロビン成分の成分量に基づいて心拍を推定できる。図５Ａは心拍データの一例を示し、図５Ａに示す心拍データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸をヘモグロビン画像における平均画素値として示されている。心拍データ生成部２０５は、ヘモグロビン画像において被写体の顔領域に含まれる全画素の平均画素値の代わりに、顔領域の一部に含まれる画素の平均画素値を算出して心拍データを生成してもよい。例えば、制御部２１は、撮影部２０２が取得した顔画像に基づいて、被写体の人の目、鼻、口等の器官を検出し、例えば額、頬、口の回り等の所定領域を特定する。そして、心拍データ生成部２０５は、ヘモグロビン画像において、特定された額、頬、口の回り等の所定領域に含まれる画素の平均画素値を算出して心拍データを生成してもよい。このように、顔領域の全体における平均画素値の代わりに、所定領域における平均画素値を用いることにより、撮影条件の影響を抑制して精度の高い心拍データを生成できる。
The heartbeat
心拍データ生成部２０５は、図５Ａに示すような心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対してフィルタ処理を行い、図５Ｂに示すような心拍データを生成する。図５Ｂに示す心拍データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸をフィルタ処理後の平均画素値として示されている。心拍データ生成部２０５は、例えば傾き除去処理及びバンドパスフィルタ処理等のフィルタ処理を行うが、これらの処理に限定されない。心拍データ生成部２０５は、後段の心拍変動データ生成部２０６が精度の高い心拍変動データを生成できるような心拍データが得られる各種処理を行えばよい。
The heartbeat
心拍変動データ生成部２０６は、心拍データ生成部２０５が生成した心拍データに対して周波数変換処理を行い、被写体の人の心拍変動を示す心拍変動データを生成する。心拍変動データ生成部２０６は、時系列の心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対して、例えばフーリエパワースペクトル変換を行うことによって周波数領域の心拍変動スペクトログラムデータを生成する。なお、心拍変動スペクトログラムデータは、例えば心拍変動周波数の時間変化を示すデータであり、図５Ｃは心拍変動スペクトログラムデータの一例を示す。図５Ｃに示す心拍変動データは、横軸をコンテンツの再生開始からの経過時間とし、縦軸を変動周波数として示されている。フーリエパワースペクトル変換においては、０．７５Ｈｚ～３Ｈｚ（心拍数が４５ｂｐｍ～１８０ｂｐｍ）における最大のパワースペクトルを脈拍と判断する。心拍変動データ生成部２０６は、生成した心拍変動データ（心拍変動スぺクトログラムデータ）を、再生中のコンテンツのコンテンツＩＤ及び実行中の視聴処理の視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶する。
The heart rate variability
ヘモグロビン画像生成部２０４、心拍データ生成部２０５及び心拍変動データ生成部２０６は、撮影部２０２が被写体（視聴者）の顔画像データを取得する都度、取得した顔画像データに対して上述した各処理を行う。よって、コンテンツ再生部２０１が１つのコンテンツの再生処理を１回行った場合に、再生されたコンテンツに対応する心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。
Each time the
出力部２０７は、心拍変動ＤＢ２２ｂに蓄積された各コンテンツに対応する心拍変動データを通信部２３からサーバ１０へ送信する。具体的には、出力部２０７は、各コンテンツの１回の再生処理毎に、再生されたコンテンツのコンテンツＩＤ、実行された再生処理（視聴処理）の視聴ＩＤ、視聴者の年齢、性別及び心拍変動データを心拍変動ＤＢ２２ｂから読み出し、まとめてサーバ１０へ送信する。なお、出力部２０７は、例えばサーバ１０から心拍変動データの出力要求を受け付けた場合に、それまでに心拍変動ＤＢ２２ｂに蓄積した各コンテンツの心拍変動データをサーバ１０へ送信する。サーバ１０は、出力部２０７が送信したコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを受信し、それぞれを対応付けて心拍変動ＤＢ１２ｂに記憶する。これにより、端末装置２０で取得された視聴者の心拍変動データがサーバ１０に蓄積される。なお、出力部２０７は、コンテンツを特定するための情報（コンテンツ情報）と、視聴者の属性に関する情報と共に心拍変動データをサーバ１０へ送信すればよい。
The
本実施形態の端末装置２０では、撮影部２０２は、取得した顔画像データを逐次記憶部２２に記憶し、ヘモグロビン画像生成部２０４は、記憶部２２に記憶された顔画像データを読み出してヘモグロビン画像の生成処理を行う。ヘモグロビン画像が生成された顔画像データは以降の処理では必要ないので、制御部（消去部）２１は、ヘモグロビン画像生成部２０４がヘモグロビン画像を生成した後、顔画像データを記憶部２２から消去（削除）してもよい。なお、制御部２１は、例えば出力部２０７が心拍変動データをサーバ１０へ送信した後に、この心拍変動データを生成する際に用いた顔画像データを記憶部２２から消去する構成でもよい。このように視聴者個人を特定できる顔画像データを記憶部２２から消去することによって、端末装置２０に個人情報が残ることを防止できる。
In the
次に、サーバ１０の制御部１１が制御プログラム１２Ｐを実行することによって実現される機能について説明する。図６は、サーバ１０の制御部１１によって実現される機能を示すブロック図、図７は、画面例を示す模式図である。サーバ１０の制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを実行した場合、心拍変動データ取得部１０１、心拍変動データ記憶部１０２、感情分析部１０３、レポート生成部１０４、出力部１０５の各機能を実現する。なお、これらの各機能の一部を専用のハードウェア回路で実現してもよい。
Next, functions realized by the
心拍変動データ取得部（データ取得部）１０１は、端末装置２０（出力部２０７）が送信した心拍変動データを通信部１３にて取得する。具体的には、心拍変動データ取得部１０１は、端末装置２０から各コンテンツの１回の再生処理毎に、再生されたコンテンツのコンテンツＩＤ、実行された再生処理の視聴ＩＤ、視聴者の年齢、性別及び心拍変動データをまとめて取得する。心拍変動データ記憶部１０２は、心拍変動データ取得部１０１が取得したコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを対応付けて心拍変動ＤＢ１２ｂに記憶する。心拍変動データ記憶部１０２は、心拍変動データ取得部１０１がいずれかの端末装置２０から心拍変動データを取得する都度、取得した心拍変動データを心拍変動ＤＢ１２ｂに記憶する。これにより、複数の端末装置２０のそれぞれにおいてコンテンツの再生中に取得（収集）された視聴者の心拍変動データをサーバ１０に蓄積することができる。
The heart rate variability data acquisition unit (data acquisition unit) 101 acquires heart rate variability data transmitted by the terminal device 20 (output unit 207) through the
感情分析部１０３は、心拍変動ＤＢ１２ｂに記憶した心拍変動データに基づいて、各視聴者の感情を分析し、各視聴者の感情を示す感情データを生成する。感情分析部１０３は例えば、喜び、怒り、悲しみ、驚き、嫌悪、リラックスの各感情（感情パラメータ）について、それぞれの程度を示す数値（スコア、分析値）を、例えば１０点満点で取得（算出）する。なお、各感情の程度が高い程大きい値とする。感情分析部１０３は、心拍変動データにおいて、例えばコンテンツの再生開始から所定時間（例えば１／３０秒）毎における変動周波数に基づいて対応する各感情の数値を決定し、コンテンツの視聴中の各感情の時間変化を示す感情データを生成する。具体的には、例えば変動周波数における各周波数帯毎に各感情の程度を示す数値を予め設定しておき、感情分析部１０３は、心拍変動データにおいて、コンテンツの再生開始から所定時間毎の変動周波数の値に対応する周波数帯に設定された各感情の数値を、この時点での感情の程度を示す数値に決定する。例えばリラックスの感情について、０．０５Ｈｚ～０．１５Ｈｚの周波数帯に、リラックスの程度が低いことを示す数値（例えば０に近い値）が設定され、０．１５Ｈｚ～０．４Ｈｚの周波数帯に、リラックスの程度が高いことを示す数値（例えば１０に近い値）が設定されてもよい。なお、それぞれの周波数帯において、段階的に増減する数値が設定されてもよい。また、感情毎に各感情の程度を示す数値に対応する周波数帯を設定しておいても、感情分析部１０３は同様に、コンテンツの再生開始から所定時間毎の変動周波数に対応する各感情の程度を示す数値を特定できる。
The
感情分析部１０３は、感情の分析処理を行う場合、心拍変動ＤＢ１２ｂからコンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データを読み出し、読み出したコンテンツＩＤ、視聴ＩＤ、年齢及び性別を対応付けて感情ＤＢ１２ｃに記憶する。そして、感情分析部１０３は、心拍変動データに基づいてコンテンツの再生開始から所定時間毎の感情の分析を行い、分析の結果得られた各感情の感情データを、先に記憶したコンテンツＩＤ、視聴ＩＤ、年齢及び性別に対応付けて感情ＤＢ１２ｃに記憶する。これにより、コンテンツの再生中（視聴中）における視聴者の各感情の時間変化を示す感情データが生成されて感情ＤＢ１２ｃに記憶される。なお、感情分析部１０３は、逆変換処理によって心拍変動データから心拍データ（脈波データ）を生成し、心拍データに基づいて視聴者の感情を分析し、視聴者の感情を示す感情データを生成してもよい。例えば感情分析部１０３は、心拍データにおいて心拍数のピーク値やピーク間の時間等を検出し、これらの検出結果に基づいて各感情の程度を判定してもよい。この場合にも、心拍データにおける心拍数のピーク値やピーク間の時間等に各感情の程度を示す数値を予め設定しておくことにより、感情分析部１０３は、コンテンツの再生開始から所定時間毎における心拍数のピーク値やピーク間の時間等に対応する各感情の数値を特定できる。また、感情毎に各感情の程度を示す数値に対応付けて、一般的な心拍数のピーク値やピーク間の時間等を予め設定しておくことにより、感情分析部１０３は、コンテンツの再生開始から所定時間毎における心拍数のピーク値やピーク間の時間等に対応する各感情の程度を示す数値を特定できる。
When performing emotion analysis processing, the
レポート生成部１０４は、感情ＤＢ１２ｃに蓄積された感情データに基づいて、各コンテンツに対する視聴者の感情レポートを生成する。例えばレポート生成部１０４は、感情レポートを生成すべきコンテンツのコンテンツＩＤ及びコンテンツデータ（再生用データ）をコンテンツＤＢ１２ａから読み出し、このコンテンツに対する全ての感情データを感情ＤＢ１２ｃから読み出す。レポート生成部１０４は、ＤＢ１２ａ，１２ｃから読み出した各情報に基づいて、図７Ａ，Ｂに示すような感情レポートを表示するための表示データを生成する。図７Ａ，Ｂはそれぞれ、感情レポートに基づく表示画面の例を示す。図７Ａに示す画面は、分析対象のコンテンツのコンテンツＩＤ、コンテンツ名及び再生時間を表示する。コンテンツ名及び再生時間は、例えばコンテンツＤＢ１２ａに記憶されており、レポート生成部１０４がコンテンツＤＢ１２ａから読み出す。また図７Ａに示す画面は、コンテンツ領域Ｒ１、ボタン領域Ｒ２及びレポート領域Ｒ３を有し、コンテンツ領域Ｒ１には、コンテンツＤＢ１２ａから読み出したコンテンツデータが再生（表示）される。ボタン領域Ｒ２には、コンテンツ領域Ｒ１で再生されるコンテンツに対して再生指示、停止指示、早送り指示、早戻し指示等の操作を受け付けるボタンが表示される。またボタン領域Ｒ２には、コンテンツ領域Ｒ１に表示中の画像（場面）におけるコンテンツの再生開始からの経過時間を示すインジケータが表示されており、インジケータの下部には、表示中の場面における再生開始からの経過時間が表示されている。なお、インジケータは、コンテンツ領域Ｒ１で再生が開始（再開）される時点として、コンテンツの再生開始から再生終了までの間の任意の時点を受け付けることができ、インジケータが任意の時点を受け付けた場合、コンテンツ領域Ｒ１には、インジケータが受け付けた時点からコンテンツが再生される。
The
レポート領域Ｒ３には、コンテンツ領域Ｒ１で再生されるコンテンツに対する各感情のレポートが表示される。図７Ａに示す感情レポートを生成する場合、レポート生成部１０４は、感情ＤＢ１２ｃから読み出したコンテンツに対する全ての感情データに基づいて、コンテンツの再生開始から所定時間毎の各感情の数値の平均値を算出し、各感情について、コンテンツを視聴した視聴者の平均値（平均的な度合）の時間変化（分析値）を示す感情レポートを生成する。図７Ａに示す感情レポートは、それぞれの感情の程度を縦長の矩形による感情ゲージで示しており、感情ゲージの下端は最低値を示し、上端は最高値を示し、下端からの色領域（図７Ａではハッチング領域）の大きさによって感情の程度を示す。図７Ａに示す画面は例えば、コンテンツ領域Ｒ１で再生されるコンテンツの再生タイミング（再生開始からの経過時間）と、レポート領域Ｒ３に表示される各感情の出現タイミング（視聴者が各感情を抱いたタイミング）とを同期して表示する。即ち、各感情に対する分析値とコンテンツとが、コンテンツの再生開始からの経過時間に同期して表示される。よって、コンテンツの再生タイミングのそれぞれにおける各感情の程度を容易に把握できる。即ち、コンテンツの各場面における視聴者の感情及び感情の変化を容易に把握できる。なお、レポート生成部１０４は、感情ＤＢ１２ｃから読み出した全ての視聴者の感情データ（各感情の数値）の平均値に基づいて各感情の感情レポートを生成するほかに、各感情について視聴者の属性（年齢及び性別）毎の感情レポートを生成してもよい。この場合、レポート生成部１０４は、所定の属性の視聴者の感情データを感情ＤＢ１２ｃから読み出し、読み出した感情データ（各感情の数値）の平均値に基づいて各感情の感情レポートを生成する。
In the report area R3, a report of each emotion regarding the content played in the content area R1 is displayed. When generating the emotion report shown in FIG. 7A, the
図７Ｂに示す画面は、分析対象のコンテンツのコンテンツＩＤ、コンテンツ名及び再生時間と、コンテンツに対する各感情について属性（年齢及び性別）毎の感情レポートを表示する。図７Ｂに示す感情レポートを生成する場合、レポート生成部１０４は、感情ＤＢ１２ｃに蓄積してあるコンテンツに対する感情データを、属性毎に読み出す。属性は、例えば１０代の男女を示すＴ層、２０歳～３４歳の男性を示すＭ１層、３５歳～４９歳の男性を示すＭ２層、５０歳以上の男性を示すＭ３層、２０歳～３４歳の女性を示すＦ１層、３５歳～４９歳の女性を示すＦ２層、５０歳以上の女性を示すＦ３層に区分できるが、これらの区分に限定されない。レポート生成部１０４は、属性毎に各属性の視聴者の感情データを感情ＤＢ１２ｃから読み出す。レポート生成部１０４は、属性毎に読み出した感情データから、それぞれの属性について各感情の最大値を抽出する。レポート生成部１０４は、各感情について、属性毎に抽出した最大値を、それぞれの属性に対応付けて表示するグラフ（感情レポート）を生成する。図７Ｂに示す感情レポートでは、例えば実線は喜びの感情について属性毎の最大値を示しており、破線は悲しみの感情について属性毎の最大値を示している。
The screen shown in FIG. 7B displays the content ID, content name, and playback time of the content to be analyzed, and an emotion report for each attribute (age and gender) for each emotion regarding the content. When generating the emotion report shown in FIG. 7B, the
なお、レポート生成部１０４は、各感情について属性毎の最大値を示す感情レポートを生成するほかに、各感情について属性毎の平均値を示す感情レポートを生成してもよい。この場合、レポート生成部１０４は、属性毎に読み出した感情データに基づいて、例えばそれぞれの視聴者における各感情の数値の平均値を算出し、更に全ての視聴者における各感情の数値の平均値を算出する。これにより、それぞれの属性について、コンテンツに対する各感情における全視聴者の平均値（平均的な度合）が得られる。レポート生成部１０４は、各感情について属性毎に算出した平均値をそれぞれの属性に対応付けて表示するグラフ（感情レポート）を生成する。この場合にも、図７Ｂに示すようなグラフで属性毎の各感情の平均値を表示できる。また、図７Ｂに示す画面において、コンテンツ全体における感情の最大値や平均値を示す感情レポートの代わりに、コンテンツの再生開始からの経過時間帯毎における感情の最大値や平均値を示す感情レポートを表示してもよい。更に、図７Ｂに示す画面に、図７Ａと同様に、コンテンツが再生されるコンテンツ領域や、再生されるコンテンツに対して再生指示、停止指示、早送り指示、早戻し指示等の操作を受け付けるボタンが表示されるボタン領域等を設けてもよい。
Note that, in addition to generating an emotion report indicating the maximum value for each attribute for each emotion, the
レポート生成部１０４は、図７Ａに示す感情レポートと図７Ｂに示す感情レポートとを各別に生成してもよいし、図７Ａに示す感情レポートと図７Ｂに示す感情レポートとを１つの画面で表示するための表示データを生成してもよい。上述した感情レポートのほかに、レポート生成部１０４は例えば、各感情について最大値となった時点の再生開始からの経過時間を示す感情レポート、各感情について所定値以上の値となった時点の再生開始からの経過時間を示す感情レポート等を生成してもよい。またレポート生成部１０４は例えば、各感情について所定値以上の値となった時間の合計や、所定値未満の値となった時間の合計等を示す感情レポートを生成してもよい。これらの感情レポートも属性毎に生成されてもよい。
The
出力部１０５は、レポート生成部１０４が生成した感情レポート（表示データ）を通信部１３から所定の装置へ送信する。なお、例えばサーバ１０が外部装置からあるコンテンツに対する感情レポートの生成要求を受信した場合に、レポート生成部１０４は、要求されたコンテンツに対する感情レポートを生成し、出力部１０５は、要求してきた外部装置に感情レポートを出力する。また、レポート生成部１０４は、所定のタイミングで各コンテンツに対する感情レポートを生成して記憶部１２に記憶しておき、サーバ１０が外部装置からあるコンテンツに対する感情レポートを要求された場合に、出力部１０５は、要求された感情レポートを記憶部１２から読み出し、要求してきた外部装置に出力してもよい。出力部１０５が出力した感情レポートを受信した外部装置は、受信した感情レポートに基づいて図７Ａ，Ｂに示すような画面を表示部に表示する。これにより、各コンテンツに対する視聴者の感情の変化を通知できる。
The
以下に、上述した構成の感情分析システムにおいて各装置が行う処理について説明する。図８は、端末装置２０による心拍変動データの取得処理の手順を示すフローチャートである。以下の処理は、端末装置２０の記憶部２２に記憶してある制御プログラム２２Ｐに従って制御部２１によって実行される。
The processing performed by each device in the emotion analysis system configured as described above will be described below. FIG. 8 is a flowchart illustrating a procedure for acquiring heart rate variability data by the
端末装置２０の制御部２１は、コンテンツＤＢ２２ａに記憶されているコンテンツの再生用データに基づいてコンテンツの再生処理を開始する（Ｓ１１）。なお、コンテンツの再生を開始するタイミングは、例えば入力部２５を介して再生指示が入力された場合や、通信部２３を介して外部装置から再生指示を取得した場合等である。制御部２１は、再生を開始したコンテンツのコンテンツＩＤと、この再生処理（視聴処理）に対して発行した視聴ＩＤとを対応付けて心拍変動ＤＢ２２ｂに記憶しておく。
The
制御部２１は、カメラ２６による撮影を開始し、再生中のコンテンツを視聴する視聴者の顔画像を取得する（Ｓ１２）。ここでは、制御部２１は１枚の静止画である顔画像を取得する。制御部２１は、取得した顔画像（顔画像データ）に基づいて、顔画像中の被写体である視聴者の属性（年齢及び性別）を判定する（Ｓ１３）。制御部２１は例えばテンプレートマッチング技術によって被写体の属性を判定し、判定した属性を、再生中のコンテンツのコンテンツＩＤ及び実行中の再生処理の視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶しておく。
The
制御部２１は、ステップＳ１２で取得した顔画像に対してヘモグロビンに対応する色素成分を抽出する分離処理を行ってヘモグロビン画像を生成し（Ｓ１４）、ヘモグロビン画像に基づいて、被写体（視聴者）の心拍を示す心拍データを生成する（Ｓ１５）。ここでは、制御部２１は、ヘモグロビン画像において被写体の顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、心拍データとして、この顔画像を撮影した時点における再生開始からの経過時間（再生タイミング）に対応付けて記憶部２２に記憶する。なお、制御部２１は、コンテンツの再生開始後、顔画像を取得した場合、取得時点におけるコンテンツの再生開始からの経過時間を特定しておく。
The
制御部２１は、コンテンツを最後まで再生することによってコンテンツの再生処理を終了したか否かを判断しており（Ｓ１６）、終了していないと判断した場合（Ｓ１６：ＮＯ）、ステップＳ１２で顔画像を取得してから所定時間が経過したか否かを判断する（Ｓ１７）。制御部２１は例えば１秒間に３０枚の顔画像を取得する場合、１／３０秒が経過したか否かを判断する。所定時間が経過していないと判断した場合（Ｓ１７：ＮＯ）、制御部２１は、ステップＳ１６～Ｓ１７の処理を繰り返し、所定時間が経過したと判断した場合（Ｓ１７：ＹＥＳ）、ステップＳ１２の処理に戻る。そして、制御部２１は、視聴者の顔画像を取得し（Ｓ１２）、取得した顔画像に基づいてステップＳ１３～Ｓ１５の処理を繰り返す。これにより、コンテンツの再生中に所定時間毎に取得した視聴者の顔画像に基づいて、所定時間毎の視聴者の心拍を示す心拍データが生成されて記憶部２２に記憶される。
The
コンテンツの再生処理を終了したと判断した場合（Ｓ１６：ＹＥＳ）、制御部２１は、上述した処理によって生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対してフィルタ処理を行う（Ｓ１８）。そして制御部２１は、フィルタ処理後の心拍データに対して周波数変換処理を行い（Ｓ１９）、心拍変動データ（周波数領域の心拍変動スペクトログラム）を生成し、生成した心拍変動データをコンテンツＩＤ及び視聴ＩＤに対応付けて心拍変動ＤＢ２２ｂに記憶する（Ｓ２０）。これにより、コンテンツの視聴中における視聴者の心拍変動を示す心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。なお、制御部２１は、異なるコンテンツの再生処理を連続して行う場合、１つのコンテンツの再生処理を終了した後、このコンテンツに対してステップＳ１８～Ｓ２０の処理を行いつつ、次のコンテンツに対してステップＳ１１以降の処理を実行する。
If it is determined that the content playback process has ended (S16: YES), the
図９は、サーバ１０による感情分析処理の手順を示すフローチャートである。以下の処理は、サーバ１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。サーバ１０の制御部１１は、端末装置２０が送信した心拍変動データを通信部１３にて取得し（Ｓ３１）、取得した心拍変動データを心拍変動ＤＢ１２ｂに記憶する（Ｓ３２）。なお、制御部１１は、端末装置２０から、各コンテンツの１回の再生処理毎に、コンテンツＩＤ、視聴ＩＤ、年齢、性別及び心拍変動データをまとめて取得する。端末装置２０からサーバ１０へ心拍変動データを送信するタイミングは、例えば１日に１回の所定時刻、１週間に１回の所定時刻、コンテンツに設定された再生可能期間の満了後等とすることができる。また、端末装置２０は、送信タイミングが到来した場合に、心拍変動データをサーバ１０へ送信してもよいし、サーバ１０からの送信要求に応じて送信してもよい。
FIG. 9 is a flowchart showing the procedure of emotion analysis processing by the
制御部１１は、心拍変動ＤＢ１２ｂに記憶した各コンテンツに対する心拍変動データに基づいて、各コンテンツに対するそれぞれの視聴者の感情を分析する（Ｓ３３）。例えば制御部１１は、心拍変動データ（心拍変動スぺクトログラム）における各変動周波数の値に応じて、喜び、怒り、悲しみ、驚き、嫌悪、リラックス等のそれぞれの感情パラメータに対して、それぞれの程度を示す数値（分析値）を決定する。制御部１１は、各感情について、コンテンツの再生開始からの逐次タイミング（例えば１／３０秒毎）での数値を決定することにより、コンテンツの再生開始から再生終了までの間における視聴者の各感情の時間変化を示す感情データを生成する。制御部１１は、心拍変動ＤＢ１２ｂから読み出したコンテンツＩＤ、視聴ＩＤ、年齢及び性別に対応付けて、生成した各感情の感情データを感情ＤＢ１２ｃに記憶する（Ｓ３４）。
The
制御部１１は、各コンテンツに対して感情ＤＢ１２ｃに記憶した感情データに基づいて、各コンテンツに対する複数の視聴者の感情を総合的に評価した感情レポートを生成する（Ｓ３５）。制御部１１は、感情レポートを生成すべきコンテンツに対する全ての感情データを感情ＤＢ１２ｃから読み出し、読み出した感情データに基づいて、図７Ａや図７Ｂに示すような感情レポートを生成する。なお、制御部１１が生成する感情レポートは、例えばコンテンツの再生開始から再生終了までの間において各感情について、複数の視聴者の平均値の時間変化、所定の時間帯毎又は属性毎の平均値の時間変化、複数の視聴者における最大値や平均値、所定の時間帯毎又は属性毎の最大値や平均値等、コンテンツに対する視聴者の感情を評価できるレポートを通知する。制御部１１は、生成した感情レポートを、例えばコンテンツＩＤに対応付けて記憶部１２に記憶しておき、例えば外部装置から所定のコンテンツに対する感情レポートの要求を受け付けた場合に、要求された感情レポートを要求元の外部装置へ提供する。
The
本実施形態では、コンテンツを視聴する視聴者の顔画像から、視聴者の視聴中の感情の変化（時間変化）を取得することができる。よって、視聴者の感情の時間変化に基づいて、コンテンツの再生開始からの各時点における視聴者の感情を把握できる。また本実施形態では、端末装置２０がサーバ１０へ心拍変動データを送信することにより、端末装置２０及びサーバ１０間で、視聴者個人を特定できない情報（心拍変動データ）のみが送受信される。即ち、例えば顔画像のように視聴者個人を特定できるデータを送受信しないことにより、個人情報の漏洩を防止できる。なお、周波数変換を行う前の心拍データを送受信してもよく、この場合、心拍データを受信したサーバ１０が、心拍データから心拍変動データを生成する処理を行う。また、端末装置２０において、視聴者個人を特定できる顔画像等のデータを、不要となった後に記憶部２２から消去しておくことにより、端末装置２０に個人情報が残ることを防止できる。なお、顔画像データだけでなくヘモグロビン画像データについても、生成された後に一旦記憶部２２に記憶される場合、不要となった後に記憶部２２から消去しておいてもよい。また、端末装置２０は、収集（蓄積）した心拍変動データを直接サーバ１０へ送信するように構成してもよく、この場合、端末装置２０及びサーバ１０間の通信は有線通信であっても無線通信であってもよい。
In this embodiment, it is possible to obtain changes (time changes) in the emotions of the viewer while viewing the content from the facial images of the viewer while viewing the content. Therefore, it is possible to understand the viewer's emotions at each point in time from the start of content reproduction based on the temporal changes in the viewer's emotions. Further, in the present embodiment, the
（実施形態２）
ショッピングモール等に設けられたフードコート内の飲食店で料理を注文したユーザに端末装置が貸し出され、注文した料理が出来上がったことを端末装置によって通知する通知システムに適用した感情分析システムについて説明する。図１０は、実施形態２の感情分析システムの構成例を示すブロック図である。本実施形態の感情分析システムは、サーバ１０及び端末装置２０のほかに通知装置３０を含み、通知装置３０は複数の端末装置２０のそれぞれと無線通信を行うように構成されている。本実施形態では、通知装置３０とそれぞれの端末装置２０とは直接通信を行う構成とするが、ネットワークＮ経由で通信を行う構成でもよい。本実施形態では、例えば各店舗に１つの通知装置３０及び複数の端末装置２０が用意され、各店舗に設けられた通知装置３０は、各店舗用に用意された複数の端末装置２０との間で通信を行う。本実施形態のサーバ１０は実施形態１と同じ構成を有し、同様の処理を行う。
(Embodiment 2)
We will explain an emotion analysis system applied to a notification system in which a terminal device is lent to a user who orders food at a restaurant in a food court set up in a shopping mall, etc., and the terminal device notifies the user that the ordered food is ready. . FIG. 10 is a block diagram illustrating a configuration example of a sentiment analysis system according to the second embodiment. The emotion analysis system of this embodiment includes a
端末装置２０は、実施形態１と同じ構成のほかに、無線通信部２７及び通知部２８を有する。無線通信部２７は、例えば特定小電力無線によって外部装置と通信するためのインタフェースであり、本実施形態では通知装置３０との通信を行う。なお、無線通信部２７は、Bluetooth（登録商標）やWi-Fi等の無線通信を行う構成でもよい。通知部２８は、例えばバイブレータ、ランプ、ブザー等を含み、制御部２１からの指示に従って、バイブレータによる振動、ランプの点灯又は点滅、ブザーの鳴動等を行うことにより、端末装置２０を貸し出されたユーザに所定の状況（注文した料理が出来上がったこと）を通知する。なお、通知部２８は、スピーカによって所定のメッセージを音声出力することにより通知する構成でもよい。また、通知部２８の代わりに表示部２４に所定のメッセージを表示することにより通知する構成でもよい。
The
通知装置３０は、制御部３１、記憶部３２、入力部３３、表示部３４、無線通信部３５等を含み、これらの各部はバスを介して相互に接続されている。通知装置３０の各部は端末装置２０の各部と同様の構成を有しており、同様の構成については詳細な説明を省略する。通知装置３０の無線通信部３５は端末装置２０の無線通信部２７との間で通信を行う。また、通知装置３０の記憶部３２には端末ＤＢ３２ａが記憶されている。端末ＤＢ３２ａには、通知装置３０が通信を行う複数の端末装置２０のそれぞれを識別するための識別情報（例えば端末ＩＤ）と、それぞれの端末装置２０との間で無線通信を行うための宛先情報とが対応付けて記憶してある。なお、通知装置３０は、上述した構成のほかに、ネットワークＮに接続するためのインタフェース等が設けられていてもよい。
The
図１１は、実施形態２の端末装置２０による心拍変動データの取得処理の手順を示すフローチャートである。図１１に示す処理は、図８に示す処理においてステップＳ１６の代わりにステップＳ５１を追加し、ステップＳ１８の前にステップＳ５２，Ｓ５３を追加し、通知装置３０が行う処理としてステップＳ４１，Ｓ４２を追加したものである。図８と同様のステップについては説明を省略する。
FIG. 11 is a flowchart showing a procedure for acquiring heart rate variability data by the
本実施形態において、例えば飲食店の従業員は、料理が注文されて料金の支払いが完了したユーザに対して１つの端末装置２０を貸し出す。そして従業員は、料理が出来上がった場合、この料理を注文したユーザに貸し出した端末装置２０に通知処理を行わせるために、この端末装置２０の端末ＩＤを通知装置３０の入力部３３にて入力する。通知装置３０の制御部３１は、入力部３３を介して端末ＩＤを受け付けたか否かを判断しており（Ｓ４１）、受け付けていないと判断する場合（Ｓ４１：ＮＯ）、受け付けるまで待機する。制御部３１は、端末ＩＤを受け付けたと判断した場合（Ｓ４１：ＹＥＳ）、受け付けた端末ＩＤに対応する宛先情報を端末ＤＢ３２ａから読み出し、読み出した宛先情報に基づいて無線通信部３５によって通知信号を送信する（Ｓ４２）。通知装置３０の制御部３１は、端末ＩＤを受け付ける都度、受け付けた端末ＩＤの端末装置２０に通知信号を送信する。
In this embodiment, for example, an employee of a restaurant lends one
端末装置２０の制御部２１は、実施形態１と同様にステップＳ１１～Ｓ１５の処理を行いつつ、通知装置３０から通知信号を受信したか否かを判断しており（Ｓ５１）、受信していないと判断した場合（Ｓ５１：ＮＯ）、ステップＳ１７の処理に移行する。このような処理により、制御部２１は、コンテンツを視聴中の視聴者の顔画像に基づいて視聴者の心拍データを生成して記憶部２２に記憶する。通知装置３０から通知信号を受信したと判断した場合（Ｓ５１：ＹＥＳ）、制御部２１は通知部２８による通知処理を行う（Ｓ５２）。通知部２８は例えばバイブレータによる振動、ランプの点灯又は点滅、ブザーの鳴動等を開始し、注文した料理が出来上がったことをユーザに通知する。そして制御部２１は、コンテンツの再生処理を終了し（Ｓ５３）、上述した処理によって生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に対して、ステップＳ１８～Ｓ２０の処理を行う。
The
上述した処理により、注文した料理が出来上がるまでの待ち時間において、ユーザはコンテンツを視聴して楽しむことができると共に、ユーザのコンテンツ視聴中の心拍変動を示す心拍変動データを収集できる。上述した処理において、制御部２１は、料理が出来上がったことを通知する通知処理を行った場合、例えば入力部２５を介して通知処理の終了指示を受け付けた後に、コンテンツの再生処理を終了してもよい。例えばバイブレータによる振動の停止指示、ランプの消灯指示、ブザーの消音指示等の操作が入力部２５を介して行われた場合に、コンテンツの再生処理を終了してもよい。また、通知処理の終了指示とは別にコンテンツ再生の終了指示が入力部２５を介して行われた場合に、コンテンツの再生処理を終了するようにしてもよい。この場合、コンテンツを視聴中のユーザは、見たい場面までコンテンツを視聴でき、コンテンツの視聴時間が長くなることが期待できる。
Through the above-described processing, the user can watch and enjoy the content while waiting for the ordered food to be prepared, and heart rate variability data indicating heart rate variability while the user is viewing the content can be collected. In the above-described process, when the
本実施形態において、サーバ１０は図９に示す処理と同様の処理を行い、複数の端末装置２０から収集した多数の視聴者の心拍変動データに基づいて、各コンテンツに対する感情レポートを生成できる。本実施形態では、実施形態１と同様の効果が得られる。即ち、コンテンツを視聴する視聴者の顔画像から、視聴者の視聴中の感情の変化（時間変化）を取得でき、複数の視聴者の感情の時間変化に基づいて、コンテンツに対する視聴者の感情レポートを提供できる。また本実施形態では、例えばフードコートの飲食店等で料理を注文したユーザが、料理が出来上がるまでの待ち時間にコンテンツを視聴することにより、待ち時間を楽しむことができる。なお、本実施形態の端末装置２０で再生されるコンテンツは、例えばフードコートが設けられたショッピングモール内の店舗の広告、イベント、キャンペーン、クーポン等の情報を通知するためのコンテンツ、ショッピングモールや店舗に対するアンケートの回答やクレーム等を受け付けるためのコンテンツ等を用いることができる。なお、端末装置２０は入力部２５を介してアンケートの回答やクレームの入力等を受け付けることができる。
In this embodiment, the
上述した感情分析システムは、例えば、美術館や博物館等で入館者に端末装置が貸し出され、展示作品に対する解説コンテンツを端末装置で再生することによって展示作品の解説等を行うシステムにも適用できる。このようなシステムに適用した場合、端末装置２０によって展示作品の解説を行えるだけでなく、解説コンテンツを視聴する入館者の感情を分析することにより、展示作品や展示作品に関する解説に対して入館者の関心の有無等を把握できる。
The above-mentioned sentiment analysis system can also be applied to, for example, a system in which a terminal device is lent to a visitor at an art museum or a museum, and the terminal device plays back explanatory content for the exhibited work to provide an explanation of the exhibited work. When applied to such a system, not only can the
実施形態１，２の感情分析システムにおいて、端末装置２０で再生されるコンテンツはどのようなコンテンツでもよく、どのようなコンテンツ対しても視聴中の視聴者の感情レポートを生成できる。例えば動画コンテンツに限らず、入力部２５を操作することによってページ送りができる電子書籍であってもよい。この場合、ユーザが読書中のページ番号に対応付けてユーザの感情を分析することにより、各ページに対するユーザの感情レポートを生成できる。また、複数の選択肢のいずれかを選択するクイズ、ゲーム、アンケート等のコンテンツを用いてもよい。この場合、端末装置２０は入力部２５を介して選択肢に対する選択を受け付けることができ、それぞれの選択肢を受け付けた際のユーザの感情を分析できる。またアンケートが複数の質問を有する場合に、各質問に回答する回答者（ユーザ）の顔画像データに基づいて、各質問に対する回答者の感情を分析でき、各質問に対する感情データを生成できる。また、複数の回答者の感情データを用いることにより、各質問に対する回答者全体の感情レポートを生成できる。
In the emotion analysis system of the first and second embodiments, any content may be played on the
また、例えば従業員の満足度アンケート、ストレスチェック、３６０度評価調査等の従業員アンケートをコンテンツとして用いることができる。例えばアンケートがストレスチェックに関する質問を含む場合、端末装置２０の制御部２１は、各質問を表示部２４に表示し、各質問に対する回答者の回答を入力部２５にて受け付けると共に、回答者の顔画像に基づいて回答時の感情を分析して感情データを生成する。この場合、端末装置２０は、質問に対して回答者が意図して回答した内容と、回答者が意図せずに顔画像から分析された質問回答時の感情とを取得できる。よって、端末装置２０は、回答者の意識下での回答内容と、回答者が意図しない感情から読み取れる回答者の真意とを取得することができ、これらの情報に基づいて、回答者が回答した内容に対する真偽を客観的に判定することができ、回答者に対するストレスチェックを正確に行うことができる。また、端末装置２０は、回答者の意識下での回答内容と、回答者が意図しない真意とを対応付けて所定装置へ出力することができる。ここでの所定装置は例えばストレスチェックの回答情報を収集する装置等である。このように各質問について、回答者による回答内容だけでなく、回答者が回答時に意図しない真意（感情）を収集できるので、回答者の真意に基づいて、今後の働き方の改善方法を検討でき、働き方改革を進めることが可能となる。
Furthermore, for example, employee questionnaires such as employee satisfaction questionnaires, stress checks, and 360-degree evaluation surveys can be used as content. For example, when the questionnaire includes questions regarding stress check, the
実施形態１，２の感情分析システムにおいて、端末装置２０が行う処理を、店舗等に設置されたデジタルサイネージが行うように構成してもよい。例えばデジタルサイネージに、店舗又は商品等に関する広告コンテンツを表示し、広告コンテンツを視聴しているユーザの顔画像からユーザの感情の変化（感情レポート）を取得するように構成することができる。このような構成により、表示中の商品等に対するユーザの関心度を測定できる。よって、ユーザの関心度に応じて、表示する広告コンテンツを切り替えることにより、ユーザが興味のある商品等の広告を表示することができ、商品の宣伝を効率良く行うことができる。また、デジタルサイネージ及び端末装置２０に、例えば商品名又は商品のパッケージ画像等を表示し、視聴するユーザの感情を取得することにより、表示中の商品に対するユーザの認知度を測定することもできる。この場合には、複数のユーザの認知度を集計することにより、商品の認知度又は広告による宣伝効果を測定できる。
In the emotion analysis systems of the first and second embodiments, the processing performed by the
実施形態１，２の感情分析システムにおいて、端末装置２０で再生されるコンテンツは、映画、ドラマ、アニメ等の動画コンテンツのほかに、ゲームコンテンツであってもよい。この場合、ゲーム中のステージ、レベル、コース、シーン等の各単位に対応付けてユーザの感情を分析することにより、各単位に対するユーザの感情レポートを生成できる。また、ゲームの開始時点、チュートリアルの再生時点、ゲーム内の各イベントの発生時点、課金時点、終了時点等の各タイミングに対応付けてユーザの感情を分析することにより、各タイミングでのユーザの感情レポートを生成できる。このようにゲーム中のユーザの感情の変化を分析することにより、ユーザがゲームを楽しんでいるタイミング及びゲーム中の箇所、並びに、ユーザがゲームを楽しんでいない又はゲームを終了するタイミング及びゲーム中の箇所を判定できる。よって、ユーザがゲームを終了する理由を分析することができ、分析結果を用いることにより、ユーザが飽きないゲームを製作することが可能となる。
In the emotion analysis systems of the first and second embodiments, the content played on the
（実施形態３）
美術館や博物館等で入館者に端末装置が貸し出され、展示作品に対する解説コンテンツを端末装置で再生することによって展示作品の解説等を行うシステムに適用した感情分析システムについて説明する。本実施形態の感情分析システムは、実施形態１の各装置と同様の装置によって実現できるので、構成については説明を省略する。
(Embodiment 3)
We will explain an emotion analysis system applied to a system in which terminal devices are lent to visitors at art museums, museums, etc., and commentary on the exhibited works is performed by playing explanatory content for the exhibited works on the terminal device. The emotion analysis system of this embodiment can be realized by the same devices as those of the first embodiment, so the description of the configuration will be omitted.
図１２及び図１３は、実施形態３の端末装置２０による心拍変動データの取得処理の手順を示すフローチャート、図１４は画面例を示す模式図である。図１２及び図１３に示す処理は、図８に示す処理においてステップＳ１１の前にステップＳ６１～Ｓ６２を追加し、ステップＳ１６の代わりにステップＳ６３～Ｓ６５を追加し、ステップＳ２０の後にステップＳ６６を追加したものである。図８と同様のステップについては説明を省略する。
12 and 13 are flowcharts illustrating the procedure for acquiring heart rate variability data by the
本実施形態では、例えば美術館の入館者が入館する際に、端末装置２０を借り受ける。端末装置２０は、美術館内に展示されている展示品のそれぞれに対する解説コンテンツをコンテンツＤＢ２２ａに記憶しており、表示部２４に図１４Ａに示すようなコンテンツ一覧を表示している。なお、本実施形態におけるコンテンツＩＤは、解説コンテンツに割り当てられた識別情報であり、即ち、各展示品に割り当てられた識別情報である。コンテンツ一覧は、美術館内の各展示品のサムネイル画像を表示しており、それぞれのサムネイル画像に対応付けて、各展示品に関する解説コンテンツの再生指示を受け付けるための「解説を再生」ボタンが設けられている。よって、入館者は、解説を聴きたい展示品がある場合、展示品のサムネイル画像に対応する「解説を再生」ボタンを操作することにより、解説コンテンツの再生を指示する。
In this embodiment, for example, a visitor to an art museum borrows the
よって、本実施形態において、端末装置２０の制御部２１は、美術館内の展示品のサムネイル画像を含むコンテンツ一覧を表示しており（Ｓ６１）、コンテンツ一覧を介して、いずれかの解説コンテンツの再生指示を受け付けたか否かを判断する（Ｓ６２）。再生指示を受け付けていないと判断した場合（Ｓ６２：ＮＯ）、制御部２１は、受け付けるまで待機する。いずれかの解説コンテンツの再生指示を受け付けたと判断した場合（Ｓ６２：ＹＥＳ）、制御部２１は、再生指示を受け付けた解説コンテンツの再生処理を開始する（Ｓ１１）。具体的には、制御部２１は、再生指示された解説コンテンツの再生用データをコンテンツＤＢ２２ａから読み出し、読み出した再生用データに基づく再生処理を行う。図１４Ｂは解説コンテンツの再生画面例を示しており、再生画面は、展示品に関する解説を表示する。なお、解説コンテンツは動画データであっても静止画データであってもよく、音声データが含まれていてもよい。また、図１４Ｂに示す再生画面には、展示品に関する感想を入力するための入力欄と、展示品が気に入ったことを通知するためのいいねボタンと、表示中の解説コンテンツの表示終了を指示するための終了ボタンとが設けられている。なお、解説コンテンツに音声データが含まれる場合、制御部２１は、スピーカ（図示せず）を介して音声データの再生処理も行う。制御部２１は、解説コンテンツの再生処理を開始した場合、再生を開始した解説コンテンツのコンテンツＩＤと、この再生処理に対して発行した視聴ＩＤとを対応付けて心拍変動ＤＢ２２ｂに記憶しておく。
Therefore, in the present embodiment, the
その後、制御部２１は、図８中のステップＳ１２～Ｓ１５と同様の処理を行い、再生中の解説コンテンツを視聴するユーザ（視聴者）の顔画像に基づいて、ユーザの属性（年齢及び性別）を判定し、ユーザの心拍を示す心拍データを生成する。なお、ユーザは、再生画面によって展示品の解説を視聴し、必要に応じて入力部２５を介して入力欄に感想を入力し、展示品が気に入った場合には入力部２５を介していいねボタンを操作する。制御部２１は、図１４Ｂに示すような再生画面において、ユーザによるいいねボタンの操作又は入力欄への感想の入力を受け付けたか否かを判断する（Ｓ６３）。いいねボタンの操作又は感想の入力のいずれかを受け付けたと判断した場合（Ｓ６３：ＹＥＳ）、制御部２１は、再生中の解説コンテンツのコンテンツＩＤに対応付けて、いいねボタンが操作されたことを示す情報、又は受け付けた感想を記憶部２２に記憶する（Ｓ６４）。なお、制御部２１は、コンテンツＩＤに対応付けて、いいねボタンが操作されたことを示す情報、又は受け付けた感想を心拍変動ＤＢ２２ｂに記憶するように構成されていてもよい。
After that, the
制御部２１は、いいねボタンの操作及び感想の入力のいずれも受け付けていないと判断した場合（Ｓ６３：ＮＯ）、ステップＳ６４の処理をスキップし、ステップＳ６５の処理に移行する。制御部２１は、図１４Ｂに示すような再生画面において、ユーザが終了ボタンを操作することにより、再生中の解説コンテンツの再生終了の指示を受け付けたか否かを判断する（Ｓ６５）。制御部２１は、再生終了の指示を受け付けていないと判断した場合（Ｓ６５：ＮＯ）、ステップＳ１７の処理に移行し、再生終了の指示を受け付けたと判断した場合（Ｓ６５：ＹＥＳ）、ステップＳ１８の処理に移行する。これにより、各展示品の解説コンテンツの再生中に所定時間毎に取得したユーザの顔画像に基づいて、所定時間毎のユーザの心拍を示す心拍データが生成されて記憶部２２に記憶される。また制御部２１は、図８中のステップＳ１８～Ｓ２０の処理を行うことにより、生成した心拍データ（ヘモグロビン画像における平均画素値の時間変化）に基づいて、解説コンテンツの視聴中におけるユーザの心拍変動を示す心拍変動データが生成されて心拍変動ＤＢ２２ｂに記憶される。
When the
ステップＳ２０の処理後、制御部２１は、入力部２５を介した操作に応じて、解説コンテンツの再生処理の終了指示を受け付けたか否かを判断する（Ｓ６６）。例えば図１４Ａに示すコンテンツ一覧又は図１４Ｂに示す再生画面中に、端末装置２０の動作終了（解説処理の終了）を指示するための終了ボタンを設けておき、終了ボタンが操作された場合に、再生処理の終了指示を受け付けるように構成されていてもよい。なお、このような終了ボタンは、ユーザが端末装置２０の利用を終了する際に操作してもよく、端末装置２０が美術館に返却された後に美術館のスタッフ等によって操作されてもよい。制御部２１は、再生処理の終了指示を受け付けていないと判断した場合（Ｓ６６：ＮＯ）、ステップＳ６１の処理に戻り、図１４Ａに示すようなコンテンツ一覧の表示に戻り、終了指示を受け付けたと判断した場合（Ｓ６６：ＹＥＳ）、処理を終了する。上述した処理により、ユーザは美術館等の展示品に関する解説を受けることができると共に、ユーザのコンテンツ視聴中の心拍変動を示す心拍変動データを収集できる。
After the processing in step S20, the
図１５は、実施形態３のサーバ１０による感情分析処理の手順を示すフローチャートである。図１５に示す処理は、図９に示す処理においてステップＳ３５の代わりにステップＳ７１～Ｓ７３を追加したものである。図９と同様のステップについては説明を省略する。本実施形態において、サーバ１０の制御部１１は、図９中のステップＳ３１～Ｓ３４と同様の処理を行う。これにより、サーバ１０は、端末装置２０が送信した心拍変動データを受信し、受信した心拍変動データに基づいて、各解説コンテンツ（解説コンテンツに対応する展示品）に対するユーザの感情を分析し、ユーザの各感情の時間変化を示す感情データを生成する。なお、本実施形態では、端末装置２０が心拍変動データをサーバ１０へ送信するタイミングは、ユーザが端末装置２０の利用を終了したタイミングとしてもよい。また、本実施形態では、端末装置２０は、端末装置２０に割り当てられた識別子（例えば端末ＩＤ）又はユーザに割り当てられた識別子（例えばユーザＩＤ）に対応付けて心拍変動データをサーバ１０へ送信する。よって、サーバ１０は、端末ＩＤ又はユーザＩＤに対応付けて心拍変動データを例えば心拍変動ＤＢ１２ｂに記憶し、ステップＳ３４で生成した各感情の感情データを、端末ＩＤ又はユーザＩＤに対応付けて感情ＤＢ１２ｃに記憶する。
FIG. 15 is a flowchart showing the procedure of emotion analysis processing by the
ステップＳ３４の処理後、制御部１１（箇所抽出部）は、端末ＩＤ又はユーザＩＤに対応付けて感情ＤＢ１２ｃに記憶した各解説コンテンツに対する感情データに基づいて、ユーザが所定の感情を抱いた箇所を抽出する（Ｓ７１）。例えば制御部１１は、各解説コンテンツに対する感情データに基づいて、例えば喜びの感情パラメータのスコアが所定値以上であった解説コンテンツを特定し、特定した解説コンテンツに対応するコンテンツＩＤを抽出する。そして制御部１１（アルバム生成部）は、抽出したコンテンツＩＤに対応する解説コンテンツ又は展示品のサムネイル画像等を用いてアルバムデータを生成する（Ｓ７２）。これにより、ユーザが所定の感情を抱いたコンテンツ又は展示品をまとめて閲覧できるアルバムを生成できる。制御部１１は、生成したアルバムデータを端末ＩＤ又はユーザＩＤに対応付けて記憶部１２に記憶し（Ｓ７３）、処理を終了する。
After the process in step S34, the control unit 11 (location extraction unit) identifies locations where the user feels a predetermined emotion based on the emotion data for each commentary content stored in the
上述した処理により、解説コンテンツ及び展示品を見たユーザの感情に応じたアルバムデータを生成できるので、ユーザが無意識に所定の感情を抱いた解説コンテンツ又は展示品をまとめて閲覧できるアルバムを提供できる。なお、アルバムデータを生成する感情は、例えば喜び、怒り、悲しみ、驚き、嫌悪、リラックス等の感情パラメータのいずれかが予め設定されていてもよく、また、ユーザからの選択によって変更できるように構成されていてもよい。また、サーバ１０は、端末ＩＤ又はユーザＩＤに対応付けて記憶部１２に記憶したアルバムデータを、例えばユーザが所有するユーザ端末（図示せず）に提供できるように構成されている。サーバ１０は、例えばユーザ端末から、端末ＩＤ又はユーザＩＤを指定してアルバムデータの要求を受け付けた場合、要求されたアルバムデータを要求元のユーザ端末へ送信してもよい。これにより、ユーザは、自身のユーザ端末においてアルバムを閲覧できるので、美術館での展示品の鑑賞だけでなく、美術館での鑑賞後にアルバムによって展示品又は解説コンテンツを振り返ることができる。
Through the above-described processing, it is possible to generate album data that corresponds to the emotions of the user who viewed the explanatory content and exhibits, so it is possible to provide an album that allows the user to view explanatory contents or exhibits that make the user unconsciously have a predetermined emotion. . Note that the emotion for generating album data may be one of the emotion parameters set in advance, such as joy, anger, sadness, surprise, disgust, relaxation, etc., and may be configured to be changeable according to the user's selection. may have been done. Further, the
なお、サーバ１０がアルバムデータをユーザ端末へ送信する場合、例えばサーバ１０が、端末ＩＤ又はユーザＩＤに応じたＱＲコード（登録商標）を発行し、発行したＱＲコードをユーザ端末へ送信してもよい。この場合、ユーザ端末は、ＱＲコードを読み取って得られた宛先情報（例えばＵＲＬ（Uniform Resource Locator））に基づいてアルバムデータを要求し、サーバ１０からアルバムデータを取得することができる。また、例えばサーバ１０がユーザＩＤに対応付けてアルバムデータを記憶する構成において、端末装置２０を用いてネットワークＮ経由でユーザＩＤに基づいてアルバムデータをサーバ１０からダウンロードできるように構成してもよい。この場合、同じ美術館又は他の美術館で貸し出された端末装置２０において、前回鑑賞した際に生成されたアルバムを見ながら展示品を鑑賞することができる。
Note that when the
本実施形態において、サーバ１０は、端末装置２０から受信した心拍変動データに基づいてアルバムデータを生成するか否かを、ユーザからの要求に応じて切り替えてもよい。例えば、サーバ１０は、端末装置２０又はユーザのユーザ端末からアルバムデータの要求を受け付けた後に、アルバムデータの生成処理を行い、端末装置２０又はユーザ端末へ送信してもよい。このような構成とすることにより、アルバムデータの生成処理を不用意に行うことなく、処理負荷の増加を抑制できる。なお、本実施形態においても、サーバ１０の制御部１１は、図９中のステップＳ３５の処理を行い、複数の端末装置２０から収集した多数の視聴者の心拍変動データに基づいて、各コンテンツに対する感情レポートを生成してもよい。この場合、展示品を鑑賞する入館者の感情を分析し、各展示品について入館者の関心の有無等を把握できる。
In the present embodiment, the
本実施形態において、端末装置２０で再生されるコンテンツは美術館等の展示品に対する解説コンテンツのほかに、観光地及び観光スポット等を解説又は案内するためのコンテンツであってもよく、映画、アニメ及びドラマ等のようにそれ自体が鑑賞対象である電子データ（コンテンツ）であってもよい。観光案内用のコンテンツを用いる場合、ユーザの心拍変動データに基づいて、ユーザが所定の感情を抱いた箇所（観光地又は観光スポット）を抽出し、抽出した箇所の写真又は解説等をまとめたアルバムデータを生成することができる。また、映画、アニメ及びドラマ等の映像コンテンツを用いる場合、ユーザの心拍変動データに基づいて、ユーザが所定の感情を抱いた箇所（シーン）を抽出し、例えばユーザが気に入ったシーンをまとめたアルバムデータを生成することができる。
In the present embodiment, the content played on the
（実施形態４）
ユーザが自身のユーザ端末（端末装置２０）を使用している場合に、ユーザの顔画像に基づいてユーザの健康状態を判定する分析システムについて説明する。本実施形態の分析システムは、実施形態１の各装置と同様の装置によって実現できるので、構成については説明を省略する。なお、本実施形態では、端末装置２０はユーザが所有するユーザ端末である。
(Embodiment 4)
An analysis system that determines the user's health condition based on the user's facial image when the user is using his or her own user terminal (terminal device 20) will be described. The analysis system of this embodiment can be realized by the same devices as those of the first embodiment, so a description of the configuration will be omitted. Note that in this embodiment, the
図１６は、実施形態４の端末装置２０による健康状態判定処理の手順を示すフローチャートである。以下の処理は、端末装置２０の記憶部２２に記憶してある制御プログラム２２Ｐに従って制御部２１によって実行される。本実施形態において、例えばユーザが端末装置２０を用いてテレビ電話中、又は、電子メール、ＬＩＮＥ（登録商標）、ＳＮＳ（Social Networking Service ）に関する操作中の場合、端末装置２０の制御部２１は、カメラ２６による撮影を開始し、操作中のユーザの顔画像を取得する（Ｓ８１）。ここでは、制御部２１は、図８中のステップＳ１２と同様の処理を行う。
FIG. 16 is a flowchart showing the procedure of health condition determination processing by the
制御部２１は、図８中のステップＳ１３と同様の処理を行い、取得した顔画像（顔画像データ）に基づいてユーザの属性（年齢及び性別）を判定する（Ｓ８２）。次に制御部２１は、図８中のステップＳ１４と同様の処理を行い、ステップＳ８１で取得した顔画像に対してヘモグロビンに対応する色素成分を抽出する分離処理を行ってヘモグロビン画像を生成する（Ｓ８３）。そして、制御部２１は、生成したヘモグロビン画像に基づいて、ユーザのヘモグロビン色素濃度（ヘモグロビン濃度）を算出する（Ｓ８４）。例えば制御部２１は、ヘモグロビン画像においてユーザの顔領域中の各画素の画素値（ヘモグロビン成分の成分量）の平均値（平均画素値）を算出し、算出した値に対応するヘモグロビン色素濃度を特定する。なお、ヘモグロビン画像における平均画素値と、平均画素値に対応するヘモグロビン色素濃度とを対応付けて記憶部２２に記憶しておくことにより、制御部２１は、ヘモグロビン画像の平均画素値からユーザのヘモグロビン色素濃度を特定できる。
The
制御部２１は、算出したヘモグロビン色素濃度が所定範囲内であるか否かを判断し（Ｓ８５）、所定範囲内でないと判断した場合（Ｓ８５：ＮＯ）、ユーザの健康状態がよくない可能性があることを通知する（Ｓ８６）。例えば制御部２１は、健康状態がよくない可能性があることを示すメッセージを表示部２４に表示して通知する。なお、端末装置２０がランプを有する場合、ランプを点灯又は点滅させることによって通知してもよく、端末装置２０がスピーカ又はブザーを有する場合、スピーカによる音声出力又はブザーの鳴動によって通知してもよい。ヘモグロビン色素濃度が所定範囲内であると判断した場合（Ｓ８５：ＹＥＳ）、制御部２１は、ステップＳ８６の処理をスキップして処理を終了する。
The
上述した処理により、ユーザの顔画像に基づいてユーザの健康状態を判定することができ、健康状態がよくない可能性がある場合に通知することができる。よって、ユーザは端末装置２０を使用（操作）しているだけで意識することなく、健康状態の判定を行うことができる。例えば体内の水分量が低下すると血液中のヘモグロビン濃度が上昇するので、ヘモグロビン濃度によって熱中症を発症する気配があるか否かの判断が行われている。本実施形態では、ユーザの顔画像からユーザのヘモグロビン濃度を検出するので、血液検査を行うことなく、熱中症を発症する気配があるか否かの判断が可能となる。よって、熱中症の可能性がある場合に、水分補給の提案及び日陰への誘導等を行うことにより、早期の処置が可能となる。また、例えば建設現場又は工事現場等で作業中の作業者が用いるタブレット端末を端末装置２０としてもよい。この場合、タブレット端末を操作する作業者の顔画像を撮影することによって、顔画像から作業者の健康状態を判定できる。また、例えば観光地等の屋外に長時間いる観光客に観光ガイドアプリを提供する場合に、観光ガイドアプリに、本実施形態のような健康状態を判定する機能を追加して提供してもよい。この場合、観光ガイドアプリは利用者に観光ガイドを提供すると共に、利用者の健康状態を判定し、健康状態がよくない可能性がある場合には通知することができる。
Through the above-described processing, it is possible to determine the user's health condition based on the user's face image, and it is possible to notify the user when there is a possibility that the user's health condition is not good. Therefore, the user can determine his/her health condition without being aware of it just by using (operating) the
本実施形態では、ヘモグロビン画像に基づいてユーザの健康状態を判定するが、例えば、ヘモグロビン画像に基づいてユーザの心拍を示す心拍データを生成し、心拍データも考慮してユーザの健康状態を判定してもよい。この場合、ヘモグロビン濃度の変化だけでなく、心拍の変動に基づいて不整脈等の健康状態をチェックできる。また、本実施形態の構成は、上述した実施形態１～３の感情分析システムにも適用できる。実施形態１－２の感情分析システムに適用した場合、端末装置２０において、各種のコンテンツをユーザに提供しつつ、ユーザの顔画像に基づいて健康状態を判定できる。また実施形態３の感情分析システムに適用した場合、美術館等で貸し出される端末装置２０において、展示品の解説コンテンツをユーザ（入館者）に提供しつつ、ユーザの顔画像に基づいて健康状態を判定できる。
In this embodiment, the user's health condition is determined based on the hemoglobin image. For example, heart rate data indicating the user's heart rate is generated based on the hemoglobin image, and the user's health condition is determined by also considering the heart rate data. It's okay. In this case, health conditions such as arrhythmia can be checked based not only on changes in hemoglobin concentration but also on heart rate fluctuations. Furthermore, the configuration of this embodiment can also be applied to the emotion analysis systems of
上述した各実施形態において、端末装置２０は、例えばスマートフォンに所定のアプリケーションプログラムをインストールすることによって実現されてもよい。なお、カメラを有するスマートフォンでは、カメラによる撮影が行われた場合に、取得された撮影画像に対してホワイトバランス処理等の画質を補正する処理（画質補正処理）が自動的に行われるように構成されている場合がある。このような画質補正機能を有するスマートフォンを用いて端末装置２０を実現する場合、制御部２１は、カメラ２６で顔画像データを取得した場合に、顔画像データに対して画質補正処理を行う補正部として機能する。このような構成においては、制御部（禁止部）２１は、視聴者の顔画像に基づいて視聴者の感情分析を行う場合には、カメラ２６で撮影した視聴者の顔画像に対する画質補正処理の実行を禁止するように構成される。自動的に実行される画質補正処理を行わないことにより、視聴者の顔画像を忠実に取得でき、このような顔画像に基づいて視聴者の感情を精度よく分析できる。
In each of the embodiments described above, the
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein are illustrative in all respects and should not be considered restrictive. The scope of the present invention is indicated by the claims, not the above-mentioned meaning, and is intended to include meanings equivalent to the claims and all changes within the scope.
１０ サーバ（情報処理装置）
１１ 制御部
１２ 記憶部
２０ 端末装置
２１ 制御部
２２ 記憶部
２４ 表示部
２６ カメラ
１０１ 心拍変動データ取得部
１０３ 感情分析部
１０４ レポート生成部
２０２ 撮影部
２０４ ヘモグロビン画像生成部
２０５ 心拍データ生成部
２０６ 心拍変動データ生成部
２０７ 出力部
10 Server (information processing device)
11
Claims (13)
コンテンツを表示部に表示し、
表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、
第２装置が、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成し、
複数の前記ユーザの感情データに基づいて、動画である前記コンテンツに対して、複数の感情パラメータに対する分析値が最大値となった時点における再生開始からの時間を示す感情レポートを生成する
情報処理方法。 The first device is
Display the content on the display section,
Obtain facial image data of the user's face viewing the displayed content,
extracting a pigment component corresponding to hemoglobin from the face image data to generate hemoglobin image data;
generating heartbeat data indicating the user's heartbeat based on the hemoglobin image data;
Performing frequency conversion on the heart rate data to generate heart rate variability data indicating heart rate variability of the user;
The second device is
analyzing the user's emotion based on the heart rate variability data and generating emotion data indicating the user's emotion;
An emotion report is generated for the content, which is a video, based on the emotion data of the plurality of users, indicating the time from the start of playback at the time when the analysis value for the plurality of emotion parameters reaches a maximum value.
Information processing method.
動画である前記コンテンツの再生開始からの各時点における複数の感情パラメータに対する分析値を示す感情レポートを生成する
請求項１に記載の情報処理方法。 The second device is
Generating an emotion report showing analysis values for multiple emotion parameters at each point in time from the start of playback of the content, which is a video.
The information processing method according to claim 1 .
前記感情レポートに基づく前記複数の感情パラメータに対する分析値と、前記コンテンツとを、前記コンテンツの再生開始からの経過時間に同期して表示するための表示データを出力する
請求項２に記載の情報処理方法。 The second device is
outputting display data for displaying analysis values for the plurality of emotion parameters based on the emotion report and the content in synchronization with elapsed time from the start of reproduction of the content;
The information processing method according to claim 2 .
前記第２装置が、
前記複数の質問のそれぞれに回答するユーザの顔画像データから生成された前記ユーザの心拍変動データに基づいて、それぞれの質問に対する前記ユーザの感情データを生成する
請求項１から３までのいずれかひとつに記載の情報処理方法。 The content includes a survey having multiple questions;
The second device is
Generate emotion data of the user in response to each question based on heart rate variability data of the user generated from facial image data of the user who answers each of the plurality of questions.
The information processing method according to any one of claims 1 to 3 .
前記第１装置が、
前記質問に対する回答を受け付け、
前記質問に回答するユーザの顔画像データに基づいて前記質問に回答する前記ユーザの心拍変動データを生成し、
前記第２装置が、
前記質問に回答する前記ユーザの心拍変動データに基づいて前記質問に対する前記ユーザの感情データを生成し、
前記質問に対する回答と生成した前記感情データとを対応付けて出力する
請求項１から４までのいずれかひとつに記載の情報処理方法。 The content includes questions related to stress check,
The first device is
Accepting answers to the above questions,
Generating heart rate variability data of the user who answers the question based on facial image data of the user who answers the question;
The second device is
generating emotion data of the user in response to the question based on heart rate variability data of the user responding to the question;
Correlating and outputting the answer to the question with the generated emotion data
The information processing method according to any one of claims 1 to 4 .
コンテンツを表示部に表示し、
表示されるコンテンツを視認するユーザの顔の顔画像データを取得し、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成し、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成し、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成し、
第２装置が、
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成し、
前記感情データに基づいて、前記コンテンツから、前記ユーザが所定の感情を抱いた箇所を抽出し、
抽出した箇所に対応するデータを用いてアルバムデータを生成し、
前記ユーザに割り当てられた識別子に対応付けて、生成された前記アルバムデータを記憶部に記憶し、
前記識別子に基づいて前記アルバムデータを要求された場合に、前記アルバムデータを出力する
情報処理方法。 The first device is
Display the content on the display section,
Obtain facial image data of the user's face viewing the displayed content,
extracting a pigment component corresponding to hemoglobin from the face image data to generate hemoglobin image data;
generating heartbeat data indicating the user's heartbeat based on the hemoglobin image data;
Performing frequency conversion on the heart rate data to generate heart rate variability data indicating heart rate variability of the user;
The second device is
analyzing the user's emotion based on the heart rate variability data and generating emotion data indicating the user's emotion;
extracting a portion where the user feels a predetermined emotion from the content based on the emotion data;
Generate album data using data corresponding to the extracted locations,
storing the generated album data in a storage unit in association with an identifier assigned to the user;
Output the album data when the album data is requested based on the identifier.
Information processing method.
前記表示部に表示されるコンテンツを視認するユーザの顔の顔画像データを取得する取得部と、
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成する抽出部と、
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成する心拍データ生成部と、
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成する心拍変動データ生成部と、
前記心拍変動データを前記コンテンツに係るコンテンツ情報と共に出力する出力部と
を備える端末装置。 a display section that displays content;
an acquisition unit that acquires facial image data of a user's face viewing content displayed on the display unit;
an extraction unit that extracts a pigment component corresponding to hemoglobin from the face image data to generate hemoglobin image data;
a heartbeat data generation unit that generates heartbeat data indicating the user's heartbeat based on the hemoglobin image data;
a heart rate variability data generation unit that performs frequency conversion on the heart rate data to generate heart rate variability data indicating heart rate variability of the user;
A terminal device comprising: an output unit that outputs the heart rate variability data together with content information related to the content.
前記出力部が前記心拍変動データ及びコンテンツ情報を出力した後に、前記記憶部に記憶された前記顔画像データ又は前記ヘモグロビン画像データを前記記憶部から消去する消去部と
を備える請求項７に記載の端末装置。 a storage unit that stores at least one of the face image data acquired by the acquisition unit and the hemoglobin image data generated by the extraction unit;
and an erasing section that erases the face image data or the hemoglobin image data stored in the storage section from the storage section after the output section outputs the heart rate variability data and content information . Terminal device.
前記顔画像データを前記ユーザの感情分析に用いる場合、前記補正部による画質補正処理の実行を禁止する禁止部と
を更に備える請求項７又は８に記載の端末装置。 a correction unit that performs image quality correction processing on the facial image data when the acquisition unit acquires the facial image data;
The terminal device according to claim 7 or 8 , further comprising: a prohibition unit that prohibits execution of image quality correction processing by the correction unit when the face image data is used for emotion analysis of the user .
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、
複数の前記心拍変動データに基づいて生成した複数の前記ユーザの感情データに基づいて、前記コンテンツに対する感情レポートを生成するレポート生成部と
を備え、
前記レポート生成部は、複数の前記ユーザの感情データに基づいて、動画である前記コンテンツに対して、複数の感情パラメータに対する分析値が最大値となった時点における再生開始からの時間を示す感情レポートを生成する
情報処理装置。 a data acquisition unit that acquires heart rate variability data indicating the heart rate variability of the user generated based on facial image data of the user's face viewing the displayed content;
an emotion analysis unit that analyzes the user's emotion based on the heart rate variation data and generates emotion data indicating the user's emotion;
a report generation unit that generates an emotion report for the content based on the emotion data of the plurality of users generated based on the plurality of heart rate variation data ;
The report generation unit generates an emotion report for the content, which is a video, based on the emotion data of the plurality of users, indicating the time from the start of playback at the time when the analysis value for the plurality of emotion parameters reaches the maximum value. generate
Information processing device.
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、 an emotion analysis unit that analyzes the user's emotion based on the heart rate variation data and generates emotion data indicating the user's emotion;
前記感情データに基づいて、前記コンテンツから、前記ユーザが所定の感情を抱いた箇所を抽出する箇所抽出部と、 a location extraction unit that extracts a location where the user feels a predetermined emotion from the content based on the emotion data;
抽出した箇所に対応するデータを用いてアルバムデータを生成するアルバム生成部と、 an album generation unit that generates album data using data corresponding to the extracted locations;
前記ユーザに割り当てられた識別子に対応付けて、生成した前記アルバムデータを記憶する記憶部と、 a storage unit that stores the generated album data in association with an identifier assigned to the user;
前記識別子に基づいて前記アルバムデータを要求された場合に、前記アルバムデータを出力する出力部と an output unit that outputs the album data when the album data is requested based on the identifier;
を備える情報処理装置。 An information processing device comprising:
請求項１０又は１１に記載の情報処理装置。 The information processing device according to claim 10 or 11 , wherein the data acquisition unit acquires the heart rate variability data and content information output by the terminal device according to any one of claims 7 to 9 .
前記端末装置は、 The terminal device is
前記表示部に表示されるコンテンツを視認するユーザの顔の顔画像データを取得する取得部と、 an acquisition unit that acquires facial image data of a user's face viewing content displayed on the display unit;
前記顔画像データからヘモグロビンに対応する色素成分を抽出してヘモグロビン画像データを生成する抽出部と、 an extraction unit that extracts a pigment component corresponding to hemoglobin from the face image data to generate hemoglobin image data;
前記ヘモグロビン画像データに基づいて、前記ユーザの心拍を示す心拍データを生成する心拍データ生成部と、 a heartbeat data generation unit that generates heartbeat data indicating the user's heartbeat based on the hemoglobin image data;
前記心拍データに対して周波数変換を行い、前記ユーザの心拍変動を示す心拍変動データを生成する心拍変動データ生成部と、 a heart rate variability data generation unit that performs frequency conversion on the heart rate data to generate heart rate variability data indicating heart rate variability of the user;
前記心拍変動データを前記コンテンツに係るコンテンツ情報と共に出力する出力部とを備え、 an output unit that outputs the heart rate variability data together with content information related to the content,
前記情報処理装置は、 The information processing device includes:
前記端末装置が出力した前記心拍変動データ及びコンテンツ情報を取得するデータ取得部と、 a data acquisition unit that acquires the heart rate variability data and content information output by the terminal device;
前記心拍変動データに基づいて前記ユーザの感情を分析し、前記ユーザの感情を示す感情データを生成する感情分析部と、 an emotion analysis unit that analyzes the user's emotion based on the heart rate variation data and generates emotion data indicating the user's emotion;
複数の前記心拍変動データに基づいて生成した複数の前記ユーザの感情データに基づいて、前記コンテンツに対する感情レポートを生成するレポート生成部とを備える and a report generation unit that generates an emotion report for the content based on the plurality of emotional data of the users generated based on the plurality of heart rate variation data.
情報処理システム。 Information processing system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019015075 | 2019-01-31 | ||
| JP2019015075 | 2019-01-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020126645A JP2020126645A (en) | 2020-08-20 |
| JP7440020B2 true JP7440020B2 (en) | 2024-02-28 |
Family
ID=72084961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020010943A Active JP7440020B2 (en) | 2019-01-31 | 2020-01-27 | Information processing method, terminal device, information processing device, and information processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7440020B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114205270B (en) * | 2020-09-17 | 2023-09-22 | 北京三快在线科技有限公司 | Device state determining method and device, storage medium and electronic device |
| US20230363680A1 (en) * | 2020-09-24 | 2023-11-16 | Citizen Watch Co., Ltd. | Emotion assessment apparatus, emotion assessment method and emotion assessment program |
| JP7061714B1 (en) * | 2020-12-03 | 2022-04-28 | ポーラ化成工業株式会社 | Solution provision system and mobile terminal |
| JP7024136B1 (en) | 2021-11-05 | 2022-02-22 | ポーラ化成工業株式会社 | Analytical system |
| JP2022169224A (en) * | 2021-04-27 | 2022-11-09 | オムロン株式会社 | Content evaluation device, content evaluation method, and content evaluation program |
| JP7069389B1 (en) | 2021-07-29 | 2022-05-17 | ポーラ化成工業株式会社 | Solution provision system and mobile terminal |
| JP7069390B1 (en) | 2021-07-29 | 2022-05-17 | ポーラ化成工業株式会社 | Mobile terminal |
| WO2023074589A1 (en) * | 2021-10-28 | 2023-05-04 | 株式会社センシング | Information processing device, information processing system, and program |
| WO2023135632A1 (en) * | 2022-01-11 | 2023-07-20 | 日本電気株式会社 | Stress estimation device, stress estimation method, and storage medium |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005150796A (en) | 2003-11-11 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Output apparatus and program thereof |
| JP2009005094A (en) | 2007-06-21 | 2009-01-08 | Mitsubishi Electric Corp | Mobile terminal |
| JP2010250528A (en) | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | Feeling matching device, feeling matching method, and program |
| JP2014081913A (en) | 2012-09-27 | 2014-05-08 | Dainippon Printing Co Ltd | Questionnaire analysis device, questionnaire analysis system, questionnaire analysis method and program |
| JP2015082691A (en) | 2013-10-21 | 2015-04-27 | 日本電信電話株式会社 | Video editing device, video editing method, and video editing program |
| JP2016535347A (en) | 2013-08-15 | 2016-11-10 | リアルアイズ・オーウー | Methods in support of video impression analysis, including interactive collection of computer user data |
| JP2017029318A (en) | 2015-07-30 | 2017-02-09 | 国立大学法人 千葉大学 | Method for processing image for stress-monitoring and program of the same |
| JP2017146733A (en) | 2016-02-16 | 2017-08-24 | 株式会社リコー | Extraction support system, extraction support server, extraction support program, and extraction support method |
-
2020
- 2020-01-27 JP JP2020010943A patent/JP7440020B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005150796A (en) | 2003-11-11 | 2005-06-09 | Matsushita Electric Ind Co Ltd | Output apparatus and program thereof |
| JP2009005094A (en) | 2007-06-21 | 2009-01-08 | Mitsubishi Electric Corp | Mobile terminal |
| JP2010250528A (en) | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | Feeling matching device, feeling matching method, and program |
| JP2014081913A (en) | 2012-09-27 | 2014-05-08 | Dainippon Printing Co Ltd | Questionnaire analysis device, questionnaire analysis system, questionnaire analysis method and program |
| JP2016535347A (en) | 2013-08-15 | 2016-11-10 | リアルアイズ・オーウー | Methods in support of video impression analysis, including interactive collection of computer user data |
| JP2015082691A (en) | 2013-10-21 | 2015-04-27 | 日本電信電話株式会社 | Video editing device, video editing method, and video editing program |
| JP2017029318A (en) | 2015-07-30 | 2017-02-09 | 国立大学法人 千葉大学 | Method for processing image for stress-monitoring and program of the same |
| JP2017146733A (en) | 2016-02-16 | 2017-08-24 | 株式会社リコー | Extraction support system, extraction support server, extraction support program, and extraction support method |
Non-Patent Citations (3)
| Title |
|---|
| 安丸 昌輝，顔映像の脈波測定を活用した感情推定，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年05月31日，Vol.118 No.73，p.39-42 |
| 津村 徳道，顔画像のヘモグロビン色素分離による非接触心拍変動計測とストレスモニタリング，[online]，2016年12月13日，[検索日 2023.08.29], インターネット<URL:https://shingi.jst.go.jp/pdf/2016/2016_cictokyoB_6.pdf> |
| 第２章 潜在意識編 進化するニューロリサーチ、一方で手軽な潜在意識調査も，日経ＸＴＲＥＮＤ，日経ＢＰ社，2018年09月14日，p.26-29 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020126645A (en) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7440020B2 (en) | Information processing method, terminal device, information processing device, and information processing system | |
| US11200964B2 (en) | Short imagery task (SIT) research method | |
| US20130151333A1 (en) | Affect based evaluation of advertisement effectiveness | |
| CN105339969B (en) | Linked advertisements | |
| JP6424357B2 (en) | Visual target efficiency measurement device | |
| US20130115582A1 (en) | Affect based concept testing | |
| JP6807389B2 (en) | Methods and equipment for immediate prediction of media content performance | |
| WO2010123770A2 (en) | Method and system for measuring user experience for interactive activities | |
| US20130102854A1 (en) | Mental state evaluation learning for advertising | |
| JP6236875B2 (en) | Content providing program, content providing method, and content providing apparatus | |
| JP4631014B2 (en) | Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program | |
| JP7234930B2 (en) | Information processing device, information processing method, and information processing system | |
| US20140058828A1 (en) | Optimizing media based on mental state analysis | |
| KR102106517B1 (en) | Apparatus for analyzing emotion of examinee, method thereof and computer recordable medium storing program to perform the method | |
| Vermeulen et al. | Heartefacts: augmenting mobile video sharing using wrist-worn heart rate sensors | |
| US20130052621A1 (en) | Mental state analysis of voters | |
| KR20150034925A (en) | Method for searching image and recording-medium recorded program thereof | |
| US10880602B2 (en) | Method of objectively utilizing user facial expressions when viewing media presentations for evaluating a marketing campaign | |
| JP6567461B2 (en) | Recognition device, video content presentation system, program | |
| JP7031812B1 (en) | Programs, methods, and systems | |
| JP2014060642A (en) | Display device and display system | |
| Chen | Using an eye tracker to investigate the effect of sticker on LINE APP for older adults | |
| KR102642350B1 (en) | Device customer interaction-based advertising effect measurement and real-time reflection signage solution | |
| WO2014105266A1 (en) | Optimizing media based on mental state analysis | |
| US20230049225A1 (en) | Emotion tag assigning system, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200205 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7440020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |