JP2018068618A - 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム - Google Patents

感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム Download PDF

Info

Publication number
JP2018068618A
JP2018068618A JP2016211871A JP2016211871A JP2018068618A JP 2018068618 A JP2018068618 A JP 2018068618A JP 2016211871 A JP2016211871 A JP 2016211871A JP 2016211871 A JP2016211871 A JP 2016211871A JP 2018068618 A JP2018068618 A JP 2018068618A
Authority
JP
Japan
Prior art keywords
information
emotion
utterance
pulse
analysis unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016211871A
Other languages
English (en)
Other versions
JP6524049B2 (ja
Inventor
健 波多野
Takeshi Hatano
健 波多野
志田　弘一
Koichi Shida
弘一 志田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2016211871A priority Critical patent/JP6524049B2/ja
Priority to PCT/JP2017/032819 priority patent/WO2018079106A1/ja
Publication of JP2018068618A publication Critical patent/JP2018068618A/ja
Application granted granted Critical
Publication of JP6524049B2 publication Critical patent/JP6524049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Cardiology (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】推定ターゲットの正確な感情を推定することができる感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムを提供することである。
【解決手段】実施形態の感情推定装置は、脈拍解析部と、表情解析部と、発話内容解析部と、発話トーン解析部と、感情推定部とを持つ。脈拍解析部は、推定ターゲットの脈拍を解析して脈拍情報を生成する。表情解析部は、推定ターゲットの顔の画像情報に基づいて、推定ターゲットの表情を解析して表情情報を生成する。発話内容解析部は、推定ターゲットの音声情報に基づいて、推定ターゲットの発話内容を解析して発話内容情報を生成する。発話トーン解析部は、音声情報に基づいて、推定ターゲットの発話トーンを解析して発話トーン情報を生成する。感情推定部は、脈拍情報、表情情報、発話内容情報、および発話トーン情報のうち少なくとも２つに基づいて、推定ターゲットの感情を推定する。
【選択図】図２

Description

本発明の実施形態は、感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムに関する。
従来、顔画像に基づいて対象となる人物の感情を検出する技術が研究されている。この従来技術は、例えば顔画像から表情を判定し、判定結果の表情から感情を検出する。しかしながら、上記の従来技術においては、笑顔などの外見上の特徴からしか感情を検出することができず、感情が表情に出にくい人物や、意図的に感情を隠そうとする人物などの実際の感情を検出することが難しい場合がある。
特開２００５−２３７６６８号公報
本発明が解決しようとする課題は、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムを提供することである。
実施形態の感情推定装置は、脈拍解析部と、表情解析部と、発話内容解析部と、発話トーン解析部と、感情推定部とを持つ。前記脈拍解析部は、推定ターゲットの脈拍を解析して脈拍情報を生成する。前記表情解析部は、前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成する。前記発話内容解析部は、前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成する。前記発話トーン解析部は、前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成する。前記感情推定部は、前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する。
第１の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。 第１の実施形態の感情推定装置の一例を示す機能ブロック図。 第１の実施形態の画像解析部の一例を示す機能ブロック図。 第１の実施形態の音声解析部の一例を示す機能ブロック図。 第１の実施形態の辞書記憶部に記憶されている辞書データの一例を示す図。 第１の実施形態の感情推定装置の処理の一例を示すフローチャート。 第１の実施形態の利用者端末に表示された感情推定結果の一例を示す図。 第２の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。 第２の実施形態の感情推定装置の処理の一例を示すフローチャート。 第３の実施形態の感情推定装置を用いた感情推定システムのハードウェア構成の一例を示す図。 第３の実施形態の感情推定装置の一例を示す機能ブロック図。 第３の実施形態の端末に表示された「笑顔」のカウント結果の一例を示す図。
以下、実施形態の感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステムを、図面を参照して説明する。
（第１の実施形態）
実施形態の感情推定装置は、感情推定の対象とする推定ターゲットの顔の表情だけでなく、脈拍や、発話内容、発話トーンなど、マルチモーダルな出力情報を入力として、それらを総合的に判断して、より機微であり、より正確な感情を推定する。以下においては、推定ターゲットとして「人間」を対象とする例を説明する。
図１は、本実施形態の感情推定装置１を用いた感情推定システムＡ１のハードウェア構成の一例を示す図である。感情推定システムＡ１は、例えば、感情推定装置１と、ネットワークＮと、対象者端末Ｐ１と、利用者端末Ｐ２とを備える。感情推定装置１は、対象者Ｔ（推定ターゲット）の顔の画像情報、音声情報などに基づいて、対象者Ｔの感情を推定する。ネットワークＮは、対象者端末Ｐ１と、利用者端末Ｐ２とを通信可能に接続し、利用者端末Ｐ２と、感情推定装置１とを通信可能に接続する。ネットワークＮは、ＩＰ通信網、各種電話網、その他の無線通信網、有線通信網などにより実現される。
対象者端末Ｐ１は、対象者Ｔの画像情報および音声情報を取得し、ネットワークＮを介して、利用者端末Ｐ２に送信する。利用者端末Ｐ２は、ネットワークＮを介して、対象者端末Ｐ１から受信した画像情報および音声情報を感情推定装置１に送信する。感情推定装置１は、利用者端末Ｐ２から受信した画像情報および音声情報に基づいて、対象者Ｔの感情を推定し、推定した感情情報を利用者端末Ｐ２に送信する。対象者端末Ｐ１および利用者端末Ｐ２は、例えば、テレビ電話機能を備えたＰＣ端末、携帯電話などである。利用者端末Ｐ２には、感情推定装置１と通信可能であり、感情推定装置１から受信した感情情報を表示することが可能なインターフェースを実現するアプリケーションがインストールされていてよい。
図２は、本実施形態の感情推定装置１の一例を示す機能ブロック図である。感情推定装置１は、例えば、通信部１０と、解析部１２と、履歴記憶部Ｄ１と、辞書記憶部Ｄ３とを備える。
通信部１０は、例えば、ネットワークＮを介して、利用者端末Ｐ２から対象者Ｔの顔の画像情報および音声情報を受信し、解析部１２に出力する。また、通信部１０は、例えば、ネットワークＮを介して、推定した感情情報を利用者端末Ｐ２に送信する。
解析部１２は、通信部１０から入力された対象者Ｔの画像情報および音声情報に基づいて、対象者Ｔの感情推定を行う。解析部１２は、例えば、画像解析部２０と、音声解析部３０と、感情推定部４０とを備える。
画像解析部２０は、通信部１０から入力された対象者Ｔの画像情報を解析し、解析結果を感情推定部４０に出力する。図３に示すように、画像解析部２０は、例えば、画像情報を解析して対象者Ｔの顔の脈拍に関する脈拍情報を生成して感情推定部４０に出力する脈拍解析部２２と、画像情報を解析して対象者Ｔの表情に関する表情情報を生成して感情推定部４０に出力する表情解析部２４とを備える。
脈拍解析部２２は、例えば、画像情報から取得される対象者Ｔの顔の皮下の血液中のヘモグロビンが吸収する信号に基づいて、脈波伝搬時間の推定を行う。脈拍解析部２２は、この推定された脈波伝搬時間が血圧変動と正の相関をすることを利用して、対象者Ｔの脈拍に関する脈拍情報を生成する。脈拍情報には、対象者Ｔの脈拍の数値データ（指標値）が含まれてよい。尚、脈拍解析部２２は、上記の脈拍解析処理を行わずに、画像情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。脈拍解析部２２は、顔以外の身体の画像情報から脈拍を解析することも可能である。また脈拍解析部２２は、顔の一部の画像情報などの部分画像から脈拍を解析することも可能である。また、脈拍解析部２２は、血圧計、心電図の結果、もしくはウェアラブルの脈波センサ等から脈拍を解析してもよい。
表情解析部２４は、上記の画像情報に対して、笑い、怒り、悲しみ、喜びなどの感情の種類を紐付けし、対象者Ｔの表情に関する表情情報を出力する。例えば、表情解析部２４は、上記の画像情報に対して、「笑い」の感情として、「大笑い」、「微笑」などの程度を考慮したより細かな種類を紐付けし、「怒り」の感情として、「激怒」、「小さな怒り」などのより細かな種類を紐付けしてもよい。表情情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてもよい。この感情が数値化されたデータとは、笑い、怒り、悲しみ、喜びなどの各感情の程度を数値で表したものである。尚、表情解析部２４は、上記の表情解析処理を行わずに、画像情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。
音声解析部３０は、通信部１０から入力された対象者Ｔの音声情報を解析し、解析結果を感情推定部４０に出力する。図４に示すように、音声解析部３０は、例えば、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成して感情推定部４０に出力する発話内容解析部３２と、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成して感情推定部４０に出力する発話トーン解析部３４とを備える。
発話内容解析部３２は、例えば、音声情報に含まれる音声データをテキストデータに変換して、辞書記憶部Ｄ３に記憶された辞書データを参照することにより、発話内容情報を生成する。発話内容情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてよい。発話内容解析部３２は、例えば、対象者Ｔの発話内容に、「おかしい」、「違います」などの否定的な表現が含まれている場合には「怒り」を示す数値を高く設定する。一方、発話内容解析部３２は、例えば、対象者Ｔの発話内容に、「ありがとう」、「助かりました」などの肯定的な表現が含まれている場合には「喜び」を示す数値を高く設定する。尚、発話内容解析部３２は、上記の発話内容解析処理を行わずに、音声情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。
発話トーン解析部３４は、例えば、発話の音量、速度、および周波数のうち少なくとも１つに基づいて、発話トーン情報を生成する。発話トーン情報には、対象者Ｔの感情が数値化されたデータ（指標値）が含まれてよい。例えば、発話トーン解析部３４は、対象者Ｔに関して、連続的に取得した音声情報（時系列の音声情報）に基づいて音量、速度、周波数の各々の平均値を取得し、その平均値からのずれに基づいて発話トーン情報を生成する。或いは、発話トーン解析部３４は、音量、速度、周波数の各々の変化率に基づいて発話トーン情報を生成する。発話トーン解析部３４は、例えば、音量が急増した場合に、感情が高ぶってきたという判断する。また、発話トーン解析部３４は、話す速度が上がった場合に、感情が高ぶってきたという判断する。また、発話トーン解析部３４は、声の高低を表すパラメーターである周波数を参照し、周波数が上がった場合に、感情が高ぶってきたと判断する。発話トーン解析部３４は、感情が高ぶってきたという判断をした場合、例えば、感情の候補として「怒り」を示す数値を高く設定する。或いは、発話トーン解析部３４は、ある瞬間の音声情報から音量、速度、周波数を取得し、取得した音量、速度、周波数の少なくとも一つが、音量、速度、周波数ごとにあらかじめ定められた基準値を超えたかどうかに基づいて発話トーン情報を生成する。発話トーン解析部３４は、例えば、音量が基準値より大きい場合に、感情が高ぶってきたという判断する。尚、発話トーン解析部３４は、上記の発話トーン解析処理を行わずに、音声情報を感情推定部４０に出力し、感情推定部４０において総合的な感情を推定するための情報の一部として使うようにしてもよい。
感情推定部４０は、対象者Ｔの画像情報、対象者Ｔの音声情報、および対象者Ｔの音声情報に含まれる音声データをテキストデータに変換したテキスト情報のうち少なくとも２つの情報に基づいて、対象者Ｔの感情推定を行う。例えば、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報のうち少なくとも２つに基づいて、対象者Ｔの感情推定を行う。感情推定部４０は、推定した対象者Ｔの感情情報を、通信部１０を介して、利用者端末Ｐ２に送信する。利用者Ｕは、利用者端末Ｐ２のディスプレイなどに表示された感情情報を確認することで、対象者Ｔの感情を知ることができる。
感情推定部４０における感情推定処理においては、多層構造のニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＤＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＲＮＮ）などを用いたディープラーニング技術を採用してもよい。感情推定部４０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報に関するデータと、感情推定結果のデータとを入力とする教師あり学習処理を予め行ってよい。この場合、感情推定部４０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報のいずれの情報を重視するのかについての重み付けを、対象者Ｔの属性（性別、年齢、国籍など）毎に行ってもよい。
尚、脈拍解析部２２が脈拍解析処理を行わずに画像情報を感情推定部４０に出力している場合、感情推定部４０は、画像情報に基づいて、脈拍解析処理を行ってよい。また、表情解析部２４が表情解析処理を行わずに画像情報を感情推定部４０に出力している場合、感情推定部４０は、画像情報に基づいて、表情解析処理を行ってよい。また、発話内容解析部３２が発話内容解析処理を行わずに音声情報を感情推定部４０に出力している場合、感情推定部４０は、音声情報に基づいて、発話内容解析処理を行ってよい。また、発話トーン解析部３４が発話トーン解析処理を行わずに音声情報を感情推定部４０に出力している場合、感情推定部４０は、音声情報に基づいて、発話トーン解析処理を行ってよい。また、例えば、感情推定部４０は、各解析部から得られた情報からそれぞれの解析処理を行わず、各解析部から得られた情報をそのまま使って、総合的な感情推定を行ってもよい。
履歴記憶部Ｄ１は、対象者Ｔに関する各種情報を記憶する。履歴記憶部Ｄ１は、例えば、対象者Ｔの画像情報、音声情報、脈拍解析部２２によって解析された脈拍情報、表情解析部２４によって解析された表情情報、発話内容解析部３２によって解析された発話内容情報、および発話トーン解析部３４によって解析された発話トーン情報、感情推定部４０によって推定された感情情報、電話番号、氏名などを記憶する。
辞書記憶部Ｄ３は、例えば、対象者Ｔの音声情報の内容を解釈するための辞書データを記憶する。図５は、辞書記憶部Ｄ３に記憶されている辞書データの一例を示す図である。辞書記憶部Ｄ３は、文字列と、笑い、怒り、悲しみ、喜びなどの各感情の程度を表す数値とを対応付けた辞書データを記憶する。各感情の程度を数値は、例えば、１から５の数値が割り振られており、数値が大きくなるほど、各感情の程度が高いことを示す。
例えば、辞書記憶部Ｄ３は、文字列「おかしい」と関連付けされた情報として、怒りの数値が「３」であり、笑いの数値が「１」であり、喜びの数値が「０」であり、悲しみ数値が「１」である情報を記憶している。すなわち、文字列「おかしい」は、怒りの感情を表している傾向が高いことを示している。尚、辞書記憶部Ｄ３は、図５に示したデータ以外にも、多数の辞書データを記憶してよい。また、辞書記憶部Ｄ３は、例えば、音声情報の内容をより正確に解釈するための他の項目の情報をさらに記憶してもよい。
履歴記憶部Ｄ１および辞書記憶部Ｄ３の各々は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどで実現される。尚、履歴記憶部Ｄ１および辞書記憶部Ｄ３は、一つのハードウェアで構成されていてもよい。また、履歴記憶部Ｄ１および辞書記憶部Ｄ３の各々は、感情推定装置１の外部に設けられてもよい。
上記の感情推定装置１の各機能部のうち一部または全部は、プロセッサがプログラム記憶部（図示しない）に記憶されたプログラム（ソフトウェア）を実行することにより実現されてよい。プログラムは、感情推定装置１の作動開始時に予めインストールされていてもよいし、他のコンピュータからダウンロードされてよいし、コンパクトディスクなどの可搬型記憶媒体からインストールされてもよい。また、感情推定装置１の各機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
次に、本実施形態の感情推定装置１の動作について説明する。図６は、感情推定装置１の処理の一例を示すフローチャートである。
利用者Ｕと対象者Ｔとが通信を行っている間（例えば、テレビ電話で会話を行っている間）、利用者端末Ｐ２は、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの顔の画像情報および音声情報を継続的に取得する。利用者端末Ｐ２は、取得した画像情報および音声情報を感情推定装置１に送信する。これにより、感情推定装置１の通信部１０は、対象者Ｔの画像情報および音声情報を取得する（ステップＳ１０１）。通信部１０は、取得した画像情報を画像解析部２０に出力し、取得した音声情報を音声解析部３０に出力する。
次に、画像解析部２０の脈拍解析部２２は、画像情報を解析して対象者Ｔの脈拍に関する脈拍情報を生成する（ステップＳ１０３）。例えば、脈拍解析部２２は、画像情報から取得される対象者Ｔの顔の皮下の血液中のヘモグロビンが吸収する信号に基づいて、脈波伝搬時間の推定を行う。脈拍解析部２２は、この推定された脈波伝搬時間が血圧変動と正の相関をすることを利用して、脈拍情報を生成する。脈拍解析部２２は、生成した脈拍情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の脈拍情報が記憶されている場合には、脈拍解析部２２は、この過去の脈拍情報を合わせて参照することにより、より正確な脈拍情報を生成してよい。
次に、画像解析部２０の表情解析部２４は、画像情報を解析して対象者Ｔの表情に関する表情情報を生成する（ステップＳ１０５）。例えば、表情解析部２４は、画像情報に対して、笑い、怒り、悲しみ、喜びなどの感情の種類を紐付けし、表情情報を生成する。表情解析部２４は、画像情報に対する「笑い」の感情として、「大笑い」、「微笑」などの程度を考慮したより細かな種類を紐付けしてもよい。表情解析部２４は、生成した表情情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の表情情報が記憶されている場合には、表情解析部２４は、この過去の表情情報を合わせて参照することにより、より正確な表情情報を生成してよい。
次に、音声解析部３０の発話内容解析部３２は、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成する（ステップＳ１０７）。例えば、発話内容解析部３２は、音声情報に含まれる音声データをテキストデータに変換して、辞書記憶部Ｄ３に記憶された辞書データを参照することにより、発話内容情報を生成する。発話内容解析部３２は、変換したテキストデータに含まれる各文字列が、辞書記憶部Ｄ３に記憶されているか否かを判定し、記憶されている場合には各感情の程度を表した数値を抽出する。発話内容解析部３２は、変換したテキストデータが辞書記憶部Ｄ３に記憶された文字列を複数含んでいる場合には、感情毎に数値を合計した値を発話内容情報としてよい。発話内容解析部３２は、生成した発話内容情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の発話内容情報が記憶されている場合には、発話内容解析部３２は、この過去の発話内容情報を合わせて参照することにより、より正確な発話内容情報を生成してよい。
次に、音声解析部３０の発話トーン解析部３４は、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成する（ステップＳ１０９）。例えば、発話トーン解析部３４は、発話の音量、速度、周波数の各々の変化に基づいて、発話トーン情報を生成する。発話トーン解析部３４は、生成した発話トーン情報を感情推定部４０に出力する。尚、履歴記憶部Ｄ１に対象者Ｔの過去の発話トーン情報が記憶されている場合には、発話トーン解析部３４は、この過去の発話トーン情報を合わせて参照することにより、より正確な発話トーン情報を生成してよい。
尚、上記の脈拍解析部２２、表情解析部２４、発話内容解析部３２、および発話トーン解析部３４の各々の解析処理は、任意の順序で実行してもよいし、並行して実行してもよい。
次に、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報に基づいて、対象者Ｔの感情推定を行う（ステップＳ１１１）。
次に、感情推定部４０は、通信部１０を介して、推定した感情情報を利用者端末Ｐ２に送信する（ステップＳ１１３）。利用者端末Ｐ２は、通信部１０から受信した感情情報を、例えば、利用者端末Ｐ２のディスプレイなどに表示させる。
図７は、利用者端末Ｐ２のディスプレイに表示された感情推定結果の一例を示す図である。図７に示す例では、ディスプレイの表示画面の領域Ｓ１に、推定した対象者Ｔの感情情報が表示されており、領域Ｓ２に、対象者Ｔの画像が表示されており、領域Ｓ３に、対象者Ｔのプロフィール情報が表示されている。この例では、推定した対象者Ｔの感情情報が「Ｌ１：小さな怒り」である状態を示している。利用者Ｕは、ディスプレイに表示された感情情報を確認することで、対象者Ｔの感情を知ることができる。対象者Ｔのプロフィール情報は、利用者Uが利用者端末Ｐ２を用いて入力および編集してもよい。また、年齢性別などを顔情報から推定する技術を用いて推定された対象者Ｔのプロフィール情報を領域Ｓ３に表示してもよい。以上により、本フローチャートの処理を終了する。
尚、利用者Ｕが利用者端末Ｐ２を利用している間（例えば、テレビ電話で会話を行っている間）、上記のフローチャートの処理が繰り返し実行され、その状況に応じた対象者Ｔの感情情報が利用者端末Ｐ２のディスプレイに表示される。
以上説明した第１の実施形態によれば、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる。
例えば、脈拍情報から、推定ターゲットのストレス具合、興奮度（落ち着き度）などがわかる。また、表情情報から、推定ターゲットの外見上に表れた直接的な感情を推測できる。また、発話内容情報の内容から、推定ターゲットの発言が、「怒り」などの負の感情に由来するものであるのか、「喜び」などの正の感情に由来するものであるのかを推測できる。また、発話トーン情報から、対象者Ｔが興奮した状態なのか、それもと落ち着いた状態なのか、怒っているのか、喜んでいるのか、などの感情を推測できる。
本実施形態によれば、上記のようなマルチモーダルな複数の情報を総合的に判断することによって、推定ターゲットの正確な感情を推定することができる。また、例えば、同じ「怒り」の感情でも、その程度、その詳細な感情のニュアンスといった正確な感情を読み取ることができる。外見上に表れた表情だけでもある程度の推測はできるが、例えば、コールセンター業務などの顧客の高度な感情を読み取る必要がある場合、対応を間違えると大変な事態に陥ることがある。本実施形態によれば、推定ターゲットの正確かつ詳細な感情を推定することができるため、コールセンター業務や接客業などの顧客対応業務を支援することができる。また、運転手の感情を推定することにより、運転手に安全運転を促すこともできる。また、脈拍解析部２２が画像情報を解析して脈拍情報を生成する場合、生体センサなど推定ターゲットの生体情報を取得する装置を用いることなくユーザの生体情報を考慮した感情推定を行うことができる。
（第２の実施形態）
以下、第２の実施形態について説明する。第１の実施形態と比較して、第２の実施形態は、感情推定装置１が利用者端末Ｐ２に実装されている点が異なる。このため、構成などについては第１の実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。
図８は、本実施形態の感情推定装置１を用いた感情推定システムＡ２のハードウェア構成の一例を示す図である。感情推定システムＡ２は、例えば、対象者端末Ｐ１と、感情推定装置１が実装された利用者端末Ｐ２（以下、「感情推定装置１」と呼ぶ）と、対象者端末Ｐ１と感情推定装置１とをつなぐネットワークＮとを備える。感情推定装置１は、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの画像情報および音声情報を受信する。
次に、本実施形態の感情推定装置１の動作について説明する。図９は、感情推定装置１の処理の一例を示すフローチャートである。
まず、感情推定装置１の通信部１０は、例えば、ネットワークＮを介して、対象者端末Ｐ１から対象者Ｔの顔の画像情報および音声情報を取得する（ステップＳ２０１）。通信部１０は、取得した画像情報を画像解析部２０に出力し、取得した音声情報を音声解析部３０に出力する。
次に、画像解析部２０の脈拍解析部２２は、画像情報を解析して対象者Ｔの脈拍に関する脈拍情報を生成する（ステップＳ２０３）。脈拍解析部２２は、生成した脈拍情報を感情推定部４０に出力する。
次に、画像解析部２０の表情解析部２４は、画像情報を解析して対象者Ｔの表情に関する表情情報を生成する（ステップＳ２０５）。表情解析部２４は、生成した表情情報を感情推定部４０に出力する。
次に、音声解析部３０の発話内容解析部３２は、音声情報を解析して対象者Ｔの発話内容に関する発話内容情報を生成する（ステップＳ２０７）。発話内容解析部３２は、生成した発話内容情報を感情推定部４０に出力する。
次に、音声解析部３０の発話トーン解析部３４は、音声情報を解析して対象者Ｔの発話のトーン関する発話トーン情報を生成する（ステップＳ２０９）。発話トーン解析部３４は、生成した発話トーン情報を感情推定部４０に出力する。
尚、上記の脈拍解析部２２、表情解析部２４、発話内容解析部３２、および発話トーン解析部３４の各々の解析処理は、任意の順序で実行してもよいし、並行して実行してもよい。
次に、感情推定部４０は、脈拍解析部２２から入力された脈拍情報、表情解析部２４から入力された表情情報、発話内容解析部３２から入力された発話内容情報、および発話トーン解析部３４から入力された発話トーン情報に基づいて、対象者Ｔの感情推定を行う（ステップＳ２１１）。感情推定部４０は、推定した対象者Ｔの感情情報を、例えば、表示部（図示しない）に表示させる。以上により、本フローチャートの処理を終了する。
以上説明した第２の実施形態によれば、推定ターゲットに関連する複数の情報を総合的に判断することによって推定ターゲットの正確な感情を推定することができる。
尚、感情推定部４０は、感情推定を行うとともに、利用者Ｕの動作決定を支援するための支援情報を生成して利用者端末Ｐ２に表示させてもよい。例えば、コールセンターの顧客対応オペレータが感情推定装置１を利用する場合には、感情推定部４０は、顧客への回答内容、提案内容などを含む支援情報を生成して利用者端末Ｐ２に表示させてもよい。また、別の実施形態として、ネットワークを介した他の端末との通信を必要としないスタンドアローン型の感情推定装置１を、笑顔メンターとして、接客員にとって望ましい、笑顔や発話などを教育するシステムとして利用してもよい。
尚、感情推定部４０は、対象者Ｔの周辺状況に関する情報（天候、温度、時間帯、場所など）を合わせて考慮して、感情推定を行ってもよい。また、辞書記憶部Ｄ３は、感情推定装置１の利用用途に応じてカスタマイズした辞書データを記憶するようにしてもよい。例えば、対象者Ｔが非常に温度の高い地域にいる場合、対象者Ｔは少し不機嫌であると推定する。対象者Ｔの周辺状況に関する情報は、例えば、対象者Ｔの背景画像や位置情報や撮影時間などから取得する。また、推定ターゲットには、人間、その他動物などの多様な生体、或いは、人工知能などの非生体が含まれてもよい。
（第３の実施形態）
以下、第３の実施形態について説明する。第１の実施形態と比較して、第３の実施形態は、対象者の表情毎（笑顔、怒り顔など）の総数をカウントする機能が感情推定装置に実装されている点が異なる。このため、構成などについては第１の実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。
図１０は、本実施形態の感情推定装置２を用いた感情カウントシステムＡ３のハードウェア構成の一例を示す図である。感情カウントシステムＡ３は、例えば、感情推定装置２と、感情推定装置２とネットワークＮを介して接続された少なくとも１つの端末（図１０の例では、端末Ｒ１、端末Ｒ２、端末Ｒ３）とを備える。端末Ｒ１、端末Ｒ２、および端末Ｒ３の各々には、カメラＣ１、カメラＣ２、およびカメラＣ３が接続されている。カメラＣ１、カメラＣ２、およびカメラＣ３は、例えば、展示場などの各種施設などに設置され、不特定多数の対象者Ｔを撮影するような環境で使用される。カメラＣ１、カメラＣ２、およびカメラＣ３は、例えば、各種施設内の互いに異なる場所に設置される。
カメラＣ１は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ１に出力する。端末Ｒ１は、カメラＣ１から入力された顔画像を感情推定装置２に送信する。カメラＣ２は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ２に出力する。端末Ｒ２は、カメラＣ２から入力された顔画像を感情推定装置２に送信する。カメラＣ３は、対象者Ｔの顔画像を撮影し、撮影した顔画像を端末Ｒ３に出力する。端末Ｒ３は、カメラＣ３から入力された顔画像を感情推定装置２に送信する。カメラＣ１は、カメラＣ２、およびカメラＣ３によって撮影される対象者Ｔは、互いに異なる人物であってもよいし、同一人物であってもよい。
感情推定装置２は、端末Ｒ１、端末Ｒ２、および端末Ｒ３の各々から受信した顔画像に対して表情解析処理を行い、表情毎の総数をカウントする。図１１は、本実施形態の感情推定装置２の一例を示す機能ブロック図である。第１の実施形態と比較して、感情推定装置２は、表情毎の総数をカウントする計数部５０をさらに備えている。また、表情解析部２４は、表情情報を計数部５０に出力するように構成されている。
計数部５０は、解析部１２（表情解析部２４）によって解析された表情毎の総数をカウントする。例えば、表情解析部２４によって、端末Ｒ１から受信した対象者Ｔの顔画像の表情が「笑顔」であると判定された場合、計数部５０は、例えば、内部に設けられたメモリ（図示しない）に「笑顔」の総数「１」を記憶させるとともに、通信部１０を介して、「笑顔」の表情情報および総数「１」を端末Ｒ１に送信する。この後、表情解析部２４によって、端末Ｒ１から受信した他の対象者Ｔの顔画像に対する表情解析処理が行われ、他の対象者Ｔの表情が「笑顔」であると判定された場合、計数部５０は、内部に設けられたメモリに「笑顔」の総数を１つインクリメントした「２」を記憶させるとともに、通信部１０を介して「笑顔」の表情情報および総数「２」を端末Ｒ１に送信する。
尚、計数部５０は、端末毎に上記のカウント処理を行ってもよいし、複数の端末に対して上記のカウント処理を行い、その表情毎の合計を算出してもよい。図１２は、本実施形態の端末Ｒ１（表示装置）に表示された「笑顔」のカウント結果の一例を示す図である。図１２に示す例では、複数の端末（端末Ｒ１、端末Ｒ２、端末Ｒ３）によって取得された画像の「笑顔」のカウント結果が端末Ｒ１のディスプレイなどに表示されている。ここでは、端末Ｒ１に接続されたカメラＣ１によって撮影された顔画像に対してその表情が「笑顔」と判定された総数「１２８」が領域Ｗ１に表示されている。また、カメラＣ１によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、カメラＣ２によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、カメラＣ３によって撮影された顔画像に対してその表情が「笑顔」と判定された総数と、の合計「５３９」が領域Ｗ２に表示されている。また、領域Ｗ３には、対象者Ｔの画像が表示され、領域Ｗ４には、その他の情報が表示されている。尚、図１２に示す表示結果は一例であり、例えば「笑顔」のカウント総数の時系列での推移を示すグラフで表示してもよい。また、計数部５０によるカウント結果のうち、所定の時間内にカウントした表情毎のカウント数を表示してもよい。
以上説明した第３の実施形態によれば、推定ターゲットの表情毎の総数をカウントすることができる。尚、感情推定装置２は、端末Ｒ１、端末Ｒ２、および端末Ｒ３にそれぞれ実装されていてもよい。ここで、複数の端末における表情毎の合計を算出する場合には、感情推定装置２が実装された端末Ｒ１、端末Ｒ２、および端末Ｒ３が互いに通信して総数に関する情報を送受信するようにしてもよい。
また、表情解析部２４は、１枚の画像に複数人の対象者Ｔが含まれている場合、その各対象者Ｔの表情を解析することができる。例えば、表情解析部２４は、１枚の画像に３人の笑顔の対象者Ｔが含まれている場合、「笑顔」が３つである旨を示す情報を計数部５０に出力する。計数部５０は、表情解析部２４から入力された「笑顔」が３つである旨を示す情報に基づいて、内部に設けられたメモリに「笑顔」の総数「３」を記憶させる（或いは、３つインクリメントさせる）とともに、通信部１０を介して、「笑顔」の表情情報および総数「３」（或いは、３つインクリメントさせた数値）を端末Ｒ１に送信する。
上記の本実施形態では、計数部５０が、表情解析部２４により「笑顔」と解析された総数をカウントする例を示したが、計数部５０は笑顔以外の表情をカウントしてもよい。また、解析部１２は表情解析部２４による解析結果だけでなく、その他の解析結果に基づいて対象者Ｔの感情を推定し、計数部５０が、推定された感情毎に総数をカウントしてもよい。例えば、表情、発話内容、発話トーンを用いて解析部１２は対象者Ｔの感情を推定し、怒り気味の発話をした人を計数部５０がカウントしてもよい。すなわち、本実施形態の感情推定装置２は、推定ターゲットに関連する複数の情報を総合的に判断して感情を推定し、推定した感情毎の総数をカウントできる。これにより、例えば、展示場などの会場内の参加者の盛り上がり度合いを推定するなども可能である。また、計数部５０は、脈拍情報、表情情報、発話内容情報、および発話トーン情報の各々に含まれる指標値毎の総数をカウントしてもよい。例えば、脈拍情報に含まれる指標値（脈拍値）毎の総数をカウントすることで、対象者Ｔのストレス具合や、興奮具合などを推定することが可能である。
また、本実施形態の感情推定装置２は、顔画像から同一人物をトラックし、異なるカメラによって撮影された対象者Ｔ毎のカウントをしてもよいし、緊張度の高い人物を特定し不穏な動きをする不審者の検出に使用してもよい。
以上説明した少なくとも一つの実施形態によれば、推定ターゲットの脈拍を解析して脈拍情報を生成する脈拍解析部と、前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成する表情解析部と、前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成する発話内容解析部と、前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成する発話トーン解析部と、前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する感情推定部とを備えることで、推定ターゲットに関連する複数の情報を総合的に判断して推定ターゲットの正確な感情を推定することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１，２…感情推定装置、１０…通信部、１２…解析部、２０…画像解析部、２２…脈拍解析部、２４…表情解析部、３０…音声解析部、３２…発話内容解析部、３４…発話トーン解析部、４０…感情推定部、５０…計数部、Ｄ１…履歴記憶部、Ｄ３…辞書記憶部、Ａ１，Ａ２…感情推定システム、Ａ３…感情カウントシステム、Ｐ１…対象者端末、Ｐ２…利用者端末、Ｒ１，Ｒ２，Ｒ３…端末（表示装置）

Claims (11)

  1. 推定ターゲットの脈拍を解析して脈拍情報を生成する脈拍解析部と、
    前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成する表情解析部と、
    前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成する発話内容解析部と、
    前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成する発話トーン解析部と、
    前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する感情推定部と
    を備える感情推定装置。
  2. 前記脈拍解析部は、前記推定ターゲットの画像情報に基づいて、前記推定ターゲットの脈拍を解析して前記脈拍情報を生成する、
    請求項１に記載の感情推定装置。
  3. 文字列と、感情の程度を表す数値とを対応付けた辞書データを記憶する辞書記憶部をさらに備え、
    前記発話内容解析部は、前記音声情報に含まれる音声データをテキストデータに変換したテキスト情報に含まれる文字列が前記辞書記憶部に記憶されているか否かを判定し、前記テキスト情報に含まれる前記文字列が前記辞書記憶部に記憶されている場合には、前記数値に基づいて前記発話内容情報を生成する、
    請求項１もしくは請求項２に記載の感情推定装置。
  4. 前記発話トーン解析部は、前記音声情報に含まれる音声データの音量、速度、および周波数のうち少なくとも１つに基づいて、前記発話トーン情報を生成する、
    請求項１から３のいずれか一項に記載の感情推定装置。
  5. 前記推定ターゲットの前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報を記憶した履歴記憶部をさらに備え、
    前記脈拍解析部、前記表情解析部、前記発話内容解析部、および前記発話トーン解析部の各々は、前記履歴記憶部を参照して解析処理を行う、
    請求項１から４のいずれか一項に記載の感情推定装置。
  6. 前記感情推定部によって推定された前記推定ターゲットの感情に基づいて、前記推定ターゲットの感情毎の総数をカウントする計数部をさらに備える、
    請求項１から５のいずれか一項に記載の感情推定装置。
  7. 前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報の各々に含まれる指標値毎の総数をカウントする計数部をさらに備える、
    請求項１から５のいずれか一項に記載の感情推定装置。
  8. 前記計数部は、前記表情解析部によって生成された前記表情情報に基づいて、前記推定ターゲットの表情毎の総数をカウントする、請求項７に記載の感情推定装置。
  9. 推定ターゲットの脈拍を解析して脈拍情報を生成し、
    前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成し、
    前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成し、
    前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成し、
    前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定する
    感情推定方法。
  10. コンピュータに、
    推定ターゲットの脈拍を解析して脈拍情報を生成させ、
    前記推定ターゲットの顔の画像情報に基づいて、前記推定ターゲットの表情を解析して表情情報を生成させ、
    前記推定ターゲットの音声情報に基づいて、前記推定ターゲットの発話内容を解析して発話内容情報を生成させ、
    前記音声情報に基づいて、前記推定ターゲットの発話トーンを解析して発話トーン情報を生成させ、
    前記脈拍情報、前記表情情報、前記発話内容情報、および前記発話トーン情報のうち少なくとも２つに基づいて、前記推定ターゲットの感情を推定させる
    感情推定プログラム。
  11. 請求項６から８のいずれか一項に記載の感情推定装置と、
    前記計数部によってカウントされた総数を表示する表示装置と
    を備える、感情カウントシステム。
JP2016211871A 2016-10-28 2016-10-28 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム Active JP6524049B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016211871A JP6524049B2 (ja) 2016-10-28 2016-10-28 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム
PCT/JP2017/032819 WO2018079106A1 (ja) 2016-10-28 2017-09-12 感情推定装置、感情推定方法、記憶媒体、および感情カウントシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016211871A JP6524049B2 (ja) 2016-10-28 2016-10-28 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム

Publications (2)

Publication Number Publication Date
JP2018068618A true JP2018068618A (ja) 2018-05-10
JP6524049B2 JP6524049B2 (ja) 2019-06-05

Family

ID=62024821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016211871A Active JP6524049B2 (ja) 2016-10-28 2016-10-28 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム

Country Status (2)

Country Link
JP (1) JP6524049B2 (ja)
WO (1) WO2018079106A1 (ja)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019209058A (ja) * 2018-06-08 2019-12-12 株式会社ニコン 推定装置、推定システム、推定方法および推定プログラム
JP2020074947A (ja) * 2018-11-08 2020-05-21 株式会社Ｎｔｔドコモ 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法
KR20200081171A (ko) * 2018-12-27 2020-07-07 일렉트로닉 아트 아이엔씨. 감각 기반의 동적 게임 상태 구성
WO2020158101A1 (ja) * 2019-01-31 2020-08-06 株式会社日立システムズ 有害行為検出システムおよび方法
JP2020134719A (ja) * 2019-02-20 2020-08-31 ソフトバンク株式会社 翻訳装置、翻訳方法、および翻訳プログラム
JP2020154865A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 生成装置、生成方法及び生成プログラム
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
JP2020187262A (ja) * 2019-05-15 2020-11-19 株式会社Ｎｔｔドコモ 感情推定装置、感情推定システム、及び感情推定方法
JP6815667B1 (ja) * 2019-11-15 2021-01-20 株式会社Ｐａｔｉｃ Ｔｒｕｓｔ 情報処理装置、情報処理方法、プログラム及びカメラシステム
WO2021090743A1 (ja) * 2019-11-07 2021-05-14 日本電気株式会社 認証装置、認証システム、認証方法及び記録媒体
WO2021125647A1 (en) * 2019-12-19 2021-06-24 Samsung Electronics Co., Ltd. Method and apparatus for dynamic human-computer interaction
WO2021214841A1 (ja) * 2020-04-20 2021-10-28 三菱電機株式会社 感情認識装置、事象認識装置、及び感情認識方法
JP6985767B1 (ja) * 2021-01-27 2021-12-22 株式会社comipro 診断装置、診断方法、診断システム、及びプログラム
JPWO2022024956A1 (ja) * 2020-07-27 2022-02-03
WO2022064620A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064619A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064617A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064618A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064622A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou 感情解析システム
WO2022064621A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022074785A1 (ja) * 2020-10-08 2022-04-14 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP2022075661A (ja) * 2020-10-27 2022-05-18 株式会社I’mbesideyou 情報抽出装置
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
WO2022113248A1 (ja) * 2020-11-26 2022-06-02 株式会社I’mbesideyou ビデオミーティング評価端末及びビデオミーティング評価方法
JP2022528691A (ja) * 2019-04-05 2022-06-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオチャット中に感情の修正を提供する方法およびシステム
WO2022137502A1 (ja) * 2020-12-25 2022-06-30 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145043A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145042A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145044A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou 反応通知システム
WO2022145038A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
KR20220106029A (ko) * 2021-01-21 2022-07-28 주식회사 에스알유니버스 인공지능을 활용한 심리 상담 방법 및 장치
WO2022168176A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168182A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168179A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168177A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180855A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180856A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180853A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180824A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180857A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180854A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP2022154769A (ja) * 2021-03-30 2022-10-13 Ｎｅｃフィールディング株式会社 健康管理装置、健康管理方法及びプログラム
WO2023074129A1 (ja) 2021-11-01 2023-05-04 ソニーグループ株式会社 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109171773B (zh) * 2018-09-30 2021-05-18 合肥工业大学 基于多通道数据的情感分析方法和系统
WO2020262103A1 (ja) * 2019-06-24 2020-12-30 パナソニックＩｐマネジメント株式会社 空間設計プランの提示方法、および、空間設計プランの提示システム
WO2023053267A1 (ja) * 2021-09-29 2023-04-06 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、プログラムが格納された非一時的なコンピュータ可読媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122549A (ja) * 2003-10-17 2005-05-12 Aruze Corp 会話制御装置及び会話制御方法
JP2006127057A (ja) * 2004-10-27 2006-05-18 Canon Inc 推定装置、及びその制御方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122549A (ja) * 2003-10-17 2005-05-12 Aruze Corp 会話制御装置及び会話制御方法
JP2006127057A (ja) * 2004-10-27 2006-05-18 Canon Inc 推定装置、及びその制御方法
JP2016103786A (ja) * 2014-11-28 2016-06-02 日立マクセル株式会社 撮像システム

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019209058A (ja) * 2018-06-08 2019-12-12 株式会社ニコン 推定装置、推定システム、推定方法および推定プログラム
JP7125050B2 (ja) 2018-06-08 2022-08-24 株式会社ニコン 推定装置、推定システム、推定方法および推定プログラム
JP2020074947A (ja) * 2018-11-08 2020-05-21 株式会社Ｎｔｔドコモ 情報処理装置、低次メンタル状態推定システム、及び低次メンタル状態推定方法
KR102239062B1 (ko) * 2018-12-27 2021-04-12 일렉트로닉 아트 아이엔씨. 감각 기반의 동적 게임 상태 구성
KR20200081171A (ko) * 2018-12-27 2020-07-07 일렉트로닉 아트 아이엔씨. 감각 기반의 동적 게임 상태 구성
US10835823B2 (en) 2018-12-27 2020-11-17 Electronic Arts Inc. Sensory-based dynamic game-state configuration
WO2020158101A1 (ja) * 2019-01-31 2020-08-06 株式会社日立システムズ 有害行為検出システムおよび方法
JP2020123204A (ja) * 2019-01-31 2020-08-13 株式会社日立システムズ 有害行為検出システムおよび方法
JP7384558B2 (ja) 2019-01-31 2023-11-21 株式会社日立システムズ 有害行為検出システムおよび方法
US11875817B2 (en) 2019-01-31 2024-01-16 Hitachi Systems Ltd. Harmful behavior detecting system and method thereof
JP2020134719A (ja) * 2019-02-20 2020-08-31 ソフトバンク株式会社 翻訳装置、翻訳方法、および翻訳プログラム
JP7154164B2 (ja) 2019-03-20 2022-10-17 ヤフー株式会社 生成装置、生成方法及び生成プログラム
JP2020154865A (ja) * 2019-03-20 2020-09-24 ヤフー株式会社 生成装置、生成方法及び生成プログラム
WO2020196976A1 (ko) * 2019-03-22 2020-10-01 한국과학기술원 멀티모달 데이터를 이용한 주의집중의 순환 신경망 기반 전자 장치 및 그의 동작 방법
JP2022528691A (ja) * 2019-04-05 2022-06-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオチャット中に感情の修正を提供する方法およびシステム
JP7185072B2 (ja) 2019-04-05 2022-12-06 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオチャット中に感情の修正を提供する方法およびシステム
JP2020187262A (ja) * 2019-05-15 2020-11-19 株式会社Ｎｔｔドコモ 感情推定装置、感情推定システム、及び感情推定方法
JP2021077008A (ja) * 2019-11-07 2021-05-20 日本電気株式会社 認証装置、認証システム、認証方法及びコンピュータプログラム
WO2021090743A1 (ja) * 2019-11-07 2021-05-14 日本電気株式会社 認証装置、認証システム、認証方法及び記録媒体
JP2021081881A (ja) * 2019-11-15 2021-05-27 株式会社Ｐａｔｉｃ Ｔｒｕｓｔ 情報処理装置、情報処理方法、プログラム及びカメラシステム
US11508186B2 (en) 2019-11-15 2022-11-22 Patic Trust Co., Ltd. Smile degree detection device, method, recording medium, and camera system
JP6815667B1 (ja) * 2019-11-15 2021-01-20 株式会社Ｐａｔｉｃ Ｔｒｕｓｔ 情報処理装置、情報処理方法、プログラム及びカメラシステム
WO2021095869A1 (ja) * 2019-11-15 2021-05-20 株式会社Ｐａｔｉｃ Ｔｒｕｓｔ 情報処理装置、情報処理方法、プログラム、記録媒体及びカメラシステム
WO2021125647A1 (en) * 2019-12-19 2021-06-24 Samsung Electronics Co., Ltd. Method and apparatus for dynamic human-computer interaction
WO2021214841A1 (ja) * 2020-04-20 2021-10-28 三菱電機株式会社 感情認識装置、事象認識装置、及び感情認識方法
WO2022024194A1 (ja) * 2020-07-27 2022-02-03 株式会社I’mbesideyou 感情解析システム
WO2022024956A1 (ja) * 2020-07-27 2022-02-03 株式会社I’mbesideyou 感情解析システムおよび感情解析装置
JP7165463B2 (ja) 2020-07-27 2022-11-04 株式会社I’mbesideyou 感情解析システムおよび感情解析装置
JPWO2022024956A1 (ja) * 2020-07-27 2022-02-03
WO2022064619A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064618A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064617A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064622A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou 感情解析システム
WO2022064620A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
WO2022064621A1 (ja) * 2020-09-24 2022-03-31 株式会社I’mbesideyou ビデオミーティング評価システム及びビデオミーティング評価サーバ
JP7553128B2 (ja) 2020-09-24 2024-09-18 株式会社I’mbesideyou 感情解析システム
WO2022074785A1 (ja) * 2020-10-08 2022-04-14 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP2022075661A (ja) * 2020-10-27 2022-05-18 株式会社I’mbesideyou 情報抽出装置
JP7130290B2 (ja) 2020-10-27 2022-09-05 株式会社I’mbesideyou 情報抽出装置
WO2022108057A1 (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR20220069677A (ko) * 2020-11-20 2022-05-27 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
KR102428916B1 (ko) * 2020-11-20 2022-08-03 오로라월드 주식회사 멀티-모달 기반의 감정 분류장치 및 방법
JPWO2022113248A1 (ja) * 2020-11-26 2022-06-02
JP7445331B2 (ja) 2020-11-26 2024-03-07 株式会社I’mbesideyou ビデオミーティング評価端末及びビデオミーティング評価方法
WO2022113248A1 (ja) * 2020-11-26 2022-06-02 株式会社I’mbesideyou ビデオミーティング評価端末及びビデオミーティング評価方法
WO2022137502A1 (ja) * 2020-12-25 2022-06-30 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145044A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou 反応通知システム
WO2022145038A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145043A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
WO2022145042A1 (ja) * 2020-12-31 2022-07-07 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
JP7465013B2 (ja) 2020-12-31 2024-04-10 株式会社I’mbesideyou ビデオミーティング評価端末、ビデオミーティング評価システム及びビデオミーティング評価プログラム
KR20220106029A (ko) * 2021-01-21 2022-07-28 주식회사 에스알유니버스 인공지능을 활용한 심리 상담 방법 및 장치
KR102670492B1 (ko) * 2021-01-21 2024-05-30 주식회사 에스알유니버스 인공지능을 활용한 심리 상담 방법 및 장치
JP2022114789A (ja) * 2021-01-27 2022-08-08 株式会社comipro 診断装置、診断方法、診断システム、及びプログラム
JP6985767B1 (ja) * 2021-01-27 2021-12-22 株式会社comipro 診断装置、診断方法、診断システム、及びプログラム
WO2022168176A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168177A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168179A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022168182A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180855A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP7152825B1 (ja) * 2021-02-26 2022-10-13 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180854A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180857A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180824A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180853A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
WO2022180856A1 (ja) * 2021-02-26 2022-09-01 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JP2022154769A (ja) * 2021-03-30 2022-10-13 Ｎｅｃフィールディング株式会社 健康管理装置、健康管理方法及びプログラム
JP7405436B2 (ja) 2021-03-30 2023-12-26 Ｎｅｃフィールディング株式会社 健康管理装置、健康管理方法及びプログラム
WO2023074129A1 (ja) 2021-11-01 2023-05-04 ソニーグループ株式会社 情報処理装置、コミュニケーション支援装置、およびコミュニケーション支援システム

Also Published As

Publication number Publication date
JP6524049B2 (ja) 2019-06-05
WO2018079106A1 (ja) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6524049B2 (ja) 感情推定装置、感情推定方法、感情推定プログラム、および感情カウントシステム
US10448887B2 (en) Biometric customer service agent analysis systems and methods
KR101753509B1 (ko) 소셜 그래프들, 스피치 모델들, 및 사용자 콘텍스트를 통해 모바일 디바이스 사용자에 근접한 사람들을 식별하는 것
CN110875032B (zh) 语音交互系统和方法、程序、学习模型生成装置和方法
JP2017156854A (ja) 感情分類によって文脈意味の理解精度を高める発話意味分析プログラム、装置及び方法
US20110201960A1 (en) Systems for inducing change in a human physiological characteristic
JP2019058625A (ja) 感情読み取り装置及び感情解析方法
JP6715410B2 (ja) 評価方法、評価装置、評価プログラム、および、評価システム
CN109793526B (zh) 测谎方法、装置、计算机设备和存储介质
US10629225B2 (en) Information processing method, information processing device, and recording medium recording information processing program
JP2012059107A (ja) 感情推定装置、感情推定方法およびプログラム
KR20200113775A (ko) 사용자 페르소나를 고려한 대화형 에이전트 장치 및 방법
US10836044B2 (en) Robot control device and robot control method
JP6213476B2 (ja) 不満会話判定装置及び不満会話判定方法
KR20190136706A (ko) 개인 관심상황 발생 예측/인지 장치 및 방법
KR20220106029A (ko) 인공지능을 활용한 심리 상담 방법 및 장치
KR20220134715A (ko) 사용자의 정신건강 상태를 판단하기 위한 장치 및 그 방법
JP7040593B2 (ja) 接客支援装置、接客支援方法、及び、接客支援プログラム
JP7021488B2 (ja) 情報処理装置、及びプログラム
WO2019146405A1 (ja) 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム
CN114241565A (zh) 一种面部表情、目标对象状态分析方法、装置及设备
US9875236B2 (en) Analysis object determination device and analysis object determination method
JP6733901B2 (ja) 心理分析装置、心理分析方法、およびプログラム
US20210219893A1 (en) System and method for measurement of vocal biomarkers of vitality and biological aging
JP2020067562A (ja) ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190426

R150 Certificate of patent or registration of utility model

Ref document number: 6524049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150