JP2016103081A - 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム - Google Patents

会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム Download PDF

Info

Publication number
JP2016103081A
JP2016103081A JP2014239953A JP2014239953A JP2016103081A JP 2016103081 A JP2016103081 A JP 2016103081A JP 2014239953 A JP2014239953 A JP 2014239953A JP 2014239953 A JP2014239953 A JP 2014239953A JP 2016103081 A JP2016103081 A JP 2016103081A
Authority
JP
Japan
Prior art keywords
conversation
user
unit
analysis
partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014239953A
Other languages
English (en)
Other versions
JP6400445B2 (ja
Inventor
大作 若松
Daisaku Wakamatsu
大作 若松
啓一郎 帆足
Keiichiro Hoashi
啓一郎 帆足
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014239953A priority Critical patent/JP6400445B2/ja
Publication of JP2016103081A publication Critical patent/JP2016103081A/ja
Application granted granted Critical
Publication of JP6400445B2 publication Critical patent/JP6400445B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】人同士の会話を記録分析し、その利用者の会話相手の受容度および利用者の会話の巧みさを分析する装置を得る。【解決手段】ウェアラブル端末1であって、会話中で発声する重要な言葉抽出のための重要語データベース32と、会話中のある特定の話題に対するインフルエンサー抽出のための話題語データベース33と、会話の音声情報を収集するマイクロフォン11と、会話相手の顔表情と頭部の動きを映像として収集するカメラ12と、音声情報から話題語および重要語を認識する音声評価部21と、映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部22と、音声評価部及び映像評価部の認識結果から所定の重み付けをして会話に対する相手の受容度及び会話の巧みさを分析する会話分析部25と、前記受容度及び会話の巧みさを利用者にフィードバックする表示部40とを備える。【選択図】図3

Description

本発明は、人間同士のリアルなコミュニケーションの状況を分析し、リアルな人間同士の情報伝達の好ましさを評価可能とし、更に、特定の話題に関する他人への影響が大きいユーザ(インフルエンサー)を抽出可能とする会話分析装置、会話分析システム、会話分析方法及び会話分析プログラムに関する。
人間同士のリアルなコミュニケーションの状況を分析する手法としては、例えば特許文献1〜3に記載の技術が開示されている。
特許文献1では、ネットワーク上におけるバーチャルな人間関係が構築できるSNS(Social Networking Service)があり、このSNSに登録された人間関係とその投稿履歴から、どのSNSユーザがネットワーク上で影響力があるかを抽出することが行われる。
特許文献2では、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録する技術が開示されている。具体的には、会話の相手を識別しておき、会話の開始と終了をウェアラブル装置により記録し、サーバ装置で前記記録した会話をテキストに変換し、後から検索できる会話管理システムが提供されている。
特許文献3では、作業者に装着される複数のセンサと、前記複数のセンサから送信されたデータを受信する基地局と、ネットワークを介して前記基地局から前記データを受信する管理計算機とを備えるセンサネットワークシステムにおいて、センサに割り当てた識別子を赤外線通信により互いのセンサで検出し、その検出した時間を計測することで、作業者が対面していたとしてグループ化し、さらにそのグループを作業者のコミュニティとして対応付ける情報を保持するシステムが提供されている。
人間同士のコミュニケーションには発声による会話だけではなく、表情やしぐさ等のノンバーバル情報もコミュニケーションを活性化させる要素であり、話す側のスキルに関わらず、聞く側のスキルにも関係する。聞く側のスキルとして、発話以外のノンバーバル情報として「表情」や「しぐさ」が注目されており、具体的には話し相手を認めコミュニケーションが促進される要素として、表情としては「笑顔」、しぐさとしては「頷き」が知られている(非特許文献1及び非特許文献2参照)。
更に、人に幸福感を与える良いコミュニケーションとして「親切と感謝の行動」が知られている(非特許文献3参照)。
特許第5489924号公報 特開2011−180645号公報 特許第5417627号公報
『対話の流れと頷きパターン変化』(HAIシンポジウム2010、井上雅史ら) 『コミュニケーションにおける表情および身体動作の役割』(高木幸子)https://dspace.wul.waseda.ac.jp/dspace/handle/2065/27539 『親切と感謝の行動が幸福感に及ぼす影響』(北村瑞穂)
しかしながら、特許文献1に記載の技術は、あくまでSNS上のユーザ関係からインフルエンサーを効率よく発見するのみに留まり、リアルな人間関係からのインフルエンサー抽出には言及していない。
特許文献2の技術によれば、リアルな会話の開始と終了をウェアラブル装置で推測し、会話を記録し管理することができる。しかしながら、会話を記録するのみでコミュニケーションの巧みさを分析することはできない。
特許文献3においては、リアルな対面の記録をウェアラブル装置で推測し、コミュニティとして人間関係の作図を行っていたが、その一方、その人がある話題でインフルエンサーの役割を示すかについての言及はない。
このように上述した従来技術では、SNS等のビッグデータを用いて人間関係を分析する技術は存在するものの、リアルな人間関係を分析し、ある話題に関してインフルエンサーを抽出することはできなかった。
また、会話やその時の感情を記録する技術はあったものの、会話の巧みさ分析する技術は存在しなかった。
本発明は、上記実情に鑑みて提案されたもので、ウェアラブル端末を用いてリアルな会話を記録分析し、その利用者の会話相手の受容度および利用者の会話の巧みさを分析し、ある話題について他人への影響が大きいユーザ(インフルエンサー)を抽出する会話分析装置、会話分析システム、会話分析方法及び会話分析プログラムを提供することを目的としている。
上記目的を達成するため請求項1の会話分析装置は、人同士の会話を検出するため利用者の頭部に装着するウェアラブル端末であって、
前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
前記会話の音声情報を収集するマイクロフォンと、
前記音声情報から重要語を認識する音声評価部と、
前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
前記受容度を前記利用者にフィードバックする告知部と、
を備えたことを特徴としている。
請求項2は、請求項1の会話分析装置において、
前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、前記音声評価部は、前記音声情報から話題語および重要語を認識する
ことを特徴としている。
請求項3は、請求項1又は請求項2の会話分析装置において、
会話相手の顔表情と頭部の動きを映像として収集するカメラと、
前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
前記会話分析部は、前記音声評価部及び映像評価部の認識結果から一定の重み付けをして、その会話に対する相手の受容度を分析する
ことを特徴としている。
請求項4は、請求項1乃至請求項3のいずれか1項に記載の会話分析装置において、
前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成されたことを特徴としている。
請求項5は、請求項1乃至請求項3のいずれか1項に記載の会話分析装置において、
前記告知部は、前記受容度を視覚で認識できる表示装置で構成されたことを特徴としている。
請求項6は、請求項1乃至請求項3のいずれか1項に記載の会話分析装置において、
前記音声評価部は、会話のトーンおよび/またはテンポを分析する機能を備え、
前記会話分析部は、相手と利用者の会話のトーンおよび/またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備える
ことを特徴としている。
請求項7は、請求項6の会話分析装置において、
前記利用者の頭部の動きを認識する加速度センサと、
前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
前記会話分析部は、前記頷き認識部による認識結果に所定の重み付けをして前記会話の巧みさを分析する
ことを特徴としている。
請求項8は、請求項6又は請求項7の会話分析装置において、
前記会話分析部は、会話中の単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析することを特徴としている。
請求項9は、請求項1乃至請求項8のいずれか1項に記載の会話分析装置において、
前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標(TF-IDF)を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備えることを特徴としている。
請求項10の会話分析システムは、請求項1乃至請求項9のいずれか1項に記載の会話分析装置と、前記会話分析装置の会話ログを集約して管理する会話評価サーバ装置とを備え、
前記会話評価サーバ装置は、
前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
前記会話ログを会話ログデータベースに記憶する記憶部と、
を備えることを特徴としている。
請求項11は、請求項10の会話分析システムにおいて、
前記制御部は、前記会話ログを分析して、利用者の人間関係を管理する人間関係管理機能を備え、
前記記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備えることを特徴としている。
請求項12の会話分析方法は、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記受容度を前記利用者にフィードバックする手順と、
を含むことを特徴としている。
請求項13の会話分析方法は、
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記会話相手と利用者の会話のトーンおよび/またはテンポの差を集計する手順と、
前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
前記会話の巧みさを前記利用者にフィードバックする手順と、
を含むことを特徴としている。
請求項14の会話分析方法は、
複数利用者と各会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
各利用者に対して前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理する手順と、
前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行ってインフルエンサーを抽出する手順と、
を含むことを特徴としている。
請求項15の会話分析プログラムは、請求項1乃至請求項9のいずれか1項に記載の会話分析装置の各部をコンピュータ上に構築することを特徴としている。
請求項1の会話分析装置によれば、相手との会話の音声から重要語を検出し、音声分析結果から会話に対する相手の受容度を計算し、相手が会話に関する受容度(受け入れ度合い)をリアルタイムに利用者にフィードバックすることができる。
また、重要語データベースにより、相手が会話を受け入れていると判定でき、会話が意味あるものであったかを確認するための重要語を設定することができる。
請求項2の会話分析装置によれば、音声分析結果から相手の受容度を計算するに際して、話題語を検出することで、特定の話題に関する利用者による会話の受容度を評価することができる。
また、話題語データベースにより、会話を評価したい特定の話題に関する話題語を設定することができる。
請求項3の会話分析装置によれば、会話中の話題が相手に伝わったかを相手の頷く映像、笑顔の映像から検出し、音声分析結果と映像分析結果から会話に対する相手の受容度を計算し、相手の受容度(受け入れ度合い)をリアルタイムに利用者にフィードバックすることができる。
請求項4の会話分析装置によれば、告知部を音声再生部で構成することで、会話中における相手の受容度を聴覚で把握することができる。
請求項5の会話分析装置によれば、告知部を表示部で構成することで、会話中における相手の受容度を視覚で把握することができる。
請求項6の会話分析装置によれば、会話の調子(トーンおよび/またはテンポ)を分析することで、相手と同調していて気持ちよく会話を進めているかといった会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
請求項7の会話分析装置によれば、利用者自身の単位会話時間あたりの頷きの回数を分析することで、相手の言葉を利用者が一旦受け止めていることを相手に示しながら会話を進めているかといった会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
請求項8の会話分析装置によれば、利用者と会話の相手の言葉のやり取りの中で単語を繰り返して発言することで、相手の言葉を利用者が一旦受け止めしっかりと理解していることを相手に示しながら会話を進めているかの会話の巧みさについて、リアルタイムに利用者にフィードバックすることができる。
請求項9の会話分析装置によれば、利用者と会話の相手の言葉のやり取りの分析結果を1つの会話毎に記録し、更にその会話内容の特徴的な単語を記録するので、利用者が振り返りする際に会話の記憶を手繰り寄せ易くすることができる。
請求項10の会話分析システムによれば、会話分析装置の全利用者の会話ログを分析して管理可能なシステムとすることで、利用者が行った会話の受容度や会話の巧みさについて利用者全体に対して秀でているか利用者毎に評価できる他、特定の話題に関してどの利用者が他人に対し、受け入れられているか、会話が巧みであるかについて評価できる。
請求項11の会話分析システムによれば、会話分析装置の全利用者の会話ログを分析し、人間関係を紐づけることにより、どの利用者がどの話題でどの人間関係の中で中心的か(ある話題に関してインフルエンサーの抽出する)、又は、受け入れられているかを管理可能なシステムとすることができる。
請求項12の会話分析方法によれば、相手との会話の音声から話題語と重要語を検出し、会話中の話題が相手に伝わったかを相手の頷く映像、笑顔の映像から検出し、音声分析結果と映像分析結果から話題に対する相手の受容度を計算し、相手が話題に関する受容度(受け入れ度合い)をリアルタイムに利用者にフィードバックすることができる。
請求項13の会話分析方法によれば、会話相手と利用者の会話のトーンおよび/またはテンポの差を集計し分析することで、話題に対する会話の巧みさをリアルタイムに利用者にフィードバックすることができる。
請求項14の会話分析方法によれば、複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理し、複数利用者の会話ログを分析することで、リアルな人間関係におけるある話題に関するインフルエンサーを抽出することができる。
請求項15の会話分析プログラムによれば、コンピュータ上に会話分析装置を構築することができる。
会話分析システムの構成説明図である。 会話分析装置(ウェアラブル端末)のユーザへの装着状態を示すモデル図である。 会話分析装置(ウェアラブル端末)の構成の一例を示すブロック図である。 会話評価サーバ装置の構成の一例を示すブロック図である。 会話分析方法の手順を示すフローチャートである。 (a)(b)はカメラ映像から会話相手の頷きを検出する場合の正面顔表情説明図である。 (a)(b)はカメラ映像から会話相手の笑顔を検出する場合の正面顔表情説明図である。 (a)(b)はカメラ映像から利用者自身の頷きを検出する場合の側面顔表情説明図である。 図4の会話評価サーバ装置の記憶部が記憶する会話ログデータベースのレコード表である。 会話分析装置(ウェアラブル端末)の構成の他の例を示すブロック図である。 会話評価サーバ装置の構成の他の例を示すブロック図である。 図11の会話評価サーバ装置の記憶部が記憶する会話ログデータベースのレコード表である。 (a)(b)は会話分析システムの稼働中における利用者1,2の通信可能範囲と、利用者2が取得するカメラ映像を説明するためのモデル図である。 ユーザ同士の人間関係を示す人間関係マップのモデル図である。
本発明の一実施形態に係る会話分析システムについて、図1〜図9を参照しながら説明する。
会話分析システムは、図1に示すように、ウェアラブル端末で構成される会話分析装置1と、このウェアラブル端末に対してインターネット等のネットワーク2を介して接続された会話評価サーバ装置3とから構成されている。
会話分析装置(ウェアラブル端末)1及び会話評価サーバ3は、基本デバイスが記憶されたROM、各種のプログラムやデータが記憶されるハードディスクドライブ装置(HDD)、プログラムを実行するCPU等を主要部分とするコンピュータを備え、HDDに会話分析プログラムが格納されることで、会話分析システムを構築している。
会話分析装置(ウェアラブル端末)1の外観は、図2に示すように、利用者の両耳にテンプル部5を架け渡すことで利用者の顔前面に装着可能に構成され、会話相手の音声を収集する相手用マイク11a及びカメラ12が利用者の眼の高さ近くに装着されるとともに、利用者の口近くの位置にユーザ用マイク11bが装着されている。また、ウェアラブル端末1には、利用者の視覚前方に虚像が結像する表示部40が設けられている。
会話分析装置(ウェアラブル端末)1は、図3に示すように、利用者が相手と会話する場合の音声情報や映像情報等の各種情報を取得するセンサ部10と、各種情報の分析を行う制御部20と、分析結果を記憶する記憶部30と、分析結果を表示する表示部40と、分析結果を情報として外部へ送信する第1の通信部50とを備えた会話分析装置(ウェアラブル端末)1を備えている。
センサ部10は、周囲の音声情報を取得するマイクロフォン11、会話相手の顔の表情や頭の動きを映像情報として取得するカメラ12、利用者(ユーザ)の頭の動きを取得するジャイロ・加速度センサ13、装着センサ14から構成されている。
マイクロフォン11は、相手用マイク11aとユーザ用マイク11bとの2つを備え、それぞれ指向性マイクを利用している。
相手用マイク11aは、カメラ12の撮像方向に指向性をもつ受話マイクから構成されている。
ユーザ用マイク11bは、利用者の口側に向けた送話マイクとその反対面に環境マイクの2つを備えたダブルマイク(送話用/環境音の2マイク)で構成され、利用者が発話した音声信号を1つのマイクで取得したときよりもSN比の高い信号を得るようになっている。
ユーザ用マイク11bのダブルマイクに代わるマイクの構成としては、直接利用者の肌に当接させる方式のマイクロフォンとして、喉の声帯(咽喉)マイクや、頬や顎骨や耳の後ろの乳様突起などの皮膚に当接させる骨伝導マイクなどを利用して利用者が発話していることを認識させても良い。
カメラ12は、テンプル部5の前端等、ウェアラブル端末1の適宜位置に装着されることで、利用者の顔が向く前方を撮像できるようになっている。
ジャイロ・加速度センサ13は、ユーザ自身の頷きを検出するため、利用者の頭部の傾きを検出するためのものである。
このジャイロ・加速度センサ13は、3軸(X,Y,Z方向)の加速度センサを使用しても良いが、利用者の「頷き」を正確に検出するために、3軸ジャイロを検出するとともに3軸(X,Y,Z方向)の加速度を検出する6軸センサを使用するのが好ましい。
装着センサ14は、利用者がウェアラブル端末1を頭部に到着したことを検出するセンサであり、例えばテンプル部5を押し広げることによってセンサのスイッチが入る仕組みで構成されている。
制御部20は、マイクロフォン11からの発話を検出する音声評価部21と、カメラ12の映像情報から会話相手の顔表情(笑顔や頷き)を認識する映像評価部22と、ジャイロ・加速度センサ13から利用者の頷きを認識する頷き認識部23と、利用者への装着を検知する装着認識部24と、各部からの検出結果を総合的に評価して会話分析を行う会話分析部25とを備えている。
音声評価部21は、発話検出機能と、発話者認識機能と、音声認識機能と、形態素解析機能と、トーン/テンポ計測機能と、を有している。
発話検出機能は、マイクロフォン11(相手用マイク11a及びユーザ用マイク11b)から検出した音声情報から会話の開始と終了を検出する。
音声認識機能は、検出された会話をテキスト化する。
形態素解析機能は、テキストを形態素化して単語に分ける。
トーン/テンポ計測機能は、会話における会話トーン(大きさ、高さ)の一致性、会話テンポの一致性を測定する。
発話者認識機能は、ウェアラブル端末1の利用者の発話であることを認識するものである。すなわち、発話された音声を基に、話者認識により利用者が発話したか判定(発話者判定)する。発話者認識には、発話者を照合するための発話者モデルが必要となる。この発話者モデルは、ウェアラブル端末利用前に利用者に発声させ事前に作成し、後述する利用者登録データ部31に話者認識用のデータとして登録させておく。また、ウェアラブル端末1の利用中に、発声された音声から発話者モデルを随時更新しておくようにしても良い。
映像評価部22は、カメラ12からの映像情報から相手の顔情報を検出し、相手の笑顔を検出する笑顔認識機能と、相手の頷きを検出する頷き認識機能を備えている。
頷き認識部23は、ジャイロ・加速度センサ13からの情報により利用者の頷きを検出する。
装着認識部24は、装着センサ14からの信号により、利用者へのウェアラブル端末1の装着を検知する。
会話分析部25は、音声評価部21からのマイクロフォン11の音声情報による分析データ、映像評価部22からのカメラ12の映像情報による分析データ、頷き認識部23からのジャイロ・加速度センサ13による分析データを総合的に評価して会話分析を行い、その分析結果は記憶部30の会話ログ34に記憶される。
記憶部30には、話者認識用のデータが登録される利用者登録データ部31、重要語データベース32、話題語データベース33を備えるとともに、制御部20からの会話分析の分析結果が会話ログ34に記録されている。
利用者登録データ部31に登録される話者認識用のデータにより、会話の発話者の認識が可能となる。
重要語データベース32には、会話の巧みさを評価するために円滑な会話を進める上で重要な言葉(会話が意味あるものであったかを確認するための重要語)が予め登録されている。重要語データベースに登録されている重要語は、例えば、「ありがとう」「サンキュー」「感謝」等の感謝の言葉、「凄い」「良い」「カッコいい」「欲しい」「かわいい」「素晴らしい」「クール」等のポジティブ表現、「わかった」「了解」「OK」「はい」「そうします」「そうです」「その通り」等の肯定応答である言葉が登録されている。
話題語データベース33には、ある話題の会話を分析し、その話題に対して影響力の強い利用者(インフルエンサー)を見つけるための単語(話題語)がデータリストとして登録されている。例えば、通信キャリアの場合、「携帯電話」「スマートホン」「ネットワーク」「電波」「通信会社名」「サービス名」等を話題語として登録しておく。様々な分野での話題語を予め登録しておくことが好ましい。
表示部40は、制御部20による分析結果に応じた文字やアイコン等によるアドバイスが利用者の視界前方に虚像として表示されるように、ウェアラブル端末1に装着されている。具体的には、表示部40に「もっとゆっくり」「もっと大きく」「笑ってみて」等の文字やアイコン等がアドバイスとして表示される。
なお本例では、表示により視覚的に告知するようにしたが、スピーカ等の音声再生部で発する音声により聴覚を通じてアドバイスを告知するようにしても良い。
第1の通信部50は、後述する会話評価サーバ装置3へ記録するためにデータ送受信を行う。
続いて、会話評価サーバ装置3の構成について説明する。
会話評価サーバ装置3は、ウェアラブル端末1から会話分析結果をデータ受信する第1の通信部60と、会話評価を行う制御部70と、受信したデータを記録する記録部80とから構成されている。
制御部70は、第1の通信部60を介してウェアラブル端末1における会話分析結果の情報を評価する会話評価部71を備えている。
記録部80は、前記分析評価結果の情報を会話ログデータベース81に記録し管理する。また、会話ログデータベース81を使用することで、様々な問合せに対応することができる。様々な問合せの詳細については後述する。
次に、上述した会話分析システムを使用して会話分析装置(ウェアラブル端末)1で会話分析及び会話評価を行う場合の手順について、図5のフローチャートを参照して説明する。
先ず、ウェアラブル端末1が利用者の頭部に装着されているかどうかを装着認識部24で判断する(ステップ101)。
ウェアラブル端末1が装着されている場合は次の処理を行い、装着されていないと判断すると処理を終了する(ステップ102)。
ウェアラブル端末1が装着されている場合、会話開始の検出の有無を判定する(ステップ103)。具体的には、ユーザ用マイク(送話用マイク/環境音用マイクの2マイク)11bから音声を収集し、利用者の周囲の環境について、騒音レベルを10秒毎に評価する(環境騒音キャリブレーション)。環境音(環境ノイズ)は、様々な方向から発生することを考えると拡散性があると考えられるので、2つのマイクで検出する騒音レベルの差は少ないものと判断する。
利用者が発話すると、ユーザ用マイク11bの送話用マイクへ環境音用マイクよりも大きな音声信号が入る。送話用マイクと環境音用マイクの音声の差を測定し、6dB以上の差がある場合、信号が入った(利用者が発話した)として会話分析を開始する。
「会話分析を開始」の場合、以下の処理が行われる。
・会話開始時刻を記憶し、会話時間計測を開始する。
・会話終了時を検出するための会話終了検出タイマを起動する。
・相手用マイク11aをONにし、相手の声の音声取得を開始する。
・カメラ12をONにして映像取得を開始する。
・ジャイロ・加速度センサ13をONにし、センサからのデータ収集を開始する。
続いて、ウェアラブル端末1の制御部20が上述した各情報を取得することで会話分析を行う(ステップ104)。
会話分析については、後述する。
会話終了を判定する(ステップ105)。
会話終了は、例えば会話終了タイマを30秒とし、ユーザ発話が30秒間検出しなかった場合、会話終了と判定する。
・会話時間を確定する。
・相手用マイク11aをOFFにする。
・カメラ12をOFFにする。
・ジャイロ・加速度センサ13をOFFにする。
会話終了と判定した場合、会話の評価・記録を行う(ステップ106)。
会話の評価・記録については、後述する。
前記会話分析(ステップ104)は、次の手順で行われる。
「音声のテキスト化、会話のテンポ(発話速度)の分析」
先ず、ユーザ用マイク11bで集音した音声と相手用マイク11aで集音した音声をそれぞれ音声認識によるテキスト化(ディクテーション)する。
また、音声認識したテキストのスピード(話す速度)をユーザと相手の発声毎に分析する。
ここで、「会話のテンポが一致する」とは、音声認識機能により音声が一度音素化されるが、この音素化された数とその時間の比をテンポとする。1回発声される毎にこのテンポを計算し、1つ前の発声のテンポと差を取り、1会話が終わるまで差を加算し続ける。また加算回数も計測する。
「会話テキストの分析、同一語の繰り返し回数分析」
前記テキストを形態素解析して単語に分割し、会話が終わるまで記憶する。
ここで、「同一語の繰り返し回数」は、音声認識機能により音声がテキスト化されて、1発声毎に音声認識されたテキスト中の名詞と、その前の発声で音声認識したテキスト中の名詞とを比較し、同一語があれば同一語の繰り返しとして「+1」加算する。
「会話のトーンの分析」
ここで、「会話のトーンが一致する」とは、相手の声量と自身の声量がほぼ一致していることである。
マイクロフォン11で収録された音声の1発声毎のA特性音圧レベルの平均値を計測し、1つ前の相手の発声の音圧レベルとの差を取り、1会話が終わるまで差を加算する。加算回数もカウントしておく。
「カメラ映像からの相手の顔検出時間の計算」
カメラ12から映像を取得し、映像の中に顔のある位置をパターン認識で検出する。
パターン認識する特徴点は、頭部輪郭に対する両目の位置とその間の鼻、口である。
顔を検出していた時間を積算する。
「カメラ映像からの相手の頷き回数の計算」
カメラ12の映像から検出した顔の位置を更に分析し、頷いたかどうかを判定する。
映像スライス毎に目と口を囲む四角形の縦横の比を算出し、その比の時系列変化から推定する。
すなわち、図6(a)に示すような、目と口を囲む四角(点線で囲まれた領域)が正方形に近い(縦:横の比が大きい)状態から、図6(b)に示すような、目と口を囲む四角(点線で囲まれた領域)が潰れた長方形(縦:横の比が小さい)状態に徐々に変化し、その後、また元の大きさ(図6(a))に戻る変化を1つの「頷き」と判断する。カメラ12の映像から、「頷き」と判定した時刻と回数を記録する。
「カメラ映像からの相手の笑顔判定時間の計算」
カメラ12の映像から検出した顔の位置を更に分析し、笑顔かどうかを判定する。
笑顔は、図7に示すように、普通の表情の状態(図7(a))と、笑顔の状態(図7(b))との目尻の下がりと口角の上がりやしわ(ホウレイ線の深さ)の関係を取得し、予め決めておいた閾値と比較することで笑顔を推定する。笑顔と判定していた時間を積算する。
「ジャイロ・加速度センサからの頷きの計算」
利用者自身の「頷き」は、ジャイロ・加速度センサ13からのデータにより判定する。
すなわち、1回の頷きとは、図8に示すように、利用者が正面を向いた状態(図8(a))から首を前に傾けた状態(図8(b))へ、そして再び正面を向いた状態(図8(a))に戻る動作とする。
例えば、6軸のジャイロ・加速度センサ13が眼鏡のテンプル部(つる)5の部分に配置されているとした場合、各軸を以下のように定義する。
X軸:利用者の左右方向に貫く軸。X軸を中心にした回転を「ピッチ」とする。
Y軸:利用者の前後方向に貫く軸。Y軸を中心にした回転を「ロール」とする。
Z軸:利用者の上下方向に貫く軸。Z軸を中心にした回転を「ヨー」とする。
まず重力により下方向へ重力ベクトルを3軸加速度センサから認識できる。つまりZ軸下方向への加速度が恒常的にある状態である。
利用者が、頷き首を前に倒すと、図8(b)の状態になる。ジャイロセンサのピッチ角が推定位置より下がる。また、Z軸下方への加速度が一時的に減少し、Y軸前方向に重力成分が表れる。
利用者が、首を元倒すと、図8(a)の状態に戻る。
ジャイロセンサのピッチ角が水平位置にもとに戻り。また、Z軸下方への加速度が一時的に増大し、Y軸前方向に重力成分が減少する。
この一連の変化をパターン認識し、1回の頷き回数とする。
ウェアラブル端末(会話分析装置)1の制御部20の分析結果のデータ(センサ部10の各データ)に基づいて、会話分析部25は会話の受容度および会話の巧みさを評価する指標を計算し、会話ログ34に記録し会話が継続する間は更新をする。指標の計算の詳細については後述する。
続いて、会話の受容度および会話の巧みさを評価する各指標の計算方法について説明する。
これらの指標を求めるために、以下の単位時間あたりの各行動を計測する。
会話が終わるまで待たずに例えば15秒周期で指標を再計算し更新する。
・頷かれ回数(相手の頷き回数)
・頷き回数(自身の頷き回数)
・重要語の回数(自身及び相手による発話)
・笑い時間
・対向時間
・会話トーンの一致性
・会話テンポの一致性
・繰り返し回数
頷き回数:NnrおよびNnd
頷きは相手を認め、肯定している行動である。会話単位時間あたりで頷かれの多い人は、相手にわかりやすい話し方をしており、相手に受け入れられていると考えられる。
Nnr = (相手の頷き回数)/(会話時間)
Nnd = (自身の頷き回数)/(会話時間)
ここで、頷かれ回数(相手の頷き回数)は、カメラ12に相手の顔が映り、頷き検出機能により「頷き」と推定していた回数とする。
ここで、頷き回数(自身の頷き回数)は、ジャイロ加速度センサ13からの頷き検出機能により「頷き」と推定していた回数とする。
会話を進める中で、予め決めていた閾値よりNnrが低い場合は、表示部40に相手の頷きが足りない旨を表示する。
会話を進める中で、予め決めていた閾値よりNndが低い場合は、表示部40に自身の頷きが足りない旨を表示する。
笑われた時間:Tsr
笑いは会話を円滑に進めるための行動である。
会話単位時間あたりで笑われの多い人は、楽しく円滑に会話を進めていることを示す。
Tsr = (相手が笑った時間)/(相手の顔を検出していた時間)
ここで、「相手が笑った時間」は、カメラに相手の顔が映り、笑顔検出機能により笑顔と推定していた時間とする。
会話を進める中で、予め決めていた閾値よりTsrが低い場合は、表示部に相手の笑顔が足りない旨を表示する。
重要語の回数:NtrおよびNtd
重要語とは、重要語データベースの単語と一致した回数を記録する。会話単位時間あたりで重要後を発言する場合、重要語を発言する側にとって会話の内容が有益で肯定的な内容であることを示す。
Ntr = (相手の重要語の発声回数)/(会話時間)
Ntd = (自身の重要語の発声回数)/(会話時間)
ここで、「重要語の発声回数」は、音声認識機能により音声がテキスト化されて、そのテキスト中重要語が含まれた数とする。
会話を進める中で、予め決めていた閾値よりNtrが低い場合は、表示部40に会話内容を変更する旨を表示する。
対向時間:Ted
会話をする時は、相手の目を見ることで信頼感が得られる。
会話単位時間あたりで相手を見ている人は、集中して、あるいは興味を持って会話していることを示す。
Ted = (相手の顔を見ていた時間)/(会話時間)
ここで、「相手の顔を見ていた時間」は、カメラに相手の顔が映り、顔検出機能により目と口の顔検出ができていた時間とする。
会話を進める中で、予め決めていた閾値よりTedが低い場合は、表示部40に相手をもっと見る旨を表示する。
会話のトーンが一致している時間:Rst
会話のトーンとは、声の張り具合である。声の張り具合が異なる会話は心理的にお互いの同調感が感じられない。
Rst= (会話のトーンの差の総和)/(加算した回数)
加算したものを加算回数で割ると、差の平均値が出る。
Rstが大きいほど声量の差があり、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRstが大きい場合は、表示部40に相手の声の調子をまねる旨を表示する。
会話のテンポが一致している時間:Rss
会話のテンポとは、発声のスピードである。発声のスピード感が異なる会話は心理的に同調感が感じられない。
Rss = (会話のテンポの差の総和)/(加算した回数)
Rssが大きいほどテンポがズレていて、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRssが大きい場合は、表示部40に相手の声の調子をまねる旨を表示する。
同一語の繰り返し発生回数:Nrd
会話である言葉が繰り返される際、両者から同一な言葉が発声されるとその言葉について理解されたと感じる。
Nrd = (同一語の発声回数)/(会話時間)
同一語の発声回数が多い程、相手の話を傾聴し、一度受け止めていると感じさせる。
つまりNrdが大きい程会話が巧みであるとする。
会話を進める中で、予め決めていた閾値よりNrdが小さい場合は、表示部40に繰り返しをする旨を表示する。
これらの値を以下の式で計算して、その1会話の相手受容度(Rc)と会話の巧みさ(Cc)を数値化する。
Rcが高い程、会話が受け入れられていることを示し、Ccが高い程会話が巧みだったことを示す。
会話の相手受容度
Rc= a1×Nnr + a2×Ntr + a3×Tsr
会話の巧みさ
Cc= a1×Nnr + a2×Ntr + a3×Tsr + a4×Nnd + a5×Ntd + a6×Ted - a7×Rst - a8×Rss + a9×Nrd
それぞれの項のa1〜a9は、各項の所定の重み付け定数(0以上の値)である。
また、音声評価部21においては、音声認識結果のテキストを形態素解析し,名詞に分類された単語を全て文書として会話ログ34に記憶する。
以上の処理を会話が終了したと判定されまで継続する。
前記の会話の評価・記録(ステップ106)については、以下の手順で行う。
会話が終了したと判定されると、ウェアラブル端末(会話分析装置)1の制御部20の会話分析部25は、前記会話の受容度と会話の巧みさの指標を確定した会話時間で更新し、会話ログ34の全会話文書を用いて以下の方法で、その会話の特徴語を求める。
文書中の全単語のTF(term frequency)値を計算し、TF値の最も大きい単語をその会話の特徴語としてもよい。TF値は、その文章の中でその単語が出現した頻度を表す。
また、最頻出している単語の代わりに、そのユーザの会話の文書の全単語と調査したい期間の全会話文書を対象として、TF-IDF値を計算し、TF-IDF値の最も高い単語を特徴語として会話記録する。
出現頻度は、TF-IDF(Term Frequency - Inverse Document Frequency:単語の出現頻度−逆出現頻度)値であってもよい。TF-IDFとは、文書中に出現した単語がどのくらい特徴的であるかを識別するための指標をいう。TF(term frequency)は、その文書の中でその単語が出現した頻度を表す。
IDF(inverse document frequency)は、全文書の中でその単語を含む文書数の自然対数で表し、この値が高い程その単語が全文書内で普く頻出していない単語であることを現す。
そして、TF値×IDF値が高い値を持つ単語ほど、重要であるとする。
また、話題語データベース33に予め登録しておいた話題語が含まれる場合、その話題語を会話ログ34に記録する。
以上が1会話のみに着目し、その会話の受容度および会話の巧みさを評価する場合の手順となる。
1つの会話についての会話ログの生成が完了したので、ウェアラブル端末1の会話分析部25は第1の通信部50を介して音声評価サーバ3に会話ログを転送する。
会話評価サーバ3の制御部70は第1の通信部60から会話ログを受信すると、会話ログを記憶部80の会話ログデータベース81に記録する。
1会話の分析結果を記録する会話ログデータベース81のレコード値を図9に示す。
会話ログは、ユーザID毎の1会話で管理され、会話開始時刻及び会話時間とともに、上述した各指標が記憶されている。
また、TF値等を計算するため、会話中の全名詞のリストが記憶されるとともに、会話中に存在した特徴語のリスト及び話題語のリストが記憶されている。
会話評価サーバ装置3の会話評価部71では、この会話のログを更に分析し、利用者の全会話を分析し、全利用者のRcとCcと比較(平均や標準偏差)することで、普く会話の受容度の指標Rcと会話の巧みさの指標Ccが高い利用者は、会話が受け入れられており会話が巧みと評価できる。
また、この会話のログの話題語毎に更に分析することで、どのような会話の話題が相手に受け入れられたかを評価できる。
例えば、話題語が含まれる会話記録を参照し、会話の巧みさ度Ccを評価する。
話題語が会話に含まれた全ユーザを検索し、そのユーザ毎に話題語が出現した全会話数でCcの統計値(平均値や標準偏差)を計算する。会話の巧みさ度Ccが比較的高ければ、その話題に対して影響力のあるユーザであるといえる。
上述した会話分析システムによれば、ユーザが行った会話の巧みさの評価が可能になるので、例えば以下のようなケースに使用することができる。
使用例1:接客時の店員の会話の巧みさの評価に利用する。店員と顧客の会話が顧客に受け入れられており店員の会話が巧みで巧く進んでいるか店員はウェアラブル端末を使用することでリアルタイムに確認することもでき、店員の管理者はどの店員の会話が巧みだったか、会話評価サーバに問合せすることにより確認することができる。
使用例2:まだウェアラブル端末が一般ユーザに普及していない時にでも、そのウェアラブル端末を使用しているユーザについて、ある話題語に対する他人への影響力を推測することができる。
次に、本発明に係る会話分析システムの実施形態の他の例について、図10〜14を参照しながら説明する。
この会話分析システムでは、図10の会話分析装置(ウェアラブル端末)と、図11の会話評価サーバ装置3を使用することで、インフルエンサー(他人への影響が大きいユーザ)の抽出を行う。
すなわち、この会話分析システムでは、会話の相手を特定し、リアルな人間関係を自動的に推測可能としている。会話相手との人間関係を知るため、利用者自身の他、会話相手も識別するようになっている。
この会話分析システムでは、会話分析装置(ウェアラブル端末)1を利用者自身の他、会話の相手も使用していることが前提となる。会話の両者がウェアラブル端末1を使用することで、システムで一意なユーザ識別子(ユーザID)を各利用者に付与する。ウェアラブル端末1は会話中の相手のユーザIDを知ることで、図1〜4の会話分析システムにおける相手側の「頷き」や「笑顔」の度合いがどのユーザから得られたのか具体的に知ることができる。
図10の会話分析装置(ウェアラブル端末)1と、図11の会話評価サーバ装置3を利用した会話分析システムにおいて、図3及び図4と同一構成を採る部分については同一符号を付している。以下、図3及び図4の会話分析システムと異なる構成を中心に説明する。
この会話分析システムのウェアラブル端末1では、ユーザIDをウェアラブル端末間で交換するための第2の通信部51を備える。
具体的には、IR(赤外線)通信のIrDA規格であるIrSS(登録商標)を用いても良く、赤外線の指向性を制御して、例えば正面中心から左右30°(合計60°)指向性で送受信する。また、赤外線通信の代わり超音波通信でも良いし、GHz帯以上の指向性を持つ電波無線通信でも良い。
また、図9に対応する会話ログデータベースのレコード値(図12)では、相手ユーザを特定するための相手ユーザIDが追加されている。
ユーザIDは、ウェアラブル端末1に予め製造シリアル番号を記録して使用しても良いし、ユーザ登録の際にシステムで一意になるような任意なコードを登録しても良い。
第2の通信部51を用いることで、図13に示すように、互いに対面した時に相手側のウェアラブル端末1との通信可能範囲における直接的な通信が可能となり、ID交換し会話の相手を自動的に特定することができる。
この会話分析システムの会話評価サーバ装置3では、制御部10がユーザIDから会話ログを分析して利用者の人間関係を管理するための人間関係管理機能72を備えている。また、記憶部30は、利用者の人間関係を紐づけて記憶する人間関係データベース82を備えている。
人間関係管理機能では、会話の相手を特定することで互いのウェアラブル端末で計測した会話の巧みさ指標Ccを算出するための指標を、会話ログを記録する毎に自身のIDと相手のユーザIDと会話開始時刻から照合し会話ログが一致するものであれば、それぞれの自身の笑顔の時間(Tsd:図12)も相手のウェアラブル端末の計測結果の会話ログから知ることができ、指針のデータとして補完することができる。
さらに、図14に示すような、ユーザ同士のリアルな人間関係マップを自動的に構築する。
図14の人間関係マップでは、会話ログの自身のIDと相手のIDとの結び付き度を、分析したい任意の期間の会話ログにおけるユーザ間の総会話時間でリンクの太さで示し、リンクの方向を全Rcの差で示している。また、受け入れ度である相手受容度(Rc)が大きい方へ情報が流れていることを意味する。
例えば、図14のID:W1とID:W2のユーザを例に説明すると、他と比較してユーザ同士のリンクが太いので強い結び付きがあり、矢印の向きがユーザW2の方向がより大きいので、ユーザW2がユーザW1をより受け入れている(受容度が高い)ことを示している。また、情報の流れがユーザW2の方向にあるものと推測できる。
また、人間関係マップにおいては、ある話題毎にフィルタリングして俯瞰することもできる。
このように、全ユーザの人間関係を図14のようにマッピングして、ある話題でフィルタリングすることで、その話題で中心的なユーザを見つけることができる。即ち、リアルな人間関係における特定の話題に関するインフルエンサーを見つけることができる。
上述した会話分析装置によれば、人同士のリアルな会話を分析し、ある分野のインフルエンサーを抽出することができるので、インフルエンサーとされた利用者に対してダイレクトメール等で話題語に関連する最新情報や広告を送りこむこと等で、そのユーザの周りのリアルな人間関係を通じて情報伝達が期待できる。
また、店舗接客において会話分析装置を使用することで、店員と客とのリアルなミュニケーションについて、店員がどれだけ客に認められて納得される会話を実施したかを計測できるので、定員の客観的な接客力を判定することができる。
1…会話分析装置(ウェアラブル端末)、 2…インターネット、 3…会話評価サーバ装置、 5…テンプル部、 10…センサ部、 11…マイクロフォン、 11a…相手用マイク、 11b…ユーザ用マイク、 12…カメラ、 13…ジャイロ・加速度センサ、 14…装着センサ、 20…制御部、 21…音声評価部、 22…映像評価部、 23…頷き認識部、 24…装着認識部、 25…会話分析部、 30…記憶部、 31…利用者登録データ部、 32…重要語データベース、 33…話題語データベース、 34…会話ログ、 40…表示部、 50…第1の通信部、 51…第2の通信部、 60…第1の通信部、 70…制御部、 71…会話評価部、 72…人間関係管理部、 80…記憶部、 81…会話ログデータベース、 82…人間関係データベース。

Claims (15)

  1. 人同士の会話を検出するため利用者の頭部に装着するウェアラブル端末であって、
    前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
    前記会話の音声情報を収集するマイクロフォンと、
    前記音声情報から重要語を認識する音声評価部と、
    前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
    前記受容度を前記利用者にフィードバックする告知部と、
    を備えたことを特徴とする会話分析装置。
  2. 前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、前記音声評価部は、前記音声情報から話題語および重要語を認識する請求項1に記載の会話分析装置。
  3. 会話相手の顔表情と頭部の動きを映像として収集するカメラと、
    前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
    前記会話分析部は、前記音声評価部及び映像評価部の認識結果から所定の重み付けをして、その会話に対する相手の受容度を分析する
    請求項1又は請求項2に記載の会話分析装置。
  4. 前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成された請求項1乃至請求項3のいずれか1項に記載の会話分析装置。
  5. 前記告知部は、前記受容度を視覚で認識できる表示装置で構成された請求項1乃至請求項3のいずれか1項に記載の会話分析装置。
  6. 前記音声評価部は、会話のトーンおよび/またはテンポを分析する機能を備え、
    前記会話分析部は、相手と利用者の会話のトーンおよび/またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
    前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備える
    請求項1乃至請求項3のいずれか1項に記載の会話分析装置。
  7. 前記利用者の頭部の動きを認識する加速度センサと、
    前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
    前記会話分析部は、前記頷き認識部による認識に所定の重み付けをして前記会話の巧みさを分析する請求項6に記載の会話分析装置。
  8. 前記会話分析部は、会話中の単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析する請求項6又は請求項7に記載の会話分析装置。
  9. 前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標(TF-IDF)を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備える請求項1乃至請求項8のいずれか1項に記載の会話分析装置。
  10. 請求項1乃至請求項9のいずれか1項に記載の会話分析装置と、前記会話分析装置の会話ログを集約して管理する会話評価サーバ装置とを備え、
    前記会話評価サーバ装置は、
    前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
    前記会話ログを会話ログデータベースに記憶する記憶部と、
    を備えることを特徴とする会話分析システム。
  11. 前記制御部は、前記会話ログを分析して、利用者の人間関係を管理する人間関係管理機能を備え、
    前記記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備える請求項10に記載の会話分析システム。
  12. 利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
    前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
    前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
    前記受容度を前記利用者にフィードバックする手順と、
    を含むことを特徴とする会話分析方法。
  13. 利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
    前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
    前記会話相手と利用者の会話のトーンおよび/またはテンポの差を集計する手順と、
    前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
    前記会話の巧みさを前記利用者にフィードバックする手順と、
    を含むことを特徴とする会話分析方法。
  14. 複数利用者と各会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
    各利用者に対して前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
    前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
    前記複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理する手順と、
    前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行ってインフルエンサーを抽出する手順と、
    を含むことを特徴とする会話分析方法。
  15. 請求項1乃至請求項9のいずれか1項に記載の会話分析装置の各部をコンピュータ上に構築することを特徴とする会話分析プログラム。
JP2014239953A 2014-11-27 2014-11-27 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム Active JP6400445B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014239953A JP6400445B2 (ja) 2014-11-27 2014-11-27 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014239953A JP6400445B2 (ja) 2014-11-27 2014-11-27 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム

Publications (2)

Publication Number Publication Date
JP2016103081A true JP2016103081A (ja) 2016-06-02
JP6400445B2 JP6400445B2 (ja) 2018-10-03

Family

ID=56088950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014239953A Active JP6400445B2 (ja) 2014-11-27 2014-11-27 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム

Country Status (1)

Country Link
JP (1) JP6400445B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109545243A (zh) * 2019-01-23 2019-03-29 北京猎户星空科技有限公司 发音质量评价方法、装置、电子设备及存储介质
JP2019148925A (ja) * 2018-02-26 2019-09-05 国立大学法人山口大学 行動分析システム
JP2019200475A (ja) * 2018-05-14 2019-11-21 富士通株式会社 活性度評価プログラム、装置、及び方法
JP2020514847A (ja) * 2017-01-20 2020-05-21 コウベ・グローバル・テクノロジーズ・ピーティイー・リミテッドKobe Global Technologies Pte Ltd インフルエンサーを広告キャンペーンとマッチングするためのシステムと方法
WO2020116531A1 (ja) * 2018-12-05 2020-06-11 株式会社 東芝 会話分析システム、方法及びプログラム
WO2020148920A1 (ja) * 2019-01-16 2020-07-23 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JPWO2019142429A1 (ja) * 2018-01-22 2020-12-17 日本電気株式会社 情報処理装置、分析方法、及びプログラム
EP3739573A4 (en) * 2018-01-12 2021-01-13 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN112463108A (zh) * 2020-12-14 2021-03-09 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质
DE102021125686A1 (de) 2020-11-19 2022-05-19 Toyota Jidosha Kabushiki Kaisha Sprechevaluationssystem, Sprechevaluationsverfahren und Programm
US11398224B2 (en) 2019-10-28 2022-07-26 Ricoh Company, Ltd. Communication system and method for providing advice to improve a speaking style
WO2023176537A1 (ja) * 2022-03-14 2023-09-21 ソニーグループ株式会社 推定装置、推定方法および推定プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244190A (ja) * 2009-04-02 2010-10-28 Ntt Docomo Inc 通信端末及び情報表示方法
JP2011221683A (ja) * 2010-04-07 2011-11-04 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム
JP2013206389A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 親密度算出方法、親密度算出プログラムおよび親密度算出装置
US20140081643A1 (en) * 2012-09-14 2014-03-20 Avaya Inc. System and method for determining expertise through speech analytics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244190A (ja) * 2009-04-02 2010-10-28 Ntt Docomo Inc 通信端末及び情報表示方法
JP2011221683A (ja) * 2010-04-07 2011-11-04 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム
JP2013206389A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 親密度算出方法、親密度算出プログラムおよび親密度算出装置
US20140081643A1 (en) * 2012-09-14 2014-03-20 Avaya Inc. System and method for determining expertise through speech analytics

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020514847A (ja) * 2017-01-20 2020-05-21 コウベ・グローバル・テクノロジーズ・ピーティイー・リミテッドKobe Global Technologies Pte Ltd インフルエンサーを広告キャンペーンとマッチングするためのシステムと方法
US11837233B2 (en) 2018-01-12 2023-12-05 Sony Corporation Information processing device to automatically detect a conversation
EP3739573A4 (en) * 2018-01-12 2021-01-13 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JPWO2019142429A1 (ja) * 2018-01-22 2020-12-17 日本電気株式会社 情報処理装置、分析方法、及びプログラム
JP2019148925A (ja) * 2018-02-26 2019-09-05 国立大学法人山口大学 行動分析システム
JP2019200475A (ja) * 2018-05-14 2019-11-21 富士通株式会社 活性度評価プログラム、装置、及び方法
JP7139680B2 (ja) 2018-05-14 2022-09-21 富士通株式会社 活性度評価プログラム、装置、及び方法
JPWO2020116531A1 (ja) * 2018-12-05 2021-09-30 株式会社東芝 会話分析システム、方法及びプログラム
WO2020116531A1 (ja) * 2018-12-05 2020-06-11 株式会社 東芝 会話分析システム、方法及びプログラム
JP7305678B2 (ja) 2018-12-05 2023-07-10 株式会社東芝 会話分析システム、方法及びプログラム
WO2020148920A1 (ja) * 2019-01-16 2020-07-23 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP7036046B2 (ja) 2019-01-16 2022-03-15 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
JP2020113197A (ja) * 2019-01-16 2020-07-27 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN109545243B (zh) * 2019-01-23 2022-09-02 北京猎户星空科技有限公司 发音质量评价方法、装置、电子设备及存储介质
CN109545243A (zh) * 2019-01-23 2019-03-29 北京猎户星空科技有限公司 发音质量评价方法、装置、电子设备及存储介质
US11398224B2 (en) 2019-10-28 2022-07-26 Ricoh Company, Ltd. Communication system and method for providing advice to improve a speaking style
DE102021125686A1 (de) 2020-11-19 2022-05-19 Toyota Jidosha Kabushiki Kaisha Sprechevaluationssystem, Sprechevaluationsverfahren und Programm
JP2022081050A (ja) * 2020-11-19 2022-05-31 トヨタ自動車株式会社 発言評価システム、発言評価方法、及び、プログラム
JP7354992B2 (ja) 2020-11-19 2023-10-03 トヨタ自動車株式会社 発言評価システム、発言評価方法、及び、プログラム
DE102021125686B4 (de) 2020-11-19 2024-02-08 Toyota Jidosha Kabushiki Kaisha Sprechevaluationssystem, Sprechevaluationsverfahren und Programm
CN112463108A (zh) * 2020-12-14 2021-03-09 美的集团股份有限公司 语音交互处理方法、装置、电子设备及存储介质
WO2023176537A1 (ja) * 2022-03-14 2023-09-21 ソニーグループ株式会社 推定装置、推定方法および推定プログラム

Also Published As

Publication number Publication date
JP6400445B2 (ja) 2018-10-03

Similar Documents

Publication Publication Date Title
JP6400445B2 (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
US11785395B2 (en) Hearing aid with voice recognition
US10486312B2 (en) Robot, robot control method, and robot system
US11979716B2 (en) Selectively conditioning audio signals based on an audioprint of an object
CN107153496B (zh) 用于输入表情图标的方法和装置
CN107818798B (zh) 客服服务质量评价方法、装置、设备及存储介质
US7725547B2 (en) Informing a user of gestures made by others out of the user's line of sight
US20180077095A1 (en) Augmentation of Communications with Emotional Data
CN108139988B (zh) 信息处理系统和信息处理方法
US20180276281A1 (en) Information processing system, information processing method, and storage medium
CN107918771A (zh) 人物识别方法和佩戴式人物识别系统
US20180054688A1 (en) Personal Audio Lifestyle Analytics and Behavior Modification Feedback
CN109308178A (zh) 一种语音画图方法及其终端设备
CN108763475B (zh) 一种录制方法、录制装置及终端设备
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
JP7123856B2 (ja) プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置
JP2019133451A (ja) 評価方法、評価装置、評価プログラム、および、評価システム
JP2023540536A (ja) マルチモーダルゲームビデオの要約
JP2023540537A (ja) メタデータによるマルチモーダルゲームビデオの要約
TW202223804A (zh) 電子資源推送方法及系統
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
JP6285377B2 (ja) コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム
EP3288035B1 (en) Personal audio analytics and behavior modification feedback
CN111326175A (zh) 一种对话者的提示方法及穿戴设备
JP7123028B2 (ja) 情報処理システム、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180905

R150 Certificate of patent or registration of utility model

Ref document number: 6400445

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150