JP2016103081A - 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム - Google Patents
会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム Download PDFInfo
- Publication number
- JP2016103081A JP2016103081A JP2014239953A JP2014239953A JP2016103081A JP 2016103081 A JP2016103081 A JP 2016103081A JP 2014239953 A JP2014239953 A JP 2014239953A JP 2014239953 A JP2014239953 A JP 2014239953A JP 2016103081 A JP2016103081 A JP 2016103081A
- Authority
- JP
- Japan
- Prior art keywords
- conversation
- user
- unit
- analysis
- partner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
特許文献1では、ネットワーク上におけるバーチャルな人間関係が構築できるSNS(Social Networking Service)があり、このSNSに登録された人間関係とその投稿履歴から、どのSNSユーザがネットワーク上で影響力があるかを抽出することが行われる。
更に、人に幸福感を与える良いコミュニケーションとして「親切と感謝の行動」が知られている(非特許文献3参照)。
また、会話やその時の感情を記録する技術はあったものの、会話の巧みさ分析する技術は存在しなかった。
前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
前記会話の音声情報を収集するマイクロフォンと、
前記音声情報から重要語を認識する音声評価部と、
前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
前記受容度を前記利用者にフィードバックする告知部と、
を備えたことを特徴としている。
前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、前記音声評価部は、前記音声情報から話題語および重要語を認識する
ことを特徴としている。
会話相手の顔表情と頭部の動きを映像として収集するカメラと、
前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
前記会話分析部は、前記音声評価部及び映像評価部の認識結果から一定の重み付けをして、その会話に対する相手の受容度を分析する
ことを特徴としている。
前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成されたことを特徴としている。
前記告知部は、前記受容度を視覚で認識できる表示装置で構成されたことを特徴としている。
請求項6は、請求項1乃至請求項3のいずれか1項に記載の会話分析装置において、
前記音声評価部は、会話のトーンおよび/またはテンポを分析する機能を備え、
前記会話分析部は、相手と利用者の会話のトーンおよび/またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備える
ことを特徴としている。
前記利用者の頭部の動きを認識する加速度センサと、
前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
前記会話分析部は、前記頷き認識部による認識結果に所定の重み付けをして前記会話の巧みさを分析する
ことを特徴としている。
前記会話分析部は、会話中の単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析することを特徴としている。
前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標(TF-IDF)を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備えることを特徴としている。
前記会話評価サーバ装置は、
前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
前記会話ログを会話ログデータベースに記憶する記憶部と、
を備えることを特徴としている。
前記制御部は、前記会話ログを分析して、利用者の人間関係を管理する人間関係管理機能を備え、
前記記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備えることを特徴としている。
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記受容度を前記利用者にフィードバックする手順と、
を含むことを特徴としている。
利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記会話相手と利用者の会話のトーンおよび/またはテンポの差を集計する手順と、
前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
前記会話の巧みさを前記利用者にフィードバックする手順と、
を含むことを特徴としている。
複数利用者と各会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
各利用者に対して前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理する手順と、
前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行ってインフルエンサーを抽出する手順と、
を含むことを特徴としている。
また、重要語データベースにより、相手が会話を受け入れていると判定でき、会話が意味あるものであったかを確認するための重要語を設定することができる。
また、話題語データベースにより、会話を評価したい特定の話題に関する話題語を設定することができる。
会話分析システムは、図1に示すように、ウェアラブル端末で構成される会話分析装置1と、このウェアラブル端末に対してインターネット等のネットワーク2を介して接続された会話評価サーバ装置3とから構成されている。
会話分析装置(ウェアラブル端末)1及び会話評価サーバ3は、基本デバイスが記憶されたROM、各種のプログラムやデータが記憶されるハードディスクドライブ装置(HDD)、プログラムを実行するCPU等を主要部分とするコンピュータを備え、HDDに会話分析プログラムが格納されることで、会話分析システムを構築している。
マイクロフォン11は、相手用マイク11aとユーザ用マイク11bとの2つを備え、それぞれ指向性マイクを利用している。
ユーザ用マイク11bは、利用者の口側に向けた送話マイクとその反対面に環境マイクの2つを備えたダブルマイク(送話用/環境音の2マイク)で構成され、利用者が発話した音声信号を1つのマイクで取得したときよりもSN比の高い信号を得るようになっている。
このジャイロ・加速度センサ13は、3軸(X,Y,Z方向)の加速度センサを使用しても良いが、利用者の「頷き」を正確に検出するために、3軸ジャイロを検出するとともに3軸(X,Y,Z方向)の加速度を検出する6軸センサを使用するのが好ましい。
発話検出機能は、マイクロフォン11(相手用マイク11a及びユーザ用マイク11b)から検出した音声情報から会話の開始と終了を検出する。
音声認識機能は、検出された会話をテキスト化する。
形態素解析機能は、テキストを形態素化して単語に分ける。
トーン/テンポ計測機能は、会話における会話トーン(大きさ、高さ)の一致性、会話テンポの一致性を測定する。
利用者登録データ部31に登録される話者認識用のデータにより、会話の発話者の認識が可能となる。
なお本例では、表示により視覚的に告知するようにしたが、スピーカ等の音声再生部で発する音声により聴覚を通じてアドバイスを告知するようにしても良い。
会話評価サーバ装置3は、ウェアラブル端末1から会話分析結果をデータ受信する第1の通信部60と、会話評価を行う制御部70と、受信したデータを記録する記録部80とから構成されている。
制御部70は、第1の通信部60を介してウェアラブル端末1における会話分析結果の情報を評価する会話評価部71を備えている。
記録部80は、前記分析評価結果の情報を会話ログデータベース81に記録し管理する。また、会話ログデータベース81を使用することで、様々な問合せに対応することができる。様々な問合せの詳細については後述する。
先ず、ウェアラブル端末1が利用者の頭部に装着されているかどうかを装着認識部24で判断する(ステップ101)。
ウェアラブル端末1が装着されている場合は次の処理を行い、装着されていないと判断すると処理を終了する(ステップ102)。
利用者が発話すると、ユーザ用マイク11bの送話用マイクへ環境音用マイクよりも大きな音声信号が入る。送話用マイクと環境音用マイクの音声の差を測定し、6dB以上の差がある場合、信号が入った(利用者が発話した)として会話分析を開始する。
・会話開始時刻を記憶し、会話時間計測を開始する。
・会話終了時を検出するための会話終了検出タイマを起動する。
・相手用マイク11aをONにし、相手の声の音声取得を開始する。
・カメラ12をONにして映像取得を開始する。
・ジャイロ・加速度センサ13をONにし、センサからのデータ収集を開始する。
会話分析については、後述する。
会話終了は、例えば会話終了タイマを30秒とし、ユーザ発話が30秒間検出しなかった場合、会話終了と判定する。
・会話時間を確定する。
・相手用マイク11aをOFFにする。
・カメラ12をOFFにする。
・ジャイロ・加速度センサ13をOFFにする。
会話の評価・記録については、後述する。
「音声のテキスト化、会話のテンポ(発話速度)の分析」
先ず、ユーザ用マイク11bで集音した音声と相手用マイク11aで集音した音声をそれぞれ音声認識によるテキスト化(ディクテーション)する。
また、音声認識したテキストのスピード(話す速度)をユーザと相手の発声毎に分析する。
ここで、「会話のテンポが一致する」とは、音声認識機能により音声が一度音素化されるが、この音素化された数とその時間の比をテンポとする。1回発声される毎にこのテンポを計算し、1つ前の発声のテンポと差を取り、1会話が終わるまで差を加算し続ける。また加算回数も計測する。
前記テキストを形態素解析して単語に分割し、会話が終わるまで記憶する。
ここで、「同一語の繰り返し回数」は、音声認識機能により音声がテキスト化されて、1発声毎に音声認識されたテキスト中の名詞と、その前の発声で音声認識したテキスト中の名詞とを比較し、同一語があれば同一語の繰り返しとして「+1」加算する。
ここで、「会話のトーンが一致する」とは、相手の声量と自身の声量がほぼ一致していることである。
マイクロフォン11で収録された音声の1発声毎のA特性音圧レベルの平均値を計測し、1つ前の相手の発声の音圧レベルとの差を取り、1会話が終わるまで差を加算する。加算回数もカウントしておく。
カメラ12から映像を取得し、映像の中に顔のある位置をパターン認識で検出する。
パターン認識する特徴点は、頭部輪郭に対する両目の位置とその間の鼻、口である。
顔を検出していた時間を積算する。
カメラ12の映像から検出した顔の位置を更に分析し、頷いたかどうかを判定する。
映像スライス毎に目と口を囲む四角形の縦横の比を算出し、その比の時系列変化から推定する。
すなわち、図6(a)に示すような、目と口を囲む四角(点線で囲まれた領域)が正方形に近い(縦:横の比が大きい)状態から、図6(b)に示すような、目と口を囲む四角(点線で囲まれた領域)が潰れた長方形(縦:横の比が小さい)状態に徐々に変化し、その後、また元の大きさ(図6(a))に戻る変化を1つの「頷き」と判断する。カメラ12の映像から、「頷き」と判定した時刻と回数を記録する。
カメラ12の映像から検出した顔の位置を更に分析し、笑顔かどうかを判定する。
笑顔は、図7に示すように、普通の表情の状態(図7(a))と、笑顔の状態(図7(b))との目尻の下がりと口角の上がりやしわ(ホウレイ線の深さ)の関係を取得し、予め決めておいた閾値と比較することで笑顔を推定する。笑顔と判定していた時間を積算する。
利用者自身の「頷き」は、ジャイロ・加速度センサ13からのデータにより判定する。
すなわち、1回の頷きとは、図8に示すように、利用者が正面を向いた状態(図8(a))から首を前に傾けた状態(図8(b))へ、そして再び正面を向いた状態(図8(a))に戻る動作とする。
例えば、6軸のジャイロ・加速度センサ13が眼鏡のテンプル部(つる)5の部分に配置されているとした場合、各軸を以下のように定義する。
X軸:利用者の左右方向に貫く軸。X軸を中心にした回転を「ピッチ」とする。
Y軸:利用者の前後方向に貫く軸。Y軸を中心にした回転を「ロール」とする。
Z軸:利用者の上下方向に貫く軸。Z軸を中心にした回転を「ヨー」とする。
まず重力により下方向へ重力ベクトルを3軸加速度センサから認識できる。つまりZ軸下方向への加速度が恒常的にある状態である。
利用者が、頷き首を前に倒すと、図8(b)の状態になる。ジャイロセンサのピッチ角が推定位置より下がる。また、Z軸下方への加速度が一時的に減少し、Y軸前方向に重力成分が表れる。
利用者が、首を元倒すと、図8(a)の状態に戻る。
ジャイロセンサのピッチ角が水平位置にもとに戻り。また、Z軸下方への加速度が一時的に増大し、Y軸前方向に重力成分が減少する。
この一連の変化をパターン認識し、1回の頷き回数とする。
これらの指標を求めるために、以下の単位時間あたりの各行動を計測する。
会話が終わるまで待たずに例えば15秒周期で指標を再計算し更新する。
・頷かれ回数(相手の頷き回数)
・頷き回数(自身の頷き回数)
・重要語の回数(自身及び相手による発話)
・笑い時間
・対向時間
・会話トーンの一致性
・会話テンポの一致性
・繰り返し回数
頷きは相手を認め、肯定している行動である。会話単位時間あたりで頷かれの多い人は、相手にわかりやすい話し方をしており、相手に受け入れられていると考えられる。
Nnr = (相手の頷き回数)/(会話時間)
Nnd = (自身の頷き回数)/(会話時間)
ここで、頷き回数(自身の頷き回数)は、ジャイロ加速度センサ13からの頷き検出機能により「頷き」と推定していた回数とする。
会話を進める中で、予め決めていた閾値よりNnrが低い場合は、表示部40に相手の頷きが足りない旨を表示する。
会話を進める中で、予め決めていた閾値よりNndが低い場合は、表示部40に自身の頷きが足りない旨を表示する。
笑いは会話を円滑に進めるための行動である。
会話単位時間あたりで笑われの多い人は、楽しく円滑に会話を進めていることを示す。
Tsr = (相手が笑った時間)/(相手の顔を検出していた時間)
会話を進める中で、予め決めていた閾値よりTsrが低い場合は、表示部に相手の笑顔が足りない旨を表示する。
重要語とは、重要語データベースの単語と一致した回数を記録する。会話単位時間あたりで重要後を発言する場合、重要語を発言する側にとって会話の内容が有益で肯定的な内容であることを示す。
Ntr = (相手の重要語の発声回数)/(会話時間)
Ntd = (自身の重要語の発声回数)/(会話時間)
会話を進める中で、予め決めていた閾値よりNtrが低い場合は、表示部40に会話内容を変更する旨を表示する。
会話をする時は、相手の目を見ることで信頼感が得られる。
会話単位時間あたりで相手を見ている人は、集中して、あるいは興味を持って会話していることを示す。
Ted = (相手の顔を見ていた時間)/(会話時間)
会話を進める中で、予め決めていた閾値よりTedが低い場合は、表示部40に相手をもっと見る旨を表示する。
会話のトーンとは、声の張り具合である。声の張り具合が異なる会話は心理的にお互いの同調感が感じられない。
Rst= (会話のトーンの差の総和)/(加算した回数)
Rstが大きいほど声量の差があり、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRstが大きい場合は、表示部40に相手の声の調子をまねる旨を表示する。
会話のテンポとは、発声のスピードである。発声のスピード感が異なる会話は心理的に同調感が感じられない。
Rssが大きいほどテンポがズレていて、会話が巧みでないことを示す。
会話を進める中で、予め決めていた閾値よりRssが大きい場合は、表示部40に相手の声の調子をまねる旨を表示する。
会話である言葉が繰り返される際、両者から同一な言葉が発声されるとその言葉について理解されたと感じる。
Nrd = (同一語の発声回数)/(会話時間)
同一語の発声回数が多い程、相手の話を傾聴し、一度受け止めていると感じさせる。
つまりNrdが大きい程会話が巧みであるとする。
会話を進める中で、予め決めていた閾値よりNrdが小さい場合は、表示部40に繰り返しをする旨を表示する。
Rcが高い程、会話が受け入れられていることを示し、Ccが高い程会話が巧みだったことを示す。
会話の相手受容度
Rc= a1×Nnr + a2×Ntr + a3×Tsr
会話の巧みさ
Cc= a1×Nnr + a2×Ntr + a3×Tsr + a4×Nnd + a5×Ntd + a6×Ted - a7×Rst - a8×Rss + a9×Nrd
それぞれの項のa1〜a9は、各項の所定の重み付け定数(0以上の値)である。
以上の処理を会話が終了したと判定されまで継続する。
会話が終了したと判定されると、ウェアラブル端末(会話分析装置)1の制御部20の会話分析部25は、前記会話の受容度と会話の巧みさの指標を確定した会話時間で更新し、会話ログ34の全会話文書を用いて以下の方法で、その会話の特徴語を求める。
出現頻度は、TF-IDF(Term Frequency - Inverse Document Frequency:単語の出現頻度−逆出現頻度)値であってもよい。TF-IDFとは、文書中に出現した単語がどのくらい特徴的であるかを識別するための指標をいう。TF(term frequency)は、その文書の中でその単語が出現した頻度を表す。
IDF(inverse document frequency)は、全文書の中でその単語を含む文書数の自然対数で表し、この値が高い程その単語が全文書内で普く頻出していない単語であることを現す。
そして、TF値×IDF値が高い値を持つ単語ほど、重要であるとする。
以上が1会話のみに着目し、その会話の受容度および会話の巧みさを評価する場合の手順となる。
1つの会話についての会話ログの生成が完了したので、ウェアラブル端末1の会話分析部25は第1の通信部50を介して音声評価サーバ3に会話ログを転送する。
会話評価サーバ3の制御部70は第1の通信部60から会話ログを受信すると、会話ログを記憶部80の会話ログデータベース81に記録する。
会話ログは、ユーザID毎の1会話で管理され、会話開始時刻及び会話時間とともに、上述した各指標が記憶されている。
また、TF値等を計算するため、会話中の全名詞のリストが記憶されるとともに、会話中に存在した特徴語のリスト及び話題語のリストが記憶されている。
例えば、話題語が含まれる会話記録を参照し、会話の巧みさ度Ccを評価する。
話題語が会話に含まれた全ユーザを検索し、そのユーザ毎に話題語が出現した全会話数でCcの統計値(平均値や標準偏差)を計算する。会話の巧みさ度Ccが比較的高ければ、その話題に対して影響力のあるユーザであるといえる。
使用例1:接客時の店員の会話の巧みさの評価に利用する。店員と顧客の会話が顧客に受け入れられており店員の会話が巧みで巧く進んでいるか店員はウェアラブル端末を使用することでリアルタイムに確認することもでき、店員の管理者はどの店員の会話が巧みだったか、会話評価サーバに問合せすることにより確認することができる。
使用例2:まだウェアラブル端末が一般ユーザに普及していない時にでも、そのウェアラブル端末を使用しているユーザについて、ある話題語に対する他人への影響力を推測することができる。
この会話分析システムでは、図10の会話分析装置(ウェアラブル端末)と、図11の会話評価サーバ装置3を使用することで、インフルエンサー(他人への影響が大きいユーザ)の抽出を行う。
すなわち、この会話分析システムでは、会話の相手を特定し、リアルな人間関係を自動的に推測可能としている。会話相手との人間関係を知るため、利用者自身の他、会話相手も識別するようになっている。
この会話分析システムのウェアラブル端末1では、ユーザIDをウェアラブル端末間で交換するための第2の通信部51を備える。
具体的には、IR(赤外線)通信のIrDA規格であるIrSS(登録商標)を用いても良く、赤外線の指向性を制御して、例えば正面中心から左右30°(合計60°)指向性で送受信する。また、赤外線通信の代わり超音波通信でも良いし、GHz帯以上の指向性を持つ電波無線通信でも良い。
ユーザIDは、ウェアラブル端末1に予め製造シリアル番号を記録して使用しても良いし、ユーザ登録の際にシステムで一意になるような任意なコードを登録しても良い。
第2の通信部51を用いることで、図13に示すように、互いに対面した時に相手側のウェアラブル端末1との通信可能範囲における直接的な通信が可能となり、ID交換し会話の相手を自動的に特定することができる。
人間関係管理機能では、会話の相手を特定することで互いのウェアラブル端末で計測した会話の巧みさ指標Ccを算出するための指標を、会話ログを記録する毎に自身のIDと相手のユーザIDと会話開始時刻から照合し会話ログが一致するものであれば、それぞれの自身の笑顔の時間(Tsd:図12)も相手のウェアラブル端末の計測結果の会話ログから知ることができ、指針のデータとして補完することができる。
図14の人間関係マップでは、会話ログの自身のIDと相手のIDとの結び付き度を、分析したい任意の期間の会話ログにおけるユーザ間の総会話時間でリンクの太さで示し、リンクの方向を全Rcの差で示している。また、受け入れ度である相手受容度(Rc)が大きい方へ情報が流れていることを意味する。
例えば、図14のID:W1とID:W2のユーザを例に説明すると、他と比較してユーザ同士のリンクが太いので強い結び付きがあり、矢印の向きがユーザW2の方向がより大きいので、ユーザW2がユーザW1をより受け入れている(受容度が高い)ことを示している。また、情報の流れがユーザW2の方向にあるものと推測できる。
このように、全ユーザの人間関係を図14のようにマッピングして、ある話題でフィルタリングすることで、その話題で中心的なユーザを見つけることができる。即ち、リアルな人間関係における特定の話題に関するインフルエンサーを見つけることができる。
Claims (15)
- 人同士の会話を検出するため利用者の頭部に装着するウェアラブル端末であって、
前記会話の中で発声する重要な言葉抽出のために複数の重要語を記憶する重要語データベースと、
前記会話の音声情報を収集するマイクロフォンと、
前記音声情報から重要語を認識する音声評価部と、
前記音声評価部の認識結果から所定の重み付けをして会話に対する相手の受容度を分析する会話分析部と、
前記受容度を前記利用者にフィードバックする告知部と、
を備えたことを特徴とする会話分析装置。 - 前記会話中で発声するある特定の話題に対するインフルエンサー抽出のために複数の話題語を記憶する話題語データベースを備え、前記音声評価部は、前記音声情報から話題語および重要語を認識する請求項1に記載の会話分析装置。
- 会話相手の顔表情と頭部の動きを映像として収集するカメラと、
前記映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する映像評価部と、を備え、
前記会話分析部は、前記音声評価部及び映像評価部の認識結果から所定の重み付けをして、その会話に対する相手の受容度を分析する
請求項1又は請求項2に記載の会話分析装置。 - 前記告知部は、前記受容度を聴覚で認識できる音声再生部で構成された請求項1乃至請求項3のいずれか1項に記載の会話分析装置。
- 前記告知部は、前記受容度を視覚で認識できる表示装置で構成された請求項1乃至請求項3のいずれか1項に記載の会話分析装置。
- 前記音声評価部は、会話のトーンおよび/またはテンポを分析する機能を備え、
前記会話分析部は、相手と利用者の会話のトーンおよび/またはテンポの差を集計し一定の重み付けをして会話の巧みさを分析する機能を備え、
前記告知部は、前記分析した会話の巧みさを利用者にフィードバックする機能を備える
請求項1乃至請求項3のいずれか1項に記載の会話分析装置。 - 前記利用者の頭部の動きを認識する加速度センサと、
前記加速度センサから利用者の単位会話時間当たりの頷き回数を分析する頷き認識部と、を備え、
前記会話分析部は、前記頷き認識部による認識に所定の重み付けをして前記会話の巧みさを分析する請求項6に記載の会話分析装置。 - 前記会話分析部は、会話中の単語の繰り返しを集計して一定の重み付けをして分析する機能を備えて前記会話の巧みさを分析する請求項6又は請求項7に記載の会話分析装置。
- 前記会話分析部による分析は、一つの会話の音声認識結果から会話中に出現した単語がどのくらい特徴的であるかを識別するための指標(TF-IDF)を利用して特徴語を分析して、前記受容度および/または前記会話の巧みさと共に、一会話毎に記録する記憶部を備える請求項1乃至請求項8のいずれか1項に記載の会話分析装置。
- 請求項1乃至請求項9のいずれか1項に記載の会話分析装置と、前記会話分析装置の会話ログを集約して管理する会話評価サーバ装置とを備え、
前記会話評価サーバ装置は、
前記会話分析装置の全利用者の会話ログを分析して会話評価を行う制御部と、
前記会話ログを会話ログデータベースに記憶する記憶部と、
を備えることを特徴とする会話分析システム。 - 前記制御部は、前記会話ログを分析して、利用者の人間関係を管理する人間関係管理機能を備え、
前記記憶部は、前記利用者の人間関係を紐づけて記憶する人間関係データベースを備える請求項10に記載の会話分析システム。 - 利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記受容度を前記利用者にフィードバックする手順と、
を含むことを特徴とする会話分析方法。 - 利用者と会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記会話相手と利用者の会話のトーンおよび/またはテンポの差を集計する手順と、
前記各認識結果及び前記集計結果から所定の重み付けを行って会話の話題に対する会話の巧みさを分析する手順と、
前記会話の巧みさを前記利用者にフィードバックする手順と、
を含むことを特徴とする会話分析方法。 - 複数利用者と各会話相手との会話中に生じる音声情報から予め設定された話題語および重要語を認識する手順と、
各利用者に対して前記会話相手の顔表情と頭部の動きを映像として取得し、該映像から単位会話時間あたりの会話相手の笑顔時間および頷き回数を認識する手順と、
前記各認識結果から会話の話題に対する前記会話相手の受容度を分析する手順と、
前記複数利用者と各会話相手との会話ログを会話評価サーバ装置で集約して管理する手順と、
前記複数利用者の会話ログを分析し前記話題語に対する会話評価を行ってインフルエンサーを抽出する手順と、
を含むことを特徴とする会話分析方法。 - 請求項1乃至請求項9のいずれか1項に記載の会話分析装置の各部をコンピュータ上に構築することを特徴とする会話分析プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239953A JP6400445B2 (ja) | 2014-11-27 | 2014-11-27 | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239953A JP6400445B2 (ja) | 2014-11-27 | 2014-11-27 | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016103081A true JP2016103081A (ja) | 2016-06-02 |
JP6400445B2 JP6400445B2 (ja) | 2018-10-03 |
Family
ID=56088950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014239953A Active JP6400445B2 (ja) | 2014-11-27 | 2014-11-27 | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6400445B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109545243A (zh) * | 2019-01-23 | 2019-03-29 | 北京猎户星空科技有限公司 | 发音质量评价方法、装置、电子设备及存储介质 |
JP2019148925A (ja) * | 2018-02-26 | 2019-09-05 | 国立大学法人山口大学 | 行動分析システム |
JP2019200475A (ja) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | 活性度評価プログラム、装置、及び方法 |
JP2020514847A (ja) * | 2017-01-20 | 2020-05-21 | コウベ・グローバル・テクノロジーズ・ピーティイー・リミテッドKobe Global Technologies Pte Ltd | インフルエンサーを広告キャンペーンとマッチングするためのシステムと方法 |
WO2020116531A1 (ja) * | 2018-12-05 | 2020-06-11 | 株式会社 東芝 | 会話分析システム、方法及びプログラム |
WO2020148920A1 (ja) * | 2019-01-16 | 2020-07-23 | オムロン株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JPWO2019142429A1 (ja) * | 2018-01-22 | 2020-12-17 | 日本電気株式会社 | 情報処理装置、分析方法、及びプログラム |
EP3739573A4 (en) * | 2018-01-12 | 2021-01-13 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
CN112463108A (zh) * | 2020-12-14 | 2021-03-09 | 美的集团股份有限公司 | 语音交互处理方法、装置、电子设备及存储介质 |
DE102021125686A1 (de) | 2020-11-19 | 2022-05-19 | Toyota Jidosha Kabushiki Kaisha | Sprechevaluationssystem, Sprechevaluationsverfahren und Programm |
US11398224B2 (en) | 2019-10-28 | 2022-07-26 | Ricoh Company, Ltd. | Communication system and method for providing advice to improve a speaking style |
WO2023176537A1 (ja) * | 2022-03-14 | 2023-09-21 | ソニーグループ株式会社 | 推定装置、推定方法および推定プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244190A (ja) * | 2009-04-02 | 2010-10-28 | Ntt Docomo Inc | 通信端末及び情報表示方法 |
JP2011221683A (ja) * | 2010-04-07 | 2011-11-04 | Seiko Epson Corp | 接客支援装置、接客支援方法およびプログラム |
JP2013206389A (ja) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | 親密度算出方法、親密度算出プログラムおよび親密度算出装置 |
US20140081643A1 (en) * | 2012-09-14 | 2014-03-20 | Avaya Inc. | System and method for determining expertise through speech analytics |
-
2014
- 2014-11-27 JP JP2014239953A patent/JP6400445B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244190A (ja) * | 2009-04-02 | 2010-10-28 | Ntt Docomo Inc | 通信端末及び情報表示方法 |
JP2011221683A (ja) * | 2010-04-07 | 2011-11-04 | Seiko Epson Corp | 接客支援装置、接客支援方法およびプログラム |
JP2013206389A (ja) * | 2012-03-29 | 2013-10-07 | Fujitsu Ltd | 親密度算出方法、親密度算出プログラムおよび親密度算出装置 |
US20140081643A1 (en) * | 2012-09-14 | 2014-03-20 | Avaya Inc. | System and method for determining expertise through speech analytics |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020514847A (ja) * | 2017-01-20 | 2020-05-21 | コウベ・グローバル・テクノロジーズ・ピーティイー・リミテッドKobe Global Technologies Pte Ltd | インフルエンサーを広告キャンペーンとマッチングするためのシステムと方法 |
US11837233B2 (en) | 2018-01-12 | 2023-12-05 | Sony Corporation | Information processing device to automatically detect a conversation |
EP3739573A4 (en) * | 2018-01-12 | 2021-01-13 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
JPWO2019142429A1 (ja) * | 2018-01-22 | 2020-12-17 | 日本電気株式会社 | 情報処理装置、分析方法、及びプログラム |
JP2019148925A (ja) * | 2018-02-26 | 2019-09-05 | 国立大学法人山口大学 | 行動分析システム |
JP2019200475A (ja) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | 活性度評価プログラム、装置、及び方法 |
JP7139680B2 (ja) | 2018-05-14 | 2022-09-21 | 富士通株式会社 | 活性度評価プログラム、装置、及び方法 |
JPWO2020116531A1 (ja) * | 2018-12-05 | 2021-09-30 | 株式会社東芝 | 会話分析システム、方法及びプログラム |
WO2020116531A1 (ja) * | 2018-12-05 | 2020-06-11 | 株式会社 東芝 | 会話分析システム、方法及びプログラム |
JP7305678B2 (ja) | 2018-12-05 | 2023-07-10 | 株式会社東芝 | 会話分析システム、方法及びプログラム |
WO2020148920A1 (ja) * | 2019-01-16 | 2020-07-23 | オムロン株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP7036046B2 (ja) | 2019-01-16 | 2022-03-15 | オムロン株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2020113197A (ja) * | 2019-01-16 | 2020-07-27 | オムロン株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
CN109545243B (zh) * | 2019-01-23 | 2022-09-02 | 北京猎户星空科技有限公司 | 发音质量评价方法、装置、电子设备及存储介质 |
CN109545243A (zh) * | 2019-01-23 | 2019-03-29 | 北京猎户星空科技有限公司 | 发音质量评价方法、装置、电子设备及存储介质 |
US11398224B2 (en) | 2019-10-28 | 2022-07-26 | Ricoh Company, Ltd. | Communication system and method for providing advice to improve a speaking style |
DE102021125686A1 (de) | 2020-11-19 | 2022-05-19 | Toyota Jidosha Kabushiki Kaisha | Sprechevaluationssystem, Sprechevaluationsverfahren und Programm |
JP2022081050A (ja) * | 2020-11-19 | 2022-05-31 | トヨタ自動車株式会社 | 発言評価システム、発言評価方法、及び、プログラム |
JP7354992B2 (ja) | 2020-11-19 | 2023-10-03 | トヨタ自動車株式会社 | 発言評価システム、発言評価方法、及び、プログラム |
DE102021125686B4 (de) | 2020-11-19 | 2024-02-08 | Toyota Jidosha Kabushiki Kaisha | Sprechevaluationssystem, Sprechevaluationsverfahren und Programm |
CN112463108A (zh) * | 2020-12-14 | 2021-03-09 | 美的集团股份有限公司 | 语音交互处理方法、装置、电子设备及存储介质 |
WO2023176537A1 (ja) * | 2022-03-14 | 2023-09-21 | ソニーグループ株式会社 | 推定装置、推定方法および推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6400445B2 (ja) | 2018-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6400445B2 (ja) | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム | |
US11785395B2 (en) | Hearing aid with voice recognition | |
US10486312B2 (en) | Robot, robot control method, and robot system | |
US11979716B2 (en) | Selectively conditioning audio signals based on an audioprint of an object | |
CN107153496B (zh) | 用于输入表情图标的方法和装置 | |
CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
US7725547B2 (en) | Informing a user of gestures made by others out of the user's line of sight | |
US20180077095A1 (en) | Augmentation of Communications with Emotional Data | |
CN108139988B (zh) | 信息处理系统和信息处理方法 | |
US20180276281A1 (en) | Information processing system, information processing method, and storage medium | |
CN107918771A (zh) | 人物识别方法和佩戴式人物识别系统 | |
US20180054688A1 (en) | Personal Audio Lifestyle Analytics and Behavior Modification Feedback | |
CN109308178A (zh) | 一种语音画图方法及其终端设备 | |
CN108763475B (zh) | 一种录制方法、录制装置及终端设备 | |
KR101376292B1 (ko) | 통화 중 감정 분석 서비스 제공 방법 및 장치 | |
JP7123856B2 (ja) | プレゼンテーションを評価するシステム、方法、学習済みモデル及びプログラム、情報処理装置並びに端末装置 | |
JP2019133451A (ja) | 評価方法、評価装置、評価プログラム、および、評価システム | |
JP2023540536A (ja) | マルチモーダルゲームビデオの要約 | |
JP2023540537A (ja) | メタデータによるマルチモーダルゲームビデオの要約 | |
TW202223804A (zh) | 電子資源推送方法及系統 | |
CN111415662A (zh) | 用于生成视频的方法、装置、设备和介质 | |
JP6285377B2 (ja) | コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム | |
EP3288035B1 (en) | Personal audio analytics and behavior modification feedback | |
CN111326175A (zh) | 一种对话者的提示方法及穿戴设备 | |
JP7123028B2 (ja) | 情報処理システム、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160823 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170906 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6400445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |