JP2020154378A - 自己との対話装置、チャットボット、およびロボット - Google Patents
自己との対話装置、チャットボット、およびロボット Download PDFInfo
- Publication number
- JP2020154378A JP2020154378A JP2019049563A JP2019049563A JP2020154378A JP 2020154378 A JP2020154378 A JP 2020154378A JP 2019049563 A JP2019049563 A JP 2019049563A JP 2019049563 A JP2019049563 A JP 2019049563A JP 2020154378 A JP2020154378 A JP 2020154378A
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- user
- history
- self
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title abstract 11
- 230000008448 thought Effects 0.000 claims description 11
- 230000008451 emotion Effects 0.000 abstract description 29
- 230000006996 mental state Effects 0.000 abstract description 23
- 238000012552 review Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 38
- 238000000034 method Methods 0.000 description 26
- 230000004044 response Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 230000006399 behavior Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 230000008921 facial expression Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000009223 counseling Methods 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 208000032041 Hearing impaired Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000007794 irritation Effects 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】利用者の自分の固有の感情や心的状態や思考の整理や見直し、利用者独自の新しい発想の効率的発見と創造を、利用者が一人で行うことを可能にする自己との対話装置、チャットボット、およびロボットを提供することを目的とする。【解決手段】自己との対話装置は、概念を定義するための階層的な辞書である概念辞書を格納する概念辞書データベースと、象徴関係や自由連想関係の一覧表である連想対応表を格納する連想対応表データベースと、利用者の対話履歴を取得する対話取得部と、対話履歴を格納する対話履歴データベースと、対話取得部が取得した対話履歴の発言情報に基づいて、利用者との対話を行う対話手段と、を備える。【選択図】図1
Description
本発明は、自己との対話装置、チャットボット、およびロボットに関する。
近年、音声による動作指示を受け付けて動作する装置が開発されている。また、音声によって、コンピュータ(スマートフォン、スマートスピーカ等)との対話を行う装置の開発が進められている。このような装置では、利用者の発話が自然言語であることが望まれている。
例えば、特許文献1に記載の技術は、対話の状況を判断して入力モードを切り替え、入力文を形態素分析し、形態素分析の結果を構文分析し、構文上の格を示すラベルを付与した単語のリストを生成する。そして、特許文献1に記載の技術は、システムが出力した質問文に対する回答文が入力されると判断される場合、形態素分析の結果から品詞が名詞である単語を切り出して回答として抽出する。そして、特許文献1に記載の技術は、入力文を判定して、構文表現データを知識としてデータベースに格納する登録処理、すでにデータベースに格納された知識を検索する検索処理、構文的に不完全な入力文の不足格を利用者に入力を促す聞き返し処理、予め設定された機能を起動させる機能実行処理から選ばれる少なくとも1つの入力文処理を選択する。そして、特許文献1に記載の技術は、入力文判定に従って入力文の処理を行い、入力文処理手段の結果に応じて、出力文を生成し出力する。
しかしながら、従来技術では、利用者が質問した場合に提示される回答は、標準的または模範的な回答であった。このため、従来技術における装置と利用者との対話では、利用者の自分の固有の感情や心的状態や思考の整理や見直し、利用者独自の新しい発想の効率的発見と創造を、利用者が一人で行うことができなかった。
本発明は、上記の問題点に鑑みてなされたものであって、利用者の自分の固有の感情や心的状態や思考の整理や見直し、利用者独自の新しい発想の効率的発見と創造を、利用者が一人で行うことを可能にする自己との対話装置、チャットボット、およびロボットを提供することを目的とする。
(1)上記目的を達成するため、本発明の一態様に係る自己との対話装置(1)は、利用者と対話をする自己との対話装置において、概念を定義するための階層的な辞書である概念辞書を格納する概念辞書データベース(概念辞書DB23)と、象徴関係や自由連想関係の一覧表である連想対応表を格納する連想対応表データベース(連想対応表DB24)と、前記利用者の対話履歴を取得する対話取得部(16)と、前記対話履歴を格納する対話履歴データベース(対話履歴DB22)と、前記対話取得部が取得した前記対話履歴の発言情報に基づいて、前記利用者との対話を行う対話手段(対話制御部201、対話文生成部202、スピーカ302、自分自身の3D生成部43)と、を備える。
(2)また、本発明の一態様に係る自己との対話装置において、前記対話取得部は、前記対話装置との過去の対話に基づいて発言履歴を記憶するようにしてもよい。
(3)また、本発明の一態様に係る自己との対話装置において、前記対話取得部は、前記利用者による過去の発言または著述の電子データに基づいて、過去の前記利用者の発言履歴を取得するようにしてもよい。
(4)また、本発明の一態様に係る自己との対話装置において、前記対話手段は、前記利用者の発言履歴から判断して矛盾していることを発話した場合に、その旨を知らせるようにしてもよい。
(5)また、本発明の一態様に係る自己との対話装置において、前記対話手段は、思考を発展させる可能性のある発言を前記対話履歴から検索し、または結論を導く可能性のある発言を前記対話履歴から検索して応答するようにしてもよい。
(6)また、本発明の一態様に係る自己との対話装置において、前記対話手段は、コンプレックスに触れる内容を前記連想対応表から検索して応答するようにしてもよい。
(7)また、本発明の一態様に係る自己との対話装置において、前記対話取得部は、前記利用者の発言履歴に基づいて前記概念辞書データベースを更新するようにしてもよい。
(8)また、本発明の一態様に係る自己との対話装置において、前記対話手段は、対話が停滞した際に、前記概念辞書を用いて抽象化された概念を対話文化して応答するようにしてもよい。
(9)また、本発明の一態様に係る自己との対話装置において、前記対話手段は、対話が停滞した際に、前記概念辞書を用いて具体化された概念を対話文化して応答するようにしてもよい。
(10)上記目的を達成するため、本発明の一態様に係るチャットボット(1004)は、上記(1)〜(9)のいずれか1つの自己との対話装置を備える。
(11)上記目的を達成するため、本発明の一態様に係るロボット(1005)は、上記(1)〜(9)のいずれか1つの自己との対話装置を備える。
上述した(1)または(10)あるいは(11)によれば、利用者の自分の思考の整理や見直し、新しい発想の効率的発見と創造を、利用者が一人で行うことを可能にする。
また、上述した(2)によれば、過去の対話装置と利用者の対話に基づいて、対話を行うことができる。
また、上述した(3)によれば、利用者が利用した電子メール、SNS、ブログ等の利用者の過去の発言または著述に基づいて、対話を行うことができる。
また、上述した(3)によれば、利用者が利用した電子メール、SNS、ブログ等の利用者の過去の発言または著述に基づいて、対話を行うことができる。
また、上述した(4)によれば、過去の発話内容と矛盾する場合にそれを指摘することで、利用者が対話の糸口をみつけたり、利用者に考えるきっかけを提供することができる。
また、上述した(5)によれば、利用者の思考を手助けすることができる。
また、上述した(5)によれば、利用者の思考を手助けすることができる。
また、上述した(6)によれば、利用者に心的状態を改善させる糸口を探るきっかけを提供することができる。
また、上述した(7)によれば、過去に結論に至った結果を次回の対話に活用することができる。
また、上述した(7)によれば、過去に結論に至った結果を次回の対話に活用することができる。
また、上述した(8)または(9)によれば、利用者の思考を手助けすることができ、対話を継続することができる。
まず、本実施形態の自己との対話装置の概要を説明する。
自己との対話装置は、利用者の発話やSNS、ブログ、電子メール等の発言履歴等を学習して、擬似的に利用者のコピーを生成する。自己との対話装置は、この自分のコピーと対話することで、自分の思考の整理や見直し、新しい発想の効率的発見と創造を、利用者が一人で行うことができる装置を提供する。また、自己との対話装置は、利用者が一人でブレーンストーミングを行うため、利用者が自分本意に他の考えを取捨することができ、より効率的な発想支援を行うことができる装置を提供する。また、自己との対話装置は、カウンセリング頻度とカウンセリング時間の制約を解消することができる装置を提供する。また、自己との対話装置は、自分自身のいわば複製と対話することにより、カウンセラーとユーザーの相性による効果のバラツキという問題を解消することができる装置を提供する。
このように、本実施形態の自己との対話装置は、スマートスピーカ等のように一般的なシナリオに基づいた対話ではなく、利用者は自己との対話を行える装置を提供する。
自己との対話装置は、利用者の発話やSNS、ブログ、電子メール等の発言履歴等を学習して、擬似的に利用者のコピーを生成する。自己との対話装置は、この自分のコピーと対話することで、自分の思考の整理や見直し、新しい発想の効率的発見と創造を、利用者が一人で行うことができる装置を提供する。また、自己との対話装置は、利用者が一人でブレーンストーミングを行うため、利用者が自分本意に他の考えを取捨することができ、より効率的な発想支援を行うことができる装置を提供する。また、自己との対話装置は、カウンセリング頻度とカウンセリング時間の制約を解消することができる装置を提供する。また、自己との対話装置は、自分自身のいわば複製と対話することにより、カウンセラーとユーザーの相性による効果のバラツキという問題を解消することができる装置を提供する。
このように、本実施形態の自己との対話装置は、スマートスピーカ等のように一般的なシナリオに基づいた対話ではなく、利用者は自己との対話を行える装置を提供する。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本実施形態に係る自己との対話装置1の構成例を示すブロック図である。図1に示すように、自己との対話装置1は、マイクロフォン101、AD変換部102、FFT103、特徴量抽出部104、音声認識部105、撮影部11、表情認識部12、感情推定部13、言語モデルDB14、音響モデルDB15、対話取得部16、操作部17、テキスト取得部18、画像認識部19、対話制御部201(対話手段)、対話文生成部202(対話手段)、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、連想対応表DB24、音声合成部301、スピーカ302(対話手段)、振る舞い選択部41、自分自身の画像・動画DB42、自分自身の3D生成部43(対話手段)、および表示部44(対話手段)を備える。
図1は、本実施形態に係る自己との対話装置1の構成例を示すブロック図である。図1に示すように、自己との対話装置1は、マイクロフォン101、AD変換部102、FFT103、特徴量抽出部104、音声認識部105、撮影部11、表情認識部12、感情推定部13、言語モデルDB14、音響モデルDB15、対話取得部16、操作部17、テキスト取得部18、画像認識部19、対話制御部201(対話手段)、対話文生成部202(対話手段)、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、連想対応表DB24、音声合成部301、スピーカ302(対話手段)、振る舞い選択部41、自分自身の画像・動画DB42、自分自身の3D生成部43(対話手段)、および表示部44(対話手段)を備える。
なお、自己との対話装置1は、例えばパーソナルコンピュータ(1001)、タブレット端末(1002)、スマートフォン(1003)、チャットボット(Chatbot)(1004)、ロボット(1005)、スマートスピーカ(1006)等のいずれかであってもよい。なお、本実施形態におけるパーソナルコンピュータ、タブレット端末、スマートフォン、チャットボット、ロボット、スマートスピーカ等は、自己との対話装置1の機能部を備える。そして、本実施形態におけるパーソナルコンピュータ、タブレット端末、スマートフォン、チャットボット、ロボット、スマートスピーカ等は、一般的なシナリオに沿った回答を行うのではなく、利用者が自己との対話を行う環境を提供する装置である。
マイクロフォン101は、音源が発した音響信号を収音し、収音した音響信号をAD変換部102に出力する。なお、マイクロフォン101は、マイクロフォンアレイであってもよい。この場合、マイクロフォン101は、M(Mは2以上の整数)個のマイクロフォンから構成され、音源が発した音響信号を収音し、収音したMチャネルの音響信号をAD変換部102に出力する。
AD変換部102は、マイクロフォン101が出力する音響信号をアナログ信号からデジタル信号に変換する。AD変換部102は、デジタル信号に変換した音響信号をFFT103に出力する。
FFT103は、AD変換部102が出力する音響信号に対して高速フーリエ変換(Fast Fourier Transform)を行って周波数領域の信号に変換する。FFT103は、周波数領域に変換した信号を特徴量抽出部104に出力する。なお、Mチャネルの音響信号の場合、FFT103は、同じサンプリング周波数の信号を用いてMチャネルの音響信号に対してサンプリングを行う。
特徴量抽出部104は、FFT103が出力する音響信号から音響特徴量を計算して抽出する。特徴量抽出部104は、例えば、静的メル尺度対数スペクトル(MSLS:Mel−Scale Log Spectrum)、デルタMSLS及び1個のデルタパワーを、所定時間(例えば、10ms)毎に算出することで音響特徴量を算出する。なお、MSLSは、音響認識の特徴量としてスペクトル特徴量を用い、MFCC(メル周波数ケプストラム係数;Mel Frequency Cepstrum Coefficient)を逆離散コサイン変換することによって得られる。特徴量抽出部104は、求めた音響特徴量を音声認識部105に出力する。
言語モデルDB(データベース)14は、言語モデルを格納する。言語モデルは、任意の文字列について,それが日本語文等である確率を付与する確率モデルである。また、言語モデルは、例えば、Nグラムモデル、隠れマルコフモデル、最大エントロピーモデル等のいずれかである。
音響モデルDB15は、音源モデルを格納する。音源モデルは、収音された音響信号を音源同定部108が同定するために用いるモデルである。
音声認識部105は、言語モデルDB14が格納する言語モデルと、音響モデルDB15が格納する音源モデルを参照して、特徴量抽出部104が出力する音響特徴量に対して音声認識処理を行う。音声認識部105は、認識した音声認識結果(テキスト情報)を、感情推定部13と対話取得部16と対話制御部201に出力する。
なお、マイクロフォン101、AD変換部102、FFT103、特徴量抽出部104、および音声認識部105は、利用者の音声を認識してテキスト化する処理部10である。
操作部17は、キーボード、マウス、表示部44上に設けられたタッチパネルセンサ等である。操作部17は、利用者が操作した結果を検出し、検出した結果をテキスト取得部18に出力する。操作部17は、テキスト入力の際に使用される。
テキスト取得部18は、操作部17が出力する検出された結果に基づいて入力されたテキスト情報を取得し、取得したテキスト情報を表示部44と対話取得部16と対話制御部201に出力する。
撮影部11は、利用者の顔を含む画像を撮影し、撮影した画像を表情認識部12に出力する。撮影部11は、例えばCCD(Charge Coupled Device;電荷結合素子)画像センサ、CMOS(Complementary Metal-Oxide-Semiconductor; 相補型電界効果)画像センサ等である。なお、撮影部11は、利用者と自己との対話装置1が手話で対話を行う場合、利用者の顔と手を含む画像を撮影し、撮影した画像を表情認識部12と画像認識部19に出力する。
画像認識部19は、撮影部11が出力する画像に対して、周知の手法によって手話を認識する。画像認識部19は、認識した手話をテキスト情報に変換し、変換したテキスト情報を対話制御部201と対話取得部16に出力する。
表情認識部12は、撮影部11が撮影した画像に対して周知の手法(二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理等)で画像認識処理を行って、利用者の顔の表情を認識する。表情認識部12は、認識した表情認識結果を感情推定部13に出力する。
感情推定部13は、音声認識部105が出力する音声認識結果と、表情認識部12が出力する表情認識結果を取得する。感情推定部13は、取得した音声認識結果と表情認識結果のうち少なくとも1つを用いて利用者の感情を推定する。感情推定部13は、例えば、音声のトーンや、音声のピッチの変化、発話文がネガティブであるかポジティブであるかの分析(以下、ネガポジ分析ともいう)に基づいて利用者の感情を推定する。または、感情推定部13は、例えば、表情に基づいて利用者の感情を推定する。感情推定部13は、推定に用いるための利用者の音声の変化の情報、および利用者の表情の情報を記憶する。感情推定部13は、推定した感情推定結果を対話制御部201に出力する。
対話取得部16は、音声認識部105が出力する音声認識結果と、対話文生成部202が出力する対話文情報を取得し、取得した音声認識結果と対話文情報に基づいて利用者と自己との対話装置1との対話を対話履歴DB22に格納させる。なお、対話取得部16は、対話時、利用者が操作部17を操作してテキスト情報を入力した場合、テキスト取得部18が出力するテキスト情報を取得する。なお、対話取得部16は、対話時、利用者が手話で対話を行う場合、画像認識部19が出力するテキスト情報を取得する。
また、対話取得部16は、利用者が使用しているSNS(Social Networking Service;ソーシャル・ネットワーキング・サービス)や電子メールやブログから対話履歴を取得し、取得した対話履歴を対話履歴DB22に格納させる。また、対話取得部16は、利用者の発言(発話、テキスト情報)履歴に基づいて概念辞書DB23や連想対応表DB24を更新する。なお、対話取得部16は、SNS、電子メール、ブログの他、過去の利用者の発言や投稿をまとめた電子書籍や、スマートフォンなどに記憶されたメモなど、過去の利用者の発言また著述の電子データを取得して対話履歴DB22に格納する。
また、対話取得部16は、利用者が使用しているSNS(Social Networking Service;ソーシャル・ネットワーキング・サービス)や電子メールやブログから対話履歴を取得し、取得した対話履歴を対話履歴DB22に格納させる。また、対話取得部16は、利用者の発言(発話、テキスト情報)履歴に基づいて概念辞書DB23や連想対応表DB24を更新する。なお、対話取得部16は、SNS、電子メール、ブログの他、過去の利用者の発言や投稿をまとめた電子書籍や、スマートフォンなどに記憶されたメモなど、過去の利用者の発言また著述の電子データを取得して対話履歴DB22に格納する。
標準対話コーパスDB21は、標準対話コーパスを格納する。標準対話コーパスとは、自己との対話装置1と利用者が、通常時に対話を行う際に使用するコーパスであり、例えば対話内容に応じたシナリオである。なお、標準対話コーパスDB21が格納する情報は、利用開始後からの時間が短く、利用者の対話履歴の蓄積が不十分である場合に使用されるが、対話履歴が蓄積するに応じて参照割合が低下させる。
対話履歴DB22は、利用者と自己との対話装置1との対話履歴を格納する。なお、対話履歴DB22が格納する対話履歴の例は後述する。なお、対話履歴DB22は、利用者の発話や対話に応じて追加、更新される。すなわち、対話履歴DB22が格納する内容は、自己との対話を学習することで対話制御部201が更新していく。
概念辞書DB23は、オントロジー(概念)辞書を格納する。なお、概念辞書DB23が格納する概念辞書の例は後述する。また、概念辞書DB23が格納する内容は、自己との対話を学習することで対話制御部201が更新していく。
連想対応表DB24は、連想対応表を格納する。なお、連想対応表DB24が格納する連想対応表の例は後述する。また、連想対応表DB24が格納する内容は、自己との対話を学習することで対話制御部201が更新していく。
対話制御部201は、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24を参照して、利用者の発言(発話、テキスト情報、手話)と、感情推定部13が出力する感情推定結果を用いて対話を制御する。なお、対話制御部201は、対話時、利用者が発話した場合、音声認識部105が出力するテキスト情報を取得する。なお、対話制御部201は、対話時、利用者が操作部17を操作してテキスト情報を入力した場合、テキスト取得部18が出力するテキスト情報を取得する。なお、対話制御部201は、対話時、利用者が手話で対話を行う場合、画像認識部19が出力するテキスト情報を取得する。
対話制御部201は、利用者の発言(発話、テキスト情報、手話)と感情推定結果に基づいて、後述するように利用者の発言に対する応答を、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24を探索して選択する。対話制御部201は、選択した応答の対話文を生成する指示である対話文生成指示を対話文生成部202に出力する。
また、対話制御部201は、自己との対話装置1と利用者とが対話を行った際、利用者がブログやSNS等に投稿した際、利用者が電子メールを送信した際に、対話履歴DB22、概念辞書DB23および連想対応表DB24を更新する。
対話制御部201は、利用者の発言(発話、テキスト情報、手話)と感情推定結果に基づいて、後述するように利用者の発言に対する応答を、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24を探索して選択する。対話制御部201は、選択した応答の対話文を生成する指示である対話文生成指示を対話文生成部202に出力する。
また、対話制御部201は、自己との対話装置1と利用者とが対話を行った際、利用者がブログやSNS等に投稿した際、利用者が電子メールを送信した際に、対話履歴DB22、概念辞書DB23および連想対応表DB24を更新する。
対話文生成部202は、対話制御部201が出力する対話文生成指示に基づいて、対話文を生成し、生成した対話文情報を、対話取得部16と音声合成部301と振る舞い選択部41に出力する。なお、対話文生成部202は、利用者が難聴者等の場合、対話文情報を表示部44にも出力する。なお、対話文生成部202が生成する対話文は、自己との対話装置1と利用者との対話等による対話履歴に基づくものであり、利用者へ自己との対話を提供するものである。
なお、対話制御部201と対話文生成部202は、対話の制御と生成を行う処理部20である。
音声合成部301は、対話文生成部202が出力する対話文情報に基づいて音声信号を合成し、合成した音声信号をスピーカ302に出力する。なお、合成に用いる音声は、利用者の音声に基づくようにしてもよい。これにより、利用者は、自分との対話を大なうことができる。
スピーカ302は、音声合成部301が出力する音声信号を再生する。
なお、音声合成部301とスピーカ302は、発話のプロセス30である。
なお、音声合成部301とスピーカ302は、発話のプロセス30である。
振る舞い選択部41は、対話文生成部202が出力する対話文情報に基づいて、発話に対する振る舞いを選択し、選択した振る舞いを示す情報を自分自身の3D生成部43に出力する。
自分自身の画像・動画DB42は、利用者の画像や動画を格納する。
自分自身の3D生成部43は、自分自身の画像・動画DB42が格納する画像や動画を用いて、利用者の3D(三次元)画像を生成する。また、自分自身の3D生成部43は、振る舞い選択部41が出力する振る舞いを示す情報に基づいて、対応する振る舞いの利用者の3D画像を生成し、生成した3D画像を表示部44に出力する。
表示部44は、例えば液晶表示装置、有機EL(Electro Luminescence)表示装置、VR(Virtual Reality)表示装置等である。表示部44は、自分自身の3D生成部43が出力する3D画像を表示する。
なお、自己との対話装置1は、振る舞い選択部41、自分自身の画像・動画DB42、自分自身の3D生成部43、および表示部44を備えていなくてもよい。この場合、自己との対話装置1は、音声によって利用者との対話を行うようにしてもよい。
また、自己との対話装置1は、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24以外の情報を格納するデータベース等を備えていてもよい。また、自己との対話装置1は、必要に応じて、例えば利用者の家族の対話履歴DB22も参照して処理を行うようにしてもよい。
なお、言語モデルDB14、音響モデルDB15、対話制御部201、対話文生成部202、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24は、自己との対話装置1が備えていなくてもよく、クラウド上の情報であってもよい。
なお、特徴量抽出部104は、音源定位を行う音源定位部、音源を分離する音源分離部、および発話区間を検出する発話区間検出部等を備えていてもよい。この場合、特徴量抽出部104は、FFT103が出力するMチャネルの音響信号に基づいて各音源の方向を予め定めた長さのフレーム(例えば、20ms)毎に定めるようにしてもよい(音源定位)。そして、特徴量抽出部104は、Mチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離するようにしてもよい。そして、特徴量抽出部104は、分離された音響信号のスペクトルと、音源方向情報に基づいて、音源毎の発話区間を検出するようにしてもよい。そして、特徴量抽出部104は、分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算するようにしてもよい。
次に、対話履歴DB22、概念辞書DB23、および連想対応表DB24が格納する情報例を説明する。
図2は、本実施形態に係る対話履歴DB22が格納する対話履歴の例を示す図である。
図2に示す例では、自己との対話装置1と利用者との対話が行われた際の対話履歴を示している。図2において、符号R11〜R16は自己との対話装置1の発話を示し、符号H11〜H12は利用者の発話を示している。対話履歴DB22は、発話内容に、発話順番と、発話を行った人または装置を示す情報を関連付けて格納する。なお、対話履歴DB22は、発話が行われた日時を示す情報も関連付けて格納する。なお、図2に示した対話履歴は、自己との対話装置1が発話を開始する例を示したが、対話は利用者の質問等によって開始されてもよい。
図2に示す例では、自己との対話装置1と利用者との対話が行われた際の対話履歴を示している。図2において、符号R11〜R16は自己との対話装置1の発話を示し、符号H11〜H12は利用者の発話を示している。対話履歴DB22は、発話内容に、発話順番と、発話を行った人または装置を示す情報を関連付けて格納する。なお、対話履歴DB22は、発話が行われた日時を示す情報も関連付けて格納する。なお、図2に示した対話履歴は、自己との対話装置1が発話を開始する例を示したが、対話は利用者の質問等によって開始されてもよい。
なお、対話履歴DB22は、自己との対話装置1との対話履歴だけではなく、例えば、利用者が使用した電子メールやSNSにおける他者との対話履歴、ブログやSNSにおける利用者の発言(投稿)履歴等の利用者の過去の発言または著述も格納する。
図3は、SNSでの対話履歴の例を示す図である。図3において、符号A11〜A14は利用者の発話(書き込み)を示し、符号J11〜J14は相手の発話(書き込み)を示す。図3において、利用者は例えば父親であり、相手は例えば利用者の息子である。なお、対話履歴DB22は、SNS等において、自己の発話と、発話相手および発話相手の発話内容と、発話順番と、対話が行われた日時とを関連付けての対話履歴として記憶する。
図4は、ブログでの対話履歴の例を示す図である。図4において、符号g11はブラウザに表示された画像を示し、符号g12はブログでの発話内容を示している。対話履歴DB22は、ブログのタイトル、発話(発信)した日時、発話(文章)を関連付けて格納する。
図5は、電子メールでの対話履歴の例を示す図である。図5において、符号g21は電子メールのアプリメーションの画面に表示された画像を示し、符号g22は電子メールでの発話内容を示している。対話履歴DB22は、電子メールのタイトル、発話(送信)した日時、発話(文章)を関連付けて格納する。なお、対話履歴DB22は、送信先(送信相手)も関連付けて格納するようにしてもよい。
図6は、本実施形態に係る概念辞書DB23が格納する概念辞書の例を示す図である。
図6に示すように概念辞書は、概念を定義するための階層的な辞書である。また、概念辞書は、対象世界にかかわる諸概念を整理して体系づけ、コンピュータにも理解可能な形式で明示的に記述したものである。なお、図6に示した概念辞書は、辞書データの一部であり、これに限らない。
図6に示すように概念辞書は、概念を定義するための階層的な辞書である。また、概念辞書は、対象世界にかかわる諸概念を整理して体系づけ、コンピュータにも理解可能な形式で明示的に記述したものである。なお、図6に示した概念辞書は、辞書データの一部であり、これに限らない。
図7は、本実施形態に係る連想対応表DB24が格納する連想対応表における象徴関係対応表の例を示す図である。
連想対応表は、象徴関係や自由連想関係の一覧表である。ここで、象徴関係とは、例えば潜在内容のある要素と夢の顕在内容のなかのある要素の関係である。また、自由連想とは、ある言葉(刺激語)を与えられた時に心に浮かぶ考えの連想である。なお、図7に示した連想対応表は一例であり、これに限らない。また、連想対応表は、フロイトなどの夢分析、精神分析で用いるものや、過去の連想履歴などに基づくものであってもよい。
連想対応表は、象徴関係や自由連想関係の一覧表である。ここで、象徴関係とは、例えば潜在内容のある要素と夢の顕在内容のなかのある要素の関係である。また、自由連想とは、ある言葉(刺激語)を与えられた時に心に浮かぶ考えの連想である。なお、図7に示した連想対応表は一例であり、これに限らない。また、連想対応表は、フロイトなどの夢分析、精神分析で用いるものや、過去の連想履歴などに基づくものであってもよい。
ここで、利用者が自己の客観視等を行う際の自己との対話装置1との対話中に、対話制御部201が参照する情報例を、さらに説明する。
まず、対話制御部201が対話履歴DB22を参照する例を説明する。
対話制御部201は、利用者の発話に対して、過去の発話履歴から以下の条件を満たす(回答として成立する、感情や心理をポジティブに誘導できる)応答文を検索する。
・対話が破綻せずに、有意に継続できたときの過去の応答文を検索する。
・ブレーンストーミングを目的とする場合は、抽象度の高さを認識し、効果的な(抽象化または具体化された)応答文を検索する。なお、対話制御部201抽象度を周知技術を用いて算出する。
・心的状態改善を目的とする場合は、快不快やネガティブやポジティブで優先度を決定し、有意度の高い応答文を検索する。過去の対話履歴は、表情やネガポジ分析を通しての感情価がタグとして付与されているため、心的状態を改善する傾向の高い応答文の検索ができる。なお、対話制御部201は、優先度を予め表形式で記憶していてもよい。
まず、対話制御部201が対話履歴DB22を参照する例を説明する。
対話制御部201は、利用者の発話に対して、過去の発話履歴から以下の条件を満たす(回答として成立する、感情や心理をポジティブに誘導できる)応答文を検索する。
・対話が破綻せずに、有意に継続できたときの過去の応答文を検索する。
・ブレーンストーミングを目的とする場合は、抽象度の高さを認識し、効果的な(抽象化または具体化された)応答文を検索する。なお、対話制御部201抽象度を周知技術を用いて算出する。
・心的状態改善を目的とする場合は、快不快やネガティブやポジティブで優先度を決定し、有意度の高い応答文を検索する。過去の対話履歴は、表情やネガポジ分析を通しての感情価がタグとして付与されているため、心的状態を改善する傾向の高い応答文の検索ができる。なお、対話制御部201は、優先度を予め表形式で記憶していてもよい。
次に、利用者が自己の客観視等を行う際の自己との対話装置1との対話中に、対話制御部201が概念辞書DB23を参照する例を説明する。
対話制御部201は、利用者との対話において、以下のような場合に概念辞書DB23を参照する。
・特にブレ―ストーミングを目的とする対話の場合に用いる。
・対話文について、その中に含まれている名詞や動詞の概念分類や抽象度のレベルを判断する場合に用いる。
・対話目的に応じ、より高い抽象度、または逆に高い具体性を持っている過去の応答文を検索する。
対話制御部201は、利用者との対話において、以下のような場合に概念辞書DB23を参照する。
・特にブレ―ストーミングを目的とする対話の場合に用いる。
・対話文について、その中に含まれている名詞や動詞の概念分類や抽象度のレベルを判断する場合に用いる。
・対話目的に応じ、より高い抽象度、または逆に高い具体性を持っている過去の応答文を検索する。
次に、利用者が自己の客観視等を行う際の自己との対話装置1との対話中に、対話制御部201が連想対応表DB24を参照する例を説明する。
対話制御部201は、利用者との対話において、以下のような場合に連想対応表DB24を参照する。
・心的状態の変化を目的とする対話の場合に用いる。
・自己との対話装置1が利用者と夢の話を開始し、その夢の中に現れる印象深い要素について尋ねて、その回答を得たときに、連想対応表を検索し、その意味を応答文として返す。
・自由連想や、夢の話の中に現れた要素が何を象徴するのかについて自己との対話装置1が利用者に質問をし、その回答を概念辞書DB23に格納して更新する。
対話制御部201は、利用者との対話において、以下のような場合に連想対応表DB24を参照する。
・心的状態の変化を目的とする対話の場合に用いる。
・自己との対話装置1が利用者と夢の話を開始し、その夢の中に現れる印象深い要素について尋ねて、その回答を得たときに、連想対応表を検索し、その意味を応答文として返す。
・自由連想や、夢の話の中に現れた要素が何を象徴するのかについて自己との対話装置1が利用者に質問をし、その回答を概念辞書DB23に格納して更新する。
次に、利用者が自己の客観視等を行う場合に、自己との対話装置1が利用者との自己対話を行う際の処理例を説明する。
図8は、本実施形態に係る利用者が自己の客観視等を行う場合に、自己との対話装置1が利用者との対話を行う際の処理例を示す図である。なお、図8において、符号510は対話管理処理であり、音声認識部105、感情推定部13、対話制御部201、対話文生成部202、音声合成部301、振る舞い選択部41、および自分自身の3D生成部43が処理を行う。また、符号511は、入力内容の分類処理である。符号g512は内部状態の更新処理である。また、符号520は内部状態処理である。また、符号530は外部データベースであり、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24である。
図8は、本実施形態に係る利用者が自己の客観視等を行う場合に、自己との対話装置1が利用者との対話を行う際の処理例を示す図である。なお、図8において、符号510は対話管理処理であり、音声認識部105、感情推定部13、対話制御部201、対話文生成部202、音声合成部301、振る舞い選択部41、および自分自身の3D生成部43が処理を行う。また、符号511は、入力内容の分類処理である。符号g512は内部状態の更新処理である。また、符号520は内部状態処理である。また、符号530は外部データベースであり、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24である。
(ステップS101)利用者が自己の客観視等を行う場合に、利用者は、自己との対話装置1に対して発話を行う。利用者が行う発話は、例えば、ブレーンストーミングを目的とする対話、心的状態変化を目的とする対話、両者が関わる対話があるとする。
(ステップS102)マイクロフォン101は、利用者の発話を收音する。続けて、撮影部11は、発話時の利用者の顔を含む画像を撮影する。
(ステップS110)会話開始時において、対話制御部201は、音声認識結果に基づいて利用者の相談内容を、ブレーンストーミングを目的とする対話であるか、心的状態変化を目的とする対話であるか、両者が関わる対話であるかのいずれか1つに分類する。
(ステップS111)利用者との対話中、対話制御部201は、音声認識結果に基づいて利用者の相談内容を、ブレーンストーミングを目的とする対話であるか、心的状態変化を目的とする対話であるか、両者が関わる対話であるかのいずれか1つに分類する。
(ステップS112)感情推定部13は、対話内容が心的状態変化を目的とする対話の場合、音声認識結果と表情認識結果に基づいて、利用者の感情を分類する。なお、利用者の感情は、例えば、快、不快、覚醒度、発話内容のネガティブさ、発話内容のポジティブさなどである。
(ステップS120)会話開始時において、対話制御部201は、ステップS110の処理に基づいて対話目的を更新する。
(ステップS121)利用者との対話中、ステップS111の処理でブレーンストーミングを目的とする対話であると分類した場合、対話制御部201は、利用者の発話内容の概念を更新する。なお、対話制御部201は、例えば、概念辞書DB23を検索して発話内容に概念をタグ付けする。また、対話制御部201は、過去の発話データも概念辞書DB23で概念をタグ付けしておき概念をキーにして過去発話を検索できるようにしておく。この処理は、例えば、「思考を発展させる(結論を導く)可能性のある発言履歴を検索し発話する」や、「対話が停滞した際に概念辞書を用いて抽象化された概念を対話文化して発話する」ための準備として行う。なお、タグとは、データベースの各要素に付与する属性である。
(ステップS122)利用者との対話中、ステップS111の処理でブレーンストーミングを目的とする対話であると分類した場合、対話制御部201は、利用者の過去の発話内容(自己との対話装置1との対話、ブログへの投稿、SNSへの投稿、電子メール等)との矛盾や共通点を更新する。対話制御部201は、例えば、利用者の過去の発話内容と矛盾する場合にそれを指摘するように制御し、過去の発話内容と概念が共通する場合にそれを指摘するように制御する。
(ステップS123)利用者との対話中、ステップS111の処理で心的状態変化を目的とする対話であると分類した場合、対話制御部201は、利用者の発話内容から推定する深層心理状態を更新する。対話制御部201は、例えば発話内容と感情から連想対応表を検索してタグ付けする。また、対話制御部201は、例えば過去の発話データにも連想対応表から深層心理をタグ付け、または心的状態変化を目的とする対話を通して得られた新たな連想関係を格納しておき過去発話の検索ができるようにしておく。この処理は、例えば「コンプレックスに触れる内容を(フロイト等の精神分析で用いる)連想対応表から検索し、発話する」ための準備として行う。
(ステップS124)対話制御部201は、ステップS112の処理結果と、ステップS123の処理結果に基づいて、利用者の心理状態の分類を更新する。対話制御部201は、例えば、悲しみと喜び、嫌悪と信頼、苛立ちと平穏、不安と安心などの軸で利用者の心理状態を分類して特定し、ネガティブな状態である場合はポジティブな状態へ移行させることを対話目的に設定するように制御する。
(ステップS130)対話制御部201は、ステップS120の処理に基づいて、対話目的を特定する。対話目的は、例えば、概念の深化、概念の具体化、深層心理の可視化、感情の刺激、感情の安定化、ネガティブな心理状態からポジティブな心理状態への誘導などである。
(ステップS131)心的状態変化を目的とする対話の場合、対話制御部201は、ステップS124の処理結果に基づいて、利用者の心理状態のターゲットを特定する。対話制御部201は、例えば、悲しみと喜び、嫌悪と信頼、苛立ちと平穏、不安と安心などの軸で利用者の心理状態を分類して特定し、ネガティブな状態である場合はポジティブな状態へ移行させることを対話目的に設定するように制御する。
(ステップS132)対話制御部201は、ステップS131の処理結果に基づいて、対話目的を更新する。
(ステップS140)振る舞い選択部41は、内部状態の更新処理512の処理結果と、ステップS130の処理結果に基づいて、3D画像の振る舞いを選択する。続けて、対話制御部201と対話文生成部202は、内部状態の更新処理512の処理結果と、ステップS130の処理結果に基づいて、発話を選択する。また、振る舞い選択部41は、行動は対話の概念や対話目的にしたがい適切なものを選択する。
(ステップS150)対話文生成部202と音声合成部301は、生成された発話をスピーカ302から再生する。また、自分自身の3D生成部43は、例えば振る舞い(行動)をVRキャラクターのアクション(身振りや手振り)によって表現し、生成した3D画像を表示部44に表示させる。
上述した処理によって、符号510の対話管理処理、および符号520の内部状態処理は、自己との対話装置1と利用者と対話に応じて、自分の複製を構築(学習・記憶)して、運用(自分と対話)しつつ更新(成長)する。この結果、利用者が自己との対話装置1と対話することで、自己との対話装置1は、「あたかも自分(利用者)と対話するかのような状態を創り出す」ことができ、「自分(利用者)を客観視することを支援する」ことができる環境を提供することができる。また、本実施形態によれば、例えばブレーンストーミングの場合、利用者独自の新しい発想の効率的発見と創造を利用者が一人で行うことを可能にする。
なお、対話制御部201は、例えば対話開始から所定時間における利用者との対話の内容を、標準対話コーパスDB21を用いて制御する。そして、対話制御部201は、例えば対話開始から所定時間または所定の対話回数における利用者との対話の内容に対して、ブレーンストーミングを目的とする対話であるか、心的状態変化を目的とする対話であるかを、標準対話コーパスDB21、対話履歴DB22、概念辞書DB23、および連想対応表DB24を参照して分類する。
なお、図8に示した処理手順、処理内容等は一例であり、これに限らない。例えば、処理手順は行っていてもよく、他の処理を行ってもよい。
次に、ブレーンストーミングを目的とする利用者と自己との対話装置1との対話による自己との対話例を説明する。この場合の自己との対話装置1の返答も一般的なシナリオに基づくものではなく、利用者との対話履歴に基づくものであり、利用者はあたかも自分のコピーと対話することで、例えば自己を内観することができる。
図9は、本実施形態に係るブレーンストーミングを目的とする対話例を示す図である。図9において、符号R101〜R110は利用者の発話であり、符号T101〜T109は自己との対話装置1の発話である。なお、図9における対話では、利用者と自己との対話装置1は、音声によって対話を行い、3D画像を用いていない例である。また、図9において、自己との対話装置1を「対話装置」と略して示している。
図9は、本実施形態に係るブレーンストーミングを目的とする対話例を示す図である。図9において、符号R101〜R110は利用者の発話であり、符号T101〜T109は自己との対話装置1の発話である。なお、図9における対話では、利用者と自己との対話装置1は、音声によって対話を行い、3D画像を用いていない例である。また、図9において、自己との対話装置1を「対話装置」と略して示している。
符号R101の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21を参照して、対話目的をブレーンストーミングに分類して設定して、符号T101の発話を提示する。
符号R102の発話に基づいて、対話制御部201は、対話履歴DB22を参照して、過去の対話履歴やSNS履歴から関連する発言を検索して、符号T102の発話を提示する。
符号R103の発話に基づいて、対話制御部201は、対話履歴DB22や概念辞書DB23を参照して、複数(対立)の概念を含む過去の対話履歴を検索して、符号T103の発話を提示する。
符号R104の発話に基づいて、対話制御部201は、対話履歴DB22や概念辞書DB23を参照して、高次の概念を含む過去の対話履歴を検索して、符号T105の発話を提示する。
符号R105の発話に基づいて、対話制御部201は、概念辞書DB23を参照して、高次の概念そのものを検索して、符号T105の発話を提示する。
符号R106、T107の発話に基づいて、対話制御部201は、対話履歴DB22や概念辞書DB23を参照して、低次の概念(具体)を含む過去の対話履歴を検索して、符号T108の発話を提示する。なお、対話制御部201は、符号R106に対して、ポジティブな方向に制御するように符号T106の発話を提示する。
符号R108の発話に基づいて、対話制御部201は、対話履歴DB22を参照して、過去の対話履歴やSNS履歴から結論となる発言を検索して、符号T108の発話を提示する。
符号R109の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21を参照して、符号T109の発話を提示する。そして、対話制御部201は、これらの対話と結論を、対話履歴DB22に対話を行った日時も関連付けて格納する。
次に、心的状態変化を目的とする利用者と自己との対話装置1との対話による自己との対話例を説明する。この場合の自己との対話装置1の返答も一般的なシナリオに基づくものではなく、利用者との対話履歴に基づくものであり、利用者はあたかも自分のコピーと対話することで、例えば解決策を見いだす補助を行うことができる。
図10は、本実施形態に係る心的状態変化を目的とする対話例を示す図である。図10において、符号R201〜R209は利用者の発話であり、符号T201〜T209は自己との対話装置1の発話である。なお、図10における対話では、利用者と自己との対話装置1は、音声によって対話を行い、3D画像を用いていない例である。また、図10において、自己との対話装置1を「対話装置」と略して示している。
図10は、本実施形態に係る心的状態変化を目的とする対話例を示す図である。図10において、符号R201〜R209は利用者の発話であり、符号T201〜T209は自己との対話装置1の発話である。なお、図10における対話では、利用者と自己との対話装置1は、音声によって対話を行い、3D画像を用いていない例である。また、図10において、自己との対話装置1を「対話装置」と略して示している。
対話制御部201は、符号T201以前の対話、利用者の感情推定結果に基づいて、対話目的を夢分析による心的状態の改善に分類して設定して、符号T201の発話を提示する。
符号R201の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21や連想対応表DB24を参照して、夢分析のオーソドックスな質問として符号T202の発話を提示する。
符号R202の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21や連想対応表DB24を参照して、夢分析のオーソドックスな質問として符号T203の発話を提示する。
符号R203の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21や連想対応表DB24を参照して、夢分析のオーソドックスな質問として符号T204の発話を提示する。
符号R202の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21や連想対応表DB24を参照して、夢分析のオーソドックスな質問として符号T203の発話を提示する。
符号R203の発話に基づいて、対話制御部201は、例えば標準対話コーパスDB21や連想対応表DB24を参照して、夢分析のオーソドックスな質問として符号T204の発話を提示する。
符号R204の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、フロイト等の連想対応表や過去の連想履歴を検索して、符号T205の発話を提示する。
符号R205の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、心的状態を改善させる糸口を探る質問として符号T206の発話を提示する。
符号R206の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、心的状態を改善させる糸口を探る質問として符号T207の発話を提示する。
符号R206の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、心的状態を改善させる糸口を探る質問として符号T207の発話を提示する。
符号R207の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、ネガティブな心理状態からポジティブな心理状態への誘導するように符号T208の発話を提示する。
符号R208の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、ネガティブな心理状態からポジティブな心理状態への誘導するように符号T209の発話を提示する。そして、対話制御部201は、これらの対話と結論を、対話履歴DB22に対話を行った日時も関連付けて格納する。
符号R208の発話に基づいて、対話制御部201は、例えば対話履歴DB22や連想対応表DB24を参照して、ネガティブな心理状態からポジティブな心理状態への誘導するように符号T209の発話を提示する。そして、対話制御部201は、これらの対話と結論を、対話履歴DB22に対話を行った日時も関連付けて格納する。
なお、図9、図10に示した利用者と自己との対話装置1との対話は一例であり、これに限らない。
例えば、利用者と自己との対話装置1との対話中に、対話目的が、例えばブレーンストーミングから心的状態変化に変化した場合、対話制御部201は、図8のステップS132の処理に応じて対話目的を更新し、処理を切り替える。
例えば、利用者と自己との対話装置1との対話中に、対話目的が、例えばブレーンストーミングから心的状態変化に変化した場合、対話制御部201は、図8のステップS132の処理に応じて対話目的を更新し、処理を切り替える。
また、図9、図10に示した利用者と自己との対話装置1との対話例では、利用者と自己との対話装置1との音声による対話例を示したが、これに限らない。自己との対話装置1は、自分自身の3D生成部43が生成した3D画像も対話中に提示するようにしてもよい。
なお、利用者が難聴者等の場合、自分自身の3D生成部43は身振りに加えて手話の動作の3D画像も生成するようにしてもよい。または、利用者が難聴者等の場合、利用者が操作部17を操作して入力したテキスト情報と、対話文生成部202が生成した応答文を表示部44に表示することで、利用者との対話を行うようにしてもよい。また、利用者が難聴者でなくても、自己との対話装置1は利用者との対話を、テキスト情報を用いてチャットのように行ってもよい。このようにすることで、発話が苦手な利用者であってもテキスト入力可能な場合、自己との対話装置1は、利用者が自己との対話を実行することができる。
なお、利用者が難聴者等の場合、自分自身の3D生成部43は身振りに加えて手話の動作の3D画像も生成するようにしてもよい。または、利用者が難聴者等の場合、利用者が操作部17を操作して入力したテキスト情報と、対話文生成部202が生成した応答文を表示部44に表示することで、利用者との対話を行うようにしてもよい。また、利用者が難聴者でなくても、自己との対話装置1は利用者との対話を、テキスト情報を用いてチャットのように行ってもよい。このようにすることで、発話が苦手な利用者であってもテキスト入力可能な場合、自己との対話装置1は、利用者が自己との対話を実行することができる。
このように、自己との対話装置1は、利用者が直接的に求める情報を推定して与えるのではなく、思考の整理、新しい発想の発見、新しいアイデアの創出を助けるための対話(発話、テキスト情報、3D画像)を生成して提示する。
上述したように、本実施形態では、利用者が自己との対話装置1と行った対話履歴、SNS等で発言した対話履歴、電子メール等で他者と行った対話履歴を取得して格納するようにした。また、本実施形態では、自己との対話装置1が利用者との対話を自然言語によって行う。そして対話の際、自己との対話装置1は、利用者の発話(含む操作部17から入力されたテキスト情報)から高次の意図を推定して、推定した高次の意図に基づき且つ利用者の対話履歴等から応答(発話、テキスト情報、3D画像)を生成して提示するようにした。なお、提示する応答は、利用者の発話内容に応じて、利用者の考えを追認する応答、利用者の考えに対して疑問を呈する応答、利用者の考えと関係する新しい情報の提供を行う応答、利用者の考えと無関係な雑談的情報の提供を行う応答、ネガティブな心理状態からポジティブな心理状態への誘導を行う応答等を行うようにした。
これにより、本実施形態によれば、利用者の自分の思考の整理や見直し、新しい発想の効率的発見と創造を、利用者が一人で行うことができる。
ここで複数人の議論では、考えを拡げたり深めたりするポジティブな効果も得られるが、逆にそれぞれの考えを尊重することによって、結果として全体の考えが収束してしまうというネガティブな場合もある。これに対して、本実施形態によれば、利用者一人でブレーンストーミングを行うため、利用者が自分本意に他の考えを取捨することができ、より効率的な発想支援を行うことができる。これにより、本実施形態によれば、自分自身の発話履歴に基づいて自分と対話をすることができるので、自分の思考特性等を把握しやすくなる。
ここで複数人の議論では、考えを拡げたり深めたりするポジティブな効果も得られるが、逆にそれぞれの考えを尊重することによって、結果として全体の考えが収束してしまうというネガティブな場合もある。これに対して、本実施形態によれば、利用者一人でブレーンストーミングを行うため、利用者が自分本意に他の考えを取捨することができ、より効率的な発想支援を行うことができる。これにより、本実施形態によれば、自分自身の発話履歴に基づいて自分と対話をすることができるので、自分の思考特性等を把握しやすくなる。
また、本実施形態によれば、利用者の発言履歴から判断して矛盾していることを発話した場合に、その旨を知らせることで、利用者が対話の糸口をみつけたり、利用者に考えるきっかけを提供することができる。
また、本実施形態によれば、思考を発展させる可能性のある発言を対話履歴から検索し、または結論を導く可能性のある発言を対話履歴から検索して応答するので、利用者の思考を手助けすることができる。
また、本実施形態によれば、思考を発展させる可能性のある発言を対話履歴から検索し、または結論を導く可能性のある発言を対話履歴から検索して応答するので、利用者の思考を手助けすることができる。
また、本実施形態によれば、コンプレックスに触れる内容を連想対応表DB24から検索して応答するので、利用者に心的状態を改善させる糸口を探るきっかけを提供することができる。
また、本実施形態によれば、利用者の発言履歴に基づいて前記概念辞書DB23を更新するので、過去に結論に至った結果を次回の対話に活用することができる。
また、本実施形態によれば、対話が停滞した際に、前記概念辞書を用いて抽象化(または具体化)された概念を対話文化して応答するので、利用者の思考を手助けすることができ、対話を継続することができる。
また、本実施形態によれば、利用者の発言履歴に基づいて前記概念辞書DB23を更新するので、過去に結論に至った結果を次回の対話に活用することができる。
また、本実施形態によれば、対話が停滞した際に、前記概念辞書を用いて抽象化(または具体化)された概念を対話文化して応答するので、利用者の思考を手助けすることができ、対話を継続することができる。
さらに、心理カウンセラーによる心理カウンセリングは、カウンセリング頻度やカウンセリング時間の制約があり、またカウンセラーの能力、カウンセラーと利用者との相性によって効果のバラツキが発生する。これに対して、本実施形態によれば、カウンセリング頻度とカウンセリング時間の制約は解消される。さらに本実施形態によれば、自分自身のいわば複製と対話することにより、カウンセラーの能力やカウンセラーと利用者の相性による効果のバラツキという問題も解消される。
なお、本発明における自己との対話装置1の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより自己との対話装置1が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
1…自己との対話装置、101…マイクロフォン、102…AD変換部、103…FFT、104…特徴量抽出部、105…音声認識部、10…処理部、11…撮影部、12…表情認識部、13…感情推定部、14…言語モデルDB、15…音響モデルDB、16…対話取得部、17…操作部、18…テキスト取得部、19…画像認識部、20…処理部、201…対話制御部、202…対話文生成部、21…標準対話コーパスDB、22…対話履歴DB、23…概念辞書DB、24…連想対応表DB、301…音声合成部、302…スピーカ、41…振る舞い選択部、42…自分自身の画像・動画DB、43…自分自身の3D生成部、44…表示部、1004…チャットボット、1005…ロボット
Claims (11)
- 利用者と対話をする対話装置において、
概念を定義するための階層的な辞書である概念辞書を格納する概念辞書データベースと、
象徴関係や自由連想関係の一覧表である連想対応表を格納する連想対応表データベースと、
前記利用者の対話履歴を取得する対話取得部と、
前記対話履歴を格納する対話履歴データベースと、
前記対話取得部が取得した前記対話履歴の発言情報に基づいて、前記利用者との対話を行う対話手段と、
を備える自己との対話装置。 - 前記対話取得部は、前記対話装置との過去の対話に基づいて発言履歴を記憶する、請求項1に記載の自己との対話装置。
- 前記対話取得部は、前記利用者による過去の発言または著述の電子データに基づいて、過去の前記利用者の発言履歴を取得する、請求項1に記載の自己との対話装置。
- 前記対話手段は、前記利用者の発言履歴から判断して矛盾していることを発話した場合に、その旨を知らせる、請求項1から請求項3のいずれか1項に記載の自己との対話装置。
- 前記対話手段は、思考を発展させる可能性のある発言を前記対話履歴から検索し、または結論を導く可能性のある発言を前記対話履歴から検索して応答する、請求項1から請求項3のいずれか1項に記載の自己との対話装置。
- 前記対話手段は、コンプレックスに触れる内容を前記連想対応表から検索して応答する、請求項1から請求項3のいずれか1項に記載の自己との対話装置。
- 前記対話取得部は、前記利用者の発言履歴に基づいて前記概念辞書データベースを更新する、請求項1から請求項6のいずれか1項に記載の自己との対話装置。
- 前記対話手段は、対話が停滞した際に、前記概念辞書を用いて抽象化された概念を対話文化して応答する、請求項1から請求項7のいずれか1項に記載の自己との対話装置。
- 前記対話手段は、対話が停滞した際に、前記概念辞書を用いて具体化された概念を対話文化して応答する、請求項1から請求項7のいずれか1項に記載の自己との対話装置。
- 請求項1〜請求項9のいずれか1つに記載の自己との対話装置を備えるチャットボット。
- 請求項1〜請求項9のいずれか1つに記載の自己との対話装置を備えるロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049563A JP2020154378A (ja) | 2019-03-18 | 2019-03-18 | 自己との対話装置、チャットボット、およびロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049563A JP2020154378A (ja) | 2019-03-18 | 2019-03-18 | 自己との対話装置、チャットボット、およびロボット |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020154378A true JP2020154378A (ja) | 2020-09-24 |
Family
ID=72558962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049563A Pending JP2020154378A (ja) | 2019-03-18 | 2019-03-18 | 自己との対話装置、チャットボット、およびロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020154378A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656562A (zh) * | 2020-11-27 | 2021-11-16 | 话媒(广州)科技有限公司 | 一种多轮次人机心理交互方法及装置 |
WO2023286118A1 (ja) * | 2021-07-12 | 2023-01-19 | 日本電信電話株式会社 | 対話装置、対話方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339314A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 自動応答方法及び対話解析方法並びに応答文生成方法、その装置、そのプログラムを記録した媒体 |
JP2003108589A (ja) * | 2001-09-28 | 2003-04-11 | P To Pa:Kk | ホームページナビゲータ |
JP2005301780A (ja) * | 2004-04-14 | 2005-10-27 | Sony Corp | 情報処理装置および情報処理方法、並びに、プログラム |
JP2006018028A (ja) * | 2004-07-01 | 2006-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 対話方法、対話装置、音声対話装置、対話プログラム、音声対話プログラム及び記録媒体 |
JP2017224190A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | コミュニケーションを支援する人工知能システム |
-
2019
- 2019-03-18 JP JP2019049563A patent/JP2020154378A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339314A (ja) * | 1999-05-25 | 2000-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 自動応答方法及び対話解析方法並びに応答文生成方法、その装置、そのプログラムを記録した媒体 |
JP2003108589A (ja) * | 2001-09-28 | 2003-04-11 | P To Pa:Kk | ホームページナビゲータ |
JP2005301780A (ja) * | 2004-04-14 | 2005-10-27 | Sony Corp | 情報処理装置および情報処理方法、並びに、プログラム |
JP2006018028A (ja) * | 2004-07-01 | 2006-01-19 | Nippon Telegr & Teleph Corp <Ntt> | 対話方法、対話装置、音声対話装置、対話プログラム、音声対話プログラム及び記録媒体 |
JP2017224190A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | コミュニケーションを支援する人工知能システム |
Non-Patent Citations (2)
Title |
---|
坂口 琢哉: "連想概念辞書とダイクストラ法を用いた単語連想と対話応答システムの構築", 安田女子大学紀要, vol. 第42号, JPN6022044436, 28 February 2014 (2014-02-28), JP, pages 223 - 229, ISSN: 0005038162 * |
大平栄二 他: ""情報検索における柔軟な対話制御方式"", 電子情報通信学会論文誌, vol. 76, no. 3, JPN6018002417, 25 March 1993 (1993-03-25), pages 586 - 595, ISSN: 0005038163 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113656562A (zh) * | 2020-11-27 | 2021-11-16 | 话媒(广州)科技有限公司 | 一种多轮次人机心理交互方法及装置 |
WO2023286118A1 (ja) * | 2021-07-12 | 2023-01-19 | 日本電信電話株式会社 | 対話装置、対話方法およびプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11948556B2 (en) | Detection and/or enrollment of hot commands to trigger responsive action by automated assistant | |
US10977452B2 (en) | Multi-lingual virtual personal assistant | |
US11423885B2 (en) | Utilizing pre-event and post-event input streams to engage an automated assistant | |
EP3642833B1 (en) | Dynamic and/or context-specific hot words to invoke automated assistant | |
Klaylat et al. | Emotion recognition in Arabic speech | |
US9734193B2 (en) | Determining domain salience ranking from ambiguous words in natural speech | |
US20220246140A1 (en) | Dynamic and/or context-specific hot words to invoke automated assistant | |
US10813584B2 (en) | Assessing adherence fidelity to behavioral interventions using interactivity and natural language processing | |
CN111833853B (zh) | 语音处理方法及装置、电子设备、计算机可读存储介质 | |
Lee et al. | Study on emotion recognition and companion Chatbot using deep neural network | |
WO2019147039A1 (ko) | 대화 이해 ai 서비스 시스템과 연관된 대화 세션 중의 특정 시점에서 목표 달성을 위한 최적의 대화 패턴을 결정하는 방법, 목표 달성 예측 확률을 결정하는 방법, 및 컴퓨터 판독가능 기록 매체 | |
US20180336450A1 (en) | Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity | |
Siegert et al. | “Speech Melody and Speech Content Didn’t Fit Together”—Differences in Speech Behavior for Device Directed and Human Directed Interactions | |
JP2020154378A (ja) | 自己との対話装置、チャットボット、およびロボット | |
WO2019143170A1 (ko) | 소정의 목표를 갖는 대화 이해 ai 서비스 시스템을 위한 대화 템플릿의 생성 방법 및 컴퓨터 판독가능 기록 매체 | |
US20240055003A1 (en) | Automated assistant interaction prediction using fusion of visual and audio input | |
WO2019088383A1 (ko) | 적시에 간투사 답변을 제공함으로써 자연어 대화를 제공하는 방법, 컴퓨터 장치 및 컴퓨터 판독가능 기록 매체 | |
US20150127593A1 (en) | Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity | |
KR20190106011A (ko) | 대화 시스템 및 그 방법, 그 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램 | |
WO2020189340A1 (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
WO2019098638A1 (ko) | 보안성을 강화한 의미-무관 사용자 성문 인증을 제공하는 방법, 대화형 ai 에이전트 시스템 및 컴퓨터 판독가능 기록 매체 | |
Hackbarth | Voices from Industry Revolutionizing Augmentative and Alternative Communication with Generative Artificial Intelligence | |
KR20230120787A (ko) | 챗봇 기반의 비대면 헬스케어 서비스 | |
JP2024037614A (ja) | 所定対象用の感情辞書を生成するプログラム、装置、システム及び方法、並びに感情推定プログラム及び装置 | |
KR20190056967A (ko) | 보안성을 강화한 의미-무관 사용자 성문 인증을 제공하는 방법, 대화형 ai 에이전트 시스템 및 컴퓨터 판독가능 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230418 |