JP6260138B2 - コミュニケーション処理装置、コミュニケーション処理方法、及び、コミュニケーション処理プログラム - Google Patents

Description

本願発明は、人と人、あるいは、人と機械との間で行われるコミュニケーションを、情報処理を行うことによって支援するコミュニケーション処理装置等に関する。

近年、音声認識等の音声言語処理技術を用いて、人と人、あるいは、人と機械との間で行われるコミュニケーションを支援する技術について実用化が進んでいる。その代表的な例としては、音声翻訳（自動通訳）装置が挙げられる。これは、異なる言語を母国語とする人同士におけるコミュニケーションを音声認識、及び、機械翻訳等の技術を用いて支援する装置である。例えば、日英の音声翻訳装置は、日本語話者が話した日本語音声を、音声認識技術を用いて和文テキストにした後、機械翻訳技術を用いて英文テキストに変換し、その英文テキストを、相手の英語話者に表示したり、あるいは、音声合成技術を用いて、その英文テキストを英語音声に変換して英語話者に聞かせたりする。

しかしながら、現在の音声認識技術、及び、機械翻訳技術においては、音声認識、及び、機械翻訳における誤りが発生することを完全に回避することは困難であり、音声認識、及び、機械翻訳における誤りが発生した場合、コミュニケーションを継続することが困難な状態（不全状態）が発生する虞がある。したがって、このような不全状態を回避するために、不全状態を検出する技術が益々重要になってきている。

このような技術に関連する技術として、特許文献１には、音声認識結果に関する信頼度が示す値に基づいて、回答不能行動を行うか否かに関する評価値を算出し、評価値が所定の閾値未満である場合に回答不能行動を行うと判定して、所定の応答行動から回答不能行動を選択するようにしたコミュニケーションロボットが公開されている。

特開平2011-227237号公報

特許文献１に開示された技術は、情報処理結果に関する信頼度が示す値に基づいて算出した評価値により、コミュニケーションにおける不全状態を検出する。しかしながら、この評価値のみで不全状態を検出したのでは、検出に関する迅速性及び正確性において、必ずしも十分であるとはいえない。例えば、評価値が所定の閾値未満であっても、実際には不全状態が発生していない場合もあれば、その逆に、評価値が所定の閾値以上であっても、実際には不全状態が発生している場合も考えられる。

本願発明の主たる目的は、上述した課題を解決可能な、コミュニケーション処理装置、コミュニケーション処理方法、及び、コミュニケーション処理プログラムを提供することである。

本願発明に係るコミュニケーション処理装置は、言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、の少なくともいずれかを参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出する検出手段と、前記検出手段が出力した結果を基に所定の算出基準に従って算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定する判定手段と、を備えることを特徴とする。

上記目的を達成する他の見地において、本願発明のコミュニケーション処理方法は、情報処理装置によって、言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、の少なくともいずれかを参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出し、検出結果を基に所定の算出基準に従って算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定することを特徴とする。

また、上記目的を達成する更なる見地において、本願発明に係るコミュニケーション処理プログラムは、言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、の少なくともいずれかを参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出する検出処理と、前記検出処理が出力した結果を基に所定の算出基準に従って算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定する判定処理と、をコンピュータに実行させることを特徴とする。

更に、本発明の他の見地は、係る情報読取プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記憶媒体によっても実現可能である。

本願発明は、言語を使用して発信された発信情報を情報処理することによりコミュニケーションを支援する際に、コミュニケーションを継続することが困難な状態が発生していることを、迅速かつ正確に検出することを可能とする。

本願発明の第１の実施形態に係るコミュニケーション処理装置の第１の構成を示すブロック図である。 本願発明の第１の実施形態における、コミュニケーション処理装置の動作を示すフローチャートである。 本願発明の第１の実施形態における、コミュニケーション不全要素の検出基準を例示する図である。 本願発明の第１の実施形態における、コミュニケーション不全状態の判定基準を例示する図である。 本願発明の第１の実施形態に係るコミュニケーション処理装置の第１の変形例の構成を示すブロック図である。 本願発明の第１の実施形態に係るコミュニケーション処理装置の第２の変形例の構成を示すブロック図である。 本願発明の第２の実施形態に係るコミュニケーション処理装置の構成を示すブロック図である。 本願発明の各実施形態とその変形例に係るミュニケーション処理装置を実行可能な情報処理装置の構成を示すブロック図である。

以下、本願発明の実施の形態について図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は第１の実施形態のコミュニケーション処理装置１の構成を概念的に示すブロック図である。本実施形態のコミュニケーション処理装置１は、異なる言語を母国語とする人同士における会話を支援する装置である。コミュニケーション処理装置１は、検出部１０、判定部１１、音声入力部１２−１乃至１２−２、音声認識部１３−１乃至１３−２、翻訳部１４−１乃至１４−２、結果提示部１５−１乃至１５−２、及び、回避動作提示部１６と、を有している。検出部１０、判定部１１、音声入力部１２−１乃至１２−２、音声認識部１３−１乃至１３−２、翻訳部１４−１乃至１４−２、結果提示部１５−１乃至１５−２、及び、回避動作提示部１６は、電子回路の場合もあれば、コンピュータプログラムとそのコンピュータプログラムに従って動作するプロセッサである場合もある。

音声入力部１２−１乃至１２−２は、ユーザが話した音声をマイク等の機器を使用して取り込み、アナログ／デジタル変換機器等を使用して、音声をデジタルデータ（以降、音声データと称する）に変換する。音声入力部１２−１乃至１２−２が取り込む音声は異なる言語の音声であり、例えば、音声入力部１２−１は日本語の音声、音声入力部１２−２は英語の音声を取り込む。音声入力部１２−１乃至１２−２は、生成した音声データを、その音声データを生成した音声入力部自身を識別する識別子とともに、検出部１０へ入力する。

音声認識部１３−１乃至１３−２は、それぞれ、音声入力部１２−１乃至１２−２により生成された音声データを、音声認識処理によってテキストデータに変換する。音声認識部１３−１乃至１３−２は、生成したテキストデータを、そのテキストデータを生成した音声認識部自身を識別する識別子とともに、検出部１０へ入力する。音声認識部１３−１乃至１３−２は、音声認識処理した際における信頼度を示す値を所定の算出方法により算出して、その信頼度を示す値を検出部１０へ入力する。この信頼度を示す値に係る算出方法は当業者には周知であるため、算出方法に係る詳細な説明は省略する。

翻訳部１４−１乃至１４−２は、それぞれ、音声認識部１３−１乃至１３−２により生成されたテキストデータを、翻訳処理によって異なる言語のテキストデータに変換する。例えば、音声入力部１２−１乃至１２−２が取り込む音声が、それぞれ、日本語及び英語である場合、翻訳部１４−１は、日本語から英語への翻訳処理を行い、翻訳部１４−２は、英語から日本語への翻訳処理を行う。翻訳部１４−１乃至１４−２は、生成したテキストデータを、そのテキストデータを生成した翻訳部自身を識別する識別子とともに、検出部１０へ入力する。翻訳部１４−１乃至１４−２は、翻訳処理した際における信頼度を示す値を所定の算出方法により算出して、その信頼度を示す値を検出部１０へ入力する。この信頼度を示す値に係る算出方法は当業者には周知であるため、算出方法に係る詳細な説明は省略する。

結果提示部１５−１乃至１５−２は、それぞれ、翻訳部１４−１乃至１４−２により生成されたテキストデータを、画面にテキストとして表示したり、あるいは、当該テキストデータを音声合成処理して音声データに変換した後、スピーカから出力する等によってユーザに提示する。

本実施形態のコミュニケーション処理装置１は、２人の会話を支援する装置を例示しており、上述した通り、音声入力部、音声認識部、翻訳部、及び、結果提示部を、それぞれ２個ずつ備えている例について説明した。コミュニケーション処理装置１は、３人以上の会話を支援する場合、音声入力部、音声認識部、翻訳部、及び、結果提示部を、それぞれ３個以上備えてもよい。

検出部１０は、ユーザから発せられた発話ごとに、コミュニケーション不全要素を検出する。ここでコミュニケーション不全要素とは、コミュニケーションの不全状態を引き起こす原因、もしくは、その結果としてコミュニケーションにおいて生じる現象のことである。コミュニケーション不全要素の具体例としては、音声認識処理や翻訳処理における誤り、それらによって引き起こされる、発話したユーザによる再発声、及び、聞き手であるユーザによる聞き返し発声等がある。

検出部１０は、音声入力部１２−１乃至１２−２から受信した音声データを、音声入力部１２−１乃至１２−２を識別する識別子と関連付けて記憶する。検出部１０が記憶する音声データは所定の発話回数分であり、検出部１０は、古い音声データを順次削除する。検出部１０は、音声認識部１３−１乃至１３−２から受信した、音声認識結果であるテキストデータ、及び、音声認識信頼度を示す値を、音声認識部１３−１乃至１３−２を識別する識別子と関連付けて記憶する。検出部１０が記憶する音声認識結果及び音声認識信頼度を示す値は所定の発話回数分であり、検出部１０は、古い音声認識結果及び音声認識信頼度を示す値を順次削除する。検出部１０は、翻訳部１４−１乃至１４−２から受信した、翻訳結果であるテキストデータ、及び、翻訳信頼度を示す値を、翻訳部１４−１乃至１４−２を識別する識別子と関連付けて記憶する。検出部１０が記憶する翻訳結果及び翻訳信頼度を示す値は所定の発話回数分であり、検出部１０は、古い音声認識結果及び音声認識信頼度を示す値を順次削除する。

検出部１０は、音声入力部１２−１乃至１２−２、音声認識部１３−１乃至１３−２、及び、翻訳部１４−１乃至１４−２から受信した各情報と、所定のコミュニケーション不全要素検出基準とを基に、コミュニケーション不全要素を検出する。図３にコミュニケーション不全要素の検出基準１００の一例を示す。

図３に示すコミュニケーション不全要素の検出基準１００においては、コミュニケーション不全要素として、「再発声」、「聞き返し」、「音声認識誤り」、及び、「機械翻訳誤り」という４つの要素が登録されている。図３に示すように、個々のコミュニケーション不全要素には、検出対照データ入力元と、検出対象データと、検出基準とが関連付けられている。

「再発声」は、同一もしくはほぼ同一である内容の発声が繰り返される現象であり、そのような発声が連続する場合と、コミュニケーションにおける相手による発話を挟んで繰り返される場合がある。また、「再発声」においては、文章全体が繰り返される場合と、文章の一部分が繰り返される場合があり、さらに、同様の表現を用いた発声が繰り返される場合と、表現は異なるが意味が同様である発声が繰り返される場合などがある。

検出部１０は、識別子により特定される同一ユーザによる発声に関連した音声データ、音声認識結果、及び、翻訳結果を、コミュニケーション不全要素を検出する検出対象データとして、それぞれ、１回前の発話に係るデータとの類似性を示す値を求める。検出部１０は、音声データの音響的な特徴、あるいは、音声認識における結果候補の一致状況などを基に、特開平１１−１４９２９４、特開２０００−２５０５９０、及び、特開２００７−９３７８９に記載された方法等を用いて、上述した類似性を示す値を求める。検出部１０は、類似性を示す値が閾値以上である場合は、当該検出対象データを、コミュニケーション不全要素として検出し、その検出結果を判定部１１へ入力する。

コミュニケーション不全要素の検出基準１００にコミュニケーション不全要素として登録された「聞き返し」は、音声認識処理、あるいは、翻訳処理における不具合などにより、ユーザが相手が発話した内容が理解できないため、「もう一度言ってください」、あるいは、「私は理解できません」等の発声が行われる現象である。

検出部１０は、音声データ、音声認識結果、及び、翻訳結果を、コミュニケーション不全要素を検出する検出対象データとして、それぞれ、所定の文章との類似性を示す値を求める。ここで所定の文章とは、上述した「もう一度言ってください」、あるいは、「私は理解できません」等の内容を示す文章である。検出部１０は、類似性を示す値が閾値以上である場合は、当該検出対象データを、コミュニケーション不全要素として検出し、その検出結果を判定部１１へ入力する。

コミュニケーション不全要素の検出基準１００にコミュニケーション不全要素として登録された「音声認識誤り」及び「機械翻訳誤り」は、それぞれ、音声認識処理した際における信頼度、及び、翻訳処理した際における信頼度を示す値が低いため、コミュニケーション不全状態を引き起こす可能性が高いことを示す現象である。

検出部１０は、音声認識信頼度及び翻訳信頼度を、それぞれ、コミュニケーション不全要素を検出する検出対象データとして、閾値と比較する。検出部１０は、それぞれの信頼度を示す値が閾値未満である場合は、当該検出対象データを、コミュニケーション不全要素として検出し、その検出結果を判定部１１へ入力する。

尚、図３に示すコミュニケーション不全要素の検出基準１００は一例にすぎず、コミュニケーション不全要素、及び、その検出基準は、図３に示す例に限定されない。例えば、音声入力部１２−１乃至１２−２が再発声ボタンや聞き返しボタンを備え、検出部１０が、「再発声」及び「聞き返し」を、音声データや音声認識結果等から検出する代わりに、これらのボタンが押下されたことを検知することにより、「再発声」及び「聞き返し」を検出してもよい。また、検出部１０が判定部１１へ入力する検出結果は、コミュニケーション不全要素の有無の代わりに、コミュニケーション不全である確からしさを所定の基準で算出した値でもよい。

本実施形態における検出部１０は、音声入力部１２−１乃至１２−２、音声認識部１３−１乃至１３−２、及び、翻訳部１４−１乃至１４−２の全てから、コミュニケーション不全要素を検出するべき検出対象データを受信しているが、これら構成要素の一部から検出対象データを受信するように構成してもよい。

判定部１１は、検出部１０から、コミュニケーション不全要素に関する検出結果を受信し、コミュニケーション不全要素が検出された頻度をカウントする。判定部１１は、コミュニケーション不全要素が検出された頻度と、所定のコミュニケーション不全状態判定基準とを基に、コミュニケーション不全状態が生じているかどうかを判定する。図４にコミュニケーション不全状態の判定基準１１０の一例を示す。図４に示すように、個々のコミュニケーション不全要素には、判定基準が関連付けられている。

判定部１１は、コミュニケーション不全要素である「再発声」が、何れかの話者に関して連続する５発話中、３回以上の頻度で検出された場合、コミュニケーション不全状態が生じていると判定する。判定部１１は、コミュニケーション不全要素である「聞き返し」が、何れかの話者に関して連続して３回以上検出された場合、コミュニケーション不全状態が生じていると判定する。判定部１１は、「再発声」及び「聞き返し」のいずれかが、両方の話者に関して、連続する１０発話中、７回以上の頻度で検出された場合、コミュニケーション不全状態が生じていると判定する。判定部１１は、コミュニケーション不全要素である「音声認識誤り」が、両方の話者に関して、連続する１０発話中、５回以上の頻度で検出された場合、コミュニケーション不全状態が生じていると判定する。判定部１１は、コミュニケーション不全要素である「機械翻訳誤り」が、両方の話者に関して、連続する１０発話中、５回以上の頻度で検出された場合、コミュニケーション不全状態が生じていると判定する。判定部１１は、これらの判定結果を回避動作提示部１６へ入力する。

尚、図４に示すコミュニケーション不全状態の判定基準１１０は一例にすぎず、判定基準は、図４に示す例に限定されない。例えば、判定部１１は、個々のコミュニケーション不全要素について、不全である確からしさを示す値を累積した値を算出する算出基準、あるいは、複数のコミュニケーション不全要素に関する、ＡＮＤ（論理和）条件あるいはＯＲ（論理積）条件を用いた複雑な条件式用いた算出基準を基に算出した値から判定する判定基準を使用してもよい。あるいは、判定部１１は、コミュニケーション不全要素の種類ごとに重みを付加した値を算出する算出基準を基に算出した値から判定してもよい。

回避動作提示部１６は、コミュニケーション不全状態を回避する回避動作に関する情報を記憶している。回避動作提示部１６は、判定部１１からコミュニケーション不全状態が発生したことを示す判定結果を受信したときに、回避動作に関する情報を画面等に出力することによって、ユーザに回避動作の実行を促す。回避動作提示部１６が記憶する回避動作としては、例えば、キーボードを使用した発話内容の入力、発話内容の入力における例文からの選択、機械翻訳から人間の通訳者を介した翻訳への切り替えなどがある。回避動作提示部１６は、コミュニケーション不全状態が発生した場合、コミュニケーションを行っているユーザとは異なるオペレータへ、テレビ電話等により自動接続する。また、回避動作提示部１６は、ユーザがオペレータへの接続指示を入力するボタンを画面に表示してもよい。

次に図２のフローチャートを参照して、本実施形態のコミュニケーション処理装置１の動作について詳細に説明する。

検出部１０は、音声入力部１２−１乃至１２−２から、音声データを受信し、音声入力部１２−１乃至１２−２を識別する識別子と関連付けて記憶する（ステップＳ１０１）。検出部１０は、音声認識部１３−１乃至１３−２から、音声認識結果、及び、音声認識信頼度を受信し、音声認識部１３−１乃至１３−２を識別する識別子と関連付けて記憶する（ステップＳ１０２）。検出部１０は、翻訳部１４−１乃至１４−２から、翻訳結果、及び、翻訳信頼度を受信し、翻訳部１４−１乃至１４−２を識別する識別子と関連付けて記憶する（ステップＳ１０３）。

検出部１０は、コミュニケーション不全要素の検出基準１００に基づき、コミュニケーション不全要素を検出して、その検出結果を、判定部１１へ入力する（ステップＳ１０４）。判定部１１は、コミュニケーション不全要素を検出した頻度と、コミュニケーション不全状態の判定基準１１０に基づき、コミュニケーション不全状態が発生していることを判定し、判定結果を回避動作提示部１６へ入力する（ステップＳ１０５）。回避動作提示部１６は、コミュニケーション不全状態を回避する回避動作に関する情報を出力し（ステップＳ１０６）、全体の処理は終了する。

本実施形態は、言語を使用して発信された発信情報を情報処理することによりコミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、迅速かつ正確に検出することができる。その理由は、検出部１０が、音声入力部１２−１乃至１２−２、音声認識部１３−１乃至１３−２、及び、翻訳部１４−１乃至１４−２から入手した情報と、コミュニケーション不全要素の検出基準１００と、を基にコミュニケーション不全要素を検出し、判定部１１が、その検出結果と、コミュニケーション不全状態の判定基準１１０とを基に、不全状態が発生していることを判定するからである。

例えば母国語が異なる人同士がコミュニケーションを行う場合、音声認識処理と翻訳処理とを行うコミュニケーション処理装置が、そのコミュニケーションを仲介することがある。しかしながら、現在の音声認識技術、及び、機械翻訳技術は、まだまだ発展途上の技術であるため、コミュニケーション処理装置は、期待値とは異なる音声認識処理、あるいは、翻訳処理を行うことがある。この場合、コミュニケーションを行う当事者は、お互いが話す内容が理解できないため、コミュニケーションを継続することが困難な不全状態が発生する。

本実施形態においては、検出部１０は、不全状態が発生したときの特有の現象である、「再発生」、あるいは、「聞き返し」等の現象を、コミュニケーション不全要素の検出基準１００を基に、コミュニケーション不全要素として検出する。そして、判定部１１は、コミュニケーション不全要素の検出頻度がコミュニケーション不全状態の判定基準１１０を満たした場合に不全状態が発生していることを判定するため、コミュニケーションを継続することが困難な不全状態が発生していることを、迅速かつ確実に検出することが可能となる。

尚、「再発生」、あるいは、「聞き返し」等の現象は、コミュニケーションを行う当事者が、たまたま相手の話す内容が聞き取れなかった場合など、一時的に発生することがある。判定部１１は、コミュニケーション不全要素の検出頻度がコミュニケーション不全状態の判定基準１１０を満たさない限りは、コミュニケーションを継続することが困難な状態が発生しているとは判定しない。したがって、本実施形態は、コミュニケーションを継続することが困難な不全状態を、必要以上に検出することを回避することができる。

さらに、本実施形態においては、回避動作提示部１６が、判定部１１がコミュニケーションを継続することが困難な不全状態が発生したことを判定したときに、不全状態を回避する回避動作に関する状態を画面等に出力する。コミュニケーションを行う当事者は、回避動作提示部１６が出力した情報を参照して、その回避動作を行うことにより、不全状態を回避することが可能となる。

また、本実施形態のコミュニケーション処理装置２は、第１の変形例として、図５に示す構成をとる場合がある。本構成のコミュニケーション処理装置２は、ユーザのいずれかが音声によるコミュニケーションを行うことができない場合に、そのコミュニケーションを支援する装置である。

本変形例のコミュニケーション処理装置２は、図１に示す構成における、音声入力部１２−２及び音声認識部１３−２がテキスト入力部１７−２に置きわり、翻訳部１４−１乃至１４−２を備えない構成をとる。テキスト入力部１７−２は、コミュニケーションを行う当事者がテキスト入力した情報を受け付けて、その情報を検出部１０、及び、結果提示部１５−２へ入力する。結果提示部１５−２は、テキスト入力部１７−２から入力された情報を出力する。本変形例におけるその他の構成要素の動作は、図１に示す構成と同様である。

尚、コミュニケーション処理装置２は、図１における音声入力部１２−１及び音声認識部１３−１も、テキスト入力部に置き換わった構成であってもよい。

本変形例は、言語を使用して発信された発信情報を情報処理することによりコミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、迅速かつ正確に検出することができる。その理由は、検出部１０が、音声入力部１２−１、音声認識部１３−１、及び、テキスト入力部１７−２から入手した情報と、コミュニケーション不全要素の検出基準１００と、を基にコミュニケーション不全要素を検出し、判定部１１が、その検出結果と、コミュニケーション不全状態の判定基準１１０とを基に、不全状態が発生していることを判定するからである。

さらに、本実施形態のコミュニケーション処理装置３は、第２の変形例として、図６に示す構成をとる場合がある。本構成のコミュニケーション処理装置２は、人とロボット等の装置がコミュニケーションを行う場合に、そのコミュニケーションを支援する装置である。

本変形例のコミュニケーション処理装置３は、図１に示す構成における、音声入力部１２−２、音声認識部１３−２、翻訳部１４−２、及び、結果提示部１５−２を備えず、翻訳部１４−１が応答生成部１８に置き換わった構成をとる。本変形例における応答生成部１８を除く構成要素の動作は、図１に示す構成と同様である。応答生成部１８は、音声認識部１３−１から入力されたテキストデータの内容を解釈し、知識データベース等を参照して応答結果を生成して、応答結果を結果提示部１５−１及び検出部１０へ出力する。

本変形例は、言語を使用して発信された発信情報を情報処理することによりコミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、迅速かつ正確に検出することができる。その理由は、検出部１０が、音声入力部１２−１、音声認識部１３−１、及び、応答生成部１８から入手した情報と、コミュニケーション不全要素の検出基準１００と、を基にコミュニケーション不全要素を検出し、判定部１１が、その検出結果と、コミュニケーション不全状態の判定基準１１０とを基に、不全状態が発生していることを判定するからである。

＜第２の実施形態＞
図７は第２の実施形態のコミュニケーション処理装置４の構成を概念的に示すブロック図である。

本実施形態のコミュニケーション処理装置４は、検出部１０と、判定部１１と、を備えている。

検出部１０は、言語によるコミュニケーションに伴い発生した内容を表す発信情報と、その発信情報に情報処理を施すことによって得られる出力結果情報と、当該発信情報を基に当該出力結果情報を生成する過程において生成される中間処理結果情報と、の少なくともいずれかを参照する。そして、検出部１０は、コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、コミュニケーション不全要素を規定した所定の検出基準に従って検出する。

判定部１１は、検出部１０によりコミュニケーション不全要素が検出された結果を基に所定の算出基準に従って算出し、算出した値が所定の判定基準を満たす場合に、コミュニケーションを継続することが困難な不全状態が発生していると判定する。

本実施形態は、言語を使用して発信された発信情報を情報処理することによりコミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、迅速かつ正確に検出することができる。その理由は、検出部１０が、入力された発信情報と、その発信情報を情報処理した中間処理結果情報と、出力した出力結果情報と、所定の検出基準と、を基にコミュニケーション不全要素を検出し、判定部１１が、その検出結果と、所定の判定基準とを基に、不全状態が発生していることを判定するからである。

＜ハードウェア構成例＞
上述した実施形態において図１、及び、図５乃至７に示した各部は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図８を参照して説明する。

図８は、本発明の模範的な各実施形態及びその変形例に係るコミュニケーション処理装置を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図８は、図１、及び、図５乃至７に示したコミュニケーション処理装置を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。

図８に示した情報処理装置９００は、ＣＰＵ９０１（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）、ＲＯＭ９０２（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）、ＲＡＭ９０３（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）、ハードディスク９０４（記憶装置）、外部装置との通信インタフェース９０５（Ｉｎｔｅｒｆａｃｅ：以降、「Ｉ／Ｆ」と称する）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記憶媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、及び、入出力インタフェース９０９を備え、これらの構成がバス９０６（通信線）を介して接続された一般的なコンピュータである。入出力インタフェース９０９は、前述した各実施形態におけるマイク等の音声入力部１２−１乃至１２−２、画面及びスピーカ等の結果提示部１５−１乃至１５−２、及び、回避動作提示部１６である。

そして、上述した実施形態を例に説明した本発明は、図８に示した情報処理装置９００に対して、その実施形態の説明において参照したブロック構成図（図１、及び、図５乃至７）或いはフローチャート（図２）の機能を実現可能なコンピュータプログラムを供給した後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性の記憶メモリ（ＲＡＭ９０３）またはハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。

また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、ＣＤ−ＲＯＭ等の各種記憶媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記憶媒体９０７によって構成されると捉えることができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

１ コミュニケーション処理装置
２ コミュニケーション処理装置
３ コミュニケーション処理装置
４ コミュニケーション処理装置
１０ 検出部
１００ コミュニケーション不全要素の検出基準
１１ 判定部
１１０ コミュニケーション不全状態の判定基準
１２−１乃至１２−２ 音声入力部
１３−１乃至１３−２ 音声認識部
１４−１乃至１４−２ 翻訳部
１５−１乃至１５−２ 結果提示部
１６ 回避動作提示部
１７−２ テキスト入力部
１８ 応答生成部
９００ 情報処理装置
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ ハードディスク
９０５ 通信インタフェース
９０６ バス
９０７ 記憶媒体
９０８ リーダライタ
９０９ 入出力インタフェース

Claims (10)

1. 言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、を参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出する検出手段と、
   前記検出手段が出力した結果を基に所定の算出基準に従って、前記コミュニケーション不全要素の発生状況を示す値を算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定する判定手段と、
   を備えるコミュニケーション処理装置。
2. 前記判定手段は、前記コミュニケーション不全要素が検出される頻度を、前記コミュニケーション不全要素の発生状況を示す値として算出する、
   請求項１に記載のコミュニケーション処理装置。
3. 前記検出手段は、特定の発信元に関連付けられた前記発信情報、前記出力結果情報、及び、前記中間処理結果情報の少なくともいずれかに関して、１回前に発信されたそれら情報との類似性を示す値が前記検出基準を満たす場合に、前記コミュニケーション不全要素として検出する、
   請求項１または２に記載のコミュニケーション処理装置。
4. 前記検出手段は、前記発信情報、前記出力結果情報、及び、前記中間処理結果情報の少なくともいずれかに関して、所定の値との類似性が前記検出基準を満たす場合に、前記コミュニケーション不全要素として検出する、
   請求項１乃至３のいずれかに記載のコミュニケーション処理装置。
5. 前記検出手段は、前記出力結果情報、及び、前記中間処理結果情報の少なくともいずれかに関して、前記情報処理に関する信頼度を示す値が前記検出基準を満たす場合に、前記コミュニケーション不全要素として検出する、
   請求項１乃至４のいずれかに記載のコミュニケーション処理装置。
6. 音声である前記発信情報を入力し、前記発信情報について音声認識処理を実行する音声認識手段をさらに備える、
   請求項１乃至５のいずれかに記載のコミュニケーション処理装置。
7. 前記不全状態を回避する回避動作に関する情報を記憶し、前記判定手段から前記不全状態が発生したことを示す情報を受信したときに、前記回避動作に関する情報を提示する回避動作提示手段をさらに備え、
   前記判定手段は、前記不全状態が発生していることを判定した場合に、前記不全状態が発生したことを示す情報を前記回避動作提示手段によってユーザに提示する、
   請求項１乃至６のいずれかに記載のコミュニケーション処理装置。
8. 前記回避動作提示手段は、前記判定手段から前記不全状態が発生したことを示す情報を受信したときに、前記コミュニケーションを行っているユーザとは異なるオペレータへ接続する、
   請求項７に記載のコミュニケーション処理装置。
9. 情報処理装置によって、
   言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、を参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出し、
   検出結果を基に所定の算出基準に従って、前記コミュニケーション不全要素の発生状況を示す値を算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定する。
   コミュニケーション処理方法。
10. 言語によるコミュニケーションに伴い発生した内容を表す発信情報と、前記発信情報に情報処理を施すことによって得られる出力結果情報と、前記発信情報を基に前記出力結果情報を生成する過程において生成される中間処理結果情報と、を参照して、前記コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、前記コミュニケーション不全要素を規定した所定の検出基準に従って検出する検出処理と、
    前記検出処理が出力した結果を基に所定の算出基準に従って、前記コミュニケーション不全要素の発生状況を示す値を算出し、算出した値が所定の判定基準を満たす場合に、前記コミュニケーションを継続することが困難な不全状態が発生していると判定する判定処理と、
    をコンピュータに実行させるコミュニケーション処理プログラム。

Images