JP2023169448A - 生活を支援する方法、装置、システム、及びプログラム - Google Patents

Abstract

【課題】ユーザのコミュニケーションを支援する。【解決手段】ユーザのコミュニケーションを支援する装置であって、前記ユーザの言語レベル、知識レベル、視覚レベル、および／または聴覚レベルを測定することで決定される前記ユーザとの円滑なコミュニケーションを行うための推奨方法（ポリシー）を記録してあって、ユーザが受け取るコミュニケーションが上記推奨方法（ポリシー）に従っていないと判定される場合には、上記推奨方法を満たすコミュニケーションに変換し、ユーザに提示することで、円滑なコミュニケーションを実現する。【選択図】図１９

Description

本開示は、生活を支援する方法、装置、システム、プログラムに関するものである。

特許文献１は、コミュニケーションをとる際に、情報の伝え手ユーザの知識度と受け手ユーザの知識度とを比較し、受け手ユーザの知識度が伝え手ユーザの知識度よりも低い場合には、受け手ユーザの知識度が最も高い事象を選出し、入力された事象の程度の定量値を、選出された最も知識度が高い事象の程度の定量値に変換することにより、受け手ユーザに伝達する方法が開示されている。

特開２０１４－７１７１１号公報

しかしながら、特許文献１の技術ではさらなる改善が必要である。

本開示の一態様に係るコミュニケーションの支援装置は、ユーザとコミュニケーションを行う情報通信端末であって、前記ユーザの言語レベル、知識レベル、視覚レベル、および／または聴覚レベルを継続的に測定することで決定される前記ユーザとの円滑なコミュニケーションを行うための推奨方法（ポリシー）を記録してあって、前記情報通信端末は、前記ユーザが新たに受け取る第１のコミュニケーションを前記情報通信端末に具備されたセンサーを用いて検出し、前記ユーザが受け取る前記第１のコミュニケーションを前記推奨方法（ポリシー）と比較し、前記第１のコミュニケーションが前記推奨方法（ポリシー）に合致しないと判断する場合には、前記ユーザが受け取る前記第１のコミュニケーションの言語表現方法、必要となる知識体系、文字情報の表示方法、および音声情報の出力方法の少なくとも何れか１つを変更して前記ユーザへの個別コミュニケーションを生成し、前記個別コミュニケーションを前記ユーザに伝達する。

本開示によれば、さらなる改善ができる。

本開示の実施の形態に係る情報システムの全体構成の一例を示すブロック図である。 本開示の実施の形態に係る情報システムの構成の一例を示すブロック図である。 コミュニケーションの手段に対して関連するコミュニケーション能力との相関の一例を示す表である。 コミュニケーションのポリシーと、ユーザの言語レベルとの相関の一例を示す表である。 コミュニケーションのポリシーと、ユーザの知識レベルとの相関の一例を示す表である。 コミュニケーションのポリシーと、ユーザの視覚レベルとの相関の一例を示す表である。 コミュニケーションのポリシーと、ユーザの聴覚レベルとの相関の一例を示す表である。 コミュニケーションの能力に応じた応答方法の一例を示す表である。 ユーザからの質問に回答する応答方法の一例を示すフローチャートである。 コミュニケーションのポリシーに応じた応答をする一例を示すフローチャートである。 ユーザに質問を行い、その回答によりコミュニケーション能力を測定する一例を示すフローチャートである。 ユーザに質問を行い、その回答によりコミュニケーション能力を更新する一例を示すフローチャートである。 ユーザに質問を行い、その回答によりコミュニケーション能力を更新する際に用いる表の一例である。 ユーザの言語レベルを複数言語に細分化して管理する際に用いる表の一例である。 ユーザの知識レベルを複数分野に細分化して管理する際に用いる表の一例である。 コミュニケーションからユーザの理解度を推定して、適宜、支援介入する一例を示すフローチャートである。 コミュニケーションからユーザの理解度を推定して、適宜、支援介入する一例を示すフローチャートである。 コミュニケーションの終了前に、要約を行う一例を示すフローチャートである。 コミュニケーションの終了後に、要約を行う一例を示すフローチャートである。 コミュニケーションの終了後に、ユーザにのみ、要約を行う一例を示すフローチャートである。 コミュニケーションの終了後に、ユーザにのみ、要約を行う一例を示すフローチャートである。 ユーザのタスク実行の支援を行う際に用いる表の一例である。 ユーザのタスク実行の支援を行う一例を示すフローチャートである。

（本開示に至る経緯）
我々は日々の生活の中で数多くの情報を受けて、多くの情報を発している。その生活の中で、ユーザがテレビ、雑誌、または人との会話などから受け取った情報を正しく理解できるかは、その情報の内容、表現方法、伝達方法、及びユーザーの知覚能力に大きく依存している。しかしながら、情報の受け手であるユーザが、受けている情報が理解できたか否かを明確に意思表示することは、現実的には難しい場面がある。例えば、時間制約からユーザが質問をするための十分な時間がない場合、ユーザがコミュニケーションに用いられている言語に不慣れであり話についていけない場合、ユーザが話されている事項に関する必要な前提知識を持っていない場合、ユーザの視覚能力、聴覚能力が衰えて十分に認知できない場合、などさまざまである。

これらのコミュニケーションにおける受け手であるユーザの理解欠如は、必要な情報が必要な人に届かなかったために生命に関わる大きな問題を引き起こす可能性さえもある。

また、日常生活には情報のやり取りに関する課題だけでなく、日々実施していかなければならないタスクもある。しかしながら、日常生活にあるタスクも数多く、全てを確実に実施するのは難しいのが実状である。

このような日常生活を遂行するために起こりうる問題は、高齢化による認知能力の衰えや、国際化による必要となる言語能力の不足などにより、今後さらに大きな問題となる可能性がある。

本開示の一態様に係るコミュニケーションの支援装置は、ユーザとコミュニケーションを行う情報通信端末であって、前記ユーザの言語レベル、知識レベル、視覚レベル、および／または聴覚レベルを継続的に測定することで決定される前記ユーザとの円滑なコミュニケーションを行うための推奨方法（ポリシー）を記録してあって、前記情報通信端末は、前記ユーザが新たに受け取る第１のコミュニケーションを前記情報通信端末に具備されたセンサーを用いて検出し、前記ユーザが受け取る前記第１のコミュニケーションを前記推奨方法（ポリシー）と比較し、前記第１のコミュニケーションが前記推奨方法（ポリシー）に合致しないと判断する場合には、前記ユーザが受け取る前記第１のコミュニケーションの言語表現方法、必要となる知識体系、文字情報の表示方法、および音声情報の出力方法の少なくとも何れか１つを変更して前記ユーザへの個別コミュニケーションを生成し、前記個別コミュニケーションを前記ユーザに伝達する。

これにより、ユーザが受け取ったコミュニケーションを構成する情報の言語表現がユーザにとって難しい場合、その情報を理解するのに必要となる前提知識が不足している場合、そのコミュニケーションに含まれる文字情報を認知するための視覚、および／または、そのコミュニケーションに含まれる音声情報を認知するための聴覚が不足している場合には、ユーザと情報通信端末との間で普段より行われている円滑なコミュニケーションを行うための推奨方法（ポリシー）に則り、言語表現の簡易化、前提知識の簡素化、より視覚的に認識しやすい文字情報の表示、より聴覚的に聞き取りやすい音声情報の出力により、ユーザが受け取ったコミュニケーションの理解を、ユーザの能力に応じて支援することが実現できる。

本開示は、このようなコミュニケーションの支援方法に含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作するコミュニケーションの支援システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態）
我々の社会は、今後もさらにインターネットが普及し、各種センサーが身近になることが予想される。これにより、我々の社会は、個人の状態及び活動等に関する情報から建造物及び交通網等を含む街全体の情報までもが、デジタル化されてコンピューターシステムで利用できる状態になっていくと予想される。デジタル化された個人に関するデータ（個人情報）は、通信ネットワークを介してクラウドに蓄積され、ビッグデータとして情報銀行に管理され、個人のために様々な用途に利用されていく。

このような高度情報化社会は、日本ではＳｏｃｉｅｔｙ５．０と呼ばれる。高度情報化社会は、個人を取り囲む物質世界である現実空間（フィジカル空間）とコンピュータ同士が連携してフィジカル空間に関する各種処理がなされる仮想空間（サイバー空間）とを高度に融合させた情報基盤（サイバーフィジカルシステム）により、経済発展と社会的課題の解決とが期待される社会である。

そうした高度情報化社会では、個人が行う日常の様々なシーンでのコミュニケーション（情報の取得、提供、およびその表現方法を含む）や行動を分析し、蓄積した個人情報を含むビッグデータを分析することで、そのシーンに応じた、その個人にとって最適と思われるコミュニケーションの方法にて、その個人に必要な情報を提供することが可能になる。

以降では、そのようなサイバーフィジカルシステムが稼働する高度情報化社会を前提として、個人に寄り添った日常生活の支援をテーマとして、コミュニケーションを包括的に個別最適化（パーソナライゼーション）する様態、および日常生活のタスクを支援する様態、について説明していく。

図１は、本開示の実施の形態に係る情報システムの全体構成の一例を示すブロック図である。図１は、上半分はサイバー空間、下半分はフィジカル空間を示している。さらに、左側はユーザに関連する人や装置、右側はユーザとコミュニケーションを行う話し相手に関連する人や装置を描いている。

この図は、ユーザとその話し相手（この例では医師）とがコミュニケーションを行う場合に関連する情報システムの全体像を表している。ユーザは日常的に情報通信端末（１００）を利用しているとする。この情報通信端末（１００）は、ユーザとコミュニケーション（意思疎通）ができる装置であれば良く、ここでは、ロボットまたはスマートフォンとしたが、それ以外の装置（例えばパーソナルコンピュータ、メガネ、イヤホンなどの形態）であっても良い。ロボットやスマートフォンは、音声によってユーザとコミュニケーションを行う機能を有していても良いし、映像や文字を表示することでユーザとコミュニケーションを行う機能を有していても良い、および／または、身振りや顔表情を用いることでユーザとコミュニケーションを行う機能を有していてもよい。

図２に、本開示の実施の形態に係る情報システムの構成の一例を示すブロック図を示した。情報通信端末（１００）は、ユーザと映像情報や音声情報により意思疎通するための映像音声センシング部と映像音声出力、ユーザからのボタン押下やタッチ操作などを受け付ける操作部、情報通信端末（１００）の中で行われる音声認識や音声合成、情報検索や情報描画などの情報処理を行う演算部、演算部がデータを保持するメモリ、およびネットワーク上のコンピュータと情報通信を行うための通信部を備える。情報通信端末（１００）は、ユーザとのコミュニケーションを円滑に行うために身振りを行うための可動部や、映像音声出力部に顔表情を表示するようにしてもよい。

ユーザ情報を管理するクラウド（１０１）は、ネットワーク上のコンピュータと情報通信を行うための通信部、ユーザ情報を記録しているメモリ、外部からの要求に応じてユーザ情報を成形して出力するといった情報処理を行う演算部を備える。

話し相手が扱う情報を管理するクラウド（１１１）も同様に、ネットワーク上のコンピュータと情報通信を行うための通信部、話し相手が扱う情報を記録しているメモリ、外部からの要求に応じて話し相手が扱う情報を入出力するといった情報処理を行う演算部を備える。

話し相手が扱う情報通信端末（１１０）は、話し相手からのボタン押下やタッチ操作などを受け付ける操作部、情報通信端末（１１０）の中で行われる情報検索や情報描画などの情報処理を行う演算部、演算部がデータを保持するメモリ、およびネットワーク上のコンピュータと情報通信を行うための通信部を備える。

図１の説明に戻る。情報通信端末（１００）としてスマートフォンを用いる場合は、その端末の上で動作するアプリケーションを介して、ユーザはコミュニケーションを行う。例えば、そのアプリケーションでは、ユーザとのコミュニケーション履歴をチャットのような短い会話のやり取りを文字で表示し、話し相手としてアバターを表示してもよい。上記のロボットはフィジカル空間に実際に存在する物質的な装置であるが、上記のアプリケーションが描画するアバターはスマートフォンの画面（映像音声出力部）に表示されるグラフィックデータである。形態は異なるが、ユーザとコミュニケーションを取る点において本質的な差はなく、以降は情報通信端末（１００）をロボットの形態として説明を行うが、上記の通りスマートフォン上のアプリケーション（が表示するチャットやアバター）で実現しても良いし、メガネの形態で実現しても良いし、イヤホンの形態で実現しても良い。

また、この情報通信端末（１００）は、広域通信網であるネットワークを介して、ユーザ情報を管理するクラウド（１０１）と通信する。ユーザ情報を管理するクラウド（１０１）には後述するユーザのコミュニケーション能力を特定するための指標や会話履歴、ユーザの日常的なタスクが管理される。

ユーザは日頃触れる情報ソース（１０２）であるテレビや雑誌から、理解できなかった事や、より深く知りたい事について、日常的に利用している情報通信端末（１００）に対して質問したり、情報通信端末（１００）を用いて検索する。

尚、本開示の実施の形態では、情報通信端末（１００）とユーザ情報を管理するクラウド（１０１）とを分けて記載したが、これに限らず、ユーザ情報を情報通信端末（１００）内部に格納して、ユーザ情報を管理するクラウド（１０１）を用いない構成としても良い。この場合は、ユーザ情報をネットワークを介してクラウド（１０１）から取得しないため、通信が利用できない場合や、ユーザ情報の漏洩リスクを低下させる可能性がある。

一方で、ユーザとコミュニケーションを行う話し相手側（医師）について、図１の例を用いて説明する。ユーザとコミュニケーションを行う話し相手である医師はユーザを診断する。さらにその診察結果について、カルテ入力端末である情報通信端末（１１０）を介して入力する。そのカルテはカルテ保管クラウドである話し相手が扱う情報としてクラウド（１１１）にて管理される。

ユーザ情報を管理するクラウド（１０１）は、カルテ保管クラウド（１１１）に対して通信を行い、ユーザ自身の診察結果や処方箋、さらには過去の病歴について情報を取得またはアクセスすることができる。これは、ユーザ情報を管理するクラウド（１０１）を情報銀行と考えると、個人が自分の個人情報について、主体性と主導権を持って、自分または社会への価値還元のために自らの個人情報（パーソナルデータ）を活用できるＳｏｃｉｅｔｙ５．０型の世界である。ここでは個人情報を安全性を担保しつつも、幅広いニーズで利用できるように、生体情報を用いた本人認証技術や、分散暗号化管理による個人情報の漏洩防止技術や、データを暗号化したまま演算処理することを可能にする秘密計算技術などが用いられるが、本開示ではそれら技術の詳細については割愛する。

以下、ユーザがユーザのコミュニケーション能力を良く知る情報通信端末（１００）を介して、話し相手（例えば医師）とのコミュニケーションを円滑に進める形態について説明していく。また、他人とのコミュニケーションの支援だけでなく、ユーザが日常的に利用する情報通信端末（１００）という立場を活かして、ユーザの日常的なタスク実行をユーザに寄り添いながら支援する形態についても説明していく。

図３は、ユーザと情報通信端末（１００）との間のコミュニケーションの手段に対して、関連してくるユーザのコミュニケーション能力との相関の一例を示す表である。

表の最上段に示したように、利用する情報通信端末（１００）がロボットや、音声によるコミュニケーションを主体としたＡＩスピーカー、聴覚支援のためのイヤホンなどの場合、ユーザとのコミュニケーションの手段には音声がある。音声のみをコミュニケーションの手段とする場合、情報通信端末（１００）がユーザとコミュニケーションを行う際に推奨されるコミュニケーションの具体的な手法（以下、これをコミュニケーションのポリシー、または単にポリシーと表記する）に関連するのは、ユーザの言語レベル、知識レベル、および、聴覚レベル（表においてＹｅｓと記載されたコミュニケーション能力要素）である。

ポリシーとは、その対象ユーザに対してある情報を円滑に伝達するために守るべき、伝える情報の表現方法に関するガイドラインであるとも言える。

同様に、表の２段目に示したように、利用する情報通信端末（１００）がスマートフォンや、モニター付属のＡＩスピーカー、ＡＩスピーカーとテレビとが連動したシステムなどの場合、ユーザとのコミュニケーションの手段には音声と文字を用いる場合がある。この場合、情報通信端末（１００）のコミュニケーションのポリシーに関連するのは、ユーザの言語レベル、知識レベル、視覚レベル、および聴覚レベルである。

同様に、表の最下段に示したように、利用する情報通信端末（１００）がスマートフォン、スマートウォッチ、テレビなどの場合、ユーザとのコミュニケーションの手段には文字のみが用いられる場合がある。この場合、情報通信端末（１００）のコミュニケーションのポリシーに関連するのは、ユーザの言語レベル、知識レベル、および、視覚レベルである。

このように、利用する情報通信端末（１００）の形態と利用する機能に応じて、利用可能なコミュニケーションの手段は異なってくる。それによりユーザと情報通信端末（１００）との間のコミュニケーションのポリシーは、ユーザの言語レベルと知識レベルに加えて、そのコミュニケーションの手段に応じて用いられる視覚レベル、および／または聴覚レベルにより決定される。

図４は、コミュニケーションのポリシーと、ユーザの言語レベルとの相関の一例を示す表である。ここに示したように言語レベルは１～５といった複数の段階に分けられる。言語レベルは、１が最も言語知識が乏しく、５が最も言語知識が豊富であることを意味している。そのため、言語レベルが１の場合には、よく使われる基本的な言葉のみを使うようにポリシーを設定する。逆に言語レベルが５の場合には、幅広い場面で使われる様々な言葉を使うようにポリシーを設定する。

例えば、言語レベルごとに用いる言葉は、言語レベル１であれば小学生１年生が履修する言葉、言語レベル２であれば小学生３年生が履修する言葉、言語レベル３であれば小学生６年生が履修する言葉、言語レベル４であれば中学生３年生が履修する言葉、言語レベル５であれば高校生３年生が履修する言葉、という風に言語レベルが高くなるほど段階的に必要となる言語知識量が増えるように設定しても良い。

図５は、コミュニケーションのポリシーと、ユーザの知識レベルとの相関の一例を示す表である。ここに示したように知識レベルは１～５といった複数の段階に分けられる。知識レベルは、１が最も知識が乏しく、５が最も知識が豊富であることを意味している。そのため、知識レベルが１の場合には、よく使われる基本的な知識のみを使うようにポリシーを設定する。逆に知識レベルが５の場合には、幅広い場面で使われる様々な知識を使うようにポリシーを設定する。

例えば、知識レベルごとに用いる知識は、知識レベル１であれば小学生１年生が履修する知識、知識レベル２であれば小学生３年生が履修する知識、知識レベル３であれば小学生６年生が履修する知識、言語レベル４であれば中学生３年生が履修する知識、言語レベル５であれば高校生３年生が履修する知識、という風に知識レベルが高くなるほど段階的に必要となる知識量が増えるように設定しても良い。

図６は、コミュニケーションのポリシーと、ユーザの視覚レベルとの相関の一例を示す表である。ここに示したように知覚レベルは１～５といった複数の段階に分けられる。知覚レベルは、１が最も視覚を介した認知力が低く、５が最も視覚を介した認知力が高いことを意味している。そのため、視覚レベルが１の場合には、最も視認性の高いデザインで文字や文章を表示するようにポリシーを設定する。ここで言うデザインとは文字の表示サイズ、文字縁取りの修飾、文字の配色、文字の配置などのことである。逆に視覚レベルが５の場合には、一般的なデザインを使って文字を表示するようにポリシーを設定する。

例えば、視覚レベルごとに用いる文字のデザインは、視覚レベル５であれば一般的なデザイン（文字サイズ＝１６）、視覚レベル４であればやや視認性の高いデザイン（文字サイズ＝２２）、視覚レベル３であれば視認性の高いデザイン（文字サイズ＝２６）、視覚レベル２であればより視認性の高いデザイン（文字サイズ＝３２）、視覚レベル１であれば最も視認性の高いデザイン（文字サイズ＝３６）、という風に視覚レベルが低くなるほど段階的に表示される文字が大きく表示されるように設定しても良い。

図７は、コミュニケーションのポリシーと、ユーザの聴覚レベルとの相関の一例を示す表である。ここに示したように聴覚レベルは１～５といった複数の段階に分けられる。聴覚レベルは、１が最も聴覚を介した認知力が低く、５が最も聴覚を介した認知力が高いことを意味している。そのため、聴覚レベルが１の場合には、最もゆっくり、最も明瞭に、および／または最も大きな音量で音声を出力するようにポリシーを設定する。ここで言う明瞭とは文字の発音がはっきりしていて、曖昧な発音が少なく、聞き取りやすいことである。逆に聴覚レベルが５の場合には、一般的なスピード、明瞭さ、音量で音声を出力するようにポリシーを設定する。

例えば、聴覚レベルごとに用いる文章の発音は、聴覚レベル５であれば一般的な聞き取り易さで音声を出力する（発話スピード＝１００単語／分、音量＝５０ｄＢ）、聴覚レベル４であればやや聞き取り易く音声を出力する（発話スピード＝９０単語／分、音量＝６０ｄＢ）、聴覚レベル３であれば聞き取り易く音声を出力する（発話スピード＝８０単語／分、音量＝６５ｄＢ）、聴覚レベル２であればより聞き取り易く音声を出力する（発話スピード＝７０単語／分、音量＝７０ｄＢ）、聴覚レベル１であれば最も聞き取り易く音声を出力する（発話スピード＝６０単語／分、音量＝７５ｄＢ）、という風に聴覚レベルが低くなるほど段階的に出力される音声がゆっくりと大きな音量で出力されて聞き取りやすくなるように設定しても良い。

図８は、ユーザと情報通信端末（１００）とのコミュニケーションのポリシーの具体例を、ユーザのコミュニケーション能力に応じて、示した表である。この表では、「ＰＣＲ検査とは何か？」という質問をユーザから受けた情報通信端末（１００）が、応答で用いるコミュニケーション手段（音声、文字）と、ユーザのコミュニケーション能力（言語レベル、知識レベル、知覚レベル、聴覚レベル）から決定されるポリシーによって、どのように変化するかを示している。

以降、ポリシーを、それを決定する要素である５つの要素を用いて、下記のような関数の表記にて表すこととする。ポリシーに関与しないコミュニケーション能力は、０と表記する。

ポリシー＝ｆ（利用するコミュニケーションの手段、言語レベル、知識レベル、視覚レベル、聴覚レベル）

表の最上段では、ユーザが質問した「ＰＣＲ検査とは何か？」に対して、ポリシー＝ｆ（音声、１、１、０、２）で応答する例である。上記の例を用いると、言語レベル＝１なので小学生１年生が履修した言葉を用いて、知識レベル＝１なので小学生１年生が履修した知識の範疇で、聴覚レベル＝２なのでより聞き取り易く発話スピード＝７０単語／分、音量＝７０ｄＢで出力することがポリシーとなる。そのため、「病気か調べる方法です」をよりゆっくり（発話スピード＝７０単語／分）、より大きな音量（音量＝７０ｄＢ）で音声出力することで応答している。

同様に、表の２段目では、同じ質問に対して、ポリシー＝ｆ（音声、４、４、０、４）で応答する例である。この場合はより高度な言葉を用いて、より広範な知識を用いて、ややゆっくりと応答する。例えば、「いまウィルスに感染しているかを、ウィルスが持つ遺伝子情報を増幅させて調べる検査方法です」をややゆっくり（発話スピード＝９０単語／分）と音声出力することで応答している。

同様に、表の３段目では、同じ質問に対して、ポリシー＝ｆ（文字、４、４、４、０）で応答する例である。この場合は２段目と同じ情報を、やや視認性の高いデザインにて応答する。例えば、「いまウィルスに感染しているかを、ウィルスが持つ遺伝子情報を増幅させて調べる検査方法です」をやや視認性の高いデザイン（文字サイズ＝２２）にて表示することで応答している。

以下、同様であるが、表の５段目では、同じ質問に対して、ポリシー＝ｆ（文字+映像、２、２、２、０）で応答する例である。この場合は「遺伝子により病気を調べる方法です」を、より視認性の高いデザイン（文字サイズ＝３２、文字修飾＝太字）で表示すると同時に、読み取り易いように漢字にフリガナを振っている。さらに、補足のイラスト映像で遺伝子により病気を調べる方法を、簡略化した２ステップのイメージ映像にて説明している。

また、あまり日本語に慣れていない外国人などに対しては、日本語の言語レベルは１とするが、知識レベルや視覚レベルでは一般の人と同じポリシーでコミュニケーションをとる方が伝わり易い場合もある。表の最下段はこのような場合であり、「ウィルス」というカタカナ表示や、「いでんし」という日本語の文字を知らない場合に、英語表記（Ｖｉｒｕｓ）や、一般的に広く知られている略称（ＲＮＡ、ＤＮＡ）を併用して説明することで、ユーザのコミュニケーション能力に応じて理解を支援した応答を行うことができる。

図９は、情報ソース（１０２）からの情報を発端として、ユーザが情報通信端末（１００）に質問を行い、その情報通信端末（１００）がユーザとのポリシーに従って回答を行うまでの流れの一例を説明したフローチャートである。

まず、ユーザはこのコミュニケーション支援を利用するにあたって希望するポリシーを情報通信端（１００）のロボットに対して設定する。ロボットはユーザ情報を管理するクラウド（１０１）に対して、ユーザに対するコミュニケーションのポリシーを設定、記憶する。

次に、例えば、ユーザは情報ソース（１０２）からのニュース情報の中で出てきた「ＰＣＲ検査による新規感染者数は」という説明の所で使われた「ＰＣＲ検査」という言葉の意味が分からないとする。ユーザは「ＰＣＲ検査とは何か？」という風にロボットに対して口頭で質問を行う。ロボットはその口頭でなされた質問の音声情報からユーザの発話を文章情報に変換し、または、ユーザが質問する音声情報をそのまま、クラウド（１０１）に転送する。

これを受けて、クラウドではその質問に対する回答内容とその提示方法（表現方法）を設定されているポリシーに従って生成する。クラウドは生成した回答の指示をロボットに通知し、それを受けたロボットは、指定されたポリシーにしたがって回答を行う。これによりユーザはニュース情報を即座に、的確に、理解することができる。

この後、ロボットは今回の回答に適用したポリシーの評価をユーザに依頼する。例えば、この評価依頼は、ロボットが該当の回答を行ってから、３秒以上かつ１０秒以下の時間内であって、ユーザからのアクセスが無かった場合に行うようにしても良い。このように回答に対する評価依頼を行う場合は、ユーザに継続した質問がなく会話が終了していて（３秒以上）、さらに、ユーザが与えられた回答を理解できたか、理解し易かったかを明確に覚えている時間（１０秒以下）に行う。これにより正しいフィードバックをユーザに負担なく、煩わしくなく得ることができる。

ロボットはユーザの回答ポリシーへの評価フィードバック（音声情報）から、ユーザの発話を文章情報に変換し、または、ユーザが発話する音声情報をそのまま、クラウドに転送する。ユーザの評価情報を受信したクラウド（１０１）は、ユーザが行った質問の日時、その内容、ロボットが回答する際に使用したポリシー、とその回答の内容、さらにその回答に対するユーザの評価情報を紐づけて記録する。

このようにして、ユーザのコミュニケーション能力（言語レベル、知識レベル、視覚レベル、聴覚レベル）を継続して測定することで、ユーザのコミュニケーション能力の変化を早急に検知して、それに応じて、新たなポリシーに更新したり、ポリシーの更新をユーザに勧めることができる。この図では、ユーザのコミュニケーション能力の変化に応じて、新たなポリシーに更新され、その通知をロボットを介してユーザに行っている。

上記説明の通り、ポリシーはユーザと情報通信端末（１００）との間で交わされるコミュニケーションを継続して測定することにより、ユーザのコミュニケーション能力の変化が判断され、必要に応じて更新されるものである。ポリシーは、ユーザの言語レベル、知識レベル、視覚レベル、聴覚レベルにより決定されるため、ロボットはユーザとの日常的なコミュニケーションの中で、ユーザの言語レベル、知識レベル、視覚レベル、聴覚レベルを常に確認、評価している。

例えば、ロボットは、現在適用しているポリシーの知識レベルを超えるような知識を質問してユーザの知識レベルを確認したり、少しだけ文字を小さく表示してユーザの視覚レベルを確認してみたり、少しだけ小さな音声で回答を伝えてユーザの聴覚レベルを確認してみたりすることで、常にユーザのコミュニケーション能力を把握している。

一方で、情報ソース（１０２）が伝える情報やその表現方法をロボットが特定できる場合には、その情報からユーザのコミュニケーション能力を設定しても良い。例えば、ユーザが視聴しているテレビ番組がアメリカ大統領候補者同士の選挙前ディベートを英語のまま視聴している場合には、ユーザの英語に関する言語レベルは５、知識レベルは５、聴覚レベルはユーザとテレビとの距離、および／またはテレビの出力音量情報から推定しても良い。

同様に、ユーザが視聴しているテレビ番組が小学生低学年層をメイン対象とする子供向けアニメであった場合には、ユーザの言語レベルは１、知識レベルは１、聴覚レベルはユーザとテレビとの距離、および／またはテレビの出力音量情報から推定しても良い。また、ユーザが情報通信端末（１００）やタブレット端末で読んでいる書籍が専門書や論文であったり、インターネットを介してアクセスしている先が内閣府や特許庁の高度な情報理解を必要とする書類やＵＲＬアドレスであったりする場合には、十分に高度な知識体系があるとして、言語レベルを５、知識レベルを５、視覚レベルを情報通信端末（１００）やタブレット端末での文字表示サイズから推定しても良い。

尚、情報通信端末（１００）はユーザに日常的に寄り添いユーザのコミュニケーション能力を計測していることから、普段は起こらないような言語レベルや知識レベルの急激な低下が検出された際には、ユーザ本人に体調が悪くないか問いかけたり、ユーザの家族や、ユーザが加入している保険会社、警備保障会社、かかりつけの医者などにその旨を連絡するようにして、ユーザの身体に危険が及んでいないか確認するように働きかけても良い。これらの判断は、ユーザが装着しているスマートウォッチのような活動量や生体情報を検知できるセンサー情報と一緒に判断することにより、より的確な推測をすることが可能となる。

図１０は、現在適用しているポリシーに応じた応答をする一例を示すフローチャートである。上記に説明したように、ロボットがユーザから質問を受けると、ロボット（１００）および／またはクラウド（１０１）は、その質問に対する回答内容（例えば回答の文章）およびその表現方法（例えばその回答の文章を読み上げるスピードと音量）を現在のポリシーに従って生成して、ユーザに応答する。このように、ユーザとの日常的なコミュニケーションを通じて、ユーザに適したポリシーで回答することによって、ユーザのコミュニケーション能力に応じた個別最適なコミュニケーションを行えるロボットが実現できる。

図１１は、ロボットがユーザに質問を行い、その回答によりユーザのコミュニケーション能力を測定する一例を示すフローチャートである。例えば、ロボットが「ＰＣＲ検査で陰性なら、感染していないのか？」という質問をユーザに行い、ユーザが「感染していないだろう。」などと答えることを検知する。この一連のやり取りを現在のポリシー（現在のユーザのコミュニケーション能力）に基づいて、ロボットが自発的、能動的に開始することで、ユーザのコミュニケーション能力を様々な角度から継続して測定することができる。なお、上記の回答例は概ね正解であるが完璧な正解でもない。ユーザにより正確な理解を持たせる場合には、感染直後では病原体が少なくＰＣＲ検査で検出困難であること、またＰＣＲ検査では偽陰性となる可能性もあること、などの補足情報を回答に対するフィードバックとして返してもよい。

この図の例では、ロボット（１００）はユーザ状態を常時センシングしており、ユーザがリラックスした状態であって、ロボットからの質問に答える余裕がありそうかを判断している。ユーザ情報を管理するクラウド（１０１）は３カ月に１度など所定のタイミングで、現在のユーザ状態の確認をロボットに対して指示し、ロボットから現在のユーザ状態に関する情報を取得する。

クラウド（１０１）は、取得したユーザ状態とこれまでの出題頻度とに基づき、クイズの出題が不適切なタイミングであると判断した場合は処理を終える。そうでなければ（クイズの出題において適切なタイミングだと判断した場合）ロボットに対してクイズの出題を指示する。ロボットは指示に従いクイズをユーザに対して出題し、ユーザの回答を、音声情報から文字情報に変換して、もしくは音声情報のまま、クラウドに転送する。

クラウド（１０１）は、受信した回答に対するフィードバック（例えば、正解、不正解の何れかと、不正解の場合には模範的な回答情報などを含む）をロボット経由でユーザに行う。

クラウド（１０１）は、ユーザに対して行った質問の日時、その内容、ロボットが出題する際に使用したポリシー、それに対するユーザの回答の内容、さらにこの出題を行った時のユーザまたはロボットの周辺環境（周辺の雑音の強度、ユーザとロボットとの距離、ユーザが回答するのにかかった時間）を紐づけて記録する。

このようにして、ユーザのコミュニケーション能力（言語レベル、知識レベル、視覚レベル、聴覚レベル）を評価するために出題を行い、ユーザの回答を継続的に測定し続けることで、ユーザのコミュニケーション能力の変化を早急に検知して、それに応じて、新たなポリシーに更新したり、ポリシーの更新をユーザに勧めることができる。

この例では、ＰＣＲ検査の精度について質問しているため、ユーザの知識レベルを確認している。しかし、出題時に用いられるポリシーによって、例えば小さな文字を使って視覚レベルを確認したり、小さな音量で出題することで聴覚レベルを確認することも可能である。１つの質問によりコミュニケーション能力を構成する複数の要素（言語レベル、知識レベル、視覚レベル、聴覚レベル）を同時に判断することが可能である。

図１２は、ロボットがユーザに質問を行い、その回答によりユーザのコミュニケーション能力、および／または、ポリシーを更新する一例を示すフローチャートである。

まず、ロボット（１００）はユーザに対して現在適用しているポリシーを参考にして、所定の出題ポリシーを設定し、そのポリシーに従って出題を行う。ロボットは続けてユーザの回答をセンシングする。回答が終わるとこれで出題を終えるのか、まだ出題を継続するのかを判定する。出題を継続する場合はＮｏに進み、所定の出題ポリシーを設定して、また出題を行う。

出題を終える場合はＹｅｓに進み、出題に用いたポリシーとその回答の正誤を基に、ユーザに適したポリシーを判定する。例えば、ユーザの正答率が９５％以上となる出題ポリシーの中で最も高度なコミュニケーション能力を要求するポリシーを判定するようにしても良い。仮に、下記のテスト結果が得られたとすると、ユーザに適したポリシー＝ｆ（音声、４、３、０、３）であると判定する。

出題ポリシー＝ｆ（音声、３、３、０、３）の出題に対する正答率 ９８％
出題ポリシー＝ｆ（音声、４、３、０、３）の出題に対する正答率 ９６％
出題ポリシー＝ｆ（音声、３、４、０、３）の出題に対する正答率 ８４％
出題ポリシー＝ｆ（音声、３、３、０、４）の出題に対する正答率 ７８％

ユーザに適したポリシーが判定されると、それが現在ユーザとの日常的なコミュニケーションで用いているポリシーと同じか否かを判定する。同じ場合には、Ｙｅｓに進みポリシーの更新はなく、処理は終了となる。一方で同じでない場合には、Ｎｏに進み、ユーザに新たなポリシーに変更する旨を通知して、ポリシーを更新して、処理を終了する。もしくは、新たなポリシーに変更することをユーザに提案して、ユーザの了承を得てからポリシーを更新するようにしても良い。

このようにロボットが自発的に複数のポリシーに従った出題を行い、複数のポリシーごとに正答率を確認することで、ユーザに適したポリシーが何かを推定することができる。これを新たなポリシーとして適用することで、以降のユーザとロボットとの日常的なコミュニケーションを円滑に、ユーザにもストレスなく進めることができる。

図１３は、ロボットがユーザに質問を行い、その回答によりユーザのコミュニケーション能力（ポリシー）を更新する際に用いる表の一例を示している。ここでは、現在適用されているポリシーがｆ（文字＋音声、３、３、３、３）であったとする。

コミュニケーション手段が文字と音声の両方を用いることができるため、それぞれのコミュニケーション手段の場合に、現在適用されているポリシーのコミュニケーション能力の各要素を－１、±０、＋１した出題を行い、その回答によって適切なポリシーを判定する。例えば、言語レベル＝２、３、４と変えて出題を行う際には、その他の知識レベル、視覚レベル、聴覚レベルはどれも３で固定されている。他のテストでも同様である。また、回答内容の正解、不正解（正誤）だけでなく、その回答にかかった時間（回答時間）、所定の時間内に質問文章を読み取れなかったり、質問音声を聞き取れずに出題を再度依頼した回数（出題回数）もあわせて記録をする。これらのテスト結果からコミュニケーション能力の各要素を次のように設定しても良い。

まず、言語レベルだけを２、３、４と変化させた質問に対して、ユーザは一定の回答時間で出題を繰り返すこともなく正解している。そのため、言語レベルについては２、３、４のいずれもユーザには不具合は検知されず、最も適切に情報を伝えるために、最上位の言語レベル＝４を新たに推奨する言語レベルとして設定する。

知識レベルだけを２、３、４と変化させた質問に対して、２または３の質問には正解しているが、知識レベル＝４となった質問には比較的回答に時間がかかり不正解であったことが分かる。そのため、新たに推奨する知識レベル＝３として設定する。

視覚レベルだけを２、３、４と変化させた質問に対して、視覚レベルが上がるにつれて他の条件は変わらないにも関わらず回答時間が長くなっている。これはユーザが視覚的に質問文章を認識するのに時間がかかったためと思われる。そのため、読み易さを確保するように、平均的な回答時間に近い視覚レベル＝２として設定する。

聴覚レベル＝２、３、４と変化させた質問に対して、聴覚レベル＝４の質問の際にだけ質問を１回繰り返していることが分かる。これはユーザが聴覚的に質問文章を聞き取ることができなかったためと思われる。そのため、聞き易さを確保するように、聴覚レベル＝３として設定する。

これらのテストの結果から、適用されていたポリシー＝ｆ（文字＋音声、３、３、３、３）は、新たに推奨されるポリシー＝ｆ（文字＋音声、４、３、２、３）として更新されてもよい。

尚、ここで説明したポリシーの決定方法は、あくまでも分かり易くした一例である。例えば、同一ポリシーにおいても複数回の質問を繰り返すことで、複数回の回答を計測することで、より正確に測定されたユーザのコミュニケーション能力に従ったポリシーを決定するようにしてもよい。

図１４は、ユーザの言語レベルを複数言語に細分化して管理する際に用いる表の一例である。ここでは、英語、中国語、ヒンディー語、日本語、スペイン語、アラビア語のそれぞれについてユーザの言語レベルを記録、管理している。表に示したように、この例では、ユーザは日常的な場面で用いられる英語（英語の言語レベル＝３）と、やや幅広い場面で用いられる日本語（日本語の言語レベル＝４）の言語知識があることが分かる。表内の「言語ごとの言語レベル」において「－」がつけられた言語についてはコミュニケーションが成立するレベルになく、事実上使えないことを示している。このように、コミュニケーションに用いる言語の種類によって異なるコミュニケーション能力（言語レベル）を、ユーザに設定もしくはロボットに計測させることによって、ユーザの言語ごとの言語レベルに応じてコミュニケーションを図ることができる。

尚、ここではユーザの円滑なコミュニケーションを支援するために、ロボットが用いる言語ごとの言語レベルを設定したが、これは他の用途にも利用が可能である。例えば、ユーザは現在、英語の言語レベル＝３であるが、ロボットとのコミュニケーションを敢えて英語に設定することで、より上位の英語の言語レベルを目指した英会話の練習を行うことも可能である。ロボットがユーザに対して英語能力のテストを行うことで、ユーザは自分の英語能力を知ることができる。また、ロボットはユーザの英語能力の上達に応じて英語の言語レベルをより上位のレベルに上げてコミュニケーションを図ることも考えられる。

図１５は、ユーザの知識レベルを複数分野に細分化して管理する際に用いる表の一例である。上記の説明では、ユーザのコミュニケーション能力の１要素として知識レベルを１つの集約された値にて表現していた。しかし、同じ知識レベルと判断されたユーザ同士であっても、分野ごとに知識は異なっていると考えられる。つまり、図１１で例示した「ＰＣＲ検査で陰性なら、感染していないのか？」というロボットの質問は、明らかに医療に関する知識を問うものであった。この質問に正解するか否かで、そのユーザの知識レベルを包括的に１つの値で表すことは医療以外のテーマに対して不適切になる場合もある。

そこで図に示すように知識レベルについては、分野ごとに知識レベルを設定、管理することが考えられる。例えば、社会常識は誰しもが知っておくべき社会一般の知識を表している。以下は学術的に分類されており、形式科学は数学や統計学などに関する知識、自然科学は物理学や化学などに関する知識、社会科学は政治学や経済学などに関する知識、人文学は哲学や歴史学などに関する知識、応用科学は工学や医学に関する知識、を夫々表すようにしてもよい。

このように分野ごとに知識レベルをロボットを介して設定もしくは計測させることによって、ユーザごとの知識の偏りに対応することができる。つまりこの例ではユーザの知識レベルは総括的には４であるが、応用科学は５であって、人文学は３である。このように話題となっている分野ごとの知識レベルに従ってポリシーを設定、変更することで、きめ細かくユーザのコミュニケーションを支援することができるようになる。

尚、ここではユーザの円滑なコミュニケーションを支援するために、分野ごとの知識レベルを設定したが、これは他の用途にも利用が可能である。例えば、ユーザは現在、社会科学の知識レベル＝３であるが、ロボットがユーザとの日常的なコミュニケーションにおいて、政治や経済のトピックスを盛り込んでみたり、政治や経済のニュース情報を日々ユーザに紹介するなどして、より上位の社会科学の知識レベルを取得させることも可能である。ロボットがユーザに対して社会科学に関するテストを行うことで、ユーザは自分の社会科学分野の知識レベルを知ることができる。また、ロボットはユーザの社会科学分野の知識に応じて、社会科学分野の知識レベルをより上位のレベルに上げてコミュニケーションを図ることが考えられる。

図１６は、ユーザが話し相手である医師とコミュニケーションを取っている際に、そのコミュニケーションからユーザの理解度を推定して、適宜、支援介入する一例を示すフローチャートである。ここでは、ロボット（１００）はユーザと同じ体験を共有しているとする。つまり、ユーザが見聞きすることがロボットにも知覚されているとする。例えば、ロボットがユーザのそばにいる場合や、ユーザが話し相手の医師とロボットやスマートフォン（情報通信端末（１００））を介して遠隔診断のようなコミュニケーションを取っている場合などである。

話し相手である医師がユーザに対して話した会話１は、ユーザに伝わると共にロボットにも伝わる。ロボットは会話１を音声データのままか、音声を文字データに変換してユーザ情報を管理するクラウド（１０１）に送信する。会話１に対して、ユーザは医師に対して会話２で回答している。この会話２はロボットにも伝わる。ロボットは会話２を音声データのままか、音声を文字データに変換してユーザ情報を管理するクラウド（１０１）に送信する。

クラウド（１０１）は、会話１が該当するポリシーを判定し、それを現在適用しているポリシーと比較し、および／または、会話２の内容に基づき、ユーザが会話１を理解できていそうかを推定する。これは、具体的には、会話１が該当するポリシーが現在適用しているポリシーよりも難易度が高い場合や、会話２が曖昧な応答であったり、または応答までに時間がかかっている場合には、コミュニケーションの支援が必要だと判断するようにしてもよい。

会話１が該当するポリシーと現在適用しているポリシーとを比較するのは、ユーザとロボットとの日常的で円滑なコミュニケーションを行うためのガイドラインであるポリシーに照らし合わせて話し相手の会話を判定することで、その話し相手の会話がユーザのコミュニケーション能力においても十分理解しやすい方法でなされたのかを判定するためである。この図の例では会話１、会話２にこのようなコミュニケーション支援の必要性はないと判断されたため、クラウド（１０１）はこれらの会話に介入することなく、聞き流す。

続けて、医師がユーザに対して話した会話３（例えば「アナフィラキシーになったことはありますか？」）は、ユーザに伝わると共にロボットにも伝わる。ロボットは会話３を同様にクラウド（１０１）に送信する。会話３に対して、ユーザは医師に対して会話４（例えば「。。。ないと思います」）で回答している。この会話４はロボットにも伝わる。ロボットは会話４を同様にクラウド（１０１）に送信する。

同様にクラウド（１０１）は、会話３が該当するポリシーを判定し、それを現在適用しているポリシーと比較し、および／または、会話４の内容に基づき、ユーザが会話３を理解できていそうかを推定する。ここでは、会話３が該当するポリシーが現在適用しているポリシーよりも難易度が高い、および／または、会話４が曖昧な応答であったと判断されたとする。クラウド（１０１）はコミュニケーションの支援が必要だと判断を行い、ユーザが会話３を理解するための会話５（例えば「花粉以外には、特に強いアレルギーはありません」）を、クラウド（１０１）に管理されているユーザ情報のアレルギー検査結果情報にアクセスすることにより作成して、ユーザと医師の会話に介入する。ここで会話５は、ユーザが会話３を正しく理解しコミュニケーションを円滑に進めるために、現在適用されているポリシーに従って作成された会話である。

クラウド（１０１）はロボットに会話５を指示し、ロボットは会話５を医師およびユーザに対して発話する。これに対して医師が会話６（例えば「分かりました」）でユーザおよびロボットに対して回答している。ロボットが同様に会話６をクラウド（１０１）に送信し、クラウドは追加のコミュニケーション介入が不要と判断する。このコミュニケーション介入の要否判断は、会話１に対する評価と同様にして実施することができる。

以下、会話７および会話８については、会話１および会話２と同じであるため、説明を省略する。

尚、上記の説明において、会話１および会話２へのコミュニケーション支援の必要性を会話１が該当するポリシーや会話２の応答により判断する例を示したが、これに限らずユーザの外見上の反応（例えば首をかしげる、手をふる）、ユーザの生体情報（例えば脳波、眼球運動、呼吸、心拍（変動）など）を検出することで、コミュニケーションへの介入判断を行っても良い。この場合、介入判断する材料は、話し相手が発した会話が該当するポリシー、それに応答するユーザが発した会話の内容、話し相手が発した会話に対してユーザが応答するまでにかかった時間、ユーザの外見上の反応、およびユーザの生体情報、から少なくとも１つ以上を用いて判断するようにしてもよい。

尚、上記説明においては、ユーザが応答する度にクラウドがコミュニケーション支援の必要性を判断しているが、これに限らない。例えば、この判断はコミュニケーションの間、常に行われ必要なタイミングで随時コミュニケーションの支援が行われても良い。例えば、ユーザが応答する前のタイミングであっても良い。または、誰もコミュニケーションしていない時間（この場合はユーザも医師も無言だった時間）が所定時間以上（例えば３秒以上経過）になったタイミングでなされても構わない。

図１７は、ユーザが参加しているコミュニケーションからユーザの理解度を推定して、適宜、支援介入する一例を示すフローチャートである。

ロボットはユーザが誰かとコミュニケーションを取っているかを、その会話やチャットなどからセンシングする。さらにコミュニケーションの間、そのコミュニケーションである会話やチャットで使われる言葉の言語レベルを判定する。

会話やチャットで使われる言語のレベルが現在適用しているポリシーの言語レベル以下である場合は、Ｙｅｓに進み、会話が終了するまでセンシングを継続する。そうでない場合は、Ｎｏに進み、使われている言語レベルが高い該当部分を現在適用しているポリシーに従って言葉を置き換える。さらに、ロボットはユーザに対して、会話やチャットの内容をポリシーに従って分かり易く言い換えて伝え、会話が終了するまでセンシングを継続する。

このようにユーザが参加するコミュニケーション（会話やチャット）の内容を分析して、それを現在適用しているポリシーと比較して、ユーザに分かり難い可能性が高い部分を自動的に理解しやすい表現方法に置き換えるのである。

例えば、図１６のシーンで一例を説明すると、ユーザと医師が会話をしている際に、スマートフォンのコミュニケーション支援を行うアプリケーションはその会話内容がユーザにとって十分に分かり易いか、現在適用しているポリシーと比較して判定する。アプリケーションはユーザにとって理解や正確な応答が難しいと判定した場合は、スマートフォンの画面上に理解を支援するための情報を表示する。具体的には、アプリケーションが表示するアバターが「アナフィラキシーとは、強いアレルギー反応のことです」「３年前に行ったアレルギー検査によると、スギ、ヒノキの花粉以外には強いアレルギーはありません」といった情報を現在適用しているポリシー（例えば、基本的な言葉だけで視認性高く大きな文字サイズ）に従って表示する。ユーザは医師との会話中にスマートフォン上に表示されたこれらの補足情報を確認しながら、医師の問診に自信をもって、正しい情報を、コミュニケーションを遮ることなく円滑に、答えることができる。

尚、上記フローチャートでは言語レベルについてのみ説明しているが、知識レベル、視覚レベル、聴覚レベルに対しても同様である。会話やチャットに該当するポリシー（理解に必要になる知識レベル、視覚レベル、聴覚レベル）を判定し、それを現在適用している知識レベル、視覚レベル、聴覚レベルと比較して、ユーザにとって理解や自信を持った応答が難しいと判定した場合は、上記と同様に、現在適用しているポリシーにその会話やチャットを変換して伝えることで理解支援を行う。

図１８は、図１６とは異なり、コミュニケーションが終了直前にロボット（１００）がこれまでのコミュニケーションの要約を行う一例を示すフローチャートである。図に示すように、ユーザと話し相手である医師は会話１～会話６を行っている。ここまでの処理は図１６で説明した処理と重なるため説明は割愛するが、会話の途中でクラウド（１０１）はコミュニケーションを分析し、その経緯を記録していく。

クラウドはコミュニケーションの分析の結果、ユーザと話し相手である医師との会話が終了しそうであると判断した場合、これまでの会話から要約を行い、結論を整理する。さらにポリシーに従ってその要約、および／または結論を会話７（例えば「高血圧の薬を食後に２錠飲む、ということですね？」）として表現し、ロボットにユーザと医師への確認依頼を行う。ロボットは受信した会話７を発話し、ユーザと医師に理解が共通であるか確認する。

尚、会話の終了は、会話の文脈や流れ、ユーザまたは話し相手がこれまでの会話の要約をする、ユーザまたは話し相手が別れの挨拶をする、ユーザが話し相手のいる部屋から出ようとする、ロボットがユーザまたは話し相手に終了するのかを確認する、などの方法で検知してもよい。

医師またはユーザは会話７で示された要約や結論に対して、会話８（例えば「はい、そうです」）で応答する。この会話８もこれまでと同様に、ロボットからクラウドへ通知される。クラウドはこの会話８が明確に会話７に同意する内容である場合は、処理を終了する。もしそうでない場合には、会話９として説明を求める会話を生成し、ロボットに指示する。

ロボットは受信した会話９を発話し、ユーザと医師に要約、結論の修正、説明を依頼する。ユーザまたは医師は会話１０にてそれに応答する。クラウドは会話１０により要約、結論が明確になった場合は処理を終了する。そうでない場合は、会話９のように要約や結論の説明を継続して依頼する。

図１９は、図１８とは異なり、コミュニケーションが終了した後にロボット（１００）がこれまでのコミュニケーションの要約を行う一例を示すフローチャートである。図に示すように、ユーザと話し相手である医師は会話１～会話６を行っている。ここまでの処理は図１８で説明した処理と重なるため説明は割愛する。

ロボットは、会話６にて会話が終了したことを、会話の文脈や流れ、ユーザまたは話し相手がこれまでの会話の要約をする、ユーザまたは話し相手が別れの挨拶をする、ユーザが話し相手のいる部屋から出る、ユーザが話し相手と会話しなくなって一定時間が経過する、ロボットがユーザまたは話し相手に終了したのかを確認する、などの方法で検知してもよい。

会話の終了が確認できたら、クラウド（１０１）はユーザに対して現在適用しているポリシーに従って、これまでの会話の要約、および／または結論をロボットを介してユーザに伝達する。そうすることで、ユーザは話し相手とのコミュニケーションの内容や結果について再認識したり、正しく理解することが容易になる。

図２０は、コミュニケーションの終了後に、ユーザにのみ、要約を行う一例を示すフローチャートである。図に示すように、ユーザと話し相手である医師は会話１～会話６を行っている。ここまでの処理は図１８で説明した処理と重なるため説明は割愛する。

話し相手である医師はユーザの診断が終わると、カルテや処方箋をカルテ入力用の情報通信端末（１１０）に対して入力する。カルテや処方箋はカルテ入力用の情報通信端末（１１０）から話し相手が使う情報を管理するカルテ保管クラウド（１１１）へ伝送され、クラウド（１１１）はこれらを記録する。さらに、クラウド（１１１）は、ユーザ情報を管理するクラウド（１０１）に対して、カルテや処方箋の情報を共有する。ユーザ情報を管理するクラウド（１０１）はこれを安全に保管する。

ユーザ情報を管理するクラウド（１０１）は、新たなカルテや処方箋の情報が入力されたことで、ユーザと話し相手であった医師との会話（診断）が終了していることを判定する。そこでロボット（１００）を介してユーザがリラックスして、プライバシーが確保できる状態である時に、話し相手であった医師の診断結果や薬の処方について、現在適用しているポリシーに従ってユーザに確認（例えば「血圧が高めなので、お薬を食後に２錠、飲むことになったね」）を促す。そうすることで、ユーザは話し相手（この例では医師）とのコミュニケーションの内容や結果について再認識したり、正しく理解することが容易になる。

上記においては、ユーザ情報の管理クラウド（１０１）はユーザに関する個人的な情報が様々記録、管理されている、言わば情報銀行のような存在である。例えば、予め事前確認をユーザとしておくことで、カルテ保管クラウド（１１１）に記録された当該ユーザの個人情報の追加、修正があった時は、ユーザ情報の管理クラウド（１０１）に対して、それを即座に共有する設定がなされている。このように設定（本人の事前許諾）をしておくことで、各種のユーザに関する個人情報を含む情報が、ユーザ情報を管理するクラウド（１０１）に集約され、各種用途に利用することができる。利用例については、薬の服用をロボットが支援するとして図２２以降で説明する。

図２１は、コミュニケーションの終了後に、ユーザにのみ、要約を行う一例を示すフローチャートである。図に示すように、ユーザと話し相手である医師は会話１～会話６を行っているが、この会話の内容はロボット（１００）が感知できないものとする。例えば、ユーザは病院へ診断に行き、ロボットはユーザの自宅に置かれたままである場合に、このような状態となる。

ここまでの処理は図２０で説明した処理と概ね同じであるため説明は割愛する。異なる点は、ユーザと話し相手である医師とのコミュニケーションについて、ロボットが全く感知できないことである。そのため、ロボットとユーザ情報を管理するクラウド（１０１）には、まったく会話に関する情報は入ってこない。

話し相手である医師がカルテや処方箋をカルテ入力用の情報通信端末（１１０）に入力して（図示せず）、それが話し相手が使う情報を管理するカルテ保管クラウド（１１１）に記録され、さらにそれがユーザ情報を管理するクラウド（１０１）に共有されるまで、ロボットとユーザ情報を管理するクラウド（１０１）には、情報が入ってこない。

しかしながら、一旦、ユーザ情報を管理するクラウド（１０１）に診察結果、薬の処方についての情報が入力されると、そこから以降の処理は、図２０と同様に進めることができる。

図２２は、そのユーザのタスク実行の支援を行う際に用いる表の一例である。表にあるように、ユーザには日常的なタスクが複数ある。これらのタスクはタスクごとの番号によって識別される。

タスク１のタスクの名前は「ゴミ出し」で、このタスクが発生する日時は「毎週水曜日の朝９時」で、このタスクが発生する場所は「自宅」で、このタスクの内容は「自宅のゴミを捨てる」である。このタスク１のタスクをユーザが実施したか否かは、チェック欄にあるように、例えば、ユーザがゴミを持ち外出し、ゴミを持たずに帰宅したかを、ロボット（１００）の映像音声センシング部や他の撮像機器を通じて撮影した映像を画像認識し、その撮影日時を用いて判断することができる。

同様にタスク２のタスクの名前は「餌やり」で、このタスクが発生する日時は「毎日の朝１０時」で、このタスクが発生する場所は不定で、このタスクの内容は「ペットに餌をあげる」である。このタスク２のタスクをユーザが実施したか否かは、チェック欄にあるように、例えば、ユーザがペットフードを皿に盛り、ペットがその皿のペットフードを食べたかを、ロボットのカメラを通じて撮影した映像を画像認識し、その撮影日時を用いて判断することができる。

同様にタスク３の値を持つタスクの名前は「薬の服用」で、このタスクが発生する日時は「毎日１３時」で、このタスクが発生する場所は不定で、このタスクの内容は「薬を飲む」である。このタスク３のタスクをユーザが実施したか否かは、チェック欄にあるように、例えば、ユーザが薬をすべて飲んだかを、ロボットのカメラを通じて撮影した映像を画像認識し、その撮影日時を用いて判断することができる。

タスクの実行確認に画像認識を用いるとして説明したが、これ以外の方法で実現しても構わない。また、確認する内容によってはユーザに協力を依頼するようにしても良い。例えば、薬をすべて飲んだか、は飲む薬に抜けや重複が無いかを確認するため、薬を飲む前に手のひらにすべての薬を乗せた状態でロボット（の映像音声センシング部）に見せてから飲むようにしても良い。または、ロボットが薬を飲む前に、すべての薬を見せるようにユーザに依頼するように会話させても良い。

図２３は、ユーザの日常的なタスク実行の支援を行う一例を示すフローチャートである。ここでは、図２２にて例示した３つのタスクの実行支援について、図２３のフローチャートの開始が水曜日の朝という設定で説明を行う。

ここでは、ロボット（１００）はユーザ状態（例えば、ユーザの生体情報、活動量、場所、姿勢など）を常時センシングしているとする。また、ユーザ情報を管理するクラウド（１０１）は規則的にユーザが行っているタスクや、図２２のように登録されたタスクの開始時刻になっていないかを監視しているとする。

タスク１（ゴミ出し）の予定時間（水曜日の朝９時）になる前にユーザがタスク１を実行したとする。ロボットはタスク１が実施されたかをチェック欄の確認項目に従って検知、確認する。ロボットはタスク１の実行が完了したことを検知したら、その実行が完了したことをクラウド（１０１）に通知する。クラウド（１０１）はタスク１の実施を記録する。

次に、時間が経過しタスク２（餌やり）の予定時刻（毎日の朝１０時）になったことをクラウド（１０１）が検知する。クラウド（１０１）は、タスク２の実行をロボットに確認するよう指示を出す。ロボットはタスク２を実行したかをユーザに質問する。それによってユーザはタスク２を実施することを意識し、それを実行する。

ロボットはユーザがタスク２を実行したことをチェック欄の確認項目に従って検知、確認すると、その実行が完了したことをクラウド（１０１）に通知する。そしてクラウド（１０１）はタスク２の実施を記録する。

次に、時間が経過しタスク３（薬の服用）の予定時刻（毎日１３時）になったことをクラウド（１０１）が検知する。クラウド（１０１）は、タスク３の実行をロボットに確認するよう指示を出す。ロボットはタスク３を実行したかをユーザに質問する。それによってユーザはタスク３を実施することを意識し、それを実行する。

この例ではタスク１やタスク２と異なり、タスク３の実行をロボットがチェック欄の確認項目に従って検出、確認できなかったとする。例えば、ロボットから見えない所で薬を飲んでしまった場合など、がそれに該当する。

クラウド（１０１）はタスク３の実行確認をロボットに指示してから所定時間が経過しても完了の通知を受けていない場合、再びタスク３の実行を確認するようロボットに指示する。ロボットはユーザにタスク３の実行が完了しているかを確認し、ユーザは実行済みである旨を回答する。ロボットはこの回答を受けて、それをクラウド（１０１）に通知する。クラウド（１０１）はタスク３の実施を記録する。

このように、ユーザの日常的なタスクを、図２２の形式で登録しておき、図２３のように予定時刻に実行したかを確認していく処理をロボットとクラウドを用いて進める。これによって、ユーザは雑多で忘れがちなタスクを漏れなく実施していくことができる。

加齢や認知症によりユーザ本人があるタスクを実施したか記憶が明確でない場合もありうる。この場合は、ユーザがロボットにそのタスクを実施したかを質問して、確認するようにしても良い。または、実施したことを忘れ、再びそのタスクをしようとした時に、ロボットがそのユーザの行動を検知し、既に実施済みである旨をユーザに伝えるようにしても良い。これらのタスクの実施記録はクラウド（１０１）にすべて記録されているので、そのデータを基にユーザに回答したり、タスクの実施状況を伝えたりすることが可能である。

尚、上記においては情報通信端末（１００）とユーザ情報を管理するクラウド（１０１）とをネットワークを介して通信するとして分離して説明したが、保管されているユーザ情報を情報通信端末（１００）内部に記録、管理するようにしても良い。この場合は、会話の内容やコミュニケーション能力などユーザの個人情報に相当するデータをネットワークを介してやり取りする必要がなくなり、情報通信および情報管理のコストや漏洩リスクを下げられる利点がある。

本開示によれば、咀嚼嚥下機能を効率よく向上させることができるため、健康促進を図る産業分野において有用である。

１００ ：情報通信端末（ロボット、スマートフォン）
１０１ ：ユーザ情報
１０２ ：情報ソース
１１０ ：情報通信端末（カルテ入力端末）
１１１ ：話し相手が扱う情報（カルテ保管クラウド）

Claims (1)

1. ユーザとコミュニケーションを行う情報通信端末であって、前記ユーザの言語レベル、知識レベル、視覚レベル、および／または聴覚レベルを継続的に測定することで決定される前記ユーザとの円滑なコミュニケーションを行うための推奨方法（ポリシー）を記録してあって、
   前記情報通信端末は、前記ユーザが新たに受け取る第１のコミュニケーションを前記情報通信端末に具備されたセンサーを用いて検出し、
   前記ユーザが受け取る前記第１のコミュニケーションを前記推奨方法（ポリシー）と比較し、
   前記第１のコミュニケーションが前記推奨方法（ポリシー）に合致しないと判断する場合には、
   前記ユーザが受け取る前記第１のコミュニケーションの言語表現方法、必要となる知識体系、文字情報の表示方法、および音声情報の出力方法の少なくとも何れか１つを変更して前記ユーザへの個別コミュニケーションを生成し、前記個別コミュニケーションを前記ユーザに伝達する
   情報通信端末。

Images