JP2020149072A - 会話記録システム、会話記録方法、サーバ装置、及びプログラム - Google Patents

Abstract

【課題】インフォームドコンセント等の会話の内容を正確に、かつ、より確認し易いように記録する。【解決手段】会話記録システムは、説明資料を登録する登録部と、会話の音声情報を取得する音声取得部と、前記音声情報をテキスト情報に変換して言葉単位に分ける音声処理部と、前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、を備えることを特徴とする。【選択図】図３

Description

本発明は、会話記録システム、会話記録方法、サーバ装置、及びプログラムに関する。

医療現場においては、医師から患者等に対して、罹患している病気やその治療方法等について十分な説明を行い、患者等がその説明を理解した上で治療方法に合意すること、所謂、インフォームドコンセントが行われている。

ただし、インフォームドコンセントにおける医者の説明は、必ずしも患者にとって容易に理解できる内容であるとは限らない。よって、インフォームドコンセントの内容を患者が後日において確認するための様々な方法が提案されている。

最もシンプルな方法としては、インフォームドコンセントにおける会話を録音し、その録音を再生して聞き直す方法が考えられる。しかしながら、録音時間が長い場合、確認したい箇所を探し出すことは容易でなく、手間がかかってしまう。

そこで、例えば特許文献１には「記憶手段と、表示手段と、参照位置収集手段と、算出手段と、出力手段とを備え、記憶手段は、医用画像を予め記憶し、表示手段は、医用画像を表示し、参照位置収集手段は、医用画像における少なくとも１人の参照者の参照点の位置を収集し、算出手段は、参照位置収集手段で収集された前記参照点の位置に基づいて、複数の前記参照者の前記参照位置を統合した注目位置情報を求め、出力手段は、注目位置情報を出力する」医用情報処理システムが開示されている。

特開２０１５−１１８４４８号公報

特許文献１に記載の医用情報処理システムによれば、インフォームドコンセントにおける医師と患者との会話を文書として記録した議事録と、インフォームドコンセントにおいて参照した医用画像等の資料とを紐付けて記録することができる。よって、患者は、この記録を参照することにより、インフォームドコンセントが行われた後、その内容を確認することができる。また、医師は、インフォームドコンセントを適切に実施したことの証拠を残すことができる。

ただし、特許文献１に記載の医用情報処理システムにおける議事録は、医療秘書等の人力によって作成されるが、人力によって作成された議事録は、作成者（医療秘書等）の医療知識に差があったり、作成者の主観によって要約されたりしてしまうことがある。よって、議事録に会話の内容についての記録漏れがあったり、不正確な記載があったりする可能性がある。

本発明は、このような状況に鑑みてなされたものであり、インフォームドコンセント等の会話の内容を正確に、かつ、より確認し易いように記録することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決すべく、本発明の一態様に係る会話記録システムは、説明資料を登録する登録部と、会話の音声情報を取得する音声取得部と、前記音声情報をテキスト情報に変換して言葉単位に分ける音声処理部と、前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、を備えることを特徴とする。

前記会話記録システムは、前記説明資料の説明文及び前記テキスト情報を含む説明画面を説明装置に表示させる表示制御部を、備えることができる。

前記表示制御部は、紐付けられた前記説明資料の項目の説明文及び前記テキスト情報の言葉単位を含む説明画面を説明装置に表示させることができる。

前記音声処理部は、順次入力される前記音声情報を前記テキスト情報に順次変換して言葉単位を設定することができ、前記表示制御部は、前記会話に対してリアルタイムで前記説明画面の前記テキスト情報を更新することができる。

前記音声処理部は、前記会話の発話者を区別して前記音声情報を前記テキスト情報に変換することができる。

前記会話記録システムは、前記会話が終了した後、前記説明装置及び端末装置の少なくとも一方からの要求に応じ、前記表示制御部を制御して前記説明画面を閲覧させる閲覧部を、備えることができ、前記表示制御部は、前記紐付け情報に基づいて前記説明画面を再現することができる。

前記紐付け判定部は、前記説明資料の各項目に対して前記音声情報の区間を紐付けた前記紐付け情報を生成することができ、前記記憶部は、前記音声情報を記憶することができる。

前記閲覧部は、前記会話が終了した後、前記説明装置及び端末装置の少なくとも一方からの要求に応じ、前記記憶部に記憶されている前記音声情報を供給することができる。

前記登録部は、前記説明資料の各項目からキーワードを抽出することができ、前記会話記録システムは、前記音声情報から変換された前記テキスト情報に前記キーワードが含まれていない場合、前記キーワードについて説明するように注意喚起を行う注意喚起部を、備えることができる。

前記会話記録システムは、ユーザからの修正指示に従い、前記記憶部に記憶されている前記説明資料及び前記テキスト情報の少なくとも一方を修正する修正部を、備えることができ、前記記憶部は、前記修正部による前記説明資料及び前記テキスト情報の少なくとも一方に対する修正の履歴を表す修正履歴情報を記憶することができる。

本発明の他の態様に係る会話記録方法は、説明資料を登録する登録ステップと、会話の音声情報を取得する音声取得ステップと、前記音声情報をテキスト情報に変換して言葉単位に分ける音声処理ステップと、説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定ステップと、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶ステップと、を含むことを特徴とする。

本発明のさらに他の態様に係るサーバ装置は、説明資料を登録する登録部と、会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理部と、前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、を備えることを特徴とする。

本発明のさらに他の態様に係る会話記録方法は、サーバ装置による会話記録方法であって、説明資料を登録する登録ステップと、会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理ステップと、前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定ステップと、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶ステップと、を含むことを特徴とする。

本発明のさらに他の態様に係るプログラムは、コンピュータを、説明資料を登録する登録部と、会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理部と、前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、して機能させることを特徴とする。

本発明の一態様によれば、インフォームドコンセント等の会話の内容を正確に、且つ、より確認し易いように記録することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の一実施の形態に係る会話記録システムの構成例を示すブロック図である。 図２は、説明装置を構成する機能ブロックの構成例を示すブロック図である。 図３は、サーバ装置を構成する機能ブロックの第１の構成例を示すブロック図である。 図４は、説明資料の一例を示す図である。 図５は、紐付け情報の一例を示す図である。 図６は、記録処理の一例を説明するフローチャートである。 図７は、インフォームドコンセント中の説明画面の表示例を示す図である。 図８は、インフォームドコンセント後の説明画面の表示例を示す図である。 図９は、サーバ装置を構成する機能ブロックの第２の構成例を示すブロック図である。 図１０は、記録処理の一例を説明するフローチャートである。 図１１は、説明画面の表示例を示す図である。 図１２は、サーバ装置を構成する機能ブロックの第３の構成例を示すブロック図である。 図１３は、一般的なコンピュータの構成例を示すブロック図である。

以下、本発明に係る一実施の形態を図面に基づいて説明する。なお、一実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜本発明の一実施の形態に係る会話記録システム１０の構成例＞
図１は、本発明の一実施の形態に係る会話記録システム１０の構成例を示している。

該会話記録システム１０は、例えば、インフォームドコンセントにおける医師と患者（患者の家族を含む）との会話の音声を取得して音声認識を行い、その結果得られるテキスト情報と、インフォームドコンセントに用いた説明資料とを、説明資料の項目毎に紐付けてリアルタイムに表示し、且つ、記録するものである。ただし、会話記録システム１０は、インフォームドコンセントの会話を記録する場合に限らず、任意の音声、例えば、授業や講演等の内容を記録する場合にも用いることができる。

会話記録システム１０は、ネットワーク１１を介して接続された説明装置２０、スマートスピーカ３０、サーバ装置４０、及び端末装置５０を備える。

ネットワーク１１は、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)、インターネット、公衆電話通信網等からなる。

説明装置２０は、インフォームドコンセントが行われる病院の診察室等に配置され、ユーザである医師等によって操作される。説明装置２０は、例えば、ＰＣ（パーソナルコンピュータ）、タブレット型コンピュータ等の一般的なコンピュータからなる。

スマートスピーカ３０は、本発明の音声取得部に相当する。スマートスピーカ３０は、説明装置２０とともに診察室等に配置される。スマートスピーカ３０は、マイクロフォンを内蔵しており、インフォームドコンセントにおける医師と患者との会話の音声を取得し、音声情報としてネットワーク１１を介してサーバ装置４０に順次送信する。また、スマートスピーカ３０は、サーバ装置４０から供給される音声信号に基づいて音声を出力する。

なお、スマートスピーカ３０は、説明装置２０に対応付けられており、スマートスピーカ３０からサーバ装置４０に順次送信される音声情報の処理結果（説明画面６０（図７））は説明装置２０に送信される。スマートスピーカ３０は、説明装置２０に内蔵されていてもよい。

サーバ装置４０は、いわゆるクラウドネットワーク上の任意の位置に配置される。サーバ装置４０は、サーバコンピュータ等の一般的なコンピュータからなる。

端末装置５０は、患者（患者の家族等を含む）が操作するＰＣ、スマートフォン、タブレット型コンピュータ等の一般的なコンピュータからなる。端末装置５０は、患者からの操作に応じ、ネットワーク１１を介してサーバ装置４０に接続して、インフォームドコンセントが行われたときの説明画面６０（図７）を表示する。これにより、患者は、インフォームドコンセントの内容を後日において確認することができる。

＜説明装置２０を構成する機能ブロックの構成例＞
次に、図２は、説明装置２０を構成する機能ブロックの構成例を示している。説明装置２０は、制御部２１、通信部２２、記憶部２３、表示部２４、及び操作部２５の機能ブロックを備える。

制御部２１は、例えば、ＰＣのＣＰＵ(Central Processing Unit)が所定のプログラムを実行することによって実現される。制御部２１は、説明装置２０の全体の動作を制御する。

通信部２２は、例えばＰＣの通信装置によって実現される。通信部２２は、ネットワーク１１を介してサーバ装置４０に接続し、各種の情報を通信する。例えば、通信部２２は、ユーザ（医師等）が作成し、記憶部２３に格納されている説明資料をサーバ装置４０に送信する。また例えば、通信部２２は、サーバ装置４０から送信される、説明画面６０を表示するための画面情報を受信する。画面情報は、映像信号でもよいし、画像データでもよく、形式は限定されない。

記憶部２３は、例えばＰＣの記憶装置によって実現される。記憶部２３には、説明資料が格納されている。

説明資料は、インフォームドコンセントを行う際に患者に示しながら説明を行うためのものである。説明資料には、インフォームドコンセントにて説明すべき項目が予め設定されており、各項目には説明文や画像（レントゲン画像等）が用意されている。説明資料の項目の名称としては、例えば、（１）病気の概要、（２）治療の目的、（３）治療の方法、（４）治療の危険性等を挙げることができる。説明資料の詳細については後述する。

表示部２４は、例えばＰＣの出力装置（ディスプレイ）によって実現される。表示部２４は、サーバ装置４０から供給される画面情報に基づいて説明画面６０を表示する。操作部２５は、例えばＰＣの入力装置（キーボード、タッチパネル、マウス等）によって実現される。操作部２５は、ユーザからの指示操作を受け付けて制御部２１に通知する。

＜サーバ装置４０を構成する機能ブロックの第１の構成例＞
次に、図３は、サーバ装置４０を構成する機能ブロックの第１の構成例を示している。サーバ装置４０の第１の構成例は、制御部４１、通信部４２、及び記憶部４３の機能ブロックを備える。

制御部４１は、例えば、サーバコンピュータのＣＰＵが所定のプログラムを実行することにより実現される。制御部４１は、サーバ装置４０の全体を制御する。制御部４１は、登録部４１１、音声処理部４１２、紐付け判定部４１３、表示制御部４１４、及び閲覧部４１５の機能ブロックを有する。

登録部４１１は、説明装置２０から送信された説明資料の各項目の説明文からキーワードを抽出し、説明資料の各項目に説明文とキーワードとを紐付けて記憶部４３の説明資料ＤＢ（データベース）４３１に登録する（格納する）。

音声処理部４１２は、スマートスピーカ３０から順次送信される音声情報に対し、予め登録されている説明装置２０のユーザ（医師）の音声と、ユーザ以外（患者等）の音声とを区別して音声認識処理を行うことにより、音声情報をテキスト情報に順次変換する。また、音声処理部４１２は、テキスト情報を解析し、所定の言葉単位（段落、文、文節等）に分けて記憶部４３のテキスト情報ＤＢ４３３に格納する。なお、音声認識処理は、他の装置に実行させてもよい。例えば、スマートスピーカ３０は、他の装置（例えば、インターネット上の音声認識エンジン）に音声情報を送信して、音声認識結果としてのテキスト情報を受信し、音声処理部４１２は該テキスト情報を取得すればよい。

テキスト情報には、各言葉単位と音声情報の区間（音声の先頭からの経過時間）との対応関係を表す属性情報が含まれているものとする。さらに、音声処理部４１２は、説明装置２０から順次送信される音声情報を連結して、記憶部４３の音声情報ＤＢ４３２に格納する。なお、連結された音声情報は、所定の方法でエンコードしてから音声情報ＤＢ４３２に格納するようにしてもよい。

紐付け判定部４１３は、インフォームドコンセントに用いるとして選択された説明資料の各項目について、対応するテキスト情報の言葉単位を判定する。また、紐付け判定部４１３は、説明資料の各項目に、テキスト情報の言葉単位と、音声情報の区間とを紐付けた紐付け情報を生成し、記憶部４３の紐付け情報ＤＢ４３４に格納する。

具体的には、インフォームドコンセントを行う際、医師はインフォームドコンセントに用いる説明資料を選択し、選択した説明資料の項目順に説明を行い、各項目の説明の冒頭において、例えば「（項目の名称）について説明を始めます」等と発言し、各項目の説明の最後において、例えば「以上で、（項目の名称）についての説明を終わります」等と発言するようにする。そして、紐付け判定部４１３は、音声情報に基づくテキスト情報から、上記した医師の発言と一致する文言を検出し、検出結果に基づき、各項目に対応するテキスト情報の言葉単位を判定する。ここで、「一致する」とは、所定の閾値を越えて類似する場合を含むものとする。

なお、上述した具体例の他、テキスト情報と、説明資料における各項目の説明文やキーワードとを照合して、説明資料の各項目に対応するテキスト情報の言葉単位を判定するようにしてもよい。

また、音声処理部４１２及び紐付け判定部４１３については、ＡＩ（人工頭脳）を採用してもよい。

表示制御部４１４は、記憶部４３の説明資料ＤＢ４３１に格納されている説明資料のリスト（不図示）を説明装置２０の表示部２４に表示させるための画面情報を生成する。また、表示制御部４１４は、説明装置２０の表示部２４に説明画面６０を表示させるための画面情報を生成する。

閲覧部４１５は、インフォームドコンセントが行われた後、ネットワーク１１を介して接続された説明装置２０や端末装置５０からの要求に応じ、表示制御部４１４に対して、インフォームドコンセントが行われた際に説明装置２０に表示させた説明画面６０と同様の表示を行うための画面情報を生成させる。この場合、表示制御部４１４は、記憶部４３の紐付け情報ＤＢ４３４に格納されている、インフォームドコンセントを行った際に生成した紐付け情報に基づいて説明画面６０の画面情報を再現することができる。また、閲覧部４１５は、インフォームドコンセントが行われた際に取得され、記憶部４３の音声情報ＤＢ４３２に格納されている音声情報を説明装置２０や端末装置５０に供給することができる。

通信部４２は、例えばサーバコンピュータの通信装置によって実現される。通信部４２は、ネットワーク１１を介して接続された説明装置２０、スマートスピーカ３０、及び端末装置５０と各種の情報を通信する。例えば、通信部４２は、説明装置２０から送信された説明資料を受信して登録部４１１に出力する。また通信部４２は、スマートスピーカ３０から順次送信される音声情報を受信して音声処理部４１２に出力する。さらに通信部４２は、表示制御部４１４にて生成された画面情報を説明装置２０や端末装置５０に送信する。

記憶部４３は、例えばサーバコンピュータの記憶装置によって実現される。記憶部４３には、説明資料ＤＢ４３１、音声情報ＤＢ４３２、テキスト情報ＤＢ４３３、及び紐付け情報ＤＢ４３４が格納される。

説明資料ＤＢ４３１には、説明装置２０から送信され、登録部４１１によって各項目のキーワードが抽出された説明資料が格納される。

音声情報ＤＢ４３２には、スマートスピーカ３０から順次送信された音声情報が連結されて格納される。

テキスト情報ＤＢ４３３には、言葉単位に分けられたテキスト情報が格納される。

紐付け情報ＤＢ４３４は、紐付け判定部４１３によって生成された紐付け情報が格納される。

なお、図３に示されたサーバ装置４０の機能ブロックの一部または全てを説明装置２０に設けるようにしてもよい。

次に、図４は、説明資料ＤＢ４３１に格納された説明資料のデータ構造の一例を示している。説明資料には、説明資料を一意に識別できる資料番号が付与されている。また、説明資料には、複数の項目が設けられており、各項目には、名称、説明文、及び説明文から抽出されたキーワードが対応付けて記録されている。なお、説明文には、文字列の他、Ｘ線写真等の画像を含めることができる。

次に、図５は、紐付け情報の一例を示している。紐付け情報には、説明資料の項目番号に対して、テキスト情報の言葉単位、及び音声情報の区間が紐付けられている。同図の例では、資料番号２０１８／１２／０１／ｄ０１が表す説明資料の項目番号ｉ１には、テキスト情報２０１８／１２／０１／ｄ０１の言葉単位ｐ１−ｐ３と、音声情報２０１８／１２／０１／ｖ０１の００：００：００−００：０８：３０が紐付けられていることを表している。また例えば、資料番号２０１８／１２／０１／ｄ０１が表す説明資料の項目番号ｉ２には、テキスト情報２０１８／１２／０１／ｄ０１の言葉単位ｐ４−ｐ７と、音声情報２０１８／１２／０１／ｖ０１の００：０８：３１−００：１５：１０と紐付けられていることを表している。

＜会話記録システム１０による記録処理＞
次に、図６は、会話記録システム１０のサーバ装置４０が第１の構成例（図３）を有する場合における記録処理の一例を説明するフローチャートである。

前提として、既にサーバ装置４０の記憶部４３の説明資料ＤＢ４３１には、登録部４１１により、説明装置２０から送信された説明資料が登録されているものとする。記録処理は、説明装置２０のユーザ（医師等）がインフォームドコンセントを始める際に行う所定の開始操作に応じて開始される。

はじめに、サーバ装置４０の表示制御部４１４が、説明資料ＤＢ４３１に格納されている説明資料のリストを説明装置２０の表示部２４に表示させるための画面情報を生成する。そして、通信部４２が、生成された画面情報をネットワーク１１を介して説明装置２０に送信する。説明装置２０では、通信部２２が該画面情報を受信し、表示部２４が該画面情報に基づいて説明資料のリストを表示する。そして、操作部２５が、該リストの中からインフォームドコンセントにて参照する説明資料を選択するユーザの操作を受け付けて、選択された説明資料の資料番号を制御部２１に通知する。そして、通信部２２が、制御部２１からの制御に従い、選択された説明資料の資料番号をサーバ装置４０に通知する。サーバ装置４０では、通信部４２が、選択された説明資料の資料番号を受信して紐付け判定部４１３及び表示制御部４１４に通知する。そして、表示制御部４１４が、説明資料ＤＢ４３１に格納された該当する説明資料を参照して、説明資料の内容を含む説明画面６０（図７）の画面情報を生成する。この画面情報は、通信部４２が、ネットワーク１１を介して説明装置２０に送信する。これにより、説明装置２０の表示部２４には、説明画面６０が表示される（ステップＳ１）。

次に、説明装置２０において、説明画面６０を参照しながらユーザ（医師等）が説明を開始すると、スマートスピーカ３０が、その音声を取得し、音声情報としてサーバ装置４０への順次送信を開始する。サーバ装置４０では、音声処理部４１２が、スマートスピーカ３０からの音声情報に対し、説明装置２０のユーザ（医師等）の声と、ユーザ以外（患者等）の声とを区別し、音声認識処理によって音声情報をテキスト情報に順次変換する。また、音声処理部４１２が、テキスト情報を解析して言葉単位に分けて、表示制御部４１４に出力するとともに、テキスト情報ＤＢ４３３への格納を開始する。さらに、音声処理部４１２が、説明装置２０から順次送信された音声情報を連結して音声情報ＤＢ４３２への格納を開始する。そして、表示制御部４１４が、テキスト情報（インフォームドコンセントの会話内容）を追加した説明画面６０の画面情報を生成する。この画面情報は、通信部４２が、ネットワーク１１を介して説明装置２０に送信する。これにより、説明装置２０の表示部２４の表示は更新され、インフォームドコンセントの説明資料と会話内容とを含む説明画面６０が表示される（ステップＳ２）。

次に、紐付け判定部４１３が、説明資料ＤＢ４３１に格納された該当する説明資料を参照して、１項目ずつ順に着目してその名称を取得し、音声処理部４１２から順次入力されるテキスト情報にて、例えば「（着目した項目の名称）について説明を始めます」と一致する文言を探索することによって、着目した項目の説明の始点を検出したか否かを判定する（ステップＳ３）。

ここで、テキスト情報から、着目した項目の説明の始点を検出していないと判定した場合（ステップＳ３でＮＯ）、紐付け判定部４１３はステップＳ３を繰り返し実行する。そして、紐付け判定部４１３が、テキスト情報から、着目した項目の説明の始点を検出したと判定した場合（ステップＳ３でＹＥＳ）、その旨を表示制御部４１４に通知する。そして、表示制御部４１４が、説明画面６０において、始点が検出された項目の名称を強調表示する。具体的には、例えば、文字のサイズ、フォント、色、輝度等を変化させたり、太字にしたり、下線を付けたりする（ステップＳ４）。これにより、現在、医師がどの項目について説明しているのかを患者に対して分かり易く表示することができる。

次に、紐付け判定部４１３が、テキスト情報から、例えば「以上で、（着目した項目の名称）についての説明を終わります」と一致する文言を探索することによって、着目した項目の説明の終点を検出したか否かを判定する（ステップＳ５）。

ここで、テキスト情報から、着目した項目の説明の終点を検出していないと判定した場合（ステップＳ５でＮＯ）、紐付け判定部４１３は、ステップＳ５を繰り返し実行する。そして、テキスト情報から、着目した項目の説明の終点を検出したと判定した場合（ステップＳ５でＹＥＳ）、紐付け判定部４１３が、着目した項目に対して、テキスト情報から検出した始点を含む言葉単位から、検出した終点を含む言葉単位までを紐付けるとともに、音声情報の区間も紐付けた紐付け情報を生成して記憶部４３の紐付け情報ＤＢ４３４に格納する（ステップＳ６）。

次に、紐付け判定部４１３が、参照している説明資料の全ての項目に着目したか否かを判定する（ステップＳ７）。ここで、紐付け判定部４１３が、全ての項目に着目していない（未着目の項目が残っている）と判定した場合（ステップＳ７でＮＯ）、処理はステップＳ３に戻されて、ステップＳ３〜Ｓ７が繰り返される。そして、紐付け判定部４１３が、全ての項目を着目した（未着目の項目が残っていない）と判定した場合（ステップＳ７でＹＥＳ）、以上で該記録処理は終了される。

以上に説明した記録処理によれば、インフォームドコンセントが行われている最中には、リアルタイムでその会話をテキストに変換して説明画面６０に表示できるとともに、説明中の項目を強調表示することができる。これにより、現在、医師がどの項目について説明しているのかを患者に対して分かりやすく表示することができる。よって、医師は、患者が理解し易いように順序良く説明を行うことができる。

また、記録処理によれば、インフォームドコンセントが行われている最中に紐付け情報を生成して、紐付け情報ＤＢ４３４に記録できる。記録された紐付け情報を用いれば、インフォームドコンセントが行われた後、インフォームドコンセントが行われている最中に表示された説明画面６０と同じ画面を、説明装置２０や端末装置５０に表示することができる。

さらに、記録処理によれば、インフォームドコンセントが行われている最中の音声情報を記録できる。記録された音声情報を用いれば、インフォームドコンセントが行われた後、インフォームドコンセントが行われている最中の会話の音声を説明装置２０（またはスマートスピーカ３０）や端末装置５０から出力することができる。

これにより、患者は、インフォームドコンセントが行われた後、その正確な内容を確認することができ、医師は、インフォームドコンセントを適切に実施したことの証拠を正確に残すことができる。

＜説明画面６０の表示例＞
次に、説明画面６０の表示例について説明する。図７は、インフォームドコンセントが行われている最中において、説明装置２０の表示部２４に表示される説明画面６０の表示例を示している。図８は、インフォームドコンセントが行われた後において、説明装置２０や端末装置５０からの要求に応じ、それぞれの表示部に表示される説明画面６０の表示例を示している。

説明画面６０には、資料項目領域６１、資料内容領域６２、会話項目領域６３、及び会話内容領域６４が設けられている。

資料項目領域６１には、説明資料の項目の名称が項目番号順に列記される。そして、インフォームドコンセントが行われている最中の説明画面６０（図７）においては、資料項目領域６１に列記されている名称のうち、説明中の項目の名称が強調表示される。また、インフォームドコンセントが行われた後の説明画面６０（図８）においては、説明装置２０や端末装置５０のユーザが選択した項目の名称が強調表示される。

資料内容領域６２には、資料項目領域６１にて強調表示されている項目についての説明文（画像を含む）が表示される。すなわち、インフォームドコンセントが行われている最中の説明画面６０（図７）の資料内容領域６２には、説明中の項目の説明文が表示される。また、インフォームドコンセントが行われた後の説明画面６０（図８）の資料内容領域６２には、ユーザが選択した項目の説明文が表示される。

会話項目領域６３には、会話によって説明された項目の名称（実質的に説明資料の項目の名称と同じ）が列記される。ただし、インフォームドコンセントが行われている最中の説明画面６０（図７）の会話項目領域６３には、それまでに会話によって説明された、または説明途中の項目の名称が列記され、説明中の項目の名称が強調表示される。インフォームドコンセントが行われた後の説明画面６０（図８）の会話項目領域６３には、会話によって説明された全ての項目の名称が列記され、説明装置２０や端末装置５０のユーザが選択した項目の名称が強調表示される。

会話内容領域６４には、会話項目領域６３にて強調表示されている項目についても会話内容（音声情報を変換したテキスト情報）が表示される。すなわち、インフォームドコンセントが行われている最中の説明画面６０（図７）の会話内容領域６４には、説明中の会話内容がリアルタイムに表示される。また、インフォームドコンセントが行われた後の説明画面６０（図８）の会話内容領域６４には、ユーザが選択した項目を説明しているときの会話内容が表示される。

図７に示されたインフォームドコンセントが行われている最中の説明画面６０によれば、患者は、医師によって説明されている内容をより容易に理解することができる。

図８に示されたインフォームドコンセントが行われた後の説明画面６０によれば、医師及び患者は、インフォームドコンセントの項目を選択してその資料内容や会話内容を確認することができる。このとき、記録処理によって記録した音声情報を再生すれば、インフォームドコンセントの状況を再現することができる。

＜サーバ装置４０を構成する機能ブロックの第２の構成例＞
次に、図９は、サーバ装置４０を構成する機能ブロックの第２の構成例を示している。サーバ装置４０の第２の構成例は、第１の構成例（図３）に対して、制御部４１の中に注意喚起部４１６を追加したものである。該第２の構成例における注意喚起部４１６以外の構成要素については、第１の構成例（図３）の構成要素と同様であり、同一の符号を付してその説明を省略する。

注意喚起部４１６は、説明資料の各項目において、医師によって説明されていない未説明のキーワードが有るか否かを判定する。（例えば、テキスト情報に登場しないキーワードが有るか否かを判定する）。そして、未説明のキーワードが有った場合、注意喚起部４１６は、その旨を表示制御部４１４に通知する。この通知に応じ、表示制御部４１４は、未説明のキーワードについて説明するように注意喚起を行う表示を含む説明画面６０の画面情報を生成する。この画面情報は、通信部４２が、ネットワーク１１を介して説明装置２０に送信する。これにより、説明装置２０の表示部２４には、注意喚起の表示を含む説明画面６０が表示される。

次に、図１０は、会話記録システム１０のサーバ装置４０が第２の構成例（図９）を有する場合における記録処理の一例を説明するフローチャートである。

該記録処理は、サーバ装置４０の第１の構成例に対応する記録処理（図６）のステップＳ５とステップＳ６の間に、ステップＳ１１，Ｓ１２を追加したものである。

該記録処理においては、紐付け判定部４１３が、着目した項目の説明の終点を検出したと判定した場合（ステップＳ５でＹＥＳ）、注意喚起部４１６が、未説明のキーワードが有るか否かを判定する（ステップＳ１１）。

ここで、未説明のキーワードが有ると判定した場合（ステップＳ１１でＹＥＳ）、注意喚起部４１６が、未説明のキーワードを表示制御部４１４に通知し、表示制御部４１４が、未説明のキーワードについて説明するように注意喚起を行う表示を含む説明画面６０の画面情報を生成する。この画面情報は、通信部４２が、ネットワーク１１を介して説明装置２０に送信する。これにより、説明装置２０の表示部２４の説明画面６０には、注意喚起が表示される（ステップＳ１２）。処理はステップＳ１１に戻り、ステップＳ１１，Ｓ１２が繰り返される。

図１１は、注意喚起を含む説明画面６０の表示例を示している。同図の場合、会話内容領域６４に注意喚起「（キーワード）について説明してください」が強調表示されている。なお、注意喚起の文言や表示する位置については図１１の例に限るものではなく、任意に変更可能である。

図１０の説明に戻る。反対に、注意喚起が行われる前に、説明中の項目の全てのキーワードについて医師が説明を行っていて未説明のキーワードがないと判定された場合や、注意喚起に応じ、未説明のキーワードについて医師が説明を行ったことにより未説明のキーワードがないと判定された場合（ステップＳ１１でＮＯ）、紐付け判定部４１３が、紐付け情報を生成して記憶部４３の紐付け情報ＤＢ４３４に格納することになる（ステップＳ６）。

以上に説明した記録処理によれば、サーバ装置４０の第１の構成例に対応する記録処理と同様の作用、効果を得ることができる。

また、以上に説明した記録処理によれば、医師が説明していないキーワードが残っている場合、未説明のキーワードについて説明するように注意喚起を行うことができるので、医師による説明漏れを抑止することができる。

＜サーバ装置４０を構成する機能ブロックの第３の構成例＞
次に、図１２は、サーバ装置４０を構成する機能ブロックの第３の構成例を示している。サーバ装置４０の第３の構成例は、第１の構成例（図３）に対して、制御部４１に中に修正部４１７を追加するとともに、記憶部４３の中に修正履歴情報ＤＢ４３５を追加したものである。該第３の構成例における修正部４１７及び修正履歴情報ＤＢ４３５以外の構成要素については、第１の構成例（図３）の構成要素と同様であり、同一の符号を付してその説明を省略する。

修正部４１７は、インフォームドコンセントが行われた後、説明装置２０のユーザが入力した修正指示に応じて、説明資料ＤＢ４３１に格納されている説明資料の誤字や脱字を修正したり、テキスト情報ＤＢ４３３に格納されているテキスト情報の誤変換（誤字）を修正したりする。

修正履歴情報ＤＢ４３５には、修正部４１７による説明資料やテキスト情報に対する修正の履歴を表す修正履歴情報が格納される。

サーバ装置４０の第３の構成例によれば、サーバ装置４０の第１の構成例に対応する記録処理と同様の作用、効果を得ることができる。

また、サーバ装置４０の第３の構成例によれば、説明装置２０のユーザ（医師）は、説明資料やテキスト情報の誤りを修正できる。また、修正履歴情報ＤＢ４３５を設けたことにより、医師による説明資料やテキスト情報に対する不正な修正（例えば、誤った説明の隠蔽等）を抑止することができる。

＜変形例＞
サーバ装置４０の第２の構成例（図９）及び第３の構成例（図１２）は組み合わせてもよい。

＜一般的なコンピュータの構成例＞
上述したように、説明装置２０、サーバ装置４０、及び端末装置５０は、一般的なコンピュータによって実現することができる。

図１３は、説明装置２０、サーバ装置４０、及び端末装置５０を実現する一般的なコンピュータの構成例を示している。

該コンピュータ１００において、ＣＰＵ１０１，ＲＯＭ（Read Only Memory）１０２，ＲＡＭ（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、入力装置１０６、出力装置１０７、記憶装置１０８、通信装置１０９、およびドライブ装置１１０が接続されている。

入力装置１０６は、キーボード、マウス、マイクロフォン等よりなり、例えば、説明装置２０の操作部２５（図２）として機能する。出力装置１０７は、ディスプレイ、スピーカ等よりなり、例えば、説明装置２０の表示部２４（図３）として機能する。

記憶装置１０８は、ＨＤＤ(hard Disk Drive)、ＳＳＤ(solid State Drive)などからなり、例えば、説明装置２０の記憶部２３（図２）やサーバ装置４０の記憶部４３（図３）として機能する。通信装置１０９は、ＬＡＮインターフェースやＷｉ−Ｆｉインターフェースからなり、例えば、説明装置２０の通信部２２（図２）やサーバ装置４０の通信部４２（図３）として機能する。ドライブ装置１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータ１００では、ＣＰＵ１０１が、例えば、記憶装置１０８に記憶されているプログラムを、入出力インターフェース１０５およびバス１０４を介して、ＲＡＭ１０３にロードして実行することにより、例えば、説明装置２０の制御部２１（図２）やサーバ装置４０の制御部４１（図３）が実現される。

コンピュータ１００（ＣＰＵ１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ１００では、プログラムは、リムーバブルメディア１１１をドライブ装置１１０に装着することにより、入出力インターフェース１０５を介して、記憶装置１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信装置１０９で受信し、記憶装置１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１０２や記憶装置１０８に、あらかじめインストールしておくことができる。

なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、半導体メモリ、ＨＤＤ、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０・・・会話記録システム、１１・・・ネットワーク、２０・・・説明装置、２１・・・制御部、２２・・・通信部、２３・・・記憶部、２４・・・表示部、２５・・・操作部、３０・・・スマートスピーカ、４０・・・サーバ装置、４１・・・制御部、４２・・・通信部、４３・・・記憶部、５０・・・端末装置、６０・・・説明画面、６１・・・資料項目領域、６２・・・資料内容領域、６３・・・会話項目領域、６４・・・会話内容領域、１００・・・コンピュータ、１０１・・・ＣＰＵ、１０２・・・ＲＯＭ、１０３・・・ＲＡＭ、１０４・・・バス、１０５・・・入出力インターフェース、１０６・・・入力装置、１０７・・・出力装置、１０８・・・記憶装置、１０９・・・通信装置、１１０・・・ドライブ装置、１１１・・・リムーバブルメディア、４１１・・・登録部、４１２・・・音声処理部、４１３・・・紐付け判定部、４１４・・・表示制御部、４１５・・・閲覧部、４１６・・・注意喚起部、４１７・・・修正部、４３１・・・説明資料ＤＢ、４３２・・・音声情報ＤＢ、４３３・・・テキスト情報ＤＢ、４３４・・・紐付け情報ＤＢ、４３５・・・修正履歴情報ＤＢ

Claims (14)

1. 説明資料を登録する登録部と、
   会話の音声情報を取得する音声取得部と、
   前記音声情報をテキスト情報に変換して言葉単位に分ける音声処理部と、
   前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、
   前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、
   を備えることを特徴とする会話記録システム。
2. 請求項１に記載の会話記録システムであって、
   前記説明資料の説明文及び前記テキスト情報を含む説明画面を説明装置に表示させる表示制御部を、
   備えることを特徴とする会話記録システム。
3. 請求項２に記載の会話記録システムであって、
   前記表示制御部は、紐付けられた前記説明資料の項目の説明文及び前記テキスト情報の言葉単位を含む説明画面を説明装置に表示させる
   ことを特徴とする会話記録システム。
4. 請求項２に記載の会話記録システムであって、
   前記音声処理部は、順次入力される前記音声情報を前記テキスト情報に順次変換して言葉単位を設定し、
   前記表示制御部は、前記会話に対してリアルタイムで前記説明画面の前記テキスト情報を更新する
   ことを特徴とする会話記録システム。
5. 請求項１に記載の会話記録システムであって、
   前記音声処理部は、前記会話の発話者を区別して前記音声情報を前記テキスト情報に変換する
   ことを特徴とする会話記録システム。
6. 請求項２に記載の会話記録システムであって、
   前記会話が終了した後、前記説明装置及び端末装置の少なくとも一方からの要求に応じ、前記表示制御部を制御して前記説明画面を閲覧させる閲覧部を、備え、
   前記表示制御部は、前記紐付け情報に基づいて前記説明画面を再現する
   ことを特徴とする会話記録システム。
7. 請求項６に記載の会話記録システムであって、
   前記紐付け判定部は、前記説明資料の各項目に対して前記音声情報の区間を紐付けた前記紐付け情報を生成し、
   前記記憶部は、前記音声情報を記憶する
   ことを特徴とする会話記録システム。
8. 請求項７に記載の会話記録システムであって、
   前記閲覧部は、前記会話が終了した後、前記説明装置及び端末装置の少なくとも一方からの要求に応じ、前記記憶部に記憶されている前記音声情報を供給する
   ことを特徴とする会話記録システム。
9. 請求項１に記載の会話記録システムであって、
   前記登録部は、前記説明資料の各項目からキーワードを抽出し、
   前記音声情報から変換された前記テキスト情報に前記キーワードが含まれていない場合、前記キーワードについて説明するように注意喚起を行う注意喚起部を、
   備えることを特徴とする会話記録システム。
10. 請求項１に記載の会話記録システムであって、
    ユーザからの修正指示に従い、前記記憶部に記憶されている前記説明資料及び前記テキスト情報の少なくとも一方を修正する修正部を、備え、
    前記記憶部は、前記修正部による前記説明資料及び前記テキスト情報の少なくとも一方に対する修正の履歴を表す修正履歴情報を記憶する
    ことを特徴とする会話記録システム。
11. 会話記録システムによる会話記録方法であって、
    説明資料を登録する登録ステップと、
    会話の音声情報を取得する音声取得ステップと、
    前記音声情報をテキスト情報に変換して言葉単位に分ける音声処理ステップと、
    説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定ステップと、
    前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶ステップと、
    を含むことを特徴とする会話記録方法。
12. 説明資料を登録する登録部と、
    会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理部と、
    前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、
    前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、
    を備えることを特徴とするサーバ装置。
13. サーバ装置による会話記録方法であって、
    説明資料を登録する登録ステップと、
    会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理ステップと、
    前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定ステップと、
    前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶ステップと、
    を含むことを特徴とする会話記録方法。
14. コンピュータを、
    説明資料を登録する登録部と、
    会話の音声情報をテキスト情報に変換して言葉単位に分けるか、または前記音声情報から変換された前記テキスト情報を取得して言葉単位に分ける音声処理部と、
    前記説明資料の各項目に対して前記テキスト情報の前記言葉単位を紐付けた紐付け情報を生成する紐付け判定部と、
    前記説明資料、前記テキスト情報、及び前記紐付け情報を記憶する記憶部と、
    して機能させることを特徴とするプログラム。

Images