JP2023048799A - オンライン診療を含む診療システム - Google Patents

Abstract

【課題】問診の際の会話の内容を医師と患者との間で正しく共有し、診断に必要な情報を正しく引き出し、診断に必要な情報に基づきカルテを効率的に作成することを支援する。【解決手段】ネットワークを介して接続され、医師と患者の対話に基づく診断およびカルテ作成を支援する診療支援サーバと、診断に必要な情報の入出力を行う診療端末とを有し、医師と患者が対面又は物理的に離れた場所に存在しながら、音声や映像による通信手段によるリモート会議機能により医師と患者が会話を行い、患者の様子を観察することにより、医師が医療診断をおこなうオンライン診療を含む診療システムにおいて、診療支援サーバは、医師と患者の会話の内容を診療端末より受信し、音声認識技術によりテキスト化し前記診療端末に画面表示させる会話内容表示部と、医師と患者が診療端末の画面を共有しながら行う操作に対応してカルテ作成を行うカルテ作成部とを有する。【選択図】図１

Description

本発明は、オンライン診療を含む診療システムに関し、特に問診の際の会話の内容を医師と患者との間で正しく共有し、診断に必要な情報を正しく引き出すとともに、診断に必要な情報に基づきカルテを効率的に作成することを支援するオンライン診療を含む診療システムに関する。

患者が体調不良等により病院を訪れ、初診の診療を受ける際、医師との対話により問診が行われる。また、遠隔地であったり、感染症の流行により直接の対面診療が難しかったりする場合にはオンライン診療も活用されているが、オンライン診療も、医師と患者との間の対話による診療が中心となる。

対面診療においても、オンライン診療においても、医師は対話の中から可能性のある病気等の体調不良の原因を絞り込むための情報を抽出し、又原因を特定するために不足する情報があれば、それを聞き出すための新たな質問を続け、それに基づいて原因を特定し、カルテを作成する必要がある。問診は患者の体調不良の原因を特定し、その後の治療方針を決定する重要な診療方法であるが、オンライン診療においては、対面診療と比べて、医師と患者の意思疎通が図りにくい面があり、対面会話と比べて、医師や患者の説明の理解不足や、誤解を生じやすいという課題もある。医師の理解不足や、誤解はカルテの記載の誤りとなって、医師の診断ミスにつながる。一方患者の側では理解不足や、誤解は、医師の指示に反した行動につながるという問題もある。問診の際、医師と患者の意思疎通を図りこうした問題を回避し、正しいカルテを作成することが求められる。

カルテは従来紙が中心であったが、最近では電子化されつつある。従来のオンライン診療においても、医師と患者の端末に映像や音声の入出力機能を備えることでオンラインの問診を実現し、医師側の端末側に電子カルテの入力機能を備えることで、医師によるカルテ作成を実現する。いずれにしても医師はカルテの作成のための記入やキーボード入力中は対話が途切れ、円滑な会話が行いにくく、またカルテの作成のための時間は、診療時間が長引く要因となる。

医師のカルテへの書き込み作業の負担を軽減し、医師と患者の会話をより円滑にすることを目的に、音声認識技術や情報抽出技術等を用いて、カルテを自動生成する試みがなされている。
例えば、特許文献１には、話者が発声してマイクに入力された音声を取得する音声取得ステップと、取得された音声に対して、音声の意味情報を認識する音声認識処理を実行する音声認識ステップと、取得された音声を発声した話者を識別する話者識別処理を実行する話者識別ステップと、音声認識処理による認識結果、および話者識別処理による話者の識別結果に基づいて、音声に対応する医療情報を生成する情報生成処理、および、複数の医療情報を記憶する記憶装置から音声に対応する医療情報を抽出して出力する医療情報抽出処理の少なくともいずれかを実行する情報処理ステップを実行する診察補助プログラムが開示されている。

従来のカルテを自動生成する試みでは、音声認識や情報抽出の精度が完全ではないため、自動作成されたカルテの内容が間違っており、その修正作業が医師の負担となってしまうという問題があった。

特開２０２０－１４０６０７号公報

本発明は、上記従来の診療システムにおける問題点に鑑みてなされたものであって、本発明の目的は、問診の際の会話の内容を医師と患者との間で正しく共有し、診断に必要な情報を正しく引き出すとともに、診断に必要な情報に基づきカルテを効率的に作成することを支援するオンライン診療を含む診療システムを提供することにある。

上記目的を達成するためになされた本発明によるオンライン診療を含む診療システムは、医師と患者の対話に基づく診断およびカルテ作成を支援する診療支援サーバと、前記診療支援サーバとネットワークを介して接続され、診断に必要な情報の入出力を行う診療端末とを有し、医師と患者が対面又は物理的に離れた場所に存在しながら、音声や映像による通信手段によるリモート会議機能により医師と患者が会話を行い、患者の様子を観察することにより、医師が医療診断をおこなうオンライン診療を含む診療システムにおいて、前記診療支援サーバは、医師と患者の会話の内容を前記診療端末より受信し、音声認識技術によりテキスト化し前記診療端末に画面表示させる会話内容表示部と、医師と患者が前記診療端末の画面を共有しながら行う操作に対応してカルテ作成を行うカルテ作成部とを有することを特徴とする。

前記会話内容表示部は、会話内容表示画面に表示させる会話内容のテキスト中に存在するカルテ作成に関するキーワードを情報抽出技術により特定し、強調表示させるキーワード特定機能を備え、前記カルテ作成部は、医師によりカルテ作成に必要なキーワードが選択され、キーワードにより生成したいカルテ記述の種類が指定されることに対応してカルテ記述を生成するカルテ記述生成機能を備えることがこのましい。

前記診療支援サーバは、会話内容表示画面に表示させる会話内容のテキストの内容に応じて、システム内部に蓄積されたコンテンツやインターネット上の外部コンテンツから関連する情報を検索し、医師や患者に提示する参考情報提示部をさらに備えることが好ましい。

前記会話内容表示部は、音声認識技術の誤りにより会話内容表示画面に誤認識語句が含まれる場合、前記誤認識語句が選択された状態で、正しい語句の発声の入力を受け、発声された正しい語句を音声認識して、音声認識結果の正しい語句を誤認識語句と置き換え、間違った会話内容の表示を訂正する誤認識語句誤り訂正機能を備えることが好ましい。

本発明に係るオンライン診療を含む診療システムによれば、医師と患者の診療端末間で共通の情報表示画面が表示されるので、従来、医師側の端末だけに備わっていたカルテへの入力機能を患者側の端末にも備えることにより、医師だけでなく患者もカルテ作成に関わることで、医師と患者の意思疎通を促進する。

また、本発明に係るオンライン診療を含む診療システムによれば、音声認識技術により医師と患者の会話をテキスト化し、医師と患者双方から見える共有画面に表示することにより、お互いの発言内容に対する誤解をなくすことができる。さらに、発言内容に関連する情報（図表や解説テキスト等）も共有画面に表示することにより患者の理解促進に役立てることが可能である。この情報は前もって準備された情報の中から医師が選択することによって表示することに加えて、発言内容と準備された情報の意味的な関連性を自動計算することにより、関連性の高い情報を自動表示することもできる。

さらに、本発明に係るオンライン診療を含む診療システムによれば、医師が会話の音声認識結果から情報抽出技術により特定された会話中の医療キーワードを選ぶことで、カルテ記述が生成される。このため、一からカルテ記述をキーボードを使って入力するのに比べて医師の負担が少ないという効果を奏する。

また、従来問題となっていた音声認識の誤りに関しては、医師または患者が、会話内容表示画面に誤認識語句を発見した場合、訂正のための発話をおこなうことで誤認識の訂正が可能である。これにより、後から医師が修正しなくても、会話の中で即座に訂正することが可能であり、円滑なカルテの作成が可能となる。

本発明の実施形態によるオンライン診療を含む診療システムの構成を概略的に示すブロック図である。 本発明の実施形態によるオンライン診療を含む診療システムの機能を説明するための図である。 本発明の実施形態による会話内容表示機能を示す診療端末の表示画面の例示図である。 本発明の実施形態によるキーワード特定機能を示す診療端末の表示画面の例示図である。 本発明の実施形態によるカルテ記述生成機能を示す診療端末の表示画面の例示図である。 本発明の実施形態による参考情報提示機能を示す診療端末の表示画面の例示図である。 本発明の実施形態による誤認識語句誤り訂正機能を示す診療端末の表示画面の例示図である。 本発明の実施形態によるオンライン診療を含む診療システムの診療支援サーバが行うメインの作業フローを説明するためのフローチャートである。

次に、本発明に係るオンライン診療を含む診療システムを実施するための形態の具体例を、図面を参照しながら詳細に説明する。
図１は、本発明の実施形態によるオンライン診療を含む診療システムの構成を概略的に示すブロック図である。
図１を参照すると、本発明の実施形態によるオンライン診療を含む診療システム１は、ネットワーク５を介して相互に接続される診療支援サーバ１０及び診療端末２０を含む。

本発明の実施形態によるオンライン診療を含む診療システム１は、医師と患者が対面、又は物理的に離れた場所に存在しながら、音声や映像による通信手段によるリモート会議機能により医師と患者が会話を行い、患者の様子を観察することにより、医師が医療診断をおこなう診療システムであり、システムの中核となる診療支援サーバ１０が、医師と患者の会話の内容を診療端末２０より受信し、逐次音声認識技術によりテキスト化し診療端末２０に画面表示に表示させることで、医師と患者が会話の内容を改めてテキストデータとして共有することができ、互いに聞き漏らしたり、音声のみのために誤解したりする可能性のある内容を正しく把握することができるように支援するシステムである。

また、診療支援サーバ１０がテキスト化した会話の中から、カルテ作成に関するキーワードを情報抽出技術により特定し、強調表示させることにより、医師にも患者にも診断のために重要な言葉がどのように含まれていたかを認識させ、カルテに反映すべき内容が抜け落ちてしまうことを防止するとともに、強調表示されたキーワードをドラッグしてカルテ生成のためのカルテ記述生成画面にドロップするだけでカルテ記述が生成されてカルテ入力画面に反映されるため、手間をかけずにカルテが作成できるように支援するシステムである。

診療支援サーバ１０は、テキスト化に当たり、音声認識技術の誤りにより会話内容表示画面に強調表示されたキーワードなどの会話の内容が間違っていた場合、医師又は患者が間違って認識された誤認識語句を選択した状態で正しい語句の発声の入力を行うと、再度音声認識技術により正しいテキストとして訂正する誤認識語句誤り訂正機能を備えるため、カルテの正確性を高めることができる。

さらに、診療支援サーバ１０は、テキスト表示される会話の中から解説があるとより理解しやすい専門用語などの参照用語を抽出し、クリックするとシステム内部に蓄積されたコンテンツやインターネット上の外部コンテンツから関連する情報を検索し、医師や患者に検索した情報を提示するため、医師や患者が問診内容をより深く理解するように支援するシステムである。

上述のような機能を有するため図１に示すように、診療支援サーバ１０は、入出力部１２、記憶部１３、表示部１４、患者情報登録部１５、会話内容表示部１６、カルテ作成部１７、参考情報提示部１８、及びこれら構成要素を制御する制御部１１を備える。
患者情報登録部１５は、初診の際に患者が問診票に記載するか、オンライン診療の場合は患者の診療端末２０から入力されて送信される患者の住所、氏名、電話番号、メールアドレス等の個人情報に基づき、患者に関する情報を記憶部１３に登録して管理する。患者に対する登録情報は診断結果等と紐付けて管理しやすいように、患者情報登録部１５は、患者固有の識別番号を発行し、患者に対する登録情報と関連付けて保存する。また、患者に診断結果等の患者固有の情報を提供する場合は、患者からパスワードを受け取り登録情報に含めて管理し、患者から患者固有の識別番号とパスワードを受け付けて患者固有の情報をマイページとして提供するようにしてもよい。

会話内容表示部１６は、診療端末２０（２０－１、２０－２）にリモート会議の場を提供するリモート会議提供手段と音声認識手段を備え、対面又はリモート会議におけるオンライン診療の中で行われる医師と患者の会話の内容を診療端末２０より受信し、音声認識技術により会話の内容をテキスト化して診療端末２０に画面表示させる。オンライン診療のように医師と患者が離れた場所にいて互いの診療端末２０（２０－１、２０－２）に互いの声が直接に届かない場合は、送信されてくる音声データの送信元が医師と患者のどちらの診療端末２０（２０－１、２０－２）かにより、医師か患者かを識別することができるので会話の中の発言者を特定しやすい。

図１では、診療端末２０は医師用の診療端末２０－１と患者用の診療端末２０－２との２つの場合を示すが、例えば患者の家族が診療端末２０－３によりリモート会議でさらに参加してもよく、その場合も患者の家族の発言は診療端末２０－３より診療支援サーバ１０に送信されるため、会話内容表示部１６は、発言者を認識し、テキスト化して発言内容を表示させるときも家族の発言として表示させる。

対面診療の場合、例えば感染防止のためにアクリルの衝立を挟んで医師と患者がそれぞれ診療端末２０（２０－１、２０－２）を前にして対峙するような場合は、互いの声が相手の診療端末２０（２０－１、２０－２）にも届いてしまう。そこでこのような場合は診療端末２０（２０－１、２０－２）の音を拾うマイクに指向性を持たせるか、医師と患者がそれぞれ口元に専用のマイクを装着するようにする。また別の実施形態では、会話内容表示部１６が備える音声認識手段は話し手の音程や発声の特性を解析し、話し手を識別する特性解析手段を備えて医師と患者を識別する。このような対面診療の場合の話し手の識別は、患者が診療端末２０を持たず、医師の診療端末２０を一緒に見ながら対面診療を行うような場合にも適用可能である。

また、会話内容表示部１６は、テキスト化した会話の内容の中にカルテ作成に関するキーワードを含む場合、そのキーワードを強調表示させる。キーワードは予め様々な病気に関してその病気ごとに症状などを表す特徴的なキーワードをデータベースとして記憶部１３に保存しておき、テキスト化した会話の内容の中にデータベースに保存したキーワードを含むか否かを判断する。またキーワードとして強調されないテキストでも、医師が重要でありカルテに反映したい用語と判断した場合は、当該テキストを選択してキーワードとしてカルテ生成のためのカルテ記述生成画面にドロップすると、会話内容表示部１６は、この用語を新たなキーワードとしてデータベースに追加するようにしてもよい。

更に、会話内容表示部１６は、音声認識技術の誤りにより会話内容表示画面に強調表示されたキーワードなどの会話の内容が間違っていた場合、医師又は患者によって誤認識語句が選択された状態で、当該語句の正しい発声の入力を受けると、発声された当該語句を改めて音声認識して、音声認識結果の正しい語句を誤認識語句と置き換え、間違った会話の内容の表示を訂正する。

会話内容表示部１６は、問診により医師と患者の会話が続く間、継続して上記のテキスト化、強調化を実行し診療端末２０（２０－１、２０－２）に画面表示させることを繰り返す。問診が終了した時点で、会話内容表示部１６は、テキスト化した一連のデータを、問診の経過情報データとして患者固有の識別番号と関連付けして記憶部１３に保存する。

カルテ作成部１７は、医師と患者が診療端末２０（２０－１、２０－２）の画面を共有しながら行う操作に対応してカルテ作成を行う。より詳細には、カルテ作成部１７は、診療端末２０（２０－１、２０－２）の表示部にキーワードを含む会話の内容が表示される会話内容表示画面に加えて、カルテ生成のためのカルテ記述生成画面を表示させ、医師が会話内容表示画面のキーワードをドラッグしてカルテ記述生成画面上の関連する項目欄にドロップすると、診療端末２０（２０－１、２０－２）より、どのキーワードをどの位置にドロップしたかを示すポインタの移動情報を取得し、それに基づきカルテ記述を生成する。このようにカルテ作成部１７は、医師が指定するカルテ記述の種類、即ちカルテ記述生成画面上の関連する項目欄に応じてカルテ記述を生成する。生成したカルテ記述をカルテ入力画面に転記することで、そのキーワードに関するカルテの医師による入力を省力化する。

カルテ作成部１７は、問診の間、新たなキーワードのドラッグ アンド ドロップが行われる毎にカルテ記述を追加して生成し、最終的に問診が終了した時点で作成されたカルテを患者固有の識別番号と関連付けして記憶部１３に保存する。

参考情報提示部１８は、会話内容表示画面に表示させる会話内容のテキストの内容に応じて、システム内部に蓄積されたコンテンツやインターネット上の外部コンテンツから関連する情報を検索し、医師や患者に提示する。ここでシステム内部に蓄積されたコンテンツとは、主に医療に関する専門用語など患者には分かりにくい用語について解説するものであり、用語名とその解説記述により構成され、予めリストアップして診療支援サーバ１０の記憶部１３にデータベースの１つとして保存するものである。

会話内容表示画面に表示させる会話内容に含まれる専門用語等の参照用語は必ずしもすべてがデータベースに保存されているとは限らないので、そのような用語についてはインターネット上の外部コンテンツから情報を取得する必要がある。そこで参考情報提示部１８は、会話内容に含まれる参照用語が、記憶部１３のデータベースにあるか否かを確認し、記憶部１３のデータベースに保存されている場合は、保存先とリンクが張られた項目情報として画面に表示し、記憶部１３のデータベースに保存されていない場合は、外部コンテンツが検索可能なように外部コンテンツとリンクが張られた項目情報として画面に表示する。いずれの場合も医師又は患者が内容を確認しようと思った時点で、表示されている項目情報をクリックすることで、この項目情報に張られたリンク先から情報を入手して診療端末２０（２０－１、２０－２）の画面に表示させる。

診療支援サーバ１０の入出力部１２は、ネットワーク５を介して診療端末２０とのデータの入出力を行うための通信手段を含む。診療支援サーバ１０に文字入力を行うキーボードなども入出力部１２に含む。
記憶部１３は、受信した患者の名前、住所、メールアドレス等の患者に関する情報の他、発行した患者固有の識別情報、キーワードやコンテンツのデータベース、問診の経過情報データ、カルテなどのデータを保存する。また記憶部１３には診療支援サーバ１０自身を制御する制御プログラムなどのプログラムを保存する。記憶部１３は、ハードディスクなどの記憶媒体により実現化され、記憶する情報が多い場合は外付けのメモリ装置として構成してもよい。

表示部１４は、患者に関する情報などの管理情報や、必要により診療支援サーバ１０を制御する制御プログラムなどのプログラムを表示する。表示部１４は、液晶表示装置などで実用化される。
制御部１１は、記憶部１３に保存された制御プログラムに従い、診療支援サーバ１０の各構成要素が、上記で説明した機能を果たすように制御する。制御部１１はマイクロコンピュータなどの半導体装置を含む制御回路により実現化される。

診療支援サーバ１０は、オンライン診療を含む診療システム１の中で、診療支援サーバ１０の動作に対応して動作するように診療端末２０（２０－１、２０－２）を制御するアプリケーションを提供する場合は、上記の他に、アプリケーションを保存して提供するアプリケーション提供部をさらに含めてもよい。アプリケーション提供部を含む場合は、例えば診療支援サーバ１０が提供するＷｅｂサイトの中でアプリケーションの提供ボタンを表示させ、診療端末２０（２０－１、２０－２）から上記Ｗｅｂサイトにアクセスし、アプリケーションの提供ボタンをクリックすることでアプリケーションを提供するようにしてもよい。

診療端末２０（２０－１、２０－２）は、診断に必要な情報の入出力を行う端末であり、入出力部２２、記憶部２３、表示部２４、画像取得部２５、及び音声取得部２６を備える。
前述のように、対面で医師と患者が１つの診療端末２０を共有して問診を行う場合は、診療端末２０は１つだけでもよいが、オンライン診療を含め多くの場合は医師用の診療端末２０－１と患者用の診療端末２０－２の２つを含む。更には患者の家族など関係者がオンラインで参加する場合は、診療端末２０は３つ以上を含む。

画像取得部２５はオンライン診療の際、医師と患者が互いの顔などを確認するために、それぞれの診療端末２０（２０－１、２０－２）に備えられ、使用者の動画像を取得する。そのため画像取得部２５はカメラを含む。通常対面での問診では、医師は患者の顔色や患部の様子、更には話し方や動作などを直接に観察して診断に役立てるが、オンライン診療の場合は患者用の診療端末２０－２からの動画像からしか確認ができない。

そこで本発明の実施形態では、患者用の診療端末２０－２の備える画像取得部２５のカメラは、高精細のものを使用する。一方、医師用の診療端末２０－２の備える画像取得部２５のカメラは、顔が確認できればよいので高精細である必要はない。そこで実施形態では患者用の診療端末２０－２のカメラは８Ｋ対応であり、医師用の診療端末２０－２のカメラは２Ｋ対応というように、カメラの精度は両者で等価ではなく、患者側のカメラの精度の方が高い非対称な構成とする。

音声取得部２６は、話し手の声を音声データとして取得するものでありマイクを含む。医師と患者が一対一で会話する場合は、それぞれの診療端末２０（２０－１、２０－２）に入力される音声データは一人分であるが、例えばオンライン診療の際、患者の家族が同席する場合もあるので、複数の話し手が参加する診療端末２０の備えるマイクは、話し手を識別するために指向性を備えたマイクであることが好ましい。また音声取得部２６は、騒音環境でも話しての声がよく聞き取れるようにノイズキャンセル手段を備えていてもよい。

入出力部２２は、文字データなどの入力手段、診療端末２０（２０－１、２０－２）に入力される文字データや画像取得部２５の取得した動画像データ、音声取得部２６が取得した音声データなどを送信または受信するための通信手段、及び音声を出力する音声出力手段を備える。

入力手段は、文字を入力するためのキーボード又はタッチパネルを含む。この他、表示画面に表示されるデータを選択するためのマウスなどのポインティングデバイスなども含む。送受信するデータは高精細の動画像などを含みデータ量が非常に大きくなるため、通信手段は高速通信が行えるものが望ましい。一実施形態では現時点で高速通信として実用化されている５Ｇに対応した通信手段を備える。音声出力手段はスピーカを含み、相手の話声を音声データとして出力する。

記憶部２３は、診療端末２０（２０－１、２０－２）に入力される文字データなどの入力情報を一時的に保存したり、ダウンロードしたアプリケーションや診療端末２０（２０－１、２０－２）自身の基本動作を制御するための制御プログラムなどのプログラムを保存したりする。記憶部２３は、メモリ半導体や複数のメモリ半導体で構成されるメモリモジュールなどで実現化される。

表示部２４は、互いの診療端末２０（２０－１、２０－２）から送信される相手側の動画像、診療支援サーバ１０から送信されるテキスト化された会話の内容やカルテ記述生成画面などを表示する。特に医師用の診療端末２０－１では患者の顔色や患部の様子などを詳細に観察する必要があり、特に高精細で大画面のものを使用する。一方患者側の診療端末２０－２の表示部２４も医師の動画像、会話内容表示画面、カルテ記述生成画面などのマルチ画面表示を行うため、これらを同時に表示しても十分内容が確認できる程度の大きさが必要である。一実施形態では、例えば医師用の診療端末２０－１の表示部２４は８Ｋデータを表示できる７０インチの表示画面であり、患者側の診療端末２０－２の表示部２４は２Ｋデータを表示できる３０インチの表示画面で構成する。表示部２４は液晶表示装置や有機ＥＬ表示装置などで実現される。

制御部２１は、記憶部２３に保存された制御プログラムに従い、診療端末２０（２０－１、２０－２）の各構成要素が上記の機能を果たすように制御する。制御部２１は、制御用マイクロコンピュータなどを含む各種電子部品を搭載した制御基板により実現される。
ネットワーク５は、インターネットで代表される広域のネットワークである。

図２は、本発明の実施形態によるオンライン診療を含む診療システムの機能を説明するための図である。
図２を参照すると、オンライン診療を含む診療システム１は、診療支援サーバ１０のリモート会議提供手段が提供するリモート会議機能により、診療端末２０（２０－１、２０－２）で取得する医師又は患者の動画像及び音声データを、リアルタイムで交換して医師と患者が円滑な会話が行える環境を提供する。

リモート会議におけるオンライン診療の中で行われる医師と患者の会話の内容は、会話内容表示機能により、診療支援サーバ１０で音声認識手段によりテキスト化され、文字情報として診療端末２０（２０－１、２０－２）の表示部２４に表示される。診療支援サーバ１０でのテキスト化の際に、キーワード特定機能によりテキスト化した会話の内容の中にキーワードが含まれるか否かがチェックされ、キーワードが含まれる場合、会話の内容はキーワードを強調表示するように表示色、フォント、文字サイズなど表示仕様のいずれかを変更したのち診療端末２０（２０－１、２０－２）の表示部２４に表示される。

表示された会話の内容にテキスト化の誤りが見つかった場合は、医師又は患者の操作に基づき、誤認識語句誤り訂正機能により正しい文字に訂正される。また、テキスト化した会話の内容の中に専門用語が含まれるか否かがチェックされ専門用語が含まれる場合は、参考情報提示機能により専門用語が検索可能なリンク先が張られた項目情報として診療端末２０（２０－１、２０－２）の表示部２４に表示されるので、医師又は患者はこのリンク先が張られた項目情報をクリックすることで検索が行われ、その専門用語の解説を確認することができる。

医師又は患者はテキスト化した会話の内容の中にカルテの作成に必要なキーワードが含まれる場合、そのキーワードをカルテ記述生成画面にドラッグ アンド ドロップするとカルテ記述生成機能によりカルテ作成に必要なカルテ記述が生成される。生成されたカルテ記述は、カルテ作成機能によりカルテ入力画面に転記されるので、医師はカルテ作成にかかる手間が省け、患者との会話により注力して診断に必要な情報を引き出すことが可能となる。
図２に示す診療支援サーバ１０の各機能は、実施形態では、それぞれ診療支援サーバ１０の実行プログラムのモジュールとして構成され、実行プログラムに実装される。

図３は、本発明の実施形態による会話内容表示機能を示す診療端末の表示画面の例示図である。
図３を参照すると、診療端末２０（２０－１、２０－２）の表示部２４の会話内容表示画面に表示される表示内容が示されており、医師と患者が問診の中で交わした会話の内容が、発言者がわかるようにして文字化されて表示される。発言者はそれぞれ別のアイコンとして会話内容の両側に分かれて表示されるため、一目で医師の発言と患者の発言を見分けることができる。

会話の内容は逐次診療支援サーバ１０によりテキスト化され、会話内容表示画面に追加表示されていく。新しい会話の内容は画面の下側に追加されていき、会話内容表示画面が会話内容の表示で埋まると、新しい会話の内容が最下段に追加される毎に最上段の古い会話が消えていくように表示される。会話内容表示画面は上方にスクロールすることで消えてしまった古い会話の内容も再度確認する予ことができるように表示する。
医師も患者も会話内容表示画面により会話の内容を確認することができ、これにより言い足りなかったことや、聞き足りなかったことを発言したり聞き取ったりすることができるので問診の内容がより充実したものとなる。

図４は、本発明の実施形態によるキーワード特定機能を示す診療端末の表示画面の例示図である。
図４を参照すると、診療端末２０（２０－１、２０－２）の表示部２４の会話内容表示画面に表示される表示内容として図３に示したものと内容的には変わらないが、キーワードが強調されて表示されている。強調表示されている「胃」、「痛み」、「鋭い痛み」などの文言は患者の症状を表す重要な表現であり、病名などの原因を確定するために必要な情報である。会話の中に特に重要なキーワードが含まれない場合は、図３に示した例示図のように強調表示されたキーワードがない平易な表現で画面表示されるが、キーワードが含まれる場合は、図４のように画面表示される際、キーワードが目立つように表示される。

患者は自分の発言の中でキーワードが強調されて表示されるため、医師に伝えるべき情報のうちどのような内容が重要であるかを把握することができ、そのキーワードにかかわる補足の情報についてさらに発言するきっかけとなり得る。

図５は、本発明の実施形態によるカルテ記述生成機能を示す診療端末の表示画面の例示図である。
図５を参照すると、診療端末２０（２０－１、２０－２）の表示部２４に会話内容表示画面、カルテ記述生成画面、カルテ入力画面が分割して表示されている。尚、会話内容表示画面は図中では縮小して示しているが、これは操作の説明を示すために縮小して示したものであり実施形態の表示部２４ではカルテ記述生成画面、カルテ入力画面の横に見やすい大きさで表示される。

会話内容表示画面には図４の例と同様に「胃」、「痛み」、等のキーワードが強調表示されている。医師はキーワードのうちからカルテ作成に必要なキーワードを選択し、選択したキーワードをカルテ記述生成画面の中の対応する項目欄にドラッグ アンド ドロップすることにより、そのキーワードがカルテ記述生成画面に反映される。
カルテ記述生成画面は、カルテに入力する記載事項を生成するのを支援する画面であり、「症状」、「家族歴」、「旅行歴」、「薬物歴」などの大項目が用意され、更にそれぞれの大項目の中には小項目が用意されている。例えば「症状」欄では「症状 部位」、「始まり方 性質 開始時期 程度」という小項目が用意されている。

図５の例では会話内容表示画面の中の「胃」、「痛みます」のキーワードは「症状」欄の「症状 部位」の項目欄に、「６時間前」、「鋭い痛み」のキーワードは「症状」欄の「始まり方 性質 開始時期 程度」の項目欄に、ドラッグ アンド ドロップすることで必要なキーワードがカルテ記述生成画面に反映される。カルテ記述生成画面に反映されるキーワードは１つの症状に限らない。このため診療支援サーバ１０のカルテ作成部１７は、カルテ記述生成画面に反映されたキーワードの反映された順番や時間に基づいてキーワードを整理し、カルテ記述を生成する。生成されたカルテ記述はカルテ入力画面に転記される。カルテ記述生成画面に反映されるキーワードは順番に並べただけでは正しい文の記述になるとは限らない。そこでカルテ作成部１７は、ＡＩ機能を備え、キーワードを含む正しい文の記述を生成するようにしてもよい。このとき「胃」を「上腹部」と置き換えるような用語変換機能を持つようにしてもよい。

図６は、本発明の実施形態による参考情報提示機能を示す診療端末の表示画面の例示図である。
図６を参照すると、診療端末２０（２０－１、２０－２）の表示部２４の会話内容表示画面に表示される表示内容の一部が示され、医師の「胃潰瘍の原因はストレスというよりピロリ菌であるケースが多いです」という発言に対し、発言に含まれる専門用語などの参照用語「胃潰瘍」、「ピロリ菌」に反応して、医師の発言の下に「胃潰瘍」、「ピロリ菌」という項目情報が表示されている。「胃潰瘍」、「ピロリ菌」という項目情報にはそれぞれの解説記述が検索可能なリンクが張られている。

例えば「胃潰瘍」については解説記述が内部コンテンツとして保存されている場合、医師又は患者が「胃潰瘍」という項目情報をクリックすると、保存されている「胃潰瘍」の解説記述が表示部２４に表示される。また、例えば「ピロリ菌」が内部コンテンツとして保存されていない場合は、外部コンテンツとして検索可能なリンクが張られており、医師又は患者が「ピロリ菌」という項目情報をクリックすると、リンク先の「ピロリ菌」に関する解説記述が表示部２４に表示される。
これにより、患者は医師の説明だけではよく理解できない場合でも、解説記述を参照して正しい知識を習得することができる。また医師の側でも適宜解説記述を参照して患者に分かり易く解説することができる。

図７は、本発明の実施形態による誤認識語句誤り訂正機能を示す診療端末の表示画面の例示図である。
図７を参照すると、診療端末２０（２０－１、２０－２）の表示部２４の会話内容表示画面に表示される表示内容の一部が示され、医師の「痛みの始まり方はどんな感じでしたか」との質問に対し、患者が「だんだん痛くなりました」と回答したところ、音声認識で誤認識されて「旦那痛くなりました」と表示された例が示される。本来「だんだん痛くなる」という表現は症状を表すキーワードとなる文言であるが、「だんだん」が「旦那」と誤認識されるとキーワードとして認識されない。そこで医師又は患者が誤認識を見つけるとマウスにより誤認識された文言を選択した状態で、「だんだん」と再度発音すると、誤認識語句誤り訂正機能により「旦那」が「だんだん」に修正される。その結果「だんだん痛くなりました」の部分がキーワードとして強調表示される。尚、誤認識語句誤り訂正機能が訂正するのはキーワードには限らず、会話の内容として発言と異なる誤認識語句が含まれる場合は、同様に選択して修正がなされる。このように後から修正ができるため、最終的に正しい問診の経過情報データとして保存することができる。

図８は、本発明の実施形態によるオンライン診療を含む診療システムの診療支援サーバが行うメインの作業フローを説明するためのフローチャートである。
図８を参照すると、段落Ｓ８００にて問診のスタートに伴い診療支援サーバ１０は、診療端末２０（２０－１、２０－２）より会話データを受信する。会話データは医師又は患者の発言を診療端末２０（２０－１、２０－２）の音声取得部２６が取得した音声データである。

受信した会話データは、段落Ｓ８０５にて音声認識手段によりテキスト化を行う。このとき会話データの話し手が医師なのか患者なのかを、会話データの送信元の診療端末２０により識別する。対面による問診などのように医師又は患者の発言が医師用の診療端末２０－１、患者用の診療端末２０－２の両方に入力されてしまう場合は、声の大きさの違いやトーンの高さなどの違いにより、どちらの話し手の発言かを識別する。

次いでテキスト化した会話の内容の中にキーワードが含まれるか否かを調べキーワードが含まれる場合はキーワードを抽出し強調表示するように表示用のデータを修正する（段階Ｓ８１０）。このとき識別した話し手を示すアイコンをテキスト化した会話の内容の付加データとして追加する。また、図には示さないが、診療支援サーバ１０は、専門用語などの参照用語が含まれる場合、検索可能なリンクが張られている項目情報を、テキスト化した会話の内容の付加データとして追加する。

これにより表示用データとして完成した会話の内容のデータは段階Ｓ８１５にて診療端末２０（２０－１、２０－２）に送信して表示させる。患者の家族などの関係者の診療端末２０（２０－３）が接続されて問診に参加している場合は診療端末２０（２０－３）にも同じデータを送信する。これにより問診に参加している参加者全員が同じ内容の画面を共有することができる。

診療端末２０（２０－１、２０－２）に表示される会話の内容に音声認識時の誤認識による誤認識語句が含まれる場合や、カルテに反映すべきキーワードが含まれる場合は、その誤認識語句やキーワードは医師か患者により選択がなされ、誤りの修正の場合はそれに続けて正しい語句の発言がなされ、カルテに反映する場合は選択されたキーワードがそのままドラッグされてカルテ記述生成画面にドロップされる。

そこで診療支援サーバ１０は、誤認識語句やキーワードが選択された情報を受信するかを確認し（段階Ｓ８２０）、引き続き選択された文字がドラッグされるかを確認し（段階Ｓ８２５）、ドラッグがなされない場合は選択された語句に対応した発声がなされるか否かを確認する（段階Ｓ８４０）。
段階Ｓ８４０で選択された語句に対する正しい発音が入力された場合は、段階Ｓ８４５で誤認識語句誤り訂正処理を行い、段階Ｓ８２５でドラッグがなされた場合はドロップされた地点のカルテ記述生成画面の項目を確認し、カルテ記述を生成するともにカルテ入力画面への転送を実行する。カルテ記述生成画面、カルテ入力画面のデータは診療端末２０（２０－１、２０－２）に送信されて表示される。
誤認識語句やキーワードに対する誤認識語句誤り訂正処理やカルテ記述生成画面への反映は入力直後の語句に限らず、例えば表示画面をスクロールして遡り、以前の会話に関しても同様に誤認識語句やキーワードを選択して、誤認識語句誤り訂正処理やカルテ記述生成画面への反映が行われることに変わりはない。

こうして問診が終了するまで、会話の内容のテキスト化、キーワードの強調表示、及び要求に応じてキーワードのカルテへの反映を続け、問診の終了時に会話の内容を問診の経過情報データとして保存し、カルテもキーワードに基づいた入力が完了した状態で記憶部１３に保存される。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更することが可能である。

１ オンライン診療を含む診療システム
５ ネットワーク
１０ 診療支援サーバ
１１、２１ 制御部
１２、２２ 入出力部
１３、２３ 記憶部
１４、２４ 表示部
１５ 患者情報登録部
１６ 会話内容表示部
１７ カルテ作成部
１８ 参考情報提示部
２０、２０－１、２０－２ 診療端末
２５ 画像取得部
２６ 音声取得部

Claims (4)

1. 医師と患者の対話に基づく診断およびカルテ作成を支援する診療支援サーバと、前記診療支援サーバとネットワークを介して接続され、診断に必要な情報の入出力を行う診療端末とを有し、医師と患者が対面又は物理的に離れた場所に存在しながら、音声や映像による通信手段によるリモート会議機能により医師と患者が会話を行い、患者の様子を観察することにより、医師が医療診断をおこなうオンライン診療を含む診療システムにおいて、
   前記診療支援サーバは、
   医師と患者の会話の内容を前記診療端末より受信し、音声認識技術によりテキスト化し前記診療端末に画面表示させる会話内容表示部と、
   医師と患者が前記診療端末の画面を共有しながら行う操作に対応してカルテ作成を行うカルテ作成部とを有することを特徴とするオンライン診療を含む診療システム。
2. 前記会話内容表示部は、会話内容表示画面に表示させる会話内容のテキスト中に存在するカルテ作成に関するキーワードを情報抽出技術により特定し、強調表示させるキーワード特定機能を備え、
   前記カルテ作成部は、医師によりカルテ作成に必要なキーワードが選択され、キーワードにより生成したいカルテ記述の種類が指定されることに対応してカルテ記述を生成するカルテ記述生成機能を備えることを特徴とする請求項１に記載のオンライン診療を含む診療システム。
3. 前記診療支援サーバは、
   会話内容表示画面に表示させる会話内容のテキストの内容に応じて、システム内部に蓄積されたコンテンツやインターネット上の外部コンテンツから関連する情報を検索し、医師や患者に提示する参考情報提示部をさらに備えることを特徴とする請求項１に記載のオンライン診療を含む診療システム。
4. 前記会話内容表示部は、音声認識技術の誤りにより会話内容表示画面に誤認識語句が含まれる場合、前記誤認識語句が選択された状態で、正しい語句の発声の入力を受け、発声された正しい語句を音声認識して、音声認識結果の正しい語句を誤認識語句と置き換え、間違った会話内容の表示を訂正する誤認識語句誤り訂正機能を備えることを特徴とする請求項２に記載のオンライン診療を含む診療システム。
   
   
   

Images