以下、添付の図面を参照して、本発明の好適な実施形態について、詳細に説明する。
実施形態では、各種の医用レポートの作成を支援するための医用レポート作成システムを説明する。本実施形態の医用レポート作成システムは、互いに通信が可能なサーバとクライアントを有するサーバ・クライアントシステムである。なお、以下では、医用レポートの一例として読影レポートの作成を支援する医用レポート作成システムを説明する。まず、図1を参照して、実施形態のサーバ・クライアントシステムを構成する情報処理装置の内部構成について説明する。図1は、図2に示されるようなサーバ・クライアントシステムにおいて、サーバやPCクライアントとして動作する情報処理装置100の概略構成例を示す図である。
CPU101は、ROM102やRAM103に記憶されているプログラムを実行することにより、本実施形態における各種制御を実現する。また、CPU101自身の機能またはプログラムの機能により、複数のプログラムを並列に動作させることもできる。ROM102は、CPU101による制御の手順を記憶させたプログラムやデータを格納する。RAM103は、CPU101が処理するためのプログラムを格納するとともに、CPU101が各種制御を実行する際の作業領域を提供する。
入力装置104は、ユーザの入力操作環境を提供する。入力装置104の具体例としては、キーボードやマウス等が挙げられるが、ユーザの入力操作環境を提供するものであれば、タッチパネル、スタイラスペン等、何でもよい。また、音声認識やジェスチャー操作による入力を受け付けるようにしてもよい。バス105は、情報処理装置100内の上述した或いは以下に述べる構成を接続するアドレスバス、データバスを含み、各構成間の情報交換や通信機能を提供する。これにより、各構成が連携して動作できる。
外部記憶装置106は、さまざまなプログラムやデータ等を記憶する。外部記憶装置106は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、記憶媒体を駆動し情報を記録するドライブなどで構成される。外部記憶装置106に格納されているプログラムやデータは、キーボード等の指示や、各種プログラムの指示により、必要な時にRAM103上に、その全体もしくは部分が呼び出される。
ネットワーク通信部(NCU107)は、図2のネットワーク210(LAN)等を介して、外部装置(不図示)と通信する。これにより、本実施形態のプログラムやデータを共有することが可能になる。なお、NCU107の通信形態としては、RS232C、USB、IEEE1394、P1284、SCSI、モデム、Ethernetなどの有線通信や、Bluetooth(登録商標)、赤外線通信、IEEE802.11a/b/n等の無線通信など、何でもよい。
グラフィック処理部(GPU108)は、CPU101などからバス105を経由して与えられた表示指示や計算指示に従って表示内容の画像を生成するとともに表示位置などを計算し、その生成結果や計算結果を表示装置109へ送って描画を実行させる。また、GPU108は、バス105を経由して、計算結果をCPU101に戻すことで、CPU101と連携した計算処理を行う場合もある。表示装置109は、液晶ディスプレイなどで構成され、CPU101およびGPU108の制御下で各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。
ROM102やRAM103などの記憶媒体には、本実施形態のデータ管理を実現するプログラムやデータなどが格納されている。CPU101は、これらの記録媒体に格納されたプログラムを読み出し実行することによって各種の機能を実現する。また、本実施形態に係わるプログラムやデータを格納した外部記録媒体(不図示)を情報処理装置100に供給することにより、外部記録媒体からRAM103などにそれらプログラムやデータをコピーして用いるようにしてもよい。そのような外部記憶媒体としては、フロッピーディスク、CD−ROM、ハードディスク、メモリカード、光磁気ディスクなど、あらゆる記録媒体を用いることができる。
また、本実施形態で使用するプログラムやデータは、NCU107を介して入手されてもよい。同様に、本実施形態の中で作成されるデータについても、ROM102やRAM103、外部記憶装置106だけでなく、NCU107を介して、他の機器上に格納されるようにしても構わない。
以上述べてきた情報処理装置100の内部構成は、あくまでも、一例であり、本実施形態はこれに限定されるものでない。また、内部構成やその一部分は、いわゆるハードウェアである制限はなく、仮想的にソフトウェアで作り出されたものでも構わない。また、以上述べてきた内部構成を単体で利用する場合だけでなく、図1の内部構成を複数利用して、NCU107を利用した情報交換や共有等を行い連携させることで、サーバ・クライアントシステムを実現しても構わない。すなわち、この複数利用の場合、各内部構成が異なる場所にあって、LANやインターネットなどを介して連携動作するように構成されてもよいし、仮想的にソフトウェアで作り出された内部構成が含まれていてもよい。さらに、図1の単一の内部構成上に、複数のサーバ・PCクライアント等の各システムの全部もしくは一部を動作させるような、内部構成を共有するような利用方法であっても構わない。
図2は、実施形態によるサーバ・クライアントシステム全体の概略の構成例を示した図である。実施形態では、図2に示されるようなシステムにより、医療現場で行われる、CT、MRI等の医療画像を用いた画像診断を行い、その結果を読影レポートとして作成するための支援機能を提供する。なお、以下では、説明を簡単にするために、読影レポートの作成について説明するがこれに限られるものではない。たとえば、電子カルテの文章の中に読影レポートの内容を記載して一緒に管理するような場合でも、記載対象や管理システムが異なるだけで、以下に説明するシステムと同様の構成で実現できることは明らかである。
依頼医201は、内科や外科などの臨床医である。読影医202は、CT、MRI等の医療画像の読影作業を行う放射線科の医師である。医療技師203は、CT、MRI等の撮影装置217を使用して、患者204の撮影を行う。依頼医201、読影医202、医療技師203は、それぞれ作業用のPCクライアント211、213、215を使用し、様々なサーバ上のサービス(サーバ・サービス)を利用して各自の作業を行う。
実施形態では、PCクライアント211、213、215は、上述した情報処理装置100であり、たとえば、パーソナルコンピュータにより実現される。但し、これに限られるものではなく、PCクライアント211,213,215は、タブレット端末、スマートフォンや携帯電話等の形態でも構わないし、サーバ上で仮想的に作成されたパーソナルコンピュータなどで実現されてもよい。また、PCクライアント211、213、215は、それぞれ別々の装置で実現されてもよいし、同一の装置で実現されてもよい。いずれでの形態であれ、PCクライアント上で、ユーザが使用したいサーバ・サービスと連携動作するクライアントアプリケーションを動作させることで、ユーザに所望のサービスの機能が提供される。
PCクライアント211、213、215は、NCU107を介して、ネットワーク210に接続され、様々なサービスを提供するサーバと通信を行う。PCクライアント211、213、215は、サーバ・サービスを利用する際、サービスに応じたクライアントアプリケーションを動作させる。図2では、PCクライアント211、213、215が、それぞれ、クライアントアプリケーション212、214、216を動作させている。クライアントアプリケーション212、214、216は、たとえば外部記憶装置106やROM102にあらかじめインストールされていてもよいし、NCU107とネットワーク210を介して各サーバやサーバ・サービスからダウンロードされてもよい。
クライアントアプリケーション212、214、216は、各PCクライアントのCPU101により実行され、NCU107とネットワーク210を介して各サーバ・サービスと通信を行い、各サーバと連携してサービスをユーザに提供する。また、クライアントアプリケーション212,214,216は、入力装置104を使用して得たユーザの操作指示や操作意図を、NCU107を介した通信により、サーバ・サービスに伝達する。また、クライアントアプリケーション212,214,216は、サーバ・サービスと通信して、サーバ・サービスの提供する結果や情報を、表示装置109を利用してユーザに提供する。なお、ここでいうユーザとは、依頼医201、読影医202、医療技師203である。
医療画像を撮影する撮影装置217は、ネットワーク210に接続される。撮影装置217における各種の撮影設定や得られた医療画像の提供は、ネットワーク210を介して、各種サーバ・サービスやPCクライアント211、213、215から制御、管理される。
検査オーダサーバ221は、検査を行う際に利用される。検査オーダサーバ221は、検査オーダ管理サービス222を用いて、依頼医201からの検査オーダ情報の登録、蓄積、参照、共有、指示、および管理を行う機能を提供する。より具体的には、検査オーダ管理サービス222は、依頼医201からの検査指示とその内容を受けて検査オーダ223として登録、管理し、医療技師203や読影医202への検査オーダ223の通知や提供を行う。さらに、検査オーダ管理サービス222は、検査が完了すると検査結果を取り込んで格納するか、検査結果を提供するサーバやサービス上の検査結果と紐づける情報を格納し、その検査結果を依頼医201が利用できるようにする。
さらに、検査オーダ管理サービス222が、検査画像の撮影装置217を含む検査機器の利用スケジュール、検査技師の担当者・スケジュールの割り当て・管理などを行う機能を有するようにしてもよい。その場合、検査オーダ管理サービス222は、依頼医201の検査指示・内容の入力に対し、実施可能な検査機器や検査技師の空スケジュールを提示する機能や、使用する検査機器や検査技師の担当者の割り当て等を行う機能も有することになる。
電子カルテサーバ224は、電子カルテ管理サービス225を用いて、電子カルテ情報(以下、電子カルテ226)の蓄積、記載、参照、共有、および管理を行う機能を提供する。電子カルテ管理サービス225は、依頼医201や関連する医療スタッフが記載する患者毎の電子カルテ226を蓄積・管理するとともに、そのような電子カルテ226を医師や医療スタッフ間で共有できるようにする。
医療画像サーバ227は、医療画像管理サービス228を利用して、医療画像229の蓄積、記載、参照、共有、および管理を行う機能を提供する。医療画像管理サービス228は、医療技師203が撮影、もしくは、外部から入手した医療画像229を蓄積し、依頼医201や読影医202等の関連する医療スタッフが参照や共有を行うための環境を提供する。
読影レポートサーバ230は、読影レポート管理サービス233を利用して、読影医202が作成する読影レポート234の作成、登録、蓄積、管理、参照、および共有を行う機能を提供する。また、読影レポート作業管理サービス232は、読影医202に対して、読影レポート作成作業の割り当て、作業状態の保持と管理、作業進展情報と修正履歴情報の管理など、読影レポート作成に関する業務支援を行う。例えば、読影医202は、撮影装置217で撮影され、ネットワーク210を介して医療画像サーバ227に格納された医療画像229を読影し、その結果を依頼医201が参照可能な読影レポートに記載する。読影レポート作業管理サービス232は、このような読影レポートに関するワークフローの連携動作を提供する。
読影レポート構造化サービス231は、読影医202に対して読影レポートの作成機能を提供する。この際に、読影レポート構造化サービス231は、読影レポートの記載内容を構造化して提供し、これに対して読影医202が編集および入力を行えるようにする。これにより、読影レポート構造化サービス231は、読影医202による読影レポートの作成、入力、および編集を支援する機能を実現する。
本実施形態では、検査オーダサーバ221、電子カルテサーバ224、医療画像サーバ227、および読影レポートサーバ230等の各サーバは、サーバ型の計算機(情報処理装置)となっている。そして、各サーバ型の計算機上でサーバ・サービス(222、225、228、231、232、233)が動作する。サーバ・サービスは複数の計算機の連携によって実現されてもよいし、サービス内の各機能を実現するように複数のサーバ構成を設けてもよいし、そのような構成がネットワークやインターネットなどを介し、空間的に異なる計算機で実現されてもよい。いずれの形態であれ、サーバ上でユーザが使用したいサーバ・サービスを動作させ、PCクライアント上で動作するクライアントアプリケーションがサーバ・サービスと通信して連携し、ユーザに所望のサービスの機能を提供するものであればよい。
すなわちこれらのサーバは、1つもしくは複数の図1の内部構成を持つものとなる。そして、NCU107を介して、ネットワーク210に接続されることで、サービスに対応するPCクライアント(211、213、215等)上のクライアントアプリケーション(212、214、216等)と通信を行う。サーバ・サービスに対応するクライアントアプリケーションは、外部記憶装置106やROM102にあらかじめインストールされてもよいし、NCU107とネットワーク210を介して各サーバやサーバ・サービスからダウンロードされてもよい。そして、PCクライアントのCPU101は、そのようなクライアントアプリケーションをRAM103上に配置して動作させる。こうすることにより、各サーバ・サービスは、NCU107とネットワーク210を介して各PCクライアントやクライアントアプリケーションと通信を行い、機能をユーザに提供する。また、これによりPCクライアントやクライアントアプリ―ションから、ユーザの操作指示や操作意図が伝達され、サーバ・サービスの本質である提供機能を動作させ、処理結果や情報がPCクライアントやクライアントアプリ―ションに伝達される。
以上のような構成を備えた実施形態の読影レポート作成システムは、以下のようなワークフローで読影レポートに関する連携動作を行う。
まず、依頼医201は、患者204の診断を行う際に、CTやMRI等の医療画像に加えてその読影結果である読影レポートを参照したい場合、その検査オーダをPCクライアント211から発生させる。依頼医201は、PCクライアント213上で、検査オーダ管理サービス222に対応するクライアントアプリケーション214を利用して、対象の患者、撮影内容、方法等を入力してオーダ情報を生成する。オーダ情報は、ネットワーク210を介して検査オーダ管理サービス222に伝達される。検査オーダ管理サービス222は、伝達されたオーダ情報を検査オーダ223として蓄積し、管理する。検査オーダ223は、適時、検査オーダ管理サービス222から撮影を担当する医療技師203のPCクライアント215へ、撮影指示の情報として伝達される。なお、この撮影指示の情報の伝達は、医療技師203がPCクライアント215上で検査オーダ管理サービス222に対応するクライアントアプリケーション216を利用することで行われる。
次に、医療技師203は、検査オーダ223の内容に基づき、指示された患者204に対して、指定された検査画像を得るための撮影装置217を用いて、指定された撮影方法で撮影を行う。クライアントアプリケーション216は、この撮影結果である検査画像を、ネットワーク210を介して、医療画像管理サービス228へ伝達する。医療画像管理サービス228は、伝達された検査画像を医療画像229として登録・蓄積し、管理する。また、検査オーダ管理サービス222に対し、検査オーダ223に関して撮影が完了したこと、医療画像229として登録された際の管理情報が通知される。検査オーダ管理サービス222は、この通知により、該当する検査オーダの内容を更新する。検査オーダ223が、撮影した医療画像の読影レポートを要求しているため、検査オーダ管理サービス222は、読影を担当する読影医202に、読影指示の情報を伝達する。この伝達は、読影医202がPCクライアント213上で、検査オーダ管理サービス222に対応するクライアントアプリケーションを利用することで行われる。
読影医202は、検査オーダ223によって指示されている医療画像に対して読影作業を行う。読影医202は、保有している医療画像229から、検査オーダ223を利用して読影の対象となる医療画像を識別し、参照することができる。また、検査オーダ223の患者情報に基づいて、保有している電子カルテ226から患者204の電子カルテを識別し、参照することができる。また、検査オーダ管理サービス222と読影レポート管理サービス233は、検査オーダ223に対応する読影結果を記録する読影レポート234を登録、保持することができる。
読影医202は、検査オーダ223で示される医療画像、電子カルテ等の情報を基に、読影(画像診断)を行い、その結果を記載して、患者の読影レポート234を作成する。上述のように、作成された読影レポート234は、読影レポート管理サービス233により登録、管理される。また、読影レポート234が登録されると、検査オーダ管理サービス222は、検査オーダ223を更新する。これにより、他のクライアントアプリケーション(たとえば、依頼医201のクライアントアプリケーション212)から該当する読影レポートを参照できるようになる。これらは、読影医202がPCクライアント213上で、検査オーダ管理サービス222、医療画像管理サービス228、電子カルテ管理サービス225に対応するクライアントアプリケーションを利用することで行われる。なお、読影レポートの作成の際には、読影レポート構造化サービス231が利用される。
以上により、依頼医201が要求した読影レポートが利用できるようになると、検査オーダ管理サービス222は、この旨を依頼医201へ通知する。この通知は、依頼医201がPCクライアント211上で、検査オーダ管理サービス222に対応するクライアントアプリケーションを利用することで行われる。以上の手順で、読影レポートに関するワークフローの連携動作が行われ、依頼医201は、患者の、必要な医療画像、それに対する読影レポートを得ることができ、電子カルテの情報や他の検査などの情報も併せて総合的な診断を行うことができる。
図3は、本実施形態で使用する読影レポートの作成を行うとともに、その作成の支援を行う読影レポートサーバ230とこれに対応するクライアントアプリケーション214の機能構成例を詳細に示した図である。なお、図3において、図2と同様の構成には同一の参照番号を付してある。
電子カルテ生成部344は、電子カルテ管理サービス225が保持し、管理している電子カルテ226の閲覧、加筆編集を行うための機能をユーザである読影医202に提供する。医療画像ビューア342は、医療画像管理サービス228が保持し、管理している医療画像229の閲覧機能等を読影医202に提供する。さらに、検査オーダ指示/結果表示345は、検査オーダ管理サービス222に保持され、管理されている検査オーダ223の表示、追加、削除等を行う機能を読影医202に提供する。
以下で言う読影レポートとは、所見や診断等の項目を個別に扱い、それら項目の関係性を記録する構造化された読影レポートを指すものとする。読影レポート生成部341は、構造化表示/入力346と、詳細項目表示/入力347の機能を有し、テキストで記載されたレポートを入力および編集する機能を提供する。構造化表示/入力346は、読影レポートを所見や診断等の属性が異なる複数の項目に分けて表示したり入力したりすることができるようにするととともに、それらの項目間の関係の入力および表示を行えるようにする。また、詳細項目表示/入力347は、項目内の詳細項目やその詳細項目の記載内容の入力および表示を行うとともに、入力用テンプレートデータ内の項目や入力候補を示し、入力候補の選択による入力を行えるようにする。詳細項目とは、構造化された読影レポートにおいて、所見や診断などの属性で分類された項目内の記述をさらに細かく分類する項目単位であり、詳細は図6などの説明によりより明らかとなる。読影レポート生成部341は、これらの機能を提供するために読影レポート構造化サービス231と連携する。構造化表示/入力346や詳細項目表示/入力347を用いた場合の画面表示や操作等の詳細については、以後の画面例や処理の説明の中で説明する。
読影レポート管理サービス233は、作成済みや作成中の読影レポート234登録、蓄積、管理、参照、および共有を行う機能を提供する。読影レポート234は、ユーザである読影医202により、読影レポート生成部341を利用して入力、作成され、読影レポート管理サービス233により蓄積、管理される。この際に、読影レポート構造化サービス231は、構造化された読影レポートの作成、編集、および修正等を支援する機能を実現するために利用される。
読影レポート作業管理サービス232は、読影レポート作成作業の割り当て、作業通知、作業進展の管理、レポートの修正履歴の管理等、読影レポート作成にまつわる業務支援と管理を行う。読影レポート作業管理サービス232は、複数の読影医202が存在する場合や、多数の読影レポートの作成を行う必要がある場合に、読影レポートを単位とした作業分担や、緊急性の求められる読影レポートの作成作業の優先的な割り当てを行う機能を提供する。このような読影レポート毎の作成作業状態に関する情報が記録、蓄積されたものが、読影作業情報351である。また、読影レポート作業管理サービス232は、読影レポートの作成作業を再開する際に作業環境および状態、修正履歴を読影レポート生成部341上に復元する。そのために、読影レポート作業管理サービス232は、読影作業状態や修正履歴の情報を読影レポート状態/履歴情報352として蓄積する。これらの情報を用いて、読影レポート作業管理サービス232は、読影レポート作成作業の支援と修正履歴の管理を行う。
読影レポート構造化サービス231は、構造化された読影レポートの作成、編集、修正等を支援する。本実施形態の読影レポート構造化サービス231は、フォーマット変換/管理361、医療文書構造化362、医療用語/付帯表現抽出370、自然言語処理374の機能を有する。以下、これらの機能について説明する。
フォーマット変換/管理361は、構造化された読影レポート等の医療文書における構造化した内容を保持できるように、医療文書の記録フォーマットに対応して、蓄積、通信を行えるようにする。ここでいう、医療文書の記録フォーマットは、電子カルテや読影レポート等の独自もしくは公開された規格で定められたものであり、その組合せや混成であっても良い。ここで、医療文書の記録フォーマットに変換された文書は、読影レポート234として蓄積および管理される。また、フォーマット変換/管理361は、読影レポート生成部341からのユーザ指示に応じて、クライアントアプリケーション214や医療関連のサービスなどと文書の授受を行い、情報提供や情報入手を行う。
医療文書構造化362は、構造化された読影レポートの作成、編集および修正などの機能を提供する。医療文書構造化362は、構造入力/編集363、項目情報抽出364、入力用テンプレート検索365および入力候補検索/追加366の機能を有するとともに、入力用テンプレートデータ367を保持している。
構造入力/編集363は、構造化された読影レポートの入力および編集機能を実現するものであり、読影レポート生成部341の構造表示/入力346を介して、読影医202に対して、それらの機能を提供する。これにより、読影医202は、構造化された読影レポートの入力と編集を行うことができる。
項目情報抽出364は、読影レポートの内容の一部として、テキスト記載の所見や診断等が入力された際に、そのテキスト記載内容から重要情報の記載部分を抽出し、構造化することで、読影レポートの作成を支援する機能を提供する。重要情報の記載部分は、重要な詳細情報の項目(詳細項目)とその内容からなり、項目情報抽出364は、読影レポート構造化のうち、詳細項目とその内容の構造化を行う機能を提供する。なお、項目情報抽出364は、記載内容に対して、医療用語/付帯表現抽出370や自然言語処理374による解析結果を基に項目情報を抽出することで、上記の機能を提供する。この詳細については後述する。
入力用テンプレートデータ367は、主に病変や身体内で生じる正常・異常な現象の名前や病名等の単位に作製された複数の入力用テンプレートで構成される。入力用テンプレートは、構造化された読影レポート作成時の入力支援を行うために用いられる。入力用テンプレートは、1つ以上の所見や診断等の項目を保有しており、それ以外に、その項目の典型的な記載内容(典型記載内容)や、記載すべき詳細項目、その詳細項目の内容や値の候補(入力候補)、所見や診断等の項目間の関係も保有している。また、典型記載内容は、入力内容のひな形として利用可能で、ユーザはこれをそのまま、あるいは、一部修正を行って利用することで、入力操作を減らすことができる。また、入力用テンプレートに記述された詳細項目は、読影レポート記載時の記載漏れを抑止することができるとともに、その詳細項目の入力候補を利用した選択入力を可能にする。これにより、読影レポート作成時のユーザの負荷をさらに減らすことができる。また、入力用テンプレートに記述されている所見や診断等の項目間の関係は、ユーザが所見記載の内容や特定の詳細項目から診断内容が導かれる理由や根拠を明確にするために構造化を利用して関係を記載する際の負荷を減らす。入力用テンプレートデータ367から取得された入力用テンプレートは、読影レポート生成部341の詳細項目表示/入力347により表示され、用いられる。
入力用テンプレート検索365は、構造化した読影レポートの記載内容に基づいて、入力用テンプレートデータ367から適切な入力用テンプレートを検索する。項目情報抽出364は、読影レポートの記載内容から詳細項目を抽出した際に、その中に病変や身体内で生じる現象の名前や病名等があれば、それを詳細項目の情報として抽出する。入力用テンプレート検索365は、抽出された詳細項目の情報を検索キーワードとして入力用テンプレートデータ367に対して検索を行い、適切な入力用テンプレートを探し出す。この検索は、記載内容に応じて自動的に行われる。そのため、読影レポートの記載内容が増えるにつれて詳細な病変等の情報が増えると、適切な入力用テンプレートが変化する場合がある。また、複数の異なる病変や状態、病気等が同時に生じる場合があるため、1つの読影レポート内で、複数の入力用テンプレートが適用される場合もある。所見や診断等の項目ごとに1つのテンプレートが検索・適用される場合が多いが、複数の入力用テンプレートが合成されて適用される場合もある。入力用テンプレートを適用する場合、すでに医師によって入力、記載されている所見や診断等の項目や詳細項目やその内容および値が、適用された入力用テンプレートへ入力、記載されたものとして扱われる。適用された入力用テンプレートにはない項目や詳細項目やその内容および値がある場合には、その記載を追加する形で処理される。
入力候補検索/追加366は、適用されている入力用テンプレートの未入力の項目や詳細項目に対して、その入力候補(内容および/または値)の追加を行う。通常は、入力候補は、入力用テンプレートがあらかじめ保有する情報や、入力用テンプレートの内容に応じて準備された入力用テンプレート外の体系化された知識に基づく情報を参照して、利用することが多い。特に近年、過去に作成された読影レポートや、そこから得られた知見等のデータ利用により、使用頻度の高い詳細項目とその内容/値を得ておき、入力用テンプレートで利用するものも多い。入力候補検索/追加366は、構造化を利用してすでに読影レポートに記載された所見や診断等の項目の内容から、詳細項目の入力候補を追加する。すなわち、記載対象となっている項目に対して、構造化によって関係付けられている項目の記載内容の中から、詳細項目の入力候補になるものを検索し、入力用テンプレートへ追加する。入力用テンプレートが保有する入力内容および外部参照する入力内容の詳細項目やその内容/値だけでなく、すでに記載、入力された内容からも、詳細項目の内容/値の候補が追加され、医師による選択操作で容易に入力できるようになる。また、追加される入力候補は、入力対象の項目や入力内容の情報が再利用されることを想定して、再利用しやすいものが、追加されるようにする。
医療用語/付帯表現抽出370は、自然言語処理374の処理結果に基づいて、その処理結果内に出現した医療用語、その付帯表現となる単語、および言い回し等の言語表現を、医療文章から抽出する機能を提供する。この医療用語/付帯表現抽出370が抽出した医療用語やその付帯表現を基に、構造入力/編集363は、その医療文章に含まれる用語や単語等を情報分類し、構造化する処理を行う。
医療用語/付帯表現抽出370は、画像上の異常部分の名称や病変名や病名等の医療用語の表記文字列や表現パタン等の情報を保有する医療用語辞書371を使用して、医療文章から医療用語を抽出する。また、医療用語辞書371は、医療画像上の異常部分の名称や病変名や病名等についての内容や状態を示す付帯表現の用語(程度、大きさ、形状などを示す用語)の表記文字列や表現パタン等の情報を保有する。医療用語/付帯表現抽出370は、医療用語辞書371を用いて、医療文章からそのような付帯表現を抽出する。また、医療用語/付帯表現抽出370は、医療用語が文章において出現する場合に、どのような単語や表現と共起するかという情報である共起パタン統計情報372を保有している。医療用語/付帯表現抽出370は、共起パタン統計情報372を用いて、未知の医療用語や付帯表現が出現した場合に、用語を推定する。さらに、医療用語/付帯表現抽出370は、知覚表現の情報を保有する知覚表現辞書373を用いて、知覚表現を医療文章から抽出する。知覚表現とは、存在やその確認を示す「〜がある」や「〜が見える」、思考・判断等を示す「〜を認める」や「〜と思う」、要求や依頼を示す「〜してください」や「〜を願います」、否定を示す表現等である。
自然言語処理374は、医療文章に対して、そのテキスト・文章の解析を行う。これは、いわゆる形態素解析/構文解析375により実現される。形態素解析では、単語の辞書である一般辞書377を用いて、文章内の文字列を単語に分け、品詞に分類するとともに、活用や屈折等を取り除き、原型や基本形といった単語本来の表記を得る。また、その活用や屈折等の形態の変化パタンの分類情報も得る。これにより、文章が解析され、単語列の形態となる。構文解析は、形態素解析の結果である単語列に対して、文法等の情報を利用して、その構文や係り受け等の関係・構造を解析して求める。この解析の際に、構文規則376が有する構文の関係や構造等の文法の情報が利用される。構文解析により、単語列は、構文に基づく単語の木構造(構文木)や、係り受けのネットワーク構造(係り受け関係)等の形態となる。医療用語/付帯表現抽出370は、この自然言語処理374の解析結果を基に、上述した用語抽出やその付帯表現の抽出を行う。
以上のような構成により、読影医202が構造化した読影レポートを作成する際の入力および編集等の作成作業が実現される。ユーザである読影医202は、電子カルテ生成部344を利用して、電子カルテ管理サービス225より患者の電子カルテ情報の閲覧および情報取得を行える。そして、読影医202は、医療画像ビューア342を利用して、撮影された医療画像を医療画像管理サービス228より取得、閲覧し、画像診断を行う。読影医202は、画像診断の結果を読影レポートとして記載する際に、読影レポート生成部341を利用して構造化した所見および診断等の記載および編集を行い、その結果を読影レポート管理サービス233に記録する。また、読影医202は、必要に応じて、読影レポート生成部341と読影レポート管理サービス233を利用して、患者の過去の読影レポートの参照および比較をおこなう。この際に、読影医202は、医療画像ビューア342と医療画像管理サービス228を利用して、過去の(特に読影レポートが書かれた際の)医療画像を参照することができる。過去の読影レポート内の所見に対して、その経過観察等の所見を作成中の読影レポートに記載する場合には、その関係性も読影レポートの構造化情報として記録される。
また、読影作業時の記録として、読影レポート生成部341での構造化された所見および診断などの記載と、編集時の作業内容が読影レポート作業管理サービス232へ記録される。これにより、作業の中断後の再開の際に、読影レポート生成部341は作業中の読影レポートに応じた作業状況を再現できるようになる。
読影レポート作成に際して、読影医202は、読影レポート生成部341を介して読影レポート構造化サービス231を利用することにより、所見および診断等の構造化された情報を記載できる。また、前述したように、参照している過去の読影レポートの所見等の記載内容と、現在作成している読影レポートの所見とを関係づけて構造化することもできる。
また、読影レポート生成部341は、読影医202による読影レポートの作成時に、所見と診断をそれぞれの項目に分けて記載させ、その関係性も入力させ、個々の所見と診断の関係性をわかりやすく表示する。また、所見と診断の各項目の記載内容は、他の読影レポートとも関係付けることができ、それにより、記載修正が生じた場合の影響の可能性が分かると同時に、その記載内容をコピーまたは編集することで、読影レポートの記載作業を容易にする。さらに、構造化フォーマット変換/管理361は、構造化した状態で記録された読影レポートを共通化された構造化フォーマットに変換し、他の機器へ提供することが可能であり、読影レポートの再利用を可能にする。
図4、図5、図6に、構造化した読影レポートを作成する際の画面の例を示す。図4は、医療画像ビューア342が表示装置109に表示する画面(画像ビューアウィンドウ401)の例である。画像ビューアウィンドウ401は、処理や機能の呼び出しを行うメニューバー402、医療画像405を表示するための表示領域403を有する。メニューバー402内には、「画像選択」、「表示」などのメニュー要素404がある。読影医202は、行いたい処理や機能を示すメニュー要素をメニューバー402から選択し、操作することにより、様々な医療画像を所望の大きさ、位置、表示モードなどで、表示領域403に表示させることができる。図4では、医療画像405として、CTなどで観察される人体の断面の医療画像405が表示領域403に表示された様子が示されている。
アノテーション406は、表示された医療画像内の特定部分や領域等に対して注目する部分があった場合に、読影医202が所見等のコメントを記載できる領域である。アノテーション406は、読影医202が、画像閲覧時や読影レポートの作成時に、メニューバー402から該当機能を呼び出して、付加するものである。アノテーション406は複数作成可能であり、指示される画像内の特定部分や領域と所見等のテキスト記載内容を保有する。アノテーション406は、個々に識別できるように番号等で管理されている。読影医202によって作成されたアノテーションの情報は、医療画像そのものとは別に保存、管理される。実施形態では、アノテーションの情報は読影レポート内の情報として蓄積され、管理される。
図5は、読影レポート生成部341が表示する読影レポートの作成画面の例で、項目内に記載されたテキストと項目間の関係を表示する形態を使用している場合の画面例を示している。作成画面は主に、構造化表示/入力346によって制御される。読影レポート生成ウィンドウ501の中に、処理や機能の呼び出しを行うメニューバー502、患者情報503、検査情報504、依頼医からの画像診断の依頼情報505、構造化された読影レポートの内容表示506がある。メニューバー502内には、「レポート選択」、「入力」、「表示」などのメニュー要素508がある。読影医202は、行いたい処理・機能を示すメニュー要素をメニューバー502から選択することで、読影レポートの呼出し、その内容を内容表示506に表示させ、所見や診断などを構造化した状態で記載することができる。また、その所見に該当する医療画像との関係付けを行ったり、複数の読影レポート間での所見等の関係を記載したりすることができる。
図5において、読影レポート生成ウィンドウ501の「画像」の欄には、医療画像のサムネイル510が貼り付けられている。サムネイル510は、医療画像ビューア342で表示された医療画像の全体もしくは一部を用いて生成され、読影レポートに貼り付けられている。サムネイル510が選択されると、医療画像ビューア342が、図4で示したような画像ビューアウィンドウ401に、サムネイル510に対応する医療画像を表示する。サムネイル510にはその基になった医療画像に関する情報と、その医療画像を表示する位置と大きさ等(サムネイル510の生成時の医療画像の表示状態)の情報が付加されており、読影作業情報351の一部として格納されている。医療画像ビューア342は、このような読影作業情報を利用してサムネイル510に対応する医療画像を表示する。この医療画像を表示する位置と大きさ等の情報には、位置や大きさ以外に、画像ビューア342で表示する際に使用した各種パラメータを含んでもよい。例えば、使用した画像変換フィルタやその使用時のパラメータ、表示濃度設定(ウィンドウ幅やウィンドウレベル等)などである。
本実施形態の医用レポート作成システムは、属性の異なる複数の項目により構造化された医用レポートの作成を支援する。本実施形態では、画像、所見、診断、計画/処置の属性により構造化されるものとする。所見の欄の項目(所見の属性を有する項目)である所見項目511と515と516には、所見の内容が記載されている。また、診断の欄の項目(診断の属性を有する項目)である診断項目512と513には、診断の内容が記載されている。計画/処置の欄の項目(計画/処置の属性を有する項目)である対応項目514には、計画/処置等の今後の依頼医や読影医の対応内容が記載されている。
また、サムネイル510と所見項目511の間、所見項目511と診断項目512の間、所見項目511と診断項目513の間、および、診断項目513と対応項目514の間には関係線が表示されている。サムネイル510と所見項目511の間の関係線は、所見項目511に記載されている所見が、サムネイルが示す医療画像の全体または部分を観察することで得られた所見であることを示している。なお、医療画像以外から得られる所見や、サムネイル510に対応する医療画像からは得られない所見が記載された所見項目と、サムネイル510との間には関係線は存在しない。
所見項目511と515と516には、検査対象の画像などを基に、何の病変や現象が起きていると考えるかという内容等が所見として記載されている。所見項目511と診断項目512の間、および、所見項目511と診断項目513の間の関係線は、所見とそれに基づく診断の関係を示している。すなわち、図5の例では、サムネイル510の所見を根拠または理由として診断項目512と診断項目513の両方の病名について言及していることが示されている。この場合、診断項目512では診断として病名「肺炎」について疑っていることが表明されており、診断項目513では診断として「肺癌」の可能性について言及している。診断項目513と対応項目514の間にも関係線があり、診断項目513に記載されている病気に対して、対応項目514では、経過観察をお願いしたいという示唆が対応付けられている。ここでいう経過観察は、一定期間経過後に再度、同じ検査による診断(本例では、検査情報504に記載された画像診断)を行うのが良いということを示唆している。したがって、対応項目514の記載内容は、依頼医201がそれを行うための検査および読影の指示を出して欲しいという読影医202からの依頼になっている。
カーソル518は文字入力用のカーソルであり、この状態で文字入力を行うと、カーソル518の位置へ文字が入力される。図5の例では、診断項目513が入力対象として選ばれており、その選択状態を示す選択枠517が表示され、カーソル518を保有する状態になっている。なお、所見項目や診断項目や対応項目はマウス等で選択操作を行うことで、選択状態にすることができる。また、テキスト内のカーソル518の位置もマウス等を用いた指定操作により指定可能である。
依頼情報505において、選択されている所見項目に関連する記載にはその関連付けを示す関連枠509が表示される。図5の例では、診断項目513が入力対象として選ばれており、依頼情報505内の記載において、対応する記載が関連枠509(図では破線の枠で示されている)により括られて示されている。これにより、診断項目513は、依頼情報505内で「肺癌疑い」と関連づけられていることがわかる。これは、依頼医201が読影依頼を行った際に依頼情報として記載した中の「肺癌疑い」という記載に対して、それに対する言及しているのが診断項目513であることを示している。この関連枠509による表示は、診断項目513が入力対象として選ばれている間だけ表示される。また、逆に、マウス等で依頼情報505に記載されている「肺癌疑い」が選択されると、診断項目513に対して関連枠が表示され、これらの関係を示すことができるようになっている。
このように、読影レポート生成部341と構造入力/編集363は、ユーザが、編集対象の読影レポートを呼出し、画像、所見、診断、計画/処置の各項目を作成し、その中に所見や診断等の内容を記載できるようにする。また、サムネイル、所見、診断、計画/処置の各項目に関係線を付けることで、その対応関係を明確にする。この関係線は、主に、論理的な関係である、原因−結果や根拠−帰結となる因果関係か、単純な対応関係に相当するようなものとなっている。読影医が医療画像から読影医が認識した内容が所見項目であり、それらの対応関係が、その医療画像に対応したサムネイルと所見項目の間の関係線で表現される。また、所見項目に記載された所見に関して、読影医が病気の種別や状態などを判断したりその可能性指摘したりした内容が診断項目であり、それらの因果関係が関係線で表現されている。同様に、診断項目に記載された診断に対し、読影医が行うべきと判断した処置や検査の内容が対応項目であり、その対応関係や因果関係が関係線で表現されている。このようにして、構造化された読影レポートが作成される。
図6は、図5と同じ読影レポート作成時の画面であるが、その表示形態が異なるものになっている。図6の読影レポート生成ウィンドウ501では、入力用テンプレートを併用して項目が示されるとともに、記載内容である文章(テキスト)に対して、自然言語処理による解析も適用している。これにより、その項目内の記載内容に対して詳細項目ごとに、その項目名と内容が入力された状態となっている。すなわち、所見、診断、計画/処置などの異なる属性の複数の項目の各々において記述されるべき詳細項目の項目名(カテゴリ)と入力候補を保有する入力用テンプレートを用いて、ユーザによる医用レポートの作成が支援される。この表示は、構造化表示/入力346の関係等の表示と、詳細項目表示/入力347の表示を組み合わせることで実現される。なお、図5と図6で表示されている読影レポートの内容は同じものを扱っており、図6において図5と同様の表示要素には同一の参照番号を付してある。
所見項目611,615,616、診断項目612,613、対応項目614には、所見項目511,515,516、診断項目512,513、対応項目514と同じ内容の文章(テキスト)に表形式の記載(以下、表部分)が加えられている。なお、図5の項目と同じ記載(テキスト)については、その一部が「…」で省略されている。所見項目611内の上側にある「対象」−「結節(1)<認める>」から「状態」−「胸膜浸潤≪なし≫」までが表部分であり、所見項目611の下側にある「左肺S8に、結節...」が図5の所見項目511と同じ内容のテキスト記載の部分である。表部分には詳細項目とその内容が表示されており、この表部分の存在が図5と図6の表示形態の大きな違いである。
表部分では、詳細項目が縦に並べられており、各詳細項目には項目名と内容や値が横に並べられている。たとえば、所見項目611の場合、詳細項目名として「対象」、「部位」等があり、それぞれに対応する詳細項目の内容や値として「結節(1)<認める>」、「左肺S8」等がある。表部分は、その項目内のテキスト記載の内容に対して、項目情報抽出364によって抽出された詳細項目情報と、入力用テンプレート検索365が検索した入力用テンプレートによって作成される。なお、表部分が作成される処理の詳細については後述する。
入力用テンプレートにおける詳細項目の内容や値は、項目情報抽出364によって抽出された詳細項目情報に該当するものがあれば入力された状態となるが、そうでない場合には未入力の状態となる。未入力の状態の詳細項目に対しては、入力用テンプレートに保持されている内容や値が入力候補となる。したがって、表部分の未入力の状態の部分が選択されると、図10の1021に示されるような入力候補のリスト(候補リスト)が表示される。ユーザは、表示された候補リストから所望の入力候補を選択することで詳細項目の内容や値を入力することができる。なお、候補リストの詳細については、後述する。また、表部分の表示では、詳細項目の項目名、内容や値を修正することが可能である。修正の対象が項目情報抽出364によって抽出された項目名、内容や値の場合には、抽出の対象となったテキスト記載の該当部分も同時に修正される。また、メニューバー502から呼び出した機能を用いて、詳細項目情報の項目自体を表部分に追加することもできる。
項目名「対象」には、所見項目の場合は病変や状態等の名前、診断項目の場合は病名等の名前、対応項目の場合は検査や処置の名前といった、その項目で重要な内容が記載される。この「対象」は、各項目が必ず保有する詳細項目である。たとえば、所見項目611の場合、詳細項目の項目名「対象」に対して「結節(1)<認める>」がその内容として記載されている。ここで「結節」が病変名であり、その病変は複数出現する可能性があるため、番号付けされて「(1)」が付加されている。この番号付けは、構造入力/編集363が独自に番号を発番し管理する場合と、医療画像ビューア342での画像特定部分へのアノテーションに付加された番号がある場合にはその番号を利用する場合があるが、確実に識別できるように付加される。また、「<認める>」は、テキスト記載の内容で、「結節」に対する知覚表現があったため付加されたものである。なお、否定を示す知覚表現の場合は、「≪なし≫」のように、記号を変えて知覚表現が付加される。同様に、所見項目611において、詳細項目の項目名「部位」に対して「左肺S8」がテキスト記載から抽出されており、検索された入力用テンプレートにも「部位」の詳細項目があったために、組合せて表示されている。このように、項目情報抽出364と入力用テンプレートの連携により表示が行われる。所見項目615では、入力用テンプレートから「部位」の詳細項目が生成されているが、テキスト記載の中に部位に関する表現がないため、その内容や値は未入力で空白となっている。これにより、読影医202は読影レポート作成中に、このような未記入の詳細項目を発見すると、記載内容が不足している可能性に気づいて、必要があれば記載を行うことができるようになる。また、明確に記載する必要がない詳細項目であると読影医202が判断した場合は、読影医202はメニューバー502から機能を呼び出して、その詳細項目を表部分から削除することができる。
図7は、本実施形態のシステムの処理の流れのうち、図6で示された所見項目や診断項目内の表部分の情報を作成する処理を示すフローチャートである。表部分における詳細項目の情報は、テキスト記載に対して言語解析などを行って抽出された医療用語などの用語と、入力用テンプレートとを組み合せて作成される。以下、図7の処理の各ステップについて説明する。なお、図7の処理は、所見項目や診断項目において、テキスト記載を入力したり編集したりした際に開始される。
S701では、構造入力/編集363が、読影医により構造化表示/入力346を介して特定の項目に入力された文章のテキスト(内容)を取得する。ここでは、例文として図8(a)の内容(所見項目511のテキスト記載)が入力されたものとして、説明を行う。次に、S702において、項目情報抽出364は、構造入力/編集363によって取得されたテキストから詳細項目の情報を得るために自然言語処理等を利用した解析を行う。項目情報抽出364は、自然言語処理374を利用して、取得されたテキストに対する自然言語解析の結果を得る。この結果は、図8(b)の中の「表記」、「品詞」、「構文構造」の情報となる。
図8(b)中の「表記」の列には、図8(a)の例文が形態素解析によって単語単位に分離された状態が示されている。また、「品詞」の列には、形態素解析によって各表記に対して付与された品詞の情報が示されている。ここまでが、形態素解析の出力結果である。また、「構文構造」の列には、各表記について構文構造の情報を付与した結果が示されており、これが構文解析の出力結果である。実施形態の構文解析では、句構造を主に出力している。そのため、本実施形態では、「構文構造」内は名詞句や動詞句などの句の基本的な単位を構成する部分と、それに付加される後置詞や文終端等の部分との、2階層の構文構造を有している。また、修飾等の関係や、構文構造上、主となる主動詞句についても抽出している。なお、日本語の場合には名詞(句)に対して助詞がその直後に出現して、他の名詞句や動詞句と構文的な関係を持つため、ここでは、そのような助詞を後置詞、それを伴う名詞句等を後置詞句と表現している。この後置詞句は、文節などと呼ばれる場合もある。
自然言語処理374は以上のような自然言語処理を行う際に、単語単位の語や単語の情報を保有する一般辞書377や、句構造を形成する単語の組合せや、句構造間の関係や構造を保有する構文規則376を利用する。形態素解析/構文解析375は、一般辞書377や構文規則376を利用して、対象となる文章を単語単位に分割し、品詞等の情報を付加し、構文構造に組み立てる。なお、形態素解析/構文解析375の処理方式や処理結果の形態は上述したようなものが基本であるが、細かい点では様々なものがある。本実施形態では、上記した処理結果が得られればよく、形態素解析および構文解析の処理方式は問わない。
次に、S703において、医療用語/付帯表現抽出370は、S702で得られた自然言語処理による解析結果から、医療用語(用語表現)、医療用語の付帯表現、知覚表現に該当するものを見つけて各カテゴリに分ける。この際、医療用語辞書371、共起パタン統計情報372および知覚表現辞書373を使用される。用語表現、付帯表現、知覚表現を抽出し推定する手法としては、単純なものとして、辞書と突き合せて該当表現を得る方法がある。それ以外に、統計情報等を用いて辞書に登録されていない表現であっても、その表現自体の表記の構成や、その表現と共起する他の単語を利用して推定する方法など様々なものがある。また、その処理結果の形態についても、基本的にはここで示したようなものが基本となることが多いが、細かい点では様々なものがある。本実施形態で用いられる処理結果が得られるのであれば、いかなる方法が用いられてもよい。
図8(b)中の「用語表現」、「付帯表現」、「知覚表現」の列にS703の処理結果の内容が示されている。なお、「用語表現」、「付帯表現」、「知覚表現」を総称して「抽出表現」と呼ぶ。抽出表現は、特定の表記または表記の並びをまとめた表現に対して、そのカテゴリを割り当てたものである。用語表現は、部位名や病変名、状態名、病名等の表現が抽出されたものである。用語表現には、「部位名」、「病変名」、「状態名」、「病名」などのカテゴリが割り当てられる。
付帯表現は、用語表現に付加された表現を抽出したものである。付帯表現は、それが付加される用語表現が持つ属性となる情報を示しており、「形状」や「大きさ」等のカテゴリが割り当てられる。また、付帯表現に付帯表現が付加される場合もあり、その場合は、別の情報の付加や情報限定の付加の関係がある。この付加の関係は、構文構造に現れる。たとえば、図8(b)では、位置:「内部」が、濃度:「すりガラス濃度」に対して、情報限定の付加の関係となっている。
知覚表現は、「認める」、「見える」、「疑う」などの視覚や認識・可能性の有無等の直接的表現に該当するものや、「ある」、「伴う」などの存在(有無)を確認する表現を抽出したものである。その際に、「知覚」や「認識」等のカテゴリが抽出される。この知覚表現は、医師が用語表現や付帯表現で示される内容に対して、意志や考えを表明するものであり、「認めない」等の否定を意味する場合には、それもカテゴリの属性として割り当てられ、抽出されることになる。知覚表現は、用語表現や付帯表現に対して、記載した読影医の認識や知覚した際の程度や状態等を表明するものであり、構文構造において付加という形態の構造を生じさせる。図8(b)において、認識:「認める」は、病変名:「結節」に付加され、その結節という病変に対する医師の考えを表明する知覚表現である。また、認識:「なし」は、状態:「胸膜浸潤」に付加され、その胸膜浸潤という状態に対する医師の考え方を表明する知覚表現であり、認識(否定):「なし」という表現により否定的な考えが表明されている。
次に、S704において、構造入力/編集363は、S703における医療用語/付帯表現抽出370の抽出結果をもとに、詳細項目の項目(項目名)ごとにその内容や値を決定し、詳細項目の内容を作成する。まず、構造入力/編集363は、抽出結果に、病変名、病名等、検査名、処置名等の重要なカテゴリの抽出表現があれば、これを「対象」の詳細項目とし、その抽出表現をその内容や値とする。残った用語表現や付帯表現は、そのカテゴリを詳細項目の項目名とし、その抽出表現を対応する詳細項目の内容や値とする。用語表現や付帯表現に付加される抽出表現があれば、その付加対象の用語表現や付帯表現の詳細項目の内容や値に対して、付加理由である構文構造の関係も含めて付加表現として追加される。
図8(b)では、詳細項目「対象」の内容として、病変名「結節」が選ばれ、それには認識「認める」が付加されている(構文構造の関係は「表明」)。そのため、項目名「対象」の詳細項目の内容や値として「結節<認める>」が得られる。ここでは、分かり易いように、付加理由である構文構造の関係により異なる記号で括るような記法を用いている。本実施形態では、肯定の表明の場合は「<」と「>」、否定の表明の場合は「≪」と「≫」、限定等の修飾の場合は「[」と「]」を使用している。
次に、S705において、入力用テンプレート検索365は、S703で抽出した結果に基づいて検索キーワードを抽出し、抽出された検索キーワードを用いて入力用テンプレートを検索する。入力用テンプレート検索365は、S703における医療用語/付帯表現抽出370の抽出結果から、特定の用語表現を選び、これを検索キーワードとして用いて入力用テンプレートデータ367に対して検索を行う。入力用テンプレートデータ367の各入力用テンプレートは、あらかじめ、検索しやすいように、それぞれ検索キーワードを保有しており、高速検索が可能に構築されている。たとえば、入力用テンプレート検索365は、S703における抽出結果から、部位名、病変名、病名、検査名、処置名等のカテゴリの用語表現を検索キーワードとして入力用テンプレートデータ367に対して検索を行う。図8(b)の場合、部位名の「左肺S8」、病変名「結節」が検索キーワードとして選ばれ、入力用テンプレートデータ367に対して検索が行われ、その検索結果の入力用テンプレートが得られる。
図9は、検索された入力用テンプレートの例である。図9において、入力用テンプレートの管理情報900は行901から行903を有する。行901は入力用テンプレート識別用のテンプレートID、行902は識別表示用のテンプレート・タイトル、行903は入力用テンプレートの種類を示すテンプレート・タイプである。
検索情報910には、入力用テンプレートを検索する際に使用する検索情報を構成する検索キーが記述されている。検索キーは検索キーIDで識別される。検索キーは、検索条件として、「部位名」、「病名」「病変名」等の用語のカテゴリを有し、そのカテゴリ毎に「肺」、「左肺」、「右肺」等の検索キーワードを保有している。検索キー内の検索条件の各カテゴリの検索キーワードについて、検索時には比較や検索インデックスでの対応が行われ、検索キーワード内の各カテゴリで該当するものがあれば、この入力用テンプレートが検索結果に含まれることとなる。たとえば、部位名「左肺S8」、病変名「結節」を検索キーワードとして検索が行われると、検索キーID=1の検索条件(行911)の中に、部位名「左肺S8」と病変名「結節」があるため、図示の入力用テンプレートが検索されることとなる。
入力項目920は、入力用テンプレートの入力内容に関する部分である。入力項目920の各行には、入力用テンプレートを使用して入力を行う際に、所見項目や診断項目などの各項目内の詳細項目として必要な項目名とその入力候補(内容および/または値)が記載されている。例えば、行921は所見のテキスト記載について、その入力が必須であり、入力候補として「結節を認める」等のテキスト記載の内容があることを示している。行922は、詳細項目の項目名「対象」が、入力必須の詳細項目であり、その入力候補として「結節」等があることを示している。
また、入力項目920の各行には、詳細項目の内容や値の入力候補を追加するための、入力候補検索条件と、入力候補該当制約が記載されている。これらは、詳細項目の内容や値の入力候補を追加する際の検索条件となるカテゴリと、その検索結果の中で候補表示する際に優先的に表示されるもの(デフォルトにするもの)に該当するかどうかの制約である。これらの内容および使用方法については、後述するS707の処理において説明される。
次に、S706において、構造化入力/編集363は、S704で得られた項目のテキスト記載の内容から作成された詳細項目と、S705の入力用テンプレートから得られた詳細項目をまとめて、項目内の表部分の詳細項目を作成する。この際、構造化入力/編集363は、入力用テンプレートの入力項目920の内容にしたがった詳細項目のうち、S704で得られたテキスト記載内容から作成された詳細項目から対応する内容や値が得られる場合には、その内容や値が入力された状態となる。また、この際、入力用テンプレートから得られた詳細項目の入力候補は選択されていない状態の入力候補として残され、表示時には候補リストとして表示されることとなる。他方、入力用テンプレートから得られた詳細項目であって、S704で得られたテキスト記載内容に対応する詳細項目の内容や値がない場合は、その詳細項目の内容や値は、未入力となり、表示時には空白となる(項目名のみが表示される)。
次に、S707において、入力候補検索/追加366は、未入力状態の詳細項目について入力候補を検索し、追加する。すなわち、入力候補検索/追加366は、図9に示すような入力用テンプレートにおいて詳細項目に関連づけられて記載されている検索条件(入力候補検索条件)を用いて、読影レポートの入力済みの記載から入力候補を検索する。この処理の内容については、図11のフローチャートにより詳しく後述する。
次に、S708において、構造化表示/入力346と詳細項目表示/入力347が、S707の処理結果を用いて読影レポートの項目の表示を行う。まず、構造入力/編集363が、保有する項目や関係等の情報、各項目内の項目詳細情報を読影レポート生成部341へ送る。そして構造化表示/入力346が主として項目とそれらの関係を表示し、詳細項目表示/入力347が主として項目内の詳細項目を表示する。この表示結果が図6の画面の表示内容となる。
次に、S709において、読影レポート生成部341は、S708で表示された内容に対して行われたユーザ操作を取得し、これを構造化/編集363へ送ることにより、ユーザ操作に応じた処理の分岐を行う。なお、処理を分岐させる操作には種々のものがあるが、以下では詳細項目への操作である「詳細項目の選択の操作」、「詳細項目の変更、編集の操作」、「詳細項目の確定の操作」に対応した処理について説明する。詳細項目の選択の操作が行われた場合、処理はS710へ進み、詳細項目の変更・編集の操作が行われた場合、処理はS711へ進み、詳細項目の確定の操作が行われた場合、処理はS712へ進む。
詳細項目の選択の操作が行われると、S710において、詳細項目表示/入力347は、選択操作の内容を取得し、これを読影レポート生成部341経由で構造化/編集363へ送る。構造化/編集363は、選択された詳細項目の内容や値の入力候補を読影レポート生成部341へ送る。詳細項目表示/入力347は、構造化/編集363から受け取った入力候補をリスト化し、候補リストとして表示してユーザによる選択ができるようにする。こうして、読影レポートの作成支援のために、S707で検索された入力候補が、入力候補検索条件が関連付けられている詳細項目の入力候補として追加される。S710の処理が終了すると、処理はS709へ戻る。
詳細項目の変更、編集の操作が行われた場合、S711において、詳細項目表示/入力347が変更および編集内容を取得し、これを読影レポート生成部341経由で構造化/編集363へ送る。構造化/編集363は、受け取った変更及び編集内容にしたがって、選択された詳細項目の内容や値の更新を行う。S711の処理が終了したら、処理はS709へ戻る。
詳細項目の確定の操作が行われた場合、S712において、詳細項目表示/入力347が、読影レポート生成部341経由で、構造化/編集363へ確定操作が行われたことを通知する。なお確定操作は、たとえば、項目や詳細項目が選択された状態(入力可能状態)でなくなった場合に発生する。構造化/編集363は、詳細項目の内容を、読影レポート管理サービス233経由で、読影レポート234として記録する。そして、読影レポート生成部341経由で、詳細項目表示/入力347に確定したことを通知し、詳細項目表示/入力347は、通常状態の非選択表示を行う。S712の処理が終了したら、図7の処理は終了となる。
このようにして、読影レポートの作成において所見や診断等の項目ごとに分けて記載する際に、入力用テンプレートとテキスト記載による所見や診断等の内容の両方を用いて、詳細項目の表示・入力を行うための画面が表示される。そのような画面の一例を示したのが図6である。図6の画面の表示、図6の画面を用いた操作を行う際に、図7のS707の処理によって、詳細項目の入力候補(内容や値)の追加が行われる。以下、入力候補の追加処理について説明する。
図10は、未記入となっている詳細項目がユーザにより選択され、S710において、内容や値の入力候補の追加を行った結果を利用している画面を示している。図10は、図6と同じ読影レポート作成時の画面である。図10中、図6と同様の表示要素には同一の参照番号が付されている。図6では診断項目613が選択されていたが、図10では計画/処置の対応項目614が選択されている。そのため、選択枠1017が対応項目614に対して表示されている。対応項目614内の詳細項目1019は、項目名が「検査」であり、図6では未入力であったが、図10では「CT」が入力されている。対応項目614内の詳細項目1020は、入力用に選択されている状態であり、文字入力用カーソル1018と入力候補を示す候補リスト1021が表示されている。
候補リスト1021は、未記入の状態の詳細項目1020の内容や値の入力候補を表示しており、ユーザはこの候補リスト1021から所望の入力候補を選択することができる。候補リスト1021は、ステップS707において検索された入力候補も表示される。候補リスト1021において実線で囲まれている入力候補が選択状態となっている入力候補である。また、点線で囲まれている入力候補は、未選択の入力候補であることを示している。なお、この候補リスト1021の表示開始時では、入力候補のうちの一つがデフォルトで指定された状態となっている。
ユーザは候補リスト1021にリストされた入力候補の一つを選択することで、詳細項目1020の内容を入力することができる。これにより、入力したい内容が候補リスト1021内にあれば、それを選択するという簡単な操作で文字入力を行うことができる。候補リスト1021に適切な入力候補がない場合、非常に簡単にテキスト入力できる場合、他の部分からのコピー・ペーストなどで文字入力を行う場合などにおいて、文字入力用カーソル1018に対して、ユーザは文字入力の指示を行うことができる。このようにして、詳細項目への入力で、入力候補を利用した入力を行うことができる。
なお、図10に示す画面では、未記入であった詳細項目1019が選択され、候補リストから入力候補の「CT」が選ばれて入力されている。さらに、未記入の詳細項目1020が選択されて、候補リスト1021が表示されている状態になっている。
図11は、図7のS707の処理(入力候補を検索、追加する処理)の詳細を示すフローチャートである。この処理は、入力候補検索/追加366によって行われる。なお、図11の処理は、詳細項目の内容や値が未入力となっている詳細項目ごとに実行される。また、図12は、図11に示される処理により図10の詳細項目1019と詳細項目1020のための追加の入力候補を得る際の処理内容を説明するための図である。
S1101において、入力候補検索/追加366は、入力済みの内容や値がない詳細項目(未記入の詳細項目)について、入力用テンプレートから、入力候補検索条件と入力候補制約条件を取得する。これにより、内容や値の入力候補の追加を行うための準備が行われる。たとえば、対応項目614では、テキスト記載内容から対象が画像検査の「経過観察」になっている。図9に示される入力用テンプレートによれば、計画/処置の項目において対象が画像検査名の場合には、詳細項目「検査」に対応する入力候補検索条件が「検査名」、入力候補制約条件が「画像検査名」となる。また、入力用テンプレートによれば、計画/処置の項目において対象が画像検査名の場合に、詳細項目「部位」に対応する入力候補検索条件が「部位名」、入力候補制約条件が「画像検査範囲」となる。この様子を図12に示す(検索条件の列および制約条件の列を参照)。
次に、S1102において、入力候補検索/追加366は、構造化により未記入の詳細項目と関係付けられている画像、所見、診断、計画/処置の項目内の詳細項目や検査情報を検索対象に加える。たとえば、未記入の詳細項目1019が属する項目と関連付けられている項目(図10では、対応項目614と関連付けられている診断項目613、更に、診断項目613と関連付けられている所見項目611)が検索対象となる。
S1103では、未記入の詳細項目が属している項目と関連付けられている他の文書が検索対象として設定される。S1103において、入力候補検索/追加366は、内容や値の入力内容がない未記入の詳細項目と関係のある依頼箋、過去所見、過去の読影レポートの部分の情報を検索対象に加える。例えば、関係のある依頼箋、過去所見、過去の読影レポートは、患者情報の参照により同一患者のものが選択され、設定される。なお、同一患者の過去の読影レポートについては、所見、診断、計画/処置の項目が検索対象に選択されるものとする。この場合、同一患者だけでなく、同じもしくは類似の傷病の患者としてもよい。また、同一患者に対し、複数の異なる種類の画像検査を行う場合があり、それぞれに読影レポートが作成される場合があるので、これらの読影レポートを対象としてもよい。S1104では、入力候補検索/追加366は、さらに、レポートの記載対象の検査情報(検査情報504)を検索対象に加える。なお、検査情報504の情報も、医療用語/付帯表現抽出370により、所見や診断などの項目と同様に、医療用語をカテゴリに分類して構造化(カテゴリと内容の対)しておくものとする。後述の入力候補の検索(S1105)により検索を行うためである。
以上のS1102からS1104の処理によって、図12の検索対象の項目が設定される。行1201〜1203では、関係のある画像、所見、診断、計画/処置の項目内の詳細項目が検索対象となるように設定されている。また、行1204では、検索対象の項目として検査情報504が設定されている。また、行1205では、検索対象の項目として、関係のある依頼箋・過去所見から、「関連検査・レポート」が設定されている。
S1105において、入力候補検索/追加366は、内容や値の入力内容がない詳細項目について、S1101で取得した「検索条件」を基に、S1102〜S1104で集めた検索対象の抽出表現に対して検索を行う。この検索により、内容や値がない詳細項目に対する入力候補の検索結果が得られることとなる。この検索によって検索された入力候補が図12の行1201〜1205の「検索条件で検索した抽出表現」の列に示されている。また、詳細項目1020について検索された入力候補が行1206〜1210の「検索条件で検索した抽出表現」の列に示されている。
S1106において、入力候補検索/追加366は、S1105の検索結果があったかどうかで、処理を分岐する。検索結果がなかった場合は、図11の処理は終了となる。他方、検索結果があった場合には、処理はS1107へ進む。S1107において、入力候補検索/追加366は、S1106の検索結果に対して、さらにS1101で得られた入力候補制約条件を基に選別を行い、制約条件に該当する検索結果と該当しない検索結果に分ける。
S1108において、入力候補検索/追加366は、S1107の処理で検査結果の中に制約条件に該当するものがあったかどうかで処理を分岐する。S1108で、制約条件に該当する検索結果がなかった場合は、処理はS1111へ進む。制約条件に該当する検索結果があった場合は、処理はS1109へ進む。S1109において、入力候補検索/追加366は、S1108で制約条件に該当するとして選別された検索結果(入力候補)を、処理対象となっている詳細項目に関して入力用テンプレートが保持している入力候補のリストの先頭に追加する。そして、この先頭に追加した入力候補をデフォルト候補とする。
S1110において、入力候補検索/追加366は、制約条件に該当しない検索結果(入力候補)を、入力用テンプレートが保持している入力候補により形成されるリストの後方に追加する。以上のように、S1105で検索された結果が詳細項目情報の入力候補のリストに加えられる際に、制約条件に該当したかどうかで、入力候補のリスト内の位置が異なることとなる。S1110の処理が終了したら、図11の処理は終了となる。
以上のようにして、詳細項目の内容や値の入力候補の追加が行われる。図12では、行1204(「カテゴリ」が「画像検査」であり、「内容や値」が「CT」)が制約条件に該当しているものとなった様子が示されている。また、詳細項目1020に関する入力項目の検索処理結果(行1206〜1210)では、行1209(「カテゴリ」が「部位名(画像検査)」で「内容や値」が「胸部」)が制約条件に該当しているものとなった様子が示されている。したがって、これら該当すると判定された入力候補(内容/値)が、入力用テンプレートが保有している入力候補のリストの先頭に、デフォルトとして追加されることとなる。
図13は、図11の処理を別の読影レポートに適用した場合の画面表示である。図13において、図10と同様の表示要素には同一の参照番号が付されている。また、参照番号が1311から1321の表示要素は、図10の1011から1021と同様であるが、それぞれの各項目の記載内容が一部異なるため、項目内の記載と詳細項目の内容が図10とは異なるものとなっている。
図13の場合も、図10の場合と同様に、詳細項目1319について入力候補の追加処理が行われ、項目名「検査」の内容として「生検」が記入されている。また、詳細項目1320について入力候補の追加処理が行われ、生検が患部を取り出して検査する方式であるため、その患部である病変名が部位の入力候補になっているのがわかる。
図14は、図13の詳細項目1319と詳細項目1320について追加すべき入力候補の検索(S707)を行った場合の処理内容の例を示す図である。図13の場合、項目1314のテキスト記載から、対象が「患部検査」で内容や値が「生検」が得られているため、この結果に基づいて、詳細項目1319,1320について、入力候補を得る処理が行われる。図9の入力用テンプレートから、計画/処置の項目において対象が患部検査名の場合、「入力候補検索条件」が「部位名と病変名」で、「入力候補制約条件」が「病変名」となる。上述したように、S1102〜S1104で設定された検索対象について、S1105において「部位名」と「病変名」のカテゴリが検索され、行1401〜1406の「検索条件で検索した抽出表現の列に示されるような検索結果が得られる。制約条件が「病変名」であるため、行1403の「結節(1)」が該当する入力候補として得られることになる。
以上のように、図7と図11の処理を実行して、図6、図10、図13で示したような表示や操作を行うことで、記載中の読影レポートの構造化の関係を利用して、入力用テンプレートの未入力項目について、記載済みの内容から入力候補が自動的に追加される。そのため、未入力項目への入力をより容易に行えるようになった。また、テキストだけの読影レポートだと、記載されたテキスト全体から、その入力候補を得ようとするため、複雑な解析や処理が必要で、その解析等の精度が非常に高くないと正しくない候補も含んでしまう可能性がある。これに対し、読影レポートの構造化の関係を利用することで、項目内のテキスト記載やそこから得られた詳細項目だけを対象とすることで、解析の精度の影響や処理負担を低く抑えることが可能になった。また、入力候補をその入力される情報入力項目に応じて、再利用しやすい内容や値を優先的に選びやすくし、再利用しやすい内容や値が入力対象となるようになった。
本実施形態によれば、読影レポートの作成を行う際に、テキスト入力(自然言語入力)と詳細項目への記載の両方が可能になる。また、入力項目・詳細入力項目を入力用テンプレートを用いて行う場合に、詳細項目の内容や値を入力するときに、適切な入力候補を利用することができる。これにより、読影レポートの作成が容易になった。
以上のように、上記実施形態によれば、読影医等の医療関係者が、構造化された読影レポートを利用する際に、その読影レポートの記載が容易になり、その作業負担が軽減される。また、入力が必要な情報が分かり易くなり、より良質な読影レポートの作成や利用が可能となる。また、再利用しやすい記載内容が増大することで、読影レポートの記載情報をそのまま再利用して検査依頼を作成することが可能になり、検査依頼の作成が容易になる。
なお、上記実施形態では、医療に関わる医用レポートの作成支援を説明したが、本発明はこれに限られるものではない。本発明は、属性の異なる複数の項目により構造化されており、さらに各項目が項目名(カテゴリ)と内容の対を含む詳細項目により構成された文書の作成支援に適用することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。