JP2018077630A

JP2018077630A - 構造化データ作成装置及びその制御方法、コンピュータプログラム

Info

Publication number: JP2018077630A
Application number: JP2016218266A
Authority: JP
Inventors: 慶祐寺西; Keisuke Teranishi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-08
Filing date: 2016-11-08
Publication date: 2018-05-17

Abstract

【課題】自然文を含む文書情報を構成する項目の間の関係や、関連する資料の間の関係の特定を支援することが可能な技術を提供する。【解決手段】自然文を含む文書情報に基づき、少なくとも１つの種類のいずれかにそれぞれあたる複数の項目と、当該複数の項目の間の論理的な関係を示す関係情報とを含む構造化データを作成する構造化データ作成装置は、文書情報を解析して、当該文書情報に含まれる複数の項目を含む中間データを作成し、文書情報を含む資料を用いてなされた議論に関する議論情報を取得し、議論情報から、複数の種類の項目と当該項目の間の関係情報とを含む仮データを作成し、中間データに含まれる項目と、仮データに含まれる項目との対応関係を決定し、決定された対応関係に基づいて、中間データに含まれる項目の間に関係情報を付与して構造化データを作成する。【選択図】図４

Description

本発明は構造化データ作成装置及びその制御方法、コンピュータプログラムに関し、特に、診療と診断に資する情報の記録及び表示を行う技術に関する。

昨今では、情報システムの導入により、病院施設で扱われる情報は紙媒体ではなく電子的に記録・管理されており、日々大量のデータが医療情報として蓄積されている。この大量のデータをコンピュータが適切に理解することができれば、データ分析や機械学習などに二次利用することができる。

読影レポートも電子的に記録・管理されることが主流となっている。従来から、ＣＴやＭＲＩ等の画像の観察結果である所見や、その所見から導かれる診断結果などが記載された読影レポートが作成されている。ＣＴはComputed Tomographyの略称であり、ＭＲＩはMagnetic Resonance Imagingの略称である。従来の読影レポートは自然言語による自由記述である。この様な一般的な読影レポートでは、画像検査ごとにレポートが一つ作成され、その中には、所見、診断という記載欄がそれぞれ用意される。一回の読影で扱う情報においては、何か一つの項目だけを扱うことは珍しく複数の項目を扱うことが多い。その結果、所見及び診断の各々の記載欄には、複数の項目が記載されることとなる。

従来の読影レポートは、レポート全体の内容を俯瞰するのには適しているが、読影レポートに記載される複数の項目の中の特定の情報に素早くアクセスするには適していない。例えば、複数の所見が記載されている中から、ある診断の根拠となっている所見を特定するためには、各所見の記載内容に一通り目を通す必要がある。

ここで、レポートを構成する複数の項目間に予め関係付けがなされていれば、その関係をたどることで目的の情報に素早くアクセスすることが可能であり、多忙な医師の負担を減らすことができる。また、様々な判断を必要とする医療現場では、項目間の因果関係は特に重要である。特定の所見を根拠として特定の診断がなされている読影レポートをＤＢ（Database）から検索したいというニーズを満たすためには、レポートを構成する項目間の関係を考慮に入れた検索処理を実行する必要がある。読影レポートに記載された情報をこの様な用途に二次利用する場合、コンピュータが情報を認識・処理することに備えて、どの項目同士が繋がっているかという情報を、項目間の関係情報を明確にした形式で管理する必要がある。

また、読影レポートを扱う際には、一つの読影レポートを構成する項目間の関係だけでなく、医師の診療・診断・治療計画の業務に資する他の資料との関係も重要である。医師は診療・診断・治療計画の作業を行う際に、参考となる資料を、院内に存在する膨大な資料の中から特定する必要がある。近年では、医師のそういった作業を支援するために、患者の資料を俯瞰的に表示できる製品が幾つか開発されている。それらは、資料を種別毎に時系列に並べて表示することで、資料の一覧性を高め、医師の資料選択の作業を効率化している。

一方で、多様な資料を一覧する際に、各資料間の関係も明確に理解できる形式で一覧表示できれば、医師が見たい資料に容易にたどり着くことができる。例えば、特定の読影レポートと関係のある資料として、その読影レポートに添付されている医用画像がある。添付されている画像にも様々な意味がある。例えば、診断の根拠となる画像や、診断の根拠となる画像であったが後にその診断が間違っていた画像など様々である。この様な資料間の関係を把握できる仕組みがあれば、読影レポートの内容を閲覧する際に、同時に確認すべき他の資料へ素早くアクセスして取得することができる。この様な用途に医療情報を二次利用する場合、コンピュータが情報を認識・処理することに備えて、読影レポートや検査レポートなどの資料間の繋がりを、資料間の関係性を明確にした形式で管理する必要がある。

診療に関する情報間の関係付けを行う構成が特許文献１に記載されている。特許文献１の構成では、患者の状態推移、及び診療内容を示す複数の時系列データにおいて、異なるデータ間の関係付けをユーザが明示的に行うことで、データ間の関係性を把握することを支援する。

特開２０１５−１９７７３７号公報

読影レポートの作成においては、医療従事者であれば容易に理解できる記載項目間の関係に関しては、明示的に関係を示す役割を担う接続詞などの記載が省略されることが多い。人間であれば文章を解読することで大体の関係性を把握することは可能であるが、コンピュータが把握することは困難である。そのため、自然文で記載された自由文から、言語処理解析などにより自動で項目間の関係を特定することは難しく、読影レポートを構成する記載項目間の関係付けは、現状においては医師が手動で明示的に行わざるを得ない。これは、多忙な医師にとって負担となる作業であり、結果的に項目間の関係付けがなされないことにつながり得る。

また、病院内に蓄積されている資料間の関係性についても、資料が作成された日時に基づいて、各資料の時間軸上の関係性を示す仕組みしか現状では提供されていない。各資料に明示的に記載された情報に基づいて言語処理解析をすることで資料間の関係を特定することはある程度は可能であるが、医師の思考過程を反映した関係を特定することは困難である。例えば、医師がある診断を下すためのレポートを記載している際に、診断の根拠として目を通した全ての資料が、レポートに反映されるとは限らない。代表的な資料以外はレポートへの記載が省略されることもあり、その場合、記載が省略された資料を診断の根拠となった資料としてシステムが抽出することは困難な状態となる。このことから、各資料間の因果関係などを含む関係性を医師が俯瞰して把握できる仕組みを提供するためには、予め医師が各資料間の関係性を手動で付与して準備しておく必要がある。これは、多忙な医師にとって負担となる作業であり、結果的に資料間の関係付けがなされないことにつながり得る。

上述の課題を解決するために、医療情報間の関係性を自動で特定する仕組みが求められている。しかし、特許文献１の技術では、時系列データ間の関係をユーザが手動で明示的に付与する必要があり、上述の課題を解決することができない。

本発明は上記課題に鑑みなされたものであり、自然文を含む読影レポート等の文書情報を構成する項目の間の関係や、関連する資料の間の関係の特定を支援することが可能な技術を提供することを目的とする。

上記目的を達成するため、本発明による構造化データ作成装置は以下の構成を備える。即ち、
自然文を含む文書情報に基づき、少なくとも１つの種類のいずれかにそれぞれあたる複数の項目と、当該複数の項目の間の論理的な関係を示す関係情報とを含む構造化データを作成する構造化データ作成装置であって、
前記文書情報を解析して、当該文書情報に含まれる前記複数の項目を含む中間データを作成する中間データ作成手段と、
前記文書情報を含む資料を用いてなされた議論に関する議論情報を取得する取得手段と、
前記議論情報から、複数の種類の項目と当該項目の間の関係情報とを含む仮データを作成する仮データ作成手段と、
前記中間データに含まれる前記項目と、前記仮データに含まれる前記項目との対応関係を決定する決定手段と、
前記決定手段により決定された対応関係に基づいて、前記中間データに含まれる項目の間に関係情報を付与して構造化データを作成する構造化データ作成手段と
を備える。

本発明によれば、自然文を含む文書情報を構成する項目の間の関係や、関連する資料の間の関係の特定を支援することが可能である。

構造化データ作成システムの構成の一例を示す図である。構造化データ作成装置の構成の一例を示す図である。構造化データ作成装置で作成される構造化された読影レポートの概念の一例を示す図である。構造化データ作成装置のプログラム構成の一例を示す図である。構造化されたレポートを構成する項目及び関係情報のデータベース保存形式の一例を示す図である。構造化データ作成装置が参照する辞書の一例を示す図である。構造化データ作成装置のＧＵＩの一例を示す図である。レポート項目間の関係の種類を自動的に決定する処理の手順の一例を示す図である。自然文による自由記述で記載された、従来通りの読影レポートの一例を示す図である。構造化データ作成装置の全体の処理手順の概要の一例を示す図である。構造化レポートを作成するため手法の概要の一例を示す図である。カンファレンスで取得された発言と注目対象に関する情報の一例を示す図である。発言に関する情報を取得する手順の一例を示す図である。注目対象に関する情報を取得する手順の一例を示す図である。カンファレンスから得られる情報に基づいて、構造化レポートを作成する手順の一例を示す図である。診断項目と関係付く項目の決定手順の一例を示す図である。構造化データ作成装置の機能構成の一例を示す図である。構造化読影レポートの一例を示す図である。構造化レポートの一例を示す図である。構造化データ作成装置の機能構成の一例を示す図である。関係付けを行う対象の部位項目を決定する手順の一例を示す図である。患者の資料をマトリクス形式で一覧表示する際に、資料間の関係を表示する画面の一例を示す図である。患者の資料をマトリクス形式で一覧表示する際に、資料間の関係を表示する画面の一例を示す図である。

以下、添付図面を参照して本発明の実施の形態を詳細に説明する。

＜実施形態１＞
（構造化データ作成システム）
本発明の一実施形態（実施形態１）に係る構造化データ作成装置は、例えば病院などの医療施設内に配置される。図１は構造化データ作成システムの構成を示す図である。構造化データ作成装置１は、読影医が読影対象の画像を閲覧し、構造化された読影レポートを作成するための装置である。また、構造化データ作成装置１は構造化されていない既存の読影レポートを構造化された読影レポートに変換し、構造化データとして管理できるようにする。なお、構造化された読影レポートとは、複数のレポート項目の間の論理的な関係を示す関係情報によって、従来の自然文による自由記述の読影レポートの内容を示すレポートである。レポート項目の詳細と、レポート項目間の関係情報の詳細は、図３を用いて後述する。以降では、構造化された読影レポートを、構造化レポートとも記す。また、構造化データとは、構造化レポートを構成するレポート項目と、レポート項目間の関係情報を、コンピュータが記録・処理できる形式に変換したものである。このように、構造化データ作成装置は、自然文を含む文書情報に基づき、少なくとも１つの種類のいずれかにそれぞれあたる複数の項目と、当該複数の項目の間の論理的な関係を示す関係情報とを含む構造化データを作成する。構造化データ作成装置１は院内ローカルエリアネットワーク１０を介して院内システムと接続されている。院内システムとしては、例えば、ＨＩＳ２、ＲＩＳ３、医用画像撮影装置４、ＰＡＣＳ５がある。なお、院内ローカルエリアネットワーク１０は、ＬＡＮ(Local Area Network)により実現されるが、情報を送受信可能ならば、有線・無線を問わずどのようなネットワークにより実現しても構わない。例えば、インターネット等の公衆回線を経由するネットワークにより実現してもよい。

ＨＩＳ（Hospital Information System）２は、医療事務会計システム、診療予約システム、診療情報システムなどを含む包括的なシステムである。ＨＩＳ２は電子カルテＤＢ（Database）６や読影レポートＤＢ７を有する。電子カルテＤＢ６には、患者の診療情報を記録した電子カルテが保管される。読影レポートＤＢ７には読影医が作成した読影レポートに関する情報が保管される。読影レポートに関する情報には、自然文による自由記述の読影レポート（以後、非構造化レポートと記す）の内容と、読影レポートに関する構造化データの一方もしくは両方が含まれる。ＲＩＳ（Radiology Information System）３は、放射線機器による検査と治療の予約、検査結果の管理、材料在庫管理などを行うためのシステムである。なお、読影レポートＤＢ７がＲＩＳ３によって管理される場合もある。医用画像撮影装置４はＣＴ装置、ＭＲＩ装置、超音波診断装置、ＰＥＴ装置等の総称である。ＣＴはComputed Tomographyの略称であり、ＭＲＩはMagnetic Resonance Imagingの略称である。ＰＥＴはPositron Emission Tomographyの略称である。ＰＡＣＳ（Picture Archiving and Communication System）５は、医用画像撮影装置４によって撮影された医用画像を電子的に保存、検索、通信するためのシステムである。ＰＡＣＳ５は医用画像の保存先として医用画像ＤＢ８を備える。辞書ＤＢ９には、構造化データ作成装置が、非構造化レポートから構造化データを作成する際に参照する辞書データが保存されている。

（構造化データ作成装置のハードウェア構成）
図２は、構造化データ作成装置１の具体的なハードウェア構成を示すブロック図である。入力デバイス１１は、ユーザからの指示や操作、音声を入力する装置である。入力デバイス１１は、マウスを含むポインティング装置やデジタイザ、マイク、センサ等であり、構造化データ作成装置１にユーザの指示を入力したり、ユーザの発言を音声データとして収集するため、ユーザの視線情報を収集するため等に用いられる。出力デバイス１２は構造化データ作成装置１の状態や処理内容を表示するＬＥＤ（Light Emitting Diode）や液晶パネル等である。ＣＰＵ（Central Processing Unit）１３は二次記憶装置１５に保存されているコンピュータプログラムを一次記憶装置１４に読み込む。更に、ＣＰＵ１３は読み込んだコンピュータプログラムを解釈・実行することで構造化データ作成装置１内の各種制御や計算、ＵＩ（User Interface）の表示を実施する。一次記憶装置１４は主にＲＡＭ（Random Access Memory）などのメモリである。二次記憶装置１５には構造化データ作成装置１を動作させるために必要なコンピュータプログラムが保存されている。二次記憶装置１５は、例えばハードディスクやフラッシュメモリなどの記憶媒体がこれに当たるが、本実施形態は特定の記憶媒体に依存しないことは言うまでもない。一般的に一次記憶装置１４の容量は二次記憶装置１５の容量より小さく、一次記憶装置１４に格納しきれないコンピュータプログラムやデータ等は二次記憶装置１５に格納される。また、長時間記憶しなくてはならないデータ等も二次記憶装置１５に格納される。通信ＩＦ（Interface）１６は院内ローカルエリアネットワーク１０に繋がっており、院内の各種システム／装置２〜５及び辞書ＤＢ９の間の通信インターフェースとして機能する。

構造化データ作成装置１は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の汎用的な情報処理装置により実現されるが、組込みシステム等により実現してもよい。また、院内システムを構成するＨＩＳ２、ＲＩＳ３、ＰＡＣＳ５、電子カルテＤＢ６、読影レポートＤＢ７、医用画像ＤＢ８、辞書ＤＢ９等の機能の一部又は全部は、構造化データ作成装置１と同一の装置により実装してもよい。

（レポート）
図３は、本実施形態に係る構造化データ作成装置１で作成される構造化されたレポートの概念を表す図である。本実施形態に係る構造化データ作成装置１で作成されるレポートは、複数のレポート項目とレポート項目間の関係情報により構成される。

図３において、枠７１はレポート項目を表している。レポート項目は、その内容に応じて「部位」、「所見」、「診断」、「処置」の４種類に分類される。「部位」のレポート項目には、体の部位を特定することのできる文章や画像が入力される。「部位」のレポート項目へ入力される画像とは、例えば読影対象の画像のソフトコピー（画像データ）や、読影対象の画像へアクセスするためのアドレス情報である。ここで、画像を閲覧する際に適用する画像処理のパラメータ等を合わせて入力してもよい。「所見」のレポート項目には、一つの病変を説明する文章が入力される。「診断」のレポート項目には、一つの疾病を説明する文章が入力される。「処置」のレポート項目には、一つ以上の処置を説明する文章が入力される。

関係情報は、レポート項目間の関係性に応じて対応関係と因果関係の２種類に分類される。図３において、対応関係は直線７２、因果関係は矢印線７３である。因果関係は、２つのレポート項目が原因と結果という関係で結ばれていることを意味する。対応関係は、２つのレポート項目が因果関係以外の関係により相互に関係していることを意味する。図３では、矢印の根本が原因、矢印の先が結果に相当する。一つのレポート項目は、その種類や他のレポート項目との関係の有無にかかわらず、他の任意の複数のレポート項目と関係を持つことができる。したがって、レポート項目間の関係は、全体として多対多の関係を構成することができる。

例えば、図３の例では、部位１は所見１と一対一で対応関係を有している。診断１は、診断２及び診断３と一対多の因果関係を有しており、診断１は診断２、診断３の原因となっている。所見４は、部位３及び診断３と対応関係を有するとともに、所見５と自らが原因となる因果関係を有している。診断３は、診断１、所見３、及び、所見４と自らが結果となる因果関係を有するとともに、処置３及び処置４と自らが原因となる因果関係を有している。

（構造化データ作成装置の機能構成）
図４は、本実施形態に係る構造化データ作成装置１の主要な機能を示す機能構成図である。本実施形態では、図４に示す各機能要素は、構造化データ作成装置１のＣＰＵ１３がコンピュータプログラムに基づき装置全体を制御することにより実現される。したがって、図４の各機能要素はその機能を実現するためのコンピュータプログラムとして提供することができる。もっとも、図４に示す機能要素の一部又は全部は専用のハードウェアにより実現してもよい。

画像閲覧部１０１は、読影対象となる画像を、ＰＡＣＳ５を介して医用画像ＤＢ８から読み出し、出力デバイス１２に表示する。また、入力デバイス１１を介したユーザ（読影医等）の操作に応じて、表示画像の変更、画像処理の適用等、画像閲覧に関する様々な処理を実行する。

レポート項目作成部１０２はレポート項目を作成し、レポート項目を一意に識別するＩＤと、レポート項目が属するレポートを一意に識別するためのレポートＩＤ、項目の種類を項目内容に自動的に付与して項目テーブル７０１に保存する。図５（ａ）は、構造化されたレポートを構成する項目のデータベース保存形式である項目テーブル７０１の一例を示している。図５（ａ）の例では、項目ＩＤが「１」〜「６」のレポート項目はレポートＩＤが「１」のレポートを構成しており、項目ＩＤが「７」〜「９」のレポート項目はレポートＩＤが「２」のレポートを構成している。項目ＩＤが「１」「４」「７」のレポート項目の種類は「部位」であり、それぞれ画像が内容として関連付けられている。項目ＩＤが「２」「５」「８」のレポート項目の種類は「所見」であり、項目ＩＤが「３」「６」「９」のレポート項目の種類は「診断」である。これらのレポート項目の内容にはテキストデータ等の文書データが関連付けられている。

レポート項目内容編集部１０３は、レポート項目の内容を編集し、編集結果を記憶部１１２の項目テーブル７０１の該当箇所へ保存する。関係情報作成部１０４は、任意のレポート項目間の関係情報を作成する。関係情報は、関係情報を一意に識別するための関係ＩＤと、２つのレポート項目のＩＤとその間の関係の種類で構成される。なお、関係情報作成部１０４では、レポート項目間の関係の種類を自動的に決定する。関係の種類の決定手法については、図８を用いて後述する。

関係情報保存部１０５は、関係情報作成部１０４で作成された関係情報を、記憶部１１２の関係テーブル７０２に保存する。図５（ｂ）は、関係情報のデータベース保存形式である関係テーブル７０２の一例を示している。図５（ｂ）の例では、関係ＩＤが「１」「３」「６」の関係は対応関係を示し、関係ＩＤが「２」「４」「５」「７」の関係は因果関係を示している。関係の種類が原因／結果の関係（即ち因果関係）である場合には、レポート項目ＩＤ１が原因、レポート項目ＩＤ２が結果となるように保存する。例えば、関係ＩＤ「２」の関係においては、項目ＩＤ「２」のレポート項目が原因、項目ＩＤ「３」のレポート項目が結果となる因果関係を表している。

記憶部１１２は項目テーブル７０１、関係テーブル７０２を一時的に記憶する。また、記憶部１１２は後述する発言情報取得部１０６、資料情報取得部１０７、辞書データ取得部１０８、レポート情報取得部１１１から取得した情報を一時的に記憶する。

関係情報提示部１１３は関係テーブル７０２の内容に従って、レポート項目間の関係を出力デバイス１２に表示する。レポート保存部１１４は、項目テーブル７０１、関係テーブル７０２の内容を、構造化データとしてＨＩＳ２を介して読影レポートＤＢ７へ保存する。なお、図５に示したテーブルの構成は一例であり、項目テーブル７０１、関係テーブル７０２と同等の情報を持つものであれば、構造化データの形式は問わない。例えば、構造化データの内容を、ＸＭＬ等で定義されたフォーマットに変換して保存してもよい。

上述した機能要素１０１〜１０５、及び機能要素１１２〜１１４を利用することにより、ユーザは構造化された読影レポートを手動で作成及び編集することができる。一方、機能要素１０６〜１１１は、ユーザが自由な形式で記述した非構造化レポートを、構造化されたレポートに変換するための機能要素である。本実施形態では、ユーザが構造化されたレポートを直接作成するのを支援するための処理と、機能要素１０６〜１１１が、非構造化レポートを、カンファレンスの場で議論された内容に応じて構造化レポートへ変換する処理について説明する。以下、非構造化レポートについて議論する場を医療カンファレンス（以降ではカンファ、カンファレンスとも記す）として説明する。

発言情報取得部１０６はカンファ中になされた発言内容に関する情報を取得する。後述するように、発言情報取得部１０６は、カンファ中になされた発言の音声として取得し、音声認識によりテキスト情報として発言の情報を取得する。資料情報取得部１０７はカンファ中に参照された資料に関する情報を取得する。辞書データ取得部１０８は、辞書ＤＢ９から辞書データを取得する。取得された情報はカンファ中に発言内容を取得する際や、レポート項目の作成、レポート項目間の関係情報の作成を実施する際に使用される。

図６は、辞書ＤＢ９から取得される辞書データの一例を示す図である。図６（ａ）、図６（ｂ）、図６（ｃ）は、それぞれ、部位、病変、疾患に関するキーワード情報の一例を示している。図６（ｄ）は係り受け語に関するキーワード情報の一例を示している。図６（ｅ）は「所見」に関する文に用いられやすい語尾、及び、「診断」に関する文に用いられやすい語尾の情報の一例を示している。図６の詳細な説明は後述する。

レポート情報取得部１１１は、読影レポートＤＢ７に保存されている読影レポートに関する情報を取得する。対応関係決定部１０９及び関係情報反映部１１０は、レポート項目間の関係情報を特定する。対応関係決定部１０９は、自然文により記載された読影レポートから作成された構造化中間データと、読影レポートを用いたカンファレンスにおいて取得された情報に基づき作成された構造化仮データとの対応関係を決定する。関係情報反映部１１０は、対応関係決定部１０９により決定された対応関係に基づいて、中間データに含まれる項目の間に関係情報を付与して構造化データを作成する。

（ＧＵＩ）
図７は、本実施形態に係る構造化データ作成装置１のＧＵＩ（Graphical User Interface）の概要を示す概略図である。図７は、レポート入力画面の一例を示している。医用画像閲覧画面１３１には、読影対象となる画像を表示する。医用画像閲覧画面１３１に対する操作を介して、画像閲覧部１０１の機能を実現して、医用画像を出力デバイス１２に表示する。

患者情報表示エリア１３２には、読影対象となる画像の被写体である患者の情報を表示する。例えば、患者ＩＤ、名前、年齢、過去の病歴等が患者情報に該当する。依頼情報表示エリア１３３には、依頼元の部門情報や依頼された検査、依頼医からの依頼内容を表示する。

レポート作成エリア１３４は、「部位」、「所見」、「診断」、「処置」のエリアに分割されており、各々に対応するレポート項目の内容を入力するためのレポート項目入力枠１３５と、入力枠を追加するための入力枠追加ボタン１３６を表示する。レポート項目入力枠１３５は一つのレポート項目と対応づいており、ユーザによるその内容の編集操作を受け付ける。レポート項目入力枠１３５に対する操作を介して、レポート項目内容編集部１０３の機能を実行して、レポートの内容をユーザが編集できるようにする。入力枠追加ボタン１３６が押下されると、レポート項目作成部１０２の機能を実行し、新規のレポート項目を作成する。さらに、作成したレポート項目に対応するレポート項目入力枠１３５を表示する。なお、入力枠追加ボタン１３６は項目の種類毎に用意され、押下されたボタンに応じて対応する種類のレポート項目を作成する。また、入力枠の追加は入力デバイス１１を介したキー操作により行われてもよい。例えば、「所見」のレポート項目の内容を編集中にＴＡＢキーを押下することで、「診断」のレポート項目を作成してもよい。同様に、「所見」のレポート項目の内容を編集中にＲＥＴＵＲＮキーが２回連続で押下されたことに応じて、別の「所見」のレポート項目を作成してもよい。

レポート項目入力枠１３５は、入力デバイス１１を介してユーザにより選択される。ユーザは複数の入力枠を同時に選択することもできる。選択した入力枠が他の入力枠へドラッグ＆ドロップされると、ドラッグ元の入力枠に対応するレポート項目とドロップ先の入力枠に対応するレポート項目の間の関係付けが指示されたものとみなす。このとき、関係情報作成部１０４及び関係情報保存部１０５の処理を順次実行する。すなわち、ドラッグ元のレポート項目とドラッグ先のレポート項目との間の対応関係または因果関係を示す関係情報を作成して、保存する。図８を参照して後述するように、対応関係と因果関係のどちらを作成するかは、ドラッグ元のレポート項目の種類と、ドラッグ先のレポート項目の種類とに応じて決定される。

レポート作成エリア１３４において、関係情報提示部１１３は、レポート項目間の関係を、レポート項目入力枠１３５を結ぶ線として表示する。関係の種類が対応関係である場合には、入力枠同士を結ぶ単純な線として表示する。関係の種類が因果の関係である場合には、根拠となるレポート項目の入力枠から結果となるレポート項目の入力枠への矢印として表示する。

医用画像閲覧画面１３１からレポート作成エリア１３４へ画像がドラッグ＆ドロップされると、レポート項目作成部１０２により「部位」のレポート項目を作成し、それに対応する入力枠を表示する。同時に、作成した「部位」のレポート項目と対応関係を持つ「所見」のレポート項目を作成し、その入力枠を表示する。また、医用画像閲覧画面１３１から、既に存在するレポート項目入力枠１３５へ画像がドラッグ＆ドロップされると、画像のソフトコピーをドロップ先のレポート項目の内容として登録する。レポート保存ボタン１３７が押下されると、レポート保存部１１４によりレポートの内容を読影レポートＤＢ７に保存する。

（関係情報作成処理）
図８は、関係情報作成部１０４において、レポート項目間の関係の種類を自動的に決定する処理（関係情報作成処理）の手順を表すフローチャートである。図８の各ステップはＣＰＵ１３の制御に基づき実行される。ここでは一例として、入力枠のドラッグ＆ドロップによりレポート項目間の関係付けが指示された場合について説明する。ドラッグ元のレポート項目、ドロップ先のレポート項目は共に複数選択されており、それぞれの集合におけるｎ番目のレポート項目をＤＲＡＧ（ｎ）、ＤＲＯＰ（ｎ）で参照できるとする。

Ｓ８０１では、変数ｉに０を代入する。Ｓ８０２では、変数ＫｉにＤＲＡＧ（ｉ）の種類を代入する。Ｓ８０３では、変数ｊに０を代入する。Ｓ８０４では、変数ＫｊにＤＲＯＰ（ｊ）の種類を代入する。Ｓ８０５では、ＤＲＡＧ（ｉ）の種類ＫｉとＤＲＯＰ（ｊ）の種類Ｋｊを比較する。項目の種類が同じである場合（Ｓ８０５でＹＥＳ）は、Ｓ８０６へ進む。異なる場合（Ｓ８０５でＮＯ）は、Ｓ８０７へ進む。Ｓ８０６では、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）の関係を、ＤＲＡＧ（ｉ）を原因、ＤＲＯＰ（ｊ）を結果とする因果関係であると決定する。そして、Ｓ８１４へ進む。

Ｓ８０７では、ＤＲＡＧ（ｉ）の種類ＫｉとＤＲＯＰ（ｊ）の種類Ｋｊのどちらか一方が「所見」であり、かつ他方が「診断」であるかどうかを判定する。一方が「所見」かつ他方が「診断」である場合（Ｓ８０７でＹＥＳ）には、Ｓ８０８へ進む。それ以外の場合（Ｓ８０７でＮＯ）はＳ８０９へ進む。Ｓ８０８では、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）の関係を決定する。すなわち、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）のうち、項目の種類が「所見」である方を原因、項目の種類が「診断」である方を結果とする因果関係として決定する。そして、Ｓ８１４へ進む。

Ｓ８０９では、ＤＲＡＧ（ｉ）の種類ＫｉとＤＲＯＰ（ｊ）の種類Ｋｊのどちらか一方が「診断」であり、かつ他方が「処置」であるかどうかを判定する。一方が「診断」かつ他方が「処置」である場合（Ｓ８０９でＹＥＳ）には、Ｓ８１０へ進む。それ以外の場合（Ｓ８０９でＮＯ）はＳ８１１へ進む。Ｓ８１０では、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）の関係を決定する。すなわち、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）のうち、項目の種類が「診断」である方を原因、項目の種類が「処置」である方を結果とする因果関係であるとして決定する。そして、Ｓ８１４へ進む。

Ｓ８１１では、ＤＲＡＧ（ｉ）の種類ＫｉとＤＲＯＰ（ｊ）の種類Ｋｊのどちらか一方が「部位」であり、かつ他方が「所見」であるかどうかを判定する。一方が「部位」かつ他方が「所見」である場合（Ｓ８１１でＹＥＳ）には、Ｓ８１２へ進む。それ以外の場合（Ｓ８１１でＮＯ）はＳ８１３へ進む。Ｓ８１２では、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）の関係を対応関係に決定する。そして、Ｓ８１４へ進む。Ｓ８１３では、ＤＲＡＧ（ｉ）とＤＲＯＰ（ｊ）の間に直接的な関係はないと判断し、関係情報を作成しない。そして、Ｓ８１４へ進む。

Ｓ８１４では、変数ｊに１を加算する。Ｓ８１５では、変数ｊとドロップ先のレポート項目の数を比較する。変数ｊがドロップ先のレポート項目の数以上である場合（Ｓ８１５でＹＥＳ）には、Ｓ８１６へ進む。それ以外の場合（Ｓ８１５でＮＯ）はＳ８０４へ進む。

Ｓ８１６では、変数ｉに１を加算する。Ｓ８１７では、変数ｉとドラッグ元のレポート項目の数を比較する。変数ｉがドラッグ元のレポート項目の数以上である場合（Ｓ８１７でＹＥＳ）には、処理を終了する。それ以外の場合（Ｓ８１７でＮＯ）はＳ８０２へ進む。

以上のように、本実施形態に係る構造化データ作成装置１では、「部位」、「所見」、「診断」、「処置」の間の関係を、例えばレポート項目間を直線及び矢印線で結ぶように表示する。これにより、「部位」、「診断」、「処置」のつながりに関する論理の流れを分かりやすく表現することが可能となる。また、レポート項目を別のレポート項目へドラッグ＆ドロップしたことに応じて、レポート項目の種類に応じて項目間の関係を自動的に決定する。このため、ユーザは、レポート項目間の関係づけを容易に編集することが可能である。

（構造化データ作成処理）
次に、非構造化レポートの内容を医療カンファレンスで議論することを通じて、その非構造化レポートに関する構造化データを作成する処理（構造化データ作成処理）について説明する。本実施形態では「処置」の項目の構造化については記載を省略するが、「部位」「所見」「診断」の項目と同様の手法により、「処置」の項目も構造化することが可能である。

図９は、本実施形態で一例として取り上げる非構造化レポートの一例を示す図である。図９に示すように、非構造化レポートは、読影医等のユーザが、撮影画像に基づき所見や診断結果について自由な形式で記載した文書データ（テキストデータ等）と、撮影画像を代表するキー画像を含んでいる。

本実施形態では、このような非構造化レポート（文書情報）をユーザが予め作成しておき、構造化データ作成装置１は、この非構造化レポートを解析して、非構造化レポートに含まれる複数の項目を含む中間データを作成する。一方で、ユーザは、この非構造化レポートをディスプレイ等の出力デバイス１２に出力しながら、カンファレンスを行う。そして、カンファレンス中に参加者が発した発言内容や、出力デバイス１２において注目された個所等に基づいて、複数の種類の項目と当該項目の間の関係情報とを含む構造化レポート（構造化仮データ）を作成する。ここで、参加者が発した発言内容は、参加者から出力された音声データを音声認識技術によりテキスト化し、そのテキスト内容を解析することで非構造化データに含まれるレポート項目間の関係を取得する。そして、中間レポートに含まれる項目と構造化仮データに含まれる項目との対応関係を決定して、中間データに項目間の関係情報を付与して構造化データを作成する。

このように、本実施形態では、自然文を含む文書情報から作成された項目のみを含む中間データに、その文書情報を用いてなされたカンファレンスにおける議論の内容を反映して構造化データを作成する。したがって、本実施形態によれば、ユーザは手間をかけることなく、文書情報に含まれる項目間の関係を構造化した構造化データを取得することができる。

図１０は、構造化データ作成装置１が、カンファレンスを通じて、非構造化レポートから構造化データを作成する際の、処理手順の概要を示すフローチャートである。図１０の各ステップはＣＰＵ１３の制御に基づき実行される。Ｓ１００１では、カンファレンスでの議論対象の非構造化レポートから、構造化中間レポートを作成する。構造化中間レポート（中間データ）とは、レポート項目間の関係情報の作成が未実施の、構造化された読影レポートである。カンファが開始すると、Ｓ１００２で構造化レポートの作成に必要な情報をカンファ中に取得する。

カンファが終了すると、Ｓ１００３では、Ｓ１００２で取得した情報を用いて構造化中間レポートの項目間の関係付けを実施し、構造化レポートを作成する。Ｓ１００４では、Ｓ１００３で作成した構造化レポートの内容を確認するための画面を関係情報提示部１１３が表示し、ユーザからの修正を受け付ける。そして、ユーザからの修正を構造化データに反映したうえで、レポート保存部１１４が最終的な構造化データを読影レポートＤＢ７に保存する。ユーザによる修正は、レポート項目作成部１０２、レポート項目内容編集部１０３、関係情報作成部１０４、関係情報保存部１０５の機能により、図７に示したＵＩ上で実施する。以降では、Ｓ１００１、Ｓ１００２及びＳ１００３の詳細について説明する。

図１１はカンファレンスでの議論対象の非構造化レポートから、構造化レポートを作成するための手順を示す概念図である。非構造化レポート１１０１は、カンファレンスの議論対象の読影レポートであり、自然文により自由記載の形式で作成された読影レポートである。非構造化レポート１１０１は事前にユーザにより作成されており、カンファレンス実施前に、レポート情報取得部１１１によって、読影レポートＤＢ７から取得される。Ｓ１１１１では構造化中間レポート（中間データ）１１０２が作成される。Ｓ１１１１は図１０におけるＳ１００１に対応する。

Ｓ１１１２では非構造化レポート１１０１についてカンファレンスで議論した際に、後述するＳ１１１３及びＳ１１１４での処理で必要となるカンファレンスでの発言に関する情報と、参照された資料に関する情報を収集する。Ｓ１１１２は図１０におけるＳ１００２に対応する。

図１１に示したテーブル群１１０３は、Ｓ１１１２において収集された情報の概念図であり、テーブルＡ１１３１及びテーブルＢ１１３２により構成される。テーブルＡ１１３１はカンファにおける発言内容に関する情報を記録した結果を有する。テーブルＡ１１３１の具体的な構成例を図１２のテーブル（ａ）に示す。テーブルＡ１１３１はカンファにおける発言内容を、少なくとも各発言がなされた時刻と発言が完了した時刻の情報と共に記録する。テーブルＡ１１３１の具体的な作成手順については図１３を用いて後述する。

テーブルＢ１１３２はカンファ中に参照された資料に関する情報を記録した結果を有する。テーブルＢ１１３２の具体的な構成例を図１２のテーブル（ｂ）に示す。テーブルＢ１１３２はカンファ中に参照された資料に関して、少なくとも当該資料が注目され始めた時刻と、注目され終わった時刻、当該資料のどの部分が注目されていたかの情報を有する。更に、出力デバイス１２がディスプレイであった場合に、当該資料が画面上のどの位置に配置されていたかの情報を有する。テーブルＢ１１３２の具体的な作成手順については図１４を用いて後述する。

Ｓ１１１３及びＳ１１１４では、テーブル群１１０３の情報に基づいて構造化レポート（仮データ）１１０４を作成する。構造化レポート１１０４における一つの所見項目、または一つの診断項目は、テーブルＡ１１３１の発言内容の１つの行の内容により作成され、「部位」に関するレポート項目はテーブルＢ１１３２で参照された資料が具体的な部位項目の内容となる。Ｓ１１１３では、テーブルＡ１１３１及びテーブルＢ１１３２の情報を用いて、レポート１１０４における部位項目と所見項目の間に関係情報を作成する。Ｓ１１１４では、テーブルＡ１１３１及びテーブルＢ１１３２の情報を用いてレポート１１０４における所見項目と診断項目の間に関係情報を作成する。構造化レポートの項目の作成、及び項目間の関係付けの詳細な手順は後述する。

Ｓ１１１５では、構造化レポート１１０４における項目と、構造化中間レポート１１０２における項目を比較し、両レポートのどの項目同士が対応するのかの対応付けを行う。この対応付けに関する処理は、対応関係決定部１０９により実現される。なお、テーブル群１１０３は非構造化レポート１１０１について議論がなされるカンファ中に得られた情報である。故に、テーブル群１１０３に基づいて作成された構造化レポート１１０４と非構造化レポート１１０１から直接作成された構造化中間レポート１１０２には有意な相関がある。

Ｓ１１１６では、Ｓ１１１５の処理の結果に応じて、構造化レポート１１０４の関係情報を構造化中間レポート１１０２に反映させる。本処理は関係情報反映部１１０により実現される。上述のＳ１１１１〜Ｓ１１１６の処理により、非構造化レポート１１０１を構造化レポート１１０５に変換することができる。つまり、非構造化レポート１１０１の構造化データを作成することができる。

図１１に示した手順において用いる辞書データについて、図６を参照して説明する。図６（ａ）は部位情報に関する辞書である。図６（ａ）に例示する辞書データでは、辞書に登録された「部位」に関する語彙が、図１１の構造化中間レポート１１０２に記載されているか否かという情報を伴って記録されている。図１１の例では、「部位」を示す語彙（用語）ごとに、「○」は構造化中間レポート１１０２に記載されていることを示し、「×」は構造化中間レポート１１０２に記載されていないことを示している。前述のように、本実施形態では、カンファレンスにおいて非構造化レポートを参照してなされた発言の音声データを取得し、その音声データを解析して、非構造化データに含まれるレポート項目の抽出や関係情報の取得を行う。辞書に登録されている情報に関する語彙については、音声データの波形の、予め多くのパターンの学習データを準備し、後述のＳ１３２０２の文字列変換を精度よく実施できるように備えられている。

図６（ｂ）（ｃ）の辞書には、それぞれ「病変名」、「疾患名」に関する各語彙が、「部位」に関する辞書と同様の目的で、図１１の構造化中間レポート１１０２に記載されているか否かの情報を伴って記録されている。すなわち、「病変名」、「疾患名」の語彙ごとに、「○」は構造化中間レポート１１０２に記載されていることを示し、「×」は記載されていないことを示している。なお、図６（ａ）〜（ｃ）の辞書の各ワードに関して、構造化中間レポート１１０２に記載されているか否かという情報はＳ１１１１（図１０のＳ１００１）にて記録される。

図６（ｄ）は、係り受け語に関する辞書であり、発言された音声から、発言の根拠を述べる箇所を特定するためのワードが登録されている。図６（ｄ）に登録されているワードは辞書の中でＡ、Ｂ、Ｃの３種類に分類されている。種類Ａの係り受けは、一つの文を、根拠について述べている部分と、その根拠により導かれた結論の部分に分離する。種類Ａの係り受け語の前に根拠が述べられる。種類Ｂの係り受け語は、文と文を繋ぐ接続詞のうち、係り受け語の前に根拠が述べられるものである。したがって、種類Ａ又は種類Ｂの係り受け語に相当する語彙が用いられたときは、その語彙の前に存在するレポート項目を根拠、その語彙の後に存在するレポート項目を結果とする関係情報を取得することができる。種類Ｃの係り受け語は、文と文を繋ぐ接続詞のうち、係り受け語の後に根拠が述べられるものである。したがって、種類Ｃの係り受け語に相当する語彙が用いられたときは、その語彙の後に存在するレポート項目を根拠、その語彙の前に存在するレポート項目を結果とする関係情報を取得することができる。

図６（ｅ）は、「所見」と「診断」に関する文に其々用いられやすい、文中の述語部が登録されている。したがって、図６（ｅ）の辞書において「所見」に対応するワードを含むレポート項目はその種類を「所見」と判定し、「診断」に対応するワードを含むレポート項目はその種類を「診断」と判定することができる。

●中間レポート作成（Ｓ１１１１）
次に、図１０、図１１を参照して概略を説明した構造化レポート作成処理の詳細な処理手順を説明する。まず、図１１のＳ１１１１（図１０のＳ１００１に対応）にて非構造化レポート１１０１を構造化中間レポート（中間データ）１１０２に変換する処理の手順について説明する。前述のように、Ｓ１１１１では、自然文を含む文書情報を解析して、当該文書情報に含まれる前記複数の項目を含む中間データを作成する中間データ作成処理を行う。ここでは、文書情報に含まれる自然文を少なくとも１つの部分に区切り、各部分について、少なくとも１つの種類のいずれの項目にあたるかを、項目の種類に関する辞書データを参照して判定することにより、中間データを作成する。本処理はレポート項目作成部１０２により実施される。

部位項目は、非構造化レポート１１０１に添付されている資料から作成する。添付されている資料毎に、その資料を部位項目として作成する。また、所見項目及び診断項目は、非構造化レポート１１０１に記載の自然文を解析することで作成する。まず、自然文を、句点で区切る。

句点で区切られた結果、一つの文に図６（ｂ）に登録されているワードが１つ含まれており、かつ、図６（ｃ）に登録されているワードが１つも含まれていない場合、その文の内容を持つ所見項目を作成する。その際に、図６（ｂ）に当該ワードが非構造化レポート１１０１に含まれていたということを辞書１３（ｂ）に記録する。すなわち、図６（ｂ）の例では、一つの文に含まれているワードに対応する「病変名」が「×」として記録されていた場合は、その記録を「○」へ変更する。

句点で区切られた結果、一つの文に図６（ｂ）または図６（ｃ）に登録されているワードが１つも含まれておらず、かつ、大きさ・形状・濃度・質感に関連するワードが含まれる場合は、その文の内容を持つ所見項目を作成する。

句点で区切られた結果、一つの文に図６（ｃ）に登録されているワードが１つ含まれており、かつ、図６（ｂ）に登録されているワードが１つも含まれていない場合、その文の内容を持つ診断項目を作成する。その際に、図６（ｃ）に当該ワードが非構造化レポート１１０１に含まれていたということを辞書１３（ｃ）に記録する。すなわち、図６（ｃ）の例では、一つの文に含まれているワードに対応する「疾患名」が「×」として記録されていた場合は、その記録を「○」へ変更する。

句点で区切られた結果、一つの文に図６（ｂ）または図６（ｃ）に登録されているワードが、計２つ以上含まれている場合、自然言語解析の手法を使って、その文を複数の文字列に区切る。具体的には、一つの文に図６（ｂ）または図６（ｃ）に登録されているワードが最大で計１つとなるように区切る。文中において主語述語の関係を持つ部分は同じ文字列に含まれることを優先したうえで、”接続詞”及び”助詞”を区切りの境界として区切る。文が区切られた結果作成された文字列の中に、図６（ｂ）に登録されているワードが含まれている場合は、その文字列の内容を持つ所見項目を作成する。その際に、図６（ｂ）に当該ワードが非構造化レポート１１０１に含まれていたということを辞書１３（ｂ）に記録する。すなわち、そのワードに対応する「病変名」が「×」として記録されていた場合は、その記録を「○」へ変更する。文が区切られた結果作成された文字列の中に、図６（ｃ）に登録されているワードが含まれている場合は、その文字列の内容を持つ所見項目を作成する。その際に、図６（ｃ）に当該ワードが非構造化レポート１１０１に含まれていたということを辞書１３（ｃ）に記録する。すなわち、そのワードに対応する「疾患名」が「×」として記録されていた場合は、その記録を「○」へ変更する。

●テーブル作成（Ｓ１１１２）
次に、図１１のＳ１１１２（図１０のＳ１００２に対応）にて、カンファレンスにおける発言内容を収集してテーブルＡ１１３１を作成する処理について、図１３を参照して説明する。Ｓ１１１２では、文書情報を含む資料を用いてなされたカンファレンス（議論）に関する議論情報を取得する。ここで、議論情報には、議論においてなされた発言に関する発言情報と、議論において参照された資料に関する資料情報とが含まれる。この発言情報には発言の内容とその発言がなされた時刻とが含まれ、資料情報には、参照された資料の対象（資料の識別情報、資料の注目位置の情報等）と、その参照がなされた時刻とが含まれる。図１３は、図１１のＳ１１１２にてテーブルＡ１１３１を作成する処理の手順を示すフローチャートである。この処理は、ＣＰＵ１３の制御に基づき発言情報取得部１０６により実施される。

図１３の左側のフローチャートはカンファ中に参加者により発言された言葉を音声として認識し、文字データに変換して出力する処理の手順を示している。図１３の右側のフローチャートは、左側のフローチャートの処理により出力された文字データからテーブルＡ１１３１の各行を作成する処理の手順を示している。

まず、図１３の左側のフローについて説明する。Ｓ１３０１では入力デバイス１１を用いて音声のアナログデータを取得する。この時、アナログデータが取得された時刻情報も同時に取得する。入力デバイスとしては、例えば、マイク等が使用される。Ｓ１３０２では、Ｓ１３０１で取得した音声のアナログデータを、文字列に変換する。その際、発言情報取得部１０６は、辞書データ取得部１０８により取得した図６（ａ）〜（ｄ）に示す医療辞書及び係り受け語に関する辞書を用いて、少なくとも必要な情報に関する文字列変換の精度が良くなるようにすることができる。また、医療に関するワードの情報を有する医療辞書や根拠を表す係り受けワードに関する情報を有する係り受け辞書に含まれるワードの音声データを予め学習しておくことで、音声認識によりワードを精度よく取得することができる。Ｓ１３０３ではＳ１３０２で生成した文字列を、Ｓ１３０１で取得した時刻情報にもとづいて、文字列に対応する発言がなされた時刻情報と共に所定の出力ファイルに出力する。

Ｓ１３０４では、カンファレンスが終了しているか否かを判定し、カンファレンスが終了していない場合（Ｓ１３０４でＮＯ）はＳ１３０１〜Ｓ１３０３の処理を続行する。カンファレンスが終了していた場合（Ｓ１３０４でＹＥＳ）は、Ｓ１３０１〜Ｓ１３０３の処理を終了する。

次に、図１３の右側のフローについて説明する。図１３の右側の処理は、図１３の左側のフローの処理が終了してから実行してもよいし、左側のフローの処理と並行して実行してもよい。

Ｓ１３０５では、Ｓ１３０３で出力された文字列データを、時間的な間、及び図６（ｄ）に例示した係り受けに関するワードを境に、複数の文字列に区切る。Ｓ１３０６及びＳ１３０７では、Ｓ１３０５で複数の文字列の境界の検出に利用した係り受けのワードを、作成された複数の文字列のうち、適切な文字列に加える処理を実施している。より具体的には、種類Ａのワードはそのワードの直前の文字列に（Ｓ１３０６）、種類Ｂ、Ｃのワードはそのワードの直後の文字列に加える（Ｓ１３０７）。例えば、「○○○なので△△△ですね」という文字列が与えられた場合、「なので」は係り受けに関するワード（図６（ｄ））にあたる。そのため、Ｓ１３０５では、この文字列を「なので」を境に、「○○○」「なので」「△△△ですね」の３つに分解する。そして、「なので」は種類Ａのワードにあたるので、Ｓ１３０６において「なので」をその直前の文字列「○○○」に加えて、「○○○なので」という文字列にまとめる処理を行う。同様に、例えば、「○○○ですね。なぜなら△△△」という文字列が与えられたときは、Ｓ１３０５でこの文字列を「○○○ですね。」「なぜなら」「△△△」の３つに分解し、Ｓ１３０７で「○○○ですね。」「なぜなら△△△」とまとめることになる。

Ｓ１３０８では、Ｓ１３０５〜Ｓ１３０７で作成された各文字列の開始時刻及び終了時刻を特定する。文字列の開始時刻とはその文字列の基となった発言が開始された時刻であり、終了時刻とは発言が終了した時刻である。これはＳ１３０３で出力された文字列データに付与された時刻データを基に特定する。Ｓ１３０９では、Ｓ１３０５〜Ｓ１３０７で作成された各文字列を、Ｓ１３０８で特定された各文字列の開始時刻・終了時刻と共にテーブルＡ１１３１の一つの行として、テーブルＡ１１３１を作成する。つまり、一つの文字列から、テーブルＡ１１３１の一つの行が作成される。

次に、図１１のＳ１１１２（図１０のＳ１００２に対応）にて、カンファレンス注目された資料の情報に基づいてテーブルＢ１１３２を作成する処理について、図１４を参照して説明する。図１４は、図１１のＳ１１１２にてテーブルＢ１１３２を作成する処理の手順を示すフローチャートである。この処理は、ＣＰＵ１３の制御に基づき資料情報取得部１０７により実施される。

図１４の左側のフロー図では、カンファレンスを通して、資料が出力デバイス１２に表示されたことを検知し（Ｓ１４０１）、更に表示が終了したことを検知する（Ｓ１４０２）。資料が表示された際（Ｓ１４０１でＹＥＳ）には、出力デバイス１２がディスプレイであった場合は、資料が画面上のどの位置に表示されたのかの情報を取得する（Ｓ１４０４）。更に、表示された資料を、カンファレンスで注目対象となる資料の候補とみなし、別スレッドでの監視対象として登録する（Ｓ１４０５）。なお、Ｓ１４０２で資料の表示が終了したことを検知した場合（Ｓ１４０２でＹＥＳ）には、その資料をカンファレンスで注目対象となる資料の候補から解除する（Ｓ１４０６）。

Ｓ１４０３ではカンファレンスが終了したか否かを判断する。カンファレンスが終了していない場合（Ｓ１４０３でＮＯ）、Ｓ１４０１とＳ１４０２の処理を再度実施する。カンファレンスが終了した場合（Ｓ１４０３でＹＥＳ）、図１４に示すフロー図の全ての処理を終了する。

カンファレンスで注目対象となる資料の候補となった資料に対しては、図１４の真ん中のフロー図により、資料に対するイベントの監視を開始する。監視対象となった資料が注目された際には（Ｓ１４０７〜Ｓ１４０９）、テーブルＢ１１３２を更新する処理を開始する（Ｓ１４１１〜Ｓ１４１３）。なお、資料が注目されたことは、発表者がポインティング装置を用いて資料を明示的に指し示すこと（Ｓ１４０７）や、参加者の視線が資料に向けられたこと（Ｓ１４０８）や、資料を注目することを示唆する発言があったこと（Ｓ１４０９）により判断する。ここで、ポインティング装置には、例えば、マウスやレーザポインタ等が含まれる。

資料が注目された際のテーブルＢ１１３２を更新する処理（Ｓ１４１１〜Ｓ１４１３）は、図１４の右側のフローに示す手順で実施される。Ｓ１４１４では、注目された資料、資料の画面配置、及び資料のどの部分が注目されているかを特定し、それと一致する行がテーブルＢ１１３２に既に存在するか否かをサーチし、終了時刻のカラムが最も遅い行を抽出する。

Ｓ１４１５では、Ｓ１４１４で抽出した行の終了時刻と、今回注目対象が注目されている時刻とを比較することにより、その資料が連続して注目されていたものか、注目が開始されたばかりなのかを判定する。この判定は、例えば、抽出した行の終了時刻が、現在日時からＸ秒以内の場合か否かを算出することで実現できる。Ｘの具体的な値は、カンファレンスの状況に応じて、チューニングして最適値を予め設定しておくことができる。

連続して注目されていた場合（Ｓ１４１５でＹＥＳ）は、抽出した行の終了時刻を現在時刻に更新し（Ｓ１４１６）、処理を終了する。注目が開始されたばかりの場合（Ｓ１４１５でＮＯ）は、テーブルＢ１１３２に新規の行を作成する（Ｓ１４１７）。テーブルＢ１１３２に新規の行を追加する際には、”開始時刻”カラムと”終了時刻”カラムに現在時刻を設定する。”種別”カラムには、Ｓ１４１１〜Ｓ１４１３のいずれの経路でＳ１４１６に到達したかを識別する情報を設定する。すなわち、マウスのポインタ指示に応じて（Ｓ１４０７でＹＥＳ）カラムを追加した場合は「マウス」の種別を設定する。視線の検知に応じて（Ｓ１４０８でＹＥＳ）カラムを追加した場合は「視線」の種別を設定する。発言の検知に応じて（Ｓ１４０９でＹＥＳ）カラムを追加した場合は「発言」の種別を設定する。”資料”カラムには注目されている資料を特定する情報を設定する。”注目位置”カラムには、注目されている資料のどの部分が注目されているのかを特定する情報を設定する。”画面配置”カラムには、注目されている資料が、ディスプレイのどの位置に表示されているかを特定する情報を設定する。なお、どの資料のどの部分が注目されているかを検知する手法は、例えば、特開２０１５−１１８４４８号公報に記載されている。そこで、本実施形態においても特開２０１５−１１８４４８号公報に記載の手法を活用することができる。

●テーブルに基づく構造化レポート作成（Ｓ１１１３、Ｓ１１１４）
次に、図１１におけるＳ１１１３及びＳ１１１４の処理により取得されたカンファレンスの情報に基づいて構造化レポート（仮データ）を作成する処理について、図１５を参照して説明する。図１５は、カンファレンスから得られた情報に基づいて構造化レポートを作成する処理の手順を示すフローチャートである。本処理は、ＣＰＵ１３の制御に基づきレポート項目作成部１０２、関係情報作成部１０４により実施される。

仮データの作成では、発言情報及び資料情報から、項目の種類に関する辞書データを参照して、いずれかの種類にあたる項目を抽出し、抽出された各項目の間の関係情報を、項目の種類ないし係り受け語に関する辞書データを参照して決定する。より具体的には、発言の内容から抽出された項目と、当該発言と同一の時間帯に参照された資料の対象から抽出された項目との間に関係があるとして、関係情報を決定する。

Ｓ１５０１では、テーブルＡ１１３１及びテーブルＢ１１３２の情報に基づいて、構造化中間レポートを作成する。部位項目は、テーブルＢ１１３２から作成する。テーブルＢ１１３２の一行毎に”資料”カラムの資料を部位項目として作成する。なお、同じ資料を基に作成され、なおかつ基となった資料の注目箇所も同じ部位項目が複数あった場合は、一つの部位項目のみを作成して共通の部位項目として扱ってもよい。

所見項目及び診断項目は、テーブルＡ１１３１から作成する。テーブルＡ１１３１の一行毎に”発言内容”カラムの内容をチェックし、図６（ｂ）と図６（ｃ）に示した医療辞書に登録されている「病変名」または「疾患名」を含むかを判定する。”発言内容”カラムに「病変名」が含まれる場合は、その”発言内容”カラムの内容を所見項目として作成する。”発言内容”カラムに疾患名が含まれる場合は、その”発言内容”カラムの内容を診断項目として作成する。なお、所見項目及び診断項目は、図６（ｅ）に示した医療辞書に登録されているワードで区別できることが多い。そのため、必要に応じて図６（ｂ）、図６（ｃ）、及び図６（ｅ）の各辞書を組み合わせて所見項目を作成するか、診断項目を作成するかを決定してもよい。

テーブルＡ１１３１の行のうち、所見項目にも診断項目にも分類されなかった行については、大きさ・形状・濃度・質感に関連するワードを含む行は「所見」についての発言であると判断し、その行の内容を持つ所見項目を作成する。その他の項目は診断項目とする。なお、上記のような処理の後にどの項目に分類すべきか不明だったレポート項目は、種別が不明な項目として別途分類するようにしてもよい。

Ｓ１５０２では、「所見」の内容が発言された時間帯に注目されていた対象を特定する。注目対象の特定は、テーブルＢ１１３２を参照して、「所見」の内容が発言された時間帯に対応する資料、注目位置、画面配置を参照して行う。そして、発言された「所見」の内容によって作成された所見項目と、特定された対象である資料により作成された部位項目の間に対応関係の関係情報を作成する。

Ｓ１５０３〜Ｓ１５０５ではＳ１５０１で作成された構造化中間レポートを構成する全ての診断項目について、その診断項目と関係付く項目を特定する。まずＳ１５０３において、Ｓ１５０１において作成された構造化中間レポートの中から一つの診断項目（Ｚ）を選択する。次に、Ｓ１５０２において、その診断項目と対応関係または因果関係を有するレポート項目を特定し、診断項目と特定されたレポート項目とを関係づける。診断項目と関係付くレポート項目を特定するための処理の詳細は、図１６を参照して後述する。次に、Ｓ１５０５において、構造化中間レポートに含まれる全ての診断項目についてＳ１５０４の処理を行ったか否かを判定する。全ての診断項目について処理を行っていない場合（Ｓ１５０５でＮＯ）はＳ１５０３へ戻って、未選択の診断項目についてＳ１５０４の処理を行う。全ての診断項目について処理を行った場合（Ｓ１５０５でＹＥＳ）は処理を終了する。

●関係付く項目の特定（Ｓ１５０４）
次に、Ｓ１５０４において診断項目と関係づけるべきレポート項目を特定する処理の詳細について、図１６を参照して説明する。図１６は構造化レポート１１０４を構成する一つの診断項目（Ｚ）と関係付く項目を特定するための処理手順を示すフローチャートである。

Ｓ１６０１では、診断項目（Ｚ）に図６（ｄ）に記載の辞書に登録されたワードがあるか否かを判定する。すなわち、診断項目として分類されたレポート項目の内容に、種類Ａ、種類Ｂ、種類Ｃのいずれかにあたるワードが含まれるか否かを判定する。含まれていない場合（Ｓ１６０１でＮＯ）、Ｓ１６０２に進む。

Ｓ１６０２では、診断項目（Ｚ）が作成される際に基となったテーブルＡ１１３１の行Ｘを特定する。続いて、行Ｘの開始時刻カラムの値よりも、終了時刻カラムの値が小さい行の中から、行Ｘの開始カラムの値と最も近い終了時刻カラムの値を持つ、所見項目の基となった行Ｙを特定する。そして、行Ｙの発言がなされていた際の注目対象をテーブルＢ１１３２から特定し、その注目対象が、行Ｘが発言されていた際の注目対象に含まれているか否かを判定する。含まれていた場合（Ｓ１６０２でＹＥＳ）はＳ１６０３に進む。Ｓ１６０３では、診断項目（Ｚ）と行Ｘが基となって作成された所見項目の間に関係情報を作成する。

Ｓ１６０４では、診断項目（Ｚ）が作成される際に基となったテーブルＡ１１３１の行Ｘを特定し、行Ｘの開始時刻カラムの値を取得する。次に、行Ｘの開始時刻カラムの値と比較して、終了時刻カラムの値が最も直近の行ＹをテーブルＡ１１３１から取得する。行Ｙが、所見項目が作成された際の基となる行であり、行Ｙの発言に図６（ｄ）の種類Ａの係り受けワードが含まれるか否かを判定する。含まれていた場合（Ｓ１６０４でＹＥＳ）、Ｓ１６０５に進む。Ｓ１６０５では、行Ｙが基となり作成された所見項目の間に関係情報を作成する。

Ｓ１６０６では、診断項目（Ｚ）が作成される際に基となったテーブルＡ１１３１の行Ｘを特定し、行Ｘの発言内容に図６（ｄ）の種類Ｂの係り受けワードが含まれるか否かを判定する。含まれていた場合（Ｓ１６０６でＹＥＳ）、Ｓ１６０７に進む。Ｓ１６０７では、行Ｘの開始時刻カラムの値よりも、終了時刻カラムの値が小さい行の中から、最も行Ｘの開始カラムの値と近い終了時刻カラムの値を持つ、所見項目の基となった行Ｙを特定する。そして、診断項目（Ｚ）と行Ｙを基に作成された所見項目の間に関係情報を作成する。

Ｓ１６０８では、診断項目（Ｚ）が作成される際に基となったテーブルＡ１１３１の行Ｘを特定し、行Ｘの終了時刻カラムの値を取得する。そして、行Ｘの終了時刻カラムの値よりも開始時刻カラムの値が大きく、かつ行Ｘの終了時刻カラムの値ともっとも近い開始時刻カラムの値を持つ行ＹをテーブルＡ１１３１から特定する。そして、行Ｙの発言内容が図６（ｃ）の種類Ｂの係り受けワードを含むか否かを判定する。含む場合（Ｓ１６０８でＹＥＳ）、Ｓ１６０９に進む。Ｓ１６０９では、行Ｙを基に作成された項目が「所見」か、「診断」かを判定する。所見項目であった場合（Ｓ１６０９で「所見」）Ｓ１６１０に進み、診断項目であった場合（Ｓ１６０９で「診断」）Ｓ１６１１へ進む。Ｓ１６１０では、行Ｙを基に作成された項目と所見項目（Ｚ）の間に関係情報を作成する。Ｓ１６１１では行Ｙを基に作成された診断項目と診断項目（Ｚ）が「原発」（原発癌）と「転移」（転移癌）の関係にあるか否かを判定する。「原発」と「転移」の関係であれば（Ｓ１６１１でＹＥＳ）、Ｓ１６１２に進む。Ｓ１６１２では、行Ｙを基に作成された診断項目と診断項目（Ｚ）の間に、関係情報を付ける。

なお、Ｓ１６０１〜Ｓ１６０３、Ｓ１６０４〜Ｓ１６０５、Ｓ１６０６〜Ｓ１６０７、及び、Ｓ１６０８〜Ｓ１６０１２の各処理は、それぞれ診断項目（Ｚ）に対して実行する。これにより診断項目（Ｚ）に対して複数の項目が関係づけるべき項目として特定されたときは、特定された複数の項目の各々に対応する関係情報を生成する。この場合、診断項目（Ｚ）には一対多の関係が形成されることになる。一方、上記の処理により診断項目と関係づける対象がいずれも特定されなかった場合は、その診断項目には関係情報を生成しない。

なお、診断項目と関係付く項目を特定する手法として、特開２００９−１９３１５７号公報に記載の手法を用いてもよい。特開２００９−１９３１５７号公報の手法では、疾患の種類毎に、どの資料をどの画面領域に表示するかを予め登録したテーブルを用いて、自動で資料を適切な画面領域に表示する。つまり、議論する疾患の種類に応じて参照する資料の画面位置が決まっている。逆に、注目されている資料が画面のどの領域に表示されているかを判定すれば、どの疾患名について議論がなされているかを特定することができる。そこで、本実施形態においては、各診断項目から疾患名を抽出し、その疾患名を議論する際に参照される資料がどの画面領域に表示されるかを特開２００９−１９３１５７号公報の手法により特定する。そして、その診断項目が作成された基となるテーブルＡ１１３１の行から、その診断項目が議論されていた時間帯を取得し。その時間帯の近傍で前述の特定された画面領域に表示されていた資料をテーブルＢ１１３２から特定し、その資料を基に作成された部位項目と対応関係を持つ所見項目を、診断項目と関係付ける項目として決定する。

また、図１６において、診断項目（Ｚ）と関係付くと特定された所見項目だけでなく、その所見項目を含むグル―プに所属する所見項目及び診断項目との間にも同時に関係付けを行ってもよい。例えば、テーブルＡ１１３１の行と行の時間間隔が近い行を同じグループに所属する発言とみなす。具体的には、第一の行の”終了時刻”カラムの値と、第二の行の”開始時刻”カラムの値の差がＹ秒以内であるか否かを算出し、Ｙ秒以内であれば第一の行と第二の行は同じグループであると判定する。Ｙの具体的な値は、発表者が誰であるのか、カンファレンスの状況に応じて、チューニングして最適値を用いることができる。

このように、本実施形態では、発言と発言の間隔が所定の大きさ以上となる箇所や、根拠を表す係り受けワード等を発言内容を分割する境界とし、分割された発言内容を其々一つの所見エントリまたは診断エントリとする。さらに、所見エントリが作成される基となった発言内容が発言された時間帯に参照されていた資料または注目箇所に対応する部位エントリを特定し、所見エントリと部位エントリの間にリンクを作成する。

また、得られた発言内容から、根拠を論じているエントリと、根拠を論じているエントリから導かれる結果を論じているエントリを特定する。そして、根拠を論じているエントリが所見エントリであり、その根拠を論じているエントリから導かれる結果を論じているエントリが診断である場合に、それらのエントリ間にリンクを作成する。

さらに、所見エントリ及び診断エントリが作成される基となった発言内容が発言された時刻に参照されていた資料または注目箇所を其々特定し、参照されていた資料または注目箇所が同じであった場合に所見エントリと診断エントリの間にリンクを作成する。したがって、本実施形態によれば、カンファレンスに関する情報に基づき、構造化データを作成するのに有効な情報を取得することができる。

●構造化中間レポートの対応づけ（Ｓ１１１５）
次に、図１１のＳ１１１５において、非構造化データから生成された構造化中間レポート（中間データ）と、非構造化データからカンファでの発言や注目対象等を基に生成された構造化レポート（仮データ）とを対応付ける処理の詳細を説明する。この処理は、図１０のＳ１００３に対応する。本処理はＣＰＵ１３の制御に基づき対応関係決定部１０９により実施される。Ｓ１１１５では、対応関係決定部１０９が構造化レポート１１０４と構造化中間レポート１１０２を構成する項目の対応関係を決定する。なお、ここで述べる「対応関係」とは、複数のレポート項目が一定の関連性を有するという意味の対応関係とは異なり、構造化レポート１１０４の項目が構造化中間レポート１１０２の項目に相当することを意味する。Ｓ１１１５では、同一の種類の同一の値を有する、中間データに含まれる項目と、仮データに含まれる項目とはこのような対応関係を有すると決定する。

まず、「部位」の項目の対応関係について説明する。部位項目の対応関係は、部位項目が作成させた基となる資料の実体が同じか否かで決定する。また、ＣＴやＭＲＩ等の「部位」を特定できる資料を基に作成された部位項目に関しては、部位項目の実態である医用画像のＤＩＣＯＭ情報も利用して対応関係にあるか否かを決定する。例えば、同じＤＩＣＯＭ画像を基に作成された部位項目ではない場合でも、同じ「部位」に関する資料であれば対応関係にあるとする。ＤＩＣＯＭ情報を基に対応関係の有無を決定する手順を説明する。

まず、構造化レポート１１０４と構造化中間レポート１１０２の其々に記載された部位項目について、ＤＩＣＯＭ情報から部位情報を表す情報を抽出する。その結果、同じ「部位」を示していると判定された場合、その部位項目同士は対応関係にある。複数の候補がある場合、部位エントリに付与されたアノテーション等の他の情報も含めたうえで対応関係を決定する。例えば、構造化中間レポート１１０２の「部位」の項目である医用画像にＲＯＩ（Region Of Interest）が付与されていた場合、ＲＯＩの部分がその医用画像の注目箇所となる。一方、構造化レポート１１０４の「部位」の項目である医用画像に関しては、それが作成された元の情報であるテーブルＡ１１３１の”注目位置”欄の情報が、その医用画像の注目位置となる。両者の注目位置が最も同じ位置の部位項目同士を対応関係があるとする。

次に、「所見」の項目の対応関係について説明する。所見項目の対応付けは、所見項目が有する「部位」と病変の属性の値を比較することで実現する。まず、構造化レポート１１０４と構造化中間レポート１１０２の各所見項目から「部位」を表すワードと病変を表すワードを各項目の属性として抽出する。そして、「部位」と病変の属性値がレポート１１０４とレポート１１０２の所見項目間で一致した場合、それらの所見項目は対応関係にあるとする。なお、「部位」及び病変に関するワードを抽出する際には、図６（ａ）及び（ｂ）の辞書に登録されているワードを検索することとなる。

構造化レポート１１０４の所見項目の内容に「部位」の属得値が省略されて記載されていない場合は、その所見項目と関係付けられている部位項目の情報（例えばＤＩＣＯＭ情報）を代用する。また、所見項目のうち、図６（ｂ）に登録されているキーワードを一つも含まない項目については所見項目が有する「部位」に関する情報と、大きさ・形状・濃度・質感に関連するワードを、マッチングのキーとして対応関係を決定する。

なお、所見エントリに部位を表すワードが存在しない場合は、所見エントリとの間にリンクがある部位エントリから部位を表すワードを推定するようにしてもよい。あるいは、診断エントリに含まれる疾患名を表すワードが存在しない場合、議論目的に応じて予め疾患名毎に設定された参照資料の配置位置や、発言された際に参照されていた資料の配置位置に基づき、診断エントリに記載ない疾患名を推定してもよい。

次に、「診断」の項目の対応付けについて説明する。診断項目の対応付けは、診断項目が有する疾患名を比較することで実現する。構造化レポート１１０４と構造化中間レポート１１０２の診断項目から疾患名を表すワードを抽出し、その抽出した疾患名がレポート１１０４とレポート１１０２の診断項目間で一致した場合、それらの診断項目は対応関係にあるとする。なお、疾患名のワードを抽出する際には、図６（ｃ）の辞書に登録されているワードを検索することとなる。

●構造化中間レポートに対する関係情報作成（Ｓ１１１６）
次に、図１１のＳ１１１５の処理が完了した後、図１１のＳ１１１６にて、構造化中間レポート１１０２の項目間に関係情報を作成する処理について説明する。Ｓ１１１６では、仮データ（構造化レポート）に含まれる項目の間の関係情報を、当該仮データに含まれる項目と対応関係を有する中間データ（構造化中間レポート）に含まれる項目の間に付与することにより、構造化データを作成する。本処理は、ＣＰＵ１３の制御に基づき関係情報反映部１１０、関係情報作成部１０４により実行される。

関係情報反映部１１０は、構造化レポート１１０４を構成するレポート項目のうち、Ｓ１１１５で対応関係決定部１０９により構造化レポート１１０４と対応関係があると判定されたレポート項目を抽出する。抽出された構造化レポート１１０４のレポート項目間に関係情報がある場合、その関係情報を持つ抽出されたレポート項目と対応関係がある構造化中間レポート１１０２の当該レポート項目間にも同様の関係情報を作成する。例えば、構造化レポート１１０４のレポート項目１とレポート項目２が、それぞれ構造化中間レポートのレポート項目ａとレポート項目ｂと対応関係があるとする。更に、構造化レポート１１０４のレポート項目１とレポート項目２の間に、レポート項目２を”原因”としレポート項目１を”結果”とする因果関係があったとする。この場合、関係情報反映部１１０は、構造化中間レポート１１０２のレポート項目ａとレポート項目ｂの間に、レポート項目ｂを”原因”としレポート項目ａを”結果”とする因果関係を作成する。構造化中間レポート１１０２の関係情報は、関係情報反映部１１０の指示により、関係情報作成部１０４及び関係情報保存部１０５により作成される。

なお、前述の説明においては、構造化中間レポート１１０２の項目に対応する構造化レポート１１０４の項目間の関係情報のみを構造化中間レポート１１０２に反映する例を示した。しかし、本実施形態はその様な構成に限られるものではない。例えば、構造化レポート１１０４を構成するレポート項目で、構造化中間レポート１１０２のレポート項目に対応関係がないレポート項目の取り扱いを変更してもよい。つまり、構造化レポート１１０４にしか記載されていない内容のレポート項目を、構造化中間レポート１１０２に新規作成したうえで、関係情報反映部１１０の機能を実現してもよい。

また、図１１の手順で作成された構造化レポートをレポート保存部１１４が読影レポートＤＢ７に保存する際には、レポート項目の発生経路を明確にした形式で保存してもよい。つまり、保存される各レポート項目が、Ｓ１１１１で作成された項目なのか、構造化レポート１１０４にしか存在しない内容のレポート項目がレポート１１０２に追加されたものなのか、を区別できる形式で保存してもよい。

また、本実施形態では、構造化中間レポート１１０２の項目間の関係情報を、構造化中間レポート１１０２を構成する項目と構造化レポート１１０４を構成する項目との対応関係に基づいて作成した。しかし、非構造化レポート１１０１に図６（ｄ）の係り受け語に関する辞書に登録されている因果関係を示すワードが省略されていない場合、カンファレンスの発言から項目間の関係を決定するよりも精度が高くなることもあり得うる。その様な場合においては、対応関係決定部１０９及び関係情報反映部１１０の機能を用いることなく、非構造化レポート１１０１に記載された係り受けの情報を用いて、構造化中間レポート１１０２の項目間の関係情報を直接作成してもよい。

以上のように、本実施形態の構造化データ作成装置１は、自然文を含む文書情報（読影レポート等の非構造化データ）を解析して、その文書情報に含まれる複数の項目を含む中間データを作成する。一方で、この文書情報を含む資料を用いてなされた議論に関する議論情報を取得し、議論情報から、複数の種類の項目と当該項目の間の関係情報とを含む仮データを作成する仮データ作成処理を行う。そして、中間データに含まれる項目と、仮データに含まれる項目との対応関係を決定し、決定された対応関係に基づいて、中間データに含まれる項目の間に関係情報を付与して構造化データを作成する。したがって、ユーザは、文書情報を参照したカンファレンス等の議論を行うだけで文書情報に対応する構造化データを取得することができ、文書情報を構成する項目の間の関係を容易に特定することができる。

また、構造化データ作成装置１は、このようにして作成された構造化データを当該構造化データに含まれる項目をその種類、及び、項目の間の関係を識別可能に示して、表示装置（出力デバイス１２等）に表示させる表示制御を行う。したがって、ユーザは、構造化データの内容を一見して把握することができる。さらに、ユーザからの修正を受け付け、ユーザの指示に基づき作成された構造化データを修正することで、ユーザは誤り等を修正して所望の構造化データを取得することができる。また、作成された構造化データを記憶装置に記憶させる記憶制御を行うことで、構造化データを再利用することが可能となる。

また、構造化中間レポートのエントリと対応していると判定されなかった構造化仮データのエントリ、及び、構造化仮データのエントリ間のリンクの情報を構造化データにマージしたうえでＤＢに保存してもよい。これにより、カンファレンスにおいて議論されたトピックを構造化データからマージして、反映させることができる。また、構造化中間レポートのエントリと対応していると判定されなかった構造化仮データのエントリ、及び該構造化仮データのエントリ間のリンクの情報を、その他の構造化データと区別可能な形式でＤＢに保存してもよい。これにより、カンファレンスにおいてのみ議論された内容とそうでない内容を区別することができる。

＜実施形態２＞
本実施形態では、カンファレンスで得られる情報に基づいて作成した構造化データが、構造化対象の非構造化レポート１１０１に関する既存の構造化データと整合性があるかを確認し、その結果を記録する構成について説明する。図１７は本実施形態における構造化データ作成装置１の機能構成図である。図１７では、実施形態１で図４を参照して説明した構造化データ作成装置１の機能構成に加えて、整合性確認部１１５を有する。整合性確認部１１５は構造化データに関する整合性のチェックを行う。図４の構成と共通する機能要素については詳細な説明を省略する。

ある非構造化レポート１１０１について、図１１に示した手順で構造化レポートを作成したとする。なお、本実施形態では、構造化対象の非構造化レポートを図９に記載のレポートとし、図１１に示した手順により図１８に示す構造化レポートが作成された場合の例を説明する。図１８に記載の構造化レポートの構造化データは読影レポートＤＢ７に保存されている。この読影レポート（構造化レポート）は、読影を依頼した依頼医の手に渡り、依頼医は読影レポートの内容を読む。レポートを読んだ依頼医は、左耳下腺深葉から傍咽頭間隙にかけて腫瘤があり、多形腺腫か神経原性腫瘍の疑いがあることを把握する。また、読影医は、多形腺腫であるのか神経原性腫瘍であるのかを絞り込むために精査する処置を、読影医から推奨されていることを把握する。依頼医は、読影医からの推奨に従い、多形腺腫であるのか神経原性腫瘍であるのかを絞り込むための検査を実施し、検査結果が検査レポートとして纏められ、その検査レポートは依頼医に提供される。検査レポートによると、左耳下腺深葉から傍咽頭間隙にかけて腫瘤があり、多形腺腫でも神経原性腫瘍でもなく、別の疾患であることが分かった。以降では、このような経緯の後にその事実をカンファレンスにて関係者に報告するシーンを一例として想定する。

図１９は検査後のカンファレンス（以後、２回目のカンファと記す）で取得された情報をもとに、非構造化レポート１１０１を構造化して得られた読影レポートの一例を示す図である。図１９（ａ）では、検査前に行われたカンファレンス（以後、一回目のカンファと記す）で作成された図１８に記載の構造化データに加え、２回目のカンファで作成されたレポート項目１９０４〜１９０７が作成されている。部位項目１９０４は、多形腺腫か神経原性腫瘍のどちらであるかを絞り込むために実施した検査の結果がまとめられた検査レポートである。診断項目１９０５と診断項目１９０６は、検査レポート１９０４から分かった内容を依頼医が２回目のカンファにて「多形腺腫ではありませんでした。」「神経原性腫瘍でもありませんでした。」と発言したことから其々作成された項目である。診断項目１９０７は、検査レポート１９０４から分かった内容である「○○であると確定しました。」という依頼医の発言から作成された項目である。なお、○○は疾患名であるとする。

２回目のカンファにおける依頼医の発表について順を追って説明する。依頼医はまず検査レポート１９０４を表示し、検査レポートに記載の内容を説明した。依頼医は、次に、部位項目１９０１のもととなった医用画像を表示し、「左耳下腺深葉から傍咽頭間隙の腫瘤が認められていましたが、」といい、「多形腺腫ではありませんでした。」「神経原性腫瘍でもありませんでした。」と前回の結果を否定した。その後、検査の結果として「○○であると確定しました。」と第一回のカンファ後に分かった事実を述べた。

１回目のカンファで作成された診断項目１９０２と２回目のカンファで作成された診断項目１９０５は互いに矛盾・対立しており、一つの読影レポートの構造化データとしては不整合な状態であるといえる。また、１回目のカンファで作成された診断項目１９０３と２回目のカンファで作成された診断項目１９０６も互いに矛盾・対立しており、一つの読影レポートの構造化データとしては不整合な状態であると言える。整合性確認部１１５はこの様な不整合な構造化データを検出し、不整合であることを記録する。整合性確認部１１５は、診断項目の内容を自然言語解析の手法を使って、キーワードとそのキーワードに主語述語の関係を持つ述語の抽出を行い、その解析結果を一時的に記憶する。ここでキーワードとは疾患を表すワードのことであり、具体的には図６（ｃ）の辞書に登録されているワードである。

整合性確認部１１５は、さらに、述語部に当たる係り受け情報を解析して、キーワードが肯定的に使われているか、否定的に使われているかを判定し、この結果も一時的に記憶する。例えば、「肺癌の可能性を疑います。」という文からは、「肺癌の可能性を[肺癌] →疑います肯定」の様に、[肺癌]がキーワードであり、「疑います」が肯定の係り受けであるという解析結果を抽出する。整合性確認部１１５は非構造化レポート１１０１に関する全ての診断項目についてキーワードと係り受けを抽出し、同じキーワードであり、肯定・否定が異なる係り受けを持つ診断項目の組を検出する。

本実施形態の場合、診断項目１９０２と診断項目１９０５が同じ疾患名のキーワード［多形腺腫］を持ち、かつそれぞれが肯定と否定の係り受けである「疑い」と「ではありませんでした。」を持つため、不整合と検出される。診断項目１９０３と診断項目１９０６では、同じ疾患名のキーワード「神経原性腫瘍」を持ち、かつ其々が肯定と否定の係り受けである「疑い」と「ではありませんでした。」を持つため、不整合と検出される。関係情報作成部１０４と関係情報保存部１０５は、不整合であると判定された項目間に不整合の関係を作成し、その関係を非構造化レポート１１０１の構造化データに追記する。つまり、項目間の不整合の関係がレポート保存部１１４によって読影レポートＤＢ７に保存される。

なお、図１９（ａ）で説明した状況を、別の形式でＤＢに記録してもよい。図１９（ｂ）は、図１９（ａ）で説明した２回目のカンファで取得された情報をもとに、非構造化レポート１１０１を構造化して得られた構造化レポートを示す図である。図１９（ｂ）では、図１９（ａ）の診断項目１９０５と診断項目１９０６がなく、代わりにマーク１９０８とマーク１９０９がある。図１９（ａ）の状況は、診断項目１９０３と診断項目１９０６が、それぞれ診断項目１９０２と診断項目１９０３の内容を否定していると解釈することもできる。図１９（ｂ）の構造化レポートはその解釈を反映した構造化レポートであり、マーク１９０８とマーク１９０９は、診断項目１９０２と診断項目１９０３の内容が否定されたということを示している。整合性確認部１１５は、非構造化レポート１１０１に関する全ての診断項目についてキーワードと係り受けを抽出し、同じキーワードであり肯定・否定が異なる係り受けをもつ診断項目の組を検出する。そして、時刻的に先に作成された診断項目の内容が、時刻的に後に作成された診断項目によって否定されたと解釈する。レポート保存部１１４は否定された診断項目に、例えば、否定されたというタグ情報を付けえで、該診断項目を読影レポートＤＢ７に保存する。

なお、前述では診断項目についての整合性チェックを行ったが、所見項目についても同様の手法でチェックを行いその結果を記録してもよい。また、整合性確認部１１５による整合性チェックを、上述した図１１のＳ１１１５の処理で構造化レポート１１０４と構造化中間レポート１１０２の間で対応関係があると判定された診断項目に対して実施してもよい。つまり、対応関係決定部１０９によって対応づけられた構造化レポート１１０４の診断項目と構造化中間レポート１１０２の診断項目の間の整合性をチェックする。構造化レポート１１０４の診断項目に記載されている疾患名と、構造化中間レポート１１０２の診断項目の間診断項目に記載されている疾患名が同じ対応付けがなされたとしても、係り受けの肯定・否定が異なる場合がある。その場合は、Ｓ１１１５で対応付けをしたうえで、記載内容に不整合があったという情報を、後々に二次利用できるように読影レポートＤＢ７に記録する。

上記のように、本実施形態では、文書情報に基づき作成された第１の構造化データと、その文書情報と同一の文書情報に基づき作成された第２の構造化データとの整合性を確認する。そして、第２の構造化データを、第１の構造化データと整合しない項目ないし関係情報を識別可能に記憶装置に記憶させる。したがって、ユーザは、あるカンファレンスに基づき構造化データを取得した後に、再度カンファレンスを行って内容の修正を伴う議論を行った場合、その修正を識別可能な形で構造化データに反映させることができる。また、第２の構造化データを、第１の構造化データと整合しない項目ないし関係情報を識別可能に表示装置に表示させることで、ユーザは、表示内容を閲覧することで修正個所を容易に把握することができる。

＜実施形態３＞
本実施形態では、実施形態１及び実施形態２に記載した項目間の関係情報を用いて、資料間の関係情報を作成する実施形態について記載する。図２０は、本実施形態における構造化データ作成装置１の機能構成図である。本実施形態の構造化データ作成装置１は実施形態２で図１７を参照して説明した構造化データ作成装置１の機能構成に加え、資料間リンク作成部１１６を持つ。図４、図１７の構成と共通する機能要素については詳細な説明を省略する。

（資料間リンク作成）
資料間リンク作成部１１６は、非構造化レポートの構造化データに基づいて、患者の資料間に関係情報を保持するリンクを作成する。また、本実施形態における関係情報提示部１１３は、資料間リンク作成部１１６によって作成されたリンクが保持する関係情報を出力デバイス１２に表示する。患者の資料間に作成されたリンクは、患者の資料を一覧表示する際などに、医師が資料と資料の関係性を把握することを支援する。それにより、医師が所望の資料に効率よくアクセスすることを可能にする。資料間に作成されたリンクの利用例は後述する。

本実施形態において、資料間リンク作成部１１６は、実施形態１及び実施形態２で記載した項目間の関係と同様の関係情報を持つリンクを、患者の資料間に作成する。資料間リンク作成部１１６は主に４つのパターンのリンクを作成する。

１つ目のパターンとして、資料間リンク作成部１１６は、部位項目と所見項目の間の対応関係と同様の関係情報を持つリンクを資料間に作成する。資料間リンク作成部１１６は非構造化レポートに関する構造化データを構成する所見項目と対応関係にある部位項目を抽出する。そして、非構造化レポートと、抽出した部位項目の実体である資料の間に、リンクを作成する。ここで作成されるリンクは、部位項目の実体である資料が、非構造化レポートの「所見」を介して非構造化レポートと関係があるという情報を保持する。

２つ目のパターンとして、資料間リンク作成部１１６は、所見項目と診断項目間の因果関係と同様の関係情報を持つリンクを、資料間に作成する。資料間リンク作成部１１６は、非構造化レポートに関する構造化データを構成する診断項目と間接的に関係付く部位項目を抽出する。そして、非構造化レポートと、抽出した部位項目の実体である資料の間に、リンクを作成する。ここで作成されるリンクは、部位項目の実体である資料が、非構造化レポートの診断を介して非構造化レポートと関係があるという情報を保持する。

３つ目のパターンとして、資料間リンク作成部１１６は、診断項目と診断項目の間の原発と転移に関する因果関係と同様の関係情報を持つリンクを、資料間に作成する。資料間リンク作成部１１６は、非構造化レポートに関する構造化データを構成する診断項目のうち、原発と転移の因果関係を持つ診断項目のセットを特定する。そして、資料間リンク作成部１１６は、特定した診断項目に間接的に関係付く部位項目を抽出する。そして、資料間リンク作成部１１６は、抽出した部位項目の実体である資料の間に、リンクを作成する。ここで作成されるリンク情報は、原発と転移という因果関係を保持する。

４つ目のパターンとして、資料間リンク作成部１１６は非構造化レポートと、非構造化レポートを構成する部位項目との参照関係と同様の関係情報を持つリンクを、資料間に作成する。なお、参照関係とは非構造化レポートを扱う際に、参照された資料のことを意味する。資料間リンク作成部１１６は、非構造化レポートに関する構造化データを構成する部位項目のうちどの所見項目とも関係付けされていない部位項目を抽出する。そして、非構造化レポートと、抽出した部位項目の実体である資料の間に、リンクを作成する。ここで作成されるリンクは、部位項目の実体である資料が、非構造化レポートを取り扱っている際に参照されたという情報を保持する。

（部位項目特定）
ここで、上記の１つ目〜４つ目のパターン毎に、リンクを作成する資料に対応する部位項目を特定する手順を示す。部位項目を特定する際には、図２１に記載の関数ＳｅｌｅｃｔＩｔｅｍを使用する。図２１は、関数ＳｅｌｅｃｔｉｏｎＩｔｅｍの内容をフローチャートにより模式的に示した図である。関数ＳｅｌｅｃｔＩｔｅｍは、引数に指定した項目ＩＤ（テーブル７０１の”項目ＩＤ”カラムの情報）に基づいて、それに紐づく部位項目を決定する。以降では、関数ＳｅｌｅｃｔＩｔｅｍの詳細について述べる。なお、ＩＴＥＭ（ｘ）でレポートＩＤがｘのレポート項目を参照することができる。また、ＲＥＬＡＴＩＯＮ（ｘ）で、関係ＩＤがｘの関係情報を参照することができる。

Ｓ２１０１では変数ＫｉにＩＴＥＭ（ｉ）の種類を代入する。なお、変数ｉは関数ＳｅｌｅｃｔＩｔｅｍの引数であり、その実態はレポート項目の項目ＩＤの値である。Ｓ２１０２では変数ｊに１を代入する。Ｓ２１０３では変数ｍにＲＥＬＡＴＩＯＮ（ｊ）のレポート項目ＩＤ１を代入し、更に、変数ＫｍにＩＴＥＭ（ｍ）の種類を代入する。Ｓ２１０４では、変数ｎにＲＥＬＡＴＩＯＮ（ｊ）のレポート項目ＩＤ２を代入し、変数ＫｎにＩＴＥＭ（ｎ）の種類を代入する。

Ｓ２１０５では項目ＩＤがｎのレポート項目の種類Ｋｎと、項目ＩＤがｉのレポート項目の種類Ｋｉを比較する。同じであれば（Ｓ２１０５でＹＥＳ）Ｓ２１０６に進み、異なれば（Ｓ２１０５でＮＯ）Ｓ２１１１に進む。Ｓ２１０６では、項目ＩＤがｍのレポート項目の種類Ｋｍが「部位」であり、かつ、項目ＩＤがｎのレポート項目の種類Ｋｎが「所見」であるかを判定する。判定値が真であれば（Ｓ２１０６でＹＥＳ）Ｓ２１０７に進み、判定値が偽であれば（Ｓ２１０６でＮＯ）Ｓ２１０９に進む。Ｓ２１０７では、ＩＴＥＭ（ｍ）をリンクを付与する資料の対象の部位項目とした上で、Ｓ２１０８に進む。

Ｓ２１０９では、項目ＩＤがｍのレポート項目の種類Ｋｍが「所見」であり、かつ、項目ＩＤがｎのレポート項目の種類Ｋｎが「診断」であるかを判定する。判定値が真であれば（Ｓ２１０９でＹＥＳ）Ｓ２１０８に進み、判定値が偽であれば（Ｓ２１０９でＮＯ）Ｓ２１１０に進む。Ｓ２１１０では、項目ＩＤがｍのレポート項目の種類Ｋｍが「診断」であり、かつ、項目ＩＤがｎのレポート項目の種類Ｋｎが「処置」であるかを判定する。判定値が真であれば（Ｓ２１１０でＹＥＳ）Ｓ２１０８に進み、判定値が偽であれば（Ｓ２１１０でＮＯ）Ｓ２１１１に進む。Ｓ２１０８では、関数ＳｅｌｅｃｔＩｔｅｍを、項目ＩＤ値であるｍを引数にして実行する。つまり、関数ＳｅｌｅｃｔＩｔｅｍを再帰的に呼び出す。

Ｓ２１１１では、変数ｊを１だけインクリメントする。Ｓ２１１２では変数ｊの値が、関係テーブルのレコード数よりも大きいかを判定する。判定の結果が偽の場合（Ｓ２１１２でＮＯ）は、Ｓ２１０３に戻り、上述の処理を再度繰り返す。Ｓ２１１２の判定結果が真の場合（Ｓ２１１２でＹＥＳ）、関数ＳｅｌｅｃｔＩｔｅｍを終了する。

次に、１つ目のパターンで特定すべき部位項目の決定手順を示す。まず、項目テーブル７０１から、非構造化レポートのレポートＩＤ情報を用いて、非構造化レポートに関係する行を絞り込む。そして、絞り込まれた行のうち、”種類”カラムが「所見」の行の項目ＩＤを抽出する。次に、抽出された項目ＩＤを引数として、関数ＳｅｌｅｃｔＩｔｅｍを実行する。つまり、抽出された項目ＩＤの数だけ、関数ＳｅｌｅｃｔＩｔｅｍを実行することとなる。関数ＳｅｌｅｃｔＩｔｅｍを実行した結果、Ｓ２１０７でリンクを付与する対象とされた項目が、特定されるべき部位項目である。

２つ目のパターンで特定すべき部位項目の決定手順を示す。まず、項目テーブル７０１から、非構造化レポートのレポートＩＤ情報を用いて、非構造化レポートに関係する行を絞り込む。そして、絞り込まれた行のうち、”種類”カラムが「診断」の行の項目ＩＤを抽出する。次に抽出された項目ＩＤを引数として、関数ＳｅｌｅｃｔＩｔｅｍを実行する。つまり、抽出された項目ＩＤの数だけ、関数ＳｅｌｅｃｔＩｔｅｍを実行することとなる。関数ＳｅｌｅｃｔＩｔｅｍを実行した結果、Ｓ２１０７でリンクを付与する対象とされた項目が、特定されるべき部位項目である。

３つ目のパターンで特定すべき部位項目の決定手順を示す。まず、関係テーブル７０２から、”種類”カラムが因果関係の行を抽出する。次に、抽出した行の”レポートＩＤ１”カラムと”レポートＩＤ２”カラムに記載の項目ＩＤが共に非構造化レポートに含まれる項目ＩＤであることを、項目テーブル７０１を基に確認する。また、抽出した行の”レポートＩＤ１”カラムと”レポートＩＤ２”カラムに記載の項目ＩＤが共に診断項目であることを、項目テーブル７０１の”種類”カラムと照らし合わせることで確認する。これらの条件を満たした関係テーブル７０２の行の”レポート項目ＩＤ１”カラムと”レポート項目ＩＤ２”カラムに記載の項目ＩＤが、原発と転移の関係を持つ診断項目の項目ＩＤである。”レポート項目ＩＤ１”カラムに記載の項目ＩＤを引数にして関数ＳｅｌｅｃｔＩｔｅｍを実行した結果、Ｓ２１０７でリンクを付与する対象とされた項目が、特定されるべき原発の診断に間接的に関係付く部位項目である。”レポート項目ＩＤ２”カラムに記載の項目ＩＤを引数にして関数ＳｅｌｅｃｔＩｔｅｍを実行した結果、Ｓ２１７０でリンクを付与する対象とされた項目が、特定されるべき転移の診断項目に間接的に関係付く部位項目である。

４つ目のパターンで特定すべき部位項目の決定手順を示す。まず、項目テーブル７０１から、非構造化レポートのレポートＩＤ情報を用いて、非構造化レポートに関係する行を絞り込む。そして、絞り込まれた行のうち、”種類”カラムが「部位」の行の項目ＩＤを抽出する。次に、関係テーブル７０２を参照し、抽出した項目ＩＤが関係テーブル７０２に登録されているか否かを判定する。登録されていない項目ＩＤが特定すべき部位項目の項目ＩＤである。

（画面表示例）
資料間に作成されたリンクの利用の一例として、患者の資料をマトリクス形式で一覧表示する際の効果的な画面表示を説明する。ここでは、実施形態２に記載した図１９（ｂ）の状況を例として説明する。なお、本例では、画面効率の観点から、上述の２つ目のパターンのリンクを持つ場合は、２つ目のパターンのリンクの表示のみを実施し、上述の１つ目のパターンのリンクの表示は省略している。

図２２（ａ）は、患者の資料を表示するアイコンを、資料の種別毎にマトリクス形式で一覧表示した図である。縦軸は資料種別、横軸は時間の情報を持つ。図２２（ａ）は、実施形態２で説明した１回目のカンファから得られた情報に基づいて作成された構造化データと、マトリクス形式で一覧表示された各資料の対応関係も示している。資料２２０１は非構造化レポート１１０１に対応する。資料２２０２は非構造化レポート１１０１の構造化データを構成する図１９（ｂ）に記載の部位項目１９０１に対応する。資料２２０３は非構造化レポート１１０１の構造化データを構成する図１９（ｂ）に記載の部位項目１９１０に対応する。

図２２（ｂ）は、図２２（ａ）のマトリクス表示において、資料２２０１のアイコンをマウスオーバーした際の、マトリクス表示画面である。マトリクス表示された資料のアイコンをマウスオーバーすると、マウスオーバーされたアイコンが示す資料とリンクで結ばれた資料のアイコンの間に、線が引かれている。このアイコン間の線は、関係情報提示部１１３により表示される。ここで、本例では、関係情報提示部１１３は、上述の１つ目のパターンの場合は、実線で資料のアイコン間を結ぶ。また、関係情報提示部１１３は、上述の２つ目のパターンの場合は、診断を介して非構造化レポートと関係を持つ部位項目の実体のアイコンから、非構造化レポート１１０１に向かう実矢印線で資料のアイコン間を結ぶ。また、関係情報提示部１１３は、上述の３つ目のパターンの場合は、原発に関する資料アイコンから、転移に関する資料アイコンに向かう実矢印線で資料のアイコン間を結ぶ。また、関係情報提示部１１３は、上述の４つ目のパターンの場合は、点線で資料のアイコン間を結ぶ。

図２２（ｂ）においては、非構造化レポート１１０１の構造化データにおいて、図１９の部位項目１９０１は２つの「診断」１９０２、１９０３と間接的に関係付いている（図１９参照）。故に、部位項目１９０１の実体である資料のアイコン２２０２から、非構造化レポートのアイコン２２０１に向かって、実矢印線が２本（実矢印線２２１１及び実矢印線２２１２）繋がっている。また、非構造化レポート１１０１の構造化データにおいて、部位項目１９１０は１つの「診断」と間接的に関係付いている。故に、部位項目１９１０の実体である資料のアイコン２２０３から、非構造化レポートのアイコン２２０１に向かって、実矢印線２２１３が繋がっている。

図２３（ａ）は、実施形態２で説明した二回目のカンファ後の患者の資料のマトリクス表示である。また、図２３（ａ）は実施形態２で説明した二回目のカンファから得られた情報に基づいて作成された構造化データと、マトリクス形式で一覧表示された各資料の対応関係も示している。資料２３０１は非構造化レポート１１０１の構造化データを構成する図１９（ｂ）に記載の部位項目１９０４に対応する。

図２３（ｂ）は、図２３（ａ）のマトリクス表示において、資料２１０２をマウスオーバーした際の、マトリクス表示画面である。構造化データに診断項目２３１５が追加されたため、部位項目１９０１の資料の実体であるアイコン２２０２から非構造化レポート１１０１のアイコン２２０１に向かう実矢印線２３１１がマトリクス表示に追加されている。また、部位項目１９０４がどの所見項目とも関係付かずに非構造化レポート１１０１の構造化データとして存在している。故に、マトリクス上にて、資料アイコン２３０１と資料アイコン２２０１の間に参照の関係を示す点線が表示されている。また、２回目のカンファでは、１回目のカンファで作成された部位項目１９０１に間接的に関係付く診断項目の２つの内容が否定されている。それを示すマークとして、マトリクス上にマーク２３１３及びマーク２３１４が表示されている。このマークによって、前述の実矢印線２２１１及び実矢印線２２１２が否定されていることをマトリクス上で明示している。

なお、本実施形態では、上述の１つ目のパターンにおいて、同じ所見項目を介して非構造化レポートと関係付けられている資料群をグループとして管理・表示してもよい。同様に、上述の２つ目のパターンにおいて、同じ診断項目を介して非構造化レポートと関係付けられている資料群をグループとして管理・表示してもよい。また、本実施形態では患者の資料をマトリクス形式で一覧表示する際に資料間の関係を表示したが、その様な場合以外であっても資料間の関係を表示して資料の把握性を高められることは言うまでもない。以上のように、文書情報を含む資料を用いてなされた議論に関する議論情報から仮データを作成する際に使用した資料の間の関係を示すリンク情報を、当該資料から抽出された項目の間について決定された関係情報に基づいて作成するリンク作成を行う。したがって、本実施形態によれば、文書情報から構造化データを作成するだけでなく、その文書情報に関係する資料の関係を自動的に特定することが可能となる。また、このような資料を、資料の間の関係をリンク情報に基づき識別可能に示して、表示装置に表示させることで、ユーザは、資料間の関係を容易に把握することができる。

上記のように、本発明の各実施形態においては、少なくとも部位情報を有する部位エントリと、所見情報を有する所見エントリと、診断情報を有する診断エントリと、前記エントリ間の関係情報を有するリンクにより構成される構造化データを作成する。ここで、自然文により記載された読影レポートを議論する際に得られる情報を利用して、該読影レポートに関する構造化データの作成を支援する。したがって、読影レポートを構成する項目間の関係性、及び病院内に蓄積されている資料間の関係性を、特段の作業負担を要することなく、医療カンファレンスで得られた情報を利用して特定することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１:構造化データ作成装置、２:ＨＩＳ、３:ＲＩＳ、４:医用画像撮影装置、５:ＰＡＣＳ、６:電子カルテＤＢ、７:読影レポートＤＢ、８:医用画像ＤＢ、９:辞書ＤＢ、１０:院内ローカルエリアネットワーク

Claims

自然文を含む文書情報に基づき、少なくとも１つの種類のいずれかにそれぞれあたる複数の項目と、当該複数の項目の間の論理的な関係を示す関係情報とを含む構造化データを作成する構造化データ作成装置であって、
前記文書情報を解析して、当該文書情報に含まれる前記複数の項目を含む中間データを作成する中間データ作成手段と、
前記文書情報を含む資料を用いてなされた議論に関する議論情報を取得する取得手段と、
前記議論情報から、複数の種類の項目と当該項目の間の関係情報とを含む仮データを作成する仮データ作成手段と、
前記中間データに含まれる前記項目と、前記仮データに含まれる前記項目との対応関係を決定する決定手段と、
前記決定手段により決定された対応関係に基づいて、前記中間データに含まれる項目の間に関係情報を付与して構造化データを作成する構造化データ作成手段と
を備えることを特徴とする構造化データ作成装置。
前記中間データ作成手段は、前記文書情報に含まれる自然文を少なくとも１つの部分に区切り、当該少なくとも１つの部分の各々について、前記少なくとも１つの種類のいずれの項目にあたるかを、項目の種類に関する辞書データを参照して判定することにより、前記中間データを作成することを特徴とする請求項１に記載の構造化データ作成装置。
前記議論情報には、前記議論においてなされた発言に関する発言情報と、前記議論において参照された資料に関する資料情報とが含まれることを特徴とする請求項１又は２に記載の構造化データ作成装置。
前記発言情報には、発言の内容とその発言がなされた時刻とが含まれることを特徴とする請求項３に記載の構造化データ作成装置。
前記資料情報には、参照された前記資料の対象と、その参照がなされた時刻とが含まれることを特徴とする請求項４に記載の構造化データ作成装置。
前記資料情報には、前記参照された資料の対象として、資料の識別情報と資料の注目位置の情報とが含まれることを特徴とする請求項５に記載の構造化データ作成装置。
前記仮データ作成手段は、
前記発言情報及び前記資料情報から、項目の種類に関する辞書データを参照して、前記少なくとも１つの種類のいずれかにあたる項目を抽出し、
前記抽出された各項目の間の関係情報を、項目の種類ないし係り受け語に関する辞書データを参照して決定する
ことにより前記仮データを作成することを特徴とする請求項６に記載の構造化データ作成装置。
前記仮データ作成手段は、前記発言の内容から抽出された項目と、当該発言と同一の時間帯に参照された前記資料の対象から抽出された項目との間に関係があるとして、前記関係情報を決定することを特徴とする請求項７に記載の構造化データ作成装置。
前記関係情報が示す項目の間の論理的な関係には、２つの項目が原因と結果との関係を有することを示す因果関係と、当該因果関係以外の関係により２つの項目が相互に関係していることを示す関係とが含まれることを特徴とする請求項１から８のいずれか１項に記載の構造化データ作成装置。
前記決定手段は、同一の種類の同一の値を有する、前記中間データに含まれる前記項目と、前記仮データに含まれる前記項目とは対応関係を有すると決定することを特徴とする請求項１から９のいずれか１項に記載の構造化データ作成装置。
前記構造化データ作成手段は、前記仮データに含まれる項目の間の関係情報を、当該仮データに含まれる項目と対応関係を有する前記中間データに含まれる項目の間に付与することにより、前記構造化データを作成することを特徴とする請求項１から１０のいずれか１項に記載の構造化データ作成装置。
前記構造化データ作成手段により作成された前記構造化データをユーザの指示に基づき修正する修正手段をさらに備えることを特徴とする請求項１から１１のいずれか１項に記載の構造化データ作成装置。
前記構造化データ作成手段により作成された前記構造化データを、当該構造化データに含まれる項目をその種類、及び、項目の間の関係を識別可能に示して、表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の構造化データ作成装置。
前記構造化データ作成手段により作成された前記構造化データを記憶手段に記憶させる記憶制御手段をさらに備えることを特徴とする請求項１３に記載の構造化データ作成装置。
前記文書情報に基づき作成された第１の前記構造化データと、当該文書情報と同一の文書情報に基づき作成された第２の前記構造化データとの整合性を確認する確認手段をさらに備え、
前記記憶制御手段は、前記第２の構造化データを、前記第１の構造化データと整合しない項目ないし関係情報を識別可能に前記記憶手段に記憶させる
ことを特徴とする請求項１４に記載の構造化データ作成装置。
前記表示制御手段は、前記第２の構造化データを、前記第１の構造化データと整合しない項目ないし関係情報を識別可能に前記表示手段に表示させることを特徴とする請求項１５に記載の構造化データ作成装置。
前記仮データ作成手段が前記仮データを作成する際に使用した前記資料の間の関係を示すリンク情報を、当該資料から抽出された前記項目の間について決定された前記関係情報に基づいて作成するリンク作成手段をさらに備えることを特徴とする請求項７又は８に記載の構造化データ作成装置。
前記仮データ作成手段が前記仮データを作成する際に使用した前記資料を、該資料の間の関係を前記リンク情報に基づき識別可能に示して、表示手段に表示させる表示制御手段をさらに備えることを特徴とする請求項１７に記載の構造化データ作成装置。
自然文を含む文書情報に基づき、少なくとも１つの種類のいずれかにそれぞれあたる複数の項目と、当該複数の項目の間の論理的な関係を示す関係情報とを含む構造化データを作成する構造化データ作成装置の制御方法であって、
前記文書情報を解析して、当該文書情報に含まれる前記複数の項目を含む中間データを作成する中間データ作成工程と、
前記文書情報を含む資料を用いてなされた議論に関する議論情報を取得する取得工程と、
前記議論情報から、複数の種類の項目と当該項目の間の関係情報とを含む仮データを作成する仮データ作成工程と、
前記中間データに含まれる前記項目と、前記仮データに含まれる前記項目との対応関係を決定する決定工程と、
前記決定工程により決定された対応関係に基づいて、前記中間データに含まれる項目の間に関係情報を付与して構造化データを作成する構造化データ作成工程と
を備えることを特徴とする構造化データ作成装置の制御方法。
コンピュータを請求項１から１８のいずれか１項に記載の構造化データ作成装置が備える各手段として機能させるためのコンピュータプログラム。