JP2023067186A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】医療文書の作成を支援できる情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムを得る。【解決手段】情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、画像に関する複数の要素情報を取得し、複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、プランに基づいて、文章を生成する。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置により得られる医用画像を用いての画像診断が行われている。また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer Aided Detection/Diagnosis）により医用画像を解析して、医用画像に含まれる構造物及び病変等を含む関心領域の検出及び／又は診断することが行われている。医用画像及びＣＡＤによる解析結果は、医用画像の読影を行う読影医等の医療従事者の端末に送信される。読影医等の医療従事者は、自身の端末を用いて医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

また、読影医の読影業務の負担を軽減するために、読影レポート等の医療文書の作成を支援する各種手法が提案されている。例えば、特許文献１には、読影医が入力したキーワード及び医用画像の解析結果に基づいて、読影レポート等の医療文書を作成する技術が開示されている。特許文献１に記載の技術では、入力された文字から文章を生成するように学習が行われたリカレントニューラルネットワークを用いて、読影レポートに記載するための文章が作成される。また例えば、特許文献２には、アノテーションが付された医用画像について、アノテーションの種類ごとに予め関連付けられた定型文を、当該医用画像の所見文として作成する技術が開示されている。

特開２０１９－１５３２５０号公報 特開２００８－２５７５７９号公報

近年、撮影装置の高性能化に伴い、医用画像から得られる解析結果の情報量が増加傾向にあるため、読影レポート等の医療文書に記載される文章量も増加傾向にある。多量な文章を読みやすくするために、医療文書では、医用画像から得られる解析結果の記載順について、医療機関内での取り決め及びユーザの好み等の規則が定まっている場合がある。

例えば、医用画像における異常陰影について記載する場合、異常陰影の全体の性状を先に、辺縁部及び内部の性状を後に記載することが望まれる場合がある。また例えば、悪性所見を先に、良性所見を後に記載することが望まれる場合がある。また例えば、過去の医用画像との比較結果を記載する場合、変化した部分を先に、変化していない部分を後に記載することが望まれる場合がある。

しかしながら、従来の技術では、多量及び複雑な情報を含む文章を生成しようとすると、望ましい記載順とはならなかったり、情報が抜け落ちたり、冗長な文章になってしまったりする場合があった。そこで、医療文書等に記載される文章について、記載順及び情報の網羅度合が適切な文章を生成できる技術が望まれている。

本開示は、医療文書の作成を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

本開示の第１の態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、画像に関する複数の要素情報を取得し、複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、プランに基づいて、文章を生成する。

上記第１の態様において、プロセッサは、複数の要素情報をグループに分け、グループごとに記載順を定めたプランを生成してもよい。

上記第１の態様において、プロセッサは、複数の要素情報のグループの分け方について予め定められた複数の異なる規則のうち、少なくとも１つの規則の指定を受け付け、指定された規則に従って、複数の要素情報をグループに分けてもよい。

上記第１の態様において、プロセッサは、画像に含まれる複数の関心領域の各々に関する複数の要素情報を取得し、複数の要素情報を複数の関心領域の各々に対応する複数のグループに分けてもよい。

上記第１の態様において、複数の要素情報は、複数の画像の各々に関するものであり、プロセッサは、複数の画像の各々に関する複数の要素情報に対応する要素がまとめて記載された文章を生成してもよい。

上記第１の態様において、プロセッサは、画像の撮影時点を示す要素情報を取得し、要素情報が示す撮影時点に基づいて、関連する要素情報に対応する要素の記載順を定めたプランを生成してもよい。

上記第１の態様において、要素情報ごとに重要度が予め定められ、プロセッサは、複数の要素情報のうち重要度が予め定められた閾値よりも低い要素情報に対応する要素を、文章に記載しないことを定めたプランを生成してもよい。

上記第１の態様において、要素情報ごとに重要度が予め定められ、プロセッサは、複数の要素情報のうち重要度が相対的に小さい要素情報に対応する要素を、文章に記載しないことを定めたプランを生成してもよい。

上記第１の態様において、プロセッサは、文章の簡潔度合の指定を受け付け、簡潔度合に応じて、文章に記載しない要素の数を変更してもよい。

上記第１の態様において、プロセッサは、入力を要素情報とし、出力をプランとするよう予め学習された第１の学習済モデルを用いて、プランを生成し、入力をプランとし、出力を文章とするよう予め学習された第２の学習済モデルを用いて、文章を生成してもよい。

上記第１の態様において、第１の学習済モデルは、過去に生成された文章に含まれる要素に対応する要素情報と、当該文章における要素の記載順が定められたプランと、の組を学習データとして用いて学習されるものであってもよい。

上記第１の態様において、プロセッサは、複数の要素情報について、複数の異なるプランの候補を生成し、プランの候補ごとに文章を生成し、文章ごとに評価を行い、評価の結果に基づいて、採用するプランの候補を決定してもよい。

上記第１の態様において、プロセッサは、生成した文章に含まれる要素の当該文章における記載順及び網羅度合の少なくとも一方に基づいて、評価を行ってもよい。

上記第１の態様において、プロセッサは、複数の要素情報について、複数の異なるプランの候補を生成し、複数の異なるプランの候補のうち、採用するプランの候補の指定を受け付けてもよい。

上記第１の態様において、プロセッサは、画像を取得し、取得した画像に基づいて、要素情報を生成してもよい。

上記第１の態様において、入力部を更に備え、プロセッサは、入力部を介して入力された情報に基づいて、要素情報を生成してもよい。

上記第１の態様において、要素情報は、画像に含まれる関心領域に関する名称、性状、計測値及び位置、並びに画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報であってもよい。

上記第１の態様において、画像は、医用画像であり、要素情報は、医用画像に含まれる関心領域に関する名称、性状、位置及び推定病名、並びに医用画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報であり、関心領域は、医用画像に含まれる構造物の領域、及び医用画像に含まれる異常陰影の領域の少なくとも一方であってもよい。

本開示の第２の態様は、情報処理方法であって、画像に関する複数の要素情報を取得し、複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、プランに基づいて、文章を生成する処理を含む。

本開示の第３の態様は、情報処理プログラムであって、画像に関する複数の要素情報を取得し、複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、プランに基づいて、文章を生成する処理をコンピュータに実行させるためのものである。

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、医療文書の作成を支援できる。

情報処理システムの概略構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 医用画像の一例を示す図である。 要素情報の一例を示す図である。 文章の一例を示す図である。 第１実施形態に係る処理を説明するための図である。 プランの一例を示す図である。 ディスプレイに表示される画面の一例を示す図である。 第１の情報処理の一例を示すフローチャートである。 第２実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第２実施形態に係る処理を説明するための図である。 プランの候補の一例を示す図である。 プランの候補の一例を示す図である。 プランの候補の一例を示す図である。 第２の情報処理の一例を示すフローチャートである。 従来手法に係る処理を説明するための図である。 文章の一例を示す図である。 第１及び第２実施形態に係る手法並びに従来手法の評価結果である。 プランの一例を示す図である。 プランの一例を示す図である。 プランの一例を示す図である。 プランの一例を示す図である。 ディスプレイに表示される画面の一例を示す図である。 ディスプレイに表示される画面の一例を示す図である。

以下、図面を参照して本開示の各実施形態について説明する。

［第１実施形態］
まず、本開示の情報処理装置を適用した情報処理システム１の構成について説明する。図１は、情報処理システム１の概略構成を示す図である。図１に示す情報処理システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被検体の検査対象部位の撮影、撮影により取得された医用画像の保管を行う。また、読影医による医用画像の読影作業及び読影レポートの作成、並びに、依頼元の診療科の医師による読影レポートの閲覧を行う。

図１に示すように、情報処理システム１は、撮影装置２、読影端末である読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８を含む。撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、有線又は無線のネットワーク９を介して互いに通信可能な状態で接続されている。

各機器は、情報処理システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、例えば、ＤＶＤ（Digital Versatile Disc）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされてもよい。また例えば、ネットワーク９に接続されたサーバコンピュータの記憶装置又はネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされてもよい。

撮影装置２は、被検体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、及びＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

読影ＷＳ３は、例えば放射線科の読影医等の医療従事者が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本実施形態に係る情報処理装置１０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、及び、医用画像に関する文章の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求及び閲覧要求、並びに、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

診療ＷＳ４は、例えば診療科の医師等の医療従事者が、医用画像の詳細観察、読影レポートの閲覧、及び、電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及び、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System：ＤＢＭＳ）の機能を提供するソフトウェアプログラムがインストールされたものである。画像サーバ５は、画像ＤＢ６と接続される。なお、画像サーバ５と画像ＤＢ６との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）等のネットワークを介して接続される形態でもよい。

画像ＤＢ６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。画像ＤＢ６には、撮影装置２において取得された医用画像と、医用画像に付帯された付帯情報と、が対応付けられて登録される。

付帯情報には、例えば、医用画像を識別するための画像ＩＤ(identification)、医用画像に含まれる断層画像ごとに割り振られる断層ＩＤ、被検体を識別するための被検体ＩＤ、及び検査を識別するための検査ＩＤ等の識別情報が含まれてもよい。また、付帯情報には、例えば、医用画像の撮影に関する撮影方法、撮影条件及び撮影日時等の撮影に関する情報が含まれていてもよい。「撮影方法」及び「撮影条件」とは、例えば、撮影装置２の種類、撮影部位、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無等である。また、付帯情報には、被検体の名前、年齢及び性別等の被検体に関する情報が含まれていてもよい。

また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受信すると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求を受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

レポートサーバ７は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。レポートサーバ７は、レポートＤＢ８と接続される。なお、レポートサーバ７とレポートＤＢ８との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ及びＳＡＮ等のネットワークを介して接続される形態でもよい。

レポートＤＢ８は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。レポートＤＢ８には、読影ＷＳ３において作成された読影レポートが登録される。

また、レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受信すると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求を受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

ネットワーク９は、例えば、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等のネットワークである。なお、情報処理システム１に含まれる撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、それぞれ同一の医療機関に配置されていてもよいし、異なる医療機関等に配置されていてもよい。また、撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８の各装置の台数は図１に示す台数に限らず、各装置はそれぞれ同様の機能を有する複数台の装置で構成されていてもよい。

次に、本実施形態に係る情報処理装置１０について説明する。情報処理装置１０は、撮影装置２により撮影された医用画像に基づく読影レポート等の医療文書の作成を支援する機能を有する。上述したように、情報処理装置１０は読影ＷＳ３に内包される。

まず、図２を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、情報処理装置１０は、液晶ディスプレイ等のディスプレイ２４、キーボード及びマウス等の入力部２５、並びにネットワークＩ／Ｆ（Interface）２６を含む。ネットワークＩ／Ｆ２６は、ネットワーク９に接続され、有線又は無線通信を行う。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

記憶部２２は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、情報処理装置１０における情報処理プログラム２７が記憶される。ＣＰＵ２１は、記憶部２２から情報処理プログラム２７を読み出してからメモリ２３に展開し、展開した情報処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。情報処理装置１０としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。

次に、図３を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図３に示すように、情報処理装置１０は、取得部３０、第１生成部３２、第２生成部３４及び制御部３６を含む。第１生成部３２はプラン生成モデルＭ１を含んでいてもよく、第２生成部３４は文章生成モデルＭ２を含んでいてもよい（詳細は後述）。ＣＰＵ２１が情報処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、第１生成部３２、第２生成部３４及び制御部３６として機能する。

取得部３０は、画像サーバ５から、読影レポートを作成する対象の医用画像を取得する。図４に、医用画像の一例として、肺をＣＴ装置により撮影した医用画像５０Ｘを示す。医用画像５０Ｘには、結節を示す異常陰影Ｎが含まれる。以下、医用画像に含まれる構造物（例えば肺及び気管等の臓器、器官及び組織等）の領域、及び医用画像に含まれる異常陰影（例えば結節等の病変による陰影）の領域の少なくとも一方を、関心領域という。なお、１つの医用画像に複数の関心領域が含まれていてもよい。医用画像が、本開示の画像の一例である。

また、取得部３０は、画像サーバ５から取得した医用画像に関する複数の要素情報を取得する。図５に、要素情報の一例として、医用画像５０Ｘ（図４参照）に含まれる異常陰影Ｎに関する複数の要素情報５２Ｘを示す。図５に示すように、要素情報とは、例えば、医用画像に含まれる関心領域に関する名称（種類）、性状、計測値、位置及び推定病名（陰性又は陽性の評価結果を含む）等の要素の少なくとも１つを示す情報であってもよい。

名称（種類）の例としては、「肺」、「気管」及び「胸膜」等の構造物の名称、並びに、「結節」、「空洞」及び「石灰化」等の異常陰影の名称が挙げられる。性状とは、主に異常陰影の特徴を意味する。例えば結節の場合、「充実型」及び「スリガラス型」等の吸収値、「明瞭／不明瞭」、「平滑／不整」、「スピキュラ」、「分葉状」及び「鋸歯状」等の辺縁形状、並びに、「類円形」及び「不整形」等の全体形状を示す所見が挙げられる。また例えば、異常陰影の大きさ及び量を定性的に示す所見（「大きい／小さい」及び「単発性／多発性」等）、並びに、造影有無及びウォッシュアウト等に関する所見が挙げられる。

計測値とは、医用画像から定量的に計測可能な値であり、例えば、長径、単位をＨＵとするＣＴ値、並びに、関心領域が複数ある場合の個数及び関心領域間の距離等が挙げられる。位置とは、関心領域に関する医用画像中の位置又は他の関心領域との位置関係を意味し、例えば、「内部」、「辺縁」及び「周囲」等が挙げられる。推定病名とは、取得部３０が異常陰影に基づいて推定した評価結果であり、例えば、「がん」及び「炎症」等の病名、並びに、各性状に関する「陰性／陽性」等の評価結果が挙げられる。図５では、陰性と評価された性状には［－］を付し、陽性と評価された性状には何も付していない。

例えば、取得部３０は、ＣＡＤを用いることで、取得した医用画像に基づいて、上記のような要素情報を生成してもよい。具体的には、取得部３０は、医用画像に含まれる関心領域を抽出する。関心領域の抽出には、例えば、入力を医用画像とし、出力を医用画像から抽出される関心領域とするよう予め学習された、ＣＮＮ（Convolutional Neural Network）等の学習済モデルを用いてもよい。また、取得部３０は、ユーザによって入力部２５を介して指定された医用画像中の領域を、関心領域として抽出してもよい。

その後、取得部３０は、医用画像から抽出した関心領域に関する要素情報を生成する。取得部３０による要素情報の生成には、例えば、入力を医用画像中の関心領域とし、出力を関心領域に関する要素情報とするよう予め学習された、ＣＮＮ等の学習済モデルを用いてもよい。

また例えば、取得部３０は、入力部２５を介して入力された情報に基づいて、要素情報を生成してもよい。具体的には、取得部３０は、ユーザによって入力部２５を介して入力されたキーワードに基づいて、要素情報を生成してもよい。また例えば、取得部３０は、ディスプレイ２４に要素情報の候補を提示し、ユーザによる要素情報の指定を受け付けてもよい。

また、上述したように、各医用画像には画像ＤＢ６に登録される時点で、撮影に関する情報を含む付帯情報が付帯される。そこで例えば、取得部３０は、画像サーバ５から取得した医用画像に付帯された付帯情報に基づいて、医用画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報を、要素情報として生成してもよい。

また例えば、取得部３０は、上述したようなＣＡＤにより医用画像に基づいて要素情報を生成する機能を有する外部装置によって予め生成された要素情報を、当該外部装置から取得してもよい。また例えば、取得部３０は、診療ＷＳ４等の外部装置から、検査オーダ及び電子カルテに含まれる情報、血液検査及び感染症検査等の各種検査結果を示す情報、並びに、健康診断の結果を示す情報等を取得し、適宜要素情報として生成してもよい。

ところで、読影レポート等の医療文書では、読者が文章の内容を理解しやすいよう、医用画像に関する複数の要素情報に対応する要素を記載した文章における各要素の記載順について、医療機関内での取り決め及びユーザの好み等の規則が定まっている場合がある。例えば、結節等の異常陰影について記載する場合、位置、大きさ及び全体の形状等の所見を先に、辺縁部及び内部の詳細な所見を後に記載することが望まれる場合がある。また例えば、悪性所見を先に、良性所見を後に記載することが望まれる場合がある。また例えば、同一の被検体を撮影対象とする過去と現在の医用画像の比較結果を記載する場合に、変化した部分を先に、変化していない部分を後に記載することが望まれる場合がある。

図６に、医用画像５０Ｘ（図４参照）に含まれる異常陰影Ｎ（結節）に関する複数の要素情報５２Ｘ（図５参照）に対応する要素が、適切な記載順で記載された文章５６Ｘの一例を示す。文章５６Ｘは４つの段落からなり、文頭から順に、結節の全体の性状、辺縁の性状、内部の性状、及び、結節の進展度合の判断に用いられる周辺組織との関係、となるように順序立てて各要素が記載されている。

本実施形態に係る第１生成部３２及び第２生成部３４は、図６に示したような、取得部３０により取得及び／又は生成された複数の要素情報に対応する要素が適切な記載順で記載された文章を生成する。以下、図７及び図８を参照して、第１生成部３２及び第２生成部３４の機能について説明する。図７は、本実施形態に係る第１生成部３２及び第２生成部３４による処理の順序を示す図である。

まず、第１生成部３２は、取得部３０により取得及び／又は生成された複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成する。プランとは、文章全体の段落構成（すなわち段落の数及び順序）と、複数の要素情報に対応する各要素をどの段落に記載するかと、を定めるものである。なお、プランは、段落構成及び各要素をどの段落に記載するかを少なくとも定めるものであり、１つの段落における各要素の記載順は定められていなくてもよい。

プランの生成において、第１生成部３２は、取得部３０により取得及び／又は生成された複数の要素情報をグループに分け、グループごとに記載順を定めたプランを生成してもよい。すなわち、１つのグループを１つの段落とみなし、複数の要素情報をグループに分けることで、複数の要素情報に対応する各要素をどの段落に記載するかを振り分け、かつ、各グループの順序を定めることで、文章全体における各段落の記載順を定めてもよい。

図８に、プランの一例としてのプラン５４Ｘと、当該プラン５４Ｘに基づいて生成される文章５６Ｘと、を示す。プラン５４Ｘは、医用画像５０Ｘ（図４参照）に関する複数の要素情報５２Ｘ（図５参照）に対応する。図８では、「結節」に関する複数の要素情報５２Ｘが、全体の性状を示すもの（グループ１）、辺縁の性状を示すもの（グループ２）、内部の性状を示すもの（グループ３）、及び、周辺組織との関係を示すもの（グループ４）の４つのグループに分けられている。グループ１～４は、番号が小さい順に、文頭から順に並べられた各段落に対応する。

第１生成部３２によるプランの生成には、図７に示すように、入力を要素情報とし、出力をプランとするよう予め学習された、ＣＮＮ及びＲＮＮ（Recurrent Neural Network）等のプラン生成モデルＭ１を用いてもよい。プラン生成モデルＭ１は、過去に生成された文章に含まれる要素に対応する要素情報と、当該文章における要素の記載順が定められたプランと、の組を学習データとして用いて学習されるモデルである。プラン生成モデルＭ１が、本開示の第１の学習済モデルの一例である。

プラン生成モデルＭ１の学習データとして用いられるプランは、上述したような、文章における各要素の記載順についての医療機関内での取り決め及びユーザの好み等の予め定められた規則が反映されたものである。プラン生成モデルＭ１は、このようなプランを学習データとして用いて学習することによって、入力された要素情報を規則に従ってグループ分けし、グループごとに記載順を定めたプランを生成できる。

次に、第２生成部３４は、第１生成部３２により生成されたプランに基づいて、文章を生成する。具体的には、第２生成部３４は、図８に示すように、プラン５４Ｘにおいて定められたグループごとに少なくとも１文を含む段落を生成し、最後に各段落をまとめて１つの文章５６Ｘとして生成する。

第２生成部３４による文章の生成には、図７に示すように、入力をプランとし、出力を文章とするよう予め学習されたＣＮＮ及びＲＮＮ等の文章生成モデルＭ２を用いてもよい。文章生成モデルＭ２は、過去に生成された文章と、当該文章に関するプランと、の組を学習データとして用いて学習されるモデルである。文章生成モデルＭ２が、本開示の第２の学習済モデルの一例である。

制御部３６は、第２生成部３４により生成された文章をディスプレイ２４に表示させる制御を行う。図９に、制御部３６によってディスプレイ２４に表示される、文章が表示された画面Ｄ１の一例を示す。画面Ｄ１には、医用画像５０Ｘ（図４参照）と、取得部３０により取得及び／又は生成された複数の要素情報５２Ｘ（図５参照）と、第２生成部３４により生成された文章５６Ｘと、が含まれている。

次に、図１０を参照して、本実施形態に係る情報処理装置１０の作用を説明する。情報処理装置１０において、ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１０に示す第１の情報処理が実行される。第１の情報処理は、例えば、ユーザによって入力部２５を介して実行開始の指示があった場合に実行される。

ステップＳ１０で、取得部３０は、画像サーバ５から医用画像を取得する。ステップＳ１２で、取得部３０は、ステップＳ１０で取得した医用画像に関する複数の要素情報を取得及び／又は生成する。具体的には、取得部３０は、ステップＳ１０で取得した医用画像に基づいて複数の要素情報を生成してもよいし、ユーザにより入力部２５を介して入力された情報及び外部装置から取得した情報に基づいて要素情報を生成してもよい。また、取得部３０は、外部装置から要素情報を取得してもよい。

ステップＳ１４で、第１生成部３２は、ステップＳ１２で取得及び／又は生成された複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成する。ステップＳ１６で、第２生成部３４は、ステップＳ１４で生成されたプランに基づいて、文章を生成する。ステップＳ１８で、制御部３６は、ステップＳ１６で生成された文章を含む画面をディスプレイ２４に表示させ、本第１の情報処理を終了する。

以上説明したように、本開示の一態様に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、画像に関する複数の要素情報を取得し、複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、プランに基づいて、文章を生成する。すなわち、本実施形態に係る情報処理装置１０によれば、要素の記載順及び網羅度合が適切な文章を生成できるので、医療文書の作成を支援できる。

［第２実施形態］
第２実施形態に係る情報処理装置１０は、第１実施形態と同様の機能に加え、複数の要素情報について複数のプランの候補を生成し、各プランの候補を評価して最も適切なプランの候補を選択することで、より適切な文章の生成を可能とするものである。以下、第２実施形態に係る情報処理装置１０について説明するが、第１実施形態と同様の構成及び機能については、適宜説明を省略する。

図１１を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図１１に示すように、情報処理装置１０は、取得部３０、第１生成部３２、第２生成部３４、制御部３６及び評価部３８を含む。第１生成部３２はプラン生成モデルＭ１を含んでいてもよく、第２生成部３４は文章生成モデルＭ２を含んでいてもよい。評価部３８は、文章評価モデルＭ３を含んでいてもよい（詳細は後述）。ＣＰＵ２１が情報処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、第１生成部３２、第２生成部３４、制御部３６及び評価部３８として機能する。

取得部３０は、画像サーバ５から、読影レポートを作成する対象の医用画像を取得する。また、取得部３０は、画像サーバ５から取得した医用画像に関する複数の要素情報を取得及び／又は生成する。取得部３０の機能は第１実施形態と同様であるため、説明を省略する。

以下、図１２～図１５を参照して、本実施形態に係る第１生成部３２、第２生成部３４及び評価部３８の機能について説明する。図１２は、本実施形態に係る第１生成部３２、第２生成部３４及び評価部３８による処理の順序を示す図である。以下の説明においては、第１生成部３２、第２生成部３４及び評価部３８が、段落ごとにプランの候補の生成、文章の生成、及び評価を行う形態について説明する。

まず、第１生成部３２は、取得部３０により取得及び／又は生成された複数の要素情報について、複数の異なるプランの候補を生成する。すなわち、第１生成部３２は、プランの候補の生成対象となる複数の要素情報そのものは異ならせずに、複数のバリエーションのプランの候補を生成する。プランの候補のバリエーションとしては、例えば、プランにおけるグループの数及び種類を異ならせてもよいし、グループの数及び種類は同一としてどのグループにどの要素情報を割り振るかを異ならせてもよい。

複数の異なるプランの候補の一例として、図１３にプラン候補６４Ａを示し、図１４にプラン候補６４Ｂを示し、図１５にプラン候補６４Ｃを示す。プラン候補６４Ａ～６４Ｃは、それぞれ、医用画像５０Ｘ（図４参照）に関する複数の要素情報５２Ｘ（図５参照）に対応する。図１３～図１５にはそれぞれ、プラン候補６４Ａ～６４Ｃとして、「結節」に関する複数の要素情報５２Ｘについての、最も文頭の１つのグループ分（すなわち最も文頭の１段落分）に対応する部分のプランの候補を示している。このように、第１生成部３２は、まず１つのグループ分（すなわち１段落分）に対応する部分のプランの候補を複数生成する。

第１生成部３２によるプランの候補の生成方法については、第１実施形態におけるプランの生成方法と同様であるため、説明を省略する。例えば、第１生成部３２によるプランの候補の生成には、図１２に示すように、プラン生成モデルＭ１を用いてもよい。

次に、第２生成部３４は、第１生成部３２により生成されたプランの候補ごとに文章を生成する。具体的には、第２生成部３４は、第１生成部３２により生成された１つのグループ分に対応する部分のプランの候補に基づいて、１つの段落分の文章（以下、「文章候補」という）を生成する。第２生成部３４により生成される文章候補の一例として、図１３～図１５にそれぞれ、１つのグループ分のプラン候補６４Ａ～６４Ｃに基づいて生成される１つの段落分の文章候補６６Ａ～６６Ｃを示す。

第２生成部３４による文章候補の生成方法については、第１実施形態における文章の生成方法と同様であるため、説明を省略する。例えば、第２生成部３４による文章候補の生成には、図１２に示すように、文章生成モデルＭ２を用いてもよい。

次に、評価部３８は、第２生成部３４により生成された文章（文章候補）ごとに評価を行う。具体的には、評価部３８は、第２生成部３４により生成された文章（文章候補）に含まれる要素の当該文章における記載順及び網羅度合の少なくとも一方に基づいて、評価を行う。記載順に基づく評価とは、文章に含まれる要素が適切な順序で記載されているかを評価することを意味する。網羅度合に基づく評価とは、文章に記載されるべき要素が過不足なく適切に記載されているかを評価することを意味する。本実施形態においては、段落ごとにプランの候補の生成及び文章（文章候補）の生成を行っているため、評価部３８は、現在の評価対象の段落に記載されるべき要素が過不足なく適切に記載されているかを評価することによって、記載順及び網羅度合を評価できる。

評価部３８による評価の結果の一例として、図１３～図１５にそれぞれ、文章候補６６Ａ～６６Ｃに関する評価スコア６８Ａ～６８Ｃを示す。評価スコア６８Ａ～６８Ｃは、最小値を０、最大値を１００とし、評価が良いほど値が大きくなるように定められたスコアである。文章候補６６Ａは、結節に関する全体の性状を示す要素が適切に記載されているため、評価スコア６８Ａが高くなっている。一方、文章候補６６Ｂは、結節に関する内部の性状を示す要素（「空洞［－］」）が過剰に記載されているため、評価スコア６８Ｂは評価スコア６８Ａよりも低くなっている。また、文章候補６６Ｃは、結節に関する全体の性状を示す要素ではなく、辺縁の性状を示す要素が記載されているため、評価スコア６８Ｃは最も低くなっている。

評価部３８による文章（文章候補）の評価には、図１２に示すように、入力を文章（文章候補）とし、出力を評価スコアとするよう予め学習された、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）等の文章評価モデルＭ３を用いてもよい。文章評価モデルＭ３は、医師等のユーザによって生成された文章を記載順及び網羅度合が適切な正解の文章として学習されるモデルである。すなわち、文章評価モデルＭ３は、入力された文章と予め学習された正解の文章との、記載順及び網羅度合に関する類似度に応じた評価スコアを算出するモデルである。

また、評価部３８は、文章の評価の結果に基づいて、採用するプランの候補を決定する。例えば、図１３～図１５の例では、最も評価が高い評価スコア６８Ａがつけられた文章候補６６Ａに対応する、プラン候補６４Ａを選択する。

第１生成部３２、第２生成部３４及び評価部３８は、上記の処理を各段落について繰返し行い、全ての段落について採用するプランの候補を決定する。これにより、段落ごとに記載順及び網羅度合が適切なプランを選択できる。なお、評価部３８は、文章（文章候補）の評価を行う場合に、既に評価済みの前段の段落の評価の結果を加味して、評価を行ってもよい。

次に、図１６を参照して、本実施形態に係る情報処理装置１０の作用を説明する。情報処理装置１０において、ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１６に示す第２の情報処理が実行される。第２の情報処理は、例えば、ユーザによって入力部２５を介して実行開始の指示があった場合に実行される。

ステップＳ４０で、取得部３０は、画像サーバ５から医用画像を取得する。ステップＳ４２で、取得部３０は、ステップＳ４０で取得した医用画像に関する複数の要素情報を取得及び／又は生成する。具体的には、取得部３０は、ステップＳ４０で取得した医用画像に基づいて複数の要素情報を生成してもよいし、ユーザにより入力部２５を介して入力された情報及び外部装置から取得した情報に基づいて要素情報を生成してもよい。また、取得部３０は、外部装置から要素情報を取得してもよい。

ステップＳ４４で、第１生成部３２は、ステップＳ４２で取得及び／又は生成された複数の要素情報に対応する要素が記載される文章の１段落分に相当するプランの候補を複数生成する。ステップＳ４６で、第２生成部３４は、ステップＳ４４で生成された複数のプランの候補ごとに、文章（文章候補）を生成する。ステップＳ４８で、評価部３８は、ステップＳ４６で生成された文章（文章候補）ごとに評価を行う。ステップＳ５０で、評価部３８は、ステップＳ４８で評価した結果に基づいて、採用するプランの候補を決定する。

ステップＳ５２で、評価部３８は、ステップＳ４２で取得及び／又は生成された複数の要素情報に対応する要素が記載される文章の全ての段落について、採用するプランの候補が決定されたか否かを判定する。全ての段落についての採用するプランの候補の決定が完了していない場合（すなわちステップＳ５２がＮの場合）、まだプランの候補を生成していない段落について、ステップＳ４４～ステップＳ５０の処理を繰り返す。

一方、全ての段落についての採用するプランの候補の決定が完了した場合（すなわちステップＳ５２がＹの場合）、ステップＳ５４に移行する。ステップＳ５４で、制御部３６は、ステップＳ５０で決定された各段落に関するプランの候補に基づいて生成された文章を含む画面をディスプレイ２４に表示させ、本第２の情報処理を終了する。

以上説明したように、本開示の一態様に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、複数の要素情報について、複数の異なるプランの候補を生成し、プランの候補ごとに文章を生成し、文章ごとに評価を行い、評価の結果に基づいて、採用するプランの候補を決定する。すなわち、本実施形態に係る情報処理装置１０によれば、記載順及び網羅度合がより適切な文章を生成できるので、医療文書の作成を支援できる。

なお、上記第２実施形態においては、第１生成部３２が生成した複数のプラン候補のうちの採用するプラン候補を、評価部３８が決定する形態について説明したが、これに限らない。例えば、制御部３６が、第１生成部３２が生成した複数の異なるプランの候補のうち、採用するプランの候補の指定を受け付けてもよい。具体的には、制御部３６は、第１生成部３２により生成された複数の異なるプランの候補をディスプレイ２４に表示させる制御を行い、ユーザによる入力部２５を介した指定により、採用するプランの候補を決定してもよい。この場合、情報処理装置１０は、評価部３８の機能を省略できる。

［従来手法との比較］
第１及び第２実施形態による手法と、従来手法との比較について説明する。図１７は、従来手法による要素情報から文章を生成する処理の順序を示す図である。図１７に示すように、従来手法では、入力を要素情報とし、出力を文章とするよう予め学習された、従来の文章生成モデルＭ０を用いて、要素情報から当該要素情報に対応する要素の記載順を定めたプランを生成することなく文章を生成していた（例えば特許文献１参照）。

従来の文章生成モデルＭ０を用いた手法では、要素情報が多量及び複雑になると、生成される文章が望ましい記載順とはならなかったり、情報が抜け落ちたり、冗長な文章になってしまったりする場合があった。すなわち、文章の記載順及び網羅度合が不適切となってしまう場合があった。図１８に、医用画像５０Ｘ（図４参照）に関する複数の要素情報５２Ｘ（図５参照）を従来の文章生成モデルＭ０に入力して得られる文章５６Ｙの一例を示す。文章５６Ｙは、図６に示した文章５６Ｘと比較して、記載順が不適切で、読者にとって読みづらい文章となっている。

図１９に、本開示の第１及び第２実施形態に係る手法により生成された文章と、従来手法により生成された文章と、のそれぞれを評価した結果を示す。図１９には、上記の文章評価モデルＭ３により算出された、文章における要素の記載順及び網羅度合の適切さを表す「評価スコア」を示している。図１９に示すように、本開示の第１及び第２実施形態に係る手法により生成された文章は、従来手法により生成された文章よりも評価スコアが高く、文章における要素の記載順及び網羅度合の適切さが向上していることが分かる。

なお、上記各実施形態においては、１つの医用画像５０Ｘに含まれる１つの関心領域（異常陰影Ｎ）に関する複数の要素情報５２Ｘについて、プラン及び文章を生成する形態について説明したが、これに限らない。

例えば、取得部３０は、１つの画像に含まれる複数の関心領域の各々に関する複数の要素情報を取得及び／又は生成し、第１生成部３２は、複数の要素情報を複数の関心領域の各々に対応する複数のグループに分けて、プランを生成してもよい。第２生成部３４は、複数の関心領域の各々に関する複数の要素情報に対応する要素がまとめて記載された文章を生成してもよい。

図２０に、肺を撮影した医用画像について、右肺と左肺にそれぞれ結節を示す異常陰影が含まれる場合を想定したプラン５４Ｐと、当該プラン５４Ｐに基づいて生成される文章５６Ｐと、を示す。すなわち図２０は、右肺及び左肺を両方含む１つの医用画像に、複数の異常陰影が含まれる場合を想定している。プラン５４Ｐでは、右肺に含まれる結節に関する要素情報（グループ１）と、左肺に含まれる結節に関する要素情報（グループ２）と、にグループが分けられている。このように第１生成部３２は、複数の要素情報を複数の異常陰影の各々に対応する複数のグループに分けて、プランを生成してもよい。

また例えば、取得部３０は、複数の画像に含まれる関心領域の各々に関する複数の要素情報を取得及び／又は生成し、第１生成部３２は、複数の要素情報を複数の画像の各々に対応する複数のグループに分けて、プランを生成してもよい。すなわち、取得部３０が取得及び／又は生成する複数の要素情報は、複数の画像の各々に関するものであってもよい。第２生成部３４は、複数の画像の各々に関する複数の要素情報に対応する要素がまとめて記載された文章を生成してもよい。

図２１に、同一の被検体について、肺の部分を撮影した医用画像と、肝臓の部分を撮影した医用画像と、のそれぞれに結節を示す異常陰影が含まれる場合を想定したプラン５４Ｑと、当該プラン５４Ｑに基づいて生成される文章５６Ｑと、を示す。すなわち図２１は、肺の医用画像と肝臓の医用画像とが異なる画像である場合を想定している。プラン５４Ｑでは、肺に含まれる結節に関する要素情報（グループ１）と、肝臓に含まれる結節に関する要素情報（グループ２）と、にグループが分けられている。このように第１生成部３２は、複数の要素情報を複数の画像の各々に対応する複数のグループに分けて、プランを生成してもよい。

また例えば、取得部３０は、画像の撮影時点を示す要素情報を取得及び／又は生成し、第１生成部３２は、当該要素情報が示す撮影時点に基づいて、関連する要素情報に対応する要素の記載順を定めたプランを生成してもよい。「撮影時点」とは、例えば、撮影が行われた日時を表すものであってもよいし、造影剤検査における動脈相、門脈相及び平衡相等の撮影フェーズを表すものであってもよい。この場合、第１生成部３２は、複数の要素情報を複数の撮影時点の各々に対応する複数のグループに分けて、プランを生成してもよい。第２生成部３４は、複数の異なる撮影時点において撮影された複数の画像の各々に関する複数の要素情報に対応する要素がまとめて記載された文章を生成してもよい。

図２２に、同一の被検体について異なる時点（日時）で肺を撮影した医用画像のそれぞれに結節を示す異常陰影が含まれる場合を想定したプラン５４Ｒと、当該プラン５４Ｒに基づいて生成される文章５６Ｒと、を示す。プラン５４Ｒでは、第１の時点で撮影された医用画像に含まれる結節に関する要素情報（グループ１）と、第２の時点で撮影された医用画像に含まれる結節に関する要素情報（グループ２）と、にグループが分けられている。このように第１生成部３２は、複数の要素情報を複数の撮影時点の各々に対応する複数のグループを分けて、プランを生成してもよい。

また図２３に、同一の被検体について肝臓を造影剤撮影して得られる各フェーズの医用画像のそれぞれに異常陰影が含まれる場合を想定したプラン５４Ｓと、当該プラン５４Ｓに基づいて生成される文章５６Ｓと、を示す。プラン５４Ｓでは、各フェーズに共通の全体の性状に関する要素情報（グループ１）と、動脈相に関する要素情報（グループ２）と、平衡相に関する要素情報（グループ３）と、にグループが分けられている。このように第１生成部３２は、複数の要素情報を複数の撮影フェーズの各々に対応する複数のグループに分けて、プランを生成してもよい。

また例えば、第１生成部３２は、複数の関心領域の各々に関する要素情報についてのプランを生成する場合に、関心領域ごとに深刻度を導出し、深刻度が高い関心領域に関する要素情報に対応する要素ほど、文章の文頭側に記載されるよう、プランを生成してもよい。関心領域の深刻度は、例えば、関心領域の大きさ、位置及び吸収値等により導出できる。図２０の例では、第１生成部３２は、相対的に大きく充実型でスピキュラを伴う第１関心領域に関する要素が文頭側に記載され、相対的に小さくスリガラス型の第２関心領域に関する要素が文末側に記載されるよう、プランを生成してもよい。

また例えば、第１生成部３２は、複数の関心領域がそれぞれ腫瘍細胞の転移元及び転移先であると推定できる場合に、転移元に関する要素が文頭側に記載され、転移先に関する要素が文末側に記載されるよう、プランを生成してもよい。転移元及び転移先の推定は、例えば、関心領域の大きさ、位置及び吸収値等により推定できる。また、同一の被検体について異なる時点（日時）で撮影を行っている場合は、異常陰影が検出された時点によって推定できる。図２１の例では、第１生成部３２は、相対的に大きい肺の結節を転移元、相対的に小さい肝臓の腫瘍を転移先と推定し、肺に関する要素が文頭側に記載され、肝臓に関する要素が文末側に記載されるよう、プランを生成してもよい。

また、上記各実施形態においては、第１生成部３２が、取得部３０が取得及び／又は生成した複数の要素情報の全てを含むプランを生成する例について説明したが、これに限らない。複数の要素情報が多数ある場合等には、文章の長大化を抑制するため、第１生成部３２は、取得部３０が取得及び／又は生成した複数の要素情報を取捨選択してプランを生成してもよい。この場合、要素情報ごとに重要度が予め定められ、記憶部２２等に予め記憶されていてもよい。例えば、結節に関して、悪性の根拠となり得る要素（例えばスピキュラ）に対応する要素情報の重要度は高くし、良性の根拠となり得る要素（例えば境界明瞭）に対応する要素情報の重要度は低くしてもよい。

具体的には、第１生成部３２は、取得部３０が取得及び／又は生成した複数の要素情報のうち、重要度が相対的に小さい要素情報に対応する要素を、文章に記載しないことを定めたプランを生成してもよい。例えば、取得部３０が取得及び／又は生成した複数の要素情報の数が予め定められた閾値を超えた場合、重要度が低い方から順に閾値を超えた数分の要素情報を文章に記載しないよう、取捨選択してプランを生成してもよい。

また、第１生成部３２は、取得部３０が取得及び／又は生成した複数の要素情報のうち、重要度が予め定められた閾値よりも低い要素情報に対応する要素を、文章に記載しないことを定めたプランを生成してもよい。ここで、予め定められた閾値は、ユーザが任意に設定できるようにしてもよい。すなわち、取得部３０が取得及び／又は生成した複数の要素情報の数によらず、予め定められた重要度よりも低い重要度の要素情報に対応する要素については、文章に記載しないようにしてもよい。

また、第１生成部３２は、重要度が高い要素情報に対応する要素ほど、文章の文頭側に記載されるよう、プランを生成してもよい。

また、第１生成部３２は、第２生成部３４により生成する文章の簡潔度合の指定を受け付け、指定された簡潔度合に応じて、文章に記載しない要素の数を変更してもよい。図２４に、制御部３６によってディスプレイ２４に表示される、文章の簡潔度合の指定を受け付ける画面Ｄ２の一例を示す。画面Ｄ２には、医用画像５０Ｘ（図４参照）と、取得部３０により取得及び／又は生成された複数の要素情報５２Ｘ（図５参照）と、文章の簡潔度合の指定を受け付けるための指定欄８２と、が含まれている。この場合、ユーザは、ディスプレイ２４に表示された画面Ｄ２における指定欄８２に表示された文章の簡潔度合の１つを、入力部２５を介して指定する。第１生成部３２は、ユーザによって指定された文章の簡潔度合に従って、複数の要素情報５２Ｘに基づきプランを生成する。

また例えば、通常、結節の石灰化の有無を示す要素は、結節が良性か悪性かの判定根拠となり得るため文章に記載されることが望まれる。一方、結節がスリガラス型である場合は、一般的に石灰化はみられないため、記載を省略することを好むユーザもいる。そこで、第１生成部３２は、例えば「スリガラス型」を示す要素情報がある場合には「石灰化」を示す要素情報の重要度を下げる等、ある要素情報の有無及び程度に基づき、別の要素情報に対応する要素を文章へ記載するか否かを異ならせてもよい。

以上説明したように、上記各実施形態に係る情報処理装置１０は、１つの関心領域に関する領域別（全体の性状及び辺縁の性状等）、複数の関心領域別、複数の画像別並びに複数の撮影時点別等の、複数の異なる予め定められた規則に従って、種々のプランを生成し得るものである。そこで第１生成部３２は、異なる規則に従った種々のプランを生成するための複数のプラン生成モデルを含んでいてもよい。例えば、第１生成部３２は、１つの関心領域に関する領域別にグループが分けられたプランを生成するモデルと、複数の関心領域別にグループが分けられたプランを生成するモデルと、複数の画像別にグループが分けられたプランを生成するモデルと、複数の撮影時点別にグループが分けられたプランを生成するモデルと、の４つのプラン生成モデルを含んでいてもよい。

複数のプラン生成モデルはそれぞれ、入力を要素情報とし、出力をプランとするよう予め学習された、ＣＮＮ及びＲＮＮ等のモデルである。複数のプラン生成モデルはそれぞれ、過去に生成された文章に含まれる要素に対応する要素情報と、当該文章における要素の記載順が定められたプランと、の組を学習データとして用いて学習されるモデルであるが、その学習データがモデルによって異なる。例えば、１つの関心領域に関する領域別にグループが分けられたプランを生成するためのモデルは、学習データとして１つの関心領域に関する領域別にグループが分けられたプランが用いられる。一方、複数の関心領域別にグループが分けられたプランを生成するためのモデルは、学習データとして複数の関心領域別にグループが分けられたプランが用いられる。

第１生成部３２は、複数のプラン生成モデルのうち少なくとも１つを選択的に用いて、プランを生成してもよい。なお、どのプラン生成モデルを選択するかについては、例えば、取得部３０により取得及び／又は生成された複数の要素情報に基づいて、第１生成部３２が最適なプラン生成モデルを選択してもよい。

また例えば、第１生成部３２は、複数の異なる予め定められた規則のうち、少なくとも１つの規則の指定を受け付け、指定された規則に従って、複数の要素情報をグループに分けてもよい。具体的には、第１生成部３２は、複数のプラン生成モデルのうちどのプラン生成モデルを選択するかについて、ユーザの指定を受け付けてもよい。

図２５に、制御部３６によってディスプレイ２４に表示される、複数の異なる規則の指定を受け付ける画面Ｄ３の一例を示す。画面Ｄ３には、医用画像５０Ｘ（図４参照）と、取得部３０により取得及び／又は生成された複数の要素情報５２Ｘ（図５参照）と、複数の異なる規則の指定を受け付けるための指定欄８０と、が含まれている。この場合、ユーザは、ディスプレイ２４に表示された画面Ｄ３における指定欄８０に表示された複数の異なる規則のうち少なくとも１つを、入力部２５を介して指定する。

第１生成部３２は、ユーザによって指定された少なくとも１つの規則に従って、複数の要素情報５２Ｘをグループに分ける。具体的には、第１生成部３２は、複数のプラン生成モデルのうち、ユーザによって指定された少なくとも１つの規則に従った学習データを用いて予め学習されたプラン生成モデルを選択的に用いて、プランを生成する。

また、上記各実施形態においては、画像の一例として医用画像を用いる形態について説明したが、本開示の技術は、医用画像以外の画像を用いることもできる。例えば、土木構造物、工業製品及び配管等の非破壊検査において撮影された画像（例えばＣＴ画像、可視光画像及び赤外線画像等）についてレポートを作成する場合にも、本開示の技術を適用できる。この場合、画像に関する要素情報としては、画像に含まれる関心領域に関する名称、性状、計測値及び位置、並びに画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報を適用できる。

また、上記実施形態において、例えば、取得部３０、第１生成部３２、第２生成部３４、制御部３６及び評価部３８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記実施形態では、情報処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。

本開示の技術は、上記実施形態例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

１ 情報処理システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
９ ネットワーク
１０ 情報処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 情報処理プログラム
２８ バス
３０ 取得部
３２ 第１生成部
３４ 第２生成部
３６ 制御部
３８ 評価部
５０Ｘ 医用画像
５２Ｘ 要素情報
５４Ｐ～５４Ｓ、５４Ｘ プラン
５６Ｐ～５６Ｓ、５６Ｘ、５６Ｙ 文章
６４Ａ～６４Ｃ プラン候補
６６Ａ～６６Ｃ 文章候補
６８Ａ～６８Ｃ 評価スコア
８０、８２ 指定欄
Ｄ１～Ｄ３ 画面
Ｍ１ プラン生成モデル
Ｍ２ 文章生成モデル
Ｍ３ 文章評価モデル
Ｎ 異常陰影

Claims (20)

1. 少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   画像に関する複数の要素情報を取得し、
   前記複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、
   前記プランに基づいて、前記文章を生成する
   情報処理装置。
2. 前記プロセッサは、
   前記複数の要素情報をグループに分け、
   前記グループごとに前記記載順を定めた前記プランを生成する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記複数の要素情報の前記グループの分け方について予め定められた複数の異なる規則のうち、少なくとも１つの前記規則の指定を受け付け、
   指定された前記規則に従って、前記複数の要素情報をグループに分ける
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記画像に含まれる複数の関心領域の各々に関する複数の要素情報を取得し、
   前記複数の要素情報を前記複数の関心領域の各々に対応する複数のグループに分ける
   請求項２又は請求項３に記載の情報処理装置。
5. 前記複数の要素情報は、複数の画像の各々に関するものであり、
   前記プロセッサは、
   前記複数の画像の各々に関する複数の要素情報に対応する要素がまとめて記載された文章を生成する
   請求項１から請求項４の何れか１項に記載の情報処理装置。
6. 前記プロセッサは、
   前記画像の撮影時点を示す要素情報を取得し、
   前記要素情報が示す撮影時点に基づいて、関連する要素情報に対応する要素の前記記載順を定めた前記プランを生成する
   請求項１から請求項３の何れか１項に記載の情報処理装置。
7. 前記要素情報ごとに重要度が予め定められ、
   前記プロセッサは、
   前記複数の要素情報のうち前記重要度が予め定められた閾値よりも低い前記要素情報に対応する要素を、前記文章に記載しないことを定めた前記プランを生成する
   請求項１から請求項６の何れか１項に記載の情報処理装置。
8. 前記要素情報ごとに重要度が予め定められ、
   前記プロセッサは、
   前記複数の要素情報のうち前記重要度が相対的に小さい要素情報に対応する要素を、前記文章に記載しないことを定めた前記プランを生成する
   請求項１から請求項７の何れか１項に記載の情報処理装置。
9. 前記プロセッサは、
   前記文章の簡潔度合の指定を受け付け、
   前記簡潔度合に応じて、前記文章に記載しない前記要素の数を変更する
   請求項７又は８に記載の情報処理装置。
10. 前記プロセッサは、
    入力を前記要素情報とし、出力を前記プランとするよう予め学習された第１の学習済モデルを用いて、前記プランを生成し、
    入力を前記プランとし、出力を前記文章とするよう予め学習された第２の学習済モデルを用いて、前記文章を生成する
    請求項１から請求項９の何れか１項に記載の情報処理装置。
11. 前記第１の学習済モデルは、過去に生成された前記文章に含まれる前記要素に対応する前記要素情報と、当該文章における前記要素の記載順が定められたプランと、の組を学習データとして用いて学習される
    請求項１０に記載の情報処理装置。
12. 前記プロセッサは、
    前記複数の要素情報について、複数の異なる前記プランの候補を生成し、
    前記プランの候補ごとに前記文章を生成し、
    前記文章ごとに評価を行い、
    前記評価の結果に基づいて、採用する前記プランの候補を決定する
    請求項１から請求項１１の何れか１項に記載の情報処理装置。
13. 前記プロセッサは、
    生成した前記文章に含まれる前記要素の当該文章における記載順及び網羅度合の少なくとも一方に基づいて、前記評価を行う
    請求項１２に記載の情報処理装置。
14. 前記プロセッサは、
    前記複数の要素情報について、複数の異なる前記プランの候補を生成し、
    前記複数の異なるプランの候補のうち、採用する前記プランの候補の指定を受け付ける
    請求項１から請求項１１の何れか１項に記載の情報処理装置。
15. 前記プロセッサは、
    前記画像を取得し、
    取得した前記画像に基づいて、前記要素情報を生成する
    請求項１から請求項１４の何れか１項に記載の情報処理装置。
16. 入力部を更に備え、
    前記プロセッサは、
    前記入力部を介して入力された情報に基づいて、前記要素情報を生成する
    請求項１から請求項１５の何れか１項に記載の情報処理装置。
17. 前記要素情報は、前記画像に含まれる関心領域に関する名称、性状、計測値及び位置、並びに前記画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報である
    請求項１から請求項１６の何れか１項に記載の情報処理装置。
18. 前記画像は、医用画像であり、
    前記要素情報は、前記医用画像に含まれる関心領域に関する名称、性状、位置及び推定病名、並びに前記医用画像の撮影に関する撮影方法、撮影条件及び撮影日時、の少なくとも１つを示す情報であり、
    前記関心領域は、前記医用画像に含まれる構造物の領域、及び前記医用画像に含まれる異常陰影の領域の少なくとも一方である
    請求項１から請求項１７の何れか１項に記載の情報処理装置。
19. 画像に関する複数の要素情報を取得し、
    前記複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、
    前記プランに基づいて、前記文章を生成する
    処理を含む情報処理方法。
20. 画像に関する複数の要素情報を取得し、
    前記複数の要素情報に対応する要素が記載される文章における、当該要素の記載順を定めたプランを生成し、
    前記プランに基づいて、前記文章を生成する
    処理をコンピュータに実行させるための情報処理プログラム。

Images