JP2021518599A - 医用レポート内のテキストデータに基づいて医用画像を生成する方法及びシステム - Google Patents

Abstract

本開示の実施形態は、医用レポート内のテキストデータに基づいて医用画像を生成する方法及びシステムを開示する。生成のために、患者の１つ以上の医用レポートのそれぞれからテキストデータが取得される。テキストデータは、１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む。更に、複数の参照画像のそれぞれのマッチングスコアが、第１の機械学習モデルを使用して、テキストデータに基づいて計算される。マッチングスコアを計算すると、複数の参照画像のそれぞれに関連付けられたマッチングスコアに基づいて、複数の参照画像から１つ以上の画像が選択される。患者の医用画像は、第２の機械学習モデルを使用して、１つ以上の画像及びテキストデータに基づいて生成される。

Description

本主題は、概して、ヘルスケアの分野に関連し、より詳細には、患者の医用レポート内のテキストデータに基づいて医用画像を生成するシステム及び方法に関連するが、これに限定されるものではない。

専門病院、準専門病院、診断センター等といった医療機関における放射線医学情報システム（ＲＩＳ）は、医療機関に関連するすべての患者に関連付けられた医用データを管理することができる。医用データには、患者の管理、検査、報告、統計、システム管理等に関連付けられたデータが含まれる。ＲＩＳによって管理される医用データは、発注書、結果、レポートの表示、保存、検索、転送、交換、印刷等といった幾つかの目的に使用することができる。

本開示のこの背景部分において開示される情報は、本発明の一般的な背景の理解を深めるためだけのものであり、この情報が当業者に既に知られている先行技術を形成することの承認又はいかなる形の示唆としても解釈されるべきではない。

しかし、医療機関でのＲＩＳの展開は複雑な手順である。また、一部の医療機関はこのような管理システムを導入する余裕がない場合もある。通常、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴イメージング（ＭＲＩ）スキャン、心エコー図（ＥＣＧ）等である検査の後、検査に関連付けられたテキストレポートしか患者に提供されない。検査で生成された画像は、医療機関によってアーカイブされるが、患者に提供されない場合がある。また、生成された画像は、手違いで使用できなくなったり、配置が誤ったりする可能性がある。医師などの検査師にとって、テキストレポートのみに基づいて患者の状態を分析することは難しい場合がある。患者のフォローアップ相談でさえも、テキストレポートだけでは難しい場合がある。

一実施形態では、本開示は、患者の医用レポート内のテキストデータに基づいて医用画像を生成する方法に関する。最初に、生成のために、患者の１つ以上の医用レポートのそれぞれからテキストデータが取得される。テキストデータは、１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む。更に、複数の参照画像のそれぞれのマッチングスコアが、第１の機械学習モデルを使用して、テキストデータに基づいて計算される。マッチングスコアを計算すると、複数の参照画像のそれぞれに関連付けられたマッチングスコアに基づいて、複数の参照画像から１つ以上の画像が選択される。患者の医用画像は、第２の機械学習モデルを使用して、１つ以上の画像及びテキストデータに基づいて生成される。

一実施形態では、本開示は、患者の医用レポート内のテキストデータに基づいて医用画像を生成する画像生成システムに関する。画像生成システムは、プロセッサと、プロセッサに通信可能に結合されたメモリとを含む。メモリは、実行時にプロセッサに医用画像を生成させるプロセッサ実行可能命令を格納する。最初に、生成のために、患者の１つ以上の医用レポートのそれぞれからテキストデータが取得される。テキストデータは、１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む。更に、複数の参照画像のそれぞれのマッチングスコアが、第１の機械学習モデルを使用して、テキストデータに基づいて計算される。マッチングスコアを計算すると、複数の参照画像のそれぞれに関連付けられたマッチングスコアに基づいて、複数の参照画像から１つ以上の画像が選択される。患者の医用画像は、第２の機械学習モデルを使用して、１つ以上の画像及びテキストデータに基づいて生成される。

前述の概要は例示にすぎず、決して限定を意図するものではない。上記の例示的な態様、実施形態及び特徴に加えて、更なる態様、実施形態及び特徴は、図面及び以下の詳細な説明を参照することによって明らかになるであろう。

本開示に組み込まれ、その一部を構成する添付図面は、例示的な実施形態を示し、説明とともに、開示された原理を説明するのに役立つ。図では、参照符号の左端の数字は、当該参照符号が最初に現れた図を特定する。同じ参照符号を図全体で使用して、同様の機能やコンポーネントを参照する。次に、本主題の実施形態によるシステム及び／又は方法の幾つかの実施形態を、単なる例として、添付図面に関して説明する。

図１は、本開示の幾つかの実施形態による、患者の医用レポート内のテキストデータに基づいて医用画像を生成する例示的なヘルスケアシステムを示す。 図２は、本開示の幾つかの実施形態による、患者の医用レポート内のテキストデータに基づいて医用画像を生成する画像生成システムの詳細なブロック図を示す。 図３は、本開示の幾つかの実施形態による、患者の医用レポート内のテキストデータに基づいて医用画像を生成する例示的な方法を示すフローチャートを示す。 図４は、本開示の幾つかの実施形態による、マッチングスコアを計算する例示的な方法を示すフローチャートを示す。 図５は、本開示の幾つかの実施形態による、第２の機械学習モデルを使用して医用画像を生成する例示的な方法を示すフローチャートを示す。 図６は、本開示の幾つかの実施形態による、医用画像を生成するための第１のシーケンスを取得する例示的な方法を示すフローチャートを示す。 図７は、本開示の幾つかの実施形態に従って生成された医用画像の例示的な表現を示す。 図８は、本開示と一致する実施形態を実装するための例示的なコンピュータシステムのブロック図を示す。

本明細書の任意のブロック図は、本主題の原理を具現化する例示的なシステムの概念図を表すことを当業者は理解されたい。同様に、フローチャート、フロー図、状態遷移図、疑似コード等は、コンピュータ可読媒体で実質的に表され、コンピュータ又はプロセッサによって、当該コンピュータ又はプロセッサが明示的に示されていようがいまいが、実行可能である様々なプロセスを表すことが理解されよう。

本文書では、「例示的」という単語は、本明細書では「例、事例又は例証として機能すること」を意味するために使用される。本明細書で「例示的」として説明される本主題の任意の実施形態又は実装態様は、他の実施形態よりも好ましい又は有利であると必ずしも解釈されるべきではない。

本開示は、様々な修正形態及び代替形態を受け入れる余地があるが、その特定の実施形態が、例として図面に示されており、以下で詳細に説明される。しかし、本開示を開示された形態に限定することを意図するものではなく、逆に、本開示は、本開示の精神及び範囲に含まれるすべての修正物、等価物及び代替物を網羅することを理解されたい。

「備える」、「備えている」との用語又はこれらの他の変形は、コンポーネント又はステップのリストを含むセットアップ、デバイス又は方法にこれらのコンポーネント又はステップのみが含まれるのではなく、明示的にリストされていないか、そのようなセットアップ、デバイス又は方法に固有の他のコンポーネント又はステップが含まれる場合もあるように非排他的な包含をカバーすることを意図している。つまり、「１つの〜を備える」と説明されるシステム又は装置の１つ以上の要素は、更なる制約なしに、システム又は方法における他の要素又は追加の要素の存在を排除しない。

「含む」、「含んでいる」との用語又はこれらの他の変形は、コンポーネント又はステップのリストを含むセットアップ、デバイス又は方法にこれらのコンポーネント又はステップのみが含まれるのではなく、明示的にリストされていないか、そのようなセットアップ、デバイス又は方法に固有の他のコンポーネント又はステップが含まれる場合もあるように非排他的な包含をカバーすることを意図している。つまり、「１つの〜を含む」と説明されるシステム又は装置の１つ以上の要素は、更なる制約なしに、システム又は方法の他の要素又は追加の要素の存在を排除しない。

本開示の実施形態の以下の詳細な説明では、その一部を形成し、本開示が実施され得る特定の実施形態を例として示す添付図面を参照する。これらの実施形態は、当業者が開示を実施できるように十分詳細に説明されており、他の実施形態が利用されてもよく、本開示の範囲から逸脱することなく変更が行われてもよいことを理解されたい。したがって、以下の説明は、限定的な意味で解釈されるべきではない。

本開示は、医用レポート内のテキストデータに基づいて医用画像を生成することにより、患者の健康状態を評価するための効率的な方法を提供する。本開示は、深層学習アーキテクチャを活用して、１つ以上の医用レポートから医療イベント及びそれらの属性を抽出し、健康状態の詳細を視覚的に強調する複合医用画像を合成する。本開示で開示されるシステムは、医用画像を生成するための機械学習モデルを実装する。第１の機械学習モデルを使用して、テキストデータに基づいて、複数の参照画像のそれぞれのマッチングスコアが計算される。更に、マッチングスコアに基づいて、複数の参照画像から１つ以上の画像が選択される。第２の機械学習モデルを使用して、選択された１つ以上の画像に基づいて医用画像を生成することができる。生成された医用画像により、患者の健康状態を視覚化する能力を達成することができる。

図１は、医用レポート内のテキストデータに基づいて医用画像を生成する画像生成システム１０１を含む例示的なヘルスケアシステム１００を示す。例示的なヘルスケアシステム１００は、医用画像を生成するために、画像生成システム１０１、通信ネットワーク１０２、医用レポートリポジトリ１０３及び参照画像リポジトリ１０４を含むことができる。画像生成システム１０１は、本開示に開示されるようなステップを行うことによって医用画像を生成することができる。画像生成システム１０１は、図示するように、通信ネットワーク１０２を介して医用レポートリポジトリ１０３と通信することができる。患者に関連付けられた１つ以上の医用レポートは、患者の医用画像を生成するために、通信ネットワーク１０２を介して画像生成システム１０１によって医用レポートリポジトリ１０３から取得することができる。患者は、医師又は健康状態を評価することができる任意の他の人によって健康状態が評価される必要がある任意の人である。一実施形態では、医用レポートリポジトリ１０３は、患者の１つ以上の医用レポートを格納するストレージスペースである。一実施形態では、医用レポートリポジトリ１０３は、患者に関連付けられたユーザデバイス、患者に関連する医療機関及び１つ以上の医用レポートを格納するサードパーティの少なくとも１つに関連付けることができる。一実施形態では、医用レポートリポジトリ１０３は、１つ以上の医用レポートを受信して格納し、医用画像を生成するために１つ以上の医用レポートを画像生成システム１０１に提供するクラウドシステムである。参照画像リポジトリ１０４は、複数の参照画像を格納する。複数の参照画像とは、放射線検査に関する画像である。放射線検査は、ＣＴスキャン、ＭＲＩスキャン、ＥＣＧ等を含むがこれらに限定されない１つ以上のモダリティに関連付けることができる。参照画像リポジトリ１０４は、医療機関に関連付けられる。一実施形態では、参照画像リポジトリは、複数の参照画像を、医療機関に関連付けられた放射線システムから動的に取得することができる。画像生成システム１０１は、医用画像を生成するために、参照画像リポジトリ１０４から複数の参照画像を取得することができる。一実施形態では、画像生成システム１０１は、通信ネットワーク１０２を介して参照画像リポジトリ１０４と通信して、複数の参照画像（図示せず）を取得することができる。一実施形態では、医用レポートリポジトリ１０３及び参照画像リポジトリ１０４は、画像生成システム１０１内に統合されている。一実施形態では、通信ネットワーク１０２は、限定されないが、直接相互接続、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスネットワーク（例えばワイヤレスアプリケーションプロトコルを使用）、インターネット等を含む。

更に、画像生成システム１０１は、プロセッサ１０５、Ｉ／Ｏインターフェース１０６、１つ以上のモジュール１０７及びメモリ１０８を含むことができる。幾つかの実施形態では、メモリ１０８は、プロセッサ１０５に通信可能に結合されている。メモリ１０８は、本開示で開示されるように、実行時に、画像生成システム１０１に医用画像を生成させることができるプロセッサ実行可能命令を格納する。画像生成システム１０１は、ラップトップコンピュータ、デスクトップコンピュータ、パーソナルコンピュータ（ＰＣ）、ノートブック、スマートフォン、タブレット、電子書籍リーダー、サーバー、ネットワークサーバー等の様々なコンピューティングシステムで実装することができる。

医用レポートを生成する前に、最初に、医用レポートリポジトリ１０３からの患者の１つ以上の医用レポートのそれぞれからのテキストデータを取得することができる。テキストデータは、１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含むことができる。１つ以上の医療イベントのそれぞれに対応する１つ以上の属性は、対応する医療イベントに関連付けられた日付属性、時間属性、モダリティ属性、定性的属性及び定量的属性を含む。一実施形態では、１つ以上の医療イベント及び対応する１つ以上の属性は、テキストデータ内で時系列に配置することができる。

テキストデータを取得すると、参照画像リポジトリ１０４からの複数の参照画像のそれぞれのマッチングスコアが、テキストデータに基づいて計算される。マッチングスコアは、第１の機械学習モデルを使用して計算することができる。マッチングスコアは、複数の参照画像のそれぞれのベクトル表現を生成することによって計算することができる。対応するベクトル表現及びテキストデータに基づいて、複数の参照画像のそれぞれの結合ベクトル表現を生成することができる。それぞれの参照画像の結合ベクトル表現に基づいて、複数の参照画像のそれぞれのマッチングスコアが計算される。一実施形態では、第１の機械学習モデルは、マルチモーダル畳み込みニューラルネットワーク（ＣＮＮ）である。

マッチングスコアを計算すると、複数の参照画像のそれぞれに関連付けられたマッチングスコアに基づいて、複数の参照画像から１つ以上の画像が選択される。一実施形態では、複数の画像のそれぞれのマッチングスコアを、所定のマッチングスコアと比較することができる。所定のマッチングスコアよりも大きいマッチングスコアに関連付けられた、複数の参照画像からの１つ以上の画像が、複数の参照画像から選択される。一実施形態では、１つ以上の画像は、マッチングスコアのより高い値に関連付けられる。例えばマッチングスコアの上位１０の値を有する１つ以上の画像が、複数の画像から選択される。当業者に知られている１つ以上の技法を使用して、複数の参照画像から１つ以上の画像を選択することができる。

更に、１つ以上の画像を選択すると、患者の医用画像を生成するために第２の機械学習モデルを実装することができる。医用画像は、１つ以上の画像及びテキストデータに基づいて生成することができる。医用画像を生成するために、最初に、テキストデータ内の単語及び語句のうちの１つのベクトル表現を含む第１のシーケンスを取得することができる。第１のシーケンスを取得するために、テキストデータ内の単語及び語句のうちの１つに関連付けられた逆方向隠れ状態及び順方向隠れ状態を決定することができる。逆方向隠れ状態は、逆方向長短期記憶（ＬＳＴＭ）ユニットを使用して決定することができ、順方向隠れ状態は、順方向ＬＳＴＭユニットを使用して決定することができる。更に、逆方向隠れ状態及び順方向隠れ状態は、第１のシーケンスを取得するために連結することができる。

第１のシーケンスを取得すると、複数の画像から選択された１つ以上の画像を含む第２のシーケンスを取得することができる。第１のシーケンス及び第２のシーケンスに基づいて、医療イベント画像を、テキストデータの１つ以上の医療イベントのそれぞれに生成することができる。一実施形態では、医療イベント画像は、対応する医療イベントに基づいて患者の健康状態を表すように生成することができる。１つ以上の医療イベントのそれぞれに医療イベント画像を生成すると、医用画像を生成するために、１つ以上の医療イベントのそれぞれの医療イベント画像がつなぎ合わされる。一実施形態では、１つ以上の医療イベントのそれぞれの医療イベント画像は、所定のパターンでつなぎ合わせることができる。一実施形態では、所定のパターンは、１つ以上の医療イベントに関連付けられた時系列に基づいて選択することができる。

一実施形態では、第２の機械学習モデルは、複数の参照画像及び所定のテキストデータに基づいて医用画像を生成するようにトレーニングすることができる。一実施形態では、複数の参照画像から選択された１つ以上の画像もまた、第２の機械学習モデルを動的にトレーニングするために使用することができる。一実施形態では、第２の機械学習モデルは、リカレントニューラルネットワーク（ＲＮＮ）モデルである。

図２は、本開示の幾つかの実施形態による、医用画像を生成する画像生成システム１０１の詳細なブロック図を示す。

画像生成システム１０１内のメモリ１０８内のデータ２０６及び１つ以上のモジュール１０７について、本明細書で詳細に説明する。

一実装態様では、１つ以上のモジュール１０７は、テキストデータ取得モジュール２０１、マッチングスコア計算モジュール２０２、画像選択モジュール２０３、医用画像生成モジュール２０４及び画像生成システム１０１に関連付けられた１つ以上の他のモジュール２０５を含むことができるが、これらに限定されない。

一実施形態では、メモリ１０８内のデータ２０６は、医用レポートデータ２０７（１つ以上の医用レポート２０７とも呼ばれる）、テキストデータ２０８、マッチングスコア２０９、参照画像データ２１０（複数の参照画像２１０とも呼ばれる）、ベクトル表現データ２１１（ベクトル表現２１１とも呼ばれる）、結合ベクトル表現データ２１２（結合ベクトル表現２１２とも呼ばれる）、第１のシーケンスデータ２１３（第１のシーケンス２１３とも呼ばれる）、第２のシーケンスデータ２１４（第２のシーケンス２１４とも呼ばれる）、医療イベント画像データ２１５（医療イベント画像２１５とも呼ばれる）、逆方向隠れ状態データ２１６（逆方向隠れ状態２１６とも呼ばれる）、順方向隠れ状態データ２１７（順方向隠れ状態２１７とも呼ばれる）、医用画像データ２１８（医用画像２１８とも呼ばれる）及び画像生成システム１０１に関連付けられた他のデータ２１９を含む。

一実施形態では、メモリ１０８内のデータ２０６は、画像生成システム１０１の１つ以上のモジュール１０７によって処理することができる。本明細書で使用する場合、モジュールという用語は、特定用途向け集積回路（ＡＳＩＣ）、電子回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルシステムオンチップ（ＰＳｏＣ）、組み合わせ論理回路及び／又は説明された機能を提供する他の適切なコンポーネントを指す。本開示で定義された機能を有して構成された１つ以上のモジュール１０７は、新規のハードウェアをもたらすことができる。

テキストデータ取得モジュール２０１によって、患者の１つ以上の医用レポート２０７のそれぞれから取得されたテキストデータ２０８は、１つ以上の医用レポート２０７のそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む。テキストデータ２０８を取得するために、テキストデータ取得モジュール２０１は、自然言語処理（ＮＬＰ）を使用して１つ以上の医用レポート２０７を処理する。ＮＬＰによって、１つ以上の医用レポート２０７に対して、ストップワードの削除、文の検出及びオントロジーの検索等を行うことができる。一実施形態では、ＮＬＰのために、テキストデータ取得モジュール２０１は、国際医療用語集（ＳＮＯＭＥＤ ＣＴ）といった医学オントロジーや、統合医学用語システム（ＵＭＬＳ）内の他のそのような辞書を使用することができる。一実施形態では、ＮＬＰによって、解剖学的位置、臨床的兆候及び症状、時間性、即ち、時間表現、偏在性及び１つ以上の医用レポート２０７に関連付けられた相関といったエンティティの注釈付け及び抽出を行うことができる。更に、ＮＬＰを行うと、テキストデータ取得モジュール２０１は、抽出モジュールを実装して、１つ以上の医療イベント及び対応する１つ以上の属性を時系列に編成することができる。一実施形態では、１つ以上の医療イベントのそれぞれは、１つ以上の医用レポート２０７からの医用レポートに対応することができる。一実施形態では、１つ以上の属性は、対応する医療イベントに関連付けられた日付属性、時間属性、モダリティ属性、定性的属性及び定量的属性を含むことができる。テキストデータ取得モジュール２０１によって取得されるテキストデータ２０８の例示的な例は、以下の表１に示す。

表１に示されるテキストデータ２０８では、表の各行は、医療イベントを表し、したがって、テキストデータ２０８は４つの医療イベントを含む。各行は、患者の１つの医用レポートに対応している。表の各列は、１つ以上の属性からの１つの属性を示す。日付属性は、医療イベントが医用レポートに記録された日付を示す。時間属性は、医療イベントが医用レポートに記録された時間を示す。モダリティ属性は、医用レポートに関連付けられた放射線医学の分野を示す。例えば放射線医学の分野には、ＣＴ、ＭＲＩ、ＥＣＧ、血管造影等が含まれるが、これらに限定されない。定性的属性は、患者に関連付けられた問題を示す。定量的属性は、当該問題の量を示す。例えば表１に示されるテキストデータ２０８の最初の行を考える。対応する医用レポートは「１５−０２−２０１０」の「１１：３０：００」に記録され、患者の「血管造影」に関連している。検出された問題は「ＬＡＤ近位の狭窄増加」であり、狭窄の量は「９０％」である。

テキストデータ２０８を取得すると、参照画像リポジトリ１０４からの複数の参照画像２１０のそれぞれのマッチングスコア２０９を、テキストデータ２０８に基づいて、マッチングスコア計算モジュール２０１によって計算することができる。マッチングスコア２０９は、第１の機械学習モデルを使用して計算することができる。一実施形態では、第１の機械学習モデルは、マルチモーダル畳み込みニューラルネットワーク（ＣＮＮ）である。一実施形態では、マルチモーダルＣＮＮは、画像ＣＮＮ、マッチングＣＮＮ及びマッチングスコア２０９を計算するための多層パーセプトロンを含むことができる。画像ＣＮＮを使用して、複数の参照画像２１０のベクトル表現２１１を生成することができる。一実施形態では、ベクトル表現２１１は、以下に示す式１を使用して生成することができる。
Ｖ_ｉｍ＝σ（ｗ_ｉｍ（ＣＮＮ_ｉｍ（Ｉ））＋ｂ_ｉｍ） （１）
ここで、
「σ」は、活性化関数である。例えばσはシグモイドの正規化線形ユニット（ＲｅＬＵ）等である。
「ＣＮＮ_ｉｍ（Ｉ）」は、複数の参照画像２１０のそれぞれを入力、即ち、「Ｉ」として取り、対応する参照画像の固定長ベクトル表現Ｖｉｍを生成する画像ＣＮＮである。
「ｗｉｍ」は、重み行列である。そして、
「ｂｉｍ」は、バイアスである。

更に、マッチングＣＮＮを使用して、ベクトル表現２１１に基づいて結合トベクトル表現２１２を生成することができる。ベクトル表現及びテキストデータ２０８は、マッチングＣＮＮへの入力として提供され、結合ベクトル表現２１２が出力される。

更に、多層パーセプトロンを使用して、対応する結合ベクトル表現２１２に基づいて、複数の参照画像２１０のそれぞれにマッチングスコア２０９を計算することができる。一実施形態では、マッチングスコア２０９は、以下に示す式２を使用して計算することができる。
Ｓｍ＝ｗｓ（σ（ｗｈ（ＶＪＲ）＋ｂｈ））＋ｂｓ （２）
ここで、
「ＶＪＲ」は、結合ベクトル表現２１２である。
「Σ」は、非線形活性化関数である。
「ｗｈ」及び「ｂｈ」は、ＶＪＲを多層パーセプトロンの隠れ層内の表現にマッピングするために使用される。そして
「ｗ_ｓ」及び「ｂ_ｓ」は、マッチングスコア２０９を計算するために使用される。

マッチングスコア２０９を計算すると、複数の参照画像２１０のそれぞれに関連付けられたマッチングスコア２０９に基づいて、画像選択モジュール２０３によって複数の参照画像２１０から1つ以上の画像が選択される。一実施形態では、１つ以上の画像は、テキストデータ２０８に示されるモダリティ属性に関連している画像である。一実施形態では、複数の参照画像２１０は、テキストデータ２０８内の１つ以上の属性に基づいてフィルタリングされる。例えば表１に示されるテキストデータ２０８から、血管造影モダリティに関連する画像が、複数の参照画像２１０からフィルタリングされ、更に、画像選択モジュール２０３に提供されて１つ以上の画像を選択することができる。当業者に知られている１つ以上の他の技法を使用して、複数の参照画像２１０から１つ以上の画像を選択することができる。

更に、１つ以上の画像を選択すると、医用画像生成モジュール２０４は、第２の機械学習モデルを使用して、患者の医用画像２１８を生成することができる。一実施形態では、第２の機械学習モデルは、ＲＮＮモデルである。一実施形態では、ＲＮＮモデルは、医用画像２１８を生成するための双方向ＲＮＮ及び生成ＲＮＮモデルを含む。更に、双方向ＲＮＮは、逆方向ＬＳＴＭユニット及び順方向ＬＳＴＭユニットを含む。双方向ＲＮＮを使用して、テキストデータ２０８内の単語及び語句のうちの１つのベクトル表現２１１を含む第１のシーケンス２１３を取得することができる。

逆方向ＬＳＴＭユニットは、テキストデータ２０８内の単語及び語句のうちの１つの逆方向隠れ状態２１６を決定することができる。順方向ＬＳＴＭユニットは、テキストデータ２０８内の単語及び語句のうちの１つの順方向隠れ状態２１７を決定することができる。一実施形態では、双方向ＲＮＮは、逆方向隠れ状態２１６及び順方向隠れ状態２１７を決定するために、逆方向ＬＳＴＭユニット及び順方向ＬＳＴＭユニットと共に、忘却ゲートを含む。一実施形態では、双方向ＲＮＮは、注意ベースの双方向ＲＮＮモデルである。更に、逆方向隠れ状態２１６及び順方向隠れ状態２１７を連結して、第１のシーケンス２１３を取得することができる。一実施形態では、最尤の変動下限を最大化することによって、第１のシーケンス２１３にソフト注意機構を使用することができる。当業者に知られている１つ以上の他の技法を実装して、単語及び語句のうちの１つの第１のシーケンス２１３を取得することができる。

更に、医用画像生成モジュール２０４は、複数の画像から選択された１つ以上の画像を含む第２のシーケンス２１４を取得することができる。一実施形態では、第２のシーケンス２１４は、時間の関数として、キャンバス上のパッチのシーケンスとして１つ以上の画像を配置することによって形成することができる。生成ＲＮＮモデルは、第１のシーケンス２１３及び第２のシーケンス２１４に基づいて、テキストデータ２０８の１つ以上の医療イベントのそれぞれに医療イベント画像２１５を生成することができる。一実施形態では、生成ＲＮＮは、潜在的変数を含む潜在的シーケンスを使用して、１つ以上の医療イベントのそれぞれの医療イベント画像２１５を生成することもできる。潜在的シーケンスは、医療イベント画像２１５を生成するために、潜在的シーケンスにわたる第１のシーケンス２１３及び第２のシーケンス２１４に関連付けられたおおよその後部を計算するために使用することができる。

一実施形態では、医療イベント画像２１５は、対応する医療イベントに基づいて患者の健康状態を表すように生成される。１つ以上の医療イベントのそれぞれの医療イベント画像２１５を生成すると、１つ以上の医療イベントのそれぞれの医療イベント画像２１５は、医用画像２１８を生成するためにつなぎ合わされる。図７は、１つ以上の医療イベント画像７０１．１、…、７０１．４を含む生成された医用画像７００を示す。表１に示されるテキストデータ２０８を考えてみる。医療イベント画像７０１．１は、９０％の定量的属性を有する医療イベントについて生成されている。医療イベント画像７０１．２は、７０％の定量的属性を有する医療イベントについて生成されている。医療イベント画像７０１．３は、４５％の定量的属性を有する医療イベントについて生成されている。医療イベント画像７０１．４は、１０％の定量的属性を有する医療イベントについて生成されている。１つ以上の医療イベントの画像７０１．１、…、７０１．４は、医用画像７００を生成するために、所定のパターンでつなぎ合わされる。一実施形態では、所定のパターンは、１つ以上の医療イベントに関連付けられた時系列に基づいている。所定のパターンは、つなぎ合わせの構成に基づいて異なっていてもよい。図７は、１つ以上の医療イベント画像７０１．１、…、７０１．４の例示的な所定のパターンを示す。一実施形態では、１つ以上の医療イベント画像７０１．１、…、７０１．４は、垂直順及び水平順のいずれかで順次パターンに配列される。

一実施形態では、画像生成システム１０１内の１つ以上の他のモジュールは、トレーニングモジュール（図には示されていない）を含むことができる。トレーニングモジュールは、複数の参照画像２１０及び所定のテキストデータに基づいて、第２の機械学習モデルをトレーニングすることができる。一実施形態では、複数の参照画像２１０は、過去の放射線検査に関連付けられた画像である。例えば血管造影、ＣＴ、ＭＲＩ及び超音波のためのベースラインスキャンされたレポートが、参照画像リポジトリ１０４に複数の参照画像２１０として格納される。血管造影における狭窄又は血管異常の進行を示すスキャンされたレポートが、参照画像リポジトリ１０４に複数の参照画像２１０として格納される。一実施形態では、所定のテキストデータは、１人以上の患者の１つ以上の医用レポートに関連付けられた過去データである。一実施形態では、所定のテキストデータは、トレーニングのために、ユーザーによって手動で提供される。一実施形態では、トレーニングモジュールは、過去データを含む過去データリポジトリから所定のテキストデータを取得することができる。一実施形態では、他のデータ２１９は、画像生成システム１０１に格納される所定のテキストデータを含む。

一実施形態では、画像生成システム１０１内の１つ以上の他のモジュールは、鮮鋭化モジュール（図には示されていない）を含むことができる。鮮鋭化モジュールは、医用画像生成モジュール２０４によって生成された医用画像２１８を鮮鋭化することができる。一実施形態では、医用画像２１８の鮮鋭化は、最初に、ハイパスフィルタを使用して医用画像２１８をフィルタリングすることを含む。フィルタリングすることにより、医用画像２１８内の高周波成分を抽出することができる。更に、鮮鋭化のために、ハイパスフィルタの出力のスケーリングされたバージョンが、生成された医用画像２１８に追加される。提案された鮮鋭化により、医用画像２１８の鮮鋭化された画像を取得することができる。一実施形態では、本開示で提案される鮮鋭化により、医用画像２１８の同質な領域は一定に保たれ、不変にすることができる。一実施形態では、医用画像２１８の鮮鋭化は、以下に示す式３を使用して行うことができる。
Ｓ_ｉ，ｊ＝ｘ_ｉ，ｊ＋λＦ（ｘ_ｉ，ｊ） （３）
ここで
「ｘ_ｉ，ｊ」は、座標（ｉ，ｊ）における医用画像である。
「Ｆ（ｘ_ｉ，ｊ）」は、ハイパスフィルタに関連付けられた関数である。
「λ」は、ゼロ以上のチューニングパラメータである。

一実施形態では、「λ」の値は、所望の鮮鋭度に依存する。「λ」を大きくすると、より先鋭化された画像がもたらされる。これにより、１つ以上の医療イベントを表す高解像度の医用画像２１８を取得することができる。

医用画像２１８は、患者の健康状態を評価する必要がある医師に提供することができる。一実施形態では、医用画像２１８は、鮮鋭化した後に医師に提供される。

他のデータ２１９は、画像生成システム１０１の様々な機能を行うモジュールによって生成された一時データ及び一時ファイルを含むデータを格納することができる。１つ以上のモジュール１０７はまた、画像生成システム１０１の様々な雑多な機能を行うために他のモジュール２０５を含む。このようなモジュールは、単一のモジュール又は異なるモジュールの組み合わせとして表すことができることが理解されよう。

図３は、本開示の幾つかの実施形態による、患者の１つ以上の医用レポート２０７内のテキストデータ２０８に基づいて医用画像２１８を生成する例示的な方法を示すフローチャートを示す。

ステップ３０１において、テキストデータ取得モジュール２０１は、１つ以上の医用レポート２０７からテキストデータ２０８を取得することができる。テキストデータ２０８は、１つ以上の医用レポート２０７のそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む。１つ以上の属性は、対応する医療イベントに関連付けられた日付属性、時間属性、モダリティ属性、定性的属性及び定量的属性を含む。

ステップ３０２において、取得されたテキストデータ２０８に基づいて、マッチングスコア計算モジュール２０２は、複数の参照画像２１０のそれぞれのマッチングスコア２０９を計算することができる。マッチングスコアは、第２の機械学習モジュールを使用して計算することができる。

図４は、マッチングスコア２０９を計算する例示的な方法を示すフローチャートを示す。

ステップ４０１において、マッチングスコア計算モジュール２０２は、複数の参照画像２１０のそれぞれのベクトル表現２１１を生成することができる。当業者に知られている１つ以上の技法を、ベクトル表現２１１を生成するために実装することができる。

ステップ４０２において、マッチングスコア計算モジュール２０２は、対応するベクトル表現２１１及びテキストデータ２０８に基づいて、複数の参照画像２１０のそれぞれの結合ベクトル表現２１２を生成することができる。

ステップ４０３において、マッチングスコア計算モジュール２０２は、それぞれの参照画像の結合ベクトル表現２１２に基づいて、複数の参照画像２１０のそれぞれのマッチングスコア２０９を計算することができる。

図３を再び参照すると、ステップ３０３において、画像選択モジュール２０３は、複数の参照画像２１０から１つ以上の画像を選択することができる。１つ以上の画像は、複数の参照画像２１０のそれぞれに関連付けられたマッチングスコア２０９に基づいて選択される。

ステップ３０４において、医用画像生成モジュール２０４は、１つ以上の画像及びテキストデータ２０８に基づいて、患者の医用画像２１８を生成することができる。医用画像は、第２の機械学習モデルを使用して生成される。図５は、第２の機械学習モデルを使用して医用画像２１８を生成する例示的な方法を示すフローチャートを示す。

ステップ５０１において、医用画像生成モジュール２０４は、テキストデータ２０８内の単語及び語句のうちの１つのベクトル表現２１１を含む第１のシーケンス２１３を取得することができる。

図６は、医用画像２１８を生成するために、第１のシーケンス２１３を取得する例示的な方法を示すフローチャートを示す。

ステップ６０１において、医用画像生成モジュール２０４は、テキストデータ内の単語及び語句のうちの１つに関連付けられた逆方向隠れ状態２１６及び順方向隠れ状態２１７を決定することができる。逆方向隠れ状態２１６及び順方向隠れ状態２１７は、それぞれ、逆方向長期短期記憶（ＬＳＴＭ）ユニット及び順方向ＬＳＴＭユニットを使用して決定することができる。

ステップ６０２において、医用画像生成モジュール２０４は、第１のシーケンス２１３を取得するために、逆方向隠れ状態２１６及び順方向隠れ状態２１７を連結することができる。

図５を再び参照すると、ステップ５０２において、医用画像生成モジュール２０４は、複数の参照画像２１０から選択された１つ以上の画像を含む第２のシーケンス２１４を生成することができる。

ステップ５０３において、医用画像生成モジュール２０４は、テキストデータ２０８の１つ以上の医療イベントのそれぞれの医療イベント画像を生成することができる。医療イベント画像は、第１のシーケンス２１３及び第２のシーケンス２１４に基づいて生成することができる。

ステップ５０４において、医用画像生成モジュール２０４は、１つ以上の医療イベントのそれぞれの医療イベント画像を所定のパターンでつなぎ合わせることができる。

図３、４、５及び６に示すように、方法３００、４００、５００及び６００は、画像生成システム１０１でプロセスを実行するための１つ以上のステップを含むことができる。方法３００、４００及び５００は、コンピュータ実行可能命令の一般的なコンテキストで説明することができる。

一般に、コンピュータ実行可能命令は、特定の機能を行ったり、特定の抽象データタイプを実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造、手順、モジュール及び機能を含む。

方法３００、４００、５００及び６００が説明される順序は、限定として解釈されることを意図するものではなく、方法を実装するために、任意の数の説明された方法ステップを任意の順序で組み合わせることができる。更に、個々のステップは、本明細書で説明される主題の範囲から逸脱することなく、方法から削除されてもよい。更に、方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせで実装することができる。

コンピューティングシステム
図８は、本開示と一致する実施形態を実装するための例示的なコンピュータシステム８００のブロック図を示す。一実施形態では、コンピュータシステム８００は、画像生成システム１０１を実装するために使用される。コンピュータシステム８００は、中央演算処理装置（「ＣＰＵ」又は「プロセッサ」）８０２を含むことができる。プロセッサ８０２は、仮想ストレージエリアネットワーク内でプロセスを実行するための少なくとも１つのデータプロセッサを含む。プロセッサ８０２は、統合システム（バス）コントローラ、メモリ管理制御ユニット、浮動小数点ユニット、グラフィックス処理ユニット、デジタル信号処理ユニット等の特殊処理ユニットを含むことができる。

プロセッサ８０２は、Ｉ／Ｏインターフェース８０１を介して１つ以上の入出力（Ｉ／Ｏ）デバイス８０９及び８１０と通信するように配置される。Ｉ／Ｏインターフェース８０１は、限定されないが、オーディオ、アナログ、デジタル、モノラル、ＲＣＡ、ステレオ、ＩＥＥＥ−１３９４、シリアルバス、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＰＳ／２、ＢＮＣ、同軸、コンポーネント、コンポジット、デジタルビジュアルインターフェース（ＤＶＩ）、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））、ＲＦアンテナ、Ｓ−ビデオ、ＶＧＡ、ＩＥＥＥ８０２．ｎ／ｂ／ｇ／ｎ／ｘ、Ｂｌｕｅｔｏｏｔｈ、セルラー（例えば符号分割多元接続（ＣＤＭＡ）、高速パケットアクセス（ＨＳＰＡ＋）、汎欧州デジタル移動電話方式（ＧＳＭ）、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘ等）等の通信プロトコル／方法を使用することができる。

Ｉ／Ｏインターフェース８０１を使用して、コンピュータシステム８００は、１つ以上のＩ／Ｏデバイス８０９及び８１０と通信することができる。例えば入力デバイス８０９は、アンテナ、キーボード、マウス、ジョイスティック、（赤外線）リモコン、カメラ、カードリーダー、ファックス機、ドングル、生体認証リーダー、マイク、タッチスクリーン、タッチパッド、トラックボール、スタイラス、スキャナ、ストレージデバイス、トランシーバ、ビデオデバイス／ソース等である。出力デバイス８１０は、プリンタ、ファックス機、ビデオディスプレイ（例えば陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、プラズマ、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）等）、オーディオスピーカ等である。

幾つかの実施形態では、コンピュータシステム８００は、画像生成システム１０１から構成される。プロセッサ８０２は、ネットワークインターフェース８０３を介して通信ネットワーク８１１と通信するように配置される。ネットワークインターフェース８０３は、通信ネットワーク８１１と通信することができる。ネットワークインターフェース８０３は、限定されないが、直接接続、イーサネット（例えばツイストペア１０／１００／１０００ベースＴ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘ等を含む接続プロトコルを使用することができる。通信ネットワーク８１１は、限定されないが、直接相互接続、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスネットワーク（例えばワイヤレスアプリケーションプロトコルを使用）、インターネット等を含む。ネットワークインターフェース８０３及び通信ネットワーク８１１を使用して、コンピュータシステム８００は、医用画像を生成するために、医用レポートリポジトリ８１２及び参照画像リポジトリ８１３と通信することができる。ネットワークインターフェース８０３は、限定されないが、直接接続、イーサネット（例えばツイストペア１０／１００／１０００ベースＴ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘ等を含む接続プロトコルを使用することができる。

通信ネットワーク８１１は、直接相互接続、電子商取引ネットワーク、ピアツーピア（Ｐ２Ｐ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ワイヤレスネットワーク（例えばワイヤレスアプリケーションプロトコルを使用）、インターネット、Ｗｉ−Ｆｉ等を含む。第１のネットワーク及び第２のネットワークは、専用ネットワーク又は共有ネットワークのいずれかであり、相互に通信するための、例えばハイパーテキスト転送プロトコル（ＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）等である様々なプロトコルを使用する様々なタイプのネットワークの関連付けを表す。更に、第１のネットワーク及び第２のネットワークは、ルータ、ブリッジ、サーバー、コンピューティングデバイス、ストレージデバイス等を含む様々なネットワークデバイスを含む。

幾つかの実施形態では、プロセッサ８０２は、ストレージインターフェース８０４を介してメモリ８０５（例えば図８に示されていないＲＡＭ、ＲＯＭ等）と通信するように配置される。ストレージインターフェース８０４は、限定されないが、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、インテグレーティドドライブエレクトロニクス（ＩＤＥ）、ＩＥＥＥ−１３９４、ユニバーサルシリアルバス（ＵＳＢ）、ファイバーチャネル、小型計算機システムインターフェース（ＳＣＳＩ）等の接続プロトコルを使用するメモリドライブ、リムーバブルディスクドライブ等を含むメモリ８０５に接続される。メモリドライブは更に、ドラム、磁気ディスクドライブ、光磁気ドライブ、光学ドライブ、独立ディスクの冗長型アレイ（ＲＡＩＤ）、ソリッドステートメモリデバイス、ソリッドステートドライブ等を含む。

メモリ８０５は、限定されないが、ユーザーインターフェース８０６、オペレーティングシステム８０７等を含むプログラム又はデータベースコンポーネントのコレクションを格納することができる。幾つかの実施形態では、コンピュータシステム８００は、本開示で説明されるように、データ、変数、レコード等のユーザー／アプリケーションデータ８０６を格納することができる。このようなデータベースは、Ｏｒａｃｌｅ（登録商標）やＳｙｂａｓｅ（登録商標）といったフォールトトレラント、リレーショナル、スケーラブルでセキュアなデータベースとして実装することができる。

オペレーティングシステム８０７は、コンピュータシステム８００のリソース管理及び操作を容易にすることができる。オペレーティングシステムの例には、限定されないが、ＡＰＰＬＥのＭＡＣＩＮＴＯＳＨ（登録商標）ＯＳ Ｘ、ＵＮＩＸ（登録商標）、ＵＮＩＸ（登録商標）のようなシステムディストリビューション（例えばＢＥＲＫＥＬＥＹ ＳＯＦＴＷＡＲＥ ＤＩＳＴＲＩＢＵＴＩＯＮ（商標）（ＢＳＤ）、ＦＲＥＥＢＳＤ（商標）、ＮＥＴＢＳＤ（商標）、ＯＰＥＮＢＳＤ（商標）等）、ＬＩＮＵＸ ＤＩＳＴＲＩＢＵＴＩＯＮＳ（商標）（例えばＲＥＤ ＨＡＴ（商標）、ＵＢＵＮＴＵ（商標）、ＫＵＢＵＮＴＵ（商標）等）、ＩＢＭ（商標）ＯＳ／２、ＭＩＣＲＯＳＯＦＴ（商標）ＷＩＮＤＯＷＳ（登録商標）（ＸＰ（商標）、ＶＩＳＴＡ（商標）／７／８、１０等）、ＡＰＰＬＥ（登録商標）Ｉ／ＯＳ（商標）、ＧＯＯＧＬＥ（登録商標）ＡＮＤＲＯＩＤ（登録商標）、ＢＬＡＣＫＢＥＲＲＹ（登録商標）ＯＳ等が含まれる。

更に、本開示と一致する実施形態を実装する際に、１つ以上のコンピュータ可読記憶媒体を利用することができる。コンピュータ可読記憶媒体は、プロセッサによって読み取り可能な情報又はデータが格納される任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書に説明される実施形態と一致するステップ又は段階をプロセッサに行わせるための命令を含む、１つ以上のプロセッサによる実行のための命令を格納することができる。「コンピュータ可読媒体」という用語は、有形のアイテムを含み、搬送波及び過渡信号を除外する、即ち、非一時的であると理解されるべきである。例としては、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク及び任意の他の既知の物理ストレージメディアが挙げられる。

利点
本開示の実施形態は、医用レポート内の利用可能なテキストを動的に使用して必要な医用画像を生成することにより、複雑で費用のかかる医療管理システムを配備する必要をなくす。

本開示の実施形態は、リソースが少ない環境において、医師が利用可能な医用レポートのみに依存する場合のエラーのリスクを最小限に抑える。本開示において生成される医用画像は、所見を思い出させて、患者の過去の放射線医学に対する正確な評価に役立つ。

本開示の一実施形態は、生成された医用画像からのビジュアルに基づいて、疾患の進行のより良い評価及び患者への正確な詳細の伝達を容易にする。

本開示の一実施形態は、ある期間にわたる治療介入に基づいて可能性のあるアウトカムを視覚的に描写することによって、所望の健康アウトカムを達成することに向けて、患者とそのヘルスケア提供者との間の関わり合いを向上させ、意思決定を共有する。

本開示の実施形態は、ある期間にわたる患者の健康状態の進行の理解と、進行を示す医用画像とを提供する。

本開示の実施形態は、スキャンされた医用レポートが紛失したか又は利用可能ではない場合での医用画像の再生成を容易にする。

説明された動作は、ソフトウェア、ファームウェア、ハードウェア又はこれらの任意の組み合わせを生成するために、標準のプログラミング及び／又はエンジニアリング技術を使用する方法、システム又は製品として実装することができる。説明された動作は、「非一時的コンピュータ可読媒体」に維持されるコードとして実装されてもよく、この場合、プロセッサが、コンピュータ可読媒体からコードを読み取って実行することができる。プロセッサは、クエリを処理及び実行することができるマイクロプロセッサ及びプロセッサの少なくとも１つである。非一時的コンピュータ可読媒体には、磁気記憶媒体（例えばハードディスクドライブ、フロッピー（登録商標）ディスク、テープ等）、光ストレージ（ＣＤ−ＲＯＭ、ＤＶＤ、光ディスク等）、揮発性及び不揮発性メモリデバイス（ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ファームウェア、プログラマブルロジック等）等が含まれる。更に、非一時的コンピュータ可読媒体は、一時的以外のあらゆるコンピュータ可読媒体を含む。説明された動作を実装するコードは更に、ハードウェアロジック（例えば集積回路チップ、プログラマブルゲートアレイ（ＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）等）で実装される。

更に、説明された動作を実装するコードは、「伝送信号」で実装されてもよく、この場合、伝送信号は、空間を通じて又は光ファイバ、銅線等といった伝送媒体を通じて伝搬することができる。コード又はロジックが符号化されている伝送信号は更に、ワイヤレス信号、衛星送信、電波、赤外線信号、Ｂｌｕｅｔｏｏｔｈ等を含むことができる。コード又はロジックが符号化されている伝送信号は、送信局によって送信され、受信局によって受信されることが可能であり、そこで、伝送信号に符号化されたコード又はロジックは、受信及び送信局又はデバイスにおけるハードウェア又は非一時的コンピュータ可読媒体で復号化されて格納することができる。「製造物」は、非一時的コンピュータ可読媒体、ハードウェアロジック及び／又はコードが実装される伝送信号を含む。説明された動作の実施形態を実装するコードが符号化されるデバイスは、コンピュータ可読媒体又はハードウェアロジックを含む。当然ながら、当業者は、本発明の範囲から逸脱することなく、この構成に多くの変更を加えることができ、また、製造物が当技術分野で知られている適切な情報保持媒体を含んでよいことを認識するであろう。

「一実施形態」、「実施形態」、「複数の実施形態」、「当該実施形態」、「複数の当該実施形態」、「１つ以上の実施形態」、「幾つかの実施形態」及び「１つの実施形態」という用語は、特に明記されていない限り、「本発明の１つ又は複数の実施形態（しかしすべての実施形態ではない）」を意味する。

「含む」、「備える」、「有する」という用語及びこれらの変形は、特に明記されていない限り、「…を含むが…に限定されない」ことを意味する。

列挙されたアイテムのリストは、特に明記されていない限り、アイテムのいずれか又はすべてが相互に排他的であることを意味するものではない。

単数形の用語は、特に明記されていない限り、「１つ以上」を意味する。

互いに通信する幾つかの構成要素を有する実施形態の説明は、このような構成要素のすべてが必要であることを意味するものではない。それどころか、本発明の様々な可能な実施形態を例示するために、様々なオプションの構成要素が説明されている。

本明細書に単一のデバイス又は物品が説明されている場合、単一のデバイス／物品の代わりに複数のデバイス／物品（それらが協働するかどうかに関係なく）を使用することができることは容易に明らかであろう。同様に、複数のデバイス又は物品が本明細書に説明されている場合（それらが協働するかどうかに関係なく）、複数のデバイス又は物品の代わりに単一のデバイス／物品を、又は、示されている数のデバイス若しくはプログラムの代わりに異なる数のデバイス／物品を使用することができることは容易に明らかであろう。デバイスの機能性及び／又は特徴は、そのような機能性／特徴を有するものとして明示的に説明されていない１つ以上の他のデバイスによって代替的に具体化されてもよい。したがって、本発明の他の実施形態は、デバイス自体を含む必要はない。

図３、図４、図５及び図６の示された動作は、特定の順序で発生する特定のイベントを示す。代替実施形態では、特定の動作は、異なる順序で行われ、変更され又は除去されてもよい。更に、上記ロジックにステップを追加しても、説明されている実施形態に依然として準拠することができる。更に、本明細書で説明される動作は、順次発生する場合もあれば、特定の動作が並行して処理される場合もある。更に、動作は、単一の処理ユニット又は分散処理ユニットによって行われてもよい。

最後に、明細書で使用される言語は、主に読みやすさと説明のために選択されたものであり、発明の主題を説明又は限定するために選択されたわけではない。したがって、本発明の範囲は、この詳細な説明によってではなく、本明細書に基づく出願から生じる任意の請求項によって制限されることが意図されている。したがって、本発明の実施形態の開示は、添付の特許請求の範囲に記載されている本発明の範囲を例示することを意図しており、限定することを意図していない。

本明細書では様々な態様及び実施形態が開示されているが、他の態様及び実施形態は当業者には明らかであろう。本明細書に開示される様々な態様及び実施形態は、例示を目的とするものであり、限定を意図するものではなく、真の範囲及び精神は、以下の特許請求の範囲によって示される。

Claims (20)

1. 患者の医用レポート内のテキストデータに基づいて医用画像を生成する方法であって、前記方法は、
   画像生成システムが、患者の１つ以上の医用レポートのそれぞれからテキストデータを取得するステップであって、前記テキストデータは、前記１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含む、取得するステップと、
   前記画像生成システムが、第１の機械学習モデルを使用して、前記テキストデータに基づいて、複数の参照画像のそれぞれのマッチングスコアを計算するステップと、
   前記画像生成システムが、前記複数の参照画像のそれぞれに関連付けられた前記マッチングスコアに基づいて、前記複数の参照画像から１つ以上の画像を選択するステップと、
   前記画像生成システムが、第２の機械学習モデルを使用して、前記１つ以上の画像及び前記テキストデータに基づいて、前記患者の医用画像を生成するステップと、
   を含む、方法。
2. 前記テキストデータにおける前記１つ以上の医療イベント及び前記対応する１つ以上の属性は時系列にある、請求項１に記載の方法。
3. 前記テキストデータにおける前記１つ以上の医療イベントのそれぞれに対応する前記１つ以上の属性は、対応する医療イベントに関連付けられた日付属性、時間属性、モダリティ属性、定性的属性及び定量的属性を含む、請求項１に記載の方法。
4. 前記マッチングスコアを計算するステップは、
   前記画像生成システムが、前記複数の参照画像のそれぞれのベクトル表現を生成するステップと、
   前記画像生成システムが、対応する前記ベクトル表現及び前記テキストデータに基づいて、前記複数の参照画像のそれぞれの結合ベクトル表現を生成するステップと、
   前記画像生成システムが、それぞれの参照画像の前記結合ベクトル表現に基づいて、前記複数の参照画像のそれぞれの前記マッチングスコアを計算するステップと、
   を含む、請求項１に記載の方法。
5. 前記複数の参照画像から選択された前記１つ以上の画像のそれぞれは、所定のマッチングスコアよりも大きい前記マッチングスコアに関連付けられている、請求項１に記載の方法。
6. 前記医用画像を生成するステップは、
   前記画像生成システムが、前記テキストデータ内の単語及び語句のうちの１つのベクトル表現を含む第１のシーケンスを取得するステップと、
   前記画像生成システムが、前記１つ以上の画像を含む第２のシーケンスを生成するステップと、
   前記画像生成システムが、前記第１のシーケンス及び前記第２のシーケンスに基づいて、前記テキストデータの前記１つ以上の医療イベントのそれぞれの医療イベント画像を生成するステップと、
   前記画像生成システムが、前記医用画像を生成するために、前記１つ以上の医療イベントのそれぞれの前記医療イベント画像を所定のパターンでつなぎ合わせるステップと、
   を含む、請求項１に記載の方法。
7. 前記第１のシーケンスを取得するステップは、
   前記画像生成システムが、前記テキストデータ内の前記単語及び前記語句のうちの１つに関連付けられた逆方向隠れ状態及び順方向隠れ状態を決定するステップと、
   前記画像生成システムによって、前記第１のシーケンスを取得するために、前記逆方向隠れ状態と前記順方向隠れ状態とを連結するステップと、
   を含む、請求項６に記載の方法。
8. 前記逆方向隠れ状態及び前記順方向隠れ状態は、それぞれ、逆方向長短期記憶ユニット及び順方向長短期記憶ユニットを使用して決定される、請求項７に記載の方法。
9. 前記第２の機械学習モデルは、前記複数の参照画像及び所定のテキストデータに基づいてトレーニングされる、請求項１に記載の方法。
10. 前記第１の機械学習モデルは、マルチモーダル畳み込みニューラルネットワークモデルであり、前記第２の機械学習モデルは、リカレントニューラルネットワークモデルである、請求項１に記載の方法。
11. 患者の医用レポート内のテキストデータに基づいて医用画像を生成する画像生成システムであって、
    プロセッサと、
    前記プロセッサに通信可能に結合されたメモリと、
    を含み、
    前記メモリは、プロセッサ実行可能命令を格納し、前記プロセッサ実行可能命令は、実行されると、前記プロセッサに、
    患者の１つ以上の医用レポートのそれぞれからテキストデータを取得させ、前記テキストデータは、前記１つ以上の医用レポートのそれぞれに関連付けられた１つ以上の医療イベント及び対応する１つ以上の属性を含み、
    第１の機械学習モデルを使用して、前記テキストデータに基づいて、複数の参照画像のそれぞれのマッチングスコアを計算させ、
    前記複数の参照画像のそれぞれに関連付けられた前記マッチングスコアに基づいて、前記複数の参照画像から１つ以上の画像を選択させ、
    第２の機械学習モデルを使用して、前記１つ以上の画像及び前記テキストデータに基づいて、前記患者の医用画像を生成させる、画像生成システム。
12. 前記テキストデータにおける前記１つ以上の医療イベント及び前記対応する１つ以上の属性は時系列にある、請求項１１に記載の画像生成システム。
13. 前記テキストデータにおける前記１つ以上の医療イベントのそれぞれに対応する前記１つ以上の属性は、対応する医療イベントに関連付けられた日付属性、時間属性、モダリティ属性、定性的属性及び定量的属性を含む、請求項１１に記載の画像生成システム。
14. 前記マッチングスコアを計算することは、
    前記複数の参照画像のそれぞれのベクトル表現を生成することと、
    対応する前記ベクトル表現及び前記テキストデータに基づいて、前記複数の参照画像のそれぞれの結合ベクトル表現を生成することと、
    それぞれの参照画像の前記結合ベクトル表現に基づいて、前記複数の参照画像のそれぞれの前記マッチングスコアを計算することと、
    を含む、請求項１１に記載の画像生成システム。
15. 前記複数の参照画像から選択された前記１つ以上の画像のそれぞれは、所定のマッチングスコアよりも大きい前記マッチングスコアに関連付けられている、請求項１１に記載の画像生成システム。
16. 前記医用画像を生成することは、
    前記テキストデータ内の単語及び語句のうちの１つのベクトル表現を含む第１のシーケンスを取得することと、
    前記１つ以上の画像を含む第２のシーケンスを生成することと、
    前記第１のシーケンス及び前記第２のシーケンスに基づいて、前記テキストデータの前記１つ以上の医療イベントのそれぞれの医療イベント画像を生成することと、
    前記医用画像を生成するために、前記１つ以上の医療イベントのそれぞれの前記医療イベント画像を所定のパターンでつなぎ合わせることと、
    を含む、請求項１１に記載の画像生成システム。
17. 前記第１のシーケンスを取得することは、
    前記テキストデータ内の前記単語及び前記語句のうちの１つに関連付けられた逆方向隠れ状態及び順方向隠れ状態を決定することと、
    前記第１のシーケンスを取得するために、前記逆方向隠れ状態と前記順方向隠れ状態とを連結することと、
    を含む、請求項１６に記載の画像生成システム。
18. 前記逆方向隠れ状態及び前記順方向隠れ状態は、それぞれ、逆方向長短期記憶ユニット及び順方向長短期記憶ユニットを使用して決定される、請求項１７に記載の画像生成システム。
19. 前記第２の機械学習モデルは、前記複数の参照画像及び所定のテキストデータに基づいてトレーニングされる、請求項１１に記載の画像生成システム。
20. 前記第１の機械学習モデルは、マルチモーダル畳み込みニューラルネットワークモデルであり、前記第２の機械学習モデルは、リカレントニューラルネットワークモデルである、請求項１１に記載の画像生成システム。

Images