JP2023152885A - 医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラム - Google Patents

Abstract

【課題】医用画像の分析精度を向上させ、医用画像の分析結果をユーザに解釈可能に提示させること。【解決手段】本実施形態に係る医用画像処理装置は、領域抽出部と、目標領域抽出部と、所見情報生成部と、出力部と、を備える。前記領域抽出部は、医用画像を取得し、前記医用画像の関心領域における所定の特徴を有する画素からなる領域を抽出する。前記目標領域抽出部は、前記領域抽出部で抽出された前記領域からアーチファクト領域を除去し、目標領域として抽出する。前記所見情報生成部は、前記目標領域における画素値に基づいて、前記目標領域における所見情報を生成する。前記出力部は、前記所見情報生成部で生成された前記所見情報を、前記医用画像と対応付けて出力する。【選択図】図１

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラムに関する。

Ｘ線撮影装置、ＣＴ装置、超音波検査装置等の医用画像診断装置が多く用いられている。医用画像診断装置が被検体を撮像して取得した医用画像を分析することにより、病変部位の鑑別に役に立つ。例えば肺炎、特に伝染性肺炎の診断において、医用画像の鑑別結果は臨床的に重要な意義を有する。

現在の鑑別方法には、人による読影方法、および、機械学習支援診断を用いる方法が挙げられる。

人による読影方法は、医師等の鑑別能力のある者（例えば、読影医）が医用画像を読影し、画像中の所見から病変の有無及び疾患の種類を鑑別する方法である。しかし、人による読影方法は、一日当たりの検査量が急増した場合には効率が不十分である問題があり、また医師の経験レベルの違いにより、鑑別結果が不一致になる可能性がある。

機械学習支援診断を用いる方法は、機械学習により読影を支援する方法である。例えば、医用画像における病変領域の統計情報や影像基礎特徴を抽出した後、サポートベクターマシン、ランダムフォレスト等の機械学習手法を用いて肺炎等の病変分類を行うモデル等を生成することができる。また、既存の病変領域のケースからなる訓練データを用いて深層学習ネットワークを生成し、病変領域又は画像を直接に深層学習ネットワークに入力して病変、例えば肺炎の分類を行うようにしてもよい。

しかし、機械学習支援診断を適用する場合、例えば肺炎の種類を鑑別する処理では、画像収集時に患者の息止め不良、心拍及び重力効果などの原因で肺部の階調値が変化してしまうことにより、抽出された特徴が不正確になる可能性がある。また、読影する医師は、機械学習により生成されたモデルがどのように分類するか、どのような影像特徴が分類に役に立つかなどの知識を理解できなかったり、モデルにより生成された結果が妥当であるか否かを判断できなかったりする場合がある。この場合、支援モデルが医師の信頼を得られない。

さらに、病変領域または画像を入力として病変分類結果を出力とする機械学習支援診断に基づくモデルは、分布特徴、徴候（例えば、リング状陰影、敷石状等）など、医師の診断に重要な参考の意味を持つ影像所見を提供しないため、影像レポート（読影レポート）の自動化に役に立たない。

特開２０１９－８２８８１号公報 特表２０１６－５２１１４９号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、医用画像の分析精度を向上させ、医用画像の分析結果をユーザに解釈可能に提示させる。

本実施形態に係る医用画像処理装置は、領域抽出部と、目標領域抽出部と、所見情報生成部と、出力部と、を備える。前記領域抽出部は、医用画像を取得し、前記医用画像の関心領域における所定の特徴を有する画素からなる領域を抽出する。前記目標領域抽出部は、前記領域抽出部で抽出された前記領域からアーチファクト領域を除去し、目標領域として抽出する。前記所見情報生成部は、前記目標領域における画素値に基づいて、前記目標領域における所見情報を生成する。前記出力部は、前記所見情報生成部で生成された前記所見情報を、前記医用画像と対応付けて出力する。

図１は、第１の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る医用画像処理装置における影像所見ラベルデータベースを説明するための模式図である。 図３Ａは、第１の実施形態における動的影響因子修正モデルを説明するための模式図である。 図３Ｂは、第１の実施形態における静的影響因子修正モデルを説明するための模式図である。 図４Ａは、第１の実施形態におけるブロックの抽出及び修正処理を説明するための模式図である。 図４Ｂは、第１の実施形態におけるブロックの抽出及び修正処理を説明するための模式図である。 図４Ｃは、第１の実施形態におけるブロックの抽出及び修正処理を説明するための模式図である。 図５は、第１の実施形態における所見情報の生成処理を説明するための模式図である。 図６は、第１の実施形態に係る医用画像処理装置における病変影像分類処理を説明するためのフローチャートである。 図７は、第２の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。 図８は、第２の実施形態における表示例である分析報告書の一例を示す模式図である。 図９は、第２の実施形態における表示例である分析報告書の他の例を示す模式図である。 図１０は、第２の実施形態に係る医用画像処理装置における病変影像分類処理を説明するためのフローチャートである。

以下では、図面を参照して、医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラムの実施形態について詳細に説明する。

本実施形態に係る医用画像処理装置は、複数の機能モジュールから構成され、独立したコンピュータ等のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびメモリを有する機器に、ソフトウェアとしてインストールしたり、複数の機器に分散してインストールしたりして、あるプロセッサがメモリに記憶された医用画像処理装置の各機能モジュールを実行することにより実現されることができる。また、医用画像処理装置の各機能を実行可能な回路としてハードウェアの形態で実現されてもよい。医用画像処理装置を実現する回路は、インターネット等のネットワークを介してデータの送受信やデータの収集を行うことができる。また、本実施形態に係る医用画像処理装置は、ＣＴ装置や磁気共鳴イメージング装置等の医用画像診断装置における一部として医用画像診断装置に直接装着されてもよい。

また、以下の説明では、肺を対象として撮像された医用画像を例に、実施形態における医用画像処理装置が、この種類の医用画像中の病変の有無及び疾患の種類を判断する（病変影像のタイプを判断する）等の分類処理を行う際の動作を説明する。しかし、本実施形態はこれに限定されるものではなく、他の医用画像における特定部位の分類処理にも適用可能であることは勿論である。

（第１の実施形態）
まず、第１の実施形態について図１乃至図６を参照して説明する。

図１は、第１の実施形態に係る医用画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用画像処理装置１００は、入力インターフェース３０１と、通信インターフェース３０２と、ディスプレイ３０３と、記憶回路３０４と、処理回路３０５と、を備える。

入力インターフェース３０１は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース３０１は、処理回路３０５に接続されており、医師などのユーザから受け付けた入力操作を電気信号に変換して処理回路３０５に出力する。なお、図１において、入力インターフェース３０１は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。

通信インターフェース３０２は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信インターフェース３０２は、処理回路３０５に接続されており、超音波システムである超音波診断装置や、超音波システム以外の他のモダリティーであるＸ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置から、医用画像を収集して処理回路３０５に出力する。

ディスプレイ３０３は、処理回路３０５に接続され、処理回路３０５から出力される各種情報及び各種画像を表示する。例えば、ディスプレイ３０３は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ３０３は、ユーザの指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路３０５による種々の処理結果を表示する。なお、図１において、ディスプレイ３０３は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。ディスプレイ３０３は、「表示部」の一例である。

記憶回路３０４は、処理回路３０５に接続され、各種データを記憶する。具体的には、記憶回路３０４は、少なくとも画像レジストレーション用の各種の医用画像及びレジストレーション後に得られた融合画像等を記憶する。例えば、記憶回路３０４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路３０４は、処理回路３０５によって実行される各処理機能に対応するプログラムを記憶する。なお、図１において、記憶回路３０４は、医用画像処理装置１００内に設けられているが、外部に設けられてもよい。

また、記憶回路３０４は、影像所見ラベルデータベース７０を記憶する。影像所見ラベルデータベース７０に格納される情報については後述する。

例えば、処理回路３０５は、プロセッサによって実現される。図１に示すように、処理回路３０５は、分割機能１０と、ブロック抽出機能２０と、目標ブロック抽出機能３０と、基礎特徴抽出機能４０と、所見情報生成機能５０と、分類機能６０と、出力機能８０とを備える。ここで、図１に示す処理回路３０５の構成要素である分割機能１０、ブロック抽出機能２０、目標ブロック抽出機能３０、基礎特徴抽出機能４０、所見情報生成機能５０、分類機能６０、出力機能８０が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置１００の記憶回路３０４に記録されている。処理回路３０５は、各プログラムを記憶回路３０４から読み出し、実行することで各プログラムに対応する処理機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３０５は、図１の処理回路３０５内に示された各機能を有することとなる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路３０４に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路３０４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

次に、処理回路３０５が実行する分割機能１０、ブロック抽出機能２０、目標ブロック抽出機能３０、基礎特徴抽出機能４０、所見情報生成機能５０、分類機能６０、出力機能８０の処理内容について説明する。

まず、分割機能１０は、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置などのモダリティー装置から、被検体の医用画像を取得する。分割機能１０は、医用画像に対して所定の分割処理（セグメンテーション処理）を行い、医用画像の関心領域を特定する。

取得された医用画像は、ＣＴ画像や核磁気共鳴画像などの胸部３次元スキャン画像であり、当該医用画像は、分析すべき領域、例えば肺を含む肺部画像である。また、他の次元数の医用画像であってもよい。また、分割機能１０は、具体的なスキャン目的や予測される病変部分に応じて、左右の肺、肺葉、肺周辺、あるいは肺セグメント等を、関心領域として設定することができる。分割処理については、既存のセグメンテーション技術が採用される。

ブロック抽出機能２０は、分割機能１０に特定された関心領域から、当該関心領域における所定の特徴を有する画素からなるブロックを抽出する。ブロック抽出機能２０は、「領域抽出部」の一例であり、ブロック抽出機能２０が抽出するブロックは、「領域」の一例である。

例えば、ブロック抽出機能２０は、関心領域における所定の特徴を有する画素からなる連結領域をブロックとして抽出する。ブロック抽出機能２０は、予め設定された条件を満たすブロックを抽出することができる。これを実現するために、ブロック抽出機能２０は、影像パターン分割機能２１と、連結領域抽出機能２２とを有する。

影像パターン分割機能２１は、分割機能１０で特定された関心領域から、当該関心領域における所定の特徴を有する画素からなる典型的なパターンの分割をさらに行う。典型的なパターンとは、同一の特徴あるいは同一又は類似の画素値を持つ画素点からなる影像パターンであり、本実施形態では、影像パターン分割機能２１は、関心領域である肺領域をテクスチャ解析等の手法で解析して病変パターンとみなされた典型的なパターンを抽出する。また、影像パターン分割機能２１は、ある病変画像が持つ特徴に基づいて、どのような典型的なパターンを抽出するかを決定してもよい。例えば、影像パターン分割機能２１は、すりガラス陰影のような影像パターン、又はコンソリデーション（consolidation）、網状影等の影像パターンを分割する。また、影像パターン分割機能２１は、複数の異なる影像パターンを分割してもよい。例えば、図４Ａは、影像パターンの一例を示している。図４Ａでは、斜線ハッチング部分がすりガラス陰影の影像パターンを構成しており、この影像パターンの肺画像に対する位置を示すために、この影像パターンを肺画像の関心領域上に重ねて表現している。影像パターン分割機能２１は、「典型パターン分割部」の一例である。

連結領域抽出機能２２は、影像パターン分割機能２１で分割された影像パターンにおいて、連結領域を上記ブロックとして抽出する。連結領域は、画像処理分野の概念として、一般に、画像における同一又は類似の画素値を有しかつ位置が隣接する前景画素点からなる領域を指し、連結領域の抽出は、影像パターンに分布された各連結領域を見つけてマークすることを指す。関心領域から複数の影像パターンが分割された場合、連結領域抽出機能２２は、予め格納された後述する影像所見ラベルデータベース７０を用いて連結領域を抽出することができる。連結領域抽出機能２２は、「連結領域抽出部」の一例である。

図１に示すように、本実施形態では、医用画像処理装置１００には、目標ブロックである病変影像のタイプと、タイプラベルとしての影像所見と、影像所見（finding）に対応する属性とを対応付けて記憶している影像所見ラベルデータベース７０が予め格納されている。影像所見は、読影の名詞として、画像上で観察できる特徴を表す。影像所見の属性は、所見領域の特徴を描くためのものであり、影像所見の属性は、一般的に臨床解釈可能な特徴である。

図２は、第１の実施形態に係る医用画像処理装置１００における影像所見ラベルデータベース７０を説明するための模式図である。図２には、よく見られる肺炎の影像特徴が例示されている。図２に示すように、影像所見ラベルデータベース７０には、目標ブロックである病変影像のタイプ「疾患名」と、タイプラベルとしての影像所見「影像所見ラベル」と、影像所見に対応する属性「ラベル」、「属性」とが対応付けて記憶されている。ここで、疾患名の欄には、新型コロナウイルス感染症肺炎、市中肺炎といった病変タイプの例が記載されている。新型コロナウイルス感染症肺炎の病変タイプとしては、新型コロナウイルス感染症肺炎の患者の医用画像上の影像所見の特徴の一つは、「ＧＧＯ（すりガラス）」であり、「ＧＧＯ（すりガラス）」については、新型コロナウイルス感染症肺炎の患者の医用画像上で、ＧＧＯ（すりガラス）領域において、存在性：「存在」、位置：「両肺」、分布：「主に肺周辺」、形状：「円形」などの属性等がある。また、市中肺炎の病変タイプとしては、市中肺炎の患者の医用画像上の影像所見の特徴の一つは、「コンソリデーション」であり、「コンソリデーション」については、市中肺炎の患者の医用画像上で、コンソリデーション領域において、存在性：「存在」、位置：「片肺又は両肺」、分布：「肺葉分布」などの属性がある。

そこで、ブロック抽出機能２０は、影像所見ラベルデータベース７０における影像所見を関心領域における所定の特徴とし、関心領域における所定の特徴を有する画素からなる連結領域を上記ブロックとして抽出する。具体的には、連結領域抽出機能２２は、影像所見ラベルデータベース７０から、ある病変タイプに対応する影像所見を、認識すべき影像所見として取得し、影像パターン中に認識すべき影像所見に一致する影像パターンを検索する。

ここで、認識すべき影像所見に一致する影像パターンが存在しないものとする。この場合には、連結領域抽出機能２２は、対応する医用画像において、当該認識すべき影像所見の存在性が「存在しない」であると判断し、この判断結果を分類機能６０に出力した後、次の影像所見を認識すべき影像所見として照合する。

一方、認識すべき影像所見に一致する影像パターンが存在するものとする。この場合には、連結領域抽出機能２２は、この影像パターンにおける連結領域をリージョングローイング法などの手法により抽出し、１つ又は複数の連結領域を得る。例えば、図４Ａに示す影像パターンでは、連結領域１、連結領域２、連結領域３の３つの連結領域が得られる。

図１の説明に戻り、目標ブロック抽出機能３０は、ブロック抽出機能２０で抽出されたブロックからアーチファクト領域を除去し、目標ブロックとして抽出する。目標ブロック抽出機能３０は、「目標ブロック抽出部」の一例であり、目標ブロック抽出機能３０が抽出する目標ブロックは、「目標領域」の一例である。

例えば、目標ブロック抽出機能３０は、ブロック抽出機能２０がブロック抽出を行う際の影響因子に基づいて、ブロック抽出機能２０で抽出されたブロックを修正することにより、当該ブロックからアーチファクト領域を除去し、目標ブロックとして抽出する。具体的には、目標ブロック抽出機能３０は、ブロック抽出機能２０で抽出されたブロックの領域を変形する、または、ブロック抽出機能２０が複数抽出したブロックのうち一部を選択することにより、当該ブロックを修正する。

これを実現するために、目標ブロック抽出機能３０は、動的な影響因子によるアーチファクトを修正する動的影響因子修正機能３１と、静的な影響因子によるアーチファクトを修正する静的影響因子修正機能３２と、を有する。

例えば、医用画像が肺部画像である場合、肺領域において、静的な影響因子は、主に、少なくとも重力効果や呼吸制御不良等を含み、修正の対象となるアーチファクト領域は、静的な影響因子に起因する静的アーチファクトを含む領域である。

同様に、医用画像が肺部画像である場合、肺領域において、動的な影響因子は、主に、心拍、例えば、少なくとも呼吸や心臓の動き等を含み、修正の対象となるアーチファクト領域は、動的な影響因子に起因する動的アーチファクトを含む領域である。

以下、本実施形態では、医用画像が肺部画像である場合を例として説明する。

動的影響因子修正機能３１は、モーションアーチファクト領域の真値を訓練データとして生成された動的影響因子修正モデルを用いて、ブロック抽出機能２０で抽出されたブロックにおける動的影響因子におけるアーチファクトを修正することで、当該ブロックから動的アーチファクトを除去する。動的影響因子修正機能３１、動的影響因子修正モデルは、それぞれ、「動的影響因子修正部」、「第２の修正モデル」の一例である。

例えば、動的影響因子修正機能３１は、医用画像、ブロック及び関心領域を入力として、心拍等による肺と縦隔及び横隔膜との境界におけるアーチファクトを除去したブロックを出力する、予め生成された動的影響因子修正モデルを有する。図３Ａは、第１の実施形態における動的影響因子修正モデルを説明するための模式図である。同図に示すように、動的影響因子修正機能３１は、ブロック抽出機能２０に抽出されたブロック（本実施形態では、連結領域をブロックとする）、関心領域及び医用画像として、例えば図４Ａに対応する部分を動的影響因子修正モデルに入力することで、図４Ｂに示す画像を得ることができる。ここで、図４Ｂに示すように、ブロック抽出機能２０が複数抽出したブロック（連結領域）のうち、連結領域１と連結領域３は変化しておらず、連結領域２について、動的アーチファクト部分が除かれ、面積が減少する。このように、図４Ａ、図４Ｂに示す例において、目標ブロック抽出機能３０は、ブロック抽出機能２０で抽出されたブロックの領域（連結領域２）を変形することにより、当該ブロックを修正する。

この動的影響因子修正モデルは、図３Ａに示すように、医用画像上のモーションアーチファクト領域の真値（ＧＴ：Ground Truth）を訓練データとして訓練して生成されたものである。なお、動的影響因子修正モデルは、外部から動的影響因子修正機能３１にロードされ、使用されてもよい。

静的影響因子修正機能３２は、人工的なブロック抽出結果を訓練データとして生成された静的影響因子修正モデルを用いて、ブロック抽出機能２０で抽出されたブロックにおける静的影響因子におけるアーチファクトを修正することで、当該ブロックから静的アーチファクトを除去する。静的影響因子修正機能３２、静的影響因子修正モデルは、それぞれ、「静的影響因子修正部」、「第１の修正モデル」の一例である。

例えば、静的影響因子修正機能３２は、医用画像及びブロックを入力として、重力効果や呼吸制御不良によるアーチファクトを除去したブロックを出力する、予め生成された静的影響因子修正モデルを有する。図３Ｂは、第１の実施形態における静的影響因子修正モデルを説明するための模式図であり、同図に示すように、静的影響因子修正機能３２は、動的影響因子修正機能３１による修正処理を経たブロック及び医用画像として、例えば図４Ｂに対応する部分を静的影響因子修正モデルに入力することで、図４Ｃに示す画像を得ることができる。ここで、図４Ｃに示すように、ブロック抽出機能２０が複数抽出したブロック（連結領域）のうち、連結領域３が削除されて連結領域１と連結領域２が残される。このように、図４Ｂ、図４Ｃに示す例において、目標ブロック抽出機能３０は、ブロック抽出機能２０が複数抽出したブロックのうち一部（連結領域１と連結領域２）を選択することにより、当該ブロックを修正する。

この静的影響因子修正モデルは、図３Ｂに示すように、医用画像の静的アーチファクトの真値（ＧＴ：Ground Truth）を訓練データとして訓練して生成されたものである。なお、静的影響因子修正モデルは、外部から静的影響因子修正機能３２にロードされ使用されてもよい。また、人工的なブロック抽出結果を真値として訓練を行い、静的影響因子修正モデルを生成しても良い。

なお、本実施形態は上述した構成に限定されるものではなく、動的影響因子修正機能３１と静的影響因子修正機能３２を統合し、動的アーチファクトと静的アーチファクトを同時に修正できる修正モデルにより、ブロックを一度に修正するようにしてもよい。上述したブロックの修正を行った後、ブロックがまだ存在していれば、医用画像に病変タイプに対応する真の影像所見が存在するとみなし、これらの真の影像所見に基づいて病変影像の分類を行う。

また、図１中の基礎特徴抽出機能４０は、目標ブロック抽出機能３０で抽出された目標ブロックに基づいて、目標ブロックの基礎特徴を抽出する。基礎特徴抽出機能４０は、「基礎特徴抽出部」の一例である。

医用画像の基礎特徴とは、測定により画像から正確に得られた画像特徴であり、例えば、形態学的特徴、テクスチャ特徴及び動力学的特徴を含む。ここで、基礎形態学的特徴は、図形の形態構造、例えば輪郭の外郭サイズ、領域サイズ等を表す。基礎テクスチャ特徴は、画像又は関心領域の表面特徴、例えば画像のテクスチャの太さ、密度等の特徴を表す。基礎動力学的特徴は、画像上の動的な特徴であり、例えば多時相造影画像に対して基礎動力学的特徴を抽出する場合には、造影画像と造影前画像との比較における強調割合などの動力学的特徴が存在する。

所見情報生成機能５０は、目標ブロックにおける画素値に基づいて、目標ブロックにおける所見情報を生成する。所見情報生成機能５０は、「所見情報生成部」の一例である。

例えば、所見情報生成機能５０は、医用画像の基礎特徴と臨床解釈可能な特徴である所見情報とを関連付けた変換モデルを用い、基礎特徴抽出機能４０で抽出された基礎特徴に基づいて、目標ブロックにおける所見情報を生成する。

本実施形態において、所見情報とは、臨床的に特定の部位に対して描きかつ定量化することが可能な特徴（臨床解釈可能な特徴）であり、このような定量化可能な特徴は解釈を容易にさせるので、階層評価や採点などの読影関連処理に適用されることが多い。所見情報は、描くための特徴として、具体的な内容は、業界内のガイドラインや基準によって決定され、解釈される。例えば、所見情報は、臨床解釈可能な数量情報、臨床解釈可能な位置情報、臨床解釈可能な分布情報、臨床解釈可能な形態情報、臨床解釈可能な病変程度、例えば大、中、小の情報、又は臨床解釈可能な影像徴候、例えばモザイク、潅流などを含む。

所見情報生成機能５０は、所見情報毎に、医用画像の基礎特徴を入力として対応する所見情報を出力する変換モデルをそれぞれ用いて、当該基礎特徴を各変換モデルに入力することにより、対応する所見情報を生成する。

図５は、第１の実施形態における所見情報の生成処理を説明するための模式図である。図５に示すように、所見情報生成機能５０は、数量情報抽出モジュール５１、位置情報抽出モジュール５２、分布情報抽出モジュール５３、形態情報抽出モジュール５４、病変程度抽出モジュール５５、画像徴候抽出モジュール５６を含む。

数量情報抽出モジュール５１は、医用画像の基礎特徴と臨床解釈可能な数量情報とを関連付けた数量情報変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な数量情報を生成する。位置情報抽出モジュール５２は、医用画像の基礎特徴と臨床解釈可能な位置情報とを関連付けた位置情報変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な位置情報を生成する。分布情報抽出モジュール５３は、医用画像の基礎特徴と臨床解釈可能な分布情報とを関連付けた分布情報変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な分布情報を生成する。

形態情報抽出モジュール５４は、医用画像の基礎特徴と臨床解釈可能な形態情報とを関連付けた形態情報変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な形態情報を生成する。病変程度抽出モジュール５５は、医用画像の基礎特徴と臨床解釈可能な病変程度とを関連付けた病変程度変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な病変程度を生成する。画像徴候抽出モジュール５６は、医用画像の基礎特徴と臨床解釈可能な影像徴候とを関連付けた影像徴候変換モデルを用いて、基礎特徴から、目標ブロックの臨床解釈可能な影像徴候を生成する。

各変換モデルは、過去に読影が完了された画像ケースを訓練データとして用い、機械学習又は深層学習により予め生成されたモデルである。生成されたモデルのアルゴリズムは、任意のアルゴリズムを用いることができる。図５に示す例では、形態情報抽出モジュール５５における形態情報抽出モデルが用いられた場合である。

図５に示すように、形態情報抽出モジュール５５は、医用画像の形態学真値（ＧＴ：Ground Truth）を訓練データとして訓練して生成された形態情報生成モデルｙ＝ｆ（ｃ_１,ｃ_２,…,ｃ_ｎ）を有する。なお、ｙは、形態情報を表し、ｃ_１,ｃ_２,…,ｃ_ｎは、基礎特徴抽出機能４０から得られた基礎特徴、例えば、連結領域からなるブロックの体積、体積比、最長軸、最短軸等を表す。ｙ＝ｆ（ｃ_１,ｃ_２,…,ｃ_ｎ）は、例えば、下記の式１により表される。

ｙ＝肺内体積比≦Ｔ１＋体積≦Ｔ２＋多数決アルゴリズム（連結領域１の最長軸／連結領域１の最短軸≧Ｔ３；……；連結領域ｎの最長軸／連結領域ｎの最短軸≧Ｔ３） ・・・・・（式１）

なお、Ｔ１、Ｔ２、Ｔ３は、予め設定された閾値である。例えば、医用画像における目標ブロックが上記の式１を満たす場合、医用画像には、閾値Ｔ１、Ｔ２、Ｔ３で制限されるｙという形態学的特徴が存在することを意味する。

他のモジュールにおける変換モデルの生成と処理は、いずれも、形態情報抽出モジュール５５における変換モデルと類似しているので、例示を省略する。

所見情報生成機能５０は、図５に示すように、影像所見ラベルデータベース７０から影像所見の属性を読み取って、所見情報を生成することができる。例えば、図２に示す影像所見ラベルデータベース７０が用いられる場合には、所見情報生成機能５０が臨床解釈可能な位置情報、臨床解釈可能な分布情報、臨床解釈可能な形状情報等の所見情報を生成することにより、分類機能６０が所見情報により新型コロナウイルス感染症肺炎であるか否かを判断することができる。

なお、本実施形態は上述した構成に限定されるものではなく、所見情報生成機能５０は、抽出モジュール５１～５６のいくつか又はいずれかを有していてもよいし、他の所見情報を抽出する抽出モジュールを有していてもよい。

本実施形態では、所見情報生成機能５０は、様々な所見情報を生成して分類機能６０に出力する。

分類機能６０は、所見情報生成機能５０で生成された所見情報に基づいて、目標ブロックを含む医用画像を分類し、分類結果を得る。分類機能６０は、「分類部」の一例である。

例えば、分類機能６０は、所見情報が影像所見ラベルデータベース７０における属性と一致する目標ブロックが存在する場合、影像所見ラベルデータベース７０における、属性に対応するタイプを、当該目標ブロックを含む医用画像のタイプとして分類する。

具体的には、図２に示す影像所見ラベルデータベース７０が用いられる場合に、分類機能６０は、所見情報生成機能５０で生成された臨床解釈可能な位置情報、臨床解釈可能な分布情報、臨床解釈可能な形状情報等から、これらの情報と影像所見ラベルデータベース７０におけるラベル及び属性とを比較する。ここで、例えば、各情報と新型コロナウイルス感染症肺炎の影像所見の各々のラベル及び属性とが一致するものとする。この場合に、分類機能６０は、連結領域からなるブロックが存在する医用画像のタイプを、新型コロナウイルス感染症肺炎の影像と判断する。

また、影像所見が存在しないことを特徴とする病変タイプもある。そこで、ブロック抽出機能２０がある医用画像中に影像所見（所定の特徴）のブロックを抽出していないか、又は、目標ブロック抽出機能３０による修正処理を経た後に残されたブロックが存在しない場合に、分類機能６０は、このような影像所見を「存在性」というラベルの属性が「存在しない」である影像所見とし、このラベルの属性を、対応する医用画像の分類処理に用いるようにしてもよい。

出力機能８０は、所見情報生成機能５０で生成された所見情報を、目標ブロックを含む医用画像と対応付けて出力する。具体的には、分類機能６０が、所見情報生成機能５０で生成された所見情報に基づいて、目標ブロックを含む医用画像を分類し、分類結果を得た後、出力機能８０は、得られた分類結果を、目標ブロックを含む医用画像と対応付けて出力する。例えば、出力機能８０は、得られた分類結果と、目標ブロックを含む医用画像とをディスプレイ３０３に表示させる。

以下、第１の実施形態における医用画像処理方法について、医用画像処理装置１００が行う分類処理の全体の流れの観点から説明する。

図６は、第１の実施形態に係る医用画像処理装置１００における病変影像分類処理を説明するためのフローチャートである。なお、説明を簡単化するために、本流れの分類処理では、「存在性」というラベルの属性が「存在しない」である影像所見に係らず、ブロックが存在しないと確定する場合、処理を終了する。

まず、分割機能１０は、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置などのモダリティー装置から、分類すべき被検体の医用画像を取得する（ステップＳ６０１）。次に、分割機能１０は、医用画像に対して所定の分割処理（セグメンテーション処理）を行い、肺を関心領域として特定する（ステップＳ６０２）。

次に、ブロック抽出機能２０の影像パターン分割機能２１は、特定された関心領域において、肺病変に関する特徴を有する画素からなる典型的な影像パターンの分割を行う（ステップＳ６０３）。ブロック抽出機能２０の連結領域抽出機能２２は、分割された影像パターンにおいて、影像所見ラベルデータベース７０に記憶された病変タイプに対応する影像所見が存在するか否かを判断する（ステップＳ６０４）。全ての影像パターンに、影像所見ラベルデータベース７０に記憶された病変タイプに対応する影像所見がいずれも存在しない場合（ステップＳ６０４：ＮＯ）、図６の病変影像分類処理が終了する。

一方、分割された影像パターンにおいて、影像所見ラベルデータベース７０に記憶された病変タイプに対応する影像所見が存在する場合（ステップＳ６０４：ＹＥＳ）、連結領域抽出機能２２は、分割された影像パターンにおける連結領域を、関心領域における所定の特徴を有する画素からなるブロックとして抽出する（ステップＳ６０５）。

続いて、ブロック抽出機能２０で抽出されたブロック（連結領域）に対して、目標ブロック抽出機能３０の動的影響因子修正機能３１は、モーションアーチファクト修正モデル（上述の動的影響因子修正モデル）を用いて、モーションアーチファクト領域として、上述の動的な影響因子に起因する動的アーチファクトを含む領域となる連結領域を除去する（ステップＳ６０６）。次に、目標ブロック抽出機能３０の静的影響因子修正機能３２は、静的アーチファクト修正モデル（上述の静的影響因子修正モデル）を用いて、静的アーチファクト領域として、上述の静的な影響因子に起因する静的アーチファクトを含む領域となる連結領域を除去する（ステップＳ６０７）。

その後、目標ブロック抽出機能３０は、ブロック抽出機能２０で抽出されたブロックである連結領域がまだ存在するか否かを判断する（ステップＳ６０８）。ここで、当該連結領域が存在しない場合（ステップＳ６０８：ＮＯ）、図６の病変影像分類処理が終了する。

一方、ブロック抽出機能２０で抽出されたブロックである連結領域が存在する場合（ステップＳ６０８：ＹＥＳ）、目標ブロック抽出機能３０は、除去されずに残ったブロック（連結領域）を、目標ブロックとして抽出する。次に、基礎特徴抽出機能４０は、目標ブロックに基づいて、目標ブロックの基礎特徴を抽出する（ステップＳ６０９）。

続いて、所見情報生成機能５０は、基礎特徴抽出機能４０から目標ブロックの基礎特徴を取得し、影像所見ラベルデータベース７０から典型的なパターンを分割する際に使用する影像所見に対応する種々の属性を読み取る。そして、所見情報生成機能５０は、医用画像の基礎特徴と臨床解釈可能な特徴である所見情報とを関連付けた変換モデルを用いて、基礎特徴抽出機能４０で抽出された基礎特徴から、上述した影像所見に対応する種々のラベル及び属性を、目標ブロックの所見情報として生成する（ステップＳ６１０）。

そして、分類機能６０は、所見情報に基づいて、目標ブロックを含む医用画像から、病変影像の疾患種類を分類して分類結果を得る。その後、出力機能８０は、得られた分類結果を、目標ブロックを含む医用画像と対応付けて出力する（ステップＳ６１１）。例えば、出力機能８０は、得られた分類結果と、目標ブロックを含む医用画像とをディスプレイ３０３に表示させる。

上述した流れは、一例として適宜変形可能である。例えば、動的アーチファクト修正処理のステップＳ６０６と静的アーチファクト修正処理のステップＳ６０７の処理手順を変更してもよい。すなわち、静的アーチファクト修正処理を先に行ってから動的アーチファクト修正処理を行うようにしてもよい。

上述した第１の実施形態に係る医用画像処理装置１００の性能については、テストセットを用いてテストを行うことにより、ブロックの修正を行わない場合と比較して、ブロックの修正を行った場合の感度及び特異性が大幅に向上されることを見出した。また、本実施形態の具体的な実施例を既存の深層学習方法や臨床専門家による読影方法の比較実施例と比較することにより、本実施形態の実施例の効果は上述した２つの既存技術より明らかに優れていることも見出した。

第１の実施形態によれば、例えば、医用画像が肺部画像である場合、心拍や重力効果等の偽所見を引き起こす可能性のある影響因子の影響を除去することで、医用画像の分析精度を向上させることができる。また、第１の実施形態によれば、臨床的意義のある所見情報に基づいて肺炎の分類を行うので、医用画像の分析結果を、医師などのユーザに解釈可能に提示させることができる。さらに、上述した実施形態によれば、病変の分類結果の精度を向上させるだけではなく、臨床的意義のある影像所見をユーザに解釈可能に提示するため、影像レポート（読影レポート）の自動化に有効である。さらに、第１の実施形態では、医用画像処理装置１００が、目標ブロックのタイプと、タイプラベルとしての影像所見と、影像所見に対応する属性とを対応付けて記憶している影像所見ラベルデータベース７０を有することで、分類結果の精度や分類の効率が向上される。

（第１の実施形態の変形例）
第１の実施形態では、影像所見ラベルデータベース７０を用いて病変タイプ及び対応する影像所見や属性を規定し、ブロックの抽出と分類に用いられる。医用画像処理装置１００は影像所見ラベルデータベース生成モジュールをさらに備え、影像所見ラベルデータベース７０により影像所見ラベルデータベースを生成・更新するようにしてもよい。具体的には、例えば、この影像所見ラベルデータベース生成モジュールは、既存の影像報告書セットを収集し、医学辞書やセマンティックルールを用いて報告書セットにおける報告書毎に報告書抽出処理を行い、報告書における影像所見ラベル、ラベルタイプ、肺炎タイプ等を抽出する。そして、相関性や冗長性分析などの方法によって各影像所見ラベルの重要度を導出し、重要度の高い影像所見ラベル及びそれに関する属性を当該報告書に対応する病変タイプに対応付けて記憶することで、影像所見ラベルデータベース７０を生成する。

また、第１の実施形態では、抽出されたブロックを、動的影響因子修正機能３１と静的影響因子修正機能３２を用いて静的影響因子と動的影響因子の両方からそれぞれ修正したが、本実施形態はこれに限定されるものではなく、いずれか一方の影響因子のみについて修正してもよい。

また、動的影響因子修正機能３１に動的影響因子修正モデルのモデル生成器を備えて、用いられる動的影響因子修正モデルを生成したり、動的影響因子修正モデルを再学習し最適化したりしてもよい。静的影響因子修正機能３２に静的影響因子修正モデルのモデル生成器を備えて、用いられる静的影響因子修正モデルを生成したり、静的影響因子修正モデルを再学習し最適化したりしてもよい。

なお、第１の実施形態では、ブロック抽出機能２０は、影像所見ラベルデータベース７０における影像所見と属性により、関心領域の典型的な病変影像をブロックとして抽出し、目標ブロック抽出機能３０は、病変影像から連結領域を目標ブロックとして抽出する。これにより、第１の実施形態では、一部の病変境界のぼやけや重なりの問題を解消することができる。なお、典型的な影像をそのまま目標ブロックとしてブロックの修正を行ってもよく、医用画像の分析精度や分析結果の解釈可能性を向上させることもできる。

（第２の実施形態）
次に、第２の実施形態について、図７乃至図１０を参照して説明する。第２の実施形態に係る医用画像処理装置２００の構成は、第１の実施形態に基づくものであり、第１の実施形態と比較して、第２の実施形態では、医用画像処理装置２００が、影像所見ラベルデータベース７０を有さず、出力機能８０と、核酸検出結果予測機能９０と、最適化機能１１０とを有するとともに、ブロック抽出機能２０、目標ブロック抽出機能３０、分類機能６０に代えて、ブロック抽出機能２０ａ、目標ブロック抽出機能３０ａ、分類機能６０ａをそれぞれ用いる点が主に異なっている。以下では、主に異なる点について説明し、同一又は類似の構成については同一の符号を付して重複する説明を適宜省略する。

図７は、第２の実施形態に係る医用画像処理装置２００の構成の一例を示すブロック図である。

図７に示すように、第２の実施形態に係る医用画像処理装置２００の処理回路３０５は、分割機能１０と、ブロック抽出機能２０ａと、目標ブロック抽出機能３０ａと、基礎特徴抽出機能４０と、所見情報生成機能５０と、分類機能６０ａと、出力機能８０と、核酸検出結果予測機能９０と、最適化機能１１０とを有する。ここで、図７に示す処理回路３０５の構成要素である分割機能１０、ブロック抽出機能２０ａ、目標ブロック抽出機能３０ａ、基礎特徴抽出機能４０、所見情報生成機能５０、分類機能６０ａ、出力機能８０、核酸検出結果予測機能９０が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で医用画像処理装置２００の記憶回路３０４に記録されている。

次に、処理回路３０５が実行する分割機能１０、ブロック抽出機能２０ａ、目標ブロック抽出機能３０ａ、基礎特徴抽出機能４０、所見情報生成機能５０、分類機能６０ａ、出力機能８０、核酸検出結果予測機能９０の処理内容について説明する。

まず、分割機能１０は、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置などのモダリティー装置から、被検体の医用画像を取得する。分割機能１０は、医用画像に対して所定の分割処理（セグメンテーション処理）を行い、医用画像の関心領域を特定する。ここでは、第１の実施形態と同様に胸部３次元スキャン画像を例にして説明する。

ブロック抽出機能２０ａは、分割機能１０に分割された関心領域から、当該関心領域における所定の特徴を有する画素からなる連結領域をブロックとして抽出する。ブロック抽出機能２０ａは、「領域抽出部」の一例であり、ブロック抽出機能２０ａが抽出するブロックは、「領域」の一例である。

例えば、ブロック抽出機能２０ａは、予め設定された影像特徴に従い、リージョングローイング手法等の画素抽出方法を用いて、関心領域から所定の特徴を満たす画素からなる連結領域をブロックとして抽出する。ここで、連結領域を特定するための影像特徴は、一般的な病変影像所見に応じて１つ又は複数を設定することができる。なお、本分野のガイドラインに定められた影像所見毎に、該当する連結領域をそれぞれブロックとして抽出するようにしてもよい。また、被検体の擬似の病変種類に対応する影像所見を所定の特徴としてもよい。

目標ブロック抽出機能３０ａは、ブロック抽出機能２０で抽出されたブロックからアーチファクト領域を除去し、目標ブロックとして抽出する。目標ブロック抽出機能３０ａは、「目標ブロック抽出部」の一例であり、目標ブロック抽出機能３０ａが抽出する目標ブロックは、「目標領域」の一例である。

例えば、目標ブロック抽出機能３０ａは、ブロック抽出機能２０ａがブロック抽出を行う際の影響因子に基づいて、ブロック抽出機能２０ａで抽出されたブロック（連結領域）を修正することにより、当該ブロックからアーチファクト領域を除去し、目標ブロックとして抽出する。具体的には、目標ブロック抽出機能３０ａは、ブロック抽出機能２０で抽出されたブロックの領域を変形する、または、ブロック抽出機能２０が複数抽出した前記ブロックのうち一部を選択することにより、当該ブロックを修正する。

これを実現するために、目標ブロック抽出機能３０ａは、動的な影響因子によるアーチファクトを修正する動的影響因子修正機能３１と、静的な影響因子によるアーチファクトを修正する静的影響因子修正機能３２とに加えて、目標ブロック判断機能３３を有する。目標ブロック判断機能３３は、動的影響因子修正機能３１、静的影響因子修正機能３２によりアーチファクト領域が除去されたブロックが所定の目標ブロック条件を満たすか否かを判断して、当該ブロックが所定の目標ブロック条件を満たす場合、当該ブロックを目標ブロックとして抽出する。

例えば、医用画像が肺部画像である場合、肺領域において、静的な影響因子は、主に、少なくとも重力効果や呼吸制御不良等を含み、修正の対象となるアーチファクト領域は、静的な影響因子に起因する静的アーチファクトを含む領域である。

同様に、医用画像が肺部画像である場合、肺領域において、動的な影響因子は、主に、心拍、例えば、少なくとも呼吸や心臓の動き等を含み、修正の対象となるアーチファクト領域は、動的な影響因子に起因する動的アーチファクトを含む領域である。

以下、本実施形態では、医用画像が肺部画像である場合を例として説明する。

動的影響因子修正機能３１は、モーションアーチファクト領域の真値を訓練データとして生成された動的影響因子修正モデルを用いて、ブロック抽出機能２０ａで抽出されたブロックにおける動的影響因子におけるアーチファクトを修正することで、当該ブロックから動的アーチファクトを除去する。

静的影響因子修正機能３２は、人工的なブロック抽出結果を訓練データとして生成された静的影響因子修正モデルを用いて、ブロック抽出機能２０ａで抽出されたブロックにおける動的影響因子におけるアーチファクトを修正することで、当該ブロックから静的アーチファクトを除去する。

また、目標ブロック判断機能３３は、動的影響因子修正機能３１、静的影響因子修正機能３２によりアーチファクト領域が除去されたブロックが所定の目標ブロック条件を満たすか否かを判断する。ここで、当該ブロックが所定の目標ブロック条件を満たす場合、目標ブロック判断機能３３は、当該ブロックを目標ブロックとして抽出する。目標ブロック判断機能３３は、「目標領域判断部」の一例であり、目標ブロック判断機能３３が抽出する目標ブロックは、「目標領域」の一例である。

ここで、所定の目標ブロック条件は、対象とする病変或いは撮像された部位の違いに応じて予め設定することができる。また、目標ブロック判断機能３３による判断は、動的影響因子修正機能３１と静的影響因子修正機能３２による修正前又は修正後に行われてもよい。目標ブロック判断機能３３による判断は、ブロックの修正中に複数回実行されてもよい。

例えば、目標ブロック判断機能３３は、動的影響因子修正機能３１による修正後、静的影響因子修正機能３２による修正前に、連結領域のサイズを判断し、予定の閾値未満のサイズの連結領域を除外することができる。これは、サイズが小さ過ぎる連結領域はノイズとして認識されるからである。

また、基礎特徴抽出機能４０は、目標ブロック抽出機能３０で抽出された目標ブロックに基づいて、目標ブロックの基礎特徴を抽出する。

所見情報生成機能５０は、医用画像の基礎特徴と臨床解釈可能な特徴である所見情報とを関連付けた変換モデルを用い、基礎特徴抽出機能４０で抽出された基礎特徴に基づいて、目標ブロックにおける所見情報を生成する。

所見情報生成機能５０は、図５に示すように、数量情報抽出モジュール５１、位置情報抽出モジュール５２、分布情報抽出モジュール５３、形態情報抽出モジュール５４、病変程度抽出モジュール５５、影像徴候抽出モジュール５６等の複数の抽出モジュールを含み、目標ブロックにおける該当する所見情報を抽出する。なお、所見情報生成機能５０は、ブロック抽出の際に用いられる所定の特徴の属性に対応する所見情報のみを抽出してもよい。

本実施形態では、所見情報生成機能５０は、種々な所見情報を生成して、分類機能６０ａに出力する。

分類機能６０ａは、所見情報生成機能５０で生成された所見情報に基づいて、目標ブロックを含む医用画像を分類し、分類結果を得る。分類機能６０ａは、「分類部」の一例である。

また、核酸検出結果予測機能９０は、既存の核酸検出結果を訓練データとして生成された核酸検出結果予測モデルを用いて、肺部画像の核酸検出予測結果を生成する。なお、医用画像と病変領域マスクとから核酸検出結果を予測してもよい。これにより、最適化機能１１０は、核酸検出結果予測機能９０に予測された核酸検出予測結果に基づいて、分類結果を最適化する。

例えば、新型コロナウイルス感染症肺炎の検出について、分類機能６０ａによる医用画像の分類結果が新型コロナウイルス感染症肺炎ではなく、核酸検出結果予測機能９０により予測された結果が陽性である場合、最適化機能１１０は、核酸検出予測結果に準じて、分類結果を新型コロナウイルス感染症肺炎に補正して出力する。

ここで、第２の実施形態では、出力機能８０は、例えば分類機能６０ａで生成された分類結果が記載された分析報告書をディスプレイ３０３に表示させることにより、医師などのユーザに医用画像の分類情報を提示する。この分析報告書は、最終的な分類結果、及びそれに対応する影像所見と属性を含むことができる。

図８は、ディスプレイ３０３に表示される分析報告書８１の一例を示している。

図８に示すように、分析報告書８１には、分類結果が「肺炎ではない」であることが記載されており、また、影像所見には、影像所見のすりガラス陰影の存在性「存在しない」、位置、形態、徴候、数量という種々の属性が順に列挙されている。また、図８の後半部において、「報告書」に、他の影像所見、例えば結節「存在」の種々の属性をさらに記載することができる。

また、出力機能８０は、分類機能６０で生成された分類結果が記載された分析報告書８１をディスプレイ３０３に表示させるとともに、表示された分析報告書（分類結果）に対する修正を受け付ける。

即ち、ユーザはディスプレイ３０３に表示された分析報告書８１を変更することもできる。例えば、図８に示すように、変更可能な項目、例えば、すりガラス陰影の存在性、結節の存在性の横に、それぞれ、分析報告書８１に対する修正を受け付けるマーク８２、８３を付したり、その項目に記載されたフォントとは別のフォントを用いたりすることなどにより、その項目を変更可能であることをユーザに提示する。具体的には、出力機能８０は、分析報告書８１（分類結果）をディスプレイ３０３に表示したときに、ユーザによるこれらの変更可能な部分に対する変更を受け付け、この変更を分析報告書８１に更新する。また、出力機能８０は、ユーザによって変更された内容と変更されていない内容とを、例えば別々のフォントを用いるように区別して表示してもよい。

また、出力機能８０は、これに限らず、ブロック抽出機能２０ａに抽出されたブロック（連結領域）を医用画像に重畳表示するとともに、重畳表示された医用画像に並べて、分類結果を示す分類報告書を表示することもできる。

図９は、ディスプレイ３０３に表示される分析報告書８１の他の例を示している。

出力機能８０は、分類機能６０で生成された分類結果が記載された分析報告書８１と、目標ブロックを含む医用画像とをディスプレイ３０３に表示させる。図９の右側には、分析報告書８１には、分類結果が「典型的な新型コロナウイルス感染症肺炎」であることが記載されており、また、影像所見には、影像所見のすりガラス陰影の存在性「存在」、位置「肺周辺」、形態「円形」、徴候「敷石状を含む」、数量「複数」という種々の属性が順に列挙されている。存在性が「存在」であることで、他のラベル及び属性を取得することが可能となり、例えばラベル「位置」の属性が「肺周辺」等である。当該分析報告書８１では、変更可能な部分を枠８４で囲んで示している。

また、出力機能８０は、目標ブロック抽出機能３０ａに抽出された目標ブロックを医用画像にディスプレイ３０３上で重畳表示するとともに、重畳表示された画像に並べて、分類結果を示す分類報告書をディスプレイ３０３に表示させる。図９の左側には、図９の右側の分析報告書８１で分類された医用画像と、分類処理で分類されたブロック（目標ブロック）とが同時に示されている。目標ブロックは医用画像に重畳表示される。図９の例では、同一医用画像の４つのビューが示されており、ユーザが右側の分析報告書８１中のある影像所見をクリックすると、出力機能８０は、ブロック抽出機能２０ａが当該影像所見に対して抽出した目標ブロックの全てを左側の医用画像に重畳表示する。

そして、出力機能８０は、重畳表示された画像上に、目標ブロック抽出機能３０ａが抽出した目標ブロックのうち、修正後の目標ブロックを他の目標ブロックと区別してディスプレイ３０３に表示させる。例えば、出力機能８０は、修正後の目標ブロックと削除された目標ブロックとを区別してディスプレイ３０３に表示させる。図９に示す例では、すりガラス陰影の影像所見が選択された場合、左側の医用画像上では、影が付けられたブロックがはっきりと見えるが、例えば領域Ａが修正後の目標ブロックとして濃く表示され、領域Ｂが修正処理で削除された目標ブロックとして薄く表示される。

本実施形態では、図９に示すような表示により、分類過程で現れた疑わしいブロック及びブロックのタイプをより全面的に反映することができ、後続の人工による再検、治療等に役に立ち、読影の利便性と精度を向上させる。

以下、第２の実施形態における医用画像処理方法について、医用画像処理装置２００が行う分類処理の全体の流れの観点から説明する。

図１０は、第２の実施形態に係る医用画像処理装置２００における病変影像分類処理を説明するためのフローチャートである。また、説明を簡単化するために、本流れの分類処理では、「存在性」というラベルの属性が「存在しない」である影像所見に係らず、連結領域が存在しないと確定する場合、処理を終了する。

まず、分割機能１０は、超音波診断装置、Ｘ線ＣＴ装置、ＭＲＩ装置などのモダリティー装置から、分類すべき被検体の医用画像を取得する（ステップＳ１００１）。次に、分割機能１０は、医用画像に対して所定の分割処理（セグメンテーション処理）を行い、肺を関心領域として特定する（ステップＳ１００２）。

次に、ブロック抽出機能２０ａは、分割機能１０により分割された関心領域に所定の特徴を有する画素からなる連結領域が存在するか否かを判断する（ステップＳ１００３）。所定の特徴を有する画素からなる連結領域が存在しない場合（ステップＳ１００３：ＮＯ）、処理を終了する。

一方、関心領域に所定の特徴を有する画素からなる連結領域が存在する場合（ステップＳ１００３：ＹＥＳ）、ブロック抽出機能２０ａは、関心領域から連結領域を、関心領域における所定の特徴を有する画素からなるブロックとして抽出する（ステップＳ１００４）。

続いて、ブロック抽出機能２０ａで抽出されたブロック（連結領域）に対して、目標ブロック抽出機能３０の動的影響因子修正機能３１は、この医用画像の全ての連結領域をモーションアーチファクト修正モデル（上述の動的影響因子修正モデル）に入力し、モーションアーチファクト領域となる連結領域を除去する（ステップＳ１００５）。次に、目標ブロック抽出機能３０の静的影響因子修正機能３２は、動的影響因子修正機能３１による処理後の残りの連結領域を静的アーチファクト修正モデル（上述の静的影響因子修正モデル）に入力し、静的アーチファクト領域となる連結領域を除去する（ステップＳ１００６）。そして、目標ブロック抽出機能３０の目標ブロック判断機能３３は、残った連結領域から、予定の閾値未満のサイズの連結領域を除去する（ステップＳ１００７）。

上述した修正処理の後、目標ブロック判断機能３３は、連結領域がまだ存在するか否かを判断する（ステップＳ１００８）。ここで、当該連結領域が存在しない場合（ステップＳ１００８：ＮＯ）、図１０の病変影像分類処理が終了する。

一方、ブロック抽出機能２０で抽出されたブロックである連結領域が存在する場合（ステップＳ１００８：ＹＥＳ）、目標ブロック判断機能３３は、除去されずに残ったブロック（連結領域）を、目標ブロックとして抽出する。次に、基礎特徴抽出機能４０は、目標ブロックに基づいて、目標ブロックの基礎特徴を抽出する（ステップＳ１００９）。

続いて、所見情報生成機能５０は、基礎特徴抽出機能４０から目標ブロックの基礎特徴を取得し、基礎特徴と臨床解釈可能な特徴である所見情報とを関連付けた変換モデルを用いて、基礎特徴抽出機能４０で抽出された基礎特徴から、連結領域の所見情報を生成する（ステップＳ１０１０）。

続いて、分類機能６０ａは、所見情報に基づいて、目標ブロックを含む医用画像から、病変影像の疾患種類を分類する（ステップＳ１０１１）。

続いて、核酸検出結果予測機能９０は、核酸検出結果予測モデルを用いて、肺部画像の核酸検出予測結果を生成する（ステップＳ１０１２）。これにより、最適化機能１１０は、核酸検出結果予測機能９０に予測された核酸検出予測結果に基づいて、分類結果を最適化する（ステップＳ１０１３）。出力機能８０は、最適化された分類結果に基づいて分析報告書を生成し、ディスプレイ３０３に表示させる。

上述した流れは、一例として適宜変形可能である。例えば、ステップＳ１００５、Ｓ１００６、Ｓ１００７の処理手順も任意に変更可能である。

第２の実施形態によれば、例えば、医用画像が肺部画像である場合、心拍、重力効果等の偽所見を引き起こす可能性のある影響因子の影響を除去することで、医用画像の分析精度を向上させることができる。また、第２の実施形態によれば、臨床的意義のある所見情報に基づいて肺炎分類を行うので、医用画像の分析結果を、医師などのユーザに解釈可能に提示させることができる。さらに、上述した実施形態によれば、病変の分類結果の精度を向上させるだけではなく、臨床的意義のある影像所見をユーザに解釈可能に提示するため、影像レポート（読影レポート）の自動化に有効である。

また、新型コロナウイルス感染症肺炎等の肺炎の診断において、一部の患者は影像表現に非特異性があるため、誤診になりやすく、核酸検出結果の予測メカニズムを導入することにより、影像所見による肺炎の分類結果を最適化することができ、影像的に非典型的な新型コロナウイルス感染症肺炎として表現することによる誤診問題が訂正され、分類性能を向上させることができる。

（第２の実施形態の変形例）
第２の実施形態では、ブロック抽出機能２０は、関心領域中から所定の特徴を有する画素からなる連結領域をブロックとして抽出する。しかし、テクスチャ解析などの手法を用いて関心領域における所定の特徴を有する画素からなる典型的なパターンをブロックとして抽出してもよい。典型的な影像に対してブロックの修正を行うことで、医用画像の分析精度や分析結果の解釈可能性を向上させることもできる。

なお、第２の実施形態では、出力機能８０がディスプレイ３０３に分析報告書の表示を行っているが、ディスプレイ３０３への表示を省略して、結果又は分析報告書を、病院内の医師の端末などに出力するようにしてもよい。

上述した実施形態の各装置の各構成要素は、機能的・概念的なものであり、物理的には、必ずしも図示のように構成される必要はない。すなわち、各装置の分散・統合の具体的な形態は、図示のものに限定されず、その全部または一部を各種の負荷や使用状況等に応じて任意の単位で機能的または物理的に分散・統合的に構成することができる。さらに、各装置において行われる各処理・機能の全部または任意の一部は、ＣＰＵおよび該ＣＰＵによって解析・実行されるプログラムによって実現され、あるいは、配線ロジックに基づいたハードウェアとして実現され得る。

また、上述した実施形態で説明した医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラムは、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、インターネット等のネットワークを介して配信され得る。また、このプログラムは、さらに、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータ読み取り可能な非一時的な記録媒体に記録されて、コンピュータにより記録媒体から読み出されて実行されることができる。

以上説明した少なくとも１つの実施形態によれば、医用画像の分析精度を向上させ、医用画像の分析結果をユーザに解釈可能に提示させることができる。

いくつかの実施形態について説明したが、これらの実施形態は例として提示されたものであり、本発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更が可能である。これらの実施形態およびその変形は、発明の範囲および要旨に含まれており、同様に特許請求の範囲に記載された発明及びその均等の範囲にも含まれている。

２０ ブロック抽出機能
３０ 目標ブロック抽出機能
５０ 所見情報生成機能
８０ 出力機能
１００ 医用画像処理装置

Claims (20)

1. 医用画像を取得し、前記医用画像の関心領域における所定の特徴を有する画素からなる領域を抽出する領域抽出部と、
   前記領域抽出部で抽出された前記領域からアーチファクト領域を除去し、目標領域として抽出する目標領域抽出部と、
   前記目標領域における画素値に基づいて、前記目標領域における所見情報を生成する所見情報生成部と、
   前記所見情報生成部で生成された前記所見情報を、前記医用画像と対応付けて出力する出力部と、
   を備える医用画像処理装置。
2. 前記目標領域抽出部は、前記領域抽出部が領域抽出を行う際の影響因子に基づいて、前記領域抽出部で抽出された前記領域を修正することにより、当該領域から前記アーチファクト領域を除去し、前記目標領域として抽出する、
   請求項１に記載の医用画像処理装置。
3. 前記目標領域抽出部は、前記領域抽出部で抽出された前記領域の領域を変形する、または、前記領域抽出部が複数抽出した前記領域のうち一部を選択することにより、当該領域を修正する、
   請求項２に記載の医用画像処理装置。
4. 前記目標領域における画素値に基づいて、前記目標領域の基礎特徴を抽出する基礎特徴抽出部、
   を更に備え、
   前記所見情報生成部は、医用画像の基礎特徴と所見情報とを関連付けた変換モデルを用い、前記基礎特徴抽出部で抽出された前記基礎特徴に基づいて、前記目標領域における前記所見情報を生成する、
   請求項１に記載の医用画像処理装置。
5. 前記所見情報生成部で生成された前記所見情報に基づいて、前記目標領域を含む前記医用画像を分類し、分類結果を得る分類部、
   を更に備え、
   前記出力部は、前記分類結果を、前記目標領域を含む前記医用画像と対応付けて出力する、
   請求項１に記載の医用画像処理装置。
6. 前記領域抽出部は、
   前記関心領域における所定の特徴を有する画素からなる典型的なパターンを分割する典型パターン分割部と、
   前記典型パターン分割部で分割された各典型的なパターンにおいて、連結領域を前記領域として抽出する連結領域抽出部と、
   を有する請求項１に記載の医用画像処理装置。
7. 前記領域抽出部は、前記関心領域における所定の特徴を有する画素からなる連結領域を前記領域として抽出する、
   請求項１に記載の医用画像処理装置。
8. 目標領域のタイプと、タイプラベルとしての影像所見と、影像所見に対応する属性とを対応付けて記憶している影像所見ラベルデータベース、
   をさらに備え、
   前記領域抽出部は、前記影像所見ラベルデータベースにおける前記影像所見を前記関心領域における所定の特徴とし、前記関心領域における所定の特徴を有する画素からなる連結領域を前記領域として抽出し、
   前記目標領域抽出部は、前記領域抽出部で抽出された前記領域から前記アーチファクト領域を除去した前記目標領域を抽出し、
   前記分類部は、前記所見情報が前記影像所見ラベルデータベースにおける前記属性と一致する目標領域が存在する場合、前記影像所見ラベルデータベースにおける、前記属性に対応するタイプを、当該目標領域を含む医用画像のタイプとして分類する、
   請求項５に記載の医用画像処理装置。
9. 前記目標領域抽出部は、
   前記アーチファクト領域が除去された前記領域が所定の目標領域条件を満たすか否かを判断し、当該領域が所定の目標領域条件を満たす場合、当該領域を前記目標領域として抽出する目標領域判断部、
   を有する請求項１に記載の医用画像処理装置。
10. 前記目標領域抽出部は、
    人工的な領域抽出結果を訓練データとして生成された第１の修正モデルを用いて、前記領域抽出部で抽出された前記領域における静的影響因子におけるアーチファクトを修正する静的影響因子修正部、
    を有する請求項２に記載の医用画像処理装置。
11. 前記医用画像は、肺部画像であり、
    前記静的影響因子は、少なくとも重力効果及び呼吸制御不良を含み、
    除去対象となる前記アーチファクト領域は、前記静的影響因子に起因する静的アーチファクトを含む領域である、
    請求項１０に記載の医用画像処理装置。
12. 前記目標領域抽出部は、
    モーションアーチファクト領域の真値を訓練データとして生成された第２の修正モデルを用いて、前記領域抽出部で抽出された前記領域における動的影響因子におけるアーチファクトを修正する動的影響因子修正部、
    を有する請求項２に記載の医用画像処理装置。
13. 前記医用画像は、肺部画像であり、
    前記動的影響因子は、少なくとも呼吸及び心臓の動きを含み、
    除去対象となる前記アーチファクト領域は、前記動的影響因子に起因する動的アーチファクトを含む領域である、
    請求項１２に記載の医用画像処理装置。
14. 前記所見情報は、臨床解釈可能な数量情報、臨床解釈可能な位置情報、臨床解釈可能な分布情報、臨床解釈可能な形態情報、臨床解釈可能な病変程度又は臨床解釈可能な影像徴候を含む、
    請求項１に記載の医用画像処理装置。
15. 前記医用画像は、肺部画像であり、
    核酸検出結果を訓練データとして生成された核酸検出結果予測モデルを用いて、前記肺部画像の核酸検出予測結果を生成する核酸検出結果予測部と、
    前記核酸検出予測結果に基づいて、前記分類部の前記分類結果を最適化する最適化部と、
    をさらに備える請求項５に記載の医用画像処理装置。
16. 前記出力部は、前記分類部の前記分類結果を表示部に表示するとともに、表示された前記分類結果に対する修正を受け付ける、
    請求項５に記載の医用画像処理装置。
17. 前記出力部は、前記目標領域抽出部で抽出された前記目標領域を前記医用画像に表示部上で重畳表示するとともに、重畳表示された画像に並べて前記分類結果を示す分類報告書を前記表示部に表示する、
    請求項５に記載の医用画像処理装置。
18. 前記出力部は、前記重畳表示された画像上に、前記領域抽出部が抽出した前記目標領域のうち、修正後の目標領域を他の目標領域と区別して表示する、
    請求項１７に記載の医用画像処理装置。
19. 医用画像を取得し、前記医用画像の関心領域における所定の特徴を有する画素からなる領域を抽出する領域抽出ステップと、
    前記領域抽出ステップで抽出された前記領域からアーチファクト領域を除去し、目標領域として抽出する目標領域抽出ステップと、
    前記目標領域における画素値に基づいて、前記目標領域における所見情報を生成する所見情報生成ステップと、
    前記所見情報生成ステップで生成された前記所見情報を、前記医用画像と対応付けて出力する出力ステップと、
    を含む医用画像処理方法。
20. 医用画像を取得し、前記医用画像の関心領域における所定の特徴を有する画素からなる領域を抽出する領域抽出処理と、
    前記領域抽出処理で抽出された前記領域からアーチファクト領域を除去し、目標領域として抽出する目標領域抽出処理と、
    前記目標領域における画素値に基づいて、前記目標領域における所見情報を生成する所見情報生成処理と、
    前記所見情報生成処理で生成された前記所見情報を、前記医用画像と対応付けて出力する出力処理と、
    をコンピュータに実行させる医用画像処理プログラム。

Images