JP2020185374A - 医療画像で病変の視覚化を補助する方法およびこれを利用した装置 - Google Patents

Abstract

【課題】本発明は、医療画像で病変の視覚化を補助する方法およびこれを利用した装置に関する。【解決手段】具体的に、本発明に係る方法によると、病変視覚化補助方法は、前記医療画像で病変領域を示す病変マスクを修正するために、前記医療画像の一地点を選択するユーザ入力を受信し、受信した前記ユーザ入力に応じて修正された病変マスクを生成し、前記医療画像と前記修正された病変マスクをともに提供する。【選択図】図４

Description

本発明は、医療画像で病変の視覚化を補助する方法およびこれを利用した装置に関する。

病変マスクとは、医療画像内で病変の領域を示すものであって、医療画像に重ねて表示されることがある。医師の所見によっては、同じ医療画像であっても病変領域が異なって判断されることがあり、医師の判断に基づいて病変マスクを修正することのできる手段が求められている。病変マスクを修正するための従来の方式として、医療画像から病変を読影する読影者が、追加の病変領域として判断される領域に「ペイントツール」として提供されるマウスポインタを利用して色をつけることにより、病変マスクを修正することができた。また、読影者が、提供された病変マスクから病変領域でないと判断される領域を「削除ツール」として提供されるマウスポインタを利用して消すことによって病変マスクを修正することができた。

さらに、医療画像がＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）画像のような３次元画像である場合、病変マスクを修正するためには関連する断層画像をすべて修正する必要があり、マウスポインタを利用して修正すべき領域に色をつけたり消したりするような従来の方式では、その効率性が低下するという問題を抱えていた。

したがって、本明細書では、医療画像で病変マスクを容易に修正することができる方法およびこれを利用した装置を提案しようとする。

本明細書において説明する発明、すなわち、本発明は、クリックのような単一のユーザ入力に基づき、医療画像で病変領域を示す病変マスクを簡単に修正することができるインタフェースを提供することを目的とする。

より具体的に、医師の所見に応じて繰り返し修正が加えられる病変マスクにおいて、本発明は、病変マスクの領域に色をつけたり消したりすることで病変マスクを修正していた従来の方式よりも、効率的な修正手段を提供することを目的とする。

上述したような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成について、以下のように説明する。

本発明は、医療画像で病変の視覚化を補助する方法を提供するものであって、この方法によると、医療画像で病変領域を示す病変マスクを修正するために、前記医療画像から一地点を選択するユーザ入力を受信する段階、受信した前記ユーザ入力に応じて修正された病変マスクを生成する段階、および前記医療画像と前記修正された病変マスクをともに提供する段階を含む。

本発明の一実施形態によると、本発明の病変視覚化補助方法を実行するように実現される命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読み取り可能な非一時的な記録媒体に記録される、コンピュータプログラムが提供される。

また、本発明は、医療画像で病変の視覚化を補助するコンピュータ装置を提供するものであって、このコンピュータ装置は、病変領域を示す病変マスクが結合された医療画像において、前記病変マスクを修正するための前記医療画像から一地点を選択するユーザ入力を感知する通信部、および受信した前記ユーザ入力に対応して修正された病変マスクを生成するプロセッサを含み、前記プロセッサは、前記通信部と連動する出力装置によって前記修正された病変マスクが結合された医療画像を提供するように支援してよい。

本発明によると、単一クリックのような簡単なユーザ入力によって病変マスクを修正することができ、これにより、読影者は、マウスポイントを利用して該当領域に色をつけたり消したりすることによって病変マスクを修正していた従来の方式に比べ、より効率的に病変マスクを修正することができる。

したがって、本発明によると、読影者によって病変の判断に多数の相異が生じる読影分野において読影の速度と質を向上させることができ、医療現場におけるワークフロー（ｗｏｒｋ ｆｌｏｗ）の発展に繋がる究極的な効果が期待される。

また、本発明は、患者の医療画像の病変を読影する医療現場はもちろん、画像読影能力を育てるための教育過程でも有効活用され、教育課程の効率性を高めることができる。

本発明の実施形態をより詳しく説明するために添付された図面は、本発明の実施形態の一部に過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本図面から容易に他の図面を得ることができるであろう。
本発明による病変視覚化補助方法を概略的に説明するための図である。 本発明による病変視覚化補助方法を実行するコンピュータ装置の例示的な構成を示した概略図である。 本発明による病変視覚化補助方法を実行するコンピュータ装置のハードウェアまたはソフトウェア構成要素を例示的に示したブロック図である。 本明細書による病変視覚化補助方法を例示的に示したフローチャートである。 本明細書による病変視覚化補助方法に使用されるニューラルネットワークの一例を示した図である。 本明細書による病変視覚化方法が適用された一例を示した図である。

後述する本発明の詳細な説明は、本発明の目的、技術的解法、ならびに長所を明確にするために、発明を実施することのできる特定の実施形態を例示した添付の図面を参照しながら説明する。これらの実施形態は、当業者が本発明を実施することができるように詳しく説明する。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」または「画像データ」は、離散的な画像要素（例えば、２次元画像ではピクセル、３次元画像ではボクセル）で構成された多次元データを意味する。

例えば、「画像」は、コーンビーム（ｃｏｎｅ−ｂｅａｍ）コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、超音波、または本発明の技術分野において公知の任意の他の医療画像システムによって収集された非検体（ｓｕｂｊｅｃｔ）の医療画像であってよい。また、画像は、非医療的な脈絡で提供されるものであってもよく、例えば、リモートセンシングシステム（ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｓｙｓｔｅｍ）や電子顕微鏡（ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｙ）などが挙げられてよい。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」とは、（例えば、ビデオ画面に表示された）肉眼で確認することのできる画像、または（例えば、ＣＴ、ＭＲＩ検出器などのピクセル出力に対応するファイルのような）画像のデジタル表現物を意味する用語である。

説明の便宜のために、添付の図面では、コーンビーム断層撮影（ｃｏｎｅ−ｂｅａｍ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＢＣＴ）の画像データを例示的な画像形式（ｍｏｄａｌｉｔｙ）として示した。しかし、当業者であれば、本発明の多様な実施形態で利用される画像形式が、Ｘ線画像、ＭＲＩ、ＣＴ、ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）、ＰＥＴ−ＣＴ、ＳＰＥＣＴ、ＳＰＥＣＴ−ＣＴ、ＭＲ−ＰＥＴ、３Ｄ超音波画像などを含み、例示された形式に限定されないという点を理解することができるであろう。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ：医療用デジタル画像および通信）」標準は、医療用機器においてデジタル画像表現と通信に利用される多様な標準を総称した用語であり、これは米国放射線医会（ＡＣＲ）と米国電機工業会（ＮＥＭＡ）で構成された連合委員会で発表された。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「医療用画像保存通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）」は、ＤＩＣＯＭ標準に合うように保存、加工、通信を行うシステムを意味するものであり、Ｘ線、ＣＴ、ＭＲＩのようなデジタル医療画像装備から得られた医療画像はＤＩＣＯＭ形式で保存され、ネットワークを介して病院内外の端末に送信可能であり、これに読影結果や診療記録が追加されることもある。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「学習」あるいは「ラーニング」は、順序を踏んだコンピューティング（ｃｏｍｐｕｔｉｎｇ）によって機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を実行することを意味するものであり、人間の教育活動のような精神的作用を意味するものでないということは、当業者であれば容易に理解することができるであろう。

本明細書の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「含む」という単語とこの変形は、他の技術的特徴、付加物、構成要素、または段階を除外することを意図するものではない。さらに、「１つ」または「１」は１つ以上という意味として使用されるものであり、「また他の」は少なくとも２番目以上に限定される。

当業者であれば、本発明の他の目的、長所、および特性が、一部は本説明書から、さらに一部は本発明の実施形態から、明らかにできるであろう。以下で説明する例示および図面は実施形態として提供されるが、これによって本発明が限定されることはない。したがって、特定の構造や機能に関し、本発明で開示する詳細事項が限定的な意味として解釈されてはならず、当業者が実質的に適切な任意の詳細構造として本発明を多様に実施できるように指針を提供するための代表的な基礎資料として解釈されなければならない。

また、本発明は、本明細書に示される実施形態のすべての可能な組み合わせを含む。本発明の多様な実施形態は、互いに異なるが、互いに排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造、および特性は、一実施形態に関連するものであり、本発明の思想および範囲を逸脱しない限り、他の実施形態によって実現されてよい。また、開示されるそれぞれの実施形態内の個別の構成要素の位置または配置は、本発明の思想および範囲を逸脱しない限り、変更可能であることが理解されなければならない。したがって、後述する詳細な説明は、限定的な意味として解釈されてはならず、本発明の範囲は、適切に説明されるのであれば、特許請求の範囲が主張するものと均等なすべての範囲とともに、添付の特許請求の範囲によってのみ限定される。図面における類似の参照符号は、多側面にわたって同一あるいは類似の機能を示す。

本明細書において異なって表示されるか文脈において明らかに矛盾しない限り、単数で示される項目は、その文脈で特別な要求がない限り、複数の意味合いも含む。さらに、本発明の説明において、関連する公知の構成または機能についての具体的な説明が本発明の要旨を不明瞭にし得ると判断される場合には、これに関する詳細な説明は省略する。

以下、通常の技術者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付の図面を参照しながら詳細に説明する。

図１は、本発明による病変視覚化補助方法を概略的に説明するための図である。

図１（ａ）は、病変領域を示す病変マスクが重ねられた肺画像を提供するインタフェース１１０の一例であって、インタフェース１１０は、サブ画面１２０、１３０、１４０、１５０によって多様な時点の医療画像を提供する。各サブ画面１２０、１３０、１４０、１５０で提供される医療画像では、病変マスク１２１、１３１、１４１、１５１によって病変領域が視覚化されてよい。医療画像を読影する読影者は、サブ画面１２０、１３０、１４０、１５０の画像によって多様な角度から病変領域を観察することができ、これによって病変の大きさや体積などを正確に読影することができる。

本発明による病変視覚化補助方法は、クリックやタッチのような単一のユーザ入力によって病変マスクを容易に修正することができるインタフェースを提供する。

具体的に、図１（ｂ）に示すように、病変マスク１６１が適用された医療画像１６０において、病変マスク１６１に一領域を追加するためのユーザ入力１６２が受信された場合、画像病変視覚化補助装置は、ユーザ入力１６２が選択した領域を病変マスク１６１に追加して病変マスク１７１を生成し、生成された病変マスク１７１を重ねた医療画像１７０を提供してよい。

また、病変マスク１８１が適用された医療画像１８０において、病変マスク１８１から一領域を取り除くためのユーザ入力１８２が受信された場合、画像病変視覚化補助装置は、ユーザ入力１８２が選択した領域を取り除いた病変マスク１９１を重ねた医療画像１９０を提供してよい。

病変マスクを修正する過程において、修正するすべての領域に色をつけたり消したりするユーザ入力が必要であった従来の方式に比べ、本発明の病変視覚化補助方法は、クリックやタッチのような単一のユーザ入力によって病変マスクを簡単かつ効率的に修正する手段を提供することができる。

図２は、本発明による病変視覚化補助方法を実行するコンピュータ装置の例示的な構成を示した概略図である。

本発明の一実施形態に係るコンピュータ装置２００は、通信部２１０およびプロセッサ２２０を含み、前記通信部２１０を通じて外部コンピュータ装置（図示せず）と直接的あるいは間接的に通信してよい。

具体的に、前記コンピュータ装置２００は、典型的なコンピュータハードウェア（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力／出力装置、その他の従来のコンピュータ装置の構成要素を含むことのできる装置、ルータ、スイッチなどのような電子通信装置、ネットワークアタッチトストレージ（ｎｅｔｗｏｒｋ−ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ：ＮＡＳ）およびストレージエリアネットワーク（ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピュータ装置が特定の方式によって機能するようにする命令語）との組み合わせを利用することによって所望するシステム性能を達成するものであってよい。

このようなコンピュータ装置の通信部２１０は、連動する他のコンピュータ装置と要求および応答を送受信してよく、一例として、このような要求と応答は、同一のＴＣＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）セッション（ｓｅｓｓｉｏｎ）によって実行されてよいが、これに限定されることはなく、例えば、ＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）データグラム（ｄａｔａｇｒａｍ）として送受信されてもよい。さらに広い意味での前記通信部２１０としては、命令語または指示などを伝達するためのキーボードやマウスのようなポインティングデバイス（ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ）、その他の外部入力装置、プリンタ、ディスプレイ、その他の外部出力装置が含まれてもよい。

また、コンピュータ装置のプロセッサ２２０は、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＴＰＵ（ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、キャッシュメモリ（ｃａｃｈｅ ｍｅｍｏｒｙ）、データバス（ｄａｔａ ｂｕｓ）などのハードウェア構成を含んでよい。さらに、オペレーティングシステムや、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含んでもよい。

図３は、本発明による病変視覚化補助方法を実行するコンピュータ装置のハードウェアまたはソフトウェア構成要素を例示的に示したブロック図である。

図３を参照しながら、本発明に係る方法および装置の構成について簡単に説明すると、コンピュータ装置２００は、構成要素として、画像取得モジュール３１０を含んでよい。画像取得モジュール３１０は、本発明に係る方法が適用された医療画像を取得するように構成されており、図３に示した個別のモジュールは、例えば、コンピュータ装置２００に含まれる通信部２１０やプロセッサ２２０、または前記通信部２１０およびプロセッサ２２０との連動によって実現可能であることは、当業者であれば容易に理解することができるであろう。医療画像は、例えば、通信部２１０と連動する撮影機器または医療画像保存通信システム（ＰＡＣＳ）のような外部画像保存システムから取得されてよいが、これに限定されることはない。例えば、医療画像は、（医療）画像撮影機器によって撮影されてＤＩＣＯＭ標準に基づいてＰＡＣＳに送られた後、コンピュータ装置２００の画像取得モジュール３１０によって取得されてよい。

次に、取得した医療画像は、病変判定モジュール３２０に伝達される。病変判定モジュール３２０は、医療画像から病変の疑いのある領域を判定するように構成される。この病変判定モジュール３２０は、医療画像の各ピクセルが病変領域に該当するかを判定するための病変判定モデル（ｌｅｓｉｏｎ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｍｏｄｅｌ）や、少なくともこれと関連するモジュールであってよい。

病変判定モジュールあるいは病変判定モデル３２０の一例としてディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）が挙げられてよく、これに関しては、ニューラルネットワークを多層に積み上げた形態であると簡単に説明する。すなわち、深い構造をもつネットワークという意味をもつことからディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と表現され、多層のネットワークからなる構造によって大量のデータを学習させることで各画像の特徴を自動で学習し、これによって目的関数の誤差（ｅｒｒｏｒ）を最小化させる方法によってネットワークを学習させていく形態である。これは、人間の脳の神経細胞の仕組みを模倣したと言われており、このようなディープニューラルネットワークは、ＡＩの次世代モデルとして定着しつつある。このようなディープラーニングモデルの中でも特に畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）は、イメージの分類に適したモデルであり、イメージの各領域から複数のフィルタを利用して特徴地図（ｆｅａｔｕｒｅ ｍａｐ）を作り出す合成層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）と、特徴地図の大きさを減らして位置や回転の変化にも不変な特徴を抽出できるようにするサブサンプリングレイヤ（ｓｕｂ−ｓａｍｐｌｉｎｇ ｌａｙｅｒ）とを繰り返すことにより、点、線、面などの低水準の特徴から複雑かつ有意な高水準の特徴まで多様な特徴を抽出することができ、これによって医療画像から特徴のある部分、すなわち病変の疑いを抽出することができる。

しかし、当業者であれば、病変判定モジュールあるいは病変判定モデルが、このようなＣＮＮだけに限定されないという点を理解できるはずであり、多様な種類の機械学習モデルまたは統計モデルが利用されてもよい。具体的に、病変判定モジュール３２０は、規則基盤ニューラルネットワーク（ｒｕｌｅ−ｂａｓｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、学習基盤ニューラルネットワーク（ｌｅａｒｎｉｎｇ−ｂａｓｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、またはユーザが病変領域を直接ラベリング（ｌａｂｅｌｉｎｇ）する方式のうちのいずれか１つによって病変を判定してよい。

病変判定モジュール３２０による病変判定結果に基づき、病変マスク生成モジュール３３０は、病変領域に対応する病変マスクを生成してよい。病変マスクは、医療画像に含まれた病変領域と医療画像とを区別する要素で表示することにより、読影者が病変領域を容易に識別できるようにする要素であってよい。例えば、病変マスクは、図１に示すように、所定の病変領域を予め定められた色で表示したものであってよいが、病変マスクの形態がこのように提示された例に限定されてはならず、医療画像と病変領域とを区別することのできる任意の方式によって生成されてよい。

出力モジュール３４０は、通信部２１０を通じて連結する所定の出力装置によって医療画像に病変マスクを重ねて提供、例えば、表示してよい。

出力モジュール３４０によって提供された病変マスクは、読影者の所見に基づいて修正可能であり、読影者は、単一的なクリックまたはタッチによって病変マスクの一部領域を病変マスクから取り除いたり、隣接領域を病変マスクに追加したりすることができる。

ユーザ入力取得モジュール３５０は、通信部２１０を通じて病変マスク修正のためのユーザ入力を受信してよく、受信されたユーザ入力に基づき、病変マスク修正モジュール３６０は、病変マスク生成モジュール３３０によって生成された病変マスクを修正してよい。

出力モジュール３４０は、通信部２１０を通じて連結する出力装置により、外部エンティティ（ｅｎｔｉｔｙ）に医療画像、および病変マスク修正モジュール３６０によって修正された病変マスクを重ねて出力してよい。

ここで、外部エンティティとは、前記コンピュータ装置２００の使用者、管理者、前記非検体を担当する担当医療専門家などを含んでよく、この他にも、前記医療画像の閲覧あるいは読影を必要とする主体であれば、すべて含まれるものと解釈されなければならない。

図３に示した各構成要素の具体的な機能および効果について、以下で詳しく説明する。図３に示した構成要素は、説明の便宜上、１つのコンピュータ装置で実現されるように示されているが、本発明の方法を実行するコンピュータ装置２００は、複数の装置が互いに連動するように構成されてもよいという点が理解されなければならない。

以下、本発明による病変視覚化補助方法について、図４〜６を参照しながら具体的に説明する。

図４は、本発明による病変視覚化補助方法を例示的に示したフローチャートであり、図４は、本発明の一実施形態による病変視覚化補助方法の一例を概略的に示した概念図である。

図４を参照すると、本発明による病変視覚化補助方法は、全体的に、病変マスク生成モジュール３３０によって提供された病変マスクを修正するためのユーザ入力が感知されると（段階Ｓ１００）、コンピュータ装置は、病変マスク修正モジュール３６０により、感知されたユーザ入力がなされた地点が従来の病変マスク領域に該当するかを判断してよい。

段階Ｓ２００で、ユーザ入力がなされた地点が病変マスクの内部領域に該当する場合、病変マスク修正モジュール３６０は、段階Ｓ３００で、ユーザ入力によって決定された選択領域が取り除かれた病変マスクに基づいて修正された病変マスクを生成してよい。例えば、選択領域は、ユーザ入力がなされた地点を基準として予め設定された半径に該当する領域として決定されてよく、ユーザ入力に基づいて選択領域を決定する方式は、ユーザ入力がなされた地点を基準として選択領域を決定する任意の方式を含んでよい。

一実施形態によると、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクおよび選択領域に関する情報を入力して生成された複数の病変マスクのうち、選択領域が取り除かれた病変マスクに基づいて修正された病変マスクを生成してよい。より具体的に、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクに関する情報および選択領域に対応する３次元パッチに関する情報を入力して生成された複数の病変マスクのうちで修正前の病変マスクの領域を含み、ユーザ入力によって決定された、選択領域を含まない病変マスクに基づいて修正された病変マスクを生成してよい。段階Ｓ５００、コンピュータ装置は、修正された病変マスクを重ねた医療画像を、出力モジュール３４０を通じて外部エンティティに提供、例えば、表示してよい。 ３次元パッチは３次元形態の医療映像で一支店を選択するユーザ入力に基づいて決定される任意の形の入力情報を意味することができる。例えば、３次元パッチは、ユーザー入力が実行された地点を基準に３次元医療映像内で決定される任意の形の領域に対する情報に対応できるが、３次元パッチがユーザ入力に基づいて３次元医療映像で任意の方式で決定されることは通常の技術者が理解することだ。

他の実施形態によると、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクに関する情報および選択領域に関する情報を入力して生成された複数の病変マスクのうちで選択領域が取り除かれた複数の候補病変マスクをユーザに提供し、ユーザ入力によって選択されたいずれか１つの候補病変マスクを最終的な病変マスクとして決定してよい。例えば、病変マスク修正モジュール３６０は、ユーザ入力がなされた地点を基準として互いに異なる半径で選択領域を決定し、それぞれの選択領域が取り除かれた病変マスクを候補病変マスクとして決定してよい。候補病変マスクを選択する方式は、提示された例に限定されてはならず、ニューラルネットワークによって生成された病変マスクのうちでユーザ入力による選択領域が取り除かれた複数の候補病変マスクを決定する任意の方式を含んでよい。

段階Ｓ２００で、ユーザ入力がなされた地点が病変マスクの外部領域に該当する場合、病変マスク修正モジュール３６０は、段階Ｓ３００で、ユーザ入力によって決定される選択領域をさらに含む病変マスクに基づいて修正された病変マスクを生成してよい。

一実施形態によると、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクに関する情報、選択領域に関する情報を入力して生成された複数の病変マスクのうち、選択領域を含む病変マスクに基づいて修正された病変マスクを生成してよい。より具体的に、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクが適用された医療画像に関する情報および選択領域に関する情報を入力して生成された複数の病変マスクのうち、修正前の病変マスクの領域および選択領域を含む病変マスクに基づいて修正された病変マスクを生成してよい。コンピュータ装置は、段階Ｓ５００で、修正された病変マスクを重ねた医療画像を、出力モジュール３４０を通じて外部エンティティに提供してよい。

また他の実施形態によると、病変マスク修正モジュール３６０は、予め学習されたニューラルネットワークに従来の病変マスクが適用された医療画像に関する情報および選択領域に関する情報を入力して生成された複数の病変マスクのうち、修正前の病変マスクの領域および選択領域を含む複数の候補病変マスクをユーザに提供し、ユーザ入力によって選択されたいずれか１つの候補病変マスクを最終的な病変マスクとして決定してよい。

図５は、本発明による病変視覚化補助方法に使用されるニューラルネットワークの一例を示した図である。

図５に示したニューラルネットワーク５１０は、従来の病変マスク５２２に関する情報およびユーザ入力によって決定される選択領域に対応する３次元パッチ５２１に基づいて複数の病変マスク５３０を出力してよい。

ニューラルネットワーク５１０は、医療画像セグメンテーションに使用されるＵ−Ｎｅｔ５１１とＣＶＡＥ（ｃｏｎｄｉｔｉｏｎａｌ ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ ｅｎｃｏｄｅｒ）５１２の結合によって生成されてよい。ＣＶＡＥ５１２は、セグメンテーションバリアント（ｓｅｇｍｅｎｔａｔｉｏｎ ｖａｒｉａｎｔ）がそれぞれの位置にエンコードされたマップ５１３と、入力に基づいてそれぞれのセグメンテーションバリアントの確率を推定する事前ネットワーク５１４を含んでよい。

それぞれの病変マスク５３０を生成する過程において、ニューラルネットワーク５１０のＣＶＡＥ５１２は、マップ５１３からエンコードされたいずれか１つのサンプル（Ｚ＿_１、Ｚ＿_２、Ｚ＿_３・・・）を抽出し、ニューラルネットワーク５１０は、抽出されたサンプルおよびＵ−Ｎｅｔ５１１からの出力に基づいて病変マスク５３０を生成してよい。

ニューラルネットワーク５１０は、トレーニングデータによって予測される病変マスクとｇｒｏｕｎｄ ｔｒｕｔｈデータに基づいてセグメンテーションバリアントに対する最適な組み込み（ｅｍｂｅｄｄｉｎｇ）を決定することによって学習されてよい。

図６は、本発明による病変視覚化方法が適用された一例を示した図である。

図６（ａ）を参照すると、読影者は、病変マスク６１１が重ねられた医療画像６１０において、所定の領域を病変マスクに含ませるユーザ入力６１２を実行してよい。ユーザ入力６１２を感知したコンピュータ装置は、予め学習されたニューラルネットワークを利用し、病変マスク６１１およびユーザ入力６１２によって生成される複数の病変マスクのうちで予め決定された条件に基づき、読影者の意図が最も適切に反映されているとして決定された病変マスクが重ねられた医療画像６２０を表示してよい。読影者の意図が最も適切に反映された病変マスクとは、ユーザ入力６１２によって決定される選択領域がすべて追加または取り除かれた病変マスクに該当してよい。表示された医療画像６２０が読影者の意図に合わない場合、読影者は医療画像６２０に修正のためのユーザ入力を追加してよく、コンピュータ装置は、追加のユーザ入力および病変マスクに基づいて修正された病変マスクを提供してよい。病変マスクの修正は、読影者による追加修正の要求が終わるまで繰り返されてよい。

図６（ｂ）は、他の実施形態よる病変視覚化補助方法が適用された一例を示した図である。読影者が提供された医療画像６３０の病変マスク６３１を修正するためにユーザ入力６３２を行った場合、ユーザ入力６３２を感知したコンピュータ装置は、予め学習されたニューラルネットワークを利用してユーザ入力６３２が反映された複数の病変マスクを生成し、生成された病変マスクのうちから読影者の意図が最も適切に反映された所定の候補病変マスク６４１、６４２、６４３を提供してよい。コンピュータ装置は、候補病変マスク６４１、６４２、６４３のうちから読影者が選択した病変マスク６４１が重ねられた医療画像６５０を表示してよい。

上述した実施形態の説明に基づき、当業者であれば、本発明の方法および／またはプロセス、またはその段階が、ハードウェア、ソフトウェア、または特定の用例に適合したハードウェアおよびソフトウェアの任意の組み合わせによって実現されるという点を明確に理解することができるであろう。前記ハードウェアは、汎用コンピュータおよび／または専用コンピュータ装置、または特定のコンピュータ装置または特定のコンピュータ装置の特別な形態または構成要素を含んでよい。前記プロセスは、内部および／または外部メモリを有する、１つ以上のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、またはその他のプログラマブル装置によって実現されてよい。また、あるいは代案として、前記プロセスは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブルゲートアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラマブルアレイロジック（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ：ＰＡＬ）、または電子信号を処理するために構成されることのできる任意の他の装置または装置の組み合わせによって実施されてよい。さらに、本発明の技術的解法の対象物または先行技術に寄与する部分は、多様なコンピュータ構成要素によって実行されることのできるプログラム命令語の形態で実現されて機械読み取り可能な記録媒体に記録されてよい。前記機械読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含んでよい。前記機械読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであっても、コンピュータソフトウェア分野の当業者に公知の使用可能なものであってもよい。機械読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）のような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、上述した装置のうちのいずれか１つだけでなく、プロセッサ、プロセッサアーキテクチャ、または相異するハードウェアおよびソフトウェアの組み合わせによる異種結合、または他のいずれかのプログラム命令語を実行することのできる機械上で実行されるために記録およびコンパイルまたはインタプリタされることのできる、Ｃのような構造的プログラミング言語、Ｃ＋＋のようなオブジェクト志向プログラミング言語、または高級または低級プログラミング言語（アセンブリ語、ハードウェア技術言語、およびデータベースプログラミング言語および技術）を使用して生成されてよく、機械語コードやバイトコードはもちろん、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードもこれに含まれる。

したがって、本発明に係る一実施形態では、上述した方法およびその組み合わせが１つ以上のコンピュータ装置によって実行されるときに、その方法および方法の組み合わせが各段階を実行させる実行可能なコードとして実施されてよい。他の実施形態では、前記方法は、前記段階を実行するシステムによって実施されてよく、方法は、装置にわたって多様な状態に分散されても、すべての機能が１つの専用、独立型装置、または他のハードウェアに統合されてもよい。さらに他の実施形態では、上述したプロセスと関連する段階を実行する手段は、上述した任意のハードウェアおよび／またはソフトウェアを含んでよい。このようなすべての順次結合および組み合わせは、本発明の範囲内に属するように意図されたものである。

例えば、上述したハードウェア装置は、本発明に係る処理を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。前記ハードウェア装置は、プログラム命令語を記録するためのＲＯＭ／ＲＡＭのようなメモリと結合し、前記メモリに記録された命令語を実行するように構成されるＭＰＵ、ＣＰＵ、ＧＰＵ、ＴＰＵのようなプロセッサを含んでよく、外部装置と信号をやり取りすることのできる通信部を含んでよい。さらに、前記ハードウェア装置は、開発者によって作成された命令語を伝達するためのキーボード、マウス、またはその他の外部入力装置を含んでよい。

以上のように、実施形態について、具体的な構成要素などのような特定の事項と限定された実施形態および図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明がこのような実施形態に限定されてはならず、当業者であれば、このような記載から多様な修正および変形が可能であろう。

したがって、本発明の思想は、上述した実施形態に極限されて定められてはならず、添付の特許請求の範囲と均等であるか等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

このように均等であるか等価的に変形されたものには、例えば、本発明に係る方法を実施したときと同じ結果を導き出すことのできる、論理的に同値（ｌｏｇｉｃａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）の方法が含まれてよく、本発明の真意および範囲が上述した実施形態に制限されてはならず、法律に基づいて許容可能な最も広い意味として解釈されなければならない。

２１０：通信部
２２０：プロセッサ

Claims (6)

1. 医療画像で病変の視覚化を補助する方法であって、
   前記医療画像で病変領域を示す病変マスクを修正するために、前記医療画像から一地点を選択するユーザ入力を受信する段階、
   受信した前記ユーザ入力に応じて修正された病変マスクを生成する段階、および
   前記医療画像と前記修正された病変マスクをともに提供する段階
   を含み、
   前記修正された病変マスクを生成する段階は、
   前記ユーザ入力によって決定される選択領域に対応する３次元パッチに関する情報に基づいて互いに異なる複数の候補病変マスクを生成するように予め学習されたニューラルネットワークにより、互いに異なる複数の候補病変マスクを生成する段階、
   前記複数の候補病変マスクがそれぞれ適用された候補医療画像を提供する段階、および
   前記候補医療画像のうちからユーザ入力によって選択された候補医療画像に対応する病変マスクを、前記修正された病変マスクとして決定する段階
   を含み、
   前記互いに異なる複数の候補病変マスクを生成する段階は、
   前記一地点を基準として互いに異なる形態で決定される、複数の選択領域それぞれを前記病変マスクから取り除くか、前記複数の選択領域それぞれを前記病変マスクに追加することによって生成する、
   病変視覚化補助方法。
2. 前記生成する段階において、
   前記ユーザ入力が前記病変マスクの内部地点を選択する第１ユーザ入力に対応する場合、前記内部地点に対応する所定の領域を取り除くことによって前記修正された病変マスクが生成され、
   前記ユーザ入力が前記病変マスクの外部地点を選択する第２ユーザ入力に対応する場合、前記外部地点に対応する所定の領域を追加することによって前記修正された病変マスクが生成される、
   請求項１に記載の病変視覚化補助方法。
3. 前記生成する段階において、
   予め学習されたニューラルネットワークで前記ユーザ入力に応じて前記医療画像に対して出力される複数の病変マスクのうち、予め設定された条件に基づいて選択されたいずれか１つの病変マスクを前記修正された病変マスクとして決定する、
   請求項１に記載の病変視覚化補助方法。
4. 請求項１項に記載の方法をコンピュータ装置によって実行するように実現される命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読み取り可能な非一時的な記録媒体に記録された、コンピュータプログラム。
5. 医療画像で病変の視覚化を補助するコンピュータ装置であって、
   病変領域を示す病変マスクが結合された医療画像において、前記病変マスクを修正するための前記医療画像から一地点を選択するユーザ入力を感知する通信部、および
   受信した前記ユーザ入力に対応する修正された病変マスクを生成するプロセッサ
   を含み、
   前記プロセッサは、
   前記通信部と連動する出力装置により、前記修正された病変マスクが結合された医療画像が提供されるように支援し、
   前記プロセッサは、
   前記ユーザ入力によって決定される選択領域に対応する３次元パッチに関する情報に基づき、互いに異なる複数の候補病変マスクを生成するように予め学習されたニューラルネットワークにより、互いに異なる複数の候補病変マスクを生成し、
   前記複数の候補病変マスクがそれぞれ適用された候補医療画像を外部エンティティに提供し、
   前記候補医療画像のうちからユーザ入力によって選択された候補医療画像に対応する病変マスクを前記修正された病変マスクとして決定し、
   前記複数の候補病変マスクは、
   前記一地点を基準として互いに異なる形態によって決定される複数の選択領域それぞれが前記病変マスクから取り除かれるか、前記複数の選択領域それぞれが前記病変マスクに追加されることによって生成される、
   コンピュータ装置。
6. 前記病変マスクの内部地点を選択する第１ユーザ入力が感知された場合、前記プロセッサは、前記内部地点に対応する所定の領域を取り除くことによって前記修正された病変マスクを生成し、
   前記病変マスクの外部地点を選択する第２ユーザ入力が感知された場合、前記プロセッサは、前記外部地点に対応する所定の領域を追加することによって前記修正された病変マスクを生成する、
   請求項５に記載のコンピュータ装置。