JP2023073968A - 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム - Google Patents

Abstract

【課題】より精確な形態学的計測結果を得ること。【解決手段】実施形態に係る医用画像処理装置は、制御部を備える。制御部は、医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行する。また、制御部は、記第１の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の処理を実行する。【選択図】図３

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法及び医用画像処理プログラムに関する。

心臓弁は、心臓の基礎である重要な構造であり、心房と心室との間の弁、又は、心室と動脈との間の弁を指す。心臓弁の主な機能は、血液の逆流を阻止して、血液が心房から心室へ、又は、心室から大動脈／肺動脈へ流れるように保証することであり、重度の弁膜疾患は死亡の原因になり得る。

例えば、経カテーテル大動脈弁置換術（Transcatheter Aortic Valve Implantation：ＴＡＶＩ）等のような弁膜疾患の治療では、弁の精確な形態学的情報が非常に重要である。ＴＡＶＩにおける重要な臨床決定の一つは、置換デバイス及び対応する寸法を精確に選択することであり、これらの選択の精確性は、弁の交連点、最下点、大動脈基部、大動脈弁尖等のような重要な解剖点及び構造の精確な抽出に大きく依存する。しかしながら、心臓弁は心臓の内部にあり、サイズが小さく、また、正常な場合は常に開閉の運動状態にあり、その形状や形態の変化が大きいため、形態学的情報を精確に抽出することは非常に困難である。また、例えば、石灰化した弁や不完全弁等のように不健全な状態の心臓弁は、形状が不規則になる等の理由により、形態学的情報の抽出がより困難となる。このため、弁の形態学的情報をより精確に抽出するための解決策が求められている。

ここで、弁の形状及び形態は疾患の違いや個体差によって大きく異なるため、弁の形態学的情報を精確に抽出することは非常に難しい処理となる。従来のアルゴリズムのほとんどは、元のボリューム領域から直接、対象情報を一回で抽出するものであり、粗から精への繰返しによって実現されるものではなく、何らかの補助的な情報を用いて精細化処理を行うものでもない。また、従来の自動弁情報抽出のほとんどは、１種類の形態学的情報のみのための単一のタスクである。例えば、いくつかの自動アルゴリズムは、解剖学的ランドマーク（landmark）の検出のみを行うか、又は、大動脈基部又は大動脈弁尖のセグメンテーションのみを行う。したがって、これらの従来技術では、精確な形態学的情報を得ることができず、特に、石灰化弁や弁欠損等の複雑な状況に対して精確な形態学的情報を得ることができない。また、従来技術の中には、セグメンテーション又は検出を粗から精へ実行することを提案しているものもあるが、それらの技術は、一つのセグメンテーション又は検出アルゴリズムのみを行うものであり、複数のタスクを一つの処理フローに統合するようなものはない。

このような従来技術の課題の一部の原因は、例えば、ランドマーク検出処理とセグメンテーション処理とが別々に行われる点、及び、検出されたランドマーク処理とセグメンテーション処理との関係が考慮されていない点にあると考えられる。したがって、ランドマーク検出処理とセグメンテーション処理とを組み合わせて、より多くの有用な補助情報を生成したり、より精確な形態学的情報を提供したりすることができれば、治療計画における精確な弁計測に大きく寄与すると考えられる。

なお、上述した課題は、心臓弁を対象とする場合に限って生じるものではなく、他の複雑な人体器官又は器官内の複雑な部位を対象とする場合にも同様に生じ得るものである。

特表２０２０－５３７５６６号公報 国際公開第２０１２／１５３５３９号

"3D Automatic Segmentation of Aortic Computed Tomography Angiography Combining Multi-View 2D Convolutional Neural Networks"、Cardiovascular Engineering and Technology、Vol．11、No．5、October 2020

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、より精確な形態学的計測結果を得ることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。

実施形態に係る医用画像処理装置は、制御部を備える。制御部は、医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行する。また、制御部は、記第１の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の処理を実行する。

図１は、第１の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。 図２は、第１の実施形態に係る医用画像処理装置が実行する処理を示すフローチャートである。 図３は、第１の実施形態に係る医用画像処理装置が実行する心臓弁検出処理の一例の処理フロー及び処理結果を示す図である。 図４Ａは、第１の実施形態に係る医用画像処理装置における第１の処理機能がステップＳ１００において実行する第１の処理の一例を説明するための図である。 図４Ｂは、第１の実施形態に係る医用画像処理装置における第２の処理機能がステップＳ２００において実行する情報増強処理の一例を説明するための図である。 図４Ｃは、第１の実施形態に係る医用画像処理装置における第１の処理機能がステップＳ３００において実行する調整された第１の処理の一例を説明するための図である。 図５Ａは、第１の実施形態に係る医用画像処理装置における第１の処理機能が実行する強化処理の変形例を説明するための図である。 図５Ｂは、第１の実施形態に係る医用画像処理装置における第１の処理機能が実行する強化処理の変形例を説明するための図である。 図６Ａは、第１の実施形態に係る医用画像処理装置における第２の処理機能が実行する情報増強処理の変形例を説明するための図である。 図６Ｂは、第１の実施形態に係る医用画像処理装置における第２の処理機能が実行する情報増強処理の変形例を説明するための図である。 図７Ａは、第１の実施形態に係る医用画像処理装置が実行する修正処理の一例を説明するためのフローチャートである。 図７Ｂは、第１の実施形態に係る医用画像処理装置が実行する修正処理の処理手順を説明するための模式図である。 図７Ｃは、第１の実施形態に係る医用画像処理装置が実行する修正処理の処理手順を説明するための模式図である。 図８は、第２の実施形態に係る医用画像処理装置が実行する心臓弁検出処理の一例を示すフローチャートである。 図９は、第３の実施形態に係る医用画像処理装置が実行する心臓弁検出処理の一例を示すフローチャートである。 図１０は、第４の実施形態に係る医用画像処理装置が実行する肺検出処理の一例を示すフローチャートである。 図１１は、第５の実施形態に係る医用画像処理装置が実行する処理の一例の処理フロー及び処理結果を示す図である。

以下、添付図面を参照して、本願に係る医用画像処理装置、医用画像処理方法及び医用画像処理プログラムの実施形態を詳細に説明する。なお、本願に係る医用画像処理装置、医用画像処理方法及び医用画像処理プログラムは、以下に示す実施形態によって限定されるものではない。また、以下の説明では、同様の構成要素には共通の符号を付与することとし、重複する説明を省略する。

（第１の実施形態）
まず、第１の実施形態に係る医用画像処理装置について説明する。なお、本実施形態に係る医用画像処理装置は、超音波診断装置、ＭＲＩ（Magnetic Resonance Imaging）装置等の医用画像診断装置に含まれて実現されてもよいし、ワークステーション等のように独立した装置として実現されてもよい。

図１は、第１の実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。

図１に示すように、本実施形態に係る医用画像処理装置１は、主に、制御部１０と、メモリ２０とを備える。例えば、医用画像処理装置１が超音波診断装置に含まれて実現される場合、医用画像処理装置１は、図示を省略した超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体等をさらに備え、制御部１０及びメモリ２０は、これらの超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体等と通信可能に接続されている。ここで、超音波プローブ、ディスプレイ、入出力インターフェース及び装置本体の構成及び機能等は当業者に周知であるため、詳細な説明を省略する。

メモリ２０には、医用画像処理装置１が処理を実行するために必要な各種のデータ、例えば、処理対象となる医用画像データ、超音波診断装置が使用及び生成した各種のデータ、表示用の画像データ等が記憶される。

制御部１０は、医用画像処理装置１の全体を制御するとともに、医用画像処理装置１が実行しようとする各種の処理を実行する。

制御部１０は、処理対象となる医用画像データに対して、少なくとも二つの異なる種類の処理を含む第１の処理を実行する第１の処理機能１００と、第１の処理機能１００が実行する第１の処理のパラメータを設定するパラメータ設定機能３００とを有する。具体的には、制御部１０は、第１の処理機能１００により、医用画像データに対して、少なくとも二つの異なる種類の処理を含む第１の処理を実行し、第１の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行することにより、医用画像データにおける対象領域を表す画像を取得する。ここで、空間的に処理の範囲を絞り込む調整は、例えば、パラメータ設定機能３００がパラメータを調整することによって実現される。

また、制御部１０は、さらに第２の処理機能２００を有してもよい。制御部１０は、調整された第１の処理を実行する前に、第２の処理機能２００により、実行済みの第１の処理の処理結果に対して、第２の処理を実行し、第２の処理の処理結果に対して、調整された第１の処理を実行し、当該調整された第１の処理の処理結果に基づいて、医用画像データにおける対象領域を表す画像を取得する。

以下、図２を用いて、本実施形態に係る医用画像処理装置１が実行する処理について詳細に説明する。

図２は、第１の実施形態に係る医用画像処理装置１が実行する処理を示すフローチャートである。

図２に示すように、まず、ステップＳ１において、処理対象となる医用画像データが医用画像処理装置１に入力される。

続いて、ステップＳ１００において、制御部１０は、第１の処理機能１００により、医用画像データに対して、少なくとも二つの異なる種類の処理を含む第１の処理を実行する。なお、図示されていないが、ステップＳ１００において、制御部１０は、第１の処理を実行する前に、パラメータ設定機能３００により、第１の処理のパラメータを設定してもよい。図２では、上述した「少なくとも二つの異なる種類の処理を含む第１の処理」の例として、処理Ａ～処理Ｎで構成された、医用画像データに対する複数の種類の処理を示している。ここで、処理Ａ～処理Ｎの順序は固定であるが、処理Ａ～処理Ｎの処理内容や処理Ａ～処理Ｎの数はいずれも一例であり、処理Ａ～処理Ｎの一部が全く同じ処理であってもよいし、パラメータの異なる同種の処理を含んでもよい。すなわち、本実施形態における第１の処理は、医用画像処理に対する少なくとも二つの異なる種類の処理を含んでいれば、他の処理であってもよい。

続いて、ステップＳ２００において、制御部１０は、第２の処理機能２００により、第１の処理の処理結果に対して、第２の処理を実行する。なお、図２では、第２の処理として、情報の増強及び融合を行う情報増強処理を示しているが、情報増強処理はあくまで一例であり、本実施形態における第２の処理は、他の処理であってもよい。

ここで、図２に示す例は好ましい実施形態であり、ステップＳ２００を実行するが、ステップＳ２００は必須の処理ではなく、省略されてもよい。すなわち、ステップＳ１００が実行された後に、続いて、ステップＳ３００が実行されてもよい。その場合には、ステップＳ３００において、制御部１０は、第１の処理機能１００により、第１の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行する。ここで、第１の処理の調整は、例えば、パラメータ設定機能３００がパラメータの調整を行うことによって実現される。こうして調整された第１の処理は、具体的には、調整される前の第１の処理より精確な結果が得られるように、空間的に処理の範囲を絞り込むように調整されたものとなる。図２では、調整された第１の処理を処理Ａ’～処理Ｎ’として示している。ここで、処理Ａ’～処理Ｎ’は、処理Ａ～処理Ｎと比べて、空間的に処理の範囲が縮小されるように調整されたものである。この調整は、パラメータの調整によって実現されてもよいし、アルゴリズムに関する調整や入力データの更新等によって実現されてもよい。また、処理Ａ’～処理Ｎ’の処理順序は、処理Ａ～処理Ｎの処理順序と同じである。

一方、ステップＳ２００を実行する好ましい実施形態の場合には、ステップＳ３００において、制御部１０は、第１の処理機能１００により、第２の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行する。すなわち、制御部１０は、まず、ステップＳ２００において、第２の処理機能２００により、第１の処理の処理結果に対して、情報増強処理を実行し、その後、ステップＳ３００において、第１の処理機能１００により、情報増強処理された第１の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行する。

そして、ステップＳ３００の後に、制御部１０は、調整された第１の処理の処理結果に基づいて、医用画像データにおける対象領域を表す画像を取得する。ここで、処理Ａ～処理Ｎ（又は、処理Ａ’～処理Ｎ’）は、複数の種類の処理で構成された組み合わせ処理に該当し、上述したように、ステップＳ１００及びＳ３００によって、複数の種類の処理で構成された組み合わせ処理が２回、粗から精へ実行される。これにより、より精確な形態学的計測結果が得られる。

続いて、ステップＳ４００において、制御部１０は、さらに第２の処理機能２００を動作させることにより、ステップＳ３００の処理結果に対して、再度、情報増強処理を実行し、さらに第１の処理機能１００を動作させることにより、再度実行された情報増強処理の処理結果に対して、再度、調整された第１の処理を実行するようにしてもよい。ここで、再度実行される第１の処理は、例えば、処理Ａ’’～処理Ｎ’’として表すことができ、前の２回の第１の処理と比べて、空間的に処理の範囲がさらに縮小されるように調整されたものである。この調整は、例えば、再度実行された第２の処理の処理結果等に基づいて、同様にパラメータの調整を行うことによって実現されてもよい。なお、ステップＳ４００に示す第２の処理及び調整された第１の処理を順次に繰り返し実行する手順は、より精確な形態学的計測結果を得るために、必要に応じて複数回繰り返して反復されてもよい。そのため、図２では、ステップＳ４００に対応する処理手順を省略符号で示している。

なお、第１の処理に対するパラメータの設定については、粗から精へ実行される処理の処理結果に対する要求に応じて、事前に行われた実験やフィードバック等に基づいて行われてもよいし、例えば、第２の処理及び第１の処理を繰り返し実行する繰り返し回数等の他の要因に応じて適宜に調整されてもよい。また、第１の処理の調整は、パラメータの調整によって実現されてもよいが、例えば、アルゴリズムに関する調整や入力データの更新によって実現されてもよいし、これらの任意の組み合わせによって実現されてもよい。

また、上述したように、ステップＳ１００～Ｓ３００によれば、複数の種類の処理で構成された組み合わせ処理が２回、粗から精へ実行されることで、より精確な形態学的計測結果が得られる。そのため、ステップＳ４００は必須の処理ではなく、省略されてもよい。

続いて、ステップＳ５００において、制御部１０は、上述した各ステップで取得された情報を用いて、取得された対象領域を表す画像に対して修正処理を実行するようにしてもよい。なお、この修正処理は、取得された画像が後続の処理により適するようにするためのものであり、本実施形態において必須の処理ではない。

続いて、ステップＳ６００において、制御部１０は、修正処理によって修正された画像を用いて、形態学的計測を実行する。

本実施形態によれば、医用画像データに対して、複数の種類の処理で構成された組み合わせ処理を粗から精へ実行することで、より精確な形態学的計測結果が得られる。

以下、図３～図７Ｃを用いて、本実施形態に係る医用画像処理装置１が実行する処理について、心臓弁を例にして詳細に説明する。

図３は、第１の実施形態に係る医用画像処理装置１が実行する心臓弁検出処理の一例の処理フロー及び処理結果を示す図である。

図３に示すように、まず、ステップＳ１において、処理対象となる心臓の医用画像データにおける元のボリューム領域が医用画像処理装置１に入力される。

続いて、ステップＳ１００において、制御部１０は、第１の処理機能１００により、第１の処理として、二つの異なる種類の処理で構成された組み合わせ処理を実行する。すなわち、制御部１０は、第１の処理機能１００により、第１の処理として、医用画像データに対してランドマーク（landmark）検出処理を実行し（ステップＳ１０１）、ランドマーク検出処理の処理結果に基づいて、対象領域のセグメンテーション（segmentation）処理を実行する（ステップＳ１０２）。

具体的には、ステップＳ１０１において、制御部１０は、第１の処理機能１００により、心臓の医用画像データにおける元のボリューム領域に対して、ランドマーク粗検出処理を実行する。例えば、制御部１０は、第１の処理機能１００により、交連点、尖底、左冠動脈入口点（left coronary ostium）及び右冠動脈入口点（right coronary ostium）のような、ユーザが定義した解剖学的ランドマークを大まかに位置決めして検出する。

また、ステップＳ１０２において、制御部１０は、第１の処理機能１００により、ステップＳ１０１で検出されたランドマークを用いて、処理対象のセグメンテーション処理を実行する。例えば、制御部１０は、第１の処理機能１００により、ステップＳ１０１で検出された大まかに位置決めされた解剖学的ランドマークを用いて、大動脈基部のセグメンテーション処理を実行することにより、大動脈基部のマスク（mask）画像を取得する。このマスク画像は、例えば、バルサルバ（Valsalva）洞（Sinus Of Valsalva：ＳＯＶ）、左室流出路（Left Ventricular Outflow Tract：ＬＶＯＴ）、上行大動脈（Ascending AOrta：ＡＡＯ）及び関連する交連点を含む。

なお、ステップＳ１０１における具体的な解剖学的ランドマーク、及び、ステップＳ１０２における大動脈基部のマスク画像は、一例であり、固定されたものではなく、必要に応じて変更されてもよい。

続いて、ステップＳ２００において、制御部１０は、第２の処理機能２００により、第２の処理として、第１の処理の処理結果に対して情報増強処理を実行する。すなわち、制御部１０は、第２の処理機能２００により、第２の処理として、ステップＳ１０１で検出された大まかに位置決めされた解剖学的ランドマーク及びステップＳ１０２で取得された大動脈基部のセグメンテーション結果に基づいて領域制限を行うことで、より精確な関心ボリューム（Volume Of Interest：ＶＯＩ）を取得する。ここで、領域制限は、情報増強処理の一例であり、例えば、ステップＳ１００で取得されたセグメンテーション結果画像に対してクロッピング処理を実行することである。しかしながら、情報増強処理はクロッピング処理に限定されるものではなく、情報報増強処理の詳細については、図６Ａ及び図６Ｂを用いて後述する。

なお、ステップＳ２００において、例えば、取得されたランドマーク及びマスク画像が一致するか否かのチェックのような、より多くの処理を行ってもよい。ここで、上述したように、ステップＳ２００は必須の処理ではなく、省略されてもよい。

続いて、ステップＳ３００において、制御部１０は、第１の処理機能１００により、第２の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行し、調整された第１の処理の処理結果に基づいて、医用画像データにおける対象領域である心臓弁を示す画像を取得する。すなわち、制御部１０は、第１の処理機能１００により、再度実行される調整された第１の処理として、第２の処理の処理結果である情報増強処理された医用画像データに対してランドマーク精検出処理を実行し（ステップＳ３０１）、ランドマーク精検出処理の処理結果に基づいて、より精確なセグメンテーション、例えば、大動脈弁のセグメンテーション処理を実行する（ステップＳ３０２）。

具体的には、ステップＳ３０１において、制御部１０は、第１の処理機能１００により、ステップＳ２００で情報増強処理された新たな形態学的情報を用いて、より精確な解剖学的ランドマークを位置決めして検出し、ステップ３０２において、ステップＳ２００で情報増強処理された新たな形態学的情報及びステップＳ３０１で取得された精確な解剖学的ランドマークを用いて、例えば、大動脈弁のセグメンテーション処理を実行することにより、３枚の弁尖を含む大動脈弁のマスク画像を取得する。

上述したように、ステップＳ３００で実行される処理は、処理の内容は第１の処理と同様であるが、処理のパラメータが、ステップＳ１００の処理より精確な結果が得られるように、第２の処理の処理結果に基づいて、空間的に処理の範囲を絞り込むように調整されたものである。なお、ステップＳ１００及びステップＳ３００の処理手順の詳細については、図４Ａ～図４Ｃを用いて後述する。

以上、本実施形態に係る医用画像処理装置１によれば、ステップＳ１００～Ｓ３００により、ランドマーク検出処理とセグメンテーション処理とで構成された組み合わせ処理が２回、粗から精へ実行されることで、大動脈弁のより精確なセグメンテーション画像及びより精確な形態学的計測結果が得られる。

なお、図３でも、図２と同じく、ステップＳ３００の後に好ましい実施形態として実行されるステップＳ４００を省略符号で示している。すなわち、ステップＳ３００の後に、ステップＳ４００において、制御部１０は、第２の処理機能２００により、第２の処理として、再度、情報増強処理を実行し、再度実行された情報増強処理の処理結果に対して、再度、第１の処理として、ランドマーク検出処理及びセグメンテーション処理の組み合わせを実行するようにしてもよい。こうした再度の処理の実行は複数回繰り返されてもよく、より精細な処理を繰り返すことで、より精確な対象領域を表す画像が得られる。

続いて、ステップＳ５００において、制御部１０は、上述した各ステップで得られた情報を用いて、取得された心臓弁の画像に対して修正処理を実行する。なお、ここでいう修正処理は、取得された心臓弁の画像が後続の処理、例えば、計測処理により適するようにするためのものであり、本実施形態において必須の処理ではない。なお、修正処理の詳細については、図７Ａ～図７Ｃを用いて後述する。

続いて、ステップＳ６００において、制御部１０は、修正処理によって修正された心臓弁の画像を用いて、例えば、弁尖の自由端の長さ／弁と血管壁との接続箇所の幾何学的な長さ／高さ等のような、ＴＡＶＩの手術計画に必要ないくつかの重要な項目を計測することで、ＴＡＶＩ用の形態学的計測を実行する。

以下、図４Ａ～図４Ｃを用いて、上述したステップＳ１００、ステップＳ２００、ステップＳ３００の処理手順の詳細について説明する。

図４Ａは、第１の実施形態に係る医用画像処理装置１における第１の処理機能１００がステップＳ１００において実行する第１の処理の一例を説明するための図である。

まず、ステップＳ１０１において、第１の処理機能１００は、ランドマーク粗検出処理を実行する。この処理は、例えば、従来の深層学習ニューラルネットワーク（例えば、３Ｄ空間構成ネットワーク（SCN））を利用して、実現することができる。この深層学習ニューラルネットワークの入力は、例えば、心臓全体の画像を含む元のボリューム領域（図４Ａ中の（ａ））であり、出力は、例えば、心臓の解剖形態学における臨床上で重要なランドマーク（図４Ａ中の（ｂ））である。例えば、対象領域が大動脈弁である場合に、出力は、左冠尖最下点（LCC nadir point）、右冠尖最下点（RCC nadir point）、無冠尖最下点（NCC nadir point）、無冠尖－左冠尖の交連点（N-L commissure point）、右冠尖－左冠尖の交連点（R-L commissure point）、無冠尖－右冠尖の交連点（N-R commissure point）、右冠動脈入口点（Right coronary ostium）、左冠動脈入口点（Left coronary ostium）という八つの特徴点のうちの少なくとも一つである。このステップで実行されるランドマーク粗検出は、心臓弁の構造を含む領域を大まかに位置決めして検出するものである。そのため、このステップで用いられる深層学習ニューラルネットワークのパラメータ等の設定には、高い検出精度は要求されないが、速さという時間的性能が必要となる。それにより、ＶＯＩを迅速に絞込み、次の処理のための準備を行うことができる。当然ながら、上述したランドマーク検出処理は一例であり、対象となる画像データから所定のランドマークを検出できれば、どのような方法であってもよい。例えば、ユーザがＧＵＩ（Graphical User Interface）を用いて手動でランドマークの位置を指定する方法であってもよい。

続いて、ステップＳ１０２において、第１の処理機能１００は、ランドマークを用いて、大動脈基部のセグメンテーション処理を実行する。この処理は、例えば、従来の深層学習ニューラルネットワーク（例えば、3D UNET）を利用して、実現することができる。この深層学習ニューラルネットワークによって、入力データにおける対象領域と対象領域以外の領域とを分割することができる。本実施形態では、入力される画像データを構成する各画素を、大動脈基部に対応する画素と、それ以外の画素とに分割する。本実施形態では、ステップＳ１０１におけるランドマーク粗検出によって、より精確かつより小さなＶＯＩ領域を位置決めして検出することができ、その上でセグメンテーション処理を行うことによって、セグメンテーションの性能を向上させることができる。ここで、ステップＳ１０２における深層学習ニューラルネットワークの入力は、ランドマーク粗検出処理によって得られた医用画像データであり、出力は、ＶＯＩ領域内部の大動脈基部のマスク画像である（図４Ａ中の（ｄ））。当然ながら、上述したセグメンテーション処理は一例であり、対象となる画像データから所定の領域をセグメンテーションすることができれば、どのような方法であってもよい。例えば、ユーザがＧＵＩを用いて手動で大動脈基部に対応する全ての画素を指定する方法であってもよいし、二値化処理やグラフカット（graph cut）処理のような既知のセグメンテーション処理が用いられてもよい。

ここで、本実施形態では、図４Ａ中の（ｂ）に示すステップＳ１０１のランドマーク粗検出処理と、図４Ａ中の（ｄ）に示すステップＳ１０２の大動脈基部のセグメンテーション処理との間で、図４Ａ中の（ｃ）に示す強化処理が実行されてもよい。つまり、本実施形態では、第１の処理機能１００は、ランドマーク検出処理の処理結果に基づいて、医用画像データに対して強化処理を実行した後に、セグメンテーション処理を実行するようにしてもよい。

図４Ａ中の（ｃ）は、強化処理として、ランドマーク検出処理によって検出されたランドマークに基づいて、医用画像データに対してクロッピング処理を実行する場合の例を示している。図４Ａに示す例では、ステップＳ１０２における深層学習ニューラルネットワークの入力は、大まかなランドマークによって定義された境界枠に基づいてクロッピング処理が行われた医用画像データであり、出力は、クロッピング処理によりクロッピングされたＶＯＩ領域内部の大動脈基部のマスク画像である。

なお、図４Ａでは、第１の処理におけるランドマーク検出処理とセグメンテーション処理との間に行われる強化処理について、クロッピング処理を例として示しているが、強化処理はクロッピング処理に限定されるものではなく、強化処理の詳細については、図５を用いて後述する。

図４Ｂは、第１の実施形態に係る医用画像処理装置１における第２の処理機能２００がステップＳ２００において実行する情報増強処理の一例を説明するための図である。

ステップＳ２００において、第２の処理機能２００は、ステップＳ１００における大まかなランドマーク検出結果又は大動脈基部セグメンテーション結果に基づいて、情報増強処理を実行する。例えば、第２の処理機能２００は、情報増強処理として、ＲＯＩ（region of interest：関心領域）の面積制限（以下、ＲＯＩ制限と呼ぶ）を行うことで、ステップＳ１００の処理結果におけるより精確なＶＯＩ領域を取得する。図４Ｂ中の（ａ）は、大まかなランドマーク検出結果に基づいてＲＯＩ制限を行うことで、大まかな解剖学的ランドマークに基づいて境界枠を算出し、当該境界枠に基づいてステップＳ１００の処理結果に対してクロッピング処理を行う例を示している。また、図４Ｂ中の（ｂ）は、大動脈基部セグメンテーション結果に基づいてＲＯＩ制限を行い、大動脈基部のマスク画像に基づいて境界枠を算出し、当該境界枠に基づいて画像に対してクロッピング処理を行う例を示している。

ここで、大動脈基部マスク画像の境界はいくつかの解剖学的ランドマークに近いため、大動脈基部のマスク画像の境界枠を利用する場合には、それらのランドマークの情報が失われることを防ぐため、外側により大きな領域となるように拡張しておくのが好ましい。しかし、大動脈基部のマスク画像の範囲は小さいため、大まかな解剖学的ランドマークに基づいて算出された境界枠を用いたクロッピング処理よりも、大動脈基部のマスク画像に基づいて算出された境界枠を用いたクロッピング処理の方がより好ましい。

なお、図４Ｂは、第２の処理機能２００が実行する情報増強処理について、ＲＯＩ制限を例として示しているが、情報増強処理はＲＯＩ制限に限定されるものではなく、情報増強処理の詳細については、図６Ａ及び図６Ｂを用いて後述する。

図４Ｃは、第１の実施形態に係る医用画像処理装置１における第１の処理機能１００がステップＳ３００において実行する調整された第１の処理の一例を説明するための図である。

まず、ステップＳ３０１において、第１の処理機能１００は、ランドマーク精検出処理を実行する。この処理は、ステップＳ１０１におけるランドマーク粗検出処理と同様のニューラルネットワークを用いて実現することができるが、その入力は、空間的に処理の範囲を絞り込むように、かつ、より精確なランドマーク検出が行われるように更新されたＶＯＩ領域であり、モデルパラメータは、パラメータ設定機能３００により更新されたものであってもよい。例えば、このニューラルネットワークの入力は、ステップＳ２００で取得された精確なＶＯＩ領域を利用してクロッピングされたサブボリューム領域の画像である。図４Ｂの例では、この入力は、大まかなランドマーク検出結果に基づいてＲＯＩ制限を行った結果、又は、大動脈基部セグメンテーション結果に基づいてＲＯＩ制限を行った結果となる。また、このニューラルネットワークの出力は、例えば、ステップＳ１０１と同様に、上述した心臓の解剖形態学における臨床上で重要なランドマーク（図４Ｃ中の（ｂ））である。ステップ３０１におけるランドマーク精検出は、より精確なボリューム領域及び更新されたモデルパラメータを用いることによって、ランドマークとなる心臓弁の構造を含む領域をより精確に位置決めして検出することができる。

続いて、ステップＳ３０２において、第１の処理機能１００は、精確なランドマークを用いて、心臓弁のセグメンテーション処理を実行する。この処理は、ステップＳ１０２における大動脈基部セグメンテーション処理と同様のニューラルネットワークを用いて実現することができるが、その入力は、空間的に処理の範囲を絞り込むように、かつ、より精確な心臓弁のセグメンテーションが行われるように更新されたＶＯＩ領域であり、モデルパラメータは、パラメータ設定機能３００により更新されたものであってもよい。また、このニューラルネットワークの出力は、例えば、ＶＯＩ領域内部の心臓弁のマスク画像である（図４Ｃ中の（ｄ））。なお、ステップＳ１０２では、入力される画像データを構成する各画素を、大動脈基部に対応する画素と、それ以外の画素との二つに分割することとしたが、ステップＳ３０２では、入力される画像データを構成する各画素を、右冠尖に対応する画素と、左冠尖に対応する画素と、無冠尖に対応する画素と、それら以外の画素との四つに分割する。

ここで、本実施形態では、ステップＳ１００におけるランドマーク粗検出処理と大動脈基部セグメンテーション処理との間で強化処理が実行されてもよいことと同様に、ステップＳ３００におけるランドマーク精検出処理と心臓弁セグメンテーション処理との間で強化処理が実行されてもよい（図４Ｃ中の（ｃ））。この強化処理は、ステップＳ１００における強化処理をそのまま適用することができるため、その詳細については説明を省略する。

以下、図５Ａ及び図５Ｂを用いて、上述した強化処理の変形例について説明する。

図５Ａ及び図５Ｂは、第１の実施形態に係る医用画像処理装置１における第１の処理機能１００が実行する強化処理の変形例を説明するための図である。

具体的には、強化処理は、ステップＳ１０１又はＳ３０１で検出されたランドマークに基づいて、セグメンテーション処理のニューラルネットワーク（以下、セグメンテーションニューラルネットワークと呼ぶ）で処理すべき画像のクロッピング処理のための境界枠を提供するだけではなく、他の側面から、セグメンテーション処理の性能を向上させるために利用されてもよい。例えば、図５Ａに示すように、ランドマーク検出処理によって検出されたランドマークのヒートマップを生成し、当該ヒートマップを、セグメンテーションニューラルネットワークの別の入力チャネルとして、セグメンテーションニューラルネットワークで処理すべき画像と共にセグメンテーションニューラルネットワークに入力するようにしてもよい。ここで、図５Ａに示す変形例は、主に、セグメンテーションニューラルネットワークの深層学習の推論過程に適用される。こうして、セグメンテーションニューラルネットワークのチャネルを増やすことによって、セグメンテーションニューラルネットワークに入力される解剖学的ランドマークの情報を増やすことができる。これにより、より多くの解剖学的ランドマークの情報をセグメンテーション処理の結果に含めることができるようになり、セグメンテーション処理の性能を向上させることができる。

また、図５Ｂに示すように、ランドマーク検出処理によって検出されたランドマークのヒートマップを生成した後に、当該ヒートマップを、セグメンテーションニューラルネットワークの内部損失関数とするようにしてもよい。これにより、例えば、ランドマークの領域の近傍に他の領域より大きな重みを与えてアンダーセグメンテーション（under-segmentation）を低減させることによって、セグメンテーション処理の性能を向上させることができる。ここで、図５Ｂに示す変形例は、主に、セグメンテーションニューラルネットワークの深層学習のトレーニング過程に適用される。

なお、上述した強化処理は必須の処理ではない。また、本実施形態では、強化処理として、図４Ａに示すクロッピング処理と図５Ａ及び図５Ｂに示す変形例とを任意に選択して使用してもよいし、組み合わせて使用してもよい。すなわち、本実施形態では、強化処理は、ランドマーク検出処理によって検出されたランドマークに基づいて、医用画像データに対してクロッピング処理を行うこと、ランドマーク検出処理によって検出されたランドマークのヒートマップを、チャネルとしてセグメンテーションニューラルネットワークに入力すること、ランドマーク検出処理によって検出されたランドマークのヒートマップをセグメンテーションニューラルネットワークの損失関数とすることの少なくとも一つを含む。

以下、図６Ａ及び図６Ｂを用いて、上述した情報増強処理の変形例について説明する。

図６Ａ及び図６Ｂは、第１の実施形態に係る医用画像処理装置１における第２の処理機能２００が実行する情報増強処理の変形例を説明するための図である。

本実施形態における情報増強処理によれば、幾何学的変換又は幾何学的制約を適用して処理対象をより認識しやすくすることができる。図６Ａは、断面変換を例にして、幾何学的変換によって、大動脈弁のセグメンテーション結果に対して情報増強処理を行った例を示している。図６Ａに示すように、心臓弁の独特な形態学的特徴に対して、例えば、大動脈弁がその断面方向にみて三つの弁尖を有する形状であることを考慮すると、例えば、既存のアキシャル断面像又はサジタル断面像又はコロナル断面像がクロッピング処理された結果では対象を認識しにくい場合があり得る。その場合に、例えば、取得されたランドマークを用いて、幾何学的変換として断面変換を行うことで、既存のアキシャル断面像又はサジタル断面像又はコロナル断面像を、弁をより容易に認識可能な断面像、例えば大動脈の断面像に変換することによって、情報増強の效果を得ることができる。

また、図６Ｂは、形状制限を例にして、幾何学的制約によって、大動脈弁のセグメンテーション結果に対して情報増強処理を行った例を示している。図６Ｂに示すように、心臓弁の独特な形態学的特徴に対して、例えば、正常弁、石灰化弁、収縮／拡張のみがある単一時相の弁のそれぞれの形態学的特徴を考慮すると、弁ラベル等により図６Ｂの左側、中間、右側に示すような正常弁、石灰化弁、単一時相弁の形状制限をそれぞれ反映するテンプレート画像を事前に取得し、処理すべき対象が正常弁、石灰化弁、単一時相弁のいずれであるかに基づいて、対応する形状制約テンプレート画像をネットワークモデルに入力することで、トレーニング性能を向上させて、必要以上なオーバーセグメンテーションを回避することができる。このような形状制限を、例えば、ステップＳ１００の結果に適用することによって、情報増強の效果を得ることができ、後続の処理、例えば、ステップＳ３００の処理のための準備を行うことができる。

また、ステップＳ２００における情報増強処理として、従来のグレースケール情報による制約、形態学的制約等を採用してもよい。例えば、情報増強処理は、ステップＳ１００で取得された既存の特徴を利用して情報の抽出、増強及び融合を行うことによって、ステップＳ２００で処理された形態学的情報が、後続の処理、例えば、ステップＳ３００の処理の精確性を向上させることができるようにするものであればよい。要するに、ステップＳ２００の情報増強処理は、ＲＯＩ制限、幾何学的変換、幾何学的制約、グレースケール情報による制約、形態学的制約等により実現され得る。

また、本実施形態では、図４ＢにおけるＲＯＩ制限と図６Ａ、図６Ｂにおける情報増強処理の変形例とを任意に選択して使用してもよいし、組み合わせて使用してもよい。すなわち、本実施形態では、第２の処理機能２００は、ＲＯＩ制限、幾何学的変換、幾何学的制約、グレースケール情報による制約、形態学的制約の少なくとも一つを行うことにより、情報増強処理を実行する。

以下、図７Ａ～図７Ｃを用いて、上述した修正処理の詳細について説明する。

図７Ａは、第１の実施形態に係る医用画像処理装置１が実行する修正処理の一例を説明するためのフローチャートである。また、図７Ｂ及び図７Ｃは、第１の実施形態に係る医用画像処理装置１が実行する修正処理の処理手順を説明するための模式図である。

本実施形態では、例えば、ステップＳ３００のランドマーク検出及び心臓弁セグメンテーションが完了した後に、精確なランドマーク、大動脈基部のマスク画像、及び、例えば、三つの弁尖を有する大動脈弁のマスク画像が得られる。本実施形態では、続いて、これらの情報を利用してステップＳ５００の修正処理を実行することによって、例えば、心臓弁の形態を修正することができる。

図７Ａに示すように、本実施形態における修正処理は、例えば、次の三つのステップを含んでもよい。まず、ステップＳ５０１において、制御部１０は、セグメンテーション結果から最大連結成分を抽出し、後続の処理のための準備を行う。後続の処理は、抽出された最大連結成分を処理対象とする。ここで、セグメンテーション結果の画像の内部、特に、心臓弁の近傍には穴が存在する可能性がある。そのため、ステップＳ５０２において、制御部１０は、最大連結成分における心臓弁上の穴を充填する。また、ステップＳ１００及びＳ３００では２回に分けてセグメンテーション処理が行われるため、大動脈基部と心臓弁とのセグメンテーション結果が一致しない可能性がある。例えば、心臓弁の縁部（挿入領域）にアンダーセグメンテーションが発生し得るため、例えば、バルサルバ洞の内部及び心臓弁の縁部（挿入領域）が血管壁に繋がっていない可能性があり、このような弁縁部と血管壁との離脱は明らかに臨床知識に合致しない。そのため、ステップＳ５０３において、制御部１０は、大動脈基部及び弁のセグメンテーション結果の画像を一致させるように、弁縁部を血管壁まで拡張する。

また、図７Ｂ及び図７Ｃは、ステップＳ５０２における穴の充填及びステップＳ５０３における縁部の拡張の手順を、それぞれ、アキシャル断面図、サジタル断面図、コロナル断面図で示している。

なお、上述した修正処理における最大連結成分の抽出は、従来の最大連結成分を探索する方法で実現することができる。また、穴の充填及びセグメンテーション結果の画像の拡張についても、従来の画像処理方法で実現することができる。そのため、これらの処理については、ここでは詳細な説明を省略する。

上述したように、第１の実施形態に係る医用画像処理装置１によれば、医用画像データに対して、複数の種類の処理で構成された組み合わせ処理を繰り返し実行することにより、各処理単位において、一つ前の特徴抽出が少なくとも何等かの点で次の特徴抽出をガイド及び補助することができ、その結果、より良好な性能が得られる。このように、複数回の特徴抽出を繰り返し適用することによって、精確な形態学的情報を粗から精へ段階的に生成することができ、特に、心臓弁のような複雑な対象、及び、心臓弁の石灰化の形態構造及び不完全な形態構造等の複雑な状況において、より良好な性能が得られる。

また、二つの処理単位の間に情報増強処理を行って形態学的情報を修正することにより、処理の精度を粗から精へ徐々に向上させるように担保することができる。

以上、第１の実施形態を説明したが、本願が開示する技術は、上述した第１の実施形態以外にも、種々の異なる形態にて実施することが可能である。

（第２の実施形態）
例えば、上述した第１の実施形態では、第１の処理機能１００が実行する第１の処理にランドマーク検出処理及びセグメンテーション処理という二つ種類の処理が含まれている場合の例を説明したが、実施形態はこれに限られない。例えば、第１の処理に、三つ以上の種類の処理が含まれていてもよい。以下、図８を用いて、第１の処理が三つの種類の処理を含む場合の例を第２の実施形態として説明する。

図８は、第２の実施形態に係る医用画像処理装置１が実行する心臓弁検出処理の一例を示すフローチャートである。なお、第２の実施形態の説明では、上述した第１の実施形態との相違点を中心に説明することとし、第１の実施形態と重複する内容については詳細な説明を省略する。

図８に示すように、第２の実施形態に係る医用画像処理装置１では、制御部１０は、第１の処理機能１００により、ランドマーク検出処理（ステップＳ１０１、Ｓ３０１）及びセグメンテーション処理（ステップＳ１０２、Ｓ３０２）に加え、石灰化弁分類処理（ステップＳ１０３、Ｓ３０３）を含む第１の処理（ステップＳ１００、Ｓ３００）を実行する。つまり、本実施形態では、第１の処理機能１００が実行する第１の処理は、ランドマーク検出、石灰化弁分類、セグメンテーションという三つ種類の処理で構成された組み合わせ処理である。

第２の実施形態の処理フローは、第１の実施形態と比較して、石灰化弁分類処理が追加されており、制御部１０は、第１の処理機能１００により、セグメンテーション処理に先立って、ランドマーク検出処理の処理結果に基づいて処理対象が石灰化弁であるか正常弁であるかを分類する。この追加された処理手順は、より精確なセグメンテーションに寄与する。例えば、ユーザは、石灰化弁及び正常弁に対する二つの個別のセグメンテーションモデルをトレーニングし、分類結果に基づいて、それぞれのデータを異なるセグメンテーションモデルに入力することができる。これにより、第２の実施形態は、第１の実施形態の効果に加えて、トレーニング中に生じるデータのアンバランス問題を防止し、より良好なセグメンテーション効果を得ることができるという有益な技術的効果を奏する。

なお、図８では、第１の実施形態のステップＳ４００に対応する繰り返し実行されるステップが示されていないが、第２の実施形態の処理フローでも、第１の実施形態と同様に、ステップＳ３００の後に、１回又は複数回の粗から精への第２の処理及び第１の処理をさらに繰り返すことによって、より良好な結果を得ることができることは明らかである。

（第３の実施形態）
また、例えば、上述した第１の実施形態では、第１の処理機能１００がランドマーク検出処理及びセグメンテーション処理という二つ種類の処理で構成された組み合わせ処理を実行する場合の例を説明したが、実施形態はこれに限られない。例えば、第１の処理機能１００は、ランドマーク検出及びセグメンテーション以外の他の処理で構成された組み合わせ処理を実行するようにしてもよい。以下、図９を用いて、第１の処理機能１００がランドマーク検出及びセグメンテーション以外の他の組み合わせ処理を実行する場合の例を第３の実施形態として説明する。

図９は、第３の実施形態に係る医用画像処理装置１が実行する心臓弁検出処理の一例を示すフローチャートである。なお、第３の実施形態の説明では、上述した第１、第２の実施形態との相違点を中心として説明することとし、第１、第２の実施形態と重複する内容については詳細な説明を省略する。

図９に示すように、第３の実施形態に係る医用画像処理装置１では、制御部１０は、第１の処理機能１００により、セグメンテーション処理（ステップＳ１０４、Ｓ３０４）及び血流推定処理（ステップＳ１０５、Ｓ３０５）を含む第１の処理（ステップＳ１００、Ｓ３００）を実行する。例えば、左心室と左心房との間の房室弁である僧帽弁に対して画像処理を行う場合、第３の実施形態に係る医用画像処理装置１では、まず、ステップＳ１０において、１心拍周期分の動画像データが入力される。続いて、制御部１０は、第１の処理機能１００により、ステップＳ１００の第１の処理として、まず、ステップＳ１０４において、入力された動画像データに対して、左心室のセグメンテーション処理を実行し、１心拍周期分の左心室のマスク画像をセグメンテーションし、その後、ステップＳ１０５において、血流推定処理を実行する。例えば、僧帽弁は、左心室と左心房との間に位置し、僧帽弁の近傍の血流速度は大きく変化する特徴を有するため、血流速度を推定することによって、僧帽弁が位置する領域を位置決めして検出することができる。ここで、ステップＳ１０５の血流推定処理は、処理の時間的性能が確保されるように、大まかな推定であってもよく、例えば、心室拡張期の左心室全体の血流速度のみを推定してもよい。例えば、拡張期では、僧帽弁が開き、血流は左心房から左心室へ流れるため、僧帽弁の周囲の血流速度の変化が大きくなるが、血流速度を推定することによって、僧帽弁が位置する領域をより速く位置決めして検出することができる。

続いて、第３の実施形態に係る医用画像処理装置１では、ステップＳ２０２において、制御部１０は、第２の処理機能２００により、第２の処理として、位置決め処理を実行する。具体的には、制御部１０は、第２の処理機能２００により、ステップＳ１０５における血流速度推定の結果に基づいて、左心室のセグメンテーション結果における左心室の中で血流速度の変化が最も大きな領域を位置決めして検出し、当該領域を、僧帽弁構造を含む領域とみなす。

そして、再度実行される調整された第１の処理（ステップＳ３００）においても、同様に、セグメンテーション処理と血流推定処理との組み合わせ処理が実行されるが、ステップＳ１００の処理と比べて、空間的に処理の範囲が絞り込まれた、より精確な処理が実行される。具体的には、まず、ステップＳ３０４において、制御部１０は、第１の処理機能１００により、ステップＳ２０２の位置決めによって範囲が絞り込まれた画像データに対して、僧帽弁のセグメンテーション処理を実行する。このとき、例えば、制御部１０は、第１の処理機能１００により、全ての時相に対して僧帽弁セグメンテーションを行ってもよい。その後、ステップＳ３０５において、制御部１０は、第１の処理機能１００により、ステップＳ１０５における左心室全体の大まかな血流速度推定とは異なり、僧帽弁のセグメンテーションの結果に基づいて、僧帽弁の近傍の血流速度のみについて精確な推定を行い、血流速度推定の結果基づいて、僧帽弁が位置する領域をより精確に位置決めして検出する。

なお、血流速度推定の方法は、これに限られるものではなく、既知の任意の手法で実現されてもよい。例えば、入力される医用画像データが超音波画像である場合は、ドップラー法に基づいて、超音波画像から血流の流体情報を取得するようにしてもよい。また、入力される医用画像データがＭＲＩ画像である場合は、ＭＲＩ画像に対して既知の４次元流体解析（４次元フロー解析）を行うことによって、流体情報を取得するようにしてもよい。また、入力される医用画像データが複数時相の造影ＣＴ（Computed Tomography）画像である場合は、複数時相の造影ＣＴ画像で各位置におけるＣＴ値の変化を解析することによって、流体情報を取得するようにしてもよい。また、例えば、既知のウインドケッセルモデルや脈波伝搬モデルに基づいて構築された生体（例えば、人体）の循環動態を模擬する電気回路モデルを用いて、ステップＳ１０５において、左心室や左心房の形態情報に基づいて流体情報を取得し、ステップＳ３０５において、左心室や左心房に加えて僧帽弁の形態情報に基づいて流体情報を取得するようにしてもよい。

上述した第３の実施形態によれば、医用画像データに対して、セグメンテーション処理及び血流推定処理で構成された組み合わせ処理を粗から精へ実行することによって、第１の実施形態と同様に、より精確な形態学的計測結果を得ることができる。

なお、図９では、第１の実施形態のステップＳ４００に対応する繰り返し実行されるステップ、ステップＳ５００に対応する修正ステップ及びステップＳ６００に対応する計測ステップが示されていないが、第３の実施形態の処理フローでも、第１の実施形態と同様に、これらのステップを実行することによって、より良好な性能及び計測結果を得ることができることは明らかである。

（第４の実施形態）
また、例えば、上述した第１～第３の実施形態では、心臓、大動脈弁、僧帽弁を対象とした場合の例を説明したが、実施形態はこれに限られない。例えば、三尖弁等の他の心臓弁や、心臓以外の例えば肺が対象とされてもよい。以下、図１０を用いて、肺を処理対象とした場合の例を第４の実施形態として説明する。

図１０は、第４の実施形態に係る医用画像処理装置１が実行する肺部検出処理の一例を示すフローチャートである。なお、第４の実施形態の説明では、上述した第１～第３の実施形態との相違点を中心に説明することとし、第１～第３の実施形態と重複する内容については詳細な説明を省略する。

図１０に示すように、第４の実施形態に係る医用画像処理装置１では、制御部１０は、第１の処理機能１００により、ランドマーク検出処理（ステップＳ１０６、Ｓ３０６）及びセグメンテーション処理（ステップＳ１０７、Ｓ３０７）を含む第１の処理（ステップＳ１００、Ｓ３００）を実行する。ここで、本実施形態では、制御部１０は、肺部の解剖形態学的特徴に基づいて、２回の第１の処理（ステップＳ１００、Ｓ３００）の後に、さらに、第２の処理及び第１の処理を順次に繰り返す（ステップＳ４００）という３回の反復処理によって、さらに精確な形態学的計測結果を得る。

まず、ステップＳ３０において、処理対象となる肺の医用画像データにおける元のボリューム領域が医用画像処理装置１に入力される。

続いて、ステップＳ１００において、制御部１０は、第１の処理機能１００により、第１の処理として、医用画像データに対して主気管支のランドマーク検出処理を実行する（ステップＳ１０６）。その後、制御部１０は、第１の処理機能１００により、ステップＳ１０６で検出された主気管支のランドマークに基づいて、肺の粗セグメンテーション処理、例えば、左肺及び右肺のセグメンテーション処理を実行する（ステップＳ１０７）。ここで、主気管支は、第１レベルの気道に由来し、左肺の部分と右肺の部分とに分けられるため、第１の処理として主気管支のランドマーク検出処理及びセグメンテーション処理を行うことによって、左肺及び右肺を迅速に位置決めして検出することができる。

続いて、ステップＳ２０３において、制御部１０は、第２の処理機能２００により、第２の処理として、肺実質領域の位置決め及び情報増強処理を実行することで、後続の精確な処理のためにより精確なＶＯＩ領域を取得する。なお、ステップＳ２０３の処理は、ステップＳ２００と同様の処理を採用することができるため、ここでは詳細な説明を省略する。

続いて、ステップＳ３００において、制御部１０は、第１の処理機能１００により、再度実行される調整された第１の処理として、ステップＳ１００、ステップＳ２０３の処理結果に基づいて、空間的に処理の範囲が絞り込まれた、精確なランドマーク検出処理及びセグメンテーション処理、例えば、主気管支と肺部領域とを組み合わせて、第２レベル以上の気道に由来する細気管支のランドマーク検出処理を実行する（ステップＳ３０６）。その後、制御部１０は、第１の処理機能１００により、ステップＳ３０６で検出された細気管支のランドマークに基づいて、精確なセグメンテーションを実行し、五つの肺葉のマスク画像を取得する（ステップＳ３０７）。

続いて、制御部１０は、第２の処理及び第１の処理を順次に繰り返す（ステップＳ４００）。

具体的には、ステップＳ２０４において、制御部１０は、第２の処理機能２００により、再度実行される第２の処理として、肺の解剖形態学に基づいて、肺葉領域の位置決め及び情報増強処理を行う。ここで、例えば、制御部１０は、臨床特徴に基づいて、位置決めした肺葉領域を修正してもよい。例えば、制御部１０は、一つの肺葉に属する細気管支を他の肺葉にセグメンテーションすることができないという特徴に応じて、肺葉領域を修正してもよい。

続いて、ステップＳ１１０において、制御部１０は、第１の処理機能１００により、再度実行される再調整された第１の処理として、ステップＳ１００、ステップＳ２０３、ステップＳ３００、ステップＳ２０４の処理結果に基づいて、空間的に処理の範囲が絞り込まれた、より精確なランドマーク検出処理及びセグメンテーション処理を実行する。例えば、各肺葉は独立したシステムであることを考慮すると、一つの肺葉の肺血管は、他の肺葉では検出されない。そのため、制御部１０は、第１の処理機能１００により、まず、ステップＳ１１１において、ステップＳ２０４で得られた各肺葉領域に基づいて肺血管のランドマークを検出し、その後、ステップＳ１１２において、検出された肺血管のランドマークに基づいて、肺セグメントのセグメンテーション処理を実行する。

続いて、ステップＳ５００において、制御部１０は、上述した各ステップで取得された情報を用いて、取得された肺セグメントの画像に対して修正処理を実行する。なお、この修正処理は、第１の実施形態と同様に、取得された肺セグメントの画像が後続の処理、例えば、計測処理（図１０には図示せず）により適するようにするためのものであり、本実施形態において必須の処理ではない。

上述した第４の実施形態によれば、肺を対象とし、医用画像データに対して、複数の処理で構成された組み合わせ処理を粗から精へ実行することによって、第１の実施形態と同様に、より精確な形態学的計測結果を得ることができる。

（第５の実施形態）
また、例えば、上述した第１～第４の実施形態では、制御部１０は、医用画像データに対して、少なくとも二つの異なる種類の処理を含む第１の処理を実行し、第１の処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整された第１の処理を実行することとしたが、本願が開示する技術の実施形態はこれに限られない。

例えば、制御部１０は、第１の種類の処理を、空間的に処理の範囲を絞り込むように調整しながら複数回実行した後に、その処理結果に基づいて、第１の種類とは異なる第２の種類の処理を実行し、当該第２の種類の処理の処理結果に基づいて、空間的に処理の範囲をさらに絞り込むように調整された第１の種類の処理を実行するようにしてもよい。

以下、このような場合の例を第５の実施形態として説明する。なお、第５の実施形態の説明では、上述した実施形態との相違点を中心として説明することとし、上述した実施形態と重複する内容については詳細な説明を省略する。

本実施形態では、制御部１０は、上述した実施形態と同様に、第１の処理機能１００と、第２の処理機能２００と、パラメータ設定機能３００とを有する。

具体的には、制御部１０は、第１の処理機能１００により、医用画像データに対して第１の種類の処理を実行し、第１の種類の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の種類の処理を実行する。さらに、制御部１０は、第１の処理機能１００により、空間的に絞り込まれた範囲に対する第１の種類の処理の処理結果に対して第１の種類と異なる第２の種類の処理を実行し、空間的に絞り込まれた範囲に対する第１の種類の処理結果及び第２の種類の処理の処理結果に基づいて空間的に更に絞り込まれた範囲に対して更に第１の種類の処理を実行することにより、対象領域を抽出する。

図１１は、第５の実施形態に係る医用画像処理装置１が実行する処理の一例の処理フロー及び処理結果を示す図である。

なお、ここでは、第１の種類の処理が、セグメンテーション処理であり、第２の種類の処理が、ランドマーク検出処理である場合の例を説明する。また、ここでは、医用画像データが、心臓の医用画像データであり、対象領域が、大動脈弁である場合の例を説明する。

図１１に示すように、まず、ステップＳ１において、処理対象となる心臓の医用画像データが医用画像処理装置１に入力される。例えば、医用画像データとして、心臓のＣＴ画像が医用画像処理装置１に入力される。

続いて、ステップＳ１２１において、制御部１０は、第１の処理機能１００により、ステップＳ１で入力された心臓の医用画像データに対して、大動脈基部（Aortic Root）のセグメンテーション処理を実行する。なお、図示されていないが、ステップＳ１２１において、制御部１０は、セグメンテーション処理を実行する前に、パラメータ設定機能３００により、セグメンテーション処理のパラメータを設定してもよい。

このとき、制御部１０は、第１の処理機能１００により、心臓の医用画像データに対してセグメンテーション処理を実行することで、大動脈基部の領域を大まかに抽出する。

例えば、制御部１０は、第１の処理機能１００により、深層学習ニューラルネットワークを利用して、大動脈基部のセグメンテーション処理を実行する。この深層学習ニューラルネットワークの入力は、例えば、心臓の全体を含む医用画像データであり、出力は、例えば、大動脈基部の大まかな領域に対応する画素の座標群である。ここで、深層学習ニューラルネットワークとしては、例えば、ｎｎＵＮｅｔフレームワークに基づくＵＮｅｔベースの処理を用いることができる。

続いて、ステップＳ１２２において、制御部１０は、第１の処理機能１００により、ステップＳ１２１で実行されたセグメンテーション処理の処理結果に基づいて、空間的に処理の範囲を絞り込むように調整されたセグメンテーション処理を実行する。ここで、セグメンテーション処理の調整は、例えば、パラメータ設定機能３００がパラメータの調整を行うことによって実現される。

このとき、制御部１０は、第１の処理機能１００により、空間的に処理の範囲を絞り込むように調整されたセグメンテーション処理を実行することによって、ステップＳ１２１で実行されたセグメンテーション処理と比べて、大動脈基部の領域を精密に抽出する。

具体的には、制御部１０は、第１の処理機能１００により、ステップＳ１２１で抽出された大動脈基部の大まかな領域に基づいて、医用画像データにおける大動脈基部の領域の周囲のみを切り取り、切り取った領域に対してセグメンテーション処理を実行することで、大動脈基部の領域をより精密に抽出する。

例えば、制御部１０は、第１の処理機能１００により、深層学習ニューラルネットワークを利用して、大動脈基部のセグメンテーション処理を実行する。この深層学習ニューラルネットワークの入力は、例えば、心臓の医用画像データにおける大動脈基部の領域の周囲のみが切り取られた画像であり、出力は、例えば、大動脈基部の領域に対応する画素の座標群である。ここで、深層学習ニューラルネットワークとしては、例えば、ｎｎＵＮｅｔフレームワークに基づくＵＮｅｔベースの処理を用いることができる。

続いて、ステップＳ２２１において、制御部１０は、第２の処理機能２００により、ステップＳ１２２で実行されたセグメンテーション処理の処理結果に対して補正処理を実行する。

具体的には、制御部１０は、第２の処理機能２００により、ステップＳ１２２で抽出された大動脈基部の領域を画像処理によって補正する補正処理を実行する。なお、この補正処理は、セグメンテーション処理の処理結果が後続の処理により適するようにするためのものであり、本実施形態において必須の処理ではない。

続いて、ステップＳ１２３において、制御部１０は、第１の処理機能１００により、ステップＳ１２２で実行されたセグメンテーション処理の処理結果に対して、ランドマーク検出処理を実行する。

具体的には、制御部１０は、第１の処理機能１００により、ステップＳ２２１で補正された大動脈基部の領域に基づいて、医用画像データにおける大動脈基部の領域の周囲のみを切り取り、切り取った領域に対してランドマーク検出処理を実行することで、大動脈の解剖形態学における臨床上で重要なランドマークを検出する。

例えば、制御部１０は、第１の処理機能１００により、ランドマーク検出処理を実行することで、左冠尖最下点（LCC nadir point）、右冠尖最下点（RCC nadir point）、無冠尖最下点（NCC nadir point）、無冠尖－左冠尖の交連点（N-L commissure point）、右冠尖－左冠尖の交連点（R-L commissure point）、無冠尖－右冠尖の交連点（N-R commissure point）、右冠動脈入口点（Right coronary ostium）、左冠動脈入口点（Left coronary ostium）の八つの特徴点をそれぞれランドマークとして検出する。

ここで、最下点（Nadir点）とは、左室流出路（Left Ventricular Outflow Tract：ＬＶＯＴ）に最も近い位置に位置する弁尖上の点を意味する。また、交連点（commissure point）とは、各弁尖同士の交連部の位置の点を意味する。また、冠動脈入口点（coronary ostium point）点とは、右冠動脈 (Right Coronary Artery：ＲＣＡ)と左冠動脈 (Left Coronary Artery：ＬＣＡ)との夫々の入口部における最も左心室側（proximal side）に位置する点を意味する。

例えば、制御部１０は、第１の処理機能１００により、深層学習ニューラルネットワークを利用して、ランドマーク検出処理を実行する。この深層学習ニューラルネットワークの入力は、例えば、大動脈基部の領域の画像であり、出力は、例えば、左冠尖最下点、右冠尖最下点、無冠尖最下点、無冠尖－左冠尖の交連点、右冠尖－左冠尖の交連点、無冠尖－右冠尖の交連点、右冠動脈入口点、左冠動脈入口点の座標である。ここで、深層学習ニューラルネットワークとしては、例えば、Spatial Configuration-Net（ＳＣＮ）を用いることができる。

続いて、ステップＳ１２４において、制御部１０は、第１の処理機能１００により、ステップＳ１２３で実行されたランドマーク検出処理の処理結果に基づいて、ステップＳ１２２で実行されたセグメンテーション処理の処理結果に対して、空間的に処理の範囲をさらに絞り込むように調整されたセグメンテーション処理を実行することにより、大動脈弁尖の領域を抽出する。ここで、セグメンテーション処理の調整は、例えば、パラメータ設定機能３００がパラメータの調整を行うことによって実現される。

このとき、制御部１０は、第１の処理機能１００により、ステップＳ１２３で抽出されたランドマークに基づいて、空間的に処理の範囲をさらに絞り込むように調整されたセグメンテーション処理を実行することによって、ステップＳ１２２で抽出された大動脈基部の領域から大動脈弁尖の領域を抽出する。

具体的には、制御部１０は、第１の処理機能１００により、ステップＳ２２１で補正された大動脈基部の領域に基づいて、医用画像データにおける大動脈基部の領域の周囲のみを切り取り、切り取った領域に対してセグメンテーション処理を実行することで、大動脈弁尖の領域を抽出する。

例えば、制御部１０は、第１の処理機能１００により、セグメンテーション処理を実行することで、右冠尖（Right Coronary Cusp：ＲＣＣ）、左冠尖（Left Coronary Cusp：ＬＣＣ）、無冠尖（Non Coronary Cusp：ＮＣＣ）の各領域を抽出する。

例えば、制御部１０は、第１の処理機能１００により、深層学習ニューラルネットワークを利用して、セグメンテーション処理を実行する。この深層学習ニューラルネットワークの入力は、例えば、心臓の医用画像データにおける大動脈基部の領域の周囲のみが切り取られた画像であり、出力は、例えば、右冠尖、左冠尖、無冠尖の各領域に対応する画素の座標群である。ここで、深層学習ニューラルネットワークとしては、例えば、ｎｎＵＮｅｔフレームワークに基づくＵＮｅｔベースの処理を用いることができる。

続いて、ステップＳ２２２において、制御部１０は、第２の処理機能２００により、ステップＳ１２２、Ｓ１２４で実行されたセグメンテーション処理の処理結果、及び、ステップＳ１２３で実行されたランドマーク検出処理の処理結果に対して補正処理を実行する。

具体的には、制御部１０は、第２の処理機能２００により、ステップＳ１２２で抽出された大動脈基部の領域、ステップＳ１２４で抽出された大動脈弁尖の領域、ステップＳ１２３で検出されたランドマークの位置を画像処理によって補正する補正処理を行う。なお、この補正処理は、セグメンテーション処理及びランドマーク検出処理の処理結果が後続の処理、例えば、計測処理により適するようにするためのものであり、本実施形態において必須の処理ではない。

続いて、ステップＳ６００において、制御部１０は、セグメンテーション処理の処理結果及びランドマーク検出処理の処理結果に基づいて、形態学的計測を実行する。

具体的には、制御部１０は、ステップＳ２２２で修正された大動脈基部の領域、大動脈弁尖の領域、ランドマークの位置に基づいて、上述した実施形態と同様に、形態学的計測を実行する。

なお、上述した例では、ステップＳ１２１において、医用画像データに対してセグメンテーション処理を実行した後に、ステップＳ１２２において、空間的に処理の範囲を絞り込むように調整されたセグメンテーション処理を１回実行することとしたが、本実施形態はこれに限られない。例えば、制御部１０は、ステップＳ１２２において、順次、直前に実行されたセグメンテーション処理の処理結果に対して、空間的に処理の範囲を絞り込むように調整しながら、セグメンテーション処理を複数回実行してもよい。これにより、より精度の高い形態学的計測結果を得られるようになる。

なお、上述した例では、ステップＳ１２３及びＳ１２４において、ランドマーク検出処理及びセグメンテーション処理をそれぞれ１回実行することとしたが、本実施形態はこれに限られない。例えば、制御部１０は、第１の処理機能１００により、ランドマーク検出処理及び空間的に更に絞り込まれた範囲に対するセグメンテーション処理を順次に繰り返し実行することにより、大動脈弁尖の領域を抽出してもよい。これにより、より精度が高い形態学的計測結果を得られるようになる。

また、上述した例では、ステップＳ１２３におけるランドマーク処理によって、左冠尖最下点、右冠尖最下点、無冠尖最下点、無冠尖－左冠尖の交連点、右冠尖－左冠尖の交連点、無冠尖－右冠尖の交連点、右冠動脈入口点、左冠動脈入口点の八つの特徴点をそれぞれランドマークとして検出することとしたが、本実施形態はこれに限られない。例えば、ステップＳ１２３では、必ずしもこれらの八つの特徴点の全てがランドマークとして検出されなくてもよく、少なくとも、後続のセグメンテーション処理及び計測に必要な特徴点がランドマークとして検出されればよい。すなわち、制御部１０は、第１の処理機能１００により、ランドマーク検出処理を実行することで、左冠尖最下点、右冠尖最下点、無冠尖最下点、無冠尖－左冠尖の交連点、右冠尖－左冠尖の交連点、無冠尖－右冠尖の交連点、右冠動脈入口点、左冠動脈入口点のうちの少なくとも一つをランドマークとして検出してもよい。

また、上述した例では、ステップＳ１２１、Ｓ１２２及びＳ１２４におけるセグメンテーション処理によって、大動脈基部、右冠尖、左冠尖、無冠尖の各領域を抽出することとしたが、本実施形態はこれに限られない。例えば、ステップＳ１２１、Ｓ１２２及びＳ１２４では、必ずしもこれらの四つの領域の全てが抽出されなくてもよく、少なくとも、後続のセグメンテーション処理及び計測に必要な領域が抽出されればよい。すなわち、制御部１０は、第１の処理機能１００により、セグメンテーション処理を実行することで、大動脈基部、右冠尖、左冠尖、無冠尖のうちの少なくとも一つの領域を抽出してもよい。

また、上述した例では、対象領域が大動脈弁である場合の例を説明したが、本実施形態はこれに限られるものではなく、例えば、僧帽弁、三尖弁、肺動脈弁のように他の心臓弁を対象領域とする場合でも同様に適用することが可能である。さらに、本実施形態は、例えば、肺等のように、心臓弁以外を対象領域とする場合でも同様に適用することが可能である。

また、上述した例では、第２の種類の処理が、ランドマーク検出処理であり、第１の種類の処理が、セグメンテーション処理であることとしたが、本実施形態はこれに限られない。例えば、第３の実施形態と同様に、対象領域が僧帽弁である場合に、第２の種類の処理は、血流推定処理であり、第１の種類の処理は、左心室や僧帽弁のセグメンテーション処理であってもよい。

上述したように、第５の実施形態に係る医用画像処理装置１によれば、第１の種類の処理を、空間的に処理の範囲を絞り込むように調整しながら複数回実行した後に、その処理結果に基づいて、第１の種類とは異なる第２の種類の処理を実行し、当該第２の種類の処理の処理結果に基づいて、空間的に処理の範囲をさらに絞り込むように調整された第１の種類の処理を実行することによって、精確な形態学的情報を粗から精へ段階的に生成することができ、特に、心臓弁のような複雑な対象、及び、心臓弁の石灰化の形態構造及び不完全な形態構造等の複雑な状況において、より良好な性能が得られる。したがって、第５の実施形態によれば、より精確な形態学的計測結果を得ることができる。

なお、上述した実施形態で説明した画像処理、ランドマーク検出、セグメンテーション、深層学習ニューラルネットワークのトレーニング及び推論等は、いずれも従来技術の方法で実現することができるため、ここでは詳細な説明を省略する。

また、上述した第１～第４の実施形態は、対象の空間的な位置の特定を目的として記載したが、本願が開示する技術はこれに限らず、時間情報の特定や濃度情報の特定に用いられてもよい。例えば、特定の心位相を特定する際には、第１の処理として、弁の動きに基づいてターゲット位相を特定する処理と、血流の状態に基づいてターゲット位相を特定する処理とを実行してもよい。

また、上述した第５の実施形態についても、対象の空間的な位置の特定を目的として記載したが、本願が開示する技術はこれに限らず、時間情報の特定や濃度情報の特定に用いられてもよい。例えば、特定の心位相を特定する際には、第１の種類の処理として、弁の動きに基づいてターゲット位相を特定する処理を実行し、第２の種類の処理として、血流の状態に基づいてターゲット位相を特定する処理を実行してもよい。

なお、上述した実施形態で説明した制御部１０は、例えば、プロセッサにより実現される。その場合に、制御部１０が有する処理機能は、例えば、コンピュータによって実行可能なプログラムの形態でメモリ２０に記憶される。そして、制御部１０は、メモリ２０に記憶された各プログラムを読み出して実行することにより、各プログラムに対応する処理機能を実現する。換言すると、制御部１０は、各プログラムを読み出した状態で、図１に示す各処理機能を有することとなる。

また、上述した実施形態で説明した制御部１０は、単一のプロセッサによって実現されるものに限られず、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものであってもよい。また、制御部１０が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、制御部１０が有する各処理機能は、回路等のハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一のメモリ２０に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数のメモリに分散して記憶され、制御部１０が、各メモリから各プログラムを読み出して実行する構成としても構わない。

なお、本願が開示する技術は、上述した医用画像処理装置として実現されてもよいし、医用画像処理方法、医用画像処理プログラムとして実現されてもよい。

また、本願に係る医用画像処理装置は、医用画像診断装置に組み込まれてもよいし、医用画像処理装置が単独で処理を実行してもよい。かかる場合には、医用画像処理装置は、上述した第１の処理機能、第２の処理機能及パラメータ設定機能と同様の処理を実行する処理回路と、各機能に対応するプログラムや各種の情報等を記憶するメモリとを有する。そして、処理回路は、ネットワークを経由して、超音波診断装置等の医用画像診断装置或いは画像保管装置から、３次元の医用画像データを取得し、取得した医用画像データを用いて上述した処理を実行する。ここで、処理回路は、例えば、メモリからプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。

また、本明細書で用いられている「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、プロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

また、上記の実施形態の説明で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上述した実施形態で説明した処理方法は、あらかじめ用意された処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この処理プログラムは、例えば、インターネット等のネットワークを介して配布されてもよい。また、この処理プログラムは、例えば、ハードディスク、フレキシブルディスク（Flexible Disk：ＦＤ）、ＣＤ（Compact Disk）－ＲＯＭ（Read Only Memory）、ＭＯ（Magnetooptic Disk）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードメモリ等のＦｌａｓｈメモリ等のコンピュータ読み取り可能な非一時的な記録媒体に記録され、コンピュータによって非一時的な記録媒体から読み出されることによって実行されてもよい。

また、上述した実施形態で説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

なお、本明細書において扱う各種データは、典型的にはデジタルデータである。

以上説明した少なくとも一つの実施形態によれば、より精確な形態学的計測結果を得ることができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

以上の実施形態に関し、発明の一側面及び選択的な特徴として以下の付記を開示する。

（付記１）
医用画像データに対して第１の種類の処理を実行し、
前記第１の種類の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に前記第１の種類の処理を実行し、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理の処理結果に対して前記第１の種類と異なる第２の種類の処理を実行し、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理結果及び前記第２の種類の処理の処理結果に基づいて空間的に更に絞り込まれた範囲に対して更に前記第１の種類の処理を実行することにより、対象領域を抽出する
制御部を備える、医用画像処理装置。
（付記２）
前記第１の種類の処理は、セグメンテーション処理であり、
前記第２の種類の処理は、ランドマーク検出処理であってもよい。
（付記３）
前記制御部は、深層学習ニューラルネットワークを利用して、前記ランドマーク検出処理及び前記セグメンテーション処理を実行してもよい。
（付記４）
前記制御部は、
前記第２の種類の処理を実行する前に、前記空間的に絞り込まれた範囲に対する前記第１の種類の処理の処理結果に対して補正処理を実行してもよい。
（付記５）
前記医用画像データは、心臓の医用画像データであり、
前記対象領域は、心臓弁であってもよい。
（付記６）
前記対象領域は、大動脈弁であり、
前記制御部は、
前記セグメンテーション処理を実行することで、大動脈基部、右冠尖、左冠尖、無冠尖のうちの少なくとも一つの領域を抽出し、
前記ランドマーク検出処理を実行することで、左冠尖最下点、右冠尖最下点、無冠尖最下点、無冠尖－左冠尖の交連点、右冠尖－左冠尖の交連点、無冠尖－右冠尖の交連点、右冠動脈入口点、左冠動脈入口点のうちの少なくとも一つをランドマークとして検出してもよい。
（付記７）
前記制御部は、前記第２の種類の処理及び前記空間的に更に絞り込まれた範囲に対する前記第１の種類の処理を順次に繰り返し実行することにより、前記対象領域を抽出してもよい。
（付記８）
制御部が、
医用画像データに対して第１の種類の処理を実行するステップと、
前記第１の種類の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に前記第１の種類の処理を実行するステップと、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理の処理結果に対して前記第１の種類と異なる第２の種類の処理を実行するステップと、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理結果及び前記第２の種類の処理の処理結果に基づいて空間的に更に絞り込まれた範囲に対して更に前記第１の種類の処理を実行することにより、対象領域を抽出するステップと
を含む、医用画像処理方法。
（付記９）
医用画像データに対して第１の種類の処理を実行するする手順と、
前記第１の種類の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に前記第１の種類の処理を実行する手順と、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理の処理結果に対して前記第１の種類と異なる第２の種類の処理を実行する手順と、
前記空間的に絞り込まれた範囲に対する前記第１の種類の処理結果及び前記第２の種類の処理の処理結果に基づいて空間的に更に絞り込まれた範囲に対して更に前記第１の種類の処理を実行することにより、対象領域を抽出する手順と
をコンピュータに実行させる、医用画像処理プログラム。
（付記１０）
医用画像データに対して第１の種類の処理を実行し、
前記第１の種類の処理の処理結果に基づいて絞り込まれた範囲に対して更に前記第１の種類の処理を実行し、
前記絞り込まれた範囲に対する前記第１の種類の処理の処理結果に対して前記第１の種類と異なる第２の種類の処理を実行し、
前記絞り込まれた範囲に対する前記第１の種類の処理結果及び前記第２の種類の処理の処理結果に基づいて更に絞り込まれた範囲に対して更に前記第１の種類の処理を実行することにより、対象領域を抽出する
制御部を備える、医用画像処理装置。

１ 医用画像処理装置
１０ 制御部
１００ 第１の処理機能
２００ 第２の処理機能

Claims (14)

1. 医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行し、
   前記第１の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の処理を実行する
   制御部を備える、医用画像処理装置。
2. 前記制御部は、
   前記医用画像データに対する前記第１の処理を実行した後に、当該第１の処理の処理結果に対して第２の処理を実行し、
   前記第２の処理の処理結果に対して、前記空間的に絞り込まれた範囲に対する前記第１の処理を実行し、当該第１の処理の処理結果に基づいて、前記医用画像データにおける対象領域を表す画像を取得する、
   請求項１に記載の医用画像処理装置。
3. 前記空間的に絞り込まれた範囲に対する前記第１の処理における前記異なる種類の処理の処理順序は、前記医用画像データに対する前記第１の処理における前記異なる種類の処理の処理順序と同じである、
   請求項１又は２に記載の医用画像処理装置。
4. 前記制御部は、
   前記第１の処理として、前記医用画像データに対してランドマーク検出処理を実行し、前記ランドマーク検出処理の処理結果に基づいて、前記対象領域のセグメンテーション処理を実行し、
   前記第２の処理として、前記第１の処理の処理結果に対して情報増強処理を実行する、 請求項２に記載の医用画像処理装置。
5. 前記制御部は、前記空間的に絞り込まれた範囲に対する前記第１の処理を実行した後に、さらに、前記第２の処理及び前記空間的に絞り込まれた範囲に対する前記第１の処理を順次に繰り返し実行することにより、前記対象領域を表す画像を取得する、
   請求項２に記載の医用画像処理装置。
6. 前記制御部は、さらに、前記対象領域を表す画像に対して修正処理を実行する、
   請求項２に記載の医用画像処理装置。
7. 前記制御部は、ＲＯＩ（region of interest：関心領域）の面積制限、幾何学的変換、幾何学的制約、グレースケール情報による制約、形態学的制約の少なくとも一つを行うことにより、前記情報増強処理を実行する、
   請求項４に記載の医用画像処理装置。
8. 前記制御部は、深層学習ニューラルネットワークを利用して、前記ランドマーク検出処理及び前記セグメンテーション処理を実行する、
   請求項４に記載の医用画像処理装置。
9. 前記制御部は、前記ランドマーク検出処理の処理結果に基づいて、前記医用画像データに対して強化処理を実行した後に、前記セグメンテーション処理を実行し、
   前記強化処理は、
   前記ランドマーク検出処理によって検出されたランドマークに基づいて、前記医用画像データに対してクロッピング処理を実行すること、
   前記ランドマーク検出処理によって検出されたランドマークのヒートマップを、チャネルとして前記深層学習ニューラルネットワークに入力すること、
   前記ランドマーク検出処理により検出されたランドマークのヒートマップを、前記深層学習ニューラルネットワークの損失関数とすること
   の少なくとも一つを含む、
   請求項８に記載の医用画像処理装置。
10. 前記医用画像データは、心臓の医用画像データであり、
    前記対象領域は、心臓弁である、
    請求項４に記載の医用画像処理装置。
11. 前記対象領域は、大動脈弁であり、
    前記ランドマーク検出処理は、左冠尖最下点、右冠尖最下点、無冠尖最下点、無冠尖－左冠尖の交連点、右冠尖－左冠尖の交連点、無冠尖－右冠尖の交連点、右冠動脈入口点、左冠動脈入口点のうちの少なくとも一つをランドマークとして検出する、
    請求項１０に記載の医用画像処理装置。
12. 制御部が、
    医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行するステップと、
    前記第１の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の処理を実行するステップと
    を含む、医用画像処理方法。
13. 医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行する手順と、
    前記第１の処理の処理結果に基づいて空間的に絞り込まれた範囲に対して更に第１の処理を実行する手順と
    をコンピュータに実行させる、医用画像処理プログラム。
14. 医用画像データに対して少なくとも二つの異なる種類の処理を含む第１の処理を実行し、
    前記第１の処理の処理結果に基づいて絞り込まれた範囲に対して更に第１の処理を実行する
    制御部を備える、医用画像処理装置。

Images