JP2019088458A

JP2019088458A - 画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置

Info

Publication number: JP2019088458A
Application number: JP2017219130A
Authority: JP
Inventors: 佩菲朱; Peifei ZHU; 子盛黎; Zisheng Li
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-11-14
Filing date: 2017-11-14
Publication date: 2019-06-13
Anticipated expiration: 2037-11-14
Also published as: JP6872470B2; WO2019097778A1

Abstract

【課題】医用画像において、診断対象臓器を示す領域の輪郭を、当該輪郭が特異な形状であっても、自動的かつ高精度に抽出する。【解決手段】診断対象を描画した医用画像を入力する画像入力部と、診断対象の全体の輪郭を示す複数の全体輪郭パターンと、診断対象の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶した記憶部と、診断対象に対して複数の全体輪郭パターンから診断対象の形状に最も近似した全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定部と、診断対象の輪郭を示す特徴量を算出する特徴量算出部と、初期輪郭と診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を分割した複数の局所輪郭について、特徴量を用いて局所輪郭パターンとのパターンマッチングを行って、全体輪郭を段階的に修正することにより、対象領域の輪郭線を抽出する輪郭線抽出部と、を備える画像処理装置を提供する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置に係り、特に、被検体内の組織を表す画像から対象領域の輪郭線を抽出する画像処理装置、画像処理方法、画像処理プログラム及び超音波撮像装置に関する。

従来より、被検体に対して超音波を送受波することにより得られた受信信号に基づいて超音波画像を取得する超音波診断装置が知られている。超音波診断装置は、被検体が人体である場合に、開腹等の外科手術の必要がなく被験体の内部組織を安全に観測できることから、医療分野において広く用いられている。
例えば、超音波診断装置によって、心臓を診断する際に、心臓のポンプ機能や局所の壁運動を評価することがある。具体的には、超音波診断装置によって取得する心臓の拡張末期像及び収縮末期像において、左心室の内壁輪郭を抽出し、各々の時相で得られた輪郭情報から面積値や容積値を算出し、その値から心臓のポンプ機能を評価する。また、局所壁運動の解析には、拡張末期における輪郭と収縮末期における輪郭を重ね合わせてセンターライン法などにより局所の壁運動を定量的に評価する。

このような評価を行う場合に、超音波画像上において心臓内壁の輪郭線を抽出する必要がある。輪郭線の抽出に際して、検査者が手動で内壁の輪郭を指定すると、非常に煩雑である上に、検査者の熟練度によっては診断結果に差異が生じてしまう。そこで、超音波画像から自動的に輪郭を抽出する技術が提案されている。

例えば、特許文献１には、輪郭探索点として機能する複数のノード（頂点）からなるノード列を含む輪郭探索用の輪郭モデルを適用して、Ｍモード画像における抽出対象の輪郭を抽出する超音波画像処理装置が開示されている。具体的には、Ｍモード画像において抽出対象を含む画像部分を特定し、特定した画像部分に対して初期の輪郭モデルを初期設定し、初期設定後のノード列に含まれるノード毎に輪郭探索を行ってノード列を輪郭部分にフィッティングさせて修正輪郭モデルを形成することにより輪郭を抽出している。

より詳しくは、予め記憶された輪郭モデルに対して、抽出対象の時間軸方向の長さに応じて時間軸方向のサイズを調整し、サイズ調整後の輪郭モデルを配置することで初期輪郭を設定し、初期設定後の輪郭に含まれる頂点であるノード毎にエッジ探索を行うことにより、抽出対象の輪郭にフィッティングさせて修正輪郭モデルを形成する。このように、特許文献１の超音波画像処理装置では、予め作成した輪郭モデルを用い、この輪郭モデルを回転や拡大縮小し、エッジ検出がされた位置にアライメントすることで輪郭が抽出される。そして、このようなエッジ探索および輪郭モデルを用いたフィッティングを繰り返して、抽出された輪郭の精度を向上させ、最終的に輪郭を抽出している。

また、特許文献２には、胸部放射線画像データから生成した胸部縮小画像データに基づいて心胸郭の第１粗輪郭を取得し、固定テンプレートと弾性テンプレートを用いて第１粗輪郭を分割して第１粗部分輪郭を取得し、得られた第１粗部分輪郭毎に粗修正を加え第２粗部分輪郭を取得し、放射線画像データ上で微調整を加え精部分輪郭を取得し、精部分輪郭を統合して心胸郭の輪郭として検出する心胸輪郭検出装置が開示されている。特許文献２の心胸輪郭検出装置では、粗部分輪郭取得後に、精部分輪郭を取得することで輪郭の抽出精度を向上させている。

特開２０１６−０４１１１６号公報特開２００３−００６６６１号公報

しかしながら、特許文献１の輪郭モデルは、抽出対象の全ての頂点を含む全体輪郭という一種類のパターンしか存在しないため、このパターンを変形させて得られる輪郭が限られている。このため、特許文献１の超音波画像処理装置では、疾患がある心臓や形が異常である心臓を必ずしも抽出することができない場合がある。また、超音波画像には局所不明瞭やノイズが多く、特許文献１の超音波画像処理装置では、局所不明瞭やノイズに対してロバストな特徴量抽出を行うことが困難である。

また、特許文献２の心胸輪郭検出装置において用いられる固定テンプレート及び弾性テンプレートは、関数に基づいたものであり、入力画像に対して関数のパラメータを解くことで輪郭をフィッティングする。固定テンプレート及び弾性テンプレートに用いられる関数のパラメータ個数が限られていることから、その関数による変形も限られてしまい、多様な疾患症例に対応することができない。

本発明は上記実情に鑑みてなされたものであり、医用画像において、診断対象臓器を示す領域の輪郭を、当該輪郭が特異な形状であっても、自動的かつ高精度に抽出することを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明は、診断対象の領域を描画した医用画像を入力する画像入力部と、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンと、前記診断対象の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶した記憶部と、前記医用画像の前記診断対象に対して、複数の前記全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定部と、前記診断対象の輪郭を示す特徴量を算出する特徴量算出部と、前記初期輪郭と前記診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、前記特徴量を用いて前記局所輪郭パターンとのパターンマッチングを行って、前記全体輪郭を段階的に修正することにより、前記対象領域の輪郭線を抽出する輪郭線抽出部と、を備える画像処理装置を提供する。

本発明によれば、医用画像において、診断対象臓器を示す領域の輪郭を、当該輪郭が特異な形状であっても、自動的かつ高精度に抽出することができる。

本発明の第１の実施形態に係る超音波撮像装置の概略構成を示すブロック図である。本発明の第１の実施形態に係る超音波撮像装置に適用される画像処理装置の概略構成を示すブロック図である。本発明の第１の実施形態に係る超音波撮像装置における輪郭線抽出処理の流れを示すフローチャートである。本発明の第１の実施形態に係る超音波撮像装置における輪郭線抽出処理において、段階的なパターンマッチングを行う場合の流れを示す参考図である。本発明の第１の実施形態に係る超音波撮像装置における輪郭線抽出処理において、段階的なパターンマッチングを行う場合の流れを示す参考図である。本発明の第１の実施形態に係る超音波撮像装置における輪郭線抽出処理において、全体輪郭から局所輪郭へ分割する手法の例を示す参考図であり、（Ａ）は、解剖学的な意味に基づいた方法について、（Ｂ）は、均等に分割する方法についての参考図である。本発明の第１の実施形態に係る超音波撮像装置における輪郭線抽出処理において、第一段階の処理で得られた全体輪郭から、第２段階の局所輪郭を選択してパターンマッチングを行う際の一例を示す参考図である。本発明の第１の実施形態に係る超音波撮像装置において、抽出された輪郭線をディスプレイ１６に表示したＵＩ１２１の一例を示す画面例である。本発明の第２の実施形態に係る超音波撮像装置における輪郭線抽出処理の流れを示すフローチャートである。本発明の第２の実施形態に係る超音波撮像装置において、手動調整による初期輪郭変形を説明する参考図である。本発明の第２の実施形態に係る超音波撮像装置において、抽出された輪郭線に対して、形状パラメータ調整を可能とするＵＩ１２１の一例を示す画面例である。本発明の第３の実施形態に係る超音波撮像装置において、抽出された輪郭線に対して、点ごと修正または連動修正による輪郭変形を可能とするＵＩ１２１の一例を示す画面例である。

本発明の実施形態に係る画像処理装置は、診断対象の領域を描画した医用画像を入力する画像入力部と、診断対象の全体の輪郭を示す複数の全体輪郭パターンと、診断対象の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶した記憶部と、医用画像の診断対象に対して、複数の全体輪郭パターンから、診断対象の形状に最も近似した全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定部と、診断対象の輪郭を示す特徴量を算出する特徴量算出部と、初期輪郭と診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、特徴量を用いて局所輪郭パターンとのパターンマッチングを行って、全体輪郭を段階的に修正することにより、対象領域の輪郭線を抽出する輪郭線抽出部と、を備えている。

以下、より詳細に本発明の実施形態について、図面を参照してより詳細に説明する。
（第１の実施形態）
本実施形態に係る画像処理装置は、超音波画像において診断対象臓器の輪郭を抽出するものであり、以下、画像処理装置を超音波撮像装置に適用した例について説明する。

図１に示すように、超音波撮像装置１００は、超音波探触子７、送受切替部１０１、送信部１０２、受信部１０５、画像生成部１０７、画像処理装置１０８、制御部１０６、及びＵＩ（ユーザインタフェース）１２１を備えている。

超音波探触子７は、複数の超音波素子を有し、被検体１２０に対して送信部から送信され送受切替部１０１を介して送信された超音波を送信すると共に、被検体１２０からの超音波を受信して、送受切替部１０１を介して受信部１０５に出力する。
送受切替部１０１は、制御部１０６に指示に従って送信部１０２または受信部１０５を選択的に超音波探触子７に接続させ、超音波探触子７による超音波の送受を切り替える。
送信部１０２は、制御部１０６からの指示に従って、超音波探触子７の各超音波素子に、送受切替部１０１を介して送信信号を出力する。
受信部１０５は、制御部１０５からの指示に従って、超音波探触子７からの受信信号を、送受切替部１０１を介して受信し、受信焦点の位置に応じた所定の遅延量で遅延させた後加算、すなわち整相加算し、整相加算後の信号を画像生成部１０７に出力する。
画像生成部１０７は、受信部１０５から受信した整相加算後の信号を受信焦点に対応する位置に並べる等の処理を行い、ボリュームデータとして超音波画像を生成する。

画像処理装置１０８は、画像生成部１０７により生成された超音波画像に係る超音波のボリュームデータを被検体の三次元情報として受け取り、これを処理する。また、画像処理装置１０８は、画像生成部１０７により生成された超音波画像において診断対象の臓器の輪郭を抽出する。画像処理装置１０８の構成の詳細及び画像処理装置１０８における診断対象としての臓器の輪郭抽出については、後述する。

ＵＩ１２１は、ユーザによる入力を受け付け、ユーザから入力された指示を制御部１０６に出力する。また、ＵＩ１２１には、入力部１３、ディスプレイ１６が含まれる。入力部１３は、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを適用することができ、ユーザからの操作を受け付ける。入力部１３が受け付けた操作指示は、画像処理装置１０８によって処理される。ディスプレイ１６は、画像処理装置１０８よって処理された所定の画像を表示する。

（画像処理装置の構成）
画像処理装置１０８は、図２に示すように、中央処理部（ＣＰＵ）１、不揮発性メモリ（ＲＯＭ）２、揮発性メモリ（ＲＡＭ）３、及び記憶部４を備えている。画像処理装置１０８は、画像生成部１０７により生成された超音波画像において診断対象としての臓器の輪郭を抽出する。

記憶部４は、輪郭を抽出するに際して必要となる各種データを記憶している。具体的には、診断対象である臓器の全体の輪郭を示す複数の全体輪郭パターンと、診断対象である臓器の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶している。また、記憶部４は、後述する特徴量算出部３１が、超音波画像上の診断対象の輪郭を示す特徴量を算出する際に必要となる情報を記憶している。

超音波画像において診断対処の臓器の輪郭を抽出するために、ＣＰＵ１は、初期輪郭設定部３０、特徴量算出部３１及び輪郭線抽出部３２の機能を実現する。これらのＣＰＵ１に含まれる各部の機能は、ＣＰＵ１が予めＲＯＭ２等のメモリに格納されたプログラムを読み込んで実行することによりソフトウエアとして実現することができる。また、ＣＰＵ１に含まれる各部が実行する動作の一部又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）により実現することもできる。

初期輪郭設定部３０は、医用画像としての超音波画像における診断対象の臓器に対して、記憶部４に記憶された複数の全体輪郭パターンから、診断対象の臓器の形状に最も近似した全体輪郭パターンを適用して初期輪郭を設定する。具体的には、初期輪郭設定部３０は、画像生成部１０７から入力された超音波画像から、診断対象の臓器に対して、当該臓器の特徴を表す特徴点を検出して、この特徴点を含み、超音波画像上の臓器に最も近似した全体輪郭パターンを記憶部４から選択する。

ここで、特徴点とは、診断対象の臓器において、解剖学的に特徴が表れやすいとして人為的に設定した点であり、例えば診断対象の臓器が心臓である場合には、弁輪や芯尖を特徴点として定めることが好ましい。そして、初期輪郭設定部３０は、選択された全体輪郭パターンを超音波画像に適用し、適用した全体輪郭パターンを移動又は回転させる等して、診断対象の臓器にできるだけ近づけるように配置することにより初期輪郭を設定する。

特徴量算出部３１は、超音波画像上の診断対象の輪郭を示す特徴量を算出する。ここで、特徴量とは、例えば、超音波画像に対して所定のフィルタ処理を行うこと等により得られる診断対象のエッジ等の、診断対象の領域を示す情報である。

本実施形態では、輪郭線抽出部３２においてRandom Forest等のSupport Vector Machine(SVM)を適用し、特徴量算出部３１によって算出された特徴量を分類することによりパターンマッチングを行う。そこで、特徴量算出部３１は、輪郭線抽出部３２において定められる超音波画像上の関心領域において、予め選択された複数の画素対について、それらの輝度値の差を特徴量として夫々算出する。

輪郭線抽出部３２は、先ずは、初期輪郭と診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得する。続いて、得られた全体輪郭を複数の局所輪郭に分割し、これら各局所輪郭について、特徴量を用いて局所輪郭パターンとのパターンマッチングを行う。必要に応じて、各局所輪郭をさらに分割し、分割されたさらに小さい局所領域毎に、パターンマッチングを行う。このようにして、全体輪郭を段階的に修正して、対象領域の輪郭線を抽出する。なお、輪郭とは、診断対象の臓器を示す領域と背景領域との境界線に含まれる頂点の集合であり、輪郭線とは、これらの頂点を結んだ線をいう。また輪郭線抽出部３２は、パターンマッチングを行う毎に、当該パターンマッチングを行う全体輪郭又は局所輪郭が含まれるように関心領域を設定する。

特に本実施形態において、輪郭線抽出部３２は、超音波画像を原画像として、この超音波画像から得られる解像度を異ならせた複数の画像と記憶部４に記憶された複数の全体輪郭パターン及び局所輪郭パターンとを用いてｎ段階（ｎは２以上の整数）に亘ってパターンマッチングを行い、段階的に初期輪郭を変形させて最終的に輪郭線を抽出する。

このように構成された超音波撮像装置における輪郭線抽出処理について図３のフローチャートに従って説明する。ここでは、診断対象臓器である心臓を含む超音波画像について、ｎ段階のパターンマッチング処理を行って左心室内壁の輪郭線を抽出する例について説明する。
ステップＳ１１では、超音波撮像装置によって取得され画像生成部１０７によって生成された超音波画像が画像処理装置１０８に入力される。

次のステップＳ１２では、初期輪郭設定部３０が、入力された超音波画像における診断対象の左心室に対して、当該左心室の特徴を表す心尖等の特徴点を検出して、この特徴点を含み、超音波画像上の心臓の形状に最も近似した全体輪郭パターンを記憶部４から選択する。そして、初期輪郭設定部３０は、選択した全体輪郭パターンを超音波画像上で平行移動又は回転等させて、超音波画像上の左心室にできるだけ一致させるように配置し、これを初期輪郭として設定する。

次のステップＳ１３では、輪郭線中抽出部３２が、第１段階の処理として、原画像である超音波画像を縮小して得られた第１解像度画像７０１を用いて処理を行う（図４参照）。第１解像度画像７０１は、ｎ段階の処理を行う中で、解像度が最も低い画像である。輪郭線中抽出部３２は、図４に示すように、この第１解像度画像７０１に対して、診断対象である左心室の初期輪郭を包含するように第１関心領域７０４を設定する。

ステップＳ１４では、輪郭線抽出部３２は、第１段階の処理において、第１関心領域７０４に含まれる初期輪郭全体について、特徴量算出部３１から特徴量を取得してパターンマッチングを行い、左心室の向きやサイズなど全体の情報を抽出して初期輪郭を修正するように変形させた全体輪郭を取得する。

ステップＳ１５では、輪郭線抽出部３２は、次の第２段階の処理を開始する。輪郭線抽出部３２は、第２解像度画像７０２を生成し、これに第２関心領域７０５を設定する。第２段階の処理において用いる第２解像度画像７０２は、第１解像度画像より高解像度の画像である。第２解像度画像７０２において設定される第２関心領域７０５は、全体輪郭を複数の局所輪郭に分割して得られた複数の局所輪郭のうち、パターンマッチングを行うべき局所輪郭を含む局所領域である。輪郭線抽出部３２は、設定された第２関心領域７０５について特徴量算出部３１から特徴量を取得する。

そして、ステップＳ１６において、輪郭線抽出部３２は、第２関心領域７０５に含まれる局所輪郭と、記憶部４に記憶された局所輪郭パターンとのパターンマッチングを行う。各局所輪郭に対するパターンマッチングを行う順は適宜定めることができ、例えば、分割された局所輪郭と第２解像度画像における輪郭線との一致度が低い順にパターンマッチングを行うことが好ましい。

なお、ステップＳ１７及びステップＳ１８では、上記のように、全体輪郭を分割した局所輪郭についてパターンマッチングを行った後、さらに小さな局所輪郭についてパターンマッチングを行う等、パターンマッチングを行う領域を徐々に小さくした段階的な処理を必要に応じて繰り返し、第ｎ段階の処理まで行うことができる。この場合、第ｎ解像度の画像７０３は、解像度が最も高い原画像、つまり入力された超音波画像である。第ｎ段階の処理における第ｎ関心領域７０６は、直前の処理における局所輪郭よりもさらに小さい輪郭の一部が含まれるより小さな局所領域である。このような領域から細かい輪郭情報が抽出される。
ステップＳ１９では、段階的なパターンマッチング処理が終了して、最終的な全体輪郭を抽出して本処理を終了する。

（機械学習手法を適用した段階的パターンマッチング）
上述した輪郭線抽出部３２によるパターンマッチングには、種々の手法を適用することができる。本実施形態においては、Support Vector Machine(SVM)を適用して、特徴量としての複数の画素対の輝度値の差を分類することによりパターンマッチングを行う。以下、本実施形態におけるRandom Forestを適用したパターンマッチングについて説明する。

輪郭線抽出部３２によってRandom Forest等のSupport Vector Machine(SVM)を用いてパターンマッチングを行うために、記憶部４には、予め複数のデータから学習されて生成され、複数のクラスに分類された全体輪郭パターン及び局所輪郭パターンが記憶されている。また、記憶部４には、輪郭線抽出部３２において、特徴量を分類する際の基準となる決定木に関する情報が記憶されている。ここで、決定木は、特徴量を、全体輪郭パターン及び局所輪郭パターンが分類されているクラスの何れかに分類するように定められた分類パラメータである。したがって、ＣＰＵ１は、記憶部４に記憶された決定木を用いて分類を行うことにより、分類器として機能する。

図４及び図５に示すように、輪郭線抽出部３２により第１解像度画像７０１に対して設定された初期輪郭を用いて第１関心領域７０４を設定し、特徴量算出部３１により第１関心領域７０４において予め定められた複数の画素対について輝度値の差を特徴量として抽出する。続いて輪郭線抽出部３２は、記憶部４に記憶された決定木を用い、初期輪郭を、特徴量（輝度値の差）が最も類似する全体輪郭パターンが属するクラスに分類する。つまり、記憶部４に記憶された複数の全体輪郭パターン８０７からマッチングされた全体輪郭パターンを選択し、第１段階の全体輪郭８０８が抽出される。

つぎに、第２解像度画像７０２において、第１段階でえら得た全体輪郭８０８との誤差が最大となる領域を第２関心領域７０５とし、この第２関心領域７０５おいて予め定められた複数の画素対について特徴量を抽出する。第２関心領域７０５は、全体輪郭を複数に分割した局所輪郭であって、パターンマッチングを行うべき局所輪郭を中心とした領域であり、第１関心領域７０４より小さい領域である。

輪郭線抽出部３２は、第２関心領域７０５に対して、記憶部４に記憶された決定木を用い、第２関心領域７０５に含まれる分割された輪郭を、特徴量が最も類似する局所輪郭パターンが属するクラスに分類する。つまり、記憶部４に記憶された複数の局所輪郭パターン８１２からマッチングされた局所輪郭パターンを選択し、第２段階の全体輪郭８１３が抽出される。

局所輪郭８１３は、第１段階の全体輪郭８０８と比較して、第２関心領域７０５に含まれる局所輪郭の精度が向上している。同様の処理を繰り返えすことにより、第ｎ段階までの輪郭に対して段階的な変形を行うことができ、これによりって実際の輪郭線にフィッティングしていき、最終的に輪郭線を抽出することができる。

（全体輪郭から局所輪郭への分割について）
図６に、全体輪郭パターンおよび局所輪郭パターンの一例を示す。全体輪郭から局所輪郭へ分割する場合、図６（Ａ）に示すような解剖学的な意味に基づいた方法や、図５（Ｂ）に示すような均等に分割する方法などが考えられる。

図６（Ａ）に示す解剖学的な意味に基づいて分割する例は、全体輪郭５０３からまず左の領域５０４、上の領域５０５、右の領域５０６の三つの領域に分割し、これらの三つの領域を、左弁輪の領域５０７、左ミッドの領域５０８、左心尖の領域５０９、右心尖の領域５１０、右ミッドの領域５１１及び右弁輪の領域５１２の六つの領域に分割する。次の段階は、六つの領域からさらに細かく分割しても良いし、六つの領域をそのまま用いてパターンマッチングを行っても良い。

図６（Ｂ）に示す均等に分割する例は、全体輪郭５０３から均等に左の領域５１３と右の領域５１４二つの領域に分割し、さらに四つの領域、左下の領域５１７、左上の領域５１５、右上の領域５１６及び右下の領域５１８に分割する。なお、完全な均等でなくても、概ね均等であれば良い。
この他、例えば、全体輪郭を左右に分け、そして、左側の領域に対して、大雑把な変形を行い、右側の領域に対して、疾患によってより細かくパターンを分けるなどして局所輪郭毎の領域に分割することもできる。

（局所輪郭のパターンマッチングについて）
上述したパターンマッチングにおいて、特に局所輪郭におけるパターンマッチングの詳細について説明する。
図７に、第一段階の処理で得られた全体輪郭から、第２段階の局所輪郭を選択してパターンマッチングを行う一例について説明する。
まず、第１段階の処理で得られた全体輪郭を複数の局所輪郭に分割し、処理の対象を決定する。このため、第１段階の処理で得られた全体輪郭６０１を超音波画像上の実際の輪郭線である正解輪郭６０２と比較し、各輪郭に属する頂点の距離誤差ベクトル６０６を算出する。例えば、全体輪郭６０１を左の領域６０３、上の領域６０４と右の領域６０５の三つの領域に分割し、各領域に含まれる頂点の距離誤差の総和を算出し、誤差が最大である上の領域６０４が第２段階の処理対象として定まる。

パターンマッチングの対象として定められた上の領域６０４に対し、第２段階の決定木を適用し、第２関心領域に含まれる分割された局所輪郭を、特徴量が最も類似する局所輪郭パターンが属するクラスに分類する。分類されたクラスに対して、そのクラスに辿りついた局所輪郭パターンの局所輪郭差（第１段階の輪郭と正解輪郭の差）の平均を局所変形として記憶装置に保存する。保存した局所変形（第２段階の局所輪郭パターン）を用いて、上の領域６０４に含まれる輪郭を変形させていく。

このようにして抽出された輪郭線をディスプレイ１６に表示したＵＩ１２１の一例を図８に示す。ＵＩ１２１は、段階結果表示用ボタン８０１、段階結果修正用ボタン８０２、段階結果表示領域８０７及び段階結果修正領域８０６を備えている。段階結果の表示ボタン８０１を押下すると、第１段階の全体輪郭８０８、第２段階の処理で得られた局所輪郭８１３などが表示される。修正が必要であれば、対象輪郭を指定し、その輪郭が領域８０６に表示される。これらの各輪郭に対し、修正が必要である頂点をドラッグアンドドロップすることで輪郭が修正される。また、段階ｉ輪郭を修正すれば、段階ｉ＋１輪郭から段階ｎ輪郭までの連動修正を行うことができるようになっている。

このように本実施形態によれば、医用画像から得られた被検体の診断対象臓器を、予め記憶された複数の輪郭パターンの中から最適なものを選択してパターンマッチングさせ、かつ、局所領域に分割しながら段階的にパターンマッチングを繰り返すので、医用画像において、診断対象臓器を示す領域の輪郭を、当該輪郭が特異な形状であっても、自動的かつ高精度に抽出する。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本実施形態では、上述した第１の実施形態に係る画像処理装置における初期輪郭の設定において、設定された初期輪郭を画面上でユーザが確認して、必要に応じて、弁輪形状、心尖形状などの特定部位の輪郭について形状パラメータの調整による変形を行う。

図９は、心臓内壁輪郭を抽出する処理の流れを示すフローチャートである。ステップＳ１００１で診断対象の画像が入力され、ステップＳ１００２で初期輪郭が設定され、併せて初期輪郭を含むように関心領域自動的に決定される。この処理は図３におけるステップＳ１１及びステップＳ１２と同様の処理である。

初期輪郭は最終的に抽出される輪郭線の精度に大きな影響を及ぼすため、設定された初期輪郭のバラツキが大きい程、調整を行ってこれを修正することが好ましい。そこで、ステップＳ１００３において、ユーザがインタフェースの画面上に表示された初期輪郭を確認して、修正の要否を判定する。修正の必要があれば、特定部位の輪郭を手動調整によって変形させ、変形後ステップＳ１００５に進む。一方、修正の必要がないと判断されると、ステップＳ１００５に進む。

調整によって、適切な対象物の特定部位輪郭を抽出することが可能となる。ステップＳ１００５〜ステップＳ１０１１において、段階的にパターンマッチングを行い、対象臓器の輪郭を抽出し、ディスプレイ１６へ送信して対象輪郭を表示することができる。

ここで、手動調整による初期輪郭変形について説明する。図１０に示すように、形状１１０１は、平均形状と形状主成分ベクトルを含み、例えば以下の式１に示す関数で表される。

ここで、ｖ_１，ｖ_２，・・・，ｖ_ｎは形状の主成分ベクトルであり、ａ_１，ａ_２，・・・，ａ_ｎは主成分のベクトルに対するそれぞれの重み係数、すなわち主成分形状パラメータである。

この形状パラメータである重み係数の値の調整によって、結果として得られる変形形状１１０２の様子が変わってくる。例えば、ｖ_１，ｖ_２は心尖の形状に関する主成分ベクトルと仮定すれば、対応している重み係数ａ_１，ａ_２の調整によって、心尖の拡大縮小、回転および形状の変形をすることができる。心臓疾患の診断に対する重要となる特定部位、例えば、弁輪、心尖部などの形状と、形状パラメータである重み係数の関係を分析し、これらの重み係数の値を適切に調整することによって、適切な対象物の輪郭を抽出することが可能となる。

図１１に、ディスプレイ１６に表示される形状パラメータ調整用のＵＩ１２１の一例を図示した。ＵＩ１２１は、抽出された初期輪郭を表示する表示領域１１０４、形状パラメータ調整用のコントロールバー１１０５を備えている。ユーザが抽出された初期輪郭を画面上で確認して、修正の必要があれば、弁輪形状、心尖形状などの形状パラメータの調整による特定部位輪郭の変形を行う。すなわち、コントロールバー１１０５を調整すると、対応する弁輪の拡大縮小、回転および形状の変形などを行うことができる。

このように本実施形態によれば、抽出された初期輪郭を画面上でユーザが確認して、修正の必要があれば、弁輪形状、心尖形状などの特定部位の輪郭について形状パラメータの調整による変形を行うことができるので、より正確な初期輪郭を抽出し、最終結果も高精度になることが可能となる。

（第３の実施形態）
本発明の第３の実施形態に係る画像処理装置は、抽出された輪郭線において、ユーザが画面上で輪郭を確認して、必要に応じて、点ごとの修正、または、連動修正による特最終結果に対する変形を行うことができる。変形は、上述した第１及び第２の実施形態において得られた輪郭線抽出結果に対して行われるものである。

図１２に、点ごと修正または連動修正による輪郭変形の一例を示す。ＵＩ１２１は、抽出された輪郭を表示する表示領域１３０１、点ごと修正指示ボタン１３０２、連動修正指示ボタン１３０３を備えている。ユーザが自動抽出された輪郭を画面上で確認して、修正の必要があれば、点ごとの修正、または、連動修正方法を選択し、手動的に輪郭の修正を行う。

点ごとの修正１３０２では、ユーザがボタン１３０２を押下することにより、予め記憶された手動補正用プログラムがＣＰＵ１上で実行状態になり、表示領域１３０１に表示された輪郭の所望の頂点を、ユーザがマウスでドラッグアンドドロップするなどして変形することに応答し、所望の頂点を修正することが可能となる。

連動修正１３０３では、全輪郭連動修正１３０４、１/２輪郭連動１３０５、１/４輪郭連動と連動ＲＯＩ自動設定１３０７などのボタンを備える。全輪郭連動修正１３０４を選択すると、頂点一点をドラッグアンドドロップすると、全輪輪郭が連動して修正される。

全体輪郭の１/２輪郭連動１３０５または１/４輪郭連動を選択すると、頂点一点をドラッグアンドドロップすると、その点付近の１/２の領域または１/４の領域に含まれる頂点が連動して修正される。連動ＲＯＩ自動設定１３０７を選択すると、ユーザが連動の領域１３０８を設定し、頂点一点をドラッグアンドドロップすると、その領域１３０８に含まれる調整が連動して修正される。

本実施形態によれば、自動抽出された輪郭を画面上でユーザが確認して、修正の必要があれば、点ごと修正または連動修正による輪郭の修正を行うことができるので、より正確な最終輪郭を抽出し、より正確な診断をすることが可能となる。

１・・・ＣＰＵ、２・・・ＲＯＭ、３・・・ＲＡＭ、４・・・記憶部、７・・・超音波探触子、１３・・・入力部、１６・・・ディスプレイ、３０・・・初期輪郭設定部、３１・・・特徴量算出部、３２・・・輪郭線抽出部、１００・・・超音波撮像装置、１０１・・・送受切替部、１０２・・・送信部、１０５・・・受信部、１０６・・・制御部、１０７・・・画像生成部、１０８・・・画像処理装置、１２０・・・被検体、１２１・・・ユーザインタフェース（ＵＩ）

Claims

診断対象の領域を描画した医用画像を入力する画像入力部と、
前記診断対象の全体の輪郭を示す複数の全体輪郭パターンと、前記診断対象の局所の輪郭を示す複数の局所輪郭パターンとを予め記憶した記憶部と、
前記医用画像の前記診断対象に対して、複数の前記全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定部と、
前記診断対象の輪郭を示す特徴量を算出する特徴量算出部と、
前記初期輪郭と前記診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、前記特徴量を用いて前記局所輪郭パターンとのパターンマッチングを行って、前記全体輪郭を段階的に修正することにより、前記診断対象の輪郭線を抽出する輪郭線抽出部と、
を備える画像処理装置。
前記輪郭線抽出部が、前記局所輪郭パターンとのパターンマッチングを行った後に、各局所輪郭をさらに分割して夫々パターンマッチングを行うことにより前記全体輪郭を段階的に修正する請求項１記載の画像処理装置。
前記輪郭線抽出部が、前記医用画像を縮小した第１解像度画像を用いて全体輪郭を取得し、第１解像度画像よりも解像度の高い第２解像度画像を用いて各前記局所輪郭についてパターンマッチング繰り返すことにより前記診断対象の輪郭線を抽出する請求項１又は請求項２記載の画像処理装置。
前記輪郭線抽出部が、機械学習アルゴリズムを適用して、前記医用画像における前記診断対象と記憶部に記憶された前記全体輪郭パターン及び前記局所輪郭パターンとのパターンマッチングを行う請求項１乃至請求項３の何れか１項記載の画像処理装置。
前記輪郭線抽出部によって抽出される輪郭線を表示させる表示部を備えた請求項１乃至請求項４の何れか１項記載の画像処理装置。
前記輪郭線抽出部によって抽出された前記輪郭線に対し、ユーザによる手動調整を受け付ける入力部を備えた請求項１乃至請求項５の何れか１項記載の画像処理装置。
診断対象の領域を描画した医用画像を入力する画像入力ステップと、
前記医用画像の前記診断対象に対して、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定ステップと、
前記診断対象の輪郭を示す特徴量を算出する特徴量算出ステップと、
前記初期輪郭と前記診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、前記特徴量を用いて前記診断対象の局所の輪郭を示す複数の局所輪郭パターンとのパターンマッチングを行って、前記全体輪郭を段階的に修正することにより、前記診断対象の輪郭線を抽出する輪郭線抽出ステップと、
を備える画像処理方法。
診断対象の領域を描画した医用画像を入力する画像入力ステップと、
前記医用画像の前記診断対象に対して、前記診断対象の全体の輪郭を示す複数の全体輪郭パターンから、前記診断対象の形状に最も近似した前記全体輪郭パターンを適用して初期輪郭を設定する初期輪郭設定ステップと、
前記診断対象の輪郭を示す特徴量を算出する特徴量算出ステップと、
前記初期輪郭と前記診断対象の輪郭とのパターンマッチングを行って初期輪郭を修正した全体輪郭を取得し、該全体輪郭を複数の局所輪郭に分割し、各局所輪郭について、前記特徴量を用いて前記診断対象の局所の輪郭を示す複数の局所輪郭パターンとのパターンマッチングを行って、前記全体輪郭を段階的に修正することにより、前記診断対象の輪郭線を抽出する輪郭線抽出ステップと、をコンピュータに実行させる画像処理プログラム。
被検体に対して超音波を送信すると共に該被検体から戻る超音波を受信し、受信したデータに基づいて超音波画像を生成する画像生成部と、
請求項１乃至請求項６の何れか１項記載の画像処理装置と、を備え、
該画像処理装置が、前記画像生成部により生成された超音波画像から診断対象の輪郭線を抽出する超音波撮像装置。