JP2019115487A

JP2019115487A - 超音波撮像装置、画像処理装置、及び方法

Info

Publication number: JP2019115487A
Application number: JP2017251107A
Authority: JP
Inventors: 子盛黎; Zisheng Li
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-12-27
Filing date: 2017-12-27
Publication date: 2019-07-18
Anticipated expiration: 2037-12-27
Also published as: WO2019130636A1; JP6887942B2

Abstract

【課題】超音波探触子の走査が位置合わせに適切かどうかを判定し、超音波探触子走査を正確にガイドする。【解決手段】被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子の受信信号から超音波画像を生成するとともに、超音波画像から第１ボリュームデータを生成する画像生成部を含む超音波画像取得部２８と、超音波画像と、第１ボリュームデータと、被検体についての第２ボリュームデータを受け取って処理する画像処理装置を備え、画像処理装置は、超音波画像の臓器注目領域をピクセル単位で識別抽出する注目領域識別・抽出部２１と、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部３２とを備える。【選択図】図３

Description

本発明は、超音波撮像装置に係り、特に、撮像した超音波画像と他の撮像装置で撮像された同じ断面の画像で、被検体内の特徴部位を同時に表示する撮像技術に関する。

超音波撮像装置は、超音波を被検体に照射し、その反射信号により被検体内部の構造を画像化するため、無侵襲かつリアルタイムに患者を観察することが可能である。一方、Ｘ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置あるいはＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置などの他の医用画像撮像装置は、広範囲かつ高分解能で撮像することができるため、細かな病変や臓器の位置関係の把握が容易に行える。例えば肝臓癌などの腫瘍を、早期の段階でＭＲＩ画像やＸ線ＣＴ画像から見つけ出すことができる。

また、超音波探触子に位置センサを貼り付けてスキャン面の位置関係を算出し、医用画像診断装置で撮像した３次元診断用ボリュームデータから、超音波スキャン面の画像と対応する２次元（２Ｄ）画像を構築し、表示する画像診断システムも普及し始めている。

特許文献１には、血管情報を用いて、超音波３次元画像（ボリューム）とＭＲＩ３次元画像との位置合わせを行い、超音波スキャン面の画像と対応するＭＲＩ断面画像を構築する方法が記載されている。この技術では、超音波画像及びＭＲＩ画像を取得し、血管分岐の分岐点の周辺に複数の画像領域を設定し、画像領域ごとに画像の特徴を表す指標を算出し、比較対象となる組み合わせを変えながら分岐点類似度の算出を繰り返すことで同一の血管分岐であるとの判定を行い、位置合わせ用の幾何変換行列を推定する。その位置合わせの結果を用いて、ＭＲＩ画像を超音波画像に合わせて、対応した断面画像を生成して表示する。

特開２０１７−０１２３４１号公報

近年、被検体の手術中に腫瘍等の手術（熱的治療、あるいは外科的切除など）すべき領域を、術中超音波画像と、それに対応する高解像度のＭＲＩ画像やＣＴ画像とで確認すること、すなわち、術中超音波画像と高解像度モダリティ画像との位置合わせが望まれている。ただし、術中超音波と他のモダリティ画像の撮影方向が大きく異なるため、位置合わせの初期値推定が困難であり、適切な超音波探触子走査が位置合わせの成功に大きく影響する。しかし、位置合わせ用の超音波ボリュームの取得するための超音波探触子走査は、術者手技や患者状況に依存し、走査される範囲や部位は術者／患者によってばらつきが大きい。取得される術中超音波ボリュームが位置合わせに不適切な場合、位置合わせが失敗となり、超音波ボリュームを再撮影、位置合わせを再実行することとなるため、術者にとって手間がかかり、患者への負担も大きくなる。そこで、取得された超音波ボリューム、もしくは超音波探触子の走査が、位置合わせに適切かどうかを事前に判定し、超音波探触子走査を正確にガイドする機能が望ましい。

しかしながら、特許文献１の技術では、取得された超音波ボリュームとＭＲＩボリュームから、対応する血管分岐点を総当たりで探索するため、超音波探触子の走査領域や走査部位の識別ができない。また、血管が豊富に存在しない部位や血管が明瞭に撮像できない場合には、血管分岐の抽出、そして位置合わせが困難である。

本発明の目的は、超音波探触子の走査が、位置合わせに適切かどうかを判定し、超音波探触子走査を正確にガイドすることが可能な超音波撮像装置、画像処理装置、及び方法を提供することにある。

上記の目的を達成するため、本発明においては、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子の受信信号から超音波画像を生成する画像生成部と、超音波画像と、被検体についての第２ボリュームデータを処理する画像処理装置と、を備え、画像処理装置は、超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、超音波画像あるいは超音波画像から生成された第１ボリュームデータと、第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部とを含む超音波撮像装置を提供する。

また、上記の目的を達成するため、本発明においては、画像処理装置であって、超音波探触子から被検体に超音波を送信し、その受信信号から生成した超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、超音波画像あるいは超音波画像から生成された第１ボリュームデータと、被検体についての第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部とを含む画像処理装置を提供する。

さらに、上記の目的を達成するため、本発明においては、画像処理装置における画像処理方法であって、画像処理装置は、超音波探触子から被検体に超音波を送信し、その受信信号から生成した超音波画像の臓器注目領域を識別抽出し、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、超音波画像あるいは超音波画像から生成された第１ボリュームデータと、被検体についての第２ボリュームデータとの位置合わせに適切かどうかを判定する画像処理方法を提供する。

本発明によれば、超音波探触子の走査範囲と部位を識別抽出でき、位置合わせ対象となる臓器注目領域の位置や場所を特定できるため、超音波探触子の走査が、他の画像撮像装置のボリュームデータとの位置合わせに適切かどうかを判定できる。

実施例１に係る、超音波撮像装置の全体構成の一例を示すブロック図。実施例１に係る、超音波撮像装置のハードウェア構成の一例を示すブロック図。実施例１に係る、超音波撮像装置の画像処理装置の機能ブロック図。実施例１に係る、超音波撮像装置の画像処理装置の処理流れを示すフローチャート図。実施例１に係る、画像処理装置の注目領域の識別・抽出処理の流れを示すフローチャート図。実施例１に係る、注目領域における部位名称・臓器区域情報の一例を示す図。実施例１に係る、注目領域の識別・抽出する学習モデルを学習する処理の流れを示すフローチャート図。実施例１に係る、注目領域の領域候補の一例を示す図。実施例１に係る、注目領域の臓器区域情報の一例を示す図。実施例１に係る、注目領域の識別・抽出する学習モデルを学習する流れを示す説明図。実施例１に係る、超音波探触子走査が位置合わせに適切かどうかを判定する処理の流れを示すフローチャート図。実施例１に係る、各注目領域の臓器区域、部位名称、体積重み付けの一例を示すテーブル図。実施例２に係る、超音波撮像装置の全体構成の一例を示すブロック図。実施例２に係る、超音波撮像装置のハードウェア構成の一例を示すブロック図。実施例２に係る、超音波撮像装置の画像処理装置の機能ブロック図。実施例２に係る、超音波撮像装置の画像処理装置の処理流れを示すフローチャート図。実施例２に係る、画像処理装置の位置合わせ結果と注目領域抽出結果の表示の一例を示す説明図。実施例２に係る、画像処理装置の位置合わせ処理の流れを示すフローチャート図。実施例１に係る、超音波振動子の現在の走査区域と推奨する追加走査区域・方向の表示の一例を示す説明図。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部分には原則として同一の符号を付し、その繰り返しの説明は省略する。

実施例１は、被検体に超音波を送信し、被検体からの超音波を受信する超音波探触子と、超音波探触子の受信信号から超音波画像を生成する画像生成部と、超音波画像と、被検体についての第２ボリュームデータを処理する画像処理装置と、を備え、画像処理装置は、超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、超音波画像あるいは超音波画像から生成された第１ボリュームデータと、第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部とを含む超音波撮像装置、その画像処理装置、及びその画像処理方法の実施例である。

＜構成及び動作＞
以下、実施例１の超音波撮像装置の具体的な構成例について詳述する。図１は、実施例１に係る超音波撮像装置の全体構成の一例を示す。本実施例の超音波撮像装置は、超音波探触子７と、画像生成部１０７と、画像処理装置１０８とを備え、さらに、送信部１０２、送受切替部１０１、受信部１０５、ユーザインタフェース（ＵＩ）１２１、及び制御部１０６を備えて構成される。外付けのディスプレイ１６は、ユーザインタフェース（ＵＩ）１２１の一部としても良い。

送信部１０２は、制御部１０６の制御下で、送信信号を生成し、超音波プローブと呼ばれる超音波探触子７を構成する複数の超音波素子ごとに受け渡す。これにより、超音波探触子７の複数の超音波素子は、それぞれ超音波を被検体１２０に向かって送信する。被検体１２０で反射等された超音波は、再び超音波探触子７の複数の超音波素子に到達して受信され、電気信号に変換される。超音波素子が受信した信号は、受信部１０５によって、受信焦点の位置に応じた所定の遅延量で遅延され、整相加算される。これを複数の受信焦点ごとについて繰り返す。整相加算後の信号は、画像生成部１０７に受け渡される。送受切替部１０１は、送信部１０２または受信部１０５を選択的に超音波探触子７に接続する。

画像生成部１０７は、受信部１０５から受け取った整相加算信号を受信焦点に対応する位置に並べる等の処理を行い、２Ｄ超音波画像を生成し、画像処理装置１０８に出力する。画像処理装置１０８は、受け取った超音波画像を用いて３次元超音波画像の第１ボリュームデータを生成する。

画像処理装置１０８は、これら２Ｄ超音波画像と第１ボリュームデータに加え、他の画像撮像装置が被検体１２０について得た第２ボリュームデータをユーザインタフェース（ＵＩ）１２１を介して受け取って、超音波画像の臓器注目領域をピクセル単位で識別抽出し、超音波探触子の走査領域と部位を識別し、位置合わせに適切かどうかを判定する。言い換えると、画像処理装置１０８は、超音波探触子から被検体に超音波を送信し、その受信信号から生成した超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、抽出した臓器注目領域を用いて、超音波探触子の走査範囲と部位が、超音波画像あるいは超音波画像から生成された第１ボリュームデータと、第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部と、を含む構成を有する。

以下の説明において、ＭＲＩ装置やＸ線ＣＴ装置や他の超音波診断装置等の他の画像撮像装置を、医用モダリティと呼ぶ。本実施例では、医用モダリティの一例として、Ｘ線ＣＴ装置を用い、Ｘ線ＣＴ装置のボリュームデータを、上記の第２ボリュームデータとしてのＣＴボリュームデータと呼ぶ。

以下、図２〜図６を用いて、画像処理装置１０８とユーザインタフェース（ＵＩ）１２１の構成と動作について詳しく説明する。図２は、画像処理装置１０８とユーザインタフェース１２１のハードウェア構成の一例を示している。図２に示すハードウェア構成例は、後述する他の実施例においても、共通に用いられる。

画像処理装置１０８は、ＣＰＵ（プロセッサ）１、ＲＯＭ（不揮発性メモリ：読出専用の記憶媒体）２、ＲＡＭ（揮発性メモリ：データの読み書きが可能な記憶媒体）３、記憶装置４および表示制御部１５を備えて構成される。ユーザインタフェース（ＵＩ）１２１は、画像入力部９、媒体入力部１１、入力制御部１３および入力装置１４を備えて構成される。これらと画像生成部１０７は、バス５によって相互に接続されている。また、画像処理装置１０８の表示制御部１５には、ディスプレイ１６が接続されている。このディスプレイ１６は、ユーザインタフェースの出力部と考えることができる。

ＲＯＭ２およびＲＡＭ３の少なくとも一方には、ＣＰＵ１の演算処理で画像処理装置１０８の動作を実現するために必要とされるプログラムとデータが予め格納されている。ＣＰＵ１が、このＲＯＭ２およびＲＡＭ３の少なくとも一方に予め格納されたプログラムを実行することによって、後で詳述する画像処理装置１０８の各種処理が実現される。なお、ＣＰＵ１が実行するプログラムは、例えば、光ディスクなどの記憶媒体１２に格納しておき、光ディスクドライブなどの媒体入力部１１がそのプログラムを読み込んでＲＡＭ３に格納する様にしてもよい。また、記憶装置４に当該プログラムを格納しておき、記憶装置４からそのプログラムをＲＡＭ３にロードしてもよい。また、ＲＯＭ２にあらかじめ当該プログラムを記憶させておいてもよい。

画像入力部９は、Ｘ線ＣＴ装置などの医用モダリティである画像撮像装置１０が撮影したＣＴボリュームデータを取り込むためのインターフェースである。記憶装置４は、画像入力部９を介して入力されたＣＴボリュームデータ等を格納する磁気記憶装置である。記憶装置４は、例えば、フラッシュメモリなどの不揮発性半導体記憶媒体を備えてもよい。また、ネットワークなどを介して接続された外部記憶装置を利用してもよい。

入力装置１４は、ユーザの操作を受け付ける装置であり、例えば、キーボード、トラックボール、操作パネル、フットスイッチなどを含む。入力制御部１３は、ユーザによって入力された操作入力を受け付けるインターフェースである。入力制御部１３が受けた操作入力は、ＣＰＵ１によって処理される。表示制御部１５は、例えば、ＣＰＵ１の処理で得られた画像データをディスプレイ１６に表示させる制御を行う。ディスプレイ１６は、表示制御部１５の制御下で画像を表示する。

図３は、本実施例の画像処理装置１０８の機能を示すブロック図である。図３のように、画像処理装置１０８は、送信部１０２、受信部１０５および画像生成部１０７で構成される超音波画像取得部２８で取得された超音波走査画像である２Ｄ超音波画像を用いて、第１のボリュームデータを生成す超音波ボリュームデータ生成部２３と、超音波画像の注目領域識別・抽出部２１と、第２のボリュームデータとしてのＣＴボリュームデータ受け付け部２２と、ＣＴボリュームの注目領域識別・抽出部２４と、超音波・ＣＴ注目領域情報２５と、位置合わせ判定部３２と、画像表示部３１とを含む。

つぎに、図４に示すフローチャートを用いて、図３に示した画像処理装置１０８の各機能ブロックの動作処理を説明する。まず、ステップＳ２０１において、ＣＴボリュームデータ受付部２２は、画像入力部９を介して、画像撮像装置１０からＣＴボリュームデータを受け付ける。

ステップＳ２０２において、超音波探触子７を当てて、移動やスキャンを行うように促す表示をディスプレイ１６に表示する。ユーザが表示に従い超音波探触子７をその臓器の区域で移動させると、超音波画像取得部２８により、超音波走査画像である２Ｄ超音波画像が生成、取得される。超音波ボリュームデータ生成部２３は、超音波画像取得部２８の画像生成部１０７から連続的に生成された２Ｄ超音波画像を受け付ける。

ステップＳ２０３において、超音波画像の注目領域識別・抽出部２１は、連続的に生成された２Ｄ超音波画像から、所定の臓器注目領域をピクセル単位で識別抽出し、超音波探触子７の走査部位と位置を識別・推定する。結果として、その走査部位と位置の情報を付与した臓器注目領域のマスクを生成する。

ステップＳ２０４において、超音波ボリュームデータ生成部２３は、連続的に生成された２Ｄ超音波画像に基づいて、第１ボリュームデータとしての超音波ボリュームデータを生成する。

ステップＳ２０５において、ＣＴボリュームの注目領域識別・抽出部２４は、ＣＴボリュームデータから、所定の臓器注目領域をピクセル単位で識別抽出し、結果として、各領域の走査部位と位置の情報が付与された臓器注目領域のマスクを生成する。そのＣＴボリュームの注目領域情報と、超音波画像の注目領域識別・抽出部２１から生成された超音波画像の注目領域情報が、超音波・ＣＴ注目領域情報２５として、位置合わせ判定部３２に出力される。

ステップＳ２０６において、得られた超音波画像が位置合わせに適切かどうかを判定する。まず、位置合わせ判定部３２は、ＣＴボリュームの注目領域情報から、所定の各臓器注目領域の体積を算出する。さらに、位置合わせ判定部３２は、超音波画像の注目領域情報から、超音波探触子走査範囲内での各臓器注目領域の体積を算出する。位置合わせ判定部３２は、超音波探触子走査とＣＴボリュームの対応領域の体積の比例の重み付け加算平均を算出し、予め設定した所定の閾値と比較し、超音波走査が位置合わせに適切かどうかを判定する。不適切と判定された場合、さらなる閾値処理により、追加走査をするかどうかを判定する。

ステップＳ２０７において、追加走査をすると判定された場合、超音波探触子７の走査方向や走査部位を、ディスプレイ１６などの画像表示部３１を用いてユーザに提示する。具体的な表示例は後で説明する。

ステップＳ２０８において、追加走査しないと判定された場合、超音波探触子７の走査が、位置合わせに不適切であるとの結果を判定結果として画像表示部３１に表示する。また、ステップＳ２０８において、位置合わせに適切と判定された場合、その判定結果と、超音波画像の注目領域情報を、画像表示部３１を用いてユーザに表示する。

引続き、注目領域の識別抽出する処理と位置合わせ判定処理について詳しく述べる。図５に示すフローチャートを用いて、図３の超音波画像の注目領域識別・抽出部２１の動作処理を説明する。ＣＴボリュームの注目領域識別・抽出部２４も類似する処理を実行するため、説明は省略する。

注目領域識別・抽出部２１は、臓器注目領域の注目領域候補を識別抽出する第１学習モデルの学習を行い、生成された第１学習モデルのパラメータを、臓器注目領域の解剖学的区域情報、すなわち、臓器内の解剖学的位置を示す臓器区域情報が付与された領域を識別・抽出する第２学習モデルの初期パラメータとして用いて、第２学習モデルの学習を行う。更に、注目領域識別・抽出部２１は、生成された第２学習モデルのパラメータを、臓器注目領域の部位名称情報と臓器区域情報が付与された領域を識別・抽出する第３学習モデルの初期パラメータとして用いて、第３学習モデルの学習を行い、その結果を最終学習モデルとして生成する。

ステップＳ３０１において、超音波画像の注目領域識別・抽出部２１は、画像生成部１０７から超音波走査画像である２Ｄ超音波画像を受け付ける。ステップＳ３０２において、ノイズ除去やコントラスト強調などの画像前処理を行う。ステップＳ３０３において、識別・抽出用の学習モデルを読み込む。ステップＳ３０４において、学習モデルに基づいて部位とその位置の情報を含めた臓器注目領域を識別抽出する。ステップＳ３０５において、識別抽出した臓器注目領域のマスク画像を生成する。

ここで、公知であるＦＣＮ法（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋ）あるいはその改良版のＵ−Ｎｅｔ法を用いる。ＦＣＮ法は、深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）のＣＮＮ法（ＣｏｎｖｏｌｕｔｉｏｎＮｕｅｒａｌＮｅｔｗｏｒｋ）の全結合層をＣｏｎｖｏｌｕｔｉｏｎ層に置き換えることで画像をピクセル単位で推定する（ＳｅｍａｎｔｉｃＳｅｇｍｅｎｔａｔｉｏｎする）手法である。

識別抽出の対象（クラス）として、臓器注目領域だけではなく、その領域が所属する臓器の解剖学的区域情報である臓器区域情報も含まれる。図６は、肝臓を例として、その超音波走査画像である２Ｄ超音波画像と、臓器注目領域の部位名称と、臓器区域情報としての所定の注目領域（識別抽出対象）を表示する画像例を示している。図６の（Ａ）は、肝臓の２Ｄ超音波画像１２２を示す図である。図６の（Ｂ）は、学習時に用いる教師ラベル付けのマスク画像１２３、すなわち学習の正解データを示す図である。図６の（Ｂ）では、識別抽出対象として、４種類の臓器注目領域の部位名称と臓器区域情報として、静脈領域-右葉前上区域、静脈領域-右葉前下区域、門脈領域-右葉前上区域、胆嚢領域-右葉前下区域が示されている。ただし、このような細分化される識別抽出対象に対応できるＣＮＮネットワークを学習させるのに、大量の教師ラベル付けの超音波画像データが必要になり、学習データ不足や学習効率、識別抽出精度などの課題がある。この課題を解決するため、本実施例の画像処理装置１０８の注目領域識別・抽出部２１、２４では、３段階の学習処理を実行する。

本実施例の学習処理を、図７に示すフローチャートと図８〜１０に示す画像例を用いて説明する。ここで、注目領域識別・抽出部２１の超音波画像を例として説明するが、同じ処理がＣＴ画像にも適用可能である。

ステップＳ４０１において、学習用画像を入力する。ステップＳ４０２において、予め用意した注目領域候補のマスク画像を入力する。図８の（Ａ）、（Ｂ）に、学習用画像とそれに対応する注目領域候補マスク画像の例を示している。ステップＳ４０３において、学習用画像と生成した注目領域候補マスク画像を用いて、第１学習モデルの学習を行う。この学習処理では、臓器注目領域の注目領域候補を識別抽出できるような学習モデルを生成することを目的とする。ステップＳ４０４において、生成された第１学習モデルのパラメータを第２学習モデルの初期パラメータとして用いる。ステップＳ４０５において、予め用意した学習用注目領域の臓器区域情報正解マスク画像を入力する。

図９の（Ａ）、（Ｂ）には、学習用画像１２４とそれに対応する臓器区域情報正解マスク画像１２５の一例を示している。ここでは、臓器の解剖学的区域情報である臓器区域情報の例として、肝臓の右葉前下区域と右葉前上区域を示している。ステップＳ４０６において、学習用画像と臓器区域情報正解マスク画像を用いて、初期化された第２学習モデルをさらに学習させる。この学習処理の目的は、臓器注目領域の臓器区域情報が付与された領域を識別抽出することである。

更に、ステップＳ４０７において、生成された第２学習モデルのパラメータを第３学習モデルの初期パラメータとして用いる。すなわち、第２学習モデルのパラメータを、臓器注目領域の部位名称情報と臓器区域情報が付与された領域を識別・抽出する第３学習モデルの初期パラメータとして用いる。ステップＳ４０８において、学習用画像とそれに対応する、予め用意した、部位名称情報と臓器区域情報が付与された臓器注目領域の正解マスク画像を入力する。ステップＳ４０９において、ステップＳ４０８で入力された画像データを用いて、ステップＳ４０７で初期化された第３学習モデルをさらに学習させ、その結果を最終学習モデルとして生成する。図１０は、上述した３段階の学習処理を模式的に示した図である。

なお以上の説明にあっては、３段階の学習処理を例示して説明したが、３段階に限定されず、必要に応じて２段階、４段階等の３段階以外の段階で学習処理を実行することができる。

つぎに、図１１に示すフローチャートを用いて、本実施例の画像処理装置１０８の位置合わせ判定部３２の位置合わせ判定処理を説明する。ステップＳ５０１において、超音波とＣＴの臓器注目領域の情報を受け付ける。ステップＳ５０２において、超音波注目領域情報の臓器区域情報から走査部位を推定する。ステップＳ５０３において、超音波注目領域情報から各臓器注目領域の体積を推定する。ステップＳ５０４において、ＣＴボリュームの中から、超音波注目領域に対応する各臓器注目領域の体積を推定する。ステップＳ５０５において、両者の体積の比などを用いて、超音波探触子７の走査が位置合わせに適切かどうかを判定する。

上述の臓器注目領域の識別抽出方法であるＵ−Ｎｅｔ法は２Ｄ画像に適用可能であり、連続２Ｄ超音波画像から臓器注目領域を識別抽出し、その体積を推定することができる。超音波探触子７が超音波ボリュームデータを直接取得することが可能な場合、超音波ボリュームやＣＴボリュームに対し、Ｕ−Ｎｅｔ法の３次元拡張版である３Ｄ−Ｎｅｔ法やV−Ｎｅｔ法を用いることが可能である。

ここからは、図１２に示す、各臓器注目領域の臓器区域、部位名称、体積重み付けの一例を示す計算テーブル１２６を用いて、位置合わせに適切かどうかの判定処理を説明する。ここで、臓器の例として肝臓、解剖学的区域の例として右葉、左葉それぞれの４区域、部位名称の例として門脈、静脈、胆嚢、合わせて２４の識別抽出対象（クラス）を用いて説明する。各対象領域に対し、解剖学的な体積や位置合わせ対象としての重要度などを考慮し、２４の識別抽出対象（クラス）に対して計算テーブル１２６に一例を示した所定の重み（ｗ）を設定する。他の臓器、人体領域も類似する識別抽出対象の定義や重み付けの設定が可能である。

位置合わせ判定部３２は、超音波画像とＣＴボリュームのそれぞれから抽出された各臓器注目領域の体積に対し、それぞれの体積の重みづけ加算値（V_US、V_CT）を算出する。ここで、上述した閾値処理の所定の判定閾値として、T₁=0.5、T₂=0.2を設定できる。
V_US / V_CT > T₁の場合は、超音波探触子７の走査が位置合わせに適切と判定する。
T₁ > V_US / V_CT > T₂の場合は、超音波探触子７の走査が位置合わせに適切ではないと判定するが、追加走査により適切の走査が可能になると判定し、画像表示部３１にてユーザに走査方向や部位を提示する。例えば、図１９に一例を示す画像表示部３１の表示画面１２８のように、ユーザに現在の走査範囲と推奨する追加走査範囲をメッセージ１２９で提示し、さらに表示画面１２８の左側領域に表示したように、被検体の画像内に超音波探触子の走査位置と推奨走査方向を矢印などで表示して、ユーザを誘導することができる。
V_US / V_CT < T₂の場合は超音波探触子７の走査が位置合わせに適切ではない、走査をやり直しと判定する。

このように、位置合わせ判定部３２は、識別抽出された超音波画像の臓器注目領域各々に対し重み付け加算を行って第１重み付け体積を算出し、第２ボリュームデータの、超音波画像の臓器注目領域各々に対応する臓器注目領域に対して重み付け加算を行って第２重み付け体積を算出し、第１重み付け体積と第２重み付け体積の比を所定の閾値と比較することにより、超音波探触子の走査範囲と部位が、第２ボリュームデータとの位置合わせに適切かどうかを判定することができる。更に、位置合わせ判定部３２は、超音波探触子の走査範囲と部位が、第２ボリュームデータとの位置合わせに不適切と判定した場合、推奨する超音波探触子の追加走査範囲と部位にユーザを誘導するためのメッセージなどを画像表示部３１に行う。

画像表示部３１は、上述した各種の表示に加え、識別抽出された各注目領域のセグメンテーション結果や体積計算数値を表示することができる。また、ユーザインタフェース（ＵＩ）１２１を介して、上述の位置合わせ判定用閾値T₁、T₂ の調整をすることができる。

以上説明したように、本実施例の超音波撮像装置、画像処理装置、及び方法によれば、超音波画像の臓器注目領域をピクセル単位で識別抽出し、超音波探触子の走査領域と部位を識別し、位置合わせに適切かどうかを判定することが可能となる。

実施例２は、実施例１の構成に加えて更に、超音波探触子走査が位置合わせに適切と判定された場合、超音波-ＣＴ画像の位置合わせを行い、その後、リアルタイムに走査して取得した術中の超音波画像と、それに対応する高解像度のＣＴ画像を同時に表示し、手術を正確にガイドすることができる超音波撮像装置、画像処理装置、及び方法の実施例である。なお、実施例２の説明において、実施例１と同じ構成及び処理については、同じ符号を付して説明を省略する。

＜構成及び動作＞
図１３は、実施例２における超音波撮像装置の一構成例を示している。図１４は、実施例２における画像処理装置１０８とユーザインタフェース（ＵＩ）１２１のハードウェア構成例を示すブロック図である。図１３、図１４から明らかなように、実施例１の構成例に加えて、位置センサ８と、位置検出ユニット６とを備えて構成される。位置検出ユニット６は、位置センサ８の出力から超音波探触子７の位置を検出する。例えば、位置検出ユニット６として、磁気センサユニットを用いることができる。位置検出ユニット６は、磁場空間を形成し、位置センサ８が磁場を検出することにより、基準点となる位置からの座標を検出することができる。

画像生成部１０７は、超音波探触子７のその時の位置情報を位置検出ユニット６から受け取って、生成する超音波画像に位置情報を付与する。ユーザが超音波探触子７を移動させ、画像生成部１０７がその時の超音波探触子７の位置情報が付与された超音波画像を生成して、画像処理装置１０８に出力することにより、画像処理装置１０８は３次元超音波画像の第１ボリュームデータを生成することができる。

図１５は、本実施例の画像処理装置１０８の機能例を示すブロック図である。図１５のように、画像処理装置１０８は、実施例１における構成に加えて、超音波探触子位置情報取得部２９と、位置合わせを実行するＣＴボリューム座標変換算出（位置合わせ）部２６と、リアルタイム２Ｄ−ＣＴ画像算出部２７と、リアルタイム２Ｄ超音波画像取得部３０とを含む。

つぎに、図１６に示すフローチャートを用いて、図１５に示した実施例２の画像処理装置１０８の動作処理を説明する。ここでは、実施例１における画像処理装置１０８の動作処理と異なる部分のみを述べる。ステップＳ５０１、Ｓ５０２、Ｓ５０４、Ｓ５０６、Ｓ５０７、Ｓ５０８のそれぞれは、図４に示している、ステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０５、Ｓ２０６、Ｓ２０７の処理と同様である。

ステップＳ５０３において、位置検出ユニット６は、位置センサ８の出力から、超音波探触子７の位置を検出する。超音波ボリュームデータ生成部２３は、その超音波探触子のリアルタイムの位置情報を受け付ける。ステップＳ５０５において、超音波ボリュームデータ生成部２３は、連続的に生成された２Ｄ超音波画像と、それに付与した超音波探触子の位置情報に基づいて、第１ボリュームデータとしての超音波ボリュームデータを生成する。

ステップＳ５０９において、ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波・ＣＴ注目領域情報２５を受け付け、ＣＴボリュームを超音波ボリュームに位置合わせを行うための位置合わせ変換行列を算出する。位置合わせ変換行列算出の詳細は後で述べる。ステップＳ５１０において、リアルタイム２Ｄ超音波画像取得部３０は、超音波画像取得部２８からリアルタイムに取得した超音波走査画像である２Ｄ超音波画像を受け付ける。ステップＳ５１１において、ＣＴ断面であるリアルタイム２Ｄ-ＣＴ画像算出部２７は、ステップＳ５０５と同様に、２Ｄ超音波画像に対応する超音波探触子のリアルタイムの位置情報を受け付ける。

次に、ステップＳ５１２においては、リアルタイム２Ｄ-ＣＴ画像算出部２７は、超音波探触子７の位置情報と、ＣＴボリュームの座標変換行列とを用いて、リアルタイムに取得した２Ｄ超音波画像に対応する２Ｄ-ＣＴの断面画像をＣＴボリュームからリアルタイムに算出する。ステップＳ５１３においては、画像表示部３１は、２Ｄ超音波画像と、２Ｄ-ＣＴの断面画像と超音波・ＣＴ注目領域情報２５を受け付ける。画像表示部３１は、２Ｄ-ＣＴ、２Ｄ超音波画像の断面画像（ＣＴ、ＵＳ）のそれぞれを、図１７に一例を示すように、画像表示部３１の表示領域１２７の異なる画面領域に表示する。そして、注目領域の部位と区域情報、および超音波走査の推定体積を、それぞれ表示領域１２７に表示する。

ここからは、図１８に示したフローチャートを用いて、ＣＴボリューム座標変換算出（位置合わせ）部２６における、位置合わせ変換行列算出の処理について説明する。ステップＳ６０１において、ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波ボリューム（第１ボリューム）とＣＴボリューム（第２ボリューム）を受け付ける。ステップＳ６０２において、超音波・ＣＴ注目領域情報２５を受け付ける。

ステップＳ６０３において、ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波・ＣＴ注目領域の点群同士の位置合わせを実行する。自動位置合わせ手法としては、公知のＩＣＰ（Iterative Closest Point）法を用いることができる。ＩＣＰ法では、ＣＴ注目領域の点群を幾何変換、すなわち平行移動と回転を行って、超音波注目領域の点群との対応点間の距離を求めて、その距離が最小となるように反復的に計算を行う。これにより、両者を位置合わせすることができる。

つぎに、ステップＳ６０４において、ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波ボリュームとＣＴボリュームの画像ベースの位置合わせを行う。前記注目領域の点群同士の位置合わせ結果を用いて、画像ベースの位置合わせのパラメータを初期化する。ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波ボリュームとＣＴボリュームのそれぞれから、位置合わせ対象であるサンプル点データを取得する。サンプル点データは、画像領域のすべての画素をサンプリング点として抽出してもよい、ランダムもしくはグリッド上にてサンプリングした画素値を用いてもよい。さらに、対応する注目領域からサンプリングしてもよい。

ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波ボリュームから抽出されたサンプリング点の座標を、ＣＴボリュームにおいて対応する点の座標へ、幾何変換し、これらのサンプリング点における輝度データに対して、所定の評価関数を適用して、超音波ボリュームとＣＴボリュームとの間の画像類似度を演算する。画像類似度としては、公知の相互情報量を使用することができる。ＣＴボリューム座標変換算出（位置合わせ）部２６は、超音波ボリュームとＣＴボリュームの間の画像類似度が最大あるいは極大となるような幾何変換情報を求めて、その幾何変換情報を更新する。最後のステップＳ６０５においては、ＣＴボリューム座標変換算出（位置合わせ）部２６は、位置合わせの結果を出力する。

以上説明したように、本実施例によれば、超音波画像の臓器注目領域をピクセル単位で識別抽出し、超音波探触子の走査領域と部位を識別し、位置合わせに適切かどうかを判定した後に、超音波ボリュームとＣＴボリュームの位置合わせを行い、リアルタイムに走査して取得した術中超音波画像と、それに対応する高解像度のＣＴ画像を同時に表示し、手術を正確にガイドすることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。上述した通り、本発明は、超音波撮像装置と、その画像処理装置、及び方法に限定されるものでなく、ネットワークを介して超音波撮像装置と接続された画像処理装置、及びその画像処理方法として実現することができることは言うまでもない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するプログラムを作成する例を説明したが、それらの一部又は全部を例えば集積回路で設計する等によりハードウェアで実現しても良い。

１ＣＰＵ
２ＲＯＭ
３ＲＡＭ
４記憶装置
５バス
６位置検出ユニット
７超音波探触子
８位置センサ
９画像入力部
１０画像撮像装置
１１媒体入力部
１２記憶媒体
１３入力制御部
１４入力装置
１５表示制御部
１６ディスプレイ
２１超音波画像の注目領域識別・抽出部
２２ＣＴボリュームデータ受付部
２３超音波ボリュームデータ生成部
２４ＣＴボリュームの注目領域識別・抽出部
２５超音波・ＣＴ注目領域情報
２６ＣＴボリューム座標変換算出部
２７リアルタイム２Ｄ-ＣＴ画像算出部
２８超音波画像取得部
２９超音波探触子位置情報取得部
３０リアルタイム２Ｄ超音波画像取得部
３１画像表示部
３２位置合わせ判定部
１００超音波撮像装置
１０１送受切替部
１０２送信部
１０５受信部
１０６制御部
１０７画像生成部
１０８画像処理装置
１２０ユーザ
１２１ユーザインタフェース（ＵＩ）
１２２超音波画像
１２３マスク画像
１２４学習用画像
１２５正解マスク画像
１２６計算テーブル
１２７表示領域

Claims

被検体に超音波を送信し、前記被検体からの超音波を受信する超音波探触子と、
前記超音波探触子の受信信号から超音波画像を生成する画像生成部と、
前記超音波画像と、前記被検体についての第２ボリュームデータを処理する画像処理装置と、を備え、
前記画像処理装置は、
前記超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、
抽出した前記臓器注目領域を用いて、前記超音波探触子の走査範囲と部位が、前記超音波画像あるいは前記超音波画像から生成された第１ボリュームデータと、前記第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部と、を含む、
ことを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、
前記注目領域識別・抽出部は、
前記臓器注目領域の部位名称と、所属する臓器内の臓器区域情報が付与された領域をピクセル単位で識別抽出する、
ことを特徴とする超音波撮像装置。
請求項２に記載の超音波撮像装置であって、
前記注目領域識別・抽出部は、
前記臓器注目領域の注目領域候補を識別抽出する第１学習モデルを学習し、
生成された前記第１学習モデルのパラメータを、前記臓器注目領域の前記臓器区域情報が付与された領域を識別・抽出する第２学習モデルの初期パラメータとして用いて、第２学習モデルを学習する、
ことを特徴とする超音波撮像装置。
請求項３に記載の超音波撮像装置であって、
前記注目領域識別・抽出部は、
生成された前記第２学習モデルのパラメータを、前記臓器注目領域の部位名称情報と前記臓器区域情報が付与された領域を識別・抽出する第３学習モデルの初期パラメータとして用いて、第３学習モデルを学習する、
ことを特徴とする超音波撮像装置。
請求項１に記載の超音波撮像装置であって、
前記位置合わせ判定部は、
識別抽出された前記超音波画像の前記臓器注目領域各々に対し重み付け加算を行い、第１重み付け体積を算出し、前記第２ボリュームデータの、前記超音波画像の前記臓器注目領域各々に対応する臓器注目領域に対して重み付け加算を行い、第２重み付け体積を算出し、
前記第１重み付け体積と前記第２重み付け体積の比を所定の閾値と比較することにより、前記超音波探触子の走査範囲と部位が、前記第２ボリュームデータとの位置合わせに適切かどうかを判定する、
ことを特徴とする超音波撮像装置。
請求項５に記載の超音波撮像装置であって、
前記位置合わせ判定部は、
前記超音波探触子の走査範囲と部位が、前記第２ボリュームデータとの位置合わせに不適切と判定した場合、推奨する前記超音波探触子の追加走査範囲と部位を出力する、
ことを特徴とする超音波撮像装置。
画像処理装置であって、
超音波探触子から被検体に超音波を送信し、その受信信号から生成した超音波画像の臓器注目領域を識別抽出する注目領域識別・抽出部と、
抽出した前記臓器注目領域を用いて、前記超音波探触子の走査範囲と部位が、前記超音波画像あるいは前記超音波画像から生成された第１ボリュームデータと、前記被検体についての第２ボリュームデータとの位置合わせに適切かどうかを判定する位置合わせ判定部と、を含む、
ことを特徴とする画像処理装置。
請求項７に記載の画像処理装置であって、
前記注目領域識別・抽出部は、
前記臓器注目領域の部位名称と、所属する臓器内の臓器区域情報が付与された領域をピクセル単位で識別抽出する、
ことを特徴とする画像処理装置。
請求項８に記載の画像処理装置であって、
前記注目領域識別・抽出部は、
前記臓器注目領域の注目領域候補を識別抽出する第１学習モデルを学習し、
生成された前記第１学習モデルのパラメータを、前記臓器注目領域の前記臓器区域情報が付与された領域を識別・抽出する第２学習モデルの初期パラメータとして用いて、第２学習モデルを学習し、
生成された前記第２学習モデルのパラメータを、前記臓器注目領域の部位名称情報と前記臓器区域情報が付与された領域を識別・抽出する第３学習モデルの初期パラメータとして用いて、第３学習モデルを学習する、
ことを特徴とする画像処理装置。
請求項７に記載の画像処理装置であって、
前記位置合わせ判定部は、
識別抽出された前記超音波画像の前記臓器注目領域各々に対し重み付け加算を行い、第１重み付け体積を算出し、前記第２ボリュームデータの、前記超音波画像の前記臓器注目領域各々に対応する臓器注目領域に対して重み付け加算を行い、第２重み付け体積を算出し、
前記第１重み付け体積と前記第２重み付け体積の比を所定の閾値と比較することにより、前記超音波探触子の走査範囲と部位が、前記第２ボリュームデータとの位置合わせに適切かどうかを判定する、
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置であって、
前記位置合わせ判定部は、
前記超音波探触子の走査範囲と部位が、前記第２ボリュームデータとの位置合わせに不適切と判定した場合、推奨する前記超音波探触子の追加走査範囲と部位を出力する、
ことを特徴とする画像処理装置。
画像処理装置における画像処理方法であって、
前記画像処理装置は、
超音波探触子から被検体に超音波を送信し、その受信信号から生成した超音波画像の臓器注目領域を識別抽出し、
抽出した前記臓器注目領域を用いて、前記超音波探触子の走査範囲と部位が、前記超音波画像あるいは前記超音波画像から生成された第１ボリュームデータと、前記被検体についての第２ボリュームデータとの位置合わせに適切かどうかを判定する、
ことを特徴とする画像処理方法。
請求項１２に記載の画像処理方法であって、
前記画像処理装置は、
前記臓器注目領域の部位名称と、所属する臓器内の臓器区域情報が付与された領域をピクセル単位で識別抽出する、
ことを特徴とする画像処理方法。
請求項１３に記載の画像処理方法であって、
前記画像処理装置は、
前記臓器注目領域の注目領域候補を識別抽出する第１学習モデルを学習し、
生成された前記第１学習モデルのパラメータを、前記臓器注目領域の前記臓器区域情報が付与された領域を識別・抽出する第２学習モデルの初期パラメータとして用いて、第２学習モデルを学習し、
生成された前記第２学習モデルのパラメータを、前記臓器注目領域の部位名称情報と前記臓器区域情報が付与された領域を識別・抽出する第３学習モデルの初期パラメータとして用いて、第３学習モデルを学習する、
ことを特徴とする画像処理方法。
請求項１２に記載の画像処理方法であって、
前記画像処理装置は、
識別抽出された前記超音波画像の前記臓器注目領域各々に対し重み付け加算を行い、第１重み付け体積を算出し、前記第２ボリュームデータの、前記超音波画像の前記臓器注目領域各々に対応する臓器注目領域に対して重み付け加算を行い、第２重み付け体積を算出し、
前記第１重み付け体積と前記第２重み付け体積の比を所定の閾値と比較することにより、前記超音波探触子の走査範囲と部位が、前記第２ボリュームデータとの位置合わせに適切かどうかを判定する、
ことを特徴とする画像処理方法。