JP2015073798A - 医用画像診断装置、画像処理装置およびプログラム - Google Patents
医用画像診断装置、画像処理装置およびプログラム Download PDFInfo
- Publication number
- JP2015073798A JP2015073798A JP2013213217A JP2013213217A JP2015073798A JP 2015073798 A JP2015073798 A JP 2015073798A JP 2013213217 A JP2013213217 A JP 2013213217A JP 2013213217 A JP2013213217 A JP 2013213217A JP 2015073798 A JP2015073798 A JP 2015073798A
- Authority
- JP
- Japan
- Prior art keywords
- input
- point
- unit
- image
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】ユーザの利便性を向上させることが可能な医用画像診断装置、医用画像処理装置およびプログラムを提供する。【解決手段】超音波診断装置1は、第1生成部と第1受付部と推定部とを備える。第1生成部は、医用画像を生成する。第1受付部は、医用画像に対してユーザが入力した入力点を受け付ける。推定部は、入力点の数に応じて、医用画像に含まれるオブジェクトの境界を推定する処理を切り替えて、オブジェクトの境界を推定する。【選択図】図1
Description
本発明の実施形態は、医用画像診断装置、画像処理装置およびプログラムに関する。
従来、医用画像に含まれるオブジェクトの境界を推定する方法として、ユーザが入力した点を初期位置としてオブジェクトの境界を推定する技術が知られている。例えば、医用画像に含まれる心臓の左心室の心筋(心臓を構成する筋肉)の境界を推定する場合、左心室の心尖部と、僧帽弁を構成する2つの弁のうちの一方の根元部分を示す第1ヒンジ部と、他方の根元部分を示す第2ヒンジ部とをユーザが入力し、ユーザが入力した3点を初期位置(起点)として左心室の心筋境界を推定する技術などが知られている。
しかしながら、従来技術の境界推定では、3点入力を前提としており、例えば1点入力、2点入力、4点以上の入力などに基づく境界推定に対応することができない。したがって、ユーザ(操作者)の利便性が低いという問題がある。
本発明は、ユーザの利便性を向上させることが可能な医用画像診断装置、画像処理装置およびプログラムを提供することを目的とする。
実施形態の医用画像診断装置は、第1生成部と第1受付部と推定部とを備える。第1生成部は、医用画像を生成する。第1受付部は、医用画像に対してユーザが入力した入力点を受け付ける。推定部は、入力点の数に応じて、医用画像に含まれるオブジェクトの境界を推定する処理を切り替えて、オブジェクトの境界を推定する。
以下、添付図面を参照しながら、本発明に係る医用画像診断装置、画像処理装置、および、プログラムの実施形態を詳細に説明する。以下では、本発明が適用される医用画像診断装置として、超音波診断装置を例に挙げて説明する。ただし、これに限定されるものではなく、本発明が適用される医用画像診断装置としては、例えば、X線診断装置、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT装置とX線CT装置とが一体化されたSPECT−CT装置、PET装置とX線CT装置とが一体化されたPET−CT装置、又はこれらの装置群等が挙げられる。
図1は、本実施形態の超音波診断装置1の構成の一例を示す図である。以下では、超音波診断装置1は、被検体Pの心臓を撮影した超音波画像を画像処理することで、超音波画像に含まれる左心室の心筋(請求項の「オブジェクト」の一例)の境界(輪郭)を、操作者(ユーザ)に提示する場合を例に挙げて説明する。図1に示すように、超音波診断装置1は、超音波プローブ10と、入力装置20と、モニタ30と、装置本体40とを備える。
超音波プローブ10は、複数の圧電振動子を有し、これら複数の圧電振動子は、後述する装置本体40が有する送信部41から供給される駆動信号に基づき超音波を発生するとともに、被検体Pからの反射波を受信して電気信号に変換する。また、超音波プローブ10は、圧電振動子に設けられる整合層と、圧電振動子から後方への超音波の伝播を防止するバッキング材などを有する。
超音波プローブ10から被検体Pに超音波が送信されると、送信された超音波は、被検体Pの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として超音波プローブ10が有する複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁などの表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して、周波数偏移を受ける。
なお、図1の例では、複数の圧電振動子が一列で配置された1次元超音波プローブである超音波プローブ10により、被検体Pを2次元で走査する場合であっても、1次元超音波プローブの複数の圧電振動子を機械的に揺動する超音波プローブ10や複数の圧電振動子が格子状に2次元で配置された2次元超音波プローブである超音波プローブ10により、被検体Pを3次元で走査する場合であっても、適用可能である。
入力装置20は、超音波診断装置1の操作者(ユーザ)が各種指示や各種設定の入力に用いるデバイスであり、例えばマウスやキーボードなどで構成され得る。モニタ30は、各種の画像を表示するディスプレイ装置であり、例えば液晶パネル型のディスプレイ装置などで構成され得る。モニタ30は、超音波診断装置1の操作者が入力装置20を用いて各種指示や各種設定を入力するためのGUI(Graphical User Interface)を表示したり、装置本体40において生成された超音波画像を表示したりすることができる。この例では、モニタ30は、請求項の「表示部」に対応していると捉えることができる。
装置本体40は、超音波プローブ10が受信した反射波に基づいて超音波画像を生成する装置であり、図1に示すように、送信部41と、受信部42と、Bモード処理部43と、ドプラ処理部44と、画像生成部45と、画像処理部100とを有する。
送信部41は、トリガ発生回路、遅延回路およびパルサ回路などを有し、超音波プローブ10に駆動信号を供給する。パルサ回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。また、遅延回路は、超音波プローブ10から発生される超音波をビーム状に集束して送信指向性を決定するために用いられる圧電振動子ごとの遅延時間を、パルサ回路が発生する各レートパルスに対し与える。また、トリガ発生回路は、レートパルスに基づくタイミングで、超音波プローブ10に駆動信号(駆動パルス)を印加する。
受信部42は、アンプ回路、A/D変換器、加算器などを有し、超音波プローブ10が受信した反射波信号に対して各種処理を行なって反射波データを生成する。アンプ回路は、反射波信号を増幅してゲイン補正処理を行ない、A/D変換器は、ゲイン補正された反射波信号をA/D変換して受信指向性を決定するのに必要な遅延時間を与え、加算器は、A/D変換器によって処理された反射波信号の加算処理を行なって反射波データを生成する。加算器の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
このように、送信部41および受信部42は、超音波の送受信における送信指向性と受信指向性とを制御する。
Bモード処理部43は、受信部42から反射波データを受け取り、対数増幅、包絡線検波処理などを行なって、信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。
ドプラ処理部44は、受信部42から受け取った反射波データから速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワーなどの移動体情報を多点について抽出したデータ(ドプラデータ)を生成する。
画像生成部45は、Bモード処理部43が生成したBモードデータや、ドプラ処理部44が生成したドプラデータから、表示用の超音波画像を生成する。具体的には、画像生成部45は、超音波スキャンの走査線信号列を、テレビなどに代表されるビデオフォーマットの走査線信号列に変換(スキャンコンバート)することで、Bモードデータやドプラデータから表示用画像としての超音波画像を生成する。つまり、画像生成部45は、被検体Pに対して超音波プローブ10から送信した超音波の反射波に基づいて超音波画像を生成していると考えることができる。ここでは、画像生成部45は、請求項の「第1生成部」に対応していると捉えることができる。また、例えばBモード処理部43、ドプラ処理部44、および、画像生成部45の組み合わせが、請求項の「第1生成部」に対応していると捉えることもできる。
画像処理部100は、画像生成部45により生成された超音波画像をユーザに提示し、提示した超音波画像に対してユーザが入力した点(以下、「入力点」と称する場合がある)の数に応じて、超音波画像に含まれる左心室の心筋の境界(以下の説明では、「心筋境界」と称する場合がある)を推定する処理を切り替えて、心筋境界を推定する。そして、画像処理部100は、推定した心筋境界を、画像生成部45により生成された超音波画像に重畳した重畳画像を生成してモニタ30に表示する。
画像処理部100の具体的な内容を説明する前に、図2を用いて、画像処理部100の基本的な動作例を説明する。図2は、画像処理部100の基本的な動作例を示すフローチャートである。
ここでは、画像処理部100は、入力点を受け付ける前の段階において、画像生成部45により生成された超音波画像(以下の説明では、「デフォルトの超音波画像」と称する場合がある)を取得し、取得したデフォルトの超音波画像を用いて、ユーザからの入力点によらずに、全自動で心筋境界を推定する処理を実行する。全自動で心筋境界を推定する処理として、例えばデフォルトの超音波画像の画素値に基づいて心筋境界を検出する(例えば画素値(輝度値)が閾値以上の部分と閾値未満の部分の境界を心腔と心壁の境界として判断する)処理を実行することもできるが、これに限らず、公知の様々な技術を利用することができる。そして、推定した心筋境界を示す境界画像(以下の説明では、「デフォルトの境界画像」と称する場合がある)を、デフォルトの超音波画像に重畳した重畳画像(以下の説明では、「デフォルトの重畳画像」と称する場合がある)をモニタ30に表示する制御を行う。図3は、デフォルトの重畳画像の一例を示す図である。この例では、デフォルトの重畳画像に含まれるデフォルトの超音波画像は、心尖部四腔像(A4C:Apical Four Chamber Image)で表されている。なお、この例では、デフォルトの超音波画像が、請求項の「医用画像」に対応していると捉えることができる。
以下、図2を用いて、画像処理部100の基本的な動作例を説明する。図2に示すように、まず画像処理部100は、モニタ30に表示されたデフォルトの重畳画像(デフォルトの超音波画像)に対してユーザが入力した入力点を受け付ける(ステップS1)。ユーザは、入力装置20を操作することで、モニタ30に表示されたデフォルトの重畳画像上の任意の点(本明細書における「点」とは、所定サイズの画像領域であると捉えてもよい)を入力点として入力することができる。ここでは、入力装置20としてマウスを想定し、ユーザは、マウスを操作して、モニタ30に表示されるマウスカーソル(ポインタ)を移動させ、マウスカーソルの位置をデフォルトの重畳画像上の任意の位置に合わせてマウスの左クリックを行うことで、その任意の位置を入力点として入力することができる。ただし、これに限られるものではない。
次に、画像処理部100は、入力点の数と、それぞれの入力点に対応するデフォルトの超音波画像内の特徴点(詳しくは後述するが、例えば心尖部など)とに応じて、心筋境界を推定する処理を切り替えて、心筋境界を推定する(ステップS2)。次に、画像処理部100は、ステップS2で推定した心筋境界を示す境界画像を、デフォルトの超音波画像に重畳した重畳画像を新たに生成し、その新たに生成した重畳画像をモニタ30に表示する(ステップS3)。その後、入力点を棄却することを示す棄却指示を受け付けた場合(ステップS4:YES)、画像処理部100は、今までの入力点を棄却し(ステップS5)、上述のステップS1以降の処理を繰り返す。この場合、後述するように、画像処理部100は、デフォルトの超音波画像を用いて、ユーザからの入力点によらずに全自動で心筋境界を推定する処理を実行し直し、その処理の結果を示す境界画像(新たな「デフォルトの境界画像」であると考えることもできる)を、デフォルトの超音波画像に重畳した重畳画像(新たな「デフォルトの重畳画像」であると考えることもできる)をモニタ30に表示する制御を行う。一方、棄却指示を受け付けなかった場合は(ステップS4:NO)、そのまま処理が終了する。
以下、画像処理部100の具体的な内容を説明する。図4は、画像処理部100の機能構成の一例を示すブロック図である。図4に示すように、画像処理部100は、取得部101と、第1受付部102と、特定部103と、推定部104と、重畳画像生成部105と、表示制御部106と、第2受付部107と、棄却部108とを有する。
取得部101は、デフォルトの超音波画像を取得する。例えば取得部101は、画像生成部45から直接デフォルトの超音波画像を取得することもできるし、画像生成部45によって生成されたデフォルトの超音波画像が格納される記憶装置(不図示)にアクセスして、デフォルトの超音波画像を取得することもできる。
第1受付部102は、モニタ30に表示された重畳画像(デフォルトの超音波画像)に対してユーザが入力した入力点を受け付ける。
特定部103は、第1受付部102で受け付けた入力点に対応するデフォルトの超音波画像内の特徴点を特定する。本実施形態では、特定部103は、デフォルトの超音波画像のうち入力点を含む所定領域の画像と、予め用意された複数種類のパターン画像の各々とのパターンマッチングの結果に基づいて、入力点に対応する特徴点を特定する。
例えば図5に示すように、ユーザが、モニタ30に表示されたデフォルトの重畳画像を確認しながらマウスを操作してマウスカーソルを移動させ、マウスカーソルの先端の位置を、心臓の尖端部を示す心尖部の付近の位置に合わせて左クリックを行った場合を想定する。図5に示すPx1は心尖部を表している。この場合、特定部103は、デフォルトの重畳画像に含まれるデフォルトの超音波画像のうち、マウスカーソルの先端が示す点(入力点)を含む所定サイズの画像領域を切り出し、その切り出した画像領域と、予め用意された複数種類のパターン画像の各々とのパターンマッチングを行う。そして、特定部103は、その切り出した画像領域に対応するパターン画像が、心臓のうち心尖部を含む部分の標準的な形態を表すパターン画像であることを特定し、第1受付部102で受け付けた入力点に対応する特徴点は、心尖部であることを特定することができる。例えば入力点を含む画像領域のうち、特定したパターン画像(入力点を含む画像領域に対応するパターン画像)に含まれる心尖部に対応する位置と、入力点との距離が閾値以下の場合は、当該入力点に対応する特徴点は心尖部であると判断することもできる。
また、例えば特定部103は、特開2009−153600号公報に開示された技術を利用して、上記画像領域と、特定したパターン画像との照合処理を行い、当該パターン画像中の心尖部に対応する画像領域の位置を、入力点の位置とする補正を行うこともできる。なお、これに限らず、例えば上記補正を行わずに、入力点の位置を、そのまま心尖部の位置とみなすこともできる。以上のようにして、特定部103は、入力点に対応する心尖部の位置を特定することができる。
同様にして、例えば図6に示すように、ユーザが、モニタ30に表示されたデフォルトの重畳画像を確認しながらマウスを操作してマウスカーソルを移動させ、マウスカーソルの先端の位置を、心臓の僧帽弁を構成する2つの弁(弁尖)のうちの一方の弁B1の根元部分を示す第1ヒンジ部H1と、他方の弁B2の根元部分を示す第2ヒンジ部H2との間の点を示す中間点(H1とH2との間の中点に限られるものではない)Px2の付近の位置に合わせて左クリックを行った場合、特定部103は、入力点に対応する特徴点は、上記中間点であることを特定することができる。また、特定部103は、入力点に対応する中間点の位置を特定することもできる。
同様にして、例えば図7に示すように、ユーザが、モニタ30に表示されたデフォルトの重畳画像を確認しながらマウスを操作してマウスカーソルを移動させ、マウスカーソルの先端の位置を、第1ヒンジ部H1の付近の位置に合わせて左クリックを行った場合、特定部103は、入力点に対応する特徴点は、第1ヒンジ部であることを特定することができる。また、特定部103は、入力点に対応する第1ヒンジ部の位置を特定することもできる。また、図示は省略するが、ユーザが、モニタ30に表示されたデフォルトの重畳画像を確認しながらマウスを操作してマウスカーソルを移動させ、マウスカーソルの先端の位置を、第2ヒンジ部H2の付近の位置に合わせて左クリックを行った場合、特定部103は、入力点に対応する特徴点は、第2ヒンジ部であることを特定することができる。また、特定部103は、入力点に対応する第2ヒンジ部の位置を特定することもできる。
ここでは、図6および図7に示す左側の弁B1の根元部分を第1ヒンジ部と称し、右側の弁B2の根本部分を第2ヒンジ部と称しているが、左側の弁B1の根元部分を第2ヒンジ部と称し、右側の弁B2の根元部分を第1ヒンジ部と称しても構わない。
なお、特定部103は、例えば入力点の位置を示す位置情報に基づいて、入力点に対応する特徴点を特定することもできるし、超音波プローブ10の位相を示す位相情報に基づいて、入力点に対応する特徴点を特定することもできる。
以上のようにして、特定部103は、第1受付部102で入力点を受け付けるたびに、その受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す情報(以下の説明では、「特定情報」と称する場合がある)を、後述の推定部104へ送る。一例として、本実施形態における特定情報は、入力点を示す情報と、特徴点を示す情報と、位置情報(入力点に対応する特徴点の位置を示す情報)とが対応付けられた情報であるが、これに限らず、例えば特定情報は、入力点を受け付けた時刻を示す時間情報をさらに含む形態であってもよい。
図4に戻って説明を続ける。推定部104は、入力点の数に応じて、デフォルトの超音波画像に含まれる左心室の心筋の境界を推定する処理を切り替えて、心筋境界を推定する。より具体的には、推定部104は、入力点の数と、それぞれの入力点に対応する特徴点とに応じて、デフォルトの超音波画像に含まれる左心室の心筋の境界を推定する処理を切り替えて、心筋境界を推定する。本実施形態では、推定部104は、特定部103から通知された特定情報を保持する機能を有し、保持中の特定情報から、入力点の数と、それぞれの入力点に対応する特徴点とを把握(判断)することができる。なお、後述するように、棄却部108から特定情報を棄却する指示を受けた場合、推定部104は、現在保持している全ての特定情報を棄却する。このとき、推定部104は、現在の入力点の数は0であると判断する。
本実施形態では、推定部104は、入力点の数が1つであり、入力点に対応する特徴点が左心室の心尖部である場合は、入力点に対応する心尖部の位置と医用画像(この例ではデフォルトの超音波画像)とに基づいて心筋境界を推定する第1の処理を実行する。この例では、第1の処理は、心尖1点モードのACT(Automated Contour Tracking)法による処理である。一例として、例えば非特許文献である「T.E. Cootes, C.J. Taylor, D.H. Cooper, and J.Graham, "Active shape models−Their training and application," Comput. Vis. Image Understand., vol.61, no.1, pp.38-59, Jan. 1995.」に示す動的輪郭モデルにおいて、1つの入力点に対応する位置は動かさないという条件の下でエネルギー最小化問題を解くことで、最適な心筋境界を推定することもできる。また、他の例としては、入力点に対応する心尖部の位置を始点として、その始点から、超音波画像の下方向へテンプレートマッチング等を行い、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、探索により得られた2点と、入力点に対応する心尖部の位置とを用いて、3点入力に基づく心筋境界の推定を行うこともできる。3点入力に基づく心筋境界の推定方法としては、例えば特開2009−178423号公報に開示された技術を利用することができる。
また、推定部104は、入力点の数が2つであり、第1番目の入力点に対応する特徴点が上述の中間点であり、第2番目の入力点に対応する特徴点が心尖部である場合は、第1番目の入力点に対応する中間点の位置と、第2番目の入力点(第1番目の入力点の次に入力された入力点)に対応する心尖部の位置と、医用画像(この例ではデフォルトの超音波画像)とに基づいて、心筋境界を推定する第2の処理を実行する。この例では、第2の処理は、中心軸2点モードのACT法による処理である。一例として、第1番目の入力点に対応する中間点の位置を始点として、中心軸に対して左右方向へテンプレートマッチング等を行い、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、探索により得られた2点と、第2番目の入力点に対応する心尖部の位置とを用いて、3点入力に基づく心筋境界の推定を行うこともできる。
また、推定部104は、入力点の数が3つであり、第1番目の入力点に対応する特徴点が第1ヒンジ部であり、第2番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの一方であり、第3番目の入力点(第2番目の入力点の次に入力された入力点)に対応する特徴点が第2ヒンジ部および心尖部のうちの他方である場合は、第1番目の入力点に対応する第1ヒンジ部の位置と、第2番目の入力点に対応する第2ヒンジ部および心尖部のうちの一方の位置と、第3番目の入力点に対応する第2ヒンジ部および心尖部のうちの他方の位置と、医用画像(この例ではデフォルトの医用画像)とに基づいて、心筋境界を推定する第3の処理を実行する。第3の処理は、3点入力モードのACT法による処理である。上述したように、3点入力に基づく心筋境界の推定方法としては、例えば特開2009−178423号公報に開示された技術を利用することができる。
また、推定部104は、入力点の数が4つ以上の場合は、入力点の点列に基づいて心筋境界を推定する第5の処理を実行することもできる。この例では、第5の処理は、ユーザが手動で連続的に入力した入力点の点列を繋いで得られる線(輪郭を表す線)を、心筋境界として推定する処理であり、以下の説明では、「マニュアルモードの推定処理」と称する場合がある。
また、推定部104は、入力点の入力を受け付ける前の段階において、デフォルトの超音波画像を用いて、ユーザからの入力点によらずに、全自動で心筋境界を推定する第4の処理を実行する。この例では、デフォルトの超音波画像が取得されたときに、推定部104は、入力点の数が0であるとみなし、第4の処理を実行する。また、後述するように、棄却部108からの指示に従って特定情報を破棄した場合も、推定部104は、入力点の数は0であると判断し(入力点の入力を受け付ける前の段階であると判断し)、第4の処理を実行する。以下の説明では、この第4の処理を、自動推定処理と称する場合がある。自動推定処理として、例えばデフォルトの超音波画像の画素値に基づいて心筋境界を自動的に検出する(例えば画素値(輝度値)が閾値以上の部分と閾値未満の部分の境界を心腔と心壁の境界として判断する)処理を実行することもできるが、これに限らず、公知の様々な技術を利用することができる。
図4の説明を続ける。重畳画像生成部105は、推定部104により推定された心筋境界を示す境界画像を、デフォルトの超音波画像に重畳した重畳画像を生成する。この例では、重畳画像生成部105は、請求項の「第2生成部」に対応していると捉えることができる。
表示制御部106は、重畳画像生成部105により生成された重畳画像をモニタ30に表示する制御を行う。
上述したように、本実施形態では、取得部101によりデフォルトの超音波画像が取得されると、推定部104は、そのデフォルトの超音波画像を用いて、ユーザからの入力点によらずに全自動で心筋境界を推定する第4の処理を実行する。そして、重畳画像生成部105は、第4の処理により推定された心筋境界を示す境界画像(「デフォルトの境界画像」となる)を、デフォルトの超音波画像に重畳してデフォルトの重畳画像を生成する。そして、表示制御部106は、重畳画像生成部105により生成されたデフォルトの重畳画像をモニタ30に表示する制御を行う。その後、重畳画像生成部105により新しい重畳画像が生成されるたびに、表示制御部106は、新しい重畳画像をモニタ30に表示する制御を行う。
図4に戻って説明を続ける。第2受付部107は、入力点を棄却することを示す棄却指示を受け付ける。例えばユーザは、図8に示すような重畳画像(図8の例では、デフォルトの重畳画像とは異なる重畳画像がモニタ30に表示されていることを想定)を見て、その心筋境界の推定結果(境界画像)に満足できない場合は、マウスの右クリックを行うことで、棄却指示を入力することができる。ただし、これに限らず、例えば図9に示すように、入力点の棄却を指示するためのボタン(UI画像)120が、重畳画像とともにモニタ30に表示される形態であってもよい。この場合、ユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を棄却ボタン120と重なる位置に合わせて右クリックを行うことで、棄却指示を入力することもできる。
図4に戻って説明を続ける。棄却部108は、第2受付部107で棄却指示を受け付けた場合、それまで第1受付部102で受け付けた入力点を棄却する。本実施形態では、棄却部108は、第2受付部107で棄却指示を受け付けた場合、推定部104に対して、特定情報を棄却することを指示する。この指示を受けた推定部104は、現在保持中の特定情報を全て棄却する。このとき、推定部104は、入力点の数は0であると判断し、上述の第4の処理を実行する。したがって、重畳画像生成部105は、第4の処理により推定された心筋境界を示す境界画像(新たな「デフォルトの境界画像」)を、デフォルトの超音波画像に重畳した重畳画像(新たな「デフォルトの重畳画像」)を生成する。これにより、モニタ30には、新たなデフォルトの重畳画像が表示されることになる。例えばユーザは、入力点の入力を行う前に提示されたデフォルトの重畳画像に満足できない場合も、右クリックを行うことで、自動推定処理をやり直させることができる。
そして、ユーザは、モニタ30に表示された重畳画像を確認しながら入力点を入力し直すことになる。例えば心尖1点モードのACT法による処理の結果に満足できなかった場合、ユーザは、棄却指示を入力した後に、中心軸2点モードまたは3点入力モードのACT法による処理を実行させるための入力点を入力することができる。なお、本実施形態では、推定部104は、棄却指示を受け付けた場合(棄却部108から、特定情報を棄却する指示を受けた場合)、入力点の数は0であると判断し(入力点の入力を受け付ける前の段階であると判断し)、自動推定処理を実行し直しているが、これに限らず、例えば推定部104は、棄却指示を受け付けた場合は、入力点の数は0ではないと判断し(つまり、自動推定処理は実行しない)、表示制御部106は、取得部101によりデフォルトの超音波画像が取得されたときに生成されたデフォルトの重畳画像を、再びモニタ30に表示する形態であってもよい。つまり、推定部104は、デフォルトの超音波画像が取得されたときに、入力点の数が0であると判断する一方、棄却指示を受け付けた場合は、入力点の数は0でないと判断する形態であってもよい。
次に、画像処理部100の動作例を説明する。まず、図10を参照しながら、画像処理部100が、上述の心尖1点モードのACT法による処理を実行する場合の動作例を説明する。まず、第1受付部102は、モニタ30に表示されたデフォルトの重畳画像に対してユーザが入力した入力点を受け付ける(ステップS11)。次に、特定部103は、ステップS11で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を、推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS11で受け付けた入力点に対応する特徴点を判断する。この例では、推定部104が、ステップS11で受け付けた入力点に対応する特徴点は心尖部ではないと判断した場合(ステップS12:No)、処理は終了するが、例えば後述の図11のステップS22へ進むという形態であってもよい。
一方、推定部104が、ステップS11で受け付けた入力点に対応する特徴点は心尖部であると判断した場合(ステップS12:YES)、推定部104は、心尖1点モードのACT法による処理の実行条件(入力点が1つであり、入力点に対応する特徴点が心尖部であること)が成立したと判断して、心尖1点モードのACT法による処理を実行し(ステップS13)、心筋境界を推定する。次に、重畳画像生成部105は、ステップS13の処理により推定された心筋境界を示す境界画像を、デフォルトの超音波画像に重畳した重畳画像を生成する(ステップS14)。次に、表示制御部106は、ステップS14で生成された重畳画像をモニタ30に表示する制御を行う(ステップS15)。
次に、図11を参照しながら、画像処理部100が、上述の中心軸2点モードのACT法による処理を実行する場合の動作例を説明する。まず、第1受付部102は、モニタ30に表示されたデフォルトの重畳画像に対してユーザが入力した入力点(第1番目の入力点)を受け付ける(ステップS21)。次に、特定部103は、ステップS21で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を、推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS21で受け付けた入力点に対応する特徴点を判断する。この例では、推定部104が、ステップS21で受け付けた入力点に対応する特徴点は中間点ではないと判断した場合(ステップS22:No)、処理は終了するが、例えば後述の図12のステップS32へ進むという形態であってもよい。
一方、推定部104が、ステップS21で受け付けた入力点に対応する特徴点は中間点であると判断した場合(ステップS22:YES)、推定部104は、中心軸2点モードのACT法による処理を実行することになると判定(中間判定)し、心尖部の入力を促すガイド画像をモニタ30に表示することを表示制御部106に指示する。この指示を受けた表示制御部106は、上述のガイド画像をモニタ30に表示する制御を行う(ステップS23)。そして、第1受付部102は、次の入力点(第2番目の入力点)を受け付ける(ステップS24)。
次に、特定部103は、ステップS24で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を、推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS24で受け付けた入力点に対応する特徴点が心尖部であるか否かを判断する(ステップS25)。推定部104が、ステップS24で受け付けた入力点に対応する特徴点は心尖部ではないと判断した場合(ステップS25:No)、処理は終了する。
一方、上述のステップS25において、ステップS24で受け付けた入力点に対応する特徴点は心尖部であると判断した場合(ステップS25:YES)、推定部104は、中心軸2点モードのACT法による処理の実行条件(入力点数が2つであり、第1番目の入力点に対応する特徴点が中間点であり、第2番目の入力点に対応する特徴点が心尖部であること)が成立したと判断して、中心軸2点モードのACT法による処理を実行し(ステップS26)、心筋境界を推定する。次に、重畳画像生成部105は、ステップS26の処理により推定された心筋境界を示す境界画像を、デフォルトの超音波画像に重畳した重畳画像を生成する(ステップS27)。次に、表示制御部106は、ステップS27で生成された重畳画像をモニタ30に表示する制御を行う(ステップS28)。
次に、図12を参照しながら、画像処理部100が、上述の3点入力モードのACT法による処理を実行する場合の動作例を説明する。まず、第1受付部102は、モニタ30に表示されたデフォルトの重畳画像に対してユーザが入力した入力点(第1番目の入力点)を受け付ける(ステップS31)。次に、特定部103は、ステップS31で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を、推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS31で受け付けた入力点に対応する特徴点を判断する。この例では、推定部104が、ステップS31で受け付けた入力点に対応する特徴点は、僧帽弁を構成する2つの弁のうちの何れかの根元部分(説明の便宜上、以下では「第1ヒンジ部」と称する)ではないと判断した場合(ステップS32:No)、処理は終了する。
一方、推定部104が、ステップS31で受け付けた入力点に対応する特徴点は第1ヒンジ部であると判断した場合(ステップS32:YES)、推定部104は、3点入力モードのACT法による処理を実行することになると判定(中間判定)し、僧帽弁を構成する2つの弁の各々の根元部分のうち、ステップS31で受け付けた入力点に対応しない方の根元部分(説明の便宜上、以下では「第2ヒンジ部」と称する)、または、心尖部の入力を促すガイド画像をモニタ30に表示することを表示制御部106に指示する。この指示を受けた表示制御部106は、上述のガイド画像をモニタ30に表示する制御を行う(ステップS33)。そして、第1受付部102は、次の入力点(第2番目の入力点)を受け付ける(ステップS34)。
次に、特定部103は、ステップS34で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS34で受け付けた入力点に対応する特徴点が、第2ヒンジ部および心尖部のうちの一方であるか否かを判断する(ステップS35)。
この例では、推定部104が、ステップS34で受け付けた入力点に対応する特徴点は、第2ヒンジ部および心尖部の何れでもないと判断した場合(ステップS35:No)、処理は終了するが、この場合(ステップS35:No)、例えば推定部104は、特定部103から通知された特定情報に基づいて、ステップS34で受け付けた入力点に対応する特徴点が、ステップS31で受け付けた入力点に対応する第1ヒンジ部の近傍の部位であるか否かを判断することもできる。そして、ステップS34で受け付けた入力点に対応する特徴点が、第1ヒンジ部の近傍の部位であると判断した場合、推定部104は、マニュアルモードの推定処理を実行することになると判定(中間判定)し、心筋境界に沿って入力点を入力し続けることを促すガイド画像を表示することを表示制御部106に指示する。この指示を受けた表示制御部106は、上述のガイド画像をモニタ30に表示する制御を行う。
そして、第1受付部102は、ユーザが連続的に入力する入力点を受け付け、推定部104は、第1受付部102で受け付けた入力点に対応する特徴点が、僧帽弁を構成する2つの弁の各々の根元部分のうち、ステップS31で受け付けた入力点に対応しない方の根元部分を示す第2ヒンジ部であると判断した場合、それまでに第1受付部102で受け付けた入力点の点列に基づいて、心筋境界を推定することもできる。ただし、第1受付部102で受け付けた入力点の数が4つ未満の場合は、推定部104は、マニュアルモードの推定処理の実行条件が成立していないと判断し、心筋境界に沿って入力点を入力し続けることを促すガイド画像を表示することを表示制御部106に指示することもできる。
一方、上述のステップS35において、ステップS34で受け付けた入力点に対応する特徴点が、第2ヒンジ部および心尖部のうちの一方であると判断した場合(ステップS35:Yes)、推定部104は、第2ヒンジ部および心尖部のうちの他方の入力を待つ。そして、第1受付部102は、次の入力点(第3番目の入力点)を受け付ける(ステップS36)。次に、特定部103は、ステップS36で受け付けた入力点に対応する特徴点を特定し、その特定した結果を示す特定情報を、推定部104へ通知する。推定部104は、特定部103から通知された特定情報に基づいて、ステップS36で受け付けた入力点に対応する特徴点が、第2ヒンジ部および心尖部のうちの他方であるか否かを判断する(ステップS37)。この例では、推定部104が、ステップS36で受け付けた入力点に対応する特徴点は、第2ヒンジ部および心尖部の何れでもないと判断した場合(ステップS37:No)、処理は終了する。
一方、上述のステップS37において、ステップS36で受け付けた入力点に対応する特徴点は、第2ヒンジ部および心尖部のうちの他方であると判断した場合(ステップS37:Yes)、推定部104は、3点入力モードのACT法による処理の実行条件(入力点数が3つであり、第1番目の入力点に対応する特徴点が第1ヒンジ部であり、第2番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの一方であり、第3番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの他方であること)が成立したと判断して、3点入力モードのACT法による処理を実行し(ステップS38)、心筋境界を推定する。次に、重畳画像生成部105は、ステップS38の処理により推定された心筋境界を示す境界画像を、デフォルトの超音波画像に重畳した重畳画像を生成する(ステップS39)。次に、表示制御部106は、ステップS39で生成された重畳画像をモニタ30に表示する制御を行う(ステップS40)。
なお、前述したように、ユーザは、提示された心筋境界の推定結果に満足できない場合、マウスの右クリックを行うことで、棄却指示を入力することができる。これにより、それまでの入力点が棄却され、その時点でモニタ30に表示されていた重畳画像も棄却されて、再び実行された自動推定処理により推定された境界画像(新たな「デフォルトの境界画像」)を、デフォルトの超音波画像に重畳した重畳画像(新たな「デフォルトの重畳画像」)がモニタ30に表示された状態に移行する。そして、ユーザは、モニタ30に表示された重畳画像を確認しながら入力点を入力し直すことになる。例えば心尖1点モードの推定結果に満足できなかった場合、ユーザは、中心軸2点モードまたは3点入力モードのACT法による処理を実行させるための入力点を入力することもできる。以上が、画像処理部100の具体的な内容である。
以上に説明した画像処理部100が搭載された装置本体40のハードウェア構成は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含むコンピュータ装置のハードウェア構成を利用している。上述した装置本体40の各部の機能(送信部41、受信部42、Bモード処理部43、ドプラ処理部44、画像生成部45、画像処理部100(取得部101、第1受付部102、特定部103、推定部104、重畳画像生成部105、表示制御部106、第2受付部107、棄却部108))は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、上述した装置本体40の各部の機能のうちの少なくとも一部を専用のハードウェア回路(例えば半導体集積回路等)で実現することもできる。
本実施形態では、上述の画像処理部100の機能が搭載された装置本体40が、請求項の「画像処理装置」に対応していると考えることができる。
上記CPU(コンピュータ)が実行するプログラムを、インターネット等のネットワークに接続された外部装置上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記CPUが実行するプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上記CPUが実行するプログラムを、ROM等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
以上に説明したように、本実施形態では、入力点の数と、それぞれの入力点に対応する超音波画像内の特徴点とに応じて、超音波画像に含まれる左心室の心筋の境界を推定する処理を切り替えて、心筋境界を推定する。したがって、本実施形態では3点入力は必須ではなく、ユーザは、超音波診断装置1に実行させたい処理(心筋境界を推定する処理)に応じた形で入力点を入力すればよい。例えば心筋境界の簡易な推定結果を直ちに確認したいという状況下であれば、3点入力モードのACT法による処理よりも入力点数が少なくて済む心尖1点モードのACT法による処理、または、中心軸2点モードのACT法による処理で十分である。そのような状況下では、ユーザは、従来のような3点入力を行わずに、心尖部の位置に対応する入力点のみを入力することで、心尖1点モードのACT法による処理を実行させることもできるし、中間点の位置および心尖部の位置の各々に対応する入力点を入力することで、中心軸2点モードのACT法による処理を実行させることもできる。
したがって、本実施形態によれば、ユーザ(操作者)の利便性を向上させることができるという有利な効果を達成できる。
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
(変形例)
以下、変形例を記載する。
以下、変形例を記載する。
(1)変形例1
図13は、本変形例の画像処理部100の機能構成の一例を示す図である。画像処理部100は、上述の第2受付部107および棄却部108の代わりに、修正部200を有している。その他の構成は、上述の実施形態と同様であるので、詳細な説明は省略する。
図13は、本変形例の画像処理部100の機能構成の一例を示す図である。画像処理部100は、上述の第2受付部107および棄却部108の代わりに、修正部200を有している。その他の構成は、上述の実施形態と同様であるので、詳細な説明は省略する。
修正部200は、モニタ30に表示された重畳画像に含まれる境界画像に対してユーザが入力した修正指示に応じて、境界画像を修正する。例えばユーザは、図8に示すような重畳画像を見て、その心筋境界の推定結果(境界画像)に満足できない場合は、マウスカーソルの先端の位置を境界画像の任意の点に合わせてマウスの右ボタンを押し、マウスの右ボタンを押したままマウスカーソルを所定の方向に移動させるドラッグ操作(つまり、境界画像の任意の点の移動を指示する操作)等により、境界画像を修正する指示を入力することができる。そして、修正部200は、ユーザが入力した修正指示に応じて、境界画像を修正するという具合である。
(2)変形例2
上述の実施形態では、推定部104は、心尖1点モードのACT法による処理の実行条件(入力点が1つであり、入力点に対応する特徴点が心尖部であること)が成立した場合は、心尖1点モードのACT法による処理を実行する。また、中心軸2点モードのACT法による処理の実行条件(入力点数が2つであり、第1番目の入力点に対応する特徴点が中間点であり、第2番目の入力点に対応する特徴点が心尖部であること)が成立した場合は、中心軸2点モードのACT法による処理を実行する。また、3点入力モードのACT法による処理の実行条件(入力点数が3つであり、第1番目の入力点に対応する特徴点が第1ヒンジ部であり、第2番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの一方であり、第3番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの他方であること)が成立した場合は、3点入力モードのACT法による処理を実行する。
上述の実施形態では、推定部104は、心尖1点モードのACT法による処理の実行条件(入力点が1つであり、入力点に対応する特徴点が心尖部であること)が成立した場合は、心尖1点モードのACT法による処理を実行する。また、中心軸2点モードのACT法による処理の実行条件(入力点数が2つであり、第1番目の入力点に対応する特徴点が中間点であり、第2番目の入力点に対応する特徴点が心尖部であること)が成立した場合は、中心軸2点モードのACT法による処理を実行する。また、3点入力モードのACT法による処理の実行条件(入力点数が3つであり、第1番目の入力点に対応する特徴点が第1ヒンジ部であり、第2番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの一方であり、第3番目の入力点に対応する特徴点が第2ヒンジ部および心尖部のうちの他方であること)が成立した場合は、3点入力モードのACT法による処理を実行する。
つまり、上述の実施形態では、推定部104は、入力点の数と、それぞれの入力点に対応する特徴点とに応じて、心筋境界を推定する処理を切り替えていると捉えることができるが、例えば推定部104は、第1受付部102で入力点を受け付けるたびに、それまでに受け付けた全ての入力点を利用して(起点として利用して)、心筋境界を推定する処理を実行することもできる(見方を変えれば、推定部104は、入力点の数に応じて、心筋境界を推定する処理を切り替えていると捉えることもできる)。この形態では、推定部104が心筋境界を推定する処理を実行するたびに、モニタ30に表示される重畳画像も更新されるので、上述の第2受付部107、棄却部108、修正部200などは不要となる。
要するに、推定部104は、入力点の数に応じて、デフォルトの超音波画像に含まれる左心室の心筋の境界を推定する処理を切り替えて、心筋境界を推定する形態であればよい。
また、例えば図14に示すように、心筋境界を推定する処理の開始を指示するための開始ボタン(UI画像)130が、デフォルトの重畳画像とともにモニタ30に表示され、入力点の入力を終えたユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を開始ボタン130と重なる位置に合わせて左クリックを行うことで、処理の開始を指示(見方を変えれば、入力点の入力終了を指示)するという形態であってもよい。処理の開始指示を受け付けた場合、推定部104は、それまでに受け付けた全ての入力点を利用して、心筋境界を推定する処理を実行する。例えばユーザが、2つの入力点を入力した後に、処理の開始を指示した場合、推定部104は、その2つの入力点を起点として心筋境界を実行するといった具合である。また、例えば図14のような開始ボタン130が表示されない形態であってもよい。この場合、例えば入力点の入力を終えたユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を心臓外の任意の位置に合わせて左クリックを行うことで、処理の開始を指示することもできる。
(3)変形例3
例えばユーザが、心尖1点モード、中心軸2点モード、3点入力モード、および、マニュアルモードのうちの何れかを事前に指定(選択)する形態であってもよい。例えば図15に示すように、心尖1点モードを指定するためのボタン(UI画像)140、中心軸2点モードを指定するためのボタン150、3点入力モードを指定するためのボタン160、および、マニュアルモードを指定するためのボタン170が、デフォルトの重畳画像とともにモニタ30に表示され、ユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を所望のモードに対応するボタンと重なる位置に合わせて左クリックを行うことで、所望のモードを指定するという形態であってもよい。
例えばユーザが、心尖1点モード、中心軸2点モード、3点入力モード、および、マニュアルモードのうちの何れかを事前に指定(選択)する形態であってもよい。例えば図15に示すように、心尖1点モードを指定するためのボタン(UI画像)140、中心軸2点モードを指定するためのボタン150、3点入力モードを指定するためのボタン160、および、マニュアルモードを指定するためのボタン170が、デフォルトの重畳画像とともにモニタ30に表示され、ユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を所望のモードに対応するボタンと重なる位置に合わせて左クリックを行うことで、所望のモードを指定するという形態であってもよい。
モードを指定する指示を受け付けた場合、画像処理部100は、指定されたモードに応じた入力点の入力を促す画像または文字をモニタ30に表示することもできる。例えば心尖1点モードを指定する指示を受け付けた場合、画像処理部100は、心尖部の入力を促す画像または文字をモニタ30に表示することもできる。そして、例えばユーザが、心尖部とは異なる特徴点を入力した場合(入力点に対応する特徴点が心尖部ではない場合)は、エラーを知らせる画像または文字をモニタ30に表示することもできる。
また、例えば3点入力モードを指定する指示を受け付けた場合、画像処理部100は、まず第1ヒンジ部の入力を促す画像または文字をモニタ30に表示することもできる。上述の実施形態では、3点入力モードでの入力点の入力の順番は、(1)第1ヒンジ部、(2)第2ヒンジ部および心尖部のうちの一方、(3)第2ヒンジ部および心尖部のうちの他方、になっているためである。そして、例えばユーザが、第1ヒンジ部とは異なる特徴点を入力した場合は、エラーを知らせる画像または文字をモニタ30に表示することもできる。また、例えばユーザが、第1ヒンジ部ではなくて心尖部を入力した場合(第1番目の入力点に対応する特徴点が心尖部である場合)は、画像処理部100は、3点入力モードでの入力点の入力の順番を、(1)心尖部、(2)第1ヒンジ部および第2ヒンジ部のうちの一方、(3)第1ヒンジ部および第2ヒンジ部のうちの他方、に変更し、次の入力として、第1ヒンジ部および第2ヒンジ部のうちの何れかの入力を促す画像または文字をモニタ30に表示することもできる。
(4)変形例4
例えば図16に示すように、画像処理部100は、入力点を入力するための入力用画面と、入力点に対応する特徴点を確認(どの特徴点を指示する入力を行ったのかを確認)するための確認用画面とを同時にモニタ30に表示することもできる。図16では、デフォルトの重畳画像に対してユーザが入力した入力点に対応する特徴点が心尖部である場合における入力用画面と確認用画面とを例示している。
例えば図16に示すように、画像処理部100は、入力点を入力するための入力用画面と、入力点に対応する特徴点を確認(どの特徴点を指示する入力を行ったのかを確認)するための確認用画面とを同時にモニタ30に表示することもできる。図16では、デフォルトの重畳画像に対してユーザが入力した入力点に対応する特徴点が心尖部である場合における入力用画面と確認用画面とを例示している。
(5)変形例5
上述の実施形態では、入力点を受け付ける前の段階において、デフォルトの重畳画像がモニタ30に表示されているが、例えば入力点を受け付ける前の段階においては、デフォルトの境界画像は表示されずに、デフォルトの超音波画像がモニタ30に表示される形態であってもよい。
上述の実施形態では、入力点を受け付ける前の段階において、デフォルトの重畳画像がモニタ30に表示されているが、例えば入力点を受け付ける前の段階においては、デフォルトの境界画像は表示されずに、デフォルトの超音波画像がモニタ30に表示される形態であってもよい。
この形態では、推定部104は、上述の実施形態のように、取得部101によりデフォルトの超音波画像が取得されたタイミングで第4の処理(以下の説明では、「0点入力モードのACT法による処理」と称する場合がある)を実行することはせず、例えば第1受付部102が所定期間にわたって入力点を受け付けなかった場合に、入力点の数が0であると判断(0点入力モードのACT法による処理の実行条件が成立したと判断)して、0点入力モードのACT法による処理を実行することもできる。
また、詳細な図示は省略するが、例えば0点入力モードを指定するためのボタン(UI画像)が、デフォルトの超音波画像とともにモニタ30に表示されてもよい。この場合、ユーザは、マウスを操作してマウスカーソルを移動させ、マウスカーソルの位置を、0点入力モードに対応するボタンと重なる位置に合わせることで(ここではクリックは不要としているが、例えばクリックを必要とする形態であってもよい)、0点入力モードを指定する形態であってもよい。0点入力モードの指定を受け付けた場合、推定部104は、0点入力モードのACT法による処理を実行する。これにより、0点入力モードのACT法による処理により推定された心筋境界を示す境界画像をデフォルトの超音波画像に重畳した重畳画像が、モニタ30に表示されるという具合である。
(6)変形例6
例えば上述の心尖1点モードのACT法による処理として、入力点に対応する心尖部の位置を始点として、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、この探索により得られた2点と、入力点に対応する心尖部の位置とに基づいて心筋境界を推定する処理を実行する場合、推定結果を示す境界画像を含む重畳画像を表示する際に、上記探索により得られた2点も同時に表示することもできる。例えばこの2点に対して視認性の高い色を付加して、この2点を強調する表示を行ってもよい。
例えば上述の心尖1点モードのACT法による処理として、入力点に対応する心尖部の位置を始点として、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、この探索により得られた2点と、入力点に対応する心尖部の位置とに基づいて心筋境界を推定する処理を実行する場合、推定結果を示す境界画像を含む重畳画像を表示する際に、上記探索により得られた2点も同時に表示することもできる。例えばこの2点に対して視認性の高い色を付加して、この2点を強調する表示を行ってもよい。
同様に、例えば上述の中心軸2点モードのACT法による処理として、第1番目の入力点に対応する中間点の位置を始点として、中心軸に対して左右方向へテンプレートマッチング等を行い、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、この探索により得られた2点と、第2番目の入力点に対応する心尖部の位置と基づいて心筋境界を推定する処理を実行する場合、推定結果を示す境界画像を含む重畳画像を表示する際に、上記探索により得られた2点も同時に表示することもできる。
(7)変形例7
例えば1点入力に基づいて心筋境界を推定する処理として、上述の心尖1点モードのACT法による処理とは異なる処理を採用することもできる。例えば推定部104は、入力点の数が1つであり、かつ、入力点に対応する特徴点が、心筋より内側の血液で占められている領域の中心点である場合に、入力点に対応する中心点を用いて心筋境界を推定する処理を実行することもできる。
例えば1点入力に基づいて心筋境界を推定する処理として、上述の心尖1点モードのACT法による処理とは異なる処理を採用することもできる。例えば推定部104は、入力点の数が1つであり、かつ、入力点に対応する特徴点が、心筋より内側の血液で占められている領域の中心点である場合に、入力点に対応する中心点を用いて心筋境界を推定する処理を実行することもできる。
例えば図17に示すように、ユーザが、モニタ30に表示されたデフォルトの重畳画像を確認しながらマウスを操作してマウスカーソルを移動させ、マウスカーソルの先端の位置を、心筋より内側の血液で占められている領域の中心点Px3の付近の位置に合わせて左クリックを行った場合を想定する。この場合、特定部103は、例えば入力点を始点として、デフォルトの超音波画像の上方向へテンプレートマッチング等を行い、心尖部を探索するとともに、下方向へテンプレートマッチング等を行い、第1ヒンジ部および第2ヒンジ部を探索することで、入力点に対応する特徴点が、中心点Px3であるか否かを特定することができる。また、超音波画像では、血液の部分の画素値(輝度値)は低い値を示すので、例えば特定部103は、入力点を含む所定領域の画像の画素値(例えば平均画素値)が閾値以下であることを、入力点に対応する特徴点が中心点Px3であると判断するための条件として考慮に入れて、入力点に対応する特徴点が中心点Px3であるか否かを特定することもできる。特定部103は、入力点に対応する特徴点が中心点Px3であることを特定した場合、その特定した結果を示す特定情報を推定部104へ通知する。
推定部104は、現在保持している特定情報から、入力点の数が1つであり、かつ、入力点に対応する特徴点が中心点Px3であると判断した場合、1点入力に基づいて心筋境界を推定する処理の実行条件が成立したと判断し、入力点に対応する中心点Px3の位置を始点(起点)として、心筋境界を推定する処理を実行する。例えば推定部104は、入力点に対応する中心点Px3の位置を始点として、その始点から、デフォルトの超音波画像の上方向へテンプレートマッチング等を行い、心尖部の位置を探索するとともに、デフォルトの超音波画像の下方向へテンプレートマッチング等を行い、第1ヒンジ部の位置および第2ヒンジ部の位置の2点を探索し、この探索により得られた3点を用いて、3点入力に基づく心筋境界の推定を行うことができる。
要するに、推定部104は、入力点の数と、それぞれの入力点に対応する特徴点とに応じて、心筋境界を推定する処理を切り替える形態であればよい。
(8)変形例8
例えば、上述の心尖1点モード、中心軸2点モード、3点入力モード、マニュアルモードのうちの何れのモード(何れのモードのACT法による処理)が選択されているのかを示す情報がモニタ30に表示されてもよい。つまり、推定部104は、オブジェクトの境界を推定する処理を複数種類有しており、入力点の数に応じて、何れかの処理を選択し、表示制御部106は、何れの処理が選択されているのかを示す情報をモニタ30に表示する形態であってもよい。
例えば、上述の心尖1点モード、中心軸2点モード、3点入力モード、マニュアルモードのうちの何れのモード(何れのモードのACT法による処理)が選択されているのかを示す情報がモニタ30に表示されてもよい。つまり、推定部104は、オブジェクトの境界を推定する処理を複数種類有しており、入力点の数に応じて、何れかの処理を選択し、表示制御部106は、何れの処理が選択されているのかを示す情報をモニタ30に表示する形態であってもよい。
なお、上述の変形例同士を任意に組み合わせることもできる。また、上述の実施形態および各変形例を、任意に組み合わせることも可能である。
1 超音波診断装置
10 超音波プローブ
20 入力装置
30 モニタ
40 装置本体
41 送信部
42 受信部
43 Bモード処理部
44 ドプラ処理部
45 画像生成部
100 画像処理部
101 取得部
102 第1受付部
103 特定部
104 推定部
105 重畳画像生成部
106 表示制御部
107 第2受付部
108 棄却部
120 棄却ボタン
130 開始ボタン
200 修正部
10 超音波プローブ
20 入力装置
30 モニタ
40 装置本体
41 送信部
42 受信部
43 Bモード処理部
44 ドプラ処理部
45 画像生成部
100 画像処理部
101 取得部
102 第1受付部
103 特定部
104 推定部
105 重畳画像生成部
106 表示制御部
107 第2受付部
108 棄却部
120 棄却ボタン
130 開始ボタン
200 修正部
Claims (14)
- 医用画像を生成する第1生成部と、
前記医用画像に対してユーザが入力した入力点を受け付ける第1受付部と、
前記入力点の数に応じて、前記医用画像に含まれるオブジェクトの境界を推定する処理を切り替えて、前記境界を推定する推定部と、を備える、
医用画像診断装置。 - 前記推定部は、前記入力点の数と、それぞれの前記入力点に対応する前記医用画像内の特徴点とに応じて、前記境界を推定する処理を切り替える、
請求項1に記載の医用画像診断装置。 - 前記医用画像のうち前記入力点を含む所定領域の画像と、予め用意された複数種類のパターン画像の各々とのパターンマッチングの結果に基づいて、前記入力点に対応する前記特徴点を特定する特定部をさらに備える、
請求項2に記載の医用画像診断装置。 - 前記オブジェクトは、左心室の心筋であり、
前記推定部は、
前記入力点の数が1つであり、前記入力点に対応する前記特徴点が前記左心室の心尖部である場合は、前記入力点に対応する前記心尖部の位置と前記医用画像とに基づいて前記境界を推定する第1の処理を実行する、
請求項2または請求項3に記載の医用画像診断装置。 - 前記オブジェクトは、左心室の心筋であり、
前記推定部は、
前記入力点の数が2つであり、第1番目の前記入力点に対応する前記特徴点が、前記左心室の僧帽弁を構成する2つの弁のうちの一方の弁の根元部分を示す第1ヒンジ部と、他方の弁の根元部分を示す第2ヒンジ部との間の点を示す中間点であり、第2番目の前記入力点に対応する前記特徴点が前記心尖部である場合は、第1番目の前記入力点に対応する前記中間点の位置と、第2番目の前記入力点に対応する前記心尖部の位置と、前記医用画像とに基づいて、前記境界を推定する第2の処理を実行する、
請求項2乃至4のうちの何れか1項に記載の医用画像診断装置。 - 前記オブジェクトは、左心室の心筋であり、
前記推定部は、
前記入力点の数が3つであり、第1番目の前記入力点に対応する前記特徴点が、前記左心室の僧帽弁を構成する2つの弁のうちの一方の弁の根元部分を示す第1ヒンジ部であり、第2番目の前記入力点に対応する前記特徴点が、前記2つの弁のうちの他方の弁の根元部分を示す第2ヒンジ部、および、心尖部のうちの一方であり、第3番目の前記入力点に対応する前記特徴点が、前記第2ヒンジ部および前記心尖部のうちの他方である場合は、第1番目の前記入力点に対応する前記第1ヒンジ部の位置と、第2番目の前記入力点に対応する前記第2ヒンジ部および前記心尖部のうちの一方の位置と、第3番目の前記入力点に対応する前記第2ヒンジ部および前記心尖部のうちの他方の位置と、前記医用画像とに基づいて、前記境界を推定する第3の処理を実行する、
請求項2乃至5のうちの何れか1項に記載の医用画像診断装置。 - 前記オブジェクトは、左心室の心筋であり、
前記推定部は、前記入力点の入力を受け付ける前の段階において、前記医用画像を用いて、前記入力点によらずに全自動で前記境界を推定する第4の処理を実行する、
請求項2乃至6のうちの何れか1項に記載の医用画像診断装置。 - 前記推定部により推定された前記境界を示す境界画像を、前記医用画像に重畳した重畳画像を生成する第2生成部と、
画像を表示する表示部と、
前記重畳画像を前記表示部に表示する制御を行う表示制御部と、をさらに備える、
請求項1乃至7のうちの何れか1項に記載の医用画像診断装置。 - 前記推定部は、複数種類の前記処理を有しており、前記入力点の数に応じて、何れかの前記処理を選択し、
前記表示制御部は、何れの前記処理が選択されているのかを示す情報を前記表示部に表示する制御を行う、
請求項8に記載の医用画像診断装置。 - 前記入力点を棄却することを示す棄却指示を受け付ける第2受付部と、
前記第2受付部で前記棄却指示を受け付けた場合、それまで前記第1受付部で受け付けた前記入力点を棄却する棄却部と、をさらに備える、
請求項8または請求項9に記載の医用画像診断装置。 - 前記表示部に表示された前記重畳画像に含まれる前記境界画像に対して前記ユーザが入力した修正指示に応じて、前記境界画像を修正する修正部をさらに備える、
請求項8または請求項9に記載の医用画像診断装置。 - 前記第1生成部は、被検体に対して超音波プローブから送信した超音波の反射波に基づいて前記医用画像を生成する、
請求項1乃至11のうちの何れか1項に記載の医用画像診断装置。 - 医用画像を取得する取得部と、
前記医用画像に対してユーザが入力した入力点を受け付ける第1受付部と、
前記入力点の数に応じて、前記医用画像に含まれるオブジェクトの境界を推定する処理を切り替えて、前記オブジェクトの境界を推定する推定部と、を備える、
画像処理装置。 - コンピュータを、
医用画像を取得する取得手段と、
前記医用画像に対してユーザが入力した入力点を受け付ける第1受付手段と、
前記入力点の数に応じて、前記医用画像に含まれるオブジェクトの境界を推定する処理を切り替えて、前記オブジェクトの境界を推定する推定手段として機能させる、
画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013213217A JP2015073798A (ja) | 2013-10-10 | 2013-10-10 | 医用画像診断装置、画像処理装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013213217A JP2015073798A (ja) | 2013-10-10 | 2013-10-10 | 医用画像診断装置、画像処理装置およびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015073798A true JP2015073798A (ja) | 2015-04-20 |
Family
ID=52999118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013213217A Pending JP2015073798A (ja) | 2013-10-10 | 2013-10-10 | 医用画像診断装置、画像処理装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015073798A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020022550A (ja) * | 2018-08-06 | 2020-02-13 | 株式会社日立製作所 | 超音波画像処理装置およびプログラム |
| JP2021104275A (ja) * | 2019-12-27 | 2021-07-26 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用情報処理装置、及び医用情報処理プログラム |
| JP2022111704A (ja) * | 2021-01-20 | 2022-08-01 | キヤノン株式会社 | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム |
| JPWO2023145901A1 (ja) * | 2022-01-27 | 2023-08-03 |
-
2013
- 2013-10-10 JP JP2013213217A patent/JP2015073798A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020022550A (ja) * | 2018-08-06 | 2020-02-13 | 株式会社日立製作所 | 超音波画像処理装置およびプログラム |
| JP7099901B2 (ja) | 2018-08-06 | 2022-07-12 | 富士フイルムヘルスケア株式会社 | 超音波画像処理装置およびプログラム |
| JP2021104275A (ja) * | 2019-12-27 | 2021-07-26 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用情報処理装置、及び医用情報処理プログラム |
| JP7326151B2 (ja) | 2019-12-27 | 2023-08-15 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置、医用情報処理装置、及び医用情報処理プログラム |
| JP2022111704A (ja) * | 2021-01-20 | 2022-08-01 | キヤノン株式会社 | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム |
| JP7667661B2 (ja) | 2021-01-20 | 2025-04-23 | キヤノン株式会社 | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム |
| US12499570B2 (en) | 2021-01-20 | 2025-12-16 | Canon Kabushiki Kaisha | Image processing apparatus, medical image capturing apparatus, image processing method, and storage medium |
| JPWO2023145901A1 (ja) * | 2022-01-27 | 2023-08-03 | ||
| WO2023145901A1 (ja) * | 2022-01-27 | 2023-08-03 | 京セラ株式会社 | 推定装置、推定方法、及び制御装置 |
| EP4470731A4 (en) * | 2022-01-27 | 2025-12-24 | Kyocera Corp | ESTIMATING APPARATUS, ESTIMATING METHOD AND CONTROL DEVICE |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12318256B2 (en) | 3D ultrasound imaging system | |
| JP6367425B2 (ja) | 超音波診断装置 | |
| US9161741B2 (en) | Ultrasonic image processing apparatus, ultrasonic diagnostic apparatus, and ultrasonic image processing method | |
| US11185310B2 (en) | Ultrasound imaging apparatus and control method thereof | |
| US9326749B2 (en) | Ultrasound diagnosis apparatus and controlling method | |
| US11436729B2 (en) | Medical image processing apparatus | |
| US10813624B2 (en) | Ultrasound display method | |
| US20110190633A1 (en) | Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method | |
| JP6382050B2 (ja) | 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム | |
| US20110301462A1 (en) | Ultrasonic diagnosis apparatus and ultrasonic image processing apparatus | |
| JP2013111434A (ja) | 画像処理装置、超音波診断装置及び画像処理プログラム | |
| JP2018015155A (ja) | 医用画像処理装置及び医用画像処理プログラム | |
| JP2017006655A (ja) | 超音波診断装置及び画像処理装置 | |
| JP2023009211A (ja) | 医用処理装置 | |
| JP2015073798A (ja) | 医用画像診断装置、画像処理装置およびプログラム | |
| JP6815259B2 (ja) | 超音波診断装置、医用画像処理装置及び医用画像処理プログラム | |
| JP2019181183A (ja) | 医用診断装置、医用画像処理装置、及び画像処理プログラム | |
| US20170219705A1 (en) | Ultrasonic diagnosis apparatus and storage medium | |
| JP2008289548A (ja) | 超音波診断装置及び診断パラメータ計測装置 | |
| US10462382B2 (en) | Single-modality-based visual distinguishing of medical intervention device from tissue | |
| JP7639198B2 (ja) | 超音波診断装置、およびプログラム | |
| JP6334883B2 (ja) | 超音波診断装置及び表示制御プログラム | |
| JP6230918B2 (ja) | 超音波画像診断装置及びプログラム | |
| JP2017225850A (ja) | 画像処理装置及びプログラム | |
| US20250308029A1 (en) | Analysis apparatus, ultrasound diagnostic apparatus, and non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160317 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160929 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161021 |