JP2017503548A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017503548A5 JP2017503548A5 JP2016539043A JP2016539043A JP2017503548A5 JP 2017503548 A5 JP2017503548 A5 JP 2017503548A5 JP 2016539043 A JP2016539043 A JP 2016539043A JP 2016539043 A JP2016539043 A JP 2016539043A JP 2017503548 A5 JP2017503548 A5 JP 2017503548A5
- Authority
- JP
- Japan
- Prior art keywords
- needle
- image
- instrument
- segmentation
- ultrasound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002604 ultrasonography Methods 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 8
- 210000001519 tissues Anatomy 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 4
- 230000000875 corresponding Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 238000007374 clinical diagnostic method Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims 1
- 230000001225 therapeutic Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 26
- 238000003709 image segmentation Methods 0.000 description 6
- 230000002708 enhancing Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon(0) Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 210000000988 Bone and Bones Anatomy 0.000 description 1
- 210000003195 Fascia Anatomy 0.000 description 1
- 210000003205 Muscles Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000002860 competitive Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drugs Drugs 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000010859 live-cell imaging Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001953 sensory Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Description
この出願は、参照によってここに取り入れられる2013年12月20日出願の米国特許出願第61/918,912号の利益を要求する。
本発明は、超音波画像において医療器具をセグメント化することに関し、より具体的には、画像を収集することに応じてセグメンテーションをダイナミックに実行することに関する。 「ダイナミックに」、又は「リアルタイム」に実行することは、システムの処理制御及びタスクを完了するために必要なデータを正確に測定するように要求される時間を考慮して意図的な遅れなしでデータ処理タスクを完了することとしてこの特許出願において解釈される。
超音波(US)画像ガイダンスは、解剖学的コンテキスト内においてニードル位置のリアルタイム視覚化を可能にすることによってニードルガイド下プロシージャの効率及び安全性を向上させる。超音波ガイド下プロシージャにおけるニードルの可視性を強化する電子ビームステアリングのような超音波方法を使用する性能は、過去数年においてかなりの競争領域になってきた。
リアルタイム3D超音波が利用できる間、2DUSはその増加された有効性及び単純化された視覚化性能のためにニードルに基づく臨床プロシージャのためにより広く使われている。
2DUSにより、超音波ビームを、ニードル方向に対して垂直な横方向に電子的にステアリングすることが可能になり、ニードル視覚化を大幅に強化する強い鏡面反射が生成される。
ニードルに関するプローブの現在の方向は通常、当初から知られていないため、ニードルによる正常度を実現するために必要なビームステアリング角も知られていない。
また、ニードルは超音波イメージング平面内において直接アラインされないとき、及び/又は背景組織が骨、筋膜又は組織境界のような他の線形鏡面反射体を含むとき、視覚化は難しい。
更に、画像におけるアーチファクトは様々な理由、例えば大きな角度で線形アレイをステアリングすることからのグレーティングロブ、並びに90度又はそれの近くで超音波入力に対する急激な減衰変化をもたらす上記の線形及び他の鏡面反射体からの鏡面エコーで生成される。
チャン他(以下「チャン」)による「超音波ガイド下経皮的プロシージャのニードル可視性の強化」は、超音波画像におけるニードルの自動セグメント化及び最適ビームステアリング角の決定を開示する。
問題として、ニードルに似ている鏡面構造は、ニードル検出を妨げる。 スペックルノイズ及びイメージングアーチファクトも検出を妨げ得る。
チャンの解決策は、ユーザがニードルを揺らし、それによって、異なる画像に基づいてセグメンテーションを支援することにある。
更に、チャンは、ニードルの探索の範囲に関して異なるモード間のスイッチングにおけるユーザ対話を必要とする。たとえば、ニードルがビューから失われるとき、探索範囲のユーザリセットが必要とされる。
チャンセグメンテーションは狭い範囲の効果を有する閾値を使用する強度に基づくエッジ検出にも依存する。
以下ここに提案されることは、上記の課題の一つ又はそれより多くを説明する。
上記の注目される視覚化困難性に加えて、ニードルが組織にまだ深く挿入されていないとき、視覚化は問題を含む。 ニードル挿入がちょうど視野に入っているときのように、「ニードル状の」鏡面ディフレクタからニードルを識別するときのチャン困難性は、ニードルの小さな部分を検出するときに悪化する。 特に、チャンは、ハフ変換を超音波画像のエッジ検出出力に適用する。ニードル部分と競合する鏡面構造は、特に視野へのニードルエントリの始まりでより長く現れ得る。 したがって、彼らはハフ変換においてより多くのボートを集め、それによって超音波画像、最も突出した直線特徴、すなわちニードルとして特定され得る。
それでも、ニードルのポーズを決定するためにニードルがより深く挿入されるまで待つ必要がある場合、ニードル検出の臨床値は疑わしい。医師がその経路を評価することができ、より多くの損傷及び痛みを引き起こすことなくコースを変えることができるとき、ニードルが挿入プロセスにおいてより早く検出されることができる場合、それはより好ましい。
信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、その結果、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
更に、ニードルの検出及びセグメンテーションはコンピュータ断層撮影(CT)又は磁気共鳴(MR)イメージングのような術前モダリティとの超音波画像の融合を可能にし、ニードルに基づくプロシージャのための専用画像融合システムを可能にする。
技術的解決策が、ニードルは画像で最も明るい線形対象物であるという仮定に頼らない自動ニードルセグメンテーションに対して必要である。
ここに提案されるものの態様において、分類に基づく医用画像セグメンテーション装置は、超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。
下位態様又は関連態様において、画像における鏡面反射体の外観を強調するために超音波ビームステアリングが使用される。次に、先行して収集されるグランドトゥルースデータからトレーニングされるピクセル態様のニードル分類子が、組織バックグランドからニードルをセグメント化するように適用される。最後に、ラドン又はハフ変換が、ニードルポーズを検出するために用いられる。 セグメント化は、ウェーブレット特徴量の統計的ブースティングを介して実現される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。
体外及び臨床データセットを使う確認結果は、体外及び臨床データセットを調べるときに強調される検出を示し、最適でないニードル位置及び組織アーチファクトは、強度に基づくセグメンテーションを失敗させる。
新規で、リアルタイムの分類に基づく医用画像セグメンテーションの詳細は、寸法通りではない以下の図面を用いて、更に以下に述べられる。
図1は、実例及び非限定的な例により、リアルタイムの分類に基づく医用画像セグメンテーション装置100を表す。 それは、スキャナのような超音波画像収集デバイス104を含む。 デバイス104は、ビームフォーマ 108及び超音波イメージングプローブ112を含む。 プローブ112は、線形アレイプローブになり得る。それは、 体組織120において、何れの所与のイメージング深度128においても横のスパン124によって規定される視野116でセットされ得る。装置110は、医用ニードル136の少なくとも一つの部分132の、視野116へのエントリをリアルタイムに検出するためにプローブ112を使うことができる。視野116は、二つの境界線140及び144によって規定される。 ニードル136の検出は、視野116に挿入されるニードル136のわずか2.0ミリメートルでもたらされ得る。これにより、既存の方法論から利用可能な検出に比べてニードルのより早い検出が可能になる。ニードル136の画像を改善するため、現在の視野116は、超音波ビーム152を90度の角度でニードル136上への入射にステアリングするために新たな視野148に変化し得る。ステアリングされる視野148は、二つの境界線156及び160を備える図1に示される。ニードル136による正常度を実現するビームステアリングは、視野116における変化を必ずしも必要としない。 ニードルの改善された画像は、元の視野116において全画像に移されることができる。ニードル136による正常度を実現するステアリングは結果としてもたらされる画像におけるイメージング画質を全体的にわずかに減らすが、特にニードルの視覚化は強調されるためこれはなされる。装置100は、治療及び医療診断の少なくとも一つにおける使用のために設計される。矢印で示されるように、ニードル136は、たとえば、体内方向164に注入される薬剤を送達するために用いられ得る。 生検、神経ブロック及び流体呼気は、ニードルポーズ、位置及び移動がリアルタイムに同様にモニタリングされる他のプロシージャの例である。
装置100は、最も有名な統計的ブースティングアルゴリズムであるAdaboostTMのようなブースティングされる分類子172を具現化する、機械学習に基づく分類回路168を更に含む。
ライブイメージングを介したモニタリングにおけるユーザ対話のために、本装置はディスプレイ176及びユーザ制御器180も含む。
図2は、ブースティングされる分類子172及びその使用のトレーニング及び臨床パフォーマンスの典型的なバージョンを概念的に描写する。 分類子172をトレーニングするために、二次元ログガボールウェーブレット(又は「フィルタ」)204は、ニードル画像208に適用される。更に以下に詳細に論じられるように、ニードル画像208はビームステアリングを介して収集され、B-モードイメージングにおいて通常使われる周波数より低い超音波周波数を利用することによって収集される。 ウェーブレット204を適用することからの出力は、ニードル画像208のそれぞれのピクセル(x,y)216及びそれぞれのウェーブレット特徴量Fiに対するウェーブレット特徴パラメータFi,x,y 212のセットになる。各々のピクセル216に対するグランドトゥルースGTx,yは、それがニードルの部分又はバックグランドの部分であるかについて決定されるか、決定されている。F1,x,y及びGTx,yは、「弱い分類子」,WK1の成分である。複数の弱い分類子は、 強い又は「ブースティングされる」分類子を提供するために、結合、すなわち、ブースティング220される。 この技術に対する代替は、ピクセル216がニードル又はバックグランドであるかを決めるようにピクセル強度を使うことである。しかしながら、ニードル画像208におけるアーチファクトのため、強度に基づく閾値化は、ニードル136を効果的に分類するのに十分ロバストでない。ブースティングされる分類子172をトレーニングするときの上記ステップは、破下線224によって図2において表されるように、トレーニングデータセットにおいてニードル画像208の各々に対して繰り返される。上記の弱い分類子WK1は、そのそれぞれのグランドトゥルースGTx,yで各々分類される特徴パラメータF1,x,yを用いて増強される。特に、F1,x,yの間からのパラメータに対して、GTx,yを考慮して最小分類エラーをもたらす最適閾値T1が見つけられる。閾値化されるべきパラメータは基本的に、ニードルの形状、ニードルの角度、テクスチャ、及び更には強度に関する情報を含む。 更に、トレーニング段階は、ニードルに見えないもの、すなわち、筋肉テクスチャ及びバックグランド画像の特徴になるものに関する情報を提供する。下点破線225によって図2において表されるように、上記の処理の全ては特徴F1乃至F2の各々に対して繰り返される。 これは、下点線226によって図2において表されるように、弱い分類子WKI乃至WK2をもたらすようになされ、それに対応して最適閾値TI乃至T2をもたらすようになされる。 弱い分類子WKiは、臨床プロシージャの間、バイナリ出力- ピクセル(x,y)216に対する「ニードル」228又は「バックグランド」232をもたらす強い分類子SCを形成するときの適切な重み付けを通じて結合される。実効的に、弱い仮説のセットは、強い仮説に結合される。
臨床プロシージャにおいて、2Dログガボールフィルタは異なる方向で空間周波数に応じるように方向付けられることができるため、ウェーブレット204は角範囲を通じたスイープの部分として異なる角度方向にインクリメンタルに方向付けられる。各々のインクリメントにおいて、それぞれのニードル画像208は、現在のビーム角236で収集され、方向付けられるウェーブレット204は適用され、それによって画像に関して画像から情報、すなわちFi,x,y 212を導出するように動作し、上記のセグメンテーションは、導出される情報に関して動作する。 後のステップにおいて、ブースティングされる分類子172は、エントリがニードルピクセル及びバックグランドピクセルの間で割り当てられるバイナリピクセル-マップ240 Mx,yを出力する。オペレータによって選ばれる抽出モードに依存して、又は実施に依存して、マップ240のニードル部分は抽出され244a、B-モード画像上に直接重ね合わされ252、又はラドン変換若しくはハフ変換(HT)248のようなライン検出アルゴリズムがニードル136の位置及び角度を導出するために用いられることができる。この後者の場合、未加工のニードル画像が収集されることができ、バックグランドがそれからマスクアウトされ、結果としてもたらされる、抽出244b「ニードルのみの」画像は現在のB-モード画像上に重畳256される。 このように、抽出モードは、「ピクセルマップ」又は「超音波画像」のためにセットされ得る。それは、図4及び5に関して更に以下に議論されるステップS432、S456及びS556で反映される。 ログガボールフィルタは上で記述されるが、ガボールフィルタのような他のイメージングフィルタが代わりに使われることはできる。
図3は、臨床プロシージャに関して典型的な詳細を更に例示する。 上記のインクリメンタルスイープ304は、表示された例において、角度の範囲308を通っている。各々のインクリメント312は、対応するビーム角で収集されるニードル画像208に隣接して、図3において示される。画像208における何れの細長い、線形の、鏡面対象物314は、ここに提案されるセグメンテーションの堅牢性のために、ニードル136から識別される。セグメンテーション316は、各々のニードル画像208に関してブースティングされる分類子172によって実行され、それぞれのピクセルマップ240が生成される。ハフ変換248は、各々のピクセルマップ240に適用される。結果としてもたらされるライン出力320は、角度/オフセットビンを合計するとき合計324される。これは、位置に対応して、ニードル136のオフセットの推定を決定する。 それは、ニードル136の角度328も決定する。 上でここに言及されるように、ニードル位置及び角度は、「ニードルのみの」重ね合わせを備える表示可能なB-モード画像を形成するとき使われることができ、又は代わりにピクセルマップ240のニードル部分は重ね合わせとしてニードルピクセルを供給するために使われることができる。
臨床プロシージャを実行するために呼ぶことができるサブルーチンは、図4における実施例において示される。
第一のサブルーチン400において、ウェーブレット204は、現在のビーム角236に対して方向付けられる(ステップS404)。 ニードル画像208が収集される(ステップS408)。ウェーブレット204はニードル画像208に適用される(ステップS412)。出力はブースティングされる統計的分類子172によって処理される(ステップS416)。バイナリピクセルマップ240はニードル画像208のために形成される(ステップS420)。
第二のサブルーチン410において、ビーム角236は5°まで初期化される(ステップS424)。図4においてエントリポイント「A」で始めるために、第一のサブルーチン400が呼び出される(ステップS428)。 ピクセルマップ240が直接重ね合わされる場合(ステップS432)、ニードルピクセルに対して、ニードルピクセル及びピクセル固有の信頼値が保存される(ステップS436)。弱い分類子WKiの各々は、閾値Tiが達せられるかに基づいて、バックグランドを表す、-1又はニードルを表す、+1を返す。強い分類子SCはこれらの値の加重和を計算する。総和が正である場合、ピクセル216がニードル136の部分であると考えられる。その他の場合、ピクセル216はバックグランドの部分であると考えられる。しかしながら、総和は強い仮説における信頼も示す。総和が+1に近付くほど、「ニードル」の決定はより多くの信頼を受ける。ニードルピクセルは、それらの対応する信頼値とともに、信頼値に基づいてロバストなピクセルマップを後に生成するためにこの時に記録される。代わりにピクセルマップ240は直接重ね合わされない(ステップS432)。1つの実施例において、たとえば、ピクセルマップ240の直接の重ね合わせはニードルのみの超音波画像を重ね合わせるメインプロセスに代わるディスプレイオプションとして意図され得る。それに応じて、ピクセルマップ240が直接重ね合わされない場合(ステップS432)、現在のビーム角236におけるハフ変換248の出力は、存在する場合、変換出力の連続的な総和をつくるために前のビーム角における出力に加えられる(ステップS440)。何れのイベントにおいても、すなわち、ピクセルマップが重ね合わされてもされなくても、現在のビーム角236が90°より小さい場合(ステップS444)、現在のビーム角はインクリメントされ(ステップS448)、セグメント化ステップS428に戻される(ステップS452)。その他の場合、現在のビーム角236が90°である場合(ステップS444)、処理は、ピクセルマップ240が直接重ね合わされるかに再び依存する(ステップS456)。ピクセルマップ240が直接重ね合わされる(ステップS456)場合、最適ニードルマップが導出される(ステップS460)。特にステップS436において繰り返し保存される信頼値は結合される。例えば、各々のネガティブな信頼値はゼロになり得る。それぞれのビーム角236のために生成される信頼マップは合計されるマップを作成するために加えられる。信頼値はそれから、ピクセル輝度値の範囲に正規化される。他方、ピクセルマップ240が、直接重ね合わされない(ステップS456)場合、ステップS440からのハフ変換総和出力324はニードルオフセットをもたらす(ステップS464)。それは、ニードル136の角度328も与える(ステップS468)。
図5は、現在の例において、臨床プロシージャのメインルーチンである。 ニードル-存在フラグは初期化、すなわち、クリアされる(ステップS504)。 第二のサブルーチン410が呼び出される(ステップS508)。ニードルは現在の視野116に存在するか否かが決定される(ステップS512)。たとえば、ピクセルマップ240を表示する場合、ニードルピクセルの数及びオプションでそれらの信頼レベルは、ニードル136が存在するかを決定するように閾値化を受け得る。超音波重ね合わせを表示する場合、合計されるハフ変換324のラインビン合計は、ニードル136が存在するかを決定するように閾値化され得る。ニードル136は存在しないことが決定される場合(ステップS512)、及びニードル-存在フラグがセットされない場合(ステップS516)、B-モード画像は収集される(ステップS524)。それは表示される(ステップS528)。イメージングが継続する(ステップS532)場合、セグメント化ステップS508に戻される。他方、ニードル-存在フラグがセットされる場合(ステップS516)、それはクリアされる(ステップS536)。ユーザは、ニードル136がもはやスクリーン上にないことを通知され(ステップS540)、処理はB-モード収集ステップS524へ再び分岐する。ニードルは存在することが決定され(ステップS512)、ニードル-存在フラグはセットされない(ステップS544)場合、ユーザは、ニードルの、表示画像へのエントリを通知され(ステップS548)、ニードル-存在フラグはセットされる(ステップS552)。この点において、ニードル-存在フラグがセットされた、又はセットされているか否かにかかわらず(ステップS544及びS552)、処理パスは、ピクセルマップ240が重ね合わせとして使用されるべきかに依存する(ステップS556)。ピクセルマップ240が重ね合わせとして使われない場合(ステップS556)、合計ハフ変換324によって決定されるニードル角度328は、ニードル136による正常度に対してビーム152をステアリングように用いられ、それによってニードルのより良好な可視性が提供される(ステップS560)。ステアリングビーム152を介してニードル画像208は収集される(ステップS564)。ピクセルマップ240が重ね合わせとして使われるか否かにかかわらず、B-モード画像は収集される(ステップS568)。合成画像は、ニードル画像208から抽出される重畳されたニードルのみの画像及びB-モード画像、又はピクセルマップ重ね合わせの場合、ステップS456からの正規化された信頼値の、抽出され、重畳されたセット若しくはピクセルマップ240の他の描出から形成される(ステップS572)。合成画像が表示される(ステップS576)。均一又は不均一に離れた期間の後、周期的、すなわち反復的に、ニードル136は、その位置及び方向に関する更新として再セグメント化されるべきである(ステップS580)。ニードル136が再セグメント化される場合(ステップS580)、処理はセグメント化ステップS508に戻る。さもなければ、ニードル136は再セグメント化されない(ステップS580)が、イメージングは継続される(ステップS584)場合、ステップS556に戻される。
ステップS540及びS548におけるユーザ通知は、感覚的、例えば、聴覚的、触覚的、又は視覚的になり得る。たとえば、パネル又はディスプレイスクリーン上のイルミネーションは、「オン」状態にある間、動作のそれぞれのモードがアクティブにあることを示し得る。
動作のニードル-存在-検出モード588は、たとえば、ステップS512乃至S532に対応する。
ニードル-挿入-検出モード592は、たとえば、ステップS512及びS544乃至S552に対応する。
ニードル視覚化モード596は、たとえば、ステップS556乃至S564に対応する。 ニードル視覚化モード596を出ることはできるが、ニードル-挿入-検出モード592のままにすることもできる。 その後のある時間において、ニードル-挿入-検出モード592が、ニードル136の、視野116への再エントリを検出する場合、ニードル視覚化モード596は自動的に、及びユーザ介入の必要なしで再活性化される。例えば、ニードル-存在-検出モード588は、ニードル-挿入-検出モード592を可能にし、それ故にそのモード592の間、常にアクティブになる。
上記のモード588、592、及び596は、ユーザ制御器180によって集合的又は個別的に活性化又は非活性化され、より大きな全体的なモードに各々取り込まれ得る。
上記のモード588、592、及び596の各々は装置100のオプションとして存在し、たとえばユーザ動作可能であり、又は代わりにモードをスイッチオフするための何れのオプションもなしで装置の部分になり得る。
モード588、592、及び596を可能にするのは、上でここに提案されるニードルセグメンテーションの信頼性及び画質である。
提案された方法論は治療を人間又は動物被験体に提供する際に有利に適用されることができるが、本発明の範囲はそれに限定されるものではない。 より広いことに、ここに開示される技術は、生体内及び生体外における機械学習に基づく画像セグメンテーションに向けられる。
分類に基づく医用画像セグメンテーション装置は、超音波から、ニードルのような医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、収集にダイナミックに応じて、画像から導出される情報に関して動作することによって器具をセグメント化するために機械学習に基づく分類を使うように構成される機械学習に基づく分類回路とを含む。セグメント化は、ウェーブレット特徴量のパラメータの統計的ブースティングを介して実現されることができる。 画像の各々のピクセルは、「ニードル」又は「バックグランド」として特定される。画像を収集するステップ、ニードルをセグメント化するステップ、及び視覚的に強調され、アーチファクトのないニードルのみの重ね合わせによる画像を表示するステップの全プロセスは、ユーザ介入の必要なしで自動的に実行される。信頼できるニードルセグメンテーションは、最適ビームステアリング角、時間ゲイン補償及び画像処理パラメータの自動セッティングを可能にし、潜在的に強化された視覚化及び臨床ワークフローをもたらす。
本発明は、図面及び上述の記載において詳細に図示されると共に記載されているが、このような図面及び記載は例示的であり、限定的なものでないことは考慮されるべきであり、本発明は開示の実施例に限定されるものではない。
たとえば、ニードル-挿入-検出モード592は、ニードルのわずか7ミリメートルが体組織に挿入されたとき、ニードル136の少なくとも部分を検出することができ、上でここに言及されるように、超音波視野における2.0mmを検出することができる。
開示された実施形態に対する他の変形が、請求される発明の実施において、図面、本開示、及び別記の請求項についての検討から、当業者によって理解され、実現され得る。請求項において、用語「含む」は、他の要素又はステップを除外するものではなく、不定冠詞「一つの("a"又は"an")」は、複数を除外するものではない。請求項におけるいかなる参照符号も、その範囲を限定するものと見なされるべきではない。
コンピュータプログラムが、光記憶媒体又はソリッドステート媒体などの適切なコンピュータ読取可能媒体上に、瞬間的に、一時的に、又は長期間にわたって記憶されることができる。こうした媒体は、一時的な伝播信号ではないという意味に限って非一時的であり、しかしながら、例えばレジスタメモリ、プロセッサキャッシュ、RAM及び他の揮発性メモリなどの、他の形式のコンピュータ読取可能媒体を含む。
単一のプロセッサ又は他のユニットが、請求項に列挙された一つより多くの項目の関数を満たしてよい。特定の手段が互いに異なる従属請求項に列挙されるという単なる事実は、これらの手段の組み合わせを使用しても利点を得られないことを示すものではない。
Claims (7)
- 分類に基づく医用画像特定装置であって、
超音波から、医療器具を描出する画像を収集するように構成される超音波画像収集デバイスと、
動的に前記収集に応じて、前記画像から導出される情報に関して動作することによって前記器具をセグメント化するため、機械学習に基づく分類を使用するように構成される機械学習に基づく分類回路と
を有し、
前記回路は、ブースティングされる分類子を有し、前記セグメント化のために前記分類子を使用するように構成され、
前記超音波画像収集デバイスを介して、前記器具の対応する描出のための現在の超音波ビームの前記器具への入射角度が90度より小さい場合、前記超音波ビームの前記器具への入射角度の範囲に渡って漸増的に、スイープにおいて前記収集をユーザ介入の必要なしで自動的に動的に実行し、前記描出のセグメント化は動的に前記漸増的な収集に応じるように構成され、
ライン検出アルゴリズムを前記描出の各々の一つに対する前記セグメント化の出力に前記漸増毎に適用するように更に構成され、前記器具の方向を導出するため前記アルゴリズムの出力を加えるように更に構成され、
ディスプレイを更に有し、前記セグメント化は、エントリが前記ピクセルは前記器具のものかを各々示すバイナリピクセルマップを形成することを有し、前記現在の超音波ビームの前記器具への入射角度が90度である場合、前記装置は、合成画像を形成するために前記マップの器具ピクセルを超音波画像上に重ね合わせ、前記ディスプレイを介して前記合成画像を視覚化するように構成される、
装置。 - 前記使用は、ウェーブレット特徴量のパラメータの統計的ブースティングを実行することを有する、請求項1に記載の装置。
- 前記描出の前記セグメント化の結果に基づいて前記器具の方向を動的に決定するように更に構成される、請求項1に記載の装置。
- 前記器具は医用ニードルである、請求項1に記載の装置。
- 前記装置は、治療及び医療診断の少なくとも一つにおける使用のために設計される、請求項4に記載の装置。
- ディスプレイを更に有し、前記デバイスは前記ディスプレイを介した体組織の動的な視覚化のスパンを空間的に規定するための視野を持つ超音波イメージングプローブを有し、前記装置は動作のニードル-存在-検出モードを備え、前記モードの間、前記セグメント化の出力に基づいて、ニードルが前記視野内に部分的にさえ存在しないことをユーザ介入の必要なしで自動的に決定するように更に構成される、請求項4に記載の装置。
- 動的に前記収集に応じて、前記画像に関して動作することによる前記画像からの前記情報の前記導出を実行するように構成される、請求項1に記載の装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361918912P | 2013-12-20 | 2013-12-20 | |
US61/918,912 | 2013-12-20 | ||
US201462019087P | 2014-06-30 | 2014-06-30 | |
US62/019,087 | 2014-06-30 | ||
PCT/IB2014/066411 WO2015092582A1 (en) | 2013-12-20 | 2014-11-28 | Automatic ultrasound beam steering and needle artifact suppression |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093830A Division JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017503548A JP2017503548A (ja) | 2017-02-02 |
JP2017503548A5 true JP2017503548A5 (ja) | 2020-10-08 |
JP6850606B2 JP6850606B2 (ja) | 2021-03-31 |
Family
ID=52278682
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016539043A Active JP6850606B2 (ja) | 2013-12-20 | 2014-11-28 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
JP2019093830A Active JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093830A Active JP6857685B2 (ja) | 2013-12-20 | 2019-05-17 | 自動超音波ビームステアリング及びニードルアーチファクト抑制 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160317118A1 (ja) |
EP (1) | EP3082615B1 (ja) |
JP (2) | JP6850606B2 (ja) |
CN (1) | CN106413565B (ja) |
WO (1) | WO2015092582A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6447071B2 (ja) * | 2013-12-11 | 2019-01-09 | コニカミノルタ株式会社 | 超音波診断装置、超音波画像処理方法、および、プログラム |
KR20170060852A (ko) * | 2015-11-25 | 2017-06-02 | 삼성메디슨 주식회사 | 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치 |
KR101931747B1 (ko) * | 2016-10-28 | 2019-03-13 | 삼성메디슨 주식회사 | 생체 검사 장치 및 동작 방법 |
US10932749B2 (en) | 2016-11-09 | 2021-03-02 | Fujifilm Sonosite, Inc. | Ultrasound system for enhanced instrument visualization |
US10657671B2 (en) | 2016-12-02 | 2020-05-19 | Avent, Inc. | System and method for navigation to a target anatomical object in medical imaging-based procedures |
US11832969B2 (en) | 2016-12-22 | 2023-12-05 | The Johns Hopkins University | Machine learning approach to beamforming |
US10102452B2 (en) | 2017-03-14 | 2018-10-16 | Clarius Mobile Health Corp. | Systems and methods for identifying an imaged needle in an ultrasound image |
EP3381512A1 (en) | 2017-03-30 | 2018-10-03 | Koninklijke Philips N.V. | Determining at least one final two-dimensional image for visualizing an object of interest in a three-dimensional ultrasound volume |
EP3703572A1 (en) | 2017-11-02 | 2020-09-09 | Koninklijke Philips N.V. | Intelligent ultrasound system for detecting image artefacts |
US11638569B2 (en) * | 2018-06-08 | 2023-05-02 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time needle detection, enhancement and localization in ultrasound |
US11426142B2 (en) | 2018-08-13 | 2022-08-30 | Rutgers, The State University Of New Jersey | Computer vision systems and methods for real-time localization of needles in ultrasound images |
US11896424B2 (en) * | 2018-12-05 | 2024-02-13 | Fujifilm Sonosite, Inc. | Automated needle entry detection |
JP2022534916A (ja) * | 2019-05-31 | 2022-08-04 | コーニンクレッカ フィリップス エヌ ヴェ | 画像ベースデバイスセグメンテ-ションのためのパッシブ超音波センサベース初期化 |
WO2021029153A1 (ja) | 2019-08-15 | 2021-02-18 | 富士フイルム株式会社 | 超音波診断装置、及び超音波診断装置の制御方法 |
US20210059758A1 (en) * | 2019-08-30 | 2021-03-04 | Avent, Inc. | System and Method for Identification, Labeling, and Tracking of a Medical Instrument |
US20210100530A1 (en) * | 2019-10-04 | 2021-04-08 | GE Precision Healthcare LLC | Methods and systems for diagnosing tendon damage via ultrasound imaging |
JP7502899B2 (ja) | 2020-05-28 | 2024-06-19 | 富士フイルムヘルスケア株式会社 | 超音波撮像装置、及び、それを用いた手術支援システム |
JPWO2022071326A1 (ja) * | 2020-09-29 | 2022-04-07 | ||
WO2023054467A1 (ja) * | 2021-09-30 | 2023-04-06 | テルモ株式会社 | モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1636731A2 (en) * | 2003-06-25 | 2006-03-22 | Siemens Medical Solutions USA, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
US7536044B2 (en) * | 2003-11-19 | 2009-05-19 | Siemens Medical Solutions Usa, Inc. | System and method for detecting and matching anatomical structures using appearance and shape |
US7783095B2 (en) * | 2005-08-11 | 2010-08-24 | Siemens Medical Solutions Usa, Inc. | System and method for fetal biometric measurements from ultrasound data and fusion of same for estimation of fetal gestational age |
KR100846500B1 (ko) * | 2006-11-08 | 2008-07-17 | 삼성전자주식회사 | 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치 |
US7840061B2 (en) * | 2007-02-28 | 2010-11-23 | Mitsubishi Electric Research Laboratories, Inc. | Method for adaptively boosting classifiers for object tracking |
US8073215B2 (en) * | 2007-09-18 | 2011-12-06 | Siemens Medical Solutions Usa, Inc. | Automated detection of planes from three-dimensional echocardiographic data |
US8556814B2 (en) * | 2007-10-04 | 2013-10-15 | Siemens Medical Solutions Usa, Inc. | Automated fetal measurement from three-dimensional ultrasound data |
US8660303B2 (en) * | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
US8861822B2 (en) * | 2010-04-07 | 2014-10-14 | Fujifilm Sonosite, Inc. | Systems and methods for enhanced imaging of objects within an image |
JP6014049B2 (ja) * | 2011-01-17 | 2016-10-25 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像ガイド下生検における針展開検出のためのシステム及びその作動方法 |
JP6000569B2 (ja) * | 2011-04-01 | 2016-09-28 | 東芝メディカルシステムズ株式会社 | 超音波診断装置及び制御プログラム |
US9642592B2 (en) * | 2013-01-03 | 2017-05-09 | Siemens Medical Solutions Usa, Inc. | Needle enhancement in diagnostic ultrasound imaging |
-
2014
- 2014-11-28 WO PCT/IB2014/066411 patent/WO2015092582A1/en active Application Filing
- 2014-11-28 EP EP14821848.0A patent/EP3082615B1/en active Active
- 2014-11-28 JP JP2016539043A patent/JP6850606B2/ja active Active
- 2014-11-28 US US15/105,037 patent/US20160317118A1/en not_active Abandoned
- 2014-11-28 CN CN201480069638.9A patent/CN106413565B/zh active Active
-
2019
- 2019-05-17 JP JP2019093830A patent/JP6857685B2/ja active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6857685B2 (ja) | 自動超音波ビームステアリング及びニードルアーチファクト抑制 | |
JP2017503548A5 (ja) | ||
JP6266160B2 (ja) | 血管を識別する超音波システム及び方法 | |
JP6994494B2 (ja) | エラストグラフィ測定システム及びその方法 | |
KR102094502B1 (ko) | 의료 영상들의 정합 방법 및 장치 | |
RU2740257C2 (ru) | Ультразвуковая система и способ обнаружения скольжения легкого | |
JP6230917B2 (ja) | 診断用超音波イメージングにおける針の強調のためのシステムおよび記録媒体 | |
EP3367896B1 (en) | Signaling of an aortic valve state | |
KR102001219B1 (ko) | 의료 영상들의 정합 방법 및 장치 | |
KR102114415B1 (ko) | 의료 영상 정합 방법 및 장치 | |
KR101932721B1 (ko) | 의료 영상들의 정합 방법 및 장치 | |
Kaya et al. | Needle localization using gabor filtering in 2D ultrasound images | |
MX2008005808A (es) | Deteccion de bordes en imagenes de ultrasonido. | |
JP2011131062A (ja) | 超音波画像を使用した高速解剖学的マッピング | |
Lang et al. | Multi-modal registration of speckle-tracked freehand 3D ultrasound to CT in the lumbar spine | |
KR102106535B1 (ko) | 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템. | |
US20170360396A1 (en) | Ultrasound imaging apparatus and method for segmenting anatomical objects | |
KR102278893B1 (ko) | 의료영상처리장치 및 이를 이용한 의료영상정합방법 | |
Wen et al. | An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation | |
US20120123249A1 (en) | Providing an optimal ultrasound image for interventional treatment in a medical system | |
US10762631B2 (en) | Apparatus and method for characterizing a tissue of a subject | |
JP7282564B2 (ja) | 医用診断装置、医用画像処理装置、及び画像処理プログラム | |
Kim et al. | A learning-based, region of interest-tracking algorithm for catheter detection in echocardiography | |
US20230172585A1 (en) | Methods and systems for live image acquisition | |
JP2022534916A (ja) | 画像ベースデバイスセグメンテ-ションのためのパッシブ超音波センサベース初期化 |