JP2022543540A - 画像データを使用する超音波システム音響出力制御 - Google Patents
画像データを使用する超音波システム音響出力制御 Download PDFInfo
- Publication number
- JP2022543540A JP2022543540A JP2022502141A JP2022502141A JP2022543540A JP 2022543540 A JP2022543540 A JP 2022543540A JP 2022502141 A JP2022502141 A JP 2022502141A JP 2022502141 A JP2022502141 A JP 2022502141A JP 2022543540 A JP2022543540 A JP 2022543540A
- Authority
- JP
- Japan
- Prior art keywords
- ultrasound
- image
- acoustic power
- image data
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002604 ultrasonography Methods 0.000 title claims abstract description 72
- 210000003484 anatomy Anatomy 0.000 claims abstract description 28
- 239000000523 sample Substances 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims description 18
- 238000012285 ultrasound imaging Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 230000001605 fetal effect Effects 0.000 description 28
- 210000000988 bone and bone Anatomy 0.000 description 15
- 238000012545 processing Methods 0.000 description 10
- 230000003187 abdominal effect Effects 0.000 description 7
- 210000004185 liver Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000017531 blood circulation Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 210000003754 fetus Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000004071 biological effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 101100478278 Mus musculus Spta1 gene Proteins 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008175 fetal development Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/5205—Means for monitoring or calibrating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/54—Control of the diagnostic device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
- A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/58—Testing, adjusting or calibrating the diagnostic device
- A61B8/585—Automatic set-up of the device
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52019—Details of transmitters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Abstract
超音波システムは画像認識を使用して、撮像される解剖学的構造を特徴付け、次いで、超音波プローブの音響出力のレベル又は制限を設定するときに、識別される解剖学的特徴を考慮する。あるいは前記音響出力レベル又は制限を自動的に設定する代わりに、システムは動作レベル又は条件の変化が現在の検査に賢明であることを臨床医に警告することができる。このようにして、臨床医は患者の安全のために安全なレベルの音響出力を維持しながら、より鮮明でより多くの画像のために画像内の信号対雑音レベルを最大化することができる。
Description
本発明は医療診断用超音波システムに関し、特に、画像データを用いた超音波プローブの音響出力の制御に関する。
超音波撮像は、伝播される音波の形成で非電離放射線を使用するので、医用撮像モダリティ最も安全なもの1つ。それにもかかわらず、可能性のある生物効果を決定するために、数年間にわたって数多くの研究が行われてきた。これらの研究は、熱効果、及び高いピークパルスエネルギーによるキャビテーション効果を有し得る超音波エネルギーへの長期曝露に焦点を当ててきた。これらの効果について発表されるより顕著な研究及び報告の中には、「診断用超音波の生物効果及び安全性」（AIUM Report、1993年1月28日）及び「American Institute of Ultrasound in Medicine Bioeffects Consensus Report」（Journal of Ultrasound in Medicine, vol.27, 2008年4月4日発行）がある。FDAはまた、FDAのクリアランス処理で使用される超音波の安全性とエネルギー制限に関するガイダンス文書、例えば、「診断用超音波システムとトランスデューサの市場クリアランスを求める製造業者向け情報」を2008年9月にFDAに発行している。製造業者は自社の超音波システム及びトランスデューサプローブのエネルギー制限を設計、試験、及び設定する際に、この情報及び他のソースのすべてを使用する。
トランスデューサプローブからの音響出力の測定は、トランスデューサ設計プロセスの一体部分である。開発中のプローブの音響出力の測定は水槽内で行うことができ、超音波システム内のプローブ送信器を駆動するための制限を設定するために使用することができる。現在、製造業者はピークパルス(キャビテーション)効果限定のピーク機械的指数として、熱効果限定及びMI≦1．9のために、Ispta.3≦720mW／cm2の全般的な撮像のための音響限定に固執している。これらの熱的及び機械的手段のための現在の作動レベルは、超音波プローブの作動中、画像とともにディスプレイスクリーン上に絶えず表示される。
しかしながら、超音波システムはこれらの設計される生体効果制限を有するが、特に下限が推奨される検査のために、システムが常に安全に操作されることを確認することは検査を実施する臨床医の責任である。重要な考慮事項は、生体効果が出力電力だけでなく、撮像モード、パルス繰り返し周波数、焦点深度、パルス長、及びトランスデューサタイプなど、患者の安全性にも影響を及ぼし得る他の動作パラメータの関数であることである。特定のプローブ操作に対して操作ガイダンスが推奨するいくつかのタイプの検査がある。例えば、剪断波撮像は産科検査には禁忌である。ほとんどの超音波システムは音響出力コントローラの何らかの形態を有しており、これは、これらのパラメータを絶えず評価し、音響出力を継続的に推定し、所定の安全限界内に動作を維持するための調整を行っている。
しかしながら、超音波システムの動作パラメータを測定するだけでなく、より多くのことを行うことができる。臨床医の観点から検査の実施を自動的に評価し、出力制御の調整又は推奨を行うことが望ましい。例えば、撮像されている解剖学的構造を特徴付け、患者の安全性を改善するために、音響出力に対する変更を設定又は推奨する際に画像情報を使用することが望ましい。
本発明の原理によれば、超音波システムは、画像認識を使用して、撮像されている解剖学的構造を特徴付け、次いで、識別される解剖学的特徴を考慮して、超音波プローブの音響出力のレベル又は制限を設定する。あるいは音響出力レベル又は制限を自動的に設定する代わりに、システムは動作レベル又は条件の変化が現在の検査に賢明であることを臨床医に警告することができる。このようにして、臨床医は患者の安全性のために安全なレベルの音響出力を維持しながら、より明瞭でより多くの診断画像のために画像内の信号対雑音レベルを最大化することができる。
まず図1を参照すると、音響出力の制御において画像データを使用する方法が示されている。画像データは、臨床医が患者をスキャンする際にステップ60で取得される。図1の例では、臨床医が取得される肝臓画像60aによって示されるように、肝臓をスキャンしている。超音波システムは、体内のその深さ、肝組織の一般的になめらかな質感、その遠い境界までの深さ、胆管及び血管の存在など、肝臓画像の既知の特性を認識することによって、この画像を肝臓画像として識別する。超音波システムはまた、深層腹部プローブの使用及び画像の広範な深さのような検査セットアップからの合図を考慮することができる。超音波システムは、この情報を用いて、ステップ62における画像データを、腹部画像検査において取得される肝臓の画像であると特徴付ける。次いで、超音波システムは、駆動電圧、熱及びMI設定、及び上述の他のプローブセットアップパラメータなどのプローブ動作特性を使用して、プローブの現在の音響出力を識別する。次に、ステップ64において、計算される音響出力が腹部検査のための推奨臨床制限と比較される。
助言又は調整ステップ66は、比較ステップ64に基づいて、追加のアクションが示されているかどうかを判定する。例えば、現在の音響出力が撮像される解剖学的構造に推奨される音響出力制限を下回っている場合、臨床医にメッセージを発することができ、音響出力を増加させて、より強い信号対雑音レベルを有するエコーを生成し、従って、より鮮明で明瞭な画像を生成することができることを助言する。他の比較は、音響出力が撮像されている解剖学的構造に対する推奨制限よりも高いこと、又は動作モードが撮像されている解剖学的構造に対して不適切であることを示し得る。
次いで、システムは必要であれば、ステップ66において、臨床医に音響出力を調整するように助言するメッセージを発行する。また、システムは、音響出力制限を、腹部検査に推奨されるものに応答して自動的に調整することができる。現在の音響出力が撮像される解剖学的構造に推奨される音響出力制限を下回る場合、臨床医にメッセージを発することができ、音響出力を増加させて、より強い信号対雑音レベルのエコーを発生させ、従って、より鮮明で鮮明な画像を生成することができることを助言する。
図2は、図1の方法に従って動作することができる超音波システムの第1の実施例をブロック図形式で示す。超音波を送信し、身体の領域からエコー情報を受信するために、超音波プローブ10内にトランスデューサアレイ112が設けられる。トランスデューサアレイ112は図に示されるように、仰角(3D)及び方位角の両方において、2次元又は3次元で電子的にスキャンすることが可能なトランスデューサ素子の2次元アレイであってもよい。あるいは、トランスデューサが単一の像平面をスキャンすることができる一次元アレイであってもよい。トランスデューサアレイ112は、アレイ素子による信号の送受信を制御するプローブ内のマイクロビームフォーマ114に結合される。マイクロビームフォーマは米国特許第5,997,479号(Savord ら)、第6，013，032号(Savord)、及び第6，623，432号(Powersら)に記載されているように、トランスデューサ素子のグループ又は「パッチ」によって受信される信号の少なくとも部分的なビーム成形が可能である。1次元アレイトランスデューサはマイクロビームフォーマを必要とせずに、システムビームフォーマによって直接動作させることができる。図2に示すプローブ実施形態におけるマイクロビームフォーマは、プローブケーブルによって、送受信を切り替える送信／受信(T／R)スイッチ16に結合され、メインシステムビームフォーマ20を高エネルギー送信信号から保護する。マイクロビームフォーマ114の制御下にあるトランスデューサアレイ112からの超音波ビームの送信はT／Rスイッチ及びビームフォーマ20に結合される送信コントローラ18によって指示され、このコントローラはシステムのユーザインターフェース又は制御装置24のユーザ操作から入力を受け取る。送信制御器により制御される送信特性の中には、送信波形の間隔、振幅、位相、周波数、繰り返し速度、極性がある。パルス伝送の方向に形成されるビームはトランスデューサアレイから真っ直ぐ前方に、又はより広いセクタ視野のために異なる角度で操縦されてもよい。
トランスデューサ素子の連続したグループによって受信されるエコーは、それらを適切に遅延させ、次いでそれらを組み合わせることによってビーム形成される。各パッチからマイクロビームフォーマ114によって生成される部分的にビーム形成される信号は、トランスデューサ素子の個々のパッチからの部分的にビーム形成される信号が遅延され、完全にビーム形成されるコヒーレントエコー信号に結合される主ビームフォーマ20に結合される。例えば、主ビームフォーマ20は128のチャネルを有してもよく、その各チャネルは12のトランスデューサ素子のパッチから部分的にビーム形成される信号を受信する。このようにして、2次元アレイトランスデューサの1500以上のトランスデューサ素子によって受信される信号は、単一ビーム形成信号に効率的に寄与することができる。主ビームフォーマがマイクロビームフォーマなしでトランスデューサアレイの素子から信号を受信しているとき、ビームフォーマチャネルの数は通常、ビーム形成のための信号を提供する要素数以上であり、ビームフォーマ20によって全てのビームフォーミングが行われる。
コヒーレントエコー信号は信号プロセッサ26によって信号処理され、これはディジタルフィルタによるフィルタリングと、空間又は周波数多重化によるノイズ低減とを含む。信号プロセッサ26のデジタルフィルタは例えば、米国特許第5，833，613号(Averkiou et al.)に開示されているタイプのフィルタとすることができる。処理されるエコー信号は直交復調器28によって直交(I及びQ)成分に復調され、これは信号位相情報を提供し、信号情報をベースバンド範囲の周波数にシフトすることもできる。
ビーム形成され処理されるコヒーレントエコー信号は、組織などの身体構造のBモード画像を生成するBモードプロセッサ52に結合される。Bモードプロセッサは、(I2 ＋Q2)１／２の形式でエコー信号振幅を計算することによって、直交復調されるI及びQ信号成分の振幅(包絡線)検波を実行する。直交エコー信号成分はまた、Dopplerプロセッサ46に結合され、これは、離散点からのエコー信号のアンサンブルを画像場内に蓄積し、次いで、高速フーリエ変換プロセッサで画像内の点におけるドップラーシフト推定するために使用される。ドップラーシフトは画像フィールド内の点における動き、例えば、血流及び組織の動きに比例する。血流の分析のために形成することができるカラードップラー画像の場合、血管内の各点における推定ドップラー流量値は、ルックアップテーブルを用いてフィルタリングされ、色値に変換される。Bモード画像又はドップラー画像のいずれかが単独で表示されてもよいし、カラードップラーオーバレイが撮像される領域内の組織及び血管内の血流を示す解剖学的位置合わせで一緒に示されてもよい。
Bモード画像シグナル及びボリューム撮像の場合のドップラーフロー値は、対象のスキャンされるボリュームトリック領域に対応する画像データをx、y及びzに記憶する3D画像データメモリ32に連結される。2D画像の場合、アドレス指定可能なx，yメモリ位置を有する2次元メモリを使用することができる。3Dデータメモリのボリューム画像データはボリュームレンダラ34に結合されており、このボリュームレンダラは米国特許第6,530,885号(Entrekinら)明細書に記載されているように、3Dデータセットのエコー信号を、所与の基準点から見て投影される3D画像に変換する。撮像されるボリュームが見られる視点である基準点は、異なる視点から領域を診断するためにボリュームを傾斜又は回転させることを可能にする、ユーザインターフェース24上の制御によって変更されてもよい。レンダリングされる3D画像は画像プロセッサ30に結合され、画像プロセッサは画像ディスプレイ100上に表示するために必要に応じて画像データを処理する。超音波画像は一般に、患者名、画像深度マーカ、及びプローブ熱出力及び機械的インデックスMIのようなスキャン情報のような、グラフィックプロセッサ36によって生成されるグラフィックデータと共に示される。ボリュメトリック画像データはまた、単一画像平面のディスプレイのためにボリュメトリックデータセットから画像データの単一平面を抽出することができるマルチプレーナリフォーマッタ42に結合される。
本発明の原理によれば、図2のシステムは画像認識プロセッサを有する。図2の実施例では、画像認識プロセッサは胎児骨モデル86である。胎児モデルは、典型的な胎児骨構造のデータ形式で異なるサイズ及び／又は形状の数学的モデルのライブラリを記憶するメモリと、取得される超音波画像内の構造とモデルを比較するプロセッサとを備える。ライブラリはモデルの異なるセットを含むことができ、異なるセット、発達の第1及び第2の三半期のような、胎児発達の特定の年齢における典型的な胎児構造を表す。モデルは、胎児の骨格のメッシュと、発育中の胎児の皮膚(表面)を表すデータである。骨のメッシュは骨格の実際の骨と同様に相互に連結しているので、その相対的な動きや関節の範囲は実際の骨格構造のものと同じように制約されている。同様に、表面メッシュは、それが取り囲む骨の距離のある範囲内にあるように制約される。腹部検査の超音波画像が骨のような硬い物体からの強い反射であり得るエコーを含む場合、画像情報は、胎児モデルに結合され、分析のための開始点としてライブラリから特定のモデルを選択するために使用される。モデルは典型的な頭蓋骨又は大腿骨の近似表面を表す適応メッシュなど、モデルを歪ませるようにモデルのパラメータを変更し、それによって、変形によってモデルを画像データセット内の構造的ランドマークにフィットさせることによって、拘束制限、たとえば胎児年齢内で変形可能である。適応メッシュモデルは変形されるモデルを画像内の構造に適合させるために、そのメッシュ連続性及び他の制約の限界内でワープさせることができるので、望ましい。前述のモデル変形及びフィッティングは、「model－BASED SEGMENTATION OF AN ATOMICAL STRUCTURE」という名称の国際特許出願第WO 2015／019299号(Mollusら)にさらに詳細に説明されている。「ESTABLISHING A CONTOUR OF A STRUCTURE BASED ON IMAGE INFORMATION」という名称の国際特許出願第WO 2010／150156号(Petersら)及び「TRANSLATION OF ULTRASOUND ARRAY RESPONSIVE TO ANATOMICAL ORIENTATION」という名称の米国特許出願第2017／0128045号(Roundhillら)も参照される。プロセスはモデルによって適合させることができる。したがって胎児骨構造として識別することができる平面又は体積内にデータが見つかるまで、自動形状プロセッサによって継続される。ボリューム画像データセット内の平面は骨モデルがこれを行うように構成されるとき、ボリュームレンダラ34によって提供されるボリューム画像データ上で動作する胎児モデルによって選択されてもよい。あるいは、疑わしい位置と交差する一連の異なる向きの画像平面を、マルチプレーナリフォーマッタ42によってボリュームデータから抽出し、解析及びフィッティングのために胎児モデル86に提供することができる。画像分析が画像中の胎児骨構造を識別するとき、画像データのこの特徴付けは音響出力コントローラ44に結合され、これは、コントローラによって設定される現在の音響出力を、臨床制限データメモリ38に記憶されている産科試験の臨床制限データと比較する。現在の音響出力設定が産科検査に推奨される限界を超えていることが分かった場合、音響出力コントローラはディスプレイ100上にメッセージを表示するように命令することができ、より低い音響出力設定が推奨されることを臨床医に知らせる。あるいは、音響出力コントローラが送信コントローラ18の音響出力の下限を設定することができる。
図3は、直前に説明した図2の超音波システムを使用して音響出力を制御する方法を示す。画像データは、この例では胎児画像60bであるステップ60で取得される。画像データは、胎児骨構造を識別する胎児骨モデルによって分析され、したがって、ステップ62において、画像を胎児画像として特徴付ける。ステップ64において、音響出力コントローラ44は、現在の音響出力性能及び／又は設定を、胎児検査に適した制限と比較する。これらの制限のいずれかが現在の音響出力によって超過される場合、ステップ66において、ユーザは音響出力を低減するように勧められるか、又は音響出力が音響出力コントローラによって自動的に変更される。あるいは、剪断波撮像のような産科検査に推奨されない撮像モードが自動的に動作を禁止することができる。
本発明の超音波システムの第2の実施例は、図4にブロック図形式で示されている。図4のシステムでは図2に示され、説明されるシステム要素は同様の機能及び動作のために使用され、再び説明されない。図4のシステムでは、画像認識プロセッサはニューラルネットワークモデル80を含む。ニューラルネットワークモデルは「ディープラーニング」と呼ばれる人工知能の発展を利用したもので、ディープラーニングは人間の脳が問題を分析する際に機能することを模倣した、機械学習アルゴリズムの急速に発展する分野である。人間の脳は過去に同様の問題を解決することから学んだことを思い出し、その知識を適用して新しい問題を解決する。パターン認識、自然言語処理、コンピュータビジョンなど、多くの分野でこの技術の可能な使用を確認するための探索が進行中である。深層学習アルゴリズムは、カスタムコンピュータコードを書き込むのではなく、画像サンプルを分析することによって画像特徴を認識するように一般化及び訓練することができるという点で、従来の形態のコンピュータプログラミングアルゴリズムに勝る明確な利点を有する。しかしながら、超音波システムにおいて視覚化される解剖学的構造は、自動画像認識に容易に役立つようには思われない。すべての人は異なり、解剖学的形状、サイズ、位置、及び機能は人によって異なる。さらに、超音波画像の品質及び明瞭度は、同じ超音波システムを使用する場合であっても変化する。これは、身体の生息環境が画像を形成するために使用される、身体の内部から戻される超音波信号に影響を及ぼすからである。例えば、妊娠中の母体の腹部を通して胎児をスキャンすると、しばしば超音波信号が大きく減衰し、胎児画像における解剖学的構造が不明確になる。それにもかかわらず、この実装の中で記述されるシステムは、ニューラルネットワークモデルによる処理を通して、胎児超音波画像中の解剖学を認識するための深層学習技術を使用する能力を実証した。ニューラルネットワークモデルは最初に、既知の解剖学的構造の複数の画像、例えば、モデルに対して識別される既知の胎児構造を有する胎児画像をそれに提示することによって訓練される。いったんトレーニングされると、超音波検査の間に臨床医によって取得されるライブ画像は、リアルタイムでニューラルネットワークモデルによって分析され、これは画像中の胎児解剖学的構造を識別する。
深層学習ニューラルネットワークモデルはソフトウェア設計者によって書かれ得るソフトウェアを含み、また、多くのソースから公的に入手可能である。図4の超音波システムでは、ニューラルネットワークモデルソフトウェアはデジタルメモリに記憶される。「NVidia Digits」と呼ばれるニューラルネットワークモデルの構築に使用できるアプリケーションは、https://developer.nvidia.com/digitsで入手できる。NVidia Digitsは、バークレービジョンアンドラーニングセンター(http://caffe.berkeleyvision.org/)が開発した「カフェ」と呼ばれる深層学習フレームワークを中心とした高度なユーザインターフェースである。本発明の実施において使用するのに適した一般的なディープラーニングフレームワークの一覧は、https://developer.nvidia.com/deep-learning-frameworksに見られる。ニューラルネットワークモデル80に結合されるトレーニング画像メモリ82であり、ここでは、胎児骨構造を含む既知の胎児解剖学の超音波画像が保存され、超音波画像データセットにおいてその解剖学的構造を同定するためにニューラルネットモデルをトレーニングするために使用される。ニューラルネットワークモデルが多数の既知の胎児画像によって訓練されると、ニューラルネットワークモデルはボリュームレンダラ34から画像データを受け取る。ニューラルネットワークモデルは上述したように、腹部検査が行われているという事実のような解剖学的情報の形成で他のキューを受け取ることができる。次いで、ニューラルネットワークモデルは、画像データにおいて胎児の骨構造が識別されるまで、画像の領域を分析する。前述のように、超音波システムは、次いで、取得される超音波画像を胎児画像として特徴付け、この特徴付けを音響出力コントローラ44に転送する。音響出力コントローラは現在制御されている音響出力を胎児画像のための推奨臨床制限と比較し、ユーザに過剰な音響出力を警告するか、又は第1の実施形態について上述したように音響出力制限設定を自動的にリセットする。上述のシステム及び方法の変形は、当業者には容易に想起されるのであろう。所望であれば、他の画像認識アルゴリズムを用いてもよい。臨床医によって超音波システムに入力されるデータのような、画像内の解剖学的構造を特徴付けるために、他の装置及び技法を使用することもできるし、代替的に使用することもできる。
本発明の技術は、腹部画像以外の他の診断分野で使用することができる。例えば、多くの超音波検査は診断のために解剖学的構造の標準的なビューを必要とし、これらは、画像における比較的容易な同定の影響を受けやすい。腎臓の診断において、標準ビューは、腎臓の冠状画像平面である。心臓病学では、心臓の2室、3室、及び4室のビューが標準ビューである。心臓モデルのような他の解剖学的構造のモデルは、現在市販されている。ニューラルネットワークモデルは、心臓の画像データセット内のそのようなビュー及び解剖学的構造を認識するように訓練され、次いで超音波プローブの心臓使用を特徴付けるために使用され得る。他の用途は、当業者には容易に想起されるのであろう。
本発明の実施に使用するのに適した超音波システム、特に図2及び図4の超音波システムの構成要素構造は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実施することができることに留意される。超音波システムの様々な実施形態及び／又は構成要素、例えば、胎児骨モデル及び深層学習ソフトウェアモジュール、又はその中の構成要素、プロセッサ、及びコントローラは、1つ又は複数のコンピュータ又はマイクロプロセッサの一部として実装されてもよい。コンピュータ又はプロセッサは例えばインターネットにアクセスするために、計算装置、入力装置、表示ユニット及びインターフェースを含むことができる。コンピュータ又はプロセッサは、マイクロプロセッサを含むことができる。マイクロプロセッサは例えば、トレーニング画像をインポートするためのPACSシステム又はデータネットワークにアクセスするために、通信バスに接続されてもよい。コンピュータ又はプロセッサはまた、メモリを含んでもよい。3D画像データメモリ32、トレーニング画像メモリ、臨床データメモリ、及び胎児骨モデルライブラリを記憶するメモリのようなメモリデバイスは、ランダムアクセスメモリ(RAM)及び読み出し専用メモリ(ROM)を含むことができる。コンピュータ又はプロセッサはさらに、記憶媒体を含み、これは、ハードディスクドライブ、又はフロッピーディスクドライブ、光ディスクドライブ、ソリッドステートサムドライブなどのリムーバブル記憶ドライブであってもよい。記憶装置は、コンピュータプログラム又は他の命令をコンピュータ又はプロセッサにロードするための他の同様の手段であってもよい。
本明細書中で使用される用語「コンピュータ」又は「モジュール」又は「処理装置」又は「ワークステーション」には、マイクロプロセッサ制御装置を使用するシステム、減数指令セットコンピュータ(RISC)、ASIC、論理回路、及び本明細書に記載される機能を実行することができる任意の他の回路又は処理装置を含む、いずれかのマイクロプロセッサ処理装置ベース又はマイクロプロセッサ処理装置ベースのシステムが含まれ得る。上記の例は、例示的なものにすぎず、したがって、これらの用語の定義及び／又は意味を方法限定することを意図するものではない。
コンピュータ又はプロセッサは入力データを処理するために、1つ以上の記憶素子に記憶される命令のセットを実行する。記憶素子はまた、所望又は必要に応じて、データ又は他の情報を記憶してもよい。記憶素子は、処理マシン内の情報源又は物理的メモリ素子の形態であってもよい。
上述のような超音波画像の取得、処理、及び送信を制御する命令を含む超音波システムの命令のセットは、本発明の様々な実施形態の方法及びプロセスなどの特定の動作を実行するように処理機械としてコンピュータ又はプロセッサに命令する様々なコマンドを含むことができる。命令のセットは、ソフトウェアプログラムの形成であってもよい。ソフトウェアは、システムソフトウェア又はアプリケーションソフトウェアのような様々な形態であってもよく、有形及び一時的でないコンピュータ可読媒体として具体化されてもよい。さらに、ソフトウェアは、ニューラルネットワークモデルモジュール、より大きなプログラム内のプログラムモジュール、又はプログラムモジュールの部分など、別個のプログラム又はモジュールの集合体の形成とすることができる。また、このソフトウェアは、オブジェクト指向プログラミングの形態でのモジュール式プログラミングを含んでもよい。処理装置による入力データの処理は、オペレータコマンドに応じて、又は前の処理の結果に応じて、又は他の処理装置による要求に応じて行われてもよい。
さらに、以下のクレームの限定は手段プラスファンクション形式では記載されておらず、35 U．S．C．第112条第6段落に基づいて解釈されることを意図されていない。ただし、当該クレーム限定が明示的に「手段」という語句を使用し、その後にさらなる構造を欠く機能記述が続く場合はこの限りでない。
Claims (17)
- 画像データを考慮して音響出力レベル又は制限を設定又は推奨する超音波撮像システムであって、
解剖学的構造の画像データを取得するように構成される超音波プローブであって、制御可能な音響出力の音波を送信するように構成されるトランスデューサアレイをさらに備えるプローブと、
前記取得される画像データから解剖学的構造の超音波画像を表示するように構成されるディスプレイと、
前記取得される画像データに応答して、超音波画像の前記解剖学的構造の特性を認識するように構成される、画像認識プロセッサと、
前記画像の特性を考慮して、前記トランスデューサアレイに対して音響出力レベル又は制限を推奨又は設定するように構成される、音響出力コントローラと
を有する、超音波撮像システム。 - 前記画像認識プロセッサは解剖学的モデルをさらに備える、請求項1に記載の超音波撮像システム。
- 前記画像認識プロセッサは、画像データを解剖学的モデルと比較するようにさらに構成される、請求項2に記載の超音波撮像システム。
- 前記画像認識プロセッサは、画像データと解剖学的モデルとの前記比較に応答して超音波画像を特徴付けるようにさらに構成される、請求項3に記載の超音波撮像システム。
- 前記音響出力コントローラは、超音波画像の前記特徴付けを考慮して、音響出力レベル又は制限を推奨又は設定するようにさらに構成される、請求項4に記載の超音波撮像システム。
- 前記画像認識プロセッサは、ニューラルネットワークモデルをさらに備える、請求項1に記載の超音波撮像システム。
- 前記画像認識プロセッサはトレーニング画像メモリをさらに備える、請求項6に記載の超音波撮像システム。
- 前記画像認識プロセッサは、前記ニューラルネットワークモデルによる前記超音波画像の深層学習分析に応答して超音波画像を特徴付けるようにさらに構成される、請求項6に記載の超音波撮像システム。
- 前記音響出力コントローラは、前記ニューラルネットワークモデルによる超音波画像の前記特徴付けを考慮して音響出力レベル又は制限を推奨又は設定するようにさらに構成される、請求項8に記載の超音波撮像システム。
- 臨床音響出力制限のデータを記憶するように構成される前記音響コントローラと通信するメモリをさらに備え、
前記音響出力コントローラは、前記データを考慮して前記トランスデューサアレイの音響出力レベル又は制限を推奨又は設定するようにさらに構成される、
請求項1に記載の超音波撮像システム。 - 前記音響出力コントローラは、音響出力メッセージを前記ディスプレイに表示させるように更に構成される、請求項1に記載の超音波撮像システム。
- 前記トランスデューサアレイに結合され、前記トランスデューサアレイによる音響送信を制御するように構成される送信コントローラを更に有し、
前記送信コントローラは、前記音響出力コントローラによって設定される音響出力制限に応答する、
請求項1に記載の超音波撮像システム。 - 前記音響出力コントローラは、音響出力レベル又は制限を推奨又は設定する際に、トランスデューサ駆動電圧、撮像モード、パルス繰返し周波数、焦点深度、パルス長、及びトランスデューサタイプの一つ又はそれより多くにさらに応答する、請求項12に記載の超音波撮像システム。
- 前記音響出力コントローラは、推奨される音響出力制限未満で動作するときに前記音響出力が増加させられることはできるという音響出力メッセージが前記ディスプレイ上に表示されるようにするようにさらに構成される、請求項1に記載の超音波撮像システム。
- 前記音響出力コントローラは、画像の特徴付けに応じて、撮像モードを禁止するように更に構成される、請求項14に記載の超音波撮像システム。
- 画像データを考慮して音響出力レベル又は制限を設定又は推奨するための方法であって、
超音波システムにおける超音波プローブからの音響出力レベルの特性を識別するステップと、
前記超音波システムから超音波画像データを取得するステップと、
撮像される解剖学的構造を識別するために前記画像データを特徴付けるステップと、
前記音響出力レベルの特性を、前記撮像される解剖学的構造についての所定の臨床制限と比較するステップと、
前記音響出力レベルを調整するために出力ガイダンスを発行するステップ、又は前記比較するステップに基づいて前記音響出力レベルを自動的に調整するステップの少なくとも1つを提供するステップと
を有する、方法。 - 不揮発性コンピュータ可読媒体に具現化され、画像データを考慮して音響出力レベル又は制限を設定又は推奨する命令を提供するコンピュータプログラム製品であって、前記命令は、
超音波システムにおける超音波プローブからの音響出力レベルの特性を識別するステップと、
前記超音波システムから超音波画像データを取得するステップと、
撮像される解剖学的構造を識別するために前記画像データを特徴付けるステップと、
前記音響出力レベルの特性を、前記撮像される解剖学的構造についての所定の臨床制限と比較するステップと、
前記音響出力レベルを調整するために出力ガイダンスを発行するステップ、又は前記比較するステップに基づいて前記音響出力レベルを自動的に調整するステップの少なくとも1つを提供するステップと
を有する、コンピュータプログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962882660P | 2019-08-05 | 2019-08-05 | |
| US62/882,660 | 2019-08-05 | ||
| PCT/EP2020/071943 WO2021023753A1 (en) | 2019-08-05 | 2020-08-05 | Ultrasound system acoustic output control using image data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022543540A true JP2022543540A (ja) | 2022-10-13 |
| JPWO2021023753A5 JPWO2021023753A5 (ja) | 2023-08-10 |
Family
ID=72474275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022502141A Pending JP2022543540A (ja) | 2019-08-05 | 2020-08-05 | 画像データを使用する超音波システム音響出力制御 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220280139A1 (ja) |
| EP (1) | EP4009874A1 (ja) |
| JP (1) | JP2022543540A (ja) |
| CN (1) | CN114173673A (ja) |
| WO (1) | WO2021023753A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022229088A1 (en) * | 2021-04-28 | 2022-11-03 | Koninklijke Philips N.V. | Chat bot for a medical imaging system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6824518B2 (en) * | 2002-11-26 | 2004-11-30 | Siemens Medical Solutions Usa, Inc. | High transmit power diagnostic ultrasound imaging |
| US8790261B2 (en) * | 2009-12-22 | 2014-07-29 | General Electric Company | Manual ultrasound power control to monitor fetal heart rate depending on the size of the patient |
| CN110338841B (zh) * | 2015-02-16 | 2022-04-15 | 深圳迈瑞生物医疗电子股份有限公司 | 三维成像数据的显示处理方法和三维超声成像方法及系统 |
| US20180103912A1 (en) * | 2016-10-19 | 2018-04-19 | Koninklijke Philips N.V. | Ultrasound system with deep learning network providing real time image identification |
-
2020
- 2020-08-05 EP EP20771764.6A patent/EP4009874A1/en active Pending
- 2020-08-05 JP JP2022502141A patent/JP2022543540A/ja active Pending
- 2020-08-05 WO PCT/EP2020/071943 patent/WO2021023753A1/en unknown
- 2020-08-05 CN CN202080054768.0A patent/CN114173673A/zh active Pending
- 2020-08-05 US US17/631,058 patent/US20220280139A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4009874A1 (en) | 2022-06-15 |
| WO2021023753A1 (en) | 2021-02-11 |
| CN114173673A (zh) | 2022-03-11 |
| US20220280139A1 (en) | 2022-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110381845B (zh) | 具有用于导出成像数据和组织信息的神经网络的超声成像系统 | |
| US20180103912A1 (en) | Ultrasound system with deep learning network providing real time image identification | |
| EP2994053B1 (en) | 3d ultrasound imaging system | |
| US11238562B2 (en) | Ultrasound system with deep learning network for image artifact identification and removal | |
| JP7203823B2 (ja) | 画像とのタッチインタラクションを使用してボリュームデータから画像平面を抽出する超音波システム | |
| KR20190103048A (ko) | 정량적 초음파 이미징을 위한 관심 구역 배치 | |
| JP7358457B2 (ja) | 超音波画像による脂肪層の識別 | |
| CN111683600A (zh) | 用于根据超声图像获得解剖测量的设备和方法 | |
| JP2021079124A (ja) | 簡素化された３ｄイメージング制御を有する超音波イメージングシステム | |
| JP7061232B6 (ja) | 超音波画像の取得をガイドするためのシステム及び方法 | |
| CN113116387A (zh) | 用于通过一系列超声图像采集提供指导工作流的方法和系统 | |
| JP7292370B2 (ja) | 胎児体重推定を実施するための方法およびシステム | |
| CN114554966A (zh) | 用于图像优化的系统和方法 | |
| JP2022524360A (ja) | 合成３ｄ超音波画像を取得するための方法及びシステム | |
| JP2022543540A (ja) | 画像データを使用する超音波システム音響出力制御 | |
| US20220265242A1 (en) | Method of determining scan planes in the acquisition of ultrasound images and ultrasound system for the implementation of the method | |
| EP3838162A1 (en) | Systems and methods for assessing a placenta | |
| EP4223227A1 (en) | A method and system for performing fetal weight estimations | |
| CN113081030A (zh) | 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230802 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240208 |