JP2019517350A - 3d超音波データからbモード画像を生成するシステム及び方法 - Google Patents

3d超音波データからbモード画像を生成するシステム及び方法 Download PDF

Info

Publication number
JP2019517350A
JP2019517350A JP2018563844A JP2018563844A JP2019517350A JP 2019517350 A JP2019517350 A JP 2019517350A JP 2018563844 A JP2018563844 A JP 2018563844A JP 2018563844 A JP2018563844 A JP 2018563844A JP 2019517350 A JP2019517350 A JP 2019517350A
Authority
JP
Japan
Prior art keywords
data set
volume
cutting plane
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018563844A
Other languages
English (en)
Other versions
JP2019517350A5 (ja
JP7197368B2 (ja
Inventor
デイヴィッド ナイゲル ラウンドヒル
デイヴィッド ナイゲル ラウンドヒル
エマニュエル モセ サージ アッティア
エマニュエル モセ サージ アッティア
ベノワ ジャンードミニク ベルトランド モーリス モリー
ベノワ ジャンードミニク ベルトランド モーリス モリー
ジャンーミシェル ルエ
ジャンーミシェル ルエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2019517350A publication Critical patent/JP2019517350A/ja
Publication of JP2019517350A5 publication Critical patent/JP2019517350A5/ja
Application granted granted Critical
Publication of JP7197368B2 publication Critical patent/JP7197368B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本開示は、ユーザが、3次元(3D)データセットのボリュームレンダリングを視覚化し、ボリュームレンダリングを操作し、動的に選択されたMPR平面においてBモード画像を生成するよう3DデータセットのMPR平面を動的に選択することを可能にするユーザインタフェースを提供する医用イメージング及び視覚化システムを記載する。いくつかの例では、3Dデータセットは、ボリュームの2D投影としてレンダリングされ、ユーザコントロールは、ユーザがMPR平面のロケーションを動的に移動させることを可能にする、ディスプレイは、ボリュームのレンダリングを更新して、MPR平面の現在のロケーション及び/又は対応するBモード画像を示す。

Description

従来の2次元(2D)超音波は、医用イメージングにとって臨床的に重要な技術であるが、高度の解剖学的リアリズムを有する画像を提供するレンダリング技術の出現が、3D超音波の人気を高めている。
3D超音波は、イメージングされる生体組織ボリュームに対応する3Dデータセットを取得するイメージング技術である。3D超音波の1つの利点は、データ収集中又はデータ収集後に、イメージングされたボリュームを通じて任意の向きの平面を再構成する能力である。この技法は、マルチプラナリフォーマット又は再構成と呼ばれる。従来のシステムでは、マルチプラナリフォーマッタは、一般的に、(例えば、アキシャル、サジタル、又はコロナル平面内の)標準の直交ビュー、又はユーザによって指定される斜めの平面を生成する。
従来のシステムにより関心のある特定の平面を特定することは、煩雑でありえ、通常、熟練したオペレータがボリュームデータをナビゲートして所望の平面を識別することを必要とする。画像ボリュームを介して2Dスライスを生成するための、より直感的及び/又はインタラクティブなアプローチが望まれることがある。
いくつかの例によれば、超音波イメージングシステムは、被検体のボリュームをイメージングするために被検体から超音波エコーを受信するように構成された超音波プローブを有することができる。超音波イメージングシステムは更に、エコー信号を、イメージングされるボリュームに対応する3Dデータセットに配置するように構成されるスキャンコンバータと、3Dデータセットの2D投影画像をレンダリングするように構成され、更に、3Dデータセットに対する切断平面のロケーションを示すユーザ入力を受け取るように構成されるボリュームレンダラと、を有する。超音波イメージングシステムは、切断平面の位置に対応するイメージングされたボリュームを通るスライスのBモード画像を生成するように構成されたマルチプラナリフォーマッタ(MPR)を有することができる。超音波イメージングシステムは更に、少なくとも1つの出力装置と少なくとも1つの入力装置とを含むユーザインタフェースを有することができる。出力装置は、ボリュームレンダラによって生成される2D投影画像、及び/又はMPRからのBモード画像を表示するように構成されたディスプレイを有することができる。いくつかの例では、2D投影画像及びBモード画像が並べて表示される。他の例では、超音波イメージングシステムは、Bモード画像及び2D投影画像のオーバレイ画像を生成して表示するように構成される。いくつかの例では、2D投影画像のみが表示され、選択された切断平面に対応するBモード画像が、メモリに記憶するため、及び/又はレポートに含めるために出力される。
超音波イメージングシステムの入力装置は、1又は複数の物理的制御器(例えば、プッシュボタン、キーボード、タッチパッド、トラックボール又は他の回転制御器、又は、ソフト制御器とも呼ばれるグラフィカルユーザインタフェースウィジェットを表示するタッチスクリーン)を有することができ、物理的制御器は、超音波イメージングシステムの制御パネル上に提供されることができる。いくつかの例において、超音波イメージングシステムは、付加的又は代替的に、ユーザが超音波イメージングシステムの制御パネルに物理的に触れることなく入力を提供することを可能にするタッチレスインタフェースを含むことができる。いくつかの例において、超音波イメージングシステムの入力装置は、ディスプレイ上にレンダリングされる3Dデータセットに対して切断平面を動的に位置決めするためのユーザ入力を受け取るように構成される。ボリュームレンダラは、ユーザ入力に応答して2D投影画像を動的に更新して、3Dデータセットに対する切断平面のロケーションを視覚化し、切断平面のロケーションをMPRに伝達し、MPRが、イメージングされるボリュームの対応するMPRスライスを生成する。
本開示による方法は、超音波イメージングされた生物学的組織のボリュームに対応する3Dデータセットを受け取るステップと、3Dデータセットのボリュームレンダリングを生成するステップと、ディスプレイ上にボリュームレンダリングを表示するステップと、3Dデータセットに対する切断平面のロケーションを変更するためのユーザ入力を受け取るステップと、ボリュームレンダリングを更新して3Dデータセットの切断ビューを表示するステップであって、切断ビューが、切断平面の1側面に一致する及び一側面に位置する3Dデータセットの部分のみを有する、ステップと、切断平面に一致する3Dデータセットの平面におけるBモード画像を自動的に生成するステップと、を有する。
更に、3Dデータセットを操作しレンダリングする、及び/又は3DデータセットからBモード画像を抽出するための技法のいずれも、非一時的コンピュータ可読媒体に記憶される実行可能命令に具体化されることができ、実行可能命令は、実行される際、医用イメージングシステムが、非一時的なコンピュータ可読媒体に具体化されたプロセスを実行するようにプログラムされるようにする。
本開示の原理によるシステムのブロック図。 本開示の原理によるレンダリング環境における3Dデータセットを示す図。 本開示のいくつかの実施形態による超音波イメージングシステムのブロック図。 本開示の原理により生成された画像を示す図。 本開示の原理により生成された画像を示す図。 本開示の原理により生成された画像を示す図。 本開示の原理により生成された画像を示す図。 本開示の原理により生成された画像を示す図。 本開示によるボリュームレンダリングインタフェースを具体化することができる超音波イメージングシステムの一部を示す図。 フローチャートを示す図。 レンダリング及び操作プロセスにおけるステップのブロック図。 実施例を示す図。 実施例を示す図。 実施例を示す図。 実施例を示す図。 実施例を示す図。
特定の例示的な実施形態の以下の説明は、事実上単なる例示であり、本発明又はその用途又は使用を限定することを決して意図しない。本発明のシステム及び方法の実施形態の以下の詳細な説明において、本明細書の一部を形成する添付の図面が参照され、図面において、説明されるシステム及び方法が実施され得る特定の実施形態が例示される。これらの実施形態は、当業者がここに開示されるシステム及び方法を実施することができるように十分に詳細に記載されており、他の実施形態が利用されることがき、構造的及び論理的な変更が本システムの精神及び範囲から逸脱することなく実施されことができることが理解されるべきである。更に、明瞭化のために、特定の特徴の詳細な説明は、本システムの説明を不明瞭にしないために、それらが当業者に明らかである場合は説明されない。従って、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本システムの範囲は添付の特許請求の範囲によってのみ規定される。
医用イメージングにおいては、生体組織の画像が、リアルタイムに又はデータセット取得後にレンダリングされることができる。画像は、被検体のイメージングされた組織を通る単一の平面又はスライスに対応する2D画像(例えば、Bモード超音波画像)でありえ、又は、それらは、イメージングされたボリュームの2Dレンダリング(例えば3D超音波画像)でありうる。2Dスライス又は平面は、対象の器官又は組織の又は器官内又は組織内の構造に関する情報を非侵襲的に取得するために、診断、治療、又は外科的計画中などのさまざまな臨床応用において広く一般に使用されている。医用イメージングシステムの進歩は、高度な解剖学的リアリズムを伴うボリュームレンダリングを生成する能力を提供し、これは、臨床医が非常に直感的な方法で患者の解剖学的構造を見ることを一層可能にしている。例えば、出生前モニタリングの好適なモダリティである超音波ソノグラフィは、今日一般的に、イメージングされた胎児のボリュームレンダリングを提供することができる。しかし、臨床的に重要な情報及び測定値を得るためには関心領域を通る2Dスライスが、最終的に使用されるとともに、それらが一般に超音波レポートに含めるために必要とされるので、このようなボリュームレンダリングは、これまで超音波検査者には非常に限られたものであり又は価値がないものであった。本明細書に記載されたシステム及び方法は、医用イメージングアプリケーションにおいてより大きな臨床的価値を提供するようなボリュームレンダリングの使用を可能にすることができる。例えば、スライスの2D画像をビューする際の向きの精細な理解は、画像内に見えるものを理解する上で不可欠である。多くの場合、オペレータが自己を方向付けし、正しい2D平面が取得されることを確実にするために、イメージングセッション中にかなりの時間が費やされる。本明細書に記述されるシステム及び技法は、オペレータが検査する及び/又はレポートに含める適当な2Dスライスをより効率的かつ直観的に識別することを可能にすることができる。
図1は、本開示による、3DデータセットからBモード画像を生成するように構成された例示的なシステム100を示す。システム100は、ボリュームレンダラ112、マルチプラナリフォーマッタ114、及びユーザインタフェース130を有することができ、ユーザインタフェース130は、システム100によって生成された画像(例えば、Bモード画像106、ボリュームレンダリング104、及びこれら2つのオーバレイ106)を表示するように動作可能なディスプレイを有する。画像は、3Dデータセットから生成され、リアルタイムに(例えばデータ取得中に)又は取得後に、表示され得る。よく知られているように、Bモード画像は、画像内の対応するピクセルの輝度を変調することによって、与えられた平面について受信されたエコーの強度を表現するグレースケール画像である。一方、3Dボリュームレンダリングは、例えば等値面抽出、ボリュームレイキャスティング、スプラッティング、せん断歪曲、テクスチャベースのボリュームレンダリング、最大強度投影などの任意の既知のボリュームレンダリング技術を使用して生成されることができる。例えば、ボリュームの2D投影は、画像ボリュームに仮想レイをキャストすることによって取得されることができる。レイが、仮想観察者の位置からイメージングされたボリューム内の関心領域に向けてキャストされるとき、さまざまな解剖学的構造が視線に沿って介在しうる。シミュレートされた光源が、深さ知覚を提供するために使用され、入射光の方向は、ボリュームレンダリングにおける影及び反射の外観をもたらす。医用イメージングデータの3Dデータセットのボリュームレンダリングは、既知のシステムにより生成されているが、臨床コミュニティは、診断又は治療計画を行うのに必要な重要な情報について、従来の2DBモード画像にほぼ完全に頼っているので、このようなボリュームレンダリングは、超音波技師又は治療医にとっては限られた有用性しかない。
本明細書に記載される原理は、3Dデータセットのボリュームレンダリングのための新たな臨床的に重要なアプリケーション提供することができ、これらのアプリケーションの1つは、3DデータセットからBモード画像を抽出するため当該平面を簡単かつ効率的に識別する。この点に関して、システム100は、レンダリングされたボリューム及び/又はボリュームを通る対応するMPRスライスに関連して切断平面の変化するロケーションをユーザが視覚化することを可能にするために、ユーザの入力に応答して、イメージングされたボリュームの2D投影画像をリアルタイムに動的に更新するように構成されることができる。切断平面の位置は、(例えばボリュームの操作中に)リアルタイムにMPRに伝達され、それにより、ユーザがMPRスライスの所望の平面を手動で識別することなしに、MPRは、3Dデータセットから対応するMPRスライスを自動的に再構成することができる。
ボリュームレンダラ112は、3Dデータセット150を受け取り、表示のために3Dデータセットのボリュームレンダリング102を生成することができる。いくつかの例では、ボリュームレンダラ112は、超音波イメージングシステムのスキャンコンバータ116から3Dデータセットを受け取ることができ、スキャンコンバータは、超音波イメージングシステムにより取得されたエコー信号を3Dデータセット150に変換するように構成される。他の例では、3Dデータセット150は、メモリ118から取り出されることができ、メモリ118は、3Dデータセットを取得するために使用された超音波イメージングシステムなどのイメージングシステムのメモリ、画像アーカイブ及び通信システム(PACS)の記憶装置、又はポータブルメモリデバイスでありうる。ボリュームレンダラは、1又は複数のユーザ入力装置(例えば、制御パネル、タッチスクリーン、タッチレスインタフェース)を含むユーザインタフェース130と機能的に関連付けられることができる。ユーザインタフェースは、ユーザがレンダリング環境(例えば、3D仮想空間又はレンダリング空間)内において、レンダリングされたボリュームを操作することを可能にすることができる。
ここで図2を参照して、3Dデータセット150が、仮想空間とも呼ばれるレンダリング環境160に示されている。3Dデータセット130は、イメージングされる生体組織のボリュームに対応してもよく、1又は複数の関心領域135を含むことができる。関心領域135は、対象物の一部(例えば、血管壁、心臓弁)でありえ、又は対象の全体(例えば、腫瘍、胎児)でありうる。例示を容易にするために、3Dデータセット130及び関心領域135は、単純な幾何学的形状で示されているが、いくつかの例では、それらは異なる形状にされることができる。この例の3Dデータセット130は、いくつかのレンダリング構造と共にレンダリング環境に図示されている。レンダリング座標フレーム162は、レンダリング環境160に関連付けられることができ、3Dデータセットは、データセットを取得するために使用される超音波プローブの基準フレームである局所座標系154に関して規定されることができる。代替として、レンダリング構造物のうちいずれかの位置又は観察者175の視点が、3Dデータセットの座標系に対して規定されることができる。ボリュームレンダリングを生成する際、レンダリング座標フレーム162のXY平面でありうる投影平面170に対する3Dデータセットの相対位置、及び投影平面170に対し通常垂直である仮想観察者の視点は、一般にデフォルトパラメータに基づいてセットされる。投影平面170に対する3Dデータセットの相対的な位置及び向きは、レンダリング環境内におけるボリュームの操作中にユーザによって変更されることができる。
3Dデータセット及び任意の他のレンダリング構造は、仮想空間内で互いに対し移動可能でありうる。いくつかの例において、シミュレートされた光源164、切断平面166、及び3Dデータセット150は、ユーザ入力に応じて、互いに対して、及び/又は座標フレーム162に関連して並びに投影平面170に対して、移動される(例えば、並進される及び/又は回転される)ことができる。例えば、ユーザ入力に応答して、切断平面166は、矢印156によって示されるように、投影平面に垂直に並進されることができ、及び/又は矢印157及び158によって示されるようなXL軸及びYL軸又はそれらに平行な軸のいずれかを中心に回転されることができる。3Dデータセットに対する切断平面166の並進及び回転は、従来のインラフェース(例えば、物理的な制御器)又はタッチレスインタフェース140を介したユーザ入力に応答することができる。いくつかの例において、タッチレスインタフェース140は、ボリュームレンダラと機能的に接続されることができ、それにより、タッチレスインタフェースのトラッキングフィールド内の物体の移動が、ボリュームレンダラ112によって、切断平面166の移動に変換される。
3Dデータセット150は、イメージングされるボリューム内の任意の所与の点(又は座標ロケーション)についてエコー強度情報を含むことができる。例えば、デカルト座標系では、3Dデータセット150は、各ボクセルのエコー強度値と共に、データセット内の各ボクセルのx、y、z座標を指定するボクセルデータを含むことができる。上述したように、投影平面170に対するボリュームの2D投影画像168は、例えばレイキャスティング及びスプラッティングを使用する既知の技法に従ってレンダリングされることができる。関心領域を含む3Dデータセットの2D画像をレンダリングする際、シミュレートされた光源164のロケーション、強度又は方向性は、ボリュームの表面上のシェーディング(影付け)を決定することができ、それにより、ユーザの深さ知覚を提供することができる。
ボリュームレンダラ112は、ユーザインタフェース130を介してユーザ入力を受け取るように構成することができる。例えば、ユーザインタフェース130は、ボタン、キーボード、トラックボール、タッチパッド、及び/又はグラフィカルユーザインターフェース(GUI)要素(ウィジェットとも呼ばれる)を使用して実現されるソフト制御器のような1又は複数のユーザ入力装置132を有することができる。物理的制御器は、システムの制御パネル134上に提供されることができ、場合によっては、タッチスクリーンを含むか、又はタッチスクリーンと機能的に関連付けられることができる。前述したように、いくつかの例において、システム200は、代替として、又は付加的に、タッチレスインタフェース140を有することができる。タッチレスインタフェース140は、ハンドトラッキングデバイス142のトラッキングフィールドに提示される場合にユーザの手の動きを追跡するように構成された、例えば光学追跡装置のようなハンドトラッキング装置142を有することができる。いくつかの実施形態では、ハンドトラッキングデバイス142は、LeapMotion,Inc.によって製造されたLeap Motion Controllerを使用して実現されることができる。いくつかの例において、ハンドトラッキングデバイス142は、ユーザの手又はその一部の一方又は両方の動きを追跡し、規則的に間を置いた時間間隔(例えば、1マイクロ秒ごと、又は数マイクロ秒ごと)で、追跡される各物体の離散的な位置及び位置の変化を識別する追跡データを生成することができ、それにより、ユーザの手の複雑な動きが、レンダリング環境においてボリュームを操作するための操作コマンドにマッピングされることができる。いくつかの例において、ボリュームレンダラは、ユーザの手の一方(例えば、左手)の動きを3Dデータセットに対する切断平面の動きに変換し、ユーザの手の他方(例えば、右手)の動きをレンダリング環境内での(例えば投影面に対する)3Dデータセットの動きに変換するように構成されることができる。いくつかの例において、ボリュームレンダリング環境は、ユーザが斜めの(例えば、直交した)平面でBモード画像を生成することができるように、互いに或る角度をなして配置されうる複数の切断平面を提供することができる。そのような場合、一方の手の動きは、切断平面のうちの一方の動きに変換されることができ、他方の手の動きが、第2の切断平面の動きに変換されることができる。
ユーザインタフェース130は更に、ディスプレイ136のような1又は複数の出力装置を有することができる。システム200によって生成された画像(例えば、ボリュームレンダリング102、Bモード画像104)は、例えばディスプレイ136の表示ウィンドウ138に表示されることができる。ディスプレイ136は、例えば容量性タッチセンシングを使用するタッチセンシティブなものでありえ、それにより、入力インタフェースの一部として機能するタッチスクリーンディスプレイを提供する。いくつかの例において、ディスプレイは、別個の非タッチセンシティブ表示ユニットであってもよい。
本明細書の実施例によれば、ボリュームレンダラ112は、仮想空間160内のボリューム(例えば、レンダリングされた3Dデータセット150)を操作するためのユーザ入力を受け取ることができる。いくつかの例では、ボリュームレンダラ112は、パン(例えば、投影面170に平行な平面内での並進)、ズーム(例えば、ZR軸に沿った並進)及び座標フレーム162に対するボリュームの回転のためのユーザ入力を受け取ることができる。更に、ボリュームレンダラ112は、シミュレートされた光源164のロケーション、強度、又は方向性の変更、又は、データセット150に対する切断平面166のロケーション及び向きの変更など、1つ又は複数のレンダリング構造を調整するためのユーザ入力を受け取ることができる。ボリュームレンダラ112は、切断平面166のロケーションをマルチプラナリフォーマッタ114に送信することができ、マルチプラナリフォーマッタ114は、切断平面166と一致するスライス面において、MPR画像又はMPRスライスとも呼ばれるBモード画像104を自動的に生成するように構成されている。例えば、胎児超音波アプリケーションでは、システムは、胎児のボリュームレンダリングを生成するために使用されることができる。ボリュームレンダリングインタフェースを介して、ユーザは、切断平面のロケーションをインタラクティブに調整することができる一方で、ボリュームレンダラは、リアルタイムにレンダリングを更新して、切断平面と一致する及び切断平面の後ろのボリュームの部分(表示される部分とも呼ばれる)のみを示す断面ビューを表示することができる(図4Aのイメージングされる胎児の断面ボリュームレンダリングを参照)。
同時に、マルチプラナリフォーマッタ114は、ユーザがインタラクティブに切断平面のロケーションを調整すると、各切断平面の位置と一致するスライス面においてBモード画像を生成する(例えば、図4Bは図4Aの断面ビューに対応するBモード画像を示す)。ボリュームレンダリング画像及びBモード画像の両方は、あるケースでは同じ表示ウィンドウ内に並べた配置で、又はオーバレイとして同時に表示することができ(例えば、図4Cを参照)、それにより、ユーザが切断平面のロケーションをインタラクティブに調整(例えばスクロール)しながら、そのスライス面の対応するBモード画像を視覚化することを可能にする。ボリュームのレンダリングと同時にBモード画像を表示することにより、ユーザは、臨床上重要なBモード画像を得るための重要な平面をより容易に方向付けし識別することができる。ボリュームレンダラ112及びマルチプラナリフォーマッタ114は、システム100の画像処理回路110に機能的に関連付けられ又は画像処理回路110の一部でありえ、画像処理回路110は付加的に、オーバレイの生成、画像への注釈付け、及び表示する前のデータのバッファリングなどの機能を実行することができる。このようにして、ユーザが3Dボリュームを視覚化しながら関連するスライス面を動的に選択できるようにすることにより、システム100は、ユーザがより直感的かつ効率的に3Dイメージングデータセットから必要なBモード画像を抽出することを可能にするよりユーザフレンドリなインタフェースを提供することができる。切断平面のロケーションを動的に選択し又は移動することによって、ユーザが切断平面をドラッグするときに、レンダリング更新と共にユーザがボリュームを通じて切断平面をスクロールし又はドラッグすることができるようにすることを意味する。
いくつかの例では、ボリュームが更に操作される(例えば、クロッピングのために別の投影面を識別するよう、並進される、回転される、その他)間、又はシミュレートされた光が操作されている間、レンダリングインタフェースは、ユーザがボリュームに対して切断平面116の位置及び向きをフリーズする又はロックすることを可能にするように更に構成されてもよい。この点に関して、ボリュームレンダラ112は、ボリュームを移動させるためのユーザコマンドに応答してレンダリングを更新しながら、切断平面116と3Dデータセットとの間の相対位置を維持するように構成されることができる。ユーザがボリュームを操作するに従って、3Dデータセットの表示される部分は、観察者の視点に対して移動し、例えば、ユーザがボリュームを回転することに応じて、切断平面と一致するレンダリングされたボリュームの面が、投影面に対して斜めに配置されるようにする。
図2は、本開示の原理に従って構成された超音波イメージングシステム200のブロック図を示す。超音波イメージングシステム200は、図1A−図1Bを参照して上述した1又は複数のコンポーネントを有することができる。超音波イメージングシステムは、本発明の実施形態の説明的な例において説明されているが、本発明の実施形態は、他の医用イメージングモダリティにより実施されることができる。他のモダリティは、磁気共鳴イメージング及びコンピュータトモグラフィを含むことができるが、これらに限定されない。本明細書に記載の技法は、3D画像データセットを取得するために使用されることができる事実上あらゆるイメージングモダリティに適用されることができる。
図2の超音波イメージングシステム200は、超音波を送信し、エコー情報を受信するトランスデューサアレイ214を有する超音波プローブ212を具備する。種々のトランスデューサアレイが、当該技術分野において知られており、例えば線形アレイ、凸型アレイ、又はフェーズドアレイ等である。トランスデューサアレイ214は、例えば、2D及び/又は3Dイメージングの仰角及び方位の両方の次元でスキャン可能なトランスデューサ素子の2次元アレイ(図示される)を有することができる。トランスデューサアレイ214は、超音波プローブ212内のマイクロビームフォーマ216に結合される。マイクロビームフォーマ216は、アレイ214内のトランスデューサ素子による信号の送信及び受信を制御する。この例では、マイクロビームフォーマ216は、プローブケーブルによって送受信(T/R)スイッチ218に結合されており、送受信(T/R)スイッチ218は、送信/受信を切り換え、主ビームフォーマ222を高エネルギー送信信号から保護する。いくつかの実施形態において、例えばモバイル超音波システムでは、システム内のT/Rスイッチ218及び他の構成要素が、別個の超音波システムベース部ではなく、超音波プローブ212に含められることができる。マイクロビームフォーマ216の制御下でトランスデューサアレイ214からの超音波ビームの送信は、T/Rスイッチ218及びビームフォーマ222に結合された送信コントローラ220によって指示され、ビームフォーマ222は、ユーザインタフェース224のユーザ操作から入力を受け取る。ユーザインタフェース224は、1又は複数の入力装置250(例えば、制御パネル252、タッチレスインタフェース254、及び/又はタッチスクリーン)を含むことができる。
送信コントローラ220によって制御される機能の1つは、ビームが操縦される方向である。ビームは、トランスデューサアレイ214から真っすぐ延びる方向に(トランスデューサアレイ214に直交)、又はより広い視野にわたる複数の異なる角度にステアリングされることができる。マイクロビームフォーマ216によって生成された部分的にビーム形成された信号は、主ビームフォーマ222に結合され、主ビームフォーマ222において、トランスデューサ要素の個々のパッチからの部分的にビームフォーミングされた信号は、完全にビームフォーミングされた信号に結合される。ビームフォーミングされた信号は、信号プロセッサ226に結合される。信号プロセッサ226は、受信されたエコー信号を、バンドパスフィルタリング、デシメーション、I成分及びQ成分分離、及び高調波信号分離などのさまざまなやり方で処理することができる。信号プロセッサ226は、スペックル低減、信号合成、及びノイズ除去などの追加の信号エンハンスメントを実行することもできる。処理された信号は、Bモードプロセッサ228に結合され、Bモードプロセッサ228は、体内の構造のイメージングのために振幅検出を用いることができる。Bモードプロセッサ228によって生成された信号は、スキャンコンバータ230及びマルチプラナリフォーマッタ232に結合される。スキャンコンバータ230は、受信した空間関係におけるエコー信号を所望の画像フォーマットに変換する。例えば、スキャンコンバータ230は、エコー信号を2次元(2D)セクタ形状フォーマット、又はピラミッド又は他の形状の3次元(3D)フォーマットに変換することができる。マルチプラナリフォーマッタ232は、米国特許第6,443,896号(Detmer)に記載されるように、身体のボリュメトリック領域内の共通平面内の点から受信したエコーを、当該平面の超音波画像(例えば、Bモード画像)に変換することができる。ボリュームレンダラ234は、3Dデータセットのエコー信号を、例えば、米国特許第6,530,885号(Entrekin他)に記載されるように、所与の基準ポイントから見た3Dデータセットの投影画像に変換する。
いくつかの実施形態において、ボリュームレンダラ334は、ユーザインタフェース224から入力を受け取ることができる。入力は、所与の基準ポイント(例えば、仮想オブザーバの視点)、シミュレートされた光源のロケーション、及び/又はレンダリングされた投影画像のシミュレートされた光源の特性を含むことができる。スキャンコンバータ230、マルチプラナリフォーマッタ232、及び/又はボリュームレンダラ234からの画像は、画像ディスプレイ238上に表示するために、更なるエンハンスメント、バッファリング及び一時的記憶のために、画像プロセッサ236に結合される。画像プロセッサ236は、Bモード画像を投影画像にオーバレイし、又は3Dデータセットの投影画像と並べてBモード画像を同時に表示する。ボリュームレンダラ234は、いくつかの実施形態では、さまざまなレンダリング構造の視覚キューをレンダリングし、又は画像プロセッサにレンダリングさせることができる。いくつかの実施形態において、シミュレートされた光源又は切断平面の視覚キューは、3Dデータセットの投影画像にレンダリングされることができる。グラフィックスプロセッサ240は、画像と共に表示するためのグラフィックオーバレイを生成することができる。これらのグラフィックオーバレイは、例えば、患者名、画像の日時、イメージングパラメータなどの標準の識別情報を含むことができる。これらの目的のために、グラフィックスプロセッサは、タイプされた患者名又は他の注釈などの入力を、ユーザインタフェース224から受け取る。いくつかの実施形態において、グラフィックスプロセッサ、画像プロセッサ、ボリュームレンダラ、及びマルチプラナリフォーマッタのうちの少なくとも1つの1又は複数の機能は、これらのコンポーネントの各々に関して説明された特定の機能が個別の処理ユニットによって実行されるのではなく、統合画像処理回路に組み合わせられることができる(その動作は、並行に作動する複数のプロセッサの間で分割されることができる)。ユーザインタフェース242は更に、複数のマルチプレーナリフォーマット(MPR)画像の表示の選択及び制御のために、マルチプラナリフォーマッタ232に結合されることができる。
図3A−図3Eは、ボリュームレンダリングインタフェースの出力を示し、より具体的には、本開示によるシステムによって提供されることができる画像を示す。図3Aは、胎児325をイメージングすることによって取得された3D超音波データセット350のボリュームレンダリング302(本明細書では投影画像とも呼ばれる)を示す。シミュレートされた光源325の視覚キューもまた、レンダリング302内に示されている。ボリュームレンダリング302は、3D超音波データセット350によって表現されるイメージングされたボリュームの断面ビューである。断面ビューは、ユーザがBモード画像を抽出するために所望の平面を視覚的に識別するまで、例えばユーザがボリュームの内部で及び外部で切断平面を移動させることによって、レンダリングされた3Dデータセット350をインタラクティブにクロッピングすることによって、得られる。断面ビューは、切断平面と一致し、切断平面の一方の側(例えば、仮想観察者の視点から知覚される切断平面の後ろ)に位置する3Dデータセットの一部のみを投影することによって生成される。切断平面のロケーションは、マルチプラナリフォーマッタに結合され、マルチプラナリフォーマッタは、当該平面におけるBモード304画像を自動的に生成する。言い換えると、マルチプラナリフォーマッタは、ユーザのボリューム操作に応じて、ボリュームレンダラによって提供される情報に基づいてMPRスライス面を決定する。レンダリングされた断面ビューに基づいてMPRが自動的にBモード画像を生成するという概念は、MPRが、MPR平面のロケーションを手動で指定する必要はないが、いくつかの実施形態では、MPRは、表示された断面ビューが所望のMPR平面に一致することを示す確認的なユーザ入力を受け取ることができる。
いくつかの例において、2つの画像(レンダリング302及びBモード画像304)が並べて表示され、各画像は、オペレータがボリュームをクロップするに従って動的に更新され、又は代替として、レンダリング302及びBモード画像304は、図3Cに示されるオーバレイ画像306においてオーバレイされ、重ね合わされるBモード画像が、この断面ビューに対応するようリアルタイムに更新される。他の例では、Bモード画像は、オペレータがボリュームをクロップする間に表示されず、その代わりに、表示された断面ビューが所望の切断平面のロケーションを表すことを確認するユーザ入力を受け取ることに応じて、例えばレポートに含めるためにメモリに出力される。ボリュームデータのレンダリングと共にBモード画像を並置する又は重ね合わせるボリュームレンダリングインタフェースは、所望のスライスを識別するためにボリュームを形成する複数のスライスの各々にわたって順次移動する必要なしに、ボリュームデータセットから単一又は複数のスライスを直観的かつ効率的に選択することを可能にする。
いくつかの例において、切断平面と一致するボリュームの面のレンダリングは、図示した例のように、ボリューム内の切断平面のロケーションに関してユーザに視覚キューを提供する。他の例では、レンダリング内に、レンダリングされたボリュームの境界を越えて拡張するプラナ表面の形の付加的な視覚ビューが表示されることができる。ユーザは、視覚キューを選択しドラッグすることによって、切断平面のロケーションを変更することができる。他の例において、レンダリングインタフェースがボリュームクロッピングモードにある場合、トラックボール又はロータリエンコーダなどの所与の制御器の操作に応じて、切断平面のロケーション又は向きの変更が実施されることができる。タッチレスインタフェースを有する実施形態において、切断平面の位置又は向きの変更は、ユーザの所定の手(例えば、右手又は左手)の動きに応じて実施されてもよい。例えば、タッチレスユーザインタフェースのトラッキングフィールド内外におけるユーザの手の並進移動は、切断平面をボリューム内外に移動させ、他方、ユーザの手の回転は、ボリュームに対して切断平面を回転させる。いくつかの例において、切断平面の移動は、投影面に垂直な方向に沿った並進のみに限定されることができる。
いくつかの例において、ボリュームは、例えば斜めのスライス面のBモード画像を生成するために、複数の方向に沿ってクロップされることができる。そのような例では、複数の切断平面は、同時に又は順次に活性化されることができる。切断平面が活性化されている間(例えばレンダリングされたボリュームをクロップするように動作可能である間)、1又は複数の切断平面の視覚キューが表示されることができる。いくつかの例において、ユーザが、同時に複数の切断平面のいずれかのロケーションを操作できるように、複数の切断平面(例えば、2つの切断平面)が任意の所与の時間に活性化されている。他の例では、1つの切断平面(例えば、投影面に平行に配置された切断平面)のみが任意の所与の時間に活性化されており、Bモード画像が、活性化した切断平面と一致する平面についてのみ自動的に生成される。ユーザは、例えば投影面に対してボリュームを回転させることによって、第1の切断平面を非活性化した後に別の切断平面を活性化することができる。例えば、図3Dのボリュームレンダリング302'は、図3Aの断面ビューを生成するために使用される切断平面に対してある角度をなす切断平面を使用してクロップされた3Dデータセット350の断面ビューを示す。図3Cと同様に、図3Eは、図3Dのボリュームレンダリング302'の、対応するBモード画像304'とのオーバレイ画像306'を示す。図3D及び図3Eに示すように、3Dデータセット350は、面309によって示されるように一方向にクロップされることができ、そののち、ボリュームに対する第1の切断平面の相対位置が維持され、他方、面309を投影面に対して斜めに位置付けるように回転されるボリュームを示すように、レンダリングが更新される。第2の切断平面は、第2の切断平面と一致する平面においてBモード画像を自動的に生成するように活性化され操作されることができる。いくつかの例において、第2の切断平面は、第1の切断平面と直交関係にあるように出フィルと設定され、それにより、3つの標準ビュー(例えば、コロナル、サジタル又はアキシャル)のうちの1つがインタラクティブに識別されると、オペレータは標準の直交ビューを容易に得ることができる。これは、特に、ボリュームレンダリング及び操作がリアルタイムに行われる場合、及び胎児又は心臓超音波のような動くターゲットをイメージングする場合に、標準ビューを取得するプロセスを簡単にすることができる。
図4は、本発明の原理によるボリュームレンダリングインタフェースを具体化することができる超音波システム400の一部を示す。超音波システム400は、図2の超音波イメージングシステムのコンポーネントの一部又は全部を有することができる。超音波システム400は、ディスプレイ410と、さまざまな物理的制御器(例えば、トラックボール425及びボタン430ロータリエンコーダ420、タッチスクリーン415など)とを有する。いくつかの例において、超音波システム400は、追加のディスプレイ(図示せず)に機能的に結合されることができる。例えば、主ディスプレイモニタは、検査室又は手術室内のいかなる場所にも提供されることができ、それにより、データ取得中にユーザにとってより便利なビューイングロケーションを提供することができる。ディスプレイ410及び/又はディスプレイ415上にレンダリングされたボリュームを操作するためのユーザ入力は、制御パネル405を通じて受け取られることができる。いくつかの例において、超音波システム400は、動き追跡装置450を有することができるタッチレスインタフェースを備えることができる。動き追跡装置450は、ユーザの手などの対象が装置450の追跡フィールドに置かれたときに、対象を光学的に追跡するように構成されることができる。動き追跡装置550は、制御パネル405上又はその近傍に設けられることができる。他の例において、動き追跡装置450は、患者検査デーブル上又はその近傍のいかなる場所にも位置付けられることができる。動き追跡装置550は、同時係属中の出願人整理番号2016PF00786の米国特許出願「Systems and methods for three dimensional touchless manipulation of medical images」の中の実施例のいずれかに従って実施されるタッチレスインタフェースの一部でありえ、かかる出願の内容は、その全体が参照により本明細書に組み込まれる。
図5及び図6を参照して、3D超音波データからBモード画像を生成するための例示的な技法が記述される。この例は、3D超音波データを参照して説明されているが、本開示の原理は、個々の異なるイメージングモダリティを使用して取得される3Dデータセットに関して実施されることができることが理解される。図5は、3D超音波データからBモード画像を生成するためのプロセス500のフロー図を示す。プロセス500は、図6のボリュームレンダリングインタフェース600の態様を示すブロック図を参照して説明される。
プロセス500は、システム200のような超音波イメージングシステムによって実行することができる。プロセス500は、3Dデータセット650にアクセスすることから始まる。いくつかの例では、3Dデータセット650にアクセスすることは、メモリから3Dデータセット650を取り出すことを含む。例えば、3Dデータセット650は、3Dデータセット650から画像をレンダリングする前に、システム200の超音波プローブ212のような超音波プローブによって取得されることができる。いくつかの例では、3Dデータセット650にアクセスすることは、ブロック510に示すように、3Dデータセット650を取得することを含みうる。プロセス500の1又は複数のステップは、データ取得中にリアルタイムに実行されることができる。
プロセス500は、ブロック512に示すように3Dデータセット650のレンダリングを生成することによって続行する。例えば、図6のボックス610に示すように、3Dデータセット650の2D投影画像602が生成され、ディスプレイ(例えばシステム200のディスプレイ238)上に表示されることができる。ディスプレイは、レンダリングエンジン(例えば、システム100のボリュームレンダラ112又はシステム200のボリュームレンダラ234)と機能的に関連付けられるユーザインタフェースの部分であり、かかる部分は、ボックス612に示すように3Dデータセット650をクロップするための入力を含む、3Dデータセット650を操作するための入力を受け取るように構成される。
プロセス500は、ブロック514に示すように、3Dデータセットに関連する切断平面のロケーションを変更するためのユーザ入力を受け取り、ブロック516に示すように、3Dデータセットの断面ビューを表示することによって続行する。例えば、ユーザは、断面ビュー603を生成するために3Dデータセット650に対して切断平面666を動かすことによってボリュームを動的にクロップする。カットアウトビュー603では、ボリュームの一方の側に一致する及びボリュームの一方の側に位置する(例えば、ビューアの視点からの切断平面)ボリュームの一部のみがディスプレイ上にレンダリングされる。断面ビューでは、切断平面の後方にある3Dデータセットの一部がレンダリングされ(表示部分とも呼ばれる)、切断平面666の反対側に配置される3Dデータセットの部分(すなわち、切断平面666と投影平面との間)は、関心領域652を含むイメージングされるボリュームの内部解剖学的構造を露出するようにレンダリングされない。オペレータが切断平面666を移動させると、ボリュームレンダリングがリアルタイムに更新されて、3Dデータセット650の動的に変化する断面ビューを示す。動的に変化する断面ビューは、ボックス614及び616に示されるように、オペレータが、イメージングされたボリュームの内部の解剖学的構造を視覚化し、1又は複数のBモード画像を生成するために当該平面を視覚的に識別することを可能にする。ボリュームレンダリングが、動的に変化する断面ビューを示すように更新される間、シェーディング情報が、断面ビューに表示される3Dデータセットの一部において可視のままである表面について計算され、これは、ユーザには深さの知覚を提供する。
プロセス500は、ブロック518に示されるように、切断平面のロケーションにおけるBモード画像を生成することによって続行する。表示される任意の断面ビューのためのBモード画像604は、自動的に生成されることがき、例えば、ボックス614及び616に示すように、ボリュームレンダリングと同時にディスプレイ上に自動的に表示されることができる。いくつかの例において、Bモード画像(例えば、604、604'、604'')は、ボリュームレンダリング602に隣接して表示されることができる。他の例において、切断平面に対応する単一のBモード画像が、ボリュームレンダリング上に重ね合わせることができ、従って、プロセス500のブロック520に示されるように、断面ビューが更新されると動的に更新されることができる。いくつかの例では、ボリュームレンダリングインタフェースが自動Bモード画像生成モードの選択を確認するユーザ入力を受け取ると、Bモード画像の生成が自動になりうる。更に他の例では、ボリュームレンダラから切断平面のロケーションを受け取ることに応じて(すなわち、ユーザがスライス面のロケーションを指定する必要なしに)B−モード画像が再構成されるが、Bモード画像は、それにもかかわらずBモード画像を生成するためのユーザからの確認入力を受け取るまで生成されず、かかる確認入力は、ユーザが、制御パネル又はプローブ上のボタンを押すか、タッチスクリーン上の或る位置をタップするか、又は所与のタッチレスコマンドを入力することにより提供されることができる。これに関して、インタフェースは、Bモード画像を生成する前にユーザが所望の切断平面へとスクロールすることを可能にし、これは計算資源の使用を低減することができる。
更に別の例では、ボックス616に示すように、複数のBモード画像が生成されることができる。例えば、付加的なBモード画像(604'、604'')が生成され、表示されることができ、いくつかのケースでは、後の調査のために表示されることなく、単に記憶されることができる。付加的なBモード画像は、選択された切断平面666から所与の距離だけ離間した平行なスライスでありうる。いくつかの例では、切断平面666のインタラクティブな選択に続いて、斜めのスライス又は場合によっては直交するスライスが、自動的に生成されることができる。スライス間の間隔及び/又は角度は、ユーザが設定可能であり、ボリュームクロッピングモードに入る前に、又は所望の切断平面が視覚的に識別された後に、設定されることもできる。他の例では、ボリュームレンダリングインタフェースは、ユーザが、間隔を置いた平行なスライスの方向を(例えば、選択された切断平面の前又は後ろに)指定することを可能にすることができる。ボリュームレンダリングインタフェースは更に、(もしある場合には)Bモード画像の中のどれがレポートに自動的に含められるべきかをユーザが指定できるように構成されることができる。このようにして、説明されたボリュームレンダリングインタフェース及び技法は、以前に可能であったような画像ボリュームを通じて2Dスライス画像(例えば、Bモード画像)を生成するためにより直感的かつ/又はインタラクティブなアプローチを提供することができる。
コンポーネント、システム及び/又は方法が、コンピュータベースのシステム又はプログラマブル論理のようなプログラマブルデバイスを使用して実現されるさまざまな実施形態において、上述のシステム及び方法は、後に「C」、「C++」、「FORTRAN」、「Pascal」、「VHDL」のようなさまざまな既知のプログラミング言語又は今後開発されるプログラミング言語を使用して実現されることができる。従って、コンピュータなどの装置に上述のシステム及び/又は方法を実現するよう指示することができる情報を含むことができる磁気コンピュータディスク、光ディスク、電子メモリなどのさまざまな記憶媒体が準備されることが可能である。適当な装置が、記憶媒体に含まれる情報及びプログラムにアクセスすると、記憶媒体は情報及びプログラムを装置に提供し、それにより、装置が本明細書に記載のシステム及び/又は方法の機能を実行することを可能にする。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切なマテリアルを含むコンピュータディスクがコンピュータに提供された場合、コンピュータは情報を受け取り、それ自体を適切に構成し、さまざまな機能を実現するための上述の図及びフローチャートに概説されるさまざまなシステム及び方法の多様な機能を実行することができる。すなわち、コンピュータは、上述したシステム及び/又は方法の個々の異なる構成要素に関するディスクから情報の多様な部分を受け取り、個々のシステム及び/又は方法を実現し、上述した個々のシステム及び/又は方法の機能を調整することができる。
本開示を考慮して、本明細書で説明されるさまざまな方法及びデバイスは、ハードウェア、ソフトウェア及びファームウェアにおいて実現され得ることに留意されたい。更に、さまざまな方法及びパラメータは、単なる例示であって、限定的な意味で含まれるものではない。本開示を考慮して、当業者であれば、本発明の範囲内にありながら、当業者自身の技法を決定し、これらの技法を実施するために必要な機器を決定する際に本教示を実現することができる。
本システムは、超音波イメージングシステムを特に参照して説明されているが、本システムが、1又は複数の画像が体系的に取得される他の医療イメージングシステムにも拡張できることも企図される。従って、本システムは、非限定的であるが腎臓、精巣、乳房、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈及び血管系、並びに超音波ガイドされる介入に関連する他のイメージングアプリケーションに関連する画像情報を取得し及び/記録するために使用されることができる。更に、本システムは、従来のイメージングシステムと共に使用されることができる1つ又は複数のプログラムを含むこともでき、その結果、従来のイメージングシステムは、本システムの特徴及び利点を提供することができる。本開示の特定の付加的な利点及び特徴は、本開示を研究する際に当業者に明らかであり得、又は本開示の新たなシステム及び方法を使用する人々によって経験されることができる。本システム及び方法の別の利点は、本システム、装置及び方法の特徴及び利点を組み込むように従来の医用イメージングシステムが容易にアップグレードされることができることである。
当然ながら、本明細書に記載された実施例、実施形態又はプロセスのいずれか1つは、1又は複数の他の実施例、実施形態及び/又はプロセスと組み合わせることができ、又は本発明のシステム、装置及び方法に従って別個の装置及び/又は装置部分の間で分離され、及び/又は実施されることができる。
最後に、上記の議論は、本システムの単なる例示であり、特許請求の範囲を任意の特定の実施形態又は実施形態の群に限定するものとして解釈されるべきでない。従って、本システムは、例示的な実施形態を参照して特に詳細に説明されているが、広範かつ意図された本発明の精神及び範囲から逸脱することなく、多くの変更例及び代替実施形態が当業者によって考案され得ることが理解されるべきである。従って、明細書及び図面は、例示的な態様で考慮されるべきであり、添付の特許請求の範囲を限定することを意図しない。

Claims (15)

  1. 超音波イメージングシステムであって、
    被検体のボリュームをイメージングするために被検体から超音波エコーを受信する超音波プローブと、
    前記エコー信号を、イメージングされたボリュームに対応する3Dデータセットにするスキャンコンバータと、
    前記3Dデータセットの2D投影画像をレンダリングし、前記3Dデータセットに対する切断平面のロケーションを示すユーザ入力を受け取るボリュームレンダラと、
    前記切断平面の前記ロケーションに対応する前記イメージングされたボリューム内のスライスのBモード画像を生成するマルチプラナリフォーマッタと
    ユーザインタフェースと、
    を有し、前記ユーザインタフェースは、2D投影画像、Bモード画像、又はその両方を表示するディスプレイと、ユーザが前記3Dデータセットに対する前記切断平面の前記ロケーションをインタラクティブに調整することを可能にする入力装置と、を有し、
    前記ボリュームレンダラは更に、前記ユーザ入力に応じて、前記3Dデータセットに対する前記切断平面の前記ロケーションを視覚化するように前記2D投影画像を動的に更新する、超音波イメージングシステム。
  2. 前記2D投影画像は、仮想観察者の視点から、前記切断平面と一致する及び前記3D平面の後ろの前記3Dデータセットの部分のみを表示する前記3Dデータセットの断面ビューを含む、請求項1に記載の超音波イメージングシステム。
  3. 前記Bモード画像を前断面ビューと重ね合わせてオーバレイ画像を生成し、前記オーバレイ画像を前記ディスプレイに提供する画像プロセッサを更に有する、請求項2に記載の超音波イメージングシステム。
  4. 前記入力装置は、トラックボール、タッチパッド、又はタッチスクリーンを有し、前記ボリュームレンダラは、前記トラックボール、前記タッチパッド、又は前記タッチスクリーンを通じて受け取られる入力に応じて、前記断面ビューを動的に更新する、請求項2に記載の超音波イメージングシステム。
  5. 前記入力装置が、ユーザの手がハンドトラッキング装置の追跡フィールド内に存在する場合に前記ユーザの手の動きを追跡するハンドトラッキング装置を有し、前記ボリュームレンダラは、前記ユーザの手の動きを前記3Dデータセットに対する前記切断平面の移動に変換する、請求項1に記載の超音波イメージングシステム。
  6. 前記入力装置は、ハンドトラッキング装置を有し、前記ハンドトラッキング装置は、前記ハンドトラッキング装置の追跡フィールド内に提示される場合にユーザの手又はその一部の動きを追跡し、前記ハンドトラッキング装置は、前記動きに応じて追跡データを生成し、前記ボリュームレンダラは、前記追跡データに基づいて前記2D投影画像を更新する、請求項1に記載の超音波イメージングシステム。
  7. 前記マルチプラナリフォーマッタは、前記切断平面の前記ロケーションから離れた平行なスライス面における複数のBモード画像の少なくとも1つを生成し、又は前記切断平面に対して斜めのスライス面における1又は複数の付加のBモード画像を生成する、請求項1に記載の超音波イメージングシステム。
  8. 前記入力装置は、前記平行なスライス面の間隔、前記斜めの平面の間の角度、又はそれらの両方を指定するためのユーザ入力を受け取るように動作可能なユーザインタフェース素子を提供する、請求項1に記載の超音波イメージングシステム。
  9. 前記マルチプラナリフォーマッタは、前記切断平面の前記ロケーションの標示を受け取ることに応じて、前記Bモード画像を自動的に生成する、請求項1に記載の超音波イメージングシステム。
  10. 超音波イメージングされた生物学的組織のボリュームに対応する3Dデータセットを受け取るステップと、
    前記3Dデータセットのボリュームレンダリングを生成するステップと、
    ディスプレイ上に前記ボリュームレンダリングを表示するステップと、
    前記3Dデータセットに対する切断平面のロケーションを変更するためのユーザ入力を受け取るステップと、
    前記ボリュームレンダリングを更新して、前記3Dデータセットの断面ビューを表示するステップであって、前記断面ビューは、前記切断平面の一方の側に一致する及び前記一方の側に配される前記3Dデータセットの部分のみを含む、ステップと、
    前記切断平面と一致する前記3Dデータセットの平面におけるBモード画像を自動的に生成するステップと、
    を含む方法。
  11. 前記切断平面の前記ロケーションの標示を受け取ることに応じて、前記Bモード画像を自動的に表示するステップを更に含む、請求項10に記載の方法。
  12. 前記Bモード画像を前記3Dデータセットの前記断面ビューに重ねるステップを更に含む、請求項10に記載の方法。
  13. 前記切断平面の前記ロケーションを変更するための前記ユーザ入力が、トラックボール、タッチパッド、又はタッチスクリーンを介して受け取られる、請求項10に記載の方法。
  14. 前記切断平面と前記3Dデータセットとの間の相対位置を維持しながら、投影平面に対し前記投影データを移動させるための入力を受け取るステップを更に含む、請求項10に記載の方法。
  15. 前記切断平面が第1の切断平面であり、前記方法が、前記3Dデータセットに対する第2の切断平面のロケーションを変更するための入力を受け取るステップを更に含む、請求項10に記載の方法。
JP2018563844A 2016-06-10 2017-06-12 3d超音波データからbモード画像を生成するシステム及び方法 Active JP7197368B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662348411P 2016-06-10 2016-06-10
US62/348,411 2016-06-10
US201662418319P 2016-11-07 2016-11-07
US62/418,319 2016-11-07
PCT/EP2017/064223 WO2017212063A1 (en) 2016-06-10 2017-06-12 Systems and methods for generating b-mode images from 3d ultrasound data

Publications (3)

Publication Number Publication Date
JP2019517350A true JP2019517350A (ja) 2019-06-24
JP2019517350A5 JP2019517350A5 (ja) 2020-07-27
JP7197368B2 JP7197368B2 (ja) 2022-12-27

Family

ID=59070641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018563844A Active JP7197368B2 (ja) 2016-06-10 2017-06-12 3d超音波データからbモード画像を生成するシステム及び方法

Country Status (5)

Country Link
US (1) US11055899B2 (ja)
EP (1) EP3469553A1 (ja)
JP (1) JP7197368B2 (ja)
CN (1) CN109601018B (ja)
WO (1) WO2017212063A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
US20190246946A1 (en) * 2018-02-15 2019-08-15 Covidien Lp 3d reconstruction and guidance based on combined endobronchial ultrasound and magnetic tracking
JP7164345B2 (ja) * 2018-07-23 2022-11-01 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP3767593A1 (en) * 2019-07-17 2021-01-20 Siemens Medical Solutions USA, Inc. Method of generating a computer-based representation of a surface intersecting a volume and a method of rendering a visualization of a surface intersecting a volume
AU2020359142A1 (en) * 2019-09-30 2022-05-19 Rokken Inc. Diagnostic assistance device, diagnostic assistance system, and diagnostic assistance method
US11398072B1 (en) * 2019-12-16 2022-07-26 Siemens Healthcare Gmbh Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process
US11113898B2 (en) * 2019-12-20 2021-09-07 GE Precision Healthcare LLC Half box for ultrasound imaging
WO2021175629A1 (en) 2020-03-05 2021-09-10 Koninklijke Philips N.V. Contextual multiplanar reconstruction of three-dimensional ultrasound imaging data and associated devices, systems, and methods
EP4377900A1 (en) 2021-07-29 2024-06-05 Koninklijke Philips N.V. A visual data delivery system, a display system and methods of operating the same
EP4125046A1 (en) * 2021-07-29 2023-02-01 Koninklijke Philips N.V. A visual data delivery system, a display system and methods of operating the same
EP4160543A1 (en) * 2021-09-30 2023-04-05 Koninklijke Philips N.V. Method for analysing 3d medical image data, computer program and 3d medical image data evaluation device
US20230377219A1 (en) * 2022-05-19 2023-11-23 OneProjects Design and Innovation Ltd. Systems and methods for reconstruction and visualization of anatomical data

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014446A (ja) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk 医用画像処理装置
US20050033160A1 (en) * 2003-06-27 2005-02-10 Kabushiki Kaisha Toshiba Image processing/displaying apparatus and method of controlling the same
JP2005169070A (ja) * 2003-06-27 2005-06-30 Toshiba Corp 画像処理表示装置及びその制御方法
JP2006025958A (ja) * 2004-07-14 2006-02-02 Aloka Co Ltd 医療診断システム
JP2010200821A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 超音波診断装置及び画像データ生成装置
US20100286526A1 (en) * 2009-05-11 2010-11-11 Yoko Okamura Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP2013059610A (ja) * 2011-08-19 2013-04-04 Toshiba Corp 超音波診断装置、医用画像処理装置および医用画像処理プログラム
US20130261457A1 (en) * 2010-12-23 2013-10-03 Koninklijke Philips Electronics N.V. Automated identification of the location of a regurgitant orifice of a mitral valve in an ultrasound image
US20130274606A1 (en) * 2010-12-23 2013-10-17 Koninklijke Philips Electronics N.V. Analysis of mitral regurgitation by ultrasonic imaging
JP2014500117A (ja) * 2010-12-23 2014-01-09 コーニンクレッカ フィリップス エヌ ヴェ 超音波撮像によるスリット開口部からの僧帽弁逆流の解析
JP2015000132A (ja) * 2013-06-13 2015-01-05 株式会社東芝 超音波診断装置
US20150065877A1 (en) * 2013-08-30 2015-03-05 General Electric Company Method and system for generating a composite ultrasound image
US20150339859A1 (en) * 2014-05-20 2015-11-26 Samsung Electronics Co., Ltd. Apparatus and method for navigating through volume image

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5936850A (ja) 1982-08-26 1984-02-29 Dainippon Printing Co Ltd 印刷用音声入力装置
US5787889A (en) * 1996-12-18 1998-08-04 University Of Washington Ultrasound imaging with real time 3D image reconstruction and visualization
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6443896B1 (en) 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
DE10210466A1 (de) 2002-03-11 2003-10-09 Siemens Ag Darstellungsverfahren für Volumenelemente eines Volumendatensatzes
US7889194B2 (en) 2006-03-30 2011-02-15 Siemens Medical Solutions Usa, Inc. System and method for in-context MPR visualization using virtual incision volume visualization
JP5022716B2 (ja) * 2007-01-24 2012-09-12 株式会社東芝 超音波診断装置、及び超音波診断装置の制御プログラム
JP5433240B2 (ja) * 2009-01-21 2014-03-05 株式会社東芝 超音波診断装置及び画像表示装置
EP2335596A1 (en) * 2009-12-15 2011-06-22 Medison Co., Ltd. Ultrasound system and method of selecting slice image from three-dimensional ultrasound image
WO2011117788A1 (en) * 2010-03-23 2011-09-29 Koninklijke Philips Electronics N.V. Volumetric ultrasound image data reformatted as an image plane sequence
EP2854648B1 (en) * 2012-05-31 2016-05-18 Koninklijke Philips N.V. Ultrasound imaging system and method for image guidance procedure

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014446A (ja) * 1999-07-01 2001-01-19 Toshiba Iyo System Engineering Kk 医用画像処理装置
US6480732B1 (en) * 1999-07-01 2002-11-12 Kabushiki Kaisha Toshiba Medical image processing device for producing a composite image of the three-dimensional images
US20050033160A1 (en) * 2003-06-27 2005-02-10 Kabushiki Kaisha Toshiba Image processing/displaying apparatus and method of controlling the same
JP2005169070A (ja) * 2003-06-27 2005-06-30 Toshiba Corp 画像処理表示装置及びその制御方法
JP2006025958A (ja) * 2004-07-14 2006-02-02 Aloka Co Ltd 医療診断システム
JP2010200821A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 超音波診断装置及び画像データ生成装置
US20100286526A1 (en) * 2009-05-11 2010-11-11 Yoko Okamura Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP2010284516A (ja) * 2009-05-11 2010-12-24 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US20130261457A1 (en) * 2010-12-23 2013-10-03 Koninklijke Philips Electronics N.V. Automated identification of the location of a regurgitant orifice of a mitral valve in an ultrasound image
US20130274606A1 (en) * 2010-12-23 2013-10-17 Koninklijke Philips Electronics N.V. Analysis of mitral regurgitation by ultrasonic imaging
JP2014500117A (ja) * 2010-12-23 2014-01-09 コーニンクレッカ フィリップス エヌ ヴェ 超音波撮像によるスリット開口部からの僧帽弁逆流の解析
JP2013059610A (ja) * 2011-08-19 2013-04-04 Toshiba Corp 超音波診断装置、医用画像処理装置および医用画像処理プログラム
JP2015000132A (ja) * 2013-06-13 2015-01-05 株式会社東芝 超音波診断装置
US20150065877A1 (en) * 2013-08-30 2015-03-05 General Electric Company Method and system for generating a composite ultrasound image
US20150339859A1 (en) * 2014-05-20 2015-11-26 Samsung Electronics Co., Ltd. Apparatus and method for navigating through volume image

Also Published As

Publication number Publication date
CN109601018A (zh) 2019-04-09
US20190272667A1 (en) 2019-09-05
CN109601018B (zh) 2023-05-26
EP3469553A1 (en) 2019-04-17
JP7197368B2 (ja) 2022-12-27
WO2017212063A1 (en) 2017-12-14
US11055899B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
JP7197368B2 (ja) 3d超音波データからbモード画像を生成するシステム及び方法
US10515452B2 (en) System for monitoring lesion size trends and methods of operation thereof
US10896538B2 (en) Systems and methods for simulated light source positioning in rendered images
US20070046661A1 (en) Three or four-dimensional medical imaging navigation methods and systems
EP3469554B1 (en) Systems and methods for lighting in rendered images
US20100121189A1 (en) Systems and methods for image presentation for medical examination and interventional procedures
US9196092B2 (en) Multiple volume renderings in three-dimensional medical imaging
EP3136972A1 (en) Systems for linking features in medical images to anatomical models and methods of operation thereof
CN217907826U (zh) 医学分析系统
US20190076125A1 (en) Apparatuses, methods, and systems for annotation of medical images
US20100195878A1 (en) Systems and methods for labeling 3-d volume images on a 2-d display of an ultrasonic imaging system
US20130328874A1 (en) Clip Surface for Volume Rendering in Three-Dimensional Medical Imaging
JP2021079124A (ja) 簡素化された3dイメージング制御を有する超音波イメージングシステム
EP2509013A1 (en) 3D image navigation method
CN112568927A (zh) 用于为三维的和四维的超声图像提供旋转预览的方法和系统
WO2018011105A1 (en) Systems and methods for three dimensional touchless manipulation of medical images
CN109313818B (zh) 用于在绘制图像中的照明的系统和方法
JP2023513310A (ja) 2次元画像上の3次元オーバレイのレンダリング

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210610

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221215

R150 Certificate of patent or registration of utility model

Ref document number: 7197368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150