JP2016519363A - ビュー分類に基づいたモデル初期化 - Google Patents

ビュー分類に基づいたモデル初期化 Download PDF

Info

Publication number
JP2016519363A
JP2016519363A JP2016503753A JP2016503753A JP2016519363A JP 2016519363 A JP2016519363 A JP 2016519363A JP 2016503753 A JP2016503753 A JP 2016503753A JP 2016503753 A JP2016503753 A JP 2016503753A JP 2016519363 A JP2016519363 A JP 2016519363A
Authority
JP
Japan
Prior art keywords
image
posture
transformation
image processing
imager
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016503753A
Other languages
English (en)
Other versions
JP6407959B2 (ja
Inventor
トーマス ヘイコ ステール
トーマス ヘイコ ステール
ユルゲン ウェイス
ユルゲン ウェイス
イリナ ワチター‐ステール
イリナ ワチター‐ステール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016519363A publication Critical patent/JP2016519363A/ja
Application granted granted Critical
Publication of JP6407959B2 publication Critical patent/JP6407959B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/168Segmentation; Edge detection involving transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/42Analysis of texture based on statistical description of texture using transform domain methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/32Normalisation of the pattern dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753Transform-based matching, e.g. Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

画像処理装置及び方法が提供される。当該装置PPは、入力ポートINと、分類器CLSと、出力ポートOUTとを含む。入力ポートは、イメージャUSPによってある視野FoVにおいて取得された物体の画像を受信する。画像は、イメージャの視野FoVに対応する物体の姿勢を記録する。分類器CLSは、物体の幾何モデルを使用して、所定の候補姿勢の群から、画像内に記録された物体の姿勢を決定する。出力ポートOUTは、決定された姿勢を記述する姿勢パラメータを出力する。

Description

本発明は、画像処理装置、画像処理方法、コンピュータプログラム要素及びコンピュータ可読媒体に関する。
医療分野では、高品質画像への依存は、一般的になってきているが、この点については、非破壊材料検査、地質学又は保安検査用の手荷物スクリーニングといった他の分野からの例も引き合いに出すことができる。特に難しい点は、視覚検査では容易にアクセスできない「隠れた」物体の高品質画像を取得することである。例えば医療分野では、臓器がはっきりと見える画像は、重要な診断ツールである。具体的には、3次元径食道心エコー(3D TEE)では、患者の心臓の超音波画像ボリュームを取得するために、3次元超音波撮像機器が使用される。本出願人の米国特許第7,141,020号は、3D超音波システムについて説明している。CTスキャナといった他の撮像モダリティもよく使用される。これらの撮像モダリティによって取得された画像は、その中に符号化された解剖学的情報を特定し易くすることを助けるために、後処理される。このような後処理は、画像セグメンテーションを含む。セグメンテーションによって、画像のどの部分が、人間若しくは動物の心臓又は他の関心物体を表すのかが明確に規定される。しかし、特定の状況では、セグメンテーション結果は、信頼度が低いことが分かっている。
したがって、上記された又は同様の欠点に対処する装置が必要である。
本発明の課題は、独立請求項の主題によって解決される。更なる実施形態は、従属請求項に組み込まれている。なお、本発明の以下に説明される態様は、画像処理方法、コンピュータプログラム要素及びコンピュータ可読媒体に同様に適用される。
本発明の第1の態様によれば、画像処理装置が提供される。当該画像処理装置は、
イメージャによって1つの視野において取得された物体の画像を受信する入力ポートであって、画像は、イメージャの視野に対応する物体の姿勢を記録している、当該入力ポートと、
物体の幾何モデルを使用して、所定の(候補)姿勢の群から、画像内に記録された物体の姿勢を決定する分類器と、
決定された姿勢を記述する姿勢パラメータを出力する出力ポートとを含む。
一実施形態によれば、画像処理装置は更に、姿勢パラメータを初期化情報として使用して、推定される姿勢にある物体の画像をセグメント化するセグメンタを含む。モデルベースのセグメンテーションは、セグメンタのアルゴリズムに使用される幾何モデルの適切な初期化に依存する。しかし、臓器の姿勢が、解剖学的変動性又は(例えば3D TEEにおいて見られるような)撮像ジオメトリの変更(これは、撮像ジオメトリはほとんど変わらないCTとは対照的である)によって、変わる可能性がある場合、事前知識に基づいた標準的な初期化ではうまくいかない。提案される装置は、ビューベースの分類を実行し、続いて、一実施形態では、この情報を、関心の臓器である物体のセグメンテーションに使用する。つまり、当該装置は、基準の姿勢に対して、セグメント化されるべき臓器の姿勢を自動的に検出することができる。姿勢は、特に、物体の位置と、基準の姿勢におけるモデルに対するその向きとを含む。分類器によって確立される姿勢パラメータは、この位置及び向きを記述する。姿勢パラメータは、一実施形態では、セグメンテーション処理パイプラインを初期化するために、より具体的には、セグメンテーションに使用されるモデルを初期化するために使用される。姿勢パラメータは、異なる形で、例えば姿勢に関連する変換行列として、供給されてもよい。
一実施形態では、変換は、モデルに適用されて、画像内に記録された物体の姿勢に対応する「正しい」姿勢にある変換されたモデルが生成される。この実施形態では、確立された姿勢パラメータは、モデルを、画像内に記録された物体の姿勢に適応させることを可能にする。更に別の実施形態では、変換は、画像を変換するために適用される。姿勢パラメータを異なる形で供給することは、提案される装置を、所与のセグメンタの内部アルゴリズム機能に適応させることを可能にする。このようにすると、提案される装置は、既存のセグメンタの「アドオン」として使用されることが可能となる。
一実施形態では、上記装置は、画像を処理する間、ユーザ入力なしで自動的に動作する。推定される姿勢パラメータは、初期化のために、セグメンタに自動的に送られる。半自動的な実施形態では、出力された姿勢パラメータは、人間の専門家による確認のために、ディスプレイ上に表示される。例えばモデルは、姿勢パラメータを使用して確立された姿勢に変換され、ユーザによる検査のために、スクリーン上に表示される。上記装置は、撮像セッション中にイメージャによって供給される一連の画像を処理する。この実施形態では、上記装置は、対応する一連の姿勢パラメータを出力し、各姿勢パラメータは、一連の画像の各画像の別個のセグメンテーション初期化に使用される。
一実施形態では、モデルは、物体の形状の輪郭を描く3次元表面メッシュである。一実施形態では、メッシュは、相互に接続された三角形要素で構成されている。しかし、長方形/正方形要素メッシュ又は非一様有理Bスプライン(NURBS)表面で構成されたメッシュといった他のメッシュを使用してもよい。
一実施形態によれば、分類器は、一般化ハフ変換(GHT)を使用して、物体の姿勢を決定する。所定の姿勢のそれぞれは、GHTの(ハフ)パラメータ空間内の点に関連付けられている。一実施形態によれば、GHTは、複数の別個のハフアキュムレータに基づいており、各ハフアキュムレータは、所定の姿勢のうちの異なる1つの所定の姿勢の専用である。つまり、様々な向きは、単一のアキュムレータを形成するように隣接されない。このようにすると、精度を妥協することなく、CPU時間が節約される。これは、計算が、異なる向きの数に比例してのみ増減するからである。より具体的には、また、一実施形態によれば、姿勢は、画像内に記録された物体の位置及び向きとして規定される。姿勢あたりのアキュムレータはそれぞれ、ハフ空間における位置毎の当該特定のハフ空間点に対応する画像点の総数を記録する別個のデータ構造である。一実施形態では、主要な姿勢(向き又は位置)が、トレーニングフェーズにおいて、トレーニング画像から学習される。代替実施形態では、姿勢位置と姿勢向きとの役割が反対にされる。つまり、1つの位置あたりに別個のアキュムレータがあり、各エントリが、向きに関する対応を記録する。
アキュムレータは、特定の品質尺度を使用して比較され、当該尺度について、画像にベストフィットするアキュムレータが見つけられる。ベストフィッティングアキュムレータを確立することは、求めていた向きを決定し、ベストフィッティングアキュムレータにおけるエントリは、向きと併せて、求めていた姿勢パラメータを規定する位置を確立するために使用される。姿勢パラメータに基づいて、幾何モデルを、当該幾何モデルが上記されたモデルベースのセグメンテーションの開始点として使用できるように変換するアフィン変換(又は別のタイプの変換)が決定される。一実施形態によれば、品質尺度は、すべてのアキュムレータエントリに亘っての最大値である。一実施形態によれば、重み付けされた最大値が使用される。例えば様々な重みは、様々なアキュムレータからのエントリによるものである。様々なアキュムレータが様々な向きを表す実施形態では、重み付けされた最大値とは、様々な向きの重み付けを意味する。幾つかの実施形態では、エントロピー尺度も考えられる。アキュムレータあたりの各最大値エントリ付近の範囲におけるエントロピーが評価され、最大エントロピーを有する最大値エントリを有するアキュムレータが戻される。ここでも、最大値は、絶対的な「プレーン」な絶対値又は上記されたような重み付けされた最大値として解釈されてもよい。
異なる実施形態によれば、画像処理装置は、画像内の1つの(通常は、1よりも多い)ランドマークを特定する識別子を含む。各所定の姿勢は、1つの変換に関連付けられる。分類器は、変換のうちの少なくとも1つの(通常は、2つ以上の)変換を使用して、特定されたランドマークの座標を変換し、変換されたランドマークの座標を、モデルのランドマークの座標と比較する。類似性尺度に基づいて、少なくとも2つの変換の中から、ベストフィット変換が確立される。姿勢パラメータは、ベストフィット変換に関連付けられる姿勢を記述する。一実施形態では、姿勢パラメータは、ベストフィット変換であり、モデルに適用されて、上記されたように当該モデルを画像に適応させてもよい。
一実施形態によれば、分類器は、画像からモデルへのスカウト変換を生成する。スカウト変換は、i)画像内の特定されたランドマークの座標と、ii)モデル内のターゲットランドマークの座標とに基づいている。分類器は、類似性尺度に基づいて、スカウト変換を、所定の変換のうちの1つの(通常は、2つ以上の)変換と比較して、ベストフィット変換を確立し、出力される姿勢パラメータは、ベストフィット変換に関連付けられる姿勢を記述する。ここでも、上記実施形態と同様に、姿勢パラメータは、ベストフィット変換の形で供給され、モデルに適応されて、当該モデルを画像に適応させてもよい。
一実施形態によれば、分類器は、イメージャが使用されているときのイメージャの位置と撮像されるべき物体との間の予想される空間関係を反映する重みのセットを使用する。これは、姿勢パラメータの精度をさらに向上させる。複数のアキュムレータを有するハフ変換実施形態では、イメージャと物体との空間関係の重みは、アキュムレータを比較するための品質尺度の更に別の実施形態を規定するために使用される。この実施形態では、最大値エントリは、重み付けされたアキュムレータによって取って代わられる。予想されるイメージャと物体との空間関係の範囲内の姿勢を表すアキュムレータからのエントリが好適であるので、これらのエントリは、他のアキュムレータからのエントリよりも高い重みが付けられている。
上記装置は、画像データセット内の臓器の姿勢が分かっていない様々なモダリティのセグメンテーションタスクに使用することができる。同様に、上記装置は、座標軸の原点及び向きが固定されていないか又は事前に分かっていないモダリティに使用することができる。このようなモダリティの一例は、正確なプローブ位置及び向きが分かっていないTEE超音波撮像である。一実施形態によれば、イメージャは、3D超音波プローブであり、画像は、当該プローブによって取得された3Dデータボリュームである。当然ながら、出力された姿勢パラメータは、画像データセット内の物体の姿勢の知識が必要であるセグメンテーション以外の画像処理タスクに使用されてもよい。
以下に、本発明の例示的な実施形態について、以下の図面を参照して説明する。
図1は、画像ベースのインテリジェンス収集のための構成を示す。 図2は、図1に使用される画像プロセッサの一実施形態を示す。 図3は、図1のシステムに使用される画像プロセッサの第2の実施形態を示す。 図4は、形状のパラメータ化された記述を示す。 図5は、画像処理方法のフローチャートを示す。
図1を参照するに、医療コンテキストにおける画像ベースのインテリジェンス収集のアレンジメントが示されている。
より具体的には、図1は、3D TEEのための構成を示す。
3D TEE構成は、その基本的なコンポーネントとして、3D超音波機器USEと、モニタMを有するワークステーションWSとを含む。
以下により詳細に説明されるように、超音波(US)機器USEは、人間又は動物の心臓HTの画像を取得することを可能にする。超音波機器USEは、ワークステーションWSに通信可能に結合されている。所与の画像が、イメージャによって取得された後、ワークステーションWSに送られ、メモリに記憶される。画像は、ワークステーションWSによって、以下に説明される方法で画像処理される。一実施形態では、ワークステーションWSは、モニタM上での表示のために取得/処理された画像をレンダリングするのに適したグラフィックディスプレイジェネレータを実行する。
超音波機器USEは、コントローラUSGと、通信線CLを介してコントローラUSGに結合される超音波プローブUSPとを含む。超音波プローブUSPは、超音波トランスデューサUST内のその動作端部で終わる。一実施形態では、超音波トランスデューサヘッドUSTは、音響要素(例えば圧電要素)のアレイを含む。
図1の左側に、どのように超音波機器USEが使用されて心臓の画像が取得されるのかが示されている。鎮静剤等が患者に投与された後、超音波プローブUSPは、患者の食道Eに注意深く入れられ、超音波トランスデューサUSTが心臓の高さ付近に位置するまで進められる。3D TEEは、食道内の適当な高さにおいて、超音波トランスデューサUSTが、心臓のすぐ近くに配置可能であり、その場合、超音波トランスデューサUSTと心臓との間には、食道Eの壁組織及び気管WPのみがあるという解剖学的事実を利用する。したがって、3D TEEでは、従来の検査(例えばX線)の場合にある骨、筋肉、脂肪等といった邪魔になる組織による妨害は取り除かれる。
画像ベースの情報収集を最大限に生かすために、超音波プローブUSPは、その先端部、つまり、超音波トランスデューサUSTが、多くの自由度を享受できるように構成されている。例えば食道Eによって規定される長手軸を、そのZ軸が通ると想定される基準フレームについて、超音波トランスデューサUSTは、当該Z方向に沿って長手方向に前進又は後退させられる。超音波トランスデューサUSTは更に、Z軸に沿った回転軸の周りを回転することもできる。更に、一実施形態によれば、超音波プローブUSPは、超音波トランスデューサヘッドUSTを屈曲させるストリング機構(図示せず)を含む。つまり、ストリング機構は、水平のX軸から離れるように、当該軸の両側に、超音波トランスデューサヘッドを屈曲させることを可能にする。
実際に画像を取得する際の使用において、音響エネルギーが、パルス音響波の形で、超音波トランスデューサUSTに供給されるように、コントローラUSG内の回路が動作する。パルス音響波は、コーンUSを形成し、どのインスタンスにおいてもパルス音響波が当てられるボリュームを規定する。「コーン」との用語は、ここでは、広義の数学的意味で使用され、典型的な円錐だけでなく、特に角錐も含む。一実施形態では、超音波トランスデューサUSTは、「オムニプレーン(omniplane)」である。つまり、超音波トランスデューサのアレイは、コーンUSを回転させるように操作され、各角回転は異なる平面によって規定される。これにより、更にもう1つの自由度が追加される。また、一実施形態では、(コーンUSの主伝播方向に沿った)コーンの撮像「深度」も制御可能である。
超音波プローブUSPの超音波トランスデューサは、超音波パルス波を伝送する。当該超音波パルス波は、患者の体内の構造物から跳ね返る。超音波プローブは更に、反射波を入来エコー音波として検知する。コントローラUSG内のプロセッサが、当該入来エコー波の移動時間を計算して、特定の時間tでの瞬間伝播方向における3D超音波画像データボリュームを形成する。インターベンションの間、伝播方向は、何回か変わる可能性があり、これにより、超音波機器USEは、様々な視野FoVにおいて取られた一連の3Dボリューム3DVを出力する。ここにおいて想定される超音波機器USEは、単一のプローブ位置における瞬間3Dボリューム3DVの取得を可能にする。したがって、任意の所与の3Dボリューム3DVに対して、手等によるプローブの移動が必要ない。しかし、ここでは、他の従来の超音波スキャナの使用も想定され、この場合、3Dボリュームは、ボリュームを一掃するように、スキャナを手等で移動させることによってそれぞれ取得される多くの様々な伝播方向から、関心のボリュームの照射後に、再構成される。
概念的には、コーンUSによって提供されるイメージャの視野(FoV)は、共通の基準フレームに対する空間における超音波トランスデューサヘッドUSTの瞬間位置Pによって、視野の「幅」を指定する立体角Ωによって、また、ビューイング方向Dr及びビューイング向きによって規定される。ビューイング向きは、ビューイング方向Drに直交するベクトルによって規定され、これにより、ビューの「上下」又は「左右」の概念が規定される。心臓が記録される姿勢は、これらの視野FoVパラメータの一次関数である。より具体的には、超音波トランスデューサUSTの瞬間視野FoVは、ここでは心臓HTである関心物体の特定の透視ビューを規定する。換言すると、各3Dボリューム3DVは、心臓の特定の姿勢を符号化する。更に換言すると、各3Dボリューム3DVは、心臓HTの姿勢を記録する。姿勢は、画像座標系における心臓HTの位置と当該画像座標系における向きとを規定する。一般に、超音波トランスデューサの各視野FoVに関連付けられる透視ビューを規定する画像部分の形状又は外側境界は、様々な3Dボリュームブロックについて異なる。
超音波トランスデューサヘッドUSTの自由度は多ければ多いほど望ましいが、これは、複雑さも増してしまう。これは、一連の3Dボリューム3DVに記録される(また、超音波機器USEによってワークステーションに供給される)各心臓姿勢が、通常、事前に分かっていないことによる。つまり、イメージャによって、所与のボリューム3DVが取得された後、通常、各ボリュームにおいて記録された特定の姿勢を自動的に知る方法がない。この姿勢の変動性によって、当該画像の画像処理にエラーが生じやすくなる。
ワークステーションWSは、3D超音波画像の画像処理に役立つ幾つかの異なるモジュールを含む。ディジタライザ(ディジタライザは、一実施形態では、超音波機器USE自体の中の適切なA/D変換器によって実施される)及びデジタルフィルタモジュール以外に、ワークステーションWSは、一実施形態では、セグメンタSを含む。
セグメンタモジュールSは、画像3DVを、関心の臓器HTを表す1つ以上の画像部分に「分割」することを可能にする。つまり、セグメンタSは、画像3DVのピクセル及びボクセル(ここではボクセル)に作用して、所与のボクセルが、関心の画像部分に属するか属さないかを確立する画像処理ツールである。セグメント化された画像は、次に、画像処理パイプラインの更に下流にある画像解析ツールに送られる。例えば心臓の3D画像ボリューム3DVをセグメント化する際に、一連の3Dボリュームブロックに亘る瞬間心臓ボリュームが確立される。患者の心臓活動が健全であるかどうかを確認することができる。例えば心臓ボリュームは、一連の3D画像ボリュームに亘って比較されて、様々な心位相が特定される。この後続の心臓ボリュームの比較によって、心不全が認識される。したがって、正確なセグメンテーションが興味深いことが理解できる。
簡潔に述べるに、また、本明細書において提案されるように、ワークステーションWSは、一実施形態では、セグメンタSのイニシャライザとしての機能を果たすプリプロセッサPPを含む。例えば一実施形態では、セグメンタSは、セグメント化される物体の位置及び向きの事前知識に依存するモデルベースのセグメンテーション(MBS)ユニットである。本明細書において提案されるプリプロセッサ又はセグメンテーションイニシャライザPPは、1つ以上の3Dボリュームを読み込み、物体の姿勢を推定し、一実施形態では、この情報をセグメンタに送る。セグメンタにおいて、今度は物体の姿勢が分かっていることによって、各3Dボリュームはより正確にセグメント化される。
より具体的には、本明細書において提案されるプリプロセッサPPは、画像データを完全に自動的に解析し、現在のビュー、つまり、現在の画像ブロック3DVが取得されたビューを分類するように動作する。つまり、プリプロセッサPPは、基準の姿勢に対して、セグメント化されるべき臓器の姿勢を検出することができる。検出された姿勢は、「姿勢パラメータ」によって表現される。パラメータは、変換、つまり、変換されたモデルが画像内に記録された姿勢に対応するように、心臓HTの幾何モデルがどのようにシフトされ及び回転される必要があるのかを記述する。一実施形態では、この姿勢パラメータに基づいて、臓器の幾何モデルMODの点が、推定される(「現在の」)姿勢に変換される。一実施形態では、心臓の幾何モデルMODは、三角形要素で構成される3D表面メッシュとして規定され、当該メッシュは、所与の基準姿勢における標準心臓形状の輪郭を大まかに描く。変換された(つまりシフトされ及び回転された)モデルは、画像ボリューム3DVのMBSの開始点として供給される。他の実施形態では、推定される姿勢情報だけがセグメンタに供給される。したがって、この実施形態では、姿勢パラメータは、最初にモデルMODを変換することなく、セグメンタに直接、渡される。更に別の実施形態では、推定される姿勢情報によって規定される変換が、瞬間画像ボリューム3DVに適用され、変換された画像ボリュームが、セグメンテーションにここでは元の(つまり、変換されていない)モデルMODを初期化モデルとして使用するセグメンタに供給される。この実施形態は、モデルMODではなく画像を変換することによって、モデルMODを、画像3DVに適応させることを可能にする。これにより、モデルMODが画像に対して変換される上記実施形態における姿勢と同じ姿勢が実現される。
一実施形態では、プリプロセッサPPは、複数のアキュムレータ(各向きにつき1つ)を有する一般化ハフ変換(GHT)に依存する。別の実施形態では、画像データ3DVからのランドマークの抽出が使用されて、複数のアフィン(又は他の)変換から、瞬間画像3DVにおける構造体を最もよく「説明する」最適な変換が決定される。
次に図2及び図3を参照する。図2及び図3には、概略ブロック図で、セグメンテーションイニシャライザPPの各実施形態が示されている。
まず、図2における実施形態を参照する。プリプロセッサPPは、3D画像3DVを受信する入力ポートINと、分類器CLSとを含む。更に、分類器CLSによって決定される姿勢の姿勢パラメータ(β[=向き],x[=位置])を出力する出力ポートOUTもある。この姿勢情報(β,x)は、上記されたように、幾何モデルMODに適用される。変換されたモデルは、「初期化されたモデル」を形成する。変換されたモデルMOD、又は、(最初に変換が適用されていない)3つの要素(β、x、MOD)が、適切なバックエンドを介して、セグメンタSに供給される。これにより、セグメンタは、初期化される。つまり、セグメンタSは、セグメンタがセグメント化すべき物体の姿勢を「知る」ことになる。一実施形態では、セグメンタSの動作は、O. Ecabert他による「Automatic mode-based segmentation of the heart in CT images」(IEEEトランザクション・オン・メディカルイメージング、27(9)、2008年)に類似したアルゴリズムに基づいている。この実施形態では、セグメンタは、セグメント化されるべき画像内の関心の物体の姿勢が分かる(つまり、初期化されたモデルが利用可能である)と、パラメータ化され変形可能な適応ステップを、モデルMODに適用する。したがって、モデルMODは、瞬間画像ボリューム3DVに適応される。具体的には、適応は、大域剛体変換、大域アフィン変換、マルチ剛体変換及び変形可能変換を連続的に適用することによって、モデルMODの座標が画像3DVに適応される1つ以上の段階を含む。初期化されたモデルを変形した後、メッシュモデルMODの面(一実施形態では、三角形が使用される)の法線に亘ってグレー値の強度が評価され、セグメンテーションの境界が規定される。
一実施形態によれば、プロセッサPPの分類器CLSは、一般化ハフ変換GHTに基づいている。例えばD. Ballardによる「Generalizing the Hough transform to detect arbitrary shapes」(パターン・リコグニション、13(2)、111〜122頁、1981年)を参照されたい。一実施形態によれば、ハフ変換は、以下により詳細に説明されるように、複数の異なる専用の「アキュムレータ」AC〜ACを含み、(物体HTの姿勢の)各向きについて1つある。第1の実施形態に関するプリプロセッサPPの機能は、2つのフェーズ、即ち、先のトレーニング又は準備フェーズ及び後続の動作フェーズを参照して、説明される。
簡潔に述べるに、画像3DVにおいて大きく変動する心臓の姿勢に対処するために、トレーニングフェーズにおいて、トレーニング3D画像から、頻繁に繰り返し起きる姿勢の向きが学習され、クラスタリングした後、これらの向きから、変換のセットが計算される。これらの変換は、動作フェーズにおいて、GHT投票処理の間に適用されて、複数のハフアキュムレータが満たされる。複数のハフアキュムレータは、すべてのハフアキュムレータに亘って最大投票エントリを見つけるべく検索され、心臓の姿勢が見つけられる。当該検索は、すべてのハフアキュムレータに亘って同時に実行されても、連続的に進められてもよい。
一実施形態によれば、心臓撮像セットアップによって課される特定の不変条件/制約事項がうまく利用される。つまり、左心房の位置が、超音波コーンUSの頂点付近にあると予想される。
以下に、関連の3D−GHTアルゴリズムがより詳細に説明される。撮像ジオメトリからの事前知識を組み込むための更なる拡張が説明される。
プリプロセッサPPは、GHTの3D拡張を使用する。GHTでは、検出されるべき物体HTの(モデルMODによって規定される)形状の「テンプレート」が使用される。図4を参照するに、表現し易くするために、モデルMODの形状を取得するための関連の数量の2次元図が与えられている。モデルの境界の各点pについて、座標軸と輪郭の法線ベクトルとの間の角度φ及びθが決定される。各寸法φ及びθについて、角度間隔のN×M個の対(φ,θ)のセット(行列)が生成されるように、N×M個の間隔への離散化(「ビニング」)が行われる。任意の1つの輪郭点pと、モデルの場所を表す点COGとの間の「差分ベクトル」dは、角度間隔の対を、対応する差分ベクトルdと関連付けるテーブルに記憶される。物体の場所は、テンプレート形状の重心COG又は別の適切な基準点に対して、測定される。形状記述を簡潔にするために、テンプレート形状の左右対称性が使用されることが好適である。つまり、テーブルの各エントリは、1つの可能な姿勢を表す。GHTの言葉では、記録される形状は、いわゆるRテーブル(「eference table」)である。Rテーブルの非限定的な例を、次の表に示す。
Rテーブル生成の間、図2のモデルMOD輪郭情報が使用されるだけでなく、トレーニング画像Iも考慮される。つまり、各画像位置pにおける画像勾配▽Iが、ユーザによって調節可能なある閾値tよりも大きい場合にのみ、輪郭点がRテーブルに追加される。
同様のトレーニング方法が、Saalback他によって「Optimizing GHT-Based Heart Localization in an Automatic Segmentation Chain」(MICCAI、6893、463−470、2011年)において説明されている。換言すると、Rテーブルは、上記トレーニング画像において取得されたエッジ点を有するモデルMODの表現である。
動作フェーズにおいて、Rテーブルは、次の通りに、次の形状検出ステップに使用される。即ち、いわゆるハフアキュムレータHが、次の通りに生成される。最初に、一実施形態では、画像3DV(このステップ及び以下のステップは、一連の3DVにおける任意のボリュームブロックに適用可能であると理解される。したがって、以下では、「当該」画像3DVを参照する)は、勾配フィルタによってフィルタリングされ、「エッジ点」が検出される。閾値tよりも大きい絶対値を有する勾配を有する各エッジ要素eについて、座標軸に対する角度φ及びθが決定される。Rテーブルにおける検索によって、輪郭点から物体の予想される重心への差分ベクトルのセットがもたらされる。したがって、各Rテーブルエントリにおけるすべての差分ベクトルdについて、ハフアキュムレータは、1が増加される。
画像3DVのエッジ点を循環し、式(2)による記録をハフアキュムレータ(一般には「ハイパー行列」)に適用した後、最高総数を有するハフアキュムレータエントリの(Rテーブルの)座標は、一実施形態では、所与の姿勢向きβについて、最も可能性の高い物体の場所を表すと解釈される。
しかし、上記式(2)のアプローチは依然として、トレーニングされた向きとは異なる向きβにおける形状の検出を可能にしない。1つのオプションは、新しい寸法をハフアキュムレータに追加又は付加することによって、上記GHTの自由度を増加させることである。その場合、新しいパラメータは、様々な向きβを取得するために、関心の間隔に亘って量子化される。対照的に、また、このような付加アプローチとは非常に異なって、本明細書では、パラメータ範囲の間隔は使用せず、幾つかの選択個別パラメータ向き組み合わせβと追加のハフアキュムレータとの間の明白な「リンク」を使用することが提案される。つまり、各向きβについて、様々な向きのうちの対応する1つの向き専用の異なる別個のハフアキュムレータが使用される。このアプローチは、様々な向きを探すことを可能にする一方で、計算負荷を低く抑える(つまり、複雑さは、向きの数に比例してのみ増加する)。更に換言すれば、すべての可能な形状の向きβは、「位相空間」を形成すると見なされる。この場合、本明細書では、各アキュムレータの「位相空間」に異なる(関係のない)点を「植える」ことが提案される。各アキュムレータは、各向きβに「固定され」た「局所的」な形状記述子である。
(通常、多次元変数である)向きβのセットは、上記されたように、トレーニングデータセットから学習される。ほぼ正確なセグメンテーションを生成するために、半自動セグメンテーションが使用される。向きOを有する各セグメンテーションは、基準の向きに固く固定されて位置合わせされ、変換行列
がもたらされる。一実施形態では、向きは、モデルベースのセグメンテーションを、少し間違った又は異なる向きから開始した場合でも、各データセットに対し、セグメンテーションが成功することが依然として可能であるように、クラスタリングされた。この「粗雑化」によって、向きの総数が、計算上、より管理可能な総数に減少される。つまり、式(2)を計算すると、今度は、次式
が得られ、全てのハフアキュムレータ
に亘って取られる最大値が、今度は、画像内の心臓の最も可能性の高い場所及び向きを与える。一実施形態によれば、最大エントリ値ではなく、「最大にする」エントリ値が検索される。「最大にする」エントリは、ハフアキュムレータACの群上で規定される特定の正規化関数を最大にする(ハフアキュムレータのうちの1つのハフアキュムレータの)エントリである。正規化関数は、様々なハフアキュムレータに亘っての正規化を可能にし、これにより、ハフアキュムレータエントリの、各ハフアキュムレータによって表される様々な向きβへの依存を説明する。例えば上記されたより単純な実施形態において、「プレーン」な最大値が検索されるに過ぎない場合、次の状況が起こる場合がある。即ち、特定の向きが、偶然に、心臓HTの半分のみのビューを提供する場合、対応するハフアキュムレータにおける最大値エントリは、通常、その向きが心臓のフルビューを表す別のハフアキュムレータの最大値エントリよりも低い。したがって、正規化関数は、より良好なアキュムレータ間の比較を実現するために、ハフアキュムレータエントリのこの向き依存を補償することを可能にする。
ロバスト性を更に向上させるために、一実施形態では、撮像セットアップに起因して配慮される特定の不変条件がうまく利用される。例えば3D TEEでは、左心房は、常に、錐台の先端にある。この点をうまく利用すると、GHTは、重心について投票することはもはやなく、その位置はほとんど変化しないと予想される心房の中心について投票するように変更される。更に、一実施形態では、重み付け係数wが導入される。
これは、既知の錐台(コーンUS)の先端の場所の付近のハフアキュムレータの値には影響を及ぼさない。
式(4)において、aは、心房の中心(又は任意の他の解剖学的な場所又は既知の場所)であり、Δwは、重み付け係数減少率である。したがって、次式
は、推定される姿勢、即ち、最も「可能性の高い」推定される場所及び向きをもたらし、また、撮像セットアップに関する事前知識を考慮する。つまり、(粗雑化された各向きOについての)各アキュムレータ
は、その最大エントリについて問い合わせされるが、同時に、Rテーブルの検索によって戻された場所が、錐台があると思われるaに関して「外れている」と思われる場合は、下方に重み付けされるか又は不利な状態にされ、また、aに近い場合は支持される。
一実施形態によれば、また、上記GHTステップの前に(つまり、準備フェーズにおいて)、1つ以上の適応ステップが、画像ボリューム3DVに適用されて、画像3DVボクセルによって記録されたグレー値の強度が正規化される。
トレーニングデータとして、様々な患者から、10個のフルボリュームシーケンスが選択された。これらのデータにおいて、心臓全体は、錐台内に置かれていた。各シーケンスの第1のフレームは、手動でセグメント化された。これらの10個のボリュームは、セグメンタSのMBSアルゴリズムにおいて後に(つまり、動作フェーズ中に)使用される境界検出のための特徴を訓練するように使用される。シーケンスの残りのフレームについては、MBSセグメンテーションフレームワークの変形可能適応ステップが使用されて、自動セグメンテーション(いわゆる疑似グランドトルゥース)が生成される。疑似グランドトルゥースは、検査され、必要に応じて補正された。更に、すべてのメッシュは、Rテーブルが1つの向きしか含まないように、1つの基準メッシュに固く位置合わせされる。つまり、350個の超音波ボリュームからなるセットが、GHTトレーニング、即ち、Rテーブル生成に使用された。更なる251個のシーケンスについて、疑似グランドトルゥースが生成された。これらのシーケンスの第1のフレームから、変換
が抽出され、当該変換は、データセットのオムニプレーン角度に従って記憶された。変換の数を減らすために、類似の変換のクラスタリングが行われている。その結果、対応するクラスタの他の残りのメンバを対象とするクラスタ代表を検討するだけで十分となる。このようにすると、向きβの数、また、それに伴い、変換の数は、オムニプレーン向き当たりに1〜7個に減らすことができる。
つまり、図2によるプリプロセッサPPの動作は、心臓の姿勢の変動性が大きいにも関わらず、TEEボリュームにおいて、心臓構造を信頼度が高く認識することを可能にする。これは、3D TEEの特別な特性が考慮されるように変更されている3D−GHTに基づいている。ハフ空間を必要な分だけ拡大するために、向きが学習されクラスタリングされた。更に、一実施形態では、ハフアキュムレータ重み付けが使用されて、撮像ジオメトリに関する事前知識が、姿勢分類に含められる。
プリプロセッサPPアルゴリズムは、TEEボリュームデータセットにおいて解剖学的に意味のあるビューを自動的に生成するために使用される。例えば四腔像を提供するためにボリュームの横断面が生成されてもよいし、又は、小さい関心ボリュームが、超音波画像全体から区分され、選択的ボリュームレンダリングで表示されてもよい。
プリプロセッサPPのコンポーネントは、ワークステーションWS上にソフトウェアルーチンとして実行されて常駐すると想定される。コンポーネントは、Matlab(登録商標)又はSimulink(登録商標)といった適切な科学計算プラットフォームにおいてプログラムされ、ライブラリに保持されるC++又はCルーチンに翻訳され、ワークステーションWSによって要求されるとリンク付けされる。代替実施形態では、プリプロセッサPPのコンポーネントは、分散型アーキテクチャにおいて別個のモジュールとして配置され、適切な通信ネットワークに接続されている。
コンポーネントは、専用FPGA又は有線スタンドアロンチップとして配置されてもよい。
図3を参照するに、以下に、セグメンテーションプリプロセッサPPの更なる実施形態が説明される。全体のアーキテクチャは、図2における実施形態と同様であるが、今度は、プリプロセッサPPは、ランドマーク識別子IDを含む。
ランドマーク識別子IDは、画像3DVにおける1つ以上の解剖学的ランドマークを検出/特定するように動作する。画像におけるランドマーク検出は、一実施形態では、M. Fischler他による「Random Sample Consensus …」(コミュニケーション・オブ・ジ・エーシーエム、第24(6)巻、1981年)に説明されるようなランダムサンプルコンセンサス(RANSAC)アルゴリズムに基づいている。検出されたランドマークの群は、特定の姿勢にあると想定される場合に、心臓HTの基になっている幾何モデルMODの骨格を表すと解釈される。モデルMODは、その中のランドマークを表すランドマークターゲット点を含むと想定される。
本実施形態では、分類器CLSの動作は、アフィン変換Tの群に基づいている。変換Tは、1つずつ、検出されたランドマーク点に適用されて、検出されたランドマークの座標変換をする。
変換されたランドマークは、基準幾何モデルMODと比較される。具体的には、画像内の変換されたランドマーク点は、モデルMODのターゲットランドマーク点と比較される。モデルMODは、基準向きに対して与えられていると想定される。各変換について、変換されたランドマークの座標は、モデルMODの座標と比較される。基準モデルMODのターゲット点ランドマークにベストフィットする(例えば、適切なノルムに対して最も近い)変換されたランドマークの座標が特定される。変換されたランドマーク点とターゲットランドマーク点との間に当該ベストフィット又はマッチをもたらす各変換は、基になっている画像3DVに記録された姿勢を表すと見なされる。
所定のアフィン変換はそれぞれ、特定の姿勢を符号化しているものと考えられる。特に、各アフィン変換は、(剪断成分といった)数ある成分の中でも、姿勢のうちの対応する1つを記述する並進及び回転成分を含む。一実施形態では、特定されたベストフィット変換の並進及び回転成分の記述は、セグメンタSに送られ、セグメンタは初期化される。或いは、ベストフィット変換は、最初にモデルに直接適用され、次に、変換されたモデルが、セグメンタを初期化するために送られる。
図3の異なる実施形態によれば、特定されたランドマークの座標と、モデルMODのターゲットランドマークの座標とは、「スカウト」変換を規定するために使用される。つまり、スカウト変換は、画像内の特定されたランドマークを、モデルMODにおけるターゲットランドマークにマッピングする。スカウト変換は、所定のアフィン変換のそれぞれと、類似性について確認される。スカウト変換にベストフィットする(つまり、最も類似している)アフィン変換は、画像3DVにおける求めていた姿勢を符号化すると見なされる。図3の上記実施形態において見られるように、ベストアフィン変換によって符号化される並進及び回転成分は、姿勢記述情報として、セグメンタに送られるか、又は、当該アフィン変換は、モデルMODに適用され、変換されたモデルが、セグメンタを初期化するために使用される。
上記実施形態のいずれにおいても、「ベスト」フィットは、類似性の尺度に関して確立される。また、「ベスト」とは、計算上の意味で最も近いのではなく、ユーザによって規定可能なマージン内にあることを含むことを意味するが、幾つかの実施形態では、「ベスト」とは、計算上の意味で近接することを意味することも考えられる。所定のマージンに関連してベストフィットを計算することは、CPU時間を節約することができる。これは、プロセッサは、類似性の尺度を評価するために、すべての所定の変換を循環する必要がないからである。マージン内の類似性値が確立されると、出力ユニットは、対応する変換を、「ベストフィット」として戻す。適切な類似性の尺度は、例えばフロベニウス(Frobenius)ノルムである各差分行列の行列ノルムを含む。
更に、図3の上記実施形態では、アフィン以外の変換が使用されてもよい。例えば幾つかの実施形態では、剛体変換(スケーリングがあってもなくてもよい)又は一次変換が使用されてもよい。
図5を参照するに、画像処理方法のフローチャートが示されている。
ステップS501において、(3D超音波イメージャ又は他のモダリティによって供給される3D画像ボリュームといった)画像が受信される。画像は、撮像モダリティによって、特定の視野において取得されている。取得の瞬間における各視野の結果として、画像は、関心の臓器の姿勢を記録するので、姿勢は、イメージャの(瞬間)視野に応じる。姿勢自体は、事前に知られていないと想定される。
ステップS505において、所定の姿勢の群から、画像内に記録された物体の推定される姿勢を決定するために、撮像されるべき物体の幾何モデルが使用される。
ステップS510において、決定された推定される姿勢を記述する姿勢パラメータが出力される。姿勢パラメータは、特に、画像内の物体を表す画像部分の位置及び向きを含む。つまり、姿勢パラメータは、変換されたモデルが、画像内の姿勢に適応されるように、どのようにモデルが変換される(特に、シフトされ及び回転される)必要があるのかを説明する。
ステップS515において、推定される姿勢にある物体の画像をセグメント化するように、セグメンテーションを初期化するために、姿勢を記述するパラメータが使用される。つまり、初期化によって、セグメンタは、今度は、i)画像内のどの位置で、及び、ii)どの向きに沿って、画像がセグメント化されるべきかを「知る」ことになる。
一実施形態によれば、ステップS505における分類又は決定ステップは、一般化ハフ変換(GHT)に基づいている。
代替実施形態では、GHTは使用されない。この代替実施形態では、ステップS505は、画像内の複数のランドマークを特定するステップを含む。物体が人間の心臓である場合、適切なランドマークは、僧帽弁の中心、大動脈弁の中心又は尖部を含む。特定されたランドマークの群の座標は、所定の変換セットうちの各変換によって変換され、変換されたランドマーク座標は、物体モデルのターゲットランドマークの座標を用いて、一貫性について検査される。
或いは、特定されたランドマークの座標と物体モデルのターゲットランドマークの座標とは、特定されたランドマーク座標をターゲットランドマークの座標にマッピングするスカウト変換を構築するように使用される。スカウト変換は、所定の変換セットのうちの各変換を用いて、類似性について検査される。
所定の変換のうちの最も一貫性のある変換、又は、変換のうちの最も類似性のある変換が、推定される姿勢を表すと見なされる。所定の変換のうちの最も一貫性のある変換、又は、変換のうちの最も類似性のある変換は、モデルを変換するために使用され、変換されたモデルは、セグメンタ初期化のために、ステップS515において使用される。
幾何モデルは、すぐに利用できるように、メモリ内の適切なデータ構造に記憶される。例えば頂点、エッジ及び面を表すために、リストポインタ変数構造体が使用されてもよい。一実施形態によれば、幾何モデルは、人間又は動物の心臓の形状をモデリングするために、三角形要素からなる表面メッシュとして選択されるが、当然ながら、他の関心物体に、他の形状の適切な幾何モデルが使用されてもよい。
当業者であれば、上記は、3D超音波イメージャを参照して説明されたが、本明細書において説明される装置及び方法は、他の撮像モダリティと共に使用されてもよいことは理解できるであろう。また、本明細書において計算される姿勢を記述する情報は、セグメンタ以外のイメージャプロセッサにおいて使用されてもよい。
当業者であれば、一般化ハフ変換、又は、ランドマークに関連する変換の群に関する上記2つの実施形態は、本明細書において提案される撮像装置及び方法の実施形態に過ぎないことは理解できよう。他の変換、特に、典型的なハフ変換も、場合によっては使用されてもよい。
本発明の別の例示的な実施形態では、上記実施形態のうちの1つによる方法のステップを適切なシステム上で実行することによって特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピュータユニットに格納されていてもよい。当該コンピュータユニットは、本発明の一実施形態の一部であってもよい。当該コンピュータユニットは、上記された方法のステップを実行させる又は当該ステップの実行を誘導する。また、当該コンピュータユニットは、上記装置の構成要素を動作させてもよい。当該コンピュータユニットは、自動的に動作させられる、及び/又は、ユーザの命令を実行する。コンピュータプログラムが、データプロセッサのワーキングメモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するように装備されていてもよい。
本発明のこの例示的な実施形態は、最初から本発明を利用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を利用するプログラムに変換するコンピュータプログラムとの両方を対象とする。
また、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を実現するために必要なステップをすべて提供してもよい。
本発明の更なる例示的な実施形態によれば、CD−ROMといったコンピュータ可読媒体が提示される。当該コンピュータ可読媒体は、当該媒体にコンピュータプログラム要素が格納され、当該コンピュータプログラム要素は、上記セクションにおいて説明されている。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に格納/分散配置されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するといった他の形態で分散されてもよい。
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサのワーキングメモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードできるようにする媒体が提供される。当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つにしたがって方法を実行する。
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の記載から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関する特徴の間での任意の組み合わせも、本願に開示されているものと見なされることは理解できよう。しかし、あらゆる特徴は、特徴の単なる総計よりも多くの相乗効果を提供するように組み合わされる。
本発明は、添付図面及び上記説明において詳細に例示かつ説明されたが、当該例示及び説明は、例示的であって限定的に解釈されるべきではない。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形態様も、図面、開示内容及び従属請求項を検討することにより、請求項に係る発明を実施する当業者には理解されかつ実施可能である。
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に記載される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定しているものと解釈されるべきではない。

Claims (12)

  1. イメージャによって1つの視野において取得された物体の画像を受信する入力ポートであって、前記画像は、前記イメージャの視野に対応する前記物体の姿勢を記録している、前記入力ポートと、
    前記物体の幾何モデルを使用して、所定の姿勢の群から、前記画像内に記録された前記物体の前記姿勢を決定する分類器と、
    決定された前記姿勢を記述する姿勢パラメータを出力する出力ポートと、
    を含む、画像処理装置。
  2. 前記姿勢パラメータを初期化情報として使用して、前記推定される姿勢にある前記物体の前記画像をセグメント化するセグメンタを更に含む、請求項1に記載の画像処理装置。
  3. 前記分類器は、一般化ハフ変換を使用して、前記物体の前記姿勢を決定し、前記所定の姿勢のそれぞれは、前記一般化ハフ変換のハフパラメータ空間内の点に関連付けられている、請求項1又は2に記載の画像処理装置。
  4. 前記一般化ハフ変換は、複数の別個のハフアキュムレータに基づいており、各ハフアキュムレータは、前記所定の姿勢のうちの異なる1つの所定の姿勢の専用である、請求項3に記載の画像処理装置。
  5. 前記画像内の少なくとも1つのランドマークを特定する識別子を含み、前記所定の姿勢のそれぞれは、1つの変換に関連付けられ、前記分類器は、前記変換のうちの少なくとも1つの変換を使用して、特定された前記少なくとも1つのランドマークの座標を変換し、変換された前記少なくとも1つのランドマークの前記座標を、前記幾何モデルの少なくとも1つのターゲットランドマークの座標と比較して、類似性尺度に基づいて、前記変換の中から、ベストフィット変換を確立し、前記姿勢パラメータは、前記ベストフィット変換に関連付けられる姿勢を記述する、請求項1に記載の画像処理装置。
  6. 前記画像内のランドマークを特定する識別子を含み、前記所定の姿勢のそれぞれは、1つの変換に関連付けられ、前記分類器は、前記画像から前記幾何モデルへのスカウト変換を生成し、前記スカウト変換は、i)前記画像内の特定された前記ランドマークの座標と、ii)前記幾何モデル内のターゲットランドマークの座標とに基づいており、前記分類器は、類似性尺度に基づいて、前記スカウト変換を、前記所定の変換のうちの少なくとも1つと比較して、ベストフィット変換を確立し、前記姿勢パラメータは、前記ベストフィット変換に関連付けられる姿勢を記述する、請求項1に記載の画像処理装置。
  7. 前記分類器は、前記イメージャが使用されているときの前記イメージャの位置と撮像されるべき前記物体との間の予想される空間関係を反映する重みのセットを使用する、請求項1乃至6の何れか一項に記載の画像処理装置。
  8. 前記イメージャは、3次元超音波プローブであり、前記画像は、前記3次元超音波プローブによって取得された3次元データボリュームである、請求項1乃至7の何れか一項に記載の画像処理装置。
  9. イメージャによって1つの視野において取得された物体の画像を受信するステップであって、前記画像は、前記イメージャの視野に対応する前記物体の姿勢を記録している、前記ステップと、
    前記物体の幾何モデルを使用して、所定の姿勢の群から、前記画像内に記録された前記物体の前記姿勢を決定するステップと、
    決定された前記姿勢を記述する姿勢パラメータを出力するステップと、
    を含む、画像処理方法。
  10. 前記姿勢パラメータを初期化情報として使用して、前記推定される姿勢にある前記物体の前記画像をセグメント化するステップを更に含む、請求項9に記載の方法。
  11. 請求項1乃至8の何れか一項に記載の画像処理装置を制御するコンピュータプログラムであって、処理ユニットによって実行されると、請求項9、10に記載される方法のステップを実行する、コンピュータプログラム。
  12. 請求項11のコンピュータプログラムを格納したコンピュータ可読媒体。
JP2016503753A 2013-03-21 2014-03-17 ビュー分類に基づいたモデル初期化 Active JP6407959B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361803822P 2013-03-21 2013-03-21
US61/803,822 2013-03-21
PCT/IB2014/059877 WO2014147542A1 (en) 2013-03-21 2014-03-17 View classification-based model initialization

Publications (2)

Publication Number Publication Date
JP2016519363A true JP2016519363A (ja) 2016-06-30
JP6407959B2 JP6407959B2 (ja) 2018-10-17

Family

ID=50687527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016503753A Active JP6407959B2 (ja) 2013-03-21 2014-03-17 ビュー分類に基づいたモデル初期化

Country Status (7)

Country Link
US (1) US10109072B2 (ja)
EP (1) EP2976737B1 (ja)
JP (1) JP6407959B2 (ja)
CN (1) CN105103164B (ja)
BR (1) BR112015023898A2 (ja)
RU (1) RU2669680C2 (ja)
WO (1) WO2014147542A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462967B (zh) 2014-05-14 2020-06-30 皇家飞利浦有限公司 用于超声图像的基于模型的分割的采集取向相关特征
WO2018201437A1 (zh) * 2017-05-05 2018-11-08 上海联影医疗科技有限公司 一种图像分割方法及系统
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技(深圳)有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
JP7074888B2 (ja) * 2018-08-20 2022-05-24 ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド 位置姿勢検出方法及び装置、電子機器並びに記憶媒体
RU2693267C1 (ru) * 2018-10-23 2019-07-01 Акционерное общество Научно-производственное предприятие "Авиационная и Морская Электроника" Способ распознавания объектов на изображении
CN110111330B (zh) * 2019-05-17 2023-02-21 上海应用技术大学 手机屏幕检测方法
CN112241454B (zh) * 2020-12-14 2021-02-19 成都数联铭品科技有限公司 一种处理样本倾斜的文本分类方法
CN112907596A (zh) * 2021-05-06 2021-06-04 荣旗工业科技(苏州)股份有限公司 一种基于图像处理的线圈匝数在线测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124677A (ja) * 1996-10-25 1998-05-15 Nippon Telegr & Teleph Corp <Ntt> 物体の姿勢推定方法および物体の姿勢推定装置
JP2009178423A (ja) * 2008-01-31 2009-08-13 Toshiba Corp 画像処理装置及びその方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7141020B2 (en) 2002-02-20 2006-11-28 Koninklijke Philips Electronics N.V. Portable 3D ultrasound system
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
EP1966760A2 (en) * 2005-12-22 2008-09-10 Koninklijke Philips Electronics N.V. Automatic 3-d object detection
US8970680B2 (en) * 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
WO2010046802A1 (en) * 2008-10-20 2010-04-29 Koninklijke Philips Electronics, N.V. Image-based localization method and system
KR101815975B1 (ko) * 2011-07-27 2018-01-09 삼성전자주식회사 객체 자세 검색 장치 및 방법
WO2013046090A1 (en) * 2011-09-26 2013-04-04 Koninklijke Philips Electronics N.V. Medical image system and method
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
EP2934328B1 (en) * 2012-12-21 2018-09-26 Koninklijke Philips N.V. Anatomically intelligent echocardiography for point-of-care

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124677A (ja) * 1996-10-25 1998-05-15 Nippon Telegr & Teleph Corp <Ntt> 物体の姿勢推定方法および物体の姿勢推定装置
JP2009178423A (ja) * 2008-01-31 2009-08-13 Toshiba Corp 画像処理装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OLIVIER ECABERT,外10名: "Automatic Model−Based Segmentation of the Heart in", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 第27巻第9号, JPN7018000352, 1 September 2008 (2008-09-01), US, pages 1189 - 1201, ISSN: 0003733840 *

Also Published As

Publication number Publication date
EP2976737B1 (en) 2019-07-03
CN105103164A (zh) 2015-11-25
BR112015023898A2 (pt) 2017-07-18
JP6407959B2 (ja) 2018-10-17
EP2976737A1 (en) 2016-01-27
US20160012596A1 (en) 2016-01-14
CN105103164B (zh) 2019-06-04
US10109072B2 (en) 2018-10-23
RU2669680C2 (ru) 2018-10-12
RU2015144974A (ru) 2017-04-27
WO2014147542A1 (en) 2014-09-25

Similar Documents

Publication Publication Date Title
JP6407959B2 (ja) ビュー分類に基づいたモデル初期化
JP6745861B2 (ja) リアルタイム超音波イメージングのトリプレーン画像の自動セグメント化
CN105025803B (zh) 从多个三维视图对大对象的分割
JP6346445B2 (ja) 処理装置、処理装置の制御方法、およびプログラム
Ecabert et al. Automatic model-based segmentation of the heart in CT images
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
US9678189B2 (en) Mapping cardiac tissue architecture systems and methods
US20030160786A1 (en) Automatic determination of borders of body structures
US20030038802A1 (en) Automatic delineation of heart borders and surfaces from images
US9135696B2 (en) Implant pose determination in medical imaging
JP2010119654A (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US20220370033A1 (en) Three-dimensional modeling and assessment of cardiac tissue
US9196049B2 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+t magnetic resonance imaging slices
JP6383153B2 (ja) 処理装置、処理方法、およびプログラム
JP2011161104A (ja) 画像生成装置、画像生成方法、及びそのプログラム
Butakoff et al. Simulated 3D ultrasound LV cardiac images for active shape model training
JP6660428B2 (ja) 処理装置、処理方法、およびプログラム
EP3869458A1 (en) Annular structure representation
Annangi et al. From 2D Ultrasound to Patient-Specific 3D Surface Models for Interventional Guidance
Chen QUiLT (Quantitative Ultrasound in Longitudinal Tissue Tracking): Stitching 2D images into 3D Volumes for Organ Health Monitoring
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography
Liu et al. Registration-based auto-detection of the optimal cross sections in 3D echocardiographic images
Leung Automated Analysis of 3D Stress Echocardiography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180919

R150 Certificate of patent or registration of utility model

Ref document number: 6407959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250