JP2009291617A - 明るさ値とグラジエント情報を用いた超音波映像とct映像の非剛体映像整合システム及び方法 - Google Patents

明るさ値とグラジエント情報を用いた超音波映像とct映像の非剛体映像整合システム及び方法 Download PDF

Info

Publication number
JP2009291617A
JP2009291617A JP2009136230A JP2009136230A JP2009291617A JP 2009291617 A JP2009291617 A JP 2009291617A JP 2009136230 A JP2009136230 A JP 2009136230A JP 2009136230 A JP2009136230 A JP 2009136230A JP 2009291617 A JP2009291617 A JP 2009291617A
Authority
JP
Japan
Prior art keywords
image
region
dimensional
rigid
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009136230A
Other languages
English (en)
Other versions
JP4983860B2 (ja
Inventor
Dong Gyu Hyun
ドン ギュ ヒョン
Jong Beom Ra
ジョン ボム ナ
Duhgoon Lee
トク ウン イ
Woo Hyun Nam
ウ ヒョン ナム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Samsung Medison Co Ltd
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Medison Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST, Medison Co Ltd filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of JP2009291617A publication Critical patent/JP2009291617A/ja
Application granted granted Critical
Publication of JP4983860B2 publication Critical patent/JP4983860B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30Input circuits therefor
    • A61B5/302Input circuits therefor for capacitive or ionised electrodes, e.g. metal-oxide-semiconductor field-effect transistors [MOSFET]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】超音波映像とCT映像との非剛体映像整合を行うシステム及び方法を提供する。
【解決手段】本発明による非剛体映像整合システムは、超音波信号を送受信して対象体の3次元超音波映像を形成する超音波映像形成部と、対象体の3次元CT映像を形成するCT映像形成部と、前記3次元超音波映像と前記3次元CT映像とのそれぞれで第1及び第2の領域に対応する明るさ値及びグラジエント情報に基づいて第1の領域と第2の領域の第1及び第2の目的関数を形成し、前記第1及び第2の目的関数に基づいて前記3次元超音波映像と前記3次元CT映像を非剛体映像整合するための整合部とを備える。
【選択図】図1

Description

本発明は、超音波診断分野に関し、特に、明るさ値とグラジエント情報を用いた超音波映像とCT映像の非剛体映像整合システム及び方法に関する。
超音波診断システムは、超音波を用いて非破壊、非侵襲方式で対象体の内部構造をリアルタイムで示し、CT(computerized tomography)またはMR(magnetic resonance)とは異なって放射線を用いないため、人体にほぼ無害である。しかし、超音波映像は信号対雑音比が低いため、これを補完するためにCT映像と超音波映像の整合(registration)を行う。
多様な医学的応用分野で非剛体映像整合(non−rigid image registration)は核心的な過程である。映像ガイドインターベンション(image guided intervention)は施術前の映像と施術中の映像との間の整合を必要とする応用分野の一つである。肝臓の場合、3次元超音波映像が映像ガイドカテーテル施術のために頻繁に用いられる。画質が不良な超音波映像の短所を克服するために、施術中の3次元超音波映像に対応する高画質の施術前のCTまたはMR映像をディスプレイする。このような目的で、肝臓の超音波映像とCT映像の整列(alignment)が必要である。超音波映像とCT映像とは異なる呼吸段階で撮像されるために局部的変形(local deformation)が示されて非剛体映像整合が行われなければならない。
互いに異なる特性のため、CT映像と超音波映像を整合するのは難しい作業である。肝臓の3次元超音波映像とCT(またはMR)映像を非剛体映像整合するための様々なアルゴリズム(algorithm)が提案された。3次元超音波映像とMRとの整合において、超音波映像とMR映像が血管確率映像(vessel probability image)にそれぞれ変換され、2つの血管確率映像間の正規化された交差相関(cross correlation)を最大化させて整合する。血管の中心線を抽出して整合し、3次元超音波映像とCT映像との間の整合を行う方法も提案された。しかし、これらの方法で整合精度は超音波映像とCT映像の血管分類(segmentation)の精度による影響を受ける。
特開2009−071821号公報
明るさ値とグラジエント情報を用いて超音波映像とCT映像の非剛体映像整合を行うシステム及び方法を提供する。
前記の課題を解決するために、本発明による非剛体映像整合システムは、超音波信号を送受信して対象体の3次元超音波映像を形成する超音波映像形成部と、対象体の3次元CT映像を形成するCT映像形成部と、前記3次元超音波映像と前記3次元CT映像とのそれぞれで第1及び第2の領域に対応する明るさ値及びグラジエント情報に基づいて第1の領域と第2の領域の第1及び第2の目的関数を形成し、前記第1及び第2の目的関数に基づいて前記3次元超音波映像と前記3次元CT映像を非剛体映像整合するための整合部とを備える。
また、本発明による超音波映像とCT映像との非剛体映像整合方法は、a)超音波信号を送受信して対象体の3次元超音波映像を形成する段階と、b)対象体の3次元CT映像を形成する段階と、c)前記3次元超音波映像と前記3次元CT映像とのそれぞれで第1及び第2の領域に対応する明るさ値及びグラジエント情報に基づいて第1の領域と第2の領域の第1及び第2の目的関数を形成し、前記第1及び第2の目的関数に基づいて前記3次元超音波映像と前記3次元CT映像を非剛体映像整合する段階とを備える。
本発明は、超音波映像とCT映像の各特性を考慮して血管の目的関数と横隔膜の目的関数を求め、費用関数を定義する。局部変形に関係なく、CT映像を超音波映像に整合させることができ、超音波映像を用いたカテーテル施術に有用に用いられる。
本発明の実施例によってCT映像を超音波映像に整合するシステムの構成を示すブロック図である。 本発明の実施例による3次元超音波映像とCT映像の非剛体映像整合方法を示す順序図である。 本発明の実施例による超音波映像(A)、非剛体整合前のCT映像(B)及び超音波―CT映像整合映像(C)をスライス別に示す例示図である。 本発明の実施例による非剛体整合方法の正確性を示す図面である。
本発明は、肝臓の超音波映像とCT映像との整合のために血管と横隔膜との情報を用いる。より正確な整合のために本発明では、超音波映像とCT映像から得られた明るさ値とグラジエント情報の3次元接合ヒストグラム(3次元 joint histogram)に基づいた新たな目的関数(objective function)を用いる。本発明の実施例では、超音波映像と整合する医療映像としてCT映像を説明しているが、これに限定されず、他の実施例では磁気共鳴映像(MRI)、陽電子断層(PET)映像などが用いられる。
以下、本発明の実施例を詳細に説明する。
本発明では、非剛体映像整合のために肝臓の2つの特徴、即ち、血管と横隔膜の特徴を用いる。非剛体映像整合のための適切な変換を見出すために、2つの特徴の目的関数を用いて費用関数(cost function)を定義し、最適化過程を通じて費用を最小化させる。
図1は、本発明の実施例による超音波映像とCT映像の非剛体映像整合システムを示すブロック図である。図1を参照すると、整合システム100は超音波信号を対象体(例えば、肝臓)に送信して対象体から反射される超音波エコー信号を受信して超音波映像を形成する超音波映像形成部110を備える。本発明の実施例で、超音波映像はBモードで得た3次元超音波映像を含むことができる。
整合システム100は、CT映像を形成するCT映像形成部120をさらに備える。本発明の実施例で、CT映像は3次元CT映像を含むことができる。超音波映像とCT映像は互いに異なる呼吸で形成されることができる。
整合システム100は、超音波映像及びCT映像に対して非剛体映像整合を行うための整合部130をさらに備えることができる。以下、整合部130の動作を図2を参照して詳細に説明する。
図2は、本発明の実施例による整合部130で超音波映像とCT映像の非剛体映像整合を行う方法を示す順序図である。図2を参照すれば、超音波映像形成部110及びCT映像形成部120が同一の患者から任意の呼吸で肝臓の超音波映像及びCT映像を形成すれば、超音波映像及びCT映像に対してICP(Iterative Closest Point)基盤アフィン整合(affine registration)を行う(210)。
本発明の実施例で、超音波映像及びCT映像で肝臓の局部的変形をモデリングするための変換式としてBスプライン(B−spline)FFD(free form deformation)を用いることができる。このFED変換式は、均一の間隔を有する制御点の変位(displacement of control points)によって定義される。変位は、変形変数Φで表現される。局部変形は肝臓の映像の全体に渡って均等(smooth)なものと期待されるため、均等な変形(smooth transformation)と推定する。従って、金属薄板(thin−plate of metal)の2次元曲げエネルギーに対応する3次元拘束Csmoothを定義して用いる。
血管と横隔膜の明るさ値関係は、超音波映像及びCT映像でそれぞれ異なる。超音波映像において、横隔膜は超音波信号の強い反射によって明るさ値が大きい値を示す。このような明るさ値特性は、CT映像において横隔膜が大きいグラジエントサイズ(gradient size)で表現されるものと関連させることができる。反面、血管領域では明暗が反転されても、超音波映像の明るさ値がCT映像の明るさ値と関連されることができる。横隔膜領域の第1の目的関数Cdiaphragmは、超音波映像での明るさ値とCT映像でのグラジエントサイズによって求められるのに反して、血管領域の第2の目的関数Cvesselは、超音波映像及びCT映像の明るさ値を用いて求める。
横隔膜及び血管領域で目的関数を求めるために、CT映像に複数のROI(region of interest)領域を定義する(220)。即ち、領域−成長方法(region−growing scheme)を用いて血管及び肝臓を分割し、分割された領域のエッジ(edge)領域を拡張して各ROI領域を定義する。整合時のCT映像と超音波映像とが互いに重なる部分に対してのみ整合に必要な計算が行われるので、CT映像と超音波映像中の一つの映像でのみROI領域が定義されれば十分である。本発明の実施例では、相対的に血管や肝臓の境界区分が確実なCT映像でROI領域を定義する。一方、ROI領域を定義するためのROIマスキングを血管領域と横隔膜領域に対してそれぞれ実施する。従って、ROIマスキングにより2領域、即ち、血管領域と横隔膜領域が分けられる。以後、ROI領域で横隔膜領域の目的関数Cdiaphragmと血管領域の目的関数Cvesselを形成する(230)。正確な整合のために本発明の実施例では、超音波映像とCT映像の明るさ値、グラジエントサイズ及びエッジ方向角度(edge orientation angle)に基づいて目的関数を計算する。
グラジエントサイズ及びエッジ方向角度は次の通り求める。まず、各ボクセル(voxel)で構造マトリクス(structure matrix)を計算する。構造マトリクスの固有値分析(eigen−analysis)を通じて固有ベクトル(eigen−vector)と固有値(eigen−value)を抽出する。ここで最も大きい固有値を有する固有ベクトルを映像のエッジ方向に定義し、グラジエントサイズは固有値を用いて定義する。もし、2つの映像が完璧に整合されれば、対応するエッジ方向角度は同一ものである。このような関係を考慮して、2つのエッジ方向ベクトルの内積の自乗でエッジ方向の一致程度を定義することができる。
2つの目的関数CvesselとCdiaphragmは次の通り求める。
血管領域では超音波映像とCT映像とが互いに明るさ値の相関関係が存在する。従って、超音波映像の明るさ値、CT映像の明るさ値、エッジ方向の一致程度を用いて統計的なエントロピーを測定してCvesselとして定義する。
横隔膜領域では、超音波映像の明るさ値とCT映像のグラジエントサイズは互いに相関関係にある。従って、超音波映像の明るさ値、CT映像のグラジエントサイズ、エッジ方向の一致程度を用いて統計的なエントロピーを測定してCdiaphragmとして定義する。
続いて、2つの目的関数Cdiaphragm、Cvesselにより、次の式1のような費用関数を形成する(240)。
Figure 2009291617
式1において、λは2つの映像の整列と変換の平坦(smoothness)Csmooth間の交換条件(trade−off)を示す。グラジエント下降方法(gradient descent scheme)によって、次の式2のように費用関数のグラジエントを用いて変形変数Φを更新する最適化過程を行う(250)。
Figure 2009291617
式2において、μはステップサイズを示し、kは自然数としてグラジエント下降の反復状態を示す。具現のために差分で近似化することができる。小さい量の値εに対して式3のような条件を満たせば最適化過程を終了する。
Figure 2009291617
最終的に、最適化された変数をCT映像に反映させて変形されたCT映像を形成することによって超音波映像に整合されたCT映像を生成する(260)。
本発明による整合システム100は、超音波映像、CT映像、整合された超音波−CT映像をディスプレイするディスプレイ部140を備えることができる。
図3は、超音波映像(A)、非剛体映像整合前のCT映像(B)及び超音波― CT整合映像(C)をスライス別に示す。
図4は、本発明による非剛体整合方法の正確性を示す図面であって、超音波映像(A)と非剛体映像整合前のCT映像(B)にそれぞれ表示されたマーカ(M1、M2)が全てのスライス映像で血管領域だけでなく、横隔膜映像でも正確に一致することを示す。
本発明が望ましい実施例を解して説明され例示されたが、当業者であれば添付した特許請求の範囲の事項及び範疇を逸脱せず、様々な変形及び変更がなされることが分かる。
110 超音波映像形成部
120 CT映像形成部
130 整合部
140 ディスプレイ部

Claims (18)

  1. 超音波映像とCT映像との非剛体映像整合システムであって、
    超音波信号を送受信して対象体の3次元超音波映像を形成する超音波映像形成部と、
    対象体の3次元CT映像を形成するCT映像形成部と、
    前記3次元超音波映像と前記3次元CT映像とのそれぞれで第1及び第2の領域に対応する明るさ値及びグラジエント情報に基づいて第1の領域と第2の領域の第1及び第2の目的関数を形成し、前記第1及び第2の目的関数に基づいて前記3次元超音波映像と前記3次元CT映像を非剛体映像整合するための整合部と
    を備えることを特徴とする非剛体映像整合システム。
  2. 前記3次元超音波映像及び前記3次元CT映像は、肝臓の3次元超音波映像及びCT映像であり、前記第1及び第2の領域は横隔膜及び血管であることを特徴とする請求項1に記載の非剛体映像整合システム。
  3. 前記整合部は、前記肝臓の3次元超音波映像と3次元CT映像に対してアフィン整合を行い、前記アフィン整合された3次元超音波映像と3次元CT映像で示される局部変形をモデリングして変形変数を定義し、前記3次元CT映像で複数のROI(region of interest)領域を定義し、前記ROI領域で横隔膜領域の第1の目的関数と血管領域の第2の目的関数を形成し、前記第1の目的関数と前記第2の目的関数とを用いて費用関数を形成し、前記費用関数を用いて変形変数を更新する最適化過程を行い、前記最適化された変形変数を前記CT映像に反映させて変形されたCT映像を形成し、変形された3次元CT映像を前記3次元超音波映像に非剛体映像整合させることを特徴とする請求項2に記載の非剛体映像整合システム。
  4. 前記アフィン整合をICP(Iterative Closest Point)に基づいて行うことを特徴とする請求項3に記載の非剛体映像整合システム。
  5. 前記アフィン整合された3次元超音波映像と3次元CT映像にBスプライン(B−spline)FFD(free form deformation)を適用して前記局部変形をモデリングすることを特徴とする請求項3に記載の非剛体映像整合システム。
  6. 前記第1の目的関数は、前記3次元超音波映像での明るさ値と前記3次元CT映像でのグラジエントサイズにより形成される横隔膜領域の目的関数であり、前記第2の目的関数は前記3次元超音波映像と3次元CT映像の明るさ値により形成される血管領域の目的関数であって、エッジ方向角度(edge orientation angle)に基づいた3次元接合ヒストグラム(3次元 joint histogram)を用いて得られることを特徴とする請求項3に記載の非剛体映像整合システム。
  7. 前記ROI領域は、領域−成長方法(region−growing scheme)を用いて血管及び肝臓を分割し、一定のサイズに分割された領域のエッジ領域を拡張して定義することを特徴とする請求項6に記載の非剛体映像整合システム。
  8. 前記費用関数は、前記横隔膜領域の目的関数Cdiaphragmと前記血管領域の目的関数Cvesselとを用いて次の式のように定義され、
    C=Cvessel+Cdiaphragm+λ・Csmooth
    前記λは前記3次元超音波映像と前記3次元CT映像の整列と変換の平坦(smoothness)との間の交換条件(trade−off)を示すことを特徴とする請求項6に記載の非剛体映像整合システム。
  9. 前記変形変数はΦによって表現され、式|C−Ck−1|<εが満たされるまで式Φk+1=Φ+μ・∇Cを反復的に行い、前記変形変数Φを最適化し、前記εは、予め設定された正の値であることを特徴とする請求項8に記載の非剛体映像整合システム。
  10. 超音波映像とCT映像との非剛体映像整合方法であって、
    a)超音波信号を送受信して対象体の3次元超音波映像を形成する段階と、
    b)対象体の3次元CT映像を形成する段階と、
    c)前記3次元超音波映像と前記3次元CT映像とのそれぞれで第1及び第2の領域に対応する明るさ値及びグラジエント情報に基づいて第1の領域と第2の領域の第1及び第2の目的関数を形成し、前記第1及び第2の目的関数に基づいて前記3次元超音波映像と前記3次元CT映像を非剛体映像整合する段階と
    を備えることを特徴とする非剛体映像整合方法。
  11. 前記3次元超音波映像及び前記3次元CT映像は、肝臓の3次元超音波映像及びCT映像であり、前記第1及び第2の領域は横隔膜及び血管であることを特徴とする請求項10に記載の非剛体映像整合方法。
  12. 前記段階c)は、
    c1)前記肝臓の3次元超音波映像と3次元CT映像に対してアフィン整合を行う段階と、
    c2)前記アフィン整合された3次元超音波映像と3次元CT映像で示される局部変形をモデリングして変形変数を定義する段階と、
    c3)前記3次元CT映像で複数のROI(region of interest)領域を定義する段階と、
    c4)前記ROI領域で横隔膜領域の第1の目的関数と血管領域の第2の目的関数を形成する段階と、
    c5)前記第1の目的関数と前記第2の目的関数とを用いて費用関数を形成する段階と、
    c6)前記費用関数を用いて変形変数を更新する最適化過程を行う段階と、
    c7)前記最適化された変形変数を前記CT映像に反映させて変形されたCT映像を形成する段階と、
    c8)前記変形された3次元CT映像を前記3次元超音波映像に非剛体映像整合させる段階と
    を備えることを特徴とする請求項11に記載の非剛体映像整合方法。
  13. 前記段階c1)は、
    前記アフィン整合をICP(Iterative Closest Point)に基づいて行う段階
    を備えることを特徴とする請求項12に記載の非剛体映像整合方法。
  14. 前記段階c2)は、
    前記アフィン整合された3次元超音波映像と3次元CT映像にBスプライン(B−spline)FFD(free form deformation)を適用して前記局部変形をモデリングする段階
    を備えることを特徴とする請求項12に記載の非剛体映像整合方法。
  15. 前記第1の目的関数は、前記3次元超音波映像での明るさ値と前記3次元CT映像でのグラジエントサイズにより形成される横隔膜領域の目的関数であり、前記第2の目的関数は前記3次元超音波映像と3次元CT映像の明るさ値により形成される血管領域の目的関数であって、エッジ方向角度(edge orientation angle)に基づいた3次元接合ヒストグラム(3次元 joint histogram)を用いて得られることを特徴とする請求項12に記載の非剛体映像整合方法。
  16. 前記ROI領域は、領域−成長方法(region−growing scheme)を用いて血管及び肝臓を分割し、一定のサイズに分割された領域のエッジ領域を拡張して定義することを特徴とする請求項15に記載の非剛体映像整合方法。
  17. 前記費用関数は、前記横隔膜領域の目的関数Cdiaphragmと前記血管領域の目的関数Cvesselとを用いて次の式のように定義され、
    C=Cvessel+Cdiaphragm+λ・Csmooth
    前記λは前記3次元超音波映像と前記3次元CT映像の整列と変換の平坦(smoothness)との間の交換条件(trade−off)を示すことを特徴とする請求項15に記載の非剛体映像整合方法。
  18. 前記変形変数はΦによって表現され、式|C−Ck−1|<εが満たされるまで式Φk+1=Φ+μ・∇Cを反復的に行い、前記変形変数Φを最適化し、前記εは、予め設定された正の値であることを特徴とする請求項17に記載の非剛体映像整合方法。
JP2009136230A 2008-06-05 2009-06-05 明るさ値とグラジエント情報を用いた超音波映像とct映像の非剛体映像整合システム及び方法 Expired - Fee Related JP4983860B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080053225 2008-06-05
KR10-2008-0053225 2008-06-05

Publications (2)

Publication Number Publication Date
JP2009291617A true JP2009291617A (ja) 2009-12-17
JP4983860B2 JP4983860B2 (ja) 2012-07-25

Family

ID=41018010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009136230A Expired - Fee Related JP4983860B2 (ja) 2008-06-05 2009-06-05 明るさ値とグラジエント情報を用いた超音波映像とct映像の非剛体映像整合システム及び方法

Country Status (4)

Country Link
US (1) US8369597B2 (ja)
EP (1) EP2131212A3 (ja)
JP (1) JP4983860B2 (ja)
KR (1) KR101059312B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542435A (ja) * 2010-10-27 2013-11-21 コンパニー ゼネラール デ エタブリッスマン ミシュラン タイヤ表面の検査に用いられるタイヤ表面の三次元画像を前処理する方法
JP2014500484A (ja) * 2010-10-27 2014-01-09 コンパニー ゼネラール デ エタブリッスマン ミシュラン 連続b‐スプライン変形を利用してタイヤ表面の三次元画像を前処理する方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100377835B1 (ko) * 2000-08-01 2003-03-31 박세환 유성페인트를 이용한 직물 나염 스크린 제조방법
US7945117B2 (en) * 2006-08-22 2011-05-17 Siemens Medical Solutions Usa, Inc. Methods and systems for registration of images
FR2914466B1 (fr) * 2007-04-02 2009-06-12 Inst Nat Rech Inf Automat Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons.
JP5580030B2 (ja) * 2009-12-16 2014-08-27 株式会社日立製作所 画像処理装置、および画像位置合せ方法
US9108048B2 (en) 2010-08-06 2015-08-18 Accuray Incorporated Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging
KR101227272B1 (ko) * 2011-03-25 2013-01-28 가천대학교 산학협력단 초음파 영상과 자기공명 영상 간의 영상정합 방법
WO2012155136A2 (en) * 2011-05-12 2012-11-15 The Johns Hopkins University Method and system for registering images
KR101842043B1 (ko) 2011-07-22 2018-03-26 삼성전자주식회사 초음파 영상 분석 장치 및 방법
TWI446897B (zh) 2011-08-19 2014-08-01 Ind Tech Res Inst 超音波影像對齊裝置及其方法
US9092666B2 (en) 2012-01-03 2015-07-28 Samsung Electronics Co., Ltd. Method and apparatus for estimating organ deformation model and medical image system
KR101768526B1 (ko) 2012-07-27 2017-08-17 삼성전자주식회사 혈관 구조에 기초하여 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
KR101932721B1 (ko) 2012-09-07 2018-12-26 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
EP3879487B1 (en) 2012-10-26 2023-11-29 Brainlab AG Matching patient images and images of an anatomical atlas
KR102106535B1 (ko) 2013-02-06 2020-05-06 삼성전자주식회사 일 호흡 주기에 따른 장기의 형상 및 위치의 변화를 나타내는 모델을 생성하는 방법, 장치 및 시스템.
JP5889265B2 (ja) 2013-04-22 2016-03-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
CN104116523B (zh) * 2013-04-25 2016-08-03 深圳迈瑞生物医疗电子股份有限公司 一种超声影像分析系统及其分析方法
KR101527656B1 (ko) * 2013-12-12 2015-06-10 한국과학기술원 의료 영상에서 비강체 영상 정합을 이용한 점상 강도 분포 함수를 보간하는 방법 및 시스템
KR102205898B1 (ko) * 2013-09-04 2021-01-21 삼성전자주식회사 의료영상들을 정합하는 방법 및 장치
EP3053140A1 (en) * 2013-09-30 2016-08-10 Koninklijke Philips N.V. Method and system for automatic deformable registration
KR101578770B1 (ko) 2013-11-21 2015-12-18 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
KR102233427B1 (ko) * 2014-04-14 2021-03-29 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
KR102328266B1 (ko) * 2014-10-29 2021-11-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치
JP6383483B2 (ja) * 2015-02-26 2018-08-29 株式会社日立製作所 超音波撮像装置、および、画像処理装置
EP3285675A4 (en) * 2015-04-24 2018-11-07 Sunnybrook Research Institute Method for registering pre-operative images of a subject to an ultrasound treatment space
DE102015208929B3 (de) 2015-05-13 2016-06-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
US10127655B2 (en) * 2015-07-09 2018-11-13 Samsung Medison Co., Ltd. Medical imaging apparatus and method of operating same
CN107847216B (zh) * 2015-07-17 2024-01-23 皇家飞利浦有限公司 对肺癌辐射的指导
ES2952533T3 (es) * 2015-09-29 2023-11-02 Inst Nat Sante Rech Med Procedimiento para determinar una propiedad de un objeto y dispositivo asociado
KR101840106B1 (ko) 2016-02-04 2018-04-26 가톨릭대학교 산학협력단 의료영상을 이용한 혈류 분석 방법
KR101900679B1 (ko) 2016-12-02 2018-09-20 숭실대학교산학협력단 혈관 특징 정보를 기반으로 하는 삼차원 심혈관 정합 방법, 이를 수행하기 위한 기록 매체 및 장치
GB201717397D0 (en) * 2017-10-23 2017-12-06 Brainomix Ltd Tomographic data analysis
WO2019222606A1 (en) * 2018-05-18 2019-11-21 The Johns Hopkins University Multi-motion compensation for high-quality cone-beam ct of the head
CN110934613B (zh) * 2018-09-21 2023-01-13 佳能医疗系统株式会社 超声波诊断装置及超声波诊断方法
CN109934861B (zh) * 2019-01-22 2022-10-18 广东工业大学 一种头颈部多模态医学图像自动配准方法
KR102375910B1 (ko) * 2020-03-02 2022-03-16 연세대학교 산학협력단 초음파 영상유도 방법 및 장치
CN112184781A (zh) * 2020-09-14 2021-01-05 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196661A (ja) * 2001-12-07 2003-07-11 Xerox Corp 視覚型動き解析及び視覚型追跡のためのアピアランスモデル
JP2005106507A (ja) * 2003-09-29 2005-04-21 Hitachi Ltd 画像処理方法
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
JP2009273597A (ja) * 2008-05-13 2009-11-26 Canon Inc 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
JP2009291614A (ja) * 2008-06-04 2009-12-17 Medison Co Ltd 超音波映像とct映像の整合システム及び方法
JP2011521763A (ja) * 2008-06-05 2011-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 誘導efov走査による拡張視野の超音波イメージング

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4406226B2 (ja) 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
KR20070110965A (ko) 2006-05-16 2007-11-21 주식회사 메디슨 초음파 영상과 외부 의료영상의 합성 영상을디스플레이하기 위한 초음파 시스템
WO2008063494A2 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US8098911B2 (en) * 2006-12-05 2012-01-17 Siemens Aktiengesellschaft Method and system for registration of contrast-enhanced images with volume-preserving constraint
KR20080053057A (ko) 2006-12-08 2008-06-12 주식회사 메디슨 초음파 영상과 외부 의료영상의 혼합영상을 형성 및디스플레이하기 위한 초음파 영상 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003196661A (ja) * 2001-12-07 2003-07-11 Xerox Corp 視覚型動き解析及び視覚型追跡のためのアピアランスモデル
JP2005106507A (ja) * 2003-09-29 2005-04-21 Hitachi Ltd 画像処理方法
JP2008086400A (ja) * 2006-09-29 2008-04-17 Gifu Univ 乳房画像診断システム
JP2009273597A (ja) * 2008-05-13 2009-11-26 Canon Inc 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
JP2009291614A (ja) * 2008-06-04 2009-12-17 Medison Co Ltd 超音波映像とct映像の整合システム及び方法
JP2011521763A (ja) * 2008-06-05 2011-07-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 誘導efov走査による拡張視野の超音波イメージング

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542435A (ja) * 2010-10-27 2013-11-21 コンパニー ゼネラール デ エタブリッスマン ミシュラン タイヤ表面の検査に用いられるタイヤ表面の三次元画像を前処理する方法
JP2014500484A (ja) * 2010-10-27 2014-01-09 コンパニー ゼネラール デ エタブリッスマン ミシュラン 連続b‐スプライン変形を利用してタイヤ表面の三次元画像を前処理する方法

Also Published As

Publication number Publication date
JP4983860B2 (ja) 2012-07-25
KR20090127101A (ko) 2009-12-09
KR101059312B1 (ko) 2011-08-24
EP2131212A2 (en) 2009-12-09
US8369597B2 (en) 2013-02-05
EP2131212A3 (en) 2011-10-05
US20090304252A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
JP4983860B2 (ja) 明るさ値とグラジエント情報を用いた超音波映像とct映像の非剛体映像整合システム及び方法
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
US10242450B2 (en) Coupled segmentation in 3D conventional ultrasound and contrast-enhanced ultrasound images
JP6537981B2 (ja) 複数の三次元ビューからの大きな対象のセグメンテーション
US11672505B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
WO2010064348A1 (ja) 医用画像の位置あわせのための情報処理装置、情報処理方法、プログラム
Khalil et al. 2D to 3D fusion of echocardiography and cardiac CT for TAVR and TAVI image guidance
US10667786B2 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
KR20120000729A (ko) 엑스레이 이미지와 씨티 3차원 모델 정합을 통한 혈관 치료용 마이크로 로봇의 위치 추적 방법
KR20120000722A (ko) 이종 의료용 이미지간의 비강체 융합 방법
Puyol-Anton et al. Towards a multimodal cardiac motion atlas
KR20120000727A (ko) 다중 의료용 영상 표식을 활용하여 가상 엑스레이 이미지를 추출하는 방법
KR20130013504A (ko) 엑스레이의 원본데이터를 활용한 씨티 3차원 모델 정합 방법
KR20120000731A (ko) 엑스레이 이미지를 이용한 혈관의 경로 추출 방법
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography
KR20120000725A (ko) 비강체 융합 방법을 이용한 혈관 치료용 마이크로 로봇의 위치 추적 방법
KR20130013506A (ko) 엑스레이스 촬영각도 변화에 따른 마커의 인식 방법
Ye et al. Auto-encoding of discriminating morphometry from cardiac MRI
KR20130013505A (ko) 바이-플레인 엑스레이스를 활용한 3차원 모델 구성 방법
Gupta et al. Hybrid Multimodal Registration of Carotid Magnetic Resonance and Ultrasound Images Using Free-Form Deformation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111215

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111220

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120116

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120409

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4983860

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees