JP2017509387A - 医用4dイメージングにおける動き適応型可視化 - Google Patents

医用4dイメージングにおける動き適応型可視化 Download PDF

Info

Publication number
JP2017509387A
JP2017509387A JP2016551218A JP2016551218A JP2017509387A JP 2017509387 A JP2017509387 A JP 2017509387A JP 2016551218 A JP2016551218 A JP 2016551218A JP 2016551218 A JP2016551218 A JP 2016551218A JP 2017509387 A JP2017509387 A JP 2017509387A
Authority
JP
Japan
Prior art keywords
image
interest
image sequence
point
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016551218A
Other languages
English (en)
Other versions
JP6835587B2 (ja
Inventor
オウドム ソンポン
オウドム ソンポン
ブノワ ジャン ドミニク ベルトラン モーリス モリー
ブノワ ジャン ドミニク ベルトラン モーリス モリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017509387A publication Critical patent/JP2017509387A/ja
Application granted granted Critical
Publication of JP6835587B2 publication Critical patent/JP6835587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本発明は、被検者12の身体部位のスキャンに由来する経時的な3D医用画像の3D画像シーケンス56を受信するための受信ユニット60;3D画像シーケンス56の3D医用画像の少なくとも一つの中の局所関心点76を選択するための選択ユニット64;3D医用画像の少なくとも一つの三つの2Dビュー面74を生成するためのスライス生成器66であって、当該三つの2Dビュー面74は相互に垂直に配置され選択された関心点76で交差する、スライス生成器66;並びに経時的な3D画像シーケンス56内の関心点76の軌道を決定するためのトラッキングユニット68を有する、画像再構成装置10に関し、スライス生成器66は関心点76の軌道に沿って経時的に2Dビュー面74の交点を自動的に適応させることによって、3D画像シーケンス56から2Dビュー面74における2D画像シーケンス72を生成するように構成される。

Description

本発明は概して医用イメージングの分野に関する。特に、本発明は三次元(3D)画像シーケンスから二次元(2D)画像シーケンスを再構成するための画像再構成装置に関する。本発明はさらに3D画像シーケンスから2D画像シーケンスを再構成するための対応する方法に関する。なおさらに、本発明はコンピュータに上記方法のステップを実行させるためのプログラムコード手段を有するコンピュータプログラムに関する。本発明の技術応用例は3D超音波イメージングの分野である。しかしながら、本発明は例えばCT、MR若しくはMRIなど、超音波イメージング以外の医用イメージングモダリティにおいても使用され得る。
例えば3D超音波イメージングシステムなどの3D医用イメージングシステムは周知である。3D医用イメージングは医用診断行為に必須となっている。放射線技師や医師に簡潔な関連情報を提供することによって、3D医用イメージングは臨床生産性を向上させる。3D医用イメージングシステムは通常経時的な3D医用画像シーケンスを生成する。従って、これらのシステムは4D医用イメージングシステムともよばれることがあり、時間ドメインが第四の次元とみなされる。
3Dイメージングデータの可視化は画像情報を最適利用するためにいくらかの収集後処理を要する。2D画像シーケンスと異なり、3D医用画像シーケンス全体はスクリーン上に即座に可視化されることができず、3Dボリュームに含まれる全ボクセルの中から表示される情報が選択されなければならない。3D画像若しくは画像シーケンスを表示する最も一般的な方法はボリュームレンダリング、最大値投映法及び直交ビューイング(orthoviewing)である。直交ビューイングは相互に垂直に配置される平面断面を表示することにある。
単一静的3Dボリュームを可視化するとき、ユーザは3Dボリューム画像をナビゲートし、断面の位置を調節して、一つ以上の関心オブジェクトにフォーカスし得る。3D医用画像のシーケンスの可視化を考慮するとき同じ必要性が依然としてある。しかしながら、時間次元は重要な問題を導入する。一般に、臓器、腫瘍、血管などの関心オブジェクトは、一つの所与の面に沿ってのみならず三次元空間の全方向に動き変形される。これは面外運動ともよばれる。
結果として、これらの関心構造は導出される平面断面(直交ビュー)にわたって出入りし得るので、容易にそれらを見失う可能性がある。
再生される画像シーケンスを見ながら断面を調節することは実行不可能とは言わないまでも非常に不都合である。オフライン可視化の場合(画像シーケンスが予め記録されており収集後に可視化されるとき)、ビューアは各フレームにおいて別々に断面の位置を手動で調節し得る。しかしながらこのタスクは退屈で、ライブ可視化中は不可能でさえあり得る。
従って、かかる直交ビューイングシステムにおいて依然改良の余地がある。
Schulz,H.et al.:"Real‐Time Interactive Viewing of 4D Kinematic MR Joint Studies",Medical Image Computing and Computer‐Assisted Intervention‐MICCAI 2005,LNCS 3749,pp.467‐473,2005は4DキネマティックMRIデータセットを見るためのデモンストレータを開示する。これは任意のユーザ定義の解剖学的構造を任意のビュー視点からリアルタイムに見ることを可能にする。シネループにおいて動きを滑らかに表示することは、画像収集後に任意のユーザ定義の解剖学的構造を固定する画像後処理によって実現される。
3D医用画像の時系列に沿って所与の関心オブジェクト若しくは領域の可視化を容易にする、改良された画像再構成装置と対応する方法を提供することが本発明の目的である。特に3D医用画像シーケンスから2D医用画像シーケンスを導出するときの面外運動の問題を克服することが本発明の目的である。
本発明の第一の態様によれば、以下を有する画像再構成装置が提示される:
‐被検者の身体部位のスキャンに由来する経時的な3D医用画像の3D画像シーケンスを受信するための受信ユニット;
‐3D画像シーケンスの3D医用画像の少なくとも一つの中の局所関心点を選択するための選択ユニット;
‐3D医用画像の少なくとも一つの三つの2Dビュー面を生成するためのスライス生成器であって、当該三つの2Dビュー面は相互に垂直に配置され、選択された関心点で交差する、スライス生成器;並びに
‐経時的な3D画像シーケンス内の関心点の軌道を決定するためのトラッキングユニット;
スライス生成器は関心点の軌道に沿って経時的に2Dビュー面の交点を適応させることによって3D画像シーケンスから2Dビュー面における2D画像シーケンスを生成するように構成される。
本発明の第二の態様によれば、医用画像を再構成するための方法が提示され、方法は以下のステップを有する:
‐被検者の身体部位のスキャンに由来する経時的な3D医用画像の3D画像シーケンスを受信するステップ;
‐3D画像シーケンスの3D医用画像の少なくとも一つの中の局所関心点を選択するステップ;
‐3D医用画像の少なくとも一つの三つの2Dビュー面を生成するステップであって、当該三つの2Dビュー面は相互に垂直に配置され、選択された関心点で交差する、ステップ;
‐経時的な3D画像シーケンス内の関心点の軌道を決定するステップ;並びに
‐関心点の軌道に沿って経時的に2Dビュー面の交点を適応させることによって3D画像シーケンスから2Dビュー面における2D画像シーケンスを生成するステップ。
第三の態様によれば、コンピュータプログラムがコンピュータ上で実行されるときに上述の方法のステップをコンピュータに実行させるためのプログラムコード手段を有するコンピュータプログラムが提示される。
本発明の好適な実施形態は従属請求項に定義される。請求される方法及び請求されるコンピュータプログラムは請求される画像再構成装置並びに従属請求項に定義されるものと同様及び/又は同一の好適な実施形態を持つことが理解されるものとする。
本発明はオフライン及びライブ可視化の両方に適用されることが留意されるものとする。従って受信ユニットはオフラインモードでいかなるタイプの内部若しくは外部ストレージユニットのいずれかからも3D画像シーケンスを受信し得る、或いはこれはライブ可視化モードで画像収集ユニットから、例えば超音波イメージング装置から直接3D画像シーケンスを受信し得るが、これは以下の記載からより明らかとなる。
本発明の主な要旨は、関心解剖構造(本明細書で関心点とも示される)の動きが経時的に自動的にトラックされるという事実である。識別された関心点で交差する三つの直交ビュー若しくは直交ビューシーケンスが生成される。しかしながら、この関心点は3D画像シーケンス内の静置点ではない。これは三つの直交ビュー若しくは直交ビュー画像シーケンスの2Dビュー面が絶対座標系に対して経時的に定位置に置かれるのではなく、関心点の動きに従って適応されることを意味する。言い換えれば、3D画像シーケンスの垂直配置された2Dビュー面を示す三つの生成された2D画像シーケンスは、検査下のこの解剖学的構造(例えばヒト臓器)が経時的に動いている場合であっても(これは実際のところ通例である)、常に検査下の解剖学的構造の同じ断面を示す。
一旦関心点が識別されると、その経時的な動きがトラックされるので、トラッキングユニットは経時的な3D画像シーケンス内の関心点の軌道を決定し得る。従って関心点は絶対座標系に対して一定である局所点ではなく、検査下の解剖学的構造における、その中、若しくはその上の点若しくは領域である。
生成された2Dビュー面は決定された関心点の軌道に従って動的に置かれる。従って2Dビュー面の位置は経時的に関心解剖構造の位置に対して一定に維持される。言い換えれば、本発明は3D画像シーケンスの可視化中に直交ビューの位置を、それらが経時的に検査下の解剖学的構造に従うように、自動的に及び動的に適応させる方法を提案する。通常誘導される2D正射影スライスにわたって生じる面外運動はこのように補正され得る。これは可視化中に追跡する必要がある検査下の解剖学的構造が複雑なトポロジーと非剛体運動を持つときに特に有利である。
本明細書で使用される専門用語に関し、以下のことが留意されるものとする:"2Dビュー面"、"2D正射影スライス"及び"直交ビュー"という語は本明細書で均等に使用される。"画像"及び"フレーム"という語も本明細書で均等に使用される。
上述されている通り、提示される画像再構成装置はオフライン及びライブ可視化の両方のために使用され得る。オフライン可視化のために使用される場合、ユーザは、ユーザ(例えば医師)が追跡したい解剖学的構造を識別するために、静止ボリュームを調べるときに通常なされる通りシーケンスの初期フレームにおいて3Dボリューム(3D画像シーケンス)をナビゲートし得る。そしてユーザは検査下のオブジェクト内部の若しくはその境界上の点であり得る特徴的3D点(関心点)をクリックし得る。このクリックの後、三つの直交2Dビュー面が、これらがこの関心点で交差するように置かれる。
この実施形態において選択ユニットは好適には3D画像シーケンスの3D医用画像の少なくとも一つの中の関心点を手動で選択するためのユーザ入力インターフェースを有する。このユーザ入力インターフェースは、例えば、3D画像フレーム内の3D点を選択することを可能にするマウス若しくはトラッキングボール若しくは任意の他のタイプのユーザインターフェースを有し得る。
関心点の手動選択は、ユーザが特徴的3D点を容易に選択するように特定時点において3D画像シーケンスをフリーズし得るので、ライブ可視化モードよりもオフライン可視化モードの方がかなり容易であることが明白なはずである。
オフライン可視化モードで使用される場合、画像再構成装置が受信した3D画像シーケンスを保存するためのストレージユニットを有することがさらに好適である。このストレージユニットはハードドライブ若しくはクラウドのような外部ストレージ手段など、いかなるタイプのストレージ手段を有してもよい。この場合勿論ストレージユニット内に複数の3D画像シーケンスを保存することも可能である。
オフライン可視化において、必要であれば、関心点は3D画像シーケンスの(第一/現在のフレーム上のみならず)任意のフレーム上で手動でクリック/識別され得る。軌道、すなわち経時的な関心点の動きは、この場合3D画像シーケンスの最終フレームの終わりまで前方へトラックされるのみならず、3D画像シーケンスの第一フレームまで後方へもトラックされ得る。これはライブ可視化モードでは不可能である。
ライブ可視化モードで使用される場合、関心点を手動で識別することはより複雑である。この場合、関心点は、スクリーン上に表示される3D画像シーケンスのライブストリームにおいてクリックされなければならないため、フリーズ画像上で識別されることができない。その場合関心点の自動識別が好適である。
Schulz,H.et alの科学論文("背景技術"の章で上述)で提案される方法に対する本発明の主要な相違点の一つは、Schulz,H.et alが、三つの直交ビュー面が交差する単一関心点を定義するのではなく、代わりに三つの非共線点を定義することを提案するということである。さらにより重要なことは、Schulz,H.et alが、三つの非共線基準点のトラッキングによって定義される変換の逆を計算することによって3Dデータセット全体を整列させるために三つの非共線点のセットを使用し、そして整列した3Dデータセットに基づいてその後三つの直交ビューを生成することを提案することである。本発明は代わりに、単一関心点の軌道に沿って経時的に三つの直交する直交ビューの交点を適応させることによって、三つの直交する直交ビューにおいて2D画像シーケンスを直接生成することを提案する。従って本発明にかかる画像再構成装置はより速くよりユーザフレンドリーな方法だけでなく、より少ない処理能力を要する方法でも、三つの直交ビューを生成することを可能にする。
一実施形態によれば、選択ユニットは3D医用画像の少なくとも一つの中で一つ以上のランドマークを識別することによって3D画像シーケンスの3D医用画像の少なくとも一つの中の関心点を自動的に選択するように構成される。しかしながら、この自動ランドマーク検出の代わりに、3D画像シーケンスが十分に静的である場合、ユーザは上述のユーザ入力インターフェースを用いて関心点を手動で選択してもよいことが留意されるものとする。
一実施形態によれば、提示される画像再構成装置は被検者の身体部位をスキャンして3D画像シーケンスを収集するための画像収集ユニットをさらに有する。この場合、受信ユニットを用いて受信される3D画像シーケンスは画像収集ユニット、例えばCT、MR、MRI、又は超音波画像収集ユニットから直接受信され得る。受信ユニットはそれに有線接続によって(例えばケーブルを用いて)又は無線接続によって(任意の近距離無線通信技術を用いて)画像収集ユニットと結合され得る。
最初にも述べた通り、画像再構成装置はいかなる特定タイプの医用イメージングモダリティにも限定されない。しかしながら、超音波イメージングモダリティが提示される画像再構成装置の好適な応用である。本発明の好適な実施形態によれば、3D画像シーケンスは従って3D超音波画像シーケンスである。3D超音波画像シーケンスは特に十分に高いフレームレートという利点を持ち、これは経時的な関心点の位置のトラッキングを容易にする。
この実施形態において画像収集ユニットは好適には以下を有する:
被検者の身体部位へ超音波を送信し、そこから超音波を受信するための超音波トランスデューサ、並びに
被検者の身体部位から受信される超音波から3D超音波画像シーケンスを再構成するための超音波画像再構成ユニット。
以下、トラッキングユニットを用いて関心点の位置がトラックされる技術がより詳細に説明される。
一実施形態によれば、トラッキングユニットは以下によって関心点の軌道を決定するように構成される:
3D画像シーケンスの3D医用画像の少なくとも一つにおいて関心点の局所周辺における一つ以上の特徴的点若しくは画像特徴を識別すること;
経時的に3D画像シーケンスにおいて一つ以上の特徴的点若しくは画像特徴の一つ以上の基準軌道をトラックすること;並びに
一つ以上の基準軌道に基づいて関心点の軌道を決定すること。
関心点の軌道を間接的に、すなわち関心点の周辺における画像特徴の一つ以上の特徴的点の一つ以上の基準軌道をトラックすることによって、トラックすることは、いくつかの利点を持つ:まず、関心点の位置のみをトラックするのではなく周辺の複数の基準点をトラックすることは、よりロバストなトラッキング技術につながり得る。第二に、関心点の周辺の特徴的点若しくは画像特徴、例えば検査下の臓器の境界若しくはテクスチャなどは、臓器の中央の点が関心点として選択される場合、この点よりもトラックしやすい。従って、信号対ノイズ比が増加し、関心点の位置のトラッキングはより正確である。
画像特徴の一つ以上の特徴的点の一つ以上の基準軌道をトラックすることは、前のフレームと同じスペックル若しくはグレー値を持つボクセル/ピクセルを3D画像シーケンスのフレームの各々においてトラックすることによって通常なされる。言い換えれば、経時的に3D画像シーケンスのプロセスに沿って同じスペックル若しくはグレー値を持つ点がトラックされる。その周辺画像点とスペックル値が大幅に異なる点は、これは被撮像臓器の境界若しくはテクスチャにおいて通常よくあることだが、従って臓器の中央にある点よりも経時的にトラックしやすい。
一実施形態によれば、トラッキングユニットは既定閾値を超える局所画像スペックル勾配を持つ3D医用画像の少なくとも一つの中の画像領域を識別することによって一つ以上の特徴的点若しくは画像特徴を識別するように構成される。特徴的点における高画像スペックル勾配は、この画像点のスペックル若しくはグレー値が周辺画像点のスペックル若しくはグレー値から大幅に異なることを意味する。かかる画像点は、上述の通り、経時的にトラックしやすい。
さらなる実施形態によれば、トラッキングユニットは一つ以上の特徴的点若しくは画像特徴の変位を含む高密度変位場のエネルギー項を最小化することによって一つ以上の基準軌道をトラックするように構成される。Sparse Demonsとよばれるアルゴリズムがそのために好適に使用される。O.Somphone,et al.:"Fast Myocardial Motion and Strain Estimation in 3D Cardiac Ultrasound with Sparse Demons",ISBI 2013 proceedings of the 2013 International Symposium on Biomedical Imaging,p.1182‐1185,2013から知られるこのアルゴリズムは、関心点と関心点の局所周辺における画像特徴の特徴的点を含む領域における高密度変位場を出力する。本明細書に引用により組み込まれる、上述の科学論文において、Sparse Demonsアルゴリズムは3D心臓超音波画像におけるひずみ推定のために使用された。しかしながらSparse Demonsアルゴリズムは、適切な適応により提示された目的のためにも使用され得る。そしてアルゴリズムは関心点の局所周辺における特徴的点をトラックし、経時的な関心点の変位(すなわち関心点の軌道)を決定するためにこれら基準点(基準軌道)の推定変位を使用する。
一実施形態によれば、トラッキングユニットは一つ以上の基準軌道間の局所補間により一つ以上の基準軌道に基づいて関心点の軌道を決定するように構成される。関心点の位置が一つのフレームにおいて基準点若しくは基準画像特徴に対して(例えば関心点が上述の通り手動で若しくは自動的に選択されている第一フレームにおいて)わかる場合、関心点の位置は決定された基準軌道に基づいて3D画像シーケンスの残りのフレームにおいて補間され得る。
本発明のさらなる実施形態において、画像再構成装置は2D画像シーケンスの少なくとも一つを表示するための表示ユニットを有する。表示ユニットは三つの垂直配置された2Dビュー面に属する三つの2D画像シーケンスと3D画像シーケンスを同時に表示するように構成されることが特に好適である。かかるイラストレーションはユーザが非常に快適な方法で3D画像シーケンスを検査することを可能にする。さらに好適な実施形態において、ユーザは関心点を通る軸まわりに2D画像シーケンスの一つ以上の2Dビュー面を回転させることが可能であり得る。従ってユーザは三つの直交ビューの配向を容易に適応させ得る。
本発明のこれらの及び他の態様は以降に記載の実施形態から明らかとなり、それらを参照して解明される。
患者の身体の部位をスキャンする使用中の超音波イメージングシステムの略図を示す。 超音波イメージングシステムの一実施形態の略ブロック図を示す。 本発明にかかる画像再構成装置の第一の実施形態の略ブロック図を示す。 本発明にかかる画像再構成装置の第二の実施形態の略ブロック図を示す。 本発明にかかる画像再構成装置を用いて生成される2D画像シーケンスを示す。 従来技術のイメージング再構成装置を用いて生成される2D画像シーケンスを示す。 本発明にかかるイメージング再構成装置を用いて再構成され表示され得る、三つの2D画像シーケンスと3D画像シーケンスを示す。
本発明にかかる画像再構成装置10を参照する前に、超音波システム100の基本原理が図1及び2を参照して説明される。超音波イメージングの分野は本明細書で提示される画像再構成装置10の好適な応用であるが、提示される画像再構成装置10は超音波イメージングの分野に限定されない。本明細書で提示される画像再構成装置10は例えばCT、MR、MRIなどといった他の医用イメージングモダリティにおいても使用され得る。
図1は超音波システム100の、特に医用三次元(3D)超音波イメージングシステムの略図を示す。超音波イメージングシステム100は解剖学的部位、特に患者12の解剖学的部位のボリュームを経時的に検査するために適用される。超音波システム100は超音波を送信及び/又は受信するための多数のトランスデューサ素子を持つ少なくとも一つのトランスデューサアレイを持つ超音波プローブ14を有する。一実施例において、トランスデューサ素子の各々は、特定パルス幅の少なくとも一つの送信インパルス、特に複数の後続送信パルスの形で超音波を送信し得る。トランスデューサ素子は特に多断面若しくは三次元画像を提供するために、好適には二次元アレイに配置される。
本発明のために適用され得る三次元超音波システムの具体的実施例は、特に出願人のX6‐1若しくはX7‐2t TEEトランスデューサ又は出願人のxMatrix技術を用いる別のトランスデューサと一緒に、出願人によって販売されるCX40 Compact Xtreme超音波システムである。一般に、Philips iE33システム上で見られるマトリクストランスデューサシステム、又は例えばPhilips iU22及びHD15システムで見られる機械的3D/4Dトランスデューサ技術が本発明のために適用され得る。
3D超音波スキャンは典型的に、標的ボリュームとして指定され得る体内の特定ボリュームを照射する超音波を発することを伴う。これは複数の異なる角度で超音波を発することによって実現され得る。そして反射波を受信して処理することによってボリュームデータのセットが得られる。ボリュームデータのセットは経時的な体内の標的ボリュームの表現である。時間は通常第四の次元として示されるので、経時的な3D画像シーケンスを提供するかかる超音波システム100は4D超音波イメージングシステムともよばれることがある。
超音波プローブ14は非侵襲的に(図1に図示の通り)、又はTEEにおいて通常なされる通り侵襲的に(明示されない)使用され得ることが理解されるものとする。超音波プローブ14はシステムのユーザ、例えば医療スタッフ若しくは医師によって手で持って操作され得る。超音波プローブ14は患者12の解剖学的部位、特に解剖学的オブジェクトの画像が提供されるように患者12の身体に適用される。
さらに、超音波システム100は超音波システム100を介した3D画像シーケンスの提供を制御する画像再構成ユニット16を有し得る。以下さらに詳細に説明される通り、画像再構成ユニット16は超音波プローブ14のトランスデューサアレイを介したデータの収集だけでなく、超音波プローブ14のトランスデューサアレイによって受信される超音波ビームのエコーから3D画像シーケンスを形成する信号及び画像処理も制御する。
超音波システム100はユーザへ3D画像シーケンスを表示するためのディスプレイ18をさらに有し得る。なおさらに、キー若しくはキーボード22及び追加入力装置、例えばトラックボール24を有し得る、入力装置20が設けられ得る。入力装置20はディスプレイ18に、又は画像再構成ユニット16に直接接続され得る。
図2は超音波システム100の略ブロック図を図示する。超音波プローブ14は、例えばCMUTトランスデューサアレイ26を有し得る。トランスデューサアレイ26は代替的にPZT若しくはPVDFなどの材料で形成される圧電トランスデューサ素子を有し得る。トランスデューサアレイ26は3Dイメージング用の三次元でスキャン可能なトランスデューサ素子の一次元若しくは二次元アレイである。トランスデューサアレイ26はCMUTアレイセル若しくは圧電素子による信号の送受信を制御するプローブ内のマイクロビームフォーマ28に結合される。マイクロビームフォーマは米国特許5,997,479(Savord et al.)、6,013,032(Savord)、及び6,623,432(Powers et al.)に記載の通りトランスデューサ素子のグループ若しくは"パッチ"によって受信される信号の少なくとも部分的なビームフォーミングが可能である。マイクロビームフォーマ28はプローブケーブルによって送信/受信(T/R)スイッチ30へ結合され得、これは送信と受信を切り替え、マイクロビームフォーマ28が使用されずトランスデューサアレイ26がメインビームフォーマ34によって直接操作されるときに高エネルギー送信信号からメインビームフォーマ34を保護する。マイクロビームフォーマ28の制御下でのトランスデューサアレイ26からの超音波ビームの送信は、ユーザインターフェース若しくは制御パネル22のユーザ操作からの入力を受信するメインシステムビームフォーマ34と、T/Rスイッチ30によってマイクロビームフォーマ28に結合されるトランスデューサコントローラ32によって方向付けられる。トランスデューサコントローラ32によって制御される機能の一つは、ビームがステアリング及びフォーカスされる方向である。ビームはトランスデューサアレイ26から真っ直ぐに(直角に)、又はより広い視野のために異なる角度で、ステアリングされ得る。トランスデューサコントローラ32はCMUTアレイ用のDCバイアス制御58を制御するために結合され得る。DCバイアス制御58はCMUTセルに印加されるDCバイアス電圧をセットする。
マイクロビームフォーマ26によって生成される部分的にビームフォームされた信号は受信時にメインビームフォーマ34へ結合され、ここでトランスデューサ素子の個別パッチからの部分的にビームフォームされた信号は完全にビームフォームされた信号へ組み合わされる。例えばメインビームフォーマ34は128チャネルを持ち、その各々が数十若しくは数百のCMUTトランスデューサセル若しくは圧電素子のパッチから部分的にビームフォームされた信号を受信する。このようにトランスデューサアレイ26の数千のトランスデューサ素子によって受信される信号は単一のビームフォーム信号に効率的に寄与し得る。
ビームフォーム信号は信号プロセッサ36に結合される。信号プロセッサ36は、バンドパスフィルタリング、デシメーション、I及びQ成分分離、並びに、患者12の身体へ事前に投与されている造影剤に含まれる微小気泡及び/又は組織から返される非線形(基本周波数の高調波)エコー信号の識別を可能にするように線形及び非線形信号を分離する働きをする高調波信号分離など、様々な方法で受信エコー信号を処理し得る。信号プロセッサ36は、スペックル低減、信号合成、及びノイズ除去などの追加信号増強も実行し得る。信号プロセッサ36内のバンドパスフィルタはトラッキングフィルタであることができ、エコー信号が増加する深さから受信されるにつれて高周波数帯域から低周波数帯域へそのパスバンドがスライドし、それによって、これらの周波数が解剖学的情報を欠く、より大きな深さからの高周波におけるノイズを拒絶する。
処理信号はBモードプロセッサ38とドップラプロセッサ40へ転送され得る。Bモードプロセッサ38は体内の臓器及び血管の組織など、体内の構造のイメージングのために受信超音波信号の振幅の検出を利用する。身体の構造のBモード画像は米国特許6,283,919(Roundhill et al.)及び米国特許6,458,083(Jago et al.)に記載の通り高調波画像モード若しくは基準画像モードのいずれか又はその両方の組み合わせで形成され得る。ドップラプロセッサ40は、画像フィールドにおける血液細胞の流れなどの物質の動きの検出のために、組織運動と血流から個別信号を時間的に処理し得る。ドップラプロセッサ40は典型的に、体内の選択されたタイプの材料から返されるエコーを通過させる及び/又は拒絶するように設定され得るパラメータを伴うウォールフィルタを含む。例えば、ウォールフィルタは低速若しくはゼロ速度の材料からの比較的強い信号を拒絶しながら高速材料からの比較的低振幅の信号を通過させるパスバンド特性を持つように設定され得る。このパスバンド特性は、心臓の壁など付近の動かない若しくはゆっくり動いているオブジェクトからの信号を拒絶しながら、流れている血液からの信号を通過させる。逆の特性は、組織ドップライメージングとよばれるものの場合血流信号を拒絶し、組織の動きを検出して描写しながら、心臓の動いている組織からの信号を通過させ得る。ドップラプロセッサ40は画像フィールド内の異なる点から時間的に別々のエコー信号のシーケンスを受信して処理し、特定点からのエコーのシーケンスはアンサンブルとよばれる。比較的短い間隔にわたって立て続けに受信されるエコーのアンサンブルは流れている血液のドップラシフト周波数を推定するために使用されることができ、速度へのドップラ周波数の対応が血流速度を示す。より長期間にわたって受信されるエコーのアンサンブルはゆっくり流れる血液若しくはゆっくり動く組織の速度を推定するために使用される。
そしてBモード及びドップラプロセッサ38、40によって生成される構造信号と動き信号はスキャンコンバータ44と多断面リフォーマッタ54へ転送され得る。スキャンコンバータ44はエコー信号をそれらが所望の画像形式で受信された空間関係に配置する。例えば、スキャンコンバータ44は二次元(2D)扇形形式、又はピラミッド型三次元(3D)画像にエコー信号を配置し得る。スキャンコンバータ44は、色が画像フィールド内の点における動きに対応するBモード構造画像を、そのドップラ推定速度とオーバーレイして、画像フィールド内の組織と血流の動きを描くカラードップラ画像を生成し得る。多断面リフォーマッタ54は、米国特許6,443,896(Detmer)に記載の通り、身体のボリュメトリック領域内の共通面内の点から受信されるエコーを、その面の超音波画像へ変換する。ボリュームレンダラ52は米国特許6,530,885(Entrekin et al.)に記載の通り所与の基準点から見られる経時的な投影3D画像シーケンス56へ3Dデータセットのエコー信号を変換する。3D画像シーケンス56は、追加増強、ディスプレイ18での表示のためのバッファリングと一時保存のために、スキャンコンバータ44、多断面リフォーマッタ54、及びボリュームレンダラ52から画像プロセッサ42へ転送される。イメージングのために使用されることに加えて、ドップラプロセッサ40によって生成される血流値とBモードプロセッサ38によって生成される組織構造情報は定量化プロセッサ46へ転送され得る。この定量化プロセッサ46は血流の容積流量などの異なる流れ条件の測度だけでなく、臓器のサイズ及び妊娠期間などの構造的測定も生じ得る。定量化プロセッサ46は測定がなされるべき画像の解剖学的構造中の点など、ユーザ制御パネル22からの入力を受信し得る。定量化プロセッサ46からの出力データはディスプレイ18上の画像とともに測定グラフィックス及び値の再生のためにグラフィックスプロセッサ50へ転送され得る。グラフィックスプロセッサ50は超音波画像とともに表示するためのグラフィックオーバーレイも生成し得る。これらグラフィックオーバーレイは患者の名前、画像の日時、イメージングパラメータなどといった標準識別情報を含み得る。これらの目的でグラフィックスプロセッサ50は患者の名前など、ユーザインターフェース22からの入力を受信し得る。ユーザインターフェース22はトランスデューサアレイ26からの超音波信号、従ってトランスデューサアレイと超音波システムによって生成される画像の生成を制御するために、送信コントローラ32へ結合され得る。ユーザインターフェース22はMPR画像の画像フィールドにおいて定量化測定を実行するために使用され得るマルチ多断面リフォーマット(MPR)画像の面の選択及び制御のために多断面リフォーマッタ54にも結合され得る。
再度、上述の超音波システム100は提示される画像再構成装置の応用の一つの可能な実施例として説明されているに過ぎないことが留意されるものとする。上述の超音波システム100は前に説明された構成要素の全部を有する必要はないことが留意されるものとする。他方で、超音波システム100は必要であれば追加構成要素を有してもよい。なおさらに、複数の上述の構成要素は必ずしもハードウェアとして実現されなくてもよく、ソフトウェアコンポーネントとして実現されてもよいことが留意されるものとする。複数の上述の構成要素は共通エンティティ又は一つの単一エンティティにさえ含まれてもよく、図2に概略的に示される通り全て別々のエンティティとして実現される必要はない。
図3は本発明にかかる画像再構成装置10の第一の実施形態を示す。画像再構成装置10のこの第一の実施形態は3D画像シーケンス56のオフライン可視化のために設計される。画像再構成装置10によって受信される3D画像シーケンス56は、例えば、図2を参照して上記で説明した超音波システム100を用いて例示的に収集され再構成される3D超音波画像シーケンス56であり得る。3D画像シーケンス56は超音波システム100である画像収集システムから直接受信される必要はなく、別のストレージ手段から、例えば3D画像シーケンス56が一時的に保存されているUSBスティック若しくは外部サーバからも受信され得ることが留意されるものとする。
第一の実施形態にかかる画像再構成装置10は、受信ユニット60、ストレージユニット62、選択ユニット64、スライス生成器66、トラッキングユニット68、及びディスプレイ18'を有する。受信ユニット60は3D画像シーケンス56を受信し、これをストレージユニット62へ転送し、ここで3D画像シーケンスが一時保存され得る。ストレージユニット62は例えばハードドライブとして実現され得る。例えばユーザによって画像再構成が初期化されるとすぐに、少なくとも三つの2D画像シーケンスが3D画像シーケンスから導出され、ディスプレイ18'上に提示される。導出される2D画像シーケンスは三つの異なる直交ビュー、すなわち互いに垂直に配置される3D画像シーケンスの三つの2Dビュー面において時間画像シーケンスを示す。図7はディスプレイユニット18'上のイラストレーションの典型的なタイプを示し、三つの2D画像シーケンス72a‐c(三つの直交ビュー画像シーケンス)が3D画像シーケンス56(右下部)と同時に提示される。
選択ユニット64、スライス生成器66及びトラッキングユニット68を用いる3D画像シーケンス56からのこれら2D画像シーケンス72の導出は次の通り進む:第一のステップにおいて、選択ユニット64を用いて3D画像シーケンス56のフレームの少なくとも一つの中で局所関心点が選択される。この選択ステップは手動で若しくは自動的に実行され得る。手動選択は3D画像シーケンス56のフレームの3Dボリューム内の一つの関心点をユーザが手動でクリックすることを意味する。この場合、選択ユニット64はマウス若しくはトラッキングボールとして実現され得る。画像再構成装置10がイメージングシステム100と組み合わされる場合、関心点は、例えばユーザ入力インターフェース22を用いて手動で選択され得る。
代替的に、局所関心点は選択ユニット64を用いて自動的に選択され得る。選択ユニット64はこの場合好適にはソフトウェア実装される。3D画像シーケンス56の少なくとも一つのフレーム内の関心点の自動選択は、例えば3D画像シーケンス56の各フレーム内の一つ以上のランドマークを識別することによって実現され得る。かかるランドマーク検出は周知である。例えば、3D画像シーケンス56内の非常に暗い若しくは非常に明るい点を検出することが可能である。代替的に、ランドマークは、選択ユニット64において実装されるランドマーク検出アルゴリズムが3D画像シーケンス56において検索している特定形状に基づいて識別され得る。ランドマーク検出アルゴリズムは従って例示的に3D画像シーケンス56内の被撮像臓器の境界上の特徴的形状を検索し得る。
関心点が選択ユニット64を用いて識別されるとすぐに、スライス生成器が3Dボリュームの三つの2Dビュー面を生成し、当該三つの2Dビュー面は互いに垂直に配置され、選択された関心点で交差する。2Dビュー面の各々において2D画像シーケンス72が生成される、つまり3D画像シーケンス56から導出される。
図7は左上隅に図示される第一の画像シーケンス72a、右上隅に図示される第二の画像シーケンス72b、左下隅に図示される第三の画像シーケンス72cを示す。第一の2D画像シーケンス72aは第一の2Dビュー面74aにおける3Dボリュームを示し、第二の2D画像シーケンス72bは第二の2Dビュー面74bにおける3Dボリュームを示し、第三の2D画像シーケンス72cは第三の2Dビュー面74cにおける3Dボリュームを示す。
図7に見られ得る通り、三つの2Dビュー面74a‐cは全て相互に垂直に配置され、選択された関心点76で交差する。しかしながら関心点76の絶対位置は経時的に一定ではない。本明細書で絶対位置とは3D画像シーケンス56の絶対座標系に対する関心点76の位置をあらわすものとする。この関心点76の動きは経時的な検査下の解剖学的構造(例えば臓器、血管若しくは組織)の動きに由来する。2D画像シーケンス72はこのように、関心点76の動きが補正されなかった場合いわゆる面外運動によって妨げられ得る。
本発明によればこの動き補正はトラッキングユニット68を用いて達成される。トラッキングユニット68は経時的な3D画像シーケンス56内の関心点76の軌道を決定する。そしてスライス生成器66は2Dビュー面74a‐cの交点を関心点76の軌道に沿って経時的に適応させることによって2Dビュー面74a‐cの位置を適応させ得る。言い換えれば、関心点76は関心解剖構造の動きに従って動き、2Dビュー面74a‐cも関心点76の動きに従って経時的に動き得る。直交ビュー74a‐cの位置はこのように、直交ビュー74a‐cが検査下の解剖学的構造の動きに従うよう、3D画像シーケンスの可視化中に自動的に動的に適応される。導出される2D画像シーケンス72a‐cは従って3D画像シーケンス56の同じ断面の画像シーケンスを常に示し、面外運動が自動的に補正される。これは医師にとってかかる3D画像シーケンスの検査と評価を著しく容易にする。医師はもはや再生されているシーケンスを見ながら断面を手動で調節する必要がない。
図5と6において画像再構成装置10を用いて生成される2D画像シーケンス72(図5に図示)は、関心点76の位置が適応されておらず絶対座標系に対して一定に維持される、対応する2D画像シーケンス(図6に図示)と比較される。本発明の利点はこの比較から明らかとなるはずである。図6から、面外運動が2D画像シーケンスを妨げることが観察され得、これは医師の検査を極めて困難にする。関心点76'によって最初に指定されるオブジェクトはトポロジー変化(図6において左から三つ目のフレームを参照)と消失(図6において左から四つ目のフレームを参照)を経験する。これは、関心点76の位置及び従ってビュー面74の位置もが上記方法で自動的に適応される、図5に図示の2D画像シーケンス72では当てはまらない。
トラッキングユニット68を用いる関心点76の位置のトラッキングは好適には次のように実現される:トラッキングユニット68は好適には関心点76の局所周辺における一つ以上の特徴的基準点若しくは画像特徴の位置をトラックすることによっていわば間接的な方法で関心点76の位置をトラックする。トラッキングユニット68は従って高い局所画像スペックル勾配を持つ画像領域、すなわちその周辺とグレー値が著しく異なる3D画像シーケンスのフレーム内の領域を識別することによって画像特徴の一つ以上の特徴的基準点を識別する。これらの特徴的基準点は、例えば、臓器若しくは血管の境界上の点であり得る。基準点における高画像スペックル勾配のために、これら基準点の位置は関心点76の位置自体を直接トラックするよりも画像シーケンス56に沿ってトラックしやすい。トラッキングユニット68はこのように一つ以上の基準軌道(すなわち経時的な画像シーケンスに沿った特徴的基準点の位置)をトラックし、そして一つ以上の決定された基準軌道に基づいて関心点76の軌道を決定し得る。トラッキングユニット68は例えば、これら一つ以上の基準軌道間の局所補間によって一つ以上の基準軌道に基づいて関心点76の軌道を決定するように構成され得る。
本発明の好適な実施形態において、トラッキングユニット68はO.Somphone,et al.:"Fast Myocardial Motion and Strain Estimation in 3D Cardiac Ultrasound with Sparse Demons",ISBI 2013 proceedings of the 2013 International Symposium on Biomedical Imaging,p.1182‐1185,2013から知られるいわゆるSparse Demonsアルゴリズムを利用する。このアルゴリズムの出力は関心点76と画像特徴の一つ以上の特徴的基準点を含む領域内の高密度変位場である。
図4は本発明にかかる画像再構成装置10の第二の実施形態を示す。この第二の実施形態において画像再構成装置10は図2に示す超音波システム100の超音波トランスデューサ14、画像再構成ユニット16、ディスプレイ18をさらに有する。言い換えれば、画像再構成装置10は超音波システム100において実装される。ストレージユニット62はこの場合必ずしも必要でないが、第二の実施形態にかかる画像再構成装置10は図3に示す第一の実施形態に関して説明したストレージユニット62を有してもよいことが明らかなはずである。本発明の第二の実施形態にかかる画像再構成装置10は特にライブ可視化のために設計される。受信ユニット60はこの場合超音波システム100の画像再構成ユニット16から直接3D画像シーケンスを受信する。画像再構成装置10によって適用される一般的技術、特に選択ユニット64、スライス生成器66及びトラッキングユニット68の機能は、図3に関して上記で詳細に説明した技術と変わらない。受信ユニット60、選択ユニット64、スライス生成器66及びトラッキングユニット68はこの場合ソフトウェア及び/又はハードウェア実装であってもよい。全構成要素60‐68は画像プロセッサ42の構成要素にもなり得る。
本発明は図面と先の説明において詳細に図示され記載されているが、かかる図示と記載は例示若しくは説明であって限定ではないとみなされるものとする。本発明は開示の実施形態に限定されない。開示の実施形態への他の変更は、図面、開示及び添付の請求項の考察から、請求される発明を実施する上で当業者によって理解されもたらされることができる。
請求項において、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"a"若しくは"an"は複数を除外しない。単一の要素若しくは他のユニットは請求項に列挙される複数の項目の機能を満たし得る。特定の手段が相互に異なる従属請求項に列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。
コンピュータプログラムは、他のハードウェアと一緒に若しくはその一部として供給される光学記憶媒体若しくはソリッドステート媒体などの適切な媒体上に保存/分散され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式で分散されてもよい。
請求項における任意の参照符号は範囲を限定するものと解釈されてはならない。

Claims (15)

  1. 被検者の身体部位のスキャンに由来する経時的な3D医用画像の3D画像シーケンスを受信するための受信ユニットと、
    前記3D画像シーケンスの3D医用画像の少なくとも一つの中の局所関心点を選択するための選択ユニットと、
    前記3D医用画像の少なくとも一つの、三つの2Dビュー面を生成するためのスライス生成器であって、前記三つの2Dビュー面は相互に垂直に配置され、選択された前記関心点で交差する、スライス生成器と、
    前記3D画像シーケンス内の前記関心点の軌道を決定するためのトラッキングユニットとを有する、画像再構成装置であって、
    前記スライス生成器が、前記関心点の軌道に沿って経時的に前記2Dビュー面の交点を自動的に適応させることによって、前記3D画像シーケンスから前記2Dビュー面における2D画像シーケンスを生成するように構成される、
    画像再構成装置。
  2. 前記選択ユニットが、前記3D画像シーケンスの3D医用画像の少なくとも一つの中で前記関心点を手動で選択するためのユーザ入力インターフェースを有する、請求項1に記載の画像再構成装置。
  3. 前記選択ユニットが、前記3D医用画像の少なくとも一つの中で一つ以上のランドマークを識別することによって、前記3D画像シーケンスの3D医用画像の少なくとも一つの中で前記関心点を自動的に選択するように構成される、請求項1に記載の画像再構成装置。
  4. 受信した前記3D画像シーケンスを保存するためのストレージユニットをさらに有する、請求項1に記載の画像再構成装置。
  5. 前記被検者の身体部位をスキャンし、前記3D画像シーケンスを収集するための画像収集ユニットをさらに有する、請求項1に記載の画像再構成装置。
  6. 前記3D画像シーケンスが3D超音波画像シーケンスである、請求項1に記載の画像再構成装置。
  7. 前記画像収集ユニットが、
    前記被検者の身体部位へ超音波を送信し、当該身体部位から超音波を受信するための超音波トランスデューサと、
    前記被検者の身体部位から受信される超音波から3D超音波画像シーケンスを再構成するための超音波画像再構成ユニットと
    を有する、請求項5又は6に記載の画像再構成装置。
  8. 前記トラッキングユニットが、
    前記3D画像シーケンスの3D医用画像の少なくとも一つにおける前記関心点の局所周辺における一つ以上の特徴的点若しくは画像特徴を識別すること、
    経時的に前記3D画像シーケンスにおける前記一つ以上の特徴的点若しくは画像特徴の一つ以上の基準軌道をトラックすること、並びに
    前記一つ以上の基準軌道に基づいて前記関心点の軌道を決定すること
    によって、前記関心点の軌道を決定するように構成される、請求項1に記載の画像再構成装置。
  9. 前記トラッキングユニットが、既定閾値を超える局所画像スペックル勾配を持つ、前記3D医用画像の少なくとも一つの中の画像領域を識別することによって、前記一つ以上の特徴的点若しくは画像特徴を識別するように構成される、請求項8に記載の画像再構成装置。
  10. 前記トラッキングユニットが、前記一つ以上の特徴的点若しくは画像特徴の変位を含む、高密度変位場のエネルギー項を最小化することによって、前記一つ以上の基準軌道をトラックするように構成される、請求項8に記載の画像再構成装置。
  11. 前記トラッキングユニットが、前記一つ以上の基準軌道間の局所補間によって前記一つ以上の基準軌道に基づいて前記関心点の軌道を決定するように構成される、請求項8に記載の画像再構成装置。
  12. 前記2D画像シーケンスの少なくとも一つを表示するための表示ユニットをさらに有する、請求項1に記載の画像再構成装置。
  13. 前記表示ユニットが前記三つの垂直に配置される2Dビュー面に属する三つの2D画像シーケンスと前記3D画像シーケンスを同時に表示するように構成される、請求項12に記載の画像再構成装置。
  14. 被検者の身体部位のスキャンに由来する経時的な3D医用画像の3D画像シーケンスを受信するステップと、
    前記3D画像シーケンスの3D医用画像の少なくとも一つの中で局所関心点を選択するステップと、
    前記3D医用画像の少なくとも一つの、三つの2Dビュー面を生成するステップであって、前記三つの2Dビュー面は相互に垂直に配置され、選択された前記関心点で交差する、ステップと、
    経時的な前記3D画像シーケンス内の前記関心点の軌道を決定するステップと、
    前記関心点の軌道に沿って経時的に前記2Dビュー面の交点を自動的に適応させることによって前記3D画像シーケンスから前記2Dビュー面における2D画像シーケンスを生成するステップと
    を有する、医用画像を再構成するための方法。
  15. コンピュータプログラムがコンピュータ上で実行されるときにコンピュータに請求項14に記載の方法のステップを実行させるためのプログラムコード手段を有する、コンピュータプログラム。
JP2016551218A 2014-02-19 2015-01-28 医用4dイメージングにおける動き適応型可視化 Active JP6835587B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305228.0 2014-02-19
EP14305228 2014-02-19
PCT/EP2015/051634 WO2015124388A1 (en) 2014-02-19 2015-01-28 Motion adaptive visualization in medical 4d imaging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020192882A Division JP7150800B2 (ja) 2014-02-19 2020-11-20 医用4dイメージングにおける動き適応型可視化

Publications (2)

Publication Number Publication Date
JP2017509387A true JP2017509387A (ja) 2017-04-06
JP6835587B2 JP6835587B2 (ja) 2021-02-24

Family

ID=50241336

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016551218A Active JP6835587B2 (ja) 2014-02-19 2015-01-28 医用4dイメージングにおける動き適応型可視化
JP2020192882A Active JP7150800B2 (ja) 2014-02-19 2020-11-20 医用4dイメージングにおける動き適応型可視化

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020192882A Active JP7150800B2 (ja) 2014-02-19 2020-11-20 医用4dイメージングにおける動き適応型可視化

Country Status (5)

Country Link
US (1) US20170169609A1 (ja)
EP (1) EP3108456B1 (ja)
JP (2) JP6835587B2 (ja)
CN (1) CN106030657B (ja)
WO (1) WO2015124388A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462967B (zh) * 2014-05-14 2020-06-30 皇家飞利浦有限公司 用于超声图像的基于模型的分割的采集取向相关特征
CN110574074B (zh) * 2017-03-29 2024-01-09 皇家飞利浦有限公司 链接到mpr视图十字线的3d体积中的嵌入式虚拟光源
US10299764B2 (en) * 2017-05-10 2019-05-28 General Electric Company Method and system for enhanced visualization of moving structures with cross-plane ultrasound images
JP7319354B2 (ja) * 2018-08-22 2023-08-01 コーニンクレッカ フィリップス エヌ ヴェ インターベンショナル医療機器の3dトラッキング
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
US20230218265A1 (en) * 2022-01-13 2023-07-13 GE Precision Healthcare LLC System and Method for Displaying Position of Ultrasound Probe Using Diastasis 3D Imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272087A (ja) * 2007-04-26 2008-11-13 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2010092918A1 (ja) * 2009-02-10 2010-08-19 株式会社 日立メディコ 医用画像処理装置、医用画像処理方法、医用画像診断装置、医用画像診断装置の作動方法及び医用画像表示方法
JP2011161213A (ja) * 2010-01-13 2011-08-25 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Family Cites Families (275)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6283919B1 (en) 1996-11-26 2001-09-04 Atl Ultrasound Ultrasonic diagnostic imaging with blended tissue harmonic signals
US6458083B1 (en) 1996-11-26 2002-10-01 Koninklijke Philips Electronics N.V. Ultrasonic harmonic imaging with adaptive image formation
US6369812B1 (en) * 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
US6013032A (en) * 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US6012458A (en) * 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
JP3330090B2 (ja) * 1998-09-30 2002-09-30 松下電器産業株式会社 臓器境界抽出方法および装置
US6252975B1 (en) * 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US6778690B1 (en) * 1999-08-13 2004-08-17 Hanif M. Ladak Prostate boundary segmentation from 2D and 3D ultrasound images
US6530885B1 (en) * 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6561980B1 (en) * 2000-05-23 2003-05-13 Alpha Intervention Technology, Inc Automatic segmentation of prostate, rectum and urethra in ultrasound imaging
US6709394B2 (en) * 2000-08-17 2004-03-23 Koninklijke Philips Electronics N.V. Biplane ultrasonic imaging
US6443896B1 (en) * 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
US6468216B1 (en) * 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
US6771803B1 (en) * 2000-11-22 2004-08-03 Ge Medical Systems Global Technology Company, Llc Method and apparatus for fitting a smooth boundary to segmentation masks
US7630750B2 (en) * 2001-02-05 2009-12-08 The Research Foundation For The State University Of New York Computer aided treatment planning
US7526112B2 (en) * 2001-04-30 2009-04-28 Chase Medical, L.P. System and method for facilitating cardiac intervention
JP4060615B2 (ja) * 2002-03-05 2008-03-12 株式会社東芝 画像処理装置及び超音波診断装置
US6954544B2 (en) * 2002-05-23 2005-10-11 Xerox Corporation Visual motion analysis method for detecting arbitrary numbers of moving objects in image sequences
US7041059B2 (en) * 2002-08-02 2006-05-09 Diagnostic Ultrasound Corporation 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US7004904B2 (en) * 2002-08-02 2006-02-28 Diagnostic Ultrasound Corporation Image enhancement and segmentation of structures in 3D ultrasound images for volume measurements
US6676605B2 (en) * 2002-06-07 2004-01-13 Diagnostic Ultrasound Bladder wall thickness measurement system and methods
US20060025689A1 (en) * 2002-06-07 2006-02-02 Vikram Chalana System and method to measure cardiac ejection fraction
US7520857B2 (en) * 2002-06-07 2009-04-21 Verathon Inc. 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US7744534B2 (en) * 2002-06-07 2010-06-29 Verathon Inc. 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US7272251B2 (en) * 2002-09-30 2007-09-18 The Board Of Trustees Of The Leland Stanford Junior University Method for detecting and classifying a structure of interest in medical images
US7466848B2 (en) * 2002-12-13 2008-12-16 Rutgers, The State University Of New Jersey Method and apparatus for automatically detecting breast lesions and tumors in images
SE526438C2 (sv) * 2003-04-01 2005-09-13 Sectra Imtec Ab Metod och system för mätning i en dynamisk sekvens av medicinska bilder
EP1623674B1 (en) * 2003-05-08 2016-04-13 Hitachi Medical Corporation Reference image display method for ultrasonography and ultrasonograph
US20050033117A1 (en) * 2003-06-02 2005-02-10 Olympus Corporation Object observation system and method of controlling object observation system
ATE550680T1 (de) * 2003-09-30 2012-04-15 Esaote Spa Methode zur positions- und geschwindigkeitsverfolgung eines objektrandes in zwei- oder dreidimensionalen digitalen echographischen bildern
US20050096538A1 (en) * 2003-10-29 2005-05-05 Siemens Medical Solutions Usa, Inc. Image plane stabilization for medical imaging
US7574032B2 (en) * 2003-10-31 2009-08-11 General Electric Company Method and apparatus for virtual subtraction of stool from registration and shape based analysis of prone and supine scans of the colon
CA2449080A1 (en) * 2003-11-13 2005-05-13 Centre Hospitalier De L'universite De Montreal - Chum Apparatus and method for intravascular ultrasound image segmentation: a fast-marching method
WO2005047920A1 (en) * 2003-11-13 2005-05-26 Koninklijke Philips Electronics, N.V. Readout ordering in collection of radial magnetic resonance imaging data
JP2005319199A (ja) * 2004-05-11 2005-11-17 Toshiba Corp 超音波診断装置
US7899516B2 (en) * 2004-06-23 2011-03-01 M2S, Inc. Method and apparatus for determining the risk of rupture of a blood vessel using the contiguous element defined area
KR101295471B1 (ko) * 2004-07-30 2013-08-09 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3d 공간 차원용 시스템 및 방법
US8170640B2 (en) * 2004-08-02 2012-05-01 Siemens Medical Solutions Usa, Inc. System and method for tree projection for detection of pulmonary embolism
US7555151B2 (en) * 2004-09-02 2009-06-30 Siemens Medical Solutions Usa, Inc. System and method for tracking anatomical structures in three dimensional images
US20060074315A1 (en) * 2004-10-04 2006-04-06 Jianming Liang Medical diagnostic ultrasound characterization of cardiac motion
JP2008515520A (ja) 2004-10-07 2008-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 表示される画像データに関し一貫した解剖学的ビューを維持するための方法及びシステム
JP2006110190A (ja) * 2004-10-15 2006-04-27 Toshiba Corp 医用画像データ解析装置及びその方法
JP5192697B2 (ja) * 2004-12-13 2013-05-08 株式会社日立メディコ 超音波診断装置
US8460191B2 (en) * 2005-05-20 2013-06-11 Hitachi Medical Corporation Ultrasonic medical diagnostic device for imaging changes with time
US8131043B2 (en) * 2005-09-16 2012-03-06 The Ohio State University Method and apparatus for detecting interventricular dyssynchrony
CN101292266B (zh) * 2005-10-20 2012-05-30 皇家飞利浦电子股份有限公司 超声成像系统和方法
KR100859434B1 (ko) * 2005-11-01 2008-09-23 주식회사 메디슨 다중 단면영상을 이용한 컨투어 편집 기능을 제공하는 영상처리 시스템 및 방법
US8303505B2 (en) * 2005-12-02 2012-11-06 Abbott Cardiovascular Systems Inc. Methods and apparatuses for image guided medical procedures
US20070167772A1 (en) * 2005-12-09 2007-07-19 Aloka Co., Ltd. Apparatus and method for optimized search for displacement estimation in elasticity imaging
US7813537B2 (en) * 2006-05-15 2010-10-12 Siemens Medical Solutions Usa, Inc. Motion-guided segmentation for cine DENSE images
DE102006024000A1 (de) * 2006-05-22 2007-11-29 Siemens Ag Verfahren und Vorrichtung zum Visualisieren von Objekten
US8150498B2 (en) * 2006-09-08 2012-04-03 Medtronic, Inc. System for identification of anatomical landmarks
US7889912B2 (en) * 2006-09-15 2011-02-15 The General Electric Company Method for real-time tracking of cardiac structures in 3D echocardiography
US8094899B2 (en) * 2006-10-04 2012-01-10 Hitachi Medical Corporation Medical image diagnostic device
EP2080169A4 (en) * 2006-10-10 2011-07-27 Cedara Software Corp SYSTEM AND METHOD FOR SEGMENTING A REGION IN A MEDICAL IMAGE
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US8160395B2 (en) * 2006-11-22 2012-04-17 General Electric Company Method and apparatus for synchronizing corresponding landmarks among a plurality of images
US20080186378A1 (en) * 2007-02-06 2008-08-07 Feimo Shen Method and apparatus for guiding towards targets during motion
US9968256B2 (en) * 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US7856130B2 (en) * 2007-03-28 2010-12-21 Eigen, Inc. Object recognition system for medical imaging
US8170304B2 (en) * 2007-04-03 2012-05-01 Siemens Aktiengesellschaft Modeling cerebral aneurysms in medical images
GB0708358D0 (en) * 2007-05-01 2007-06-06 Cambridge Entpr Ltd Strain image display systems
CN101720479A (zh) * 2007-05-02 2010-06-02 新加坡科技研究局 运动补偿的图像平均
US20080281182A1 (en) * 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
ES2724115T3 (es) * 2007-06-29 2019-09-06 Midmark Corp Interfaz gráfica de usuario para el marcado de márgenes asistido por ordenador sobre dentaduras
US20090012390A1 (en) * 2007-07-02 2009-01-08 General Electric Company System and method to improve illustration of an object with respect to an imaged subject
US20090015678A1 (en) * 2007-07-09 2009-01-15 Hoogs Anthony J Method and system for automatic pose and trajectory tracking in video
JP2010536412A (ja) * 2007-08-16 2010-12-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 3次元(3d)画像データボリュームにおける断面をサンプリングするための画像形成方法
EP2191445B1 (en) * 2007-09-04 2017-05-31 Sony Corporation Integrated motion capture
US8126244B2 (en) * 2007-09-21 2012-02-28 Siemens Medical Solutions Usa, Inc. User interface for polyp annotation, segmentation, and measurement in 3D computed tomography colonography
US9058679B2 (en) * 2007-09-26 2015-06-16 Koninklijke Philips N.V. Visualization of anatomical data
US8275182B2 (en) * 2007-09-27 2012-09-25 The University Of British Columbia University-Industry Liaison Office Method for automated delineation of contours of tissue in medical images
US8090168B2 (en) * 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
JP5388440B2 (ja) 2007-11-02 2014-01-15 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
RU2494676C2 (ru) * 2007-11-16 2013-10-10 Конинклейке Филипс Электроникс, Н.В. Интервенционная навигация с использованием трехмерного ультразвука с контрастным усилением
CN101925924B (zh) * 2008-01-24 2014-11-19 皇家飞利浦电子股份有限公司 交互式图像分割
US8265356B2 (en) * 2008-01-30 2012-09-11 Computerized Medical Systems, Inc. Method and apparatus for efficient automated re-contouring of four-dimensional medical imagery using surface displacement fields
KR20090095150A (ko) * 2008-03-05 2009-09-09 주식회사 메디슨 초음파 영상을 처리하는 초음파 시스템 및 방법
WO2009109874A1 (en) * 2008-03-07 2009-09-11 Koninklijke Philips Electronics N.V. Ct surrogate by auto-segmentation of magnetic resonance images
US20110178389A1 (en) * 2008-05-02 2011-07-21 Eigen, Inc. Fused image moldalities guidance
WO2013116694A1 (en) * 2012-02-03 2013-08-08 The Trustees Of Dartmouth College Method and apparatus for determining tumor shift during surgery using a stereo-optical three-dimensional surface-mapping system
US8111892B2 (en) * 2008-06-04 2012-02-07 Medison Co., Ltd. Registration of CT image onto ultrasound images
EP2130497A1 (en) * 2008-06-05 2009-12-09 Medison Co., Ltd. Anatomical feature extraction from an ultrasound liver image
RU2510699C2 (ru) * 2008-06-20 2014-04-10 Конинклейке Филипс Электроникс, Н.В. Способ и система для выполнения биопсии
JP5438936B2 (ja) * 2008-08-29 2014-03-12 株式会社東芝 超音波診断装置、画像処理装置及び画像処理プログラム
US8348846B2 (en) * 2008-09-30 2013-01-08 Mediri Gmbh 3D motion detection and correction by object tracking in ultrasound images
US8208703B2 (en) * 2008-11-05 2012-06-26 Toshiba Medical Systems Corporation Medical image analysis apparatus and image analysis control program
US20100172559A1 (en) * 2008-11-11 2010-07-08 Eigen, Inc System and method for prostate biopsy
US20100123714A1 (en) * 2008-11-14 2010-05-20 General Electric Company Methods and apparatus for combined 4d presentation of quantitative regional parameters on surface rendering
US11064903B2 (en) * 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
EP2189943B1 (de) * 2008-11-19 2014-09-24 Brainlab AG Bestimmung vital-bewegter Regionen eines Analysebildes
US8848989B2 (en) * 2009-01-23 2014-09-30 Koninklijke Philips N.V. Cardiac image processing and analysis
US8265363B2 (en) * 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset
JP5295805B2 (ja) * 2009-02-05 2013-09-18 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
US8641621B2 (en) * 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
JP5643772B2 (ja) * 2009-02-25 2014-12-17 コーニンクレッカ フィリップス エヌ ヴェ ハイブリッドpet/mrシステムにおけるmrコイルの減衰訂正
US8771189B2 (en) * 2009-03-18 2014-07-08 Siemens Medical Solutions Usa, Inc. Valve assessment from medical diagnostic imaging data
US8224053B2 (en) * 2009-03-31 2012-07-17 General Electric Company Methods and systems for displaying quantitative segmental data in 4D rendering
US8213700B2 (en) * 2009-03-31 2012-07-03 Icad, Inc. Systems and methods for identifying suspicious anomalies using information from a plurality of images of an anatomical colon under study
US9724538B2 (en) * 2009-04-02 2017-08-08 Koninklijke Philips N.V. Automated anatomy delineation for image guided therapy planning
KR101116925B1 (ko) * 2009-04-27 2012-05-30 삼성메디슨 주식회사 초음파 영상을 정렬시키는 초음파 시스템 및 방법
US8744157B2 (en) * 2009-05-11 2014-06-03 Siemens Medical Solutions Usa, Inc. System and method for candidate generation and new features designed for the detection of flat growths
JP5395538B2 (ja) * 2009-06-30 2014-01-22 株式会社東芝 超音波診断装置及び画像データ表示用制御プログラム
US9289154B2 (en) * 2009-08-19 2016-03-22 Insightec Ltd. Techniques for temperature measurement and corrections in long-term magnetic resonance thermometry
KR101121301B1 (ko) * 2009-09-16 2012-03-22 삼성메디슨 주식회사 3차원 측정을 수행하는 초음파 시스템 및 방법
WO2011061644A1 (en) * 2009-11-18 2011-05-26 Koninklijke Philips Electronics N.V. Motion correction in radiation therapy
US9439621B2 (en) * 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US8885905B2 (en) * 2009-12-03 2014-11-11 Cedars-Sinai Medical Center Method and system for plaque characterization
JP5508829B2 (ja) * 2009-12-11 2014-06-04 株式会社東芝 医用画像表示装置
US8483432B2 (en) * 2009-12-23 2013-07-09 General Electric Company Methods for automatic segmentation and temporal tracking
JP5753798B2 (ja) * 2010-01-29 2015-07-22 株式会社日立メディコ 超音波診断装置およびその作動方法
CN102844793B (zh) * 2010-02-22 2016-08-17 皇家飞利浦电子股份有限公司 用于门控x射线ct成像的稀疏数据重建
JP5394296B2 (ja) * 2010-03-25 2014-01-22 富士フイルム株式会社 撮像装置及び画像処理方法
US8396268B2 (en) * 2010-03-31 2013-03-12 Isis Innovation Limited System and method for image sequence processing
JP5631629B2 (ja) * 2010-05-17 2014-11-26 株式会社東芝 超音波画像処理装置及び超音波診断装置
TW201143843A (en) * 2010-06-15 2011-12-16 Nat Univ Tsing Hua Method for dynamically analyzing distribution variation of scatterers and application using the same
JP5755734B2 (ja) * 2010-06-16 2015-07-29 エーツー・サージカル 骨の3d医用画像から幾何学的要素を自動的に判定する方法およびシステム
US8750375B2 (en) * 2010-06-19 2014-06-10 International Business Machines Corporation Echocardiogram view classification using edge filtered scale-invariant motion features
IT1400684B1 (it) * 2010-07-07 2013-06-28 Esaote Spa Metodo e dispositivo di imaging per il monitoraggio di un corpo in esame.
CN102958431B (zh) * 2010-07-15 2015-07-22 株式会社日立医疗器械 医用图像摄像装置及摄像切片决定方法
US9626786B1 (en) * 2010-07-19 2017-04-18 Lucasfilm Entertainment Company Ltd. Virtual-scene control device
WO2012022958A1 (en) * 2010-08-19 2012-02-23 Bae Systems Plc Sensor data processing
JP5872216B2 (ja) * 2010-09-13 2016-03-01 株式会社東芝 超音波診断装置及び超音波画像処理装置
US8463021B2 (en) * 2010-09-16 2013-06-11 Indian Institute Of Technology Kanpur Four dimensional reconstruction and characterization system
KR101194290B1 (ko) * 2010-09-24 2012-10-29 삼성메디슨 주식회사 이미지 필터링을 이용한 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법
KR101194292B1 (ko) * 2010-09-28 2012-10-29 삼성메디슨 주식회사 객체에 대한 슬라이스 표시 초음파 검사기 및 그 방법
US8798227B2 (en) * 2010-10-15 2014-08-05 Kabushiki Kaisha Toshiba Medical image processing apparatus and X-ray computed tomography apparatus
JP5309109B2 (ja) * 2010-10-18 2013-10-09 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
WO2012077012A1 (en) * 2010-12-07 2012-06-14 Koninklijke Philips Electronics N.V. Method and system for managing imaging data
AU2011344107A1 (en) * 2010-12-13 2013-06-27 Ortho Kinematics, Inc. Methods, systems and devices for clinical data reporting and surgical navigation
US8657750B2 (en) * 2010-12-20 2014-02-25 General Electric Company Method and apparatus for motion-compensated ultrasound imaging
JP5689678B2 (ja) * 2010-12-27 2015-03-25 株式会社東芝 超音波装置
EP2658439B1 (en) * 2010-12-29 2020-02-12 Dia Imaging Analysis Ltd. Automatic left ventricular function evaluation
CN103402453B (zh) * 2011-03-03 2016-11-16 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
US20120245465A1 (en) * 2011-03-25 2012-09-27 Joger Hansegard Method and system for displaying intersection information on a volumetric ultrasound image
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
AU2012242639B2 (en) * 2011-04-14 2016-09-01 Regents Of The University Of Minnesota Vascular characterization using ultrasound imaging
US8810640B2 (en) * 2011-05-16 2014-08-19 Ut-Battelle, Llc Intrinsic feature-based pose measurement for imaging motion compensation
CN106308767B (zh) * 2011-07-07 2020-01-10 小利兰·斯坦福大学托管委员会 使用体相位对比mri的全面的心血管分析
KR101819028B1 (ko) * 2011-07-11 2018-01-16 삼성전자주식회사 초음파 영상 처리 방법 및 장치
US9202278B2 (en) * 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
JP6242569B2 (ja) * 2011-08-25 2017-12-06 東芝メディカルシステムズ株式会社 医用画像表示装置及びx線診断装置
WO2013032933A2 (en) * 2011-08-26 2013-03-07 Kinecticor, Inc. Methods, systems, and devices for intra-scan motion correction
JP5596865B2 (ja) * 2011-08-26 2014-09-24 イービーエム株式会社 血流性状診断のためのシステム、その方法及びコンピュータソフトウエアプログラム
US9443303B2 (en) * 2011-09-09 2016-09-13 Calgary Scientific Inc. Image display of a centerline of tubular structure
US8715202B2 (en) * 2011-09-27 2014-05-06 Xerox Corporation Minimally invasive image-based determination of carbon dioxide (CO2) concentration in exhaled breath
EP2574375A1 (en) * 2011-09-27 2013-04-03 Koninklijke Philips Electronics N.V. Therapeutic apparatus for sonicating a moving target
TWI454246B (zh) * 2011-09-30 2014-10-01 Mackay Memorial Hospital Immediate monitoring of the target location of the radiotherapy system
WO2013057609A1 (en) * 2011-10-18 2013-04-25 Koninklijke Philips Electronics N.V. Medical apparatus for displaying the catheter placement position
US9415240B2 (en) * 2011-10-21 2016-08-16 Accuray Incorporated Apparatus for generating multi-energy x-ray images and methods of using the same
US8983161B2 (en) * 2011-11-09 2015-03-17 Varian Medical Systems International Ag Automatic correction method of couch-bending in sequence CBCT reconstruction
US10162932B2 (en) * 2011-11-10 2018-12-25 Siemens Healthcare Gmbh Method and system for multi-scale anatomical and functional modeling of coronary circulation
KR101323329B1 (ko) * 2011-11-22 2013-10-29 삼성메디슨 주식회사 초음파 영상 표시 방법 및 초음파 영상 표시 장치
RU2606453C2 (ru) * 2011-12-03 2017-01-10 Конинклейке Филипс Н.В. Автоматическое изменение глубины и корректирование ориентации при полуавтоматическом планировании пути
KR101881924B1 (ko) * 2011-12-29 2018-08-27 삼성전자주식회사 초음파 영상 처리 방법 및 장치
US9734430B2 (en) * 2012-01-02 2017-08-15 Mackay Memorial Hospital Evaluation system or determination of cardiovascular function parameters
ITTO20120030A1 (it) * 2012-01-17 2013-07-18 Consiglio Nazionale Ricerche Procedimento e sistema per la determinazione del volume di grasso cardiaco epicardico a partire da immagini volumetriche, e relativo programma per elaboratore
JP6146952B2 (ja) * 2012-01-27 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム。
WO2013118017A1 (en) * 2012-02-10 2013-08-15 Koninklijke Philips N.V. Clinically driven image fusion
WO2013123091A1 (en) * 2012-02-13 2013-08-22 Hologic, Inc. System and method for navigating a tomosynthesis stack using synthesized image data
EP2816966B1 (en) * 2012-02-22 2023-10-25 Veran Medical Technologies, Inc. Steerable surgical catheter comprising a biopsy device at the distal end portion thereof
US20130335635A1 (en) * 2012-03-22 2013-12-19 Bernard Ghanem Video Analysis Based on Sparse Registration and Multiple Domain Tracking
JP6132614B2 (ja) * 2012-03-30 2017-05-24 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及び画像処理方法
US8934677B2 (en) * 2012-04-06 2015-01-13 Adobe Systems Incorporated Initialization for robust video-based structure from motion
US9317928B2 (en) * 2012-04-06 2016-04-19 Adobe Systems Incorporated Detecting and tracking point features with primary colors
CN104219997B (zh) * 2012-05-22 2016-12-28 东芝医疗系统株式会社 医用图像诊断装置以及图像显示装置
US8777856B2 (en) * 2012-06-26 2014-07-15 General Electric Company Diagnostic system and method for obtaining an ultrasound image frame
US20150146946A1 (en) * 2012-06-28 2015-05-28 Koninklijke Pjilips N.V. Overlay and registration of preoperative data on live video using a portable device
KR20140008746A (ko) * 2012-07-11 2014-01-22 삼성전자주식회사 움직이는 장기에 초음파를 조사하여 장기 특정 부위의 온도 변화를 나타내는 온도 맵을 생성하는 방법 및 초음파 시스템
US9750473B2 (en) * 2012-08-02 2017-09-05 Hitachi, Ltd. Three-dimensional image construction apparatus and three-dimensional image construction method
US9076246B2 (en) * 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
JP6381875B2 (ja) * 2012-08-16 2018-08-29 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び血圧モニタ
RU2653274C2 (ru) * 2012-08-30 2018-05-07 Конинклейке Филипс Н.В. Связанная сегментация в стандартных и контрастных ультразвуковых 3d-изображениях
WO2014034948A1 (ja) * 2012-09-03 2014-03-06 株式会社東芝 超音波診断装置及び画像処理方法
JP5981281B2 (ja) * 2012-09-12 2016-08-31 東芝メディカルシステムズ株式会社 超音波診断装置、画像処理装置及びプログラム
CN103826539B (zh) * 2012-09-20 2016-11-02 东芝医疗系统株式会社 图像处理系统、x射线诊断装置以及图像处理方法
WO2014046214A1 (ja) * 2012-09-20 2014-03-27 株式会社東芝 画像処理システム、x線診断装置及び画像処理方法
CN104797196B (zh) * 2012-09-26 2016-11-16 株式会社日立制作所 超声波诊断装置以及超声波二维断层图像生成方法
US9801615B2 (en) * 2012-09-28 2017-10-31 The University Of British Columbia Quantitative elastography with tracked 2D ultrasound transducers
WO2014080833A1 (ja) * 2012-11-21 2014-05-30 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
KR102001219B1 (ko) * 2012-11-26 2019-07-17 삼성전자주식회사 의료 영상들의 정합 방법 및 장치
US9486643B2 (en) * 2012-12-07 2016-11-08 Emory University Methods, systems and computer readable storage media storing instructions for image-guided treatment planning and assessment
CN103876776B (zh) * 2012-12-24 2017-09-01 深圳迈瑞生物医疗电子股份有限公司 一种超声造影成像方法及装置
CN104936546B (zh) * 2013-01-17 2016-09-14 皇家飞利浦有限公司 在超声引导的医学流程中调节聚焦区的方法及采用所述方法的系统
EP2757528B1 (en) * 2013-01-22 2015-06-24 Pie Medical Imaging BV Method and apparatus for tracking objects in a target area of a moving organ
WO2014115148A1 (en) * 2013-01-24 2014-07-31 Tylerton International Holdings Inc. Body structure imaging
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9224210B2 (en) * 2013-02-06 2015-12-29 University Of Virginia Patent Foundation Systems and methods for accelerated dynamic magnetic resonance imaging
WO2014124447A1 (en) * 2013-02-11 2014-08-14 Angiometrix Corporation Systems for detecting and tracking of objects and co-registration
EP2961322B1 (en) * 2013-02-28 2022-09-28 Koninklijke Philips N.V. Segmentation of large objects from multiple three-dimensional views
JP6125281B2 (ja) * 2013-03-06 2017-05-10 東芝メディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び制御プログラム
US9224362B2 (en) * 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
WO2014139024A1 (en) * 2013-03-15 2014-09-18 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
KR20140114523A (ko) * 2013-03-15 2014-09-29 삼성전자주식회사 주사 선 정보를 이용한 초음파 데이터 처리 방법 및 장치
US8897548B2 (en) * 2013-04-02 2014-11-25 National Chung Cheng University Low-complexity method of converting image/video into 3D from 2D
US8948457B2 (en) * 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
CN105263420B (zh) * 2013-04-03 2018-01-05 皇家飞利浦有限公司 3d超声成像系统
CN105103193B (zh) * 2013-04-09 2018-10-12 皇家飞利浦有限公司 分层的二维投影生成和显示
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images
US9629615B1 (en) * 2013-09-06 2017-04-25 University Of Louisville Research Foundation, Inc. Combined B-mode / tissue doppler approach for improved cardiac motion estimation in echocardiographic images
US10238368B2 (en) * 2013-09-21 2019-03-26 General Electric Company Method and system for lesion detection in ultrasound images
EP3049975B1 (en) * 2013-09-25 2018-11-07 HeartFlow, Inc. Systems and methods for validating and correcting automated medical image annotations
JP6382036B2 (ja) * 2013-09-30 2018-08-29 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理装置
US9684979B2 (en) * 2013-09-30 2017-06-20 Siemens Healthcare Gmbh MRI 3D cine imaging based on intersecting source and anchor slice data
KR20150041239A (ko) * 2013-10-07 2015-04-16 삼성전자주식회사 엑스선 영상 장치 및 그 제어 방법
WO2015055473A1 (en) * 2013-10-17 2015-04-23 Koninklijke Philips N.V. Medical apparatus with a radiation therapy device and a radiation detection system
KR102204437B1 (ko) * 2013-10-24 2021-01-18 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
US9390546B2 (en) * 2013-10-30 2016-07-12 General Electric Company Methods and systems for removing occlusions in 3D ultrasound images
US9277902B2 (en) * 2013-11-22 2016-03-08 General Electric Company Method and system for lesion detection in ultrasound images
WO2015085252A1 (en) * 2013-12-06 2015-06-11 Sonitrack Systems, Inc. Radiotherapy dose assessment and adaptation using online imaging
JP6253970B2 (ja) * 2013-12-20 2017-12-27 東芝メディカルシステムズ株式会社 画像処理装置、超音波診断装置及び画像処理プログラム
KR20150074304A (ko) * 2013-12-23 2015-07-02 삼성전자주식회사 의료 영상 정보를 제공하는 방법 및 그 장치
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
US20150201907A1 (en) * 2014-01-21 2015-07-23 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Computer aided diagnosis for detecting abdominal bleeding with 3d ultrasound imaging
US10076311B2 (en) * 2014-01-24 2018-09-18 Samsung Electronics Co., Ltd. Method and apparatus for registering medical images
JP5968928B2 (ja) * 2014-02-14 2016-08-10 富士フイルム株式会社 医用画像表示制御装置およびその作動方法並びに医用画像表示制御プログラム
US9830700B2 (en) * 2014-02-18 2017-11-28 Judy Yee Enhanced computed-tomography colonography
JP2015150325A (ja) * 2014-02-18 2015-08-24 株式会社東芝 医用画像処理装置及び医用画像処理方法
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system
US20150282782A1 (en) * 2014-04-08 2015-10-08 General Electric Company System and method for detection of lesions
CN104997528B (zh) * 2014-04-21 2018-03-27 东芝医疗系统株式会社 X 射线计算机断层拍摄装置以及拍摄条件设定辅助装置
WO2015173821A1 (en) * 2014-05-14 2015-11-19 Sync-Rx, Ltd. Object identification
CN106456084B (zh) * 2014-06-18 2021-01-22 皇家飞利浦有限公司 超声成像装置
US10271817B2 (en) * 2014-06-23 2019-04-30 Siemens Medical Solutions Usa, Inc. Valve regurgitant detection for echocardiography
US9710880B2 (en) * 2014-07-03 2017-07-18 Siemens Product Lifecycle Management Software Inc. User-guided shape morphing in bone segmentation for medical imaging
US9984473B2 (en) * 2014-07-09 2018-05-29 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
KR102294193B1 (ko) * 2014-07-16 2021-08-26 삼성전자주식회사 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
JP6706577B2 (ja) * 2014-08-05 2020-06-10 パナソニック株式会社 修正確認方法および修正確認装置
US9384568B2 (en) * 2014-09-03 2016-07-05 General Electric Company Method and system for enhanced frame rate upconversion in ultrasound imaging
WO2016038604A1 (en) * 2014-09-11 2016-03-17 B. G. Negev Technologies And Applications Ltd. (Ben-Gurion University) Interactive segmentation
GB2548025B (en) * 2014-09-18 2021-03-10 Synaptive Medical Inc Systems and methods for anatomy-based registration of medical images acquired with different imaging modalities
JP6382050B2 (ja) * 2014-09-29 2018-08-29 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
US10290098B2 (en) * 2014-10-17 2019-05-14 Koninklijke Philips N.V. System for real-time organ segmentation and tool navigation during tool insertion in interventional therapy and method of operation thereof
US20160239976A1 (en) * 2014-10-22 2016-08-18 Pointivo, Inc. Photogrammetric methods and devices related thereto
EP3212089B1 (en) * 2014-10-27 2020-09-23 Koninklijke Philips N.V. Method of visualizing a sequence of ultrasound images, computer program product and ultrasound system
US9974977B2 (en) * 2014-10-27 2018-05-22 Elekta, Inc. Image guidance for radiation therapy
US9875581B2 (en) * 2014-10-31 2018-01-23 The Regents Of The University Of California Automated 3D reconstruction of the cardiac chambers from MRI or ultrasound
EP3220829B1 (en) * 2014-11-18 2022-03-09 C. R. Bard, Inc. Ultrasound imaging system having automatic image presentation
WO2016080813A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for processing medical image
US10750980B2 (en) * 2014-12-02 2020-08-25 Brainlab Ag Human body measurement using thermographic images
EP3032495B1 (en) * 2014-12-10 2019-11-13 Dassault Systèmes Texturing a 3d modeled object
US20160189394A1 (en) * 2014-12-30 2016-06-30 Huazhong University Of Science And Technology Method for iteratively extracting motion parameters from angiography images
US20160225180A1 (en) * 2015-01-29 2016-08-04 Siemens Medical Solutions Usa, Inc. Measurement tools with plane projection in rendered ultrasound volume imaging
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
KR20160107799A (ko) * 2015-03-05 2016-09-19 삼성전자주식회사 단층 영상 장치 및 그에 따른 단층 영상 복원 방법
US10818073B2 (en) * 2015-03-10 2020-10-27 Wisconsin Alumni Research Foundation System and method for time-resolved, three-dimensional angiography with flow information
EP3277189B1 (en) * 2015-03-31 2018-10-24 Koninklijke Philips N.V. Ultrasound imaging apparatus
EP3086287B1 (en) * 2015-04-24 2017-10-11 Pie Medical Imaging BV Flow analysis in 4d mr image data
US9547904B2 (en) * 2015-05-29 2017-01-17 Northrop Grumman Systems Corporation Cross spectral feature correlation for navigational adjustment
JP6625347B2 (ja) * 2015-06-01 2019-12-25 キヤノンメディカルシステムズ株式会社 X線血管撮影装置
US10405834B2 (en) * 2015-06-01 2019-09-10 The Governors Of The University Of Alberta Surface modeling of a segmented echogenic structure for detection and measurement of anatomical anomalies
WO2017013521A1 (en) * 2015-07-23 2017-01-26 Koninklijke Philips N.V. Endoscope guidance from interactive planar slices of a volume image
US9943247B2 (en) * 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
US9824442B2 (en) * 2015-08-20 2017-11-21 Siemens Medical Solutions Usa, Inc. View direction adaptive volume ultrasound imaging
US10169864B1 (en) * 2015-08-27 2019-01-01 Carl Zeiss Meditec, Inc. Methods and systems to detect and classify retinal structures in interferometric imaging data
US9895127B2 (en) * 2015-08-31 2018-02-20 General Electric Company Systems and methods of image acquisition for surgical instrument reconstruction
CN108024780B (zh) * 2015-09-16 2022-04-05 皇家飞利浦有限公司 针对使用超声的四维计算机断层摄影成像的呼吸运动补偿
US10441250B2 (en) * 2015-10-08 2019-10-15 Zmk Medical Technologies Inc. 3D multi-parametric ultrasound imaging
CN106611411B (zh) * 2015-10-19 2020-06-26 上海联影医疗科技有限公司 一种医学图像中肋骨分割的方法及医学图像处理装置
US9652862B1 (en) * 2015-10-23 2017-05-16 Wisconsin Alumni Research Foundation System and method for dynamic device tracking using medical imaging systems
US11010910B2 (en) * 2015-12-18 2021-05-18 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
US9904867B2 (en) * 2016-01-29 2018-02-27 Pointivo, Inc. Systems and methods for extracting information about objects from scene information
JP6746360B2 (ja) * 2016-04-13 2020-08-26 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US11064979B2 (en) * 2016-05-16 2021-07-20 Analogic Corporation Real-time anatomically based deformation mapping and correction
US10912536B2 (en) * 2016-08-23 2021-02-09 Carestream Health, Inc. Ultrasound system and method
DE102016117889B3 (de) * 2016-09-22 2018-03-15 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Korrektur von durch Tracking-Verfahren ermittelten dynamischen Modellen
EP3588438A4 (en) * 2017-03-07 2020-03-18 Shanghai United Imaging Healthcare Co., Ltd. METHOD AND SYSTEM FOR PRODUCING COLORED MEDICAL IMAGES
US20190012432A1 (en) * 2017-07-05 2019-01-10 General Electric Company Methods and systems for reviewing ultrasound images
US11357575B2 (en) * 2017-07-14 2022-06-14 Synaptive Medical Inc. Methods and systems for providing visuospatial information and representations
US11202652B2 (en) * 2017-08-11 2021-12-21 Canon U.S.A., Inc. Registration and motion compensation for patient-mounted needle guide
US10802096B2 (en) * 2017-12-26 2020-10-13 Uih America, Inc. Methods and systems for magnetic resonance imaging
US11701091B2 (en) * 2018-02-23 2023-07-18 Canon Medical Systems Corporation Ultrasound analysis apparatus and method for tissue elasticity and viscosity based on the hormonic signals
US11749124B2 (en) * 2018-06-12 2023-09-05 Skydio, Inc. User interaction with an autonomous unmanned aerial vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008272087A (ja) * 2007-04-26 2008-11-13 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2010092918A1 (ja) * 2009-02-10 2010-08-19 株式会社 日立メディコ 医用画像処理装置、医用画像処理方法、医用画像診断装置、医用画像診断装置の作動方法及び医用画像表示方法
JP2011161213A (ja) * 2010-01-13 2011-08-25 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
O. SOMPHONE ET AL.: "Fast Myocardial Motion and Strain Estimation in 3D Cardiac Ultrasound with Sparse Demons", ISBI 2013 PROCEEDINGS OF THE 2013 INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING, JPN6018032737, 2013, pages 1182 - 1185, XP008171189, ISSN: 0004099508, DOI: 10.1109/ISBI.2013.6556691 *

Also Published As

Publication number Publication date
CN106030657A (zh) 2016-10-12
CN106030657B (zh) 2019-06-28
JP6835587B2 (ja) 2021-02-24
EP3108456B1 (en) 2020-06-24
EP3108456A1 (en) 2016-12-28
JP7150800B2 (ja) 2022-10-11
WO2015124388A1 (en) 2015-08-27
JP2021045561A (ja) 2021-03-25
US20170169609A1 (en) 2017-06-15

Similar Documents

Publication Publication Date Title
JP7150800B2 (ja) 医用4dイメージングにおける動き適応型可視化
JP5782428B2 (ja) 適合体積撮像のためのシステム
US8565504B2 (en) Ultrasonic image processing apparatus and ultrasonic image processing method
CN109310399B (zh) 医学超声图像处理设备
US20100286526A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP2017517329A (ja) 医療用画像処理デバイス及び方法
JP6629492B2 (ja) 超音波イメージングシステム及び方法
JP5606025B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US11850101B2 (en) Medical image diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP6411183B2 (ja) 医用画像診断装置、画像処理装置及び画像処理プログラム
JP5331313B2 (ja) 超音波診断装置
US20220160333A1 (en) Optimal ultrasound-based organ segmentation
JP6828218B2 (ja) 超音波画像処理
JP2008220662A (ja) 超音波診断装置及びその制御プログラム
JP2014184341A (ja) 超音波診断装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180823

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190724

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190724

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190731

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190801

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20190823

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20190827

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20191226

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200414

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20201208

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210107

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210204

R150 Certificate of patent or registration of utility model

Ref document number: 6835587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250