JP2006061697A - 超音波画像を3d切り出しするための方法及びシステム - Google Patents

超音波画像を3d切り出しするための方法及びシステム Download PDF

Info

Publication number
JP2006061697A
JP2006061697A JP2005243685A JP2005243685A JP2006061697A JP 2006061697 A JP2006061697 A JP 2006061697A JP 2005243685 A JP2005243685 A JP 2005243685A JP 2005243685 A JP2005243685 A JP 2005243685A JP 2006061697 A JP2006061697 A JP 2006061697A
Authority
JP
Japan
Prior art keywords
contour
point
target
estimated
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005243685A
Other languages
English (en)
Other versions
JP5265849B2 (ja
Inventor
Armin Schoisswohl
アーミン・ショイスヴォル
Johannes Ruisz
ヨハネス・ルイズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2006061697A publication Critical patent/JP2006061697A/ja
Application granted granted Critical
Publication of JP5265849B2 publication Critical patent/JP5265849B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20168Radial search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】3次元超音波データ組を切り出す。
【解決手段】処理ユニット(206)は、基準スライス(410、411)の内部において対象データの辺縁位置にある基準点(602、610)を決定(1008)している。この基準点(602、610)に基づいて基準スライス(410、411)及び対象スライス(412、414、416)を通過して延びる推定輪郭(408)を生成(1010)している輪郭推定器(210)が設けられており、この推定輪郭(408)は対象スライス(412、414、416)と交差して各対象スライス(412、414、416)内で推定輪郭点(604、606、608)を規定している。さらに、対象データの実際の輪郭点と実質的に対応するようになるまで推定輪郭点(604、606、608)を調整(1014)している輪郭調整ユニット(210)が設けられている。
【選択図】 図1

Description

本発明は、診断超音波の方法及びシステムに関する。具体的には、本発明は、3次元(3D)超音波データ組を切り出すための方法及びシステムに関する。
医学診断で使用するためには多数の超音波法及びシステムが存在している。患者の超音波画像に基づいた患者の検査及び診断を容易にするために様々な機能が提唱されている。例えば、ある種のシステムは、2D画像のうち対象領域と非対象領域を表している部分を識別するための2D画像の解析で用いられる画像切り出し機能を提供している。局所的輪郭は、画像データのテクスチャ及びグレイレベル変化の計測(ただし、これに限らない)を含め様々な技法で決定されることがある。対象スライス内部で対象の局所的輪郭を決定するために、自動切り出しアルゴリズムが使用されることがある。さらに最近では、3Dボリュームに関する超音波情報を取得するための技法が導入されている。この超音波情報は、ボリュメトリック・データ組として保存される。このボリュメトリック・データ組からは、解析のために切り出し(セグメンテーション)を介するなどにより個々の画像またはスライスが抽出される。
米国特許第5540229号
従来では、超音波の方法及びシステムはボリュメトリック・データ組に対して切り出しを迅速に実行することができない。
ボリュメトリック・データ組の切り出しが可能な改良型の方法及びシステムに対する要求が存在する。
対象の3次元(3D)切り出しのための方法を提供する。本方法は、その内部を通過して延びる基準軸を有する対象データと該対象データの近傍にある非対象データとを包含するボリュメトリック・データ組を取得する。本方法は、このボリュメトリック・データ組の内部で少なくとも1つの基準スライス及び複数の対象スライスを規定しており、該基準スライスと該対象スライスは基準軸に沿って互いに交差しかつ基準軸を包含している。基準点は、この基準スライスの内部で対象データの辺縁位置において決定される。基準点を決定した状態で、本方法は、この基準点に基づいて基準スライス及び対象スライスを通過して延びる推定輪郭を作成しており、この推定輪郭は対象スライスと交差して推定境界点を規定している。次いで本方法は、対象データの実際の境界点と実質的に対応するようになるまでこの推定境界点を調整する。
対象の3次元(3D)切り出しのためのシステムを提供する。本システムは、その内部を通過して延びる基準軸を有する対象データと該対象データの近傍にある非対象データとを包含するボリュメトリック・データ組を保存しているメモリを含んでいる。本システムは、このボリュメトリック・データ組の内部で少なくとも1つの基準スライス及び複数の対象スライスを規定している処理ユニットであって、該基準スライスと該対象スライスは基準軸に沿って互いに交差しかつこの基準軸を包含している処理ユニットを含んでいる。この処理ユニットはこの基準スライスの内部において対象データの辺縁位置にある基準点を決定している。本システムは、この基準点に基づいて基準スライス及び対象スライスを通過して延びる推定輪郭を作成している輪郭推定器であって、該推定輪郭は対象スライスと交差して各対象スライス内で推定境界点を規定している輪郭推定器を含んでいる。本システムは、対象データの実際の境界点と実質的に対応するようになるまでこの推定境界点を調整している境界調整ユニットを含んでいる。
図1は、本発明の一実施形態に従って形成した超音波システム100のブロック図である。超音波システム100は、パルス状の超音波信号が身体内に放出されるようにアレイ状トランスジューサ106の内部の複数のトランスジューサ素子104を駆動させる送信器102を含んでいる。多種多様な幾何学構成を使用することができる。この超音波信号は、血球や筋肉組織など身体内の密度境界及び/または構造によって後方散乱を受け、トランスジューサ素子104に戻されるようなエコーを発生させる。このエコーは受信器108によって受信している。受信したエコーは、ビーム形成を実行しかつRF信号を出力しているビーム形成器110に通される。次いで、このRF信号はRFプロセッサ112に通される。別法として、そのRFプロセッサ112は、エコー信号を表すIQデータ対を形成するようにRF信号を復調している複素復調器(図示せず)を含むことがある。次いで、このRFまたはIQ信号データは、一時的に保存するためにRF/IQバッファ114まで直接導かれることがある。
超音波システム100はさらに、収集した超音波情報(すなわち、RF信号データまたはIQデータ対)を処理して表示システム118上に表示するための超音波情報のフレームを作成するために、信号プロセッサ116を含んでいる。この信号プロセッサ116は、収集した超音波情報に対して選択可能な複数の超音波様式に従った1つまたは複数の処理動作を実行するように適応させている。この例示的実施形態では、収集した超音波情報は、走査セッション中にエコー信号を受信しながらリアルタイムで処理される。代替的な一実施形態では、この超音波情報は、走査セッションの間にRF/IQバッファ114内に一時的に保存され、ライブまたはオフライン動作でリアルタイム性がより低い処理を受けることがある。
超音波システム100は、人間の眼のおおよその認知速度である50フレーム毎秒を超えるフレームレートで超音波情報を連続して収集することができる。収集した超音波情報は、これより遅いフレームレートで表示システム118上に表示させることがある。即座に表示させる予定がない収集超音波情報の処理済みのフレームを保存するために、画像バッファ122を含めてある。この例示的実施形態では、画像バッファ122は、少なくとも数秒分の超音波情報フレームを保存できるだけの十分な容量をもつ。超音波情報のフレームは、収集の順序や時刻に従ったこれらの取り出しが容易となるような方式で保存されている。画像バッファ122は、ランダム・アクセス・メモリ(RAM)やその他の周知のデータ記憶媒体(ただし、これらに限らない)などの少なくとも1つの記憶デバイスを含むことがある。
図2は、本発明の代替的な実施形態に従って形成した超音波システム200のブロック図である。システム200は、送信器203及び受信器205と接続されたアレイ状トランスジューサ201を含んでいる。アレイ状トランスジューサ201は、超音波パルスを送信し、走査を受けた超音波ボリューム207の内部にある構造からエコーを受信する。メモリ202は、走査を受けた超音波ボリューム207から導出された受信器205からの超音波データを保存する。ボリューム207は、例えば3D走査、リアルタイム3D撮像、ボリューム走査、位置決めセンサを有するトランスジューサによる2D走査、ボクセル相関技法、2D、またはマトリックスアレイ・トランスジューサを使用したフリーハンド走査(ただし、これらに限らない)など様々な技法によって取得されることがある。
トランスジューサ201は、関心領域(ROI)の走査中に、直線状経路や弓状経路などに沿って移動させることがある。直線状または弓状の各位置において、トランスジューサ201は複数の走査面204を取得する。これらの走査面204はメモリ202内に保存され、次いでスライス抽出ユニット206に送られる。幾つかの実施形態では、そのトランスジューサ201は走査面204ではなくラインを取得することがあり、またメモリ202は走査面204ではなくトランスジューサ201が取得したラインを保存することがある。データ・スライスは、スライス・データから対象輪郭を抽出する切り出しユニット210に送られる。切り出しユニット210の出力は、超音波(US)データと一緒にボリューム表示プロセッサ212に送られる。ボリューム表示プロセッサ212の出力は、ビデオ・プロセッサ214に送られ、次いでディスプレイ216に送られる。
図3は、システム100(図1参照)によって収集した対象306の例示的な走査300を表している。アレイ状トランスジューサ106は、トランスジューサ106の辺縁に沿って直線的に位置決めされた複数のトランスジューサ素子104を含む。トランスジューサ素子104は送信器102及び受信器108(図1参照)と結合されており、また送信器102からの送信信号に応答してアレイ状トランスジューサ106のうち各トランスジューサ素子104の近傍にある辺縁から放出される超音波ビームまたは波動302を発生させている。この送信信号は、各トランスジューサ素子104の発射を制御し、所定の経路に沿って超音波波動302がステアリングされるように位相調整されることがある。単に例示を目的として、4つのトランスジューサ素子104を図示している。アレイ状トランスジューサ106は、任意の数のトランスジューサ素子104を包含することがある。各波動302は、関心対象306を含むことがある関心対象ボリューム304内に投射されており、またこの波動は隣接するトランスジューサ素子104から放出される1つまたは複数の波動302と重複することがある。対象306は、対象306に当たる波動302を吸収、送出、屈折及び/または反射することがある。対象306から反射された波動すなわちエコーは、トランスジューサ素子104によって受け取られてシステム100によって処理され、ボリューム304内部の対象306及び別の対象を示す画像またはステアリング・フレームを作成する。
図4は、形状が概して球形であると共に本発明の一実施形態に従ってスライス切断した対象426を包含するボリュメトリック・データ組400の斜視図を表している。超音波システム200は、対象データと該対象データの近傍にある非対象データとを包含するボリュメトリック・データ組(VDS)400を取得する。取得されたデータは対象426を規定しており、図2のメモリ202などのメモリ内に保存されることがある。対象426は、形状が球形であることや球形でないことがある。以下で説明することにするが、推定する球状輪郭ボリューム402は対象426の内部に規定されており、またこの輪郭ボリューム402は外方成長過程のための初期開始点として使用される。この過程は、対象426の形状が近似されるまで輪郭ボリューム402を反復して外方に拡張している。基準軸406は対象426の中心420の位置に配置されると共に、これを通過して延びている。複数の基準スライス410及び411と対象スライス412、414及び416とは基準軸406に沿って互いに交差すると共に、該基準軸406を含んでいる。基準軸406に沿って深度422にある1つの点(例えば、中心420)において、直交切断面404が基準軸406と直角に交差している。直交面404の基準スライス410との交差によって、直交面404の内部に基準線424が形成される。対象426の辺縁は基準線424に沿って対象データの相対する側に位置特定されている。
図5は、対象426を通じて様々な深度422で取得した図4のボリュメトリック・データ組400を切る一連のスライスすなわち切断面502、506、510及び514の上面図である。切断面502、506、510及び514は、切断面404の場合と同様に基準軸406と直角である。面502、506、510及び514のそれぞれの面内で、対象426の1つの輪郭が形成されることがある。対応する面502、506、510及び514の内部に形成された輪郭504、508、512及び516は、対象データがVDS400の非対象データと出合っている境界を意味している。対象426全体に関する輪郭モデルは、基準軸406に沿って対象426を切り出す同様に対応する切断面内で多くの複数の輪郭を生成させることによって取得されることがある。
図6は、基準スライス及び対象スライス410、411、412、414及び416を含んだ図4の面404の上面図である。基準点602及び610(境界点とも呼ぶ)はそれぞれ、深度422(図4)にある対応する基準スライス410及び411内で直交切断面404が基準スライス410及び411と交差する箇所に存在する。基準スライス410及び411は互いに直交することがあり、またこれらは手作業でまたは自動的に選択されることがある。基準点602及び610は、対応する基準スライス410及び411内における対象426の輪郭上の位置を示している。対象426の境界上の基準点602及び610を識別するためには様々な技法が使用されることがある。現行の技法には、画像データ内におけるテクスチャ及びグレイレベル変化の計測(ただし、これに限らない)が含まれる。
基準点602及び610を配置し終った後、切断面404内で滑らかな推定輪郭線408が推定される。図4の例では、推定輪郭線408は形状が円形である。推定輪郭線408は、直交面404の近傍において対応する境界点604、606及び608の位置で対象スライス412、414及び416と交差する。輪郭推定器は、第1の四分円と同様にして対象点を決定すると共に、図6のその他の四分円に関しても推定輪郭を完了させ、深度422における輪郭ボリューム402に関する推定輪郭408を得ている。輪郭推定器は、図2の切り出しユニット210内に含まれることがある。次いで輪郭推定器は、基準スライス及び対象スライスと交差する直交切断面の近傍にある基準軸406に沿った様々な深度において輪郭ボリューム402の推定輪郭を完了させる。これらの推定輪郭は、その各々が異なる深度にあり、図4の輪郭ボリューム402の形状など対象426に関する開始形状(beginning shape)を規定している。その輪郭が対象426の境界内に来るように推定されている限りにおいて、この開始形状は重要ではなく、例えば球形状とすることができる。
図7は、図6に関して記載した推定輪郭上及び対象スライス内部にある近傍点700を表している。図7は、図4及び図6の3つの対象スライス412、414及び416を3D斜視図で表している。点606は近傍点の考え方を例証するために選択したものである。推定輪郭408に沿って、点606は対応する対象スライス412及び416内の近隣値604及び608を有している。対象スライス412及び416は点606を包含する対象スライス414と隣り合っている。さらに、推定輪郭408と隣り合った推定輪郭702及び704内に存在する点も、点606に対する近隣点を提供することがある。具体的には、推定輪郭702の対象点612、618及び622と、推定輪郭704の対象点614、616及び620とが、対象点606に対する近隣値を提供する。したがって、点606は8つの近傍点612、618、622、604、608、614、616及び620と関連付けさせることがある。別法として、点606に対する近隣値として点604、608、616及び618だけを選択することがあり、このケースでは、点606は4つの近隣値を有することになる。記載した方式によって、推定輪郭上の1つの点を近傍点の組と関連付けさせることができる。
図8は、図7の点の別の像であり、点606とこの点606の8つの近傍点612、618、622、604、608、614、616及び620との間の角錐様の接続800を表している。点606はこの角錐の尖端にあり、取り囲んでいる近傍点は角錐の底面を形成している。例示的な一方法は、推定輪郭上の点(例えば、点606)を外方に拡張させる、すなわち押すように動作している。しかし、点606を外方に移動させる量は、本明細書では簡単に検討することにする2種類の規則による制約を受けることがある。点を外方に移動させる量を制約する規則に加えて、その点を包含する対象スライスの内部のみで移動するようにその点はさらに制約を受けている。
例えば、点606は図7の矢印Aの方向で外方に移動させることがあるが、点606は点606が関連する対象スライス414の内部でのみを移動させることがある。点606に関するこの関連する近傍点は、点606に対して伸縮性の接続を有するように想定されることがある。点606が外方に移動しようとするのに伴って、これらの近傍点612、618、622、604、608、614、616及び620は点606を引き戻そうとする。この結果、点606は矢印Aの方向に外方に移動するが、近傍点による引き戻しがない場合に生ずる可能性があるような最初に割り当てられたある量まで移動しないことがある。矢印Aは、点606において点輪郭と直交する、すなわち直角な方向を指しており、点606が移動する方向を示している。さらに、これらの近傍点は点606の移動によって外方に引っ張られることがあるが、各近傍点はその点を包含する対象スライスの内部でのみ移動することがある。実際に、ある境界点は近傍点と相互に関連しており、境界点の動きは近傍点による影響を受けると共に近傍点の動きに影響を与えている。例えば、境界点606が有するある推定近傍点が該近傍点と実際の境界点の間の差が非常に小さくなるような近傍点であれば、この近傍点は移動しないことがあり、またこの近傍点の移動しないことによって同様に境界点606の移動が防止されることがある。
第1種の規則は、近傍点に対する点606の外方への移動を規制している。図8の例では、対象点606に対するメッシュ状の近傍対象点を用いることによって、平滑度の計測が可能な対象点606における輪郭を形成させることがある。対象点606は、近傍点によって形成される複数の角度に関する頂点として選択されることがある。例えば対象点606は、点606から近傍点618及び616まで描かれた線によって1つの角度を形成している。この角度は、3つ組の点(例えば、角度(618、606、616))の形で表記されることがあり、この3つ組値のうちの真ん中の点がこの角度の頂点にあたる。対象点606によって形成される別の角度は、(608、606、604)、(622、606、612)及び(622、606、614)である。対象点606が近傍対象点とで形成する複数の角度の計測値を使用して、図9に例証するように対象点606における輪郭ボリューム402の尖鋭度や平滑度が示されることがある。
図9は、図8の点を使用して、点606における輪郭の平滑度900の計測値を例証したものである。図9は、対象点606を図8の近傍点618及び616に接続した線によって形成される角度(618、606、616)を表しており、この角度は角度902とも示している。角度902の計測値が小さいほど、点606における輪郭がより尖鋭であることがある。角度902が大きいほど、点606における輪郭がより滑らかであることがある。対象点606が近傍対象点とでつくる角度の計測値は点606における輪郭の平滑度の計測値と相関することがあり、またこの角度計測値が低減係数(reduction factor)の定義に使用されることがある。ある決定された時刻において点606を移動させようとする場合、点606には、点606の位置で輪郭に接する接線906と直交する法線(垂直線)904に沿って外方に移動する際に1ミリメートル(1mm)の制限値が割り当てられることがある。
代替的な実施形態では、境界点に対して割り当てられる初期外方移動量は1.0mmと対比して0.5mmまたは2.0mmとすることがある。この決定された時刻において、点606の位置の輪郭は非常に滑らかであることがあり、また平滑度関連の低減係数はわずか0.1mmであることがある。この低減係数0.1mmを最初に割り当てられた1mmから差し引くことによって0.9mmの許容移動量が得られる。この決定された時刻において、対象点606は法線904に沿って外方に0.9mmだけ移動する。決定された別の時刻、あるいは点606の移動の反復において、この輪郭は点606の位置でより尖鋭であることがあり、また低減係数0.8が算出されることがある。この反復では、点606は法線904に沿って外方に(1−0.8)=0.2mmだけ移動する。対象点の位置における輪郭ボリューム402の平滑度の計測値は、対象点に割り当てられた初期移動量から対象点の移動を制限するために適用される低減係数と関連付けされることがある。
対象点606が法線904に沿って移動すると、点606は周囲の近傍点に対して引っ張り力を作用させ、これによりこれら近傍点をそのそれぞれの対象スライス内で同様に外方に移動させることがある。点606が図7の矢印Aの方向に移動する際に近傍点618に対して許容させる移動量は、図8に記載したような近傍対象点を伴う対象点606において確定した輪郭の平滑度によって決定される。近傍対象点に対して許容させる移動量は、本明細書に記載したような低減規則による制限を受けることがある。
第2種の低減規則は、点606の外方への移動を制限しており、点606の局所的エリア内に潜在する画像情報の使用と関連している。画像情報を使用して、対象426の実際の輪郭への対象点606の接近度が決定されることがある。対象点606が対象426の輪郭上に位置している場合、対象点606は移動させるべきでない。画像情報には、グレイレベル変化、変化の傾斜、局所統計値、テクスチャ計測値及び強度などの対象データの変化に関する計測値を含むことがある。こうした計測値から低減係数が導き出されることがある。例えば、対象点606の近くのグレイレベルが対象426の境界を示唆するように劇的に変化している場合、このグレイレベル変化に対して大きな低減係数(例えば0.9または1.0mm)を関連付けすることがある。このケースでは、対象点606は、移動の許容が非常にわずか(1−0.9=0.1mm)であるか、あるいは全く許容されない(1−1=0mm)。
低減係数は、本明細書に記載した第1及び第2種の規則によって計算する、すなわち関連付けすることがある。対象点を移動させる際に、その対象点の位置における輪郭の平滑度、並びにこの対象点の局所域内に潜在する画像情報に基づいた低減係数によって対象点の動きを制限することがある。その輪郭が極めて滑らかでありかつその画像情報が対象点の近くに対象境界が全く存在しないことを示唆している場合、この対象点は全許容距離(例えば、1mm)移動することが許容されることがある。別法として、その輪郭が尖鋭であるかつ/またはその画像情報がその対象点が対象境界の位置にあることを示唆している場合、その対象点は非常にわずかしか移動させないか、全く移動させないことがある。
図10は、ボリュメトリック・データ組(VDS)400を切り出すための例示的な一方法を表した流れ図1000である。1002では、対象データと該対象データの近傍にある非対象データとを伴うVDS400が取得される。図4の例では、その対象データは、非対象データによって取り囲まれた対象426を規定している。1004では、VDS400の基準スライス410及び411並びに対象スライス412〜416は、対象426の中心(図4)を含みかつ該中心を通過することがある基準軸406により、かつ該基準軸406を基準として規定されている。基準スライス410及び411並びに対象スライス412〜416は基準軸406に沿って互いに交差すると共に、この基準軸406を包含している。1006では、基準軸406と直角でありかつ該基準軸406に沿ったある深度にある面404が選択される。面404は基準スライス及び対象スライス410〜416と交差し、これにより直交切り出し面404の内部で基準線424及び対象線427を規定する。
1008において本方法は、各基準線424上で、対象426の輪郭の近似となっているが対象426の輪郭内部にあるような、対象426の相対する辺縁上にその各々がある1対の基準点を見つけ出す。任意選択では、これらの基準点は、基準スライス410のデータ内容に基づいて自動的に決定されることがある。別法として、基準スライス410は、マウス、トラックボール、タッチスクリーン、その他を用いて基準点を手作業で指定するユーザに対して提示されることがある。1010では、本方法は次いで、直交切り出し面404内に位置しているが対象426の輪郭内部にあるような対象426の滑らかな輪郭線408を推定する。この推定輪郭線408は基準点602及び610(図6)を通過しており、またこれら基準点602及び610に基づいて、この推定輪郭線408は対象スライス412〜416の対象線と交差し、対応した推定対象点604、606及び608を決定している。この推定輪郭は、切断面404によって決定された深度で、かつ対象426の真の輪郭内部に位置している。本方法は1012において、直交する切断面によるVDS400の切り出し、並びに対象426の推定輪郭の形成が完了したか否かを判定する。
切り出しは、所定の数の直交切断面によって基準軸406に沿ってVDS400全体を切り出し、各切断面と関連付けされた基準点602及び610並びに対象点604、606及び608を含む輪郭点624が得られた時点で完了とすることがある。切り出しが完了していない場合は、処理は1012から1006に戻り、VDS400の切り出しのための別の切断面が選択される。切り出しが完了している場合は、1014において、各切断面内の滑らかな推定輪郭を対象426の実際の輪郭に向かって外方に成長させる反復過程を開始する。境界調整ユニット(例えば、図2のボリューム・レンダリング・プロセッサ212)によって、対象426の実際の境界点と実質的に対応するようになるまで境界点624を外方に調整する。第1の反復は、推定輪郭のすべてに関する境界点624が外方に成長することを許容することによって実行される。各境界点624は、当該点の輪郭に対する法線に沿って外方にある制限された距離だけ移動するように選択されることがある。ある点が1回の動作で移動できる最大距離は、ある所定の量(例えば、1mm)に制限されている。境界点624の移動は、関連付けされた対象スライスの内部に来ているように制約を受ける。
しかし、各境界点624に対して許容される外方成長の量は、1組の低減係数だけ所定の初期量から調整を受けることがある。境界点624は、低減規則/低減係数の制約の域内で外方に成長することが許容される。したがって例えば、ある点は、当初は移動量1mmが割り当てられているが、低減係数が0.3であるため1.0−0.3=0.7mmしか移動しないことがある。ある点の外方への成長によってさらに、周囲の近傍点も同様に外方に引っ張られる。ある直交切り出し片に関連する境界点624を外方に成長させた後、外方成長させる境界点624の別の切り出し片が選択される。境界点を外方に成長させる過程は、境界点のすべての切り出し片を成長させ終わるまで継続される。境界点624の成長に関する1回の行程が完了した時点で、本方法は1016において、低い全体成長量または移動量に関する何らかの基準に基づき、当該切り出し片に関して別の成長反復を実施すべきか否かを判定する。
一実施形態では、境界点624の成長は、境界点624のうち所定のわずかな数または比率しか移動しなくなった時点で完了させている。別の実施形態では、境界点624のうちある所定の少ない数または比率がある所定のわずかな量の範囲でしか移動しなくなった時点で成長を完了させることがある。さらに別の代替的な実施形態では、すべての境界点624に対する移動レートがある所定の値未満になった時点で成長を完了させることがある。1016において境界点624の外方成長が完了したと判定されたら、境界点624によって形成させて得られた3D輪郭ボリューム402によって対象426が実質的にモデル化される。
上では、診断用超音波システムの例示的な実施形態について詳細に記載した。本システムは、本明細書に記載した特定の実施形態に限定されるものではなく、むしろ、各システム構成要素は本明細書に記載した別の構成要素と独立にまた個別に利用されることもある。各システム構成要素は別のシステム構成要素と組み合わせて使用することも可能である。
本発明を、具体的な様々な実施形態に関して記載してきたが、当業者であれば、本発明が本特許請求の範囲の精神及び趣旨の域内にある修正を伴って実施できることを理解するであろう。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。
本発明の一実施形態に従って形成した超音波システムのブロック図である。 本発明の代替的な実施形態に従って形成した超音波システムのブロック図である。 図1に示した超音波システムによって収集される対象の例示的な走査の図である。 対象を含むと共に本発明の一実施形態に従ってスライス切断したボリュメトリック・データ組の斜視図である。 対象を通る様々な深度で取得した図4のボリュメトリック・データ組を切る一連のスライスの上面図である。 図4の対象の輪郭を推定している切断面と該切断面内部の点の上面図である。 図6の隣接するスライス内部にある近傍点を表した斜視図である。 図7の1つの点に接続させた近傍点を示した斜視図である。 図8の1つの点と2つの近傍点との間で形成される角度を表した図である。 対象のボリュメトリック・データ組を切り出すための例示的な方法の流れ図である。
符号の説明
100 超音波システム
102 送信器
104 トランスジューサ素子
106 アレイ状トランスジューサ
108 受信器
110 ビーム形成器
112 RFプロセッサ
114 RF/IQバッファ
116 信号プロセッサ
118 表示システム
122 画像バッファ
200 超音波システム
201 アレイ状トランスジューサ
202 メモリ
203 送信器
204 走査面
205 受信器
206 スライス抽出ユニット
207 超音波ボリューム
210 切り出しユニット
212 ボリューム表示プロセッサ
214 ビデオ・プロセッサ
216 ディスプレイ
300 例示的走査
302 超音波
304 関心対象ボリューム
306 関心対象
400 ボリュメトリック・データ組
402 輪郭ボリューム
404 直交切断面
406 基準軸
410 基準スライス
411 基準スライス
412 対象スライス
414 対象スライス
416 対象スライス
420 対象の中心
422 深度
424 基準線
426 対象
427 対象線
502 切断面
504 輪郭
506 切断面
508 輪郭
510 切断面
512 輪郭
514 切断面
516 輪郭
602 基準点
604 境界点
606 境界点
608 境界点
610 基準点
612 推定輪郭の対象点
614 推定輪郭の対象点
616 推定輪郭の対象点
618 推定輪郭の対象点
620 推定輪郭の対象点
622 推定輪郭の対象点
624 境界点
700 近傍点
702 推定輪郭
704 推定輪郭
902 角度
904 法線
906 接線

Claims (10)

  1. 対象(426)に対する3次元(3D)切り出しのためのシステム(100、200)であって、
    その内部を通過して延びる基準軸(406)を有する対象データと該対象データの近傍にある非対象データとを包含するボリュメトリック・データ組(400)を保存(1002)しているメモリ(202)と、
    前記ボリュメトリック・データ組(400)の内部で少なくとも1つの基準スライス(410、411)及び複数の対象スライス(412、414、416)を規定(1004)している処理ユニット(206)であって、該基準スライス(410、411)と該対象スライス(412、414、416)は前記基準軸(406)に沿って互いに交差しかつ前記基準軸(406)を包含しており、該処理ユニット(206)は該基準スライス(410、411)の内部において前記対象データの辺縁位置にある基準点(602、610)を決定(1008)している処理ユニット(206)と、
    前記基準点(602、610)に基づいて前記基準スライス(410、411)及び対象スライス(412、414、416)を通過して延びる推定輪郭(408)を生成(1010)している輪郭推定器(210)であって、該推定輪郭(408)は前記対象スライス(412、414、416)と交差して各対象スライス(412、414、416)内で推定輪郭点(604、606、608)を規定している輪郭推定器(210)と、
    対象データの実際の輪郭点と実質的に対応するようになるまで前記推定輪郭点(604、606、608)を調整(1014)している輪郭調整ユニット(210)と、
    を備えるシステム(100、200)。
  2. 前記輪郭調整ユニット(210)は、第2の対象スライス(416)内での推定輪郭点(608)と実際の輪郭点の間の差に基づいて第1の対象スライス(414)内の前記推定輪郭点(606)を調整(1014)している、請求項1に記載のシステム(100、200)。
  3. 前記処理ユニット(206)は直交する基準スライス(410、411)を規定し、かつ該直交する基準スライス(410、411)のそれぞれにおいて1対の基準点(602、610)を決定している、請求項1に記載のシステム(100、200)。
  4. 前記処理ユニット(206)、輪郭推定器(210)及び輪郭調整ユニット(210)は、前記基準スライス(410、411)及び対象スライス(412、414、416)の内部の前記基準軸(406)と平行に延びる方向にある複数の深度(422)において、前記規定(1004)、決定(1008)、生成(1010)及び調整(1014)の動作を反復している、請求項1に記載のシステム(100、200)。
  5. 前記輪郭調整ユニット(210)は、1回の動作で推定輪郭点(604、606、608)を調整(1014)する量に関して制限を確立している、請求項1に記載のシステム(100、200)。
  6. 前記推定輪郭点(604、606、608)は、前記実際の輪郭点と実質的に対応するようになるまで反復式に調整(1014)されている、請求項1に記載のシステム(100、200)。
  7. 前記輪郭調整ユニット(210)は、前記推定輪郭(408)と直交する線(904)に基づいて前記推定輪郭点(606)を調整(1014)しようとする方向を決定(1014)している、請求項1に記載のシステム(100、200)。
  8. 前記輪郭調整ユニット(210)は、前記推定輪郭点(604、606、608)を調整(1014)するために各対象スライス(412、414、416)ごとに第1の距離を決定(1014)すると共に、対象データ及び前記推定輪郭(408)に関する平滑度(900)に基づいて該第1の距離を低減させている、請求項1に記載のシステム(100、200)。
  9. 前記輪郭調整ユニット(210)は、前記推定輪郭(408)に関する傾斜特性、局所統計値、テクスチャ計測値、及び平滑度(900)のうちの少なくとも1つに基づいて前記推定輪郭点(604、606、608)を調整(1014)する量を低減させている、請求項1に記載のシステム(100、200)。
  10. 前記輪郭調整ユニット(210)は、前記推定輪郭点(604、606、608)のうちのある所定の比率が調整反復の間に移動しなくなるまで、前記推定輪郭点(604、606、608)を反復式に調整(1014)している、請求項1に記載のシステム(100、200)。
JP2005243685A 2004-08-27 2005-08-25 超音波画像を3d切り出しするための方法及びシステム Active JP5265849B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/927,827 2004-08-27
US10/927,827 US7428334B2 (en) 2004-08-27 2004-08-27 Methods and systems for 3D segmentation of ultrasound images

Publications (2)

Publication Number Publication Date
JP2006061697A true JP2006061697A (ja) 2006-03-09
JP5265849B2 JP5265849B2 (ja) 2013-08-14

Family

ID=35907064

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005243685A Active JP5265849B2 (ja) 2004-08-27 2005-08-25 超音波画像を3d切り出しするための方法及びシステム

Country Status (3)

Country Link
US (1) US7428334B2 (ja)
JP (1) JP5265849B2 (ja)
FR (1) FR2874723B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610877B1 (ko) 2014-04-28 2016-04-21 주식회사 웨이전스 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714855B2 (en) * 2004-05-17 2010-05-11 Siemens Medical Solutions Usa, Inc. Volume rendering processing distribution in a graphics processing unit
EP1854068A4 (en) * 2005-02-17 2011-09-21 Agency Science Tech & Res METHOD AND APPARATUS FOR EDITING THREE DIMENSIONAL IMAGES
US7852335B2 (en) * 2005-05-09 2010-12-14 Siemens Medical Solutions Usa, Inc. Volume rendering processing distribution in a graphics processing unit
EP1892671A3 (en) * 2006-08-23 2009-07-29 Medison Co., Ltd. System and method for determining the volume of an object by image processing
US7889912B2 (en) * 2006-09-15 2011-02-15 The General Electric Company Method for real-time tracking of cardiac structures in 3D echocardiography
JP2009028366A (ja) * 2007-07-27 2009-02-12 Toshiba Corp 超音波診断装置
US8098909B2 (en) * 2007-08-31 2012-01-17 Computerized Medical Systems, Inc. Method and apparatus for efficient three-dimensional contouring of medical images
JP5637653B2 (ja) * 2008-08-18 2014-12-10 株式会社東芝 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
DE102008055132A1 (de) * 2008-12-23 2010-07-01 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zum Navigieren in einem mehrdimensionalen Bilddatensatz
US8265363B2 (en) * 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset
JP2010264148A (ja) * 2009-05-18 2010-11-25 Ge Medical Systems Global Technology Co Llc スライス決定装置、磁気共鳴イメージング装置、スライス設定方法、およびプログラム
CN102081697B (zh) * 2009-11-27 2013-12-11 深圳迈瑞生物医疗电子股份有限公司 一种在超声成像空间中定义感兴趣容积的方法及其装置
US8798342B2 (en) * 2011-05-10 2014-08-05 General Electric Company Method and system for ultrasound imaging with cross-plane images
US8867806B2 (en) 2011-08-01 2014-10-21 Impac Medical Systems, Inc. Method and apparatus for correction of errors in surfaces
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
US9770216B2 (en) 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
AU2015283946B2 (en) 2014-07-02 2019-09-12 Covidien Lp Real-time automatic registration feedback
JP6434532B2 (ja) 2014-07-02 2018-12-05 コヴィディエン リミテッド パートナーシップ 気管を検出するためのシステム
WO2016004030A1 (en) 2014-07-02 2016-01-07 Covidien Lp System and method for segmentation of lung
US9754367B2 (en) 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US20160000414A1 (en) 2014-07-02 2016-01-07 Covidien Lp Methods for marking biopsy location
US10643371B2 (en) 2014-08-11 2020-05-05 Covidien Lp Treatment procedure planning system and method
JP6382050B2 (ja) * 2014-09-29 2018-08-29 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
US10986990B2 (en) 2015-09-24 2021-04-27 Covidien Lp Marker placement
US10709352B2 (en) 2015-10-27 2020-07-14 Covidien Lp Method of using lung airway carina locations to improve ENB registration
KR101963358B1 (ko) * 2016-05-10 2019-03-28 (주)바텍이우홀딩스 3차원 두부 영상 정렬 장치 및 방법
WO2019045737A1 (en) 2017-08-31 2019-03-07 General Electric Company CODING VOLUMETRIC DATA TO SUPPORT THE DELIVERY OF TRUSTED TRANSACTIONS
US11224392B2 (en) 2018-02-01 2022-01-18 Covidien Lp Mapping disease spread

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226673A (ja) * 1985-03-30 1986-10-08 Shimadzu Corp 断層撮影装置
JPH04183446A (ja) * 1990-11-19 1992-06-30 Res Dev Corp Of Japan 画像合成による手術支援システム
JPH06233765A (ja) * 1992-12-24 1994-08-23 London Health Assoc Owner & Operator Of Univ Hospital 3次元超音波画像処理システム
JPH11221219A (ja) * 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2000023984A (ja) * 1998-03-30 2000-01-25 Tomtec Imaging Syst Gmbh 超音波画像を収集する方法及び装置
JP2000107183A (ja) * 1998-09-30 2000-04-18 Matsushita Electric Ind Co Ltd 臓器容積計測方法および装置
JP2001137241A (ja) * 1999-09-09 2001-05-22 Medison Co Ltd 超音波映像装置
US6385332B1 (en) * 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2002306480A (ja) * 2001-04-12 2002-10-22 Toshiba Corp 画像処理装置及びその方法
JP2003175042A (ja) * 2001-12-12 2003-06-24 Olympus Optical Co Ltd 超音波画像診断装置
JP2003265475A (ja) * 2002-03-19 2003-09-24 Toshiba Medical System Co Ltd 超音波診断装置、画像処理装置、及び画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5540229A (en) * 1993-09-29 1996-07-30 U.S. Philips Cororation System and method for viewing three-dimensional echographic data
US6785409B1 (en) * 2000-10-24 2004-08-31 Koninklijke Philips Electronics, N.V. Segmentation method and apparatus for medical images using diffusion propagation, pixel classification, and mathematical morphology
US6878115B2 (en) * 2002-03-28 2005-04-12 Ultrasound Detection Systems, Llc Three-dimensional ultrasound computed tomography imaging system
US6824517B2 (en) * 2002-06-25 2004-11-30 Koninklijke Philips Electronics N.V. Ultrasound quantification in real-time using acoustic data in more than two dimensions
US7388973B2 (en) * 2004-06-01 2008-06-17 General Electric Company Systems and methods for segmenting an organ in a plurality of images

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226673A (ja) * 1985-03-30 1986-10-08 Shimadzu Corp 断層撮影装置
JPH04183446A (ja) * 1990-11-19 1992-06-30 Res Dev Corp Of Japan 画像合成による手術支援システム
JPH06233765A (ja) * 1992-12-24 1994-08-23 London Health Assoc Owner & Operator Of Univ Hospital 3次元超音波画像処理システム
JPH11221219A (ja) * 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd 超音波診断装置
JP2000023984A (ja) * 1998-03-30 2000-01-25 Tomtec Imaging Syst Gmbh 超音波画像を収集する方法及び装置
JP2000107183A (ja) * 1998-09-30 2000-04-18 Matsushita Electric Ind Co Ltd 臓器容積計測方法および装置
US6385332B1 (en) * 1999-02-19 2002-05-07 The John P. Roberts Research Institute Automated segmentation method for 3-dimensional ultrasound
JP2001137241A (ja) * 1999-09-09 2001-05-22 Medison Co Ltd 超音波映像装置
JP2002306480A (ja) * 2001-04-12 2002-10-22 Toshiba Corp 画像処理装置及びその方法
JP2003175042A (ja) * 2001-12-12 2003-06-24 Olympus Optical Co Ltd 超音波画像診断装置
JP2003265475A (ja) * 2002-03-19 2003-09-24 Toshiba Medical System Co Ltd 超音波診断装置、画像処理装置、及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101610877B1 (ko) 2014-04-28 2016-04-21 주식회사 웨이전스 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법

Also Published As

Publication number Publication date
US20060056690A1 (en) 2006-03-16
JP5265849B2 (ja) 2013-08-14
FR2874723B1 (fr) 2011-11-04
US7428334B2 (en) 2008-09-23
FR2874723A1 (fr) 2006-03-03

Similar Documents

Publication Publication Date Title
JP5265849B2 (ja) 超音波画像を3d切り出しするための方法及びシステム
KR101140525B1 (ko) 촬상 영역 확장 방법
KR100686289B1 (ko) 대상체 영상의 윤곽내 볼륨 데이터를 이용하는 3차원초음파 영상 형성 장치 및 방법
US8715189B2 (en) Ultrasonic diagnosis apparatus for setting a 3D ROI using voxel values and opacity
US6824517B2 (en) Ultrasound quantification in real-time using acoustic data in more than two dimensions
EP2016905B1 (en) Ultrasound diagnostic apparatus
KR101121289B1 (ko) 영상 파라미터를 설정하는 초음파 시스템 및 방법
US11937975B2 (en) Multi-frequency mapping catheter and method of mapping
JP2004313651A (ja) 超音波診断装置
JP2006061698A (ja) 関心領域を指示するためのユーザ対話式の方法
JP6576947B2 (ja) 鏡面反射体を追跡するための超音波画像化システムおよび方法
JP2020527080A (ja) 胎児超音波画像処理
KR101097607B1 (ko) 스캔 각도, 스캔 깊이 및 스캔 속도를 설정하는 초음파 시스템 및 방법
JP4831539B2 (ja) C面ボリューム複合イメージングのための方法及び装置
JP4831538B2 (ja) 多数の強調画像を提示する方法
EP1419737B9 (en) Ultrasonic diagnostic apparatus
JP7061232B6 (ja) 超音波画像の取得をガイドするためのシステム及び方法
EP1952359A1 (en) System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
EP3820374B1 (en) Methods and systems for performing fetal weight estimations
JP2022524360A (ja) 合成3d超音波画像を取得するための方法及びシステム
US11559280B2 (en) Ultrasound imaging system and method for determining acoustic contact
JP4373544B2 (ja) 超音波診断装置
JP2000300555A (ja) 超音波画像処理装置
JP6063525B1 (ja) 超音波診断装置及びプログラム
US11810294B2 (en) Ultrasound imaging system and method for detecting acoustic shadowing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080821

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130502

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5265849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250