JP2003190167A - 超音波診断装置 - Google Patents

超音波診断装置

Info

Publication number
JP2003190167A
JP2003190167A JP2001393151A JP2001393151A JP2003190167A JP 2003190167 A JP2003190167 A JP 2003190167A JP 2001393151 A JP2001393151 A JP 2001393151A JP 2001393151 A JP2001393151 A JP 2001393151A JP 2003190167 A JP2003190167 A JP 2003190167A
Authority
JP
Japan
Prior art keywords
interest
frame
unit
point
velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001393151A
Other languages
English (en)
Other versions
JP3734443B2 (ja
Inventor
Masahide Nishiura
正英 西浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2001393151A priority Critical patent/JP3734443B2/ja
Publication of JP2003190167A publication Critical patent/JP2003190167A/ja
Application granted granted Critical
Publication of JP3734443B2 publication Critical patent/JP3734443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 臓器組織の関心領域を2次元あるいは3次元
的に精度良く高速に追跡可能な超音波診断装置を提供す
る。 【解決手段】 被検体を走査する走査装置と、走査装置
で得られた走査信号から被検体の画像を生成する画像生
成装置と、走査装置で得られた走査信号から速度データ
を得る速度算出装置と、速度データに基づいて被検体の
注目地点の移動先の探索範囲を設定する探索範囲設定装
置と、被検体画像において関心領域の移動先を探索する
追跡装置とからなる。これにより被検体の関心領域の2
次元ないし3次元運動を精度良く高速に追跡でき、関心
領域の運動を正確にとらえることができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は超音波診断装置に関
する。
【0002】
【従来の技術】心臓病等の診断において、臓器組織の運
動を正確に測定することは重要である。このような目的
に対して、従来の超音波診断装置では、カラードップラ
ー法による速度検出が提案されている。
【0003】カラードップラー法は、運動する組織に向
けて発射した超音波ビームに対する受信エコー信号の、
ドップラー効果による運動速度に応じた波長の偏移(ド
ップラーシフト)を検出し、ドップラーシフトから算出
した当該組織の速度と運動の方向を色分けして表示する
技術である。
【0004】しかし、ドップラーシフトから算出可能な
速度成分は、超音波ビームの進行方向と同一の成分のみ
であり、超音波ビームの進行方向に対して垂直な速度成
分は測定不能である。図11は超音波で心臓をスキャン
して得られた画像である。扇形の領域1101はスキャ
ン範囲で、扇形の中心から半径方向に伸びている破線1
103は、心臓組織のある地点の速度を検出する際に放
出した超音波ビームの進行方向である。図11のように
超音波ビームで心臓1102をスキャンして速度を検出
しようとした場合、心臓組織の実際の運動方向が矢印1
105方向であったとしても、検出されるドップラー速
度は矢印1104方向の超音波信号の進行方向の速度成
分である。従って、超音波ビームに対して垂直方向に運
動する組織は、あたかも運動していないように見えてし
まう。つまり、測定される速度値が超音波ビームと組織
の運動方向の関係に依存するという問題がある。
【0005】これに対して特開平6−114059号公
報では、プローブの開口を2領域に分割し、異なる角度
の超音波ビームを形成することで、本来の2次元速度ベ
クトルを得る方法や、組織の輪郭を抽出して運動方向を
仮定して速度ベクトルを推定する方法が開示されてい
る。
【0006】しかしながら、プローブの開口を2領域に
分割して形成した超音波ビームのなす角度の差は僅少で
あり、算出された速度ベクトルは誤差を含みやすいとい
う問題がある。また、推定された速度ベクトルも必ずし
も正しいとは限らない。
【0007】一方、特開2000−217818号公報
では、画像パターンにより心臓の弁輪部分をテンプレー
トマッチングで追跡する手法が提案されているが、特徴
の不明瞭な部位では追跡の精度が劣り、また複数の部位
を同時に追跡するためには多くの処理時間を要するとい
う問題があった。
【0008】
【発明が解決しようとする課題】従来の超音波診断装置
では、人体の組織や臓器の運動を正確に調べると演算量
が膨大になり処理時間を多く必要としていた。また、特
徴的な形状を目印に追跡を行うために、特徴に乏しい点
を追跡する場合は、追跡の精度が悪くなるという問題も
あった。
【0009】本発明では、臓器組織の任意の領域を2次
元ないし3次元的に精度良くかつ高速に追跡でき、2次
元ないし3次元速度を精度良くかつ高速に求めることが
できる超音波診断装置を提供することにある。
【0010】
【課題を解決するための手段】上記課題を解決するた
め、本発明の超音波診断装置は、被検体に超音波ビーム
を発射してエコー信号を受信する走査部と、前記エコー
信号からフレーム単位の被検体画像を順次生成して出力
する画像生成部と、前記エコー信号の周波数偏移を検出
して被検体各点の超音波ビーム進行方向成分の速度であ
るドップラー速度を検出する速度検出部と、前記被検体
画像及び被検体各点の前記ドップラー速度を順次記憶し
ておくフレームメモリと、第Nフレーム(Nは自然数)
内の被検体各点の移動先を第N+nフレーム(N、nと
もに自然数)内で探索して移動先の座標データを求める
探索部と、前記被検体画像を表示する表示部と、前記移
動先の座標データを外部に順次出力する運動情報出力部
とを有し、前記探索部は、前記第N+nフレーム内での
移動先の探索を行う範囲を、第Nフレームの被検体各点
について検出した前記ドップラー速度によって限定され
る領域に設定することを特徴とする。
【0011】さらに、本発明の超音波診断装置は、第N
フレームの被検体各点の座標データとこれらの移動先の
座標データを用いて第Nフレーム目の被検体各点におけ
る速度ベクトルを算出する速度ベクトル算出部を有し、
前記運動情報出力部は前記速度ベクトルを外部に順次出
力することを特徴としてもよい。
【0012】本発明によれば、被検体各点を追跡して速
度ベクトルを検出する際に、探索範囲を限定することが
可能なために少ない演算量で探索が行えるので、速度ベ
クトル検出の精度を維持しつつ処理を高速化することが
できる。
【0013】
【発明の実施の形態】図8は本発明の第1の実施形態乃
至第3の実施形態の超音波診断装置の主な機能とそれを
実現するための主な処理を説明する流れ図である。各実
施形態ごとの機能及び詳細な構成等に関してはそれぞれ
の実施形態の説明時に行う。本発明の特徴的な点は、フ
レーム間でのブロックマッチングにより心臓組織各点の
移動先を求める際に、エコー信号のドップラーシフトか
ら求まるドップラー速度を利用してブロックマッチング
による探索範囲を設定して行っている点である。これに
より、心臓組織各点の高精度な追跡と高速処理を両立す
ることができる。また、各点の追跡を高精度かつ高速に
行えるので、各点の速度ベクトルも精度を高く維持しつ
つ高速に求めることが可能となっている。
【0014】(第1の実施形態)図1は本発明の第1の
実施形態の超音波診断装置の構成を表すブロック図であ
る。本実施形態の超音波診断装置は心臓を撮像し、心臓
組織各部分の運動の大きさ(速度)に応じて色付けを行
ったカラーコーディング画像を表示する装置である。
【0015】本実施形態の超音波診断装置は、(1)心
臓組織のBモード画像の取得及び心臓組織各点の超音波
ビームの進行方向成分の速度(ドップラー速度)の検出
のために心臓組織に超音波ビームを発射してエコー信号
を受け取る処理と、(2)エコー信号からBモード画像
を取得する処理と、(3)エコー信号のドップラーシフ
トを検出して心臓組織各点のドップラー速度を求める処
理と、(4)ブロックマッチングで心臓組織各点の移動
先の座標を求め、移動ベクトルを求める処理と、(5)
心臓組織各点の速度ベクトルを求めて速度ベクトルに応
じた色を割り当てたカラーコーディング画像を生成し
て、これをBモード画像に重ねて表示する処理とを行
う。
【0016】上記処理を行うために、本実施形態の超音
波診断装置は超音波ビームの送受信を行う超音波プロー
ブ101と、プローブの駆動と得られたエコー信号を処
理するプローブ駆動・エコー信号処理部102と、エコ
ー信号からBモード画像生成するBモード用DSC(デ
ジタルスキャンコンバータ)部103とを有する。本装
置はさらに、エコー信号から心臓組織各部分のドップラ
ー速度を検出する速度検出部105と、Bモード画像及
び画像のフレーム番号及びドップラー速度を順次蓄積す
るフレームメモリ104と、得られた速度をもとに心臓
組織各点の次フレームにおける移動先の座標を求める探
索部106と、得られた座標をもとに速度ベクトルを求
めて、心臓組織各点の速度ベクトルの方向と大きさに応
じて色を割り当てたカラーコーディング画像を生成する
解析部107と、本装置の使用者から命令を受けるため
のインターフェースであるグラフィカルインターフェー
ス(GUI)を生成し、カラーコーディング画像とBモ
ード画像をGUI上に合成して出力する制御部108
と、速度検出スキャン範囲を決定・制御する速度スキャ
ン範囲設定部109と、制御部108から出力されたG
UIを画面に表示する表示部110から構成される。
【0017】超音波プローブ101はプローブ駆動・エ
コー信号処理部102からの駆動信号によって駆動され
るトランスデューサーを内蔵する。トランスデューサー
は駆動信号を受けて超音波信号を心臓に向けて発する。
心臓組織各部分によって反射された超音波信号はトラン
スデューサーが受信して電気信号(エコー信号)に変換
する。
【0018】超音波プローブ101のトランスデューサ
ーは短冊状の複数の圧電振動子を一列に配列した構成に
なっている。各圧電振動子はプローブ駆動・エコー信号
処理部102からの駆動信号によって振動して超音波信
号を発生させる。短冊状の複数の圧電振動子各々に対す
る各駆動信号の遅延時間を制御することにより、超音波
信号の発射方向を変えられるようになっていて、スキャ
ン方向を自在に変えることができる。
【0019】プローブ駆動・エコー信号処理部102
は、超音波プローブ101を制御して、画像取得スキャ
ンと速度検出スキャンの2回のスキャンを1セットにし
て行わせる。2回のスキャンはいずれも2次元スキャン
(人体組織の断層スキャン)を行う。そして、超音波プ
ローブ101から戻ってきたそれぞれのエコー信号に対
して検波処理を施す。そして、Bモード用DSC部10
3には画像取得用エコー信号とフレーム番号(1セット
のスキャンで得られる1フレームの画像ごとに付するフ
レーム番号N)を、速度検出部105には速度検出用エ
コー信号とフレーム番号Nを出力する。
【0020】プローブ駆動・エコー信号処理部102は
超音波プローブ101を制御して、1セットのスキャン
を一定の時間間隔Δt毎に開始するように動作させる。
【0021】速度検出スキャンは画像取得スキャンより
も狭い範囲のスキャンなので、プローブ駆動・エコー信
号処理部102は、速度スキャン範囲設定部109から
本装置の使用者が指定した速度スキャン範囲の中心点の
座標データを読み出して、超音波プローブ101へ出力
する駆動信号の遅延時間の制御を変更して速度検出スキ
ャン範囲を変更する。後述の通り、本装置の使用者はポ
インティングデバイスを用いて速度検出スキャン範囲を
変える事ができる。
【0022】プローブ駆動・エコー信号処理部102は
スキャンして得られたエコー信号に対しても、駆動信号
に施した遅延時間制御に対応する遅延処理を施して、ス
キャン方向に超音波ビームを絞って放出した際に得られ
るエコー信号と等価なエコー信号に変換する。
【0023】Bモード用DSC部103は、画像取得ス
キャンで得られたエコー信号を画像に変換する。本実施
形態の超音波診断装置はセクタスキャンを行うので、エ
コー信号から得られる心臓組織各点の情報はプローブ位
置を中心とする扇形の半径方向を1行とし、角度方向を
列とする2次元配列に格納される。そこで、通常のテレ
ビと同じ画像(Bモード画像)になるように、情報を並
べ替えてBモード画像に変換する。Bモード用DSC部
103は、Bモード画像とフレーム番号Nをフレームメ
モリ104に出力して順次記憶させる。
【0024】一方、速度検出部105は速度検出スキャ
ンで得られたエコー信号のドップラーシフトを検出し
て、心臓組織各点のドップラー速度を求め、フレームメ
モリ104に順次記憶させる。
【0025】速度検出部105は、速度スキャン範囲設
定部109から関心速度帯を読み込んで関心速度帯に応
じたフィルタを選択し、エコー信号に対してフィルタを
かけて所定の範囲の大きさの速度成分を効率よく検出で
きるようにする。心臓を診断対象とする場合、運動速度
は「心筋<弁<血流」であるから、心筋の運動情報を調
べる際にはローパスフィルタをかけ、血流を調べる際に
はハイパスフィルタをかければよい。さらに速度検出部
105は、フィルタを通したエコー信号に対してFFT
(高速フーリエ変換)や自己相関法等の周波数解析を行
って平均速度、分散値、最大速度などを計算する。計算
した心臓組織各点のドップラー速度のデータをフレーム
メモリ104に出力する。
【0026】探索部106では、フレームメモリ104
に蓄積された連続する2フレーム(Nフレーム目とN+
1フレーム目)のBモード画像間で、ブロックマッチン
グ処理を用いて速度検出スキャン範囲内の心臓組織各部
分の移動先の座標を調べて移動ベクトルを求める。ただ
し、Nフレーム目及びN+1フレーム目に関してBモー
ド画像の取得とドップラー速度の検出の両方が完了し
て、フレームメモリ104にBモード画像及びドップラ
ー速度が蓄積されていない場合は処理を中断して蓄積さ
れるまで待機する。
【0027】探索部106は、ブロックマッチング処理
に先立って、フレームメモリ104から読み込んだNフ
レーム目の速度検出スキャン範囲内の心臓組織各部分の
ドップラー速度と、所定のフレーム間時間間隔Δtか
ら、速度検出スキャン範囲内の心臓組織各部分につい
て、N+1フレーム目におけるブロックマッチングの探
索範囲を設定する。
【0028】ブロックマッチングの探索範囲の設定方法
を図2を用いて説明する。図2は速度検出スキャン範囲
内の心臓組織のある点(注目地点)が線分abを通る超
音波信号で速度検出スキャンされる場合の図である。時
刻tにおいて、注目地点のドップラー速度の大きさがv
だったとすると、時刻t+Δtにおける注目地点の存在
位置は注目地点から超音波信号の進行方向にΔL=v・
Δt移動した点を通り、超音波信号の進行方向(図2の
線分ab)に垂直な線上(図2の線分cd)の「どこ
か」にあると予測することができる(予測移動領域)。
従って、探索部106は、Nフレーム目(時刻t)にお
ける注目地点のドップラー速度がvである場合、N+1
フレーム目(時刻t+Δt)では、Nフレーム目の注目
地点から超音波信号の進行方向にΔL=v・Δt移動し
た点を通る超音波信号の進行方向に対する垂線を予測移
動領域に設定し、この垂線を探索領域に設定する。尚、
本実施例ではドップラー速度vは、速度検出部105で
求めたドップラー速度のデータのうち、平均速度を用い
るものとする。
【0029】探索範囲を設定した後、注目地点の移動先
の座標を調べるために、探索部106はフレームメモリ
104からNフレーム目の画像とN+1フレーム目の画
像を読み込む。そして、Nフレーム目の注目地点周辺の
画像と、N+1フレーム目に関して設定された探索範囲
の画像との間でマッチングを行う。
【0030】図5は実際のマッチングを説明する図であ
る。領域fはNフレーム目の注目地点を中心としたa×
b画素の大きさの領域である。領域gはN+1フレーム
目の探索範囲内の探索対象点を中心としたa×b画素の
大きさの領域である。図5に示すように、領域fと領域
gとでブロックマッチングを行う。ブロックマッチング
は、領域fと、探索範囲内の全探索対象点について抽出
した領域g相当の領域との間で行い、数1の式で計算さ
れる相互相関値Cが最も高くなる点を探すことで行う。
【0031】
【数1】
【0032】本実施形態ではa=b=16とする。尚、本
実施形態では輝度値の相互相関値を用いる例を示した
が、輝度値の差分絶対値和を用いる方法等、一般にパタ
ーンマッチングやブロックマッチングに利用される方法
を用いることができる。
【0033】探索部106は、上記のブロックマッチン
グをNフレーム目の速度検出スキャン範囲内の心臓組織
各部分について行って、速度検出スキャン範囲内の心臓
組織各部分の移動先の座標を求める。移動元の座標と求
めた移動先の座標から移動ベクトルを計算して、求めた
移動ベクトル全てとフレーム番号Nを解析部107へ出
力する。
【0034】解析部107では、探索部106で求めた
移動ベクトルをフレーム間時間間隔Δtで除して、速度
検出スキャン範囲内の心臓組織各部分の速度ベクトルを
求める。そして、速度検出スキャン範囲内の心臓組織各
部分毎に求められた速度ベクトルを、ベクトルの大きさ
と方向に応じた色相に変換したカラーコーディング画像
を生成し、フレーム番号Nとともに制御部108へ出力
する。
【0035】制御部108は、CPUとメモリを内蔵
し、ポインティングデバイスからの入力を受け、本装置
の使用者が本装置の設定を行うためのインターフェース
であるグラフィカルユーザーインターフェース(GU
I)を生成し、ポインティングデバイスのポインタとと
もに表示する。GUI上には速度スキャン範囲設定部1
09から読み出した関心速度帯の情報が表示されてい
る。制御部108は、解析部107から出力されたフレ
ーム番号Nに対応するBモード画像をフレームメモリ1
04から読み込み、Bモード画像上に解析部107で生
成したカラーコーディング画像重ねた画像を生成する。
生成した画像は、N−1フレーム目の画像を表示してか
らフレーム間時間間隔Δt経過後に、GUI上に設けた
画像表示部分を更新して表示する。さらに制御部108
は、速度スキャン範囲設定部109から速度検出スキャ
ン範囲を読み込んで速度検出スキャン範囲を表す枠を生
成し、GUI上の画像表示部分に重ねて表示する。本装
置の使用者は、制御部108に接続されたポインティン
グデバイスを用いてこの枠を動かすことで、速度検出ス
キャン範囲をインタラクティブかつリアルタイムに設定
することができる。
【0036】制御部108は、枠の移動を検出した場合
は枠を新しく描画しなおすとともに、新たな枠に対応す
る速度検出スキャン範囲を計算して速度スキャン範囲設
定部109に出力する。
【0037】また、制御部108は、使用者がGUI上
で設定した関心速度帯を速度スキャン範囲設定部109
に出力する。
【0038】速度スキャン範囲設定部109は、制御部
108から入力された新たな速度検出スキャン範囲と関
心速度帯を記憶する。速度検出スキャン範囲の変更があ
った場合は、前述の通り、速度スキャン範囲設定部10
9はプローブ駆動・エコー信号検出部102に制御信号
を送って速度検出スキャン範囲の変更を反映させる。関
心速度帯に変更があった場合は、前述の通り、速度検出
部105に制御信号を送って関心速度帯の変更を反映さ
せる。
【0039】以上、本発明の第1の実施形態によれば、
ドップラー速度を用いてブロックマッチング処理を行う
範囲を限定しているので、従来より高速な速度検出処理
を行うことが可能である。
【0040】尚、本実施形態では、探索部106で設定
する探索範囲の形状は図2の線分cdのように線状であ
るが、ドップラー速度の誤差を考慮して予測移動領域に
幅を持たせて、図3のように探索範囲をΔLを中心とす
る長方形の領域で設定しても良い。このように設定すれ
ば、移動ベクトル及び速度ベクトルをより精度よく求め
ることができる。この場合、ドップラー速度の誤差は、
速度検出部105で求めたドップラー速度のデータのう
ち、分散値と最大速度を利用して決めればよい。
【0041】また、本実施形態ではセクタスキャンを用
いているので、フレームに超音波スキャンの範囲外の領
域も含まれている。そこで、図4のように、予測移動領
域と超音波による画像取得スキャン範囲が重なる範囲を
探索範囲として設定しても良い。このように設定すれ
ば、画像データのない領域に対する無駄なブロックマッ
チング処理を行わずに済むので、演算量を削減でき、高
速処理が可能となる。
【0042】さらに、本実施形態では断層スキャンを行
っているので予測移動領域は2次元形状であるが、超音
波プローブ101として2次元アレイ超音波プローブを
用いて心臓を3次元スキャンする場合は、探索部106
で予測する予測移動領域は超音波信号の進行方向に垂直
な面で定義される。従って、探索範囲は図6および図7
に示すように面もしくは誤差を考慮して3次元領域で設
定すれば良い。3次元領域としては図7に示した直方体
状領域だけでなく、円柱状領域を用いても構わない。
尚、3次元スキャンを行った場合は速度ベクトルを3次
元で求めることが可能になる。心臓は3次元立体構造で
あるから、心臓各部分の運動も3次元的である。よっ
て、3次元速度ベクトルを求めることができれば、より
正確な運動を調べることが可能である。
【0043】(第2の実施形態)図9は本発明の第2の
実施形態の超音波診断装置の構成を表すブロック図であ
る。本実施形態の超音波診断装置は心臓を撮像し、心臓
組織のうち、本装置の使用者が設定した注目地点の運動
の軌跡を表示する装置である。
【0044】本実施形態の超音波診断装置は、(1)心
臓組織のBモード画像の取得及び心臓組織各点の超音波
ビームの進行方向成分の速度(ドップラー速度)の検出
のために心臓組織に超音波ビームを発射してエコー信号
を受け取る処理と、(2)エコー信号からBモード画像
を取得する処理と、(3)エコー信号のドップラーシフ
トを検出して心臓組織各点のうち、ドップラー速度を求
める処理と、(4)心臓組織各点のうち本装置の使用者
が指定した注目地点の移動先の座標をブロックマッチン
グで求め、移動ベクトルを求める処理と、(5)注目地
点の移動ベクトルを順次蓄積して、移動ベクトルから注
目地点の軌跡を描いた画像を生成して、これをBモード
画像とともに表示する処理とを行う。
【0045】上記処理を実現するために、本実施形態の
超音波診断装置は超音波プローブ101とプローブ駆動
・エコー信号処理部102とBモード用DSC(デジタ
ルスキャンコンバータ)部103と、フレームメモリ1
04と、速度検出部105と、探索部106と、解析部
107と、制御部108と、表示部110と、注目地点
設定部111から構成される。本実施形態の超音波診断
装置は、第1の実施形態の超音波診断装置の速度スキャ
ン範囲設定部109に代えて注目地点設定部111を用
いている。尚、第1の実施形態の超音波診断装置と機
能、構成が同一の部分については説明を省略する。ま
た、以下は注目地点が1つの場合について説明する。
【0046】プローブ駆動・エコー信号処理部102
は、Nフレーム目の速度検出スキャンを行う前に注目地
点設定部111からN−1フレーム目の注目地点の座標
を読み込む。注目地点の座標が速度検出スキャン範囲の
中心から所定の閾値以上離れている場合は、注目地点が
速度検出スキャン範囲の中央に位置するように速度検出
スキャン範囲を修正する。
【0047】探索部106は、注目地点設定部111か
らNフレーム目の注目地点の座標を読み込み、注目地点
の移動先の座標を求める。第1の実施形態と同様にして
探索範囲を限定し、ブロックマッチング法でN+1フレ
ーム目の画像の探索範囲との比較を行い数1に基づいて
計算した相互相関値が最も高い地点を移動先とする。ブ
ロックマッチングの際のマッチング単位は、注目地点を
中心とする16×16画素の正方形の領域とする。
【0048】探索部106は、フレーム番号N+1と注
目地点の移動先の座標を注目地点設定部111に出力
し、さらに、注目地点の移動元と移動先の座標から注目
地点の移動ベクトルを計算して、移動ベクトルとフレー
ム番号N+1を解析部107へ出力する。
【0049】解析部107は、探索部106から受け取
った注目地点の移動ベクトルとフレーム番号N+1を解
析部107の内部で順次蓄積しておく。また、これまで
に蓄積してきた注目地点の移動ベクトルと注目地点設定
部111から与えられた注目地点の座標の初期値を用い
て注目地点の運動の軌跡を表す画像を作成する。作成し
た軌跡画像はフレーム番号N+1とともに制御部108
へ出力する。
【0050】制御部108は、解析部107からのフレ
ーム番号Nに対応するBモード画像をフレームメモリ1
04から読み込み、N−1フレーム目の画像を表示して
からフレーム間時間間隔Δt経過後に、GUI上に設け
た画像表示部分を更新する。制御部108は、解析部1
07で生成した注目地点の軌跡の画像をGUI上に合成
する。制御部108は、注目地点設定部111からNフ
レーム目の注目地点の座標を読み込んで注目地点を表す
マークを生成し、GUI上の画像表示部分のBモード画
像と合成する。本装置の使用者は、制御部108に接続
されたポインティングデバイスを用いてこのマークを動
かすことで、注目地点をインタラクティブかつリアルタ
イムに設定することができる。
【0051】制御部108は、本装置の使用者によるマ
ークの移動を検出した場合は、新たなマークに対応する
注目地点の座標を計算して注目地点設定部111に出力
する。
【0052】また、制御部108は、使用者がGUI上
で設定した関心速度帯を注目地点設定部111に出力
し、注目地点設定部111は注目地点設定部111が記
憶している関心速度帯を更新する。
【0053】表示部110は制御部108で生成したG
UIを画面上に表示する。
【0054】注目地点設定部111は、探索部106か
らのフレーム番号及び注目地点の座標を順次記憶する。
プローブ駆動・エコー信号処理部102及び探索部10
6が注目地点の座標データを注目地点設定部111から
読み込もうとした場合に、プローブ駆動・エコー信号処
理部102及び探索部106がそれぞれ示したフレーム
番号に対応する注目地点の座標のデータを提供する。こ
れにより、時々刻々移動する注目地点を自動的に追跡す
ることが可能となっている。
【0055】尚、注目地点設定部111は、制御部10
8から新たな注目地点の座標が入力された場合(すなわ
ち使用者が注目地点を変更した場合)は、入力直後にス
キャンするフレームから注目地点の変更を反映させる。
具体的には、注目地点設定部111で順次記憶した注目
地点の座標を制御部108からの新しい注目地点の座標
で更新する。更新後に最初にプローブ駆動・エコー信号
処理部102が参照した注目地点の座標に関連付けられ
たフレーム番号(Mとする)を記憶しておき、フレーム
番号Mまでの注目地点の座標に関しては、注目地点設定
部111は探索部106から出力される注目地点の更新
データを無視する。注目地点設定部111は探索部10
6からフレーム番号M+1以降の注目地点の更新データ
が入力された時点で、解析部107へ制御信号と注目地
点の初期値(フレーム番号Mの注目地点。すなわち使用
者が設定した注目地点の座標)を送信して今まで解析部
107が蓄積していた移動ベクトルを消去させて、使用
者が設定した注目地点の座標を初期値とする軌跡画像を
作成させるようにする。
【0056】注目地点が2以上ある場合について説明す
る。プローブ駆動・エコー信号処理部102は注目地点
設定部111から注目地点の座標を読み出す時に注目地
点の個数を調べてから全注目地点の座標を読み出す(こ
こでは注目地点が2つの場合を例にとる)。プローブ駆
動・エコー信号処理部102は2つの注目地点の座標と
1回の速度検出スキャンの範囲を比較して、一回の速度
検出スキャン範囲内でカバーできる場合は、注目地点の
座標の平均座標を計算してスキャン範囲を決定する。速
度検出スキャン範囲でカバーできない場合は、速度検出
スキャン範囲を半分にして各注目地点ごとにスキャンを
行う。ただし、分割数が増えるとスキャン範囲が狭くな
り過ぎて、マッチング処理の精度が悪くなるので、空間
的な分割は3分割までとし、これ以上の分割が必要な場
合は時間的な分割を行う(例えば1フレームおきにスキ
ャンを行うようにする)。これにより注目地点が複数存
在する場合でも追跡が可能である。
【0057】本実施形態では注目地点の座標データを超
音波診断装置内でのみ利用したが、制御部108に注目
地点の座標データを外部に順次出力する端子(図示せ
ず)を設けておき、ワークステーション等でも座標デー
タを蓄積し解析できるようにしておくと一層良い。こう
することで、座標データを外部のワークステーション等
に記録しておいて過去に取得したデータと比較すること
が可能なので、診断を行う際に有用である。
【0058】以上、本発明の第2の実施形態によれば、
ドップラー速度を用いてブロックマッチング処理を行う
範囲を限定しているので、注目地点の移動先の座標を精
度を落とさずに従来より高速に求めることができる。
【0059】また、使用者が設定した注目地点を自動的
に追跡して注目地点の軌跡を描くことが可能なので、従
来より運動の様子を詳細に調べることができる。
【0060】(第3の実施形態)図10を用いて本発明
の第3の実施形態の超音波診断装置を説明する。本実施
形態の超音波診断装置は心臓を撮像し、心臓組織のう
ち、本装置の使用者が設定した注目地点の速度の時間変
化をグラフとして表現する装置である。
【0061】本実施形態の超音波診断装置は、(1)心
臓組織のBモード画像の取得及び心臓組織各点の超音波
ビームの進行方向成分の速度(ドップラー速度)の検出
のために心臓組織に超音波ビームを発射してエコー信号
を受け取る処理と、(2)エコー信号からBモード画像
を取得する処理と、(3)エコー信号のドップラーシフ
トを検出して心臓組織各点のドップラー速度を求める処
理と、(4)ブロックマッチングで心臓組織各点のうち
本装置の使用者が設定した注目地点の移動先の座標を求
めて移動ベクトルを求める処理と、(5)移動ベクトル
から速度を求めてこれを順次蓄積し、速度ベクトルの時
間変化グラフを生成して、Bモード画像とともに表示す
る処理とを行う。
【0062】上記処理を行うために、本実施形態の超音
波診断装置は超音波プローブ101とプローブ駆動・エ
コー信号処理部102とBモード用DSC(デジタルス
キャンコンバータ)部103と、フレームメモリ104
と、速度検出部105と、探索部106と、解析部10
7と、制御部108と、注目地点設定部111と、表示
部110から構成される。以下の説明では、第2の実施
形態の超音波診断装置と機能、構成が同一の部分につい
ては説明を省略する。また、以下は注目地点が1つの場
合について説明する。
【0063】探索部106は、注目地点設定部111か
ら注目地点座標を読み込み、注目地点の移動先の座標を
求める。第1の実施形態と同様にして探索範囲を限定
し、ブロックマッチング法でN+1フレーム目の画像の
探索範囲との比較を行い数1に基づいて計算した相互相
関値が最も高い地点を移動先とする。尚、マッチング単
位となるブロックは16×16画素の正方形の領域である。
【0064】探索部106は、フレーム番号N+1と注
目地点の移動先の座標を注目地点設定部111に出力
し、さらに、注目地点の移動元と移動先の座標から注目
地点の移動ベクトルを計算して、移動ベクトルとフレー
ム番号Nを解析部107へ出力する。
【0065】解析部107は、探索部106から受け取
った注目地点の移動ベクトルをフレーム間時間間隔Δt
で除して速度ベクトルを求める。フレーム番号Nと求め
た速度ベクトルは解析部107の内部で順次蓄積してお
く。また、これまでに蓄積してきた注目地点の速度ベク
トルを用いて注目地点の速度の時間変化を表すグラフを
作成する。作成したグラフはフレーム番号Nとともに制
御部108へ出力する。
【0066】制御部108は、解析部107からのフレ
ーム番号Nに対応するBモード画像をフレームメモリ1
04から読み込み、N−1フレーム目の画像を表示して
からフレーム間時間間隔Δt経過後に、GUI上に設け
た画像表示部分を更新する。制御部108は、解析部1
07で生成した注目地点の速度の時間変化グラフをGU
I上に合成する。制御部108は、注目地点設定部11
1からNフレーム目の注目地点の座標を読み込んで注目
地点を表すマークを生成し、GUI上の画像表示部分の
Bモード画像と合成する。本装置の使用者は、制御部1
08に接続されたポインティングデバイスを用いてこの
マークを動かすことで、注目地点をインタラクティブか
つリアルタイムに設定することができる。
【0067】制御部108は、本装置の使用者によるマ
ークの移動を検出した場合は、新たなマークに対応する
注目地点の座標を注目地点設定部111に出力する。
【0068】また、制御部108は、使用者がGUI上
で設定した関心速度帯を注目地点設定部111に出力
し、注目地点設定部111は注目地点設定部111が記
憶している関心速度帯を更新する。
【0069】表示部110は制御部108で生成したG
UIを画面上に表示する。
【0070】注目地点設定部111は、探索部106か
らのフレーム番号及び注目地点の座標を順次記憶する。
プローブ駆動・エコー信号処理部102及び探索部10
6が注目地点の座標データを注目地点設定部111から
読み込もうとした場合に、プローブ駆動・エコー信号処
理部102及び探索部106がそれぞれ示したフレーム
番号に対応する注目地点の座標のデータを提供する。こ
れにより、時々刻々移動する注目地点を自動的に追跡す
ることが可能となっている。
【0071】尚、注目地点設定部111は、制御部10
8から新たな注目地点の座標が入力された場合(すなわ
ち使用者が注目地点を変更した場合)は、入力直後にス
キャンするフレームから注目地点の変更を反映させる。
具体的には、注目地点設定部111で順次記憶した注目
地点の座標全てを制御部108からの新しい注目地点の
座標で更新する。更新後に最初にプローブ駆動・エコー
信号処理部102が参照した注目地点の座標に関連付け
られたフレーム番号(Mとする)を記憶しておき、フレ
ーム番号Mまでの注目地点の座標に関しては、注目地点
設定部111は探索部106から出力される注目地点の
更新データを無視する。注目地点設定部111は探索部
106からフレーム番号M+1以降の注目地点の更新デ
ータが入力された時点で、解析部107へ制御信号を送
信して今まで解析部107が蓄積していた速度ベクトル
を消去させて、新たに速度の時間変化グラフを作成させ
る。
【0072】本実施形態では注目地点の速度ベクトルデ
ータを超音波診断装置内でのみ使用したが、制御部10
8に注目地点の速度ベクトルを外部に順次出力する端子
(図示せず)を設けておき、ワークステーション等でも
速度ベクトルを蓄積し解析できるようにしておくと一層
良い。こうすることで、過去のデータとの対比が容易に
なるので、診断を行う上で有用となる。
【0073】以上、本発明の第3の実施形態によれば、
注目地点のフレーム間での移動ベクトルを求め、これを
もとに速度ベクトルを算出しているので、注目地点の速
度を精度良くかつ従来よりも高速に求めることができ
る。さらに、使用者が設定した注目地点を自動的に追跡
して速度検出スキャンの範囲を設定するので、従来より
速度検出スキャン範囲を狭くすることが可能であり、ス
キャン間隔を短くして速度変化を詳細に調べるという使
い方も可能となっている。
【0074】
【発明の効果】以上、本発明によれば対象物の本来の2
次元または3次元運動を精度良く高速に追跡することが
でき、2次元または3次元の移動ベクトル及び速度ベク
トルを得ることが可能となる。このことにより、対象物
の運動をより正確にとらえることができ、医用分野にお
いてはより早くかつ正確な診断が可能となる。
【図面の簡単な説明】
【図1】 本発明の第1の実施形態の構成を説明するブ
ロック図。
【図2】 ドップラーシフトから算出した速度から推測
される実際の速度の候補を示す図(探索範囲の第1の設
定例)。
【図3】 探索範囲の第2の設定例。
【図4】 探索範囲の第3の設定例。
【図5】 (a)ブロックマッチング処理におけるNフ
レーム目の扱いを説明する図。(b)ブロックマッチン
グ処理におけるN+1フレーム目の扱いを説明する図。
【図6】 3次元走査を行っている際に3次元速度を求
める場合の探索範囲の第1の設定例。
【図7】 3次元走査を行っている際に3次元速度を求
める場合の探索範囲の第2の設定例。
【図8】 注目地点の移動先座標の算出処理及び算出し
た移動先座標の利用例を説明するフローチャート。
【図9】 本発明の第2の実施形態の構成を説明するブ
ロック図。
【図10】 本発明の第3の実施形態の構成を説明する
ブロック図。
【図11】 ドップラーシフトから算出した速度と実際
の速度の違いを説明する図。
【符号の説明】
101 超音波プローブ 102 プローブ駆動・エコー信号処理部 103 Bモード用DSC部 104 フレームメモリ 105 速度検出部 106 探索範囲算出部 107 トラッキング部 108 制御部 109 速度スキャン範囲設定部 110 表示部 111 注目地点設定部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 4C301 BB13 CC02 DD02 DD06 EE10 EE11 JB28 JC20 KK02 KK23 KK30 LL03 4C601 BB03 DD26 DE01 EE07 EE09 JB34 JB41 JB43 JC37 KK02 KK12 KK18 KK20 KK31 LL01 LL02 LL04 5B057 AA07 BA05 DA07 DB02 DB05 DB09 DC34

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】被検体に超音波ビームを発射してエコー信
    号を受信する走査部と、前記エコー信号からフレーム単
    位の被検体画像を順次生成して出力する画像生成部と、
    前記エコー信号の周波数偏移を検出して被検体各点の超
    音波ビーム進行方向成分の速度であるドップラー速度を
    検出する速度検出部と、前記被検体画像及び被検体各点
    の前記ドップラー速度を順次記憶しておくフレームメモ
    リと、第Nフレーム(Nは自然数)内の被検体各点の移
    動先を第N+nフレーム(N、nともに自然数)内で探
    索して移動先の座標データを求める探索部と、前記被検
    体画像を表示する表示部と、前記移動先の座標データを
    外部に順次出力する運動情報出力部とを有し、前記探索
    部は、前記第N+nフレーム内での移動先の探索を行う
    範囲を、第Nフレームの被検体各点について検出した前
    記ドップラー速度によって限定される領域に設定するこ
    とを特徴とする超音波診断装置。
  2. 【請求項2】第Nフレームの被検体各点の座標データと
    これらの移動先の座標データを用いて第Nフレーム目の
    被検体各点における速度ベクトルを算出する速度ベクト
    ル算出部を有し、前記運動情報出力部は前記速度ベクト
    ルを外部に順次出力することを特徴とする請求項1記載
    の超音波診断装置。
  3. 【請求項3】被検体に超音波ビームを発射してエコー信
    号を受信する走査部と、前記エコー信号からフレーム単
    位の被検体画像を順次生成して出力する画像生成部と、
    前記エコー信号の周波数偏移を検出して被検体各点の超
    音波ビーム進行方向成分の速度であるドップラー速度を
    検出する速度検出部と、前記被検体画像及び被検体各点
    の前記ドップラー速度を順次記憶しておくフレームメモ
    リと、第Nフレーム内の被検体各点の移動先を第N+n
    フレーム内で探索して移動先の座標データを求める探索
    部と、第Nフレームの被検体各点の座標データとこれら
    の移動先の座標データを用いて第Nフレーム目の被検体
    各点における速度ベクトルを算出する速度ベクトル算出
    部と、前記第Nフレーム目の被検体各点における速度ベ
    クトルを用いて第Nフレーム目の被検体画像を加工して
    表示画像を生成する表示画像生成部と、前記表示画像を
    表示する表示部とを有し、前記探索部は、前記第N+n
    フレーム内での移動先の探索を行う範囲を、第Nフレー
    ムの被検体各点について検出した前記ドップラー速度に
    よって限定される領域に設定することを特徴とする超音
    波診断装置。
  4. 【請求項4】関心領域を設定する関心領域設定部を備
    え、前記探索部で求めた第Nフレーム目の被検体各点の
    移動先の座標データから、前記関心領域の移動先に対応
    する座標データを抽出して第N+nフレーム目の関心領
    域を設定し、前記第N+nフレーム目の関心領域の座標
    データに基づいて第N+n+1フレーム目に対する前記
    走査部による走査範囲を制御することを特徴とする請求
    項1乃至請求項3記載の超音波診断装置。
  5. 【請求項5】被検体に超音波ビームを発射してエコー信
    号を受信する走査部と、前記エコー信号からフレーム単
    位の被検体画像を順次生成して出力する画像生成部と、
    前記エコー信号から周波数偏移を検出して被検体各点の
    超音波ビーム進行方向成分の速度であるドップラー速度
    を検出する速度検出部と、前記被検体画像と前記ドップ
    ラー速度を順次記憶しておくフレームメモリと、関心領
    域を設定する関心領域設定部と、第Nフレーム目の関心
    領域の移動先を第N+nフレーム内で探索して関心領域
    の座標データを求める探索部と、第Nフレーム目の関心
    領域の座標データとこの移動先の座標データを用いて第
    Nフレーム目の関心領域の速度ベクトルを算出する速度
    ベクトル算出部と、前記第Nフレーム目の関心領域の速
    度ベクトルを順次記憶しておき、前記速度ベクトルの時
    間変化を表す速度変化画像を生成する速度ベクトル解析
    部と、前記速度変化画像と前記被検体画像とを表示する
    表示部とを有し、前記探索部は、第N+nフレーム内の
    探索範囲を第Nフレームについて検出した超音波ビーム
    進行方向成分の速度によって限定される領域に設定し、
    前記関心領域設定部は、第Nフレーム目の関心領域の移
    動先の座標データに基づいて第N+nフレーム目の関心
    領域を設定することを特徴とする超音波診断装置。
  6. 【請求項6】被検体に超音波ビームを発射してエコー信
    号を受信する走査部と、前記エコー信号からフレーム単
    位の被検体画像を順次生成する画像生成部と、前記エコ
    ー信号から周波数偏移を検出して被検体各点の超音波ビ
    ーム進行方向成分の速度であるドップラー速度を検出す
    る速度検出部と、前記被検体画像と前記ドップラー速度
    とを順次記憶しておくフレームメモリと、関心領域を設
    定する関心領域設定部と、第Nフレーム目の関心領域の
    移動先を第N+nフレーム内で探索して座標データを求
    める探索部と、前記関心領域設定部で設定された関心領
    域の座標データの初期値と探索部で求めた前記第N+n
    フレーム目の関心領域の移動先の座標データを順次記憶
    しておき、関心領域の移動した軌跡を生成する軌跡生成
    部と、前記軌跡と前記被検体画像とを表示する表示部と
    を有し、前記探索部は、第N+nフレーム内の探索範囲
    を第Nフレームについて検出した超音波ビーム進行方向
    成分の速度によって限定される領域に設定し、前記関心
    領域設定部は、第Nフレーム目の関心領域の移動先の座
    標データに基づいて第N+nフレーム目の関心領域を設
    定することを特徴とする超音波診断装置。
  7. 【請求項7】前記関心領域設定部は、第N+nフレーム
    目の関心領域の座標データに基づいて第N+n+1フレ
    ーム目に対する前記走査部による走査範囲を制御するこ
    とを特徴とする請求項5乃至請求項6記載の超音波診断
    装置。
JP2001393151A 2001-12-26 2001-12-26 超音波診断装置 Expired - Fee Related JP3734443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001393151A JP3734443B2 (ja) 2001-12-26 2001-12-26 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001393151A JP3734443B2 (ja) 2001-12-26 2001-12-26 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2003190167A true JP2003190167A (ja) 2003-07-08
JP3734443B2 JP3734443B2 (ja) 2006-01-11

Family

ID=27600209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001393151A Expired - Fee Related JP3734443B2 (ja) 2001-12-26 2001-12-26 超音波診断装置

Country Status (1)

Country Link
JP (1) JP3734443B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125152A (ja) * 2005-11-02 2007-05-24 Hitachi Medical Corp 超音波診断装置
JP2008302220A (ja) * 2007-06-04 2008-12-18 Biosense Webster Inc 超音波を用いた心臓の力学的評価
JP2009512486A (ja) * 2005-10-20 2009-03-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波撮像システム及び方法
WO2013015135A1 (ja) * 2011-07-27 2013-01-31 日立アロカメディカル株式会社 超音波画像処理装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103126720B (zh) * 2013-02-22 2015-09-23 飞依诺科技(苏州)有限公司 多传播速度的超声成像方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009512486A (ja) * 2005-10-20 2009-03-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波撮像システム及び方法
JP2007125152A (ja) * 2005-11-02 2007-05-24 Hitachi Medical Corp 超音波診断装置
JP2008302220A (ja) * 2007-06-04 2008-12-18 Biosense Webster Inc 超音波を用いた心臓の力学的評価
WO2013015135A1 (ja) * 2011-07-27 2013-01-31 日立アロカメディカル株式会社 超音波画像処理装置
JP2013027453A (ja) * 2011-07-27 2013-02-07 Hitachi Aloka Medical Ltd 超音波画像処理装置
US9349190B2 (en) 2011-07-27 2016-05-24 Hitachi Aloka Medical, Ltd. Ultrasound image processing apparatus

Also Published As

Publication number Publication date
JP3734443B2 (ja) 2006-01-11

Similar Documents

Publication Publication Date Title
CN102047140B (zh) 具有引导efov扫描的扩展视野超声成像
RU2507535C2 (ru) Визуализация ультразвуковых изображений с расширенным полем обзора с помощью двумерного матричного зонда
JP4745133B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
US7837625B2 (en) Ultrasonic image processor and ultrasonic diagnostic instrument
US6884216B2 (en) Ultrasound diagnosis apparatus and ultrasound image display method and apparatus
JP6160487B2 (ja) 超音波診断装置およびその制御方法
JP5753798B2 (ja) 超音波診断装置およびその作動方法
JP2014217745A (ja) 超音波診断装置、およびその制御方法
JP6054089B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
JP2019503268A (ja) 位置と関係付けられた超音波撮像
JP2007222253A (ja) 血流画像表示装置
JP2003175041A (ja) 超音波診断装置及び画像処理方法
JP2007044499A (ja) 超音波診断装置及び超音波画像処理プログラム
JP4758736B2 (ja) 超音波診断装置
JPWO2018051578A1 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP4764209B2 (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
JP4659974B2 (ja) 超音波診断装置
KR101656127B1 (ko) 계측 장치 및 그 제어 프로그램
JP3187008B2 (ja) 超音波カラードプラ断層装置
JP2007130063A (ja) 超音波診断装置
JP4598652B2 (ja) 超音波診断装置
JPH06285065A (ja) 超音波ドプラ診断装置
JP4709937B2 (ja) 超音波診断装置及び画像処理装置
JP3734443B2 (ja) 超音波診断装置
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051018

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081028

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091028

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101028

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111028

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121028

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131028

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees