JP2008000583A - 画像補間方法、画像補間装置、および超音波診断装置 - Google Patents

画像補間方法、画像補間装置、および超音波診断装置 Download PDF

Info

Publication number
JP2008000583A
JP2008000583A JP2006337702A JP2006337702A JP2008000583A JP 2008000583 A JP2008000583 A JP 2008000583A JP 2006337702 A JP2006337702 A JP 2006337702A JP 2006337702 A JP2006337702 A JP 2006337702A JP 2008000583 A JP2008000583 A JP 2008000583A
Authority
JP
Japan
Prior art keywords
image
blood flow
interpolation
images
streamline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006337702A
Other languages
English (en)
Other versions
JP4939199B2 (ja
Inventor
Shigeo Otsuki
茂雄 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IYO CHOONPA GIJUTSU KENKYUSHO
IYO CHOONPA GIJUTSU KENKYUSHO KK
Fukuda Denshi Co Ltd
Original Assignee
IYO CHOONPA GIJUTSU KENKYUSHO
IYO CHOONPA GIJUTSU KENKYUSHO KK
Fukuda Denshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IYO CHOONPA GIJUTSU KENKYUSHO, IYO CHOONPA GIJUTSU KENKYUSHO KK, Fukuda Denshi Co Ltd filed Critical IYO CHOONPA GIJUTSU KENKYUSHO
Priority to JP2006337702A priority Critical patent/JP4939199B2/ja
Publication of JP2008000583A publication Critical patent/JP2008000583A/ja
Application granted granted Critical
Publication of JP4939199B2 publication Critical patent/JP4939199B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】
本発明は、間接補間により精度の高い画像を得ることのできる画像補間方法および画像補間装置、並びに、フレームとフレームとの途中の流線画像や尾根線画像を高精度に求める機能を有する超音波診断装置を提供する。
【解決手段】
第1の種類の複数の画像(カラードプラ画像)を用いて、補間演算により、第1の種類の補間画像を求める補間ステップと、補間ステップで求められた補間画像から第2の種類の画像(血流の流線画像や尾根線画像)を導出する導出ステップとを有する。
【選択図】 図5

Description

本発明は、第1の種類の複数の画像(例えば超音波によるカラードプラ画像)それぞれから導出される第2の種類の複数の画像(例えば血流の流線を表わす画像)の中間的な画像を求める画像補間方法、画像補間装置、および被検体内への超音波パルスの送波と被検体内で反射して戻ってきた反射超音波の受信とを繰り返して被検体内の血流分布を表わす血流分布画像を生成する超音波診断装置に関する。
超音波ドプラ法を使用して生体内の血流速度分布を測定し、この血流速度分布を、パルス反射法により得られたモノクロ断層像上に重ねてカラー表示するようにした超音波診断装置が知られている。この血流速度分布の測定原理は、振動子アレイにより超音波ビームを一定周期で生体内にパルス放射し、生体内部の反射体による反射波を受信し、その受信信号に含まれる、ドプラ効果による周波数変化成分を検出することにより、血流内の反射体の、超音波進行方向の運動速度を測定し、さらに反射波が返ってくるまでの時間からその位置を求め、これをリアルタイムで2次元の血流情報としてカラー表示するものである。
図1は従来の超音波診断装置の構成図である。
この図1に示す超音波診断装置100Aには、探触子1が備えられており、この探触子1には圧電セラミック等の振動子がその先端に配列されている。探触子1には送信回路2と受信回路4が接続される。パルス発生回路3は送信の繰り返し周期(例えば4KHz)を与えるタイミング信号S11(レートパルス)を発生し、それを送信回路2に供給する。送信回路2は例えば64チャンネルの、パルスドライバ及び遅延回路から構成される。パルスドライバはレートパルスのタイミングで送信周波数(例えば2.5MHz)に等しい周期の駆動パルスを発生し、探触子1の振動子に印加する。遅延回路は超音波ビームを収束し、かつ指向性を与えるために各チャンネル毎のパルス発生タイミングに所定の遅延を与える。その結果、超音波ビームが指向性に応じた方向にパルス放射される。このようにして、レートパルス周期で、生体(図示せず)の内部に向けて、同一方向(例えば図1のa方向)への送受信を例えば6回繰り返して行い、さらに断層像取得のための1回の送受信を行い、計7回の送受信で一つの周期(ライン周期)を完了し、順次b、c、dと走査方向を切り替えながら、例えば64本の走査線について同様の処理を行い1フレーム分の走査を完了する。
一方、生体内の音響インピーダンスの不連続面での反射超音波(エコー)は、探触子1を介して受信回路4でチャンネル毎に受信される。受信回路4はプリアンプ、遅延回路、加算回路から構成される。受信信号はプリアンプで増幅され、遅延回路により各チャンネル毎に所定の遅延を与えられ、加算回路により加算される。これにより指向性に応じた方向からのエコーが受信される。
受信回路4から出力される受信信号はミキサ回路5に入力される。ミキサ回路5は図示しない発振器により生成された、送信周波数と同一の周期を持ち互いに位相が90°異なる一対の参照信号と、この受信信号とを混合することにより、直交検波を行い、ドプラ信号の同相信号S12a及び直交信号S12bを出力する。2つのローパスフィルタ6a,6bは、それぞれ、混合の結果生じたドプラ信号の同相信号S12aおよび直交信号S12bの高調波成分を除去する。
各ローパスフィルタ6a,6bの出力信号は、各A/D変換器7a,7bにより、深さ方向に対して一定のサンプリング周期で例えば各256点のサンプリングが行なわれてディジタル値に変換される。MTIフィルタ8a,8bは、ドプラ信号に含まれる臓器の壁運動等による低周波成分を除去し血流成分のみを抽出するものであり、例えば図2に示す1次のエコーキャンセラから構成される。
自己相関回路9にはMTIフィルタ8a,8bの出力信号が入力され、この自己相関回路9では、繰り返し周期を隔てて得られるドプラ信号の同相信号を実部、直交信号を虚部とする複素自己相関(R(1))を、6回の繰返し周期のデータについて計算する。特定の深さにおけるMTIフィルタ8a,8bの出力信号をx(k)、y(k)とした場合、この計算は実部、虚部ごとに式(1a)及び式(1b)で示される。
Figure 2008000583
Figure 2008000583
その演算結果は、実部、虚部ごとに各走査線の5回目のレートパルスのタイミングに同期して深さ毎に順次取り出される。
速度検出回路10は自己相関回路9の演算結果である自己相関値(R(1))を入力し、その偏角値(arctan{Im[R(1)]/Re[R(1)]})を計算する。この偏角値はドプラ偏移周波数に比例した量を与える。この偏角値はその点の超音波ビームの方向の血流速度を出力している。このようにして求めた観察面上の各点の、超音波ビームの方向の血流速度成分の集合からなる血流分布を表わす血流分布画像データが画像処理回路12に送られる。
一方、受信回路4の出力信号は断層像処理部11にも送られる。断層像処理部11は、受信信号の包絡線を検波した後、A/D変換し、モノクロ輝度データとして出力し、そのモノクロ輝度データも画像処理回路12に送られる。
画像処理回路12は順次入力される平均速度データに対して方向(探触子1に近づく方向、あるいは遠ざかる方向)及びその絶対値に基づき所定の配色を施し、断層像のモノクロ輝度データと共に、その走査方向及び深さに応じて2次元状にマッピングし、これを画像データとして、図示しない画像メモリに格納する。さらにその画像データは一定の周期で画像メモリから読み出され、TVモニタ13上に、断層像を示すモノクロ画像と血流分布を示すカラー画像が合成された診断像が表示される。以上が、超音波診断装置の基本構成である。
近年、上記の基本構成を有する超音波診断装置において、血流速度が求められるのは直接的には超音波ビームの方向成分のみであるが、この超音波ビームの方向の血流速度分布から、超音波ビームに対し直角な方向の血流速度を含む観測面内の全方向の血流速度や血流量を求める技術が提示されている(非特許文献1,特許文献1,2参照)。
また、上記の技術を基にして、湧き出しや吸い込みを考慮した流線分布を求める技術も提案されている(特許文献3参照)。
例えば心臓内部における流線分布の表示などは、心臓疾患の診断に大きな貢献をなす可能性がある。
Journal of Visualization Vol9 No.1 2006,Ohmsha,Lid.,IOS Press 特開平11−83564号公報 特開2005−110939号公報 特開平11−108947号公報
ところが、超音波診断装置を用いて観察面内の血流分布を表わす画像を求めるには、画像1枚あたりかなりの長時間を要し、フレームレートが低いという問題がある。このため血流の流線分布を求めて流線を表わす画像(以下、単に流線画像と称する)を表示しても、かなり時間の開いた飛び飛びの時間間隔の流線画像となってしまい、その飛び飛びの時間の途中での流線の変化を観察できず、分かりにくい。これを解決するために、2つのフレームの流線画像を補間してそれら2つのフレームの中間の時刻の流線画像を求めて表示することが考えられるが、流線画像は、上述したような、湧き出しや吸い込み等の非線形成分を含む画像であり、2つのフレームの画像はかなり異なるので対応点を定めることができないためモーフォリズムによる補間も適用できず直接に補間することは不可能である、という問題がある。
このような問題は、血流の流線分布を表わす画像に限らず、非線形成成分を含む場合など、直接の補間演算が適用できない場合においてもなお2つの画像の中間の時刻等に位置する補間画像を必要とする場合に同様に生じる問題である。
本発明は、上記事情に鑑み、間接補間により精度の高い画像を得ることのできる画像補間方法および画像補間装置、並びに、フレームとフレームとの途中の画像を高精度に求める機能を有する超音波診断装置を提供することを目的とする。
上記目的を達成する本発明の画像補間方法は、第1の種類の複数の画像それぞれから導出される第2の種類の複数の画像の中間的な画像を求める画像補間方法であって、
上記第1の種類の複数の画像を用いて、補間演算により、その第1の種類の補間画像を求める補間ステップと、
補間ステップで求められた補間画像から上記第2の種類の画像を導出する導出ステップとを有することを特徴とする。
ここで、本発明の画像補間方法において、上記第1の種類の複数の画像が、時間的に変化する観察対象の、離散的な時間間隔からなる各時刻の状態を表わす複数の画像であって、上記補間ステップが、上記第1の種類の複数の画像から、補間演算により、その第1の種類の画像が存在しない時刻に対応する補間画像を求めるステップであってもよい。
また、本発明の画像補間方法において、上記第1の種類の画像は、超音波によるカラードプラ画像であってもよく、上記第2の種類の画像は、血流の流線を表わす画像や、血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線を表わす画像であってもよい。
本発明の画像補間方法は、第2の種類の画像(例えば流線を表わす画像や尾根線を表わす画像)を求める基礎となる第1の種類の画像(例えばカラードプラ画像)の段階で補間して第1の種類の補間画像を求め、その第1の種類の補間画像から第2の種類の画像を導出するものであるため、第2の種類の補間画像を高精度に求めことができる。
また、上記目的を達成する本発明の画像補間装置は、第1の種類の複数の画像それぞれから導出される第2の種類の複数の画像の中間的な画像を求める画像補間装置であって、
上記第1の種類の複数の画像を用いて、補間演算により、その第1の種類の補間画像を求める補間演算部と、
補間演算部で求められた補間画像から上記第2の種類の画像を導出する導出部とを有することを特徴とする。
本発明の画像補間装置は、上記の画像補間方法を実施する装置であり、本発明の画像補間装置には、上記の画像補間方法の各種態様を実施する各種態様の全てが含まれている。
また、上記目的を達成する本発明の超音波診断装置のうちの第1の超音波診断装置は、被検体内への超音波パルスの送波と被検体内で反射して戻ってきた反射超音波の受信とを繰り返して、被検体内の血流分布を表わす血流分布画像を生成する超音波診断装置において、
血流分布画像から血流の流線を表わす流線画像を算出する流線算出部と、
複数の画像を補間して補間画像を求める補間演算部と、
血流分布画像が存在しない時刻の流線画像を求めるにあたり、上記補間演算部に、被検体内の異なる時刻の血流分布を表わす複数の血流分布画像を補間させて血流分布画像が存在しない時刻の血流分布を表わす補間画像を求めさせ、流線算出部に、その補間画像からその時刻の流線画像を算出させる演算制御部とを備えたことを特徴とする。
本発明の第1の超音波診断装置は、本発明の補間演算方法を血流の流線を表わす流線画像を求める態様にして超音波診断装置に組み込んだものであり、フレームとフレームとの間における高精度な流線画像を求めることができる。
また、上記目的を達成する本発明の超音波診断装置のうちの第2の超音波診断装置は、被検体内への超音波パルスの送波とその被検体内で反射して戻ってきた反射超音波の受信とを繰り返して、被検体内の血流分布を表わす血流分布画像を生成する超音波診断装置において、
上記血流分布画像から血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線画像を算出する尾根線算出部と、
複数の画像を補間して補間画像を求める補間演算部と、
血流分布画像が存在しない時刻の尾根線画像を求めるにあたり、上記補間演算部に、被検体内の異なる時刻の血流分布を表わす複数の血流分布画像を補間させて血流分布画像が存在しない時刻の血流分布を表わす補間画像を求めさせ、上記尾根線算出部に、その補間画像からその時刻の尾根線画像を算出させる演算制御部とを備えたことを特徴とする。
本発明の第2の超音波診断装置は、本発明の補間演算方法を血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線画像を求める態様にして超音波診断装置に組み込んだものであり、フレームとフレームとの間における高精度な尾根線画像を求めることができる。
尚、本発明は、流線画像および尾根線画像にのみ適用されるものではなく、非線形成成分を含む場合など、直接の補間演算が適用できない場合においてもなお2つの画像の中間の時刻等に位置する補間画像を必要とする場合に同様に適用することができるものである。
以上説明したとおり、本発明によれば、高精度な補間が実現する。
以下、本発明の実施形態について説明する。
図3は、本発明の一実施形態としての超音波診断装置の構成図である。
ここでは、この図3に代表される本発明の一実施形態としての超音波診断装置について説明することで、本発明の画像補間方法および本発明の画像補間装置の各実施形態についての説明を兼ねるものとする。
尚、図3の超音波診断装置の説明にあたり、図1を参照して説明した従来の超音波診断装置の構成要素と同一の構成要素についての説明は省略し、図1に示す従来の超音波診断装置とは異なる構成要素についてのみ説明する。
この図3に示す超音波診断装置は、流線分布を表わす流線画像を求めて表示するモードや尾根線分布を表わす尾根線画像を求めて表示するモードを備えている。
図3の超音波診断装置100Bには、図1の超音波診断装置100Aと比べ、画像データ生成回路20が追加されている。
速度検出回路10で求められた観察面上の各点の超音波ビーム方向の血流速度を表わす血流分布画像データは、そのまま表示に用いる場合は画像データ生成回路20をバイパスして画像処理回路12に送られる。その後の画像処理回路12での処理は、図1を参照して説明したとおりである。
流線分布を表わす流線画像を求めて表示するモードでは、速度検出回路10で求められた血流分布画像データは、画像データ生成回路20に入力され血流の流線を表わす流線画像データが生成されて画像処理回路12に送られる。画像処理回路12では、断層像のモノクロ輝度画像上に血流の流線が描かれた画像を表わす画像データが生成され、TVモニタ上にその画像データに基づく画像が表示される。
一方、尾根線分布を表わす尾根線画像を求めて表示するモードでは、速度検出回路10で求められた血流分布画像データは、流線画像を求めて表示するモードの場合と同様に画像データ生成回路20に入力されるが、この画像データ生成回路20では、血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線を表わす尾根線画像データが生成されて画像処理回路12に送られる。画像処理回路12では、断層像のモノクロ輝度画像上に尾根線が描かれた画像を表わす画像データが生成され、TVモニタ上にその画像データに基づく画像が表示される。
図4は、図3に1つのブロックで示す画像データ生成回路20の構成図である。
この画像データ生成回路20は、本発明にいう画像補間装置の一例に相当する。
画像データ生成回路20は、2つのフレームメモリ21a、21bと、補間演算部22と、画像データ算出部23と、演算制御部24とから構成されている。
画像データ算出部23は、本発明にいう導出部の一例に相当する。また、画像データ算出部23は、本発明にいう流線算出部および尾根線算出部を兼ねている。
2つのフレームメモリ21a,21bは、演算制御部24の制御の下で、所定のフレームレートで順次入力されて来る血流分布画像データを交互に一時記憶しておくメモリである。
また、補間演算部22は、複数の画像(ここでは2つのフレームメモリ21a、21bに一時記憶されたデータ上の2つの画像)を補間して補間画像(データ上の画像)を求める役割りを担っている。
また、画像データ算出部23は、血流分布画像(データ上の画像)から流線画像(データ上の画像)や尾根線画像(データ上の画像)を算出する役割りを担っている。
さらに、演算制御部24は、血流分布画像が存在しない時刻の流線画像や尾根線画像を求めるにあたり、補間演算部22に、被検体内の異なる時刻の血流分布を表わす複数の血流分布画像(ここでは2つのフレームメモリ21a、21bに一時記憶された2つのデータ上の画像)を入力させてその補間演算部22にそれら複数の血流分布画像を補間させて血流分布画像が存在しない時刻の血流分布を表わす補間画像を求めさせ、画像データ算出部23に、その補間画像からその時刻の流線画像や尾根線画像を算出させる、という演算の制御を担っている。
2つのフレームメモリ21a、21bに一時記憶された、引き続く2つのフレームの血流分布画像は、補間演算部22に入力されるとともに、演算制御部24によりタイミングが調整されて画像データ算出部23にも直接に入力される。
画像データ算出部23に入力される順序は、2つのフレームメモリ21a、21bに格納されている2つの血流分布画像のうちの時間的に先に格納された血流分布画像が先ず画像データ算出部23に入力され、次いで、これら2つのフレームメモリ21a、21bに格納されている2つの血流分布画像から補間演算部22において求められた補間画像が画像データ算出部23に入力され、その後、2つのフレームメモリ21a、21bに格納されている2つの血流分布画像のうちの時間的に後に格納された血流分布画像が画像データ算出部23に入力される順序である。これを繰り返すことにより、画像データ算出部23には、2つのフレームメモリ21a、21bのいずれかに格納され補間演算部22をバイパスした血流分布画像と補間演算部22により求められた補間画像が交互に入力されることになる。
ここでは、まず、流線算出の流れを説明する。
図5は、図4に示す画像データ生成回路20で行われる流線算出の流れを示す模式図である。
図5(A)は、ある時刻(時刻tと称する)に生成された1フレーム分の血流分布画像であり、図5(B)は、時刻tから所定のフレーム間隔を置いた次の時刻(時刻tと称する)に生成された1フレーム分の血流分布画像である。
図5(A)に示す、時刻tの血流分布画像から、その時刻tの、流線分布を表わす流線画像(図5(D))を求めるにあたっては、図4に示す演算制御部24による制御の下で、図5(A)に示す時刻tの血流分布画像が図4に示す補間演算部22をバイパスして画像データ算出部23に入力され、時刻tの血流分布画像(図5(A))から、時刻tの流線画像(図5(D))が求められる。
また、これと同様に、図5(B)に示す時刻tの血流分布画像からその時刻tの流線画像(図5(E)を求めるにあたっては、演算制御部24による制御の下で、図5(B)に示す時刻tの血流分布画像が図4に示す補間演算部22をバイパスして画像データ算出部23に入力され、時刻tの血流分布画像(図5(B))から時刻tの流線画像(図5(E))が求められる。
ここで、血流分布画像のフレームレートはかなり低く、かなり広く開いた時間間隔の画像であるため、ここでは、時刻tと時刻tの中間の時刻t12の流線画像(図5(F))も求められる。この中間の時刻tの流線画像を求めるにあたっては、時刻tの流線画像(図5(D))と時刻tの流線画像(図5(E))とを直接に補間しても極めて不正確な流線画像が求められるだけであり、ここでは、時刻t12に対応する高精度の流線画像を求めるために以下の演算処理を採用している。
すなわち、図4に示す2つのフレームメモリ21a,21bに格納された、引き続く2つのフレームの血流分布画像が補間演算部22に入力されて2つの血流分布画像の補間画像(図5(C))が求められる。この補間画像(図5(C))を求めるにあたっては、一例として、2つの血流分布画像のうちの第1の血流分布画像の各画素(i,j)(i,jはそれぞれ画像上のx方向、y方向の位置を表わす)の画素値をP1i,j、もう1つの第2の血流分布画像の各画素(i,j)の画素値をP2i,jとしたとき、本実施形態では、
P12ij=(P1i,j+P2i,j)/2
の演算式により、補間画像の各画素の画素値P12i,jが求められる。
尚、図5では、時刻tと時刻tの中央の時刻t12に対応する補間画像を求めるものとして説明しているが、例えば時刻tと時刻tとの間を3等分したときの2つの時刻t121,t122の補間画像を求めてもよく、その場合には、時刻t121に対応する補間画像の各画素の画素値P121i,jは、
P121i,j=(2・P1i,j+P2i,j)/3
時刻t122に対応する補間画像の各画素の画素値P122i,jは、
P122i,j=(P1i,j+2・P21i,j)/3
の演算式により求められる。またこの場合、図4に示す画像データ算出部23に入力される順序は、補間演算部22をバイパスして入力された時刻tの血流分布画像、補間演算部22で求められる時刻t121に対応する補間画像、同じく補間演算部22で求められた時刻t122に対応する補間画像、補間演算部22をバイパスして入力される時刻tの血流分布画像の順序となる。時刻tと時刻tとの間をさらに細かく分割した各時刻ごとの補間画像を求める場合も同様である。
尚、上記の画像補間方法は一例であり、上記の画像補間方法のほか、補間画像を求める前の血流分布画像内の各観測点の時刻による変化を考慮した補間画像を求めることがさらに好ましい。
また、ここでは、2つの画像を用いた直線補間について説明したが、さらに多数の画像を用いてさらに高次の補間処理を行なってもよい。
補間演算部22で求められた、血流分布画像の補間画像は、図4に示す画像データ算出部23に入力され、画像データ算出部23では、今度はその補間画像に基く流線画像(図5(F))が算出される。
画像データ算出部23では一例として以下に説明するようにして、流線が求められる。ここでは前掲の非特許文献1および特許文献3に記載された方法を採用するものとし、公知の内容なので以下ではその概要を説明するにとどめる。
図6は、血流分布画像の一例を示す図である。
この血流分布画像は通常はカラーで表示するためカラードプラ画像とも称される画像である。この画像上の各点には、探触子が置かれた中心点Cに向かう方向あるいは中心点Cから遠ざかる方向の血流速度データが対応づけられており、中心点Cに向かう方向の血流は赤色、中心点Cから遠ざかる方向の血流は青色で表示され、さらにその血流速度が、赤色もしくは青色の輝度で表示される。ここでは、各点の血流速度データに基づいて、以下に概要を示す演算により流線が求められる。
図7は図6に代表的に示す、中心点Cから等距離にある一本のラインL上の血流速度分布を示した図である。
そのラインLに沿う領域(A)では、中心点Cに向かう方向の血流(ここでは「プラスの血流」と称する)が観測され、領域(B)では中心点Cから遠ざかる血流(ここでは「マイナスの血流」と称する)が観測され、領域(C)では中心点Cに向かうプラスの血流が観測されている。
ここで、プラスの血流量とマイナスの血流量が同一となる渦流成分と、それ以外の成分とに二分する。
図7に示す例では、全体としてはプラスの成分が多くマイナスの成分が少ないため、プラスの血流が観察された2つの領域(A)(C)のうちの、領域(B)と同一面積分だけを第1の成分とする。この第1の成分は、ラインLを横切って循環していて、全体としてはラインLから出入りのない渦流成分である。一方、その渦流成分を除いた第2の成分は、全体としてラインLを横切って流れる成分である。図6には、一本のラインLが示されているが、中心点Cからの等距離を結ぶ各ラインについて上記のようにして渦流成分とそれ以外の成分とに二分する。
渦流成分は、全体として観測面内で循回している成分であるから、この拘束条件の下に演算すると、各点における、超音波ビームと直角な方向の、渦流成分についての血流速度を求めることができ、図7に示す超音波ビームの方向の血流速度と合わせて各点での渦流成分に関する二次元的な速度ベクトルが求められる。
図8はこのようにして求めた各点の、渦流成分の血流を表した図である。
渦流成分を除く成分については、以下のようにして速度ベクトルが求められる。
図7の、渦流成分を除いた成分を、ラインLに沿って、図7の左右の一端(ここでは図7の右側とする)から左右のもう一端(図7の左側)に向かって積分し、そのラインLの最終まで積分して得た値を100%とし、ラインL上の、積分値が、例えば10%,20%,…,100%の各ポイントを求める。
この演算を図6に示す中心点Cからの等距離の点を結んだ各ラインについて行ない、10%のポイントどうし、20%のポイントどうし、…,100%のポイントどうしを結ぶ線を求める。
図9は、このようにして求めた、各ライン上の渦流成分を除く成分の積分の%が同一のポイントを結んだ線を示した図である。
この図9上の各線上の各点の接線は、血流の方向を示しており、各点の超音波ビームの方向の血流速度(渦流成分を除いた成分の血流速度;図7参照)は超音波ドプラ法による元々の血流速度から渦流成分の超音波ビーム方向の血流速度を引き算することにより求められることから、各点の血流の方向が分かることにより、各点の、超音波ビームに直角な方向の血流速度が求められ、結局、各点の、方向と大きさとの双方を示す血流速度ベクトルが求められる。この血流速度ベクトルは、上述したとおり、渦流成分を除いた成分の血流速度ベクトルであり、この血流速度ベクトルと、図8に示す渦流の血流速度ベクトルとを合成することにより、観測面上の各点の、渦流成分とそれ以外の成分とを合算したときの全体としての血流速度ベクトルが求められる。
尚、ここでは、渦流についての2次元的な血流速度と、渦流を除く血流成分についての二次元的な血流速度をそれぞれ求めて合成する演算方法を採用したが、渦流についての、超音波ビームに直交する方向の血流速度成分と、渦流を除く血流成分についての、超音波ビームに直交する方向の血流速度成分との双方を先に求め、この2つを合算したときの超音波ビームに直交する方向の血流速度成分と、超音波ビームの方向の血流速度成分(図7に示す渦流成分と渦流成分を除いた成分との合算)とに基づいて、二次元的な血流速度を求めてもよい。
図10は、観測面上の各点の、渦流成分とそれ以外の成分とを合算したときの血流を示す図である。
図10に示すような、超音波ビームに対し直角方向の成分も含んだ血流速度分布から流線が求められる。
流線を求めるにあたっては、例えば図6に示す中心点C近傍の、その中心点Cから等距離にある点を結ぶ1本のラインを考え、そのライン上での流量が同一の値となるように複数のポイントを定める。すなわち、隣接する2つのポイントどうしの間の流量が同一となるように複数のポイントを定める。
次に各ポイントから血流速度ベクトルを辿っていき、各ポイントを出発点とした流線を求める。着目している観察面上への血流の湧き出しや吸い込みがなければ、その場合に限っては、上記のようにして血流速度ベクトルを辿って結んだ線がそのままその観察面上の流線となり、流線の作成は終了することになるが、一般的には、この観測面上への血流の湧き出しや吸い込みが存在し、このままでは流線は完成しない。そこで、以下に説明するやり方で観測面上への血流の湧き出しや吸い込みを考慮した流線を求める。
図11は、観測面上への血流の湧き出しや吸い込みを考慮した流線の求め方を説明する図である。
はじめに、観測面上への血流の湧き出しを考慮した流線の求め方を説明する。
まず、上述したやり方にしたがって、血流速度ベクトルを辿って結んだ流線を求める。
図11(A)には、血流速度ベクトルを辿って結んだ第1の流線1および第2の流線2が描かれている。
ここでは、隣接する第1の流線1および第2の流線2に挟まれた帯状の領域の血流量をその帯の長手方向に順に求めていき、その帯内の流量が2倍になったら、そこに血流の湧き出し点があると見なして、その帯の両側の流線の中心点を出発点とした流線を追加する。
例えば、図11(A)に示すように、ポイントAB間からその帯の長手方向(矢印X方向)に順に血流量を求めていき、その流量がポイントCD間で2倍になったら、そこに血流に湧き出し点があると見なす。そして、図11(B)に示すように、その帯の両側の流線(ここでは第1の流線1と第2の流線2)の中心点Eを出発点とした第3の流線3を追加する。
次に、観測面上への血流の吸い込みを考慮した流線の求め方を説明する。
血流の吸い込みを考慮した流線を求める場合は、1本の流線を挟む両隣りの2本の流線を用いる。
図11(C)には、血流速度ベクトルを辿って結んだ第1の流線4、第2の流線5、および第3の流線6が描かれている。
ここで、第1の流線4と第3の流線6とに挟まれた帯状の領域の血流量をその帯の長手方向に順に求めていき、その流量が1/2になったら、そこに血流の吸い込み点があると見なしてその点で流線を一本終端させる処理を行なう。
例えば、図11(C)に示すように、ポイントFGHで結ばれた領域からその帯の長手方向(矢印X方向)に順に血流量を求めていき、その流量がポイントIJKで結ばれた領域で1/2になったら、そこに血流の吸い込み点があると見なす。そして、図11(D)に示すように、その点Jに血流の吸い込み点があると見なしてその点Jで流線5を終端させる処理を行なう。
図12は、図11で説明した流線の求め方で得られた流線画像を示す模式図である。
この流線画像には、連続した流線のほか、途中から始ったり途中で終端した流線もあらわれている。すなわち、血流の湧き出しや吸い込みが起きていることがわかる。
上記の流線を求める演算により、図4に示す画像データ算出部23では、流線画像が求められる。
このようにして順次求められた流線画像(図5(D)、(F)、(E))は、順次、図3に示す画像処理回路12に入力され、画像処理回路12では断層像に流線画像を重畳した画像(データ上の画像)が作成され、その画像データがTVモニタ13に送られてTVモニタ13上に、その画像データに基づき、断層線上に流線画像が重畳した画像が表示される。ここでは、断層像上に流体画像が重畳した画像は動画像として表示されるが、いずれかの一時点の画像に固定して静止画として表示することもでき、また、コマ送りすることもできる。
次に尾根線算出の流れについて説明する。
なお、流線算出の流れと同様の処理については説明を簡略化する。
図13は、図4に示す画像データ生成回路20で行われる尾根線算出の流れを示す模式図である。
図13(A)は、ある時刻tに生成された1フレーム分の血流分布画像であり、図5(B)は、時刻tから所定のフレーム間隔を置いた次の時刻tに生成された1フレーム分の血流分布画像である。
図13(A)に示す、時刻tの血流分布画像から、その時刻tの、尾根線分布を表わす尾根線画像(図13(D))が得られる。
また、これと同様に、図13(B)に示す時刻tの血流分布画像から、その時刻tの尾根線画像(図13(E))が得られる。
また、時刻t12に対応する高精度の尾根線画像を求めるために、上述した、流線画像を求めるための演算処理と同様の演算処理がなされ、時刻tと時刻tの中間の時刻t12の尾根線画像(図13(F))も求められる。
ここで、図4に示す、画像データ算出部23では、一例として以下に説明するようにして、尾根線が求められる。
画像データ算出部23では、血流分布画像に基づいて、観測面上の各点の、超音波ビーム方向の血流速度成分と超音波ビームに対し直角方向の血流速度成分の合成からなる血流速度が求められる。
この二次元的な血流速度の求め方については、血流の流線を求める途中段階で求めた血流速度の求め方(図6〜図10、およびそれらの図の説明)と同一であり、ここでは重複説明は省略する。
次に、画像データ算出部23では、血流速度を構成する血流速さと血流方向とのうちの血流速さの、観察面上の各点の集合からなる血流速さ分布に基づいて、以下のようにして、その各点の血流速さを地理上の標高に擬えたときの尾根上の点が抽出される。
図14は、観察面上の血流速さ分布を表わす画像上の各画素を示す模式図である。
尾根線を求めるにあたっては、血流速さ分布画像の各画素が1つずつ関心点として選択され、その関心点の周囲の8つの画素を含めて、以下に示す演算により、その関心点の画素が尾根線上の画素であるか否かが判定される。
ここでは、一例として、図14において(X,Y)=(5,4)の座標点を関心点として選択したものとする。この関心点の画素値はP5である。
次に、その関心点(画素値P5)に隣接する画素として、太枠で囲った3×3のマス目の画素(画素値P1〜P4,P6〜P9)を抽出する。
尚、図14において、空白の画素にも画素値が存在するが、ここでの説明には不要であるため、空白にしている。
図15は、尾根上の点の抽出処理の説明図である。
ここでは、以下に示すようにして、血流速さの比較がなされる。
図15(a)は、P5がP2,P8の双方と比較され、P5がP2,P8の双方よりも大きい値であるかを判定することを示している。図15(b)は、図15(a)と同様、P5がP4,P6の双方よりも大きい値であるかを判定することを示している。図15(c)は、P5がP1,P9の双方よりも大きい値であるかが判定することを示している。さらに、図15(d)は、P5がP3,P7の双方よりも大きい値であるかが判定することを示している。
このようにして、図15(a)〜図15(d)に示すように、P5が、そのP5の関心点を挟む両隣よりも大きい値であったとき(P5>P2,P8、又は、P5>P4,P6、又は、P5>P1,P9、又は、P5>P3,P7)に、その関心点が尾根上の点として抽出される。
画像データ算出部23では、以上のようにして、尾根上の点の集合が抽出される。
このようにして順次求められた尾根線(図13(D)、(F)、(E))は、流線画像同様、順次、図3に示す画像処理回路12に入力され、画像処理回路12では断層像に尾根線を重畳した尾根線画像(データ上の画像)が作成され、その画像データがTVモニタ13に送られてTVモニタ13上に、その画像データに基づき、断層像上に尾根線が重畳された尾根線画像が表示される。
図16は、断層像に尾根線が重畳された尾根線画像を示す模式図である。
図に示す線で囲まれた領域a’は、心臓内の領域を示す。
黒丸の点(図中b’)は、尾根上の点を表わす。
図17は、尾根線上の各点を血流速さに応じた表示態様で表示した尾根線画像を示す模式図である。
白丸(図中b’)の大きさが血流速さに対応している。
この尾根線画像には、血流が枝分かれする様子が表わされている。また、血流の流れが、強い所から弱い所に変わる箇所の様子も表わされている。
この尾根線画像は、心臓内部の尾根線を表示しているので、心臓疾患の診断に大きな貢献をなす可能性がある。
尚、上記の実施形態では、超音波診断装置において、血流速度分布を表わすカラードプラ画像から流線分布を表わす流線画像や尾根線分布を表わす尾根線画像を求める際の補間演算について説明したが、本発明はこれに限られるものではなく、第1の種類の複数の画像それぞれから求められる第2の種類の複数の画像の中間的な画像を求める際に広く採用され得るものである。
従来の超音波診断装置の構成図である。 MTIフィルタとして使用される1次のエコーキャンセラの回路ブロック図である。 本発明の一実施形態としての超音波診断装置の構成図である。 図3に1つのブロックで示す画像データ生成回路の構成図である。 図4に示す画像データ生成回路で行われる流線算出の流れを示す模式図である。 血流分布画像の一例を示す図である。 中心点Cから等距離にあるラインL上の各点の血流速度分布を示した図である。 渦流成分の血流の流れを表した図である。 各ライン上の渦流成分を除く成分の積分の%が同一のポイントを結んだ線を示した図である。 観測面上の各点の、渦流成分とそれ以外の成分とを合算したときの血流の流れを示す図である。 観測面上への血流の湧き出しや吸い込みを考慮した流線の求め方の説明図である。 図11で説明した流線の求め方で得られた流線画像を示す模式図である。 図4に示す画像データ生成回路で行われる尾根線算出の流れを示す模式図である。 観察面上の血流速さ分布を表わす画像上の各画素を示す模式図である。 尾根上の点の抽出処理の説明図である。 断層像に尾根線が重畳された尾根線画像を示す模式図である。 尾根線上の各点を血流速さに応じた表示態様で表示した尾根線画像を示す模式図である。
符号の説明
1 探触子
2 送信回路
3 パルス発生回路
4 受信回路
5 ミキサ回路
6a,6b ローパスフィルタ
7a,7b 変換器
8a,8b MTIフィルタ
9 自己相関回路
10 速度検出回路
11 断層像処理部
12 画像処理回路
13 TVモニタ
20 画像データ生成回路
21a,21b フレームメモリ
22 補間演算部
23 画像データ算出部
24 演算制御部
100A,100B 超音波診断装置

Claims (8)

  1. 第1の種類の複数の画像それぞれから導出される第2の種類の複数の画像の中間的な画像を求める画像補間方法であって、
    前記第1の種類の複数の画像を用いて、補間演算により、該第1の種類の補間画像を求める補間ステップと、
    前記補間ステップで求められた補間画像から前記第2の種類の画像を導出する導出ステップとを有することを特徴とする画像補間方法。
  2. 前記第1の種類の複数の画像が、時間的に変化する観察対象の、離散的な時間間隔からなる各時刻の状態を表わす複数の画像であって、
    前記補間ステップが、前記第1の種類の複数の画像から、補間演算により、該第1の種類の画像が存在しない時刻に対応する補間画像を求めるステップであることを特徴とする請求項1記載の画像補間方法。
  3. 前記第1の種類の画像が、超音波によるカラードプラ画像であることを特徴とする請求項1記載の画像補間方法。
  4. 前記第2の種類の画像が、血流の流線を表わす画像であることを特徴とする請求項1記載の画像補間方法。
  5. 前記第2の種類の画像が、血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線を表わす画像であることを特徴とする請求項1記載の画像補間方法。
  6. 第1の種類の複数の画像それぞれから導出される第2の種類の複数の画像の中間的な画像を求める画像補間装置であって、
    前記第1の種類の複数の画像を用いて、補間演算により、該第1の種類の補間画像を求める補間演算部と、
    前記補間演算部で求められた補間画像から前記第2の種類の画像を導出する導出部とを有することを特徴とする画像補間装置。
  7. 被検体内への超音波パルスの送波と該被検体内で反射して戻ってきた反射超音波の受信とを繰り返して、被検体内の血流分布を表わす血流分布画像を生成する超音波診断装置において、
    前記血流分布画像から血流の流線を表わす流線画像を算出する流線算出部と、
    複数の画像を補間して補間画像を求める補間演算部と、
    血流分布画像が存在しない時刻の流線画像を求めるにあたり、前記補間演算部に、被検体内の異なる時刻の血流分布を表わす複数の血流分布画像を補間させて血流分布画像が存在しない時刻の血流分布を表わす補間画像を求めさせ、前記流線算出部に、該補間画像から該時刻の流線画像を算出させる演算制御部とを備えたことを特徴とする超音波診断装置。
  8. 被検体内への超音波パルスの送波と該被検体内で反射して戻ってきた反射超音波の受信とを繰り返して、被検体内の血流分布を表わす血流分布画像を生成する超音波診断装置において、
    前記血流分布画像から血流速さを地理上の標高に擬えたときの尾根上の点の集合からなる尾根線画像を算出する尾根線算出部と、
    複数の画像を補間して補間画像を求める補間演算部と、
    血流分布画像が存在しない時刻の尾根線画像を求めるにあたり、前記補間演算部に、被検体内の異なる時刻の血流分布を表わす複数の血流分布画像を補間させて血流分布画像が存在しない時刻の血流分布を表わす補間画像を求めさせ、前記尾根線算出部に、該補間画像から該時刻の尾根線画像を算出させる演算制御部とを備えたことを特徴とする超音波診断装置。
JP2006337702A 2006-05-24 2006-12-15 画像補間方法、画像補間装置、および超音波診断装置 Active JP4939199B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006337702A JP4939199B2 (ja) 2006-05-24 2006-12-15 画像補間方法、画像補間装置、および超音波診断装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006143808 2006-05-24
JP2006143808 2006-05-24
JP2006337702A JP4939199B2 (ja) 2006-05-24 2006-12-15 画像補間方法、画像補間装置、および超音波診断装置

Publications (2)

Publication Number Publication Date
JP2008000583A true JP2008000583A (ja) 2008-01-10
JP4939199B2 JP4939199B2 (ja) 2012-05-23

Family

ID=39005417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006337702A Active JP4939199B2 (ja) 2006-05-24 2006-12-15 画像補間方法、画像補間装置、および超音波診断装置

Country Status (1)

Country Link
JP (1) JP4939199B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148794A (ja) * 2006-12-15 2008-07-03 Motonao Tanaka 画像生成方法および超音波診断装置
CN101919712A (zh) * 2010-08-25 2010-12-22 四川省医学科学院(四川省人民医院) 基于多普勒图像信息的心脏流场平面流线可视化描述方法
CN101933816A (zh) * 2009-06-25 2011-01-05 株式会社东芝 三维超声波诊断装置
WO2015198794A1 (ja) * 2014-06-27 2015-12-30 日立アロカメディカル株式会社 超音波診断装置
JP5937254B1 (ja) * 2015-04-23 2016-06-22 日立アロカメディカル株式会社 超音波診断装置
US9436538B2 (en) 2012-10-31 2016-09-06 Fujitsu Limited Computer-readable recording medium, log acquisition device, and log acquisition method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990000033A1 (en) * 1988-06-30 1990-01-11 Shigeo Ohtsuki Doppler system flow velocity distribution measuring apparatus
JPH03289947A (ja) * 1990-04-04 1991-12-19 Toshiba Corp 超音波診断装置
JPH0556972A (ja) * 1991-08-30 1993-03-09 Shimadzu Corp 超音波血流イメージング装置
JPH05115480A (ja) * 1991-10-31 1993-05-14 Fujitsu Ltd 超音波診断装置
JPH06205774A (ja) * 1993-01-08 1994-07-26 Aloka Co Ltd 超音波ドプラ診断装置
JPH09220228A (ja) * 1996-02-19 1997-08-26 Ge Yokogawa Medical Syst Ltd 血流情報画像表示方法および超音波診断装置
JPH10155791A (ja) * 1996-11-28 1998-06-16 Shimadzu Corp 超音波診断装置
JP2003099786A (ja) * 2001-09-20 2003-04-04 Canon Inc 2次元データから尾根を抽出する装置、方法、プログラムおよび記憶媒体
JP2005110939A (ja) * 2003-10-07 2005-04-28 Aloka Co Ltd 流れの観測装置
JP2008148794A (ja) * 2006-12-15 2008-07-03 Motonao Tanaka 画像生成方法および超音波診断装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990000033A1 (en) * 1988-06-30 1990-01-11 Shigeo Ohtsuki Doppler system flow velocity distribution measuring apparatus
JPH03289947A (ja) * 1990-04-04 1991-12-19 Toshiba Corp 超音波診断装置
JPH0556972A (ja) * 1991-08-30 1993-03-09 Shimadzu Corp 超音波血流イメージング装置
JPH05115480A (ja) * 1991-10-31 1993-05-14 Fujitsu Ltd 超音波診断装置
JPH06205774A (ja) * 1993-01-08 1994-07-26 Aloka Co Ltd 超音波ドプラ診断装置
JPH09220228A (ja) * 1996-02-19 1997-08-26 Ge Yokogawa Medical Syst Ltd 血流情報画像表示方法および超音波診断装置
JPH10155791A (ja) * 1996-11-28 1998-06-16 Shimadzu Corp 超音波診断装置
JP2003099786A (ja) * 2001-09-20 2003-04-04 Canon Inc 2次元データから尾根を抽出する装置、方法、プログラムおよび記憶媒体
JP2005110939A (ja) * 2003-10-07 2005-04-28 Aloka Co Ltd 流れの観測装置
JP2008148794A (ja) * 2006-12-15 2008-07-03 Motonao Tanaka 画像生成方法および超音波診断装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148794A (ja) * 2006-12-15 2008-07-03 Motonao Tanaka 画像生成方法および超音波診断装置
CN101933816A (zh) * 2009-06-25 2011-01-05 株式会社东芝 三维超声波诊断装置
CN101919712A (zh) * 2010-08-25 2010-12-22 四川省医学科学院(四川省人民医院) 基于多普勒图像信息的心脏流场平面流线可视化描述方法
US9436538B2 (en) 2012-10-31 2016-09-06 Fujitsu Limited Computer-readable recording medium, log acquisition device, and log acquisition method
WO2015198794A1 (ja) * 2014-06-27 2015-12-30 日立アロカメディカル株式会社 超音波診断装置
JP2016010425A (ja) * 2014-06-27 2016-01-21 日立アロカメディカル株式会社 超音波診断装置
US10485508B2 (en) 2014-06-27 2019-11-26 Hitachi, Ltd. Ultrasonic diagnostic device
JP5937254B1 (ja) * 2015-04-23 2016-06-22 日立アロカメディカル株式会社 超音波診断装置
WO2016170867A1 (ja) * 2015-04-23 2016-10-27 株式会社日立製作所 超音波診断装置
US10667708B2 (en) 2015-04-23 2020-06-02 Hitachi, Ltd. Ultrasound diagnostic device

Also Published As

Publication number Publication date
JP4939199B2 (ja) 2012-05-23

Similar Documents

Publication Publication Date Title
JP5478814B2 (ja) 超音波診断装置及び超音波による速度測定方法
US6406430B1 (en) Ultrasound image display by combining enhanced flow imaging in B-mode and color flow mode
US20180146952A1 (en) Ultrasonic blood flow imaging display method and ultrasonic imaging system
JP4939199B2 (ja) 画像補間方法、画像補間装置、および超音波診断装置
EP2610641B1 (en) Ultrasound and system for forming a Doppler ultrasound image
EP2609870A1 (en) Providing turbulent flow information based on vector doppler in ultrasound system
KR20080090888A (ko) 초음파 영상을 형성하는 초음파 시스템 및 방법
JP2007518512A (ja) 心筋灌流を表示するための画像分割
EP2609868A1 (en) Providing user interface in ultrasound system
Lovstakken et al. Blood flow imaging-a new real-time, flow imaging technique
EP2462872A1 (en) Providing additional information corresponding to change of blood flow with a time in ultrasound system
EP2077456B1 (en) Ultrasound system and method of providing ultrasound images
KR101060436B1 (ko) 초음파 영상을 형성하는 초음파 시스템 및 방법
JP6998477B2 (ja) カラードップラー超音波イメージングを行うための方法及びシステム
JP4426472B2 (ja) 超音波診断装置
JP4918344B2 (ja) 画像生成方法および超音波診断装置
JP2004329609A (ja) 超音波診断装置
JP2006320399A (ja) 超音波ドプラ血流計
JP5959880B2 (ja) 超音波診断装置
JP4537754B2 (ja) 超音波診断装置及びパルスドプラ計測装置
JP3977779B2 (ja) 超音波診断装置
JP5936857B2 (ja) 超音波診断装置及びその画像処理プログラム
Bjærum et al. Blood motion imaging-A new technique to visualize 2D blood flow
JP2009219511A (ja) 超音波診断装置
JP6745210B2 (ja) 超音波画像処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120224

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4939199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250