JP2004135934A - Ultrasonic diagnostic instrument - Google Patents

Ultrasonic diagnostic instrument Download PDF

Info

Publication number
JP2004135934A
JP2004135934A JP2002304491A JP2002304491A JP2004135934A JP 2004135934 A JP2004135934 A JP 2004135934A JP 2002304491 A JP2002304491 A JP 2002304491A JP 2002304491 A JP2002304491 A JP 2002304491A JP 2004135934 A JP2004135934 A JP 2004135934A
Authority
JP
Japan
Prior art keywords
image
color
speed
signal
tomographic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002304491A
Other languages
Japanese (ja)
Other versions
JP4243751B2 (en
JP2004135934A5 (en
Inventor
Shoichi Onodera
小野寺 正一
Naoyuki Murayama
村山 直之
Takeshi Matsumura
松村 剛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2002304491A priority Critical patent/JP4243751B2/en
Publication of JP2004135934A publication Critical patent/JP2004135934A/en
Publication of JP2004135934A5 publication Critical patent/JP2004135934A5/ja
Application granted granted Critical
Publication of JP4243751B2 publication Critical patent/JP4243751B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To precisely grasp the relation between the shape of organism tissue and its motion state by an ultrasonic diagnostic image, the relation between the shape of the organism tissue displayed by an M mode image and its motion state, and also the relation between the shape of the organism tissue and its elasticity. <P>SOLUTION: An ultrasonic diagnostic instrument includes: a tomographic image constituting part 18 for receiving a reflection echo signal generated from a subject, and constructing a gradation tomographic image; a speed image constituting part 24 for obtaining the motion speed of the organism tissue in the subject based on the time sequential reflection echo signals, and constituting a color speed image; an image synthesizing part 28 for synthesizing the gradation tomographic image with the color speed image; and a display part 34 for displaying the images. The image synthesizing part synthesizes the gradation tomographic image with the color speed image by adjusting luminance and hue so as to recognize both of the shape and motion speed of the organism tissue. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、超音波診断装置に係り、具体的には被検体の断層画像と生体組織の運動部位の運動速度を表す速度画像又は被検体の生体組織の硬さや柔らかさ等を表す弾性画像とを重ねて表示する技術に関する。
【0002】
【従来の技術】
超音波診断装置は、被検体に当接させた探触子を介して被検体に時間間隔をおいて超音波を繰り返し送信し、被検体から発生する時系列の反射エコー信号を受信し、その反射エコー信号に基づいて濃淡断層像例えば白黒断層像を得る装置である。
【0003】
このような超音波診断装置において、被検体から発生する時系列の反射エコー信号に基づいて生体組織の運動部位の運動速度を演算し、演算された運動速度の大きさに応じて運動速度の画像を構成する技術が知られている(例えば、特許文献1参照)。
【0004】
【特許文献1】
特公平05−76302号公報
【発明が解決しようとする課題】
ところで、現在、カラー速度画像を濃淡断層像に重畳表示する試みがなされている。つまり、カラー速度画像と濃淡断層像を別々に表示すると、観者例えば医師は、目線をずらして両方の画像を対比観察しなければならないから、カラー速度画像を断層像に重畳表示して対応させることにより、被検体の生体組織の形態変化とその運動速度を把握することができる。
【0005】
しかし、カラー速度画像を濃淡断層像に重畳表示すると、重ねられた部分ではどちらか一方の画像が表示されないことになる。つまり、カラー速度画像が優先して表示されると、同一部位の断層像が表示されないことになるから、生体組織の形態変化とその部位の運動速度を対比して視察することができない。例えば、心臓の弁を観察して血管の動脈硬化を診断する場合、弁が所定の形状で動いているかという点と所定の速度で動いているかを対応付けて観察したい場合があるが、このような要望には対応できない。
【0006】
このような問題は、濃淡Mモード像にカラー速度画像を重畳表示させる場合も同様に生じる。つまり、Mモード像とは、被検体から発生する反射エコー信号に基づいて構成した画像であって、モニタ画面に横軸を時間軸として縦軸に例えば心臓の弁の形態変化を時系列的に表示したものであり、これに弁の形態変化の速度(運動速度)を重ねて表示する場合が相当する。
【0007】
さらに、カラー速度画像に代えてカラー弾性画像を濃淡断層像に重畳表示させる場合も同様な問題が生じる。つまり、反射エコー信号から弾性情報例えば生体組織の硬さ、軟らかさ及び歪み並びに弾性率など求めて弾性画像を構成し、その弾性画像と断層像を重畳表示すると、重ねられた部分ではどちらか一方の画像が表示されないことになる。したがって、生体組織の形態と弾性とを的確に対応付けて把握したい場合があるが、このような要望には対応できない。
【0008】
本発明の第1の目的は、超音波断層像で生体組織の形態変化とその運動速度との関係を的確に把握することにある。
【0009】
また、第2の目的は、超音波Mモード像で生体組織の形態変化とその運動速度との関係を的確に把握することにある。
【0010】
さらに、第3の目的は、超音波断層像で生体組織の形態とその弾性との関係を的確に診断可能にすることにある。
【0011】
【課題を解決するための手段】
上記第1の目的を達成するため、本発明の超音波装置は、被検体に時間間隔をおいて超音波を繰り返し送信し、超音波の送信に対応する時系列の反射エコー信号を受信して濃淡断層像を構成する断層像構成部と、時系列の反射エコー信号に基づいて前記被検体の生体組織の運動速度を求めてカラー速度画像を構成する速度画像構成部と、濃淡断層像と前記カラー速度画像を合成する画像合成部と、合成された画像を表示する表示部とを備え、画像合成部は、濃淡断層像とカラー速度画像を合成するにあたって生体組織の形態と運動速度の分布の双方を認識可能に輝度と色相を調整して合成することを特徴とする。
【0012】
これによれば、合成画像は、異なる生体組織の境界や生体組織の動き及び形状変化などが表示されると同時に、それら組織の各部位における運動状態つまり運動速度の変化がカラー画像に重ねて表示されるから、生体組織とその運動状態との関係を的確に把握することができる。つまり、合成画像の各画素の輝度情報及び色相情報は、濃淡断層像とカラー速度画像の画素情報が加算されて両方の画像の情報を含んだものとなる。
【0013】
その結果、例えば、心臓の弁を診断する場合、カラー速度画像上に、弁の形態がうっすらと描出されるから、その弁の輪郭と組織の動きを同一画像で同時に観察できるので、弁が所定の形態を保持したまま所定の速度で動いているかどうかを確認することができる。したがって、血管の動脈硬化などの診断を的確に行うことが可能になる
この場合において、濃淡断層像とカラー速度画像をそれぞれ重み付けして加算することにより、合成画像の原色信号すなわちRGB信号を所定範囲内に調整するようにしてもよい。これによれば、濃淡断層像の輝度の値が大きい場合でも、その断層像とカラー速度画像とを合成した画像の原色信号すなわちRGB信号を視覚的に認識しやすいように調整することができる。また、濃淡断層像の輝度情報を光の3原色とみなすことにより、設定割合でカラー速度画像の色相情報と加算することができる。
【0014】
ところで、カラー速度画像の信号は輝度と色相を含むRGB信号であるから、その信号に濃淡断層像の輝度を加算すると、カラー速度画像の輝度の変化に呼応して色相が変わることがある。つまり、色相が示す運動速度が実際の生体組織の運動速度とは異なるものになるおそれがある。そこで、カラー速度画像の色相情報を輝度情報と色差情報に変換し、変換された輝度情報に濃淡断層像の輝度情報を加算して合成画像を作成することにより、カラー速度画像の色相を変化させずに、輝度だけを変化させて合成画像を作成することが望ましい。すなわち、カラー速度画像の信号を輝度信号と色差信号とに変換して分離し、その輝度信号にのみ断層像の輝度信号を加算すれば、色差信号すなわち色相に影響を与えず、カラー速度画像の輝度のみを調整することが可能となる。このとき、カラー速度画像の輝度と濃淡断層像の輝度を設定割合で加算することのより、合成画像の輝度を視覚的に見易い輝度に調整するようにしてもよい。
【0015】
さらに、カラー速度画像は予め設定された関心領域内について作成するようにしてもよい。生体組織全体についてカラー速度画像を構成する場合に比べ、カラー画像の構成時間を短縮することができ、表示画像のフレームレートを向上させることができる。
【0016】
また、組織の運動速度と色相との対応関係を容易に把握するために、色変換マップを表示部に表示させてもよい。また、重み付け、設定割合及び関心領域並びに色変換マップは、それぞれ可変設定するようにしてもよい。これにより、例えば生体組織の性質に応じて各パラメータを任意に設定することが可能となる。
【0017】
次に、上記第2の目的を達成するため、本発明の超音波診断装置は、濃淡断層像にカラー速度画像を加算合成することに代えて、被検体からの反射エコー信号に基づいて濃淡Mモード像を構成するMモード構成部を設け、速度画像を生体組織の形態変化とその形態変化の速度の双方を認識可能に濃淡Mモード像とカラー速度画像の輝度と色相を調整して合成するようにしてもよい。
【0018】
これによれば、合成画像の各画素の輝度情報及び色相情報は、濃淡Mモード画像とカラー速度画像の画素情報を加算したものとなるから、両方の画像の情報を含んだ合成画像となる。したがって、合成画像には、生体組織の形態変化が時系列的に表示されると同時に、それら組織の各部位における運動速度の変化がカラー画像により重ねて表示される。その結果、カラー速度画像上に生体組織の形態がうっすらと描出されるので、その組織の輪郭など視認することができ、Mモードにおいて生体組織の形態とその運動状態との対応関係を的確に把握することができる。
【0019】
この場合において、Mモード像とカラー速度画像をそれぞれ重み付けして加算することが好ましい。また、Mモード像の輝度情報を光の3原色とみなすことにより、設定割合でカラー速度画像の色相情報と加算することができる。また、カラー速度画像の色相情報を輝度情報と色差情報に変換し、変換された輝度情報にMモード像の輝度情報を加算して合成画像を作成することが望ましい。このとき、カラー速度画像の輝度情報とMモード像の輝度情報を設定割合で加算するようにしてもよい。
【0020】
また、カラー速度画像は予め設定された関心領域内について作成するようにしてもよい。さらに、色変換マップを前記表示部に表示させてもよい。また、重み付け、設定割合及び関心領域並びに色変換マップは、それぞれ可変設定するようにしてもよい。
【0021】
そして、上記第3の目的を達成するため、本発明の超音波診断装置は、濃淡断層像にカラー速度画像を加算合成することに代えて、被検体からの反射エコー信号に基づいて生体組織の弾性例えば歪みや弾性率を表すカラー弾性画像を構成する弾性画像構成部を設け、速度画像を生体組織の形態と弾性の双方を認識可能に輝度と色相を調整して合成するようにしてもよい。
【0022】
これによれば、合成画像の各画素の輝度情報及び色相情報は、濃淡断層像とカラー弾性画像の画素情報を加算したものとなるから、両方の画像の情報を含んだ合成画像となる。したがって、合成画像には、異なる生体組織の境界や生体組織の動き及び形状変化などが表示されると同時に、それら組織の各部位の弾性情報がカラー画像により重ねて表示される。その結果、カラー速度画像上に生体組織の形態がうっすらと描出されるので、その組織の輪郭などを視認することができ、生体組織の形態とその弾性との対応関係を的確に把握することができる。
【0023】
この場合において、カラー弾性画像の色相情報を輝度情報と色差情報に変換し、変換された輝度情報に濃淡断層像の輝度情報を加算して合成画像を作成することが望ましい。また、カラー弾性画像の輝度情報と濃淡断層像の輝度情報を設定割合で加算するようにしてもよい。また、予め設定された関心領域に特定させてカラー弾性画像を作成することが好ましい。さらに、色変換マップを表示部に表示するようにしてもよい。設定割合及び関心領域並びに色変換マップは、それぞれ可変設定するようにしてもよい。
【発明の実施の形態】
(実施形態1)
最初に、本発明を適用してなる超音波装置の最も好ましい実施形態を説明する。すなわち、カラー速度画像の色相情報(RGB)を輝度情報(Y)と色差情報(U、V)に変換して白黒断層像に合成する第1の実施形態を図1乃至図3を参照して説明する。図1は本発明を適用した超音波診断装置の構成例を示すブロック図である。図2は画像合成部の構成を示す概念図である。図3は合成画像の具体的な表示例である。
【0024】
図1に示すように、超音波診断装置1には、被検体に当接させて用いる探触子10と、探触子10を介して被検体に時間間隔をおいて超音波を繰り返し送信する送信部12と、被検体から発生する時系列の反射エコー信号を受信する受信部14と、受信された反射エコーを整相加算して受波信号を時系列に生成する整相加算部16とが設けられている。
【0025】
また、整相加算部16からの受波信号に基づいて被検体の濃淡断層像例えば白黒断層像を構成する断層像構成部18と、構成された断層像信号をテレビ同期で読み出すための信号に変換する白黒DSC20が備えられている。また、整相加算部16の受波信号から被検体の生体組織の運動速度を求める速度演算部22と、求められた運動速度に基づいてカラー速度画像を構成する速度画像構成部24と、構成されたカラー速度画像の信号を表示用の信号に変換するカラーDSC26とが備えられている。
【0026】
そして、白黒DSC20の白黒断層像とカラーDSC26のカラー速度画像とを合成する画像合成部28と、合成された画像を表示する表示部34が設けられている。また、画像合成部28には、制御部30を介して操作卓32が備えられている。
【0027】
このように構成される超音波診断装置の動作について説明する。超音波診断装置1は、被検体に当接させた探触子10を介して被検体に時間間隔をおいて送信部12により超音波を繰り返し送信し、被検体から発生する時系列の反射エコー信号が受信部14により受信されて整相加算部16で受波信号として整相加算され、その受波信号は断層像構成部18と白黒DSC20により白黒断層像に変換して表示される。この表示される白黒断層像は、生体組織の境界、生体組織の動き及び形状などの生体組織の形態分布を示すものとなる。
【0028】
また、整相加算部16からの受波信号は複素信号に変換され、その複素信号は複素関係にある他の受波信号とに混合されて生体組織の運動に係る運動速度が速度演算部22により算出される。算出された運動速度は速度画像構成部24とカラーDSC18によりカラー速度画像に変換して表示される。このカラー速度画像は、生体組織の運動状態すなわち運動速度の変化を示すカラー画像となる。例えば、組織の動きが速い部位には赤色(R)コードが付与され、遅い部位には青色(B)コードが付与された画像となる。そして、変換された白黒断層像とカラー速度画像は画像合成部28により合成すなわち混合され、合成画像は表示部34に表示される。
【0029】
ここで、本発明の画像合成部28について詳細に説明する。図2に示すとおり、画像合成部28は、画像データを格納するフレームメモリ40と、格納された画像の信号を変換する信号変換部42と、画像信号を合成する信号合成部44とを含んで構成されている。
【0030】
まず、白黒DSC20からの白黒断層像とカラーDSC26からのカラー速度画像がフレームメモリ40に格納される。このとき、格納されたカラー速度画像の色相信号は輝度情報と色相情報を含む原色信号(RGB信号)である。次に、そのRGB方式の信号は信号変換部42により輝度信号(Y)と色差信号(U=B−Y、V=G−Y)からなるYUV方式の信号に変換される。そして、変換されたYUV方式のカラー速度画像は、輝度信号(Y)と色差信号(U,V)に分離され、分離した信号のうち輝度信号(Y)にのみ制御部30の指令に応じた設定割合すなわち合成比率に基づいて白黒断層像の輝度信号が加算される。
【0031】
すなわち、カラー速度画像のRGB信号をその方式のまま断層像の輝度信号に混合すると、RGB信号は輝度情報と色相情報を含んだ信号であるから、輝度を変化させると、その変化に呼応して色相も変化する場合がある。その変化を調整するためには、入力されるデータに応じて動的に画像の合成比率を調整する複雑な制御が必要である。そこで、本発明の画像合成部28は、カラー速度画像のRGB信号を輝度情報(Y)と色相情報(U,V)に変換し、その輝度情報(Y)にのみ断層像の輝度情報を信号合成部44により加算することとしている。したがって、カラー速度画像の色相を変化させずに、カラー速度画像の輝度だけを変化させて生体組織の形態分布と運動速度分布の両方を反映させた合成画像を得ている。
【0032】
その結果、例えば、心筋を診断する場合、合成画像を視察するだけで、心筋の形態と運動速度との対応関係を的確に把握することができる。つまり、カラー速度画像上に心筋の形状がうっすらと描出されるので、その心筋の輪郭や動きを運動速度と同時に観察できる。したがって、心筋がどのような形状で動いているかという点とどのような速度で動いているかという点を同一画面上で対比観察することができ、的確な診断を行うことができる。
【0033】
ここで、本実施形態における白黒断層像とカラー速度画像を合成する処理の一例について説明する。まず、数1式に示すように、カラー速度画像のRGB信号(原色信号)をYUV信号に変換する。そして、YUV方式に変換されたカラー速度画像の輝度信号(Y)と白黒断層像の輝度信号とを設定割合(k)で加算する。その結果、数3式に示すような合成画像のYUV信号が得られる。なお、RGB方式からYUV方式への変換係数をa1乃至a9としており、また、断層像の輝度信号をBWとしている。また、kは操作卓32から任意に設定される合成割合であり、ゼロより大きく1より小さい値である。
【0034】
【数1】
カラー速度画像の輝度信号(Y)
=a1×原色信号R+a2×原色信号G+a3×原色信号B
カラー速度画像の色差信号(U)
=a4×原色信号R+a5×原色信号G+a6×原色信号B
カラー速度画像の色差信号(V)
=a7×原色信号R+a8×原色信号G+a9×原色信号B
【0035】
【数2】
合成画像の輝度信号(Yout
=a1×{(1−k)原色信号R+k×BW}
+a2×{(1−k)原色信号G+k×BW}
+a3×{(1−k)原色信号B+k×BW}
合成画像の色差信号(Uout
=a4×原色信号R+a5×原色信号G+a6×原色信号B
合成画像の色差信号(Vout
=a7×原色信号R+a8×原色信号G+a9×原色信号B
数1式と数2式から分かるように、合成画像のYUV信号は、カラー速度画像の輝度信号(Y)のみに断層像の輝度信号(BW)を混合したものとなっている。したがって、合成画像は、色相の値を変化させずに輝度のみを変化させて断層像とカラー速度画像の両方の情報を反映させたものとなる。その結果、合成画像は、生体組織分布と正確な組織速度分布との両方を表示するから、生体組織の形態とその運動状態との関係を的確に把握することができる。
【0036】
このように合成される画像の表示例を図3を参照して説明する。図3には、白黒断層像と、カラー速度画像と、重畳画像と、合成画像とが示されている。図3Aに示すように、白黒断層像は心筋58の形態を表示している。また、図3Bに示すように、カラー速度画像は関心領域における心筋58の運動速度にカラーを付した画像51を表示している。また、図3Cに示すように、重畳画像は白黒断層像にカラー速度画像51を重ねた画像を表示している。そして、図3Dに示すように、合成画像には、白黒断層像とカラー速度画像を画像構成部28により合成した画像が表示されている。
【0037】
図3Cの重畳画像では、白黒断層像とカラー速度画像とが重ねられた部分では、カラー速度画像51が優先して表示されているので、その部分では心筋58の画像が上書きされて表示されない。したがって、この重畳画像を視察するだけでは、心筋58の形態つまり境界、動き、形状変化と心筋の運動速度とを対応付けて視察することができない。
【0038】
一方、図3Dの合成画像53では、白黒断層像とカラー速度画像とが重ねられた部分では、カラー速度画像51上にうっすらと心筋58の形態が表示される。したがって、この合成画像を視察するだけで、心筋58の形態とその運動速度との関係を的確に把握することができる。なお、合成画像53には、操作卓28により設定された色変換マップ59が表示されている。この色変換マップ59により心筋58の運動速度と色相との対応関係を容易に把握することができる。
【0039】
また、本実施形態では、画像合成部28により合成処理する領域を予め設定された関心領域に特定して処理している。例えば、速度画像構成部24は、カラー速度画像を構成する際、画像の構成範囲を制御部30の指令に応じて予め設定した関心領域内に特定する。これにより、構成されるカラー速度画像は、被検体の関心領域内の生体組織のみに特定した画像となる。したがって、被検体の生体組織全体に渡ってカラー速度画像を構成する場合に比べ、画像構成時間を短縮することができ、表示画像のフレームレートを向上させることができる。なお、設定される関心領域は、表示画面上でユーザインターフェース例えば操作卓32を用いて任意に設定変更される。
(実施形態2)
次に、第2の実施形態について説明する。すなわち、白黒断層像の輝度情報をRGB信号に変換してカラー速度画像の色相情報(RGB)と合成する例を図4を参照して説明する。
【0040】
図2の実施形態の画像合成部28では、カラー速度画像のRGB信号をYUV信号に変換して合成する信号変換部42を備えていたが、図4に示す画像構成部は白黒断層像の輝度信号をRGB信号に変換して合成する信号変換部42aを備えている。
【0041】
図4に示すように、画像構成部28は、フレームメモリ40と信号変換部42aと信号合成部44aとを含んで構成されている。まず、白黒DSC20からの白黒断層像データとカラーDSC26からのカラー速度画像データがフレームメモリ40に格納される。格納された白黒断層像データの輝度信号が信号変換部42aによりRGB方式の信号に変換される。そして、変換された信号は、制御部30の指令に応じた設定割合で信号合成部44aによりカラー速度画像のRGB信号に加算合成される。したがって、白黒断層像とカラー速度画像との合成画像が得られる。
【0042】
このとき、得られた合成画像の各画素の輝度情報及び色相情報は、白黒断層像とカラー速度画像の画素情報を加算したものとなるから、両方の画像の情報を含んだものとなる。その結果、合成画像には、生体組織の形態などが表示されると同時に、それら組織の各部位における運動速度の変化が重ねて表示される。
【0043】
さらに、本実施形態の画像合成部28は、複雑な信号変換処理を必要としないので、画像合成の加算処理を高速に行うことができるとともに、加算制御回路を簡素化することができる。すなわち、白黒断層像とカラー速度画像を合成する場合、カラー速度画像の色相変化が許容範囲にある場合には本実施形態を適用することが有用となる。
【0044】
ここで、本実施形態における白黒断層像とカラー速度画像を合成する処理の一例について説明する。数3式に示すように、白黒断層像の輝度信号を信号変換部42aによりRGB方式の信号に変換する。そして、数4式に示すように、白黒断層像のRGB信号とカラー速度画像のRGB信号を信号合成部44aによりそれぞれの属性を有する信号毎に設定割合(kr、kg、kb)で加算する。したがって合成画像を得ることができる。なお、kr、kg、kbは操作卓32から任意に設定される合成割合であり、それぞれゼロより大きく1より小さい値である。
【0045】
【数3】
断層像信号(R)=断層像輝度信号(BW)
断層像信号(G)=断層像輝度信号(BW)
断層像信号(B)=断層像輝度信号(BW)
【0046】
【数4】
合成画像信号(Rout
=(1−kr)×カラー速度信号(R)+kr×断層像信号(R)
合成画像信号(Gout
=(1−kg)×カラー速度信号(G)+kg×断層像信号(G)
合成画像信号(Bout
=(1−kb)×カラー速度信号(B)+kb×断層像信号(B)
このとき、数4式からわかるように、合成画像(Rout、Gout、Bout)は、カラー速度画像と断層像画像にそれぞれ重み付けを加味して加算されたものとなる。このように重み付けをすれば、合成画像の原色信号すなわちRGB信号を所定範囲内に調整することが可能となる。つまり、濃淡断層像の輝度の値が大きい場合、その輝度をカラー速度画像に加算すると、合成された画像のRGB信号は所定範囲を越える場合があり、視覚的に見え難い画像となることがある。そこで、合成画像のRGB信号を所定範囲になるように断層像とカラー速度画像とにそれぞれ重み付けを施して加算すれば、視認し易い画像を得ることができる。
(実施形態3)
第3の実施形態について説明する。図1に示す超音波診断装置1では、白黒断層像とカラー速度画像とを合成する例を説明したが、本実施形態では白黒Mモード像とカラー速度画像とを合成する例を図5及び図6を用いて説明する。
【0047】
図5は白黒Mモード像とカラー速度画像とを合成する超音波診断装置2の構成例を示すブロック図である。図6は本実施形態の合成画像の具体的な表示例を示している。図5に示すとおり、超音波診断装置2には、図1に示す超音波診断装置1の断層像構成部18に代えてMモード像構成部60が設けられている。
【0048】
このMモード像構成部60は、整相加算部16からの受波信号に基づいて被検体の白黒Mモード像を構成するものである。ここで、Mモード像は、モニタ画面に、横軸を時間軸として縦軸に例えば心臓の弁の形態変化を時系列に表示するものであって、モニタ画面に横軸を時間軸として縦軸に例えば心臓の弁の形態変化を時系列的に表示したものである。このMモード像に弁の形態変化の速度(運動速度)が重ねられて表示される。すなわち、この超音波診断装置2では、Mモード像構成部60により構成された白黒Mモード像が白黒DSC20により表示信号に変換され、変換されたMモード像信号はカラーDSC26からのカラー速度画像と画像合成部28により合成されて合成画像を得ている。
【0049】
このように得られた合成画像の表示例を図6を参照して説明する。図6には、白黒Mモード像と、カラー速度画像と、重畳画像と、合成画像とが示されている。図6Aに示すように、白黒Mモード像は心臓の弁68の形態変化を時系列的に表示している。また、図6Bに示すように、カラー速度画像は心臓の弁68の動きにカラーを付した運動速度の画像69を表示している。また、図6Cに示すように、重畳画像はMモード像にカラー速度画像を重ねて表示されたものである。そして、図6Dに示すように、合成画像63はMモード像とカラー速度画像を画像合成部28により合成して表示されたものである。なお、ここで、各表示画面の横軸は時間の経過を示しており、縦軸は被検体内の深度を示している。
【0050】
図6Cの重畳画像では、Mモード像とカラー速度画像とが重ねられて表示される際、カラー速度画像が優先して表示されているので、弁68の画像が運動速度画像69に上書きされて表示されていない。したがって、弁68の形態変化とその変化の速度とを対応付けて視察することができない。
【0051】
一方、図6Dの合成画像は、Mモード像とカラー速度画像が画像合成部28により合成されたものであるから、運動速度画像69上にうっすらと弁68の形態が表示されている。したがって、合成画像を視察するだけで、弁68の形態とその運動状態との対応関係を的確に把握することができる。その結果、弁が所定の形態を保持したまま所定の速度で動いているかどうかを確認することができるので、血管の動脈硬化などの診断を的確に行うことが可能になる
なお、合成画像には、操作卓28により設定された色変換マップ65が表示されている。この色変換マップ65により弁の運動速度と色相との対応関係を容易に把握することができる。なお、本実施形態における画像合成処理は第1の実施形態で説明した処理を適用することができる。すなわち、本実施形態は第1の実施形態の断層像構成部18に代えてMモード像構成部60を適用した例であるから、他の構成及び動作については第1の実施形態と同様である。
(実施形態4)
第4の実施形態について説明する。図1に示す超音波診断装置1では、白黒断層像とカラー速度画像とを合成する例を説明したが、本実施形態では、白黒断層像とカラー弾性画像とを合成する例を図7及び図8を用いて説明する。
【0052】
図7は白黒Mモード像とカラー弾性画像とを合成する超音波診断装置3の構成例を示すブロック図である。図8は本実施形態における合成画像の具体的な表示例を示している。図7に示すとおり、超音波診断装置3には、図1に示す超音波診断装置1の速度演算部22に代えて弾性データ演算部71が設けられとともに、速度画像構成部24に代えて弾性画像構成部72が設けられている。
【0053】
この弾性データ演算部71は、整相加算部16から時系列に生成される受波信号から1組の受波信号を選択し、その1組の信号を1次元又は2次元相関処理して生体組織の変位を求め、求められた変位から弾性データ例えば生体組織の歪みや弾性率を算出するものである。また、弾性画像構成部72は、弾性データ演算部71により算出された弾性データに基づいて弾性画像を構成するものである。すなわち、この超音波診断装置3では、白黒DSC20からの白黒断層像とカラーDSCからのカラー弾性画像とが画像合成部28で合成して合成画像を得ている。
【0054】
このように得られた合成画像の表示例を図8を参照して説明する。図8には、白黒断層像と、カラー弾性画像と、重畳画像と、合成画像とが示されている。図8Aに示すように、白黒断層像は腫瘍84を含む生体組織の形態を示している。また、図8Bに示すように、カラー弾性画像は、生体組織の歪みや弾性率に関する弾性分布を示しており、腫瘍84の周囲の生体組織において硬化した部位である硬化領域85を含んで表示されている。また、図8Cに示すように、重畳画像には、白黒断層像にカラー弾性画像が重ねられて表示されている。そして、図8Dに示すように、合成画像には、白黒断層像とカラー弾性画像とが画像合成部28により合成して表示されている。
【0055】
図8Cの重畳画像では、白黒断層像とカラー弾性画像とを重ねて表示する際、カラー弾性画像が優先して表示されているので、腫瘍84の画像は硬化領域85の画像によって上書きされ、腫瘍84の画像が表示されていない。したがって、この重畳画像を観察しただけでは、腫瘍84の大きさと硬化領域85の広がり具合を対応付けて視察することができない。
【0056】
一方、図8Dの合成画像では、白黒断層像とカラー弾性画像とが画像合成部により合成されているので、硬化領域85の画像上にうっすらと腫瘍84の形態が表示されている。したがって、合成画像を視察するだけで、腫瘍84の大きさと硬化領域85の広がりを相対的に把握することできるから、手術による摘出範囲を的確に決めることが可能になる。
【0057】
このとき、合成画像84には、操作卓28により設定された色変換マップ86が表示されている。この色変換マップ86により生体組織の弾性と色相との対応関係を容易に把握することができる。
【0058】
なお、本実施形態における画像の合成処理は第1の実施形態で説明した処理を適用することができる。すなわち、本実施形態は第1の実施形態の速度演算部22と速度画像構成部24とに代えて弾性データ演算部71と弾性画像構成部72を適用した例であるから、他の構成及び動作については第1の実施形態と同様である。
【0059】
【発明の効果】
本発明の1つによれば、超音波診断画像で生体組織の形態とその運動状態との関係を的確に把握することができる。
【0060】
また、本発明の他の1つによれば、超音波診断画像でMモード像により表示される生体組織の形態とその運動状態との関係を的確に把握することができる。
【0061】
さらに、本発明の他の1つによれば、超音波診断画像で生体組織の形態とその弾性との関係を的確に診断することができる。
【図面の簡単な説明】
【図1】本発明を適用した超音波診断装置の構成例を示すブロック図である。
【図2】本発明の画像合成部の構成を示す概念図である。
【図3】第1の実施形態における合成画像の具体的な表示例を示している。
【図4】第2の実施形態における画像構成部の構成を示す概念図である。
【図5】第3の実施形態における超音波診断装置の構成例を示すブロック図である。
【図6】第3の実施形態における合成画像の具体的な表示例を示している。
【図7】第4の実施形態における超音波診断装置の構成例を示すブロック図である。
【図8】第4の実施形態における合成画像の具体的な表示例を示している。
【符号の説明】
1  超音波診断装置
18 断層像構成部
20 白黒DSC
24 速度画像構成部
26 カラーDSC
28 画像構成部
32 操作卓
34 表示部
42 信号変換部
44 信号合成部
60 Mモード像構成部
71 弾性データ演算部
72 弾性画像構成部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an ultrasonic diagnostic apparatus, specifically, a tomographic image of a subject and a velocity image representing a moving speed of a moving part of a living tissue or an elastic image representing hardness or softness of a living tissue of the subject. Related to the technology of displaying the overlapping images.
[0002]
[Prior art]
The ultrasound diagnostic apparatus repeatedly transmits ultrasonic waves at a time interval to the subject via a probe abutted on the subject, receives a time-series reflected echo signal generated from the subject, and This device obtains a gray-scale tomographic image, for example, a black-and-white tomographic image, based on a reflected echo signal.
[0003]
In such an ultrasonic diagnostic apparatus, the motion velocity of a moving part of a living tissue is calculated based on a time-series reflected echo signal generated from a subject, and an image of the motion velocity is calculated according to the magnitude of the calculated motion velocity. Is known (for example, see Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent Publication No. 05-76302
[Problems to be solved by the invention]
At present, attempts have been made to superimpose and display a color velocity image on a gray-scale tomographic image. In other words, if the color velocity image and the gray-scale tomographic image are displayed separately, the viewer, for example, a doctor, has to shift the line of sight to compare and observe both images. Thereby, it is possible to grasp the morphological change of the living tissue of the subject and the movement speed thereof.
[0005]
However, when the color velocity image is displayed in a superimposed manner on the gray-scale tomographic image, one of the images is not displayed in the superimposed portion. In other words, if the color velocity image is displayed with priority, the tomographic image of the same part is not displayed, so that it is not possible to compare the morphological change of the living tissue with the movement velocity of the part. For example, when diagnosing arteriosclerosis of a blood vessel by observing a valve of a heart, it may be desirable to observe whether the valve is moving in a predetermined shape and moving at a predetermined speed. Can not respond to such requests.
[0006]
Such a problem also occurs when a color speed image is superimposed on a grayscale M-mode image. That is, the M-mode image is an image formed based on the reflected echo signal generated from the subject, and the horizontal axis is the time axis on the monitor screen and the morphological change of the heart valve, for example, is shown in time series on the vertical axis. This corresponds to a case where the speed (movement speed) of the change in the shape of the valve is superimposed and displayed thereon.
[0007]
Further, a similar problem occurs when a color elasticity image is superimposed and displayed on a gray-scale tomographic image instead of a color speed image. That is, an elasticity image is obtained by calculating elasticity information, for example, hardness, softness and distortion, and elasticity of a living tissue from a reflected echo signal, and when the elasticity image and the tomographic image are displayed in a superimposed manner, one of the superimposed portions is displayed. Will not be displayed. Therefore, there is a case where it is desired to grasp the form and elasticity of the living tissue in an accurate correspondence, but it is not possible to meet such a demand.
[0008]
A first object of the present invention is to accurately grasp the relationship between a morphological change of a living tissue and its movement speed using an ultrasonic tomographic image.
[0009]
A second object is to accurately grasp the relationship between the morphological change of a living tissue and its movement speed using an ultrasonic M-mode image.
[0010]
Further, a third object is to make it possible to accurately diagnose the relationship between the form of a living tissue and its elasticity on an ultrasonic tomographic image.
[0011]
[Means for Solving the Problems]
In order to achieve the first object, the ultrasonic apparatus of the present invention repeatedly transmits an ultrasonic wave to a subject at time intervals and receives a time-series reflected echo signal corresponding to the transmission of the ultrasonic wave. A tomographic image forming unit that forms a gray-scale tomographic image, a velocity image forming unit that obtains a moving speed of the living tissue of the subject based on a time-series reflected echo signal to form a color speed image, a gray-scale tomographic image, An image synthesizing unit for synthesizing the color speed image and a display unit for displaying the synthesized image are provided. It is characterized by adjusting the luminance and the hue so that both can be recognized and combining them.
[0012]
According to this, the synthesized image displays the boundaries of different living tissues and the movement and shape change of the living tissues, and at the same time, displays the movement state, that is, the change of the movement speed in each part of the tissues, on the color image. Therefore, the relationship between the living tissue and its movement state can be accurately grasped. That is, the luminance information and the hue information of each pixel of the composite image include information of both images by adding the pixel information of the grayscale tomographic image and the color velocity image.
[0013]
As a result, for example, when diagnosing a valve of the heart, the morphology of the valve is faintly depicted on the color velocity image. It is possible to confirm whether or not the vehicle is moving at a predetermined speed while maintaining the above-mentioned configuration. Therefore, it becomes possible to accurately diagnose arteriosclerosis of blood vessels and the like.
In this case, the primary color signal, that is, the RGB signal of the composite image may be adjusted to be within a predetermined range by weighting and adding the grayscale tomographic image and the color velocity image. According to this, even when the brightness value of the gray-scale tomographic image is large, it is possible to make adjustments so that the primary color signals, that is, the RGB signals of the image obtained by combining the tomographic image and the color velocity image can be easily recognized visually. Further, by regarding the luminance information of the grayscale tomographic image as the three primary colors of light, it is possible to add the hue information of the color speed image at a set ratio.
[0014]
By the way, since the signal of the color speed image is an RGB signal including luminance and hue, if the luminance of the gray-scale tomographic image is added to the signal, the hue may change in response to the change of the luminance of the color speed image. That is, the movement speed indicated by the hue may be different from the actual movement speed of the living tissue. Therefore, the hue of the color speed image is changed by converting the hue information of the color speed image into luminance information and color difference information, and adding the luminance information of the grayscale tomographic image to the converted luminance information to create a composite image. Instead, it is desirable to create a composite image by changing only the luminance. That is, if the signal of the color velocity image is converted into a luminance signal and a color difference signal and separated, and the luminance signal of the tomographic image is added only to the luminance signal, the color difference signal, that is, the hue is not affected, and the color velocity image is not affected. Only the brightness can be adjusted. At this time, by adding the luminance of the color velocity image and the luminance of the gray-scale tomographic image at a set ratio, the luminance of the composite image may be adjusted to a luminance that is visually easy to see.
[0015]
Further, the color speed image may be created for a predetermined region of interest. Compared with the case where a color speed image is formed for the entire living tissue, the time required to form a color image can be reduced, and the frame rate of a display image can be improved.
[0016]
Further, a color conversion map may be displayed on the display unit in order to easily grasp the correspondence between the movement speed of the tissue and the hue. Further, the weighting, the setting ratio, the region of interest, and the color conversion map may be variably set. Thereby, for example, each parameter can be arbitrarily set according to the property of the living tissue.
[0017]
Next, in order to achieve the second object, the ultrasonic diagnostic apparatus according to the present invention employs, instead of adding and synthesizing a color velocity image to a gray-scale tomographic image, a gray scale M based on a reflected echo signal from a subject. An M-mode component for forming a mode image is provided, and the speed image is synthesized by adjusting the brightness and hue of the grayscale M-mode image and the color speed image so that both the morphological change of the living tissue and the speed of the morphological change can be recognized. You may do so.
[0018]
According to this, since the luminance information and the hue information of each pixel of the composite image are obtained by adding the pixel information of the grayscale M mode image and the color speed image, the composite image includes the information of both images. Therefore, in the composite image, the morphological changes of the living tissues are displayed in chronological order, and at the same time, the changes in the movement speed in each part of the tissues are displayed in a superimposed color image. As a result, the morphology of the living tissue is slightly drawn on the color velocity image, so that the outline of the tissue can be visually recognized, and the correspondence between the morphology of the living tissue and its motion state can be accurately grasped in the M mode. can do.
[0019]
In this case, it is preferable that the M mode image and the color speed image are weighted and added. Further, by regarding the luminance information of the M-mode image as the three primary colors of light, it is possible to add the hue information of the color speed image at a set ratio. It is also desirable to convert the hue information of the color speed image into luminance information and color difference information, and add the luminance information of the M-mode image to the converted luminance information to create a composite image. At this time, the luminance information of the color speed image and the luminance information of the M mode image may be added at a set ratio.
[0020]
Further, the color speed image may be created for a predetermined region of interest. Further, a color conversion map may be displayed on the display unit. Further, the weighting, the setting ratio, the region of interest, and the color conversion map may be variably set.
[0021]
In order to achieve the third object, the ultrasonic diagnostic apparatus according to the present invention employs, instead of adding and synthesizing a color velocity image to a gray-scale tomographic image, a biological tissue based on a reflected echo signal from a subject. An elasticity image forming unit that forms a color elasticity image representing elasticity, for example, strain or elasticity, may be provided, and the speed image may be synthesized by adjusting the luminance and hue so that both the form and elasticity of the biological tissue can be recognized. .
[0022]
According to this, since the luminance information and the hue information of each pixel of the composite image are obtained by adding the pixel information of the grayscale tomographic image and the color elasticity image, the composite image includes the information of both images. Therefore, in the composite image, at the same time as the boundaries of different living tissues, movements and shape changes of the living tissues are displayed, the elasticity information of each part of the tissues is displayed in a superimposed color image. As a result, the morphology of the living tissue is slightly drawn on the color velocity image, so that the outline of the tissue can be visually recognized, and the correspondence between the morphology of the living tissue and its elasticity can be accurately grasped. it can.
[0023]
In this case, it is desirable to convert the hue information of the color elastic image into luminance information and color difference information, and to add the luminance information of the grayscale tomographic image to the converted luminance information to create a composite image. The luminance information of the color elasticity image and the luminance information of the grayscale tomographic image may be added at a set ratio. In addition, it is preferable to create a color elasticity image by specifying a predetermined region of interest. Further, the color conversion map may be displayed on the display unit. The setting ratio, the region of interest, and the color conversion map may be variably set.
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
First, the most preferred embodiment of the ultrasonic apparatus to which the present invention is applied will be described. That is, a first embodiment in which hue information (RGB) of a color speed image is converted into luminance information (Y) and color difference information (U, V) and synthesized into a black and white tomographic image with reference to FIGS. explain. FIG. 1 is a block diagram showing a configuration example of an ultrasonic diagnostic apparatus to which the present invention has been applied. FIG. 2 is a conceptual diagram illustrating the configuration of the image combining unit. FIG. 3 is a specific display example of a composite image.
[0024]
As shown in FIG. 1, a probe 10 used in contact with a subject and an ultrasonic wave are repeatedly transmitted to the subject via the probe 10 at time intervals to the ultrasound diagnostic apparatus 1. A transmitting unit 12, a receiving unit 14 for receiving a time-series reflected echo signal generated from the subject, and a phasing and adding unit 16 for phasing and adding the received reflected echoes to generate a received signal in a time-series; Is provided.
[0025]
Also, based on the received signal from the phasing and adding section 16, a tomographic image forming section 18 for forming a gray scale tomographic image, for example, a black and white tomographic image, of the subject, and a signal for reading out the formed tomographic image signal in synchronization with the television. A monochrome DSC 20 for conversion is provided. A speed calculating unit 22 for calculating a moving speed of the living tissue of the subject from the received signal of the phasing and adding unit 16; a speed image forming unit 24 for forming a color speed image based on the obtained moving speed; And a color DSC 26 for converting the signal of the color speed image into a signal for display.
[0026]
An image synthesizing unit 28 for synthesizing a black-and-white tomographic image of the black-and-white DSC 20 and a color speed image of the color DSC 26 and a display unit 34 for displaying the synthesized image are provided. Further, the image combining section 28 is provided with a console 32 via a control section 30.
[0027]
The operation of the ultrasonic diagnostic apparatus thus configured will be described. The ultrasonic diagnostic apparatus 1 repeatedly transmits an ultrasonic wave to the subject via the probe 10 abutted on the subject at a time interval by the transmission unit 12, and generates a time-series reflected echo generated from the subject. The signal is received by the receiving unit 14, is subjected to phasing addition as a received signal by the phasing and adding unit 16, and the received signal is converted into a monochrome tomographic image by the tomographic image forming unit 18 and the monochrome DSC 20, and displayed. The displayed black-and-white tomographic image shows the morphological distribution of the living tissue such as the boundary of the living tissue, the movement and the shape of the living tissue.
[0028]
The received signal from the phasing and adding unit 16 is converted into a complex signal, and the complex signal is mixed with other received signals having a complex relationship, and the movement speed related to the movement of the living tissue is calculated by the speed calculation unit 22. Is calculated by The calculated movement speed is converted into a color speed image by the speed image forming unit 24 and the color DSC 18 and displayed. This color speed image is a color image showing the movement state of the living tissue, that is, a change in the movement speed. For example, an image is obtained in which a red (R) code is assigned to a portion where tissue movement is fast, and a blue (B) code is assigned to a portion where tissue is slow. Then, the converted black-and-white tomographic image and color speed image are combined, that is, mixed, by the image combining unit 28, and the combined image is displayed on the display unit 34.
[0029]
Here, the image combining unit 28 of the present invention will be described in detail. As shown in FIG. 2, the image combining unit 28 includes a frame memory 40 for storing image data, a signal converting unit 42 for converting a signal of the stored image, and a signal combining unit 44 for combining image signals. It is configured.
[0030]
First, a monochrome tomographic image from the monochrome DSC 20 and a color speed image from the color DSC 26 are stored in the frame memory 40. At this time, the stored hue signal of the color speed image is a primary color signal (RGB signal) including luminance information and hue information. Next, the RGB signal is converted by the signal converter 42 into a YUV signal composed of a luminance signal (Y) and a color difference signal (U = BY, V = GY). The converted YUV color speed image is separated into a luminance signal (Y) and a color difference signal (U, V), and only the luminance signal (Y) of the separated signals responds to a command from the control unit 30. The luminance signal of the black and white tomographic image is added based on the set ratio, that is, the combination ratio.
[0031]
That is, if the RGB signal of the color speed image is mixed with the luminance signal of the tomographic image in the same manner, the RGB signal is a signal containing luminance information and hue information. Hue may also change. In order to adjust the change, complicated control for dynamically adjusting the composition ratio of images according to input data is required. Therefore, the image synthesizing unit 28 of the present invention converts the RGB signals of the color speed image into luminance information (Y) and hue information (U, V), and outputs the luminance information of the tomographic image only to the luminance information (Y). The addition is performed by the combining unit 44. Therefore, a composite image that reflects both the morphological distribution and the movement velocity distribution of the living tissue is obtained by changing only the luminance of the color velocity image without changing the hue of the color velocity image.
[0032]
As a result, for example, when diagnosing the myocardium, the correspondence between the morphology of the myocardium and the movement speed can be accurately grasped only by inspecting the composite image. That is, since the shape of the myocardium is slightly drawn on the color velocity image, the contour and movement of the myocardium can be observed simultaneously with the movement velocity. Therefore, it is possible to compare and observe the point of the myocardium moving in what shape and at what speed the myocardium is moving on the same screen, so that an accurate diagnosis can be performed.
[0033]
Here, an example of a process of synthesizing a black-and-white tomographic image and a color speed image in the present embodiment will be described. First, as shown in Expression 1, an RGB signal (primary color signal) of a color speed image is converted into a YUV signal. Then, the luminance signal (Y) of the color velocity image converted to the YUV method and the luminance signal of the black-and-white tomographic image are added at a set ratio (k). As a result, a YUV signal of a composite image as shown in Expression 3 is obtained. The conversion coefficients from the RGB system to the YUV system are a1 to a9, and the luminance signal of the tomographic image is BW. Further, k is a combination ratio arbitrarily set from the console 32, and is a value larger than zero and smaller than 1.
[0034]
(Equation 1)
Luminance signal of color speed image (Y)
= A1 × primary color signal R + a2 × primary color signal G + a3 × primary color signal B
Color difference signal of color speed image (U)
= A4 × primary color signal R + a5 × primary color signal G + a6 × primary color signal B
Color difference signal of color speed image (V)
= A7 × primary color signal R + a8 × primary color signal G + a9 × primary color signal B
[0035]
(Equation 2)
The luminance signal (Y out )
= A1 × {(1-k) primary color signal R + k × BW}
+ A2 × {(1-k) primary color signal G + k × BW}
+ A3 × {(1-k) primary color signal B + k × BW}
The color difference signal (U out )
= A4 × primary color signal R + a5 × primary color signal G + a6 × primary color signal B
The color difference signal (V out )
= A7 × primary color signal R + a8 × primary color signal G + a9 × primary color signal B
As can be seen from equations (1) and (2), the YUV signal of the composite image is obtained by mixing the luminance signal (BW) of the tomographic image with only the luminance signal (Y) of the color velocity image. Therefore, the composite image reflects only the information of both the tomographic image and the color velocity image by changing only the luminance without changing the hue value. As a result, the composite image displays both the tissue distribution and the accurate tissue velocity distribution, so that the relationship between the form of the tissue and its motion state can be grasped accurately.
[0036]
A display example of an image synthesized in this way will be described with reference to FIG. FIG. 3 shows a black-and-white tomographic image, a color speed image, a superimposed image, and a composite image. As shown in FIG. 3A, the black-and-white tomographic image displays the form of the myocardium 58. As shown in FIG. 3B, the color velocity image displays an image 51 in which the movement velocity of the myocardium 58 in the region of interest is colored. Further, as shown in FIG. 3C, the superimposed image is an image in which a color speed image 51 is superimposed on a black-and-white tomographic image. Then, as shown in FIG. 3D, an image obtained by synthesizing the black-and-white tomographic image and the color speed image by the image forming unit 28 is displayed in the composite image.
[0037]
In the superimposed image of FIG. 3C, the color velocity image 51 is preferentially displayed in the portion where the black-and-white tomographic image and the color velocity image are superimposed, so that the image of the myocardium 58 is not displayed in that part. Therefore, simply observing the superimposed image does not make it possible to observe the form of the myocardium 58, that is, the boundary, the movement, the shape change, and the movement speed of the myocardium in association with each other.
[0038]
On the other hand, in the composite image 53 of FIG. 3D, in the portion where the black-and-white tomographic image and the color velocity image are overlapped, the form of the myocardium 58 is slightly displayed on the color velocity image 51. Therefore, the relationship between the form of the myocardium 58 and its movement speed can be accurately grasped only by inspecting the composite image. The composite image 53 displays a color conversion map 59 set by the console 28. With this color conversion map 59, the correspondence between the movement speed of the myocardium 58 and the hue can be easily grasped.
[0039]
Further, in the present embodiment, the area to be synthesized by the image synthesizing unit 28 is specified and processed as a predetermined region of interest. For example, when forming the color speed image, the speed image forming unit 24 specifies the configuration range of the image within a preset region of interest in accordance with a command from the control unit 30. Thus, the constituted color velocity image is an image specified only for the living tissue in the region of interest of the subject. Therefore, as compared with the case where a color speed image is formed over the entire living tissue of the subject, the image forming time can be reduced, and the frame rate of the display image can be improved. The region of interest to be set is arbitrarily set and changed using a user interface such as the console 32 on the display screen.
(Embodiment 2)
Next, a second embodiment will be described. That is, an example in which luminance information of a black-and-white tomographic image is converted into RGB signals and combined with hue information (RGB) of a color speed image will be described with reference to FIG.
[0040]
The image synthesizing unit 28 of the embodiment of FIG. 2 includes the signal conversion unit 42 that converts the RGB signals of the color speed image into the YUV signal and synthesizes the signals, but the image forming unit illustrated in FIG. A signal conversion unit 42a for converting a signal into an RGB signal and combining the signals is provided.
[0041]
As shown in FIG. 4, the image configuration unit 28 includes a frame memory 40, a signal conversion unit 42a, and a signal synthesis unit 44a. First, the black and white tomographic image data from the black and white DSC 20 and the color speed image data from the color DSC 26 are stored in the frame memory 40. The luminance signal of the stored black-and-white tomographic image data is converted into an RGB signal by the signal converter 42a. Then, the converted signals are added and combined with the RGB signals of the color speed image by the signal combining unit 44a at a set ratio according to the command of the control unit 30. Therefore, a composite image of the black-and-white tomographic image and the color speed image is obtained.
[0042]
At this time, the luminance information and the hue information of each pixel of the obtained composite image are obtained by adding the pixel information of the black-and-white tomographic image and the color speed image, and thus include information of both images. As a result, the form of the living tissue and the like are displayed on the composite image, and at the same time, the change in the movement speed in each part of the tissue is displayed in an overlapping manner.
[0043]
Furthermore, since the image synthesizing unit 28 of the present embodiment does not require complicated signal conversion processing, it is possible to perform addition processing of image synthesis at high speed and to simplify the addition control circuit. That is, when combining a black-and-white tomographic image and a color speed image, it is useful to apply this embodiment when the hue change of the color speed image is within an allowable range.
[0044]
Here, an example of a process of synthesizing a black-and-white tomographic image and a color speed image in the present embodiment will be described. As shown in Expression 3, the luminance signal of the black-and-white tomographic image is converted into an RGB signal by the signal converter 42a. Then, as shown in Expression 4, the RGB signal of the black-and-white tomographic image and the RGB signal of the color velocity image are added by the signal synthesizing unit 44a at a set ratio (kr, kg, kb) for each signal having each attribute. Therefore, a composite image can be obtained. Note that kr, kg, and kb are synthesis ratios arbitrarily set from the console 32, and are values greater than zero and less than one, respectively.
[0045]
[Equation 3]
Tomographic image signal (R) = tomographic image luminance signal (BW)
Tomographic image signal (G) = tomographic image luminance signal (BW)
Tomographic image signal (B) = tomographic image luminance signal (BW)
[0046]
(Equation 4)
The composite image signal (R out )
= (1-kr) × color velocity signal (R) + kr × tomographic image signal (R)
Synthesized image signal (G out )
= (1-kg) × color speed signal (G) + kg × tomographic image signal (G)
Synthesized image signal (B out )
= (1-kb) × color speed signal (B) + kb × tomographic image signal (B)
At this time, as can be seen from Equation 4, the composite image (R out , G out , B out ) Is obtained by adding a weight to each of the color velocity image and the tomographic image. With such weighting, it is possible to adjust the primary color signals of the composite image, that is, the RGB signals, within a predetermined range. That is, when the luminance value of the gray-scale tomographic image is large, if the luminance is added to the color velocity image, the RGB signal of the synthesized image may exceed a predetermined range, and the image may be difficult to see visually. . Therefore, if the tomographic image and the color velocity image are weighted and added so that the RGB signals of the composite image fall within a predetermined range, an image that is easily visible can be obtained.
(Embodiment 3)
A third embodiment will be described. In the ultrasonic diagnostic apparatus 1 shown in FIG. 1, an example in which a black-and-white tomographic image and a color velocity image are combined has been described. In the present embodiment, an example in which a monochrome M-mode image and a color velocity image are combined is shown in FIGS. 6 will be described.
[0047]
FIG. 5 is a block diagram showing a configuration example of the ultrasonic diagnostic apparatus 2 for synthesizing a monochrome M-mode image and a color velocity image. FIG. 6 shows a specific display example of the composite image of the present embodiment. As shown in FIG. 5, the ultrasonic diagnostic apparatus 2 is provided with an M-mode image forming unit 60 instead of the tomographic image forming unit 18 of the ultrasonic diagnostic apparatus 1 shown in FIG.
[0048]
The M-mode image forming unit 60 forms a monochrome M-mode image of the subject based on the received signal from the phasing addition unit 16. Here, the M-mode image is for displaying, for example, a change in the shape of a heart valve in a time series on the vertical axis with the horizontal axis as the time axis on the monitor screen, and the vertical axis with the horizontal axis as the time axis on the monitor screen. For example, a morphological change of a heart valve is displayed in chronological order. The speed (movement speed) of the change in the shape of the valve is displayed superimposed on this M mode image. That is, in the ultrasonic diagnostic apparatus 2, the monochrome M-mode image formed by the M-mode image forming unit 60 is converted into a display signal by the monochrome DSC 20, and the converted M-mode image signal is compared with the color speed image from the color DSC 26. The combined image is obtained by the image combining unit 28.
[0049]
A display example of the synthesized image obtained in this manner will be described with reference to FIG. FIG. 6 shows a monochrome M-mode image, a color speed image, a superimposed image, and a composite image. As shown in FIG. 6A, the black-and-white M-mode image displays the morphological changes of the heart valve 68 in chronological order. In addition, as shown in FIG. 6B, the color speed image displays an image 69 of the motion speed in which the motion of the valve 68 of the heart is colored. Further, as shown in FIG. 6C, the superimposed image is displayed by superimposing the color speed image on the M mode image. Then, as shown in FIG. 6D, the combined image 63 is displayed by combining the M mode image and the color speed image by the image combining unit 28. Here, the horizontal axis of each display screen indicates the passage of time, and the vertical axis indicates the depth in the subject.
[0050]
In the superimposed image of FIG. 6C, when the M-mode image and the color speed image are displayed in a superimposed manner, the color speed image is displayed with priority, so that the image of the valve 68 is overwritten on the motion speed image 69. Not displayed. Therefore, it is not possible to observe the change in the shape of the valve 68 in association with the speed of the change.
[0051]
On the other hand, since the combined image in FIG. 6D is obtained by combining the M-mode image and the color speed image by the image combining unit 28, the shape of the valve 68 is slightly displayed on the motion speed image 69. Therefore, only by observing the composite image, it is possible to accurately grasp the correspondence between the form of the valve 68 and its motion state. As a result, it is possible to check whether or not the valve is moving at a predetermined speed while maintaining a predetermined configuration, so that it is possible to accurately perform a diagnosis such as arteriosclerosis of a blood vessel.
Note that a color conversion map 65 set by the console 28 is displayed on the composite image. By using the color conversion map 65, the correspondence between the movement speed of the valve and the hue can be easily grasped. Note that the processing described in the first embodiment can be applied to the image synthesis processing in the present embodiment. That is, since the present embodiment is an example in which the M-mode image forming unit 60 is applied instead of the tomographic image forming unit 18 of the first embodiment, other configurations and operations are the same as those of the first embodiment. .
(Embodiment 4)
A fourth embodiment will be described. In the ultrasonic diagnostic apparatus 1 shown in FIG. 1, an example in which a black-and-white tomographic image and a color velocity image are combined has been described. In the present embodiment, an example in which a black-and-white tomographic image and a color elasticity image are combined is shown in FIGS. 8 will be described.
[0052]
FIG. 7 is a block diagram illustrating a configuration example of the ultrasonic diagnostic apparatus 3 that combines a monochrome M-mode image and a color elasticity image. FIG. 8 shows a specific display example of a composite image in the present embodiment. As shown in FIG. 7, the ultrasonic diagnostic apparatus 3 is provided with an elasticity data arithmetic unit 71 instead of the velocity arithmetic unit 22 of the ultrasonic diagnostic apparatus 1 shown in FIG. An image forming unit 72 is provided.
[0053]
The elasticity data calculating unit 71 selects one set of received signals from the received signals generated in time series from the phasing and adding unit 16 and performs one-dimensional or two-dimensional correlation processing on the one set of signals to obtain a biological signal. The displacement of the tissue is obtained, and elasticity data, for example, the strain and elastic modulus of the living tissue are calculated from the obtained displacement. Further, the elasticity image forming section 72 forms an elasticity image based on the elasticity data calculated by the elasticity data calculating section 71. That is, in the ultrasonic diagnostic apparatus 3, a black-and-white tomographic image from the black-and-white DSC 20 and a color elastic image from the color DSC are combined by the image combining unit 28 to obtain a combined image.
[0054]
A display example of the synthesized image obtained in this manner will be described with reference to FIG. FIG. 8 shows a black-and-white tomographic image, a color elasticity image, a superimposed image, and a composite image. As shown in FIG. 8A, the black-and-white tomographic image shows the form of the living tissue including the tumor 84. Further, as shown in FIG. 8B, the color elasticity image shows the elastic distribution related to the strain and elasticity of the living tissue, and is displayed including a hardened region 85 which is a hardened portion of the living tissue around the tumor 84. ing. Further, as shown in FIG. 8C, the color elasticity image is displayed on the black-and-white tomographic image in the superimposed image. Then, as shown in FIG. 8D, the black and white tomographic image and the color elasticity image are combined and displayed by the image combining unit 28 in the combined image.
[0055]
In the superimposed image of FIG. 8C, when displaying the black-and-white tomographic image and the color elasticity image in a superimposed manner, the color elasticity image is preferentially displayed. 84 images are not displayed. Therefore, only by observing the superimposed image, it is not possible to observe the size of the tumor 84 and the extent of the hardened region 85 in association with each other.
[0056]
On the other hand, in the combined image of FIG. 8D, since the black-and-white tomographic image and the color elasticity image are combined by the image combining unit, the morphology of the tumor 84 is slightly displayed on the image of the hardened region 85. Therefore, only by observing the synthesized image, the size of the tumor 84 and the extent of the hardened region 85 can be relatively grasped, so that it is possible to accurately determine the range to be removed by surgery.
[0057]
At this time, the color conversion map 86 set by the console 28 is displayed on the composite image 84. With the color conversion map 86, the correspondence between the elasticity of the living tissue and the hue can be easily grasped.
[0058]
Note that the processing described in the first embodiment can be applied to the image combining processing in the present embodiment. That is, the present embodiment is an example in which the elasticity data computing unit 71 and the elasticity image forming unit 72 are applied instead of the speed calculating unit 22 and the speed image forming unit 24 of the first embodiment. Is the same as in the first embodiment.
[0059]
【The invention's effect】
According to one aspect of the present invention, the relationship between the morphology of a living tissue and its movement state can be accurately grasped on an ultrasonic diagnostic image.
[0060]
Further, according to another aspect of the present invention, it is possible to accurately grasp the relationship between the form of a living tissue displayed as an M-mode image in an ultrasonic diagnostic image and its movement state.
[0061]
Further, according to another aspect of the present invention, it is possible to accurately diagnose the relationship between the form of a living tissue and its elasticity on an ultrasonic diagnostic image.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus to which the present invention has been applied.
FIG. 2 is a conceptual diagram illustrating a configuration of an image combining unit according to the present invention.
FIG. 3 illustrates a specific display example of a composite image according to the first embodiment.
FIG. 4 is a conceptual diagram illustrating a configuration of an image forming unit according to a second embodiment.
FIG. 5 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to a third embodiment.
FIG. 6 shows a specific display example of a composite image according to the third embodiment.
FIG. 7 is a block diagram illustrating a configuration example of an ultrasonic diagnostic apparatus according to a fourth embodiment.
FIG. 8 shows a specific display example of a composite image according to the fourth embodiment.
[Explanation of symbols]
1 Ultrasound diagnostic equipment
18 tomographic image component
20 black and white DSC
24 speed image component
26 color DSC
28 Image composition part
32 Operation console
34 Display
42 signal converter
44 signal synthesis unit
60 M mode image forming unit
71 Elasticity data calculator
72 Elastic image component

Claims (3)

被検体に時間間隔をおいて超音波を繰り返し送信し、該超音波の送信に対応する時系列の反射エコー信号を受信して濃淡断層像を構成する断層像構成部と、前記時系列の反射エコー信号に基づいて前記被検体の生体組織の運動速度を求めてカラー速度画像を構成する速度画像構成部と、前記濃淡断層像と前記カラー速度画像を合成する画像合成部と、該合成された画像を表示する表示部とを備え、
前記画像合成部は、前記濃淡断層像と前記カラー速度画像を合成するにあたって生体組織の形態と運動速度の双方を認識可能に輝度と色相を調整して合成することを特徴とする超音波診断装置。
A tomographic image forming unit that repeatedly transmits ultrasonic waves at a time interval to a subject, receives a time-series reflected echo signal corresponding to the transmission of the ultrasonic waves, and forms a gray-scale tomographic image; A speed image forming unit that calculates a moving speed of the living tissue of the subject based on the echo signal to form a color speed image; an image synthesizing unit that synthesizes the grayscale tomographic image and the color speed image; A display unit for displaying an image,
An ultrasonic diagnostic apparatus, wherein the image synthesizing unit adjusts luminance and hue so as to be able to recognize both the form and the movement speed of a living tissue when synthesizing the grayscale tomographic image and the color velocity image. .
被検体に時間間隔をおいて超音波を繰り返し送信し、該超音波の送信に対応する時系列の反射エコー信号を受信して濃淡Mモード像を構成するMモード像構成部と、前記時系列の反射エコー信号に基づいて前記被検体の生体組織の運動速度を求めてカラー速度画像を構成する速度画像構成部と、前記Mモード像と前記カラー速度画像を合成する画像合成部と、該合成された画像を表示する表示部とを備え、
前記画像合成部は、前記Mモード像と前記カラー速度画像を合成するにあたって生体組織の形態変化と該変化の速度の双方を認識可能に輝度と色相を調整して合成することを特徴とする超音波診断装置。
An M-mode image forming unit configured to repeatedly transmit an ultrasonic wave to a subject at a time interval, receive a time-series reflected echo signal corresponding to the transmission of the ultrasonic wave, and form a grayscale M-mode image; A speed image forming unit that obtains a moving speed of the living tissue of the subject based on the reflected echo signal to form a color speed image; an image synthesizing unit that synthesizes the M mode image and the color speed image; And a display unit for displaying the obtained image,
The image synthesizing unit, when synthesizing the M-mode image and the color speed image, adjusts luminance and hue so that both the morphological change of the living tissue and the speed of the change are recognizable and synthesizes. Ultrasound diagnostic device.
被検体に時間間隔をおいて超音波を繰り返し送信し、該超音波の送信に対応する時系列の反射エコー信号を受信して濃淡断層像を構成する断層像構成部と、前記時系列の反射エコー信号に基づいて前記被検体の生体組織の変位を計測して弾性情報を求めてカラー弾性画像を構成する弾性画像構成部と、前記濃淡断層像と前記弾性画像を合成する画像合成部と、該合成された画像を表示する表示部とを備え、
前記画像合成部は、前記濃淡断層像と前記カラー弾性画像を合成するにあたって生体組織の形態と弾性情報の双方を認識可能に輝度と色相を調整して合成することを特徴とする超音波診断装置。
A tomographic image forming unit that repeatedly transmits ultrasonic waves at a time interval to a subject, receives a time-series reflected echo signal corresponding to the transmission of the ultrasonic waves, and forms a gray-scale tomographic image; An elasticity image forming unit that measures the displacement of the living tissue of the subject based on the echo signal to obtain elasticity information to form a color elasticity image, and an image synthesizing unit that synthesizes the density tomographic image and the elasticity image, A display unit for displaying the synthesized image,
An ultrasonic diagnostic apparatus, wherein the image synthesizing unit adjusts luminance and hue so that both the morphology and elasticity information of a living tissue can be recognized when synthesizing the grayscale tomographic image and the color elasticity image. .
JP2002304491A 2002-10-18 2002-10-18 Ultrasonic diagnostic equipment Expired - Fee Related JP4243751B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002304491A JP4243751B2 (en) 2002-10-18 2002-10-18 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002304491A JP4243751B2 (en) 2002-10-18 2002-10-18 Ultrasonic diagnostic equipment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008283581A Division JP2009050720A (en) 2008-11-04 2008-11-04 Ultrasonic diagnostic system

Publications (3)

Publication Number Publication Date
JP2004135934A true JP2004135934A (en) 2004-05-13
JP2004135934A5 JP2004135934A5 (en) 2005-11-24
JP4243751B2 JP4243751B2 (en) 2009-03-25

Family

ID=32451896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002304491A Expired - Fee Related JP4243751B2 (en) 2002-10-18 2002-10-18 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP4243751B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006054635A1 (en) * 2004-11-17 2006-05-26 Hitachi Medical Corporation Ultrasonograph and ultrasonic image display method
WO2006106852A1 (en) * 2005-03-30 2006-10-12 Hitachi Medical Corporation Ultrasonograph
JP2007514477A (en) * 2003-12-03 2007-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound imaging system and method for simultaneously displaying blood flow and perfusion parameters
JP2008049043A (en) * 2006-08-28 2008-03-06 Hitachi Medical Corp Ultrasonograph
JP2011019751A (en) * 2009-07-16 2011-02-03 Ge Medical Systems Global Technology Co Llc Ultrasonograph

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682149B2 (en) * 2003-12-03 2011-05-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound imaging system and method for simultaneously displaying blood flow and perfusion parameters
JP2007514477A (en) * 2003-12-03 2007-06-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound imaging system and method for simultaneously displaying blood flow and perfusion parameters
US8708912B2 (en) 2004-11-17 2014-04-29 Hitachi Medical Corporation Ultrasound diagnostic apparatus and method of displaying ultrasound image
WO2006054635A1 (en) * 2004-11-17 2006-05-26 Hitachi Medical Corporation Ultrasonograph and ultrasonic image display method
JP5113387B2 (en) * 2004-11-17 2013-01-09 株式会社日立メディコ Ultrasonic diagnostic apparatus and ultrasonic image display method
JPWO2006054635A1 (en) * 2004-11-17 2008-05-29 株式会社日立メディコ Ultrasonic diagnostic apparatus and ultrasonic image display method
EP1864612A1 (en) * 2005-03-30 2007-12-12 Hitachi Medical Corporation Ultrasonograph
EP1864612A4 (en) * 2005-03-30 2009-10-28 Hitachi Medical Corp Ultrasonograph
JP5334413B2 (en) * 2005-03-30 2013-11-06 株式会社日立メディコ Ultrasonic diagnostic equipment
WO2006106852A1 (en) * 2005-03-30 2006-10-12 Hitachi Medical Corporation Ultrasonograph
US9144413B2 (en) 2005-03-30 2015-09-29 Hitachi Medical Corporation Ultrasonic diagnostic apparatus
JP2008049043A (en) * 2006-08-28 2008-03-06 Hitachi Medical Corp Ultrasonograph
JP2011019751A (en) * 2009-07-16 2011-02-03 Ge Medical Systems Global Technology Co Llc Ultrasonograph

Also Published As

Publication number Publication date
JP4243751B2 (en) 2009-03-25

Similar Documents

Publication Publication Date Title
JP3932482B2 (en) Ultrasonic diagnostic equipment
JP5203605B2 (en) Ultrasonic diagnostic equipment
JP4455003B2 (en) Ultrasonic diagnostic equipment
JP4657106B2 (en) Ultrasonic diagnostic equipment
CN103220980B (en) Ultrasound diagnostic apparatus and ultrasound image display method
KR19990014883A (en) Ultrasonic Diagnostic Device
KR100740379B1 (en) Ultrasonic image display method and ultrasonic diagnosis apparatus
WO2011099410A1 (en) Ultrasonic diagnosis device and ultrasonic image display method
WO2010024023A1 (en) Ultrasound diagnostic apparatus and method of displaying ultrasound image
JP5882217B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image display method
KR20070112976A (en) Apparatus and method for displaying an ultrasound image
JP5016911B2 (en) Ultrasonic diagnostic equipment
JP2008284287A (en) Ultrasonic diagnostic apparatus
JP5473527B2 (en) Ultrasonic diagnostic equipment
KR101107478B1 (en) Ultrasound system and method for forming a plurality of 3 dimensional ultrasound images
JP4243751B2 (en) Ultrasonic diagnostic equipment
JP2009050720A (en) Ultrasonic diagnostic system
JP5623609B2 (en) Ultrasonic diagnostic equipment
JP4732086B2 (en) Ultrasonic diagnostic equipment
JP5484809B2 (en) Ultrasonic diagnostic equipment
JP4601413B2 (en) Ultrasonic diagnostic equipment
JP4615528B2 (en) Ultrasonic diagnostic equipment
JP4785936B2 (en) Ultrasonic image display method and ultrasonic diagnostic apparatus
JP2013526975A (en) Ultrasound system and method for providing color reconstructed video
JP5725732B2 (en) Ultrasonic diagnostic apparatus and control program therefor

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081218

R150 Certificate of patent or registration of utility model

Ref document number: 4243751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees