JP2004041617A - 超音波診断装置 - Google Patents
超音波診断装置 Download PDFInfo
- Publication number
- JP2004041617A JP2004041617A JP2002227928A JP2002227928A JP2004041617A JP 2004041617 A JP2004041617 A JP 2004041617A JP 2002227928 A JP2002227928 A JP 2002227928A JP 2002227928 A JP2002227928 A JP 2002227928A JP 2004041617 A JP2004041617 A JP 2004041617A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- ultrasonic
- diagnostic apparatus
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】超音波画像上において関心領域が設定され、その関心領域内の画像に対して閾値をスキャンさせながら二値化処理が実行される。各閾値ごとの二値化画像に対して高輝度の島の個数が演算され、そのヒストグラムとしてスペックル評価グラフが作成される。そのスペックル評価グラフは組織性状を反映したものであり、そのグラフの形態を数値解析することによって組織診断が可能となる。二値化処理に先立って、スペックルを強調する処理(ベース成分を除外する処理)を施すのが望ましい。また、その処理前の画像とその処理後の画像とを同時表示するようにしてもよい。
【選択図】 図5
Description
【発明の属する技術分野】
本発明は超音波診断装置に関し、特に超音波画像処理に関する。
【0002】
【従来の技術】
例えば、肝臓の超音波診断を行う場合には、腹部に超音波探触子が当接され、その状態で超音波の送受波がなされる。それにより得られる受信信号に基づいてBモード画像(二次元断層画像)が形成される。医者はそのようなBモード画像を観察することにより腫瘍の有無などを診断する。
【0003】
Bモード画像には、その全体にわたってスペックルというノイズが現れる。Bモード画像上において、ぼやけてやや明るい部分(粒子あるいは島状領域)がスペックルに相当する。
【0004】
このスペックルは、散乱体からの反射波(エコー)の波の相互干渉などによって引き起こされるものである。Bモード画像の画質を向上させるためには、スペックルをより低減することが望まれるが、Bモード画像には、大なり小なりスペックルが現れる。
【0005】
【発明が解決しようとする課題】
ところで、従来から、Bモード画像上におけるスペックルパターン(多数のスペックルの全体的な模様)と組織の性状との間には、相関関係があることが知られている。つまり、スペックルパターンは常に同じではなく、組織の性質に依存することが知られている。しかしながら、スペックル(あるいはそのパターン)の評価分析は、従来において、医者の目視観察によるものであり、今まで、スペックルの客観的な評価あるいはスペックルの定量化を行える装置は未だ実現されていない。
【0006】
本発明は、上記従来の課題に鑑みなされたものであり、その目的は、超音波画像上に登場するスペックル(ノイズ)を積極的に疾病診断に利用することにある。本発明の他の目的は、スペックルの定量化技術を提供することにある。本発明の他の目的は、スペックルパターンの客観的分析を実現することにある。
【0007】
【課題を解決するための手段】
(1)上記目的を達成するために、本発明は、超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、閾値レベルを変化させながら前記超音波画像を二値化処理することにより、複数の二値化画像を生成する二値化処理手段と、前記各二値化画像ごとにラベリング処理を施して高輝度又は低輝度をもった独立領域の個数を求める領域計数手段と、前記各閾値レベルごとの前記独立領域の個数を表すスペックル評価グラフを作成するグラフ作成手段と、を含むことを特徴とする。
【0008】
上記構成によれば、生体への超音波の送受波によってエコーデータが取得される。そのエコーデータに基づいて超音波画像(望ましくは二次元断層画像としてのBモード画像であるが、Mモード画像、三次元画像、ドプラ画像などであってもよい)が形成される。その超音波画像に対しては、閾値レベルを段階的にあるいは連続的変化させつつ二値化処理がなされる。通常は、閾値のスキャンが実行されるが、複数の閾値を同時利用して並列的に二値化処理を行うことも可能である。この二値化処理後の各画像に対して白又は黒の島(独立領域)をカウントするラベリング処理が適用される。このラベリング処理に当たっては公知の各種の技術を利用できる。各画像に対してラベリング処理を行うと、各画像ごとに島の個数が求められることになり、閾値ごとの島の個数を表したヒストグラムとして、スペックル評価グラフが作成される。このスペックル評価グラフは、組織性状を反映したものであり、例えば、組織が正常か否か、腫瘍が悪性か良性か、などの診断に利用できるものである。スペックル評価グラフについては多様な分析方法を適用できる。
【0009】
もちろん、そのスペックル評価グラフをそのまま画像表示してもよいし、そのスペックル評価グラフの分析結果から自動的に組織の性状を診断するようにしてもよい。その場合には、1又は複数のグラフ特徴量と診断内容とを対応付けたデータベースなどを利用すればよい。
【0010】
望ましくは、前記超音波画像に対して関心領域を設定する関心領域設定手段を含み、前記二値化処理手段は前記関心領域内の部分画像に対して前記二値化処理を施して前記複数の二値化画像を生成する。この構成によれば、組織中の特定部分(特定組織部分)について性状診断を行える。例えば、肝臓内の腫瘍の内部に関心領域を設定することもできるし、その腫瘍を取り囲むように関心領域を設定することもできるし、更に、第1関心領域を腫瘍内に設定し、第2関心領域を腫瘍外に設定し、各関心領域ごとに作成されるスペックル評価グラフを目視的に又は自動的に比較するようにしてもよい。
【0011】
望ましくは、前記超音波画像と共に前記スペックル評価グラフを表示する表示手段を含む。更に、各二値化画像を表示するようにしてもよい。
【0012】
望ましくは、前記スペックル評価グラフを解析し、そのグラフの特徴量を表す特徴量データを出力するグラフ解析手段を含む。望ましくは、前記特徴量データには分散値、半値幅、ピークレベル、平均閾値レベル、などの1又は複数の情報が含まれる。特に複数の情報を入手して総合評価するのが望ましい。
【0013】
(2)また、上記目的を達成するために、本発明は、超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、組織の性状を診断するために、前記超音波画像を画像処理して当該超音波画像に含まれるスペックルの現れ方を評価するスペックル評価手段と、前記スペックル評価手段の評価結果を表示する表示手段と、を含むことを特徴とする。
【0014】
上記構成によれば、組織の性状に応じてスペックルの現れ方(あるいはスペックルパターン)が異なる現象を利用して、組織の診断を行える。特に、自動的にスペックルの現れ方を分析評価できるので、その定量化から客観的な評価診断を行える。
【0015】
望ましくは、前記スペックル評価手段はスペックルパターンの細かさを評価する。その細かさの評価に当たっては上記の閾値シフトに基づく二値化処理を適用するのが望ましいが、各種の画像処理技術を適用して、スペックルの細かさを評価することができる。望ましくは、前記組織は肝臓であるが、もちろん人体あるいは動物の他の臓器(実質臓器が望ましいが、血流などの液体であってもよい)に対して同様の手法を適用できる。
【0016】
望ましくは、前記二値化処理に先立って、前記超音波画像に対してスペックルを強調する前処理を実行する前処理手段を含む。望ましくは、前記前処理手段は、スペックルに重畳しているベース成分を除去するフィルタである。スペックル以外の二次元的な濃淡差を解消、軽減すれば、スペックルの定量評価をより的確に行える。つまり、評価精度を高められる。
【0017】
望ましくは、前記特徴量データにはグラフの一部の面積が含まれる。望ましくは、前記グラフに対して設定された基準値を基準とし、それを越える部分の面積が演算される。
【0018】
(3)また、上記目的を達成するために、本発明は、超音波画像に対して、スペックルに重畳したベース成分を除去する前処理を実行するフィルタと、前記前処理後の超音波画像に対して、スペックルパターンを解析する解析手段と、を含むことを特徴とする。
【0019】
望ましくは、前記フィルタは、前記超音波画像上に設定されたウインド内において複数の画素値の平均値を演算する手段と、前記ウインド内の注目画素の画素値から前記平均値を減算して差分値を求める手段と、前記差分値にオフセット値を加算し、それを前記注目画像の新しい画素値とする手段と、を含む。
【0020】
(4)また、本発明は、超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、前記超音波画像を元画像とし、それに対してスペックル評価を行うための前処理を実行する前処理手段と、前記前処理後の画像に対して、組織の性状を診断するために、スペックルの現れ方を評価するスペックル評価手段と、前記元画像と前記前処理後の画像とを表示する表示手段と、を含むことを特徴とする。
【0021】
上記構成によれば、前処理の前後の画像を併せて観察することができる。具体的に説明すると、例えば、上記のようなフィルタを用いて前処理を行った場合、スペックルの適正評価の点では有利となるが、元画像に現れていた構造などが逆に不明瞭となってしまう可能性がある。つまり、例えば画像の明るさが変動した結果、組織構造(例えば血管)の視認性が失われ、画像観察上の印象も変わる可能性がある。これに対し前処理後の画像と共に前処理前の元画像を表示すれば、前処理後の画像の表示によってスペックルの評価対象を特定できると共に、元画像の表示によって本来の組織構造をそのまま表示して診断に役立てることができる。
【0022】
望ましくは、前記表示手段には、更に前記スペックルの評価結果が表示される。このように、前処理前の元画像、前処理後の画像、スペックルの評価結果、二値化画像(例えば、代表となる1又は複数の二値化画像)、などを必要に応じて同時表示するのが望ましい。
【0023】
望ましくは、前記前処理手段は、前記超音波画像に対してスペックルに重畳したベース成分を除去するフィルタを含む。望ましくは、前記表示手段には、前記元画像と前記前処理後の画像とを識別するための情報が表示される。そのような情報は、文字、記号、色などを用いて表明できる。
【0024】
また、望ましくは、前記元画像に対して関心領域を設定する関心領域設定手段を含み、前記前処理手段は前記関心領域内の部分画像に対して前処理を実行し、前記表示手段には前記元画像と前記前処理後の関心領域内の部分画像とが表示される。望ましくは、前記関心領域設定手段により複数の関心領域を設定可能であり、前記表示手段には前記各関心領域を互いに識別するための情報が表示される。そのような情報は、文字、記号、色などを用いて表明できる。特に、各関心領域の枠に対して、それぞれ異なる色を付するようにしてもよい。
【0025】
また、本発明は、超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、前記超音波画像を元画像とし、それに対して関心領域を設定する関心領域設定手段と、前記元画像に対して前記関心領域を表す第1マーカーを合成してなる第1合成画像を作成する第1合成画像作成手段と、前記関心領域内の部分画像に対してスペックル評価を行うための前処理を実行する前処理手段と、前記前処理後の関心領域内の部分画像に対して前記第1マーカーに対応付けられた第2マーカーを合成してなる第2合成画像を作成する第2合成画像作成手段と、前記前処理後の関心領域内の部分画像に対して、組織の性状を診断するために、スペックルの現れ方を評価するスペックル評価手段と、前記第1合成画像と前記第2合成画像とを表示する表示手段と、を含むことを特徴とする。ここで、対応関係にある第1マーカーと第2マーカーの各色を同じにして、その対応関係を視覚的に特定できるようにしてもよい。
【0026】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【0027】
図1〜図4には本実施形態の原理が概念的に示されている。まず、それらの図を用いてスペックル(スペックルパターン)の細かさの定量化方法について説明する。
【0028】
図1には、セクタ状の超音波画像100が示されている。この超音波画像100はいわゆるBモード画像であり、超音波ビームを電子セクタ走査することに形成されるものである。もちろん、本発明は他の超音波画像に対しても適用することができる。
【0029】
超音波画像100に対して、ユーザーによって所望の形状及び所望のサイズをもった関心領域(ROI)104が設定される。例えば、超音波画像100として肝臓の断層面が表示され、その内部に腫瘍と思われる部分102が存在しているならば、その領域102内に関心領域104が設定される。もちろん、これは一例であって、複数の関心領域を設定し、それぞれについてスペックルパターンの評価を独立に行い、その評価結果を相互に対比してもよい。
【0030】
図2には、関心領域内において抽出された画像とその画像に対して閾値を用いた二値化処理を適用した後の画像の例が示されている。
【0031】
(A)には関心領域内の画像が示されており、その内部には上述したスペックルが含まれている。本実施形態においては、この(A)に示す画像に対して、閾値レベルを0から最大値までに段階的にスキャンさせながら、各閾値を利用して画像の二値化処理が実行される。図2においては、閾値が10に設定された場合の二値化画像が(B)で示されており、閾値が20に設定された場合の二値化画像が(C)で示され、閾値に30が設定された場合の二値化画像が(D)で示されている。例えば、画像の輝度が0から63までの範囲内にある場合には、閾値は0から63までスキャンされ、図2に示すような各閾値ごとの二値化画像が生成される。もちろん、スペックルの現れ方によっては、その閾値のスキャン幅を一定範囲内に制限し、あるいはユーザーによってそのスキャン範囲を任意に選択できるようにしてもよい。
【0032】
各閾値ごとに二値化画像が生成されると、本実施形態においては、高輝度、すなわち画素値1(あるいは画素値0)を有する独立領域(島)の個数が計算される。これは公知のラベリング処理を適用することにより実行され、すなわち各二値化画像ごとに高輝度の領域がいくつあるかが分析される。
【0033】
そして、図3に示すように、横軸に閾値をとり、縦軸に島の個数をとったヒストグラムが作成される。ここで、各横軸は閾値に対応し、それらの各閾値ごとに上記二値化画像が生成され、その二値化処理画像ごとに島の数をカウントした結果がラベル数としてグラフにプロットされる。すると、符号200で示されるようにスペックル評価グラフがヒストグラムとして生成されることになる。
【0034】
上述したように、組織の性状に応じてスペックルパターンの細かさあるいはその現れ方は相違しており、したがって、スペックル評価グラフ200の形状は組織の性状を表すものとなる。したがって、そのグラフ自体を画像表示すれば、組織性状の診断に役立てることができ、さらに、客観的な定量化のためには、スペックル評価グラフ200を何らかの特徴量により数値化することが望まれる。
【0035】
この場合においては、例えば分散値、平均閾値、半値幅、最大ラベル数などの各種の特徴量データが演算され、望ましくは、それらの複数の特徴量データを組み合わせて性状が評価される。
【0036】
図4にはある線上のスペックルパターン(右側)とスペックル評価グラフ(左側)との関係が示されており、(A)に示されるように、スペックルにおける山と谷の輝度差がバラバラで、それらの差が大きいような場合には、符号200Aで示されるようにスペックル評価グラフは大きな分散値をもったなだらかな山状の分布となる。なお、(A)及び(B)の右側に示されるグラフの横軸は座標であり、縦軸は画素の輝度に相当している。
【0037】
一方、(B)で示されるように、スペックルにおける山と谷の輝度値がある程度そろっていれば、すなわち山と谷の差が小さければ、符号200Bで示されるように分散値の小さい急峻なあるいは先鋭な山状の分布となる。
【0038】
いずれにしても、組織の性状によってスペックルパターンが異なり、そのスペックルパターンが異なるとスペックル評価グラフの形態が異なるため、その形態評価をもってスペックルの定量化を実現することが可能となる。すなわち組織性状の評価を客観的に行える。
【0039】
図5には、そのような機能をもった超音波診断装置の実施形態がブロック図として示されている。
【0040】
探触子10は生体内に挿入され、あるいは生体表面上に当接して用いられる超音波探触子(プローブ)である。この探触子10は本実施形態において複数の振動素子からなるアレイ振動子を有しており、そのアレイ振動子によって超音波ビームが形成される。ここで、その超音波ビームの走査方式としては、電子セクタ走査や電子リニア走査などをあげることができ、また、超音波ビームを二次元走査し、三次元データ取込領域を形成するような場合にも本発明を適用できる。この場合においては、スペックルの評価は三次元空間内において行われることになる。
【0041】
送信器12は送信ビームフォーマーとして機能し、探触子10に対して送信信号を供給する。受信器14は受信ビームフォーマーとして機能し、探触子10から出力される受信信号に対して整相加算処理を適用し、これによって整相加算後の受信信号を出力する。
【0042】
DSC(デジタルスキャンコンバータ)18は、いくつかの画像処理機能を有しているものであるが、そのフレームメモリ20上には本実施形態においてBモード画像を構成する画像データが格納される。すなわち、受信器14から出力される受信信号(エコーデータ)に対して例えば対数圧縮処理などを行い、さらに座標変換などを適用して二次元断層画像が形成される。
【0043】
本実施形態において、領域設定器22は、図1に示した関心領域104の位置及びサイズをユーザー指定するための入力手段である。
【0044】
フレームメモリ20からはBモード画像全体の画像データが出力され、具体的には、その画像データが画像合成部32に出力される。また、フレームメモリ20からは領域設定器22によって設定された関心領域内の画像データが切り出されてそれが二値化処理部24へ出力される。二値化処理部24は、閾値スキャン回路26によってスキャン設定される閾値を基準として関心領域内の各画素値を二値化処理し、すなわち二値化画像を形成する。この場合において、閾値スキャン回路26は、0から最大値まで閾値をスキャンしており、各閾値ごとに二値化画像が生成されることになる。その様子が図2に示されている。
【0045】
ラベリング処理部28は、上述したように、各二値化画像ごとに白又は黒の独立領域(島)の個数を演算するラベリング処理を実行する回路である。そしてグラフ作成部30は図3に示したようなスペックル評価グラフをヒストグラムとして作成する回路である。
【0046】
画像合成部32は、表示画像を合成する手段であり、その表示画像内には二次元断層画像とスペックル評価グラフとが含まれる。もちろん他の画像を併せて合成するようにしてもよい。
【0047】
符号36〜符号48で示される各回路はスペックル評価グラフを定量化するためのものである。まず、サンプル数検出部36は、図3に示したスペックル評価グラフ200における各閾値ごとのラベル数を積算し、すなわちグラフの面積を演算する回路である。二乗平均値演算部40は、上記の面積の二乗を演算する。平均閾値演算部42は、以下に示す式に基づいて平均しきい値を演算する回路であり、分散値演算部44は以下に示す式に基づいて分散値を演算する回路である。
【0048】
【数1】
また、半値幅演算部46は、図3に示すスペックル評価グラフ200の半値幅を演算する回路であり、最大ラベル数検出部48はスペックル評価グラフ200のピークを検出する回路である。それらのグラフ評価結果はそれぞれ表示部34に出力されており、必要に応じて数値が表示される。
【0049】
もちろん、1又は複数のグラフ特徴量に基づいて組織自体の評価を自動的に行うようにしてもよく、その場合にはデータベースなどに診断情報を格納し、各特徴量の大きさあるいは値の組み合わせから一定の疾病情報が画像表示されるようにしてもよい。
【0050】
ちなみに、上記実施形態においては、二値化画像に対するラベリング処理によって結果として図3に示したスペックル評価グラフ200を生成し、これに基づいて組織性状の評価を行うようにしたが、スペックルあるいはスペックルパターンの評価にあたっては、それが組織性状に相関付けられていることを前提として他の画像処理を適用するようにしてもよい。例えば空間周波数の分析や所定のフィルタ演算などを適用するようにしてもよい。いずれにしても、スペックルパターンを画像処理によって分析し、それを診断に利用することにより従来の超音波画像上では定量化し得なかった情報を取得して疾病診断に役立てることができる。
【0051】
図6には、他の実施形態に係る超音波診断装置の全体構成がブロック図として示されている。なお、図5に示す構成と同様の構成には同一符号を付しその説明を省略する。
【0052】
図6に示す構成においては、DSC18と二値化処理部24との間に空間フィルタ50が設けられている。また、グラフ作成部30の後段に部分面積演算部52が設けられている。以下、それらについて詳述する。
【0053】
空間フィルタ50はスペックルを強調するための前処理を遂行する回路である。具体的には、超音波画像の全体あるいはその内部に設定された関心領域に対して図7に示すようなウインド54を二次元的にスキャン(ラスター走査)し、各スキャン位置において注目画素56について新しい画素値を求めるものである。図7において符号53は超音波画像を示しており、符号56は注目画素を示している。この注目画素56はウインド54の中央に設定されている。ウインド54のサイズは図7に示す例において11×11画素である。もちろん、ウインド54のサイズとしては他のものを採用できる。
【0054】
図8には、空間フィルタ50における処理内容がフローチャートとして示されている。あるウインド位置において、まずS101では平均値が演算される。具体的にはウインド内に存在する複数の画素値について平均値が演算される。S102では、注目画素の画素値から上記で求められた平均値が減算され、これにより差分値が求められる。S103では、その差分値に対してオフセット値(例えば32)が加算され、その結果が注目画素についての更新画素値とされる。そして、S104では、次のウインド位置があるか否かが判断され、次のウインド位置がある場合にはウインドの位置をシフトさせて上記同様の処理が繰り返し実行される。
【0055】
その結果、図9に示されるように、超音波画像に対して前処理が実行されることになる。具体的には、図9(A)にはフィルタリング処理前の様子が示されており、図9(B)にはフィルタリング処理後の様子が示されている。なお、画像は二次元的に存在しているが、図9においては説明のためX方向についての輝度値の分布すなわち輝度値グラフが示されている。
【0056】
(A)に示されるように、例えばX方向に沿ってベース成分57が単調減少している場合においてそのベース成分57上にスペックルパターンが繰り返し存在している場合、そのままその画像に対して処理を行ってしまうと、ラベリング処理において的確なスペックルの解析を行うことが困難となる。これに対し、(B)に示すように、ベース成分57を除去し、そしてオフセット値58を加算する処理を遂行すれば、ベース成分57による寄与分を排除してスペックルパターンによる変動成分を抽出することが可能となる。すなわちスペックル強調結果を得ることが可能となる。
【0057】
以上のような前処理を経た画像データが図6において二値化処理部24に供給され、上記同様の二値化処理が遂行されることになる。
【0058】
図10は図6に示した空間フィルタ50の具体的な回路構成例を示すものである。符号60は11個からなるラインメモリ62を示している。それらのラインメモリ62は互いに直列的に接続されており、それらの全体の入力及び出力と各ライン62間からデータが一画素分ずつ出力される。それらの出力は加算器64にて加算され、その加算値はラッチ65においていったん記憶された後に出力される。その出力値は演算器70のA入力端子に供給される他、タイミング調整用のディレイライン66に入力される。ここで、ディレイライン66は11個のラッチ67から構成されるものであり、11ステップ分だけ加算値の遅延が行われる。そして、そのディレイライン66の出力が演算器70のB入力端子に入力される。演算器70はA入力端子に入力された値からB入力端子に入力された値を演算する回路であり、その減算結果は加算器71に入力され、その加算器71においてはその後段に設けられたラッチ72からの出力が加算され、そして、その加算結果がラッチ72に入力されている。
【0059】
したがって、この構成により、11×11画素のウインドについての全画素値が加算されることになり、それは各ウインド位置において求められることになる。そして、平均化回路73において、その加算値が全画素数によって割られ、その結果平均値が求められる。その平均値は演算器74のB入力端子に入力される。一方、注目画素の画素値は中央のラインメモリから出力され、その画素値はディレイライン68に入力される。このディレイライン68はタイミング調整用の回路であり、6個のラッチ69から構成されている。ディレイライン68の出力は演算器74のA入力端子に供給されている。
【0060】
演算器74では、A入力端子に入力された値からB入力端子に入力された値を減算し、その減算結果を加算器75へ出力している。すなわち注目画素から平均値が減算され、それにより得られた差分値が加算器75においてオフセット値と加算されている。そしてその加算値はラッチ76を介して出力されている。
【0061】
もちろん、図10に示した構成は一例であって空間フィルタとしては他の回路構成を採用しうる。またハードウエア構成によらずにソフトウエアによって空間フィルタリングを実現するようにしてもよい。これは他の回路構成についても同様である。
【0062】
上述したように、図6に示す構成においては部分面積演算部52が設けられている。これについて図11を用いて説明する。
【0063】
図11には、スペックルの解析により得られたスペックル評価グラフ200が示されている。このスペックル評価グラフ200に対してユーザー設定によりあるいは自動的に求められた基準値80を基準として部分面積82が演算される。具体的にはその基準値80を超える部分の面積が部分面積82として演算されている。この部分面積82は、基準値80を超える各閾値に対応するラベル数の総和を意味しており、スペックル評価グラフ200の1つの特徴量を示すものである。したがって、そのような部分面積82は表示部34に出力され必要に応じて数値表示され、あるいはグラフ上において色づけなどによって表現される。もちろん、上述したように複数の特徴量を組み合わせてスペックルパターンを評価する場合においても上記の部分面積を用いるようにしてもよい。
【0064】
上記の実施形態においては、画像上に存在するスペックルとは関係のない二次元的な濃淡差を積極的に除去してスペックルを強調し、その結果スペックルパターンを高精度に解析することが可能となる。また、その解析においては部分面積を用いることができ、スペックルパターンの他面的な分析を実現することが可能となる。なお、上述した空間フィルタ50は上記のスペックルパターンの解析以外の超音波画像の画像処理においても用いることが可能である。
【0065】
図12には、更に他の実施形態に係る超音波診断装置の構成がブロック図として示されている。
【0066】
図12において、図5及び図6に示した構成と同様の構成には同一符号を付し、その説明を省略する。図6においては、DSC18から1つのラインが引き出され、そのラインは超音波画像全体のデータと関心領域内の部分画像のデータとを表していたが、図12においては、技術的理解を助けるために、それらの2つのデータを2つのラインによって表した。すなわち、DSC18から出力された元画像としての超音波画像全体のデータ300は、画像合成部306へ出力されており、また、そのデータ300は、必要に応じて、空間フィルタ50に出力される。DSC18から出力された関心領域内の部分画像のデータ302は、前処理を実行する空間フィルタ50へ出力されている。
【0067】
一方、領域設定器22によって設定された1又は複数の関心領域についての座標データは、DSC18に出力されると共に、画像合成部306へ出力されている。また、空間フィルタ50による前処理後の画像データ304が二値化処理部24へ出力され、同時に、画像合成部306にも出力されている。
【0068】
以上のように、画像合成部306には、グラフ作成部30が作成したグラフのデータの他に、元画像のデータ300及び前処理後の関心領域内の部分画像のデータ304が入力されている。その画像合成部は306は、イメージ合成機能を有しており、特に、超音波画像とマーカーなどのグラフィック画像とを合成する機能を有している。画像合成部306が有する具体的な画像処理機能について図13及び図14に示される表示例を用いて説明する。
【0069】
図13には、表示部34における表示例が示されている。表示画面308上には、空間フィルタ50による前処理を行う前の超音波画像つまり元画像310が表示され、それと並んで、空間フィルタ50による前処理を行った後の前処理後画像312が表示される。このような表示がなされる場合には、空間フィルタ50には、超音波画像全体のデータ300が入力される。つまり、スペックルパターンの評価対象は画像全体となる。
【0070】
元画像310と前処理後画像312の関係を視覚的に認識可能とするために、表示画面308上には両画像310,312間に矢印マーク314が表示される。この矢印マーク314の向きを観察することによって前処理前後の各画像310,312を確認することができる。もちろん、そのような画像識別情報は、矢印マーク314に限られず、文字や他の記号であってもよい。表示画面308上には、必要に応じて、スペックルパターンの評価結果として例えばスペックル評価グラフが表示され、また、そのグラフの解析結果が表示される。
【0071】
この表示例によれば、特に、元画像が併せて表示されるので組織構造を明確に認識でき、元画像との対比において前処理画像を観察することができる。その上で、組織の総合的な診断を行うことができる。
【0072】
以上のように、画像合成部306は、複数の画像やグラフなどを含む表示画像を生成している。表示画面上に、必要に応じて、1又は複数の二値化画像を併せて表示するようにしてもよい。
【0073】
図14に示す他の表示例においては、表示画面320に元画像表示領域400及び前処理後画像表示領域402が設定されている。元画像表示領域400には、元画像322が表示される。その元画像上においては、ユーザー操作によって、1又は複数の関心領域を設定可能である。図14に示す例では、2つの関心領域324,326が設定されている。それらを視覚的に特定するために、本実施形態においては、2つの関心領域324,326を特定する矩形のマーカー(第1マーカー)324A,326Aが合成表示される。これらは各関心領域の枠に相当する。各マーカー324A,326Aの色は互いに異なり、マーカー324Aの色は例えば赤であり、マーカー326Aの色は例えば青である。もちろん、着色以外の手法によって各関心領域が区別されるようにしてもよい。例えば、線種の変更、輝度の変更、文字や記号の挿入、などの手法を用いることができる。
【0074】
前処理後画像表示領域402には、図示の例において、2つの関心領域に対応した前処理後の2つの部分画像328,330が表示される。ここで、各部分画像328,330ごとに矩形のマーカー(第2マーカー)328A,330Aが合成表示され、前者の色は例えば赤であり、後者の色は例えば青である。つまり、関心領域と部分画像との対応関係が各マーカーに同じ着色を施すことによって一目瞭然となる。この場合に、上記同様に、着色以外の手法を利用して各関心領域と前処理後の各部分画像との対応関係を表示するようにしてもよい。
【0075】
画像合成部306は、以上のような画像とマーカーを合成する機能と、各画像を含む表示画面を構成する機能とを有している。もちろん、表示画面320上には、必要に応じて、スペックル評価グラフ、グラフの解析結果、二値化画像などが表示される。
【0076】
以上のように、図14に示す表示例によれば、元画像上において関心領域の位置及びサイズを確認でき、しかも元画像上において組織の構造を明確に把握でき、それとの対比において、スペックル評価対象となっている前処理後の部分画像を確認できる。そして、スペックル評価グラフ及びその解析結果を併せて考慮することにより、総合的な組織診断が可能となる。
【0077】
なお、ユーザーが各関心領域を設定する場合には、各関心領域ごとに、元画像上に関心領域を示す一定サイズの初期マーカーを自動的に表示させ、それをマニュアルで移動し、あるいはそのサイズをマニュアルで変更することによって、所望の位置に所望のサイズをもった関心領域を設定させるようにすればよい。その場合において、各関心領域ごとにマーカーの色をユーザー指定させるようにしてもよいし、自動的に各マーカーの色が決定されるようにしてもよい。なお、表示部34は、実際には表示処理部及び表示器によって構成されるが、表示器は、単一のディスプレイによって構成されてもよいし、複数のディスプレイ(例えば主ディスプレイ及び補助ディスプレイ)によって構成されてもよい。
【0078】
【発明の効果】
以上説明したように、本発明によれば、スペックルあるいはスペックルパターンを診断に利用することが可能となる。
【図面の簡単な説明】
【図1】超音波画像と関心領域との関係を示す図である。
【図2】関心領域内の画像とそれを二値化処理した後の二値化画像を示す図である。
【図3】スペックル評価グラフの一例を示す図である。
【図4】スペックル評価グラフとスペックルパターンとの関係を示す図である。
【図5】本実施形態に係る超音波診断装置の全体構成を示すブロック図である。
【図6】他の実施形態に係る超音波診断装置の全体構成を示すブロック図である。
【図7】空間フィルタが有するウインドを説明するための図である。
【図8】空間フィルタにおける処理内容を説明するためのフローチャートである。
【図9】ベース成分の除去とオフセット加算を説明するための図である。
【図10】空間フィルタの具体的な構成例を説明するための図である。
【図11】グラフに対する面積演算を説明するための図である。
【図12】更に他の実施形態に係る超音波診断装置の全体構成を示すブロック図である。
【図13】画像の表示例を示す図である。
【図14】画像の他の表示例を示す図である。
【符号の説明】
10 探触子、12 送信器、14 受信器、18 デジタルスキャンコンバータ(DSC)、20 フレームメモリ、22 領域設定器、24 二値化処理部、26 閾値スキャン回路、28 ラベリング処理部、30 グラフ作成部、32 画像合成部、34 表示部、36 サンプル数検出部、40 二乗平均値演算部、42 平均閾値演算部、44 分散値演算部、46 半値幅演算部、48 最大ラベル数検出部、50 空間フィルタ、52 部分面積演算部。
Claims (24)
- 超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、
閾値レベルを変化させながら前記超音波画像を二値化処理することにより、複数の二値化画像を生成する二値化処理手段と、
前記各二値化画像ごとにラベリング処理を施して高輝度又は低輝度をもった独立領域の個数を求める領域計数手段と、
前記各閾値レベルごとの前記独立領域の個数を表すスペックル評価グラフを作成するグラフ作成手段と、
を含むことを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記超音波画像に対して関心領域を設定する関心領域設定手段を含み、
前記二値化処理手段は前記関心領域内の部分画像に対して前記二値化処理を施して前記複数の二値化画像を生成することを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記超音波画像と共に前記スペックル評価グラフを表示する表示手段を含むことを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記スペックル評価グラフを解析し、そのグラフの特徴量を表す特徴量データを出力するグラフ解析手段を含むことを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記特徴量データには分散値が含まれることを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記特徴量データには半値幅が含まれることを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記特徴量データにはピークレベルが含まれることを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記特徴量データには平均閾値レベルが含まれることを特徴とする超音波診断装置。 - 超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、
組織の性状を診断するために、前記超音波画像を画像処理して当該超音波画像に含まれるスペックルの現れ方を評価するスペックル評価手段と、
前記スペックル評価手段の評価結果を表示する表示手段と、
を含むことを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記スペックル評価手段はスペックルパターンの細かさを評価することを特徴とする超音波診断装置。 - 請求項9記載の装置において、
前記組織は肝臓であることを特徴とする超音波診断装置。 - 請求項1記載の装置において、
前記二値化処理に先立って、前記超音波画像に対してスペックルを強調する前処理を実行する前処理手段を含むことを特徴とする超音波診断装置。 - 請求項12記載の装置において、
前記前処理手段は、スペックルに重畳しているベース成分を除去するフィルタであることを特徴とする超音波診断装置。 - 請求項4記載の装置において、
前記特徴量データにはグラフの一部の面積が含まれることを特徴とする超音波診断装置。 - 請求項14記載の装置において、
前記グラフに対して設定された基準値を基準とし、それを越える部分の面積が演算され、この演算された面積が前記一部の面積であることを特徴とする超音波診断装置。 - 超音波画像に対して、スペックルに重畳したベース成分を除去する前処理を実行するフィルタと、
前記前処理後の超音波画像に対して、スペックルパターンを解析する解析手段と、
を含むことを特徴とする超音波診断装置。 - 請求項16記載の装置において、
前記フィルタは、
前記超音波画像上に設定されたウインド内において複数の画素値の平均値を演算する手段と、
前記ウインド内の注目画素の画素値から前記平均値を減算して差分値を求める手段と、
前記差分値にオフセット値を加算し、それを前記注目画像の新しい画素値とする手段と、
を含むことを特徴とする超音波診断装置。 - 超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、
前記超音波画像を元画像とし、それに対してスペックル評価を行うための前処理を実行する前処理手段と、
前記前処理後の画像に対して、組織の性状を診断するために、スペックルの現れ方を評価するスペックル評価手段と、
前記元画像と前記前処理後の画像とを表示する表示手段と、
を含むことを特徴とする超音波診断装置。 - 請求項18記載の装置において、
前記表示手段には、更に前記スペックルの評価結果が表示されることを特徴とする超音波診断装置。 - 請求項18記載の装置において、
前記前処理手段は、前記超音波画像に対してスペックルに重畳したベース成分を除去するフィルタを含むことを特徴とする超音波診断装置。 - 請求項18記載の装置において、
前記表示手段には、前記元画像と前記前処理後の画像とを識別するための情報が表示されることを特徴とする超音波診断装置。 - 請求項18記載の装置において、
前記元画像に対して関心領域を設定する関心領域設定手段を含み、
前記前処理手段は前記関心領域内の部分画像に対して前処理を実行し、
前記表示手段には前記元画像と前記前処理後の関心領域内の部分画像とが表示されることを特徴とする超音波診断装置。 - 請求項22記載の装置において、
前記関心領域設定手段により複数の関心領域を設定可能であり、
前記表示手段には前記各関心領域を互いに識別するための情報が表示されることを特徴とする超音波診断装置。 - 超音波の送受波により得られたエコーデータに基づいて超音波画像を形成する画像形成手段と、
前記超音波画像を元画像とし、それに対して関心領域を設定する関心領域設定手段と、
前記元画像に対して前記関心領域を表す第1マーカーを合成してなる第1合成画像を作成する第1合成画像作成手段と、
前記関心領域内の部分画像に対してスペックル評価を行うための前処理を実行する前処理手段と、
前記前処理後の関心領域内の部分画像に対して前記第1マーカーに対応付けられた第2マーカーを合成してなる第2合成画像を作成する第2合成画像作成手段と、
前記前処理後の関心領域内の部分画像に対して、組織の性状を診断するために、スペックルの現れ方を評価するスペックル評価手段と、
前記第1合成画像と前記第2合成画像とを表示する表示手段と、
を含むことを特徴とする超音波診断装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002227928A JP3802462B2 (ja) | 2001-08-06 | 2002-08-05 | 超音波診断装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001238124 | 2001-08-06 | ||
JP2002142384 | 2002-05-17 | ||
JP2002227928A JP3802462B2 (ja) | 2001-08-06 | 2002-08-05 | 超音波診断装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006093397A Division JP4347860B2 (ja) | 2001-08-06 | 2006-03-30 | 超音波診断装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004041617A true JP2004041617A (ja) | 2004-02-12 |
JP3802462B2 JP3802462B2 (ja) | 2006-07-26 |
Family
ID=31721222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002227928A Expired - Fee Related JP3802462B2 (ja) | 2001-08-06 | 2002-08-05 | 超音波診断装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3802462B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007296335A (ja) * | 2006-05-05 | 2007-11-15 | General Electric Co <Ge> | 超音波システムに表示させた関連情報を特定するためのユーザインタフェース及び方法 |
JP2008302095A (ja) * | 2007-06-11 | 2008-12-18 | Hitachi Ltd | 血流の計測および評価装置 |
JP2010017280A (ja) * | 2008-07-09 | 2010-01-28 | Fujifilm Corp | 超音波画像処理装置及び方法並びにプログラム |
JP2012075645A (ja) * | 2010-09-30 | 2012-04-19 | Toshiba Corp | 医用画像診断装置、及び医用画像診断装置の制御プログラム |
US8206301B2 (en) | 2005-02-01 | 2012-06-26 | Fujifilm Corporation | Ultrasonic imaging apparatus and ultrasonic image processing apparatus, method and program |
US8282551B2 (en) | 2006-12-13 | 2012-10-09 | Fujifilm Corporation | Ultrasonic diagnostic apparatus, data analysis method, and data analysis program |
JP2013183992A (ja) * | 2012-03-09 | 2013-09-19 | Ge Medical Systems Global Technology Co Llc | 超音波診断装置 |
US8734351B2 (en) | 2004-08-05 | 2014-05-27 | Hitachi Medical Corporation | Method of displaying elastic image and diagnostic ultrasound system |
EP2620102A4 (en) * | 2010-09-21 | 2016-12-07 | Hitachi Ltd | ULTRASONIC DIAGNOSIS DEVICE AND METHOD FOR DISPLAYING ULTRASONIC IMAGES |
JPWO2021112205A1 (ja) * | 2019-12-05 | 2021-06-10 | ||
EP3939515A4 (en) * | 2019-03-12 | 2022-11-30 | Samsung Medison Co., Ltd. | ULTRASOUND IMAGE DISPLAY METHOD, ULTRASOUND DIAGNOSTIC DEVICE AND COMPUTER PROGRAM PRODUCT |
-
2002
- 2002-08-05 JP JP2002227928A patent/JP3802462B2/ja not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8734351B2 (en) | 2004-08-05 | 2014-05-27 | Hitachi Medical Corporation | Method of displaying elastic image and diagnostic ultrasound system |
US8206301B2 (en) | 2005-02-01 | 2012-06-26 | Fujifilm Corporation | Ultrasonic imaging apparatus and ultrasonic image processing apparatus, method and program |
JP2007296335A (ja) * | 2006-05-05 | 2007-11-15 | General Electric Co <Ge> | 超音波システムに表示させた関連情報を特定するためのユーザインタフェース及び方法 |
US8282551B2 (en) | 2006-12-13 | 2012-10-09 | Fujifilm Corporation | Ultrasonic diagnostic apparatus, data analysis method, and data analysis program |
JP2008302095A (ja) * | 2007-06-11 | 2008-12-18 | Hitachi Ltd | 血流の計測および評価装置 |
JP2010017280A (ja) * | 2008-07-09 | 2010-01-28 | Fujifilm Corp | 超音波画像処理装置及び方法並びにプログラム |
EP2620102A4 (en) * | 2010-09-21 | 2016-12-07 | Hitachi Ltd | ULTRASONIC DIAGNOSIS DEVICE AND METHOD FOR DISPLAYING ULTRASONIC IMAGES |
JP2012075645A (ja) * | 2010-09-30 | 2012-04-19 | Toshiba Corp | 医用画像診断装置、及び医用画像診断装置の制御プログラム |
JP2013183992A (ja) * | 2012-03-09 | 2013-09-19 | Ge Medical Systems Global Technology Co Llc | 超音波診断装置 |
EP3939515A4 (en) * | 2019-03-12 | 2022-11-30 | Samsung Medison Co., Ltd. | ULTRASOUND IMAGE DISPLAY METHOD, ULTRASOUND DIAGNOSTIC DEVICE AND COMPUTER PROGRAM PRODUCT |
JPWO2021112205A1 (ja) * | 2019-12-05 | 2021-06-10 | ||
WO2021112205A1 (ja) * | 2019-12-05 | 2021-06-10 | 国立大学法人大阪大学 | 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体 |
JP7265805B2 (ja) | 2019-12-05 | 2023-04-27 | 国立大学法人大阪大学 | 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3802462B2 (ja) | 2006-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6106190B2 (ja) | 血管画像における血液及び血液尤度の可視化方法 | |
US20110125016A1 (en) | Fetal rendering in medical diagnostic ultrasound | |
EP2016905B1 (en) | Ultrasound diagnostic apparatus | |
EP1980210B1 (en) | Elastic image display method and elastic image display | |
CN110325119B (zh) | 卵巢卵泡计数和大小确定 | |
CN101264023B (zh) | 超声波诊断装置、图像处理装置和图像处理方法 | |
JP4921826B2 (ja) | 超音波診断装置及びその制御方法 | |
EP1715360B1 (en) | Ultrasound diagnostic apparatus and ultrasound image processing program | |
US9039620B2 (en) | Ultrasound diagnostic apparatus | |
JP2003061964A (ja) | 超音波診断装置 | |
JP2006507883A (ja) | 撮像システム内で流れ領域を識別するセグメンテーション・ツール | |
EP1665987A1 (en) | Ultrasonograph | |
JP4347860B2 (ja) | 超音波診断装置 | |
JP2005193017A (ja) | 乳房患部分類の方法及びシステム | |
KR20100106633A (ko) | 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법 | |
JP3802462B2 (ja) | 超音波診断装置 | |
JP2008073417A (ja) | 超音波診断装置 | |
Tsui et al. | Performance evaluation of ultrasonic Nakagami image in tissue characterization | |
EP4076208B1 (en) | Systems and methods for assessing a placenta | |
Loizou et al. | Atherosclerotic carotid plaque segmentation | |
US20100041993A1 (en) | Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus | |
JPWO2007148735A1 (ja) | 超音波画像作成装置、超音波画像作成方法、超音波画像作成プログラム | |
JP4708839B6 (ja) | 生体情報解析装置 | |
JP4708839B2 (ja) | 生体情報解析装置 | |
Gomez et al. | Computerized simulation of breast ultrasound images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060427 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |