JP2007268155A - 超音波診断装置及び超音波診断装置制御方法 - Google Patents

超音波診断装置及び超音波診断装置制御方法 Download PDF

Info

Publication number
JP2007268155A
JP2007268155A JP2006100225A JP2006100225A JP2007268155A JP 2007268155 A JP2007268155 A JP 2007268155A JP 2006100225 A JP2006100225 A JP 2006100225A JP 2006100225 A JP2006100225 A JP 2006100225A JP 2007268155 A JP2007268155 A JP 2007268155A
Authority
JP
Japan
Prior art keywords
image
dimensional
ultrasonic
diagnostic apparatus
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006100225A
Other languages
English (en)
Other versions
JP5002181B2 (ja
Inventor
Naohisa Kamiyama
直久 神山
Yoko Okamura
陽子 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2006100225A priority Critical patent/JP5002181B2/ja
Priority to PCT/JP2007/057219 priority patent/WO2007114375A1/ja
Priority to EP07740655.1A priority patent/EP1982654B1/en
Priority to CN2007800045320A priority patent/CN101378700B/zh
Publication of JP2007268155A publication Critical patent/JP2007268155A/ja
Priority to US12/178,709 priority patent/US8696575B2/en
Application granted granted Critical
Publication of JP5002181B2 publication Critical patent/JP5002181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 例えば乳腺等の連続構造物と微小石灰化部分等の微小構造物とを正確に区別し、微小構造物を抽出することができる超音波診断装置等を提供すること。
【解決手段】 三次元画像データに含まれる複数の超音波画像像と実質的に直交する方向(奥行き方向)に関する情報をも用いて、スペックルパタンを除去する。例えば、三次元CFAR処理、或いは二次元CFAR処理及び奥行き演算処理を実行する。これにより、三次元的に連続して分布する連続構造物と局在する微小構造物とを弁別して微小構造物抽出画像を生成する。
【選択図】 図1

Description

本発明は、 組織のエコー信号から、生体臓器中の微小な構造物を抽出し表示する超音波診断装置、及び超音波診断装置制御方法に関する。
超音波診断は、超音波プローブを体表から当てるだけの簡単な操作で心臓の拍動や胎児の動きの様子がリアルタイム表示で得られ、かつ安全性が高いため繰り返して検査を行うことができる。この他、システムの規模がX線、CT、MRIなど他の診断機器に比べて小さく、ベッドサイドへ移動していっての検査も容易に行えるなど簡便な診断手法であると言える。この超音波診断において用いられる超音波診断装置は、それが具備する機能の種類によって様々に異なるが、小型なものは片手で持ち運べる程度のものが開発されており、超音波診断はX線などのように被曝の影響がなく、産科や在宅医療等においても使用することができる。
このような種々の長所を持つ超音波診断の一つに、乳がんの早期診断がある。乳房組織においては、乳癌の徴候として微小石灰化が発生するケースが多いことが知られている。微小石灰化病変は1個あるいは数個で局所に散在する。石灰は生体組織に比べ硬いため、超音波をよく反射するため画像上高輝度となることが期待される。しかしながら、実際に画像の中から目視する場合には、数百ミクロン程度であっても抽出するのは難しいと言われている。
ところで、超音波画像上には、超音波のランダムな干渉に起因するスペックルパタンと呼ばれる干渉縞が発生する場合がある。このスペックルパタンは、肝硬変の診断等に利用される。その一方で、例えば上記乳癌検診の場合には見落とされがちな微小石灰化等の微小構造物と酷似しており、場合によっては紛らわしい画像情報となる。従って、乳癌診断等においてはスペックルパタンを除去したいというニーズがあり、そのための技術として、例えば空間コンパウンド、CFAR(Contrast False Alarm Rate:一定誤警報率)処理、類似度フィルタ等がある。ここで、空間コンパウンドとは、異なる方向からの送受信信号を重畳しスペックルを平滑化するものである(例えば、特許文献1、2、3、4参照)。CFAR処理とは、対象画素を周囲の輝度平均で減算し、これを用いて高輝度部分を抽出するものである(例えば、特許文献1参照)。類似度フィルタとは、その統計的性質を利用して、スペックルを除去するものである。また、これらのスペックルパタン除去の手法の他、超音波診断の分野ではないが、微小石灰化を自動認識する試みが、主にX線診断画像の応用として種々報告されている(例えば、特許文献5参照)。
さらに、微小石灰化に代表される微小構造物を抽出するための他の技術としてMIP処理がある。これは、複数の画像フレームの最大輝度を代表値として、一枚のフレームに投影するというものである。主に三次元画像処理において、ボリュームデータを二次元画像として表示する際に用いられる。理想的には、複数フレームの情報が一枚に重畳され、情報量の高い画像を得ることができる。また、その他、従来の超音波診断装置に搭載されている画質調整パラメータを変更しスペックルパタンを軽減することも可能である。また、例えばダイナミックレンジを小さくすると特定の狭い範囲の信号のみが表示される。さらに、ゲインを低く設定するなど最適な調整を行えば、相対的に信号の小さいスペックルパタンは表示されず、相対的に信号の大きい微小構造物のみが画像化できる場合がある。
特昭61−189476号公報 特開2001−238884号公報 特開2003−61964号公報 特開2004−321582号公報 特許第3596792号公報
しかしながら、微小物構造物を抽出するための従来の手法には、例えば次のような問題がある。
診断対象の乳腺は乳管などの構造が複雑であり、もとより均質な臓器ではない。従って、従来のフィルタ処理を行うと、微小石灰化が検出されると同時に、乳腺構造も(構造物として)抽出されてしまい、両者を十分に区別することができない。
また、乳管などは微小石灰化に比べて明らかに大きな構造物であるため、フィルタ処理にて残存しても、目視にて弁別が可能となることが期待されるが、それでも弁別が困難となることを、発明者らは研究でしばしば経験している。特に乳腺構造の一部のみが残存する場合は、フィルタ後の画像は点状に見えるため、微小石灰化に類似した画像となる場合がある。
本発明は、上記事情を鑑みてなされたもので、例えば乳腺等の連続構造物と微小石灰化部分等の微小構造物とを正確に区別し、微小構造物を抽出することができる超音波診断装置及び超音波診断装置制御方法を提供することを目的としている。
本発明は、上記目的を達成するため、次のような手段を講じている。
本発明の第1の視点は、前記被検体に対し超音波を送信し、当該超音波からの反射波を受信し、受信した反射波に基づいて複数フレームのエコー信号を発生する超音波送受信手段と、前記複数のフレームのエコー信号に基づいて、複数の二次元画像によって構成される三次元画像データを発生する画像データ発生手段と、前記三次元画像データに含まれるスペックルパタン成分を軽減する信号処理を行うことで第1の画像を生成する画像生成手段と、前記第1の画像を表示する表示手段と、を具備することを特徴とする超音波診断装置である。
本発明の第2の視点は、画像データ発生手段、画像生成手段、表示手段を具備する超音波診断装置の制御方法であって、前記画像データ発生手段が、被検体に対し超音波を送信し、当該超音波からの反射波を受信し、受信した反射波に基づいて得られる複数フレームのエコー信号に基づいて、複数の二次元画像によって構成される三次元画像データを発生し、前記画像生成手段が、前記三次元画像データに含まれるスペックルパタン成分を軽減する信号処理を行うことで第1の画像を生成し、前記表示手段が、前記第1の画像を表示すること、を具備することを特徴とする超音波診断装置の制御方法である。
以上本発明によれば、例えば乳腺等の連続構造物と微小石灰化部分等の微小構造物とを正確に区別し、微小構造物を抽出することができる超音波診断装置及び超音波診断装置制御方法を実現することができる。
以下、本発明の第1実施形態及び第2実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(第1実施形態)
図1は、第1の実施形態に係る超音波診断装置の構成を示したブロック図である。同図に示すように、本超音波診断装置11は、超音波プローブ12、入力装置13、モニター14、超音波送信ユニット21、超音波受信ユニット22、Bモード処理ユニット23、ドプラ処理ユニット24、画像生成ユニット25、画像メモリ26、画像合成部27、制御プロセッサ(CPU)28、内部記憶部29、インターフェース部30、画像処理部31を具備している。以下、個々の構成要素の機能について説明する。
超音波プローブ12は、超音波送受信ユニット21からの駆動信号に基づき超音波を発生し、被検体からの反射波を電気信号に変換する複数の圧電振動子、当該圧電振動子に設けられる整合層、当該圧電振動子から後方への超音波の伝播を防止するバッキング材等を有している。当該超音波プローブ12から被検体Pに超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ12に受信される。このエコー信号の振幅は、反射することになった反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合のエコーは、ドプラ効果により移動体の超音波送信方向の速度成分を依存して、周波数偏移を受ける。
なお、本超音波装置が具備する超音波プローブ12は、被検体の三次元領域を超音波走査可能なものである。そのため、超音波プローブ12は、振動子をその配列方向の直交方向に沿って機械的に揺動させ、三次元領域を超音波走査する構成、又は二次元的に配列された二次元振動素子を用いて電気的制御により三次元領域を超音波走査する構成等を有する。前者の構成を採用する場合、被検体の三次元的走査は前記揺動回路によって行われるため、検査者はプローブ本体を被検体に接触させるだけで、自動的に複数の二次元断層像を取得することができる。制御された揺動速度から断面間の正確な距離も検知できる。また、後者の構成を採用する場合には、原理的には、従来の二次元断層像を取得するのと同じ時間で、三次元領域を超音波走査することができる。
入力装置13は、装置本体11に接続され、オペレータからの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体11にとりこむための各種スイッチ、ボタン、トラックボール、マウス、キーボード等を有している。例えば、操作者が入力装置13の終了ボタンやFREEZEボタンを操作すると、超音波の送受信は終了し、当該超音波診断装置は一時停止状態となる。
モニター14は、スキャンコンバータ25からのビデオ信号に基づいて、生体内の形態学的情報(Bモード画像)、血流情報(平均速度画像、分散画像、パワー画像等)、これらの組み合わせを画像として表示する。
超音波送信ユニット21は、図示しないトリガ発生回路、遅延回路およびパルサ回路等を有している。パルサ回路では、所定のレート周波数fr Hz(周期;1/fr秒)で、送信超音波を形成するためのレートパルスが繰り返し発生される。また、遅延回路では、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間が、各レートパルスに与えられる。トリガ発生回路は、このレートパルスに基づくタイミングで、プローブ12に駆動パルスを印加する。
なお、超音波送信ユニット21は、制御プロセッサ28の指示に従って所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に送信駆動電圧の変更については、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は複数の電源ユニットを電気的に切り替える機構によって実現される。
超音波受信ユニット22は、図示していないアンプ回路、A/D変換器、加算器等を有している。アンプ回路では、プローブ12を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器では、増幅されたエコー信号に対し受信指向性を決定するのに必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
Bモード処理ユニット23は、送受信ユニット21からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるデータを生成する。このデータは、スキャンコンバータ25に送信され、反射波の強度を輝度にて表したBモード画像としてモニター14に表示される。
ドプラ処理ユニット24は、送受信ユニット21から受け取ったエコー信号から速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報を多点について求める。
画像生成ユニット25は、一般的には、超音波スキャンの走査線信号列を、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換(スキャンコンバート)し、表示画像としての超音波診断画像を生成する。
また、画像生成ユニット25は、スキャンコンバート以外の種々の画像処理を実行する。すなわち、画像生成ユニット25は、後述する微小構造物抽出処理の他、例えば、スキャンコンバート後の複数の画像フレームを用いた輝度の平均値画像を再生成する方法(平滑化処理)、画像内で微分フィルタを用いる方法(エッジ強調)、三次元再構成アルゴリズムを用いたボリウムレンダリングなどの処理(三次元画像再構成)等を実行する。なお、当該画像生成ユニット25に入る以前のデータは、「生データ」と呼ばれることがある。
画像メモリ(シネメモリ)26は、例えばフリーズする直前の複数フレームに対応する超音波画像を保存するメモリである。この画像メモリ26に記憶されている画像を連続表示(シネ表示)することで、超音波動画像を表示することも可能である。
画像合成部27は、画像生成ユニット25又から受け取った画像を種々のパラメータの文字情報や目盛等と共に合成し、ビデオ信号としてモニター14に出力する。
制御プロセッサ28は、情報処理装置(計算機)としての機能を持ち、本超音波診断装置本体の動作を制御する。制御プロセッサ28は、内部記憶部29から微小構造物抽出機能を実現するための専用プログラム、所定の画像生成・表示等を実行するための制御プログラムを読み出して自身が有するメモリ上に展開し、各種処理に関する演算・制御等を実行する
内部記憶部29は、所定のスキャンシーケンス、各実施形態に係る微小構造物抽出機能を実現するための専用プログラム、画像生成、表示処理を実行するための制御プログラム、診断情報(患者ID、医師の所見等)、診断プロトコル、送受信条件、CFAR処理制御プログラム、ボディマーク生成プログラムその他のデータ群が保管されている。また、必要に応じて、画像メモリ26中の画像の保管などにも使用される。内部記憶部29のデータは、インターフェース回路30を経由して外部周辺装置へ転送することも可能となっている。
インターフェース部30は、入力装置13、ネットワーク、新たな外部記憶装置(図示せず)に関するインターフェースである。当該装置によって得られた超音波画像等のデータや解析結果等は、インターフェース部30よって、ネットワークを介して他の装置に転送可能である。
(微小構造物抽出機能)
次に、本超音波診断装置1が有する微小構造物抽出機能について説明する。微小石灰化等に代表される一箇所に局在する微小構造物と、乳腺等に代表される三次元的に一定の範囲で連続する構造を持つ連続構造物とは、その空間分布の形態において、本質的に大きく異なる。本機能は、この点に着目し、例えば乳房、肝臓、膵臓等の診断において、空間分布の形態に基づいて両者を区別し、微小構造物が積極的に抽出された画像生成(微小構造物抽出画像)を生成するものである。
なお、本実施形態においては、説明を具体的にするため、Bモード画像からスペックルパタンを除去するための手法としてCFAR処理を採用する。しかしながら、これに拘泥されず、例えば異なる方向からの送受信信号を重畳させてスペックルパタンを平滑化させる空間コンパウンド法、統計的性質を利用してスペックルパタンを除去すする類似度フィルタ法等の種々のものを採用することができる。また、CFAR処理という用語はレーダー分野において用いられるものであり、本実施形態ではその関連性により説明を具体的にするため、便宜上「CFAR」という語句を用いている。しなしながら、レーダー分野で用いられる方法、あるいは統計量を厳密に使用したものに拘泥されない。
また、本微小構造物抽出機能を用いた処理(微小構造物抽出処理)は、三次元画像データをその対象とする。ここで、三次元画像データとは、複数の二次元画像を有するボリュームデータ、或いは異なる複数の二次元画像から構成されるデータ(完全なボリウムデータを必ずしも構成しない)を意味する。本実施形態においては、説明を具体的にするため、ボリウムデータを用いた微小構造物抽出処理について説明する。
図2、図3は、本CFAR処理の対象とするボリュームデータの一例を示した図である。各図に示したボリュームデータは、Z=0を中心としてZ軸方向(超音波画像と略直交する方向、「奥行き方向」とも言う。)に前後6枚の超音波画像で構成されており、白色の矩形は超音波画像を構成する通常画素を、黒色の矩形は超音波画像を構成する画素のうちの注目する注目画素Pを、白色と黒色の中間色の矩形は注目画素Pの近傍に位置し後述する(1)の平均処理に用いられる画素(近傍画素)を、それぞれ表している。なお、各図に示したような近傍画素のパタンは「カーネル」と呼ばれる。また、本実施形態の様に三次元的に定義されたカーネルを用いたCFAR処理は、「三次元CFAR処理」と呼ばれる。
本実施形態に係るCFAR処理は、例えば次の(1)〜(3)の手順によって実行される。
(1)まず、注目画素P毎に、当該画素Pの近傍画素の輝度平均値を求める。このとき、自分自身の輝度が平均値に影響しないようにするため、注目画素P自体は近傍画素の輝度平均計算に含めないようにしてもよい。
(2)次に、注目画素Pの画素値から得られた平均値を引いた値を、当該注目画素Pの位置に対する演算結果Kと定義して内部記憶部29に記憶する。この演算処理を、全ての注目画素Pについて実行する。
(3)次に、予め決めた閾値をTとすれば、K≧Tの場合には元の輝度を用いて当該注目画素Pを表示する(微小構造物の抽出)。一方、K<Tである場合、当該注目画素Pの輝度値はゼロとすることで表示しない(除去)。これらの処理を全ての注目画素Pについて実行することで、当該画像に関するCFAR処理を実行することができる。
なお、上記(3)の判定においては、K≧Tの場合には輝度をKとして当該注目画素Pを表示し、K<Tである場合当該注目画素Pの輝度値はゼロとすることで表示しない様にしてもよい。また、iを所望の値に変化させることで、微小構造物抽出の対象とする二次元画像(図2、図3の例ではZ=0の画像)に含まれる任意の画素を注目画素Pとすることができる。 図2、図3に示した例では、演算処理時間を短縮するために、近傍画素を十字型に設けている。しかしながら、近傍画素の配列はこれに拘泥されず、例えば演算処理に要する時間が問題とならない場合は、例えば図4に示すようにより広範囲に配列された近傍画素を用いて平均値を求めるようにしてもよい。また、上記(1)の手順において、輝度平均値を求めているが、これに限られず輝度最大値を求めてもよい。
以上述べた本微小構造物抽出処理では、一つの注目画素Pについて、同一の超音波画像上の近傍画素のみならず、当該超音波画像と直交する方向(奥行き方向、図2、図3等ではZ軸方向)に関する近傍画素をも基準として、その画素値を決定している。一般に、乳腺等の連続構造物は奥行き方向をも含めて三次元的に分布する一方、微小石灰化部分に代表される微小構造物は、局在した領域にしか分布していない。従って、同一の超音波画像上の近傍画素のみならず奥行き方向をも含めた三次元的なカーネルパタンを採用することで、三次元的連続性を持つ高輝度画素を取捨選択することができる。
図5(a)、5(b)、5(c)は、本微小構造物抽出処理の効果を説明するための図である。図5(a)に示すBモード画像(すなわち、本微小構造物抽出処理前の画像)では、乳管構造や微小石灰化が描出されているものの、その視認性は低く見難くなっている。図5(b)に示す画像は、二次元的に定義されたカーネルを用いた二次元CFAR処理によって取得されたものである。同画像においては、スペックルパタンが低減されているが、微小石灰化の他に乳腺構造の一部も残存して、視認性がやや悪い。図5(c)に示す画像は、本微小構造物抽出処理によって取得された画像(微小構造物抽出画像)である。本微小構造物抽出画像では、図5(a)、5(b)に示した画像と比較して、微小石灰化部分がより良好に抽出される。これは、三次元CFAR処理を行うことで奥行き方向にも連続性がある乳腺(連続構造物)を弁別し、除去することができるからである。
なお、CFAR処理は、スペックルの変動から逸脱する輝度を持つ信号の抽出に有効である。類似の効果を持つ演算手法としては、ハイパスフィルタ(高い周波数成分のみを抽出する信号処理)がある。本CFAR処理に代わりにハイパスフィルタを用いる構成としてもよいが、スペックルパタンリダクションにおいては、CFAR処理の方が優れている場合がある。
(動作)
図6は、本実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。同図に示すように、まず、画像生成ユニット25は、対象となる断層画像のフレーム(j=k)の選択を受け、当該フレーム及びその前後合わせてN+1枚のフレームFk−N/2〜Fk+N/2(図2、図3の例ではZ=−6〜+6までの前後13フレーム)からなる三次元画像データを受け取り、所定のメモリに格納する(ステップS1、ステップS2)。
次に、画像生成ユニット25は、対象となる断層画像に含まれる画素を注目画素とした所定の三次元パタンを有するカーネルを、三次元画像データに設定し、三次元CFAR処理を実行する(ステップS3)。このように、本微小構造物抽出処理では、複数断面すなわち三次元的空間情報の輝度からCFAR処理がなされ、対象となる断層画像に基づいて微小構造物抽出画像が生成される。生成された微小構造物抽出画像は、画像合成部27を介してモニター14に表示されると共に、記憶装置29等に自動的に保存される(ステップS4)。なお、微小構造物抽出画像は、例えばCFAR処理前のBモード画像やCFAR処理後のBモード画像と共に、Dual表示又はTriplex表示することも可能である。このとき、異なる種類が同時に表示される場合には、各画像において同一の位置に対応するようにカーソルが配置される。
次に、他の二次元画像(Fk+1)を対象としてさらに微小構造物抽出処理を行う場合には、ステップS1〜ステップS4までの各処理が繰り返し実行される(ステップS5)。
以上述べた構成によれば、以下の効果を得ることができる。
本超音波診断装置によれば、例えば乳房、肝臓、膵臓等の診断において、超音波断層像(二次元)に対して行われるフィルタ処理を三次元的に拡張し、同一超音波画像像のみならず、当該画像と実質的に直交する方向(奥行き方向)に関する情報をも用いて、スペックルパタンを除去している。従って、三次元的に連続して分布する連続構造物と局在する微小構造物とを弁別し、微小構造物が抽出された微小構造物抽出画像を生成することができる。医師等は、この微小構造物抽出画像を観察することで、目視ではスペックルパタンとの分別が難しく、かつある特定の断面像にのみ現れるような微小構造物を、短時間で発見することが可能となる。
また、本超音波診断装置によれば、記憶部に記憶されたスペックルパタン除去前のBモード画像、スペックルパタン除去後のBモード画像、微小構造物抽出画像のうち所望の画像を読み出し、例えばDual表示、Triplex表示等の所定の形態にて表示することができる。また、異なる種類が同時に表示される各表示形態においては、各画像において同一の位置に対応するようにカーソルが配置される。従って、医師等の観察者は、目的に応じて所望の表示形態、所望のタイミングにて微小構造物抽出画像を表示できると共に、複数種類の画像によって微小構造物を迅速且つ簡単に特定し観察することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。
本実施形態に係る超音波診断装置の構成は、図1に示したものと略同一である。以下、異なる機能のついてのみ説明する。
画像生成ユニット25は、本実施形態に係る微小構造物抽出機能に係る処理(微小構造物抽出処理)を実行する。
制御プロセッサ28は、内部記憶部29から本実施形態に係る微小構造物抽出機能を実現するための専用プログラムを読み出して自身が有するメモリ上に展開し、所定の演算・制御等を実行する
(微小構造物抽出機能)
本実施形態に係る微小構造物抽出機能は、スペックルパタンを除去するための処理及び奥行き方向の空間連続性を計算する奥行き演算処理とを用いて、微小構造物抽出処理を行うものである。
すなわち、本微小構造物抽出機能では、N枚の断層フレームを読み込んだ後、各々のフレームに対し、スペックルパタンを除去するための処理を実行する。本実施形態では、説明を具体的にするため、スペックルパタンを除去するための処理として、例えば図7(a)、(b)に示すような同一超音波画像上で定義された二次元的カーネルを用いたCFAR処理(二次元CFAR処理)を実行する。しかしながら、これに拘泥されず、二次元CFAR処理の替わり類似度フィルタ処理、空間コンパウンド処理等を採用するようにしてもよい。
次に、スペックルパタンの除去処理が施されたN枚のフレーム画像に対して、奥行き演算処理が実行され、微小構造抽出画像が生成される。ここで、奥行き演算処理とは、超音波画像上の構造物(高輝度領域)の奥行き方向に関する連続性を判定するための処理であり、例えば次の様な手法を採用することができる。
(1)差分演算
二次元CFAR処理後において超音波画像上に残存する連続構造物は、微小石灰より大きな構造物であり、奥行き方法の連続性を持っていると考えられる。この観点より、連続構造物は、二次元CFAR処理後の相前後する各フレーム画像上においては、例えば図8に示すような状態で存在する(映像化される)ことが予想される。従って、連続或いは近接するフレーム画像から差分画像を生成(例えば、画像Fから画像Fj−1を減算)すると、当該差分画像により、不連続に存在する微小構造物(例えば微小石灰化部分)のみ抽出することができる。
なお、各断層像の距離が小さいと画像間の差が小さくなる。従って、微小構造物の大きさが画像間の差を上回る場合には、差分結果がゼロとなることが予想される。この様な問題を解決するため、差分に使用するフレームを、必要に応じて隣接フレームのみでなくn枚おき(ただし、nは自然数)に行う構成としてもよい。また、微小構造物の大きさは個体に依存する。このため、いずれのフレーム間で差分画像を生成するか(すなわちnの値)は、入力装置13からの所定の操作により操作者が任意に選択できることが好ましい。
また、超音波プローブ12を揺動回路を具備するものとする場合には、自動的に取得される複数の断層画像間の距離の情報も同時に得られる。従って、得られる断層画像間の距離を基準として、所望の距離(例えば平均2mm)だけ離れた断層像を特定するようにしてもよい。
また、ここで差分画像処理とCFAR処理の順番は逆となってもよい。つまり、先に連続、または近接するフレーム画像から差分画像を生成し、その後、得られた2次元画像に対してCFAR処理を行って不要な組織像を取り除き、不連続に存在する微小構造物を抽出してもよい。
(2)空間周波数解析
図9は、図8に示したN枚の画像間で位置の対応する画素について、奥行き方向に対する周波数変化を示したグラフである。同図において、微小構造物以外に対応する画素では、グラフAの様に、奥行き方向に関するその画素値の周波数変化は緩やかなものとなる。一方、微小構造物に対応する画素では、グラフBの様に、その画素値の周波数変化は急峻になる部分がある。従って、奥行き方向に対してハイパスフィルタ(high pass filter)処理を行うと、緩やかな変化は除去されるため、石灰化部分等の微小構造物のみを抽出することができる。
(変形例1)
次に、本実施形態に係る微小構造物抽出処理の変形例について説明する。
一般に、三次元的走査を行う場合には、断面に対して上下左右方向(すなわち、図2、図3のx,y方向)にすれが生じると、連続的な構造であっても画素単位ではその連続性が失われてしまうという危険性がある。本変形例は、この問題を解決するための手法を提供するものである。
すなわち、ボリュームデータに含まれる各二次元画像に対して二次元CFAR処理を実行した後、奥行き演算処理前の各二次元画像の各画素に対し、同一の二次元画像上における近傍画素と比較した最大値を、新たな画素として再生成する画像処理を実行する。この画像処理は、座標(x,y)の画素値P(x,y)に対して、次に様に表記することができる。
P′(x,y)=MAX[P(x−i,y−j)]
(ただし、i、jは、−m<i<m、−n<j<nを満たす任意の整数。)
この様な画像処理により、上下左右方向にずれた場合であっても、二次元CFAR処理で残存した輝度情報を各二次元画像上に含めることができる。従って、奥行き演算処理としての差分演算、周波数解析等を良好に行うことができる。
(変形例2)
次に、本実施形態に係る微小構造物抽出処理の他の変形例について説明する。本変形例2は、変形例1とは異なる手法により、二次元画像間の上下左右方向のずれを補正するものである。
すなわち、本変形例では、2枚の二次元画像間の移動ベクトルを利用して、二次元画像間の上下左右方向のずれを補正する。例えば、時間方向に連続する画像フレームから、画像のぶれを補正する技術(1枚の画像を数個の領域に分けて、そのそれぞれの領域に対して、フレーム間の移動方向および移動量を、画像パタンの相関から求める手法等)は、既に市販のビデオカメラなどにも搭載されている。この様な手法により算出された動きベクトルを使用して、画像フレームの表示位置を補正すれば、前記上下左右方向のぶれは軽減され、微小構造物とそれ以外の構造物とを理想的に分別することができる。
(動作)
図10は、本実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。同図に示すように、まず、画像生成ユニット25は、対象となるN枚の二次元画像からなる三次元画像データを受け取り、所定のメモリに格納する(ステップS11)。
次に、画像生成ユニット25は、各二次元画像に対し所定の二次元パタンを有するカーネルをに設定し、二次元CFAR処理を実行する(ステップS12)。次に、画像生成ユニット25は、各二次元画像を用いて奥行き演算処理を実行し、微小構造物抽出画像を生成する(ステップS13)。生成された微小構造物抽出画像は、画像合成部27を介してモニター14に表示されると共に、記憶装置29等に自動的に保存される(ステップS14)。
以上述べた本実施形態に係る超音波診断装置によれば、各二次元画像に対してスペックルパタンを除去する処理を行った後、奥行き演算処理を実行する。従って、二次元画像内において高輝度領域を抽出すると共に、当該高輝度領域の奥行き方向の分布に基づいて微小構造物を抽出し、これを微小構造物抽出画像として映像化することができる。その結果、第1の実施形態と同様の効果を実現することができる。
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態は、第2実施形態においてスペックルパタンを除去する処理を行わず、N枚の二次元画像を用いて直接奥行き演算処理を行うものである。
図11は、本実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。同図に示すように、まず、画像生成ユニット25は、対象となるN枚の二次元画像からなる三次元画像データを受け取り、所定のメモリに格納する(ステップS21)。
次に、画像生成ユニット25は、各二次元画像を用いて奥行き演算処理を実行し、微小構造物抽出画像を生成する(ステップS22)。生成された微小構造物抽出画像は、画像合成部27を介してモニター14に表示されると共に、記憶装置29等に自動的に保存される(ステップS13)。
以上述べた本実施形態に係る超音波診断装置によれば、三次元画像データを構成する複数の二次元画像を用いて、奥行き演算処理を実行する。従って、三次元画像データ内に含まれる構造物の奥行き方向の分布に基づいて微小構造物を抽出し、これを微小構造物抽出画像として映像化することができる。その結果、第1及び第2実施形態と同様の作用効果を実現することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば次のようなものがある。
本実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以上本発明によれば、例えば乳腺等の連続構造物と微小石灰化部分等の微小構造物とを正確に区別し、微小構造物を抽出することができる超音波診断装置及び超音波診断装置制御方法を実現することができる。
図1は、第1の実施形態に係る超音波診断装置の構成を示したブロック図である。 図2は、三次元CFAR処理の対象とするボリュームデータの一例を示した図である。 図3は、三次元CFAR処理の対象とするボリュームデータの一例を示した図である。 図4は、三次元CFAR処理において用いられるカーネルパタンの他の例を示した図である。 図5(a)、5(b)、5(c)は、本微小構造物抽出処理の効果を説明するための図である。 図6は、第1の実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。 図7(a)、(b)は、二次元CFAR処理において用いられるカーネルパタンの例を示した図である。 図8は、奥行き演算処理(差分処理)を説明するための図である。 図8は、奥行き演算処理(周波数解析処理)を説明するための図である。 図10は、第2の実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。 図11は、第3の実施形態に係る微小構造物抽出処理の流れを示したフローチャートである。
符号の説明
10…超音波診断装置、12…超音波プローブ、13…入力装置、14…モニター、21…超音波送信ユニット、22…超音波受信ユニット、23…Bモード処理ユニット、24…ドプラ処理ユニット、25…スキャンコンバータ、26…シネメモリ、27…画像合成部、28…制御プロセッサ、29…内部記憶部、30…インタフェース部、31…画像処理部

Claims (9)

  1. 被検体に対し超音波を送信し、当該超音波からの反射波を受信し、受信した反射波に基づいて複数フレームのエコー信号を発生する超音波送受信手段と、
    前記複数のフレームのエコー信号に基づいて、複数の二次元画像によって構成される三次元画像データを発生する画像データ発生手段と、
    前記三次元画像データに含まれるスペックルパタン成分を軽減する信号処理を行うことで第1の画像を生成する画像生成手段と、
    前記第1の画像を表示する表示手段と、
    を具備することを特徴とする超音波診断装置。
  2. 前記画像生成手段は、
    前記三次元画像データに含まれる所定の二次元画像を構成する画素と、前記三次元画像データに含まれる他の二次元画像を構成する画素との関係を利用して前記スペックルパタン成分を軽減する信号処理を実行することで、前記所定の二次元画像に含まれる微小構造物を抽出し、
    前記微小構造物が映像化された前記第1の画像を生成すること、
    を特徴とする請求項1記載の超音波診断装置。
  3. 前記スペックルパタン成分を軽減する信号処理は、カーネルパタンが三次元的に定義されたCFAR(Contrast False Alarm Rate)処理、統計的類似度フィルタを用いた処理、空間ハイパスフィルタを用いた処理のいずれかであることを特徴とする請求項1又は2記載の超音波診断装置。
  4. 前記画像生成手段は、
    前記複数の二次元画像のそれぞれに対し前記スペックルパタン成分を軽減する信号処理を行うことで前記各二次元画像において所定の閾値以上の値を有する画素を抽出し、
    前記抽出された画素について前記複数の二次元画像間における関係を判定するための奥行き演算を行うことにより、前記三次元画像データに含まれる所定の二次元画像に含まれる微小構造物を抽出し、
    前記微小構造物が映像化された前記第1の画像を生成すること、
    を特徴とする請求項1又は2記載の超音波診断装置。
  5. 前記スペックルパタン成分を軽減する信号処理は、カーネルパタンが二次元的に定義されたCFAR(Contrast False Alarm Rate)処理、統計的類似度フィルタを用いた処理、空間ハイパスフィルタを用いた処理のいずれかであること特徴とする請求項4記載の超音波診断装置。
  6. 前記画像生成手段は、
    前記複数の二次元画像のそれぞれに対し前記スペックルパタン成分を軽減する信号処理を行った後、前記各二次元画像上の画素について、当該画素の値及びその近傍に位置する画素の値のうちの最大値を当該画素の新たな値とする画像処理を実行し、
    前記画像処理の後、前記奥行き演算処理を実行すること、
    を特徴とする請求項4又は5記載の超音波診断装置。
  7. 前記画像生成手段は、
    前記複数の二次元画像間の移動ベクトルを算出し、
    前記算出された移動ベクトルに基づいて、前記複数の二次元画像間の位置ずれを補正する補正処理を実行し、
    前記補正処理の後、前記奥行き演算処理を実行すること、
    を特徴とする請求項4又は5記載の超音波診断装置。
  8. 前記三次元画像データは、前記被検体に対し超音波を送信するための複数の超音波振動子を揺動させる機構を有する超音波プローブ、又は前記複数の超音波振動子が二次元的に配置された超音波プローブを用いて取得されたものであることを特徴とする請求項1乃至7のうちいずれか一項記載の超音波診断装置。
  9. 画像データ発生手段、画像生成手段、表示手段を具備する超音波診断装置の制御方法であって、
    前記画像データ発生手段が、被検体に対し超音波を送信し、当該超音波からの反射波を受信し、受信した反射波に基づいて得られる複数フレームのエコー信号に基づいて、複数の二次元画像によって構成される三次元画像データを発生し、
    前記画像生成手段が、前記三次元画像データに含まれるスペックルパタン成分を軽減する信号処理を行うことで第1の画像を生成し、
    前記表示手段が、前記第1の画像を表示すること、
    を具備することを特徴とする超音波診断装置の制御方法。
JP2006100225A 2006-03-31 2006-03-31 超音波診断装置及び超音波診断装置制御方法 Active JP5002181B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006100225A JP5002181B2 (ja) 2006-03-31 2006-03-31 超音波診断装置及び超音波診断装置制御方法
PCT/JP2007/057219 WO2007114375A1 (ja) 2006-03-31 2007-03-30 超音波診断装置及び超音波診断装置制御方法
EP07740655.1A EP1982654B1 (en) 2006-03-31 2007-03-30 Ultrasound diagnostic device and control method for ultrasound diagnostic device
CN2007800045320A CN101378700B (zh) 2006-03-31 2007-03-30 超声波诊断装置以及超声波诊断装置控制方法
US12/178,709 US8696575B2 (en) 2006-03-31 2008-07-24 Ultrasonic diagnostic apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006100225A JP5002181B2 (ja) 2006-03-31 2006-03-31 超音波診断装置及び超音波診断装置制御方法

Publications (2)

Publication Number Publication Date
JP2007268155A true JP2007268155A (ja) 2007-10-18
JP5002181B2 JP5002181B2 (ja) 2012-08-15

Family

ID=38671549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006100225A Active JP5002181B2 (ja) 2006-03-31 2006-03-31 超音波診断装置及び超音波診断装置制御方法

Country Status (2)

Country Link
JP (1) JP5002181B2 (ja)
CN (1) CN101378700B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153925A (ja) * 2007-12-27 2009-07-16 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010094224A (ja) * 2008-10-15 2010-04-30 Toshiba Corp 超音波画像診断装置、画像処理装置及び超音波画像診断支援プログラム
JP2011125690A (ja) * 2009-11-18 2011-06-30 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2011114852A1 (ja) * 2010-03-16 2011-09-22 コニカミノルタエムジー株式会社 超音波診断装置
JP2013068477A (ja) * 2011-09-21 2013-04-18 Fujifilm Corp 光干渉断層画像処理方法及びその装置
WO2020152756A1 (ja) * 2019-01-21 2020-07-30 株式会社島津製作所 画像処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867813B2 (en) * 2009-10-27 2014-10-21 Hitachi Medical Corporation Ultrasonic imaging device, ultrasonic imaging method and program for ultrasonic imaging
JP5984243B2 (ja) * 2012-01-16 2016-09-06 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置及びプログラム
CN104797196B (zh) * 2012-09-26 2016-11-16 株式会社日立制作所 超声波诊断装置以及超声波二维断层图像生成方法
CN105050505B (zh) * 2013-03-20 2019-01-29 皇家飞利浦有限公司 用于超声微钙化检测的波束形成技术
JP6041957B1 (ja) * 2015-10-01 2016-12-14 株式会社日立製作所 超音波診断装置
JP7078487B2 (ja) * 2018-08-02 2022-05-31 富士フイルムヘルスケア株式会社 超音波診断装置及び超音波画像処理方法
JP7159025B2 (ja) * 2018-11-30 2022-10-24 富士フイルムヘルスケア株式会社 診断装置及び診断方法
JPWO2021201269A1 (ja) * 2020-04-02 2021-10-07

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000279416A (ja) * 1998-12-09 2000-10-10 General Electric Co <Ge> 3次元イメージング方法及びシステム
JP2002045358A (ja) * 2000-05-01 2002-02-12 Ge Medical Systems Global Technology Co Llc 嚢胞性物体の自動的な検出及び寸法測定の方法及び装置
JP2002102223A (ja) * 2000-10-03 2002-04-09 Mitani Sangyo Co Ltd 超音波断層画像における面座標検出方法ならびにシステムおよび同方法がプログラムされ記録された記録媒体
JP2003061964A (ja) * 2001-08-24 2003-03-04 Toshiba Corp 超音波診断装置
JP2004129773A (ja) * 2002-10-09 2004-04-30 Hitachi Medical Corp 超音波イメージング装置及び超音波信号処理方法
WO2004081864A2 (en) * 2003-03-13 2004-09-23 Koninklijke Philips Electronics N.V. 3d imaging system and method for signaling an object of interest in a volume of data
JP2005205199A (ja) * 2003-12-26 2005-08-04 Fuji Photo Film Co Ltd 超音波画像処理方法及び超音波画像処理装置、並びに、超音波画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000279416A (ja) * 1998-12-09 2000-10-10 General Electric Co <Ge> 3次元イメージング方法及びシステム
JP2002045358A (ja) * 2000-05-01 2002-02-12 Ge Medical Systems Global Technology Co Llc 嚢胞性物体の自動的な検出及び寸法測定の方法及び装置
JP2002102223A (ja) * 2000-10-03 2002-04-09 Mitani Sangyo Co Ltd 超音波断層画像における面座標検出方法ならびにシステムおよび同方法がプログラムされ記録された記録媒体
JP2003061964A (ja) * 2001-08-24 2003-03-04 Toshiba Corp 超音波診断装置
JP2004129773A (ja) * 2002-10-09 2004-04-30 Hitachi Medical Corp 超音波イメージング装置及び超音波信号処理方法
WO2004081864A2 (en) * 2003-03-13 2004-09-23 Koninklijke Philips Electronics N.V. 3d imaging system and method for signaling an object of interest in a volume of data
JP2005205199A (ja) * 2003-12-26 2005-08-04 Fuji Photo Film Co Ltd 超音波画像処理方法及び超音波画像処理装置、並びに、超音波画像処理プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153925A (ja) * 2007-12-27 2009-07-16 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010094224A (ja) * 2008-10-15 2010-04-30 Toshiba Corp 超音波画像診断装置、画像処理装置及び超音波画像診断支援プログラム
JP2011125690A (ja) * 2009-11-18 2011-06-30 Toshiba Corp 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2011114852A1 (ja) * 2010-03-16 2011-09-22 コニカミノルタエムジー株式会社 超音波診断装置
JP5765332B2 (ja) * 2010-03-16 2015-08-19 コニカミノルタ株式会社 超音波診断装置
US9737281B2 (en) 2010-03-16 2017-08-22 Konica Minolta Medical & Graphic, Inc. Ultrasound diagnostic equipment
JP2013068477A (ja) * 2011-09-21 2013-04-18 Fujifilm Corp 光干渉断層画像処理方法及びその装置
WO2020152756A1 (ja) * 2019-01-21 2020-07-30 株式会社島津製作所 画像処理装置
JPWO2020152756A1 (ja) * 2019-01-21 2021-12-02 株式会社島津製作所 画像処理装置
JP7147878B2 (ja) 2019-01-21 2022-10-05 株式会社島津製作所 画像処理装置

Also Published As

Publication number Publication date
JP5002181B2 (ja) 2012-08-15
CN101378700A (zh) 2009-03-04
CN101378700B (zh) 2012-09-12

Similar Documents

Publication Publication Date Title
JP5002181B2 (ja) 超音波診断装置及び超音波診断装置制御方法
US8696575B2 (en) Ultrasonic diagnostic apparatus and method of controlling the same
JP4921826B2 (ja) 超音波診断装置及びその制御方法
JP5395371B2 (ja) 超音波診断装置、超音波画像の取得方法及びプログラム
JP5165858B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
US8834371B2 (en) Ultrasound diagnostic apparatus and ultrasound image processing program
JP5509038B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010042151A (ja) 超音波診断装置、超音波画像表示装置及び超音波画像表示プログラム
JP2009153918A (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
JP2014012129A (ja) 超音波診断装置及び画像処理装置
JP5106091B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010284516A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5259175B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2007236606A (ja) 超音波信号解析装置、超音波信号解析方法、超音波解析プログラム、超音波診断装置、及び超音波診断装置の制御方法
US8858442B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
JP5606025B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5196994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2012245092A (ja) 超音波診断装置
JP5060141B2 (ja) 超音波診断装置
JP5738822B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5072585B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2024093190A (ja) 超音波診断装置及び超音波診断方法
JP2010094224A (ja) 超音波画像診断装置、画像処理装置及び超音波画像診断支援プログラム
JP2008220662A (ja) 超音波診断装置及びその制御プログラム
JP2013138884A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

R150 Certificate of patent or registration of utility model

Ref document number: 5002181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350