JP2009153918A - 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム - Google Patents

超音波診断装置、超音波画像処理装置、超音波画像処理プログラム Download PDF

Info

Publication number
JP2009153918A
JP2009153918A JP2007338276A JP2007338276A JP2009153918A JP 2009153918 A JP2009153918 A JP 2009153918A JP 2007338276 A JP2007338276 A JP 2007338276A JP 2007338276 A JP2007338276 A JP 2007338276A JP 2009153918 A JP2009153918 A JP 2009153918A
Authority
JP
Japan
Prior art keywords
image data
frequency
ultrasonic
data
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007338276A
Other languages
English (en)
Other versions
JP5049773B2 (ja
Inventor
Ryota Osumi
良太 大住
Takeshi Sato
武史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2007338276A priority Critical patent/JP5049773B2/ja
Priority to US12/338,447 priority patent/US8202221B2/en
Priority to CN200810190693.XA priority patent/CN101467897B/zh
Publication of JP2009153918A publication Critical patent/JP2009153918A/ja
Application granted granted Critical
Publication of JP5049773B2 publication Critical patent/JP5049773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

【課題】2次元又は3次元超音波画像データのスペックルをより効果的かつ高速に除去できる超音波診断装置等を提供すること。
【解決手段】スキャンコンバージョン処理前の画像データを階層的に多重解像度分解して、第1レベルから第nレベルの低域分解画像データ及び高域分解画像データを取得し、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、一段下の階層からの出力データ又は最も下位の階層における低域分解画像データから、信号のエッジ情報を階層毎に生成するフィルタリングを施す。また、各階層のエッジ情報に基づいて、高域分解画像データの信号レベルを階層毎に制御すると共に、前記各階層において得られる、非線形異方性拡散フィルタの出力データ及び高域レベル制御の出力データを階層的に多重解像度合成する。
【選択図】図2

Description

本発明は、被検体内に超音波を送信し、被検体内からの反射波に基づいて被検体内の診断情報を得る超音波診断装置、超音波画像処理装置、超音波画像処理プログラムに関するものであり、特に、画像データに含まれるスペックル除去に関する。
超音波診断は、超音波プローブを体表から当てるだけの簡単な操作で心臓の拍動や胎児の動きの様子がリアルタイム表示で得られ、かつ安全性が高いため繰り返して検査を行うことができる。この他、システムの規模がX線、CT、MRIなど他の診断機器に比べて小さく、ベッドサイドへ移動していっての検査も容易に行えるなど簡便な診断手法であると言える。この超音波診断において用いられる超音波診断装置は、それが具備する機能の種類によって様々に異なるが、小型なものは片手で持ち運べる程度のものが開発されており、超音波診断はX線などのように被曝の影響がなく、産科や在宅医療等においても使用することができる。また、近年の超音波診断装置は、超音波振動子が2次元に配列された2次元アレイ超音波プローブ等を用いることにより、被検体内部を空間的にスキャンして3次元の生体情報(ボリュームデータ)を収集することも可能になってきている。
ところで、複数の近接する被検体組織からの受信信号は、それぞれの位相情報のために干渉し、振幅情報のみを合成する場合とは見え方が異なる画像パターン、すなわちスペックルが生成される。このスペックルは被検体組織の境界の位置・形状を正確に観測するのをしばしば妨げるため、これを除去するための各種の処理方法が提案されている。
そのひとつに、ウェーブレット変換/逆変換等によって対象画像を多重解像度分解し、各レベルで分解した画像の高域成分に閾値、重み付けなどの処理を行う方法がある。この手法では、スペックルは除去されるものの、得られる画像が人工的な感じになるという問題点がある。
そこで、各レベルで分解した画像のエッジを検出し、画素ごとにエッジの向きを算出し、エッジの接線方向に平滑化、法線方向に鮮明化のフィルタを施す方法が提案されている(特許文献1参照)。しかし、この場合においても、平滑化・鮮明化は固定フィルタのため、性能に限界がある。
一方、非線形異方性拡散フィルタ(Nonlinear Anisotropic Diffusion Filter)によってスペックルを除去する方法も提案されている(非特許文献1参照)。しかし、非線形異方性拡散フィルタは、偏微分方程式を解いて算出する作業を必要とするため、演算処理に時間がかかるという問題点がある。また、非線形異方性拡散フィルタ単体では、ある程度スペックルを低減する効果があるものの、十分でないという問題点もある。
特開2006−116307号参照 K.Z. Abd-Elmoniem, A.M. Youssef, and Y.M. Kadah,"Real-Time Speckle Reduction and Coherence Enhancement in Ultrasound Imaging via Nonlinear Anisotropic Diffusion", IEEE transactions on biomedical engineering, vol. 49, NO. 9, Sep. 2002
上記2つの手法は、いずれも処理する対象が2次元の超音波画像であって、画像の座標系が送受信系から表示系に変換されたスキャンコンバージョン処理後であり、なおかつ表示される手前で処理されることが前提とされている。この場合には、例えばBモード画像にカラードプラ画像を重ねて表現される画像のBモード画像のみを処理するような場合に困難を生ずる。また、最近の表示系は高解像度化している。このため、スキャンコンバージョン処理後では高解像度のために多数のピクセルを処理しなければならず、処理の高速化に不利となる。さらに上記従来例は超音波画像データがボリュームデータである場合については、具体的な提案をしていない。
本発明は、上記事情を鑑みてなされたもので、2次元又は3次元超音波画像データのスペックルをより効果的かつ高速に除去できる超音波診断装置、超音波画像処理装置、超音波画像処理プログラムを提供することを目的とする。
本発明は、上記目的を達成するため、次のような手段を講じている。
請求項1に記載の発明は、被検体の所定の領域に対してBモードによる超音波送受信を実行し、超音波画像データを発生するデータ発生手段と、前記超音波画像データを階層的に多重解像度分解し、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを得る分解手段と、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成するフィルタリング手段と、前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御する高域レベル制御手段と、前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得する合成手段と、を具備することを特徴とする超音波診断装置である。
請求項7に記載の発明は、被検体の所定の領域に対してBモードによる超音波送受信を実行することで取得された超音波画像データを階層的に多重解像度分解し、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを得る分解手段と、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成するフィルタリング手段と、前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御する高域レベル制御手段と、前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得する合成手段と、を具備することを特徴とする超音波画像処理装置である。
請求項8に記載の発明は、コンピュータに、被検体の所定の領域に対してBモードによる超音波送受信を実行することで取得された超音波画像データを階層的に多重解像度分解させ、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを取得させる分解機能と、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタ処理を実行させると共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成させるフィルタリング機能と、前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御させる高域レベル制御機能と、前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得させる合成機能と、を具備することを特徴とする超音波画像処理プログラムである。
以上述べた本発明によれば、2次元又は3次元超音波画像データのスペックルをより効果的かつ高速に除去できる超音波診断装置、超音波画像処理装置、超音波画像処理プログラムを実現することができる。
以下、本発明の第1実施形態乃至第3実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
(第1実施形態)
以下、本発明の実施形態を図面に従って説明する。なお、以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る超音波診断装置1のブロック構成図を示している。同図に示すように、本超音波診断装置1は、超音波プローブ12、入力装置13、モニター14、超音波送信ユニット21、超音波受信ユニット22、Bモード処理ユニット23、ドプラ処理ユニット24、スキャンコンバータ25、スペックル除去処理ユニット26、制御プロセッサ(CPU)28、内部記憶部29、インタフェース部30を具備している。以下、個々の構成要素の機能について説明する。
超音波プローブ12は、超音波送受信ユニット21からの駆動信号に基づき超音波を発生し、被検体からの反射波を電気信号に変換する複数の圧電振動子、当該圧電振動子に設けられる整合層、当該圧電振動子から後方への超音波の伝播を防止するバッキング材等を有している。当該超音波プローブ12から被検体Pに超音波が送信されると、当該送信超音波は、体内組織の音響インピーダンスの不連続面で次々と反射され、エコー信号として超音波プローブ12に受信される。このエコー信号の振幅は、反射することになった反射することになった不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合のエコーは、ドプラ効果により移動体の超音波送信方向の速度成分を依存して、周波数偏移を受ける。
入力装置13は、装置本体11に接続され、オペレータからの各種指示、条件、関心領域(ROI)の設定指示、種々の画質条件設定指示等を装置本体11にとりこむための各種スイッチ、ボタン、トラックボール13s、マウス13c、キーボード13d等を有している。例えば、操作者が入力装置13の終了ボタンやFREEZEボタンを操作すると、超音波の送受信は終了し、当該超音波診断装置は一時停止状態となる。
モニター14は、スキャンコンバータ25からのビデオ信号に基づいて、生体内の形態学的情報や、血流情報を画像として表示する。
超音波送信ユニット21は、図示しないトリガ発生回路、遅延回路およびパルサ回路等を有している。パルサ回路では、所定のレート周波数fr Hz(周期;1/fr秒)で、送信超音波を形成するためのレートパルスが繰り返し発生される。また、遅延回路では、チャンネル毎に超音波をビーム状に集束し且つ送信指向性を決定するのに必要な遅延時間が、各レートパルスに与えられる。トリガ発生回路は、このレートパルスに基づくタイミングで、プローブ12に駆動パルスを印加する。
なお、超音波送信ユニット21は、制御プロセッサ28の指示に従って所定のスキャンシーケンスを実行するために、送信周波数、送信駆動電圧等を瞬時に変更可能な機能を有している。特に送信駆動電圧の変更については、瞬間にその値を切り替え可能なリニアアンプ型の発信回路、又は複数の電源ユニットを電気的に切り替える機構によって実現される。
超音波受信ユニット22は、図示していないアンプ回路、A/D変換器、加算器等を有している。アンプ回路では、プローブ12を介して取り込まれたエコー信号をチャンネル毎に増幅する。A/D変換器では、増幅されたエコー信号に対し受信指向性を決定するのに必要な遅延時間を与え、その後加算器において加算処理を行う。この加算により、エコー信号の受信指向性に応じた方向からの反射成分が強調され、受信指向性と送信指向性とにより超音波送受信の総合的なビームが形成される。
Bモード処理ユニット23は、送受信ユニット21からエコー信号を受け取り、対数増幅、包絡線検波処理などを施し、信号強度が輝度の明るさで表現されるデータを生成する。このデータは、スキャンコンバータ25に送信され、反射波の強度を輝度にて表したBモード画像としてモニター14に表示される。
ドプラ処理ユニット24は、送受信ユニット21から受け取ったエコー信号から速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報を多点について求める。得られた血流情報はスキャンコンバータ25に送られ、平均速度画像、分散画像、パワー画像、これらの組み合わせ画像としてモニター14にカラー表示される。
スキャンコンバータ25は、超音波スキャンの走査線信号列を、Bモード処理部23、ドプラ処理部24、スペックル除去処理ユニット26から受け取ったデータを種々のパラメータの文字情報や目盛等と共に合成し、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換し、表示画像としての超音波診断画像を生成する。スキャンコンバータ25は、画像データを格納する記憶メモリを搭載しており、例えば診断の後に操作者が検査中に記録された画像を呼び出すことが可能となっている。なお、当該スキャンコンバータ25に入る以前のデータは、例えば空間的位置毎の振幅値或いは輝度値の集合であり、「生データ」と呼ばれる。
スペックル除去処理ユニット26は、制御プロセッサ28からの制御に基づいて、スキャンコンバージョン前の生データを用いて、後述するスペックル除去機能に従う処理を実行する。
制御プロセッサ28は、情報処理装置(計算機)としての機能を持ち、本超音波診断装置本体の動作を制御する制御手段である。制御プロセッサ28は、内部記憶部29から画像生成・表示等を実行するための制御プログラムを読み出して自身が有するメモリ上に展開し、各種処理に関する演算・制御等を実行する
内部記憶部29は、後述のスキャンシーケンス、画像生成。表示処理を実行するための制御プログラムや、診断情報(患者ID、医師の所見等)、診断プロトコル、送受信条件、スペックル除去機能を実現するためのプログラム、ボディマーク生成プログラムその他のデータ群が保管されている。また、必要に応じて、画像メモリ26中の画像の保管などにも使用される。内部記憶部29のデータは、インタフェース回路30を経由して外部周辺装置へ転送することも可能となっている。
インタフェース部30は、入力装置13、ネットワーク、新たな外部記憶装置(図示せず)に関するインタフェースである。当該装置によって得られた超音波画像等のデータや解析結果等は、インタフェース部30よって、ネットワークを介して他の装置に転送可能である。
(スペックル除去機能)
次に、本超音波診断装置1が有するスペックル除去機能について説明する。この機能は、スキャンコンバージョン処理前の画像データ(生データ)を階層的に多重解像度分解して、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを取得し、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、一段下の階層からの出力データ又は最も下位の階層における低域分解画像データから、信号のエッジ情報を階層毎に生成するフィルタリングを施す。また、各階層のエッジ情報に基づいて、高域分解画像データの信号レベルを前記階層毎に制御すると共に、各階層において得られる、非線形異方性拡散フィルタの出力データ及び高域レベル制御の出力データを階層的に多重解像度合成することで、多重解像度分解と非線形異方性拡散フィルタ処理との相乗効果により、スペックル除去を行う。なお、本実施形態においては、説明を具体的にするため、多重解像度分解のレベルの数nが3である場合を例とする。しかしながら、当該例に拘泥することなく、例えばんは2以上の自然数であれば、どの様な値であってもよい。
図2は、スペックル除去処理ユニット26において実行されるスペックル除去機能に従う処理(スペックル除去処理)の流れを示した図である。同図に示すように、まず、レベル1のウェーブレット変換部261aは、Bモード処理ユニット23から入力した画像データ(生データ)を多重解像度分解する。なお、ここでの「ウェーブレット変換」は、離散ウェーブレット変換を意味するものとする。また、ウェーブレット変換は多重解像度分解のための例示であり、本発明の技術的思想は、当該手法に拘泥されない。例えば、ラプラシアン・ピラミッド法など他の手法によって多重解像度分解を実現するようにしてもよい。多重解像度分解の結果、分解後の画像データは、分解前に比べ縦横の長さが半分の低域画像(LL)、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)に分解される。分解された画像データのうち、低域画像(LL)はレベル2のウェーブレット変換部262aに、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)は高域レベル制御部261bに、それぞれ出力される。
また、レベル2のウェーブレット変換部262aは、レベル1のウェーブレット変換部261aから入力した低域画像(LL)を多重解像度分解して低域画像(LL)、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)を取得し、低域画像(LL)をレベル2のウェーブレット変換部263aに、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)は高域レベル制御部262bに、それぞれ出力する。
さらに、レベル2のウェーブレット変換部263aは、レベル2のウェーブレット変換部262aから入力した低域画像(LL)を多重解像度分解して低域画像(LL)、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)を取得し、低域画像(LL)を当該レベル3の非線形異方性拡散フィルタ263cに、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)は高域レベル制御部263bに、それぞれ出力する。
次に、レベル3の非線形異方性拡散フィルタ263cは、低域画像(LL)にフィルタリングし、当該フィルタリング後の低域画像(LL)をウェーブレット逆変換部263dに出力する。また、レベル3の非線形異方性拡散フィルタ263cは、低域画像(LL)に基づくエッジ情報も生成し、ウェーブレット逆変換部263dに出力する。
ここで、非線形異方性拡散フィルタについて説明する。非線形異方性拡散フィルタは以下の偏微分方程式(1)で表される。
Figure 2009153918
Iは処理する画像の画素レベル、∇Iはその勾配ベクトル(gradient vector)、tは処理にかかわる時刻である。Dは拡散テンソル(Diffusion Tensor)であって、次の式(2)ように表すことができる。
Figure 2009153918
Rは回転行列であり、拡散テンソルDは、各画素の勾配ベクトルに対し特定の向きとその垂直方向にそれぞれ係数λ,λをかける演算操作を示すことになる。その向きとは検出された画像のエッジの向きであり、係数はエッジの大きさに依存する。
エッジの大きさと向きを検出するには、一般的に当該画像の構造テンソル(structure tensor)を求め、その固有値と固有ベクトルを算出する。固有値はエッジの大きさに関連付けられ、固有ベクトルはエッジの向きを表す。構造テンソルは次の式(3)ように定義される。
Figure 2009153918
ここでI,Iは処理する画像Iのx(水平)方向・y(垂直)方向の空間微分であり、Gρは2次元ガウス関数、演算子「*」は畳み込みを表す。エッジの大きさと向きの算出は必ずしも上記の方法に厳密に従わなくともよく、処理の第一段階としてI,Iを計算するかわりに、ソーベルフィルタ(sobel filter)や、多重解像度分解の高域成分を適用してもよい。
係数λ,λの計算方法は各診断分野における超音波画像の特性によって異なってくるが、一般的な数式を用意して、いくつかのパラメータによって調整できるようにすれば便利である。
またフィルタ自体の計算は、偏微分方程式の数値解析的解法によって行う。すなわち、時刻tにおいて、ある点における画素とその周囲の例えば9点における各画素レベルおよび拡散テンソルの各要素値から、時刻t+Δtにおけるその点の新たな画素レベルを求め、次にt+Δtを新たなtとして、同様の計算を1回から数回繰り返す。
図3は、非線形異方性拡散フィルタ263c(又は261c、262c)のフィルタ処理の手順を示すフローチャートである。同図に示すように、非線形異方性拡散フィルタ263cは、入力した低域画像(LL)をx,y方向に微分し(ステップS1)、構造テンソルs11,s12,s22を計算する(ステップS2)。なお、ステップS2における計算には、ガウスフィルタの計算も含まれる。
次に、非線形異方性拡散フィルタ263cは、構造テンソルの各要素からエッジの大きさを計算する(ステップS3)。この計算結果は、後段の偏微分方程式計算及び高域レベル制御部263b(又は262b、261b)での処理に利用される。
次に、非線形異方性拡散フィルタ263cは、構造テンソルの各要素に基づいて、非線形異方性拡散フィルタの偏微分方程式の数値解析に用いられる各係数を計算する(ステップS4)。なお、当該ステップにおいては、構造テンソルの計算も含まれ、また、処理の効率化のため、エッジの大きさも計算に用いられる。
次に、非線形異方性拡散フィルタ263cは、1回、または数回の偏微分方程式の数値解析的計算を繰り返し実行する(ステップS5)。当該計算によって得られた結果は、ウェーブレット逆変換部263d(又は261d、262d)に出力される。
次に、図2に示す様に、レベル3の高域レベル制御部263bは、水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)、及びこれら3成分に関するエッジ情報を入力し、これに従って高域レベルを制御する。なお、本実施形態では、エッジ情報は、前記構造テンソルの固有値に基づく規格化されたエッジの大きさで、それと各高域画像との画素ごとの積をとり、さらにその結果に各高域画像の制御係数をかけているものとする。他の例としては、エッジの大きさに閾値を設定して閾値以上をエッジとみなし、エッジ以外の領域に各高域画像の制御係数をかける方法もある。このようにして処理された3枚の高域画像はウェーブレット逆変換部263dに入力される。
ウェーブレット逆変換部263dは、非線形異方性拡散フィルタ263cからの低域画像(LL)と、高域レベル制御部263bからの水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)とから、1枚の合成画像を形成する。合成画像の縦横の長さは、入力画像の2倍となる。
レベル3のウェーブレット逆変換部263dから出力された合成画像は、レベル2の非線形異方性拡散フィルタ262cに入力され、レベル3と同様のフィルタリング処理がなされた後、ウェーブレット逆変換部262dの低域画像入力へ送出される。一方、ウェーブレット変換部262aから出力された水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)は、高域レベル制御部262bにおいてレベル3と同様の高域レベル制御がなされ、ウェーブレット逆変換部262dの高域画像入力へ送出される。ウェーブレット逆変換部262dはレベル3と同様に1枚の低域画像と3枚の高域画像から1枚の合成画像データを形成する。
また、レベル2のウェーブレット逆変換部262dから出力された合成画像は、レベル1の非線形異方性拡散フィルタ261に入力され、レベル2、3と同様のフィルタリング処理がなされた後、ウェーブレット逆変換部261dの低域画像入力へ送出される。一方、ウェーブレット変換部261aから出力された水平方向高域画像(LH)、垂直方向高域画像(HL)、対角線方向高域画像(HH)は、高域レベル制御部261bにおいてレベル2、3と同様の高域レベル制御がなされ、ウェーブレット逆変換部261dの高域画像入力へ送出される。ウェーブレット逆変換部261dはレベル2、3と同様に1枚の低域画像と3枚の高域画像から1枚の合成画像データを形成する。
以上述べた処理によって形成された合成画像データは、スペックル除去処理ユニット26からスキャンコンバータ25に送出される。スキャンコンバータ25は、合成画像データを種々のパラメータの文字情報や目盛等と共に合成し、テレビなどに代表される一般的なビデオフォーマットの走査線信号列に変換し、表示画像としての超音波診断画像を生成する。生成された超音波画像は、モニター14において所定の形態で表示される。
(効果)
以上述べた構成によれば、以下の効果を得ることができる。
本超音波診断装置によれば、スキャンコンバージョン処理前の画像データ(生データ)を階層的に多重解像度分解して、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを取得し、一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、一段下の階層からの出力データ又は最も下位の階層における低域分解画像データから、信号のエッジ情報を階層毎に生成するフィルタリングを施す。また、各階層のエッジ情報に基づいて、高域分解画像データの信号レベルを前記階層毎に制御すると共に、各階層において得られる、非線形異方性拡散フィルタの出力データ及び高域レベル制御の出力データを階層的に多重解像度合成することで、多重解像度分解と非線形異方性拡散フィルタ処理との相乗効果により、スペックル除去を行う。従って、それぞれのフィルタのみを適用するよりも、スペックルが細かく、組織の境界面がより明瞭なスペックル除去処理を実現することができる。その結果、高画質な診断画像を提供することができ、画像診断の質の向上に寄与することができる。
また、本超音波診断装置によれば、画像を多重解像度分解によって画像を縮小してから非線形異方性拡散フィルタを適用している。従って、原画像に直接非線形異方性拡散フィルタをかける場合と比較して処理面積(処理対象となるデータ量)を減少させることができる。その結果、計算に時間のかかる非線形異方性拡散フィルタのより高速な処理を実現することができる。
また、本超音波診断装置によれば、スペックル除去処理はBモード画像のみを処理するため、Bモード画像にカラードプラ画像を重ねても当該処理がカラードプラ画像に影響を与えない。従って、画像処理や画像表示における自由度を制限することなく、また、表示系の解像度が高くなっても処理速度に影響を与えずに、高品質なスペックル除去を実現することができる。
(第2の実施形態)
第1の実施形態では、2次元画像データ(生データ)に対してスペックル除去処理を実行する例を示した。これに対し、本実施形態に係る超音波診断装置1は、3次元ボリュームデータ(生データ)に対して、スペックル除去処理を実行する場合について説明する。
図4は、本実施形態に係る超音波診断装置1の構成を示した図である。図1と比較した場合、ボリュームデータ生成部31をさらに具備する点、及びスペックル除去処理ユニット26がボリュームデータ生成部31からのボリュームデータに対してスペックル処理を行う点が異なる。
ボリュームデータ生成部31は、Bモード処理ユニット23から受け取ったBモード画像データを用いて、Bモードボリュームデータを生成する。また、ボリュームデータ生成部31は、ドプラ処理ユニット24から受け取ったドプラモードデータを用いて、ドプラモード画像ボリュームデータを生成する。
三次元画像処理部32は、ボリュームデータ生成部31から受け取るボリュームデータ、又はスペックル除去処理ユニット26から受け取るスペックル除去処理されたBモードボリュームデータに対して、ボリュームレンダリング、多断面変換表示(MPR:multi planar reconstruction)、最大値投影表示(MIP:maximum intensity projection)等の所定の画像処理を行う。
図5は、本実施形態に係るスペックル除去機能を説明するための図である。同図に示すように、ボリュームデータの断面のうち、超音波プローブ12を用いて実行される超音波走査の対象領域(超音波走査領域)の中心軸に交差し互いに垂直に交わる2つの面をA面及びB面と定義し、中心軸およびA面・B面に垂直な面をC面と定義する。
ボリュームデータ生成部31から受け取るBモードボリュームデータは、A面に平行なm個の平面A、A、・・・Am−1の集合(すなわち、A面に平行な二次元画像データの集合)と捉えることができる。スペックル除去処理部26は、A面に平行な全ての二次元画像データに対して、第1の実施形態で述べたスペックル除去処理を施すことで、当該Bモードボリュームデータに対するスペックル除去処理を実行する。
三次元画像処理部32は、スペックル除去処理部26からスペックル除去処理されたBモードボリュームデータを、さらにボリュームデータ生成部31からドプラボリュームデータを受け取り、これらに基づいてボリュームレンダリング等の画像処理を実行する。当該画像処理によって生成された三次元画像データは、スキャンコンバータ25において一般的なビデオフォーマットの走査線信号列に変換され、モニター14において所定の形態で表示される。
本実施形態に係る超音波診断装置では、Bモードボリュームデータを構成する二次元画像データの全てにスペックル除去処理を施すことで、当該Bモードボリュームデータ全体に対してスペックル除去処理を実行することができる。その結果、A面のみならずB面・C面についてもスペックル除去された超音波画像を取得することができる。特に、滑らかさが要求されるC面においては、スペックルが細かく、組織の境界面がより明瞭になり、3次元空間全体で効果的なスペックル除去が実現できる。
(第3の実施形態)
以上のように第2の実施形態は3次元のボリュームデータに、3次元画像処理前に本発明を適用する例を示したが、以降、第3の実施形態として、3次元画像処理後の3次元的表示に対して本発明を適用する例を示す。
第2の実施形態では、三次元画像処理前のBモードボリュームデータに対してスペックル除去処理を実行する例を示した。これに対し、本実施形態に係る超音波診断装置1は、三次元画像処理後の画像データに対してスペックル除去処理を実行する場合について説明する。
図6は、本実施形態に係る超音波診断装置1の構成を示した図である。図4と比較した場合、ボリュームデータ生成部31をさらに具備する点、及びスペックル除去処理ユニット26が三次元画像処理部32からの画像データに対してスペックル処理を行う点が異なる。
図7は、複数の三次元画像(ボリュームレンダリング画像14a、第1の多断面変換表示画像14b、第2の多断面変換表示画像を14c)をモニター14に同時に表示する形態の一例を示した図である。
スペックル除去処理ユニット26は、三次元画像処理部32から受け取った三次元画像データに対して、例えば第1の実施形態で述べたスペックル処理を実行する。このとき、例えば図7に示す表示形態を採用する場合、ボリュームレンダリング画像14a、第1の多断面変換表示画像14b、第2の多断面変換表示画像を14cの少なくとも一つの画像にスペックル除去処理をかけることができる。なお、当然ながら、三次元画像処理部32から受け取る三次元画像データは、上記ボリュームレンダリング画像14a、第1の多断面変換表示画像14b、第2の多断面変換表示画像を14cの例に拘泥されない。例えば、サーフェイスレンダリング(surface rendering)や最大値投影表示など他のレンダリング・再構成処理によって得られる三次元画像データに対しても、本スペックル処理を実行することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。具体的な変形例としては、例えば次のようなものがある。
(1)本実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記録媒体に格納して頒布することも可能である。
(2)上記第2の実施形態においては、スペックル除去処理を行う断面を、超音波走査領域の中心軸に交差する面とした。しかしながら、当該例に拘泥されず、3次元空間の任意の断面にスペックル除去処理を行うことができる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以上本発明によれば、2次元又は3次元超音波画像データのスペックルをより効果的かつ高速に除去できる超音波診断装置、超音波画像処理装置、超音波画像処理プログラムを実現することができる。
図1は、本実施形態に係る超音波診断装置1のブロック構成図を示している。 図2は、スペックル除去処理ユニット26において実行されるスペックル除去処理の流れを示した図である。 図3は、非線形異方性拡散フィルタ263c(又は261c、262c)のフィルタ処理の手順を示すフローチャートである。 図4は、第2の実施形態に係る超音波診断装置1の構成を示した図である。 図5は、第2の実施形態に係るスペックル除去機能を説明するための図である。 図6は、本実施形態に係る超音波診断装置1の構成を示した図である。 図7は、複数の3次元的画像(ボリュームレンダリング画像14a、第1の多断面変換表示画像14b、第2の多断面変換表示画像を14c)をモニター14に同時に表示する形態の一例を示した図である。
符号の説明
10…超音波診断装置、12…超音波プローブ、13…入力装置、14…モニター、21…超音波送信ユニット、22…超音波受信ユニット、23…Bモード処理ユニット、24…ドプラ処理ユニット、25…スキャンコンバータ、26…スペックル除去処理ユニット、28…制御プロセッサ、29…内部記憶部、30…インタフェース部、31…ボリュームデータ生成部、32…三次元画像処理部

Claims (8)

  1. 被検体の所定の領域に対してBモードによる超音波送受信を実行し、超音波画像データを発生するデータ発生手段と、
    前記超音波画像データを階層的に多重解像度分解し、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを得る分解手段と、
    一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成するフィルタリング手段と、
    前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御する高域レベル制御手段と、
    前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得する合成手段と、
    を具備することを特徴とする超音波診断装置。
  2. 前記多重解像度分解はウェーブレット変換であり、前記多重解像度合成はウェーブレット逆変換であることを特徴とする請求項1記載の超音波診断装置。
  3. 前記多重解像度分解及び前記多重解像度合成は、ラプラシアン・ピラミッド法であることを特徴とする請求項1記載の超音波診断装置。
  4. 前記超音波画像データは、スキャンコンバージョン処理前の生データであることを特徴とする請求項1乃至3のうちいずれか一項記載の超音波診断装置。
  5. 前記超音波画像データはボリュームデータであり、
    前記分解手段は、前記ボリュームデータを構成する複数の二次元超音波画像データのそれぞれに対して、前記多重解像度分解を実行することを特徴とする請求項1乃至4のうちいずれか一項記載の超音波診断装置。
  6. 前記超音波画像データはボリュームデータであり、
    前記分解手段は、前記ボリュームデータを用いて生成された三次元画像データに対して、前記多重解像度分解を実行することを特徴とする請求項1乃至4のうちいずれか一項記載の超音波診断装置。
  7. 被検体の所定の領域に対してBモードによる超音波送受信を実行することで取得された超音波画像データを階層的に多重解像度分解し、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを得る分解手段と、
    一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタを施すと共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成するフィルタリング手段と、
    前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御する高域レベル制御手段と、
    前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得する合成手段と、
    を具備することを特徴とする超音波画像処理装置。
  8. コンピュータに、
    被検体の所定の領域に対してBモードによる超音波送受信を実行することで取得された超音波画像データを階層的に多重解像度分解させ、第1レベルから第nレベル(ただし、nは2以上の自然数)の低域分解画像データ及び第1レベルから第nレベルの高域分解画像データを取得させる分解機能と、
    一段下の階層からの出力データ又は最も下位の階層における前記低域分解画像データに非線形異方性拡散フィルタ処理を実行させると共に、前記一段下の階層からの出力データ又は前記最も下位の階層における前記低域分解画像データから、信号のエッジ情報を前記階層毎に生成させるフィルタリング機能と、
    前記各階層の前記エッジ情報に基づいて、前記高域分解画像データの信号レベルを前記階層毎に制御させる高域レベル制御機能と、
    前記各階層において得られる、前記フィルタリング手段の出力データ及び前記高域レベル制御手段の出力データを階層的に多重解像度合成することで、超音波画像データを取得させる合成機能と、
    を具備することを特徴とする超音波画像処理プログラム。
JP2007338276A 2007-12-27 2007-12-27 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム Active JP5049773B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007338276A JP5049773B2 (ja) 2007-12-27 2007-12-27 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
US12/338,447 US8202221B2 (en) 2007-12-27 2008-12-18 Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing method
CN200810190693.XA CN101467897B (zh) 2007-12-27 2008-12-26 超声波诊断装置、超声波图像处理装置、超声波图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007338276A JP5049773B2 (ja) 2007-12-27 2007-12-27 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2009153918A true JP2009153918A (ja) 2009-07-16
JP5049773B2 JP5049773B2 (ja) 2012-10-17

Family

ID=40799334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007338276A Active JP5049773B2 (ja) 2007-12-27 2007-12-27 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム

Country Status (3)

Country Link
US (1) US8202221B2 (ja)
JP (1) JP5049773B2 (ja)
CN (1) CN101467897B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033199A1 (ja) * 2010-09-09 2012-03-15 株式会社 東芝 超音波診断装置、医用画像処理装置及び医用画像処理方法
WO2012060318A1 (ja) * 2010-11-01 2012-05-10 株式会社 東芝 超音波診断装置及び超音波画像処理装置
US8666197B2 (en) 2011-04-22 2014-03-04 Samsung Electronics Co., Ltd. Method of generating image, apparatus for performing the same, diagnosis system, and medical image system
US8727990B2 (en) 2009-11-19 2014-05-20 Samsung Medison Co., Ltd. Providing an ultrasound spatial compound image in an ultrasound system
KR20140089669A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
KR101533968B1 (ko) * 2014-02-14 2015-07-06 서강대학교산학협력단 멀티스케일 기반 초음파 의료 영상의 화질 개선 방법 및 시스템
US9307958B2 (en) 2010-08-05 2016-04-12 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus
US9433399B2 (en) 2011-06-30 2016-09-06 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
US9585636B2 (en) 2011-12-26 2017-03-07 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
US10143439B2 (en) 2013-10-31 2018-12-04 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5525867B2 (ja) * 2009-03-04 2014-06-18 株式会社東芝 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
US8306296B2 (en) * 2009-04-30 2012-11-06 Medison Co., Ltd. Clutter signal filtering using eigenvectors in an ultrasound system
US20120108973A1 (en) * 2010-11-01 2012-05-03 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
US9179892B2 (en) * 2010-11-08 2015-11-10 General Electric Company System and method for ultrasound imaging
CN102999884B (zh) 2011-09-16 2015-11-25 株式会社东芝 图像处理设备和方法
CN102636577B (zh) * 2012-03-23 2014-05-07 南京航空航天大学 一种基于小波变换提取轮辋超声波探伤信号的方法
CN102708553A (zh) * 2012-05-29 2012-10-03 飞依诺科技(苏州)有限公司 一种实时超声图像斑点噪声抑制方法
WO2017171046A1 (ja) * 2016-03-31 2017-10-05 株式会社未来機械 作業ロボットおよびエッジ検出器
CN113469919B (zh) * 2021-07-27 2024-05-28 深圳市赛禾医疗技术有限公司 超声图像的处理方法、装置及电子设备
CN114022444A (zh) * 2021-11-04 2022-02-08 青岛海信医疗设备股份有限公司 超声图像的处理方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4632685B2 (ja) 2004-04-12 2011-02-16 株式会社東芝 超音波診断装置及び画像データ処理装置
KR100646715B1 (ko) 2004-10-18 2006-11-23 한국과학기술원 후처리를 통한 2차원 초음파 영상의 화질 개선 방법
CN100410925C (zh) * 2004-12-30 2008-08-13 中国科学院长春光学精密机械与物理研究所 超声信号的数字信号处理方法
KR100856042B1 (ko) * 2005-10-07 2008-09-03 주식회사 메디슨 웨이브렛 변환과 svm을 이용하여 초음파 영상에서대상체 볼륨을 추출하는 초음파 영상 시스템 및 방법

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8727990B2 (en) 2009-11-19 2014-05-20 Samsung Medison Co., Ltd. Providing an ultrasound spatial compound image in an ultrasound system
US9307958B2 (en) 2010-08-05 2016-04-12 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus and an ultrasonic image processing apparatus
JP2012075882A (ja) * 2010-09-09 2012-04-19 Toshiba Corp 超音波診断装置、医用画像処理装置及び医用画像処理方法
US9795364B2 (en) 2010-09-09 2017-10-24 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
WO2012033199A1 (ja) * 2010-09-09 2012-03-15 株式会社 東芝 超音波診断装置、医用画像処理装置及び医用画像処理方法
WO2012060318A1 (ja) * 2010-11-01 2012-05-10 株式会社 東芝 超音波診断装置及び超音波画像処理装置
JP2012095806A (ja) * 2010-11-01 2012-05-24 Toshiba Corp 超音波診断装置及び超音波画像処理装置
US8666197B2 (en) 2011-04-22 2014-03-04 Samsung Electronics Co., Ltd. Method of generating image, apparatus for performing the same, diagnosis system, and medical image system
US9433399B2 (en) 2011-06-30 2016-09-06 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
US9585636B2 (en) 2011-12-26 2017-03-07 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
KR20140089669A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
KR102025756B1 (ko) * 2013-01-04 2019-09-27 삼성전자주식회사 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
US10143439B2 (en) 2013-10-31 2018-12-04 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
KR101533968B1 (ko) * 2014-02-14 2015-07-06 서강대학교산학협력단 멀티스케일 기반 초음파 의료 영상의 화질 개선 방법 및 시스템

Also Published As

Publication number Publication date
JP5049773B2 (ja) 2012-10-17
US20090171208A1 (en) 2009-07-02
US8202221B2 (en) 2012-06-19
CN101467897B (zh) 2013-01-16
CN101467897A (zh) 2009-07-01

Similar Documents

Publication Publication Date Title
JP5049773B2 (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
JP5835994B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
KR101205107B1 (ko) 스페클 감소 필터의 구현 방법, 스페클 감소 필터링 장치 및 초음파 촬상 시스템
JP5586375B2 (ja) 超音波診断装置、及びプログラム
JP6222811B2 (ja) 超音波診断装置及び画像処理装置
JP5002181B2 (ja) 超音波診断装置及び超音波診断装置制御方法
JP5773781B2 (ja) 超音波診断装置、画像処理装置及びプログラム
JP5818592B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
JP5509038B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6640444B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6207972B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP5269517B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6460707B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
WO2020149191A1 (ja) 画像解析装置
JP7109986B2 (ja) 画像処理装置及び超音波診断装置
JP5072585B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP5646670B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010094288A (ja) 超音波診断装置及びその制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120626

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5049773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350