JP2010259658A - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP2010259658A
JP2010259658A JP2009113667A JP2009113667A JP2010259658A JP 2010259658 A JP2010259658 A JP 2010259658A JP 2009113667 A JP2009113667 A JP 2009113667A JP 2009113667 A JP2009113667 A JP 2009113667A JP 2010259658 A JP2010259658 A JP 2010259658A
Authority
JP
Japan
Prior art keywords
image
image data
order
frequency
decomposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009113667A
Other languages
English (en)
Other versions
JP5449852B2 (ja
Inventor
Ryota Osumi
良太 大住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2009113667A priority Critical patent/JP5449852B2/ja
Priority to US12/765,386 priority patent/US8861821B2/en
Priority to CN201010173203.2A priority patent/CN101879073B/zh
Publication of JP2010259658A publication Critical patent/JP2010259658A/ja
Application granted granted Critical
Publication of JP5449852B2 publication Critical patent/JP5449852B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52077Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/100764D tomography; Time-sequential 3D tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】方向性特徴量を利用したノイズ低減処理を、特に時間方向の座標に対して用い、時間方向のノイズやスペックルを低減し組織部分を強調する技術を提供する。
【解決手段】超音波画像データに対して、前記領域の空間方向、又は、時間方向及び前記領域の空間方向に、n次の多重解像度分解を行い、k次(1≦k≦n)における、低域分解画像データと高域分解画像データとを得る多重解像度分解部101と、特徴量を算出する特徴量算出部102と、特徴量に基づいてフィルタリング処理を施し処理後低域分解画像データを取得するフィルタリング処理部103と、元のデータと同じ画像ピクセルサイズを有する処理後超音波画像データを生成するまで多重解像度合成を繰り返す多重解像度合成部104とを備える。
【選択図】図1

Description

本発明は、被検体に対して超音波を送受信し超音波画像を生成する超音波診断装置に関する。さらに詳しくは、生成した超音波画像に対し補正処理を行う超音波診断装置に関する。
超音波診断装置は、超音波プローブに内蔵された振動子から発生される超音波を被検体に送信し、被検体組織からの反射波を振動子により受信して被検体の断層像などの超音波画像を生成し表示する装置である。
ところで、複数の近接する被検体組織からの受信信号は、それぞれの位相が異なるために干渉する。この干渉により、振幅のみを合成する場合とは見え方が異なる画像パターン、すなわちスペックルが生成されてしまう。スペックルは、被検体組織の境界の位置や形状の正確な観測を妨げてしまう。また、ノイズの発生によっても正確な観測が妨げられる。こういったスペックルやノイズは空間方向のみではなく時間方向にも発生する。そのためスペックルやノイズを低減するための各種の処理方法が提案されている。
例えば、時間方向のIIR(Infinite Impulse Response)フィルタを用いて、時間的に変動するノイズやスペックルを低減する技術が提案されている。これは、時間tにおいて取得される画像をI(t)とし、フィルタによる処理を行った画像をJとしたときに、J=(1−a)I+aJt−1(ただし、a≦1)を満たすフィルタを用いて処理を行う技術である。
しかし、この技術では、簡単に表現すれば現在のデータIの(1−a)の割合に過去のデータJt−1のaの割合を加算するという方法でノイズを低減するために、横隔膜や心臓などの動きの激しい組織の場合、加え合わせた画像における動きの激しい組織のそれぞれの画像が残像のように残ってしまう。
さらに、走査を行った時に1枚の断層像を作成するために必要なデータの集まりの単位であるフレーム毎に画像を生成していく場合、過去のフレームにおける各画像(例えば、臓器の画像)の位置からその画像の動きベクトルを求め、その動きベクトルを用いて次のフレームにおける画像の位置を予測し、その予測した位置に対しフィルタ処理などを施す技術が提案されている。
この技術を用いれば、時間の経過による画像の位置ずれを含んだ画像処理を行うことができるが、上述のようにノイズ低減処理とは別に動きベクトルを求める処理が必要になるため、処理が重くなってしまう。
また従来、組織部分を明確にするためのフィルタであるスペックル/ノイズ低減フィルタとして、2次元や3次元の空間における方向性特徴量を利用したフィルタがある。方向性特徴量とはエッジの部分(大きさ)、エッジの向きを言う。ここで、エッジとは組織の外側などの輝度が大きく変わりかつノイズ以外の部分を指す。そして、前述の方向性特徴量を利用したフィルタとは、エッジの向き方向にはぼやかすフィルタ(たとえば、並んだ点をとって平均値を求めるフィルタなど)を用い、エッジの向きと直交する方向にはコントラストを強くするフィルタ(たとえば、エッジの外側は輝度を低減させ、エッジの内側は輝度を向上させる。具体的には閾値を超える部分の輝度を上げて、閾値を下回る部分の輝度を抑える。)を用いるフィルタである。エッジの向き方向にぼやかすフィルタを用いることで、エッジの向き方向に濃淡が滑らかな絵になる。また、エッジの向きと直交する方向にコントラストを強くするフィルタを用いることで、エッジが明確になり組織部分が強調される。
そして、上述した方向性特徴量を求めるための方法として多重解像度分解を用いる技術が提案されている。多重解像度分解とは、任意の映像信号を異なる周波数帯域(空間周波数の帯域)を有する複数の映像に分解する方法である。
多重解像度分解の一つとしてWablet変換がある。このWablet変換は、入力映像の2−1サイズの低周波成分の映像と高周波成分の映像に分解する。
このWablet変換を行った映像を基に、拡散フィルタを用いて空間周波数が低域の画像におけるエッジを検出し、画素毎にエッジの向きを求める。そして、エッジの接線方向にぼかしのフィルタを使用し画素の平滑化を行い、エッジの法線方向にコントラストのフィルタを使用し画素の先鋭化を行う技術(例えば、特許文献1参照。)が提案されている。これにより低周波成分の映像の組織部分を明確にすることが可能となる。
特開2006−116307号公報
しかし、特許文献1に記載された多重解像度分解及び各フィルタによる画像処理は、空間方向のノイズ低減処理は行っているが、時間方向を含む画像では行われていない。そのような、空間方向のみの処理を行う方法では組織部分が強調されるだけで時間による動きは対応できていない。しかし、時間方向に対しても不要な信号の混入は避けられず、画像の時間方向に対してノイズやスペックルが発生してしまう。また、空間に対するフィルタリング処理をそのまま適用すると時相遅れが発生してしまい、生成された直後の画像(リアルタイムの画像)を表示することができなくなってしまう。
この発明は、空間方向で行っていた方向性特徴量を利用したノイズ低減処理を、時間方向を含む座標(空間+時間)、特に時間方向の座標に対して用い、時相遅れの発生しない軽い処理を用いて超音波画像における動きの激しい組織の時間方向のノイズやスペックルを低減し組織部分を強調する技術を提供することを目的としている。
上記目的を達成するために、請求項1に記載の超音波診断装置は、被検体に対し超音波を送受信し、所定時間毎に前記被検体における特定の領域の超音波画像データを生成する画像生成手段と、前記超音波画像データに対して、前記領域の空間方向、又は、時間方向及び前記領域の空間方向に、階層的にn次(nは2次以上の自然数)の多重解像度分解を行い、k次(1≦k≦n)における、全ての前記方向において空間周波数の低い画像である低域分解画像データと、少なくとも一つの前記方向において空間周波数の高い画像である高域分解画像データとを得る多重解像度分解手段と、算出時点の階層の1つ下の次元の出力データ又はn次の前記低域分解画像データからエッジの接線方向を含む当該次元における特徴量を算出する特徴量算出手段と、前記1つ下の次元の出力データ又はn次の前記低域分解画像データに対して、当該次元における前記特徴量に基づいて各前記方向毎に強調又は平滑化を行うフィルタリング処理を施し処理後低域分解画像データを取得するフィルタリング処理手段と、k次の前記処理後低域分解画像データとk次の前記高域分解画像データとを多重解像度合成して(k−1)次の合成画像を生成し、前記超音波画像データと同じ画像ピクセルサイズを有する処理後超音波画像データを生成するまで前記多重解像度合成を繰り返す多重解像度合成手段と、前記処理後超音波画像データを基に超音波画像を表示部に表示させる表示制御手段と、を備えることを特徴とするものである。
請求項9に記載の超音波診断装置は、被検体に対して超音波を送受信して、所定時間毎に前記被検体における同一領域の超音波画像データを生成する画像生成手段と、複数の前記超音波画像データを基に、時間方向及び空間方向に多重解像度分解して、1次については空間周波数に応じて低域分解画像及び高域分解画像に分離し、以後、(k―1)次に分離された低域分解画像をk次の低域分解画像及び該k次の高域分解画像に分離することを、k=2からnまで行う多重解像度分解手段と、n次においては、該n次の低域分解画像を基にした一方のデータと及び該n次の高域分解画像を基にした他方のデータとを多重解像度合成した該n次の合成画像を生成し、以後、一方のデータをk次の合成画像とし、他方のデータをk―1次の高域分解画像として合成画像を生成する前記多重解像度分解の逆変換を、k=nから2まで行う多重分解画像合成手段と、前記n次の場合は該n次の多重解像度分解手段と該n次の多重分解画像合成手段との間にあって該n次の低域分解画像を受けて画像におけるエッジの接線方向を含む該n次の特徴量を算出し、前記k―1次の場合は該k―1次と該k次との多重分解画像合成手段の間にあって該k次の合成画像を受けて画像におけるエッジの接線方向を含む該k−1時の特徴量を算出することをk=nから2まで行う特徴量算出手段と、該特徴量算出手段から前記n次から1次までの特徴量を受けて、それぞれについて前記エッジの接線方向の強調又は平滑化を行い、各次における前記一方のデータとして前記多重分解画像合成手段へ送るフィルタ処理手段と、前記多重解像度分解手段から前記n次から1次までの高域分解画像を受けて、対応する各次の特徴量で重み付けして前記他方のデータとして前記多重分解画像合成手段へ送る高域レベル制御部と、を備え、前記多重分解画像合成手段の1次の出力として、元の超音波画像データと同じ画像ピクセルサイズの合成画像を得ることを特徴とするものである。
請求項1及び請求項9に記載の超音波診断装置は、空間方向及び時間方向にフィルタリング処理を行う構成である。これにより、時間方向へのノイズ及びスペックルの変化を効率的に低減することが可能となる。
本発明に係る超音波診断装置のブロック図 本発明に係るスペックル/ノイズ低減処理部の詳細な構成を表す図 時間軸を含めた3次元ウェーブレット変換による多重解像度分解の概念図 時間軸を含めた3次元ウェーブレット変換における各座標軸方向に適用されるフィルタの適用パターンを示す図 (A)空間方向への数値微分を説明するための図、(B)時間方向への数値微分を説明するための図 3次の階層における非線形異方性拡散フィルタのフィルタ処理の処理手順を示すフローチャート 第1の実施形態に係る超音波診断装置の全体的な動作のフローチャート 第2の実施形態におけるBモードデータの蓄積及びその蓄積したBモードデータを使用した処理を説明するための図 変形例1におけるBモードデータの蓄積及びその蓄積したBモードデータを使用した処理を説明するための図
〔第1の実施形態〕
以下、この発明の第1の実施形態に係る超音波診断装置について説明する。本実施形態に係かる超音波診断装置は図1に示すブロック図で表わされる。図1は本実施形態に係る超音波診断装置の機能を表すブロック図である。
図1に示すように、本実施形態に係る超音波診断装置は、超音波プローブ001、送受信部002、信号処理部003、画像生成部004、スペックル/ノイズ低減処理部100、表示制御部005、及び、ユーザインタフェース006を有する。そして、ユーザインタフェース006は、モニタなどの表示部007とキーボードやマウスなどの入力部008を有する。
超音波プローブ001は、複数の圧電振動子を有している。超音波プローブ001は、後述する送受信部002から入力されたパルス信号を圧電振動子で超音波に変換し、被検体に送信する。さらに、超音波プローブ001は、被検体で反射した超音波(超音波エコー)を圧電素子で受信し電気信号(以下では、「エコー信号」という。)に変換して送受信部002へ出力する。ここで、各振動子から被検体に向けた1回の超音波の送受信によって得られる超音波エコーの集合を1フレームという。つまり、1フレームにより1枚の超音波画像が生成できる。そして、単位時間あたり何フレームの走査を行うかをフレームレートという。さらに、本実施形態では、超音波プローブ001は、被検体の同じ領域(走査位置)の走査を所定のフレームレートで繰り返し行う。
送受信部002は、パルス信号を発生する。そして、送受信部002は、チャンネル毎に超音波をビーム状に収束し且つ送信指向性を決定するのに必要な遅延時間を発生したパルス信号に与える。そして、送受信部002は遅延時間を与えたパルス信号を超音波プローブ001に出力する。
また、送受信部002は、超音波プローブ001からエコー信号の入力を受ける。送受信部002は、チャンネル毎に受信したエコー信号を増幅し、さらに、受信し構成を決定するのに必要な遅延時間を与え、A/D変換をおこなった後に、それらのチャンネル毎の信号を基に加算処理を行う。そして、送受信部002は、加算処理を行った信号を信号処理部003へ出力する。
信号処理部003は、Bモード処理ユニット及びドプラ処理ユニットを有する。信号処理部003は、送受信部002から入力された信号を受信する。
Bモード処理ユニットは、送受信部002から受けた信号に対し、対数圧縮や包絡線検波処理などを施し、信号の強度で輝度を表現するBモードデータを生成する。
ドプラ処理ユニットは、送受信部002から受けた信号から速度情報を周波数解析し、ドプラ効果による血流や組織、造影剤エコー成分を抽出し、平均速度、分散、パワー等の血流情報のドプラデータを生成する。
信号処理部003は、Bモード処理ユニットで生成されたBモードデータ及びドプラ処理ユニットで生成されたドプラデータの各データ(以下では、「生データ」という。)をスペックル/ノイズ低減処理部100へ出力する。
超音波プローブ001、送受信部002、及び信号処理部003が本発明における「画像生成手段」にあたる。
スペックル/ノイズ低減処理部100は、信号処理部003から生データの入力を受ける。そして、スペックル/ノイズ低減処理部100は、入力された生データに対し、スペックル及びノイズの低減処理を実行する。このスペックル及びノイズの低減処理については後で詳細に説明する。そして、スペックル/ノイズ低減処理部100は、スペックル及びノイズの低減処理を行った生データを画像生成部004へ出力する。
画像生成部004は、DSC(Digital Scan Convertor)を有する。画像生成部004は、スペックル/ノイズ低減処理部100からスペックル及びノイズの低減処理が行われた生データの入力を受ける。
DSCは、入力された生データを超音波スキャンの走査線に対応した座標系からモニタ等に表示するための座標系に変換し、画像データを生成する。
画像生成部004は、メモリ等の記憶領域を有しており、DSCで生成された画像データを順次記憶していく。この記憶された画像は、例えば診断後に医師や検査技師などの操作者(以下では、単に「操作者」という。)がユーザインタフェース006を用いて呼び出し、表示部007に表示させて参照することが可能となっている。画像生成部004は、生成した画像データを表示制御部005へ出力する。
表示制御部005は、画像生成部004から画像データの入力を受ける。そして、表示制御部005は、入力された画像データを基に表示部007へBモード画像やドプラ画像といった超音波画像を表示させる。以下で、Bモード画像とドプラ画像とを区別しない時には、単に「超音波画像」と呼ぶことにする。
ここで、上述した機能を有する画像生成部004及び表示制御部005が本発明における「表示制御手段」にあたる。
統括制御部009は、各機能部の動作のタイミングの制御や各機能部間のデータの受け渡しの制御を行う。図1における一点鎖線は制御命令の流れを示している。
(スペックル/ノイズ低減処理)
次に、スペックル/ノイズ低減処理部100により実行されるスペックル及びノイズの低減処理について詳細に説明する。スペックル/ノイズ低減処理部100は、Bモードデータ及びドプラデータのいずれに対しても同様のスペックル及びノイズの低減処理を実行できる。そこで、以下の説明では、Bモードデータに対するスペックル及びノイズの低減処理を例に説明する。また、以下の説明では、説明を分かり易くするために2次元の超音波画像のデータを基にスペックル/ノイズ低減処理を説明するが、これは3次元の超音波画像のデータでも可能である。3次元の超音波画像のデータを使用する場合には、時間の次元を入れると4次元となるが、計算上は以下で説明する行列の計算が1行1列増えるだけである。また、以下の説明では、1枚のBモード画像を構成するデータのことを1フレームのBモードデータという場合がある。さらに、Bモード画像の枚数に対応したBモードデータの数のことをフレーム数という場合がある。1フレームのBモードデータが本発明における「1枚の超音波画像データ」にあたる。
図2はスペックル/ノイズ低減処理部100の詳細な構成を示す図である。図2に示すように、スペックル/ノイズ低減処理部100は、多重解像度分解から多重解像度合成を行うために、一点鎖線で示されるように複数階層(1次〜3次)からなる多重構造を有している。ここで、本実施形態においては、説明をわかり易くするために多重解像度分解から多重解像度合成の実施の最高次数を3次としている。しかしながらこの最高次数は他の数でもよい。すなわち、多重解像度分解から多重解像度合成の実施は、1次からn次(ただし、nは2以上の自然数)の範囲で行われればよい。また、本実施形態では多重解像度分解としてウェーブレット変換を用いているが、このウェーブレット変換は多重解像度分解の一例であり、多重解像度分解を実施する方法であれば他の方法と用いてもよく、例えばプラシアン・ピラミッド法やガボール変換などの他の多重解像度分解方法を用いてもよい。なお、本実施形態におけるウェーブレット変換/逆変換は、いわゆる離散ウェーブレット変換/逆変換を指す。以下の説明では図2において次数が多いほど(すなわち、図2において下の位置にあるほど)高い階層という。
スペックル/ノイズ低減処理部100は、図2に示すように、階層毎に多重解像度分解部101(101a、101b、101c)、特徴量算出部102(102a、102b、102c)、フィルタリング処理部103(103a、103b、103c)、多重解像度合成部104(104a、104b、104c)、及び高域レベル制御部105(105a、105b、105c)を備えている。さらに、スペックル/ノイズ低減処理部100はフレーム蓄積部106を備える。
フレーム蓄積部106は、ハードディスクやメモリなどの記憶媒体を有している。フレーム蓄積部106は、信号処理部003からBモードデータの入力を受け、最新のフレームまでの所定のフレーム数(枚数)のBモードデータを記憶する。Bモードデータは時間の系列に合わせて順次生成されているので、フレーム蓄積部106は、次々とBモード画像が蓄積されていく。この各Bモードデータはそれぞれ同じ被検体の領域を走査した超音波画像のデータであり、且つ走査された時間が異なるものである。ここでは、フレーム蓄積部106は、新しいフレームのBモードデータが入力されると、一番古いフレームのBモードデータを削除するとする。ただし、フレーム蓄積部106での記憶方法は必要数のフレームのBモードデータを記憶できる方法であれば他の方法でもよく、例えば、古いフレームのBモードデータの削除を行わずに全てのフレームのBモードデータを記憶しておく構成でもよい。このフレーム蓄積部106が本発明における「処理前データ蓄積手段」にあたる。
フレーム蓄積部106は、図2に示すように、記憶している所定のフレーム数のBモードデータを多重解像度分解部101へ出力する。以下の説明では、所定のフレーム数のBモードデータの集合を集合Bモードデータという。
多重解像度分解部101は、フレーム蓄積部106から所定のフレーム数のBモードデータ(集合Bモードデータ)の入力を受ける。本実施形態に係る多重解像度分解部101は、空間方向及び時間方向について多重解像度分解を実施する。ここで、空間方向とは被検体を走査した領域における方向のことを指し、例えば、2次元断層像であればX及びYの2次元の方向、3D画像であればX、Y、及びZの3次元の方向となる。ここでの説明では、超音波画像が2次元断層像であるので、多重解像度分解部101は、時間軸も含めて3次元の座標系(時空間)に対して多重解像度分解を行う。多重解像度分解部101は、入力された集合Bモードデータに対して3次元的なウェーブレット変換を行い、集合Bモードデータを1種類の低域分解画像データと7種類の高域分解画像データに分解する。この多重解像度分解部101が本発明における「多重解像度分解手段」にあたる。
図3は時間軸を含めた3次元ウェーブレット変換による多重解像度分解の概念図である。図4は時間軸を含めた3次元ウェーブレット変換における各座標軸方向に適用されるフィルタの適用パターンを示す図である。多重解像度分解部101は、図3と図4のように、分開前の空間(x、y)及び時間(t)の次元を有する集合Bモードデータ300に対し、xyt直交座標軸の各座標方向(各次元)毎に1次元の低域(L)フィルタと高域(H)フィルタとをそれぞれ適用して、集合Bモードデータ300をウェーブレット変換する。このウェーブレット変換により集合Bモードデータ300は、1種類の低域分解画像データ301と、7種類の高域分解画像データ302〜308とに分解される。低域分解画像データ301は、分解前の集合Bモードデータ300が有する周波数成分のうち低周波成分を含む。また、各高域分解画像データは、分解前の集合Bモードデータ300が有する周波数成分のうちの少なくとも1つの座標方向に関する高周波成分を含む。図4は、分解後の低域分解画像データ301及び高域分解画像データ302〜308がそれぞれ、座標軸別に低域フィルタと高域フィルタのいずれのフィルタが適用されているかを示している。分解後の低域分解画像データ301及び高域分解画像データ302〜308はそれぞれ、各座標軸あたりの標本数が分解前の集合Bモードデータ300の各座標軸あたりの標本数の半分に縮小される。
多重解像度分解部101は多重解像度分解を最高階層に至るまで1回または複数回繰り返す。これにより、図2に示すように何層階か(本実施形態では3層)に分かれる。各階層は字数で表わされる。複数回繰り返す場合には、一つ下の階層(図2では一つ上の位置に表わされている階層)での低域分解画像データが次の多重解像度分解に対する入力となる。具体的には、多重解像度分解部101が最高階層(本実施形態では3次の階層)に属さない場合、すなわち、ここでは多重解像度分解部101a及び多重解像度分解部101bの場合、多重解像度分解部101aは生成した低域分解画像データを多重解像度分解部101bに、多重解像度分解部101bは生成した低域分解画像データを多重解像度分解部101cに供給する。また最高階層(3次の階層)に属する多重解像度分解部101cは生成した低域分解画像データを、同階層(3次の階層)の特徴量算出部102cに供給する。
また、各階層の多重解像度分解部101は、生成した高域分解画像データを同階層に属する高域レベル制御部105に供給する。
特徴量算出部102は、供給された低域分解画像データに含まれる方向性特徴量であるエッジ情報、本実施形態ではエッジの大きさの情報を算出(具体的には、エッジの接線方向を用いて算出)する。特徴量算出部102は、算出したエッジの大きさの情報を、同階層の高域レベル制御部105及びフィルタリング処理部103に供給する。さらに、特徴量算出部102は、フィルタリング処理部103に低域分解画像データを出力する。この特徴量算出部102が本発明における「特徴量算出手段」にあたる。
フィルタリング処理部103は、特徴量算出部102から低域分解画像データ及びエッジの大きさの情報の入力を受ける。フィルタリング処理部103は、供給された低域分解画像データに3次元的な非線形異方性拡散フィルタを適用する。非線形異方性拡散フィルタは、非線形的に異方性拡散する成分を強調するフィルタである。低域分解画像データ中のエッジ成分は、非線形的に異方性拡散している。したがって、低域分解画像データに非線形異方性拡散フィルタが適用されると、エッジ成分の輝度が増大され、非エッジ成分が低減される。そのため、非線形異方性拡散フィルタの適用により、フィルタリング処理部103は、低域分解画像データに含まれるエッジ成分を強調し、非エッジ成分を滑らかにした低域分解画像データを生成する。このフィルタリング処理部103が本発明における「フィルタリング処理手段」にあたる。
ここで、特徴量算出部102による方向性特徴量であるエッジ情報(本実施形態ではエッジの大きさ)の検出及びフィルタリング処理部103による非線形異方性拡散フィルタを用いたフィルタリング処理について具体的に説明する。方向性特徴量の検出及び非線形異方性拡散フィルタを用いたフィルタリング処理は、本実施形態では低域分解画像データの構造テンソル(strucrure tensor)の固有値・固有ベクトルを求めることによって実現する。この構造テンソルの固有値・固有ベクトルは、それぞれ低域分解画像データのエッジの向き、すなわち大きさを表す。特に、第1固有値とそれに対応する固有ベクトルは空間・時間的に面的なまとまりをもつ低域分解画像データの特徴を表すものである。以下では、低域分解画像データIに対して処理を行うものとし、以下の説明では、低域分解画像データIを単に「画像I」という。
画像Iの中の画素の時間方向も含めた構造テンソルは次のように定義される。
ここでIは画像Iのx方向の空間微分、Iは画像Iのy方向の空間微分、Iは画像Iのt方向(時間方向)の時間微分、Gρはガウス関数、演算子「*」は畳み込みを表す。λS1、λS2、及びλS3は、構造テンソルSの固有値であり、その絶対値の大小関係はλS1≧λS2≧λS3であるとする。この場合λS1が第1固有値である。空間微分I、I、及びIの算出方法は、上記の算出方法に限定されない。例えば、I、I、及びIを計算する代わりに、ソーベルフィルタ(sobel filter)や、多重解像度分解の高域分解画像データを適用してもよい。
構造テンソルSの各要素sが求まっている場合における固有値λS1、λS2、及びλS3と固有ベクトルR及びRとは、線形代数学でよく知られている方法によって算出することができる。すなわち、(式1)中の3×3行列の固有値λS1、λS2、及びλS3は、例えばカルダノ(Cardano)の方法等によって、実質的に3次方程式を解くことにより算出できる。また、構造テンソルSは、実対象行列であるので、固有値λS1、λS2、及びλS3は実数であり、固有ベクトルR及びRは実ベクトルである。固有ベクトルR及びRは互いに直交する。この構造テンソルSの固有値λS1、λS2、及びλS3がエッジの大きさを表し、固有ベクトルR及びRがエッジの方向(エッジの接線方向)を表している。
方向性特徴に基づくフィルタリングは、本実施形態では次式に示す非線形拡散方程式(偏微分方程式)で表わされる。
ここで、Iは画像Iの画素レベル(輝度値)、∇Iはその勾配ベクトル(gradient vector)、wは物理的な拡散方程式における時間の次元に属する。言い換えれば、wは処理にかかわる時刻であり、実際の処理上では、この拡散方程式の処理回数を示す。Dは拡散テンソル(Diffusion Tensor)であって、次のように表わされる。
ここでRは次の(式4)のように表わされる。
ここで、ω、ω、及びωは拡散テンソルDの固有ベクトル、λD1、λD2、及びλD3は拡散テンソルDの固有値である。そして、R=(ω,ω,ω)のωがエッジの法線方向を表す。
拡散テンソルDの固有値λD1は、固有ベクトルωが示す方向の拡散の強さを表す。同様に、固有値λD2は、固有ベクトルωが示す方向の拡散の強さを表し、固有値λD3は、固有ベクトルωが示す方向の拡散の強さを表す。そして、固有値λD1、λD2、及びλD3の値を画素毎に制御することによって、非線形異方性拡散フィルタの拡散の強さが制御される。なお、固有ベクトルRは、非線形異方性拡散フィルタのフィルタ方向と同義である。すなわち、固有ベクトルRを適宜設定することにより、所望の非線形異方性拡散フィルタのフィルタ方向が設定される。
ここで、拡散テンソルDの固有ベクトルω、ω、及びωは、上述した画像Iの中の画素の構造テンソルSのそのままの固有ベクトル又は固有ベクトルの順番を入れ替えたものに等しい。また、拡散テンソルDの固有値λD1、λD2、及びλD3は、上述の構造テンソルSの固有値λS1、λS2、及びλS3から計算されるエッジの大きさに依存する。
エッジ情報(edge)は、第1固有値である固有値λS1と第3固有値である固有値λS3とを用いて、次の(式5)のように表わされる。すなわち、エッジ情報(edge)は、特徴量のうちのエッジの大きさを用いて表わされる値である。
ここで、エッジは「大きさ」と「向き」有する。そして、「大きさ」とは画像の強度の変化がなだらかなときに、「小さい」エッジとなり、画像の強度の変化が急峻なときに、「大きな」エッジとなるパラメータである。
エッジ情報は、エッジの大きさを0から1までの範囲に正規化することにより算出されるパラメータである。エッジ情報の値が1に近いほどエッジ成分に近く、0に近いほど非エッジ成分に近い。パラメータkはエッジ成分の抽出度合いを示すパラメータである。すなわちパラメータkを小さくすると、エッジ成分が抽出されやすくなる。
さらに、このエッジ情報を用いて拡散テンソルDの固有値λD1、λD2、及びλD3が算出される。固有値λD1、λD2、及びλD3はそれぞれ以下の(式6)、(式7)、(式8)で表わされる。
(式6)、(式7)、及び(式8)の中のβ(1−edge)の部分は非エッジ成分を表し、β・edgeの部分はエッジ成分を表している。この固有値λD1、λD2、及びλD3は上述したように拡散の強さを表すものである。そして、低減対象であるスペックルやノイズが属する非エッジ成分に対しては、その方向性を持たせない必要がある。すなわち、この非エッジ成分を方向に依らず拡散させなければならない。そこで、β=β=β>0に設定する。一方、強調対象であるエッジ成分に対しては、その方向性をより強調させなければならない。すなわち、このエッジ成分の垂直方向(固有値λD1の固有ベクトルωが指す方向)を先鋭化させ、それ以外の方向(固有値λD2の固有ベクトルωが指す方向及び固有値λD3の固有ベクトルωが指す方向)を拡散させる必要がある。そのため、βは0に近似した値が設定され、β及びβはβよりも大きい所定値に設定される。
以上により、拡散テンソルDの固有値λD1、λD2、及びλD3、並びに、固有ベクトルω、ω、及びωが算出することができる。したがって、(式3)における拡散テンソルDの各要素dを算出でき、非線形異方性拡散フィルタ(拡散方程式)である(式2)を得ることができる。
さらに、この求めた非線形異方性拡散フィルタ(式2)自体の計算は、偏微分方程式の数値解析的解法によって行う。すなわち、時刻wのある点における画素とその周囲の各点における各画素レベル(画素の輝度値)及び拡散テンソルDの各要素値から、時刻w+Δwにおけるその点の新たな画素レベルを求め、次にw+Δwを新たなwとして、同様の計算を所定回数繰り返す。
ここで、式2の数値的計算方法を説明する。そこで、まず時間方向への数値微分の方法について説明する。図5(A)は空間方向への数値微分を説明するための図、図5(B)は時間方向への数値微分を説明するための図である。
図5(A)(B)のデータ501は説明を容易にするために、1次元の空間の座標と時間方向の座標の2つの座標を有している画像としている。図5(A)において、空間方向の数値微分やフィルタリングは現在の位置のデータ502を処理中心とし、近傍の正負両側の所定数のピクセルのデータ503を用いて計算する。1回の数値微分を例にとると、正負両側の各近傍1ピクセルを用いれば、1階の数値微分の近似は次の(式9)で表わされる。これは数値微分の3点公式と呼ばれる。
これに対し、図5(B)において時間方向の数値微分やフィルタリングは、現在のデータ504を処理中心とするが、未来の時間を処理に用いることはできない。例えば、処理中心を過去に設定して、計算式を空間方向と同じ係数を使用するとした場合、処理結果は現在のフレームより時間的に遅延したものとなり、時相遅れをなくすことができない。そのため、時間方向の数値微分やフィルタリングは現在のデータ504を処理中心とし、現在のデータ504及び過去の所定数のピクセルのデータ505を用いて計算しなくてはならない。
ここで、関数f(x)が区間[x,x+h]で連続のとき、
と表わされる。
そして、Rn+1は数値計算で打切り誤差となる項であり、|h|が十分に小さければ、Rn+1=0となる。
そして(式10)より以下の式が求められる。
そして、(式11)及び(式12)より以下の式が求められる。
この(式13)の{}内を誤差とみなして省略すると、
と表わされる。
(式14)で示されるように、時間方向の1階の数値微分の近似は現在のデータと過去2フレーム分のピクセルのデータを用いて求めることができる。この(式14)を用いることで(式2)の数値的計算方法による計算を行うことができる。
具体的には、(式2)は以下の(式15)ように表わすことができる。
この(式15)の各項の偏微分を計算するために、上述した(式9)及び(式14)の近似値が用いられる。
ここで、以上の非線形異方性拡散フィルタの処理手順を図6を参照して説明する。図6は、3次の階層における非線形異方性拡散フィルタのフィルタ処理の処理手順を示すフローチャートである。ここでは、3次の階層のフィルタリング処理を例に説明するが、1次又は2次におけるフィルタリング処理においても同等の処理が行われる。
ステップS001:多重解像度分解部101cは、多重解像度分解部101bからフィルタリング処理を行うデータの入力を受ける。
ステップS002:多重解像度分解部101cは、入力されたデータに対し各座標軸方向(I、I、I)に微分し低域分解画像データ及び高域分解画像データを生成する。
ステップS003:特徴量算出部102cは、多重解像度分解部101cから入力された低域分解画像データの構造テンソルSの各要素を計算する。この計算には、構造テンソルS計算前のガウス関数Gρの計算も含まれる。
ステップS004:特徴量算出部10cは、構造テンソルSからその固有値λS1、λS2、及びλS3、並びに、固有ベクトルω、ω、及びωを算出する。
ステップS005:特徴量算出部102cは、構造テンソルSの固有値λS1、λS2、及びλS3からエッジの大きさが、固有ベクトルω、ω、及びωからエッジの向きが求められる。
ステップS006:特徴量算出部102cは、求めたエッジの大きさを同じ階層の高域レベル制御部105cへ出力する。
ステップS007:フィルタリング処理部103cは、特徴量算出部102cで求められたエッジの大きさを基に拡散の強さを計算し、さらに、求めた拡散の強さと構造テンソルSの固有ベクトルω、ω、及びωから、非線形異方性拡散フィルタの拡散方程式(式2)の数値解析に用いられる各係数を算出する。
ステップS008:フィルタリング処理部103cは、拡散方程式の数値解析的計算を行う。
ステップS009:フィルタリング処理部103cは、拡散方程式の数値解析的計算を所定回数行ったか否かを判断する。所定回数行っていない場合にはステップS008に戻る。所定回数行っている場合にはステップS010に進む。
ステップS010:フィルタリング処理部103cは、非線形異方性拡散フィルタによりフィルタリング処理を行った低域分解画像データを同じ階層の多重解像度合成部104cに出力する。
高域レベル制御部105は、同じ階層の多重解像度分解部101から8個の高域分解画像データの入力を受ける。さらに、高域レベル制御部105は、特徴量算出部102からエッジの大きさの入力を受ける。高域レベル制御部105は、高域分解画像データに対しエッジの情報(エッジの大きさ)を用いて処理を行う。本実施形態では、拡散テンソルDの固有値より計算されたエッジの大きさであり、高域レベル制御部105は、エッジの大きさと各高域分解画像データとの画素毎の積をとり、さらにその結果に各高域分解画像データの制御係数をかけている。この様にエッジの大きさとの積をとることにより、高域分解画像データにおけるエッジ部分を強調し、エッジ以外の部分を抑制することができる。
他のエッジの大きさ(エッジ情報)を用いた高域分解画像データの処理の例としては、エッジ以外の領域に各高域画像の制御係数をかける方法がある。この様な処理を行うことにより、高域分解画像データにおいてもエッジ部分を強調することができる。高域レベル制御部105は、上述したような処理を行った高域分解画像データを同じ階層の多重解像度合成部104へ出力する。この高域レベル制御部105が本発明における「高域レベル制御手段」にあたる。
多重解像度合成部104は、フィルタリング処理部103から1個の低域分解画像データ及び高域レベル制御部105から7個の高域分解画像データの入力を受ける。多重解像度合成部104は、入力された1個の低域分解画像データ及び7個の高域分解画像データを合成し1つの合成画像を生成する。本実施形態では、多重解像度合成部104は、1個の低域分解画像データ及び7個の高域分解画像データを基に逆ウェーブレット変換を行うことにより合成画像を生成する。この生成された合成画像は、各座標軸あたりの標本数がフィルタリング処理部103から入力された画像の2倍となる。2次以上の階層における多重解像度合成部104(本実施形態では、多重解像度合成部104b又104c)は、形成した画像を1つ下の階層の特徴量算出部102に出力する。また、1次の階層における多重解像度合成部104(本実施形態では、多重解像度合成部104a)は、形成した画像を画像生成部004へ出力する。この多重解像度合成部104が本発明における「多重解像度合成手段」にあたる。
ここで、図7を参照して、本実施形態に係る超音波診断装置の全体的な動作の流れを説明する。図7は本実施形態に係る超音波診断装置の全体的な動作のフローチャートである。ここでも、Bモード画像を例に説明する。
ステップS101:送受信部002は、超音波プローブ001を介して被検体に対し超音波を送信し、その被検体で反射した超音波エコーに基づくエコー信号を受信する。
ステップS102:信号処理部003は、送受信部002から入力されたエコー信号に対し、対数圧縮や包絡線検波などの信号処理を行う。
ステップS103:スペックル/ノイズ低減処理部100は、信号処理部003から入力されたBモードデータをフレーム毎にフレーム蓄積部106に記憶する。
ステップS104:スペックル/ノイズ低減処理部100は、フレーム蓄積部106に記憶された最新のBモードデータから所定フレーム数前までのBモードデータを基に、多重解像度分解、特徴量算出、フィルタリング処理、高域レベル制御、及び多重解像度合成を行ない、最新のBモードデータに対するスペックル/ノイズ低減処理を行う。
ステップS105:画像生成部004は、スペックル/ノイズ低減処理部100から入力されたスペックル/ノイズ低減処理が行われたBモードデータに対し、座標変換などを行い、Bモードの超音波画像を生成する。
ステップS106:表示制御部005は、画像生成部004から入力された超音波画像を表示部007に表示させる。
ステップS107:統括制御部009は、検査が終了したか否かを判断する。検査が終了していない場合にはステップS101に戻る。検査が終了した場合には超音波診断装置の動作を停止する。
以上の説明では、超音波画像として2次元の画像を例に説明したが、これは3D超音波画像、すなわち3次元ボリュームデータを使用した場合にも同様に時間方向を含めたスペックル/ノイズ低減処理を行うことが可能である。3D超音波画像に対するスペックル/ノイズ低減処理を行う場合には、以上で説明した処理に1次元増やせばよく、エッジの大きさの算出やフィルタリング処理における計算において、単に行列が1行1列増やして計算を行うことで実施できる。
さらに、以上の説明では信号処理部003の後にスペックル/ノイズ低減処理部100を配置し生データに対しスペックル/ノイズ低減処理を行ったが、スペックル/ノイズ低減処理部100は、画像生成部004の後に配置されてもよく、その場合座標変換が行われた超音波画像に対しスペックル/ノイズ低減処理が行われる。その場合、超音波プローブ001、送受信部002、信号処理部003、及び画像生成部004が本発明における「画像生成手段」にあたり、表示制御部005が本発明における「表示制御手段」にあたる。
以上で説明したように、本実施形態に係る超音波診断装置は、Bモードやドプラモードといった各モードにおける生データの空間及び時間方向に多重解像度分解を行い、方向性特徴量を算出し、その方向性特徴量を利用したフィルタを用いることによって、空間方向及び時間方向のノイズ及びスペックルの変化を低減する構成である。これにより、空間方向だけでなく時間方向にも滑らかで、かつ組織部分が強調された画像を生成することが可能となる。
また、本実施形態にかかる超音波診断装置は、時間方向への数値微分については、現在と過去の複数フレームのデータを用いて、空間方向と異なる数式と係数によって計算を行う構成である。これにより、時相遅れのないフィルタリング処理が可能となる。
また、本実施形態では、高域レベル制御部105を用いて高域分解画像データに対しても、処理を行い高域分解画像データのエッジ部分を強調することで、よりエッジが強調された画像を生成している。しかし、高域レベル制御部105を用いずに、高域分解画像データに対して処理を行わず、そのままの高域分解画像データを用いて多重解像度合成部104において合成画像を生成することも可能である。この場合、高域レベル制御部105を用いた場合と比較して組織部分の強調の程度は弱まるが、時間方向への滑らかな画像の生成は可能である。
さらに、多重解像度分解部101、特徴量算出部102、フィルタリング処理部103、多重解像度合成部104、及び高域レベル制御部105は、各階層(図2における1次〜n次までの各次毎)それぞれに配置して構成してもよいし、1組の多重解像度分解部101、特徴量算出部102、フィルタリング処理部103、多重解像度合成部104、及び高域レベル制御部105の構成で、各階層(各次)の処理を順次処理する構成であってもよい。
〔第2の実施形態〕
以下、この発明の第2の実施形態に係る超音波診断装置について説明する。本実施形態に係る超音波診断装置はスペックル/ノイズ低減処理を行ったBモードデータを利用して次のフレームに対するスペックル/ノイズ低減処理を行う構成であることが第1の実施形態と異なるものである。本実施形態に係る超音波診断装置の構成も図1のブロック図で表わされる。以下の説明では、第1の実施形態と同一の符号を付された機能部は特に説明のない限り同じ機能を有するものとする。
図8は、本実施形態におけるBモードデータの蓄積及びその蓄積したBモードデータを使用した処理を説明するための図である。図8は説明をわかり易くするために、1次元の空間軸と時間軸との2次元として説明する。
フレーム蓄積部106は、時間の経過毎に順番に信号処理部003から入力されたBモードデータを記憶する。ここで、最新のBモードデータをBモードデータ801とする。そして、スペックル/ノイズ低減処理部100は、フレーム蓄積部106に記憶されているBモードデータ801を含む所定フレーム数のBモードデータの集合である集合Bモードデータ300を用いてBモードデータ801に対するスペックル/ノイズ低減処理を行う。そして、フレーム蓄積部106は、処理前のBモードデータ801を削除し、処理が行われたBモードデータ801(以下では、処理後Bモードデータ801)を最新のフレームのBモードデータとして記憶する。その後、次のフレームのBモードデータ(これを、Bモードデータ802という。)が信号処理部003から入力されると、フレーム蓄積部106に最新のフレームとしてBモードデータ802が記憶される。そして、スペックル/ノイズ低減処理部100は、Bモードデータ802に対しスペックル/ノイズ低減処理を行い、フレーム蓄積部106は処理後Bモードデータ802を記憶する。以上のような処理を繰り返していくことにより、フレーム蓄積部106は、過去のBモードデータの処理結果が時間方向に蓄積され、その蓄積された処理後のBモードデータを用いて最新のBモードデータのスペックル/ノイズ低減処理を行うことができる。ここで、本実施形態におけるフレーム蓄積部106が本発明における「処理後フレーム蓄積手段」にあたる。
このように、本実施形態に係る超音波診断装置は、スペックル/ノイズ低減処理を施した過去のBモードデータを用いて最新のBモードデータのスペックル/ノイズ低減処理を行う構成である。
これにより、時間方向のスペックル/ノイズ低減処理において既に処理を施した滑らかなBモードデータを使用することができるため、より時間方向のスペックル/ノイズの変化を効率的に低減し、時相遅れのない処理を行うことが可能となる。
(変形例1)
次に、本実施形態に係る超音波診断装置の他の例について説明する。本変形例では処理前のBモードデータを蓄積しておき、スペックル/ノイズ低減処理を行うときに最新の処理前のフレームをフレーム蓄積部106に出力する構成である。
図9は、本変形例におけるBモードデータの蓄積及びその蓄積したBモードデータを使用した処理を説明するための図である。図9は説明をわかり易くするために、1次元の空間軸と時間軸との2次元として説明する。
本変形例に係る超音波診断装置は、第2の実施形態に係る超音波診断装置に点線で表わされる処理前フレーム蓄積部107をさらに加えた構成である。
処理前フレーム蓄積部107は、メモリやハードディスクなどの記憶媒体を備えている。そして、処理前フレーム蓄積部107は、時間の経過に対応させて順番に信号処理部003から入力されたBモードデータを記憶していく。これは全フレームのBモードデータを記憶してもよいし、予め決められたフレーム数のBモードデータを記憶する構成でもよい。予め決められたフレーム数のBモードデータを記憶する構成では、新しい処理前のBモードデータ901が入力されると、一番古い処理前のBモードデータは削除される。
処理前フレーム蓄積部107は、フレーム蓄積部106からスペックル/ノイズ低減処理を行う処理前のBモードデータ901の入力要求を受けて、フレーム蓄積部106に最新の処理前のBモードデータ901をコピーする。
フレーム蓄積部106は、所定数−1フレーム前までのスペックル/ノイズ低減処理を行ったBモードデータ902を記憶しておく。フレーム蓄積部106は、処理前フレーム蓄積部107からコピーされた処理前のBモードデータ901と記憶している処理後のBモードデータ902を多重解像度分解部101へ出力する。そして、フレーム蓄積部106は、スペックル/ノイズ低減処理部100によりスペックル/ノイズ低減処理が行われた処理後のBモードデータを記憶する。このとき、フレーム蓄積部106は、一番古い処理後Bモードデータを削除する。
このような構成によっても、より時間方向のスペックル/ノイズの変化を効率的に低減し、時相遅れのない処理を行うことが可能である。
001 超音波プローブ
002 送受信部
003 信号処理部
004 画像生成部
005 表示制御部
006 ユーザインタフェース
007 表示部
008 入力部
009 統括制御部
100 スペックル/ノイズ低減処理部
101 多重解像度分解部
102 特徴量算出部
103 フィルタリング処理部
104 多重解像度合成部
105 高域レベル制御部
106 フレーム蓄積部
107 処理前フレーム蓄積部

Claims (9)

  1. 被検体に対し超音波を送受信し、所定時間毎に前記被検体における特定の領域の超音波画像データを生成する画像生成手段と、
    前記超音波画像データに対して、前記領域の空間方向、又は、時間方向及び前記領域の空間方向に、階層的にn次(nは2次以上の自然数)の多重解像度分解を行い、k次(1≦k≦n)における、全ての前記方向において空間周波数の低い画像である低域分解画像データと、少なくとも一つの前記方向において空間周波数の高い画像である高域分解画像データとを得る多重解像度分解手段と、
    算出時点の階層の1つ下の次元の出力データ又はn次の前記低域分解画像データからエッジの接線方向を含む当該次元における特徴量を算出する特徴量算出手段と、
    前記1つ下の次元の出力データ又はn次の前記低域分解画像データに対して、当該次元における前記特徴量に基づいて各前記方向毎に強調又は平滑化を行うフィルタリング処理を施し処理後低域分解画像データを取得するフィルタリング処理手段と、
    k次の前記処理後低域分解画像データとk次の前記高域分解画像データとを多重解像度合成して(k−1)次の合成画像を生成し、前記超音波画像データと同じ画像ピクセルサイズを有する処理後超音波画像データを生成するまで前記多重解像度合成を繰り返す多重解像度合成手段と、
    前記処理後超音波画像データを基に超音波画像を表示部に表示させる表示制御手段と、
    を備えることを特徴とする超音波診断装置。
  2. 前記超音波画像データを生成順に順次記憶していく処理前データ蓄積手段をさらに備え、
    前記フィルタリング処理手段は、t枚目の超音波画像データにおける前記フィルタリング処理として、前記記憶手段に記憶されている前記t−1枚目から所定枚数前までの超音波画像データにおける同じ位置の各画素の各画素値を用いて拡散方程式を数値解析してt枚目の超音波画像データの前記同じ位置の各画素の画素値を算出することを特徴とする請求項1に記載の超音波診断装置。
  3. 前記多重解像度合成手段が生成した前記処理後低域分解画像データを生成順に順次記憶していく処理後データ蓄積手段をさらに備え、
    前記フィルタリング処理手段は、t枚目の超音波画像データにおけるフィルタリング処理として、前記記憶手段に記憶されている前記t−1枚目から所定枚数前までの前記処理後低域分解画像データにおける同じ位置の各画素の各画素値を用いて拡散方程式を数値解析してt枚目の処理後低域分解画像データの前記同じ位置の各画素の画素値を算出することを特徴とする請求項1に記載の超音波診断装置。
  4. 前記フィルタリング処理手段は、現在と過去の所定枚数の前記超音波画像データを用いて前記空間方向に対する前記フィルタリング処理を行うことを特徴とする請求項1乃至請求項3のいずれか一つに記載の超音波診断装置。
  5. 前記フィルタリング処理手段は、
    非線形拡散方程式で表わされるフィルタを用いて前記フィルタリング処理を行うものであり、
    該非線形拡散方程式の数値解析を行う場合に、
    空間方向の数値微分として、
    ∂I/∂x={Ii+1−Ii−1}/2
    時間方向の数値微分として、
    ∂I/∂t={3I−4It−1−It−2}/2
    (I:xがiの時の画素値、I:時刻tにおける画素値)
    を用いることを特徴とする請求項1乃至請求項3のいずれか一つに記載の超音波診断装置。
  6. 前記特徴量算出手段は、各画素の構造テンソルを算出し、前記構造テンソルを用いて固有値と固有ベクトルを算出し、特徴量として、前記各固有値に基づいてエッジの大きさを得、前記固有ベクトルに基づいて前記エッジの接線方向を得ることを特徴とする請求項1乃至5のいずれか1つに記載の超音波診断装置。
  7. 前記フィルタリング手段は、非線形異方性拡散フィルタであることを特徴とする請求項1乃至請求項6のいずれか一つに記載の超音波診断装置。
  8. 前記高域分解画像データに対し前記特徴量に基づいて前記エッジを強調するフィルタリング処理を行い、該フィルタリング処理が行われた高域分解画像データを前記多重解像度合成手段に出力する高域レベル制御手段をさらに備えたことを特徴とする請求項1乃至請求項7のいずれか一つに記載の超音波診断装置。
  9. 被検体に対して超音波を送受信して、所定時間毎に前記被検体における同一領域の超音波画像データを生成する画像生成手段と、
    複数の前記超音波画像データを基に、時間方向及び空間方向に多重解像度分解して、1次については空間周波数に応じて低域分解画像及び高域分解画像に分離し、以後、(k―1)次に分離された低域分解画像をk次の低域分解画像及び該k次の高域分解画像に分離することを、k=2からnまで行う多重解像度分解手段と、
    n次においては、該n次の低域分解画像を基にした一方のデータと及び該n次の高域分解画像を基にした他方のデータとを多重解像度合成した該n次の合成画像を生成し、以後、一方のデータをk次の合成画像とし、他方のデータをk―1次の高域分解画像として合成画像を生成する前記多重解像度分解の逆変換を、k=nから2まで行う多重分解画像合成手段と、
    前記n次の場合は該n次の多重解像度分解手段と該n次の多重分解画像合成手段との間にあって該n次の低域分解画像を受けて画像におけるエッジの接線方向を含む該n次の特徴量を算出し、前記k―1次の場合は該k―1次と該k次との多重分解画像合成手段の間にあって該k次の合成画像を受けて画像におけるエッジの接線方向を含む該k−1時の特徴量を算出することをk=nから2まで行う特徴量算出手段と、
    該特徴量算出手段から前記n次から1次までの特徴量を受けて、それぞれについて前記エッジの接線方向の強調又は平滑化を行い、各次における前記一方のデータとして前記多重分解画像合成手段へ送るフィルタ処理手段と、
    前記多重解像度分解手段から前記n次から1次までの高域分解画像を受けて、対応する各次の特徴量で重み付けして前記他方のデータとして前記多重分解画像合成手段へ送る高域レベル制御部と、を備え、
    前記多重分解画像合成手段の1次の出力として、元の超音波画像データと同じ画像ピクセルサイズの合成画像を得る、
    ことを特徴とする超音波診断装置。
JP2009113667A 2009-05-08 2009-05-08 超音波診断装置 Active JP5449852B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009113667A JP5449852B2 (ja) 2009-05-08 2009-05-08 超音波診断装置
US12/765,386 US8861821B2 (en) 2009-05-08 2010-04-22 Ultrasound diagnosis apparatus
CN201010173203.2A CN101879073B (zh) 2009-05-08 2010-05-07 超声波诊断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009113667A JP5449852B2 (ja) 2009-05-08 2009-05-08 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2010259658A true JP2010259658A (ja) 2010-11-18
JP5449852B2 JP5449852B2 (ja) 2014-03-19

Family

ID=43051314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009113667A Active JP5449852B2 (ja) 2009-05-08 2009-05-08 超音波診断装置

Country Status (3)

Country Link
US (1) US8861821B2 (ja)
JP (1) JP5449852B2 (ja)
CN (1) CN101879073B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002408A1 (ja) * 2011-06-30 2013-01-03 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
WO2013042734A1 (ja) * 2011-09-20 2013-03-28 株式会社東芝 画像処理装置及び医用画像診断装置
JP2019028912A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247926B2 (en) 2010-04-14 2016-02-02 Maui Imaging, Inc. Concave ultrasound transducers and 3D arrays
US9282945B2 (en) * 2009-04-14 2016-03-15 Maui Imaging, Inc. Calibration of ultrasound probes
US8602993B2 (en) 2008-08-08 2013-12-10 Maui Imaging, Inc. Imaging with multiple aperture medical ultrasound and synchronization of add-on systems
JP5485373B2 (ja) 2009-04-14 2014-05-07 マウイ イマギング,インコーポレーテッド 複数開口の超音波アレイ位置合せ装置
KR102322776B1 (ko) 2010-02-18 2021-11-04 마우이 이미징, 인코포레이티드 초음파 이미지를 구성하는 방법 및 이를 위한 다중-개구 초음파 이미징 시스템
US9475709B2 (en) 2010-08-25 2016-10-25 Lockheed Martin Corporation Perforated graphene deionization or desalination
WO2012051305A2 (en) 2010-10-13 2012-04-19 Mau Imaging, Inc. Multiple aperture probe internal apparatus and cable assemblies
EP2687145B1 (en) * 2011-09-20 2016-06-01 Olympus Corporation Image processing equipment and endoscopic system
JP6407719B2 (ja) 2011-12-01 2018-10-17 マウイ イマギング,インコーポレーテッド ピングベース及び多数開口ドップラー超音波を用いた運動の検出
CN104080407B (zh) 2011-12-29 2017-03-01 毛伊图像公司 任意路径的m模式超声成像
CN107028623B (zh) 2012-02-21 2020-09-01 毛伊图像公司 使用多孔超声确定材料刚度
WO2013128781A1 (ja) * 2012-02-29 2013-09-06 独立行政法人科学技術振興機構 画像処理用ディジタルフィルタ、および、文字列傾斜錯視生成装置
JP6399999B2 (ja) 2012-03-26 2018-10-03 マウイ イマギング,インコーポレーテッド 重み付け係数を適用することによって超音波画像の質を改善するためのシステム及び方法
US10213746B2 (en) 2016-04-14 2019-02-26 Lockheed Martin Corporation Selective interfacial mitigation of graphene defects
US9870895B2 (en) 2014-01-31 2018-01-16 Lockheed Martin Corporation Methods for perforating two-dimensional materials using a broad ion field
US9744617B2 (en) 2014-01-31 2017-08-29 Lockheed Martin Corporation Methods for perforating multi-layer graphene through ion bombardment
US10980919B2 (en) 2016-04-14 2021-04-20 Lockheed Martin Corporation Methods for in vivo and in vitro use of graphene and other two-dimensional materials
US10653824B2 (en) 2012-05-25 2020-05-19 Lockheed Martin Corporation Two-dimensional materials and uses thereof
US9834809B2 (en) 2014-02-28 2017-12-05 Lockheed Martin Corporation Syringe for obtaining nano-sized materials for selective assays and related methods of use
JP5987548B2 (ja) * 2012-08-10 2016-09-07 コニカミノルタ株式会社 超音波画像診断装置及び超音波画像診断装置の制御方法
EP2883079B1 (en) 2012-08-10 2017-09-27 Maui Imaging, Inc. Calibration of multiple aperture ultrasound probes
US9986969B2 (en) 2012-08-21 2018-06-05 Maui Imaging, Inc. Ultrasound imaging system memory architecture
US9922401B2 (en) 2012-09-11 2018-03-20 Nec Corporation Image processing device and image processing method
KR102025756B1 (ko) 2013-01-04 2019-09-27 삼성전자주식회사 영상에서 스펙클을 제거하는 방법, 장치 및 시스템.
US9592475B2 (en) 2013-03-12 2017-03-14 Lockheed Martin Corporation Method for forming perforated graphene with uniform aperture size
WO2014160291A1 (en) 2013-03-13 2014-10-02 Maui Imaging, Inc. Alignment of ultrasound transducer arrays and multiple aperture probe assembly
US9572918B2 (en) 2013-06-21 2017-02-21 Lockheed Martin Corporation Graphene-based filter for isolating a substance from blood
US9883848B2 (en) 2013-09-13 2018-02-06 Maui Imaging, Inc. Ultrasound imaging using apparent point-source transmit transducer
JP6274495B2 (ja) * 2013-10-25 2018-02-07 キヤノンメディカルシステムズ株式会社 画像処理装置および超音波診断装置
JP5918198B2 (ja) * 2013-11-26 2016-05-18 日立アロカメディカル株式会社 超音波診断装置
SG11201606287VA (en) 2014-01-31 2016-08-30 Lockheed Corp Processes for forming composite structures with a two-dimensional material using a porous, non-sacrificial supporting layer
AU2015229331A1 (en) 2014-03-12 2016-10-27 Lockheed Martin Corporation Separation membranes formed from perforated graphene
KR102430449B1 (ko) 2014-08-18 2022-08-05 마우이 이미징, 인코포레이티드 네트워크-기반 초음파 이미징 시스템
WO2016036888A1 (en) 2014-09-02 2016-03-10 Lockheed Martin Corporation Hemodialysis and hemofiltration membranes based upon a two-dimensional membrane material and methods employing same
JP6732476B2 (ja) * 2015-03-04 2020-07-29 キヤノン株式会社 被検体情報取得装置
WO2017023376A1 (en) 2015-08-05 2017-02-09 Lockheed Martin Corporation Perforatable sheets of graphene-based material
AU2016303049A1 (en) 2015-08-06 2018-03-01 Lockheed Martin Corporation Nanoparticle modification and perforation of graphene
JP6402282B1 (ja) 2015-09-16 2018-10-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. オブジェクト用のx線画像装置
CN113729764A (zh) 2016-01-27 2021-12-03 毛伊图像公司 具有稀疏阵列探测器的超声成像
SG11201808962RA (en) 2016-04-14 2018-11-29 Lockheed Corp Method for treating graphene sheets for large-scale transfer using free-float method
SG11201808961QA (en) 2016-04-14 2018-11-29 Lockheed Corp Methods for in situ monitoring and control of defect formation or healing
WO2017180135A1 (en) 2016-04-14 2017-10-19 Lockheed Martin Corporation Membranes with tunable selectivity
KR20190018410A (ko) 2016-04-14 2019-02-22 록히드 마틴 코포레이션 흐름 통로들을 갖는 2차원 막 구조들
CN109843180A (zh) * 2016-10-09 2019-06-04 柯惠有限合伙公司 用于驱动超声成像换能器的系统和方法
US11049221B2 (en) 2018-04-27 2021-06-29 Imam Abdulrahman Bin Faisal University Gradient vector orientation based nonlinear diffusion filter
JP7071898B2 (ja) 2018-08-09 2022-05-19 富士フイルムヘルスケア株式会社 超音波診断装置、プログラムおよび超音波診断装置の動作方法
US11654635B2 (en) 2019-04-18 2023-05-23 The Research Foundation For Suny Enhanced non-destructive testing in directed energy material processing
CN113469919B (zh) * 2021-07-27 2024-05-28 深圳市赛禾医疗技术有限公司 超声图像的处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311618A (ja) * 1998-04-28 1999-11-09 Mitsubishi Heavy Ind Ltd 信号処理装置
JP2005081154A (ja) * 2003-09-10 2005-03-31 Ge Medical Systems Global Technology Co Llc スペックル低減フィルタを具現化するシステム及び方法
JP2005296331A (ja) * 2004-04-12 2005-10-27 Toshiba Corp 超音波診断装置及び画像データ処理装置
JP2006116307A (ja) * 2004-10-18 2006-05-11 Medison Co Ltd 後処理を通じた2次元超音波映像の画質改善方法及び装置
JP2009082469A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 超音波診断装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497777A (en) * 1994-09-23 1996-03-12 General Electric Company Speckle noise filtering in ultrasound imaging
WO1999046731A1 (en) * 1998-03-13 1999-09-16 The University Of Houston System Methods for performing daf data filtering and padding
US6056691A (en) * 1998-06-24 2000-05-02 Ecton, Inc. System for collecting ultrasound imaging data at an adjustable collection image frame rate
US7236637B2 (en) * 1999-11-24 2007-06-26 Ge Medical Systems Information Technologies, Inc. Method and apparatus for transmission and display of a compressed digitized image
US6633674B1 (en) * 1999-11-24 2003-10-14 General Electric Company Picture archiving and communication system employing improved data compression
WO2007001236A1 (en) * 2005-06-28 2007-01-04 Agency For Science, Technology And Research Wavelet shrinkage pre-filtering of mr images for brain tissue segmentation
JP5022700B2 (ja) * 2006-12-27 2012-09-12 株式会社東芝 超音波診断装置
JP4789854B2 (ja) * 2007-05-09 2011-10-12 株式会社日立メディコ 超音波診断装置および超音波診断装置の画質改善方法
JP5331313B2 (ja) * 2007-05-24 2013-10-30 株式会社日立メディコ 超音波診断装置
JP5753791B2 (ja) * 2008-12-25 2015-07-22 メディック ビジョン イメージング ソルーション リミティッド ノイズ除去された所定の解像度の医療画像を提供する方法、所定の解像度のノイズ除去された所定の解像度の医療画像を提供するシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311618A (ja) * 1998-04-28 1999-11-09 Mitsubishi Heavy Ind Ltd 信号処理装置
JP2005081154A (ja) * 2003-09-10 2005-03-31 Ge Medical Systems Global Technology Co Llc スペックル低減フィルタを具現化するシステム及び方法
JP2005296331A (ja) * 2004-04-12 2005-10-27 Toshiba Corp 超音波診断装置及び画像データ処理装置
JP2006116307A (ja) * 2004-10-18 2006-05-11 Medison Co Ltd 後処理を通じた2次元超音波映像の画質改善方法及び装置
JP2009082469A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 超音波診断装置及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013002408A1 (ja) * 2011-06-30 2013-01-03 株式会社東芝 超音波診断装置、画像処理装置及び画像処理方法
JP2013013436A (ja) * 2011-06-30 2013-01-24 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム
US9433399B2 (en) 2011-06-30 2016-09-06 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
WO2013042734A1 (ja) * 2011-09-20 2013-03-28 株式会社東芝 画像処理装置及び医用画像診断装置
JP2013078569A (ja) * 2011-09-20 2013-05-02 Toshiba Corp 画像処理装置及び医用画像診断装置
US9031301B2 (en) 2011-09-20 2015-05-12 Kabushiki Kaisha Toshiba Image processing apparatus and medical image diagnosis apparatus
JP2019028912A (ja) * 2017-08-03 2019-02-21 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
US20100286525A1 (en) 2010-11-11
CN101879073A (zh) 2010-11-10
CN101879073B (zh) 2012-07-18
JP5449852B2 (ja) 2014-03-19
US8861821B2 (en) 2014-10-14

Similar Documents

Publication Publication Date Title
JP5449852B2 (ja) 超音波診断装置
JP6253999B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
KR100646715B1 (ko) 후처리를 통한 2차원 초음파 영상의 화질 개선 방법
JP5049773B2 (ja) 超音波診断装置、超音波画像処理装置、超音波画像処理プログラム
JP5525867B2 (ja) 超音波診断装置、画像処理装置、超音波診断装置の制御方法、及び画像処理方法
EP2151193B1 (en) Ultrasonographic device and method for improving ultrasonographic device image quality
JP4130114B2 (ja) 超音波イメージング装置及び超音波信号処理方法
JP6580925B2 (ja) 超音波診断装置及び画像処理装置
KR102023518B1 (ko) 영상 장치, 초음파 영상 장치, 영상 처리 방법 및 초음파 영상 처리 방법
EP3278734B1 (en) Beamforming device, ultrasonic imaging device, and beamforming method allowing simple spatial smoothing operation
JP5918200B2 (ja) 超音波診断装置
JP5918198B2 (ja) 超音波診断装置
US10143439B2 (en) Ultrasound diagnosis apparatus, image processing apparatus, and image processing method
US11151697B2 (en) Ultrasonic diagnosis device and program
JP6274495B2 (ja) 画像処理装置および超音波診断装置
WO2016006554A1 (ja) 超音波診断装置
JP6553140B2 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP6045866B2 (ja) 超音波画像処理装置
US10228462B2 (en) Ultrasonic imaging apparatus and control method thereof
Hewener et al. Deconvolution of medical ultrasound data with consideration of the pressure field, the excitation pulse and focussing
JP2016016282A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131225

R150 Certificate of patent or registration of utility model

Ref document number: 5449852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350