JP2006346459A - 超音波空間複合イメージングのリアルタイム運動補正のための方法及び装置 - Google Patents

超音波空間複合イメージングのリアルタイム運動補正のための方法及び装置 Download PDF

Info

Publication number
JP2006346459A
JP2006346459A JP2006163094A JP2006163094A JP2006346459A JP 2006346459 A JP2006346459 A JP 2006346459A JP 2006163094 A JP2006163094 A JP 2006163094A JP 2006163094 A JP2006163094 A JP 2006163094A JP 2006346459 A JP2006346459 A JP 2006346459A
Authority
JP
Japan
Prior art keywords
frame
motion
image
image frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006163094A
Other languages
English (en)
Inventor
Feng Lin
フェン・リン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2006346459A publication Critical patent/JP2006346459A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • G03B42/06Obtaining records using waves other than optical waves; Visualisation of such records by using optical means using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

【課題】空間複合画像においてボケなどの運動の影響を低減または排除するための改良式の方法及び装置を提供すること。
【解決手段】複合超音波イメージングのリアルタイム運動補正のための方法(500)は、画像フレームを受け取る工程(510)と、この画像フレームと先行画像フレームの間の運動を推定する工程(525)と、推定した運動によって先行運動推定値を更新して更新済み運動推定値を形成する工程(530)と、この更新済み運動推定値を用いて画像フレーム及び先行画像フレームを補正する工程(535)と、を含む。本方法はさらに、これらの画像フレームから複合画像を形成する工程(540)を含むことがある。
【選択図】図1

Description

本発明は全般的には超音波イメージングに関する。本発明は特に、超音波空間複合イメージングのリアルタイム運動補正に関する。
超音波は、通常の人に聞こえる周波数と比べてより高い周波数を有する音のことである。超音波イメージングは、超音波すなわち通常の人の聴力を超える周波数スペクトル(2.5〜10MHzのレンジなど)での振動を利用する。超音波イメージング・システムは、患者などの被検体内に超音波を短いバースト状で送出する。被検体からシステムに戻るようにエコーが反射される。このエコーから診断画像を作成することができる。超音波イメージング技法はソナーやレーダーで使用される技法と同じである。
医用超音波システムは、撮像対象に送出された超音波ビームからエコー信号を連続して収集することによって画像を形成させる。個々のビームは、ある連続する深度距離にわたって集束パルスを送出しそのエコーを受信することによって形成される。対象内のより深くに位置する信号反射体に関しては、介在する組織層などの介在構造の信号減衰が増加するために、エコー信号の振幅がかなり小さくなる。したがって、例えば超音波システムの信号増幅器が発生させるノイズをある任意の低レベルまで低下できないために、信号対雑音比が低下する。
診断用イメージング・システムにとっては、様々な解剖構造及び患者の種類についても常に可能な最良画像を形成することが重要である。画質が悪いと画像に対する高信頼性の解析が阻害されることがある。例えば、画像コントラスト品質が低下すると、臨床的に使用可能でないような信頼できない画像となることがある。さらに、リアルタイムのイメージング・システムの出現によって、明瞭で高品質の画像を作成することに関する重要性が高まった。
Bモードすなわち「輝度」モードは超音波画像に対する一般的な表示形式の1つである。目下のところ、Bモード超音波イメージング・システムのトランスジューサは狭い超音波ビームすなわちベクトルを単一の方向に発射させている。次いでこのトランスジューサ・アレイは、この同じ直線に沿って反射体から戻ってくるすべてのエコーを聴取するように待機している。戻されるエコーの強度を使用して対象の反射率が表される。患者の解剖構造などの対象の反射率は、距離方程式を用いて計算されるのが典型的である。この距離方程式は、信号の往復行程を対象の媒質中での音速で除した値に等しくその時間を決定する。現在の超音波システムは受信ビーム形成を利用して撮像対象を再構成している。すなわち、超音波システムはエコー信号の存在を聴取するために受信器を用いており、この受信器はさらにビームの再構成及びビーム方向の判定に使用される。超音波ビームを発射し反射エコーを聴取するというスキームは、ある解剖学的空間などの対象空間内のある2次元区画に及ぶまで多くの方向で順次反復される。超音波システムは、反射されたエコー信号からの決定に従って戻されたエコー信号の強度に対応した輝度レベルで各ラインをペイントする。ある空間区画を掃引し終えているベクトルの全体組によって1つのBモードフレームが構成される。この再構成処理は、フレームを継続してペイントして標準的なリアルタイムBモード表示が実現されるまで反復される。
空間複処理合は超音波イメージングの広範な用途において高度かつ重要な診断ツールとなっている。空間複合処理では、音波やこの種の別の波を用いて幾つかの音波発射(insonification)角度すなわち放射角から目標物が走査される。次いで、受け取った複数の画像が合成され、または平均化されて単一の画像が形成される。複合された画像の表示では、典型的には、画像分解能を劣化させる散乱によって導入されるスペックル(speckle)や干渉がより少ない。複合画像はさらに、単一の角度からの従来式の超音波画像と比べてより良好な鏡面反射体描写(specular reflector delineation)を提供することができる。幾つかの超音波装置では、1次元線形アレイや1次元湾曲線形アレイなど様々なタイプのトランスジューサ上で多重角度空間複合処理が実現されている。
米国特許第7037265号
空間複合イメージングは、スペックルを減少させると共に組織境界を強調することによってコントラスト分解能を改善させる。しかし、空間複合画像は異なる時点で収集された一連のフレームの和である。このため、空間複合処理は、組織の運動や探触子の運動などの運動の影響を受けやすい。さらに、撮像域を大きくして撮像を行うと定常の運動からボケやアーチファクトが生ずることになる。したがって、空間複合画像においてボケなどの運動の影響を低減または排除するための改良式の方法及び装置があると極めて望ましい。
本発明のある種の実施形態は複合超音波イメージングのリアルタイム運動補正のための方法及びシステムを提供する。ある種の実施形態は、画像フレームを受け取る工程と、この画像フレームと先行画像フレームの間の運動を推定する工程と、推定した運動を用いて先行運動推定値を更新して更新済み運動推定値を形成する工程と、この更新済み運動推定値を用いて1つまたは複数の先行画像フレームを補正する工程と、を含む方法を提供する。本方法はさらに、これらの画像フレームから複合画像を形成する工程を含むことがある。
一実施形態では、画像フレームと先行フレームの間の運動は、例えば相互相関、基準点レジストレーション、及び/または別の推定方法を用いて推定されることがある。画像フレームと先行画像フレームは、例えば更新済み運動推定値をアフィン変換や別の補正方法において用いることによって補正されることがある。一実施形態では、本方法は画像フレームを受け取りながらリアルタイム補正を提供する。
ある種の実施形態は、改良式の複合超音波イメージングのための方法を提供する。本方法は、画像フレームを受け取る工程と、この画像フレームと先行画像フレームの間の運動を推定する工程と、この運動推定値を用いて画像フレーム及び先行画像フレームを補正する工程と、これらの画像フレームから複合画像を形成する工程と、を含む。本方法はさらに、運動推定値を用いて先行運動推定値を更新して更新済み運動推定値を形成する工程を含むことがある。一実施形態では、画像フレームと先行画像フレームの間の運動は、例えば相互相関と基準点レジストレーションのうちの少なくとも一方を用いて推定されることがある。一実施形態では、画像フレーム及び先行画像フレームは、例えば運動推定値をアフィン変換において用いて補正されることがある。
ある種の実施形態は、コンピュータ上で実行するための命令の組を含んだコンピュータ読み取り可能な媒体を提供する。この命令組は、新たなフレームと複合画像組内の先行フレームとの間の運動を推定するように構成された運動推定ルーチンと、推定した運動に基づいて複合画像組内のフレームを補正するように構成された運動補正ルーチンと、複合画像組内のフレームを合成して1つの複合画像を形成するように構成された画像複合ルーチンと、を含む。この命令組はさらに、例えば空間複合画像を表示するための表示ルーチンを含むことがある。
一実施形態では、運動補正ルーチンは、推定した運動に基づいて旧フレームを新フレームに対して整列させる。一実施形態では、運動推定ルーチンは、推定した運動を用いて推定した先行の運動を更新して更新済みの推定運動を形成する。一実施形態では、運動推定ルーチンは、例えば時間的に隣接したフレーム、空間的に隣接したフレーム、最終の同角度フレーム、及び最終の複合画像のうちの少なくとも1つから先行フレームを選択する。
ある種の実施形態は、空間複合超音波イメージングのためのシステムを提供する。本システムは、複合超音波画像を形成するための複数のフレームを保存することが可能なフレームバッファと、運動推定値を含むデータを保存することが可能なメモリと、新フレームとフレームバッファからの先行フレームとの間の運動を推定するように構成されたプロセッサと、を含む。本プロセッサは、この推定した運動に基づいてフレームバッファ内のフレームを補正することが可能である。本プロセッサはフレームバッファ内のフレームを合成して1つの空間複合画像を形成する。
一実施形態では、新フレームによって、例えばフレームバッファ内の最も古いフレームが置き換えられる。本プロセッサは、フレームバッファ内のフレームを合算して1つの空間複合画像を形成することがある。本プロセッサは、例えば時間的に隣接したフレーム、空間的に隣接したフレーム、最終の同角度フレーム、及び最終の複合画像のうちの少なくとも1つから先行フレームを選択することがある。一実施形態では、そのプロセッサは推定した運動を、例えば剛性(rigid)、アフィン及び弾性(elastic)のうちの少なくとも1つとしてモデル化している。本プロセッサはさらに、フレームバッファ内のフレームデータに対して空間可変性のシェーディングを適用することがある。
上述した要約、並びに本発明のある種の実施形態の以下の詳細な説明は、添付の図面と共に読むことによってさらに十分な理解が得られよう。本発明の例証を目的として、図面ではある特定の実施形態を示している。しかし、本発明は添付の図面に示した配置や手段に限定するものではないことを理解すべきである。
図1は、本発明の一実施形態により使用される超音波イメージング・システム5のブロック図を表している。システム5は、トランスジューサ10、フロントエンド20、撮像モード・プロセッサ30、ユーザインタフェース60、制御プロセッサ50、及びディスプレイ75を含む。撮像モード・プロセッサ30及び制御プロセッサ50は例えば、バックエンド・システムの一部とすることがある。トランスジューサ10は、アナログ電気信号を超音波エネルギーに変換することによって超音波を被検体内に送出するために使用される。トランスジューサ10はさらに、超音波エネルギーをアナログ電気信号に変換することによって被検体から後方散乱された超音波を受け取るために使用されることがある。フロントエンド・サブシステム20は、受信器、送信器及びビーム形成器を含んでおり、様々な撮像モードで使用するための送信波形、ビームパターン、受信器フィルタ処理技法、及び復調スキームを生成するために使用される。フロントエンド20はディジタルデータのアナログデータへの変換、並びにこの逆の変換を行う。フロントエンド20は、アナログインタフェース15を介してトランスジューサ10とインタフェースを取っている。フロントエンド20は、ディジタルバス70を介して撮像モード・プロセッサ30及び制御プロセッサ50とインタフェースを取っている。ディジタルバス70は幾本かの下位ディジタルバスを含むことがある。この下位ディジタルバスは、別々の構成を有することがあり、また超音波イメージング・システム5の様々な部分に対してディジタル式のデータインタフェースを提供することがある。
撮像モード・プロセッサ30は、Bモード・イメージング、Mモード・イメージング、BMモード・イメージング、高調波(harmonic)イメージング、ドプラ・イメージング、カラーフロー・イメージング、及び/または別の任意の超音波撮像モードなどの撮像モードのための振幅検出及びデータ圧縮を提供する。撮像モード・プロセッサ30はフロントエンド20からディジタル信号データを受け取る。撮像モード・プロセッサ30は受け取ったディジタル信号データを処理し推定されるパラメータ値を作成する。この推定パラメータ値は受け取ったディジタル信号データを用いて作成されることがある。推定パラメータ値を作成するためにこのディジタル信号データは、送信された信号の基本波、高調波または低調波を中心とする周波数帯域内で解析を受けることがある。撮像モード・プロセッサ30はディジタルバス70を介して制御プロセッサ50に推定パラメータ値を渡している。撮像モード・プロセッサ30はさらに、ディジタルバス70を介してディスプレイ75に推定パラメータ値を渡すことがある。
ディスプレイ75は表示プロセッサ80及びモニタ90を含む。表示プロセッサ80は、撮像モード・プロセッサ30及び制御プロセッサ50からのディジタルのパラメータ値を受け付ける。表示プロセッサ80は、例えば走査変換機能、カラーマッピング機能、並びに組織/フロー・アービトレーション(arbitration)機能を実行することがある。表示プロセッサ80は、表示のためにディジタルデータに対して処理、マッピング及びフォーマット設定を行い、このディジタル表示データをアナログ表示信号に変換し、かつこのアナログ表示信号をモニタ90に渡している。モニタ90は表示プロセッサ80からのアナログ表示信号を受け入れると共に、得られた画像を表示する。オペレータはモニタ90上で画像を観察することができる。
ユーザインタフェース60は、制御プロセッサ50を介した超音波イメージング・システム5に対するオペレータによるユーザコマンドの入力を可能にしている。ユーザインタフェース60は、例えばキーボード、マウス、スイッチ、ノブ、ボタン、トラックボール、及び/またはスクリーン上メニューを含むことがある。
制御プロセッサ50は超音波イメージング・システム5の中央処理装置である。制御プロセッサ50は、ディジタルバス70を用いて超音波イメージング・システム5の別の構成要素とインタフェースを取っている。制御プロセッサ50は、様々なデータアルゴリズムや様々な撮像及び診断モードに関する機能を実行する。制御プロセッサ50と超音波イメージング・システム5の別の構成要素との間で、ディジタルデータ及びコマンドが送受信されることがある。代替的な一実施形態では、制御プロセッサ50が実行する機能は、複数のプロセッサによって実行させること、かつ/または撮像モード・プロセッサ30及び/または表示プロセッサ80内に組み入れられることがある。別の実施形態では、プロセッサ30、50及び80の機能は、単一のパーソナル・コンピュータ(PC)のバックエンド内に組み入れられることがある。
図2は、本発明の一実施形態による超音波イメージングのための方法200の流れ図を表している。先ず工程210では、トランスジューサ10が患者などの被検体内に超音波エネルギーを送出する。次いで工程220では、被検体から後方散乱された超音波エネルギーすなわちエコーがトランスジューサ10によって受け取られる。信号は、被検体から後方散乱された超音波に応答してフロントエンド20で受け取られる。
次に工程230では、受け取った信号がディジタルバス70を用いてフロントエンド20から撮像モード・プロセッサ30に送られる。工程240では、受け取った信号に基づいて撮像モード・プロセッサ30がパラメータ値を作成する。次いで工程250では、このパラメータ値が制御プロセッサ50に送られる。
工程260では、このパラメータ値が、表示、保存、及びディスプレイ75における診断で使用するために制御プロセッサ50によって処理される。制御プロセッサ50は、画像データパラメータ値を処理して、アーチファクトを低減させ最終の画像(複数のこともある)を処理することがある。制御プロセッサ50及び/または撮像モード・プロセッサ30は、画像データを複合させて複合画像を作成することがある。例えば、複数の角度からの画像データを合成あるいは平均化して空間複合画像を作成することがある。
次に工程270では、処理済みのパラメータ値がディスプレイ75に送られる。さらに、制御プロセッサ50との連係及び/または制御プロセッサ50に対する追加により、表示プロセッサ80が複数の集束ゾーン画像からのパラメータ値を処理して合成画像を作成することもある。
最後に工程280では、診断画像が作成されモニタ90の位置に出力される。この画像は例えば、保存され、表示され、プリントされ、かつ/またはさらに送出されることがある。表示プロセッサ80はディジタル信号データからの処理済みのパラメータ値を用いて診断画像を作成することがある。
空間複合イメージングを実現するために、幾つかの超音波イメージング・システムはすべての方向に対するフル基本波送信またはフル高調波送信を使用している。次いで、受け取ったエコー信号データが合成されて1つの画像が形成される。単一の送信基本波周波数を使用すると激しいグレーティングローブ(grating lobe)アーチファクトを生ずることがある。送信角度が小さくなるに連れて送信信号周波数を低下させると、グレーティングローブの低減に役立つことがある。しかし、送信信号周波数を低下させると信号分解能の劣化が生じる。また一方、高調波送信は基本波周波数と比べて有するグレーティングローブがより少ない。しかし、高調波送信は基本波周波数送信と比べて得られる透過がより小さい。
一実施形態では、基本波及び高調波周波数の送信を合成して最終画像を作成している。グレーティングローブがほとんどないか全くない小さいステアリング角度では、基本波周波数を送信することがある。大きなステアリング角度では、より多くのグレーティングローブが作成されるため、高調波周波数を送信することがある。1つまたは複数の画像を作成するために基本波と高調波のエコー信号が処理されて合成されることがある。ビームステアリング角度に基づいて適当に基本波と高調波の信号を合成することによって、さらにスペックルをより効率よく平滑化することができる。例えば参照により本明細書に組み込むものとするXiaohui Haoらにより2003年10月7日に提出された米国特許出願「Method and Apparatus for Tissue Harmonic Imaging with Natural (Tissue) Decoded Coded Excitation」(米国特許第7,037,265号、整理番号第137741UL号)に開示されているように、低周波数または高周波数の基本送信、並びに単一波、2重波またはコード化高調波を使用し、これらを別の基本波及び/または高調波信号と合成させることもある。撮像モード・プロセッサ30、あるいは別のハードウェアやソフトウェアは、どの種類の信号がトランスジューサ10から撮像しようとする被検体内に発射されたのかを決定する。
ある種の実施形態は、グレーティングローブを低下させる一方で空間分解能を維持している複合イメージング技法を提供する。角度ステアリングに関する周波数を低下させると共に、例えばステアリング角度が0を超える場合に高調波イメージングを使用する。一実施形態では、参照により本明細書に組み込むものとするFeng Linらにより2002年12月31日に提出された「Method and Apparatus for Ultrasonic Speckle Reduction Using Wideband Frequency Compounding with Tissue−Generated Harmonics」と題する特許出願(米国出願第10/335,277号)に開示されているような周波数複合(または、可変周波数イメージング)を利用することがある。さらに、参照により本明細書に組み込むものとするXiaohui Haoらにより2003年11月7日に提出された特許出願「Method and Apparatus for Ultrasound Compound Imaging with Combined Fundamental and Harmonic Signals」(米国出願第10/703,903号)に開示されているような基本波と高調波の信号を合成させた超音波複合イメージングを用いるとスペックル抑制の改善に役立つことがある。
図3は、本発明の一実施形態により使用される改良式の空間複合システム300を表している。システム300は、空間複合させるフレーム間の運動を推定しこれを補償するために使用されることがある。システム300は、探触子310、ビーム形成モジュール320、Bモード処理モジュール330、フレームバッファ更新モジュール340、運動推定モジュール350、メモリ更新モジュール360、運動補償モジュール370、フレーム合算モジュール380、及びディスプレイ390を含む。システム300の構成要素は、ソフトウェアの形及び/またはハードウェアの形で実現することができる。システム300の構成要素は、別々に実現させることができ、かつ/または例えば様々な形式で合成させることができる。システム300は任意の超音波撮像モードを用いて動作することがあるが、以下の説明では、単に例示のみを目的としてBモード超音波イメージングを用いて例証している。
動作時において、探触子310から受け取ったエコーが先ずビーム形成ブロック320で集束される。次いで、Bモード処理ブロック330においてBモードフレームが形成され、フレームバッファ340にこれが保存される。フレームバッファ340内のフレームの総数はN+1(ここで、Nは複合画像の作成に使用されるフレームの数)とすることがある。新たなフレームが形成されるたびに、フレームバッファ340内の最も古いフレームは除去されてこの新フレームに置き換えられる。運動推定ブロック350では、新フレームと先行フレームの間の運動が推定される。次いで、推定した運動を使用して運動メモリ360内に保存されている既存の運動情報が更新される。この運動情報は、複合画像の作成のために使用するすべてのフレーム間の運動を記述している。運動補償ブロック370では、この更新済み運動情報に基づいて旧フレームを新フレームに対して整列させる。整列させたフレームは複合ブロック380において合算される。最後的に、ディスプレイ390に複合画像が表示される。
ある種の実施形態は「更新」モードで動作する。旧フレーム同士の間の運動は新フレームを受け取る前にすでに推定済みであるため、新フレームが到来するたびに、新フレームと先行フレームの間の運動だけを推定する。先行フレームは、例えば時間的に隣接したフレーム、空間的に隣接したフレーム、最終の同角度フレーム、または最終の複合画像となるように選択することができる。例えば、時間的に隣接したフレームが選択された場合、組織の運動及び歪みは最も少なくなるが、画像が様々な角度から走査を受けていることがあるために画像は互いに類似しないことがある。同角度フレームが選択された場合、ステアリング角度が同じであるために走査した画像は互いに類似するが、これらの画像は時間的に離れたものとなり得る。空間的に隣接したフレーム及び最終の複合画像の特徴は、例えば同角度フレームの場合と時間的に隣接したフレームの場合との間に来ることがある。
図4は、本発明の一実施形態により使用される5つの複合フレームからなる時間シーケンスを表している。新フレームFに対して、フレームFn−1は時間隣接フレームであり、フレームFn−2及びFn−3は空間隣接フレームであり、フレームFn−5は同角度フレームであり、かつ最終の複合画像はFn−5からFn−1までのレジストレーション後の和である。この運動は、既存の任意の方法(例えば、相互相関法)によって推定されることがある。この運動は、例えば確度と複雑性の間の所望の折衷関係に応じて剛性、アフィン、または弾性とするようにモデル化されることがある。
一実施形態では、普遍性を損なうことなく、フレームjからフレームiへの運動はUijと表すことができ、フレームiからフレームjへの運動はUji=Uij −1と表すことができ、かつ整列はf’=Uijと表すことができる(ここで、fは原始フレームでありまたf’はフレームiに対して整列させたフレームjである)。運動UikはUij及びUjkからUjk=Uijjkを用いて導出されることがある。一実施形態では、同じフレーム同士の運動Uiiは単位値(unit)であり、1と記載している。
運動メモリ360では、各先行フレームと現行フレームの間の運動{Uni,i=n,n−1,n−2,・・・}(ここで、nは現行フレーム)が保存される。新たなフレームn+1が形成されると、運動U(n+1)j(ここで、jは選択した先行フレーム)が先ず推定される。次いで、次式によって新たな運動組を計算することができる。
Figure 2006346459
(式1)
例えばフレームデータに対して、空間可変性のシェーディングが適用されることがある。このシェーディングは、エッジ・アーチファクトの低減や画像均一性の改善など複数の恩恵を有することがある。重み付けした画像データを用いた空間複合イメージングに対するシェーディングの一例が、参照により本明細書に組み込むものとするMichael Washburnらにより2004年8月9日に提出された「Range Dependent Weighting for Spatial Compound Imaging」と題する特許出願(出願第10/914,326号)に記載されている。不要なアーチファクトを避けるために、フレームデータに対して先ずシェーディングが適用され、次いでシェーディング済みデータとシェーディング自体の両者に対して運動補正が実施されることがある。整列させたフレームデータとシェーディングが合算されると共に、シェーディング和を用いたフレーム和の正規化(normalize)によって複合データが計算される。
Figure 2006346459
(式2)
図5は、本発明の一実施形態により使用される運動補正を伴った改良式複合イメージングのための方法500の流れ図を表している。先ず工程505では、運動補正が初期化される。例えば、フレームバッファ及び運動メモリがリセットされる。次いで工程510では、新フレームの受け取りが判定される。新たなフレームを受け取っていない場合、例えば運動補正方法が終了となることや、新フレームの受け取りを待つことがある。新たなフレームを受け取った場合、工程515において、この新フレームデータに対してシェーディングが適用される。空間可変性シェーディングなどのシェーディングは、エッジ・アーチファクトを低減させ画像を平滑化して均一性を向上させるために使用されることがある。工程520では、シェーディング済みデータによってフレームバッファが更新される。
次に工程525では、新フレームと先行フレームの間の運動が推定される。例えばこれらのフレームが異なる時点で収集されているために、組織及び/または探触子の動きによってフレーム間に運動アーチファクトやオブジェクトの差が導入されることがある。画像データの比較など新フレームと先行フレームとを比較すると、フレーム間で推定される運動の影響が明らかとなることがある。ある種の実施形態では、相互相関及び/または基準点に基づくレジストレーションなど1つまたは複数の方法を用いてフレーム間の運動を推定することができる。工程530では、この運動推定値によって運動メモリが更新される。例えば、運動推定値を用いて、運動メモリ内に保存されている運動情報が更新される、さもなければ修正される。
次いで工程535では、画像フレームに対して運動補償が実行される。例えば、運動情報を使用してこれらのフレーム内の運動が補償される。例えば、運動情報を用いて新フレームに対して旧フレームを整列させることがある。フレーム間での運動の影響を補償するには、様々な運動補正方法を用いることができる。
例えば、アフィン変換を用いてフレーム内の運動の影響を補償することがある。アフィン変換とは、画像内において共直線性(collinearity)及び距離の比が保全されるような任意の変換である。すなわち、当初ある直線に沿って存在するすべての点は変換後においても当該直線に沿って存在し、また線分の中点は変換後においても当該線分の中点のままである。アフィン変換の例には、幾何学的縮小(contraction)、伸長(expansion)、膨張(dilation)、反射、回転、せん断(shear)、相似変換、らせん状(spiral)相似、平行移動、前記を組み合わせたもの、及び/または回転、平行移動、膨張及びせん断からなる別の合成が含まれる。例えば、フレーム間の運動をアフィン変換によってモデル化する場合、運動推定において先ず、スケールファクタ(s)、回転角度(アルファ)、初期x座標位置(x0)、及び初期y座標位置(y0)が評価される。運動補償では、計算したs、アルファ、x0及びy0を用い次式に示したようにしてアフィン変換が実施される。
x’=(scosα)x+(ssinα)y−s(xcosα+ysinα)
y’=(−ssinα)x+(scosα)y+s(xsinα+ycosα)
工程540では、フレームが合算されて1つの複合画像が形成される。例えば、整列させたフレームを空間的に合算して1つの空間複合画像が形成されることがある。次いで工程545では、複合画像を形成し終えた後、この複合画像データが正規化される。次に工程550において、追加的な新たな画像フレームの処理を要する場合、本方法は工程510の位置から反復される。新フレームに基づいてシェーディング、運動情報、運動補償、その他が調整される。処理すべき新たな画像フレームがない場合、複合画像に対する運動補正は終了する。この補正複合画像は例えば、保存される、表示される、かつ/または送信されることがある。
したがって、ある種の実施形態は超音波空間複合画像のリアルタイム運動補正のための効率がよい方法及びシステムを提供する。ある種の実施形態は、フレームを受け取りながら、かつ/またはフレームを受け取り終えた後に運動補正を提供しており、処理に関して任意の数のフレームに対応することができる。ある種の実施形態は、複合の前に適正に整列させた複合画像を作成している。
ある種の実施形態は、先行の推定値が保存されているために、1回のフレーム更新ごとに1つの運動推定値を取得する。先行フレーム同士の間のオフセットを用いると、新フレームをある先行フレームと比較した1つの推定値によって、これらのフレーム間の関係の特定、並びに運動の影響を低減させるような複合画像の整列調整が可能である。
本発明に関してある種の実施形態を参照しながら記載してきたが、本発明の趣旨を逸脱することなく様々な変更が可能であると共に、等価物による置換が可能であることは当業者であれば理解するであろう。さらに、多くの修正形態により、本発明の趣旨を逸脱することなく具体的な状況や材料を本発明の教示に適応させることができる。したがって、開示した特定の実施形態に本発明を限定しようという意図ではなく、本発明は添付の特許請求の範囲の域内に入るすべての実施形態を包含するように意図している。
本発明の一実施形態により使用される超音波イメージング・システムのブロック図である。 本発明の一実施形態による超音波イメージングのための方法の流れ図である。 本発明の一実施形態により使用される改良式の空間複合システムの図である。 本発明の一実施形態により使用される時間フレーム・シーケンスを表した図である。 本発明の一実施形態により使用される運動補正を伴った改良式複合イメージングのための方法の流れ図である。
符号の説明
5 超音波イメージング・システム
10 トランスジューサ
20 フロントエンド
30 撮像モード・プロセッサ
50 制御プロセッサ
60 ユーザインタフェース
70 ディジタルバス
75 ディスプレイ
80 表示プロセッサ
90 モニタ
300 改良式空間複合システム
310 探触子
320 ビーム形成モジュール
330 Bモード処理モジュール
340 フレームバッファ更新モジュール
350 運動推定モジュール
360 メモリ更新モジュール
370 運動補償モジュール
380 フレーム合算モジュール
390 ディスプレイ

Claims (10)

  1. 複合超音波イメージングにおけるリアルタイム運動補正のための方法(500)であって、
    画像フレームを受け取る工程(510)と、
    前記画像フレームと先行画像フレームの間の運動を推定する工程(525)と、
    前記推定した運動によって先行運動推定値を更新し、更新済み運動推定値を形成する工程(530)と、
    前記更新済み運動推定値を用いて前記画像フレーム及び前記先行画像フレームを補正する工程(535)と、
    を含む方法(500)。
  2. 前記画像フレームから複合画像を形成する工程(540)をさらに含む請求項1に記載の方法(500)。
  3. 前記推定の工程(525)はさらに、相互相関と基準点レジストレーションのうちの少なくとも一方を用いて前記画像フレームと先行画像フレームの間の前記運動を推定する工程を含む、請求項1に記載の方法(500)。
  4. 前記補正の工程(535)はさらに、前記更新済み運動推定値をアフィン変換において用いて前記画像フレーム及び前記先行画像フレームを補正する工程を含む、請求項1に記載の方法(500)。
  5. 前記補正の工程(535)は画像フレームを受け取りながらリアルタイム補正を提供する、請求項1に記載の方法(500)。
  6. 改良式の複合超音波イメージングのための方法(500)であって、
    画像フレームを受け取る工程(510)と、
    前記画像フレームと先行画像フレームの間の運動を推定する工程(525)と、
    前記運動推定値を用いて前記先行画像フレームを補正する工程(535)と、
    前記画像フレームから複合画像を形成する工程(540)と、
    を含む方法。
  7. 前記運動推定値によって先行運動推定値を更新し、更新済み運動推定値を形成する工程(530)をさらに含む請求項6に記載の方法(500)。
  8. 空間複合超音波イメージングのためのシステム(300)であって、
    複合超音波画像を形成するために複数のフレームを保存することが可能なフレームバッファ(340)と、
    運動推定値を含むデータを保存することが可能なメモリ(360)と、
    新たなフレームと前記フレームバッファからの先行フレームとの間の運動を推定するように構成されたプロセッサであって、前記推定した運動に基づいて前記フレームバッファ(340)内のフレームを補正することが可能であり、かつ前記フレームバッファ(340)内のフレームを合成して1つの空間複合画像を形成しているプロセッサと、
    を備えるシステム(300)。
  9. 前記プロセッサは、時間的に隣接したフレーム、空間的に隣接したフレーム、最終の同角度フレーム、及び最終の複合画像のうちの1つから前記先行フレームを選択している、請求項8に記載のシステム(300)。
  10. 前記プロセッサは、前記推定した運動を剛性、アフィン及び弾性のうちの少なくとも1つとしてモデル化している、請求項8に記載のシステム(300)。
JP2006163094A 2005-06-14 2006-06-13 超音波空間複合イメージングのリアルタイム運動補正のための方法及び装置 Pending JP2006346459A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/152,653 US8068647B2 (en) 2005-06-14 2005-06-14 Method and apparatus for real-time motion correction for ultrasound spatial compound imaging

Publications (1)

Publication Number Publication Date
JP2006346459A true JP2006346459A (ja) 2006-12-28

Family

ID=37489798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006163094A Pending JP2006346459A (ja) 2005-06-14 2006-06-13 超音波空間複合イメージングのリアルタイム運動補正のための方法及び装置

Country Status (3)

Country Link
US (1) US8068647B2 (ja)
JP (1) JP2006346459A (ja)
DE (1) DE102006027992A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101625256B1 (ko) 2009-03-13 2016-05-27 인터내셔널 비지네스 머신즈 코포레이션 심장 m-모드 뷰들의 자동 분석
WO2016129842A1 (ko) * 2015-02-10 2016-08-18 삼성전자 주식회사 초음파 진단 장치 및 초음파 프로브 제어 방법
US11041945B2 (en) 2015-02-10 2021-06-22 Samsung Electronics Co., Ltd. Ultrasonic diagnostic apparatus and method for controlling ultrasonic probe to transmit a plurality of plane wave sets at a plurality of steering angles so that a grating lobe is outside a region of interest

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097108A1 (ja) * 2006-02-22 2007-08-30 Hitachi Medical Corporation 超音波診断装置
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
US7713209B2 (en) * 2007-05-21 2010-05-11 Siemens Medical Solutions Usa, Inc. Targeted contrast agent imaging with medical diagnostic ultrasound
JP2009100971A (ja) * 2007-10-24 2009-05-14 Ge Medical Systems Global Technology Co Llc 超音波撮像装置
US10531859B2 (en) 2008-01-02 2020-01-14 Arcscan, Inc. Components for a precision ultrasonic scanning apparatus for body parts
WO2009088947A2 (en) 2008-01-02 2009-07-16 Arcscan, Inc. Components for an ultrasonic arc scanning apparatus
JP2010075586A (ja) * 2008-09-29 2010-04-08 Ge Medical Systems Global Technology Co Llc 超音波診断装置
JP5789195B2 (ja) * 2008-12-08 2015-10-07 シリコンバレー メディカル インスツルメンツ インコーポレイテッド 画像誘導のためのカテーテルのシステム
US8469890B2 (en) * 2009-03-24 2013-06-25 General Electric Company System and method for compensating for motion when displaying ultrasound motion tracking information
JP5478328B2 (ja) * 2009-09-30 2014-04-23 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
EP2632338B1 (en) * 2010-10-28 2015-07-01 Boston Scientific Scimed, Inc. Systems and methods for reducing non-uniform rotation distortion in ultrasound images
US9597059B2 (en) * 2012-05-17 2017-03-21 Arcscan, Inc. Correcting for unintended motion for ultrasonic eye scans
US9320427B2 (en) 2012-07-09 2016-04-26 Arcscan, Inc. Combination optical and ultrasonic imaging of an eye
US10736605B2 (en) 2014-02-24 2020-08-11 Arcscan, Inc. Disposable eyepiece system for an ultrasonic eye scanning apparatus
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
JP6705134B2 (ja) * 2015-08-21 2020-06-03 コニカミノルタ株式会社 超音波画像診断装置、超音波画像処理方法及び超音波画像処理プログラム
US11426611B2 (en) 2015-10-13 2022-08-30 Arcscan, Inc. Ultrasound therapeutic and scanning apparatus
US10888301B2 (en) 2015-10-13 2021-01-12 Arcscan, Inc. Ultrasonic scanning apparatus
WO2017201287A1 (en) 2016-05-19 2017-11-23 Acist Medical Systems, Inc. Position sensing in intravascular processes
EP3457946B1 (en) 2016-05-19 2023-05-03 Acist Medical Systems, Inc. Position sensing in intravascular processes
EP3255607B1 (en) 2016-06-08 2020-05-13 Esaote S.p.A. Method and system for estimating motion between images, particularly in ultrasound spatial compounding
US11953593B2 (en) 2017-02-10 2024-04-09 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion
WO2019226626A1 (en) * 2018-05-22 2019-11-28 The Board Of Trustees Of The Leland Stanford Junior University Combined frequency and angle compounding for speckle reduction in ultrasound imaging

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05220138A (ja) * 1992-02-12 1993-08-31 Yokogawa Medical Syst Ltd 超音波診断装置
JPH06285064A (ja) * 1993-04-07 1994-10-11 Toshiba Corp 超音波診断装置
JPH10108073A (ja) * 1996-09-27 1998-04-24 Fuji Photo Film Co Ltd 骨部画像処理方法および装置
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2001521404A (ja) * 1996-02-29 2001-11-06 アキューソン コーポレイション 多重超音波画像見当合わせシステム、その方法、及び、トランスジューサ
JP2002045358A (ja) * 2000-05-01 2002-02-12 Ge Medical Systems Global Technology Co Llc 嚢胞性物体の自動的な検出及び寸法測定の方法及び装置
JP2002526225A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレ補正された空間合成を行なう超音波診断撮像システム
JP2002526226A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的に合成された超音波診断画像のブレを補正する方法
US20020120195A1 (en) * 1998-11-20 2002-08-29 Acuson Corporation Medical diagnostic ultrasound imaging methods for extended field of view
WO2004019058A1 (en) * 2002-08-21 2004-03-04 Koninklijke Philips Electronics N.V. Ultrasonic imaging apparatus with adaptable spatial image combination
US20060030776A1 (en) * 2004-08-09 2006-02-09 General Electric Company Range dependent weighting for spatial compound imaging

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1242267A (en) * 1984-09-25 1988-09-20 Rainer Fehr Real time display of an ultrasonic compound image
US5555534A (en) * 1994-08-05 1996-09-10 Acuson Corporation Method and apparatus for doppler receive beamformer system
CN1194047A (zh) * 1995-03-22 1998-09-23 德国Idt国际数字技术有限公司 在多帧幅上协调确定移动的方法和设备
US6126599A (en) * 1998-10-01 2000-10-03 Atl Ultrasound, Inc. Ultrasonic diagnostic imaging system with real time spatial compounding processor
US6390980B1 (en) * 1998-12-07 2002-05-21 Atl Ultrasound, Inc. Spatial compounding with ultrasonic doppler signal information
US6416477B1 (en) * 2000-08-22 2002-07-09 Koninklijke Philips Electronics N.V. Ultrasonic diagnostic systems with spatial compounded panoramic imaging
US6464638B1 (en) * 2000-10-05 2002-10-15 Koninklijke Philips Electronics N.V. Ultrasound imaging system and method for spatial compounding
US20030103567A1 (en) * 2001-12-03 2003-06-05 Riemens Abraham Karel Motion compensation and/or estimation
US7433524B2 (en) * 2003-05-08 2008-10-07 Ricoh Company, Ltd. Processing system with frame rate and image quality optimized
DE102004005906B3 (de) 2004-02-05 2005-09-29 W.C. Heraeus Gmbh Verfahren zur Herstellung von 1,2-Diaminocylohexan-Platin(II)-Komplexen
JP4648652B2 (ja) * 2004-06-24 2011-03-09 テルモ株式会社 超音波診断装置および超音波診断装置の作動方法
TWI308459B (en) * 2005-10-26 2009-04-01 Univ Nat Chiao Tung Context-aware frame memory scheme for motion compensation in video decoding

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05220138A (ja) * 1992-02-12 1993-08-31 Yokogawa Medical Syst Ltd 超音波診断装置
JPH06285064A (ja) * 1993-04-07 1994-10-11 Toshiba Corp 超音波診断装置
JP2001521404A (ja) * 1996-02-29 2001-11-06 アキューソン コーポレイション 多重超音波画像見当合わせシステム、その方法、及び、トランスジューサ
JPH10108073A (ja) * 1996-09-27 1998-04-24 Fuji Photo Film Co Ltd 骨部画像処理方法および装置
JP2002526225A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ブレ補正された空間合成を行なう超音波診断撮像システム
JP2002526226A (ja) * 1998-10-01 2002-08-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 空間的に合成された超音波診断画像のブレを補正する方法
US20020120195A1 (en) * 1998-11-20 2002-08-29 Acuson Corporation Medical diagnostic ultrasound imaging methods for extended field of view
JP2000342558A (ja) * 1999-06-04 2000-12-12 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2002045358A (ja) * 2000-05-01 2002-02-12 Ge Medical Systems Global Technology Co Llc 嚢胞性物体の自動的な検出及び寸法測定の方法及び装置
WO2004019058A1 (en) * 2002-08-21 2004-03-04 Koninklijke Philips Electronics N.V. Ultrasonic imaging apparatus with adaptable spatial image combination
US20060030776A1 (en) * 2004-08-09 2006-02-09 General Electric Company Range dependent weighting for spatial compound imaging
JP2006051356A (ja) * 2004-08-09 2006-02-23 General Electric Co <Ge> 空間合成画像生成のための距離依存重み付け

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101625256B1 (ko) 2009-03-13 2016-05-27 인터내셔널 비지네스 머신즈 코포레이션 심장 m-모드 뷰들의 자동 분석
WO2016129842A1 (ko) * 2015-02-10 2016-08-18 삼성전자 주식회사 초음파 진단 장치 및 초음파 프로브 제어 방법
US11041945B2 (en) 2015-02-10 2021-06-22 Samsung Electronics Co., Ltd. Ultrasonic diagnostic apparatus and method for controlling ultrasonic probe to transmit a plurality of plane wave sets at a plurality of steering angles so that a grating lobe is outside a region of interest

Also Published As

Publication number Publication date
DE102006027992A1 (de) 2006-12-21
US8068647B2 (en) 2011-11-29
US20070014445A1 (en) 2007-01-18

Similar Documents

Publication Publication Date Title
US8068647B2 (en) Method and apparatus for real-time motion correction for ultrasound spatial compound imaging
Perrot et al. So you think you can DAS? A viewpoint on delay-and-sum beamforming
US9451932B2 (en) Clutter suppression in ultrasonic imaging systems
JP5341352B2 (ja) 超音波画像化システムのクラッター抑制本出願は、2004年12月30日に出願された米国仮特許出願No.60/640,368に基づき優先権の利益を主張する。本出願は、2004年1月7日に出願した米国仮特許出願No.60/534,390に関連し、明細はここに参照のため組み込まれている。
US20130258805A1 (en) Methods and systems for producing compounded ultrasound images
JP5063515B2 (ja) 超音波診断装置
US10456116B2 (en) Shadow suppression in ultrasound imaging
US20060173313A1 (en) Coherence factor adaptive ultrasound imaging
KR20080039446A (ko) 실시간 공간 합성을 이용하는 흐름 영상처리를 위한 초음파영상처리 시스템 및 방법
US20080214934A1 (en) Inter-frame processing for contrast agent enhanced medical diagnostic ultrasound imaging
EP2995259A1 (en) Ultrasound optimization method and ultrasonic medical device therefor
WO2013128301A2 (en) Clutter suppression in ultrasonic imaging systems
US20130343627A1 (en) Suppression of reverberations and/or clutter in ultrasonic imaging systems
KR101792589B1 (ko) 빔포머, 진단시스템, 의료영상시스템 및 진단영상을 표시하는 방법
US20070083109A1 (en) Adaptive line synthesis for ultrasound
JP5069022B2 (ja) 超音波撮像で使用するための正確な時間遅延推定の方法及びシステム
KR20150112057A (ko) 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법
US20090204003A1 (en) Tracking selection for medical diagnostic ultrasound imaging
US20110245676A1 (en) Method and apparatus for ultrasound signal acquisition and processing
US8891840B2 (en) Dynamic steered spatial compounding in ultrasound imaging
JP6415852B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理方法
US20230061869A1 (en) System and methods for beamforming sound speed selection
CN111012379B (zh) 用于执行超声成像的方法和系统
US11141138B2 (en) Kalman filtering for flash artifact suppression in ultrasound imaging
JP5190248B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110920

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131022