JP2006043431A - ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法 - Google Patents

ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法 Download PDF

Info

Publication number
JP2006043431A
JP2006043431A JP2005172598A JP2005172598A JP2006043431A JP 2006043431 A JP2006043431 A JP 2006043431A JP 2005172598 A JP2005172598 A JP 2005172598A JP 2005172598 A JP2005172598 A JP 2005172598A JP 2006043431 A JP2006043431 A JP 2006043431A
Authority
JP
Japan
Prior art keywords
image
images
noise
volume
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005172598A
Other languages
English (en)
Other versions
JP4820582B2 (ja
Inventor
Ilmar A Hein
イルマー・エー・ハイン
Katsuyuki Taguchi
克行 田口
D Silver Michael
マイケル・ディー・シルバー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Publication of JP2006043431A publication Critical patent/JP2006043431A/ja
Application granted granted Critical
Publication of JP4820582B2 publication Critical patent/JP4820582B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/027Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis characterised by the use of a particular data acquisition trajectory, e.g. helical or spiral
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

【課題】ウィンドミルアーチファクトを補正しながら、端の鋭さとバックグラウンドノイズパターンを保持すること。
【解決手段】第1画像ボリュームを構成する複数の第1画像を取得し、複数の第1画像をフィルタリングして少なくとも2つの第1画像の平均からなる複数の第2画像を生成し、複数の第1画像から一の第1画像を選択し、一の第1画像に対応する一の第2画像に消失ノイズ画像を加えてノイズが回復された画像を生成し、複数の第2画像内の画素値に基づいて第2画像内の各画素位置で勾配値を含む勾配画像を決定し(603)、撮影アーチファクトを含まない補正された画像を得るために、決定された勾配画像に基づいて第1画像とノイズが回復された画像を組み合わせる。
【選択図】図6

Description

本発明は、医用画像を強調およびフィルタリングし、アーチファクトを除去することに関する。また本発明は一般に、医用画像自動解析用のコンピュータ化された技術に関する。
X線CT撮影では、アーチファクトの低減または他の理由のために、低域フィルタリングを行うか、いくつかの高解像度の画像(「薄い」画像)を平均化することが一般的である。典型的には、フィルタリングまたは平均化は画像面に垂直な方向(すなわちZ方向)である軸方向で行われる。この結果得られる画像スライスの有効な「厚さ」が厚くなるので、低域フィルタリングはスライスを厚くすることと呼ばれる。スライスを厚くすることの望ましくない影響は、画像解像度が失われることである。これには、撮影する目的の対象物(OOI)の解像度と、バックグラウンドノイズ解像度が含まれる。ノイズ解像度低減の影響は、Z方向のバックグラウンドノイズパターンの粒子サイズが拡大されることである。これは、特に冠状面フォーマットまたは矢状面フォーマットの画像を見る場合、臨床的見地から望ましくない。
ヘリカルマルチスライスCTシステムが生成した画像は、中間のヘリカルピッチ値と高いヘリカルピッチ値で動作したときに、明瞭なタイプのアーチファクトを示す。アーチファクトは、特徴が軸方向に変わる構造の周囲の領域で明暗が交替する形で現れる。アーチファクトの形は風車の羽根に似ているので、「ウィンドミル」アーチファクトと呼ばれる。このアーチファクトは文献では単に「ヘリカル」アーチファクトとも呼ばれる。一般に見られるのは、高密度の骨格が低密度の軟組織に囲まれている場合である。ウィンドミルアーチファクトは、骨格から出る軟組織に、光と影が交替する「羽根」として現われる。アーチファクトの原因は高いヘリカルピッチにより軸方向におけるサンプリングが不適切になることである。これは純粋に幾何学的な関数であり、すべてのヘリカルマルチスライスCT再構成アルゴリズムで生じる。ウィンドミルアーチファクトを伴う画像は「アーチファクト画像」と呼ばれる。ウィンドミルアーチファクトを低減するほとんどの方法は、ノイズの他にも鋭い縁や他の構造を平滑化する。そのような画像は「平滑画像」と呼ばれる。
米国特許第5,825,842号
本発明の目的は、ウィンドミルアーチファクトを補正しながら、端の鋭さとバックグラウンドノイズパターンを保持するシステム、方法、およびコンピュータプログラム製品を提供することにある。
本発明の第1局面は、第1画像ボリュームを構成する複数の第1画像を取得し、前記複数の第1画像をフィルタリングして、各々が前記複数の第1画像内の少なくとも2つの画像の平均である複数の第2画像を生成し、前記複数の第1画像から一の第1画像を選択し、前記複数の第1画像から選択された画像に対応する前記複数の第2画像の中の一の第2画像に、消失ノイズの情報を加えて、回復ノイズ画像を生成し、前記第2画像内の各画素位置における勾配の情報を、前記複数の第2画像の画素値に基づいて決定し、撮影アーチファクトが抑制された画像を得るために、前記決定された勾配の情報に基づいて、前記第1画像と前記回復ノイズ画像とを組み合わせる医用画像処理方法である。
本発明の第2局面は、対象物を透過するコーンビームX栓を生成するように構成されたX線生成手段と、前記対象物を透過するX線に基づいて、投影データを出力するように構成されたX線検出手段と、前記X線検出手段が出力した前記投影データに基づいて、複数の二次元画像を含むCTボリューム画像を生成するように構成された再構成処理手段と、前記生成されたCTボリューム画像の軸方向の少なくとも1つの勾配値を計算するように構成された勾配計算手段と、撮影アーチファクトが抑制されたCTボリューム画像を生成するために、前記少なくとも1つの計算された勾配値に基づいて、前記CTボリューム画像をフィルタリングするように構成された画像フィルタリング手段とを備えるX線CT装置である。
本発明の第3局面は、集合的に第1画像ボリュームを定義する複数の第1画像を得ることと、前記複数の第1画像内の少なくとも2つの画像の平均を含む複数の第2画像を生成するために前記複数の第1画像をフィルタリングすることと、前記複数の第1画像から第1画像を選択することと、前記第2画像内の各画素位置における勾配値を含む勾配画像を、前記複数の第2画像内の画素値に基づいて決定することと、撮影アーチファクトがが抑制された画像を得るために、前記決定された勾配画像に基づいて、前記第1画像と、前記複数の第2画像内で前記第1画像内の第1画像に対応する第2画像とを組み合わせることとを含む医用画像処理方法である。
本発明によれば、ウィンドミルアーチファクトを補正しながら、端の鋭さとバックグラウンドノイズパターンを保持することができる。
本発明の実施形態は、ウィンドミルアーチファクトを補正し、縁の鋭さとバックグラウンドノイズパターンを保持するシステム、方法、および、コンピュータプログラム製品に関する。図1に示すように、アーチファクト画像101と平滑画像104を組み合わせ、補正された画像105を形成する。これは、2つの入力画像すなわちアーチファクト画像101と平滑画像104の適合混合によって達成される。ここで、コントロール画像103と混合関数120(F{})が入力画像の混合方法を決定する。さらに、平滑画像104は、高解像度ノイズを平滑画像102に回復する回復ノイズユニット110の出力である。これは図1に示す。
本発明の好ましい実施形態に対応するシステムを図2に示す。一般に、iインデックスとjインデックスは横方向のx方向およびy方向の画素を表わし、sインデックスは軸方向であるZ方向のスライス位置を表わす。入力はアーチファクト画像ボリューム200であり、たとえばCT撮影装置によって得られる複数のアーチファクト画像スライスを含む。
コントロール画像203と平滑画像204はアーチファクト画像200内の画像から生成されるが、他の実施形態では、コントロール画像203はアーチファクト画像ボリューム200とは異なる他のソースまたは基準に基づいていてもよい。別法としては、アーチファクト画像ボリューム200の他の処理は、シャープ化など、平滑化以外の方法で実装してもよい。アーチファクト画像ボリューム200からの画像スライスは、スライス増厚ユニット210でアーチファクトスライスを「厚くする」ことによって平滑化される。これについては後述する。他の実施形態では、スライスを厚くすることは、スライスを薄くする関数または所定の他の関数など、厚くすること以外の関数であってもよい。この結果得られる厚み画像ボリューム202は、低減されたウィンドミルアーチファクト、低減された構造、低減されたノイズ解像度を有する。厚み画像ボリューム202の画像中のノイズ解像度は、スライスを厚くするユニット210によって消失ノイズと似た、消失ノイズ206を加えることによって回復ノイズユニット230によって回復される。この結果得られる厚みNR画像204は、補正された画像205を生成する適応加重混合関数220へ入力される(入力画像2)。コントロール画像203は、厚み画像ボリューム202を処理する、フィルタリングされた勾配ユニット250によって生成される。他の実施形態では、コントロール画像203は、勾配関数と異なる関数を使用して厚み画像ボリューム202から生成することができる。1実施形態では、アーチファクト画像ボリューム200からのアーチファクト画像を画像強調ユニット240によって強調し、混合の前にさらに縁を鋭くする。強調画像には依然としてウィンドミルアーチファクトが含まれており、アーチファクト’画像201と呼ばれ、これがアーチファクト画像の強調バージョンであることを示す。図2に示すように、アーチファクト’画像201は適応加重混合関数220へ入力される(入力画像1)。
(スライスを厚くする)
スライスを厚くするユニット210は、アーチファクト画像ボリューム200からのいくつかのアーチファクトスライスを平均化する。平均化は、ウィンドミルアーチファクトを低減し、また画像とノイズの解像度を低減する結果を生じる、アーチファクトスライスを組み合わせる非加重平均化、加重平均化、適応決定加重平均化、または、他の方法であってよい。好ましい実施形態では、加重平均低域フィルタは厚み画像ボリューム202内の画像を生成するように実装される。この方法は次式の通りである。
Figure 2006043431
上式で、NTAvgは平均化に使用したスライスの数、WThk[c]は加重である。他の実施形態では、スライスを厚くする異なる方法を使用することができる。
(回復ノイズ)
スライスを厚くするステップの低域通過型フィルタリングにより、高周波数空間成分が除去される。これは図3の影をつけた領域に示す。除去された周波数成分は、ウィンドミルアーチファクトに寄与する周波数成分、および、組織構造とノイズを表す周波数成分である。ノイズ解像度低減の1つの結果は、Z方向のバックグラウンドノイズパターンの粒子サイズが伸ばされることである。これは、冠状面フォーマットまたは矢状面フォーマットの画像を見る場合、臨床的見地から望ましくない。回復ノイズユニット230は、消失ノイズ画像206を厚み画像ボリューム内の画像に追加して戻すことによって、バックグラウンドノイズパターンをアーチファクト画像のバックグランドノイズパターンに回復する。これは図4(a)、図4(b)、図4(c)に示す。回復ノイズユニット230は次の4つのステップを行なう。
(1;ノイズ画像ボリュームを生成または取得する)
アーチファクト画像と同じノイズ特性を有する純粋なノイズ画像ボリュームを生成または取得しなければならない。アーチファクト画像ボリュームの画像の数Nおよびスライス間隔ΔZNは、Z方向でノイズパターンを適切にサンプリングするのに十分でなければならない。ノイズパターンは、kV、mA、ヘリカルピッチ、スライス間隔、検出器セグメント幅などのシステムパラメータと、FOV、スライス間隔、畳み込みカーネル、画像の厚さなどの再構成パラメータの関数である。純粋なノイズボリュームは数学的に生成するか、物理的に取得することができる。好ましい実施形態では、純粋なノイズ画像は限定された数の取得と再構成のパラメータ設定に関して水ファントムから得て、補間して、アーチファクト画像ボリューム200に関する取得と再構成の設定と一致させる。
(2;純粋なノイズボリュームを厚くすること)
図4(a)に示すように、純粋なノイズボリュームは、厚み画像ボリューム202に関して使用されたパラメータおよびプロシージャと同じパラメータおよびプロシージャを使用して厚くする。図3を参照されたい。
(3;純粋なノイズ画像ボリュームから厚いノイズ画像ボリュームを引き、消失ノイズボリュームを生成する)
図4(b)に示すように、厚みノイズ画像を、対応する純粋ノイズ画像から引く。この結果、消失ノイズ周波数だけを含む画像ボリュームが得られる。
LOST_NOISE〔i,j,s〕=PURE_NOISE〔i,j,s〕−THICK_NOISE〔i,j,s〕 (2)
(4;消失ノイズ画像を厚み画像に加える)
図4(c)に示すように、消失ノイズ画像を、対応する厚み画像に加える。これは次式の通りである。
THICKNR〔i,j,s〕=LOST_NOISE〔i,j,s〕+THICK〔i,j,s〕 (3)
上式でthickNRはノイズが回復された厚み画像である。他の実施形態では、混合の後に、消失ノイズを補正された画像205に加えて回復ノイズを行ってもよい。
(フィルタリングされた勾配画像の計算)
フィルタリングされた勾配画像は、アーチファクト画像データまたは厚み画像データのいずれかの、x勾配、および、y勾配、z勾配から生成することができる。好ましい実施形態では厚み画像データを使用し、勾配は勾配方向(x、または、y、z)の2つの画素位置における強度の変化の絶対値から計算する。
Figure 2006043431
他の実施形態では、勾配の非絶対値を計算してもよい。ノイズの効果を低減するために、各勾配は勾配方向に沿って低域フィルタリングされる。好ましい実施形態では、低域フィルタリングは、加重平均フィルタで次式のように実行される。
Figure 2006043431
上式でWxGF〔c〕とWzGF〔c〕は平均化加重である。他の実施形態では、フィルタリングなし、異なるタイプのフィルタリング、適応フィルタリングを行ってもよい。
最終的な勾配画像は、個々のフィルタリングされた勾配画像を組み合わせることによって生成される。好ましい実施形態では、加重平均を使用する。
Grad〔i,j,s〕=W・xGradFilt〔i,j,s〕+W・yGradFilt〔i、j、s〕+W・zGradFilt〔i,j,s〕 (10)
上式でW、および、W、Wは各方向勾配の加重である。
(適応加重混合関数)
図5に示すように、適応加重混合関数220は、thickNRからアーチファクト’画像に滑らかな遷移を示す、適応加重カーブWに基づく。図5では3つの例を示す。図5のカーブAでは、thickNRからアーチファクト’画像まで直接の滑らかな遷移が可能である。カーブBとカーブCは、アーチファクト’画像の特定の勾配を伴う構造を抑制する選択的な遷移が可能である。カーブAは好ましい実施形態の中で実装される。用途によっては、異なる遷移曲線を異なる実施形態に組み入れることができる。ブレーク値BThkとBArtは、適応加重の範囲を決定する。したがって、補正された画像205は次式を使用して決定される。
CORRECTED〔i,j,s〕=W{GRAD〔i,j,s〕}・AFTIFACT〔i,j,s〕+(1−W{GRAD〔i,j,s〕})・THICKNR〔i,j,s〕 (11)
好ましい実施形態では、Wは図5の中のカーブAによって与えられる。特にWは次式のように計算される。
Figure 2006043431
(画像強調)
用途に応じて、画像強調ユニット240によるアーチファクト画像の強調が必要になることがある。異なる実施形態では、画像強調は、縁を強調するためのアーチファクト画像のシャープ化、または、アーチファクト画像を厚くすること、所定の他の画像処理関数、アーチファクト画像に強調を行わないことのいずれかであってもよい。
図6は、本発明の1実施形態による医療画像中のアーチファクトを除去する方法のステップを示す。ステップ601では、アーチファクト画像ボリュームを表わすアーチファクト画像を、たとえばコンピュータ断層撮影システムを使用することによって取得する。各アーチファクト画像スライスsは、x方向とy方向でいくつかの画像画素を有し、これらはそれぞれ、インデックスiとインデックスjによって示される。従って、アーチファクト画像ボリューム内のボクセルは、インデックスs、インデックスi、インデックスjによって表わすことができる。
ステップ602では、各アーチファクト画像は、たとえば上記の等式(1)を使用してフィルタリングし、複数の厚み画像を含む厚み画像ボリュームを生成する。
ステップ603では、各方向の勾配値を、各ボクセル位置、すなわち、厚み画像ボリューム内の各画像スライス内の各画素位置〔i、j〕で決定する。上記のように、等式(4)から(10)を使用して、各スライスs内の各位置〔i、j〕における加重/フィルタリング勾配値を決定することができる。この結果得られた、画像スライスsに対する勾配値は、勾配「画像」と考えることができる。
ステップ604では、各アーチファクト画像を強調し、強調されたアーチファクト画像を生成する。上述のように、画像強調は、縁を強調するための各アーチファクト画像のシャープ化、アーチファクト画像を厚くすること、または所定の他の画像処理関数であってよい。
ステップ605では、フィルタリングステップ602で消失ノイズの量を各厚いスライスに関して決定する。これは図4(a)、図4(b)、等式(2)を参照して上述したとおりである。
ステップ606では、消失ノイズは、厚み画像ボリュームを含む厚み画像スライスに追加し戻され、回復された厚み画像を生成する。これは図4(c)と等式(3)を参照して上述したとおりである。
ステップ607では、ステップ603で決定された勾配値に基づいて、各画像sについて各位置〔i、j〕で加重値を決定する。例えば等式(12)から(15)を使用して、図5に示すカーブAを計算することができる。これは、画像スライスs内の位置〔i,j〕における勾配値を加重値Wに関連づける関数であり、ステップ608では、これを使用して強調画像と回復された厚み画像を組み合わせる。
ステップ608では、等式(11)によって加重値Wを使用して、各アーチファクト画像と、対応する回復された厚み画像を組み合わせ、対応する補正された画像を得る。
図7は、本発明の方法によって処理された画像を得るために使用することができるX線CT装置を示す。ガントリ1によって構成される投影データ測定システムは、ほぼコーン形状のX線束のコーンビームを生成するX線源3と、2次元に配置された複数の検出素子、すなわち1つの次元に配置され複数の行にスタックされた複数の素子を含む二次元アレイタイプのX線検出装置5とを備える。X線源3と2次元アレイタイプのX線検出装置5は、対象物の相対する側面に面して、回転リング2の中に設置される。対象物はベッド6のスライディングシート内に横になっている。2次元アレイタイプX線検出装置5は回転リング2上に装着される。各検出素子は1つのチャネルに対応する。X線源3からのX線は、X線フィルタ4を介して対象物に向けられる。対象物を透過したX線は、2次元アレイタイプのX線検出装置5によって電気信号として検出される。
X線コントローラ8は高電圧装置7にトリガ信号を供給する。高電圧装置7は、トリガ信号が受信されるタイミングで、X線源3に高電圧を印加する。これによりX線がX線源3から放射される。ガントリ/ベッドコントローラ9は、ガントリ1の回転リング2の回転と、ベッド6のスライディングシートのスライドを同期的に制御する。システムコントローラ10は、全システムの制御中心を構成し、対象物から見て、X線源3がらせん経路に沿って移動する、いわゆるヘリカルスキャンを行うように、X線コントローラ8とガントリ/ベッドコントローラ9とを制御する。具体的には、回転リング2は固定した角速度で連続的に回転し、その間、スライドプレートは固定速度で移動して、X線は連続的または決定された角度間隔で間歇的にX線源3から放射される。
2次元アレイタイプX線検出装置5の出力信号は、チャネルごとにデータ収集ユニット11によって増幅され、デジタル信号に変換されて、投影データを生成する。データ収集ユニット11から出力される投影データは再構成処理ユニット12に供給される。再構成処理ユニット12は、投影データを使用して、各ボクセル内のX線吸収を反映する逆投影データを見つける。第1の実施形態のように、コーンビームのX線を使用するヘリカルスキャンシステムでは、撮影領域(有効な画像視野)は、回転軸を中心とする半径ωの円筒形である。再構成処理ユニット12は、この撮影領域内で複数のボクセル(3次元画素)を定義し、ボクセルごとに逆投影データを見つける。この逆投影データを使用してコンパイルされた3次元画像データまたは断層撮影画像データはディスプレイ装置14に送信され、3次元画像または断層撮影画像として表示される。
説明を目的とするために、ここでは画像は、所定の撮影技術によって生成された物理的なシーンの表現として定義する。撮影技術の例はテレビ、CCDカメラ、X線、ソナーまたは超音波撮影装置などを含む。画像が記録される最初の媒体は、電子ソリッドステード装置、写真フィルム、光子刺激性リン光体などの他の装置であってもよい。ついで、記録された画像は、電子的な手段(CCD信号の場合など)または機械的/光学的手段(写真フィルムのデジタル化、光子刺激性リン光体などのデータのデジタル化の場合など)の組み合わせによってデジタル形態に変換することができる。
コンピュータ業界の当業者であれば明らかなように、本発明のすべての実施形態は、本発明の教示に従ってプログラミングされた従来の汎用コンピュータまたはマイクロプロセッサを使用して実装することができる。また、ソフトウェア業界の当業者であれば明らかなように、当業界のプログラマであれば本開示の教示に従って適切なソフトウェアを容易に作成することができる。特に、コンピュータ筐体は、CPU、メモリ(DRAM、ROM、EPROM、EEPROM、SRAM、SDRAM、フラッシュRAMなど)、他のオプションの特定用途向け論理デバイス(ASICなど)、またはコンフィギュラブル論理デバイス(GAL、リプログラマブルFPGAなど)などを含むマザーボードを収容することができる。またコンピュータは、複数の入力装置(キーボード、マウスなど)および、モニタを制御するディスプレイカードを含む。さらに、コンピュータは、適切なデバイスバス(SCSIバス、拡張IDEバス、ウルトラDMAバスなど)を使用して接続された、フロッピーディスクドライブ、または、他のリムーバブル媒体デバイス(コンパクトディスク、テープ、リムーバブル光磁気媒体)、ハードディスク、他の固定式高密度媒体ドライブを含むことができる。コンピュータはさらにコンパクトディスク読み取り装置、または、コンパクトディスク読み取り/書き込みユニット、コンパクトディスクジュークボックスを含んでいてもよい。これらは同じデバイスバスに接続してもよいし別のデバイスバスに接続してもよい。
本発明の実施形態に関連づけられるコンピュータ読み取り可能媒体の例は、コンパクトディスク、ハードディスク、フロッピーディスク、テープ、光磁気ディスク、PROM(EPROM、EEPROM、フラッシュEPROMなど)、DRAM、SRAM、SDRAMなどを含む。
本発明の実施形態は、これらのコンピュータ読み取り可能媒体のうちの任意の1つの媒体または媒体の組み合わせの上に、コンピュータのハードウェアを制御し、コンピュータが人間のユーザと相互作用できるようにするソフトウェアを含む。このようなソフトウェアは、デバイスドライバ、および、オペレーティングシステム、開発ツールなどのユーザアプリケーションを含んでいてよいが、これらに限定されるものではない。本発明の実施形態のコンピュータプログラム製品は、コンピュータが実行するとコンピュータに、本発明の実施形態の方法を実行させるコンピュータプログラム命令を記憶する任意のコンピュータ読み取り可能媒体(コンピュータコードデバイスなど)を含む。本発明の実施形態のコンピュータコードデバイスは、任意の解釈可能または実行可能なコードメカニズムであり、スクリプト、インタープリタ、DLL、Javaクラス、完全な実行可能プログラムを含んでいてよいが、これらに限定されるものではない。さらに、本発明の実施形態の処理の一部を、たとえば(1)多数のCPU、または、(2)少なくとも1つのCPUと少なくとも1つのコンフィギュラブル論理デバイスなどの間に分散し、性能、信頼性、および/または、コストを改善することができる。たとえば、アウトラインまたは画像を第1のコンピュータ上で選択し、第2のコンピュータに送信して、遠隔診断を行うことができる。
また、当業者であれば明らかなように、本発明は、特定用途向け集積回路を作成するか、または、従来のコンポーネント回路の適切なネットワークを相互接続することによって実装することができる。
本発明の実施形態の画像データの源は、X線装置、CT装置、MRI装置など、適切な画像取得装置であってよい。さらに、取得されたデータがデジタル形式でない場合は、デジタル化することができる。別法としては、取得され処理される画像データの源は、画像取得装置が生成したデータを記憶するメモリであってよく、メモリはローカルでもあってもリモートであってもよく、リモートの場合、PACS(画像アーカイブコンピュータシステム)などのデータ通信ネットワークを使用して画像データにアクセスし、本発明の実施形態に従って処理することができる。
もちろん、本発明の実施形態の特定のハードウェア実装またはソフトウェア実装は、本発明の範囲内で変更することができる。従って、本発明の実施形態は、付随する請求項および請求項の等価物の範囲内で、本明細書に具体的に説明した方法とは別の方法でも実行できることを理解されたい。
本発明の実施形態による回復ノイズを伴ってウィンドミルアーチファクト低減するためのシステムを示す図である。 本発明の好ましい実施形態によるシステム構成図である。 本実施形態において、スライスを厚くする低域フィルタリング効果を示す図である。 本発明の実施形態による、失われた回復ノイズを示す図である。 本実施形態において、適応加重関数の例で、Aカーブ(滑らかな遷移)、BカーブとCカーブ(選択的な推移)を示す図である。 本発明の実施形態によるアーチファクト低減方法のステップの例を示す図である。 X線CT撮影装置を示す図である。
符号の説明
101…アーチファクト画像、102…平滑画像、103…コントロール画像、104…平滑画像、105…補正された画像、110…回復ノイズユニット、200…アーチファクト画像、201…アーチファクト’画像、202…厚み画像、203…コントロール画像、204…平滑画像、205…補正された画像、206…消失ノイズ、210…スライスを厚くするユニット、220…適応加重混合関数、230…回復ノイズユニット、240…画像強調ユニット、250…勾配ユニット、1…ガントリ、2…回転リング、3…X線源、4…X線フィルタ、5…X線検出装置、6…ベッド、7…高電圧装置、8…X線コントローラ、9…ガントリ/ベッドコントローラ、10…システムコントローラ、11…データ収集ユニット、12…再構成処理ユニット、14…ディスプレイ装置。

Claims (16)

  1. 第1画像ボリュームを構成する複数の第1画像を取得し、
    前記複数の第1画像をフィルタリングして、各々が前記複数の第1画像内の少なくとも2つの画像の平均である複数の第2画像を生成し、
    前記複数の第1画像から一の第1画像を選択し、
    前記複数の第1画像から選択された画像に対応する前記複数の第2画像の中の一の第2画像に、消失ノイズの情報を加えて、回復ノイズ画像を生成し、
    前記第2画像内の各画素位置における勾配の情報を、前記複数の第2画像の画素値に基づいて決定し、
    撮影アーチファクトが抑制された画像を得るために、前記決定された勾配の情報に基づいて、前記第1画像と前記回復ノイズ画像とを組み合わせる医用画像処理方法。
  2. 前記決定ステップは、
    前記第2画像内の各位置において、それぞれの方向だけが異なる座標軸を有する2つの画素位置における画像強度の変化の絶対値に基づいて、方向勾配値を計算し、
    前記第2画像内の各画素位置において、前記方向勾配値の加重平均として勾配値を決定する請求項1に記載の方法。
  3. 前記フィルタリングされた方向勾配値を得るために、前記方向勾配値を低域フィルタリングすることをさらに含み、
    前記勾配値を決定するステップは、前記第2画像内の各位置において、前記フィルタリングされた方向勾配値の加重平均として勾配値を決定する請求項2に記載の方法。
  4. 前記複数の第1画像にそれぞれ対応する複数の純粋なノイズ画像を得、
    前記純粋なノイズ画像をフィルタリングして、少なくとも2つの純粋なノイズ画像の加重平均である厚みノイズ画像を生成し、
    前記第1画像に対応する厚いノイズ画像を、対応する純粋なノイズ画像から引き算して、消失ノイズの情報を生成する請求項1に記載の方法。
  5. 前記取得ステップは、
    前記複数の第1画像のように均一なスライス間隔を有する複数のCT画像スライスを得る請求項1に記載の方法。
  6. 前記フィルタリングステップは、
    前記複数の第1画像内の少なくとも2つの画像について、加重平均化、非加重平均化、適応加重平均化のうち一の処理により、前記複数の第1画像をフィルタリングする含む請求項1に記載の方法。
  7. 前記フィルタリングステップは、次の等式から前記複数の第2画像を決定することを含み、
    Figure 2006043431
    上式でARTIFACTは前記第1画像ボリューム、THICKは前記複数の第2画像に対応する画像ボリューム、NTAvgは、平均化に使用された画像の数、WThk〔c〕は加重である請求項6に記載の方法。
  8. 前記複数の第1画像各々に対して画像強調を行う請求項1に記載の方法。
  9. 前記画像強調ステップは、
    (1)前記複数の第1画像内の各画像の縁を強調する画像シャープ化と、
    (2)前記複数の第1画像内の各画像を厚くすることとのうち1つを含む請求項8に記載の方法。
  10. 前記組み合わせステップは、
    前記勾配画像に基づいて、前記第1画像内のそれぞれの画素位置について加重値を決定し、
    前記決定された加重値を使用して、前記第1画像と前記ノイズが回復された画像の加重平均として前記補正された画像を決定する請求項1に記載の方法。
  11. 前記組み合わせステップは、
    次式を使用して前記補正された画像を決定することを含み、
    C〔i、j〕=W{G〔i、j〕}・X〔i、j〕+(1−W{G〔i、j〕})・Y〔i、j〕
    上式でC〔i、j〕は前記補正された画像、G〔i、j〕は前記勾配画像、Xは前記第1画像、Yは前記ノイズが回復された画像、W{}は、入力勾配値G〔i、j〕に基づいて加重値を出力する加重関数である請求項1に記載の方法。
  12. 対象物を透過するコーンビームX栓を生成するように構成されたX線生成手段と、
    前記対象物を透過するX線に基づいて、投影データを出力するように構成されたX線検出手段と、
    前記X線検出手段が出力した前記投影データに基づいて、複数の二次元画像を含むCTボリューム画像を生成するように構成された再構成処理手段と、
    前記生成されたCTボリューム画像の軸方向の少なくとも1つの勾配値を計算するように構成された勾配計算手段と、
    撮影アーチファクトが抑制されたCTボリューム画像を生成するために、前記少なくとも1つの計算された勾配値に基づいて、前記CTボリューム画像をフィルタリングするように構成された画像フィルタリング手段とを備えるX線CT装置。
  13. 厚いボリューム画像を生成するために前記CT画像ボリュームをフィルタリングするように構成されたスライスを厚くする手段であって、前記厚いボリューム画像は少なくとも1つの厚み画像を含み、前記少なくとも1つの厚み画像は前記CTボリューム画像を含む複数の2次元画像内の少なくとも2つの画像の平均を含む、スライスを厚くする手段をさらに備え、
    前記画像フィルタリング手段は、前記少なくとも1つの計算された勾配値に基づいて、それぞれの加重を使用して、前記CTボリューム画像と前記厚いボリューム画像を選択的に組み合わせることによって前記CTボリューム画像をフィルタリングするように構成される請求項12に記載のX線CT装置。
  14. 前記画像フィルタリング手段は、前記少なくとも1つの計算された勾配値が小さいときに、前記厚いボリューム画像に対応する加重を増加させることによって強力なフィルタリングを行うように構成される請求項13に記載のX線CT装置。
  15. 前記画像フィルタリング手段は、前記少なくとも1つの計算された勾配値が大きいときに、前記CTボリューム画像に対応する加重を増加させることによって弱いフィルタリングを行うように構成される請求項13に記載のX線CT装置。
  16. 集合的に第1画像ボリュームを定義する複数の第1画像を得ることと、
    前記複数の第1画像内の少なくとも2つの画像の平均を含む複数の第2画像を生成するために前記複数の第1画像をフィルタリングすることと、
    前記複数の第1画像から第1画像を選択することと、
    前記第2画像内の各画素位置における勾配値を含む勾配画像を、前記複数の第2画像内の画素値に基づいて決定することと、
    撮影アーチファクトがが抑制された画像を得るために、前記決定された勾配画像に基づいて、前記第1画像と、前記複数の第2画像内で前記第1画像内の第1画像に対応する第2画像とを組み合わせることとを含む医用画像処理方法。
JP2005172598A 2004-08-06 2005-06-13 ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法 Expired - Fee Related JP4820582B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/912,183 US7623691B2 (en) 2004-08-06 2004-08-06 Method for helical windmill artifact reduction with noise restoration for helical multislice CT
US10/912,183 2004-08-06

Publications (2)

Publication Number Publication Date
JP2006043431A true JP2006043431A (ja) 2006-02-16
JP4820582B2 JP4820582B2 (ja) 2011-11-24

Family

ID=35757461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005172598A Expired - Fee Related JP4820582B2 (ja) 2004-08-06 2005-06-13 ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法

Country Status (3)

Country Link
US (1) US7623691B2 (ja)
JP (1) JP4820582B2 (ja)
CN (1) CN100401985C (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148725A1 (ja) * 2006-06-22 2007-12-27 Tohoku University X線ct装置及び同装置の画像再構成方法並びに画像再構成プログラム
JP2012513816A (ja) * 2008-12-25 2012-06-21 メディック ビジョン イメージング ソルーション リミティッド 医療画像のノイズ除去
JP2013506520A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コーンビームct画像におけるアーチファクト低減のための方法
WO2014034618A1 (ja) * 2012-08-30 2014-03-06 株式会社東芝 医用画像処理装置及びx線コンピュータ断層撮影装置
JP2014064899A (ja) * 2012-09-10 2014-04-17 Toshiba Corp X線ct装置及び医用画像処理方法
JP2015159961A (ja) * 2014-02-27 2015-09-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像生成装置、放射線断層撮影装置及び画像生成方法並びにプログラム
WO2018116791A1 (ja) * 2016-12-22 2018-06-28 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法
JP2020049078A (ja) * 2018-09-28 2020-04-02 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252965B1 (en) * 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
US7889943B1 (en) 2005-04-18 2011-02-15 Picture Code Method and system for characterizing noise
US8059905B1 (en) 2005-06-21 2011-11-15 Picture Code Method and system for thresholding
JP4509903B2 (ja) * 2005-09-27 2010-07-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線ct装置
US7515682B2 (en) * 2006-02-02 2009-04-07 General Electric Company Method and system to generate object image slices
JP4414420B2 (ja) * 2006-10-27 2010-02-10 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線断層撮影装置およびアーチファクトの低減方法
JP4350738B2 (ja) * 2006-10-27 2009-10-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X線断層撮影装置およびアーチファクトの低減方法
US20080118128A1 (en) * 2006-11-21 2008-05-22 Thomas Louis Toth Methods and systems for enhanced accuracy image noise addition
US20100328304A1 (en) * 2006-12-14 2010-12-30 Imagnosis Inc. Display direction correcting device, correcting method, and correction program for medical 3d image
US8553967B2 (en) * 2007-06-29 2013-10-08 General Electric Company System and method for a digital X-ray radiographic tomosynthesis user interface
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
US8532437B2 (en) 2009-05-18 2013-09-10 Citrix Systems, Inc. Systems and methods for block recomposition for compound image compression
US8346011B2 (en) * 2009-06-26 2013-01-01 Mayo Foundation For Medical Education And Research Reducing noise in an image
US8554008B2 (en) 2010-04-13 2013-10-08 Vivante Corporation Anti-aliasing system and method
JP6169558B2 (ja) * 2011-03-28 2017-07-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. コントラスト依存の解像度をもつ画像
CN104812293B (zh) * 2012-11-20 2018-07-13 东芝医疗系统株式会社 图像处理装置、图像处理方法以及x射线诊断装置
KR101518751B1 (ko) * 2013-11-21 2015-05-11 연세대학교 산학협력단 다중 대조도 자기공명영상에서 잡음 제거 방법 및 장치
JP2015114729A (ja) * 2013-12-09 2015-06-22 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、表示装置、画像処理方法およびプログラム
US9406107B2 (en) * 2013-12-18 2016-08-02 General Electric Company System and method of computed tomography signal restoration via noise reduction
CN104978717A (zh) * 2015-06-11 2015-10-14 沈阳东软医疗系统有限公司 Ct重建图像的处理方法、装置及设备
US20170109903A1 (en) * 2015-10-20 2017-04-20 Michal Kulon Method for Reduction of Artifacts and Preservation of Soft Tissue Contrast and Conspicuity of Iodinated Materials on Computed Tomography Images by means of Adaptive Fusion of Input Images Obtained from Dual-Energy CT Scans, and Use of differences in Voxel intensities between high and low-energy images in estimation of artifact magnitude
JP7233850B2 (ja) * 2018-04-25 2023-03-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
JP7199944B2 (ja) * 2018-12-06 2023-01-06 キヤノン株式会社 放射線撮影装置
EP3711672B1 (en) * 2019-03-22 2022-01-26 Sirona Dental Systems GmbH Method and device for producing a panoramic tomographic image of an object to be recorded

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011604A (ja) * 1996-06-19 1998-01-16 Hitachi Medical Corp ボリュームレンダリング法による陰影づけ方法及び装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377250A (en) * 1992-08-07 1994-12-27 General Electric Company Reconstruction method for helical scanning computed tomography apparatus with multi-row detector array
US5301108A (en) * 1993-02-01 1994-04-05 General Electric Company Computed tomography system with z-axis correction
US5602934A (en) * 1993-09-08 1997-02-11 The Regents Of The University Of California Adaptive digital image signal filtering
US5473655A (en) * 1994-07-21 1995-12-05 General Electric Company Artifact reduction by z-dependent filtration of three-dimensional cone beam data
IL116738A0 (en) * 1995-01-23 1996-05-14 Gen Electric Detector z-axis gain correction for a ct system
US5561695A (en) * 1995-11-13 1996-10-01 General Electric Company Methods and apparatus for reducing image artifacts
FR2773247A1 (fr) * 1997-12-31 1999-07-02 Philips Electronics Nv Procede de traitement d'une image multidimensionnelle bruitee et appareil d'imagerie medicale mettant en oeuvre ce procede
US6339632B1 (en) * 1999-12-23 2002-01-15 Ge Medical Systems Global Technology Company, Llc Multi slice single filtering helical weighting method and apparatus to use the same
US6778692B1 (en) * 2000-08-11 2004-08-17 General Electric Company Image processing method and apparatus including image improving circuit
JP2002133399A (ja) * 2000-10-23 2002-05-10 Hitachi Medical Corp 画像処理装置及びそれを用いたx線ct装置
US6813374B1 (en) * 2001-04-25 2004-11-02 Analogic Corporation Method and apparatus for automatic image quality assessment
US7187794B2 (en) * 2001-10-18 2007-03-06 Research Foundation Of State University Of New York Noise treatment of low-dose computed tomography projections and images
US6885764B2 (en) * 2001-11-21 2005-04-26 Ge Medical Systems Global Technology Company, Llc High Speed Z-smoothing method and apparatus for CT imaging system
US6600802B1 (en) * 2002-04-01 2003-07-29 Ge Medical Systems Global Technology Company, Llc Image space correction for multi-slice helical reconstruction with z-smoothing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011604A (ja) * 1996-06-19 1998-01-16 Hitachi Medical Corp ボリュームレンダリング法による陰影づけ方法及び装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7764763B2 (en) 2006-06-22 2010-07-27 Tohoku University X-ray CT system, image reconstruction method for the same, and image reconstruction program
JP5007982B2 (ja) * 2006-06-22 2012-08-22 国立大学法人東北大学 X線ct装置及び同装置の画像再構成方法並びに画像再構成プログラム
WO2007148725A1 (ja) * 2006-06-22 2007-12-27 Tohoku University X線ct装置及び同装置の画像再構成方法並びに画像再構成プログラム
JP2012513816A (ja) * 2008-12-25 2012-06-21 メディック ビジョン イメージング ソルーション リミティッド 医療画像のノイズ除去
JP2013506520A (ja) * 2009-10-06 2013-02-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コーンビームct画像におけるアーチファクト低減のための方法
WO2014034618A1 (ja) * 2012-08-30 2014-03-06 株式会社東芝 医用画像処理装置及びx線コンピュータ断層撮影装置
JP2014061274A (ja) * 2012-08-30 2014-04-10 Toshiba Corp 医用画像処理装置及びx線コンピュータ断層撮影装置
US9706973B2 (en) 2012-08-30 2017-07-18 Toshiba Medical Systems Corporation Medical image processing apparatus and X-ray computed tomography apparatus
US9737277B2 (en) 2012-09-10 2017-08-22 Toshiba Medical Systems Corporation X-ray CT system and medical image processing method
JP2014064899A (ja) * 2012-09-10 2014-04-17 Toshiba Corp X線ct装置及び医用画像処理方法
JP2015159961A (ja) * 2014-02-27 2015-09-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像生成装置、放射線断層撮影装置及び画像生成方法並びにプログラム
WO2018116791A1 (ja) * 2016-12-22 2018-06-28 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法
JP2018102350A (ja) * 2016-12-22 2018-07-05 株式会社日立製作所 医用画像処理装置及びそれを備えたx線ct装置、医用画像処理方法
US11055825B2 (en) 2016-12-22 2021-07-06 Hitachi, Ltd. Medical image processing device and X-ray CT device provided with same, and medical image processing method
JP2020049078A (ja) * 2018-09-28 2020-04-02 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム
JP7106414B2 (ja) 2018-09-28 2022-07-26 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理プログラム

Also Published As

Publication number Publication date
US7623691B2 (en) 2009-11-24
JP4820582B2 (ja) 2011-11-24
CN100401985C (zh) 2008-07-16
CN1729936A (zh) 2006-02-08
US20060029285A1 (en) 2006-02-09

Similar Documents

Publication Publication Date Title
JP4820582B2 (ja) ヘリカルマルチスライスctのための回復ノイズを伴うヘリカルウィンドミルアーチファクトを低減する方法
US7706497B2 (en) Methods and apparatus for noise estimation for multi-resolution anisotropic diffusion filtering
JP4477360B2 (ja) ディジタル・トモシンセシスにおける汎用フィルタ補正逆投影再構成
US8965078B2 (en) Projection-space denoising with bilateral filtering in computed tomography
JP5348855B2 (ja) 対象の画像再構成方法およびその方法を実施するための装置
JP6026214B2 (ja) 連続マルチスケール再構成において詳細画像を補うx線コンピュータ断層撮像装置(x線ct装置)、医用画像処理装置及び医用画像処理方法
JP6169558B2 (ja) コントラスト依存の解像度をもつ画像
US7747057B2 (en) Methods and apparatus for BIS correction
US10789738B2 (en) Method and apparatus to reduce artifacts in a computed-tomography (CT) image by iterative reconstruction (IR) using a cost function with a de-emphasis operator
US6751284B1 (en) Method and system for tomosynthesis image enhancement using transverse filtering
US20180211420A1 (en) Tomographic device and tomographic image processing method according to same
US20200226800A1 (en) Tomographic imaging apparatus and method of generating tomographic image
JP5097355B2 (ja) 放射線断層撮影装置
EP3349655B1 (en) Tomography apparatus and controlling method for the same
KR101783964B1 (ko) 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
CN112120722B (zh) X射线断层合成装置、图像处理装置以及记录介质
US20080086052A1 (en) Methods and apparatus for motion compensation
US6647084B1 (en) Method and apparatus for filtering projection data of a helical scan
JP2016198504A (ja) 画像生成装置、x線コンピュータ断層撮影装置及び画像生成方法
US20050018889A1 (en) Systems and methods for filtering images
JP6615531B2 (ja) X線コンピュータ断層撮影装置及び医用画像処理装置
US20060165271A1 (en) Method for reducing cupping artifacts in cone beam CT image data sets
US7653230B2 (en) Methods and systems for image reconstruction using low noise kernel
US20180158218A1 (en) Medical imaging apparatus and method of operating the same
CN112545541A (zh) 医用图像处理装置以及医用图像处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees