JP2005044050A - 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体 - Google Patents

画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP2005044050A
JP2005044050A JP2003201422A JP2003201422A JP2005044050A JP 2005044050 A JP2005044050 A JP 2005044050A JP 2003201422 A JP2003201422 A JP 2003201422A JP 2003201422 A JP2003201422 A JP 2003201422A JP 2005044050 A JP2005044050 A JP 2005044050A
Authority
JP
Japan
Prior art keywords
data
value
dimensional
image processing
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003201422A
Other languages
English (en)
Other versions
JP4175468B2 (ja
Inventor
Hitoshi Tsunashima
均 綱島
Ayuta Yamada
鮎太 山田
Hozumi Kanari
穂積 金成
Yoshinori Arai
嘉則 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MATSUMOTO SHIKA, University of
Nihon University
Matsumoto Dental University
J Morita Manufaturing Corp
Original Assignee
MATSUMOTO SHIKA, University of
Nihon University
Matsumoto Dental University
J Morita Manufaturing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MATSUMOTO SHIKA, University of, Nihon University, Matsumoto Dental University, J Morita Manufaturing Corp filed Critical MATSUMOTO SHIKA, University of
Priority to JP2003201422A priority Critical patent/JP4175468B2/ja
Priority to PCT/JP2004/010618 priority patent/WO2005009240A1/ja
Priority to EP04770929A priority patent/EP1649810A4/en
Priority to US10/565,895 priority patent/US7460700B2/en
Publication of JP2005044050A publication Critical patent/JP2005044050A/ja
Application granted granted Critical
Publication of JP4175468B2 publication Critical patent/JP4175468B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

【課題】欠損部分の推定を行わず、CTから得られる原画像データを用いて、鮮明な画像を高速に生成することが可能な画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体を提供することを目的とする。
【解決手段】3次元対象物から得られた3次元CTデータを収集する手順(S10)と、前記3次元対象物から得られた3次元CTデータから、補正値を生成するために用いられる閾値を設定する閾値設定手順(S11)と、補正対象の3次元CTデータと補正対象の3次元CTデータの周辺の複数の3次元CTデータとからなる3次元CTデータブロックの平均値を求める平均値算出手順(S12)と、前記閾値設定手順で設定された閾値と前記平均値算出手順で求められた平均値とを用いて、前記3次元CTデータの値を補正する補正手順(S13)と、補正された次元CTデータを用いて、画像を出力する手順(S14)とを有する画像処理方法である。
【選択図】 図13

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体に関する。
【0002】
【従来の技術】
医科領域においてはCT(Computed Tomography)やMRI(Magnetic Resonance Imaging)から得られた断層画像を用いた診断が一般的となっている。さらに近年のコンピュータハードウェア技術の発展により、これら断層画像から3次元画像を作成することが容易となり、患部の位置や形状のより正確で客観的な把握が可能となった。また、最近では3次元画像を用いた骨片の切断、合成シミュレーションや皮切開部位の距離計測など多くの研究が行われている。
【0003】
歯科領域においては、これまで医科用CTを流用してきたが装置の規模、画像の解像度などの点から歯科に最適化されているとは言えなかった。
【0004】
これに対し、日本大学歯学部放射線学教室において新井らが、3DX(3DX Multi Image Micro CT)を開発した(非特許文献1、2参照。)。
【0005】
この3DX装置は、撮影領域が局所的であることや装置自体がX線照射線量を低く抑えていることから、3DX装置全体でX線被曝線量が低減されている。撮影領域の濃度範囲は256階調で表現されるよう量子化されている。この3DX装置により得られた3次元投影データは従来のCTデータと比較して高い解像度を有し、任意方向からの断層像を3次元的に表示することが可能であり、これまで困難であった顎骨や内耳の硬組織の微細な観察が可能である。これにより耳鼻科および歯科領域の硬組織診断での有効性が確認されている。
【0006】
この3DX装置を用いて、発明者らは、これまでに、3DXから得られた3次元投影データをZ軸(対象物の中心を通る鉛直線)を中心に多方向から2次元画像上に展開することにより断層像を作製し、そこでノイズ低減、対象物の輪郭抽出を行った後、3次元上に再配列を行う方法を考案した。これは3DXから得られるデータが3次元上のボクセルデータであることに着目した手法である。
【0007】
以下、図1を用いて、その処理概要を説明する。
(画像の切り出し)
まず、図1(A)に示されている3DX装置を用いて、3次元投影データ(図1(B))に対して、Z軸を中心に多方向から2次元画像に切り出す(図1(C))。画像の切り出しは断層像を積層する方法に対し逆のアルゴリズムである。ここで、単純に空間分解能である0.125(1ボクセル)間隔で切り出すのではなく、ノイズ低減処理を含めるために移動平均処理を行い、切り出す深度方向に8枚の画像の平均値で1枚の画像となるよう画像を切り出す。
(2次元画像処理)
次に、得られた原画像からノイズを除去する。単なる2値化処理では対象物を正確に抽出することが困難であるため、以下で述べる処理を行い、2値化輪郭画像を得る(図1(D))。
▲1▼濃度変換によるコントラスト調整
▲2▼ガウシアンフィルターを用いた輪郭検出
▲3▼2値化
▲4▼細線化処理による輪郭抽出
(3次元画像の再構築)
得られた輪郭画像を2次元上に画像を切り出す際とは逆に、切り出した順番に各方向毎に積層させ3次元上に再配列を行い、方向毎に構築した3次元画像を3次元上において合成する(図1(E))。この際、各方向によって抽出される対象物領域が異なるため、欠落している対象物の輪郭情報も他方向からの処理画像によって補間することができる。
(多軸切り出し)
なお、図1(C)のように、3次元投影データをZ軸を中心に2次元画像に切り出す以外に、図2に示す正四面体(A)、正六面体(B)、正八面体(C)、正一二面体(D)、正二十面体(E)の正多面体の各面の中心と正多面体の中心を結ぶ線を軸として2次元画像に切り出すようにしてもよい。
【0008】
この3DX装置を用いて、これまでに5000症例の画像診断を行い、その有効性が確認されている。一方歯科医療も高度化により3次元画像を用いた診断が要求されている。3DXから得られる画像は高解像度であるためにノイズが多く、一般に骨領域の抽出に用いられている2値化処理では対象物表面が欠落し、良好な3次元画像を得ることができなかった。欠落、切断された輪郭線を修復する手法としては欠損部分または離散点の曲率を用いて滑らかに補間する方法や人間の視覚構造、主観的評価をもとに輪郭を検出する方法、ハフ変換を用いた補間方法などが提案されている。また歯科領域においては最適化に基づいたトレース図の生成方法について報告されている。
【0009】
また、少ないデータ量にて高画質な3次元画像を生成する超音波診断装置において、収集座標のボリュームデータを所定の視線方向に基づいて定義される面に沿って分割し、複数のスライスデータを生成するスライスデータ生成し、複数のスライス面それぞれに対応する中間画像を求め、その中間画像を累積加算することにより表示画像を生成する技術知られている(特許文献1参照。)。
【0010】
ところで、上記したこれらの手法は滑らかな連続線を検出することが可能であり有効性が確認されているが、いずれも欠損部分を何らかの方法により推定し、人工的な線で補間するものである。
【0011】
そこで、発明者らはこれまでにノイズを多く含んだCTデータから対象物を抽出する新しい手法を考案し、これまでにその有効性について基本的な検討を発表した(非特許文献3、4、5、6参照。)。
【0012】
また、医用画像処理装置において、画像再構成されたデータに対して後補正処理としてマトリックスフィルタをかける際にその画像に適するマトリックスフィルタを自動的に選択して後補正処理する技術知られている(特許文献2参照。)。
【0013】
【特許文献1】
特開2003−61956号公報
【0014】
【特許文献2】
特開平7−385号公報
【0015】
【非特許文献1】
Arai Y、 Honda K、 Iwai K et al : Practical Model ”3DX” of Limited Cone−Beam X−ray CT for Dental Use. CARS2001 : 2001、 pp.671−675
【0016】
【非特許文献2】
小照射野X線CTの実験機”3DX Multi Image Micro CT”の基本性能、 歯科放射.2000;40(2)、 2000、 pp.145−154
【0017】
【非特許文献3】
別府嗣信、綱島均、新井嘉則:Ortho−CTを用いた3次元モデル構築に関する研究、 電子情報通信学会技術研究報告 MI2000−75、 2001、 pp.145−149
【0018】
【非特許文献4】
綱島均、別府嗣信、新井嘉則:立体画像構成法(特願2000−358420)、2000
【0019】
【非特許文献5】
Befu S、Tsunashima H、 Arai Y : A study in Three−dimensional Image Processing Method for 3DX Multi Image Micro CT. CARS2001: 2001、 pp.665−670
【0020】
【非特許文献6】
綱島均、別府嗣信、山田鮎太、新井嘉則 : 歯科用小型X線CTにおける3次元画像構築法、Med. Imag. Tech. 21:157−165、 2003
【0021】
【発明が解決しようとする課題】
しかしながら、特許文献2に記載された発明は、予め、画像に対応したマトリックスフィルタを用意する必要がある。したがって、特殊な画像の場合は、その画像のために別途、マトリックスフィルタを作成し用意する必要があるという問題がある。
【0022】
また、非特許文献3、4、5、6に記載された発明において、構築した3次元画像を検討した結果、切り出し回転中心から外周方向に向かって画像が膨張していることが確認され、対象物の寸法の再現に問題があることがわかった。
【0023】
本発明は、上記問題に鑑みなされたものであり、欠損部分の推定を行わず、CTから得られる原画像データを用いて、鮮明な画像を高速に生成することが可能な画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体を提供することを目的とするものである。
【0024】
【課題を解決するための手段】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【0025】
請求項1に記載された発明は、3次元対象物から得られた3次元CTデータの値を補正する画像処理方法において、前記3次元対象物から得られた3次元CTデータから、補正値を生成するために用いられる閾値を設定する閾値設定手順と、補正対象の3次元CTデータと補正対象の3次元CTデータの周辺の複数の3次元CTデータとからなる3次元CTデータブロックの平均値を求める平均値算出手順と、前記閾値設定手順で設定された閾値と前記平均値算出手順で求められた平均値とを用いて、前記3次元CTデータの値を補正する補正手順とを有することを特徴とする画像処理方法。
【0026】
請求項2に記載された発明は、請求項1記載の画像処理方法において、補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、Voxelout=Voxel(x,y,z)−Thrvol(Thrvol>AVn)、Voxelout=Voxel(x,y,z)−AVn(Thrvol<AVn) であることを特徴とする請求項1記載の画像処理方法。
【0027】
請求項3に記載された発明は、請求項1記載の画像処理方法において、補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、Voxelout=Voxelin−(AVn−Thrvol)であることを特徴とする。
【0028】
請求項4に記載された発明は、請求項1記載の画像処理方法において、補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、Thrvol>=AVnの場合は、Voxelout=Voxelin−(AVn−Thrvol)であり、Thrvol<AVnの場合は、Voxelout=Voxelinであることを特徴とする。
【0029】
請求項5に記載された発明は、3次元対象物から得られた3次元CTデータを処理する画像処理方法において、注目している3次元CTデータを起点とする複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する積算値算出手順と、前記算出手順で算出された方向毎に求めた積算値の内、上位所定数の積算値の和を求める和算出手順と、所定の閾値と前記和算出手順で積算された積算値とを比較して、前記積算値が前記閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとすることを判定する判定手順と、判定手順とを有することを特徴とする。
【0030】
請求項6に記載された発明は、請求項5記載の画像処理方法において、前記閾は、前記積算値算出手順で算出された全方向の積算値の平均値と、前記積算値算出手順で算出された全方向の積算値の最大値に基づいて、設定されることを特徴とする。
【0031】
請求項7に記載された発明は、3次元対象物から得られた3次元CTデータを処理する画像処理方法において、注目している3次元CTデータを起点とする複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する積算値算出手順と、前記算出手順で算出された方向毎に求めた積算値の内、上位所定数の積算値の和及び下位所定数の積算値の和を求める和算出手順と、注目している3次元CTデータを、上位所定数の積算値の和及び下位所定数の積算値の和に基づいて、補正する補正手順と、前記補正手順で補正された3次元CTデータ値と所定の閾値とを比較して、前記補正された3次元CTデータ値が前記閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとすることを判定する判定手順とを有することを特徴とする。
【0032】
請求項8に記載された発明は、請求1ないし7記載の画像処理方法をコンピュータに実行させる画像処理プログラムである。
請求項9に記載された発明は、請求項8記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体である。
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。
【0033】
図3に、本発明が適用される3DX装置の例を示す。
【0034】
撮像装置1は、3DX装置であり、放射線(X線)源11、検知器12、アナログ−ディジタル変換器13、汎用コンピュータ14から構成されている。放射線源11は、放射線(X線)を出射しており、放射線源11から出射された放射線は、撮像対象21に照射される。放射線源11からの放射線は、撮像対象21を透過して検知器(イメージ・インテンシファイア)12に入射される。検知器12は、入射された放射線の強度に応じた検知信号を出力する。
【0035】
なお、汎用コンピュータ14は、HDD、CD−ROM、CD−R、FDD等の記録媒体に記録された画像処理プログラムをインストールして、汎用コンピュータ14が、画像処理を行うようにしてもよい。
【0036】
また、アナログ−ディジタル変換器13の処理を、汎用コンピュータ14が、ソフトウエアにより行うようにしてもよい。その場合は、アナログ−ディジタル変換器13が無くてもよい。
【0037】
放射線源11と検知器12とは撮像対象21を挟んで互いに対向して配置されており、Z軸(対象物の中心を通る鉛直線)を中心として、1回転して360度方向から計512枚の投影データが収集される。検知器12で検知された検知信号(アナログ信号)は、アナログ−ディジタル変換器13に供給され、ディジタルデータに変換される。アナログ−ディジタル変換器13でディジタルデータに変換されたデータは、汎用コンピュータ14に供給されて画像処理が施されて、撮像対象21の3次元データを得ることができる。
【0038】
3DX装置により得られた3次元投影データデータは、図4(B)に示されているように、高さ40mmで直径30mm×直径30mmの円柱型の画像形成領域を有する。また、1ボクセルは、図4(A)に示されているように、0.125×0.125×0.125であるので、図4(B)に示された円柱型の画像は、240×π×(320/2)のボクセルを有する。
(濃度補正)
従来の濃度補正は、画像のヒストグラムに注目し、対象物の濃度分布領域を広げる処理を行っていた(ヒストグラム強調法)。
【0039】
図5(A)のような画像の場合、ヒストグラム強調法は、画像に対して下記の式(4)を適用して、図5(B)に示されているように、濃度値a−b区間内のヒストグラムのみを強調するものである。
【0040】
Pixelout=(d−c)×(Pixelin−a)/(b−a) ・・・・・(6)
なお、Pixelinは補正前の入力画素値、Pixeloutは補正後の出力画素値を示す。
【0041】
この方法では、顎関節の輪郭を多く含む濃度値区間(a、b)を見つけ、次に、濃度値a−bを濃度値c−dにマッピングし直し、部分強調を行なう。例えば、濃度値a(=100)〜b(=200)の領域を濃度値c(=0)〜d(=255)の領域に広げる。
【0042】
しかし、この手法は全ての画素に対して同じ処理パラメータ(a、b、c、d)を用いて補正しているため、全てのノイズを効果的に除去することが困難であった。例えば図8の画像をこの方法により濃度補正をした図9の場合、画像の下半分は全体的に濃度値が低い(画像が暗い)が、上半分は濃度値が高い(画像が明るい)分布を示している。このことは、画像の上半分のノイズ成分の濃度値と、画像上半分のノイズ成分の濃度値が異なることを意味しており、濃度値の異なる双方の領域に分布するノイズ成分を同じ処理パラメータ(a、b、c、d)で除去するのは困難である。
【0043】
この線形濃度変換はコントラストを向上させノイズを低減することが可能であるが、画像全体のヒストグラムのみに注目しており、画像内の対象物の位置情報は含まれていない。また、3DXより得られる画像の位置によって対象物の濃度値が変化するためこのため、単純な線形濃度変換処理では対象物のノイズ成分のトレード・オフが大きくノイズ除去に限界がある。そこで、位置情報を加味しながら3次元投影データ上において角画素毎に応じてパラメータを適応的に変化させる適応型の濃度変換を行った。
【0044】
本実施の形態の濃度補正方法は、画像の全ての領域に対して同じ処理パラメータを用いるのでなく、画素毎に適応的に処理パラメータを変化させることにより、効果的にノイズ成分を除去する。
▲1▼先ず、3次元投影データ上において大津が提案した判別分析法(大津展之,判別および最小2乗規準に基づく自動しきい値選定法,電子通信学会論文誌 ’80/4 Vol.J63−D No.4, 1980, pp.349−356)を用いて、領域分割のための最適閾値Thrvolを算出する。
【0045】
なお、最適閾値Thrvolは、これに限らず、任意に設定することができる。
▲2▼次に、次式を用いて画素毎に近傍画素の平均値AVnを算出する(図6参照)。
【0046】
【数1】
Figure 2005044050
ここではNの値を21とし注目画素(Voxel(x,y,z))の21×21×21近傍の平均画素値を算出した。Nとして、27等の他の値を用いてもよい。
【0047】
次いで、この近傍平均値を画素毎に独立に算出し、以下の補正処理を行う。Voxelout=Voxel(x,y,z)−Thrvol(Thrvol>AVn) (8)
Voxelout=Voxel(x,y,z)−AVn(Thrvol<AVn) (9)
なお、Voxeloutは補正後の出力画素値を示す。
(判別処理の変形)
▲1▼3DXから得られた3次元CTデータの平均画素値Aを算出する。
▲2▼平均画素値Aから補正値を生成するための閾値Thrvoを設定する。
【0048】
Thrvol=k1×A ・・・・(10)
但し、0<k1=<1
なお、k1は、過去のデータに基づいて、最適な値を予め設定しておく。また、その都度、k1を設定するようにしてもよい。
▲2▼次に、上記式(7)を用いて画素毎に近傍画素の平均値AVNを算出する.
▲3▼判別処理
(その1)
近傍画素の平均値AVNとCTデータ領域全体の平均値Aの差Cを算出する。
VN−A=C ・・・(11)
Cを濃度補正量として次式を用いて補正する。
【0049】
Voxelout = Voxelin −C ・・・(12)
Voxelinは補正前の入力画素値、Voxeloutは補正後の出力画素値を示す。
(その2)
i)A>AVN 近傍の平均値AVNとCTデータ領域全体の平均値Aの差Cを算出する。
VN−A=C ・・・(13)
Cを濃度補正量として次式を用いて補正する。
【0050】
Voxelout = Voxelin − C ・・・(14)
Voxelinは補正前の入力画素値、Voxeloutは補正後の出力画素値を示す。この場合、濃度値が増加の方向へ補正される(画像が明るくなる)。
【0051】
ii)A<AVN 濃度値を補正せず、次式の様にそのまま出力する。
【0052】
Voxelout = Voxelin ・・・(15)
この場合、明るい画像が、補正されることなく出力する。
【0053】
(その2)の処理は、図7(B)に示されているように、A<AVNの場合は、画像が暗くなる処理を行わないが、(その1)の処理は、図7(A)に示されているように、A<AVNの場合は、画像を暗くする処理を行う。
【0054】
この処理は画像全体の情報と、局所領域の位置に関する情報(今回の場合平均値)とを判別処理することにより、ノイズ成分の濃度値分布の位置におけるバラツキを低減することが可能である。
【0055】
図10は、本方法によって、濃度補正されたものである。図10と図9とを比較すると、下顎頭、下顎窩の近接部分のノイズ成分(左上部の「もやもや」)を除去することが可能となることが分かる。これは近接部分の近傍平均値が判別分析法による最適閾値より値が高いために、注目点の近傍領域の濃度変化に濃度変化に敏感となったためであると考えられる。
【0056】
一方、画像の背景部分や対象物の領域内においては、近接部分の近傍平均値が判別分析法による最適閾値より低い値となっている。このため3次元投影データ全体の濃度分布から得られた情報を用いた処理となっており、3次元投影データに定常的に存在する一定濃度値領域を効率よく除去することが可能であった。
【0057】
本手法は3次元上の画像全体の情報と、画像の注目点を中心とする局所領域とを比較しながら適応的に処理する手法である。これによって画像全体に対し濃度値の低い部分は一定値で変換し、濃度値の高い部分に対しては、その注目点の周辺情報に強く依存した変数で変換され画像全体では主観的に良好に変換することが可能となった。
(境界面の検出)
3DXから得られた3次元CTデータ上で、各画素毎にその点が境界点もしくは面の一部かを判定していく。
▲1▼注目3次元CTデータ点をから、図11及び図12に示されている26方向の処理方向を設定する。
【0058】
なお、図11及び図12に示されている26方向は、注目3次元CTデータ点Pを中心にした立法体を考えた場合、
(1)注目3次元CTデータ点Pから、8つの「立法体の角」の方向(1,2,7、8、11、12、15、16)
(2)注目3次元CTデータ点Pから、12の「辺の中点」の方向(9、10、13、14、17、18、19、20、21、22,23、24)
(3)注目3次元CTデータ点Pから、6つの「面の中心」の方向(3、4、5、6、25、26)である。
なお、注目3次元CTデータ点からの方向はこれに限らず実施できる。例えば、正多角形の各面の中心の方向であってもよい。また、図11の方向において、方向の付加又は削除を行ってもよい。
▲2▼各方向毎に4voxelを追跡し画素値を加算(線積分)する。26方向の加算値f[0]〜f[25]が算出される。
【0059】
なお、線積分の数は、4に限らず実施することができる。
▲3▼26個の加算値f[0]〜f[25]を大きい順に並び替える。並び替えの後、上8方向の値の平均値を算出する。
【0060】
なお、上8方向の値の平均値を算出したが、これに限らず実施することができる。例えば、上8方向の値の合計を用いてもよい。
▲4▼8方向の平均値が、閾値よりも高い場合、この画素は対象物の情報とみなし画像出力する。
【0061】
この閾値Thrとして、前記加算値f[0]〜f[25]の平均値FAVと、前記加算値f[0]〜f[25]の最大値FMAXに基づいて、閾値が設定される。
【0062】
つまり、例えば、次式で閾値Thrを求める。
Thr=k2×(FMAX−FAV) ・・・(16)
本方法により、エッジが鮮明になった。
【0063】
なお、上記▲3▼における「上8方向の値の平均」法に代えて、「上8方向の値の平均」と「下8方向の値の平均」の差を求めて、その差に基づいて補正して、補正した値が所定の値より大きい場合に、境界面として認定するようにしてもよい。
【0064】
つまり、上8方向の値の平均値をF8maxとし、下8方向の値の平均値をF8minとし、その差に応じて、注目3次元CTデータ点の値Voxelを補正し、その補正値の大きさに基づいて、対象物の情報とみなすか否かを判断する。
【0065】
具体的には、強調係数K3(0<k3)を用いて、注目3次元CTデータ点の値Voxelを、次の式(16)に基づいて、強調された補正Voxel eを得る。
【0066】
Voxel e=Voxel+k3(F8max−F8min) ・・・・・・(16)
この強調されたVoxel eが、所定の大きさを超えるか否かで、対象物の情報とみなすか否かを判断する。
【0067】
なお、注目3次元CTデータ点が、丁度、面の境界上にあるとき、F8maxは大きな値を持ち、F8minは小さな値を持つので、「F8max−F8min」は、大きな値を持つ。したがって、式(16)により得られた強調されたVoxel eに基づいて、判断することにより、的確な、境界面の判断を行うことができる。
【0068】
また、本手法は各方向4voxel、注目点を中心に9×9×9の領域から特徴点を抽出する処理である。しかし、本来9×9×9領域から特徴点を抽出するには膨大な計算量であり処理時間に課題がある。しかしながら、本手法では注目点から26方向のベクトルの線積分を求めソート(並び替え)を行い特徴点を抽出する処理であり非常に効率よく計算することが可能である。
(画像処理方法)
図13に、3次元対象物から得られた3次元CTデータの値を補正する画像処理方法の処理フローを示す。
【0069】
先ず、3DX装置において、所定の軸を中心として、3次元対象物を1回転して3次元CTデータが収集される。(S10)
次いで、3次元対象物から得られた3次元CTデータから、補正値を生成するために用いられる閾値を設定する(S11)。
【0070】
大津が提案した最小2乗規準に基づく自動しきい値選定法又は式(10)に基づいて、閾値を設定する。
【0071】
次いで、補正対象の3次元CTデータと補正対象の3次元CTデータの周辺の複数の3次元CTデータとからなる3次元CTデータブロックの平均値を求める(S12)。
【0072】
式(7)を用いて、画素毎に近傍画素の平均値AVnを算出する。
【0073】
前記閾値設定手順で設定された閾値と前記平均値算出手順で求められた平均値とを用いて、3次元CTデータの値を補正する(S13)。
【0074】
3次元CTデータの値を補正は、式(1)及び式(2)、式(3)、式(4)及び式(5)に基づいて、行う。
その後、補正された3次元CTデータを用いて、画像を出力する(S14)。
【0075】
図14に、3次元対象物から得られた3次元CTデータにおいて、注目している3次元CTデータを処理対象のデータとするか否かを決定する処理フローを示す。
【0076】
先ず、3DX装置において、所定の軸を中心として、3次元対象物を1回転して360度方向から計512枚の投影データが収集される。(S20)
次いで、注目している3次元CTデータを起点とする複数の方向を設定する。例えば、注目3次元CTデータ点をから、図11及び図12に示されている26方向の処理方向を設定する(S21)。
次いで、複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する。例えば、各方向毎に4voxelを追跡し画素値を加算(線積分)する(S22)。26方向の加算値f[0]〜f[25]が算出される。
【0077】
次いで、26個の加算値f[0]〜f[25]を大きい順に並び替える。並び替えの後、上8方向の値の平均値を算出する(S23)。
【0078】
次いで、注目している3次元CTデータを処理対象のデータとするか否かを決定する(S24)。例えば、ステップS23で算出された平均値と所定の閾値とを比較して、所定の閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとする。
【0079】
補正された3次元CTデータを用いて、画像を出力する(S25)。
【0080】
図15に、「上8方向の値の平均」と「下8方向の値の平均」の差を求めて、その差に基づいて補正して、補正した値が所定の値より大きい場合に、境界面として認定する方法の処理フローを説明する。
【0081】
先ず、3DX装置において、所定の軸を中心として、3次元対象物を1回転して360度方向から計512枚の投影データが収集される。(S30)
次いで、注目している3次元CTデータを起点とする複数の方向を設定する。例えば、注目3次元CTデータ点をから、図11及び図12に示されている26方向の処理方向を設定する(S31)。
【0082】
次いで、複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する。例えば、各方向毎に4voxelを追跡し画素値を加算(線積分)する(S32)。26方向の加算値f[0]〜f[25]が算出される。
【0083】
次いで、26個の加算値f[0]〜f[25]を大きい順に並び替える。並び替えの後、上8方向の値の平均値と、下8方向の値の平均を算出し(S33)、注目3次元CTデータ点の値Voxelを、上記式(16)に基づいて補正し、強調された補正値Voxel eを得る(S34)。
【0084】
次いで、強調された補正値Voxel eに基づいて、この注目している3次元CTデータを処理対象のデータとするか否かを決定する(S35)。例えば、所定の閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとする。
【0085】
補正された3次元CTデータを用いて、画像を出力する(S35)。
【0086】
本実施の形態によれば、濃度変換の際,画像全体の最適しきい値,局所領域での画素平均値を用い判別処理を行うことにより効果的にノイズを低減することが可能であった。特に関節腔などの近接部分におけるノイズ除去が顕著である。
【0087】
また、本実施の形態によれば、CTから得られる原画像データを用いて、2次元データに変換することなく処理を行うので、高速な処理が可能である。
【発明の効果】
上述の如く本発明によれば、欠損部分の推定を行わず、CTから得られる原画像データを用いて、鮮明な画像を高速に生成することが可能な画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体を提供するこができる。
【0088】
【図面の簡単な説明】
【図1】従来の画像処理方法の処理概要を説明するための図である。
【図2】正多面体である。
【図3】本発明が適用される3DX装置の例を説明するための図である。
【図4】3次元投影データデータを説明するための図である。
【図5】ヒストグラム強調法を説明するための図である。
【図6】近傍画素を説明するための図である。
【図7】判別処理の比較のための図である。
【図8】原画像である。
【図9】従来の方法によって、濃度補正をした場合の画像である。
【図10】本実施の形態の方法によって、濃度補正をした場合の画像である。
【図11】26の方向を説明するための図(その1)である。
【図12】26の方向を説明するための図(その2)である。
【図13】3次元対象物から得られた3次元CTデータの値を補正する画像処理方法の処理フローである。
【図14】3次元対象物から得られた3次元CTデータにおいて、注目している3次元CTデータを処理対象のデータとするか否かを決定する処理フローである。
【図15】「上8方向の値の平均」と「下8方向の値の平均」の差を求めて、その差に基づいて補正して、補正した値が所定の値より大きい場合に、境界面として認定する方法の処理フローである。
【符号の説明】
1 3DX装置
11 放射線源
12 検知器
13 アナログ−ディジタル変換器
14 汎用コンピュータ
21 撮像対象

Claims (9)

  1. 3次元対象物から得られた3次元CTデータの値を補正する画像処理方法において、
    前記3次元対象物から得られた3次元CTデータから、補正値を生成するために用いられる閾値を設定する閾値設定手順と、
    補正対象の3次元CTデータと補正対象の3次元CTデータの周辺の複数の3次元CTデータとからなる3次元CTデータブロックの平均値を求める平均値算出手順と、
    前記閾値設定手順で設定された閾値と前記平均値算出手順で求められた平均値とを用いて、前記3次元CTデータの値を補正する補正手順と、
    を有することを特徴とする画像処理方法。
  2. 補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、
    Voxelout=Voxel(x,y,z)−Thrvol(Thrvol>AVn) (1)
    Voxelout=Voxel(x,y,z)−AVn(Thrvol<AVn) (2)
    であることを特徴とする請求項1記載の画像処理方法。
  3. 補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、
    Voxelout=Voxelin−(AVn−Thrvol) ・・・(3)
    であることを特徴とする請求項1記載の画像処理方法。
  4. 補正される前記3次元CTデータの値をVoxelin、前記閾値をThrvol、前記平均値をAVnとするとき、補正された前記3次元CTデータの値、Voxeloutは、
    Thrvol>=AVnの場合は、
    Voxelout=Voxelin−(AVn−Thrvol) ・・・(4)
    であり、
    Thrvol<AVnの場合は、
    Voxelout=Voxelin ・・・(5)
    であることを特徴とする請求項1記載の画像処理方法。
  5. 3次元対象物から得られた3次元CTデータを処理する画像処理方法において、
    注目している3次元CTデータを起点とする複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する積算値算出手順と、
    前記算出手順で算出された方向毎に求めた積算値の内、上位所定数の積算値の和を求める和算出手順と、
    所定の閾値と前記和算出手順で積算された積算値とを比較して、前記積算値が前記閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとすることを判定する判定手順と、
    を有することを特徴とする画像処理方法。
  6. 閾値設定手順において、前記閾は、前記積算値算出手順で算出された全方向の積算値の平均値と、前記積算値算出手順で算出された全方向の積算値の最大値に基づいて、設定されることを特徴とする請求項4記載の画像処理方法。
  7. 3次元対象物から得られた3次元CTデータを処理する画像処理方法において、
    注目している3次元CTデータを起点とする複数の方向毎に、注目している3次元CTデータを起点として連続した所定数の3次元CTデータの積算値を算出する積算値算出手順と、
    前記算出手順で算出された方向毎に求めた積算値の内、上位所定数の積算値の和及び下位所定数の積算値の和を求める和算出手順と、
    注目している3次元CTデータを、上位所定数の積算値の和及び下位所定数の積算値の和に基づいて、補正する補正手順と、
    前記補正手順で補正された3次元CTデータ値と所定の閾値とを比較して、前記補正された3次元CTデータ値が前記閾値より大きい場合に、注目している3次元CTデータを処理対象のデータとすることを判定する判定手順と、
    を有することを特徴とする画像処理方法。
  8. 請求1ないし7記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
  9. 請求項8記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
JP2003201422A 2003-07-24 2003-07-24 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体 Expired - Fee Related JP4175468B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003201422A JP4175468B2 (ja) 2003-07-24 2003-07-24 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体
PCT/JP2004/010618 WO2005009240A1 (ja) 2003-07-24 2004-07-26 画像処理方法及び画像処理プログラムを記録したコンピュータ読取可能な記録媒体
EP04770929A EP1649810A4 (en) 2003-07-24 2004-07-26 PICTURE PROCESSING METHOD AND COMPUTER-READABLE RECORDING MEDIA WITH PICTURE PROCESSING PROGRAM
US10/565,895 US7460700B2 (en) 2003-07-24 2004-07-26 Image processing method and computer-readable recording medium containing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003201422A JP4175468B2 (ja) 2003-07-24 2003-07-24 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2005044050A true JP2005044050A (ja) 2005-02-17
JP4175468B2 JP4175468B2 (ja) 2008-11-05

Family

ID=34100517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003201422A Expired - Fee Related JP4175468B2 (ja) 2003-07-24 2003-07-24 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体

Country Status (4)

Country Link
US (1) US7460700B2 (ja)
EP (1) EP1649810A4 (ja)
JP (1) JP4175468B2 (ja)
WO (1) WO2005009240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178822A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 歯科用パノラマ撮影装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050097046A1 (en) 2003-10-30 2005-05-05 Singfield Joy S. Wireless electronic check deposit scanning and cashing machine with web-based online account cash management computer application system
US8708227B1 (en) 2006-10-31 2014-04-29 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US7873200B1 (en) 2006-10-31 2011-01-18 United Services Automobile Association (Usaa) Systems and methods for remote deposit of checks
US10380559B1 (en) 2007-03-15 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for check representment prevention
US9058512B1 (en) 2007-09-28 2015-06-16 United Services Automobile Association (Usaa) Systems and methods for digital signature detection
US9159101B1 (en) 2007-10-23 2015-10-13 United Services Automobile Association (Usaa) Image processing
US9892454B1 (en) 2007-10-23 2018-02-13 United Services Automobile Association (Usaa) Systems and methods for obtaining an image of a check to be deposited
US10380562B1 (en) 2008-02-07 2019-08-13 United Services Automobile Association (Usaa) Systems and methods for mobile deposit of negotiable instruments
US10504185B1 (en) 2008-09-08 2019-12-10 United Services Automobile Association (Usaa) Systems and methods for live video financial deposit
US8452689B1 (en) 2009-02-18 2013-05-28 United Services Automobile Association (Usaa) Systems and methods of check detection
US10956728B1 (en) 2009-03-04 2021-03-23 United Services Automobile Association (Usaa) Systems and methods of check processing with background removal
US9779392B1 (en) 2009-08-19 2017-10-03 United Services Automobile Association (Usaa) Apparatuses, methods and systems for a publishing and subscribing platform of depositing negotiable instruments
US8977571B1 (en) 2009-08-21 2015-03-10 United Services Automobile Association (Usaa) Systems and methods for image monitoring of check during mobile deposit
US8699779B1 (en) 2009-08-28 2014-04-15 United Services Automobile Association (Usaa) Systems and methods for alignment of check during mobile deposit
US9129340B1 (en) 2010-06-08 2015-09-08 United Services Automobile Association (Usaa) Apparatuses, methods and systems for remote deposit capture with enhanced image detection
US10380565B1 (en) 2012-01-05 2019-08-13 United Services Automobile Association (Usaa) System and method for storefront bank deposits
US9401011B2 (en) * 2012-06-13 2016-07-26 United Services Automobile Association (Usaa) Systems and methods for removing defects from images
US10552810B1 (en) 2012-12-19 2020-02-04 United Services Automobile Association (Usaa) System and method for remote deposit of financial instruments
US11138578B1 (en) 2013-09-09 2021-10-05 United Services Automobile Association (Usaa) Systems and methods for remote deposit of currency
US9286514B1 (en) 2013-10-17 2016-03-15 United Services Automobile Association (Usaa) Character count determination for a digital image
EP2869261B1 (en) 2013-11-04 2018-10-31 Cyrill Gyger Method for processing image data representing a three-dimensional volume
WO2016176410A1 (en) * 2015-04-29 2016-11-03 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Image enhancement using virtual averaging
US10402790B1 (en) 2015-05-28 2019-09-03 United Services Automobile Association (Usaa) Composing a focused document image from multiple image captures or portions of multiple image captures
US11030752B1 (en) 2018-04-27 2021-06-08 United Services Automobile Association (Usaa) System, computing device, and method for document detection
US11900755B1 (en) 2020-11-30 2024-02-13 United Services Automobile Association (Usaa) System, computing device, and method for document detection and deposit processing
CN115954090B (zh) * 2023-03-16 2023-05-16 信艺(广州)义齿研制有限公司 一种基于漫画工艺的假牙制作方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3064361B2 (ja) * 1990-09-07 2000-07-12 株式会社日立製作所 核磁気共鳴装置
JP3383010B2 (ja) 1993-06-14 2003-03-04 株式会社日立メディコ 医用画像処理装置
US5644646A (en) * 1994-08-05 1997-07-01 University Of Utah Research Foundation Vessel enhancement filtering in magnetic resonance angiography
JP3423828B2 (ja) * 1995-11-30 2003-07-07 株式会社日立メディコ X線画像作成方法およびその装置
US5878108A (en) * 1995-11-30 1999-03-02 Hitachi Medical Corporation Method for generating X-ray image and apparatus therefor
JPH09204513A (ja) 1996-01-29 1997-08-05 Ge Yokogawa Medical Syst Ltd 投影画像処理方法及び投影画像処理装置
US7068837B2 (en) * 2000-11-24 2006-06-27 Nihon University Image processing method
JP4497756B2 (ja) 2001-06-14 2010-07-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2003061956A (ja) 2001-08-30 2003-03-04 Toshiba Corp 超音波診断装置、医用診断装置及び画像処理方法
JP2004141514A (ja) * 2002-10-28 2004-05-20 Toshiba Corp 画像処理装置及び超音波診断装置
JP2005040239A (ja) * 2003-07-24 2005-02-17 Univ Nihon 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体
US7248725B2 (en) * 2004-01-07 2007-07-24 Ramot At Tel Avia University Ltd. Methods and apparatus for analyzing ultrasound images
US7236558B2 (en) * 2005-07-07 2007-06-26 Terarecon, Inc. Three-dimensional image display device creating three-dimensional image directly from projection data
US20070091174A1 (en) * 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178822A (ja) * 2009-02-04 2010-08-19 Panasonic Corp 歯科用パノラマ撮影装置

Also Published As

Publication number Publication date
US7460700B2 (en) 2008-12-02
WO2005009240A1 (ja) 2005-02-03
WO2005009240A9 (ja) 2005-07-14
EP1649810A4 (en) 2009-09-02
US20070009144A1 (en) 2007-01-11
JP4175468B2 (ja) 2008-11-05
EP1649810A1 (en) 2006-04-26

Similar Documents

Publication Publication Date Title
JP4175468B2 (ja) 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体
JP6442243B2 (ja) コンピュータ断層撮影画像再構成のアーチファクト低減の方法および装置
JP4413504B2 (ja) 医用画像処理装置、医用画像処理方法および医用画像処理プログラム
JP4477360B2 (ja) ディジタル・トモシンセシスにおける汎用フィルタ補正逆投影再構成
US7545909B2 (en) Generating panoramic views of the jaw using a fixed reference point and crossing points of multiple rays
US8325874B2 (en) Panoramic dental imaging using segmentation and a master arch
KR101105494B1 (ko) 환자 맞춤형 3차원 인체 뼈 모델 재구성 방법
Chougule et al. Development of patient specific implants for Minimum Invasive Spine Surgeries (MISS) from non-invasive imaging techniques by reverse engineering and additive manufacturing techniques
JP5844576B2 (ja) 画像生成装置、方法、およびプログラム
JP2024051051A (ja) 高密度要素抑制による合成乳房組織画像発生のためのシステムおよび方法
JP2004528100A (ja) Ct画像再構成
JPWO2002043001A1 (ja) 画像処理方法
JP2005040239A (ja) 画像処理方法、画像処理プログラム及びコンピュータ読取可能な記録媒体
JP6209688B2 (ja) トモシンセシスイメージングのための装置及び方法
Zhu et al. An algorithm for automatically extracting dental arch curve
KR102664286B1 (ko) 구강 내 단층합성을 위한 다중-시야 합성 치과 방사선 사진들을 생성하기 위한 시스템 및 방법(systems and methods for generating multi-view synthetic dental radiographs for intraoral tomosynthesis)
JP5514397B2 (ja) 画像表示装置およびx線断層撮影装置
O’Connor et al. Development of an ensemble of digital breast object models
KR101822908B1 (ko) 방사선 영상의 정보 획득 방법 및 장치
Păvăloiu et al. 3D dental reconstruction from CBCT data
KR100399051B1 (ko) 흉부 단순 엑스선 영상에서 늑골의 경계를 자동으로추출하는 방법
Xia et al. Segmentation of brain structures using PET-CT images
Jiang et al. Research on 3 dimensional reconstruction of CT images based on improved filtering algorithm
Schwaab et al. Image quality in automated breast ultrasound images: a preliminary study for the development of automated image quality assessment
Anusree et al. CBCT-guided 3D Dental Structure Reconstruction from Panoramic X-ray: A Preprocessing Pipeline

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080812

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees