JP2000163569A - 画質改善方法及び画質改善装置 - Google Patents

画質改善方法及び画質改善装置

Info

Publication number
JP2000163569A
JP2000163569A JP10339385A JP33938598A JP2000163569A JP 2000163569 A JP2000163569 A JP 2000163569A JP 10339385 A JP10339385 A JP 10339385A JP 33938598 A JP33938598 A JP 33938598A JP 2000163569 A JP2000163569 A JP 2000163569A
Authority
JP
Japan
Prior art keywords
image
principal component
image data
data
principal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10339385A
Other languages
English (en)
Other versions
JP4281135B2 (ja
Inventor
Yoichi Miyake
洋一 三宅
Kimiyoshi Miyata
公佳 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP33938598A priority Critical patent/JP4281135B2/ja
Publication of JP2000163569A publication Critical patent/JP2000163569A/ja
Application granted granted Critical
Publication of JP4281135B2 publication Critical patent/JP4281135B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 従来のノイズ除去方法は平滑化フィルタ
によりノイズを信号と平均化してノイズを信号に隠蔽
し、かつ信号成分はエッジなどの情報を失い、復元時エ
ッジ強調処理を行うと，隠蔽したノイズが再び顕在化
し，画質改善の効果を失うばかりか，更なる画質劣化を
誘発する要因ともなっていた。 【解決手段】 本発明は画像データを主成分分析を主成
分分析手段で実行する工程と、画像データを再構成する
ために必要とされる主成分の次元を主成分次元選択手段
で決定する工程と，主成分データから画像データを画像
再構成手段で再構成する工程とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は，画像中に混入さ
れたノイズを除去することにより画質を補正する方法お
よび装置に関するものである。
【０００２】
【従来の技術】図１７は例えば，画像工学の基礎（安居
院猛, 中嶋正之，昭晃堂， pp.30，1988）に示された従
来のノイズ除去手法である。ノイズを除去して画質補正
を実行しようとするディジタル画像データに対して３画
素×３画素の平均化フィルタを作用させ，画像に混入し
ているノイズの振幅を平均化させることにより，ノイズ
を目立たなくさせて画質改善を図っている。
【０００３】また，平均化フィルタに代えて，中央値フ
ィルタなどを作用させてノイズを除去する手法も良く知
られている。
【０００４】さらに，画像データをフーリエ変換等の直
交変換により周波数領域に変換し，周波数領域において
ノイズを除去するWienerフィルタ等の手法も用いられて
いる。
【０００５】主成分分析はデータの冗長性を削減し，オ
リジナルデータをより低次元で表現することが可能な手
法として多くの分野で用いられている。画像処理の分野
においても画像圧縮などに適用されている例があるが，
ノイズ除去のために適用した例はない。
【０００６】
【発明が解決しようとする課題】
【０００７】画像データは被写体本来の情報を表してい
る信号の成分と，様々な理由により混入されるノイズの
成分とが混在している。ノイズ成分は画質劣化の要因と
なるため，ノイズ除去は画質を改善するためには非常に
重要な画像処理技術である。
【０００８】従来のノイズ除去手法は平滑化フィルタに
代表されるように，ノイズを信号と平均化することによ
り目立たなくし，その結果として観察時の画質を改善し
ていた。しかし，厳密な意味ではノイズは除去されたの
ではなく，信号に隠蔽されただけである。さらに平滑化
フィルタにより信号成分はエッジなどの情報を失うこと
となり，これを復元させるためにエッジ強調処理を行う
と，隠蔽したはずのノイズが再び顕在化し，画質改善の
効果を失うばかりか，更なる画質劣化を誘発する要因と
もなっていた。
【０００９】この発明は上記のような問題点を解決する
ためになされたもので，ノイズが混入されて画質が劣化
している画像から，鮮鋭性を損なうことなくノイズを除
去し，画質を改善するするとともに，主成分分析により
画像の冗長性を削減し，画像データを圧縮することを目
的とする。
【００１０】
【課題を解決するための手段】この発明に係る請求項１
記載の画質改善方法は，画像データを主成分分析を実行
する工程と、画像データを再構成するために必要とされ
る主成分の次元を決定する工程と，主成分データから画
像データを再構成する工程とを備えるものである。
【００１１】この発明に係る請求項２記載の画質改善方
法は，再構成される画像の画像データを小領域に分割す
る分割工程を付加し、分割された各々の小領域毎に画像
データの主成分分析をし、画像データを再構成するため
に必要とされる主成分の次元を決定し、決定された主成
分データから画像データを再構成するものである。
【００１２】この発明に係る請求項３記載の画質改善方
法は，小領域に分割する分割工程は再構成される画像の
画像データをｈ画素×ｖ画素からなる空間的な小領域に
分割するものである。
【００１３】この発明に係る請求項４記載の画質改善方
法は，小領域に分割する分割工程は再構成される画像の
画像データを画素値の量子化方向に関して小領域に分割
するものである。
【００１４】この発明に係る請求項５記載の画質改善方
法は，小領域に分割する分割工程は再構成される画像に
おける画像データの統計的または形状等の特徴量に基づ
いて小領域に分割するものである。
【００１５】この発明に係る請求項６記載の画質改善方
法は，小領域に分割する分割工程は再構成される画像の
画像データを記述しているディジタル値空間から，三刺
激値などにより構成される色空間へ変換し、変換後の色
空間の画像を小領域に分割するものである。
【００１６】この発明に係る請求項７記載の画質改善方
法は，主成分の次元を決定する主成分次元選択工程は主
成分分析により得られる累積寄与率を計算し、累積寄与
率に基づいて画像再構成のための主成分次元を決定する
ものである。
【００１７】この発明に係る請求項８記載の画質改善方
法は，主成分の次元を決定する主成分次元選択工程は、
分割された各々の領域において個別に決定するか，また
は一様に決定するかを選択する工程を有するものであ
る。
【００１８】この発明に係る請求項９記載の画質改善方
法は，小領域に分割する再構成される画像の画像データ
を小領域に分割する工程は、画質改善対象の画像データ
に対して平滑化処理を行う補助工程と，前記平滑化され
た画像に対して領域分割を行う工程と，前記領域分割の
結果を保持する補助工程とを有し，主成分分析工程は前
記平滑化された画像から得られた分割領域毎に前記画像
データを主成分分析するものである。
【００１９】この発明に係る請求項１０記載の画質改善
装置は，ｎ次元データで構成されるディジタル画像に対
して主成分分析を適用し、前記主成分分析の結果得られ
た第１から第ｎまでの主成分により画像を記述する主成
分分析手段と，第１から第ｎまでの主成分から第ｍ主成
分（ｍ≦ｎ）までを選択する主成分次元選択手段と、こ
の選択結果により第ｍ主成分までを用いて画像を再構成
する画像再構成手段とを有するものである。
【００２０】
【発明の実施の形態】実施の形態１．図１はこの発明の
実施の形態１の装置の概略を示す構成図である。図１に
おいて，１は画像データ１００を入力する画像入力手
段，２は画像入力手段１で入力された画像データ１００
の主成分を演算する主成分分析手段，３は主成分分析手
段２で分析された主成分データ２００を基に画像の再構
成に用いる主成分次元数３００の選択をする主成分次元
選択手段，４は主成分次元選択手段で選択された主成分
次元数３００から画像データ４００を再構成する画像再
構成手段である。なお、４００は再構成された画像デー
タである。
【００２１】主成分分析手段２で実行する主成分分析は
多変量解析手法の一種である。多変量解析手法は多変量
の測定値が得られたとき，線形変換によって変量間の相
関をなくし，より少ない変量によって測定対象の特徴を
記述しようとする手法である。今，ある画像データの画
素値を表すｋ種（ｋ≧２）の変量（１x，２x， …
ｋx）がｎ組（1xj，2xj，…，Kxj）（j = 1，2，…，
n）得られたとする。画像を記述するための新しい変量
ｚを以下のようにこれらの変量ｉxの１次結合で表すこ
とを考える。 ｚ= ａ1１x + ａ2２x + … + ａkｋx ・・・ (1)
【００２２】この時，係数ａi（i = 1，2，…，K）をΣ
ａi 2 = 1の条件のもとでｚの分布が最大になるように定
めると，変量ｚは第１主成分と呼ばれれ，係数ａ = (ａ
1,ａ2, …, ａk)は第１主成分ベクトルと呼ばれる。第
１主成分ベクトルは分布の分散が最大の方向となる。い
ま，第１主成分ｚを１z，第１主成分ベクトルａを１と
書くと，第α主成分αzおよび第α主成分ベクトルαaは
以下の２つの条件を満たすように決定される。コンピュ
ータによる実際の演算には，ラグランジュの未定係数法
などを用いる。 （条件１） αaαat＝ 1 （条件２） 第α主成分αzはβz（α≠β）と無相関
で，その分散ｖ{αz}がｖ｛αｚ｝≧ｖ{βz}（α≧β）
を満足する。
【００２３】図２は，２変数の場合を例としたディジタ
ル値と主成分との関係を表している。横軸はＲデータ，
縦軸はＧデータを示している。黒点は画素データを表し
ており，ＲＧ平面内に分布している。このような分布を
持つ画像データに対して主成分分析を行うと図中に示さ
れている第１主成分軸と第２主成分軸が得られる。各主
成分は前述の通りＲＧデータの１次結合で表されてい
る。ここに示す例では，第１主成分はその画像の持つ情
報，即ち信号成分を最も良く表している変数であり，第
２主成分がノイズ成分となる。黒丸で示されている画像
データには信号成分とともにノイズ成分も含まれている
が，第１主成分軸へ射影される事によりノイズ成分は除
去される。ここに示す例の通り，画像データに対して主
成分分析を適用し，ノイズ成分を多く含んでいる主成分
を削除した後に画像を再構成することにより，ノイズを
除去することが可能となる。
【００２４】図２は２次元データを例として説明してい
るが，ディジタル画像データは一般的にＲＧＢの３次元
であり，この画像データから主成分分析により計算され
る主成分の次元も３次元である。図２に示した例と同様
に，計算された第１主成分は信号成分を最もよく表して
おり，第２主成分，第３主成分になるにしたがってノイ
ズ成分が多く含まれるようになる。
【００２５】Ｄをディジタル画像のある１画素のベクト
ルデータ，ｐiを第ｉ主成分ベクトルとすると，再構成
された画素ベクトルＤ■は式(2)から(7)により求められ
る。
【００２６】
【数１】
【００２７】ここで，０はゼロベクトル，ｉは削減した
結果の次元であり，ｔは転置を表している。Ｐ1は第１
主成分だけを用いて画像を再構成する際に用いられる変
換行列，Ｐ2，Ｐ3はそれぞれ第２主成分，第３主成分を
用いて画像を再構成する際に用いられる変換行列であ
る。式(2)により表される画素データは選択された主成
分次元だけを用いるように式(4)から(6)のいずれかの変
換行列を用いる。第１主成分だけを用いて画像を再構成
するときにはi = 1となり，式(4)の変換行列が用いられ
る。第２主成分まで用いるならば式(5)，第３主成分ま
でを用いるならば式(6)に示す変換行列がそれぞれ用い
られる。
【００２８】主成分次元選択手段３での、ノイズ削減の
ための主成分の次元を決定する方法は主成分分析手段２
での演算結果である画像の主成分データ２００の累積寄
与率を算出し、この累積寄与率が予め設定された累積寄
与率を越えた次元までを選択する。この累積寄与率はも
との画像データの情報をどの程度表現しているかを表す
指標である。
【００２９】次に動作について説明する。画像入力手段
１で入力された画像データ１００はまず主成分分析手段
２により主成分が演算され，その結果として画像の主成
分データ２００が算出される。この主成分データ２００
はディジタル値からの１次結合として算出される。補正
画像は主成分次元の選択手段３により累積寄与率を用い
て定められた上位の主成分だけを用いて画像再構成手段
４でディジタル値へと変換され，画像データ４００が再
構成される。
【００３０】続いて本実施の形態における効果について
説明する。上位の主成分は本来画像の有している情報を
記述している変数であり，以上のように，上位の主成分
だけを用いて画像を再構成するようにしているので，下
位の主成分に多く含まれているノイズを除去することが
できる。除去するのはノイズ成分だけであり，本来画像
の持つエッジなどの信号は保持されるので，鮮鋭性を損
なうことなくノイズを除去することが可能となり画質を
改善することができる。
【００３１】なお、ノイズ除去のためには，画像の再構
成に使用する主成分の次元を決定しなければならない。
しかしこの際，効果的にノイズ成分を除去するために
は，削減する主成分をどのように決定するかが重要であ
る。第３主成分までを用いて画像を再構成するとノイズ
除去の効果は皆無となる。第１主成分のみを使って低次
元近似を行った場合，ノイズ除去効果は高くなるが，低
次元近似による情報損失も大きくなり，両者はトレード
オフの関係となる。本実施の形態においては累積寄与率
を用いて画像再構成に使用する主成分の次元を決定する
ことにより，経験によらず自動的に本手法を適用してノ
イズを除去できる。
【００３２】実施の形態２．上記の実施の形態１では，
画像全体に対して主成分分析を実行するようにしたもの
であるが，次に画像を空間的に領域分割した後に本手法
を適用する実施の形態を示す。
【００３３】図３は，このような場合の，空間的領域分
割の例を示している。Ｈ画素×Ｖ画素からなる入力画像
は，任意の大きさｈ画素×ｖ画素の小領域に分割され
る。分割された小領域に対してそれぞれ個別に実施の形
態１に示す手法を適用する。
【００３４】次に動作について説明する。まず，画質補
正対象の画像を空間的に領域分割する。次に分割された
各領域毎に主成分分析を適用し，実施の形態１と同様に
ノイズと見なす下位の主成分を削除する。最後に上位の
成分を用いて各領域毎に画像データを再構成する。
【００３５】次に効果について説明する。一般的に画像
処理する時，画像劣化は画像の位置に依存せずに一様に
劣化しているとの仮定に基づいて行われる。しかしなが
ら，実際には画像入力装置のレンズ系における周辺光量
の低下などの理由により，画像の位置により劣化の程度
は異なっている。このような場合にも画像を空間的な小
領域に分割し，各々の領域毎に適用しているため本実施
の形態により画質を改善することができる。
【００３６】実施の形態３．上記の実施の形態２は，空
間的に画像を分割したものであるが，画像を画像データ
の深さ方向すなわちディジタル値空間で分割し，分割さ
れた各々の領域毎に適用してもよい。
【００３７】図４は，このような場合の，ディジタル値
方向における領域分割して画質を改善する装置の概略を
示す構成図である。図４において，１は画像データを入
力する画像入力手段，５は画像入力手段１で入力された
画像データをディジタル値方向に小領域に分割する領域
分割手段、６は領域分割手段５で分割された小領域毎に
画像データの主成分を演算する領域毎主成分分析手段，
７は領域毎主成分分析手段６で分析された主成分データ
を基に画像の再構成に用いる主成分次元数の選択をする
領域毎主成分次元選択手段，４は領域毎主成分次元選択
手段７で選択された主成分次元数から画像データを再構
成する画像再構成手段である。
【００３８】ディジタル値方向における領域分割して画
質を改善する手順は次のとおりである。まず画像入力手
段１で入力された画質補正対象の画像データに対して領
域分割手段５でディジタル値空間において領域分割を行
う。次に，領域毎主成分分析手段６で各々の領域におい
て主成分分析を適用した後，領域毎主成分次元選択手段
７で各々の領域においてノイズを除去する。最後に，画
像再構成手段４により主成分データから画像を再構成す
る。なお、領域毎主成分次元選択手段７で各々の領域に
おけるノイズを除去する方法は実施の形態１で述べた方
法と同様である。
【００３９】図５は例として，２次元データに対して行
った領域分割を用いた主成分分析の模式図である。横軸
はＲデータ，縦軸はＧデータであり，黒点は画素データ
である。画像には人物や背景などの様々な物体が含まれ
ているため，画素データはＲＧ平面で物体毎にいくつか
の集合をなすように分布する。図５では例として２つの
集合が示されている。これらの集合をディジタル値空間
において異なる領域として分割し，各々の領域において
主成分分析を適用した結果として得られた主成分が図中
に示されている。領域１における第１主成分がＰ11，第
２主成分がＰ12であり，領域２における第１主成分がＰ
21，第２主成分がＰ22である。
【００４０】ＲＧＢ３チャネルで構成される画像データ
に対しても同様にディジタル値空間において領域分割を
行うことができる。カラー画像の領域分割には様々な手
法が用いられているが，ここではディジタルＲＧＢ値に
基づいて入力画像をRed，Green，Blue，Skin，Gray，Bl
ackの６つの色カテゴリへ領域分割し，その後，各カテ
ゴリにおいて主成分分析を行う例を挙げる。
【００４１】ディジタル値空間における領域分割はＲＧ
Ｂ値から次式によりｏｐｑ値へと変換して行われる。
【００４２】
【数２】
【００４３】この変換により得られたｐｑ座標軸はＲＧ
Ｂディジタル値空間の単位面と同一平面内にあり，単位
面の重心を原点として直交している。ｏ軸はＲＧＢ空間
の原点と単位面の重心を通っている。このｏｐｑ座標系
を用いた領域分割は以下の手順で行われる。まず原点か
ら単位面の各辺への垂線を境界としてRed，Green，Blue
の領域を決定する。また，単位面の重心，即ち原点を中
心とした半径rg内の領域をGray領域とし，Gray領域内で
ｏ≦Kthとなる領域をBlack領域とする。最後に，予め統
計的に定められた肌色領域を近似する確率楕円内の領域
をSkin領域とする。以上の手法により，入力画像は６つ
の色カテゴリへと領域分割される。図６は，このような
場合の，ディジタル値方向における領域分割の説明図で
ある。図７はディジタル値空間において分割された領域
の例を示している。
【００４４】次に動作について説明する。図８は領域分
割を用いた場合の手順を説明している図である。まず，
入力された画像データが上記手法により図示のようにＳ
個の領域に分割される。次に，分割された各々の領域に
おいて主成分分析を行い，続いてノイズ成分を削除して
画像を再構成する。最後に，各領域を統合して補正画像
を得る。
【００４５】続いて効果について説明する。一般的に，
画像には多くの被写体が含まれているが，画像データ全
体に対して主成分分析を行うのではなく，小領域に分割
した後に行う方がより低次元で元の情報を表すことがで
きる。低次元で近似できることは，すなわちノイズ除去
の効果が高いことを意味している。
【００４６】例えば，Red領域における第１主成分は赤
軸とみなすことができる。この赤軸からずれているほど
ノイズである可能性が高くなる。
【００４７】実施の形態４．画像の領域分割を行う際に
は，画像の有する統計的性質や，画像中の被写体の形状
などの特徴量を用いることにより適応的に領域分割を行
うことが可能となり，ノイズ除去の効果を向上させるこ
とが可能となる。
【００４８】実施の形態４の構成は図４に示す前記実施
の形態３の構成図と同様である。前記実施の形態３で
は、領域分割手段５は入力画像データをディジタル値方
向に小領域に分割したが、実施の形態４では画像の有す
る統計的性質や，画像中の被写体の形状などの特徴量を
用いて小領域に分割する
【００４９】次に動作について説明する。図９は，この
ような場合の，形状を考慮した領域分割の手順である。
まず画像入力手段１で画像データを入力する（Ｓ１）。
次に入力された画質補正対象の画像データに対して領域
分割手段５で形状等に着目して小領域に領域分割を行う
（Ｓ２）。続いて，領域毎主成分分析手段６で各々の領
域において主成分分析を適用し（Ｓ３）た後，領域毎主
成分次元選択手段７で各々の領域においてノイズを除去
する（Ｓ４）。最後に，画像再構成手段４により選択さ
れた主成分だけを用いて画像を再構成する（Ｓ５）。
【００５０】形状等に着目した領域分割は，例えば画像
データからエッジ検出オペレータを作用させることによ
り画像のエッジを抽出し，抽出されたエッジで作られる
閉領域を一つの領域とするなどの手法を用いる。これを
画像全体に対して適用し，必要に応じて孤立点除去等の
処理を行う。
【００５１】テクスチャに着目した領域分割も有効であ
る。テクスチャは閉領域における統計的性質に基づいて
判別することができ，領域分割に際して同一の統計的性
質を有する領域は同一のテクスチャを有する領域として
空間的に隣接していなくても同一領域として分類する。
図１０は，このような場合の，形状を考慮した行われた
領域分割の例である。
【００５２】続いて効果について説明する。形状等の特
徴を用いることにより領域分割の精度を向上させること
ができるため，画質を改善することが可能となる。
【００５３】実施の形態５．実施の形態３では画像デー
タを構成している３つのディジタル値を用いて領域分割
を行ったが，所定の手段を用いてディジタル値空間から
色空間へ変換し，この色空間において画像を分割する方
法について説明する。
【００５４】図１１は，実施の形態５による装置の概略
を示す構成図である。図１１において，１は画像データ
を入力する画像入力手段，８は入力画像データを所定の
手法により色空間へと変換する色空間変換手段、５は変
換された色空間において領域分割を行い小領域に分割す
る領域分割手段、６は領域分割手段５で分割された小領
域毎に画像データの主成分を演算する領域毎主成分分析
手段，７は領域毎主成分分析手段６で分析された主成分
データを基に画像の再構成に用いる主成分次元数の選択
をする領域毎主成分次元選択手段，９はディジタル値空
間に変換するディジタル値空間変換手段、４は領域毎主
成分次元選択手段７で選択され、ディジタル値空間変換
手段９によりディジタル値に変換された主成分次元数か
ら画像データを再構成する画像再構成手段である。
【００５５】次に動作について説明する。図１２は，こ
のような場合の，色空間への変換手順を示している。こ
こでは色空間として三刺激値ＸＹＺ空間を考える。三刺
激値ＸＹＺは国際照明委員会によって定められた表色の
ための空間である。まず画像データを構成しているＲ，
Ｇ，Ｂのディジタル値から，式(12)に示されるモニタの
特性式を用いて各原色の発光輝度ＬR，ＬG，ＬBを算出
する。式(12)において，kr1，kg1，kb1はディジタル値
と発光輝度とを近似する曲線の回帰係数である。続いて
式(13)に示される加法混色モデルを用いて，各原色の発
光輝度から三刺激値Ｘ，Ｙ，Ｚへ変換する。式(13)にお
いて，ｍ11からｍ33までの係数はモニタの原色の三刺激
値から決定される係数である。
【００５６】
【数３】
【００５７】ディジタル値空間から三刺激値空間への変
換は，式(12)および(13)に示される通り，画像表示装置
の赤，緑，青の各原色の三刺激値と，各原色におけるデ
ィジタル値に対する発光輝度との関係から定式化するこ
とができる。必要に応じて，数式によらずルックアップ
テーブルを用いてディジタル値から三刺激値への変換を
行ってもよい。
【００５８】続いて効果について説明する。ディジタル
値は画像装置の駆動信号であるため，色情報を直接与え
るものではなく，そのためのパラメータにすぎない。三
刺激値は色を表すための変数であるため，三刺激値を用
いることにより人間の視覚に基づいた領域分割を行うこ
とができる。このため，人間の視覚に合致するように画
質を改善することが可能となる。
【００５９】実施の形態６．主成分次元選択手段におい
て，分割された各々の領域において個別に決定するか，
あるいは一様に決定するかを選択できるように構成して
もよい。図１３は，このような場合の，画像再構成に用
いる主成分次元を各領域毎に決定する手段の構成図であ
る。
【００６０】図１３において，１は画像データを入力す
る画像入力手段，５は画像入力手段１で入力された画像
データを小領域に分割する領域分割手段、６は領域分割
手段５で分割された小領域毎に画像データの主成分を演
算する領域毎主成分分析手段，１０は画像データ全体に
同一の主成分次元を用いるか、領域毎に主成分次元を選
択するか切替える主成分次元選択切替手段、７は領域毎
主成分分析手段６で分析された主成分データを基に画像
の再構成に用いる主成分次元数を領域毎に選択する領域
毎主成分次元選択手段，１１は画像データ全体に用いる
同一の主成分次元数を選択する一括主成分次元選択手
段，４は領域毎主成分次元選択手段７又は一括主成分次
元選択手段１１で選択された主成分次元数から画像デー
タを再構成する画像再構成手段である。
【００６１】領域毎主成分次元選択手段７は領域毎に累
積寄与率を算出し、オペレータにより入力されるか，あ
るいは予め設定された累積寄与率の閾値と比較し，閾値
を越えたところまでの主成分次元を用いる。
【００６２】続いて効果について説明する。画像には非
常に様々な情報が含まれており，領域分割を行ったとし
ても各々の領域毎に信号成分とノイズ成分の存在比率は
異なる。したがって領域毎に再構成のための主成分次元
を決定することにより，画像に適応したノイズ除去がで
きるようになり画質が改善される。一括して主成分次元
を決定する場合には、領域毎に主成分次元を決定する必
要がなく簡易に主成分次元を決定することができる。一
括して主成分次元を決定する場合においても領域分割を
行うことにより画質を改善することができる。
【００６３】実施の形態７．本方法では画像を信号成分
とノイズ成分とに分離し，ノイズ成分だけを除去してい
る。このためこの方法により信号は劣化しないため，本
方法を他の画質改善の前処理あるいは後処理として作用
させることにより画質を改善することが可能となる。図
１４は，このような場合の，本方法を前処理として適用
している手順である。
【００６４】次に動作について説明する。画像データを
入力する（Ｓ１）。入力された画像データに対して主成
分分析を行い（Ｓ３），画像の再構成に用いる主成分次
元数を選択する（Ｓ４）。選択された主成分だけを用い
てノイズを除去して画像を再構成する（Ｓ５）。その
後，エッジ強調処理を適用する（Ｓ６）。
【００６５】続いて効果について説明する。一般的な画
像では，ノイズ混入とともに画像の鮮鋭性も損なわれて
いるため，ノイズ除去と鮮鋭化の両立が望まれる。しか
し，従来の手法ではノイズを除去するために鮮鋭性が劣
化し，本来の鮮鋭性劣化と相乗して著しく鮮鋭性を損な
っていた。これを改善するためには強度のエッジ強調処
理が必要である。本手法では，ノイズ除去に伴う鮮鋭性
の低下が発生しないため，本手法を適用した後にエッジ
強調を行うことで，ノイズが強調されることなく画質を
改善することが可能となる。
【００６６】実施の形態８．領域毎に本方法を適用する
際には，領域分割が適切に行われなければならない。特
に，ランダムドット状のノイズが混入しているときに
は，それを信号と見なすかノイズと見なすかが画質改善
結果に影響を及ぼす。本画質改善方法では，領域分割に
際してのみ劣化画像に対して平滑化処理等を行っても，
実際のノイズ除去は本手法によれば鮮鋭性を劣化させな
い。図１５は，このような場合の，領域分割のために平
滑化処理を行う装置の概略を示す構成図である。
【００６７】図１５において，１は画像データを入力す
る画像入力手段，１２は画像入力手段１で入力された画
像データの劣化画像に対して平滑化処理を行う平滑化処
理手段、１３は平滑化された画像データに対して前記実
施の形態のいずれかの手法で領域分割を行う領域分割手
段、１４は領域分割手段１３で分割された各画素位置に
おける領域をラベリングし、記憶するラベリング手段、
６は領域分割手段１３で分割された小領域毎にラベリン
グ手段１４で処理されたラベリンを基に画像入力手段１
で入力された画像データの主成分を演算する領域毎主成
分分析手段，７は領域毎主成分分析手段６で分析された
主成分データを基に画像の再構成に用いる主成分次元数
の選択をする領域毎主成分次元選択手段，４は領域毎主
成分次元選択手段７で選択された主成分次元数から画像
データを再構成する画像再構成手段である。
【００６８】次に動作について説明する。入力された劣
化画像に対して平滑化処理を行う。平滑化された画像デ
ータに対して前記実施の形態のいずれかの手法で領域分
割を行い，各画素位置における領域を記憶する。同じ領
域として分割された平滑化前の画像データから領域の属
する画素の集合を作成し，各々の集合毎に主成分分析を
適用する。
【００６９】続いて効果について説明する。本画質改善
手法では鮮鋭性を劣化させないという特徴を活かし，領
域分割のためだけに平滑化処理を行う。その結果，ラン
ダムドット状のノイズに影響されることなく，適切な領
域分割が可能となり，ノイズを除去することができる。
【００７０】実施の形態９．実施の形態１から実施の形
態８に記載の画質改善方法を反復して適用することによ
りノイズ除去の効果を高めることができる。図１６は，
このような場合の，反復して本方法を適用する際の手順
である。
【００７１】次に動作について説明する。画像データを
入力する（Ｓ１）。入力された画像データに対して主成
分分析を行い（Ｓ３），画像の再構成に用いる主成分次
元数を選択する（Ｓ４）。選択された主成分だけを用い
てノイズを除去して画像を再構成する（Ｓ５）。この
（Ｓ５）の結果を新たな入力画像と見なして，本画質改
善方法を反復して実行する。このとき，反復毎に領域分
割の方法を代えてもよい。この反復は予め設定された評
価値を満たすまで繰り返される。評価値としては原画像
と補正画像の平均二乗誤差や，累積寄与率などを用いて
もよい。なお、画質改善方法は実施の形態１から実施の
形態８の方法を適用する。
【００７２】続いて効果について説明する。入力画像は
一般的にＲＧＢの３次元データであり，この画像の主成
分は同様に３次元まで算出される。したがって，ノイズ
を除去するには第１主成分を用いるか，あるいは第２主
成分までを用いるかして画像を再構成する。しかし，混
入されているノイズが複雑に作用しているならば，１回
だけ本方法を適用してもノイズを十分に除去できない場
合がある。このような場合には，本方法を反復して適用
することでノイズ除去の効果を高めることができる。反
復して本方法を適用しても，本方法は鮮鋭性を劣化させ
ない。
【００７３】
【発明の効果】以上のように，この発明の請求項１およ
び請求項１０記載の画質改善方法及び画質改善装置によ
れば、画像データを信号成分とノイズ成分とに分離し，
本来画像の有している情報を記述している変数である上
位の主成分だけを用いて画像を再構成するようにしてい
るので，下位の主成分に多く含まれているノイズを除去
することができる。除去するのはノイズ成分だけであ
り，本来画像の持つエッジなどの信号は保持されるの
で，鮮鋭性を損なうことなくノイズを除去することが可
能となり画質を改善することができる。
【００７４】また，ノイズは信号に隠蔽されるのではな
いため，エッジ強調処理などの他の画像処理方法と本方
法とを併用することに弊害は生じない。
【００７５】請求項２記載の画質改善方法によれば、一
般的に画像処理する画像データは画像の位置により劣化
の程度は異なっている。このような場合にも画像を小領
域に分割し，各々の領域毎に適用しているため画質改善
の効果が更に向上する。
【００７６】請求項３記載の画質改善方法によれば、一
般的に画像処理する画像データは画像入力装置のレンズ
系における周辺光量の低下などの理由により，画像の位
置により劣化の程度は異なっている。このような場合に
も画像を空間的な小領域に分割し，各々の領域毎に適用
しているため画質改善の効果が更に向上する。
【００７７】請求項４記載の画質改善方法によれば、一
般的に，画像には多くの被写体が含まれているが，画像
データ全体に対して主成分分析を行うのではなく，小領
域に分割した後に行う方がより低次元で元の情報を表す
ことができる。低次元で近似できることは，すなわちノ
イズ除去の効果が高いことを意味している。
【００７８】請求項５記載のによる画質改善方法によれ
ば、領域分割に形状等の特徴を用いることにより領域分
割の精度を向上させることができるため，画質改善の効
果が更に向上する。
【００７９】請求項６記載のによる画質改善方法によれ
ば、ディジタル値は画像装置の駆動信号であるため，色
情報を直接与えるものではなく，そのためのパラメータ
にすぎない。三刺激値は色を表すための変数であるた
め，三刺激値を用いることにより人間の視覚に基づいた
領域分割を行うことができる。このため，人間の視覚に
合致するように画質を改善することが可能となる。
【００８０】請求項７記載のによる画質改善方法によれ
ば、画像の再構成に使用する主成分の次元を決定に累積
寄与率を用いて画像再構成に使用する主成分の次元を決
定することにより，経験によらず自動的に本手法を適用
してノイズを除去できる。
【００８１】請求項８記載のによる本画質改善方法で
は、画像には非常に様々な情報が含まれており，領域分
割を行ったとしても各々の領域毎に信号成分とノイズ成
分の存在比率は異なる。したがって領域毎に再構成のた
めの主成分次元を決定することにより，領域毎の画像に
適応したノイズ除去ができるようになり画質が改善され
る。
【００８２】請求項９記載のによる本画質改善方法では
鮮鋭性を劣化させないという特徴を活かし，領域分割の
ためだけに平滑化処理を行う。その結果，ランダムドッ
ト状のノイズに影響されることなく，適切な領域分割が
可能となり，ノイズを除去することができる。
【００８３】また，領域分割に基づいてローカルにノイ
ズを除去するので画像の内容に適応した画質改善を行う
ことができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１を示す概略構成図。
【図２】 実施の形態１における２変数の場合を例とし
たディジタル値と主成分との関係を表す説明図。
【図３】 実施の形態２における画像を空間的に領域分
割例を示す説明図。
【図４】 実施の形態３における画像をディジタル値方
向に領域分割する手順を示す説明図。
【図５】 ２次元データに対する領域分割を用いた主成
分分析の模式図。
【図６】 ディジタル値方向における領域分割の説明
図。
【図７】 ディジタル値空間における分割された領域例
を示す説明図。
【図８】 実施の形態３における領域分割を用いた手順
を示す説明図。
【図９】 実施の形態４における形状を考慮した領域分
割を用いた手順を示す説明図。
【図１０】 実施の形態４における形状を考慮した領域
分割例の説明図。
【図１１】 実施の形態５におけるディジタル値空間か
ら変換した色空間における領域分割の手順を示す説明
図。
【図１２】 実施の形態５におけるディジタル値空間か
ら色空間への変換手順を示す説明図。
【図１３】 実施の形態６における画像再構成に用いる
主成分次元を各領域毎に決定する概略構成図。
【図１４】 実施の形態７におけるエッジ強調処理の前
処理に適用する手順を示す説明図。
【図１５】 実施の形態８における領域分割に平滑化処
理を行う手法の手順を示す説明図。
【図１６】 実施の形態９における画質改善手法を反復
して適用する際の手順を示す説明図。
【図１７】 従来のノイズ除去手法の説明図である。
【符号の説明】
１：画像入力手段，２：主成分分析手段，３：主成分次
元選択手段，４：画像再構成手段、５：領域分割手段、
６：領域毎主成分分析手段，７：領域毎主成分次元選択
手段， ８：色空間変換手段、９：ディジタル値空間
変換手段、１０：主成分次元選択切替手段、１１：一括
主成分次元選択手段，１２：平滑化処理手段、１３：領
域分割手段、１４：ラベリング手段、１００：画像デー
タ、２００：主成分データ、３００：主成分次元数、４
００：画像データ。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA11 BA02 BA15 BA17 BA19 BA30 CA01 CA08 CA12 CB01 CB08 CB12 CD14 CE02 CE05 CE06 CG02 CG05 CH02 CH09 CH18 CH20 DA17 DB02 DB06 DC19 5C021 PA61 PA66 RA02 RA06 RB07 RB09 YA01 5C077 LL02 MP07 MP08 PP02 PP03 PP19 PP31 PP51 PQ19

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 ｎ次元データで構成されるディジタル画
    像のノイズを除去し、画像を再構成する画質改善方法に
    おいて，ｎ次元データで構成されるディジタル画像に対
    して主成分分析を適用し、前記主成分分析の結果得られ
    た第１から第ｎまでの主成分により画像を記述する主成
    分分析工程と，第１から第ｎまでの主成分から第ｍ主成
    分（ｍ≦ｎ）までを選択する主成分次元選択工程と、こ
    の選択結果により第ｍ主成分までを用いて画像を再構成
    する画像再構成工程とを有することを特徴とする画質改
    善方法。
  2. 【請求項２】 再構成される画像の画像データを小領域
    に分割する分割工程と、分割された各々の小領域毎にｎ
    次元データで構成されるディジタル画像に対して主成分
    分析を適用し、前記主成分分析の結果得られた第１から
    第ｎまでの主成分により画像を記述する主成分分析工程
    と，第１から第ｎまでの主成分から第ｍ主成分（ｍ≦
    ｎ）までを選択する主成分次元選択工程と、この選択結
    果により第ｍ主成分までを用いて画像を再構成する画像
    再構成工程とを有することを特徴とする画質改善方法。
  3. 【請求項３】 分割工程は再構成される画像の画像デー
    タをｈ画素×ｖ画素からなる空間的な小領域に分割する
    ことを特徴とする請求項２に記載の画質改善方法。
  4. 【請求項４】 分割工程は再構成される画像の画像デー
    タを画素値の量子化方向に関して小領域に分割すること
    を特徴とする請求項２に記載の画質改善方法。
  5. 【請求項５】 分割工程は再構成される画像における画
    像データの統計的または形状等の特徴量に基づいて小領
    域に分割することを特徴とする請求項２に記載の画質改
    善方法。
  6. 【請求項６】 分割工程は再構成される画像の画像デー
    タを記述しているディジタル値空間から，三刺激値など
    により構成される色空間へ変換し、変換後の色空間の画
    像を小領域に分割することを特徴とする請求項２に記載
    の画質改善方法。
  7. 【請求項７】 主成分の次元を決定する主成分次元選択
    工程は主成分分析により得られる累積寄与率を計算し、
    累積寄与率に基づいて画像再構成のための主成分次元を
    決定することを特徴とする請求項１から請求項５に何れ
    かに記載の画質改善方法。
  8. 【請求項８】 主成分の次元を決定する主成分次元選択
    工程は、分割された各々の領域において個別に決定する
    か，または一様に決定するかを選択する工程を有するこ
    とを特徴とする請求項６に記載の画質改善方法。
  9. 【請求項９】 再構成される画像の画像データを小領域
    に分割する工程は、画質改善対象の画像データに対して
    平滑化処理を行う補助工程と，前記平滑化された画像に
    対して領域分割を行う工程と，前記領域分割の結果を保
    持する補助工程とを有し，主成分分析工程は前記平滑化
    された画像から得られた分割領域毎に前記画像データを
    主成分分析することを特徴とする請求項２から請求項８
    の何れかに記載の画質改善方法。
  10. 【請求項１０】 ｎ次元データで構成されるディジタル
    画像のノイズを除去し、画像を再構成する画質改善装置
    において，ｎ次元データで構成されるディジタル画像に
    対して主成分分析を適用し、前記主成分分析の結果得ら
    れた第１から第ｎまでの主成分により画像を記述する主
    成分分析手段と，第１から第ｎまでの主成分から第ｍ主
    成分（ｍ≦ｎ）までを選択する主成分次元選択手段と、
    この選択結果により第ｍ主成分までを用いて画像を再構
    成する画像再構成手段とを有することを特徴とする画質
    改善装置。
JP33938598A 1998-11-30 1998-11-30 画質改善方法及び画質改善装置 Expired - Fee Related JP4281135B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP33938598A JP4281135B2 (ja) 1998-11-30 1998-11-30 画質改善方法及び画質改善装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP33938598A JP4281135B2 (ja) 1998-11-30 1998-11-30 画質改善方法及び画質改善装置

Publications (2)

Publication Number Publication Date
JP2000163569A true JP2000163569A (ja) 2000-06-16
JP4281135B2 JP4281135B2 (ja) 2009-06-17

Family

ID=18326976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33938598A Expired - Fee Related JP4281135B2 (ja) 1998-11-30 1998-11-30 画質改善方法及び画質改善装置

Country Status (1)

Country Link
JP (1) JP4281135B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141122A (ja) * 2001-11-06 2003-05-16 Open Loop:Kk 生物学的な配列情報処理方法および装置
WO2005046483A1 (ja) * 2003-11-12 2005-05-26 Hitachi Medical Corporation 生体光計測装置
WO2005099249A1 (ja) * 2004-04-09 2005-10-20 Olympus Corporation 圧縮装置、色変換装置、その方法、プログラム、ルックアップテーブル及び記憶媒体
JP2006139418A (ja) * 2004-11-10 2006-06-01 Ntt Docomo Inc 画像処理装置及び画像処理方法
WO2007010624A1 (ja) * 2005-07-22 2007-01-25 Saga University 座標変換方法、それを用いたデータ圧縮方法及び情報ハイディング方法、並びに、それらの装置
JP2007036746A (ja) * 2005-07-27 2007-02-08 Fuji Xerox Co Ltd 色予測方法、色予測装置及び色予測プログラム
JP2008256558A (ja) * 2007-04-05 2008-10-23 Nippon Steel Corp 疵検査方法、疵検査装置、及びコンピュータプログラム
JP2009044640A (ja) * 2007-08-10 2009-02-26 Seiko Epson Corp 画像処理のための装置、方法、および、プログラム
JP2011509697A (ja) * 2007-12-04 2011-03-31 ジーイー・ヘルスケア・リミテッド 画像解析
WO2011086594A1 (ja) * 2010-01-13 2011-07-21 株式会社 東芝 画像処理装置、及びその方法
JP2013025368A (ja) * 2011-07-15 2013-02-04 Tokyo Institute Of Technology ノイズレベル推定装置、ノイズレベル推定方法及びプログラム
JP2013041398A (ja) * 2011-08-15 2013-02-28 Toshiba Corp 画像処理装置、方法及びプログラム
JP2014044504A (ja) * 2012-08-24 2014-03-13 Canon Inc 画像復元方法、画像復元装置、撮像装置およびプログラム
JP2015138553A (ja) * 2014-01-20 2015-07-30 富士通株式会社 画像平滑化方法及び画像平滑化装置
JP2019049426A (ja) * 2017-09-08 2019-03-28 日本電信電話株式会社 センサ信号処理方法、センサ信号処理装置、およびプログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141122A (ja) * 2001-11-06 2003-05-16 Open Loop:Kk 生物学的な配列情報処理方法および装置
US8019399B2 (en) 2003-11-12 2011-09-13 Hitachi Medical Corporation Optical measurement apparatus for living body
WO2005046483A1 (ja) * 2003-11-12 2005-05-26 Hitachi Medical Corporation 生体光計測装置
WO2005099249A1 (ja) * 2004-04-09 2005-10-20 Olympus Corporation 圧縮装置、色変換装置、その方法、プログラム、ルックアップテーブル及び記憶媒体
JP2006139418A (ja) * 2004-11-10 2006-06-01 Ntt Docomo Inc 画像処理装置及び画像処理方法
JP4664047B2 (ja) * 2004-11-10 2011-04-06 株式会社エヌ・ティ・ティ・ドコモ 画像処理装置及び画像処理方法
WO2007010624A1 (ja) * 2005-07-22 2007-01-25 Saga University 座標変換方法、それを用いたデータ圧縮方法及び情報ハイディング方法、並びに、それらの装置
JP4752012B2 (ja) * 2005-07-22 2011-08-17 国立大学法人佐賀大学 情報ハイディング方法及び情報ハイディング装置
JPWO2007010624A1 (ja) * 2005-07-22 2009-01-29 国立大学法人佐賀大学 座標変換方法、それを用いたデータ圧縮方法及び情報ハイディング方法、並びに、それらの装置
JP4548261B2 (ja) * 2005-07-27 2010-09-22 富士ゼロックス株式会社 色予測方法、色予測装置及び色予測プログラム
JP2007036746A (ja) * 2005-07-27 2007-02-08 Fuji Xerox Co Ltd 色予測方法、色予測装置及び色予測プログラム
JP2008256558A (ja) * 2007-04-05 2008-10-23 Nippon Steel Corp 疵検査方法、疵検査装置、及びコンピュータプログラム
JP2009044640A (ja) * 2007-08-10 2009-02-26 Seiko Epson Corp 画像処理のための装置、方法、および、プログラム
JP2011509697A (ja) * 2007-12-04 2011-03-31 ジーイー・ヘルスケア・リミテッド 画像解析
WO2011086594A1 (ja) * 2010-01-13 2011-07-21 株式会社 東芝 画像処理装置、及びその方法
CN102713971A (zh) * 2010-01-13 2012-10-03 株式会社东芝 图像处理设备以及方法
JPWO2011086594A1 (ja) * 2010-01-13 2013-05-16 株式会社東芝 画像処理装置、及びその方法
JP5431501B2 (ja) * 2010-01-13 2014-03-05 株式会社東芝 画像処理装置、及びその方法
US8693804B2 (en) 2010-01-13 2014-04-08 Kabushiki Kaisha Toshiba Image processing apparatus and method
JP2013025368A (ja) * 2011-07-15 2013-02-04 Tokyo Institute Of Technology ノイズレベル推定装置、ノイズレベル推定方法及びプログラム
JP2013041398A (ja) * 2011-08-15 2013-02-28 Toshiba Corp 画像処理装置、方法及びプログラム
JP2014044504A (ja) * 2012-08-24 2014-03-13 Canon Inc 画像復元方法、画像復元装置、撮像装置およびプログラム
JP2015138553A (ja) * 2014-01-20 2015-07-30 富士通株式会社 画像平滑化方法及び画像平滑化装置
JP2019049426A (ja) * 2017-09-08 2019-03-28 日本電信電話株式会社 センサ信号処理方法、センサ信号処理装置、およびプログラム

Also Published As

Publication number Publication date
JP4281135B2 (ja) 2009-06-17

Similar Documents

Publication Publication Date Title
Maini et al. A comprehensive review of image enhancement techniques
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
DE69631257T2 (de) Bildverarbeitungssystem
DE60111756T2 (de) Verfahren zum verbessern der kompressionsfähigkeit und der bildqualität von abgetasteten dokumenten
JP2000163569A (ja) 画質改善方法及び画質改善装置
EP1286534B1 (en) Image-based selection of gamut mapping
CN108389163A (zh) 一种基于暗光彩色图像的自适应增强方法
CN112508806B (zh) 一种基于非凸低秩矩阵分解的内镜图像高光去除方法
US6574374B1 (en) Enhancing image compression performance by morphological processing
JP2012018669A (ja) デジタル入力画像を処理する方法
Ernawan et al. TMT quantization table generation based on psychovisual threshold for image compression
CN113344810A (zh) 基于动态数据分布的图像增强方法
JP2004173248A (ja) Ｊｐｅｇのアーチファクト除去
Martens Adaptive contrast enhancement through residue-image processing
Omarova et al. Application of the Clahe method contrast enhancement of X-Ray Images
CN110706180B (zh) 一种极暗图像视觉质量提升方法、系统、设备及介质
CN116630198A (zh) 一种结合自适应伽马校正的多尺度融合水下图像增强方法
CN110599426A (zh) 一种优化clahe的水下图像增强方法
CN110415188A (zh) 一种基于多尺度形态学的hdr图像色调映射方法
Mikhov et al. Fuzzy logic approach to improving the digital images contrast
US20100061656A1 (en) Noise reduction of an image signal
David Low illumination image enhancement algorithm using iterative recursive filter and visual gamma transformation function
CN108876734B (zh) 图像去噪方法、装置、电子设备及存储介质
EP1933273A1 (en) Method of generating a contrast enhanced image using multiscale analysis
Dolly et al. Various methods of enhancement in colored images: a review

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130327

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees