JP2005190468A - 量子化され、デコードされた画像の画質をエンハンスする方法 - Google Patents

量子化され、デコードされた画像の画質をエンハンスする方法 Download PDF

Info

Publication number
JP2005190468A
JP2005190468A JP2004337479A JP2004337479A JP2005190468A JP 2005190468 A JP2005190468 A JP 2005190468A JP 2004337479 A JP2004337479 A JP 2004337479A JP 2004337479 A JP2004337479 A JP 2004337479A JP 2005190468 A JP2005190468 A JP 2005190468A
Authority
JP
Japan
Prior art keywords
image
bit depth
low
modified
frequency content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004337479A
Other languages
English (en)
Other versions
JP4544974B2 (ja
Inventor
Scott J Daly
ジェイ. デイリー スコット
Xiao-Fan Feng
フェン シャオファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2005190468A publication Critical patent/JP2005190468A/ja
Application granted granted Critical
Publication of JP4544974B2 publication Critical patent/JP4544974B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】デジタル画像処理におけるコンチュアリングアーティファクトを低減する。
【解決手段】受信した第1ビット深度を有する画像を変更し、第1ビット深度とは異なる第2ビット深度を有する第1変更画像を形成し、よって変更された画像の低周波コンテントに対するより高い周波数のコンテントを減衰させる工程と、第1ビット深度を有する画像の低周波コンテントを低減するように、第1変更画像に基づいて第2変更画像を形成するように画像を変更する工程と、第2変更画像の高振幅コンテントに対し、低振幅コンテントを減衰するために第3変更画像を形成するように、第2変更画像を変更する工程と、第3変更画像の低周波コンテントの量を増加するように、第1変更画像に基づいて第3変更画像を変更する工程と、第1ビット深度を有する画像、第1変更画像、第2変更画像および第3変更画像のうちの少なくとも1つにディザー技術を適用する工程と、を含む。
【選択図】図2

Description

本発明は画像をエンハンスするための方法に関し、より詳細には量子化された画像の画質をエンハンスするための方法に関する。
デジタル信号技術の技術状態が進歩するにつれ、デジタル画像処理のような関連技術は技術進歩に対応して成長を遂げ、その利益を享受できるようになった。例えばファクシミリ通信の開発と普及によって画像をデジタル信号にコード化し、従来の電話回線を通して送信し、元の画像の正確な表示にデコードできるようになった。画像データも記憶、変更、コピーなどを容易にするためのデジタル状にコード化される。成長中の技術で一般に経験されるように、デジタル画像処理分野も新しい領域でのアプリケーションに問題が生じている。
デジタル画像処理の分野における問題は、許容できる画像の歪とビット深度の表示との間でバランスをとることに一般に関連している。デジタル画像デコードスキームの効率、すなわち有効性を高めるには、コード化システムは記憶、送信などのために元の画像データよりもより効率的な画像データのコード化されたセットを発生し、いくつかの最低レベルの画質でデコードされた画像を再生しなければならない。しかしながら、比較的高いビットレートの画像をより低いビットレートのデータに変換することは実質的に常に画質の低下を伴う。
画像をデジタル化するためのストレートフォワードな方法は、画像全体に人工的なグリッドを発生させ、そのグリッドスペースにおける原画のカラーを表示する値を各グリッドスペースに割り当てる方法である。グリッドを十分小さく作成し、これら値が十分広いレンジのカラーを表示できれば、画質の劣化を少なくしたまま、この画像をコード化及びデコードすることができる。例えばディスプレイスクリーンの画像は画素のアレイ、すなわちピクセルから構成されている。白黒スクリーンでは、各ピクセルはピクセルのオン/オフ状態を表示する1または0の値を有する。1対1のビット対ピクセルコード化スキームでは、各ピクセル値は1または0として表示され、スクリーン画像全体がコード化される。コード化の結果、二進値のアレイが得られる。画像をデコードするために、画像を最初にコード化した順序と同じ順序でオンまたはオフ状態となっているピクセルを有するスクリーン画像にアレイの値を変換する。
画像が3つ以上の異なるカラーから構成されている場合、ピクセル値を表示するのに2ビット以上のコードを使用しなければならない。例えば画像内に4つの異なるカラーが存在する場合、2ビットの二進コードはすべての値を表示できる。画像が256の異なるカラーを含む場合、カラーの値の各々をユニークに表示するのに8ビットの二進コードが必要である。かかるコード化スキームのためのメモリに対する要求は画像内の異なるカラーの数が増加するにつれて高くなる。しかしながら高ビット深度表示スキームでは、結果として生じる画質はデジタル画像送信または記憶装置からの回復に成功する限り良好である。
コード化されたデジタル画像のサイズを縮小するために、画像のビット深度表示をある態様で小さくできる。例えば1ピクセル当たりの6ビットのビット深度の画像は、1ピクセル当たり16ビットの同じサイズの画像よりも記憶容量がかなり少なくてよく、送信のためのバンド幅もかなり狭くてよい。
低ビット深度表示によって構成されるデコードされた画像は、一般に次のタイプの劣化を受ける。(a)準一定または低速で変化する領域は、コンチュアリング効果および増幅された粒状ノイズの問題を受け、(b)テクスチャ領域はディテールを失う。
デコードされた画像内の空間的変動の結果であるコンチュアリング効果は、裸眼には一般にかなり明らかである。低速で変化する領域内に生じるコンチュアリング効果は、元の画像の強度変化のすべてがデコードされる画像に利用されるわけではないという事実によっても生じる。例えば元の画像のある領域が4つの強度変化を有するエリアを含んでいた場合、デコードされた画像が2つの強度しか有しないエリアを表示することがあり得る。コンチュアリング効果と対照的に、観察される画像上の粒状ノイズ効果はテクスチャ領域の性質によって緩和されることが多い。しかしながら、この効果は量子化に起因して増幅または抑制され得るだけでなく、スペクトル状の外観で変化し得る。
クンドゥらを発明者とする特許文献1は、コンチュアリング効果を低減することにより画像をエンハンスする画像処理技術を開示している。エンハンスメントシステムはデコードされた画像内のエッジ領域および非エッジ領域を識別する。これら領域の各々に異なるフィルタをかけ、次にこれら領域を一体に組み合わせる。非エッジ領域ではローパスフィルタ(LPF)を使用し、エッジ領域ではハイパスエンハンサを使用する。クンドゥらの上記特許文献1は、コンチュアアーティファクトが非エッジ領域で最も目につき、LPFでこれらエッジを除くことを教示している。不幸なことに、エッジ領域を正しく識別した場合でも問題が生じる(急な傾斜がエッジであるかエッジでないかという問題である)。更に、セグメント化プロセスにおいてスレッショルドを設定する際にも問題が生じる。その理由は、コンチュアが十分大きい振幅を有している場合、これらコンチュアはセグメント化の際にエッジとして分類されるので、フィルタによって除去されないからである。更に画像のセグメント化を行うにはスイッチ、すなわちifステイトメントと、エッジマップおよびスムーズマップを記憶するための2つのフルサイズの画像バッファが必要である。その理由は、これら領域のサイズが画像毎に変化するからであり、このような操作を行うにはいずれも費用がかかり、計算を集中しなければならない。
チャンを発明者とする特許文献2は、圧縮されたビデオ信号から再生された画像内のコンチュアリングを減少させるシステムを開示している。チャンの上記特許文献2は、離散的コサイン変換(DCT)圧縮の結果として、いくつかのコンチュアが生じることを教示しており、これらコンチュアはより一般的にはブロッキングアーティファクトと称されている。上記特許文献2はこれら問題は画像の暗い領域で最も目につきやすく、その結果、ブロックのDC項が(暗い領域に対応して)低いときに所定のDCT係数にノイズが加えられると判断している。この結果生じるノイズはコンチュアアーティファクトをマスクするが、この結果、暗い領域でノイズが多くなる。従って、暗い領域はブロッキングアーティファクトに好ましい膜−粒状ノイズに類似するノイズを有する。
米国特許第5,218,649号明細書 米国特許第5,651,078号明細書
よって画像のコンチュアリング効果を低減するためのシステムが望まれている。このシステムはコード化または送信プロセスに必ずしも影響しないので、既に確立されているシステムに容易に組み込むことができる。
すなわち本発明は、デジタル画像処理においてデコードされた画像内の空間的変動の結果であるコンチュアリングアーティファクトを低減できるように、量子化され、デコードされた画像の画質をエンハンスする方法を提供することを目的とする。
本発明は、上述のごとき課題を解決するために、以下の各技術手段により構成される。
本発明の第1の技術手段は、(a)第1ビット深度を有する画像を受信する工程と、(b)前記第1ビット深度を有する画像を変更し、前記第1ビット深度とは異なる第2ビット深度を有する第1変更画像を形成し、よって前記変更された画像の低周波コンテントに対するより高い周波数のコンテントを減衰させる工程と、(c)前記第1ビット深度を有する画像の低周波コンテントを低減するように、前記第1変更画像に基づいて第2変更画像を形成するように前記画像を変更する工程と、(d)前記第2変更画像の高振幅コンテントに対し、低振幅コンテントを減衰するために第3変更画像を形成するように、前記第2変更画像を変更する工程と、(e)前記第3変更画像の低周波コンテントの量を増加するように、前記第1変更画像に基づいて前記第3変更画像を変更する工程と、(f)前記第1ビット深度を有する画像、前記第1変更画像、前記第2変更画像および前記第3変更画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴としたものである。
第2の技術手段は、第1の技術手段において、前記工程(a)の前記受信された画像をXのビット深度によって表示することを特徴としたものである。
第3の技術手段は、第2の技術手段において、前記工程(b)の前記第1の変更画像をYのビット深度によって表示することを特徴としたものである。
第4の技術手段は、第3の技術手段において、X>Yであることを特徴としたものである。
第5の技術手段は、第1の技術手段において、前記工程(b)の前記変更をローパスフィルタを用いて行うことを特徴としたものである。
第6の技術手段は、第1の技術手段において、前記工程(b)の前記変更が前記低周波コンテントを増幅することを特徴としたものである。
第7の技術手段は、第1の技術手段において、前記工程(b)の前記変更が画像の物理的ビット深度表示を変化させることを特徴としたものである。
第8の技術手段は、第1の技術手段において、前記工程(b)の前記変更は、画像の物理的ビット深度表示を変化させないことを特徴としたものである。
第9の技術手段は、第1の技術手段において、条件化ステートメントを含まないように実行することを特徴としたものである。
第10の技術手段は、第1の技術手段において、前記受信された画像の100%よりも少ないバッファを使用する態様で実行することを特徴としたものである。
第11の技術手段は、第1の技術手段において、前記受信された画像の30%よりも少ないバッファを使用する態様で実行することを特徴としたものである。
第12の技術手段は、第1の技術手段において、前記画像に追加ノイズを加えない態様で実行することを特徴としたものである。
第13の技術手段は、第1の技術手段において、人の視覚系に基づく態様で実行することを特徴としたものである。
第14の技術手段は、第1の技術手段において、工程(d)は、前記画像のコアリングを含むことを特徴としたものである。
第15の技術手段は、第14の技術手段において、前記コアリングは、適応型であることを特徴としたものである。
第16の技術手段は、第14の技術手段において、前記コアリングは、等方性コンテントよりも大きい範囲まで非等方性コンテントを減衰させることを特徴としたものである。
第17の技術手段は、第1ビット深度を有する画像を前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、(a)前記第1ビット深度を有する画像を受信する工程と、(b)前記第1ビット深度を有する画像のビット深度を前記第2ビット深度まで増加する態様で前記画像を処理する工程と、(c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記増加されたビット深度画像に基づき、変更された画像を形成するように前記第1ビット深度を有する画像を変更する工程と、(d)前記変更された画像の高振幅コンテントに対して、低振幅コンテントを減衰するために、別の画像を形成するよう、前記変更された画像を変更する工程と、(e)前記別の画像の低周波コンテントの量を増加するように、前記増加されたビット深度画像に基づき、前記別の画像を変更する工程と、(f)前記第1ビット深度を有する画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴としたものである。
第18の技術手段は、第17の技術手段において、前記工程(b)の前記処理は、前記第1ビット深度を有する画像を変更し、その結果、前記変更された画像のより低い周波数のコンテントに対してより高い周波数のコンテントを減衰するように、前記受信された画像の第1ビット深度と異なる第2ビット深度を生じさせることを特徴としたものである。
第19の技術手段は、第17の技術手段において、前記工程(b)の前記処理をローパスフィルタを用いて行うことを特徴としたものである。
第20の技術手段は、第17の技術手段において、前記工程(b)の前記処理は、画像の物理的ビット深度表示を変化させることを特徴としたものである。
第21の技術手段は、第17の技術手段において、前記工程(b)の前記変更は、画像の物理的ビット深度表示を変化させないことを特徴としたものである。
第22の技術手段は、第17の技術手段において、条件化ステートメントを含まないように実行することを特徴としたものである。
第23の技術手段は、第17の技術手段において、前記受信された画像の100%よりも少ないバッファを使用する態様で実行することを特徴としたものである。
第24の技術手段は、第17の技術手段において、前記受信された画像の30%よりも少ないバッファを使用する態様で実行することを特徴としたものである。
第25の技術手段は、第17の技術手段において、前記画像に追加ノイズを加えない態様で実行することを特徴としたものである。
第26の技術手段は、第17の技術手段において、人の視覚系に基づく態様で実行することを特徴としたものである。
第27の技術手段は、第17の技術手段において、前記第1ビット深度を有する前記画像が、より小さいビット深度に予め量子化されていることを特徴としたものである。
第28の技術手段は、第27の技術手段において、前記第1ビット深度と同じ数の、前記画像のピクセル当たりのビット数を使って画像内に前記増加されたビット深度を表示することを特徴としたものである。
第29の技術手段は、第17の技術手段において、前記工程(d)は、前記画像のコアリングを含むことを特徴としたものである。
第30の技術手段は、第17の技術手段において、前記コアリングは、適応型であることを特徴としたものである。
第31の技術手段は、第17の技術手段において、前記コアリングは、等方性コンテントよりも大きい範囲に非等方性コンテントを減衰させることを特徴としたものである。
第32の技術手段は、第1ビット深度を有する画像を、前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、(a)前記第1ビット深度を有する画像を受信する工程と、(b)ローパスフィルタを使って前記第1ビット深度を有する画像を処理し、その結果、処理された画像が、少なくとも前記第2ビット深度と同じくらいのビット深度を有する工程と、(c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記処理された画像に基づき、変更された画像を形成するように前記画像を変更する工程と、(d)前記変更された画像の高振幅コンテントに対して、低振幅コンテントを減衰するように、別の画像を形成するよう、前記変更された画像を変更する工程と、(e)前記別の画像の低周波コンテントの量を増加するように、前記処理された画像に基づき、前記別の画像を変更する工程と、(f)前記第1ビット深度を有する画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴としたものである。
第33の技術手段は、第1ビット深度を有する画像を、前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、(a)前記第1ビット深度を有する画像に対し、前記第2ビット深度を与える際に、結果としてコンチュアリングを生じさせる特性を有する前記第1ビット深度を有する画像を受信する工程と、(b)ローパスフィルタを使って前記第1ビット深度を有する画像を処理し、その結果、処理された画像が、少なくとも前記第2ビット深度と同じくらいのビット深度を有するようにさせる工程と、(c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記処理された画像に基づき、変更された画像を形成するように前記画像を変更する工程と、(d)前記変更された画像の高周波コンテントに対して、低振幅コンテントを減衰するように、別の画像を形成するよう、前記変更された画像を変更する工程と、(e)前記別の画像の低周波コンテントの量を増加するように、前記処理された画像に基づき、前記別の画像を変更する工程と、(f)前記第1ビット深度を有する画像、前記処理された画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴としたものである。
第34の技術手段は、第33の技術手段において、前記処理された画像は、前記第2ビット深度を有することを特徴としたものである。
第35の技術手段は、第33の技術手段において、前記処理された画像は、前記第2ビット深度よりも大きいビット深度を有することを特徴としたものである。
第36の技術手段は、(a)画像を受信する工程と、(b)前記画像の低振幅高周波コンテントを減衰させることにより、前記画像の高周波領域内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波領域内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、(c)前記画像にディザー技術を適用する工程と、を含むことを特徴としたものである。
第37の技術手段は、(a)画像を受信する工程と、(b)前記画像のビット深度を変更することによりコンチュアを低減するように前記画像を処理する工程とを含み、(c)前記処理は、(i)条件付きステートメントを含まないこと、(ii)前記画像の100%よりも少ないバッファを必要とすること、(iii)前記画像の30%よりも少ないバッファを必要とすること、(iv)前記画像の20%よりも少ないバッファを必要とすること、(v)前記画像の10%よりも少ないバッファを必要とすること、(vi)ローパスフィルタを含むこと、(vii)前記画像に追加ノイズを加えないこと、(viii)人の視覚系に基づくものであること、(ix)前記画像のより低い周波数コンテントに対するより高い周波数コンテントを減衰するように、前記画像を変更することを含むこと、のうちの少なくとも1つを含み、(d)前記画像および前記変更された画像の少なくとも1つにディザー技術を適用すること、を含むことを特徴としたものである。
第38の技術手段は、第37の技術手段において、前記処理は、少なくとも条件下ステートメントを含まないことを特徴としたものである。
第39の技術手段は、第37の技術手段において、前記処理は、少なくとも前記画像の100%よりも少ないバッファを必要とすることを特徴としたものである。
第40の技術手段は、第37の技術手段において、コンチュアを低減する前記工程は、前記変更された画像の低振幅高周波コンテントを減衰させることを含むことを特徴としたものである。
第41の技術手段は、第37の技術手段において、前記処理は、前記画像の20%よりも少ないバッファを必要とすることを特徴としたものである。
第42の技術手段は、第37の技術手段において、前記処理は、少なくとも前記画像の10%よりも少ないバッファを必要とすることを特徴としたものである。
第43の技術手段は、第37の技術手段において、前記処理は、少なくともローパスフィルタを含むことを特徴としたものである。
第44の技術手段は、第37の技術手段において、少なくとも前記処理において、前記画像に追加ノイズを加えないことを特徴としたものである。
第45の技術手段は、第37の技術手段において、前記処理は、少なくとも人の視覚系に基づくことを特徴としたものである。
第46の技術手段は、第37の技術手段において、前記処理は、少なくとも前記画像の低周波コンテントに対する高周波コンテントを減衰させるように、前記画像を変更することを特徴としたものである。
第47の技術手段は、(a)第1ビット深度を有する画像を受信する工程と、(b)前記画像のビット深度を第2ビット深度に高めることを含み、前記画像の高周波アスペクト内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波アスペクト内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、(c)前記画像にディザー技術を適用し、前記第2ビット深度よりも小さい第3ビット深度となるように前記画像のビット深度を低減する工程と、を含むことを特徴としたものである。
第48の技術手段は、第47の技術手段において、前記選択的に低減することは、前記画像の低振幅高周波コンテントを減衰させることを含むことを特徴としたものである。
第49の技術手段は、第47の技術手段において、前記画像の低周波コンテントに前記ディザー技術を適用することを特徴としたものである。
第50の技術手段は、第47の技術手段において、前記処理の後で前記ディザー技術を使用することを特徴としたものである。
第51の技術手段は、(a)第1ビット深度を有する前記画像を受信する工程と、(b)前記画像のビット深度を第2ビット深度まで増加させる工程と、(c)前記第2ビット深度を有する前記画像にディザー技術を適用し、前記第2ビット深度よりも小さい第3ビット深度となるように前記画像のビット深度を低減する工程と、(d)前記画像の高周波アスペクト内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波アスペクト内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、を含むことを特徴としたものである。
第52の技術手段は、第51の技術手段において、前記選択的に低減する工程は、前記画像の低振幅高周波コンテントを減衰させることを含むことを特徴としたものである。
第53の技術手段は、第51の技術手段において、前記画像の低周波コンテントに前記ディザー技術を適用することを特徴としたものである。
第54の技術手段は、第51の技術手段において、前記処理の前に前記ディザー技術を使用することを特徴としたものである。
システムが画像にアクセスし、より低いビット深度に対しても高い画質を維持しながら、その後の画像処理、例えばより低いビット深度の液晶ディスプレイでのディスプレイにおけるビット深度を低減することが望ましい場合、特定のクラスの画像処理技術、例えばディザー技術を使用できる。これまでにいくつかの異なるタイプのディザー技術、例えば振幅ディザー、空間ディザーおよび位相ディザーが開発されている。例えば適正に設計された振幅ディザー技術は高周波でのエントロピ損失を許容しながら、低周波での画像エントロピを保存できる。
しかしながら、既に取得した画像が所望するビット深度よりも低いビット深度を有し、この画像に対し事前にディザー技術が適用されていなかった場合、ディザー技術は望ましくない歪を除去するのを補助できない。すなわち、これまでディザー技術は画像をあらかじめ処理するのに使用されてきた。この予備処理が制限される理由は、量子化に起因し、低周波で既にエントロピ損失が生じていたためであり、このことはすべての周波数にわたって振幅解像度を均一に低下するように作用する。
前述のように、多くの場合、ディスプレイがディスプレイできる精度よりも低いビット深度の精度を画像が有しているシステムに画像が入力されることに起因し、画像を後処理することによって入力画像の画質を回復しなければならない。すなわち既に歪が生じているわけである。所定のビット深度で画像を利用できることが時々あるが、画像パイプライン内に早期に生じたビット深度限度が存在しているので、コンテントは実際に低くなる。例えば、DVD画像のコンチュアリング除去は特に関心のある問題である。この理由は、コンチュアリングは主に8ビットよりも少ないビットに量子化される非Iフレーム(すなわちBフレームまたはPフレーム)のDC項(このDC項はI=フレームに対しては8ビットであることに留意されたい)により、粗く量子化された小さいSF係数により、および(中間的な計算のビット深度が保存されない場合)YCrCbからRGBへのマトリックス変換により生じるからである。
後処理技術において、コンチュアリングアーティファクトを低減する試みにおいて、本発明者は画像内の好ましくないコンチュアリング効果の多くは、かなりの数のエッジまたは他のハイテクスチャが一般に存在しない画像の領域で生じることを観察した。本発明者は同様に、かなりの数のエッジまたはその他のハイテクスチャを有する画像の領域における好ましくない数個のコンチュアリング効果も発見した。これら好ましくないコンチュアリング効果を観察するときに、この差異を検討した後、本発明者は人の視覚系は画像の高周波領域の方がこれらコンチュアリング効果に対する感度が低く、画像の低周波領域におけるこれらコンチュアリング効果に対する感度が高いと見なした。図1は、スレッショルドよりも低い、粗い量子化による基礎となる視覚チャンネルと、人の視覚系の全体の空間応答を示すものである。更に図1に示されるようなチャンネルに限定される画像の高周波コンテントによるマスキングの効果により、画像の高周波領域における波形のステップ状の視覚性を更に妨げる。
画質を保存するために、システムは好ましくないコンチュアリングの効果を隠すために画像にノイズを加えなくても、これらコンチュアリング効果を低減することが望ましい(必ずしも必要ではない)。従って、このシステムは画像捕捉ノイズのない画像、例えばコンピュータグラフィックスおよび勾配を有するラインアートと共に使用するのに適している。更にこの技術は計算効率を達成するのに、判断ステップ、すなわちifステートメントを用いないで実施することが望ましい(必ずしも必要ではない)。更にこの技術は、画像よりも少ないか、それに等しいサイズの単一のバッファだけを使用するだけでよく、画像のサイズの30、20または10%未満のバッファを使用することがより好ましい。更にこのシステムは、画像の空間領域を分類しなくてもよいことが好ましい。
図2を参照すると、入力画像100にはビット深度Pが設けられている。このビット深度Pは多くの画像に対して8ビットであることが多い。先に述べたように、Pのビット深度を有する画像は通常2Pの異なる値に量子化されるが、異なるビット深度を有するディスプレイ、例えば10ビットのディスプレイに表示されると、コンチュアリング効果を示すことがある。コンチュアリング効果を示しやすい画像のこれらアスペクトを低減するために、本発明者はコンチュアリング効果を生じさせる画像のアスペクトは適当な態様で識別しなければならないとの認識に達した。別のケースでは画像はNビットとして表示できるが、実際にはNビットよりも低いことに起因し、量子化アーティファクトを有する。一例はDVD画像であり、この画像は8ビット/カラー(“N”)で表示されるが、PまたはBフレームの量子化により、またはYCbCrからRGBへの変換の際に6ビット/カラー(“P”)のリアル情報しか有しない。DVDアプリケーションのような多くのケースでは、ビット深度の制限は不正確なカラーマトリックス計算(例えばレジスタ内の不十分なビット深度)から生じている。
コンチュアリングの疑似ステップエッジを低減するには、画像をローパスフィルタにかけること(102)が好ましい。画像に適用されるローパスフィルタはビット深度を高めるようにも働く。その理由は、ローパスフィルタは主に(ピクセルの近傍にわたる平均化を行う)平均化演算であり、この平均化の結果、精度がより高くなるからである。画像のビット深度を有効に変えるのに、同じように他の技術も適用できる。あるケースでは、システムは画像を処理するのに、使用されるビット数を切り替える(例えば8ビットを16ビットに切り替える)ことにより、ビット深度を変更することもできる。例えばその後の作動、例えばローパスフィルタ自身が「リアル」ビット深度を高めながら、ローパスフィルタの結果を記憶できるように10ビット用のレジスタを設定する動作を容易にするよう、ビット深度の変更(例えばパディング)が実行される。画像のビット深度の増加を特徴付ける1つの方法は、画像を2Rの異なるレベル(ここでN≠PまたはN≠R)に変更することである。これとは異なり、画像は既に出力に必要な/望ましいビット深度(R=N)を有しているが、画像自身は前の作動からP(P<NまたはP<R)の限られたビット深度を有し得る。この場合、Pの値を既知とするか、またはその他の方法で決定しなければならない。これとは異なり、この画像はNのビット深度を有し得るが、画像自体はP(P<N)の限られたビット深度を有し得る。
画像にローパスフィルタをかけた結果、Nのビット深度を得るように画像を変更することができる。多くの場合、ビット深度Nは最終画像、例えばNビットのディスプレイに表示すべきビット深度Nを有する画像内の所望するビット深度である。ビット深度制限Pに起因し、ほとんどの疑似ステップ(コンチュアリング)を低減するためには、ローパスフィルタを(空間領域において)十分広くしなければならない。尚、同様に、ローパスフィルタは画像内のその他の望ましい画像情報を低減するので、画像を単にローパスフィルタリングするだけでは不十分である。ローパスフィルタは例えば画像をシビアにぼかすことにより、より有用な画像情報を低減するので、このステップは望ましくないコンチュアリングを正しく修正するのには不十分であることに留意すべきである。
ローパスフィルタ102はデカルト座標の分離可能な一次元フィルタとして実施できる。一対の一次元フィルタを使用することは、二次元フィルタを使用するよりも計算上より効率的である。このフィルタは長方形となっていることが好ましい。ローパスフィルタのカーネルのサイズはコンチュア歪の予想スペースから決定される。コンチュアが16ピクセルだけ離間している場合、幅16のフィルタを使用することが好ましい。多くの画像だけでなく、空間幅のローパスフィルタの過度に広い、目につきやすい有害な効果の研究に基づき、本発明者は疑似コンチュアの低周波数変調成分を除くにはカーネルのサイズを実際に31ピクセルよりも多くすべきであると判断した。従って、このカーネルサイズは単にコンチュアエッジの視覚性に基づくのではなく、疑似コンチュアの低周波変調成分に基づかなければならない。
ローパスフィルタから結果として生じる画像は、主に画像の低周波成分である。同様に、例えば画像の低周波成分に対して高周波成分を一般に減衰させるような任意の適当なフィルタを使用できると理解すべきである。
このシステムでは、疑似コンチュアを有する元のビット深度制限された画像100から、ローパスフィルタがかけられた画像102を減算(105)できる。基本的にはこのことは入力画像の低周波コンテントを低減する一方、主に高周波コンテントを残す。しかしながら、減算105の結果、別の属性が生じる。すなわち残りの画像の高周波部分はコンチュアアーティファクトの高周波部分を含む。この動作の結果をHP成分107と称すことができる。尚、ローパスフィルタ102の結果、ローパスフィルタ102からの残りの画像の低周波部分はコンチュアアーティファクトの低周波部分を含むが、ローパスフィルタが空間的に十分広ければ、低周波部分は基本的には除かれる。従って、コンチュアリングアーティファクトはある態様で画像の低周波成分と高周波成分とに分離される。
減算プロセス105は、その符号に起因し、ビット深度を1だけ増加させる。例えば0〜+255を有する2つの画像を減算する結果、−255〜+255のレンジを有する画像が得られる。従って、ハイパス成分107はN+1ビット深度を有する(このことは減算前にNビットにパディングされたソース画像に基づく)。パディングはより高いビット深度表示に対し、より低いビット深度表示から失われた最小位ビットへ0および/または1を挿入することを含むことができる。更に、減算前にRビットにソース画像をパディングできるので、HP成分107はR+1ビットのビット深度を有する。
尚、このシステムの出力はN+1ビットを必要としなくてもよいが、符号をキャリーでき、よってゼロ平均レベルを有すべきである。Nビットだけを使用し、1ビットを符号専用とした場合、(最終加算ステップにおいて)ローパスフィルタ画像に加算するのにN−1ビットしか利用できない。この場合、あるエッジのシャープさおよびディテールが失われることがある。
前に述べたように、元の画像からローパスフィルタにかけられた画像を減算した結果、高周波の疑似コンチュア情報を維持する画像が得られる。低減すべき高周波の疑似コンチュア情報は低振幅の情報であると判断される。従って、高振幅情報に対して低振幅情報を低減しなければならない。低振幅の高周波疑似コンチュア情報を低減するのに、コアリング関数110を適用できる。このコアリング関数110は、例えば絶対値(HP)<bであればHP=0とし、そうでない場合、HP=HPとするようなハードスレッショルドコアリング関数を含むことができる。この関数は特にローパスフィルタが十分大きい場合にコンチュアを効果的に低減する。
不幸なことに、単にハードスレッショルドコアリング関数を適用しても、許容はできるが、予想されないような別のアーティファクトが生じる。これら別のアーティファクトはカラーのアイランドのように見えたり、ステップエッジのリンギングとして見えたりする。これら予想されなかったアーティファクトを検討した結果、過渡コアリング関数が低振幅の高周波疑似コンチュア情報を低減すると共に、別のカラーアイランドおよびステップエッジのリンギングを低減すると判断された。変更された過渡コアリング関数は例えば次のような式で表すことができる。
Figure 2005190468
CVinはコアリング関数へのHP画像の入力コード値であるが、CVoutはコアリング関数の出力コード値である。Mはマージポイント、すなわちコアリングの挙動が終了(もしくは実質的に終了)し、コアリング関数が識別関数(または他の適当な関数)に復帰する場所のポイントである。AおよびαはマージポイントMにおける次の2つの条件を保証するために選択されたパラメータである。
(A) 振幅=M
(B) 傾き=1
第1基準はコアリング関数が実際の値に不連続性を有しないことを保証し、第2基準は一次微分が連続となることを保証する。第1基準はHPバンドにおいてトーンスケールを単調に維持し、第2基準はマッチバンドタイプのアーティファクトを防止するものである。従って、このコアリング関数はかかるアーティファクトを生じることなく、ローパスバンドにも適用できる。尚、コアリング関数はプロットの原点と交差する1に等しい傾きを有し、二次の不連続性は有しないことが好ましい。
これら基準を次のように記述し直すことができる。
Figure 2005190468
Nビットへの量子化の効果に起因する実際のマッピングを説明するために、図3にはA=11.3およびα=0.25の場合の、M=8の値に対するコアリング関数の一例が示されている。曲線50の傾きは1に等しく、曲線52は8でマージポイントを得るためのパラメータを有する式(1)である。曲線54はHP画像をNビットに量子化した場合の実際のコード値である。曲線56はマージポイント前の式(1)内のスケーリングされたコサイン関数の傾きである。尚、CVinの正となっている半分しか示されていない。
図4にはA=5.6およびα=0.5の場合の、M=4の値に対するコアリング関数の別の例が示されている。図5にはA=19.75およびα=0.14の場合の、M=16の値に対するコアリング関数の別の例が示されている。
図2を再び参照すると、次の工程は112においてコア画像110(N+1ビットの精度)およびフィルタがかけられたローパス成分102(Rビットの精度、R>(N+1))を共に加える工程である。R≠Nであれば、このコア画像110をパディングしてもよい。この演算によって画像へ戻されるように低減された低周波情報の一部がリストアされる。この加算演算の結果はR+1ビットとなる。R+1となる理由は、レンジが入力画像よりも大きくなり得るからである(例えばRビットに対するローパス成分が0〜+255となり得る場合、ハイパス成分はN+1(−255〜+255)のレンジを有することがあり、この結果、−255〜+512となる)。Rビットのレンジの外側(例えばN=8に対して0〜+255のレンジの外側)のものはクリッピングする。このため、このレンジの外側に入るピクセルの数は限られることになり、ピクセルがレンジの外側に位置する場合、これらピクセルは通常アイソレートされたエッジピクセルとなる。最終画像114内では結果として生じるクリッピングを容易に見ることはできない。
特定の実施例では、図2に示されたステップの各々はシーケンシャル状に全画像に対して適用でき、この結果、大きなバッファが必要となる。しかしながら、より多数のメモリを使った効率的な技術では、スライドウィンドーとしてバッファを使用する必要があり、この場合、ウィンドー内での計算を使ってウィンドーの中心(またはウィンドー内の他の位置)におけるピクセルを計算する。これによってメモリに対する要求が低減される。
代表的な実施例では、入力画像および出力画像のビット深度についてはあらかじめ既知となっている。これは、多くのアプリケーション、例えば10ビットディスプレイに8ビット画像を表示する場合のケースである。
図2に示された実施例は、コンチュアアーティファクトを効果的に低減するが、かなりの量の低振幅ディテールも除去すると判断された。観察者は画像が実際にどのように見えてくるかを知らないので、かかる結果はほとんどのケースで満足できるものであるが、代表的な観察者により適正なテクスチャが高度に期待されるような画像の顔の領域で特に致命的となる。
低振幅テクスチャディテールが失われるのを低減するために、本発明者は画像テクスチャ(このテクスチャは一般に等方性である)に起因して低振幅情報が存在するケースと、低振幅情報が疑似コンチュア(このコンチュアは一般に非等方性であり、構造的なエラーとしても知られる)に起因するものであるときのケースとを分離できるとの認識に達した。一般的な等方性(isotropic)情報(“iso”とは1つまたは同一を意味し、“tropic”とは空間または方向を意味する)は、すべての方向に一般に同一のテクスチャを有する。例えば海岸のきれいな砂を一般に等方性と見なすことができる。例えば一般的に非等方性な情報は異なる方向に異なるテクスチャを有する。多くのケースでは非等方性情報はエッジの特徴を有する。従って、全体に等方性な情報は全体に非等方性な情報に対してより均一なテクスチャを有する。
複数の異なるフィルタを使用できるが、単一フィルタを使用することが好ましく、このほうが多くのケースで計算上より効率的である。適当な態様、例えば単一シグマタイプのフィルタ、または絶対的差の単一和(“SAD”)タイプのフィルタで特別なローカルアクティビティの累積を判断できる。
好ましいシステムは、ローパスフィルタを2つの分離可能なデカルトステップ(すなわちHステップおよびVステップのカスケード)で実現し、フィルタの幅は空間的に31ピクセルであり、一様(長方形)のインパルス応答を有するバージョンを使用する。多くの画像に対し、17または25のフィルタ幅を許容できる。一般的に17未満の幅は一般に512×512より大きいサイズの画像に対して例外的に良好には作動しない。
このシステムは所望する場合、コア化すべき画像のピクセルのまわりのローカル領域にわたるローカルアクティビティ116(例はローカルな9×9ウィンドーにわたる標準偏差α、または同様なローカルウィンドーにわたるSAD)を累積できる。ローカルアクティビティインデックスに基づき、異なるコアリング関数を選択してもよい(またはローカルアクティビティインデックスに基づき、コアリング関数を連続的に調節してもよい)。ローカルウィンドーの平均からローカルアクティビティの測度を取り込むことができるが、この測度はHP画像のゼロアクティビティポイントのまわりにあることがより好ましい(すなわちペデスタルオフセットを使用しない場合には0)。このコアリング関数はコアリングがアイデンティティ関数に復帰するマージポイントを有する。このマージポイントでは、コアリングの傾きはアイデンティティ関数の傾き(一般に=1)に等しい。
加算112の結果、画像114に対して使用されるようなNのビット深度を有する画像が得られる。しかしながら、いくつかのケースでは加算112の出力は画像114に対して所望する出力ビット深度「N」より大きいビット深度「R」(例えばR>N)を有することができる。従って、入力画像のビット深度は出力画像の所望するビット深度と同一またはそれより小さかったことがあり得るが、この入力画像のビット深度はコンチュアリング効果を低減するための画像処理技術を実施している間に出力画像の所望するビット深度よりも大きいビット深度まで大きくなる。本発明者はコンチュアリング効果を除くための前の画像処理(例えばローパスフィルタリング)の結果、出力画像に対して必要なビット深度よりも大きいビット深度を有する画像の場合、ビット深度を所望する出力ビット深度まで低減する際に、ディザー技術118(例えばビット深度伸長)を画像112に適用し得る可能性がある。前に説明したように、ディザー技術は一般に、提供される画像が出力画像のビット深度よりも小さいビット深度を有するときに画像処理のためにビット深度制限を克服するのに適用できないものと見なされている。画像112はディザー技術118、例えば振幅ディザー、空間ディザーおよび位相ディザーにより変形される。このディザー技術118によってR+1〜Nへ顕著な視覚的損失を生じることなく、ビット深度を低減することが可能となる。人の視覚の空間周波数応答の逆数にほぼ一致した周波数スペクトルを特徴とする振幅に基づくディザーパターンを適用することが好ましい。
適用できる別の技術は、ハイパス成分107のビット深度をより大きいビット深度、例えば“R”まで増加する方法である。このように、Rビットスペースにおいてより正確なコアリング関数を適用できる。一部の実施例ではこのことはハイパス成分107を形成する減算の前に、入力画像のビット深度をRビットに変更することによって達成できる。
図6を参照すると、所望する場合、ローパスフィルタ画像にディザー技術118を適用できる。これによって出力画像の画質を同じように高めながら、量子化の結果としてコンチュアリング効果を低減できる。
図7を参照すると、画像130のビット深度をまず拡張することによって、ディザー技術118を入力画像100に適用できる。スペクトル状の“ノイズ”を使用することもできるが、所望すれば更に同じように、“ホワイト”ノイズも使用できる。ローパスフィルタは“ホワイト”ノイズを“ハイパス”ノイズに有効に変形するので、このことは一般に望ましいスペクトル特性を有する。
コントラスト感度関数を示す図である。 画像処理技術を示す図である。 コンチュア除去関数を示す図である。 別のコンチュア除去関数を示す図である。 更に別のコンチュア除去関数を示す図である。 変形された画像処理技術を示す図である。 変形された画像処理技術を示す図である。

Claims (54)

  1. (a)第1ビット深度を有する画像を受信する工程と、
    (b)前記第1ビット深度を有する画像を変更し、前記第1ビット深度とは異なる第2ビット深度を有する第1変更画像を形成し、よって前記変更された画像の低周波コンテントに対するより高い周波数のコンテントを減衰させる工程と、
    (c)前記第1ビット深度を有する画像の低周波コンテントを低減するように、前記第1変更画像に基づいて第2変更画像を形成するように前記画像を変更する工程と、
    (d)前記第2変更画像の高振幅コンテントに対し、低振幅コンテントを減衰するために第3変更画像を形成するように、前記第2変更画像を変更する工程と、
    (e)前記第3変更画像の低周波コンテントの量を増加するように、前記第1変更画像に基づいて前記第3変更画像を変更する工程と、
    (f)前記第1ビット深度を有する画像、前記第1変更画像、前記第2変更画像および前記第3変更画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴とする画像を変更するための方法。
  2. 前記工程(a)の前記受信された画像をXのビット深度によって表示することを特徴とする請求項1記載の方法。
  3. 前記工程(b)の前記第1の変更画像をYのビット深度によって表示することを特徴とする請求項2記載の方法。
  4. X>Yであることを特徴とする請求項3記載の方法。
  5. 前記工程(b)の前記変更をローパスフィルタを用いて行うことを特徴とする請求項1記載の方法。
  6. 前記工程(b)の前記変更が前記低周波コンテントを増幅することを特徴とする請求項1記載の方法。
  7. 前記工程(b)の前記変更が画像の物理的ビット深度表示を変化させることを特徴とする請求項1記載の方法。
  8. 前記工程(b)の前記変更は、画像の物理的ビット深度表示を変化させないことを特徴とする請求項1記載の方法。
  9. 条件化ステートメントを含まないように実行することを特徴とする請求項1の記載の方法。
  10. 前記受信された画像の100%よりも少ないバッファを使用する態様で実行することを特徴とする請求項1記載の方法。
  11. 前記受信された画像の30%よりも少ないバッファを使用する態様で実行することを特徴とする請求項1記載の方法。
  12. 前記画像に追加ノイズを加えない態様で実行することを特徴とする請求項1記載の方法。
  13. 人の視覚系に基づく態様で実行することを特徴とする請求項1記載の方法。
  14. 工程(d)は、前記画像のコアリングを含むことを特徴とする請求項1記載の方法。
  15. 前記コアリングは、適応型であることを特徴とする請求項14記載の方法。
  16. 前記コアリングは、等方性コンテントよりも大きい範囲まで非等方性コンテントを減衰させることを特徴とする請求項14記載の方法。
  17. 第1ビット深度を有する画像を前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、
    (a)前記第1ビット深度を有する画像を受信する工程と、
    (b)前記第1ビット深度を有する画像のビット深度を前記第2ビット深度まで増加する態様で前記画像を処理する工程と、
    (c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記増加されたビット深度画像に基づき、変更された画像を形成するように前記第1ビット深度を有する画像を変更する工程と、
    (d)前記変更された画像の高振幅コンテントに対して、低振幅コンテントを減衰するために、別の画像を形成するよう、前記変更された画像を変更する工程と、
    (e)前記別の画像の低周波コンテントの量を増加するように、前記増加されたビット深度画像に基づき、前記別の画像を変更する工程と、
    (f)前記第1ビット深度を有する画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴とする第1ビット深度を有する画像を第2ビット深度を有する画像に変更するための方法。
  18. 前記工程(b)の前記処理は、前記第1ビット深度を有する画像を変更し、その結果、前記変更された画像のより低い周波数のコンテントに対してより高い周波数のコンテントを減衰するように、前記受信された画像の第1ビット深度と異なる第2ビット深度を生じさせることを特徴とする請求項17記載の方法。
  19. 前記工程(b)の前記処理をローパスフィルタを用いて行うことを特徴とする請求項17記載の方法。
  20. 前記工程(b)の前記処理は、画像の物理的ビット深度表示を変化させることを特徴とする請求項17記載の方法。
  21. 前記工程(b)の前記変更は、画像の物理的ビット深度表示を変化させないことを特徴とする請求項17記載の方法。
  22. 条件化ステートメントを含まないように実行することを特徴とする請求項17記載の方法。
  23. 前記受信された画像の100%よりも少ないバッファを使用する態様で実行することを特徴とする請求項17記載の方法。
  24. 前記受信された画像の30%よりも少ないバッファを使用する態様で実行することを特徴とする請求項17記載の方法。
  25. 前記画像に追加ノイズを加えない態様で実行することを特徴とする請求項17記載の方法。
  26. 人の視覚系に基づく態様で実行することを特徴とする請求項17記載の方法。
  27. 前記第1ビット深度を有する前記画像が、より小さいビット深度に予め量子化されていることを特徴とする請求項17記載の方法。
  28. 前記第1ビット深度と同じ数の、前記画像のピクセル当たりのビット数を使って画像内に前記増加されたビット深度を表示することを特徴とする請求項27記載の方法。
  29. 前記工程(d)は、前記画像のコアリングを含むことを特徴とする請求項17記載の方法。
  30. 前記コアリングは、適応型であることを特徴とする請求項17記載の方法。
  31. 前記コアリングは、等方性コンテントよりも大きい範囲に非等方性コンテントを減衰させることを特徴とする請求項17記載の方法。
  32. 第1ビット深度を有する画像を、前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、
    (a)前記第1ビット深度を有する画像を受信する工程と、
    (b)ローパスフィルタを使って前記第1ビット深度を有する画像を処理し、その結果、処理された画像が、少なくとも前記第2ビット深度と同じくらいのビット深度を有する工程と、
    (c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記処理された画像に基づき、変更された画像を形成するように前記画像を変更する工程と、
    (d)前記変更された画像の高振幅コンテントに対して、低振幅コンテントを減衰するように、別の画像を形成するよう、前記変更された画像を変更する工程と、
    (e)前記別の画像の低周波コンテントの量を増加するように、前記処理された画像に基づき、前記別の画像を変更する工程と、
    (f)前記第1ビット深度を有する画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴とする第1ビット深度を有する画像を第2ビット深度を有する画像に変更するための方法。
  33. 第1ビット深度を有する画像を、前記第1ビット深度よりも大きい第2ビット深度を有する画像に変更するための方法において、
    (a)前記第1ビット深度を有する画像に対し、前記第2ビット深度を与える際に、結果としてコンチュアリングを生じさせる特性を有する前記第1ビット深度を有する画像を受信する工程と、
    (b)ローパスフィルタを使って前記第1ビット深度を有する画像を処理し、その結果、処理された画像が、少なくとも前記第2ビット深度と同じくらいのビット深度を有するようにさせる工程と、
    (c)前記第1ビット深度を有する画像のより低い周波数コンテントを低減するように、前記処理された画像に基づき、変更された画像を形成するように前記画像を変更する工程と、
    (d)前記変更された画像の高周波コンテントに対して、低振幅コンテントを減衰するように、別の画像を形成するよう、前記変更された画像を変更する工程と、
    (e)前記別の画像の低周波コンテントの量を増加するように、前記処理された画像に基づき、前記別の画像を変更する工程と、
    (f)前記第1ビット深度を有する画像、前記処理された画像、前記変更された画像および前記別の画像のうちの少なくとも1つにディザー技術を適用する工程と、を含むことを特徴とする第1ビット深度を有する画像を第2ビット深度を有する画像に変更するための方法。
  34. 前記処理された画像は、前記第2ビット深度を有することを特徴とする請求項33記載の方法。
  35. 前記処理された画像は、前記第2ビット深度よりも大きいビット深度を有することを特徴とする請求項33記載の方法。
  36. (a)画像を受信する工程と、
    (b)前記画像の低振幅高周波コンテントを減衰させることにより、前記画像の高周波領域内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波領域内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、
    (c)前記画像にディザー技術を適用する工程と、を含むことを特徴とする画像を変更するための方法。
  37. (a)画像を受信する工程と、
    (b)前記画像のビット深度を変更することによりコンチュアを低減するように前記画像を処理する工程とを含み、
    (c)前記処理は、
    (i)条件付きステートメントを含まないこと、
    (ii)前記画像の100%よりも少ないバッファを必要とすること、
    (iii)前記画像の30%よりも少ないバッファを必要とすること、
    (iv)前記画像の20%よりも少ないバッファを必要とすること、
    (v)前記画像の10%よりも少ないバッファを必要とすること、
    (vi)ローパスフィルタを含むこと、
    (vii)前記画像に追加ノイズを加えないこと、
    (viii)人の視覚系に基づくものであること、
    (ix)前記画像のより低い周波数コンテントに対するより高い周波数コンテントを減衰するように、前記画像を変更することを含むこと、
    のうちの少なくとも1つを含み、
    (d)前記画像および前記変更された画像の少なくとも1つにディザー技術を適用すること、を含むことを特徴とする画像を変更するための方法。
  38. 前記処理は、少なくとも条件下ステートメントを含まないことを特徴とする請求項37記載の方法。
  39. 前記処理は、少なくとも前記画像の100%よりも少ないバッファを必要とすることを特徴とする請求項37記載の方法。
  40. コンチュアを低減する前記工程は、前記変更された画像の低振幅高周波コンテントを減衰させることを含むことを特徴とする請求項37記載の方法。
  41. 前記処理は、前記画像の20%よりも少ないバッファを必要とすることを特徴とする請求項37記載の方法。
  42. 前記処理は、少なくとも前記画像の10%よりも少ないバッファを必要とすることを特徴とする請求項37記載の方法。
  43. 前記処理は、少なくともローパスフィルタを含むことを特徴とする請求項37記載の方法。
  44. 少なくとも前記処理において、前記画像に追加ノイズを加えないことを特徴とする請求項37記載の方法。
  45. 前記処理は、少なくとも人の視覚系に基づくことを特徴とする請求項37記載の方法。
  46. 前記処理は、少なくとも前記画像の低周波コンテントに対する高周波コンテントを減衰させるように、前記画像を変更することを特徴とする請求項37記載の方法。
  47. (a)第1ビット深度を有する画像を受信する工程と、
    (b)前記画像のビット深度を第2ビット深度に高めることを含み、前記画像の高周波アスペクト内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波アスペクト内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、
    (c)前記画像にディザー技術を適用し、前記第2ビット深度よりも小さい第3ビット深度となるように前記画像のビット深度を低減する工程と、を含むことを特徴とする画像を変更するための方法。
  48. 前記選択的に低減することは、前記画像の低振幅高周波コンテントを減衰させることを含むことを特徴とする請求項47記載の方法。
  49. 前記画像の低周波コンテントに前記ディザー技術を適用することを特徴とする請求項47記載の方法。
  50. 前記処理の後で前記ディザー技術を使用することを特徴とする請求項47記載の方法。
  51. (a)第1ビット深度を有する前記画像を受信する工程と、
    (b)前記画像のビット深度を第2ビット深度まで増加させる工程と、
    (c)前記第2ビット深度を有する前記画像にディザー技術を適用し、前記第2ビット深度よりも小さい第3ビット深度となるように前記画像のビット深度を低減する工程と、
    (d)前記画像の高周波アスペクト内のコンチュアリングアーティファクトを低減しないで、前記画像の低周波アスペクト内のコンチュアリングアーティファクトを選択的に低減するように前記画像を処理する工程と、を含むことを特徴とする画像を変更するための方法。
  52. 前記選択的に低減する工程は、前記画像の低振幅高周波コンテントを減衰させることを含むことを特徴とする請求項51記載の方法。
  53. 前記画像の低周波コンテントに前記ディザー技術を適用することを特徴とする請求項51記載の方法。
  54. 前記処理の前に前記ディザー技術を使用することを特徴とする請求項51記載の方法。
JP2004337479A 2003-12-24 2004-11-22 量子化され、デコードされた画像の画質をエンハンスする方法 Expired - Fee Related JP4544974B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/746,423 US7424168B2 (en) 2003-12-24 2003-12-24 Enhancing the quality of decoded quantized images

Publications (2)

Publication Number Publication Date
JP2005190468A true JP2005190468A (ja) 2005-07-14
JP4544974B2 JP4544974B2 (ja) 2010-09-15

Family

ID=34710692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004337479A Expired - Fee Related JP4544974B2 (ja) 2003-12-24 2004-11-22 量子化され、デコードされた画像の画質をエンハンスする方法

Country Status (2)

Country Link
US (2) US7424168B2 (ja)
JP (1) JP4544974B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424168B2 (en) * 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
US9083969B2 (en) * 2005-08-12 2015-07-14 Sharp Laboratories Of America, Inc. Methods and systems for independent view adjustment in multiple-view displays
US7515160B2 (en) * 2006-07-28 2009-04-07 Sharp Laboratories Of America, Inc. Systems and methods for color preservation with image tone scale corrections
US8922594B2 (en) 2005-06-15 2014-12-30 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with high frequency contrast enhancement
US8004511B2 (en) * 2004-12-02 2011-08-23 Sharp Laboratories Of America, Inc. Systems and methods for distortion-related source light management
US7982707B2 (en) * 2004-12-02 2011-07-19 Sharp Laboratories Of America, Inc. Methods and systems for generating and applying image tone scale adjustments
US7961199B2 (en) * 2004-12-02 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for image-specific tone scale adjustment and light-source control
US8120570B2 (en) 2004-12-02 2012-02-21 Sharp Laboratories Of America, Inc. Systems and methods for tone curve generation, selection and application
US8111265B2 (en) * 2004-12-02 2012-02-07 Sharp Laboratories Of America, Inc. Systems and methods for brightness preservation using a smoothed gain image
US7782405B2 (en) * 2004-12-02 2010-08-24 Sharp Laboratories Of America, Inc. Systems and methods for selecting a display source light illumination level
US7800577B2 (en) * 2004-12-02 2010-09-21 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics
US8947465B2 (en) * 2004-12-02 2015-02-03 Sharp Laboratories Of America, Inc. Methods and systems for display-mode-dependent brightness preservation
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
US8913089B2 (en) * 2005-06-15 2014-12-16 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with frequency-specific gain
US7924261B2 (en) * 2004-12-02 2011-04-12 Sharp Laboratories Of America, Inc. Methods and systems for determining a display light source adjustment
FR2893806A1 (fr) * 2005-11-21 2007-05-25 Thomson Licensing Sas Systeme de transmission d'images de dynamique elevee, unites et procedes de codage et de decodage pour ce systeme
US8189941B2 (en) * 2005-11-30 2012-05-29 Nec Corporation Image processing device, display device, image processing method, and program
CN101395655B (zh) * 2006-03-02 2011-04-20 日本电气株式会社 图像处理器、显示设备、图像处理方法及程序
US7839406B2 (en) * 2006-03-08 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for enhancing display characteristics with ambient illumination input
US7826681B2 (en) * 2007-02-28 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for surround-specific display modeling
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
US8204333B2 (en) * 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
US8155434B2 (en) * 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
US8345038B2 (en) * 2007-10-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation and brightness preservation
US8378956B2 (en) * 2007-11-30 2013-02-19 Sharp Laboratories Of America, Inc. Methods and systems for weighted-error-vector-based source light selection
US9177509B2 (en) * 2007-11-30 2015-11-03 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with scene-cut detection
US8169431B2 (en) 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
US8203579B2 (en) * 2007-12-26 2012-06-19 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with image characteristic mapping
US8207932B2 (en) 2007-12-26 2012-06-26 Sharp Laboratories Of America, Inc. Methods and systems for display source light illumination level selection
US8179363B2 (en) * 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US8531379B2 (en) * 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
US8416179B2 (en) * 2008-07-10 2013-04-09 Sharp Laboratories Of America, Inc. Methods and systems for color preservation with a color-modulated backlight
US9330630B2 (en) * 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
WO2010065242A1 (en) * 2008-12-01 2010-06-10 Marvell World Trade, Ltd. Bit resolution enhancement
US8165724B2 (en) * 2009-06-17 2012-04-24 Sharp Laboratories Of America, Inc. Methods and systems for power-controlling display devices
US20110001737A1 (en) * 2009-07-02 2011-01-06 Kerofsky Louis J Methods and Systems for Ambient-Adaptive Image Display
WO2011011250A1 (en) 2009-07-24 2011-01-27 Dolby Laboratories Licensing Corporation Image control for displays
US8284314B2 (en) * 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
TW201136298A (en) * 2010-04-12 2011-10-16 Novatek Microelectronics Corp Filter and filtering method for reducing image noise
US9911179B2 (en) 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05300371A (ja) * 1992-04-17 1993-11-12 Omron Corp 画像処理用フィルタ回路
JPH05344336A (ja) * 1992-02-11 1993-12-24 Eastman Kodak Co 量子化されたディジタル・カラー画像において、輪郭を最小化する画像作成システム及び関連する方法
JPH07115539A (ja) * 1993-10-19 1995-05-02 Nec Corp 画像処理装置
JPH08163407A (ja) * 1994-11-30 1996-06-21 Victor Co Of Japan Ltd リンギング低減装置
JPH09107495A (ja) * 1995-10-09 1997-04-22 Olympus Optical Co Ltd カメラ
JPH1075364A (ja) * 1995-09-29 1998-03-17 Fuji Photo Film Co Ltd 画像のダイナミックレンジ圧縮処理方法および装置
JPH1075395A (ja) * 1995-09-29 1998-03-17 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH1169156A (ja) * 1997-08-12 1999-03-09 Murata Mach Ltd 画像処理装置
JP2000004360A (ja) * 1998-01-30 2000-01-07 Digital Equip Corp <Dec> 低複雑性、低メモリ消費の逆ディザ方法
JP2001136388A (ja) * 1999-09-30 2001-05-18 Sharp Corp 適応的誤差拡散方法
JP2002183726A (ja) * 2000-12-19 2002-06-28 Konica Corp 画像処理装置
JP2002183727A (ja) * 2000-12-19 2002-06-28 Konica Corp 画像処理装置
JP2002525724A (ja) * 1998-09-16 2002-08-13 インテル・コーポレーション 汎用画像強調フレームワーク

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3789133A (en) * 1971-10-26 1974-01-29 Commercial Electronics Inc Television camera aperture correction system
US4020462A (en) * 1975-12-08 1977-04-26 International Business Machines Corporation Method and apparatus for form removal from contour compressed image data
WO1980000774A1 (en) * 1978-09-28 1980-04-17 Eastman Kodak Co Electronic image enhancement
US4196452A (en) * 1978-12-01 1980-04-01 Xerox Corporation Tone error control for image contour removal
US4223340A (en) * 1979-05-11 1980-09-16 Rca Corporation Image detail improvement in a vertical detail enhancement system
US4268864A (en) * 1979-12-05 1981-05-19 Cbs Inc. Image enhancement system for television
US4402006A (en) * 1981-02-23 1983-08-30 Karlock James A Image enhancer apparatus
US4549212A (en) * 1983-08-11 1985-10-22 Eastman Kodak Company Image processing method using a collapsed Walsh-Hadamard transform
US4553165A (en) * 1983-08-11 1985-11-12 Eastman Kodak Company Transform processing method for reducing noise in an image
US4536796A (en) * 1983-08-23 1985-08-20 Rca Corporation Non-linear dynamic coring circuit for video signals
GB8329109D0 (en) * 1983-11-01 1983-12-07 Rca Corp Perceived signal-to-noise ratio of displayed images
NL8501845A (nl) * 1985-06-27 1987-01-16 Oce Nederland B V Patents And Werkwijze voor het vergroten/verkleinen van ditherbeelden.
FR2604582B1 (fr) * 1986-09-30 1989-01-06 Bertin & Cie Procede pour transformer une image initiale de type video a multiples niveaux de gris en une image binaire
JP2543567B2 (ja) 1988-04-07 1996-10-16 株式会社日立製作所 ダイナミックノイズリダクション回路及びこれを用いたテレビジョン受信機
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JPH03102579A (ja) 1989-09-18 1991-04-26 Fujitsu Ltd イメージデータのノイズ除去方式
US5025312A (en) * 1990-03-30 1991-06-18 Faroudja Y C Motion-adaptive video noise reduction system using recirculation and coring
DE69123780T2 (de) * 1990-04-27 1997-05-07 Canon Kk Gerät zur Verarbeitung von Bildsignalen zwecks Verbesserung der Kantensteilheit
US5218649A (en) * 1990-05-04 1993-06-08 U S West Advanced Technologies, Inc. Image enhancement system
JPH0834544B2 (ja) * 1990-08-14 1996-03-29 株式会社東芝 画像の復元処理方法
JPH04100487A (ja) * 1990-08-20 1992-04-02 Ikegami Tsushinki Co Ltd 輪郭補正方法
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
KR960004130B1 (ko) * 1992-02-29 1996-03-26 삼성전자주식회사 영상신호의 노이즈 제거회로
US5260791A (en) * 1992-06-04 1993-11-09 David Sarnoff Research Center, Inc. Method and apparatus for the spatio-temporal coring of images
JPH089154A (ja) 1994-06-15 1996-01-12 Ricoh Co Ltd 画像処理装置
US5651078A (en) * 1994-07-18 1997-07-22 Thomson Consumer Electronics, Inc. Method and apparatus for reducing contouring in video compression
JP3348167B2 (ja) 1996-03-26 2002-11-20 シャープ株式会社 画像2値化装置
US5920653A (en) * 1996-10-22 1999-07-06 Hewlett-Packard Company Multiple spatial channel printing
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6222945B1 (en) * 1998-01-30 2001-04-24 Compaq Computer Corporation Selective filtering of a dithered image for the purpose of inverse dithering
US6347160B1 (en) * 1998-01-30 2002-02-12 Compaq Information Technologies Group, L.P. Increasing the bit depth of and filtering dithered images for the purpose of inverse dithering
US6185334B1 (en) * 1998-01-30 2001-02-06 Compaq Computer Corporation Method for reconstructing a dithered image
DE19842572B4 (de) * 1998-09-17 2005-03-24 Heidelberger Druckmaschinen Ag Verfahren zur automatischen Entfernung von Bildfehlern
US6441867B1 (en) * 1999-10-22 2002-08-27 Sharp Laboratories Of America, Incorporated Bit-depth extension of digital displays using noise
US6674904B1 (en) * 1999-12-14 2004-01-06 Intel Corporation Contour tracing and boundary detection for object identification in a digital image
WO2002003688A2 (en) * 2000-07-03 2002-01-10 Imax Corporation Processing techniques for superimposing images for image projection
GB0105561D0 (en) 2001-03-07 2001-04-25 Segmentis Ltd Improvements in and relating to image signal processing and printing of picture therefrom
US6765695B2 (en) * 2001-09-12 2004-07-20 Seiko Epson Corporation Color processing architecture and algorithms for color laser printers
US7268790B1 (en) * 2002-08-29 2007-09-11 National Semiconductor Corporation Display system with framestore and stochastic dithering
US7308146B2 (en) * 2002-09-30 2007-12-11 Canon Kabushiki Kaisha Digital video compression
US7190380B2 (en) * 2003-09-26 2007-03-13 Hewlett-Packard Development Company, L.P. Generating and displaying spatially offset sub-frames
US7424168B2 (en) 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344336A (ja) * 1992-02-11 1993-12-24 Eastman Kodak Co 量子化されたディジタル・カラー画像において、輪郭を最小化する画像作成システム及び関連する方法
JPH05300371A (ja) * 1992-04-17 1993-11-12 Omron Corp 画像処理用フィルタ回路
JPH07115539A (ja) * 1993-10-19 1995-05-02 Nec Corp 画像処理装置
JPH08163407A (ja) * 1994-11-30 1996-06-21 Victor Co Of Japan Ltd リンギング低減装置
JPH1075395A (ja) * 1995-09-29 1998-03-17 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH1075364A (ja) * 1995-09-29 1998-03-17 Fuji Photo Film Co Ltd 画像のダイナミックレンジ圧縮処理方法および装置
JPH09107495A (ja) * 1995-10-09 1997-04-22 Olympus Optical Co Ltd カメラ
JPH1169156A (ja) * 1997-08-12 1999-03-09 Murata Mach Ltd 画像処理装置
JP2000004360A (ja) * 1998-01-30 2000-01-07 Digital Equip Corp <Dec> 低複雑性、低メモリ消費の逆ディザ方法
JP2002525724A (ja) * 1998-09-16 2002-08-13 インテル・コーポレーション 汎用画像強調フレームワーク
JP2001136388A (ja) * 1999-09-30 2001-05-18 Sharp Corp 適応的誤差拡散方法
JP2002183726A (ja) * 2000-12-19 2002-06-28 Konica Corp 画像処理装置
JP2002183727A (ja) * 2000-12-19 2002-06-28 Konica Corp 画像処理装置

Also Published As

Publication number Publication date
JP4544974B2 (ja) 2010-09-15
US20080298711A1 (en) 2008-12-04
US7424168B2 (en) 2008-09-09
US20050147317A1 (en) 2005-07-07
US7907787B2 (en) 2011-03-15

Similar Documents

Publication Publication Date Title
JP4544974B2 (ja) 量子化され、デコードされた画像の画質をエンハンスする方法
US7400779B2 (en) Enhancing the quality of decoded quantized images
KR101108435B1 (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
JP4431362B2 (ja) 圧縮画像中のアーティファクトを除去する方法及びシステム
JP4556276B2 (ja) 画像処理回路及び画像処理方法
KR100718081B1 (ko) 의사윤곽 제거장치 및 그 방법
JPH10313456A (ja) 信号適応フィルタリング方法及び信号適応フィルター
TW200803467A (en) Selective local transient improvement and peaking for video sharpness enhancement
JP2002535896A (ja) 鮮明度を向上させる方法および装置
JP7046270B2 (ja) 後方互換性を有するhdr画像化における、バンディングアーチファクトの低減
JP4066367B2 (ja) 画像ノイズ除去方法
US7983504B2 (en) Sign coring for contour reduction
Nakajima et al. A pel adaptive reduction of coding artifacts for MPEG video signals
JP3999406B2 (ja) 拡散率の適応化を用いた誤差拡散方法及び装置
KR101520624B1 (ko) 비트 맵 방식의 영상 인코딩/디코딩 방법 및 장치
US7440633B2 (en) Enhancing the quality of decoded quantized images
US7424166B2 (en) Enhancing the quality of decoded quantized images
Taguchi et al. Bit-length expansion by inverse quantization process
Zhang et al. A new image denoising framework based on bilateral filter
JP2006157584A (ja) 画像処理方法
KR100676226B1 (ko) 동영상 코덱의 후처리 방법 및 이를 위한 에지 보상 및 향상 필터링 방법
Han et al. Hybrid wavelet transform filter for image recovery
JP4083043B2 (ja) 符号化ノイズ除去装置
JPH0951532A (ja) 歪み除去装置
Lee et al. Two-stage false contour detection algorithm using re-quantization and directional contrast features and its application to adaptive false contour reduction

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees