JP2015501604A - 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 - Google Patents

知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 Download PDF

Info

Publication number
JP2015501604A
JP2015501604A JP2014539185A JP2014539185A JP2015501604A JP 2015501604 A JP2015501604 A JP 2015501604A JP 2014539185 A JP2014539185 A JP 2014539185A JP 2014539185 A JP2014539185 A JP 2014539185A JP 2015501604 A JP2015501604 A JP 2015501604A
Authority
JP
Japan
Prior art keywords
image
ccs
optimized
perceptually
transformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014539185A
Other languages
English (en)
Other versions
JP6141295B2 (ja
Inventor
タン，ダミアン・マルケリヌス
ウー，デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD2 TECHNOLOGIES PTY Ltd
Original Assignee
HD2 TECHNOLOGIES PTY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HD2 TECHNOLOGIES PTY Ltd filed Critical HD2 TECHNOLOGIES PTY Ltd
Publication of JP2015501604A publication Critical patent/JP2015501604A/ja
Application granted granted Critical
Publication of JP6141295B2 publication Critical patent/JP6141295B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置（１００）であって、受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニット（１０２）と、ＣＣＳ画像を受取って、当該ＣＣＳ画像を、各々が変換係数の組を含む変換されたＣＣＳ画像に変換するための変換ユニット（１０４）と、当該変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するための量子化ユニット（１０６）と、変換または量子化されたＣＣＳ画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するための画像プロセッサ（１０８，１１０）と、当該最適化されたＣＣＳ画像を圧縮するためのエンコーダ（１１２）とを含み、当該圧縮された最適化されたＣＣＳ画像は、その後、格納および／または送信の準備が行われる、装置である。

Description

発明の分野
本発明は、知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法に関する。
用語および定義
・ＣＣＳとは、変換された色空間である。一例は、輝度（Ｙ）チャネルとクロミナンス青（Ｃｂ）チャネルとクロミナンス赤（Ｃｒ）チャネルとを有する構成要素色空間である。
・クロマとは、クロミナンスの省略形である。単独で参照されるときには、クロマは、クロマ青（Ｃｂ）チャネルおよびクロマ赤（Ｃｒ）チャネルの両方のチャネルを示す。
・ＤＣＴとは、離散コサイン変換である。
・ＤＷＴとは、離散ウェーブレット変換である。
・ＨＶＳとは、人間視覚システムである。
・ＪＮＤとは、丁度可知差異である。
・ＪＮＮＤとは、あまりはっきりしない差異である。
・ルマとは、輝度の省略形である。
・最適化された画像は、知覚的に無損失のモードでは知覚的に無損失の画像を表わす。知覚的に強調されたモードでは、それは知覚的に強調された画像を表わす。最適化された画像は、変換領域にある。
・画素領域画像は、未加工のＲＧＢ（赤色‐青色‐緑色）画像、Ｙ画像、Ｃｂ画像およびＣｒ画像を含む。
・変換領域画像は、変換されたＣＣＳ（ルマ／クロマ）画像、量子化されたＣＣＳ（ルマ／クロマ）画像および最適化されたＣＣＳ（ルマ／クロマ）画像を含む。
・絵および画像という用語は、互換性があるように用いられ、同じ意味を有している。
・基準画像、原画像および受取られた画像という用語は、互換性があるように用いられ、同じ意味を有している。
・知覚的に無損失のコード化は、いかなる原画像もその復元されたＪＮＮＤバージョンに対して視覚的に不明瞭であるように画像をＪＮＮＤしきいレベルに圧縮することを意味する。原画像の復元されたＪＮＮＤバージョンは、ＪＮＮＤ符号化画像を復号することによって得られる。ＪＮＮＤ符号化画像とは、ＪＮＮＤしきいレベルに符号化された原画像である。
・知覚的に強調されたコード化は、これらの強調され符号化された画像が復号されたとき、それらの元のバージョンと比較してより高い視覚的品質レベルを有する（例えばより鮮明である、より明瞭である、など）ように画像を圧縮することを意味する。強調され符号化された画像とは、知覚的に強調されたレベルに符号化された画像を意味する。
発明の背景
本明細書中の文献、装置、行為または知識についての説明はいずれも、本発明の文脈を説明するために含まれている。それらの説明は、いずれの資料も本開示の優先日またはそれ以前の関連技術および本明細書中の広範な司法機関の意見における先行技術ベースまたは一般常識の一部をなすことを認めるものとして解釈されるべきではない。
デジタル画像データを圧縮して格納および送信することは、長年にわたって多くの研究を引き付けてきた。デジタル技術の急速な進歩により、デジタル画像および映像コンテンツが爆発的に成長してきた。当該デジタル画像および映像コンテンツは、ソーシャルネットワーキングなどのさまざまなインターネットワークアプリケーションにおいて、および画像アルバム上に、格納され、場所間で送信され、共有され、使用される。このような成長は、まだ実現されていない多くのデジタルアプリケーションで継続していくことが予想される。今日、多くのデジタルアプリケーションは、伝送帯域幅および記憶空間容量によって制限されている。伝送帯域幅および記憶容量を増加させることは比較的容易なタスクであり得るが、デジタル画像および映像コンテンツの解像度および量が増え続けていることを考慮すると、特に伝送帯域幅の場合、必要なコストおよび労力は不経済であろう。
静止画および動画を含むデジタル画像は、日々の活動、研究、科学界、政府および民間業界において格納され通信されるデジタル情報の急成長している分野を含む。デジタル情報を格納および送信するためのアプリケーションは数多く存在し、当該アプリケーションとして、衛星画像、医療用画像、テレヘルスアプリケーション、ビデオオンデマンド、デジタルスチルおよびビデオカメラ、クラウドコンピューティングにおける画像アプリケーション、対話型マルチメディアアプリケーション、ビデオゲーム、高度なセキュリティシステム、およびデジタルテレビ（ＤＴＶ）放送によってサポートされる高解像度テレビ（ＨＤＴＶ）などのＤＴＶシステムが挙げられる。
デジタル画像装置の解像度が上がるにつれて、詳細なデジタル画像を表現するために必要なデジタルビットの数は比例して増加する。これにより、これらの画像を移送して格納するために必要な通信ネットワークおよび記憶装置に対して相当な負担がかかってきた。その結果、デジタル画像の圧縮には相当な研究努力が注ぎ込まれてきた。圧縮の最終的な目標は、格納および／または送信されなければならないビットの数を減らすことによって、帯域幅および記憶容量をより効率的に利用することである。
画像圧縮は、無損失の（可逆性の）画像圧縮と損失の多い（不可逆性の）画像圧縮との２つのカテゴリに分類できる。無損失の圧縮は、情報を全て保存するが、一般に５０％（２：１）〜７５％（４：１）の圧縮率ゲインに制限される。これに対して、損失の多い圧縮は、圧縮率ゲインを増加させることと引き換えに画像内の情報の一部を除去し、これは画像品質の劣化につながる。したがって、損失の多い画像圧縮は、比率（圧縮率）対歪み（画像劣化）のバランスをとる行為であると考えられる。すなわち、所与の圧縮率について歪みレベルはどのようなものであるか、または逆に、所与の品質（歪み）レベルについて考えられる最良の比率はどのようなものであるか、ということである。この関係は、比率‐歪み（Ｒ‐Ｄ）曲線において関数化される。
従来の損失の多い圧縮方法は、統計的手法およびいくつかの原始的な発見的問題解決法に依拠して、重要性が低いか、重要でないかまたは取るに足らないと考えられる画像内の情報を特定して除去する。しかし、これらのアプローチは、視覚的に重要な情報を正確かつ一貫して特定して保存することができず、それによって目に見える歪みが変動し、画像品質のレベルが一貫性のないものになる。この問題に対する有効な解決策は、人間視覚システム（ＨＶＳ）の機能を画像コード化システムに組入れて、圧縮率に関連して知覚される画像品質に対して何らかの制御を行うことに焦点を当ててきた。この種類の画像符号器は、一般に知覚画像（および映像）符号器と称される。ＨＶＳモデリングを用いたとしても、伝送帯域幅および／または記憶容量の制限のために高い圧縮率が実際に必要になるときには、目に見える歪みは避けられない。しかし、伝送または記憶の制限がない状況においては、目に見える歪みを全く示さない圧縮画像を有することは非常に望ましくない。これは、例えば医療用画像などの重要なアプリケーションに特に当てはまる。知覚的に無損失の画像コード化は、画像を完璧に圧縮するための解決策である。
知覚的な画像コード化も知覚的に無損失の画像コード化も、ＨＶＳの精神物理学的局面およびそれらをモデル化するための必要なツールを十分に理解しなければ本当の意味で可能ではない。実質的に、ＨＶＳモデルは、任意の知覚的に無損失の画像符号器の中核の構成要素である。知覚的な画像コード化の過去の試みは、実験的／発見的なアプローチに焦点を当ててきた。例えば、特定の大きさ範囲を下回る画素を除去できる単純な閾値演算である。より最近のＨＶＳモデルは、人間の目および脳の下位の機能的局面、ならびに主にＪＮＤ（丁度可知差異）レベル、すなわち歪みがちょうど目に見えるポイントを目指した研究に焦点を当てている。知覚的な画像コード化および知覚的に無損失の画像コード化のためのＨＶＳモデルに関して言えば、精度、複雑度および適用可能性／適応性の３つの考慮すべき問題がある。
精度は、関係するＨＶＳモデリングのレベルに依存する。単純なＨＶＳモデルは、単純さと引き換えに精度を得る。すなわち、それらはそれほど正確ではないが、それほど複雑でもない。複雑度は、算出および実装に関連するだけでなく、モデルパラメータの数に依存するモデルの最適化プロセスにも関連する。高度なＨＶＳモデルは、これらのモデルが適切に作用するように較正されなければならないパラメータを有する。これらのパラメータは、広範かつ冗長な視覚実験により得られる実験データに基づいて最適化される。適用可能性は、ＨＶＳモデルをどこでおよびどのように使用できるかという一体化の問題である。例えば、特定のＨＶＳモデルをどのように既存の画像エンコーダに適応させるか、というものである。場合によっては、位数関数（order function）においてＨＶＳモデルをエンコーダにもデコーダにも適応させなければならない。エンコーダ、デコーダまたはそれら両方に対して大幅な修正を加えなければならないことにより、複雑度が増し、圧縮技術の製造者およびユーザにとってさらなるコストおよび時間が必要になる。理想的には、ＨＶＳモデルは、ＪＰＥＧ（ジョイント・フォトグラフィック・エキスパート・グループ）符号器のための量子化レベルを適応的に選択して、画像コンテンツを予め定められたレベルの画像品質に一致させる、Watson's DCTuneによって例示されるような符号化システムにシームレスに一体化されるべきである。
ＨＶＳベースの圧縮についての市場での既存の技術は、ＪＮＤレベル、すなわち歪みがちょうど目に見えるポイントに焦点を当ててきた。したがって、市場での現在の画像コード化技術は、知覚的に無損失な品質を備えた最適な圧縮率を提供する機能を有していない。あまりはっきりしない差異（ＪＮＮＤ）、すなわち歪みがちょうど知覚できないポイントでの画像圧縮の問題点については、以下の論文の中で部分的に扱われた。
1. D. M. Tan and H. R. Wu. “Perceptual Lossless Coding of Digital Monochrome Images”, in Proceedings of IEEE International Symposium on Intelligent Signal Processing and Communication Systems, 2003;
2. D. M. Tan and H. R. Wu. “Adaptation of Visually Lossless Colour Coding to JPEG2000 in the Composite Colour Space”, in Proceedings of IEEE Pacific Rim Conference on Multimedia, pp. 1B2.4.1-7, 2003; and
3. D. Wu et al, “Perceptually Lossless Medical Image Coding”, IEEE Transactions on Medical Imaging, Volume 25, No. 3, March 2006, Pages 335-344.
３つの論文は全て、モノクロ画像、カラー画像および医療用画像にそれぞれ適用された同一の知覚的に無損失のコード化の中核構造を開示した。この中核構造は、モノクロＨＶＳモデルに基づいており、当該モノクロＨＶＳモデルが、カラー画像圧縮のために複製され、医療用画像圧縮のために拡張された。したがって、視覚的に無損失の色符号器の複製は、３つの同一のモノクロＨＶＳモデルを有し、各色チャネルに１つのモノクロＨＶＳモデルを有する。第１および第３の符号器は、階調画像を受入れるのみであり、カラー画像上では動作しない。これらの論文に開示されている符号器は、ビットプレーン符号化の前に、量子化され変換された（ＱＴ）画像上で動作し、１組の推定値を生成する。これらの符号器は、視覚マスキングおよび視力というＨＶＳの２つの一般的局面をモデル化する。これら２つのＨＶＳ局面は、基準信号と操作される信号との差を測定する比較モデルに基づいて実現される。ここで、基準信号および操作される信号は、それぞれ、基準変換（ＲＴ）画像およびＱＴ画像によって表わされる。最初に、ＲＴおよびＱＴの両方の画像に視覚的重み付けが適用されて、ＨＶＳの視力を測る。続いて、ＱＴおよびＲＴの両方の画像について視覚マスキング算出が行われる。次いで、ＲＴ画像のマスキング出力とＱＴ画像のマスキング出力との差から１組の視覚的歪みが生成される。その後、主観的に求められた閾値と歪みレベルを比較することによって、知覚エラーが求められる。歪みレベルがしきい点を下回る場合、評価中の変換された画像におけるサンプルポイントは、対応する（知覚的に無損失の）しきい点にフィルタリングされる。このシステムは、ＤＷＴ領域でのみ動作する。
圧縮率および／または品質の点で性能を向上させるためには、全てのタイプの静止画および動画（映像）に適用可能な、複雑度が低くより正確なＨＶＳモデルを有する必要がある。
本発明は、向上した知覚的に無損失の画像のコード化技術を提供することによって、上記の不利な点のうちの１つ以上を制限、減少、克服または改善しようとするものである。この技術は、複雑度がより低く、かつ、モデリング精度がより優れた異なるＨＶＳモデルを有し得る。また、知覚的に強調された画像のコード化構成要素または技術も導入される。画像強調動作は、この構成要素を用いて画像エンコーダ内に組込まれ得る。これによって、圧縮された画像の品質が基準（元の／未加工の）画像と同等または基準画像よりも実質的によくなることが保証される。
発明の概要
本発明の第１の局面によれば、画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
画像を受取るステップと、
上記受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するステップと、
上記ＣＣＳ画像を変換されたＣＣＳ画像に変換するステップと、
上記変換ＣＣＳ画像に量子化を適用して、量子化されたＣＣＳ画像を形成するステップと、
画像プロセッサを用いて、上記変換または量子化されたＣＣＳ画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するステップと、
その後の格納および／または送信のために、上記最適化されたＣＣＳ画像を符号化するステップとを含む、方法が提供され得る。
本発明の第２の局面によれば、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニットと、
ＣＣＳ画像を受取って、上記ＣＣＳ画像を、各々が変換係数の組を含む変換されたＣＣＳ画像に変換するための変換ユニットと、
上記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するための量子化ユニットと、
変換または量子化されたＣＣＳ画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するための画像プロセッサと、
上記最適化されたＣＣＳ画像を圧縮するためのエンコーダとを含み、
上記圧縮された最適化されたＣＣＳ画像は、その後、格納および／または送信の準備が行われる、装置が提供され得る。
本発明の第３の局面によれば、コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、上記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
受取られた画像を所望の色空間に変換して、変換された色空間（ＣＣＳ）画像を形成するように装置に指示し、
上記ＣＣＳ画像を、変換係数の組からなる変換されたＣＣＳ画像に変換するように装置に指示し、
上記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するように装置に指示し、
上記変換または量子化されたＣＣＳ画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するように装置に指示し、
上記最適化されたＣＣＳ画像を符号化（圧縮）するように装置に指示する、コンピュータ読取可能媒体が提供され得る。
本発明の第４の局面によれば、知覚的に無損失の圧縮画像データまたは知覚的に強調された圧縮画像データを送信媒体を通じて送信する方法であって、
受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニットに画像の組を入力するステップと、
上記ＣＣＳ画像を変換して、変換されたＣＣＳ画像を形成するステップと、
上記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するステップと、
上記変換または量子化されたＣＣＳ画像を画像プロセッサで処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するステップと、
各々の最適化されたＣＣＳ画像をエンコーダで圧縮するステップと、
上記圧縮された最適化されたＣＣＳ画像を上記送信媒体を通じて送信するステップとを含む、方法が提供され得る。
本発明の好適な形態において、色変換ステップおよび／または色変換ステップを実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または１対１の比率で設定されてもよい。
本発明の好適な形態において、量子化ステップおよび／または量子化ステップを実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または１対１の比率で設定されてもよい。
本発明の第５の局面によれば、画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
画像を受取るステップと、
上記画像を変換するステップと、
画像プロセッサを用いて上記画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するステップと、
その後の格納および／または送信のために、上記最適化された画像を符号化するステップとを含む、方法が提供され得る。
本発明の第６の局面によれば、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
画像を受取って、上記画像を、各々が変換係数の組を含む変換された画像に変換するための変換ユニットと、
変換された画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するための画像プロセッサと、
上記最適化された画像を圧縮するためのエンコーダとを含み、
上記圧縮された最適化された画像は、その後、格納および／または送信の準備が行われる、装置が提供され得る。
本発明の第７の局面によれば、コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、上記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
上記画像を、各々が変換係数の組からなる変換された画像に変換するように装置に指示し、
上記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するように装置に指示し、
上記最適化された画像を符号化（圧縮）するように装置に指示する、コンピュータ読取可能媒体が提供され得る。
本発明の第８の局面によれば、変換係数の組を含む変換された画像を受取るように適合され、上記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、エンコーダによる圧縮に好適な、最適化された画像を生成するように適合される、プロセッサが提供され得る。
上記最適化された画像が逆変換され、上記受取られた画像の領域に戻されるとき、上記最適化された画像は、上記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭であり得る。
上記最適化された画像が逆変換され、上記受取られた画像の領域に戻されるとき、上記最適化された画像は、上記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有し得る。画像品質は、実質的に強調され得る。
本発明は、受取られた画像を所望の色空間に色変換するための色変換ユニットを含み得る。色変換された画像は、変換された色空間（ＣＣＳ）画像を形成し得る。
本発明は、上記変換された画像を量子化して、量子化された画像を形成するための量子化ユニットを含み得る。
色変換された画像は、輝度（Ｙ）画像、クロミナンス青（Ｃｂ）画像またはクロミナンス赤（Ｃｒ）画像のうちのいずれか１つ以上であり得る。
上記量子化ユニットは、上記変換係数を量子化して、量子化された変換係数からなる量子化された画像の組を形成し得て、上記量子化された画像は次いで、上記画像プロセッサに送信される。
上記変換ユニットは、離散ウェーブレット変換ユニット（ＤＷＴ）または離散コサイン変換（ＤＣＴ）であり得る。
上記画像プロセッサは、最適化された画像を生成するために人間視覚システム（ＨＶＳ）の特性を組入れ得る。
上記画像プロセッサは、上記ＣＣＳ画像における画素を対応するＣＣＳ変換領域係数にマッピングして、マッピングされたＣＣＳ画像を形成するための信号マッピングユニットを含み得る。
上記画像プロセッサは、上記変換または量子化されたＣＣＳ画像を利用してマスキングのレベルを判断し、視覚マスキングプロファイルを出力する視覚マスキング推定ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたＣＣＳ画像を受取って、上記マッピングされたＣＣＳ画像のコントラストおよび大きさ感度レベルを判断し、上記マッピングされたＣＣＳ画像についてのコントラスト感度プロファイルを出力するためのコントラスト感度ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたＣＣＳ画像を受取って、上記マッピングされたＣＣＳ画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するためのアクティビティユニットをさらに含み得る。
上記画像プロセッサは、上記変換または量子化されたＣＣＳ画像とともに上記マッピングされたＣＣＳ画像を受取って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するためのベースエラーユニットをさらに含み得る。
上記画像プロセッサは、上記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを受取って、上記所与の閾値のまたは上記所与の閾値を下回る知覚エラー推定値を求めるための知覚エラー推定ユニットをさらに含み得る。
上記画像プロセッサは、上記変換または量子化されたＣＣＳ画像とともに上記マッピングされたＣＣＳ画像を受取って、上記変換または量子化されたＣＣＳ画像に対してどこでおよびどのぐらいの強調が適用されるべきかを判断し、次いで、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するための強調ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたＣＣＳ画像を受取って、低輝度／クロミナンスコントラストプロファイルを求めるための低輝度／クロミナンスコントラストユニットをさらに含み得る。
上記画像プロセッサは、上記強調プロファイル、上記低輝度／クロミナンスコントラストプロファイル、量子化器、上記変換されたＣＣＳ画像および上記量子化されたＣＣＳ画像、ならびに上記知覚エラー推定値に基づいて、上記変換または量子化されたＣＣＳ画像を最適化して、上記最適化されたＣＣＳ画像を生成し、圧縮を行うための視覚的最適化ユニットをさらに含み得る。
上記エンコーダは、その後の格納および／または送信のために、上記最適化されたＣＣＳ画像を圧縮し得る。
上記受取られた画像は、輝度成分およびクロミナンス成分に分割され得る。
上記可視性閾値はＪＮＮＤレベルであり得る。
図面を参照して、本発明の好ましい実施例について、単に非制限的な例として以下で説明する。
知覚的に無損失の圧縮画像および知覚的に強調された圧縮画像を生成するために用いられる装置のブロック図である。 図１の装置のルマ画像プロセッサのブロック図である。 図１の装置のクロマ画像プロセッサのブロック図である。 ルマ／クロマベースエラーユニットのブロック図である。 ルマ／クロマコントラスト感度ユニットのブロック図である。 ルマアクティビティユニットのブロック図である。 クロマアクティビティユニットのブロック図である。 低ルマ／クロマコントラストユニットのブロック図である。 強調ユニットのブロック図である。 図２のルマ画像プロセッサの全てのルマ構成要素の詳細なブロック図である。 図３のクロマ画像プロセッサの全てのクロマ構成要素の詳細なブロック図である。 図１の装置を用いて知覚的に無損失の画像および知覚的に強調された画像を生成するプロセスを示すフロー図である。 ＲＧＢ画像から知覚的に無損失の圧縮画像および知覚的に強調された圧縮画像を生成するプロセスを示すフロー図である。 知覚的に無損失の画像および知覚的に強調された画像を生成して、次いで圧縮し、メモリに格納するかまたは送信媒体を通じてデコーダに送信するための装置を示すブロック図である。 信号マッピング動作により生じるデータサンプル間の関係を示すブロック図である。
好ましい実施例の詳細な説明
図１を参照して、知覚的に無損失であるかまたは知覚的に強調されているかのいずれかであり得る品質レベルに画像データを圧縮するために用いられるシステムまたは装置（１００）のブロック図が示される。最初に、ＲＧＢ（赤色、緑色、青色）画像が色変換（１０２）に入力される。入力されたＲＧＢ画像は、色変換（１０２）によって、ＹＣｂＣｒ（「Ｙ」は、元の信号の強度変化に対応する輝度信号であり、「Ｃｂ」「Ｃｒ」は、クロミナンス信号または色差信号を備える）などの代替的な色空間に変換される。本発明の好適な形態において、特にモノクロ画像が色変換（１０２）に入力される場合には、色変換動作および／または色変換動作を実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または１対１の比率で設定されてもよい、ということも想定される。色変換（１０２）から出力された輝度信号は、次いで、クロミナンス信号として変換ユニット（１０４）に入力される。変換ユニット（１０４）は、個々のチャネル（Ｙ、ＣｂおよびＣｒ）の画素領域画像を代替的な信号領域に投影する。使用可能な変換の例として、数ある中で、離散ウェーブレット変換（ＤＷＴ）および離散コサイン変換（ＤＣＴ）が挙げられる。今回のケースでは、離散ウェーブレット変換が用いられる。変換（１０４）からの出力は、変換画像を形成する一連の変換係数である。変換されたルマ画像および量子化器は、量子化（１０６）に直接入力され、量子化されたルマ画像を生成する。量子化ユニット（１０６）は、変換係数を１組の値から別の組の値にマッピングする変換係数の量子化を行う。量子化器は、変換された画像に適用される量子化の態様およびレベルを判断する１組のパラメータを表わす。本発明の好適な形態において、量子化動作および／または量子化動作を実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または１対１の比率で設定されてもよい、ということも想定される。変換ルマ画像、色変換（１０２）から出力されるルマ（Ｙ）画像、量子化（１０６）および量子化器からの量子化された画像は、ルマ画像プロセッサ（１０８）に入力され、最適化されたルマ画像を生成する。同様に、変換（１０４）からの出力は、一連の変換クロマ係数を生成し、当該一連の変換クロマ係数は、量子化ユニット（１０６）に入力され、またクロマ画像プロセッサ（１１０）に直接入力される。量子化（１０６）から出力された量子化されたクロマ画像、元のＲＧＢ画像、クロマ（ＣｂおよびＣｒ）画像および量子化器も、クロマ画像プロセッサ（１１０）に入力される。
ルマ画像プロセッサ（１０８）およびクロマ画像プロセッサ（１１０）からのそれぞれの出力は、最適化されたルマ（Ｙ）画像および最適化されたクロマ（ＣｂおよびＣｒ）画像である。これらの各々は、何らかの形態の信号並び換えおよびそれに続くエントロピーコード化を含み得る信号エンコーダ（１１２）に入力される。ＪＰＥＧベースの符号化システムの場合、信号エンコーダ（１１２）は、ジグザグコード化、ランレングスコード化およびハフマンコード化を含む。ＪＰＥＧ２０００ベースの符号化システムの場合、信号エンコーダ（１１２）は、ＥＢＣＯＴ（最適化された切捨てによる組込みブロックコード化）符号器によって表わされる。ルマ画像およびクロマ画像内の全ての情報は、次いで、符号化され、最適化された圧縮画像ビットストリームが信号エンコーダ（１１２）の出力から生じる。
図２を参照して、ルマ画像プロセッサ（１０８）のより詳細なブロック図が示される。ルマ画像プロセッサ（１０８）は、図２では対応する参照番号（２０８）によって示されている。ルマ画像プロセッサ（２０８）は、知覚的に無損失のモードと知覚的に強調されたモードとの、ルマ構成要素についての２つのモードで動作する。知覚的に無損失のモードでは、ルマ画像プロセッサは、量子化または変換されたルマ画像における知覚できない情報を除去する。これは、より効率的なエントロピー符号化を可能にして圧縮率の向上につながるように、符号化されるべき信号（全ての知覚できる情報を含む）の確率分布を再形成する態様で行われる。知覚的に強調されたモードでは、ルマ画像プロセッサは、信号符号化の前に、量子化または変換されたルマ画像の知覚される画像品質を強調する。知覚的強調モードは、３つのさらなるモードをもたらす。第１のモードは、最適化されたルマ画像の画像品質を変換されたルマ画像のものにまたはそれを上回るように維持しながら、圧縮率を最大化する。これは、ルマ画像の視覚的品質またはルマ画像を上回る視覚的品質を備えた、脱量子化され、逆変換された、最適化されたルマ画像を有することに相当する。第２のモードは、圧縮率に関わらず、最適化されたルマ画像の画像品質を最大化し、第３のモードでは、ルマ画像プロセッサは、画像品質の強調と比率対品質（Ｒ‐Ｑ）曲線を辿る圧縮率ゲインとのバランスをとる。Ｒ‐Ｑ曲線は、概念的には比率対歪み（Ｒ‐Ｄ）曲線に類似しているが、歪みではなく品質に関わる曲線である。強調は、より効率的なエントロピー符号化、したがってより高い圧縮率につながるように、符号化されるべき信号の確率分布を再形成する態様で行われる。ルマ画像プロセッサ（２０８）は、変換（１０４）の領域において、最適化されたルマ画像を生成する。好ましい変換は、離散ウェーブレット変換（ＤＷＴ）である。しかし、離散コサイン変換（ＤＣＴ）などの他の変換が用いられてもよい。プロセッサ（２０８）は、人間視覚システム（ＨＶＳ）の特性を組入れる。これらとして、輝度コントラスト感度、アクティビティ（テクスチャおよび詳細）識別、低輝度コントラスト識別および視覚マスキングが挙げられる。
再び図２を参照して、画素領域ルマ画像が信号マッピングユニット（２１３）に入力され、当該信号マッピングユニット（２１３）は、変換ユニット（１０４）によって生成された変換されたルマ画像からの各々の変換領域ルマ信号を、同一の空間的位置におけるルマ画像内の画素にマッピングする。離散ウェーブレット変換（ＤＷＴ）などの多重解像度変換の場合、低解像度ＤＷＴ領域係数の信号マッピングは、単純なローパスフィルタリングおよびそれに続くローパスルマ画像のデシメーション（または平均化）によって再帰的に行われ得る。各々の連続的な再帰は、フィルタリングおよびデシメーションが行われた信号を、解像度が漸進的に低くなるよう変換された係数にマッピングする。図１５は、ＤＷＴ係数とマッピングされた画素領域サンプル（画素画像、４分の１画素画像および１６分の１画素画像）との空間および解像度の関係を示す。この関係は、以下のような形式で表わされる。
式中、zluma/chroma[l,i,j]は、解像度ｌおよび空間的位置（ｉ，ｊ）における画素サンプルであり、Xluma/chroma[l,θ,m,n]は、方位θおよび空間周波数位置（ｍ，ｎ）におけるＤＷＴ係数であり、２ｍ≦ｉ≦２ｍ＋１および２ｎ≦ｊ≦２ｎ＋１である。なお、０≦ｌ≦（Ｌmax−１）であり、ここで、Ｌmaxは、解像度の数を示す。４分の１画素画像は、画素画像のローパスフィルタリングおよびダウンサンプリング（ＬＰＤ）から導き出される。同様に、１６分の１画素画像は、４分の１画素画像のＬＰＤにより導き出される。信号マッピングユニット（２１３）の出力は、ルマベースエラーユニット（２１４）、ルマコントラスト感度ユニット（２１６）、ルマアクティビティユニット（２１８）およびルマ低コントラストユニット（２２４）に与えられる。ルマベースエラーユニット（２１４）は、あまりはっきりしない差異（ＪＮＮＤ）レベルなどのしきいレベルのまたはしきいレベルを下回るベースエラーの大きさを推定する。さまざまな歪みレベル（知覚できるものも知覚できないものも）に対応する他のさまざまなしきいレベルが使用可能である。ルマベースエラーは、マッピングされたルマ画像、変換領域（量子化および変換された）ルマ画像、またはそれら両方によって求められることができる。したがって、ユニット（２１４）は、マッピングされたルマ画像、および任意に変換されたルマ画像または量子化されたルマ画像を取込む。量子化ステップのサイズがおよそ１つであれば、変換されたルマ画像の代わりに、量子化されたルマ画像を用いることができる。ルマベースエラーユニット（２１４）は、ルマベースエラープロファイルを出力し、当該ルマベースエラープロファイルは、ルマ知覚エラー推定ユニット（２２２）に入力される。
ルマコントラスト感度ユニット（２１６）は、ＨＶＳの輝度コントラストおよび輝度感度レベルを判断する。このユニットは、マッピングされたルマ画像を入力として有し、その出力において、入力された画像のルマコントラスト感度プロファイルを生成する。ルマアクティビティユニット（２１８）は、輝度領域におけるアクティビティレベルを計算する。アクティビティレベルは、入力されたルマ画像のテクスチャおよび詳細のレベルに依存する。ユニット（２１８）への入力は、マッピングされたルマ画像である。その出力として、ルマアクティビティ推定プロファイルがある。
低ルマコントラストユニット（２２４）は、強いコントラストを有するマッピングされたルマ画像において低輝度領域を具体的に特定する。低ルマコントラストユニット（２２４）は、マッピングされたルマ画像をその入力として取得し、低ルマコントラスト識別プロファイルを生成する。
ユニット（２１４）、（２１６）および（２１８）の各々の出力は、ルマ知覚エラー推定ユニット（２２２）への入力である。推定ユニット（２２２）は、ＨＶＳの視覚マスキング現象を受ける視覚信号の可視性を算出する視覚マスキング推定（２２０）からの出力も入力として受入れる。視覚マスキングは、視覚信号が別の視覚信号の可視性を妨げる場合に行われる。これは、ひいては、歪みの可視性レベルに影響を及ぼす。視覚マスキングには、空間マスキング、方位マスキングおよび周波数マスキングという３つの形態がある。視覚マスキング推定ユニット（２２０）は、これら３つの形態のマスキングの全てまたは任意の組合せを実行し得る。個々のサンプルの視覚マスキングは、以下のように算出される。
式中、Xluma[l,θ,m,n]は、解像度レベルｌ、方位θおよび空間的位置（ｍ，ｎ）における変換されたルマ画像の係数である。Rluma[l,θ,m,n]は、マスキング応答であり、ｗｍは、マスキング推定のためのウィンドウ表示領域である。Ｎｍは、ＮＭ＝（２ｗＭ＋１）２として定義されるウィンドウサイズである。量子化ステップのサイズがおよそ１つであれば、マスキングを算出するために、変換されたルマ画像の代わりに、量子化器（１０６）からの量子化されたルマ画像を用いることができる。視覚マスキング推定（２２０）からの出力は、所与の入力された、量子化または変換されたルマ画像についての各係数サンプルに関連付けられる視覚マスキングレベルである。
ルマ知覚エラー推定ユニット（２２２）は、視覚マスキング（２２０）を受けたルマベースエラー（２１４）、ルマコントラスト感度（２１６）およびルマアクティビティレベル（２１８）から、しきい（例えばＪＮＮＤ）レベルのまたはしきいレベルを下回る最大輝度エラーを求める。この（２２２）におけるエラー推定は、知覚できるまたは知覚できない、ＪＮＮＤレベル以外の任意のしきい点にも設定されてもよい。ユニット（２２２）は、変換領域における各係数に関連付けられる最大知覚エラー閾値を計算する。ユニット（２２２）の入力は、ルマベースエラー大きさプロファイル、ルマコントラスト感度プロファイル、ルマアクティビティプロファイルおよび視覚マスキングプロファイルである。空間的位置（ｍ，ｎ）における解像度ｌ、方位θについてのルマ知覚エラー閾値（ＪＮＮＤ）は、以下のように定義される。
式中、Rluma[l,θ,m,n]、eluma[l,m,n]、cluma[l,m,n]およびaluma[l,m,n]は、それぞれ、式（２）、（２０）、（３０）および（４６）によって定義されるマスキング成分、ベースエラー成分、コントラスト感度成分およびアクティビティレベル成分である。
強調ユニット（２２６）は、ルマ画像および変換されたルマ画像から入力を受取る。量子化器がおよそ１つである場合には、入力として、変換された画像の代わりに、量子化された画像が用いられてもよい。ユニット（２２６）は、変換領域において強調プロファイルを生成し、これを視覚的最適化ユニット（２２８）に転送する。手短に言えば、強調ユニット（２２６）は、量子化または変換されたルマ画像においてどこでおよびどのぐらいの強調がなされるべきかを視覚的最適化ユニット（２２８）に通知する。
視覚的最適化ユニット（２２８）は、強調ユニット（２２６）から強調プロファイルを受入れ、量子化器ユニット（１０６）から量子化されたルマ画像を受入れ、変換（１０４）から変換されたルマ画像を受入れ、知覚エラー推定ユニット（２２２）から推定された最大ルマエラー閾値を受入れ、低ルマコントラストユニット（２２４）から低ルマコントラストプロファイルを受入れ、量子化を受入れる。ユニット（２２８）は、知覚的に無損失のモードと知覚的に強調されたモードとの２つのモードで、変換領域ルマ画像を最適化する。知覚的に無損失のモードでは、視覚的最適化ユニット（２２８）は、量子化または変換されたルマ画像における知覚できない情報を除去する。知覚的に強調されたモードでは、ユニット（２０８）は、変換ルマ画像と比較して、最適化されたルマ画像の知覚される画像品質を強調する。これは、ルマ画像よりも視覚的品質が向上した、脱量子化され、逆変換された、最適化されたルマ画像を有することに相当する。知覚的強調自体は、３つのさらなるモードを有する。第１のモードでは、最適化された画像の画像品質を変換されたルマ画像のものにまたはそれを上回るように維持しながら、圧縮率を最大化する。第２のモードでは、圧縮率に関わらず、最適化されたルマ画像の画像品質を最大化する。最後のモードでは、画像品質の強調と比率対品質（Ｒ‐Ｑ）曲線を辿る圧縮率とのバランスをとる。視覚的最適化ユニット（２２８）からの出力は、信号エンコーダ（１１２）に入力される（変換領域における）最適化されたルマ画像である。量子化器がおよそ１つである場合には、量子化されたルマ画像がユニット（１１２）において用いられてもよい。さもなければ、変換されたルマ画像が用いられる。量子化されたルマ画像が用いられる場合、最適化されたルマ画像を求めるプロセス中にも量子化器が用いられる。最適化されたＪＮＮＤ変換係数は、以下のように記載される。
図３を参照して、クロマ画像プロセッサ（１１０）の図が示される。クロマ画像プロセッサ（１１０）は、図３では対応する参照番号（３１０）によって示されている。ルマ画像プロセッサ（２０８）と同様に、クロマ画像プロセッサ（３１０）は、知覚的に無損失のモードと知覚的に強調されたモードとの、クロマ構成要素についての２つのモードで動作する。知覚的に強調されたモードは、ルマ画像プロセッサ（２０８）の場合と同様に、３つのさらなるモードをもたらす。クロマ画像プロセッサ（３１０）も、ルマ画像プロセッサ（２０８）に関連して上記したＨＶＳの知覚的特性を組入れる。
クロマ画像プロセッサ（３１０）は、信号マッピングユニット（３１３）と、クロマベースエラーユニット（３１４）と、クロマコントラスト感度ユニット（３１６）と、クロマアクティビティユニット（３１８）と、視覚マスキング推定ユニット（３２０）と、クロマ知覚エラー推定ユニット（３２２）と、強調ユニット（３２６）と、視覚的最適化ユニット（３２８）と、任意の低クロマコントラストユニット（３２４）とを含む。信号マッピングユニット（３１３）は、クロマ画像を入力として取得し、クロマ画像における画素を変換領域クロマ画像におけるそれらの対応する信号にマッピングする。ＤＷＴなどの多重解像度変換の場合、低解像度ＤＷＴ領域係数の信号マッピングは、単純なローパスフィルタリングおよびそれに続くローパスクロマ画像のデシメーションによって再帰的に行われ得る。各々の連続的な再帰は、フィルタリングおよびデシメーションが行われた信号を、解像度が漸進的に低くなる変換された係数にマッピングする。クロマベースエラーユニット（３１４）は、クロマ信号上で動作すること以外は、ルマベースエラーユニット（２１４）と類似の態様で動作する。ユニット（３１４）は、ＪＮＮＤレベルなどの可視性閾値のまたは可視性閾値を下回るクロマベースエラーを推定する。さまざまな歪みレベル（知覚できるものも知覚できないものも）に対応する他のさまざまなしきいレベルが使用可能である。クロマベースエラーは、マッピングされたクロマ画像、変換領域（量子化および変換された）クロマ画像、またはそれら両方によって求められることができる。したがって、ユニット（３１４）への入力は、マッピングされたクロマ画像、および任意に変換されたクロマ画像または量子化されたクロマ画像である。量子化ステップのサイズがおよそ１つである場合には、変換されたクロマ画像の代わりに、量子化されたクロマ画像を用いることができる。クロマ閾値エラーユニット（３１４）は、クロマベースエラープロファイルを出力し、当該クロマベースエラープロファイルは、次いで、クロマ知覚エラー推定ユニット（３２２）に入力される。
クロマコントラスト感度ユニット（３１６）は、ＨＶＳのクロミナンスコントラストおよびクロミナンス感度レベルを判断する。このユニットは、マッピングされたクロマ画像を入力として有し、入力された画像のクロマコントラスト感度プロファイルをその出力として生成する。クロマアクティビティユニット（３１８）は、クロミナンス領域におけるアクティビティレベルを計算する。アクティビティレベルは、入力されたクロマ画像のテクスチャおよび詳細のレベルに依存する。ユニット（３１８）は、マッピングされたクロマ画像を入力として受取り、クロマアクティビティ推定プロファイルを出力する。
ユニット（３１４）、（３１６）および（３１８）の各々からの出力は、クロマ知覚エラー推定ユニット（３２２）に入力される。推定ユニット（３２２）は、ＨＶＳの視覚マスキング現象を受けた視覚信号の可視性を推定する視覚マスキング推定ユニット（３２０）からの出力も入力として受入れる。ルマ信号の視覚マスキング（２２０）と同様に、クロマ信号の視覚マスキング（３２０）は、空間マスキング、方位マスキング、周波数マスキング、またはこれら３つのマスキングチャネルの任意の組合せをカバーする。視覚マスキング（３２０）は、入力された変換クロマ画像から算出される。その定義は、式（２）の形態をとるが、ルマ信号（Xluma）ではなくクロマ信号（Xchroma）に対して作用する。すなわち、以下の通りである。
量子化器がおよそ１つである場合には、算出を行うために、変換されたクロマ画像の代わりに、量子化器（１０６）からの量子化されたクロマ画像を用いることができる。視覚マスキング推定ユニット（３２０）からの出力は、入力された画像のクロマ視覚マスキングプロファイルである。
クロマ知覚エラー推定ユニット（３２２）は、４つの入力を受入れて、視覚マスキングを受けたしきい（例えばＪＮＮＤ）レベル、コントラスト感度およびアクティビティレベルのまたはそれらを下回る最大エラーを推定する。ルマ画像プロセッサ（２０８）と同様に、このエラー推定は、ＪＮＮＤレベル以外の他のしきい点にも設定されてもよい。それは、以下のように定義される。
式中、Rchroma[l,θ,m,n]、echroma[l,m,n]、cchroma[l,m,n]およびachroma[l,m,n]は、それぞれ、式（９）、（２１）、（３１）によって定義されるクロマ視覚マスキングプロファイル、クロマベースエラープロファイル、クロマコントラスト感度プロファイルおよびクロマアクティビティプロファイルである。ユニット（３２２）は、変換領域クロマ画像における各係数について最大クロマエラー閾値を出力する。
低クロマコントラストユニット（３２４）は、強いコントラストを有するマッピングされたクロマ画像において低クロミナンス領域を具体的に特定する。低クロマコントラストユニット（３２４）は、マッピングされたクロマ画像をその入力として取得し、低クロマコントラスト識別プロファイルを生成する。低クロマコントラストユニット（３２４）は、クロマ画像プロセッサ（３１０）の任意の構成要素である。
強調ユニット（３２６）は、変換されたクロマ画像または量子化されたクロマ画像とともに、クロマ画像から入力を受取る。強調ユニット（３２６）は、入力された画像に基づいて強調プロファイルを生成し、当該強調プロファイルは、次いで、視覚的最適化ユニット（３２８）に転送される。量子化器がおよそ１つである場合には、強調プロファイルを生成するために、変換されたクロマ画像の代わりに、量子化されたクロマ画像が用いられてもよい。
視覚的最適化ユニット（３２８）は、強調ユニット（２２６）から強調プロファイルを受取り、量子化器ユニット（１０６）から量子化されたクロマ画像を受取り、変換（１０４）から変換されたクロマ画像を受取り、クロマ知覚エラー推定（３２２）から最大クロマエラー閾値を受取り、量子化を受取り、低クロマコントラストユニット（３２４）から任意の低クロマコントラスト識別プロファイルを受取る。ユニット（３２８）は、ルマ画像プロセッサの視覚的最適化ユニット（２２８）と類似の態様で、変換領域クロマ画像を２つのモードに最適化する。これらのモードは、上記のように知覚的に無損失のモードおよび知覚的に強調されたモードである。知覚的に強調されたモードは、上記のように３つのさらなるモードを有する。量子化器がおよそ１つである場合には、変換されたクロマ画像の代わりに、量子化されたクロマ画像が用いられてもよい。量子化されたクロマ画像が用いられる場合、量子化器は、最適化されたクロマ画像を求めるためにも用いられる。知覚的に無損失のモードの場合も知覚的に強調されたモードの場合も、ユニット（３２８）は、より効率的なエントロピー符号化を可能にして圧縮率を高くすることにつながるように、符号化されるべき信号の確率分布を再形成する。
図４には、ルマ閾値エラーユニット（２１４）およびクロマ閾値エラーユニット（３１４）の両方のユニットの詳細なブロック図が示される。ルマ／クロマ閾値エラーユニット（２１４／３１４）は、画素輝度／クロミナンス絶対レベルに基づいて最大許容エラーを算出するルマ／クロマ大きさエラー推定ユニット（４３０）を含む。ユニット（４３０）への入力は、マッピングされたルマ／クロマ画像（zlumaおよびzchroma）であり、ユニット（４３０）は、ベースルマ／クロマ大きさエラー（ＭＥ）を出力する。解像度レベルｌおよび空間的位置（ｍ，ｎ）におけるルマおよびクロマエラーサンプルは、以下のように計算される。
さらなるモデリングを行ってベースエラー推定プロファイルを算出するために、変換または量子化されたルマ／クロマ画像がユニット（４３４）において用いられてもよい。量子化ステップのサイズがおよそ１つである場合には、さらなるモデリングのために、変換されたルマ／クロマ画像の代わりに、量子化されたルマ／クロマ画像を用いることができる。ルマユニット（２１４）およびクロマユニット（３１４）からの出力を表わすユニット（４３４）の出力は、次いで、ルマ知覚エラー推定ユニット（２２２）およびクロマ知覚エラー推定ユニット（３２２）に入力される。
図５には、それぞれのルマ／クロマコントラスト感度ユニット（５１６）のブロック図が示される。ルマチャネルおよびクロマチャネルのそれぞれについて、これはコントラスト感度ユニット（２１６）および（３１６）に相当する。マッピングされたルマ／クロマ画像は、ルマ／クロマ感度減衰器（５３８）およびルマ／クロマコントラスト減衰器（５３６）の各々に入力される。ルマ／クロマコントラスト減衰器（５３６）は、ＨＶＳのルマ／クロマコントラスト感度に従って、入力された画像を減衰する。ルマチャネルおよびクロマチャネルについてのコントラスト減衰（ＣＡ）機能は、以下のように定義される。
ルマ／クロマコントラスト感度推定ユニット（５４０）は、ルマ／クロマ大きさおよびコントラスト感度の両方を考慮に入れる。ルマ／クロマコントラスト感度推定ユニット（５４０）は、ユニット（５３６）および（５３８）の出力を取得し、ルマ／クロマコントラスト感度プロファイルを出力する。当該ルマ／クロマコントラスト感度プロファイルは、解像度レベルｌおよび空間的位置（ｍ，ｎ）に対して、ルマについては以下のように定義される。
である。ここで、２ｍ−ｗｒ≦ｉ≦２ｍ＋ｗｒおよび２ｎ−ｗｃ≦ｊ≦２ｎ＋ｗｃである。ｗｒおよびｗｃは、ウィンドウ表示領域の垂直方向半径および水平方向半径である。ユニット（５４０）の出力は、その後、それらのそれぞれのルマ知覚エラー推定ユニット（２２２）およびクロマ知覚エラー推定ユニット（３２２）に入力される。
図６は、（６１８）で表わされるルマアクティビティユニット（２１８）の詳細なブロック図を示す。最初に、マッピングされたルマ画像が、ルマコントラスト減衰ユニット（６４２）、ルマ感度減衰ユニット（６４４）およびルマ画像詳細推定ユニット（６４６）に入力される。ルマコントラスト減衰ユニット（６４２）は、ＨＶＳのルマコントラスト感度レベルに従って、入力されたルマ画像を減衰する。ユニット（６４２）は、式（２２）に定義されるルマコントラストプロファイルを出力し、当該ルマコントラストプロファイルは、その後、ルマテクスチャ識別ユニット（６４８）に入力される。ルマ感度減衰ユニット（６４４）は、ＨＶＳのルマ大きさ感度レベルに従って、入力されたルマ画像を減衰する。ルマ感度減衰ユニット（６４４）は、式（２６）に定義されるルマ大きさプロファイルを出力し、当該ルマ大きさプロファイルは、次いでその後、ルマテクスチャ識別ユニット（６４８）およびルマ詳細識別ユニット（６５０）に入力される。ルマ画像詳細推定ユニット（６４６）は、入力された画像における詳細な構造を抽出する。ルマ画像詳細推定ユニット（６４６）は、入力された画像のルマ構造（詳細）プロファイルを出力する。個々のサンプルのルマ詳細は、以下のように算出される。
ルマテクスチャ識別ユニット（６４８）は、ルマコントラスト減衰ユニット（６４２）およびルマ感度減衰ユニット（６４４）から入力を受取る。ルマテクスチャ識別ユニット（６４８）は、低レベル、中レベルおよび高レベルテクスチャに従って分類され得るルマ画像におけるテクスチャ情報を特定し、位置付ける。ルマテクスチャ識別ユニット（６４８）は、ルマテクスチャ識別プロファイルを出力し、当該ルマテクスチャ識別プロファイルは、次いで、ルマアクティビティレベル推定ユニット（６５２）に転送される。テクスチャが識別されたサンプルは、以下のように定義される。
ルマ詳細識別プロファイルは、ルマアクティビティレベル推定ユニット（６５２）への入力である。ルマアクティビティレベル推定ユニット（６５２）は、テクスチャおよび詳細レベルに対して、ルマ画像における各信号サンプルを取巻くアクティビティレベルを求める。これは、ルマテクスチャおよびルマ詳細識別プロファイルにおけるサンプルをアクティビティレベルクラスタに仕分けし、次いでこれらのクラスタの相対的強度を計算するクラスタリングアルゴリズムによって行われ得る。推定ユニット（６５２）は、ルマテクスチャ識別ユニット（６４８）からルマテクスチャ識別プロファイルを受取り、ルマ詳細識別ユニット（６５０）からルマ詳細識別プロファイルを受取る。推定ユニット（６５２）は、ルマアクティビティレベル推定プロファイルを生成し、当該ルマアクティビティレベル推定プロファイルは、次いで、ルマ知覚エラー推定ユニット（２２２）に入力される。空間的位置（ｍ，ｎ）における解像度レベルｌについてのルマアクティビティレベル（ＡＬ）推定は、以下のように定義される。
色マスキングユニット（７６０）は、ＨＶＳの色マスキングの影響を受けたクロマ信号の可視性を推定する。このユニットは、色マスキング算出のためにＲＧＢ画像を受取る。このユニットは、色マスキングプロファイルを出力し、当該色マスキングプロファイルは、次いで、クロマテクスチャ識別ユニット（７６２）およびクロマ詳細識別ユニット（７６４）に入力される。最高解像度レベルにおける色マスキングされた（ＣＭ）プロファイルの要素は、以下のように定義される。
ここで、２ｍ≦ｉ≦２ｍ＋１および２ｎ≦ｊ≦２ｎ＋１である。より低い画像解像度での色マスキングを算出するために、他の代替的なアプローチも利用されてもよい。例えば、式（５４）に示されるプロセスが、ＲＧＢ画像の、解像度が連続的に低くなるバージョンに繰り返し適用され得る。
クロマテクスチャ識別ユニット（７６２）は、クロマコントラスト減衰ユニット（７５４）、クロマ感度減衰ユニット（７５６）および色マスキングユニット（７６０）から入力を受取る。クロマテクスチャ識別ユニット（７６２）は、色マスキングを受けたクロマ画像におけるテクスチャ情報を特定し、位置付ける。テクスチャ情報は、テクスチャレベルに従って分類され得る。ユニット（７６２）は、クロマテクスチャ識別プロファイルを出力し、当該クロマテクスチャ識別プロファイルは、次いで、クロマアクティビティレベル推定ユニット（７６６）に転送される。このプロファイルの個々の要素は、以下のように定義される。
図８には、ルマユニット（２２４）およびクロマユニット（３２４）をそれぞれ表わす低ルマ／クロマコントラストユニット（８２４）の詳細なブロック図が開示される。ユニット（８２４）は、ルマチャネルおよびクロマチャネルについてのそれぞれのユニット（６４２）および（７５４）と同じ機能を有するルマ／クロマコントラスト減衰ユニット（８６８）を含む。ユニット（８２４）は、マッピングされたルマ／クロマ画像を受取り、入力された画像のルマ／クロマコントラストプロファイルを出力する。低ルマ／クロマ減衰ユニット（８７０）は、ＨＶＳの低ルマ／クロマ感度レベルに従って、入力された画像を減衰する。低ルマ／クロマ減衰ユニット（８７０）は、マッピングされたルマ／クロマ画像を入力として受取り、入力された画像の低ルマ／クロマプロファイルを出力する。解像度レベルｌおよび空間的位置（ｉ，ｊ）における低コントラスト（ＬＣ）減衰信号は、ルマについては以下のように定義される。
低ルマ／クロマコントラスト識別ユニット（８７２）は、ユニット（８６８）からルマ／クロマコントラストプロファイルを受取り、ユニット（８７０）からルマ／クロマ低コントラストプロファイルを受取る。識別ユニット（８７２）は、入力において高いコントラストを有する低ルマ／クロマ領域を特定する。識別ユニット（８７２）は、低ルマ／クロマコントラスト識別プロファイルを生成し、当該低ルマ／クロマコントラスト識別プロファイルは、その後、視覚的最適化ユニット（２２８）および（３２８）に入力される。解像度レベルｌおよび空間的位置（ｉ，ｊ）における低コントラスト識別信号は、以下のように定義される。
図９を参照して、図９には、対応する参照ユニット（９２６）を備えた強調ユニット（２２６）および（３２６）のより詳細なブロック図が示される。当該ユニットは、強調されるべき入力された画像の領域を特定する強調マップ生成ユニット（９７４）を含む。強調マップは、画像特性、例えば詳細、テクスチャなどに基づいて生成される。ユニット（９７４）は、ルマ／クロマ画像をその入力として有する。ユニット（９７４）は、変換されたルマ／クロマ画像または量子化されたルマ／クロマ画像も利用してもよい。量子化器がおよそ１つである場合には、変換または量子化されたルマ／クロマ画像の代わりに、量子化されたルマ／クロマ画像を用いることができる。強調マップにおける個々の要素は、以下のように定義され得る。
ここで、Ｎ＝（２ｗｒ＋１）×（２ｗｃ＋１）である。
図１０および図１１は、それぞれ、全てのサブ構成要素を示す圧縮システム（１００）のルマおよびクロマ構成要素の詳細なブロック図である。
図１２を参照して、圧縮前に変換領域において知覚的に無損失の画像または知覚的に強調された画像を生成することに関わるプロセスのフロー図１２００が示される。まず、ステップ１２０１において、静止画または動画を受取る。ステップ１１０２において、当該画像を色変換して、受取られた画像を所望の色空間（例えば構成要素の色）に変換し、変換された色空間（ＣＣＳ）画像を形成する。構成要素の色については、ＣＣＳ画像は、Ｙ、ＣｂおよびＣｒである。ステップ１２０４において、各々が変換ＣＣＳ係数の組からなる変換されたＣＣＳ画像を作成するために、ＣＣＳ画像に変換（例えばＤＷＴ、ＤＣＴ）を適用する。ステップ１２０６において、変換ＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を生成する。ステップ１２０８において、いかなる視覚的に冗長な情報も除去するか、または、変換領域ＣＣＳ画像を視覚的に強調して、最適化されたＣＣＳ画像を形成するために、変換または量子化されたＣＣＳ画像を画像プロセッサ（２０８）および（３０８）によって処理する。量子化器がおよそ１つである場合には、最適化されたＣＣＳ画像を生成するために、量子化されたＣＣＳ画像が用いられる。さもなければ、変換ＣＣＳ画像が用いられる。ステップ１２１０において、最適化されたＣＣＳ画像をエンコーダに送信して、圧縮が行われ、続いて格納、送信またはそれら両方が行われる。
図１３を参照して、図１２のフロー図１２００よりも詳細なさらなるフロー図１３００が示される。最初に、ステップ１３０１において、静止画または動画であり得るＲＧＢ画像を受取る。ステップ１３０２における色変換は、ＲＧＢ画像を、構成要素色空間のルマおよびクロマ画像に変換する。構成要素の色とは別に、他の色空間もステップ１３０２において使用可能である。ステップ１３０４において、ルマおよびクロマ画像の各々に変換（例えばＤＷＴ、ＤＣＴ）を適用して、変換されたルマ画像および変換されたクロマ画像を生成する。ステップ１３０６において、変換されたルマ画像および変換されたクロマ画像を量子化する。ステップ１３１４において、マッピングされたルマ／クロマ画像、および任意に変換されたルマ／クロマ画像または量子化されたルマ／クロマ画像に基づいて、ルマ／クロマベースエラーを推定する。ステップ１３１６において、マッピングされたルマ／クロマ画像からルマ／クロマコントラスト感度レベルを判断する。ステップ１３１８において、マッピングされたルマ画像からルマアクティビティレベルを判断する。また、ステップ１３１８において、マッピングされたクロマ画像およびＲＧＢ画像からクロマアクティビティレベルを判断する。ステップ１３２０において、変換ルマ／クロマ画像または量子化されたルマ／クロマ画像からの入力に基づいて、視覚マスキングレベルを推定する。ステップ１３２２において、ステップ１３１４、１３１６、１３１８および１３２０の出力に基づいて、ルマ／クロマ知覚エラー閾値の推定がなされる。ステップ１３２４において、低ルマ／クロマコントラストアクティビティレベルを判断する。低ルマ／クロマコントラストアクティビティレベルは、マッピングされたルマ／クロマ画像からの入力に基づいている。１３２４のクロマ部分は任意である。ステップ１３２６において、ルマ／クロマ画像、変換されたルマ／クロマ画像および量子化されたルマ／クロマ画像からの入力に基づいて、強調プロファイルが求められる。ステップ１３２８において、ステップ１３２２からの出力、ステップ１３２６からの強調プロファイル、ステップ１３０４からの変換されたルマ／クロマ画像、ステップ１３０６からの量子化されたルマ／クロマ画像、およびステップ１３２４からの低ルマ／クロマコントラストアクティビティプロファイルに基づいて、視覚的最適化が行われる。ステップ１３２８からの最適化されたルマ／クロマ画像は、１３３１に送られ、圧縮された最適化された画像に符号化される。
図１４を参照して、知覚的に無損失の品質レベルまたは知覚的に強調された品質レベルをもたらすＲＧＢ画像の圧縮を行うために用いられるシステムまたは装置１４００のブロック図が示される。ＲＧＢ画像１４０２は、ＲＧＢ画像を知覚的に無損失の品質レベルまたは知覚的に強調された品質レベルに符号化する画像処理装置を有する符号化システム１４０４に入力される。符号化後、圧縮された画像ストリームは、メモリ１４１０に格納され得るか、または送信媒体１４０６を介して送られ得る。送信された圧縮された画像ストリームは、デコーダ１４０８によって復号される。この復号化は、ＲＧＢ画像１４０２と比較して品質の点で知覚的に無損失であるかまたは知覚的に強調されている、復号された最適化された（ＲＧＢ）画像１４１２を生成する。
プロセスまたはフロー図１２００または１３００はいずれも、実行されると図１２または図１３のブロックに示される動作のうちのいずれか１つ以上を実行するようにメモリまたは送信媒体などのコンピュータ読取可能媒体に格納されるコンピュータ読取可能命令として実現され得る。したがって、図１２および図１３のブロックに示される動作のうちのいずれか１つ以上は、コンピュータ読取可能媒体上で実施される、コンピュータによって実行可能な命令として実施され得る。
本発明の特別な利点は、本発明が標準的な画像コード化システム（例えばＪＰＥＧ２０００）に準拠し、そのため既存の画像圧縮アプリケーションに容易に適合可能および配備可能であることである。本発明は、情報無損失圧縮よりも優れた圧縮率での画像の知覚的に無損失の圧縮または知覚的に強調された圧縮を提供する。本発明は、ハードウェアでもソフトウェアでも実現可能である。
本発明は、画像全体を考慮に入れ、次いで変換領域（例えばＤＷＴ）において最適化された画像を生成し、続いて符号化して、圧縮された最適化された画像を生成する画像コンテンツの分析を提供する。全ての図面の中の説明は構成要素の色（ＹＣｂＣｒ）に重点を置いていたが、本発明は、他の色空間（例えばＣＩＥ ＸＹＺ）でも動作可能である。本発明は、例を挙げると、自然画像、医療用画像、（デジタル映画のための）映画画像および衛星画像を含むさまざまな画像を圧縮するために使用可能である。
要約すると、本発明は、情報無損失圧縮スキームよりも優れた圧縮率での画像の知覚的に無損失の圧縮または知覚的に品質が向上した圧縮を達成することができる能力を有する圧縮システムを提供するために、視覚的最適化機能とともに高度なＨＶＳモデルを利用するプラグイン式技術を提供する。

Claims (57)

  1. 画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
    画像を受取るステップと、
    前記受取られた画像を所望の色空間に色変換して、変換された色空間（color-space：ＣＣＳ）画像を形成するステップと、
    前記ＣＣＳ画像を変換されたＣＣＳ画像に変換するステップと、
    前記ＣＣＳ変換画像に量子化を適用して、量子化されたＣＣＳ画像を形成するステップと、
    画像プロセッサを用いて、前記量子化されたＣＣＳ画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するステップと、
    その後の格納および／または送信のために、前記最適化されたＣＣＳ画像を符号化するステップとを含む、方法。
  2. 前記ＣＣＳ画像は、輝度（Ｙ）画像、クロミナンス青（Ｃｂ）画像またはクロミナンス赤（Ｃｒ）画像のうちのいずれか１つ以上である、請求項１に記載の方法。
  3. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項１または２に記載の方法。
  4. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項１から３のいずれか１項に記載の方法。
  5. 前記変換されたＣＣＳ画像における係数を量子化して、量子化された変換係数からなる量子化されたＣＣＳ画像を形成し、次いで前記量子化されたＣＣＳ画像を前記画像プロセッサに送信するステップをさらに含む、請求項１から４のいずれか１項に記載の方法。
  6. 前記ＣＣＳ画像を変換されたＣＣＳ画像に変換するステップは、離散ウェーブレット変換（discrete wavelet transform：ＤＷＴ）または離散コサイン変換（discrete cosine transform：ＤＣＴ）を用いる、請求項１から５のいずれか１項に記載の方法。
  7. 前記画像プロセッサは、知覚的に無損失の画像または知覚的に強調された画像を生成するために人間視覚システム（human visual system：ＨＶＳ）の特性を組入れる、請求項１から６のいずれか１項に記載の方法。
  8. 前記変換されたＣＣＳ画像を視覚マスキング推定ユニットに送信して、前記ＣＣＳ画像におけるマスキングのレベルを判断し、各色チャネルに関連付けられる視覚マスキングプロファイルを出力するステップをさらに含む、請求項１から７のいずれか１項に記載の方法。
  9. 前記ＣＣＳ画像を信号マッピングユニットに送信して、前記ＣＣＳ画像における画素を対応するＣＣＳ変換領域係数にマッピングして、マッピングされたＣＣＳ画像を形成するステップをさらに含む、請求項８に記載の方法。
  10. 前記マッピングされたＣＣＳ画像をコントラスト感度ユニットに送って、前記ＨＶＳに基づいて、前記マッピングされたＣＣＳ画像のコントラストおよび大きさ感度レベルを判断し、前記マッピングされたＣＣＳ画像についてのコントラスト感度プロファイルを出力するステップをさらに含む、請求項９に記載の方法。
  11. 前記マッピングされたＣＣＳ画像をアクティビティユニットに送って、前記マッピングされたＣＣＳ画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するステップをさらに含む、請求項１０に記載の方法。
  12. 前記変換または量子化されたＣＣＳ画像とともに前記マッピングされたＣＣＳ画像をベースエラーユニットに送って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するステップをさらに含む、請求項１１に記載の方法。
  13. 前記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを知覚エラー推定ユニットに送信して、知覚エラー推定値を求めるステップをさらに含む、請求項１２に記載の方法。
  14. 前記変換または量子化されたＣＣＳ画像とともに前記マッピングされたＣＣＳ画像を強調ユニットに送って、前記変換または量子化されたＣＣＳ画像においてどこでおよびどのぐらいの情報が強調されるべきかを判断し、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するステップをさらに含む、請求項１３に記載の方法。
  15. 前記マッピングされたＣＣＳ画像を低輝度／クロミナンスコントラストユニットに送って、低輝度／クロミナンスコントラストプロファイルを求めるステップをさらに含む、請求項１４に記載の方法。
  16. 前記強調プロファイル、前記知覚エラー推定値、前記低輝度／クロミナンスコントラストプロファイル、量子化器、前記変換されたＣＣＳ画像および前記量子化されたＣＣＳ画像に基づいて、前記変換または量子化されたＣＣＳ画像を最適化して、最適化されたＣＣＳ画像圧縮を行うステップをさらに含む、請求項１５に記載の方法。
  17. コード化プロセスの一部として、前記最適化されたＣＣＳ画像を圧縮するステップをさらに含む、請求項１６に記載の方法。
  18. 色変換によって、前記受取られた画像を輝度成分およびクロミナンス成分に分割するステップをさらに含む、請求項１から１７のいずれか１項に記載の方法。
  19. 知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
    受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニットと、
    ＣＣＳ画像を受取って、前記ＣＣＳ画像を、各々が変換係数の組を含む変換されたＣＣＳ画像に変換するための変換ユニットと、
    前記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するための量子化ユニットと、
    変換または量子化されたＣＣＳ画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するための画像プロセッサと、
    前記最適化されたＣＣＳ画像を圧縮するためのエンコーダとを含み、
    前記圧縮された最適化されたＣＣＳ画像は、その後、格納および／または送信の準備が行われる、装置。
  20. 前記ＣＣＳ画像は、輝度（Ｙ）画像、クロミナンス青（Ｃｂ）画像またはクロミナンス赤（Ｃｒ）画像のうちのいずれか１つ以上である、請求項１９に記載の装置。
  21. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項１９または２０に記載の装置。
  22. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項１９から２１のいずれか１項に記載の装置。
  23. 前記量子化ユニットは、前記変換係数を量子化して、量子化された変換係数からなる量子化されたＣＣＳ画像の組を形成し、前記量子化されたＣＣＳ画像は次いで、前記画像プロセッサに送信される、請求項１９から２２のいずれか１項に記載の装置。
  24. 前記変換ユニットは、離散ウェーブレット変換ユニット（ＤＷＴ）または離散コサイン変換（ＤＣＴ）である、請求項１９から２３のいずれか１項に記載の装置。
  25. 前記画像プロセッサは、前記最適化されたＣＣＳ画像を生成するために人間視覚システム（ＨＶＳ）の特性を組入れる、請求項１９から２４のいずれか１項に記載の装置。
  26. 前記画像プロセッサは、前記ＣＣＳ画像における画素を対応するＣＣＳ変換領域係数にマッピングして、マッピングされたＣＣＳ画像を形成するための信号マッピングユニットを含む、請求項１９から２５のいずれか１項に記載の装置。
  27. 前記画像プロセッサは、前記変換または量子化されたＣＣＳ画像を利用してマスキングのレベルを判断し、視覚マスキングプロファイルを出力する視覚マスキング推定ユニットをさらに含む、請求項２６に記載の装置。
  28. 前記画像プロセッサは、前記マッピングされたＣＣＳ画像を受取って、前記マッピングされたＣＣＳ画像のコントラストおよび大きさ感度レベルを判断し、前記マッピングされたＣＣＳ画像についてのコントラスト感度プロファイルを出力するためのコントラスト感度ユニットをさらに含む、請求項２７に記載の装置。
  29. 前記画像プロセッサは、前記マッピングされたＣＣＳ画像を受取って、前記マッピングされたＣＣＳ画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するためのアクティビティユニットをさらに含む、請求項２８に記載の装置。
  30. 前記画像プロセッサは、前記変換または量子化されたＣＣＳ画像とともに前記マッピングされたＣＣＳ画像を受取って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するためのベースエラーユニットをさらに含む、請求項２９に記載の装置。
  31. 前記画像プロセッサは、前記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを受取って、前記所与の閾値のまたは前記所与の閾値を下回る知覚エラー推定値を求めるための知覚エラー推定ユニットをさらに含む、請求項３０に記載の装置。
  32. 前記画像プロセッサは、前記変換または量子化されたＣＣＳ画像とともに前記マッピングされたＣＣＳ画像を受取って、前記変換または量子化されたＣＣＳ画像に対してどこでおよびどのぐらいの強調が適用されるべきかを判断し、次いで、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するための強調ユニットをさらに含む、請求項３１に記載の装置。
  33. 前記画像プロセッサは、前記マッピングされたＣＣＳ画像を受取って、低輝度／クロミナンスコントラストプロファイルを求めるための低輝度／クロミナンスコントラストユニットをさらに含む、請求項３２に記載の装置。
  34. 前記画像プロセッサは、前記強調プロファイル、前記低輝度／クロミナンスコントラストプロファイル、量子化器、前記変換されたＣＣＳ画像および前記量子化されたＣＣＳ画像、ならびに前記知覚エラー推定値に基づいて、前記変換または量子化されたＣＣＳ画像を最適化して、前記最適化されたＣＣＳ画像を生成し、圧縮を行うための視覚的最適化ユニットをさらに含む、請求項３３に記載の装置。
  35. 前記エンコーダは、その後の格納および／または送信のために、前記最適化されたＣＣＳ画像を圧縮する、請求項１９から３４のいずれか１項に記載の装置。
  36. 前記受取られた画像は、輝度成分およびクロミナンス成分に分割される、請求項３５に記載の装置。
  37. 前記可視性閾値はＪＮＮＤレベルである、請求項３０に記載の装置。
  38. コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、前記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
    受取られた画像を所望の色空間に変換して、変換された色空間（ＣＣＳ）画像を形成するように装置に指示し、
    前記ＣＣＳ画像を、各々が変換係数の組からなる変換されたＣＣＳ画像に変換するように装置に指示し、
    前記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するように装置に指示し、
    前記量子化されたＣＣＳ画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するように装置に指示し、
    前記最適化されたＣＣＳ画像を符号化（圧縮）するように装置に指示する、コンピュータ読取可能媒体。
  39. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項３８に記載のコンピュータ読取可能媒体。
  40. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項３８および３９のいずれか１項に記載のコンピュータ読取可能媒体。
  41. 知覚的に無損失の圧縮画像データまたは知覚的に強調された圧縮画像データを送信媒体を通じて送信する方法であって、
    受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニットに画像の組を入力するステップと、
    前記ＣＣＳ画像を変換して、変換されたＣＣＳ画像を形成するステップと、
    前記変換されたＣＣＳ画像を量子化して、量子化されたＣＣＳ画像を形成するステップと、
    前記変換または量子化されたＣＣＳ画像を画像プロセッサで処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたＣＣＳ画像を生成するステップと、
    各々の最適化されたＣＣＳ画像をエンコーダで圧縮するステップと、
    前記圧縮された最適化されたＣＣＳ画像を前記送信媒体を通じて送信するステップとを含む、方法。
  42. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項４１に記載の方法。
  43. 前記最適化されたＣＣＳ画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたＣＣＳ画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項４１および４２のいずれか１項に記載の方法。
  44. 画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
    画像を受取るステップと、
    前記画像を変換するステップと、
    画像プロセッサを用いて前記画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するステップと、
    その後の格納および／または送信のために、前記最適化された画像を符号化するステップとを含む、方法。
  45. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項４４に記載の方法。
  46. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項４４または４５に記載の方法。
  47. 前記画像を所望の色空間に色変換するステップをさらに含む、請求項４４から４６のいずれか１項に記載の方法。
  48. 前記画像に量子化を適用するステップをさらに含む、請求項４４から４７のいずれか１項に記載の方法。
  49. 知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
    画像を受取って、前記画像を、各々が変換係数の組を含む変換された画像に変換するための変換ユニットと、
    変換された画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するための画像プロセッサと、
    前記最適化された画像を圧縮するためのエンコーダとを含み、
    前記圧縮された最適化された画像は、その後、格納および／または送信の準備が行われる、装置。
  50. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項４９に記載の装置。
  51. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項４９または５０に記載の装置。
  52. 受取られた画像を所望の色空間に色変換して、変換された色空間（ＣＣＳ）画像を形成するための色変換ユニットを含む、請求項４９から５１のいずれか１項に記載の装置。
  53. 前記変換された画像を量子化して、量子化された画像を形成するための量子化ユニットを含む、請求項４９から５２のいずれか１項に記載の装置。
  54. コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、前記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
    前記画像を、各々が変換係数の組からなる変換された画像に変換するように装置に指示し、
    前記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するように装置に指示し、
    前記最適化された画像を符号化（圧縮）するように装置に指示する、コンピュータ読取可能媒体。
  55. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項５４に記載のコンピュータ読取可能媒体。
  56. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項５４または５５に記載のコンピュータ読取可能媒体。
  57. 変換係数の組を含む変換された画像を受取るように適合され、前記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、エンコーダによる圧縮に好適な、最適化された画像を生成するように適合される、プロセッサ。
JP2014539185A 2011-10-30 2012-10-29 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 Expired - Fee Related JP6141295B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161553207P 2011-10-30 2011-10-30
US61/553,207 2011-10-30
PCT/AU2012/001319 WO2013063638A2 (en) 2011-10-30 2012-10-29 Perceptually lossless and perceptually enhanced image compression system & method

Publications (2)

Publication Number Publication Date
JP2015501604A true JP2015501604A (ja) 2015-01-15
JP6141295B2 JP6141295B2 (ja) 2017-06-07

Family

ID=48192928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539185A Expired - Fee Related JP6141295B2 (ja) 2011-10-30 2012-10-29 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法

Country Status (4)

Country Link
US (1) US9516315B2 (ja)
EP (1) EP2774121A4 (ja)
JP (1) JP6141295B2 (ja)
WO (1) WO2013063638A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015133712A1 (ko) * 2014-03-06 2015-09-11 삼성전자 주식회사 영상 복호화 방법 및 그 장치, 영상 부호화 방법 및 그 장치
US10057578B2 (en) 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
TWI727968B (zh) * 2015-09-02 2021-05-21 美商內數位Ｖｃ控股公司 用於視訊編碼及解碼中量化之方法及設備
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
JP6912869B2 (ja) * 2016-06-15 2021-08-04 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US11164352B2 (en) * 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
CN107046647B (zh) * 2017-05-14 2018-01-26 华中科技大学 一种多谱段遥感图像实时解压缩器的控制方法
CA3039701A1 (en) * 2018-04-06 2019-10-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
US10262451B1 (en) * 2018-04-09 2019-04-16 8i Limited View-dependent color compression
US10776957B2 (en) 2018-10-02 2020-09-15 Samsung Electronics Co., Ltd. Online image compression in hardware
CN109151482B (zh) * 2018-10-29 2021-03-23 西安电子科技大学 星载光谱图像谱段无损有损混合压缩方法
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
CN111654705B (zh) * 2020-06-05 2022-11-11 电子科技大学 基于色彩空间转换的马赛克图像压缩方法
EP4307089A1 (en) * 2021-08-31 2024-01-17 Samsung Electronics Co., Ltd. Display device and operation method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629780A (en) * 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
JP2002516540A (ja) * 1998-05-21 2002-06-04 インテル・コーポレーション 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP2005507184A (ja) * 2001-07-02 2005-03-10 クゥアルコム・インコーポレイテッド ゴロム・ライスを使用する無損失フレーム内符号化
JP2010524298A (ja) * 2007-03-30 2010-07-15 イーストマン コダック カンパニー 圧縮データ量の制御

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US7729551B2 (en) 2006-09-08 2010-06-01 Eastman Kodak Company Method for controlling the amount of compressed data
WO2010022002A1 (en) * 2008-08-19 2010-02-25 Marvell World Trade Ltd Systems and methods for perceptually lossless video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629780A (en) * 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
JP2002516540A (ja) * 1998-05-21 2002-06-04 インテル・コーポレーション 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP2005507184A (ja) * 2001-07-02 2005-03-10 クゥアルコム・インコーポレイテッド ゴロム・ライスを使用する無損失フレーム内符号化
JP2010524298A (ja) * 2007-03-30 2010-07-15 イーストマン コダック カンパニー 圧縮データ量の制御

Also Published As

Publication number Publication date
EP2774121A2 (en) 2014-09-10
US20150043815A1 (en) 2015-02-12
US9516315B2 (en) 2016-12-06
JP6141295B2 (ja) 2017-06-07
EP2774121A4 (en) 2015-09-16
WO2013063638A3 (en) 2014-09-04
WO2013063638A2 (en) 2013-05-10

Similar Documents

Publication Publication Date Title
JP6141295B2 (ja) 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US11265559B2 (en) High dynamic range image/video coding
KR100880039B1 (ko) 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템
US10349064B2 (en) Adaptive chroma downsampling and color space conversion techniques
US7483486B2 (en) Method and apparatus for encoding high dynamic range video
US9552652B2 (en) Image encoder and image decoder
US6993199B2 (en) Method and system for improving coding efficiency in image codecs
JP2004533181A (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
Kumar et al. Human visual system based enhanced AMBTC for color image compression using interpolation
CN113612898B (zh) 一种抗jpeg图像下采样的鲁棒隐蔽通信装置
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
Midha et al. Analysis of RGB and YCbCr color spaces using wavelet transform
US8249367B2 (en) Apparatus and method for encoding an image for a mobile telecommunication handset
US20090074059A1 (en) Encoding method and device for image data
US12041236B2 (en) System for coding high dynamic range and wide color gamut sequences
JP6706840B2 (ja) 画像データ処理装置及びプログラム
Yang et al. JPEG-Like Color Image Compression Based on All Phase Biorthogonal Transform and Improved Quantization Table.
Dong et al. High Capacity Steganographic Method Based upon Quantization Error of JPEG

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170502

R150 Certificate of patent or registration of utility model

Ref document number: 6141295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees