JP2015501604A - 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 - Google Patents

知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 Download PDF

Info

Publication number
JP2015501604A
JP2015501604A JP2014539185A JP2014539185A JP2015501604A JP 2015501604 A JP2015501604 A JP 2015501604A JP 2014539185 A JP2014539185 A JP 2014539185A JP 2014539185 A JP2014539185 A JP 2014539185A JP 2015501604 A JP2015501604 A JP 2015501604A
Authority
JP
Japan
Prior art keywords
image
ccs
optimized
perceptually
transformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014539185A
Other languages
English (en)
Other versions
JP6141295B2 (ja
Inventor
タン,ダミアン・マルケリヌス
ウー,デイビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HD2 TECHNOLOGIES PTY Ltd
Original Assignee
HD2 TECHNOLOGIES PTY Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HD2 TECHNOLOGIES PTY Ltd filed Critical HD2 TECHNOLOGIES PTY Ltd
Publication of JP2015501604A publication Critical patent/JP2015501604A/ja
Application granted granted Critical
Publication of JP6141295B2 publication Critical patent/JP6141295B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置(100)であって、受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニット(102)と、CCS画像を受取って、当該CCS画像を、各々が変換係数の組を含む変換されたCCS画像に変換するための変換ユニット(104)と、当該変換されたCCS画像を量子化して、量子化されたCCS画像を形成するための量子化ユニット(106)と、変換または量子化されたCCS画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するための画像プロセッサ(108,110)と、当該最適化されたCCS画像を圧縮するためのエンコーダ(112)とを含み、当該圧縮された最適化されたCCS画像は、その後、格納および/または送信の準備が行われる、装置である。

Description

発明の分野
本発明は、知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法に関する。
用語および定義
・CCSとは、変換された色空間である。一例は、輝度(Y)チャネルとクロミナンス青(C)チャネルとクロミナンス赤(C)チャネルとを有する構成要素色空間である。
・クロマとは、クロミナンスの省略形である。単独で参照されるときには、クロマは、クロマ青(C)チャネルおよびクロマ赤(C)チャネルの両方のチャネルを示す。
・DCTとは、離散コサイン変換である。
・DWTとは、離散ウェーブレット変換である。
・HVSとは、人間視覚システムである。
・JNDとは、丁度可知差異である。
・JNNDとは、あまりはっきりしない差異である。
・ルマとは、輝度の省略形である。
・最適化された画像は、知覚的に無損失のモードでは知覚的に無損失の画像を表わす。知覚的に強調されたモードでは、それは知覚的に強調された画像を表わす。最適化された画像は、変換領域にある。
・画素領域画像は、未加工のRGB(赤色‐青色‐緑色)画像、Y画像、C画像およびC画像を含む。
・変換領域画像は、変換されたCCS(ルマ/クロマ)画像、量子化されたCCS(ルマ/クロマ)画像および最適化されたCCS(ルマ/クロマ)画像を含む。
・絵および画像という用語は、互換性があるように用いられ、同じ意味を有している。
・基準画像、原画像および受取られた画像という用語は、互換性があるように用いられ、同じ意味を有している。
・知覚的に無損失のコード化は、いかなる原画像もその復元されたJNNDバージョンに対して視覚的に不明瞭であるように画像をJNNDしきいレベルに圧縮することを意味する。原画像の復元されたJNNDバージョンは、JNND符号化画像を復号することによって得られる。JNND符号化画像とは、JNNDしきいレベルに符号化された原画像である。
・知覚的に強調されたコード化は、これらの強調され符号化された画像が復号されたとき、それらの元のバージョンと比較してより高い視覚的品質レベルを有する(例えばより鮮明である、より明瞭である、など)ように画像を圧縮することを意味する。強調され符号化された画像とは、知覚的に強調されたレベルに符号化された画像を意味する。
発明の背景
本明細書中の文献、装置、行為または知識についての説明はいずれも、本発明の文脈を説明するために含まれている。それらの説明は、いずれの資料も本開示の優先日またはそれ以前の関連技術および本明細書中の広範な司法機関の意見における先行技術ベースまたは一般常識の一部をなすことを認めるものとして解釈されるべきではない。
デジタル画像データを圧縮して格納および送信することは、長年にわたって多くの研究を引き付けてきた。デジタル技術の急速な進歩により、デジタル画像および映像コンテンツが爆発的に成長してきた。当該デジタル画像および映像コンテンツは、ソーシャルネットワーキングなどのさまざまなインターネットワークアプリケーションにおいて、および画像アルバム上に、格納され、場所間で送信され、共有され、使用される。このような成長は、まだ実現されていない多くのデジタルアプリケーションで継続していくことが予想される。今日、多くのデジタルアプリケーションは、伝送帯域幅および記憶空間容量によって制限されている。伝送帯域幅および記憶容量を増加させることは比較的容易なタスクであり得るが、デジタル画像および映像コンテンツの解像度および量が増え続けていることを考慮すると、特に伝送帯域幅の場合、必要なコストおよび労力は不経済であろう。
静止画および動画を含むデジタル画像は、日々の活動、研究、科学界、政府および民間業界において格納され通信されるデジタル情報の急成長している分野を含む。デジタル情報を格納および送信するためのアプリケーションは数多く存在し、当該アプリケーションとして、衛星画像、医療用画像、テレヘルスアプリケーション、ビデオオンデマンド、デジタルスチルおよびビデオカメラ、クラウドコンピューティングにおける画像アプリケーション、対話型マルチメディアアプリケーション、ビデオゲーム、高度なセキュリティシステム、およびデジタルテレビ(DTV)放送によってサポートされる高解像度テレビ(HDTV)などのDTVシステムが挙げられる。
デジタル画像装置の解像度が上がるにつれて、詳細なデジタル画像を表現するために必要なデジタルビットの数は比例して増加する。これにより、これらの画像を移送して格納するために必要な通信ネットワークおよび記憶装置に対して相当な負担がかかってきた。その結果、デジタル画像の圧縮には相当な研究努力が注ぎ込まれてきた。圧縮の最終的な目標は、格納および/または送信されなければならないビットの数を減らすことによって、帯域幅および記憶容量をより効率的に利用することである。
画像圧縮は、無損失の(可逆性の)画像圧縮と損失の多い(不可逆性の)画像圧縮との2つのカテゴリに分類できる。無損失の圧縮は、情報を全て保存するが、一般に50%(2:1)〜75%(4:1)の圧縮率ゲインに制限される。これに対して、損失の多い圧縮は、圧縮率ゲインを増加させることと引き換えに画像内の情報の一部を除去し、これは画像品質の劣化につながる。したがって、損失の多い画像圧縮は、比率(圧縮率)対歪み(画像劣化)のバランスをとる行為であると考えられる。すなわち、所与の圧縮率について歪みレベルはどのようなものであるか、または逆に、所与の品質(歪み)レベルについて考えられる最良の比率はどのようなものであるか、ということである。この関係は、比率‐歪み(R‐D)曲線において関数化される。
従来の損失の多い圧縮方法は、統計的手法およびいくつかの原始的な発見的問題解決法に依拠して、重要性が低いか、重要でないかまたは取るに足らないと考えられる画像内の情報を特定して除去する。しかし、これらのアプローチは、視覚的に重要な情報を正確かつ一貫して特定して保存することができず、それによって目に見える歪みが変動し、画像品質のレベルが一貫性のないものになる。この問題に対する有効な解決策は、人間視覚システム(HVS)の機能を画像コード化システムに組入れて、圧縮率に関連して知覚される画像品質に対して何らかの制御を行うことに焦点を当ててきた。この種類の画像符号器は、一般に知覚画像(および映像)符号器と称される。HVSモデリングを用いたとしても、伝送帯域幅および/または記憶容量の制限のために高い圧縮率が実際に必要になるときには、目に見える歪みは避けられない。しかし、伝送または記憶の制限がない状況においては、目に見える歪みを全く示さない圧縮画像を有することは非常に望ましくない。これは、例えば医療用画像などの重要なアプリケーションに特に当てはまる。知覚的に無損失の画像コード化は、画像を完璧に圧縮するための解決策である。
知覚的な画像コード化も知覚的に無損失の画像コード化も、HVSの精神物理学的局面およびそれらをモデル化するための必要なツールを十分に理解しなければ本当の意味で可能ではない。実質的に、HVSモデルは、任意の知覚的に無損失の画像符号器の中核の構成要素である。知覚的な画像コード化の過去の試みは、実験的/発見的なアプローチに焦点を当ててきた。例えば、特定の大きさ範囲を下回る画素を除去できる単純な閾値演算である。より最近のHVSモデルは、人間の目および脳の下位の機能的局面、ならびに主にJND(丁度可知差異)レベル、すなわち歪みがちょうど目に見えるポイントを目指した研究に焦点を当てている。知覚的な画像コード化および知覚的に無損失の画像コード化のためのHVSモデルに関して言えば、精度、複雑度および適用可能性/適応性の3つの考慮すべき問題がある。
精度は、関係するHVSモデリングのレベルに依存する。単純なHVSモデルは、単純さと引き換えに精度を得る。すなわち、それらはそれほど正確ではないが、それほど複雑でもない。複雑度は、算出および実装に関連するだけでなく、モデルパラメータの数に依存するモデルの最適化プロセスにも関連する。高度なHVSモデルは、これらのモデルが適切に作用するように較正されなければならないパラメータを有する。これらのパラメータは、広範かつ冗長な視覚実験により得られる実験データに基づいて最適化される。適用可能性は、HVSモデルをどこでおよびどのように使用できるかという一体化の問題である。例えば、特定のHVSモデルをどのように既存の画像エンコーダに適応させるか、というものである。場合によっては、位数関数(order function)においてHVSモデルをエンコーダにもデコーダにも適応させなければならない。エンコーダ、デコーダまたはそれら両方に対して大幅な修正を加えなければならないことにより、複雑度が増し、圧縮技術の製造者およびユーザにとってさらなるコストおよび時間が必要になる。理想的には、HVSモデルは、JPEG(ジョイント・フォトグラフィック・エキスパート・グループ)符号器のための量子化レベルを適応的に選択して、画像コンテンツを予め定められたレベルの画像品質に一致させる、Watson's DCTuneによって例示されるような符号化システムにシームレスに一体化されるべきである。
HVSベースの圧縮についての市場での既存の技術は、JNDレベル、すなわち歪みがちょうど目に見えるポイントに焦点を当ててきた。したがって、市場での現在の画像コード化技術は、知覚的に無損失な品質を備えた最適な圧縮率を提供する機能を有していない。あまりはっきりしない差異(JNND)、すなわち歪みがちょうど知覚できないポイントでの画像圧縮の問題点については、以下の論文の中で部分的に扱われた。
1. D. M. Tan and H. R. Wu. “Perceptual Lossless Coding of Digital Monochrome Images”, in Proceedings of IEEE International Symposium on Intelligent Signal Processing and Communication Systems, 2003;
2. D. M. Tan and H. R. Wu. “Adaptation of Visually Lossless Colour Coding to JPEG2000 in the Composite Colour Space”, in Proceedings of IEEE Pacific Rim Conference on Multimedia, pp. 1B2.4.1-7, 2003; and
3. D. Wu et al, “Perceptually Lossless Medical Image Coding”, IEEE Transactions on Medical Imaging, Volume 25, No. 3, March 2006, Pages 335-344.
3つの論文は全て、モノクロ画像、カラー画像および医療用画像にそれぞれ適用された同一の知覚的に無損失のコード化の中核構造を開示した。この中核構造は、モノクロHVSモデルに基づいており、当該モノクロHVSモデルが、カラー画像圧縮のために複製され、医療用画像圧縮のために拡張された。したがって、視覚的に無損失の色符号器の複製は、3つの同一のモノクロHVSモデルを有し、各色チャネルに1つのモノクロHVSモデルを有する。第1および第3の符号器は、階調画像を受入れるのみであり、カラー画像上では動作しない。これらの論文に開示されている符号器は、ビットプレーン符号化の前に、量子化され変換された(QT)画像上で動作し、1組の推定値を生成する。これらの符号器は、視覚マスキングおよび視力というHVSの2つの一般的局面をモデル化する。これら2つのHVS局面は、基準信号と操作される信号との差を測定する比較モデルに基づいて実現される。ここで、基準信号および操作される信号は、それぞれ、基準変換(RT)画像およびQT画像によって表わされる。最初に、RTおよびQTの両方の画像に視覚的重み付けが適用されて、HVSの視力を測る。続いて、QTおよびRTの両方の画像について視覚マスキング算出が行われる。次いで、RT画像のマスキング出力とQT画像のマスキング出力との差から1組の視覚的歪みが生成される。その後、主観的に求められた閾値と歪みレベルを比較することによって、知覚エラーが求められる。歪みレベルがしきい点を下回る場合、評価中の変換された画像におけるサンプルポイントは、対応する(知覚的に無損失の)しきい点にフィルタリングされる。このシステムは、DWT領域でのみ動作する。
圧縮率および/または品質の点で性能を向上させるためには、全てのタイプの静止画および動画(映像)に適用可能な、複雑度が低くより正確なHVSモデルを有する必要がある。
本発明は、向上した知覚的に無損失の画像のコード化技術を提供することによって、上記の不利な点のうちの1つ以上を制限、減少、克服または改善しようとするものである。この技術は、複雑度がより低く、かつ、モデリング精度がより優れた異なるHVSモデルを有し得る。また、知覚的に強調された画像のコード化構成要素または技術も導入される。画像強調動作は、この構成要素を用いて画像エンコーダ内に組込まれ得る。これによって、圧縮された画像の品質が基準(元の/未加工の)画像と同等または基準画像よりも実質的によくなることが保証される。
発明の概要
本発明の第1の局面によれば、画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
画像を受取るステップと、
上記受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するステップと、
上記CCS画像を変換されたCCS画像に変換するステップと、
上記変換CCS画像に量子化を適用して、量子化されたCCS画像を形成するステップと、
画像プロセッサを用いて、上記変換または量子化されたCCS画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するステップと、
その後の格納および/または送信のために、上記最適化されたCCS画像を符号化するステップとを含む、方法が提供され得る。
本発明の第2の局面によれば、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニットと、
CCS画像を受取って、上記CCS画像を、各々が変換係数の組を含む変換されたCCS画像に変換するための変換ユニットと、
上記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するための量子化ユニットと、
変換または量子化されたCCS画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するための画像プロセッサと、
上記最適化されたCCS画像を圧縮するためのエンコーダとを含み、
上記圧縮された最適化されたCCS画像は、その後、格納および/または送信の準備が行われる、装置が提供され得る。
本発明の第3の局面によれば、コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、上記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
受取られた画像を所望の色空間に変換して、変換された色空間(CCS)画像を形成するように装置に指示し、
上記CCS画像を、変換係数の組からなる変換されたCCS画像に変換するように装置に指示し、
上記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するように装置に指示し、
上記変換または量子化されたCCS画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するように装置に指示し、
上記最適化されたCCS画像を符号化(圧縮)するように装置に指示する、コンピュータ読取可能媒体が提供され得る。
本発明の第4の局面によれば、知覚的に無損失の圧縮画像データまたは知覚的に強調された圧縮画像データを送信媒体を通じて送信する方法であって、
受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニットに画像の組を入力するステップと、
上記CCS画像を変換して、変換されたCCS画像を形成するステップと、
上記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するステップと、
上記変換または量子化されたCCS画像を画像プロセッサで処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するステップと、
各々の最適化されたCCS画像をエンコーダで圧縮するステップと、
上記圧縮された最適化されたCCS画像を上記送信媒体を通じて送信するステップとを含む、方法が提供され得る。
本発明の好適な形態において、色変換ステップおよび/または色変換ステップを実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または1対1の比率で設定されてもよい。
本発明の好適な形態において、量子化ステップおよび/または量子化ステップを実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または1対1の比率で設定されてもよい。
本発明の第5の局面によれば、画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
画像を受取るステップと、
上記画像を変換するステップと、
画像プロセッサを用いて上記画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するステップと、
その後の格納および/または送信のために、上記最適化された画像を符号化するステップとを含む、方法が提供され得る。
本発明の第6の局面によれば、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
画像を受取って、上記画像を、各々が変換係数の組を含む変換された画像に変換するための変換ユニットと、
変換された画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するための画像プロセッサと、
上記最適化された画像を圧縮するためのエンコーダとを含み、
上記圧縮された最適化された画像は、その後、格納および/または送信の準備が行われる、装置が提供され得る。
本発明の第7の局面によれば、コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、上記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
上記画像を、各々が変換係数の組からなる変換された画像に変換するように装置に指示し、
上記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するように装置に指示し、
上記最適化された画像を符号化(圧縮)するように装置に指示する、コンピュータ読取可能媒体が提供され得る。
本発明の第8の局面によれば、変換係数の組を含む変換された画像を受取るように適合され、上記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、エンコーダによる圧縮に好適な、最適化された画像を生成するように適合される、プロセッサが提供され得る。
上記最適化された画像が逆変換され、上記受取られた画像の領域に戻されるとき、上記最適化された画像は、上記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭であり得る。
上記最適化された画像が逆変換され、上記受取られた画像の領域に戻されるとき、上記最適化された画像は、上記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有し得る。画像品質は、実質的に強調され得る。
本発明は、受取られた画像を所望の色空間に色変換するための色変換ユニットを含み得る。色変換された画像は、変換された色空間(CCS)画像を形成し得る。
本発明は、上記変換された画像を量子化して、量子化された画像を形成するための量子化ユニットを含み得る。
色変換された画像は、輝度(Y)画像、クロミナンス青(C)画像またはクロミナンス赤(C)画像のうちのいずれか1つ以上であり得る。
上記量子化ユニットは、上記変換係数を量子化して、量子化された変換係数からなる量子化された画像の組を形成し得て、上記量子化された画像は次いで、上記画像プロセッサに送信される。
上記変換ユニットは、離散ウェーブレット変換ユニット(DWT)または離散コサイン変換(DCT)であり得る。
上記画像プロセッサは、最適化された画像を生成するために人間視覚システム(HVS)の特性を組入れ得る。
上記画像プロセッサは、上記CCS画像における画素を対応するCCS変換領域係数にマッピングして、マッピングされたCCS画像を形成するための信号マッピングユニットを含み得る。
上記画像プロセッサは、上記変換または量子化されたCCS画像を利用してマスキングのレベルを判断し、視覚マスキングプロファイルを出力する視覚マスキング推定ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたCCS画像を受取って、上記マッピングされたCCS画像のコントラストおよび大きさ感度レベルを判断し、上記マッピングされたCCS画像についてのコントラスト感度プロファイルを出力するためのコントラスト感度ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたCCS画像を受取って、上記マッピングされたCCS画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するためのアクティビティユニットをさらに含み得る。
上記画像プロセッサは、上記変換または量子化されたCCS画像とともに上記マッピングされたCCS画像を受取って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するためのベースエラーユニットをさらに含み得る。
上記画像プロセッサは、上記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを受取って、上記所与の閾値のまたは上記所与の閾値を下回る知覚エラー推定値を求めるための知覚エラー推定ユニットをさらに含み得る。
上記画像プロセッサは、上記変換または量子化されたCCS画像とともに上記マッピングされたCCS画像を受取って、上記変換または量子化されたCCS画像に対してどこでおよびどのぐらいの強調が適用されるべきかを判断し、次いで、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するための強調ユニットをさらに含み得る。
上記画像プロセッサは、上記マッピングされたCCS画像を受取って、低輝度/クロミナンスコントラストプロファイルを求めるための低輝度/クロミナンスコントラストユニットをさらに含み得る。
上記画像プロセッサは、上記強調プロファイル、上記低輝度/クロミナンスコントラストプロファイル、量子化器、上記変換されたCCS画像および上記量子化されたCCS画像、ならびに上記知覚エラー推定値に基づいて、上記変換または量子化されたCCS画像を最適化して、上記最適化されたCCS画像を生成し、圧縮を行うための視覚的最適化ユニットをさらに含み得る。
上記エンコーダは、その後の格納および/または送信のために、上記最適化されたCCS画像を圧縮し得る。
上記受取られた画像は、輝度成分およびクロミナンス成分に分割され得る。
上記可視性閾値はJNNDレベルであり得る。
図面を参照して、本発明の好ましい実施例について、単に非制限的な例として以下で説明する。
知覚的に無損失の圧縮画像および知覚的に強調された圧縮画像を生成するために用いられる装置のブロック図である。 図1の装置のルマ画像プロセッサのブロック図である。 図1の装置のクロマ画像プロセッサのブロック図である。 ルマ/クロマベースエラーユニットのブロック図である。 ルマ/クロマコントラスト感度ユニットのブロック図である。 ルマアクティビティユニットのブロック図である。 クロマアクティビティユニットのブロック図である。 低ルマ/クロマコントラストユニットのブロック図である。 強調ユニットのブロック図である。 図2のルマ画像プロセッサの全てのルマ構成要素の詳細なブロック図である。 図3のクロマ画像プロセッサの全てのクロマ構成要素の詳細なブロック図である。 図1の装置を用いて知覚的に無損失の画像および知覚的に強調された画像を生成するプロセスを示すフロー図である。 RGB画像から知覚的に無損失の圧縮画像および知覚的に強調された圧縮画像を生成するプロセスを示すフロー図である。 知覚的に無損失の画像および知覚的に強調された画像を生成して、次いで圧縮し、メモリに格納するかまたは送信媒体を通じてデコーダに送信するための装置を示すブロック図である。 信号マッピング動作により生じるデータサンプル間の関係を示すブロック図である。
好ましい実施例の詳細な説明
図1を参照して、知覚的に無損失であるかまたは知覚的に強調されているかのいずれかであり得る品質レベルに画像データを圧縮するために用いられるシステムまたは装置(100)のブロック図が示される。最初に、RGB(赤色、緑色、青色)画像が色変換(102)に入力される。入力されたRGB画像は、色変換(102)によって、YC(「Y」は、元の信号の強度変化に対応する輝度信号であり、「C」「C」は、クロミナンス信号または色差信号を備える)などの代替的な色空間に変換される。本発明の好適な形態において、特にモノクロ画像が色変換(102)に入力される場合には、色変換動作および/または色変換動作を実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または1対1の比率で設定されてもよい、ということも想定される。色変換(102)から出力された輝度信号は、次いで、クロミナンス信号として変換ユニット(104)に入力される。変換ユニット(104)は、個々のチャネル(Y、CおよびC)の画素領域画像を代替的な信号領域に投影する。使用可能な変換の例として、数ある中で、離散ウェーブレット変換(DWT)および離散コサイン変換(DCT)が挙げられる。今回のケースでは、離散ウェーブレット変換が用いられる。変換(104)からの出力は、変換画像を形成する一連の変換係数である。変換されたルマ画像および量子化器は、量子化(106)に直接入力され、量子化されたルマ画像を生成する。量子化ユニット(106)は、変換係数を1組の値から別の組の値にマッピングする変換係数の量子化を行う。量子化器は、変換された画像に適用される量子化の態様およびレベルを判断する1組のパラメータを表わす。本発明の好適な形態において、量子化動作および/または量子化動作を実行するように適合された構成要素は、省略されてもよく、無視されてもよく、無効にされてもよく、または1対1の比率で設定されてもよい、ということも想定される。変換ルマ画像、色変換(102)から出力されるルマ(Y)画像、量子化(106)および量子化器からの量子化された画像は、ルマ画像プロセッサ(108)に入力され、最適化されたルマ画像を生成する。同様に、変換(104)からの出力は、一連の変換クロマ係数を生成し、当該一連の変換クロマ係数は、量子化ユニット(106)に入力され、またクロマ画像プロセッサ(110)に直接入力される。量子化(106)から出力された量子化されたクロマ画像、元のRGB画像、クロマ(CおよびC)画像および量子化器も、クロマ画像プロセッサ(110)に入力される。
ルマ画像プロセッサ(108)およびクロマ画像プロセッサ(110)からのそれぞれの出力は、最適化されたルマ(Y)画像および最適化されたクロマ(CおよびC)画像である。これらの各々は、何らかの形態の信号並び換えおよびそれに続くエントロピーコード化を含み得る信号エンコーダ(112)に入力される。JPEGベースの符号化システムの場合、信号エンコーダ(112)は、ジグザグコード化、ランレングスコード化およびハフマンコード化を含む。JPEG2000ベースの符号化システムの場合、信号エンコーダ(112)は、EBCOT(最適化された切捨てによる組込みブロックコード化)符号器によって表わされる。ルマ画像およびクロマ画像内の全ての情報は、次いで、符号化され、最適化された圧縮画像ビットストリームが信号エンコーダ(112)の出力から生じる。
図2を参照して、ルマ画像プロセッサ(108)のより詳細なブロック図が示される。ルマ画像プロセッサ(108)は、図2では対応する参照番号(208)によって示されている。ルマ画像プロセッサ(208)は、知覚的に無損失のモードと知覚的に強調されたモードとの、ルマ構成要素についての2つのモードで動作する。知覚的に無損失のモードでは、ルマ画像プロセッサは、量子化または変換されたルマ画像における知覚できない情報を除去する。これは、より効率的なエントロピー符号化を可能にして圧縮率の向上につながるように、符号化されるべき信号(全ての知覚できる情報を含む)の確率分布を再形成する態様で行われる。知覚的に強調されたモードでは、ルマ画像プロセッサは、信号符号化の前に、量子化または変換されたルマ画像の知覚される画像品質を強調する。知覚的強調モードは、3つのさらなるモードをもたらす。第1のモードは、最適化されたルマ画像の画像品質を変換されたルマ画像のものにまたはそれを上回るように維持しながら、圧縮率を最大化する。これは、ルマ画像の視覚的品質またはルマ画像を上回る視覚的品質を備えた、脱量子化され、逆変換された、最適化されたルマ画像を有することに相当する。第2のモードは、圧縮率に関わらず、最適化されたルマ画像の画像品質を最大化し、第3のモードでは、ルマ画像プロセッサは、画像品質の強調と比率対品質(R‐Q)曲線を辿る圧縮率ゲインとのバランスをとる。R‐Q曲線は、概念的には比率対歪み(R‐D)曲線に類似しているが、歪みではなく品質に関わる曲線である。強調は、より効率的なエントロピー符号化、したがってより高い圧縮率につながるように、符号化されるべき信号の確率分布を再形成する態様で行われる。ルマ画像プロセッサ(208)は、変換(104)の領域において、最適化されたルマ画像を生成する。好ましい変換は、離散ウェーブレット変換(DWT)である。しかし、離散コサイン変換(DCT)などの他の変換が用いられてもよい。プロセッサ(208)は、人間視覚システム(HVS)の特性を組入れる。これらとして、輝度コントラスト感度、アクティビティ(テクスチャおよび詳細)識別、低輝度コントラスト識別および視覚マスキングが挙げられる。
再び図2を参照して、画素領域ルマ画像が信号マッピングユニット(213)に入力され、当該信号マッピングユニット(213)は、変換ユニット(104)によって生成された変換されたルマ画像からの各々の変換領域ルマ信号を、同一の空間的位置におけるルマ画像内の画素にマッピングする。離散ウェーブレット変換(DWT)などの多重解像度変換の場合、低解像度DWT領域係数の信号マッピングは、単純なローパスフィルタリングおよびそれに続くローパスルマ画像のデシメーション(または平均化)によって再帰的に行われ得る。各々の連続的な再帰は、フィルタリングおよびデシメーションが行われた信号を、解像度が漸進的に低くなるよう変換された係数にマッピングする。図15は、DWT係数とマッピングされた画素領域サンプル(画素画像、4分の1画素画像および16分の1画素画像)との空間および解像度の関係を示す。この関係は、以下のような形式で表わされる。
式中、zluma/chroma[l,i,j]は、解像度lおよび空間的位置(i,j)における画素サンプルであり、Xluma/chroma[l,θ,m,n]は、方位θおよび空間周波数位置(m,n)におけるDWT係数であり、2m≦i≦2m+1および2n≦j≦2n+1である。なお、0≦l≦(Lmax−1)であり、ここで、Lmaxは、解像度の数を示す。4分の1画素画像は、画素画像のローパスフィルタリングおよびダウンサンプリング(LPD)から導き出される。同様に、16分の1画素画像は、4分の1画素画像のLPDにより導き出される。信号マッピングユニット(213)の出力は、ルマベースエラーユニット(214)、ルマコントラスト感度ユニット(216)、ルマアクティビティユニット(218)およびルマ低コントラストユニット(224)に与えられる。ルマベースエラーユニット(214)は、あまりはっきりしない差異(JNND)レベルなどのしきいレベルのまたはしきいレベルを下回るベースエラーの大きさを推定する。さまざまな歪みレベル(知覚できるものも知覚できないものも)に対応する他のさまざまなしきいレベルが使用可能である。ルマベースエラーは、マッピングされたルマ画像、変換領域(量子化および変換された)ルマ画像、またはそれら両方によって求められることができる。したがって、ユニット(214)は、マッピングされたルマ画像、および任意に変換されたルマ画像または量子化されたルマ画像を取込む。量子化ステップのサイズがおよそ1つであれば、変換されたルマ画像の代わりに、量子化されたルマ画像を用いることができる。ルマベースエラーユニット(214)は、ルマベースエラープロファイルを出力し、当該ルマベースエラープロファイルは、ルマ知覚エラー推定ユニット(222)に入力される。
ルマコントラスト感度ユニット(216)は、HVSの輝度コントラストおよび輝度感度レベルを判断する。このユニットは、マッピングされたルマ画像を入力として有し、その出力において、入力された画像のルマコントラスト感度プロファイルを生成する。ルマアクティビティユニット(218)は、輝度領域におけるアクティビティレベルを計算する。アクティビティレベルは、入力されたルマ画像のテクスチャおよび詳細のレベルに依存する。ユニット(218)への入力は、マッピングされたルマ画像である。その出力として、ルマアクティビティ推定プロファイルがある。
低ルマコントラストユニット(224)は、強いコントラストを有するマッピングされたルマ画像において低輝度領域を具体的に特定する。低ルマコントラストユニット(224)は、マッピングされたルマ画像をその入力として取得し、低ルマコントラスト識別プロファイルを生成する。
ユニット(214)、(216)および(218)の各々の出力は、ルマ知覚エラー推定ユニット(222)への入力である。推定ユニット(222)は、HVSの視覚マスキング現象を受ける視覚信号の可視性を算出する視覚マスキング推定(220)からの出力も入力として受入れる。視覚マスキングは、視覚信号が別の視覚信号の可視性を妨げる場合に行われる。これは、ひいては、歪みの可視性レベルに影響を及ぼす。視覚マスキングには、空間マスキング、方位マスキングおよび周波数マスキングという3つの形態がある。視覚マスキング推定ユニット(220)は、これら3つの形態のマスキングの全てまたは任意の組合せを実行し得る。個々のサンプルの視覚マスキングは、以下のように算出される。
式中、Xluma[l,θ,m,n]は、解像度レベルl、方位θおよび空間的位置(m,n)における変換されたルマ画像の係数である。Rluma[l,θ,m,n]は、マスキング応答であり、wは、マスキング推定のためのウィンドウ表示領域である。Nは、N=(2w+1)として定義されるウィンドウサイズである。量子化ステップのサイズがおよそ1つであれば、マスキングを算出するために、変換されたルマ画像の代わりに、量子化器(106)からの量子化されたルマ画像を用いることができる。視覚マスキング推定(220)からの出力は、所与の入力された、量子化または変換されたルマ画像についての各係数サンプルに関連付けられる視覚マスキングレベルである。
ルマ知覚エラー推定ユニット(222)は、視覚マスキング(220)を受けたルマベースエラー(214)、ルマコントラスト感度(216)およびルマアクティビティレベル(218)から、しきい(例えばJNND)レベルのまたはしきいレベルを下回る最大輝度エラーを求める。この(222)におけるエラー推定は、知覚できるまたは知覚できない、JNNDレベル以外の任意のしきい点にも設定されてもよい。ユニット(222)は、変換領域における各係数に関連付けられる最大知覚エラー閾値を計算する。ユニット(222)の入力は、ルマベースエラー大きさプロファイル、ルマコントラスト感度プロファイル、ルマアクティビティプロファイルおよび視覚マスキングプロファイルである。空間的位置(m,n)における解像度l、方位θについてのルマ知覚エラー閾値(JNND)は、以下のように定義される。
式中、Rluma[l,θ,m,n]、eluma[l,m,n]、cluma[l,m,n]およびaluma[l,m,n]は、それぞれ、式(2)、(20)、(30)および(46)によって定義されるマスキング成分、ベースエラー成分、コントラスト感度成分およびアクティビティレベル成分である。
強調ユニット(226)は、ルマ画像および変換されたルマ画像から入力を受取る。量子化器がおよそ1つである場合には、入力として、変換された画像の代わりに、量子化された画像が用いられてもよい。ユニット(226)は、変換領域において強調プロファイルを生成し、これを視覚的最適化ユニット(228)に転送する。手短に言えば、強調ユニット(226)は、量子化または変換されたルマ画像においてどこでおよびどのぐらいの強調がなされるべきかを視覚的最適化ユニット(228)に通知する。
視覚的最適化ユニット(228)は、強調ユニット(226)から強調プロファイルを受入れ、量子化器ユニット(106)から量子化されたルマ画像を受入れ、変換(104)から変換されたルマ画像を受入れ、知覚エラー推定ユニット(222)から推定された最大ルマエラー閾値を受入れ、低ルマコントラストユニット(224)から低ルマコントラストプロファイルを受入れ、量子化を受入れる。ユニット(228)は、知覚的に無損失のモードと知覚的に強調されたモードとの2つのモードで、変換領域ルマ画像を最適化する。知覚的に無損失のモードでは、視覚的最適化ユニット(228)は、量子化または変換されたルマ画像における知覚できない情報を除去する。知覚的に強調されたモードでは、ユニット(208)は、変換ルマ画像と比較して、最適化されたルマ画像の知覚される画像品質を強調する。これは、ルマ画像よりも視覚的品質が向上した、脱量子化され、逆変換された、最適化されたルマ画像を有することに相当する。知覚的強調自体は、3つのさらなるモードを有する。第1のモードでは、最適化された画像の画像品質を変換されたルマ画像のものにまたはそれを上回るように維持しながら、圧縮率を最大化する。第2のモードでは、圧縮率に関わらず、最適化されたルマ画像の画像品質を最大化する。最後のモードでは、画像品質の強調と比率対品質(R‐Q)曲線を辿る圧縮率とのバランスをとる。視覚的最適化ユニット(228)からの出力は、信号エンコーダ(112)に入力される(変換領域における)最適化されたルマ画像である。量子化器がおよそ1つである場合には、量子化されたルマ画像がユニット(112)において用いられてもよい。さもなければ、変換されたルマ画像が用いられる。量子化されたルマ画像が用いられる場合、最適化されたルマ画像を求めるプロセス中にも量子化器が用いられる。最適化されたJNND変換係数は、以下のように記載される。
図3を参照して、クロマ画像プロセッサ(110)の図が示される。クロマ画像プロセッサ(110)は、図3では対応する参照番号(310)によって示されている。ルマ画像プロセッサ(208)と同様に、クロマ画像プロセッサ(310)は、知覚的に無損失のモードと知覚的に強調されたモードとの、クロマ構成要素についての2つのモードで動作する。知覚的に強調されたモードは、ルマ画像プロセッサ(208)の場合と同様に、3つのさらなるモードをもたらす。クロマ画像プロセッサ(310)も、ルマ画像プロセッサ(208)に関連して上記したHVSの知覚的特性を組入れる。
クロマ画像プロセッサ(310)は、信号マッピングユニット(313)と、クロマベースエラーユニット(314)と、クロマコントラスト感度ユニット(316)と、クロマアクティビティユニット(318)と、視覚マスキング推定ユニット(320)と、クロマ知覚エラー推定ユニット(322)と、強調ユニット(326)と、視覚的最適化ユニット(328)と、任意の低クロマコントラストユニット(324)とを含む。信号マッピングユニット(313)は、クロマ画像を入力として取得し、クロマ画像における画素を変換領域クロマ画像におけるそれらの対応する信号にマッピングする。DWTなどの多重解像度変換の場合、低解像度DWT領域係数の信号マッピングは、単純なローパスフィルタリングおよびそれに続くローパスクロマ画像のデシメーションによって再帰的に行われ得る。各々の連続的な再帰は、フィルタリングおよびデシメーションが行われた信号を、解像度が漸進的に低くなる変換された係数にマッピングする。クロマベースエラーユニット(314)は、クロマ信号上で動作すること以外は、ルマベースエラーユニット(214)と類似の態様で動作する。ユニット(314)は、JNNDレベルなどの可視性閾値のまたは可視性閾値を下回るクロマベースエラーを推定する。さまざまな歪みレベル(知覚できるものも知覚できないものも)に対応する他のさまざまなしきいレベルが使用可能である。クロマベースエラーは、マッピングされたクロマ画像、変換領域(量子化および変換された)クロマ画像、またはそれら両方によって求められることができる。したがって、ユニット(314)への入力は、マッピングされたクロマ画像、および任意に変換されたクロマ画像または量子化されたクロマ画像である。量子化ステップのサイズがおよそ1つである場合には、変換されたクロマ画像の代わりに、量子化されたクロマ画像を用いることができる。クロマ閾値エラーユニット(314)は、クロマベースエラープロファイルを出力し、当該クロマベースエラープロファイルは、次いで、クロマ知覚エラー推定ユニット(322)に入力される。
クロマコントラスト感度ユニット(316)は、HVSのクロミナンスコントラストおよびクロミナンス感度レベルを判断する。このユニットは、マッピングされたクロマ画像を入力として有し、入力された画像のクロマコントラスト感度プロファイルをその出力として生成する。クロマアクティビティユニット(318)は、クロミナンス領域におけるアクティビティレベルを計算する。アクティビティレベルは、入力されたクロマ画像のテクスチャおよび詳細のレベルに依存する。ユニット(318)は、マッピングされたクロマ画像を入力として受取り、クロマアクティビティ推定プロファイルを出力する。
ユニット(314)、(316)および(318)の各々からの出力は、クロマ知覚エラー推定ユニット(322)に入力される。推定ユニット(322)は、HVSの視覚マスキング現象を受けた視覚信号の可視性を推定する視覚マスキング推定ユニット(320)からの出力も入力として受入れる。ルマ信号の視覚マスキング(220)と同様に、クロマ信号の視覚マスキング(320)は、空間マスキング、方位マスキング、周波数マスキング、またはこれら3つのマスキングチャネルの任意の組合せをカバーする。視覚マスキング(320)は、入力された変換クロマ画像から算出される。その定義は、式(2)の形態をとるが、ルマ信号(Xluma)ではなくクロマ信号(Xchroma)に対して作用する。すなわち、以下の通りである。
量子化器がおよそ1つである場合には、算出を行うために、変換されたクロマ画像の代わりに、量子化器(106)からの量子化されたクロマ画像を用いることができる。視覚マスキング推定ユニット(320)からの出力は、入力された画像のクロマ視覚マスキングプロファイルである。
クロマ知覚エラー推定ユニット(322)は、4つの入力を受入れて、視覚マスキングを受けたしきい(例えばJNND)レベル、コントラスト感度およびアクティビティレベルのまたはそれらを下回る最大エラーを推定する。ルマ画像プロセッサ(208)と同様に、このエラー推定は、JNNDレベル以外の他のしきい点にも設定されてもよい。それは、以下のように定義される。
式中、Rchroma[l,θ,m,n]、echroma[l,m,n]、cchroma[l,m,n]およびachroma[l,m,n]は、それぞれ、式(9)、(21)、(31)によって定義されるクロマ視覚マスキングプロファイル、クロマベースエラープロファイル、クロマコントラスト感度プロファイルおよびクロマアクティビティプロファイルである。ユニット(322)は、変換領域クロマ画像における各係数について最大クロマエラー閾値を出力する。
低クロマコントラストユニット(324)は、強いコントラストを有するマッピングされたクロマ画像において低クロミナンス領域を具体的に特定する。低クロマコントラストユニット(324)は、マッピングされたクロマ画像をその入力として取得し、低クロマコントラスト識別プロファイルを生成する。低クロマコントラストユニット(324)は、クロマ画像プロセッサ(310)の任意の構成要素である。
強調ユニット(326)は、変換されたクロマ画像または量子化されたクロマ画像とともに、クロマ画像から入力を受取る。強調ユニット(326)は、入力された画像に基づいて強調プロファイルを生成し、当該強調プロファイルは、次いで、視覚的最適化ユニット(328)に転送される。量子化器がおよそ1つである場合には、強調プロファイルを生成するために、変換されたクロマ画像の代わりに、量子化されたクロマ画像が用いられてもよい。
視覚的最適化ユニット(328)は、強調ユニット(226)から強調プロファイルを受取り、量子化器ユニット(106)から量子化されたクロマ画像を受取り、変換(104)から変換されたクロマ画像を受取り、クロマ知覚エラー推定(322)から最大クロマエラー閾値を受取り、量子化を受取り、低クロマコントラストユニット(324)から任意の低クロマコントラスト識別プロファイルを受取る。ユニット(328)は、ルマ画像プロセッサの視覚的最適化ユニット(228)と類似の態様で、変換領域クロマ画像を2つのモードに最適化する。これらのモードは、上記のように知覚的に無損失のモードおよび知覚的に強調されたモードである。知覚的に強調されたモードは、上記のように3つのさらなるモードを有する。量子化器がおよそ1つである場合には、変換されたクロマ画像の代わりに、量子化されたクロマ画像が用いられてもよい。量子化されたクロマ画像が用いられる場合、量子化器は、最適化されたクロマ画像を求めるためにも用いられる。知覚的に無損失のモードの場合も知覚的に強調されたモードの場合も、ユニット(328)は、より効率的なエントロピー符号化を可能にして圧縮率を高くすることにつながるように、符号化されるべき信号の確率分布を再形成する。
図4には、ルマ閾値エラーユニット(214)およびクロマ閾値エラーユニット(314)の両方のユニットの詳細なブロック図が示される。ルマ/クロマ閾値エラーユニット(214/314)は、画素輝度/クロミナンス絶対レベルに基づいて最大許容エラーを算出するルマ/クロマ大きさエラー推定ユニット(430)を含む。ユニット(430)への入力は、マッピングされたルマ/クロマ画像(zlumaおよびzchroma)であり、ユニット(430)は、ベースルマ/クロマ大きさエラー(ME)を出力する。解像度レベルlおよび空間的位置(m,n)におけるルマおよびクロマエラーサンプルは、以下のように計算される。
さらなるモデリングを行ってベースエラー推定プロファイルを算出するために、変換または量子化されたルマ/クロマ画像がユニット(434)において用いられてもよい。量子化ステップのサイズがおよそ1つである場合には、さらなるモデリングのために、変換されたルマ/クロマ画像の代わりに、量子化されたルマ/クロマ画像を用いることができる。ルマユニット(214)およびクロマユニット(314)からの出力を表わすユニット(434)の出力は、次いで、ルマ知覚エラー推定ユニット(222)およびクロマ知覚エラー推定ユニット(322)に入力される。
図5には、それぞれのルマ/クロマコントラスト感度ユニット(516)のブロック図が示される。ルマチャネルおよびクロマチャネルのそれぞれについて、これはコントラスト感度ユニット(216)および(316)に相当する。マッピングされたルマ/クロマ画像は、ルマ/クロマ感度減衰器(538)およびルマ/クロマコントラスト減衰器(536)の各々に入力される。ルマ/クロマコントラスト減衰器(536)は、HVSのルマ/クロマコントラスト感度に従って、入力された画像を減衰する。ルマチャネルおよびクロマチャネルについてのコントラスト減衰(CA)機能は、以下のように定義される。
ルマ/クロマコントラスト感度推定ユニット(540)は、ルマ/クロマ大きさおよびコントラスト感度の両方を考慮に入れる。ルマ/クロマコントラスト感度推定ユニット(540)は、ユニット(536)および(538)の出力を取得し、ルマ/クロマコントラスト感度プロファイルを出力する。当該ルマ/クロマコントラスト感度プロファイルは、解像度レベルlおよび空間的位置(m,n)に対して、ルマについては以下のように定義される。
である。ここで、2m−w≦i≦2m+wおよび2n−w≦j≦2n+wである。wおよびwは、ウィンドウ表示領域の垂直方向半径および水平方向半径である。ユニット(540)の出力は、その後、それらのそれぞれのルマ知覚エラー推定ユニット(222)およびクロマ知覚エラー推定ユニット(322)に入力される。
図6は、(618)で表わされるルマアクティビティユニット(218)の詳細なブロック図を示す。最初に、マッピングされたルマ画像が、ルマコントラスト減衰ユニット(642)、ルマ感度減衰ユニット(644)およびルマ画像詳細推定ユニット(646)に入力される。ルマコントラスト減衰ユニット(642)は、HVSのルマコントラスト感度レベルに従って、入力されたルマ画像を減衰する。ユニット(642)は、式(22)に定義されるルマコントラストプロファイルを出力し、当該ルマコントラストプロファイルは、その後、ルマテクスチャ識別ユニット(648)に入力される。ルマ感度減衰ユニット(644)は、HVSのルマ大きさ感度レベルに従って、入力されたルマ画像を減衰する。ルマ感度減衰ユニット(644)は、式(26)に定義されるルマ大きさプロファイルを出力し、当該ルマ大きさプロファイルは、次いでその後、ルマテクスチャ識別ユニット(648)およびルマ詳細識別ユニット(650)に入力される。ルマ画像詳細推定ユニット(646)は、入力された画像における詳細な構造を抽出する。ルマ画像詳細推定ユニット(646)は、入力された画像のルマ構造(詳細)プロファイルを出力する。個々のサンプルのルマ詳細は、以下のように算出される。
ルマテクスチャ識別ユニット(648)は、ルマコントラスト減衰ユニット(642)およびルマ感度減衰ユニット(644)から入力を受取る。ルマテクスチャ識別ユニット(648)は、低レベル、中レベルおよび高レベルテクスチャに従って分類され得るルマ画像におけるテクスチャ情報を特定し、位置付ける。ルマテクスチャ識別ユニット(648)は、ルマテクスチャ識別プロファイルを出力し、当該ルマテクスチャ識別プロファイルは、次いで、ルマアクティビティレベル推定ユニット(652)に転送される。テクスチャが識別されたサンプルは、以下のように定義される。
ルマ詳細識別プロファイルは、ルマアクティビティレベル推定ユニット(652)への入力である。ルマアクティビティレベル推定ユニット(652)は、テクスチャおよび詳細レベルに対して、ルマ画像における各信号サンプルを取巻くアクティビティレベルを求める。これは、ルマテクスチャおよびルマ詳細識別プロファイルにおけるサンプルをアクティビティレベルクラスタに仕分けし、次いでこれらのクラスタの相対的強度を計算するクラスタリングアルゴリズムによって行われ得る。推定ユニット(652)は、ルマテクスチャ識別ユニット(648)からルマテクスチャ識別プロファイルを受取り、ルマ詳細識別ユニット(650)からルマ詳細識別プロファイルを受取る。推定ユニット(652)は、ルマアクティビティレベル推定プロファイルを生成し、当該ルマアクティビティレベル推定プロファイルは、次いで、ルマ知覚エラー推定ユニット(222)に入力される。空間的位置(m,n)における解像度レベルlについてのルマアクティビティレベル(AL)推定は、以下のように定義される。
色マスキングユニット(760)は、HVSの色マスキングの影響を受けたクロマ信号の可視性を推定する。このユニットは、色マスキング算出のためにRGB画像を受取る。このユニットは、色マスキングプロファイルを出力し、当該色マスキングプロファイルは、次いで、クロマテクスチャ識別ユニット(762)およびクロマ詳細識別ユニット(764)に入力される。最高解像度レベルにおける色マスキングされた(CM)プロファイルの要素は、以下のように定義される。
ここで、2m≦i≦2m+1および2n≦j≦2n+1である。より低い画像解像度での色マスキングを算出するために、他の代替的なアプローチも利用されてもよい。例えば、式(54)に示されるプロセスが、RGB画像の、解像度が連続的に低くなるバージョンに繰り返し適用され得る。
クロマテクスチャ識別ユニット(762)は、クロマコントラスト減衰ユニット(754)、クロマ感度減衰ユニット(756)および色マスキングユニット(760)から入力を受取る。クロマテクスチャ識別ユニット(762)は、色マスキングを受けたクロマ画像におけるテクスチャ情報を特定し、位置付ける。テクスチャ情報は、テクスチャレベルに従って分類され得る。ユニット(762)は、クロマテクスチャ識別プロファイルを出力し、当該クロマテクスチャ識別プロファイルは、次いで、クロマアクティビティレベル推定ユニット(766)に転送される。このプロファイルの個々の要素は、以下のように定義される。
図8には、ルマユニット(224)およびクロマユニット(324)をそれぞれ表わす低ルマ/クロマコントラストユニット(824)の詳細なブロック図が開示される。ユニット(824)は、ルマチャネルおよびクロマチャネルについてのそれぞれのユニット(642)および(754)と同じ機能を有するルマ/クロマコントラスト減衰ユニット(868)を含む。ユニット(824)は、マッピングされたルマ/クロマ画像を受取り、入力された画像のルマ/クロマコントラストプロファイルを出力する。低ルマ/クロマ減衰ユニット(870)は、HVSの低ルマ/クロマ感度レベルに従って、入力された画像を減衰する。低ルマ/クロマ減衰ユニット(870)は、マッピングされたルマ/クロマ画像を入力として受取り、入力された画像の低ルマ/クロマプロファイルを出力する。解像度レベルlおよび空間的位置(i,j)における低コントラスト(LC)減衰信号は、ルマについては以下のように定義される。
低ルマ/クロマコントラスト識別ユニット(872)は、ユニット(868)からルマ/クロマコントラストプロファイルを受取り、ユニット(870)からルマ/クロマ低コントラストプロファイルを受取る。識別ユニット(872)は、入力において高いコントラストを有する低ルマ/クロマ領域を特定する。識別ユニット(872)は、低ルマ/クロマコントラスト識別プロファイルを生成し、当該低ルマ/クロマコントラスト識別プロファイルは、その後、視覚的最適化ユニット(228)および(328)に入力される。解像度レベルlおよび空間的位置(i,j)における低コントラスト識別信号は、以下のように定義される。
図9を参照して、図9には、対応する参照ユニット(926)を備えた強調ユニット(226)および(326)のより詳細なブロック図が示される。当該ユニットは、強調されるべき入力された画像の領域を特定する強調マップ生成ユニット(974)を含む。強調マップは、画像特性、例えば詳細、テクスチャなどに基づいて生成される。ユニット(974)は、ルマ/クロマ画像をその入力として有する。ユニット(974)は、変換されたルマ/クロマ画像または量子化されたルマ/クロマ画像も利用してもよい。量子化器がおよそ1つである場合には、変換または量子化されたルマ/クロマ画像の代わりに、量子化されたルマ/クロマ画像を用いることができる。強調マップにおける個々の要素は、以下のように定義され得る。
ここで、N=(2w+1)×(2w+1)である。
図10および図11は、それぞれ、全てのサブ構成要素を示す圧縮システム(100)のルマおよびクロマ構成要素の詳細なブロック図である。
図12を参照して、圧縮前に変換領域において知覚的に無損失の画像または知覚的に強調された画像を生成することに関わるプロセスのフロー図1200が示される。まず、ステップ1201において、静止画または動画を受取る。ステップ1102において、当該画像を色変換して、受取られた画像を所望の色空間(例えば構成要素の色)に変換し、変換された色空間(CCS)画像を形成する。構成要素の色については、CCS画像は、Y、CおよびCである。ステップ1204において、各々が変換CCS係数の組からなる変換されたCCS画像を作成するために、CCS画像に変換(例えばDWT、DCT)を適用する。ステップ1206において、変換CCS画像を量子化して、量子化されたCCS画像を生成する。ステップ1208において、いかなる視覚的に冗長な情報も除去するか、または、変換領域CCS画像を視覚的に強調して、最適化されたCCS画像を形成するために、変換または量子化されたCCS画像を画像プロセッサ(208)および(308)によって処理する。量子化器がおよそ1つである場合には、最適化されたCCS画像を生成するために、量子化されたCCS画像が用いられる。さもなければ、変換CCS画像が用いられる。ステップ1210において、最適化されたCCS画像をエンコーダに送信して、圧縮が行われ、続いて格納、送信またはそれら両方が行われる。
図13を参照して、図12のフロー図1200よりも詳細なさらなるフロー図1300が示される。最初に、ステップ1301において、静止画または動画であり得るRGB画像を受取る。ステップ1302における色変換は、RGB画像を、構成要素色空間のルマおよびクロマ画像に変換する。構成要素の色とは別に、他の色空間もステップ1302において使用可能である。ステップ1304において、ルマおよびクロマ画像の各々に変換(例えばDWT、DCT)を適用して、変換されたルマ画像および変換されたクロマ画像を生成する。ステップ1306において、変換されたルマ画像および変換されたクロマ画像を量子化する。ステップ1314において、マッピングされたルマ/クロマ画像、および任意に変換されたルマ/クロマ画像または量子化されたルマ/クロマ画像に基づいて、ルマ/クロマベースエラーを推定する。ステップ1316において、マッピングされたルマ/クロマ画像からルマ/クロマコントラスト感度レベルを判断する。ステップ1318において、マッピングされたルマ画像からルマアクティビティレベルを判断する。また、ステップ1318において、マッピングされたクロマ画像およびRGB画像からクロマアクティビティレベルを判断する。ステップ1320において、変換ルマ/クロマ画像または量子化されたルマ/クロマ画像からの入力に基づいて、視覚マスキングレベルを推定する。ステップ1322において、ステップ1314、1316、1318および1320の出力に基づいて、ルマ/クロマ知覚エラー閾値の推定がなされる。ステップ1324において、低ルマ/クロマコントラストアクティビティレベルを判断する。低ルマ/クロマコントラストアクティビティレベルは、マッピングされたルマ/クロマ画像からの入力に基づいている。1324のクロマ部分は任意である。ステップ1326において、ルマ/クロマ画像、変換されたルマ/クロマ画像および量子化されたルマ/クロマ画像からの入力に基づいて、強調プロファイルが求められる。ステップ1328において、ステップ1322からの出力、ステップ1326からの強調プロファイル、ステップ1304からの変換されたルマ/クロマ画像、ステップ1306からの量子化されたルマ/クロマ画像、およびステップ1324からの低ルマ/クロマコントラストアクティビティプロファイルに基づいて、視覚的最適化が行われる。ステップ1328からの最適化されたルマ/クロマ画像は、1331に送られ、圧縮された最適化された画像に符号化される。
図14を参照して、知覚的に無損失の品質レベルまたは知覚的に強調された品質レベルをもたらすRGB画像の圧縮を行うために用いられるシステムまたは装置1400のブロック図が示される。RGB画像1402は、RGB画像を知覚的に無損失の品質レベルまたは知覚的に強調された品質レベルに符号化する画像処理装置を有する符号化システム1404に入力される。符号化後、圧縮された画像ストリームは、メモリ1410に格納され得るか、または送信媒体1406を介して送られ得る。送信された圧縮された画像ストリームは、デコーダ1408によって復号される。この復号化は、RGB画像1402と比較して品質の点で知覚的に無損失であるかまたは知覚的に強調されている、復号された最適化された(RGB)画像1412を生成する。
プロセスまたはフロー図1200または1300はいずれも、実行されると図12または図13のブロックに示される動作のうちのいずれか1つ以上を実行するようにメモリまたは送信媒体などのコンピュータ読取可能媒体に格納されるコンピュータ読取可能命令として実現され得る。したがって、図12および図13のブロックに示される動作のうちのいずれか1つ以上は、コンピュータ読取可能媒体上で実施される、コンピュータによって実行可能な命令として実施され得る。
本発明の特別な利点は、本発明が標準的な画像コード化システム(例えばJPEG2000)に準拠し、そのため既存の画像圧縮アプリケーションに容易に適合可能および配備可能であることである。本発明は、情報無損失圧縮よりも優れた圧縮率での画像の知覚的に無損失の圧縮または知覚的に強調された圧縮を提供する。本発明は、ハードウェアでもソフトウェアでも実現可能である。
本発明は、画像全体を考慮に入れ、次いで変換領域(例えばDWT)において最適化された画像を生成し、続いて符号化して、圧縮された最適化された画像を生成する画像コンテンツの分析を提供する。全ての図面の中の説明は構成要素の色(YC)に重点を置いていたが、本発明は、他の色空間(例えばCIE XYZ)でも動作可能である。本発明は、例を挙げると、自然画像、医療用画像、(デジタル映画のための)映画画像および衛星画像を含むさまざまな画像を圧縮するために使用可能である。
要約すると、本発明は、情報無損失圧縮スキームよりも優れた圧縮率での画像の知覚的に無損失の圧縮または知覚的に品質が向上した圧縮を達成することができる能力を有する圧縮システムを提供するために、視覚的最適化機能とともに高度なHVSモデルを利用するプラグイン式技術を提供する。

Claims (57)

  1. 画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
    画像を受取るステップと、
    前記受取られた画像を所望の色空間に色変換して、変換された色空間(color-space:CCS)画像を形成するステップと、
    前記CCS画像を変換されたCCS画像に変換するステップと、
    前記CCS変換画像に量子化を適用して、量子化されたCCS画像を形成するステップと、
    画像プロセッサを用いて、前記量子化されたCCS画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するステップと、
    その後の格納および/または送信のために、前記最適化されたCCS画像を符号化するステップとを含む、方法。
  2. 前記CCS画像は、輝度(Y)画像、クロミナンス青(C)画像またはクロミナンス赤(C)画像のうちのいずれか1つ以上である、請求項1に記載の方法。
  3. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項1または2に記載の方法。
  4. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項1から3のいずれか1項に記載の方法。
  5. 前記変換されたCCS画像における係数を量子化して、量子化された変換係数からなる量子化されたCCS画像を形成し、次いで前記量子化されたCCS画像を前記画像プロセッサに送信するステップをさらに含む、請求項1から4のいずれか1項に記載の方法。
  6. 前記CCS画像を変換されたCCS画像に変換するステップは、離散ウェーブレット変換(discrete wavelet transform:DWT)または離散コサイン変換(discrete cosine transform:DCT)を用いる、請求項1から5のいずれか1項に記載の方法。
  7. 前記画像プロセッサは、知覚的に無損失の画像または知覚的に強調された画像を生成するために人間視覚システム(human visual system:HVS)の特性を組入れる、請求項1から6のいずれか1項に記載の方法。
  8. 前記変換されたCCS画像を視覚マスキング推定ユニットに送信して、前記CCS画像におけるマスキングのレベルを判断し、各色チャネルに関連付けられる視覚マスキングプロファイルを出力するステップをさらに含む、請求項1から7のいずれか1項に記載の方法。
  9. 前記CCS画像を信号マッピングユニットに送信して、前記CCS画像における画素を対応するCCS変換領域係数にマッピングして、マッピングされたCCS画像を形成するステップをさらに含む、請求項8に記載の方法。
  10. 前記マッピングされたCCS画像をコントラスト感度ユニットに送って、前記HVSに基づいて、前記マッピングされたCCS画像のコントラストおよび大きさ感度レベルを判断し、前記マッピングされたCCS画像についてのコントラスト感度プロファイルを出力するステップをさらに含む、請求項9に記載の方法。
  11. 前記マッピングされたCCS画像をアクティビティユニットに送って、前記マッピングされたCCS画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するステップをさらに含む、請求項10に記載の方法。
  12. 前記変換または量子化されたCCS画像とともに前記マッピングされたCCS画像をベースエラーユニットに送って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するステップをさらに含む、請求項11に記載の方法。
  13. 前記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを知覚エラー推定ユニットに送信して、知覚エラー推定値を求めるステップをさらに含む、請求項12に記載の方法。
  14. 前記変換または量子化されたCCS画像とともに前記マッピングされたCCS画像を強調ユニットに送って、前記変換または量子化されたCCS画像においてどこでおよびどのぐらいの情報が強調されるべきかを判断し、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するステップをさらに含む、請求項13に記載の方法。
  15. 前記マッピングされたCCS画像を低輝度/クロミナンスコントラストユニットに送って、低輝度/クロミナンスコントラストプロファイルを求めるステップをさらに含む、請求項14に記載の方法。
  16. 前記強調プロファイル、前記知覚エラー推定値、前記低輝度/クロミナンスコントラストプロファイル、量子化器、前記変換されたCCS画像および前記量子化されたCCS画像に基づいて、前記変換または量子化されたCCS画像を最適化して、最適化されたCCS画像圧縮を行うステップをさらに含む、請求項15に記載の方法。
  17. コード化プロセスの一部として、前記最適化されたCCS画像を圧縮するステップをさらに含む、請求項16に記載の方法。
  18. 色変換によって、前記受取られた画像を輝度成分およびクロミナンス成分に分割するステップをさらに含む、請求項1から17のいずれか1項に記載の方法。
  19. 知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
    受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニットと、
    CCS画像を受取って、前記CCS画像を、各々が変換係数の組を含む変換されたCCS画像に変換するための変換ユニットと、
    前記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するための量子化ユニットと、
    変換または量子化されたCCS画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するための画像プロセッサと、
    前記最適化されたCCS画像を圧縮するためのエンコーダとを含み、
    前記圧縮された最適化されたCCS画像は、その後、格納および/または送信の準備が行われる、装置。
  20. 前記CCS画像は、輝度(Y)画像、クロミナンス青(C)画像またはクロミナンス赤(C)画像のうちのいずれか1つ以上である、請求項19に記載の装置。
  21. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項19または20に記載の装置。
  22. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項19から21のいずれか1項に記載の装置。
  23. 前記量子化ユニットは、前記変換係数を量子化して、量子化された変換係数からなる量子化されたCCS画像の組を形成し、前記量子化されたCCS画像は次いで、前記画像プロセッサに送信される、請求項19から22のいずれか1項に記載の装置。
  24. 前記変換ユニットは、離散ウェーブレット変換ユニット(DWT)または離散コサイン変換(DCT)である、請求項19から23のいずれか1項に記載の装置。
  25. 前記画像プロセッサは、前記最適化されたCCS画像を生成するために人間視覚システム(HVS)の特性を組入れる、請求項19から24のいずれか1項に記載の装置。
  26. 前記画像プロセッサは、前記CCS画像における画素を対応するCCS変換領域係数にマッピングして、マッピングされたCCS画像を形成するための信号マッピングユニットを含む、請求項19から25のいずれか1項に記載の装置。
  27. 前記画像プロセッサは、前記変換または量子化されたCCS画像を利用してマスキングのレベルを判断し、視覚マスキングプロファイルを出力する視覚マスキング推定ユニットをさらに含む、請求項26に記載の装置。
  28. 前記画像プロセッサは、前記マッピングされたCCS画像を受取って、前記マッピングされたCCS画像のコントラストおよび大きさ感度レベルを判断し、前記マッピングされたCCS画像についてのコントラスト感度プロファイルを出力するためのコントラスト感度ユニットをさらに含む、請求項27に記載の装置。
  29. 前記画像プロセッサは、前記マッピングされたCCS画像を受取って、前記マッピングされたCCS画像におけるアクティビティレベルを計算し、アクティビティ推定プロファイルを出力するためのアクティビティユニットをさらに含む、請求項28に記載の装置。
  30. 前記画像プロセッサは、前記変換または量子化されたCCS画像とともに前記マッピングされたCCS画像を受取って、可視性閾値のまたは可視性閾値を下回るベースエラーの大きさを推定し、ベースエラー大きさプロファイルを出力するためのベースエラーユニットをさらに含む、請求項29に記載の装置。
  31. 前記画像プロセッサは、前記視覚マスキングプロファイル、コントラスト感度プロファイル、アクティビティ推定プロファイルおよびベースエラー大きさプロファイルを受取って、前記所与の閾値のまたは前記所与の閾値を下回る知覚エラー推定値を求めるための知覚エラー推定ユニットをさらに含む、請求項30に記載の装置。
  32. 前記画像プロセッサは、前記変換または量子化されたCCS画像とともに前記マッピングされたCCS画像を受取って、前記変換または量子化されたCCS画像に対してどこでおよびどのぐらいの強調が適用されるべきかを判断し、次いで、どこでおよびどのぐらいの情報が強調されるべきかを表わす、結果として生じる強調プロファイルを出力するための強調ユニットをさらに含む、請求項31に記載の装置。
  33. 前記画像プロセッサは、前記マッピングされたCCS画像を受取って、低輝度/クロミナンスコントラストプロファイルを求めるための低輝度/クロミナンスコントラストユニットをさらに含む、請求項32に記載の装置。
  34. 前記画像プロセッサは、前記強調プロファイル、前記低輝度/クロミナンスコントラストプロファイル、量子化器、前記変換されたCCS画像および前記量子化されたCCS画像、ならびに前記知覚エラー推定値に基づいて、前記変換または量子化されたCCS画像を最適化して、前記最適化されたCCS画像を生成し、圧縮を行うための視覚的最適化ユニットをさらに含む、請求項33に記載の装置。
  35. 前記エンコーダは、その後の格納および/または送信のために、前記最適化されたCCS画像を圧縮する、請求項19から34のいずれか1項に記載の装置。
  36. 前記受取られた画像は、輝度成分およびクロミナンス成分に分割される、請求項35に記載の装置。
  37. 前記可視性閾値はJNNDレベルである、請求項30に記載の装置。
  38. コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、前記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
    受取られた画像を所望の色空間に変換して、変換された色空間(CCS)画像を形成するように装置に指示し、
    前記CCS画像を、各々が変換係数の組からなる変換されたCCS画像に変換するように装置に指示し、
    前記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するように装置に指示し、
    前記量子化されたCCS画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するように装置に指示し、
    前記最適化されたCCS画像を符号化(圧縮)するように装置に指示する、コンピュータ読取可能媒体。
  39. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項38に記載のコンピュータ読取可能媒体。
  40. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項38および39のいずれか1項に記載のコンピュータ読取可能媒体。
  41. 知覚的に無損失の圧縮画像データまたは知覚的に強調された圧縮画像データを送信媒体を通じて送信する方法であって、
    受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニットに画像の組を入力するステップと、
    前記CCS画像を変換して、変換されたCCS画像を形成するステップと、
    前記変換されたCCS画像を量子化して、量子化されたCCS画像を形成するステップと、
    前記変換または量子化されたCCS画像を画像プロセッサで処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化されたCCS画像を生成するステップと、
    各々の最適化されたCCS画像をエンコーダで圧縮するステップと、
    前記圧縮された最適化されたCCS画像を前記送信媒体を通じて送信するステップとを含む、方法。
  42. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項41に記載の方法。
  43. 前記最適化されたCCS画像が脱量子化され、逆変換され、前記受取られた画像の前記色空間に戻されるとき、前記最適化されたCCS画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項41および42のいずれか1項に記載の方法。
  44. 画像データの知覚的に無損失の圧縮または画像データの知覚的に強調された圧縮を生じさせる方法であって、
    画像を受取るステップと、
    前記画像を変換するステップと、
    画像プロセッサを用いて前記画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するステップと、
    その後の格納および/または送信のために、前記最適化された画像を符号化するステップとを含む、方法。
  45. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項44に記載の方法。
  46. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項44または45に記載の方法。
  47. 前記画像を所望の色空間に色変換するステップをさらに含む、請求項44から46のいずれか1項に記載の方法。
  48. 前記画像に量子化を適用するステップをさらに含む、請求項44から47のいずれか1項に記載の方法。
  49. 知覚的に無損失の画像データまたは知覚的に強調された画像データを生成するための装置であって、
    画像を受取って、前記画像を、各々が変換係数の組を含む変換された画像に変換するための変換ユニットと、
    変換された画像を受取って処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するための画像プロセッサと、
    前記最適化された画像を圧縮するためのエンコーダとを含み、
    前記圧縮された最適化された画像は、その後、格納および/または送信の準備が行われる、装置。
  50. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項49に記載の装置。
  51. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項49または50に記載の装置。
  52. 受取られた画像を所望の色空間に色変換して、変換された色空間(CCS)画像を形成するための色変換ユニットを含む、請求項49から51のいずれか1項に記載の装置。
  53. 前記変換された画像を量子化して、量子化された画像を形成するための量子化ユニットを含む、請求項49から52のいずれか1項に記載の装置。
  54. コンピュータによって実行可能な命令を含むコンピュータ読取可能媒体であって、前記命令は、プロセッサ上で実行されると、知覚的に無損失の画像データまたは知覚的に強調された画像データを生成する方法において、
    前記画像を、各々が変換係数の組からなる変換された画像に変換するように装置に指示し、
    前記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、最適化された画像を生成するように装置に指示し、
    前記最適化された画像を符号化(圧縮)するように装置に指示する、コンピュータ読取可能媒体。
  55. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に無損失であり、そのため視覚的に不明瞭である、請求項54に記載のコンピュータ読取可能媒体。
  56. 前記最適化された画像が逆変換され、前記受取られた画像の領域に戻されるとき、前記最適化された画像は、前記受取られた画像と比較して、知覚的に強調されており、知覚的に強調された画像品質を有する、請求項54または55に記載のコンピュータ読取可能媒体。
  57. 変換係数の組を含む変換された画像を受取るように適合され、前記変換された画像を処理して、品質の点で知覚的に無損失であるかまたは知覚的に強調された、エンコーダによる圧縮に好適な、最適化された画像を生成するように適合される、プロセッサ。
JP2014539185A 2011-10-30 2012-10-29 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法 Expired - Fee Related JP6141295B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161553207P 2011-10-30 2011-10-30
US61/553,207 2011-10-30
PCT/AU2012/001319 WO2013063638A2 (en) 2011-10-30 2012-10-29 Perceptually lossless and perceptually enhanced image compression system & method

Publications (2)

Publication Number Publication Date
JP2015501604A true JP2015501604A (ja) 2015-01-15
JP6141295B2 JP6141295B2 (ja) 2017-06-07

Family

ID=48192928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014539185A Expired - Fee Related JP6141295B2 (ja) 2011-10-30 2012-10-29 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法

Country Status (4)

Country Link
US (1) US9516315B2 (ja)
EP (1) EP2774121A4 (ja)
JP (1) JP6141295B2 (ja)
WO (1) WO2013063638A2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX360669B (es) * 2014-03-06 2018-11-13 Samsung Electronics Co Ltd Método de decodificación de imágenes y dispositivo para el mismo, y método de codificación de imágenes y dispositivo para el mismo.
US9883184B2 (en) * 2014-10-07 2018-01-30 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
EP3345395A1 (en) * 2015-09-02 2018-07-11 Thomson Licensing Method and apparatus for quantization in video encoding and decoding
US10397586B2 (en) 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
JP6912869B2 (ja) * 2016-06-15 2021-08-04 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
US11164352B2 (en) 2017-04-21 2021-11-02 Intel Corporation Low power foveated rendering to save power on GPU and/or display
CN107046647B (zh) * 2017-05-14 2018-01-26 华中科技大学 一种多谱段遥感图像实时解压缩器的控制方法
US10262451B1 (en) * 2018-04-09 2019-04-16 8i Limited View-dependent color compression
US10776957B2 (en) 2018-10-02 2020-09-15 Samsung Electronics Co., Ltd. Online image compression in hardware
CN109151482B (zh) * 2018-10-29 2021-03-23 西安电子科技大学 星载光谱图像谱段无损有损混合压缩方法
US11613275B2 (en) * 2020-04-27 2023-03-28 Baidu Usa Llc Grayscale-based camera perception
CN111654705B (zh) * 2020-06-05 2022-11-11 电子科技大学 基于色彩空间转换的马赛克图像压缩方法
CN117642768A (zh) * 2021-08-31 2024-03-01 三星电子株式会社 显示设备及其操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629780A (en) * 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
JP2002516540A (ja) * 1998-05-21 2002-06-04 インテル・コーポレーション 知覚的に無損失の画像をもたらす2次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP2005507184A (ja) * 2001-07-02 2005-03-10 クゥアルコム・インコーポレイテッド ゴロム・ライスを使用する無損失フレーム内符号化
JP2010524298A (ja) * 2007-03-30 2010-07-15 イーストマン コダック カンパニー 圧縮データ量の制御

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125201A (en) * 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
US7729551B2 (en) * 2006-09-08 2010-06-01 Eastman Kodak Company Method for controlling the amount of compressed data
US9232226B2 (en) * 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629780A (en) * 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
JP2002516540A (ja) * 1998-05-21 2002-06-04 インテル・コーポレーション 知覚的に無損失の画像をもたらす2次元離散ウェーブレット変換に基づくカラー画像の圧縮
JP2005507184A (ja) * 2001-07-02 2005-03-10 クゥアルコム・インコーポレイテッド ゴロム・ライスを使用する無損失フレーム内符号化
JP2010524298A (ja) * 2007-03-30 2010-07-15 イーストマン コダック カンパニー 圧縮データ量の制御

Also Published As

Publication number Publication date
WO2013063638A3 (en) 2014-09-04
EP2774121A4 (en) 2015-09-16
JP6141295B2 (ja) 2017-06-07
WO2013063638A2 (en) 2013-05-10
US20150043815A1 (en) 2015-02-12
US9516315B2 (en) 2016-12-06
EP2774121A2 (en) 2014-09-10

Similar Documents

Publication Publication Date Title
JP6141295B2 (ja) 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法
JP7114653B2 (ja) 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
US11265559B2 (en) High dynamic range image/video coding
KR100880039B1 (ko) 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템
US10349064B2 (en) Adaptive chroma downsampling and color space conversion techniques
US7483486B2 (en) Method and apparatus for encoding high dynamic range video
US9552652B2 (en) Image encoder and image decoder
US6993199B2 (en) Method and system for improving coding efficiency in image codecs
JP2004533181A (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
Kumar et al. Human visual system based enhanced AMBTC for color image compression using interpolation
CN113612898B (zh) 一种抗jpeg图像下采样的鲁棒隐蔽通信装置
EP3308541B1 (en) System for coding high dynamic range and wide color gamut sequences
Midha et al. Analysis of RGB and YCbCr color spaces using wavelet transform
US8249367B2 (en) Apparatus and method for encoding an image for a mobile telecommunication handset
US20090074059A1 (en) Encoding method and device for image data
JP6706840B2 (ja) 画像データ処理装置及びプログラム
Yang et al. JPEG-Like Color Image Compression Based on All Phase Biorthogonal Transform and Improved Quantization Table.
Dong et al. High Capacity Steganographic Method Based upon Quantization Error of JPEG

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170502

R150 Certificate of patent or registration of utility model

Ref document number: 6141295

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees