JP2018107797A - 画像データのエンコード及びデコード - Google Patents

画像データのエンコード及びデコード Download PDF

Info

Publication number
JP2018107797A
JP2018107797A JP2017231744A JP2017231744A JP2018107797A JP 2018107797 A JP2018107797 A JP 2018107797A JP 2017231744 A JP2017231744 A JP 2017231744A JP 2017231744 A JP2017231744 A JP 2017231744A JP 2018107797 A JP2018107797 A JP 2018107797A
Authority
JP
Japan
Prior art keywords
image data
data
image
decoded
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017231744A
Other languages
English (en)
Other versions
JP2018107797A5 (ja
Inventor
チェスノコフ ヴァチェスラフ
Chesnokov Viacheslav
チェスノコフ ヴァチェスラフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apical Ltd
Original Assignee
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd filed Critical Apical Ltd
Publication of JP2018107797A publication Critical patent/JP2018107797A/ja
Publication of JP2018107797A5 publication Critical patent/JP2018107797A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

【課題】画像を表す画像データをエンコードする方法を提供する。【解決手段】エンコーダ１００は、画像データ１０２を受信するステップと、画像データに非可逆エンコード演算１０４を適用して、画像を表すエンコード画像データを生成するステップとを含む。エンコード画像データがデコード１０８されてデコード画像データ１１０を生成し、デコード画像データの圧縮ノイズ成分が低減１１２されてノイズ低減デコード画像データ１１４を生成する。ノイズ低減デコード画像データ及び画像データが処理１４０されて、画像データとノイズ低減デコード画像データとの間の差分を表す差分データ１４２を生成する。差分データがエンコード１４８されてエンコード差分データ１５０を生成する。差分データ１４２をエンコードするステップの前に、差分データをスケーリングするステップ１４４を含む。【選択図】図１

Description

[0001]本発明は、画像データをエンコードする方法、エンコードされた画像データをデコードする方法、及び画像データのエンコード、デコード、又はエンコード及びデコードの両方を行うためのコンピューティングデバイスに関する。
背景
[0002]高ダイナミックレンジ（ＨＤＲ）、高精度画像及び映像コンテンツが現在広く利用可能である。例えば、１２又は１４ビットＨＤＲ画像を提供するデジタルカメラが入手可能である。ＪＰＥＧ委員会は、ＪＰＥＧ ＸＴ（ＩＳＯ／ＩＥＣ１８４７７）と呼ばれる新たなコード化標準を開発している最中であり、同標準は、ＨＤＲ画像のコード化、及び標準ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＩＳＯ／ＩＥＣ１０９１８）圧縮との後方互換性の両方を提供しようとしている。
[0003]ＨＤＲデータは、ＪＰＥＧ ＸＴエンコーダを使用してエンコードされて、そのデータを基本画像レイヤデータ及び拡張画像レイヤデータにエンコードすることができる。基本画像レイヤデータは、ＬＤＲ（低ダイナミックレンジ、時にＳＤＲ又は標準ダイナミックレンジと称される）データ又はＳＤＲデータをデコードし且つ拡張画像レイヤデータを無視することができる標準ＪＰＥＧデコーダを使用してＪＰＥＧ ＸＴエンコード画像がデコードされることができるように、レガシー実装が利用することが可能なＬＤＲデータであってよい。拡張画像レイヤデータは、ＨＤＲ画像を再構築するために使用されることができる。ＪＰＥＧ ＸＴエンコード画像をデコードするためには、エンコード基本画像レイヤデータと拡張画像レイヤデータの両方をデコードのためにＪＰＥＧ ＸＴデコーダに転送することが必要である。
[0004]例えばＨＤＲ画像をエンコードするためのより効率的なエンコード方法を提供することが望ましい。例えば、エンコーダとデコーダとの間のデータの転送のデータ転送要件が軽減されたエンコード方法を提供することが望ましい。より効率的なデコード方法を提供することが同様に望ましい。
[0005]本開示の様々な特徴が、全体として本開示の特徴を単に例として例示する添付の図面と併せて、後続する詳細な記載から明らかであろう。
[0006]図１は、例に係る画像データをエンコードする方法を実行するためのデコーダの内部部品の例を図示する概要図である。
[0007]図２は、画像における圧縮ノイズ成分を低減するためのスライディングウィンドウフィルタの使用の例を概略的に例示するグラフである。
[0008]図３ａは、画像例の概略図である。 [0008]図３ｂは、画像例と関連付けられる画像データの概略図である。
[0009]図４は、画像データ及び差分データの例を概略的に例示するグラフである。
[0010]図５は、例に係るエンコード画像データをデコードする方法を実行するためのデコーダの内部部品の例を図示する概要図である。
[0011]図６は、画像データをエンコードする又はエンコード画像データをデコードする方法と共に使用するためのシステム例の例示的な概要を図示する概要図である。
[0012]図７は、図６の１つ又は複数のデータベース、サーバデバイス、コンピューティングデバイス、及びディスプレイデバイス間の通信の例を図示するシーケンス図である。
[0013]図８は、コンピューティングデバイスの内部部品の例を図示する概要図である。
詳細な説明
[0014]例に係る方法の詳細が、図を参照して、以下の記載から明らかになるであろう。本記載では、説明の目的で、ある例の多数の具体的な詳細が述べられる。本明細書における「例」又は同様の言葉への言及は、同例に関連して記載される特定の特徴、構造又は特性が少なくともその１つの例に含まれるが、必ずしも他の例に含まれるわけではないことを意味する。ある例は、同例の基礎となる概念の説明及び理解の容易さのために、ある特徴が省略及び／又は必然的に簡素化されて、概略的に記載されることが更に留意されるべきである。
[0015]本明細書に記載される例は、画像を表す画像データをエンコードする方法を提供する。方法は、画像データを受信するステップと、画像データに非可逆エンコード演算を適用して、画像を表すエンコード画像データを生成するステップと、エンコード画像データをデコードしてデコードされた画像データを生成するステップとを含む。デコード画像データの圧縮ノイズ成分が低減されてノイズ低減されたデコード画像データを生成する。ノイズ低減デコード画像データ及び画像データが処理されて、画像データとノイズ低減デコード画像データとの間の差分を表す差分データを生成し、差分データがエンコードされてエンコード差分データを生成する。
[0016]デコード画像データの圧縮ノイズ成分を低減することによって、画像における可視圧縮アーチファクトが低減されることができる。例えば、ノイズ低減画像データは、圧縮ノイズ低減前のデコード画像データよりも入力画像と視覚的に類似している画像を表すことができる。画像データとノイズ低減デコード画像データとの間の差分は、したがって圧縮ノイズ低減なしでより小さくすることができ、このことは差分を表す差分データがより効率的にエンコードされるようにすることができる。更には、差分データ、及びしたがってエンコード差分データは、圧縮ノイズの低減がない場合よりも記憶のために必要とするメモリ量を小さくすることができる。したがって、デコードのためにデコーダに送られることになるエンコードデータの量は、エンコード画像データ及びエンコード差分データを含むが、既知のＪＰＥＧ ＸＴコーデックと比較して削減されることができる。
[0017]本明細書に記載される例に係る画像データをエンコードする方法と共に使用するためのエンコーダ例１００の内部部品が図１に概略的に例示される。図１のエンコーダ１００は、画像データ１０２を受信するように配置される。画像データ１０２は画像を表し、同画像は全体若しくは全画像、又はより大きい画像の一部分、一部若しくは部分集合でもよい。画像は、例えば、スマートフォンのブラウザなど、コンピューティングデバイスのブラウザによってアクセスされるウェブページからの画像；コンピューティングデバイスの、カメラなどの画像取込デバイスによって取り込まれる画像；又はコンピューティングデバイスの記憶域にダウンロード若しくは記憶される画像である。画像は、任意のグラフィック又は視覚コンテンツ、例えばテキスト、グラフィクス、ピクチャ及び／又は写真を含んでもよい。画像は静止画像又は動画像でもよい。例えば、画像データはビデオ画像データでもよい。
[0018]画像データは、画像の各画素の強度値を含んでもよく、同値は、例えば８ビットデータに対する色帯域につき０から２５５までのグレースケール又は明るさレベルで記憶されてもよい。０のグレースケールレベルが、例えば最暗強度（例えば黒）に相当し、２５５のグレースケールレベルが、例えば最明強度（例えば白）に相当し、０と２５５との間のグレースケールレベルが、黒と白との間の中間強度に相当する。画像データは、画像データによって表される画像の色に関する色データも含んでもよい。例えば、画像がカラー画像である場合、強度若しくは明るさ又は各画素の画素値が色チャネルごとに別々に記憶されてもよい。例えば、ＲＧＢ（赤、緑、青）又はＹＵＶ色空間（Ｙが色の輝度を表し、Ｕが色の青色成分と輝度との間の差分を表し、Ｖが色の赤色成分と輝度との間の差分を表す）におけるなどの三原色によって画素が表される場合、各画素の外観は、各原色につき１つの３つの強度値によって、例えば色チャネルにつき８ビットのビット精度で表されてもよい。当業者によって理解されるように、画像データは、任意の適切な表現を使用して画像を表すことができ、同表現は、例示的であるにすぎない上述した例と異なってもよい。
[0019]画像データ１０２は、画像を表すための任意の適切な形式であることができる。例では、画像データ１０２は、８ビットより高い浮動小数点形式などの８ビットを超える形式である。画像データ１０２は、例えば、ＪＰＥＧ ＸＴ形式などのＨＤＲ（高ダイナミックレンジ）形式であってもよい。
[0020]画像データ１０２がＨＤＲ形式である場合、画像データがエンコードされる前に、画像データ１０２のダイナミックレンジが低下されてもよい（図示せず）。画像データ１０２のダイナミックレンジを低下させることによって、画像データ１０２はＨＤＲデータからＳＤＲデータへ変換されることができる。このようにして、画像データ１０２のビット精度が、例えば８ビットより高い精度から８ビット精度に低下されることができる。
[0021]画像データ１０２のダイナミックレンジを低下させるために、画像データ１０２にトーンマッピング演算が適用されてもよい。そのようなトーンマッピング演算は、画像が観察者にとっては比較的「自然に」見えることを保証しつつも、画像における細部又はコントラストを強調することができる。これを行うために、トーンマッピングは明るさ領域において非対称でもよく、そのため、例えば画像の比較的暗い部分の強度値を比較的明るい部分より大きな程度に変更することによって、画像の暗領域に比較的明るい領域よりも多量のトーンマッピングが適用される。これは、比較的高いダイナミックレンジを有し且つ画像の比較的暗い領域における細部さえ見ることが可能である人の眼の振る舞いを模倣している。トーンマッピング演算はしたがって、暗領域などの画像のある空間領域に、明領域などの他の空間領域と比較して多量のトーンマッピングが適用されて、空間的に異なっても、例えば空間的に不均一でもよい。トーンマッピングは、空間及び輝度の両次元で連続し且つ滑らかに変化していてもよい。暗及び／又は明範囲において画像に保持することになる細部に相当する画素の強度範囲は、したがって拡大されることができ、そして画像の他の範囲の強度範囲は縮小されることができる。トーンマッピングは、したがって画像のダイナミックレンジを調節する、例えば低下させるために使用されることができ、例ではそれは、画像の最明部の強度及び最暗部の強度間の比である。このようにしてダイナミックレンジを低下させることは、典型的には、観察者にとっての画像の自然な見た目を維持しつつも、さもなければ画像の明又は陰影範囲において失われる可視細部を描くように、画像の暗及び／又は明範囲における細部を強調し且つ中間トーン範囲における細部を減少させる。トーンマッピング演算のために、様々な異なるトーンマッピングアルゴリズムが使用されることができる。例えば、適切なアルゴリズムは直交網膜模倣画像変換（ＯＲＭＩＴ）アルゴリズムである。
[0022]しかしながら、他の例では、ダイナミックレンジ低下ステップは省略されてもよい。
[0023]図１を参照すると、画像データ１０２は、次いでＪＰＥＧエンコード演算などの非可逆エンコード演算を使用してエンコード１０４されてエンコード画像データ１０６を生成し、同データは８ビット形式であってもよいが、他のビット精度も可能である。
[0024]図１の例では、エンコード画像データ１０６は、次いでデコード１０８されてデコード画像データ１１０を生成する。エンコード画像データ１０６が非可逆エンコード演算を使用してエンコード１０４されているので、デコード画像データ１１０及びエンコード１０４前の画像データ１０２は、非可逆エンコード演算の間の情報の損失のため、典型的には同一でない。ＪＰＥＧエンコードアルゴリズムなどの非可逆エンコードアルゴリズムは、典型的には、画像忠実度の若干の低下を伴う原画像データの近似を要する。例えば、若干の原画像情報が失われることがある。この失われた情報を復元することは可能でない可能性があるが、このことは原画像の画質と比較して画質を低下させることになる。
[0025]例えば、非可逆エンコード演算は、デコード画像データ１１０によって表される画像に圧縮ノイズをもたらしている可能性があり、例えばデコード画像データの圧縮ノイズ成分がある。デコード画像データの圧縮ノイズ成分は、典型的には、デコード画像データに存在する圧縮ノイズ、例えば圧縮ノイズの大きさ、量、又はレベルを表す。例えば、エッジ又は明から暗画像領域への遷移に対応する領域などの画像の特徴の周辺に、誤った（例えば著しく暗い又は明るい）強度を持つ画素などのノイズがあることがある。それに加えて、又はその代わりに、滑らかに変化する強度を持つ画素よりもむしろ、そのような画像特徴の周囲の同じ強度を持つ画素の可視「ブロック」があることがある。これらなどの圧縮アーチファクトは、典型的には非可逆エンコード演算の量子化ステップによって引き起こされるが、これは整数値への様々な成分の丸めを要し、以て量子化されたエンコード画像データと関連付けられる情報を削減する。そのような圧縮アーチファクトの可視性は、圧縮画像データを得るために原画像データに適用される圧縮の程度又は量に依存し得る。
[0026]図１のエンコーダ１００によって実装されるものなどの方法は、デコード画像データ１１０の圧縮ノイズ成分を低減１１２してノイズ低減デコード画像データ１１４を生成するステップを含んでもよい。デコード画像データは、行列又は他の多次元データ構造の形態でもよい。デコード画像データは、同じく典型的には行列又は多次元データ構造の形態であり且つカーネル、畳込行列又はマスクと称されることもある適切なフィルタで畳み込まれて圧縮ノイズ成分を低減してもよい。例えば、デコード画像の圧縮ノイズ成分を低減するステップは、画像の第１の部分を表すデコード画像データにカーネルを適用することを含んでもよい。第１の部分は、圧縮ノイズを受ける一部などの、画像の一部、又は全画像でもよい。
[0027]デコード画像データに適切なフィルタを適用することによって、デコード画像データにおける圧縮アーチファクトが除かれることができる。そのようなフィルタは、したがって画像における、ブロッキング、例えば可視ブロック、又はリンギング、例えば可視リングなどの圧縮アーチファクトを低減するために使用されることができる。例では、例えばブロッキング、リンギング、又はこれらのアーチファクトの両方を低減するために、デコード画像データにバイラテラルフィルタ及び／又は異方性フィルタが適用されることができる。
[0028]バイラテラルフィルタは、非線形であり、且つノイズを低減しつつ画像におけるエッジを保持しようとする。典型的には、画像データにバイラテラルフィルタを適用することは、画像データによって表される画像の各画素での強度値を近傍画素の強度値の加重平均と置き換えることを要する。重みは、少なくとも画素間の距離及び色強度差分などの色又はグレースケール特性の差分に応じて、ガウス分布に基づいてもよい。
[0029]異方性フィルタは、画像における細部を保持しつつノイズを低減することによって、例えば中心又は視軸などの、画像の軸に対して角度をなす画像におけるテクスチャを強調しようとする。
[0030]デコード画像データの圧縮ノイズ成分を低減するために、１つ又は複数の圧縮ノイズ低減フィルタの組合せが使用されることができる。例えば、デコード画像データの圧縮ノイズ成分を低減するステップは、デコード画像データにおけるバンディングノイズを低減するデコード画像データに対する平滑フィルタ、デコード画像データに対するバイラテラルフィルタ、デコード画像データに対する異方性フィルタ、デコード画像データに対するスライディングウィンドウフィルタ、若しくはデコード画像データに対する平均化フィルタの１つ、又は任意の２つ以上の組合せを、任意の他の適切なフィルタと組み合わせて適用することを含んでもよい。
[0031]例えば、平滑フィルタは、デコード画像データに適用されて、画像明るさ又は画素強度が急激又は鮮明に変化する画像における点又は領域を識別することができる、キャニーエッジ検出器などのエッジ検出フィルタであっても、又はそのようなフィルタを含んでもよい。そのような点又は領域は、典型的には、画像におけるエッジ、例えば画像内の異なる面又は要素間の遷移に相当する。識別されたエッジ領域への近接度に応じて、画素強度値が調節され、例えば平滑化されて、デコード画像データによって表される画像における圧縮ノイズを低減することができる。例えば、平均化フィルタは、デコード画像データに適用されて、検出されるエッジへの所定の近接度内又は外にあるものと識別される領域における画素に対する一組の隣接又は近傍画素にわたって画素強度を平均することができる。例えば、平滑フィルタ又は平均化フィルタなどのカーネルが適用される画像の第１の部分は、実質的にエッジがない画像の領域でもよい。圧縮アーチファクトは、特にそのような領域で見えることがあり、同領域は、例えば滑らかな又は実質的に不変の画像領域である。したがって、例では、圧縮ノイズ成分は、これらの領域については低減される。
[0032]そのような場合、エッジを含む画像の部分は、例えば圧縮ノイズ低減によるエッジの望ましくないぼやけを回避するために、それらの圧縮ノイズは低減されなくてもよい。代替的に、エッジを含む画像の部分の圧縮ノイズ成分は、異なるフィルタを使用して、又は第１の部分に適用されるカーネルとは異なるサイズのカーネルを使用して低減されてもよい。
[0033]上記のように、例では、デコード画像データの圧縮ノイズ成分を低減するステップは、平滑フィルタを適用してデコード画像データにおけるバンディングノイズを低減することを含んでもよい。バンディングノイズは、ＪＰＥＧエンコードアルゴリズムなどの非可逆エンコード演算の量子化ステップによって引き起こされることがある一種の圧縮ノイズである。例えば、この量子化工程の間、画素強度が比較的少ない量だけ変化する画像における少数の画像領域がある場合がある。例えば、より明るい領域及びより暗い領域を持つ空の画像において、より明るい領域及びより暗い領域は、画素強度及び／又は色の比較的小さい変化を各々示すことになる。この例示的な例では、画像におけるより明るい領域に対応する画素は、第１の画素強度及び色値に圧縮されてもよく、画像におけるより暗い領域に対応する画素は、第２の画素強度及び色値に圧縮されてもよい。このことは、より明るい領域の全ての画素が同じ画素強度及び色値を有する可視バンド又は輪郭を生じさせ、例えば、トーンマッピングなどの更なる処理が画像に適用されれば、同バンド又は輪郭は、より暗い領域の画素の近隣バンド又は輪郭と強く対照をなす。例えば画素のフィルタ処理した強度値がどのように近隣画素の強度値に依存するかを左右する、適切なカーネルを持つローパスフィルタなどの平滑フィルタを適用することによって、バンディングノイズは低減されることができる。例えば、平滑フィルタは、例えば異なる強度又は色の画像領域間の遷移領域における画素強度をぼやけさせる、分散させる、又は徐々に調節することによって、それら異なる画像領域間のコントラストの鮮明度を低下させることができる。例えば、画素及び画素の８つの直接の近隣の平均強度を計算し、そして画素の当初の強度値をこの計算された平均強度値と置き換えるために、単純なローパスフィルタが使用されることができる。
[0034]１つ又は複数の圧縮ノイズ低減フィルタが、例におけるコンピューティングデバイスのグラフィック処理装置を使用して適用されてもよい。このことは、画像の画素の様々な群又は領域との１つ又は複数の圧縮ノイズ低減フィルタの畳込の並列処理又は計算を許容することができる。このことは、圧縮ノイズ低減を行う速度を改善することができる。
[0035]画像における圧縮ノイズが１つ又は複数の圧縮ノイズ低減フィルタによって低減される程度は、品質係数（quality factor、Ｑファクタ）に依存してもよい。例えば、Ｑファクタは、１つ又は複数の圧縮ノイズ低減フィルタへの入力として受信されることができる。Ｑファクタは、画像に対する所望の視覚印象に応じてユーザによって選択されてもよく、又はＱファクタは、画像の内容又は、例えばコンテンツ作成者によって提供される、画像と関連付けられる設定などのユーザ非依存の特性に依存してもよい。例えば、低センサノイズで画像を取り込むことが可能である高品質画像センサを使用して画像が得られた場合、大部分のノイズは圧縮ノイズである可能性が高い。そのような場合、圧縮ノイズは、高センサノイズを受ける低品質画像センサで画像が得られ、大部分のノイズがセンサノイズである可能性が高い他の例においてより大きな程度に低減されることができる。
[0036]上記のように、例では、スライディングウィンドウフィルタがデコード画像データに適用されてデコード画像データの圧縮ノイズ成分を低減することができる。図２は、スライディングウィンドウフィルタの使用の例を概略的に例示するグラフである。画像における一行の画素の強度値が、エンコード前１１６の画像について並びにエンコード及びデコード後１１８の画像について図２に図示される。図２のｙ軸１２０は強度に相当し、ｘ軸１２２は画像における画素位置に相当する。図２に見られることができるように、エンコード前１１６の画素強度値と比較してエンコード及びデコード後１１８の画像における画素強度値間に差分がある。この差分は、例えばエンコード及びデコード工程からの圧縮ノイズによる。
[0037]図２は、スライディングウィンドウフィルタ１２４も概略的に図示する。スライディングウィンドウフィルタ１２４は、画像における様々な異なる位置に移動され（この例では、一行の画素における画素を横切って又はそれらに沿ってスライディングウィンドウフィルタ１２４を「スライドさせる」又は移動させることによって）、そしてそれに応じて異なる画素で畳み込まれて、画像の圧縮ノイズを低減する。
[0038]図２の例では、一行の画素は、強度値の鮮明な遷移１２６を有する。この遷移は、例えば、画像におけるエッジに相当する。例では、画像で畳み込まれるカーネル又はフィルタは、例えば鮮明な特徴又はエッジの鮮明度を低下させることを回避するために、もっぱらそのような特徴を含まない画像の領域において画像で畳み込まれてもよい。例えば、スライディングウィンドウフィルタ１２４は、画像における様々な位置に移動されてもよいが、但しこれらの位置が画像におけるエッジからある最小距離を超えて離れているものとする。
[0039]他の場合、スライディングウィンドウフィルタ１２４などのカーネルは、第１のサイズを持つ第１のカーネルでもよく、デコード画像データの圧縮ノイズ成分を低減するステップは、画像の第２の部分を表すデコード画像データに、第１のサイズと異なる第２のサイズを持つ第２のカーネルを適用することも含んでもよい。画像の第２の部分が画像の第１の部分より画像におけるエッジに近い場合、第２のサイズは第１のサイズより小さくてもよい。このようにして、比較的大きいカーネルがエッジから離れて使用されて、鮮明な画像特徴から離れた画像領域を平滑化することができ、より小さいカーネルが、例えば鮮明なエッジを保持するのを促進し且つそのようなエッジのぼやけを回避又は軽減するために、エッジ領域のより近くで使用されることができる。
[0040]図３ａ及び図３ｂは、エンコード画像データにおける圧縮ノイズの発生例を例示する。図３ａ及び図３ｂなどの例では、非可逆エンコード演算は、画像１２８を複数のブロックに分割することを含み、同ブロックはこの例では８×８画素のブロックであるが、他のブロックサイズも可能である。非可逆エンコード演算の量子化ステップの結果としての画素強度値の不連続部のため、近隣ブロック間の境界でブロッキングが発生するのが予期される。このことは、図３ｂのグラフに明らかに見られることができ、同図はエンコード及びデコード後の画像の画素強度値１３０を図示し、且つｙ軸１３２が強度に相当し、ｘ軸１３４が画像における画素位置に相当する。画素強度値１３０は、左列のブロックと中列のブロックとの間の第１の境界１３６に第１の不連続部及び中列のブロックと右列のブロックとの間の第２の境界１３８に第２の不連続部のように、画素の近隣ブロック間の境界に沿って不連続である。
[0041]図３ａ及び図３ｂなどの例における圧縮ノイズ低減を改善するために、画像の複数のブロックのうちの近隣ブロック間の境界を備える画像の第１の部分を表すデコード画像データに、カーネルが適用されてもよい。例えば、図３を参照すると、カーネルは、第１の境界１３６又は第２の境界１３８を取り囲む画素を含む画像の第１の部分に適用されてもよく、その理由は、画像のこれらの部分が圧縮ノイズに特に影響されやすいことがあるからである。
[0042]再度図１を参照すると、デコード画像データ１１０の圧縮ノイズ成分が低減１１２されてノイズ低減デコード画像データ１１４を生成した後に、ノイズ低減デコード画像データ１１４及び画像データ１０２が処理１４０されて、画像データ１０２とノイズ低減デコード画像データ１１４との間の差分を表す差分データ１４２を生成する。差分データ１４２は、例えば差分データ１４２を記憶するための記憶域要件を軽減するために、８ビット形式であってもよい。差分データ１４２は、例えば画像データ１０２からのノイズ低減デコード画像データ１１４の単純な減算によって得られてもよく、又はその逆も成立する。この様な減算は、ノイズ低減デコード画像データ１１４によって表される画像についての画素強度値を、画像データ１０２によって表される画像に対する対応する画素強度値から画素ごとに減算することによって行われてもよく、減算は色チャネルごとに別々に行われてもよい。しかしながら、更なる例では、ノイズ低減デコード画像データ１１４及び画像データ１０２から差分データ１４２を生成するために、異なる又はより複雑なアルゴリズムが使用されることができる。差分データ１４２は、ノイズ低減デコード画像データ１１４及び画像データ１０２の比較に基づく画素ごとの差分又はデルタを表すデルタストリームであると考えることができる。
[0043]図１の例では、差分データ１４２はスケーリング１４４され、スケーリング後の差分データ１４６がエンコード１４８されてエンコード差分データ１５０を生成する。エンコード差分データ１５０は、次いで典型的にはデコーダに転送され、次いでデコードされて、図５を参照しつつ以下で更に記載されるように、デコード差分データを得る。しかしながら、差分データ１４２のエンコード及びデコードは、差分データ自体に圧縮ノイズを受けさせることになる。差分データ１４２が小さければ、差分データ１４２のエンコード及びデコードによる圧縮ノイズ成分は、差分データ１４２自体と略同じレベルであることになる。例えば、差分データ及び圧縮ノイズ成分の大きさは、画像データ１０２の大きさの約１％でもよく、ここで大きさは、例えば画素強度の大きさである。このことは、エンコード及びデコード後の差分データが圧縮ノイズ成分によって支配されることになり、且つエンコード及びデコード前の差分データを正確に表さないことになることを意味する。エンコード１４８前の差分データ１４２をスケーリングすることによって、図１の例のように、差分データ１４２の大きさは、エンコード及びデコード工程による圧縮ノイズ成分の大きさに対して増大されることができる。このことは、差分データ１４２がエンコード及びデコード後でさえ、圧縮ノイズ成分と比較して比較的大きいままであることを保証することができる。例えば、差分データ１４２は、圧縮ノイズ成分を無視できる大きさにするか、又は差分データに悪影響を及ぼすのを回避するのに十分に小さくするように選択される係数によってスケーリングされてもよい。
[0044]差分データ１４２をスケーリングすることは、典型的にはエンコード画像データ１０６のサイズに対してエンコード差分データ１５０のサイズを増大させ、このことは、エンコード差分データ１５０及びエンコード画像データ１０６をデコードのためにエンコーダ１００からデコーダへ送信するために必要とされる帯域幅を増加させる可能性がある。例えば、４又は８のスケーリング因子だけ差分データ１４２をスケーリングすることは、エンコード差分データ１５０を記憶するためのそれぞれ追加の２又は３ビットのデータの要件に対応することになる。したがって、スケーリング因子は、より大きいスケーリング因子による向上した精度と、エンコード差分データ１５０を送信するために必要とされる増加した帯域幅とのバランスを取るように選択されることができる。この例では、スケーリングは４倍のスケーリングであるが、理解されるように、他のスケーリング因子も可能である。
[0045]他の例では、しかし、差分データ１４２は、スケーリングされることなくエンコードされてもよい。言い換えると、例えば差分データ１４２の大きさが差分データ１４２のエンコード及びデコードによる圧縮ノイズ成分の大きさと比較して比較的大きいか、又は帯域幅若しくはエンコード差分データ１５０を記憶するための記憶域要件が制限される場合には、スケーリングステップは無くてもよい。
[0046]図１のものなどの例では、差分データをエンコード１４８するステップは、画像データ１０２に適用されてエンコード画像データ１０６を生成するのと同じ非可逆エンコード演算を差分データに適用することを含む。例えば、画像データ１０２及び差分データの各々をエンコードするために、標準ＪＰＥＧエンコードアルゴリズムが使用されてもよい。しかしながら、更なる例では、画像データへとは異なるエンコード演算が差分データに適用されてもよい。例えば、可逆エンコード演算が差分データに適用されてもよい。
[0047]図４は、画像データ及び差分データの例を例示するグラフである。図４のｙ軸１５２は強度に相当し、ｘ軸１５４は画像における画素位置に相当する。エンコード前の画像例における一行の画素に対する画素強度値が実線１５６で例示され、エンコード及びデコード後の画像例におけるその同じ行の画素に対する画素強度値が一点鎖線１５８で例示される。非可逆エンコードアルゴリズムにおける量子化ステップのため、エンコード及びデコード後１５８の画像に対する画素強度値は、エンコード前１５６の画像のものと異なる。この差分は、更なる実線１６０でグラフの下部に図示される。しかしながら、デコード画像データの圧縮ノイズ成分を低減した後に、ノイズ低減デコード画像データとエンコード前の画像データとの間の差分は、圧縮ノイズ成分の低減がない場合よりも大きさが小さい。この差分は、図４に更なる一点鎖線１６２で例示される。差分データの大きさは画像の内容に依存し、図４の差分データ１６２は例であるにすぎない。例えば、画像における人間の顔の微細な細部など、画像に微細な細部があり、圧縮ノイズ低減が画像を平滑化する場合には、微細な細部は差分データに存在することになる。微細な細部は、したがって、差分データの使用によって（図５を参照しつつ以下で更に説明されるように）、デコード後に再構築されることができる。反対に、単色の壁の画像など、画像が比較的滑らかであり、圧縮ノイズ低減が画像を平滑化する場合には、差分データは実質的にゼロであることになる。
[0048]例における差分データは、圧縮ノイズの低減がない場合よりもサイズが小さく、同データがより効率的に記憶及び送信されるようにする。したがって、このようにして差分データを生成することによって、エンコード及びデコード工程は、より効率的に、且つエンコーダからデコーダへ転送されるデータ量がより少なく実行されることができる。
[0049]図５は、例に係るエンコード画像データをデコードする方法を実行するためのデコーダ１６４の内部部品の例を図示する概要図である。図５などの例におけるデコーダ１６４は、画像が正確にデコードされるようにするために、図１のエンコーダ例１００と同様の内部部品を有する。図１のエンコーダ１００の対応する部品と同様の図５のデコーダ１６４の部品は、同じ参照符号であるがダッシュを付けた符号で標識され、対応する記載が当てはまるものとされる。
[0050]デコーダ１６４は、エンコード画像データ１０６を受信する。エンコード画像データ１０６は、画像を表す画像データから、非可逆エンコード演算を使用して導出されている。この例では、エンコード画像データ１０６は、図１のエンコーダ１００によってエンコードされており、したがって同じ参照符号で標識される。エンコード画像データ１０６は、デコード１０８’されてデコード画像データ１１０’を生成する。デコード画像データ１１０’に圧縮ノイズ低減演算１１２’が適用されてノイズ低減デコード画像データ１１４’を生成する。デコーダ１６４の圧縮ノイズ低減演算１１２’は、画像データ１０２が正確にデコードされることを可能にするために、例におけるエンコーダ１００と同じ圧縮ノイズ低減演算１１２である。
[0051]並行して、エンコード差分データ１５０がデコーダ１６４によって受信される。エンコード差分データ１５０は、この例では図１のエンコーダ１００によってエンコードされるエンコード差分データ１５０である。エンコード差分データ１５０は、デコード１６６されてデコード差分データ１６８を生成する。エンコード差分データ１５０のデコードは、エンコード画像データ１０６’のデコードと同じデコードアルゴリズム、又は異なるアルゴリズムを使用してもよい。デコード差分データ１６８は、画像データ１０２とノイズ低減デコード画像データ１１４’との間の差分を表す。
[0052]図５の例では、エンコード差分データ１５０は、図１のエンコーダ１００から受信されており、同データは、差分データ１４２がエンコード１４８される前に、差分データ１４２にスケーリング演算１４４を適用している。このスケーリングを逆転するために、図５のデコーダ１６４は、したがってデコード差分データ１６８にデスケーリング演算１７０を適用して、前に適用されたスケーリングを逆転するように配置される部品を含む。デスケーリング部品は、差分データがエンコード工程の間にスケーリングされない例では、無くてもよい。デスケーリング後のデコード差分データ１７２及びノイズ低減デコード画像データ１１４’が処理１４０’されて、画像を表す出力画像データ１７４を生成する。出力画像データ１７４は、例えば、圧縮ノイズ低減が十分に低いレベルに圧縮ノイズ成分を低減する場合には、画像データ１０２と実質的に同じであることになる。
[0053]デコード画像データ１１０’は、第１のビット精度、例えば８ビットを有してもよく、出力画像データ１７４は、第１のビット精度より高い、例えば８ビットより高い第２のビット精度を有してもよい。例えば、ノイズ低減デコード画像データ１１４’及び差分データの処理は、画像を表すデータのビット精度を向上させるために使用されてもよい。例えば、デコード画像データ１１０’は、ＳＤＲ又はＬＤＲ表現などの、画像の第１のダイナミックレンジ表現を表してもよく、出力画像データ１７４は、ＨＤＲ表現などの、画像の第２のダイナミックレンジ表現を表してもよく、第２のダイナミックレンジは第１のダイナミックレンジより大きい。したがって、本明細書における例に係るエンコード及びデコード工程は、出力画像もＨＤＲ画像であるようにエンコード及びデコード工程による圧縮ノイズを補償するように、ＨＤＲ画像を正確に複製するために使用されることができる。
[0054]図１のエンコーダ１００及び図５のデコーダ１６４がＪＰＥＧ ＸＴコーデックを実装するために使用される例では、エンコード画像データ１０６は、基本画像レイヤデータに相当することができ、同レイヤデータは、ＬＤＲ又はＳＤＲデータをデコードし且つ差分データを無視することができる標準ＪＰＥＧデコーダを使用してＪＰＥＧ ＸＴファイルがデコードされることができるように、レガシー実装が利用可能なＬＤＲ又はＳＤＲデータでもよい。この例では、エンコード差分データ１５０は、拡張画像レイヤデータに相当することができ、同レイヤデータは、ＨＤＲ画像、例えば基本画像レイヤデータによって表される画像より高いダイナミックレンジを持つ画像を再構築するための残差画像データ及び変形情報を含む。エンコード差分データは、それ自体標準ＪＰＥＧデコードアルゴリズムを使用してデコードされ、次いでＪＰＥＧ ＸＴ標準に従ってデコード画像データと組み合わされて、出力画像を表す出力画像データを生成することができる。例えば、エンコード画像データ１０４のデコード１０８’及びエンコード差分データ１５０のデコード１６６は両方とも、標準ＪＰＥＧデコーダを使用して行われてもよい。これらの例では、エンコード画像データ１０６もエンコード差分データ１５０も各色チャネルにつき８ビットのビット精度、例えば８ビットＹＵＶを有してもよいが、他の例では他のビット精度も可能である。上記のように、出力画像データ１７４は、各色チャネルにつき８ビットより高い精度を有してもよい。
[0055]上記の例に係る方法が使用されることができるシステム例が、図６を参照しつつ記載される。当業者によって理解されるように、しかしながら、他のシステム又は機器がその方法と共に又は同方法を実装するために使用されてもよい。図７は、図６の１つ又は複数のデータベース、サーバデバイス、コンピューティングデバイス、及びディスプレイデバイス間の通信の例を図示するシーケンス図を例示する。
[0056]図６は、ネットワーク１７４を通じてサーバデバイス１８０に通信可能に結合されるコンピューティングデバイス１７６を図示する。画像１８２がサーバデバイス１８０に記憶される。コンピューティングデバイス１１７６は、ディスプレイデバイス１８４に通信可能に結合される。ネットワーク１７８は、インターネットなどの一連のネットワークを含んでもよい。
[0057]コンピューティングデバイス１７６は、とりわけ、携帯電話、即ち移動電話、例えばスマートフォン、タブレット、ラップトップ又はパーソナルコンピュータ、携帯情報端末の他に、ゲームコンソールなどの様々な他の電子デバイスであっても、又はこれらを含んでもよい。コンピューティングデバイス例１７６の部品は、図８を参照しつつ以下に詳細に記載される。コンピューティングデバイス１７６は、統合又は外部結合有線及び／又は無線ローカルエリアネットワーク（ＬＡＮ）機能を有してもよく、同機能は、例えば追加のユニバーサルシリアルバス（ＵＳＢ）又は専用デバイスを介して結合されてもよい。例えば、コンピューティングデバイス１７６は、市内交換へのデジタル加入者回線（ＤＳＬ）、ケーブル又はファイバ接続に次いで接続される有線及び／又は無線ルータに結合可能でもよい。市内交換は、公衆電話交換網（ＰＳＴＮ）又はケーブルプロバイダのネットワークシステムなどの１つ又は複数の中間ネットワークを使用していわゆるインターネットに結合されてもよい。代替的に、ユニバーサル移動電気通信システム（ＵＭＴＳ）又はロングタームエボリューション（ＬＴＥ）標準のいずれかを使用するものなどの無線電気通信システムが、固定又は移動コンピューティングデバイスに通信媒体を提供してもよい。これらの後者ネットワークシステムは、伝送制御プロトコル（ＴＣＰ）及びインターネットプロトコル（ＩＰ）などのプロトコルを使用して通信するサーバ、ルータ及び他のネットワーキング機器を備える一連の１つ又は複数のネットワークに次いで接続されてもよい。コンピューティングデバイス１７６がスマートフォンなどのモバイルデバイスである場合、コンピューティングデバイス１７６は、１つ又は複数のＴＣＰ／ＩＰネットワークに結合されるコアネットワークと無線通信するための統合電気通信モジュールを有してもよく、同様に、コンピューティングデバイス１７６がラップトップ又はタブレットコンピュータである場合、それは、コアネットワーク及びより広いインターネットとの無線通信のための外部結合電気通信モデム（いわゆる「ドングル」、典型的にはＵＳＢを介して結合される）を有してもよい。サーバデバイス１８０は、適切なネットワーク通信部品を同様に有してもよい。サーバデバイス１８０は、ネットワーク１７８を通じて要求を受信するように配置されるＨＴＴＰサーバを含んでもよい。ある場合には、コンピューティングデバイス１７６及びサーバデバイス１８０の１つ又は複数は、基礎となる物理コンピューティングハードウェアに実装される仮想デバイスを備えてもよい。例におけるコンピューティングデバイス１７６は、サーバデバイス１８０へのアクセスが構成されるクライアントデバイスであると考えられてもよい。
[0058]例に係る方法の考え得る使用の例示的な例では、ユーザは、コンピューティングデバイス１７６のブラウザを使用してウェブページにアクセスする。ウェブページは、サーバデバイス１８０にホストされ、且つ画像１８２を含む様々なコンテンツを含む。ブラウザは、ネットワーク１７８を介してサーバデバイス１８０から画像に関するデータを検索する。例えば、サーバデバイス１８０は、ＨＴＴＰ又は他のネットワーク要求を受信及び処理するように配置されてもよい。
[0059]例におけるサーバデバイス１８０から検索されたデータは、上記のように、画像（エンコード前）を表す画像データとノイズ低減デコード画像データとの間の差分を表すエンコード差分データを含む。例えば、エンコード画像データ及びノイズ低減デコード画像データは、ＪＰＥＧ ＸＴファイルなどの同じファイルに記憶されてもよい。そのような例では、上記のように、エンコード画像データは、基本画像レイヤデータに相当することができ、エンコード差分データは、拡張画像レイヤデータに相当することができる。
[0060]コンピューティングデバイス１７６は、図５を参照しつつ上記のように、データをデコードして、出力画像を表す出力画像データを生成するように配置されてもよい。出力画像、又は出力画像の追加処理の出力に基づく更なる出力画像が、コンピューティングデバイス１７６に結合されたディスプレイデバイス１８４によって表示されてもよい。ディスプレイデバイス１８４は、コンピューティングデバイス１７６に内部的に結合されて、ディスプレイデバイス１８４がコンピューティングデバイス１７６自体の一部を形成してもよい。例えば、ディスプレイデバイス１８４は、スマートフォン；タブレット、ラップトップ若しくはデスクトップコンピュータ；又は携帯情報端末などのコンピューティングデバイス１７６のディスプレイ画面でもよい。代替的に、ディスプレイデバイス１８４は、コンピューティングデバイス１７６に結合された外部デバイス、例えば高精細度マルチメディアインタフェース（ＨＤＭＩ）ケーブルを介してラップトップ、デスクトップコンピュータ若しくはゲームコンソールに結合されるテレビ画面又はコンピュータモニタでもよい。
[0061]図７は、図６の画像１８２を記憶するサーバデバイスの記憶域、サーバデバイス１８０、コンピューティングデバイス１７６、及びディスプレイデバイス１８４間の一組の通信例を図示するシーケンス図である。
[0062]動作１８６で、コンピューティングデバイス１７６のブラウザが、コンピューティングデバイス１７６のネットワークインタフェース１８８を介してサーバデバイス１７８に画像１８２を含むウェブページを要求する。要求は、サーバデバイス１８０のネットワークインタフェース１９０によって受信される。図７の通信例の動作１９２で、サーバデバイス１８０の記憶域インタフェース１９４が、サーバデバイス１８０の記憶域又は同デバイスに結合された記憶域にある、エンコード画像データ及びエンコード差分データにアクセスする。ウェブページは、エンコード画像データ及びエンコード差分データを含み、動作１９６で、記憶域からサーバデバイス１８０の記憶域インタフェース１９４へ送信される。サーバデバイス１８０は次いで、ブロック１９８で、サーバデバイス１８０のネットワークインタフェース１９０からコンピューティングデバイス１７６のネットワークインタフェース１８８へエンコード画像データ及びエンコード差分データを送信する。図５及び図８を参照しつつ更に記載される、コンピューティングデバイス１７６のデコーダモジュールが、エンコード画像データ及びエンコード差分データに基づいて出力画像データを生成する。ブロック２００で、出力画像データが、コンピューティングデバイス１７６のディスプレイデバイスインタフェース２０２によってディスプレイデバイス１８４に転送されて、ユーザに出力画像データに基づく出力画像の他に、ウェブページの他のコンテンツを表示する。
[0063]図６及び図７のコンピューティングデバイス１７６のための内部部品の例の概観が、図８を参照しつつ以下に提供される。
[0064]図８のコンピューティングデバイス１７６は、サーバデバイス１８０からエンコード画像データ及びエンコード差分データを検索するネットワークインタフェース１８８を備える。コンピューティングデバイス１７６のネットワークインタフェース１８８は、仮想ネットワークインタフェース、イーサネットポート、ソフトウェアドライバ、及び／又はネットワークハードウェアと対話する通信スタックなど、ソフトウェア及び／又はハードウェア部品を含んでもよい。
[0065]図８の例におけるコンピューティングデバイス１７６の記憶域２０４は、ネットワークインタフェース１８８で受信されるデータ２０６を記憶する。この例におけるデータ２０６は、エンコード画像データ及びエンコード差分データを含む。記憶域２０４は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ、及びリードオンリメモリ（ＲＯＭ）又はフラッシュメモリなどのソリッドステートドライブ（ＳＳＤ）などの不揮発性メモリの少なくとも１つを含んでもよい。例における記憶域２０４は、更なる記憶デバイス、例えば磁気、光学若しくはテープ媒体、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）又は他のデータ記憶媒体を備えてもよい。記憶域２０４は、コンピューティングデバイス１７６から取り外し可能でも又は非取り外し可能でもよい。
[0066]少なくとも１つのプロセッサ２０８が、図８のコンピューティングデバイス１７６における記憶域２０４に通信可能に結合される。図８の例における少なくとも１つのプロセッサ２０８は、マイクロプロセッサ、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブル論理デバイス、個別ゲート又はトランジスタ論理、個別ハードウェア部品、又は本明細書に記載される機能を行うように設計される任意の適切なそれらの組合せでもよい。プロセッサはまた、コンピューティングデバイスの組合せ、例えばＤＳＰ及びマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併せて１つ若しくは複数のマイクロプロセッサ、又は任意の他のそのような構成として実装されてもよい。少なくとも１つのプロセッサ２０８はまた、エヌビディア（ＮＶＩＤＩＡ）（登録商標）、２７０１ Ｓａｎ Ｔｏｍａｓ Ｅｘｐｒｅｓｓｗａｙ、Ｓａｎｔａ Ｃｌａｒａ、ＣＡ ９５０５０、ＵＳＡから入手可能な、エヌビディアジーフォース（ＧｅＦｏｒｃｅ）（登録商標）ＧＴＸ ９８０などの少なくとも１つのグラフィック処理装置（ＧＰＵ）であっても、又はそれを含んでもよいが、他のプロセッサも可能である。例えば、１つの場合には、コンピューティングデバイスは、グラフィック処理能力を持つシン端子を備えてもよく；他の場合には、コンピューティングデバイスは、少なくとも１つの中央処理装置（ＣＰＵ）及び少なくとも１つのグラフィック処理装置を備えるコンピューティングデバイスを備えてもよい。
[0067]図８の例における記憶域２０４は、エンコード画像データをデコードしてデコード画像データを生成し、圧縮ノイズ低減演算を適用してデコード画像データの圧縮ノイズ成分を低減してノイズ低減デコード画像データを生成し、エンコード差分データをデコードして、画像データとノイズ低減デコード画像データとの間の差分を表すデコード差分データを生成し、ノイズ低減デコード画像データ及びデコード差分データを処理して、画像を表す出力画像データを生成するように動作可能なデコーダモジュール２１０を含む。デコーダモジュール２１０は、ハードウェア又はソフトウェアで実装されてもよい。例えば、デコーダモジュール２１０は、少なくとも１つのプロセッサ２０８によって処理されると、デコーダモジュール２１０を実装するように構成されるコンピュータプログラム命令の形態であってもよい。コンピュータプログラム命令は、アクセス可能な非一時的コンピュータ可読媒体に記憶され、そしてメモリ、例えば記憶域２０４へロードされてデコーダモジュール２１０を実装してもよい。例では、記憶域２０４及びコンピュータプログラム命令は、記憶域２０４のグラフィック処理装置で、デコーダモジュールを実装するように構成される。
[0068]図８の例におけるコンピューティングデバイス１７６の部品は、システムバス２１２を使用して相互接続される。このことにより、データが様々な部品間で転送されることが可能になる。例えば、例に係る方法によって生成される出力画像データは、記憶域２０４に記憶され、続いて、表示のためのディスプレイデバイス１８４への転送のために記憶域２０４からディスプレイデバイスインタフェース２０２へシステムバス２１２を介して送信されることができる。ディスプレイデバイスインタフェース２０２は、例えばディスプレイデバイス１８４がスマートフォンのディスプレイ画面など、コンピューティングデバイス１７６の一部である場合、ディスプレイポート及び／又は内部エレクトロニクスインタフェースを含んでもよい。したがって、ディスプレイデバイスインタフェース２０２を介して少なくとも１つのプロセッサ２０８によって命令されると、ディスプレイデバイス１８４は、出力画像データに基づく画像を表示することになる。
[0069]図８の例では、コンピューティングデバイス１７６の記憶域２０４は、エンコーダモジュール２１４も含み、同モジュールは、デコーダモジュール２１０と同様に、ハードウェア又はソフトウェアで実装されてもよい。記憶域２０４がエンコーダモジュール２１４を含む図８などの例では、デコーダモジュール２０６によって生成されるデコード画像データは、第２のデコード画像データであると考えられてもよく、デコーダモジュール２０６によって生成されるノイズ低減デコード画像データは、第２のノイズ低減デコード画像データであると考えられてもよい。これらの例では、エンコーダモジュール２１４は、画像データに非可逆エンコード演算を適用してエンコード画像データを生成し、エンコード画像データをデコードして第１のデコード画像データを生成し、第１のデコード画像データに圧縮ノイズ低減演算を適用して第１のノイズ低減デコード画像データを生成し、第１のノイズ低減デコード画像データ及び画像データを処理して差分データを生成し、そして差分データをエンコードしてエンコード差分データを生成するように構成されてもよい。このようにして、コンピューティングデバイス１７６は、必要に応じて、画像を表すデータのエンコードとデコードの両方を行うように動作可能であってもよい。例えば、エンコーダモジュール２１４は、図１のエンコーダ１００と同様又は同じでもよく、デコーダモジュール２０６は、図５のデコーダ１６４と同様又は同じでもよい。
[0070]上記の例は、例示的な例として理解すべきである。更なる例が想定される。図１及び図５の例では、圧縮ノイズ成分を低減するステップは、それぞれ、エンコーダ及びデコーダによって行われる。しかしながら、更なる例では、圧縮ノイズ成分を低減するために、他の部品又はモジュールが使用されてもよい。図１及び図５のエンコーダ及びデコーダは例示的であるにすぎず、且つ図示されない更なる部品を含んでもよい。更には、図１及び図５のエンコーダ及びデコーダによってそれぞれ実装される方法は、それぞれ、エンコーダ及びデコーダ以外の１つ又は複数のモジュールによって実装されてもよい。これらの方法を実装するために任意の適切なハードウェア又はソフトウェアが使用されてもよく、図１及び図５の実装例は限定的であるとは意図されない。本明細書に記載される例は、ＪＰＥＧ ＸＴコーデックの使用に関するが、しかしながら他の例では、本明細書に記載される方法及びシステムは、異なるコーデックに対して使用されてもよい。
[0071]任意の１つの例に関して記載される任意の特徴が、単独で、又は記載される他の特徴と組み合わせて使用されてもよく、更に任意の他の例、又は任意の他の例の任意の組合せの１つ又は複数の特徴と組み合わせて使用されてもよいことが理解されるべきである。更には、上記していない等価物及び変更が添付の請求項の範囲から逸脱することなく利用されてもよい。
１００ エンコーダ
１０２ 画像データ
１０４ エンコード
１０６ エンコード画像データ
１０８ デコード
１０８’ デコード
１１０ デコード画像データ
１１０’ デコード画像データ
１１２ 圧縮ノイズ低減
１１２’ 圧縮ノイズ低減
１１４ ノイズ低減デコード画像データ
１１４’ ノイズ低減デコード画像データ
１１６ エンコード前の画素強度値
１１８ エンコード及びデコード後の画素強度値
１２０ ｙ軸
１２２ ｘ軸
１２４ スライディングウィンドウフィルタ
１２６ 遷移
１２８ 画像
１３０ 画素強度値
１３２ ｙ軸
１３４ ｘ軸
１３６ 第１の境界
１３８ 第２の境界
１４０ 処理
１４０’ 処理
１４２ 差分データ
１４４ スケーリング
１４６ スケーリング後の差分データ
１４８ エンコード
１５０ エンコード差分データ
１５２ ｙ軸
１５４ ｘ軸
１５６ エンコード前の画素強度値
１５８ エンコード及びデコード後の画素強度値
１６０ 差分
１６２ 差分データ
１６４ デコーダ
１６６ デコード
１６８ デコード差分データ
１７０ デスケーリング
１７２ デスケーリング後のデコード差分データ
１７４ 出力画像データ
１７６ コンピューティングデバイス
１７８ ネットワーク
１８０ サーバデバイス
１８２ 画像
１８４ ディスプレイデバイス
１８８ ネットワークインタフェース
１９０ ネットワークインタフェース
１９４ 記憶域インタフェース
２０２ ディスプレイデバイスインタフェース
２０４ 記憶域
２０６ データ
２０８ プロセッサ
２１０ デコーダモジュール
２１２ システムバス
２１４ エンコーダモジュール

Claims (20)

  1. 画像を表す画像データをエンコードする方法であって、
    前記画像データを受信するステップと、
    前記画像データに非可逆エンコード演算を適用するステップであり、前記画像を表すエンコード画像データを生成するステップと、
    前記エンコード画像データをデコードするステップであり、デコード画像データを生成するステップと、
    前記デコード画像データの圧縮ノイズ成分を低減するステップであり、ノイズ低減デコード画像データを生成するステップと、
    前記ノイズ低減デコード画像データ及び前記画像データを処理するステップであり、前記画像データと前記ノイズ低減デコード画像データとの間の差分を表す差分データを生成するステップと、
    前記差分データをエンコードするステップであり、エンコード差分データを生成するステップと、
    を含む、方法。
  2. 前記差分データをエンコードする前記ステップが、前記差分データに前記非可逆エンコード演算を適用するステップを含んでいる、請求項１に記載の方法。
  3. 前記圧縮ノイズ成分を低減する前記ステップが、画像をエンコードすることが可能なエンコーダによって行われる、請求項１又は２に記載の方法。
  4. 前記画像データに前記非可逆エンコード演算を適用する前記ステップの前に前記画像データのダイナミックレンジを低下させるステップを含む、請求項１〜３のいずれか一項に記載の方法。
  5. 前記画像データが、８ビットを超える形式である、請求項１〜４のいずれか一項に記載の方法。
  6. 前記エンコード画像データ又は前記差分データの少なくとも１つが、８ビット形式である、請求項１〜５のいずれか一項に記載の方法。
  7. 前記デコード画像データの前記圧縮ノイズ成分を低減する前記ステップが、
    前記デコード画像データにおけるバンディングノイズを低減する前記デコード画像データに対する平滑フィルタ、
    前記デコード画像データに対するバイラテラルフィルタ、
    前記デコード画像データに対する異方性フィルタ、
    前記デコード画像データに対するスライディングウィンドウフィルタ、若しくは
    前記デコード画像データに対する平均化フィルタ
    のうち１つ、又は任意の２つ以上の組合せを適用することを含んでいる、請求項１〜６のいずれか一項に記載の方法。
  8. 前記デコード画像データの前記圧縮ノイズ成分を低減する前記ステップが、前記画像の第１の部分を表すデコード画像データにカーネルを適用するステップを含んでいる、請求項１〜７のいずれか一項に記載の方法。
  9. 前記画像の前記第１の部分は、前記画像において実質的にエッジがない、請求項８に記載の方法。
  10. 前記非可逆エンコード演算が、前記画像データによって表される前記画像を複数のブロックに分割することを含んでおり、
    前記画像の前記第１の部分が、前記画像の前記複数のブロックのうちの近隣ブロック間の境界を含んでいる、請求項８又は９に記載の方法。
  11. 前記カーネルが、第１のサイズを持つ第１のカーネルであり、前記デコード画像データの前記圧縮ノイズ成分を低減する前記ステップが、前記画像の第２の部分を表すデコード画像データに、前記第１のサイズと異なる第２のサイズを持つ第２のカーネルを適用するステップを更に含んでいる、請求項８〜１０のいずれか一項に記載の方法。
  12. 前記第２のサイズが、前記第１のサイズより小さく、前記画像の前記第２の部分が、前記画像の前記第１の部分よりも前記画像におけるエッジに近い、請求項１１に記載の方法。
  13. 前記差分データをエンコードする前記ステップの前に前記差分データをスケーリングするステップを含む、請求項１〜１２のいずれか一項に記載の方法。
  14. 画像を表す画像データから非可逆エンコード演算を使用して導出されるエンコード画像データをデコードする方法であって、
    前記エンコード画像データを受信するステップと、
    前記エンコード画像データをデコードするステップであり、デコード画像データを生成するステップと、
    圧縮ノイズ低減演算を適用するステップであり、前記デコード画像データの圧縮ノイズ成分を低減してノイズ低減デコード画像データを生成するステップと、
    エンコード差分データを受信するステップと、
    前記エンコード差分データをデコードするステップであり、前記画像データと前記ノイズ低減デコード画像データとの間の差分を表すデコード差分データを生成するステップと、
    前記ノイズ低減デコード画像データ及び前記デコード差分データを処理するステップであり、前記画像を表す出力画像データを生成するステップと、
    を含む、方法。
  15. 前記出力画像データが、前記画像データと実質的に同じである、請求項１４に記載の方法。
  16. 前記デコード画像データが、第１のビット精度を有し、前記出力画像データが、前記第１のビット精度より高い第２のビット精度を有している、請求項１４又は１５に記載の方法。
  17. 前記デコード画像データが、前記画像の第１のダイナミックレンジ表現を表し、前記出力画像データが、前記画像の第２のダイナミックレンジ表現を表しており、前記第２のダイナミックレンジが前記第１のダイナミックレンジより大きい、請求項１４〜１６のいずれか一項に記載の方法。
  18. 前記方法が、画像をデコードすることが可能なデコーダによって行われる、請求項１４〜１７のいずれか一項に記載の方法。
  19. コンピューティングデバイスであって、
    記憶域であり、
    画像を表す画像データから非可逆エンコード演算を使用して導出されるエンコード画像データと、
    エンコード差分データと
    を記憶するための記憶域と、
    前記記憶域に通信可能に結合された少なくとも１つのプロセッサと、
    デコーダモジュールであり、
    前記エンコード画像データをデコードしてデコード画像データを生成し、
    圧縮ノイズ低減演算を適用して前記デコード画像データの圧縮ノイズ成分を低減してノイズ低減デコード画像データを生成し、
    前記エンコード差分データをデコードして、前記画像データと前記ノイズ低減デコード画像データとの間の差分を表すデコード差分データを生成し、
    前記ノイズ低減デコード画像データ及び前記デコード差分データを処理して、前記画像を表す出力画像データを生成する
    ように動作可能なデコーダモジュールと、
    を備えるコンピューティングデバイス。
  20. 前記デコード画像データが、第２のデコード画像データであり、前記ノイズ低減デコード画像データが、第２のノイズ低減デコード画像データであり、前記コンピューティングデバイスがエンコーダモジュールを備えており、
    該エンコーダモジュールは、
    前記画像データに前記非可逆エンコード演算を適用して前記エンコード画像データを生成し、
    前記エンコード画像データをデコードして第１のデコード画像データを生成し、
    前記圧縮ノイズ演算を適用して前記第１のデコード画像データの前記圧縮ノイズ成分を低減して第１のノイズ低減デコード画像データを生成し、
    前記第１のノイズ低減デコード画像データ及び前記画像データを処理して前記差分データを生成し、
    前記差分データをエンコードして前記エンコード差分データを生成する
    ように構成されている、請求項１９に記載のコンピューティングデバイス。
JP2017231744A 2016-12-21 2017-12-01 画像データのエンコード及びデコード Pending JP2018107797A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1621898.4 2016-12-21
GB1621898.4A GB2557997B (en) 2016-12-21 2016-12-21 Encoding and Decoding of image data

Publications (2)

Publication Number Publication Date
JP2018107797A true JP2018107797A (ja) 2018-07-05
JP2018107797A5 JP2018107797A5 (ja) 2020-12-03

Family

ID=58284363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017231744A Pending JP2018107797A (ja) 2016-12-21 2017-12-01 画像データのエンコード及びデコード

Country Status (5)

Country Link
US (1) US10491924B2 (ja)
JP (1) JP2018107797A (ja)
KR (1) KR102531468B1 (ja)
CN (1) CN108235037B (ja)
GB (1) GB2557997B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
JP6978675B2 (ja) * 2018-01-25 2021-12-08 富士通株式会社 データ圧縮装置、データ圧縮方法およびデータ圧縮プログラム
US11308873B2 (en) * 2019-05-23 2022-04-19 Samsung Display Co., Ltd. Redundancy assisted noise control for accumulated iterative compression error
KR20210099865A (ko) 2020-02-05 2021-08-13 삼성전자주식회사 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치
CN112184843B (zh) * 2020-11-09 2021-06-29 新相微电子(上海)有限公司 图像数据压缩的冗余数据去除系统及方法
CN112887729B (zh) * 2021-01-11 2023-02-24 西安万像电子科技有限公司 图像编解码的方法和装置
CN116260976B (zh) * 2023-05-15 2023-07-18 深圳比特耐特信息技术股份有限公司 一种视频数据处理应用系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法
JP2012517774A (ja) * 2009-02-10 2012-08-02 シリコン イメージ，インコーポレイテッド ブロックノイズの検出及びフィルタ処理
JP2014171097A (ja) * 2013-03-04 2014-09-18 Toshiba Corp 符号化装置、符号化方法、復号装置、および、復号方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194035B2 (en) * 2003-01-08 2007-03-20 Apple Computer, Inc. Method and apparatus for improved coding mode selection
KR20060056690A (ko) * 2004-11-22 2006-05-25 주식회사 네빌소프트 영상 인코딩 방법 및 그 장치 그리고 영상 디코딩 방법및 그 장치
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
US20100238190A1 (en) * 2009-03-17 2010-09-23 Florian Ciurea Joint high dynamic range compression and noise reduction
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
JPWO2014084107A1 (ja) * 2012-11-30 2017-01-05 ソニー株式会社 画像処理装置および方法
US20140192266A1 (en) * 2013-01-04 2014-07-10 Qualcomm Incorporated Method and apparatus of reducing compression noise in digital video streams

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012517774A (ja) * 2009-02-10 2012-08-02 シリコン イメージ，インコーポレイテッド ブロックノイズの検出及びフィルタ処理
JP2011223337A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置および方法
JP2014171097A (ja) * 2013-03-04 2014-09-18 Toshiba Corp 符号化装置、符号化方法、復号装置、および、復号方法

Also Published As

Publication number Publication date
GB2557997A (en) 2018-07-04
CN108235037A (zh) 2018-06-29
US20180176604A1 (en) 2018-06-21
GB2557997B (en) 2019-05-01
CN108235037B (zh) 2022-08-16
GB201621898D0 (en) 2017-02-01
KR102531468B1 (ko) 2023-05-11
KR20180072548A (ko) 2018-06-29
US10491924B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
US10491924B2 (en) Encoding and decoding of image data
CN107888943B (zh) 图像处理
JP6362793B2 (ja) ハイダイナミックレンジ映像のためのディスプレイマネジメント
Banterle et al. High dynamic range imaging and low dynamic range expansion for generating HDR content
RU2589857C2 (ru) Кодирование, декодирование и представление изображений с расширенным динамическим диапазоном
US9299317B2 (en) Local multiscale tone-mapping operator
CN108476325B (zh) 用于高动态范围颜色转换校正的介质、方法和设备
US10783620B2 (en) Image processing
KR20120107429A (ko) 구역 기반의 톤 매핑
WO2023010754A1 (zh) 一种图像处理方法、装置、终端设备及存储介质
CN108600783B (zh) 一种帧率调节方法、装置及终端设备
WO2012138568A1 (en) System and method for encoding and decoding anti-aliased video data
JP2022539683A (ja) 画像処理方法および装置
US20220237754A1 (en) Image processing method and apparatus
WO2019091196A1 (zh) 图像处理的方法和装置
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
US10362338B2 (en) Image processing
Deever et al. Digital camera image formation: Processing and storage
WO2021093718A1 (zh) 视频处理方法、视频修复方法、装置及设备
CN113395475B (zh) 数据处理方法、装置、电子设备及存储设备
US10349087B2 (en) Methods, systems, and computer readable media for reconstructing images using blurring and noise-enhanced pixel intensity resampling
US8698832B1 (en) Perceptual detail and acutance enhancement for digital images
CN111382772A (zh) 一种图像处理方法、装置及终端设备
CN113194267B (zh) 图像处理方法及装置、拍照方法及装置
CN116485979B (zh) 映射关系计算方法、颜色校准方法及电子设备

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220426