JP2021150955A - 訓練方法、画像符号化方法、画像復号化方法及び装置 - Google Patents

訓練方法、画像符号化方法、画像復号化方法及び装置 Download PDF

Info

Publication number
JP2021150955A
JP2021150955A JP2021024862A JP2021024862A JP2021150955A JP 2021150955 A JP2021150955 A JP 2021150955A JP 2021024862 A JP2021024862 A JP 2021024862A JP 2021024862 A JP2021024862 A JP 2021024862A JP 2021150955 A JP2021150955 A JP 2021150955A
Authority
JP
Japan
Prior art keywords
image
quantization
latent variable
training
entropy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021024862A
Other languages
English (en)
Inventor
静 周
Jing Zhou
静 周
章 中川
Akira Nakagawa
章 中川
思寒 温
Sihan Wen
思寒 温
タヌ・ジミン
Tan Zhiming
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2021150955A publication Critical patent/JP2021150955A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】本発明は、訓練方法、画像符号化方法、画像復号化方法及び装置を提供する。【解決手段】画像符号化装置は、入力画像データに対して符号化を行い、潜在変数を取得する画像符号器；量子化ステップ長に基づいて前記潜在変数に対して量子化処理を行い、量子化潜在変数を生成する量子化器；及び、エントロピーモデルを用いて、量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成するエントロピー符号器を含む。【選択図】図１

Description

本発明は、画像処理分野に関する。
コンピュータ技術の発達に伴い、画像の応用が益々広くなっている。画像ファイルに対して効果的な記憶又は伝送を行うために、画像に対して符号化（ｅｎｃｏｄｅ）を行う必要があり、符号化の結果は、ビットストリームに変換することができる。ビットストリームに対して復号化（ｄｅｃｏｄｅ）を行うことで、画像を再現することができる。
深層ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が既に画像符号化分野における前途のある研究テーマの１つになっている。深層ニューラルネットワークに基づいて設計された非線形変換符号化方法は、従来の画像符号化方法に比較してより良いパフォーマンスを有する。従来の画像符号化方法は、例えば、ベター・ポータブル・グラフィックス（ＢＰＧ）符号化方法である。
深層ニューラルネットワークに基づく画像符号化方法では、１つの鍵となる重要な課題が如何にビットレート（ｂｉｔ ｒａｔｅ）とディストーション（ｄｉｓｔｏｒｔｉｏｎ）の折衷を実現するかである。そのうち、ビットレートは、画像のサイズに対する画像のビットストリームの大小（ｍａｇｎｉｔｕｄｅ）を反映することができる。例えば、ビットレートは、ビットストリームの長さを画像の長さと幅の乗積で割ることにより得られた商に等しくても良い。ディストーションは、復号化後に取得される画像とオリジナル画像の差を反映することができる。
通常、ラグランジュ乗数（Ｌａｇｒａｎｇｅ ｍｕｌｔｉｐｌｉｅｒ）を導入してビットレートとディストーションの折衷を実現することができる。例えば、深層ニューラルネットワークに基づく符号器に対して訓練を行うときに、損失関数（Ｒ＋λ＊Ｄ）に基づいて訓練を行うことができ、そのうち、Ｒはビットレートを示し、Ｄはディストーションの程度を示し、λは調整可能なパラメータである。
損失関数（Ｒ＋λ＊Ｄ）に基づいて訓練することで符号器のネットワークを得た後に、画像のビットレート及びディストーションの程度が確定されている。
発明者が次のようなことを発見した。即ち、ビットレートを調整する必要がある場合、通常、λの値を複数回修正し、且つ各々のλの値に対応して、符号器のネットワークに対して再び訓練を行い、そして、ビットレートが必要なビットレートに最も接近する符号器のネットワークを確定する必要がある。このようなビットレートの調整方法は、比較的面倒である。
本発明の実施例は、訓練方法、画像符号化方法、画像復号化方法及び装置を提供し、該訓練方法により取得される画像符号器は、異なるビットレートの調整を容易に実現することができる。
本発明の実施例の第一側面によれば、訓練画像を用いて画像符号器及び画像復号器に対して訓練を行う、画像処理装置の訓練装置が提供され、前記訓練装置は、
第一取得ユニットであって、前記画像符号器が入力訓練画像データに対して符号化を行うことで取得する潜在変数（ｌａｔｅｎｔ ｖａｒｉａｂｌｅ）ｚを取得する、もの；
第二取得ユニットであって、前記画像復号器が前記潜在変数ｚに対して復号化を行うことで取得する第一復元画像データ、及び、前記画像復号器が前記潜在変数ｚとノイズεの和（ｚ＋ε）に対して復号化を行うことで取得する第二復元画像データを取得する、もの；及び
訓練ユニットでであって、コスト関数Ｌに基づいて前記画像符号器及び前記画像復号器に対して訓練を行い、前記コスト関数Ｌが、入力訓練画像データｘと前記第一復元画像データとの偏差（ｄｅｖｉａｔｉｏｎ）、及び、前記第一復元画像データと前記第二復元画像データとの偏差に関連する、ものを含む。
本発明の実施例の第二側面によれば、画像符号化装置が提供され、それは、
画像符号器であって、入力画像データｘに対して符号化を行い、潜在変数ｚを取得し、前記画像符号器が上述の第一側面に記載の訓練装置の訓練により取得される、もの；
量子化器（ｑｕａｎｔｉｚｅｒ）であって、量子化ステップ長Ｑに基づいて前記潜在変数ｚに対して量子化処理を行い、量子化潜在変数を生成する、もの；及び
エントロピー符号器であって、エントロピーモデルを用いて量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成する、ものを含む。
本発明の実施例の第三側面によれば、画像復号化装置が提供され、それは、
エントロピー復号器であって、エントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成する、もの；
逆量子化器（ｄｅ−ｑｕａｎｔｉｚｅｒ）であって、量子化ステップ長Ｑに基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成する、もの；及び
画像復号器であって、前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得する、ものを含み、
前記画像復号器は、上述の第一側面に記載の訓練装置の訓練により取得される。
本発明の実施例の第四側面によれば、訓練画像を用いて画像符号器及び画像復号器に対して訓練を行う、画像処理方法の訓練方法が提供され、前記訓練方法は、
前記画像符号器が入力訓練画像データに対して符号化を行うことで取得する潜在変数ｚを取得し；
前記画像復号器が前記潜在変数ｚに対して復号化を行うことで取得する第一復元画像データ、及び、前記画像復号器が前記潜在変数ｚとノイズεの和（ｚ＋ε）に対して復号化を行うことで取得する第二復元画像データを取得し；及び
コスト関数Ｌに基づいて前記画像符号器及び前記画像復号器に対して訓練を行い、前記コスト関数Ｌが、入力訓練画像データｘと前記第一復元画像データとの偏差、及び、前記第一復元画像データと前記第二復元画像データとの偏差に関連することを含む。
本発明の実施例の第五側面によれば、画像符号化方法が提供され、それは、
画像符号器が入力画像データｘに対して符号化を行い、潜在変数ｚを取得し、前記画像符号器が上述の第四側面に記載の訓練方法により訓練することで取得され；
量子化器が量子化ステップ長Ｑに基づいて前記潜在変数ｚに対して量子化処理を行い、量子化潜在変数を生成し；及び
エントロピー符号器がエントロピーモデルを用いて量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成することを含む。
本発明の実施例の第六側面によれば、画像復号化方法が提供され、それは、
エントロピー復号器がエントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成し；
逆量子化器が量子化ステップ長Ｑに基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成し；及び
画像復号器が前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得することを含み、
前記画像復号器は、上述の第四側面に記載の訓練方法により訓練することで取得される。
本発明の実施例の有利な効果は次の通りであり、即ち、該訓練方法により取得される画像符号器は、異なるビットレートの調整を容易に実現することができる。
本発明の実施例における画像符号化装置及び画像復号化装置を示す図である。 本発明の実施例における訓練装置を示す図である。 本発明の実施例における量子化器の量子化処理及び逆量子化器の逆量子化処理を示す図である。 本発明の実施例における第一曲線及び第二曲線を示す図である。 本発明の実施例における画像符号化方法を示す図である。 本発明の実施例における画像復号化方法を示す図である。 本発明の実施例における訓練方法を示す図である。 本発明の実施例における電子機器の構成図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
＜第一側面の実施例＞
本発明の第一側面の実施例では、画像符号化装置及び画像復号化装置が提供される。図１は、画像符号化装置及び画像復号化装置を示す図である。
図１に示すように、画像符号化装置１は、画像データｘを処理し、ビットストリーム（ｂｉｔ ｓｔｒｅａｍ）１００を形成することができ、ビットストリーム１００は、記憶され又は伝送手段により画像復号化装置２に送信され得る。画像復号化装置２は、受信したビットストリーム１００を処理し、復元画像データ
（外１）
Figure 2021150955
を生成することができる。これにより、画像符号化装置１に入力された画像データｘは、画像復号化装置２で画像データ
（外２）
Figure 2021150955
として再現することができる。
図１に示すように、画像符号化装置１は、画像符号器１１、量子化器１２及びエントロピー符号器１３を含んでも良い。
画像符号器１１は、入力画像データｘに対して符号化処理を行い、潜在変数（ｌａｔｅｎｔ ｖａｒｉａｂｌｅ）ｚを取得することができる。画像符号器１１は、深層ニューラルネットワークに基づいて符号化処理を行うことができ、例えば、画像符号器１１は、基本畳み込み（ｂａｓｉｃ ｃｏｎｖｏｌｕｔｉｏｎ）層、及び／又は、逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層、及び／又は、一般化分割正規化（ｇｅｎｅｒａｌｉｚｅｄ ｄｉｖｉｓｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ、ＧＤＮ）／逆一般化分割正規化（ＩＧＤＮ（ｉｎｖｅｒｓｅ ｇｅｎｅｒａｌｉｚｅｄ ｄｉｖｉｓｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ））を活性化関数とすることにより実現することができる。なお、深層ニューラルネットワークの概念及び内容については、関連技術を参照することができる。
量子化器１２は、量子化ステップ長Ｑに基づいて、画像符号器１１が出力する潜在変数ｚに対して量子化処理を行い、量子化潜在変数
（外３）
Figure 2021150955
を生成することができる。潜在変数ｚは、浮動小数点数型（ｆｌｏａｔ）データであり、量子化処理により、浮動小数点数型データを有限長データに変換することができる。
エントロピー符号器１３は、エントロピーモデル（ｅｎｔｒｏｐｙ ｍｏｄｅｌ）１４を用いて量子化潜在変数
（外４）
Figure 2021150955
に対してエントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）を行い、ビットストリーム１００を形成することができる。ビットストリーム１００は、ビット流とも称され、複数のビットを含むデータストリームである。エントロピー符号化により、記憶及び伝送されにくい量子化潜在変数
（外５）
Figure 2021150955
を、記憶及び伝送されやすいビットストリーム１００に変換することができる。また、エントロピー符号化は、エントロピー原理に基づく、情報を失うことがない符号化である。よって、ビットストリーム１００に含まれる情報は、量子化潜在変数
（外６）
Figure 2021150955
の中の情報を完全に反映することができる。
少なくとも１つの実施例において、エントロピーモデル１４は、潜在変数ｚのエントロピーを推定するために用いられ得る。エントロピー符号器１３は、エントロピーモデル１４による潜在変数ｚのエントロピーの推定結果に基づいてエントロピー符号化を行うことができる。そのうち、エントロピーモデル１４は、例えば、因数分解エントロピーモデル（ｆａｃｔｏｒｉｚｅｄ ｅｎｔｒｏｐｙ ｍｏｄｅｌ）であっても良い。
エントロピー符号器１３が生成するビットストリーム１００のビットレート（ｂｉｔ ｒａｔｅ）Ｒは、Ｒ＝ｎ／（Ｗ＊Ｈ）と表すことができ、そのうち、ｎはビットストリーム１００の長さを示し、Ｗ及びＨは、それぞれ、画像データｘに対応する画像の幅及び長さを示し、この幅及び長さは、ともに、ピクセルの数で表すことができる。
エントロピー符号器１３が生成するビットストリーム１００は、記憶され又は画像復号化装置２に送信され得る。
図１に示すように、画像復号化装置２は、画像復号器２１、逆量子化器２２及びエントロピー復号器２３を含んでも良い。
エントロピー復号器２３は、エントロピーモデル１４を用いて、受信したビットストリーム１００に対してエントロピー復号化を行い、量子化潜在変数
（外７）
Figure 2021150955
を形成することができる。エントロピー復号化の処理は、エントロピー符号器１３のエントロピー符号化処理の逆向処理であっても良い。
逆量子化器２２は、量子化ステップ長Ｑに基づいて量子化潜在変数
（外８）
Figure 2021150955
に対して逆量子化処理を行い、再構成潜在変数
（外９）
Figure 2021150955
を生成することができる。逆量子化処理は、量子化処理の逆処理であっても良い。
画像復号器２１は、再構成潜在変数
（外１０）
Figure 2021150955
に対して復号化処理を行い、復元画像データ
（外１１）
Figure 2021150955
を取得することができる。画像復号器２１は、深層ニューラルネットワークに基づいて復号化処理を行うことができ、例えば、画像復号器２１は、基本畳み込み（ｂａｓｉｃ ｃｏｎｖｏｌｕｔｉｏｎ）層、及び／又は、逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）層、及び／又は、一般化分割正規化（ｇｅｎｅｒａｌｉｚｅｄ ｄｉｖｉｓｉｖｅ ｎｏｒｍａｌｉｚａｔｉｏｎ、ＧＤＮ）／逆一般化分割正規化（ＩＧＤＮ）を活性化関数とすることにより実現することができる。なお、深層ニューラルネットワークの概念及び内容については、関連技術を参照することができる。
少なくとも１つの実施例において、画像符号器１１及び画像復号器２１は、ＲａＤＯＧＡＧＡ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｇｕｉｄｅｄ Ａｕｔｏｅｎｃｏｄｅｒ ｆｏｒ Ｇｅｎｅｒａｔｉｖｅ Ａｎａｌｙｓｉｓ）モデルに基づく画像符号器及び画像復号器であっても良い。なお、ＲａＤＯＧＡＧＡモデルの原理については、関連技術、例えば、：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９１０．０４３２９を参照することができる。
少なくとも１つの実施例において、画像符号器１１及び画像復号器２１は、ＲａＤＯＧＡＧＡモデルに基づく訓練装置を用いて訓練を行うことができる。
図２は、本発明の実施例における訓練装置を示す図である。図２に示すように、訓練装置３は、第一取得ユニット３１、第二取得ユニット３２及び訓練ユニット３３を含んでも良い。
図２に示すように、第一取得ユニット３１は、画像符号器１１が入力訓練画像データｘに対して符号化を行うことで取得する潜在変数ｚを得ることができる。例えば、ｚは、式（１）のように表すことができる。
ｚ＝ｆθ（ｘ） （１）
式（１）では、ｆθは、画像符号器１１の符号化処理を示し、該符号化処理は、θをパラメータ（ｐａｒａｍｅｔｅｒ）とする。
第二取得ユニット３２は、画像復号器２１が潜在変数ｚに対して復号化を行うことで得る第一復元画像データ
（外１２）
Figure 2021150955
及び画像復号器２１が潜在変数ｚとノイズεの和（ｚ＋ε）に対して復号化を行うことで得る第二復元画像データ
（外１３）
Figure 2021150955
を取得することができる。例えば、
（外１４）
Figure 2021150955
及び
（外１５）
Figure 2021150955
は、式（２）のように表すことができる。
Figure 2021150955
式（２）では、ｇφは、画像復号器２１の復号化処理を表し、該復号化処理は、φをパラメータ（ｐａｒａｍｅｔｅｒ）とする。また、ノイズεは、均一ノイズ（ｕｎｉｆｏｒｍ ｎｏｉｓｅ）であっても良い。
訓練ユニット３３は、コスト関数Ｌに基づいて画像符号器１１及び画像復号器２１に対して訓練を行うことができる。そのうち、コスト関数Ｌは、入力訓練画像データｘと第一復元画像データ
（外１６）
Figure 2021150955
の偏差（
（外１７）
Figure 2021150955
）、及び、第一復元画像データ
（外１８）
Figure 2021150955
と第二復元画像データ
（外１９）
Figure 2021150955
との偏差（
（外２０）
Figure 2021150955
）に関連する。また、訓練ユニット３３が画像符号器１１及び画像復号器２１に対して訓練を行うこととは、訓練ユニット３３が画像符号器１１におけるネットワーク及び画像復号器２１におけるネットワークに対して訓練を行うことを指す。
少なくとも１つの実施例において、コスト関数Ｌは、式（３）のように表すことができる。
Figure 2021150955
式（３）の第一項ｌｏｇ（Ｐｚ，ψ（ｚ））では、Ｐｚ，ψ（ｚ）は、潜在変数ｚの確率を表し、該確率は、潜在変数ｚ及びψをパラメータ（ｐａｒａｍｅｔｅｒ）とする。図１に示すエントロピーモデル１４により、潜在変数ｚの累積密度関数（Ｃｕｍｕｌａｔｉｖｅ Ｄｅｎｓｉｔｙ Ｆｕｎｃｔｉｏｎ、ＣＤＦ）を得ることができ、累積密度関数ＣＤＦにより、一元独立分布（ｕｎｉｖａｒｉａｔｅ ｉｎｄｅｐｅｎｄｅｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づいて確率Ｐｚ（ｚ）を推定することができる。
また、エントロピーモデル１４では、累積密度関数ＣＤＦは、式（４ａ）、（４ｂ）に示す関係を満たすことができる。
Figure 2021150955
式（４ａ）、（４ｂ）では、αは、潜在変数ｚのビットレート（ｂｉｔ ｒａｔｅ）の量子化ステップ長を示し、Ｒｚは、潜在変数ｚのビットレートを示し、そのうち、Ｈ、Ｗは、それぞれ、入力画像の高さ及び幅を示す。
式（３）では、第二項
（外２１）
Figure 2021150955
は、画像符号器１１及び画像復号器２１の再構成損失（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｌｏｓｓ）を計算するために用いられ、第三項
（外２２）
Figure 2021150955
は、画像と潜在変数空間（ｌａｔｅｎｔ ｓｐａｃｅ）との間の拡縮関係を反映することができる。λ１は、再構成の程度（ｄｅｇｒｅｅ ｏｆ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を制御するために用いられ、λ２は、画像と潜在空間の間の拡縮の比を制御するために用いられる。
式（３）の第二項
（外２３）
Figure 2021150955
及び第三項
（外２４）
Figure 2021150955
では、Ｄ（ｘ１，ｘ２）は、ｘ１とｘ２の差の歪み関数（ｄｉｓｔｏｒｔｉｏｎ ｆｕｎｃｔｉｏｎ）である。画像符号化分野で用いられる歪みパラメータは、平均二乗誤差（ＭＳＥ）、ピーク信号対雑音比（ＰＳＮＲ）、マルチスケール構造的類似性（ＭＳ−ＳＳＩＭ）指数、又は構造的類似性（ＳＳＩＭ）指数であっても良い。上述の歪みパラメータに対応して、歪み関数Ｄ（ｘ１，ｘ２）は、平均二乗誤差（ＭＳＥ）歪み関数、ピーク信号対雑音比（ＰＳＮＲ）歪み関数、マルチスケール構造的類似性（ＭＳ−ＳＳＩＭ）指数歪み関数、又は構造的類似性（ＳＳＩＭ）指数歪み関数であっても良い。
式（３）の第二項では、ｈ（Ｄ）はｌｏｇ（Ｄ）であっても良い。これにより、損失関数の曲線は、ｌｏｇ（Ｄ）＝０の近傍でより急峻（ｓｔｅｅｐ）になる。そのため、画像符号器１１及び画像復号器２１は、より良い再構成特性及び直交性を得ることができる。なお、本発明はこれに限定されず、ｈ（Ｄ）はＤであっても良い。
１つの具体例において、入力訓練画像ｘの形状がＨ＊Ｗ＊３であり、そのうち、Ｈは訓練画像ｘの高さであり、Ｗは訓練画像ｘの幅であり、３は３つのチャンネルを示し、ノイズεが−０．５〜０．５の値を取り、αの値が０．２であり、画像符号器１１において生成する各特徴画像の形状がＨ／１６＊Ｗ／１６である。訓練の第一段階では、歪み関数Ｄ（ｘ１，ｘ２）が最小平均二乗誤差（ＭＳＥ）歪み関数を採用し、ｈ（Ｄ）＝Ｄであり、訓練の第二段階では、歪み関数Ｄ（ｘ１，ｘ２）がマルチスケール構造的類似性（ＭＳ−ＳＳＩＭ）指数歪み関数ＭＳＳＳＩＭ（ｘ１，ｘ２）を採用し、ｈ（Ｄ）＝ｌｏｇ（Ｄ）であり、即ち、訓練の第二段階では、式（５）の損失関数Ｌを用いて画像符号器１１及び画像復号器２１に対して訓練を行う。
Figure 2021150955
式（５）では、λ１は１であっても良く、λ２は１００よりも大きくても良い。
以上、図２をもとに、訓練装置３が画像符号器１１及び画像復号器２１に対して訓練を行う過程を説明した。上述のコスト関数Ｌを用いて訓練することで取得されるモデルは、特徴層空間とＭＳ−ＳＳＩＭ空間が等距離の関係であり、即ち、特徴層は、歪み関数の内積空間と直交するように最適化され、その機能がジェイペグ（ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ））に採用される離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）と類似している。訓練の段階では、ＭＳＥ（ｘ１，ｘ２）、ＳＳＩＭ（ｘ１，ｘ２）などをＤ（ｘ１，ｘ２）として使用しても良い。例えば、ＭＳＥ（ｘ１，ｘ２）を歪み関数とする場合、ＭＳ−ＳＳＩＭと類似した効果を得ることもできる。即ち、異なる量子化ステップ長により、独立訓練モデル（Ｒ＋λ＊Ｄ）と等価のＰＳＮＲ値を取得することができる。
本発明の実施例の第一側面では、訓練装置３の訓練により、画像符号器１１及び画像復号器２１を得ることができ、該画像符号器１１を有する画像符号化装置１は、異なるビットレートの調整を容易に実現することができ、また、該画像復号器２１を有する画像復号化装置２は、異なるビットレートに適応することができる。
以下、画像符号化装置１及び画像復号化装置２の量子化処理に係る操作を説明する。
少なくとも１つの実施例において、量子化器１２の量子化（ｑｕａｎｔｉｚｅｄ）処理は、不均一量子化処理であっても良い。そのうち、不均一量子化処理は、潜在変数ｚの確率分布ピーク値（又は中央値）に対応する潜在変数ｚをゼロ点とし、該ゼロ点を含む第一範囲の潜在変数ｚが第一量子化潜在変数
（外２５）
Figure 2021150955
対応するようにし、第一量子化潜在変数
（外２６）
Figure 2021150955
以外の他の量子化潜在変数
（外２７）
Figure 2021150955
について、各量子化潜在変数
（外２８）
Figure 2021150955
が第二範囲の潜在変数ｚに対応し、該第二範囲は、第一範囲よりも大きくない。そのうち、潜在変数ｚの確率分布ピーク値は、エントロピーモデル１４に基づいて取得され得る。
例えば、量子化器１２は、式（６）を用いて量子化処理を行うことができる。
Figure 2021150955
そのうち、ｓｉｇｎ（ｚ）は、潜在変数ｚの符号を示し、例えば、ｚが０よりも大きい場合、ｓｉｇｎ（ｚ）は正であり、ｚが０未満の場合、ｓｉｇｎ（ｚ）は負であり、ｆｌｏｏｒは切り捨てを示し、ａｂｓ（ｚ）はｚの絶対値を取ることを意味し、ｏｆｆｓｅｔは１つの事前設定の偏移量であり、０≦ｏｆｆｓｅｔ≦０．５である。
本発明では、ｏｆｆｓｅｔは、第一範囲の長さを設定するために用いられ、即ち、第一範囲の長さは、２＊（１−ｏｆｆｓｅｔ）＊Ｑである。第二範囲の長さは、量子化ステップ長Ｑに等しい。
少なくとも１つの実施例において、ｏｆｆｓｅｔは０．５に等しくなく、第二範囲の長さは第一範囲の長さよりも小さく、量子化器１２が行う量子化処理は不均一量子化処理である。これにより、量子化処理後、量子化潜在変数
（外２９）
Figure 2021150955
のエントロピーはより小さくなる。なお、本発明はこれに限定されず、例えば、ｏｆｆｓｅｔが０．５に等しいときに、第二範囲の長さは第一範囲の長さに等しく、量子化器１２が行う量子化処理は均一量子化処理である。
量子化器１２が生成する量子化潜在変数
（外３０）
Figure 2021150955
は、エントロピー符号器１３のエントロピー符号化により、ビットストリーム１００を形成することができる。ビットストリーム１００がエントロピー復号器２３によりエントロピー復号化されることで、画像復号化装置２では量子化潜在変数
（外３１）
Figure 2021150955
を取得することができる。
少なくとも１つの実施例において、逆量子化器２２は、量子化ステップ長Ｑを用いて逆量子化（ｄｅｑｕａｎｔｉｚｅｄ）処理を行うことができる。例えば、逆量子化器２２は、式（７）を用いて、エントロピー復号器２３が出力する量子化潜在変数
（外３２）
Figure 2021150955
に対して逆量子化処理を行うことで、再構成潜在変数
（外３３）
Figure 2021150955
を以下のように得ることができる。
Figure 2021150955
エントロピーモデル１４に基づいて再構成潜在変数
（外３４）
Figure 2021150955
の累積密度関数（ＣＤＦ）を得ることができ、量子化器１２がｚに対して量子化を行うことで、量子化ステップ長に基づいてｚを対応する代表値
（外３５）
Figure 2021150955
に量子化することができる、そのうち、代表値
（外３６）
Figure 2021150955
が対応するｚの区間の上限（ｈｉｇｈ ｂｏｕｎｄ）はｚｈｉｇｈであり、下限（ｌｏｗ ｂｏｕｎｄ）はｚｌｏｗであり、即ち、［ｚｌｏｗ，ｚｈｉｇｈ］区間内にあるｚは、すべて、対応する
（外３７）
Figure 2021150955
に量子化することができ、そのうち、
Figure 2021150955
であり、且つ０＜ω＜１である。
Figure 2021150955
Figure 2021150955
ｚｈｉｇｈ及びｚｌｏｗに基づいて、再構成潜在変数
（外３８）
Figure 2021150955
のビットレート
（外３９）
Figure 2021150955
は、式（１０）により取得することができる。
Figure 2021150955
図３は、量子化器１２の量子化処理及び逆量子化器２２の逆量子化処理を示す図である。図３に示すように、矢印３１は量子化器１２の量子化処理を示し、矢印３２は逆量子化器２２の逆量子化処理を示す。
図３に示すように、例えば、式（６）の量子化処理により、潜在変数ｚは、量子化潜在変数
（外４０）
Figure 2021150955
にマッピングされ、例えば、３０１で示す第一範囲（区間）内の潜在変数ｚは、すべて、値が０である量子化潜在変数
（外４１）
Figure 2021150955
にマッピングされ、第一範囲の外では、潜在変数ｚは、複数の第二範囲（区間）３０２に平均的に分割され、第二範囲３０２の内では、潜在変数ｚは、該第二範囲３０２に対応する量子化潜在変数
（外４２）
Figure 2021150955
にマッピングされる。
図３に示すように、例えば、式（７）の逆量子化処理により、各量子化潜在変数
（外４３）
Figure 2021150955
は、対応する再構成潜在変数
（外４４）
Figure 2021150955
にマッピングされ得る。
図１に示すように、画像符号化装置１はさらに第一量子化ステップ長調整器１５を含んでも良い。第一量子化ステップ長調整器１５は、量子化器１２が使用する量子化ステップ長Ｑを調整することで、ビットストリーム１００のビットレート（ｂｉｔ ｒａｔｅ）を調整することができる。
図１に示すように、画像復号化装置２はさらに第二量子化ステップ長調整器２５を含んでも良い。第二量子化ステップ長調整器２５は、逆量子化器２２が使用する量子化ステップ長Ｑを調整することができる。例えば、第二量子化ステップ長調整器２５は、第一量子化ステップ長調整器１５が調整した量子化ステップ長Ｑに基づいて、逆量子化器２２が使用する量子化ステップ長Ｑを調整することができる。これにより、逆量子化器２２及び量子化器１２が同じステップ長Ｑを使用するようにすることができる。
本発明の画像符号化装置１では、画像符号器１１は、ＲａＤＯＧＡＧＡモデルに基づく画像符号器であり、量子化ステップ長Ｑを調整することで、ビットレートに対する調整を実現することができる。これにより、ビットレートの調整を迅速且つ容易に行うことができる。これに対して、従来の方式では、損失関数λの値を複数回修正する必要があり、且つ各々のλの値に対応して、符号器のネットワークに対して再び訓練を行い、ビットレートが必要なビットレートに一番接近する符号器のネットワークを確定する必要があるため、ビットレートを調整する過程は、比較的複雑であり、且つ時間がかかる。
本発明の画像符号化装置１と従来の画像符号化装置のパフォーマンスを比較するために、汎用テストデータ集Ｋｏｄａｋに基づいて本発明の画像符号化装置１及び従来の画像符号化装置に対して実験を行い、そして、両者のビットレート−ディストーション程度曲線（Ｒ−Ｄ ｃｕｒｖｅ）をそれぞれ作成した。そのうち、従来の画像符号化装置は、例えば、
（外４５）
Figure 2021150955
と同じ符号化ネットワーク構造を採用する。従来の画像符号化装置のＲ−Ｄ曲線を描くために、異なるλ∈｛４，８，１６，３２，６４，９６｝について、それぞれ、画像コーデックネットワークに対して訓練を行い、歪みパラメータＭＳ−ＳＳＩＭｄＢを用いて各画像コーデックネットワークのディストーション程度を示し、そのうち、ＭＳ＿ＳＳＩＭｄＢ＝−１０ｌｏｇ２（１−ＭＳ＿ＳＳＩＭ）である。この６つの画像コーデックネットワークがそれぞれ対応するＲ及びＤは、第一曲線としてフィッティングされている。
本発明の画像符号化装置１について、画像符号器１１のネットワーク構造は、複数回訓練を行う必要がなく、量子化ステップ長Ｑを調整するだけで良い。そのうち、Ｑ∈｛０．５，０．７５，１，１．２５，１．５，１．７５，２，２．５，３，３．５，４｝であり、各量子化ステップ長にそれぞれ対応するＲ及びＤを計算する。これらの複数の量子化ステップ長Ｑにそれぞれ対応するＲ及びＤは、第二曲線としてフィッティングされている。
図４は、第一曲線及び第二曲線を示す図である。図４では、横軸はビットレートＲを示し、単位はｂｐｐ（ビット毎ピクセル）であり、縦軸はＭＳ−ＳＳＩＭが表すディストーション程度であり、単位はｄＢ（デシベル）である。
図４では、第一曲線４１上の点“λ＝６４”は、該モデルを訓練するための損失関数が背景技術に記載の（Ｒ＋λ＊Ｄ）であることを示し、そのうち、λ＝６４であり、即ち、損失関数は（Ｒ＋６４＊Ｄ）であり、その他はこれに基づいて類推することができ、第二曲線上の“Ｑ＝１”は、量子化ステップ長Ｑ＝１であることを示し、その他はこれに基づいて類推することができ。
図４に示すように、第二曲線４２のＲ−Ｄ特性は、第一曲線４１のＲ−Ｄ特性に接近しており、即ち、本発明の画像符号化装置１は、量子化ステップ長Ｑを調整するだけで、画像符号器１１のネットワーク構造に対して複数回訓練を行うことなく、ビットレートを調整することができ、且つＲ−Ｄ特性が低下することもない。これにより、本発明の画像符号化装置１は、簡単且つ迅速な方式でビットレートの調整を行うことができる。
＜第二側面の実施例＞
本発明の実施例では、画像符号化方法、画像復号化方法及び訓練方法が提供される。
図５は、本発明の第二側面の実施例における画像符号化方法を示す図である。図５に示すように、該画像符号化方法は、以下の操作（ステップ）を含む。
操作５１：画像符号器が入力画像データｘに対して符号化を行い、潜在変数ｚを取得し；
操作５２：量子化器が量子化ステップ長Ｑに基づいて前記潜在変数ｚに対して量子化処理を行い、量子化潜在変数を生成し；及び
操作５３：エントロピー符号器がエントロピーモデルを用いて、量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成する。
図５に示すように、該画像符号化方法はさらに以下の操作を含む。
操作５４：第一量子化ステップ長調整器が前記量子化ステップ長Ｑを調整することで、前記ビットストリームのビットレート（ｂｉｔ ｒａｔｅ）を調整する。
少なくとも１つの実施例において、量子化器の量子化処理は不均一量子化処理である。そのうち、不均一量子化処理は、以下の操作を含み、即ち、
潜在変数ｚの確率分布ピーク値に対応する潜在変数ｚをゼロ点とし、該ゼロ点を含む第一範囲の潜在変数ｚが第一量子化潜在変数に対応するようにし、第一量子化潜在変数以外の他の量子化潜在変数について、各量子化潜在変数が第二範囲の潜在変数ｚに対応するようにし、前記第二範囲は、前記第一範囲よりも大きくない。
そのうち、潜在変数ｚの確率分布ピーク値は、前記エントロピーモデルに基づいて取得され得る。
なお、図５における各操作の説明については、図１におけるそれ相応のユニットの説明を参照することができる。
図６は、本発明の第二側面の実施例における画像復号化方法を示す図である。図６に示すように、該画像復号化方法は以下の操作を含む。
操作６１：エントロピー復号器がエントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成し；
操作６２：逆量子化器が量子化ステップ長Ｑに基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成し；及び
操作６３：画像復号器が前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得する。
操作６２の中の逆量子化器は、量子化ステップ長に基づいて逆量子化処理を行う。
図６に示すように、画像復号化方法はさらに以下の操作を含んでも良く、即ち、
操作６４：第二量子化ステップ長調整器が前記量子化ステップ長Ｑを調整する。
なお、図６の中の各操作の説明については、図１の中の対応するユニットの説明を参照することができる。
図７は、本発明の第二側面の実施例における訓練方法を示す図である。図７に示すように、該訓練方法は以下の操作を含み、即ち、
操作７１：前記画像符号器が入力訓練画像データに対して符号化を行うことで取得する潜在変数ｚを取得し；
操作７２：前記画像復号器が前記潜在変数ｚに対して復号化を行うことで取得する第一復元画像データ、及び、前記画像復号器が前記潜在変数ｚとノイズの和（ｚ＋ε）に対して復号化を行うことで取得する第二復元画像データを取得し；及び
操作７３：コスト関数Ｌに基づいて前記画像符号器及び前記画像復号器に対して訓練を行い、前記コスト関数Ｌは、入力訓練画像データｘと前記第一復元画像データの偏差、及び、前記第一復元画像データと前記第二復元画像データの偏差に関連する。
なお、図７における各操作の説明については、図２におけるそれ相応のユニットの説明を参照することができる。
＜第三側面の実施例＞
本発明の実施例では、電子機器が更に提供され、それは、第一側面の実施例に記載の画像符号化装置１、及び／又は、画像復号化装置２、及び／又は、訓練装置３を含む。本実施例では、その内容がここに合併される。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良い。なお、本発明の実施例はこれに限られない。
図８は、本発明の実施例における電子機器の構成図である。図８に示すように、電子機器８００は、処理器（例えば、中央処理器ＣＰＵ）８１０及び記憶器８２０を含んでも良く、記憶器８２０は中央処理器８１０に接続される。そのうち、該記憶器８２０は、各種のデータを記憶することができ、また、情報処理用のプログラムをさらに記憶し、且つ処理器８１０の制御下で該プログラムを実行することもできる。
１つの実施例において、画像符号化装置１及び／又は画像復号化装置２及び／又は訓練装置３の機能が処理器８１０に統合されても良い。そのうち、処理器８１０は、第二側面の実施例に記載の画像符号化方法、及び／又は、画像復号化方法、及び／又は、訓練方法を実現するように構成されても良い。
もう１つの実施例において、画像符号化装置１及び／又は画像復号化装置２及び／又は訓練装置３は、処理器８１０と別々で配置されても良い。例えば、画像符号化装置１及び／又は画像復号化装置２及び／又は訓練装置３を、処理器８１０に接続されるチップとして構成し、処理器８１０の制御により画像符号化装置１及び／又は画像復号化装置２及び／又は訓練装置３の機能を実現しても良い。
なお、該処理器８１０の具体施については、第一側面及び第二側面の実施例を参照することができ、ここではその詳しい説明を省略する。
また、図８に示すように、電子機器８００はさらに、送受信ユニット８３０などを含んでも良い。そのうち、これらの部品の機能が従来技術と類似したので、ここではその詳しい説明を省略する。なお、電子機器８００は、図８に示す全部の部品を含む必要がない。また、電子機器８００はさらに、図８に無い部品を含んでも良いが、これについては、従来技術を参照することができる。
本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、画像符号化装置及び／又は画像復号化装置及び／又は訓練装置の中で該プログラムを実行するときに、該プログラムはコンピュータに、該画像符号化装置及び／又は画像復号化装置及び／又は訓練装置の中で上述の第二側面の実施例における画像符号化方法及び／又は画像復号化方法及び／又は訓練方法を実行させる。
本発明の実施例はさらにコンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムはコンピュータに、画像符号化装置及び／又は画像復号化装置及び／又は訓練装置の中で上述の第二側面の実施例における画像符号化方法及び／又は画像復号化方法及び／又は訓練方法を実行させる。
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は、両者の組み合わせにより実現することができる。例えば、図１乃至図１３に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図１４に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。
また、上述の実施例などに関し、さらに、以下の付記を開示する。
（付記１）
訓練画像を用いて画像符号器及び画像復号器に対して訓練を行う、画像処理装置の訓練装置であって、
前記画像符号器が入力訓練画像データに対して符号化を行うことで取得する潜在変数ｚを取得する第一取得ユニット；
前記画像復号器が前記潜在変数ｚに対して復号化を行うことで取得する第一復元画像データ、及び、前記画像復号器が前記潜在変数ｚとノイズεの和（ｚ＋ε）に対して復号化を行うことで取得する第二復元画像データを取得する第二取得ユニット；及び
コスト関数Ｌに基づいて前記画像符号器及び前記画像復号器に対して訓練を行う訓練ユニットであって、前記コスト関数Ｌは、入力訓練画像データｘと前記第一復元画像データの偏差、及び、前記第一復元画像データと前記第二復元画像データの偏差に関連する、訓練ユニットを含む、方法。
（付記２）
画像符号化装置であって、
入力画像データｘに対して符号化を行い、潜在変数ｚを取得する画像符号器であって、前記画像符号器は、付記１に記載の訓練装置により訓練することで取得されるものである、画像符号器；
量子化ステップ長Ｑに基づいて前記潜在変数ｚに対して量子化処理を行い、量子化潜在変数を生成する量子化器；及び
エントロピーモデルを用いて量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成するエントロピー符号器を含む、装置。
（付記３）
付記２に記載の画像符号化装置であって、
前記量子化ステップ長Ｑを調整することで、前記ビットストリームのビットレートを調整する第一量子化ステップ長調整器をさらに含む、装置。
（付記４）
付記２に記載の画像符号化装置であって、
前記量子化器の前記量子化処理は不均一量子化処理である、装置。
（付記５）
付記４に記載の画像符号化装置であって、
前記不均一量子化処理は、
前記潜在変数ｚの確率分布ピーク値に対応する潜在変数ｚをゼロ点とし、該ゼロ点を含む第一範囲の潜在変数ｚが第一量子化潜在変数に対応するようにし；及び
第一量子化潜在変数以外の他の量子化潜在変数について、各量子化潜在変数が第二範囲の潜在変数ｚに対応するようにし、前記第二範囲が前記第一範囲よりも大きくないことを含む、装置。
（付記６）
付記５に記載の画像符号化装置であって、
前記潜在変数ｚの確率分布ピーク値は前記エントロピーモデルに基づいて取得される、装置。
（付記７）
画像復号化装置であって、
エントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成するエントロピー復号器；
量子化ステップ長Ｑに基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成する逆量子化器；及び
前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得する画像復号器であって、前記画像復号器が付記１に記載の訓練装置により訓練することで取得されるものである、画像復号器を含む、装置。
（付記８）
付記７に記載の画像復号化装置であって、
前記逆量子化器は前記量子化ステップ長に基づいて前記逆量子化処理を行う、装置。
（付記９）
付記７に記載の画像復号化装置であって、
前記量子化ステップ長Ｑを調整する第二量子化ステップ長調整器をさらに含む、装置。
（付記１０）
訓練画像を用いて画像符号器及び画像復号器に対して訓練を行う、画像処理装置の訓練方法であって、
前記画像符号器が入力訓練画像データに対して符号化を行うことで取得する潜在変数ｚを取得し；
前記画像復号器が前記潜在変数ｚに対して復号化を行うことで取得する第一復元画像データ、及び、前記画像復号器が前記潜在変数ｚとノイズεの和（ｚ＋ε）に対して復号化を行うことで取得する第二復元画像データを取得し；及び
コスト関数Ｌに基づいて前記画像符号器及び前記画像復号器に対して訓練を行い、前記コスト関数Ｌは、入力訓練画像データｘと前記第一復元画像データの偏差、及び、前記第一復元画像データと前記第二復元画像データの偏差に関連することを含む、方法。
（付記１１）
画像符号化方法であって、
画像符号器が入力画像データｘに対して符号化を行い、潜在変数ｚを取得し、前記画像符号器が付記１０に記載の訓練方法により訓練することで取得され；
量子化器が量子化ステップ長Ｑに基づいて前記潜在変数ｚに対して量子化処理を行い、量子化潜在変数を生成し；及び
エントロピー符号器がエントロピーモデルを用いて、量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成することを含む、方法。
（付記１２）
付記１１に記載の画像符号化方法であって、さらに、
第一量子化ステップ長調整器が前記量子化ステップ長Ｑを調整することで、前記ビットストリームのビットレートを調整することを含む、方法。
（付記１３）
付記１１に記載の画像符号化方法であって、
前記量子化器の前記量子化処理は不均一量子化処理である、方法。
（付記１４）
付記１３に記載の画像符号化方法であって、
前記不均一量子化処理は、
前記潜在変数ｚの確率分布ピーク値に対応する潜在変数ｚをゼロ点とし、該ゼロ点を含む第一範囲の潜在変数ｚが第一量子化潜在変数に対応するようにし；及び
第一量子化潜在変数以外の他の量子化潜在変数について、各量子化潜在変数が第二範囲の潜在変数ｚに対応するようにし、前記第二範囲が前記第一範囲よりも大きくないことを含む、方法。
（付記１５）
付記１４に記載の画像符号化方法であって、
前記潜在変数ｚの確率分布ピーク値は前記エントロピーモデルに基づいて取得される、方法。
（付記１６）
画像復号化方法であって、
エントロピー復号器がエントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成し；
逆量子化器が量子化ステップ長Ｑに基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成し；及び
画像復号器が前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得し、前記画像復号器が付記１０に記載の訓練方法により訓練することで取得されることを含む、方法。
（付記１７）
付記１６に記載の画像復号化方法であって、
前記逆量子化器は前記量子化ステップ長に基づいて前記逆量子化処理を行う、方法。
（付記１８）
付記１６に記載の画像復号化方法であって、
第二量子化ステップ長調整器が前記量子化ステップ長Ｑを調整することをさらに含む、方法。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (9)

  1. 訓練画像を用いて画像符号器及び画像復号器に対して訓練を行う、画像処理装置の訓練装置であって、
    前記画像符号器が入力訓練画像データに対して符号化を行うことで得る潜在変数を取得する第一取得ユニット；
    前記画像復号器が前記潜在変数に対して復号化を行うことで得る第一復元画像データ、及び、前記画像復号器が前記潜在変数とノイズの和に対して復号化を行うことで得る第二復元画像データを取得する第二取得ユニット；及び
    コスト関数に基づいて前記画像符号器及び前記画像復号器に対して訓練を行う訓練ユニットであって、前記コスト関数は、入力訓練画像データと前記第一復元画像データの偏差、及び、前記第一復元画像データと前記第二復元画像データの偏差に関連する、訓練ユニットを含む、訓練装置。
  2. 画像符号化装置であって、
    入力画像データに対して符号化を行い、潜在変数を取得する画像符号器；
    量子化ステップ長に基づいて前記潜在変数に対して量子化処理を行い、量子化潜在変数を生成する量子化器；及び
    エントロピーモデルを用いて前記量子化潜在変数に対してエントロピー符号化を行い、ビットストリームを形成するエントロピー符号器を含み、
    前記画像符号器は、請求項１に記載の訓練装置により訓練することで取得されるものである、画像符号化装置。
  3. 請求項２に記載の画像符号化装置であって、
    前記量子化ステップ長を調整することで、前記ビットストリームのビットレートを調整する第一量子化ステップ長調整器をさらに含む、画像符号化装置。
  4. 請求項２に記載の画像符号化装置であって、
    前記量子化器の前記量子化処理は不均一量子化処理である、画像符号化装置。
  5. 請求項４に記載の画像符号化装置であって、
    前記不均一量子化処理は、
    前記潜在変数の確率分布ピーク値に対応する潜在変数をゼロ点とし、該ゼロ点を含む第一範囲の潜在変数が第一量子化潜在変数に対応するようにし；及び
    第一量子化潜在変数以外の他の量子化潜在変数について、各量子化潜在変数が第二範囲の潜在変数に対応するようにすることを含み、
    前記第二範囲は、前記第一範囲よりも大きくない、画像符号化装置。
  6. 請求項５に記載の画像符号化装置であって、
    前記潜在変数の確率分布ピーク値は前記エントロピーモデルに基づいて取得される、画像符号化装置。
  7. 画像復号化装置であって、
    エントロピーモデルを用いてビットストリームに対してエントロピー復号化を行い、量子化潜在変数を形成するエントロピー復号器；
    量子化ステップ長に基づいて前記量子化潜在変数に対して逆量子化処理を行い、再構成潜在変数を生成する逆量子化器；及び
    前記再構成潜在変数に対して復号化処理を行い、復元画像データを取得する画像復号器を含み、
    前記画像復号器は、請求項１に記載の訓練装置により訓練することで取得されるものである、画像復号化装置。
  8. 請求項７に記載の画像復号化装置であって、
    前記逆量子化器は前記量子化ステップ長に基づいて前記逆量子化処理を行う、画像復号化装置。
  9. 請求項７に記載の画像復号化装置であって、
    前記量子化ステップ長を調整する第二量子化ステップ長調整器をさらに含む、画像復号化装置。
JP2021024862A 2020-03-23 2021-02-19 訓練方法、画像符号化方法、画像復号化方法及び装置 Pending JP2021150955A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010208845.5 2020-03-23
CN202010208845.5A CN113438481B (zh) 2020-03-23 2020-03-23 训练方法、图像编码方法、图像解码方法及装置

Publications (1)

Publication Number Publication Date
JP2021150955A true JP2021150955A (ja) 2021-09-27

Family

ID=77746883

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021024862A Pending JP2021150955A (ja) 2020-03-23 2021-02-19 訓練方法、画像符号化方法、画像復号化方法及び装置

Country Status (3)

Country Link
US (1) US11330264B2 (ja)
JP (1) JP2021150955A (ja)
CN (1) CN113438481B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4144087A1 (en) 2020-04-29 2023-03-08 Deep Render Ltd Image compression and decoding, video compression and decoding: methods and systems
US11849118B2 (en) * 2021-04-30 2023-12-19 Tencent America LLC Content-adaptive online training with image substitution in neural image compression
CN115103191A (zh) * 2022-06-14 2022-09-23 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110090781A (ko) 2010-02-02 2011-08-10 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
US8964849B2 (en) 2011-11-01 2015-02-24 Blackberry Limited Multi-level significance maps for encoding and decoding
CN102724495A (zh) 2012-05-04 2012-10-10 西安电子科技大学 基于率失真的Wyner-Ziv帧量化方法
US10192327B1 (en) 2016-02-04 2019-01-29 Google Llc Image compression with recurrent neural networks
US10970765B2 (en) * 2018-02-15 2021-04-06 Adobe Inc. Generating user-customized items using a visually-aware image generation network
US11257254B2 (en) * 2018-07-20 2022-02-22 Google Llc Data compression using conditional entropy models
US11544606B2 (en) * 2018-09-14 2023-01-03 Disney Enterprises, Inc. Machine learning based video compression
WO2020064990A1 (en) * 2018-09-27 2020-04-02 Deepmind Technologies Limited Committed information rate variational autoencoders
US11620521B2 (en) * 2018-11-14 2023-04-04 Nvidia Corporation Smoothing regularization for a generative neural network
CN109784359A (zh) * 2018-11-27 2019-05-21 北京邮电大学 图像生成方法、装置、设备及可读存储介质
CN110730347A (zh) * 2019-04-24 2020-01-24 合肥图鸭信息科技有限公司 图像压缩方法、装置及电子设备
CN110246212B (zh) * 2019-05-05 2023-02-07 上海工程技术大学 一种基于自监督学习的目标三维重建方法
CN110458904B (zh) * 2019-08-06 2023-11-10 苏州瑞派宁科技有限公司 胶囊式内窥镜图像的生成方法、装置及计算机存储介质
CN110517759B (zh) * 2019-08-29 2022-03-25 腾讯医疗健康(深圳)有限公司 一种待标注图像确定的方法、模型训练的方法及装置
US11604984B2 (en) * 2019-11-18 2023-03-14 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for machine learning based modeling
US20210256393A1 (en) * 2020-02-18 2021-08-19 Royal Bank Of Canada System and method for distributed non-linear masking of sensitive data for machine learning training
US11138409B1 (en) * 2020-09-02 2021-10-05 Tokenize, Inc. Biometric recognition and security system

Also Published As

Publication number Publication date
CN113438481B (zh) 2024-04-12
US20210297667A1 (en) 2021-09-23
CN113438481A (zh) 2021-09-24
US11330264B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
Cheng et al. Learned image compression with discretized gaussian mixture likelihoods and attention modules
JP2021150955A (ja) 訓練方法、画像符号化方法、画像復号化方法及び装置
Helminger et al. Lossy image compression with normalizing flows
CN113259676B (zh) 一种基于深度学习的图像压缩方法和装置
RU2530926C2 (ru) Изменение формы шума округления для основанных на целочисленном преобразовании кодирования и декодирования аудио и видеосигнала
WO2020237646A1 (zh) 图像处理方法、设备及计算机可读存储介质
US20230300354A1 (en) Method and System for Image Compressing and Coding with Deep Learning
US10863188B2 (en) Method and apparatus for non-uniform mapping for quantization matrix coefficients between different sizes of quantization matrices in image/video coding
KR20190040063A (ko) 인덱스 코딩 및 비트 스케줄링을 갖는 양자화기
CN115668777A (zh) 用于改进的机器学习压缩的系统和方法
Boopathiraja et al. A near lossless three-dimensional medical image compression technique using 3D-discrete wavelet transform
Al-Khafaji Image compression based on quadtree and polynomial
Hachicha et al. Efficient inter-view bit allocation methods for stereo image coding
Abhayaratne et al. Scalable watermark extraction for real-time authentication of JPEG 2000 images
Kaaniche et al. A bit allocation method for sparse source coding
US7778468B2 (en) Decoding apparatus, dequantizing method, and program thereof
EP4111417A1 (en) Generating quantization tables for image compression
CN113079377B (zh) 一种深度图像/视频压缩网络的训练方法
KR20160065860A (ko) 미디어 신호의 인코딩, 디코딩 방법 및 그 장치
Mansour et al. Comparative analysis on image compression techniques for chromosome images
CN118317114B (zh) 一种基于局部特征和非局部特征的图像压缩方法
Kumar et al. An optimized block estimation based image compression and decompression algorithm
CN103402043A (zh) 一种大视场空间tdiccd相机的图像压缩装置
Vogler et al. Wavelet-based compression of volumetric cfd data sets
Fu et al. Content-adaptive Residual Learning and Context-aware Entropy Model for SAR Image Compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20241022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241029