JP2020173782A - 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置 - Google Patents

画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置 Download PDF

Info

Publication number
JP2020173782A
JP2020173782A JP2020013211A JP2020013211A JP2020173782A JP 2020173782 A JP2020173782 A JP 2020173782A JP 2020013211 A JP2020013211 A JP 2020013211A JP 2020013211 A JP2020013211 A JP 2020013211A JP 2020173782 A JP2020173782 A JP 2020173782A
Authority
JP
Japan
Prior art keywords
encoding
waiting
probability
symbol
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020013211A
Other languages
English (en)
Other versions
JP7424078B2 (ja
Inventor
静 周
Jing Zhou
静 周
思寒 温
Sihan Wen
思寒 温
タヌ・ジミン
Tan Zhiming
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020173782A publication Critical patent/JP2020173782A/ja
Application granted granted Critical
Publication of JP7424078B2 publication Critical patent/JP7424078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】本発明は、画像エンコーディング方法及び装置、画像デコーディング方法及び装置を提供する。【解決手段】該画像エンコーディング方法は、処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディングを行い、特徴ベクトル又は特徴マップを生成し；前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成し；マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定し、前記マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；及び、前記エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行うことを含む。【選択図】図１

Description

本発明は、画像処理分野に関し、特に、画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置に関する。
コンピュータ技術の進歩に伴い、画像が幅広く用いられている。画像ファイルを効率良く記憶及び伝送するために、画像ファイルに対して画像圧縮を行う必要がある。画像圧縮は、コードレートと画像圧縮ディストーションとの折衷と見なすことができる。シャノンの情報源符号化定理によれば、データ圧縮の理論限界が情報量（エントロピー）である。言い換えると、画像データのエントロピーを正確に推定ことができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、レートとディストーションとのバランスを取ることができる。
情報理論によると、公式1に基づいてエンコーディング待ちシンボル
（外１）
Figure 2020173782

の情報量（エントロピー）を計算することができる。
Figure 2020173782
そのうち、
（外２）
Figure 2020173782

は、エンコーディング待ちシンボルであり、
（外３）
Figure 2020173782

は、エンコーディング待ちシンボルの確率である。
これで分かるように、エンコーディング待ちシンボルの情報エントロピーを計算するために、まず、エンコーディング待ちシンボルの確率を確定する必要がある。しかし、通常の場合、エンコーディング待ちシンボルの確率が既知でないので、エンコーディング待ちシンボルの確率を推定する必要がある。推定されるエンコーディング待ちシンボルの確率が
（外４）
Figure 2020173782

であるとすれば、公式2に基づいて、推定される情報エントロピーを計算することができる。
Figure 2020173782
エンコーディング待ちシンボルの推定確率
（外５）
Figure 2020173782

と、実際の確率
（外６）
Figure 2020173782

との間に偏差が存在する可能性があるから、推定されるエントロピー
（外７）
Figure 2020173782

は、通常、実際のエントロピー
（外８）
Figure 2020173782

よりも大きい。これで分かるように、エンコーディング待ちシンボルの確率を正確に推定することができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、画像データの圧縮効率の向上に繋がる。
今のところ、ディープニューラルネットワークが画像圧縮技術分野で広く応用されており、且つ比較的良いパフォーマンスが得られている。そのうち、自己回帰モデル（例えば、画素再帰型ニューラルネットワーク（Pixel-RNN、Pixel Recurrent Neural Networks）、画素畳み込みニューラルネットワーク（Pixel-CNN、Pixel Convolutional Neural Networks））が、画像の画素データが特徴シーケンスを形成するようにさせ、畳み込み演算を用いて、各画素の、その前の画素に対しての条件付き確率（conditional probability）分布を予測することができる。また、ロッシー圧縮技術では、画像エンコーディングを有効に行うために、コンテキストモデルも導入されている。
従来技術では、画像データの潜在表現の条件付き確率を推定するときに、通常、シングルスケールのコンテキストモデルを採用する。発明者が次のようなことを発見した。即ち、上述の方法で推定された条件付き確率を用いて画像エンコーディングを行うときに、依然として多くのビットにより画像データを表す必要があり、レートとディストーションとのバランスを取ることができない。
本発明の実施例は、画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置を提供し、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットを用いて画像データを表することにより、画像エンコーディングのエンコーディング効率を向上させることもできる。
本発明の実施例の第一側面によれば、画像エンコーディング装置が提供され、それは、
畳み込みニューラルネットワークを用いて処理待ちの画像データに対してエンコーディングを行い、前記画像データの特徴ベクトル又は特徴マップを生成する畳み込みニューラルネットワークエンコーダ；
前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成する量子化器；
マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定する確率推定器であって、前記確率推定器が複数の異なるスケールのマスク畳み込み層を含む確率推定器；及び
前記エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行うエントロピーエンコーダを含む。
本発明の実施例の第二側面によれば、画像デコーディング装置が提供され、それは、
マルチスケールのコンテキストモデルを用いて現在のデコーディング待ちシンボルの確率を推定する確率推定器であって、前記確率推定器が複数の異なるスケールのマスク畳み込み層を含む確率推定器；
前記確率に基づいて前記デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを得るエントロピーデコーダ；及び
前記特徴ベクトル又は特徴マップに対してデコーディングを行い、画像データを生成する畳み込みニューラルネットワークデコーダを含む。
本発明の実施例の第三側面によれば、画像エンコーディング方法が提供され、それは、
処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディング（即ち、畳み込みニューラルネットワークによるエンコーディング）を行い、特徴ベクトル又は特徴マップを生成し；
前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成し；
マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定し、前記マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；及び
前記エンコーディング待ちシンボルの確率に対してエントロピーエンコーディングを行うことを含む。
本発明の実施例の第四側面によれば、画像デコーディング方法が提供され、それは、
マルチスケールのコンテキストモデルにより現在のデコーディング待ちシンボルの確率を推定し、前記マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；
前記確率に基づいて、前記デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを取得し；及び
前記特徴ベクトル又は特徴マップに対して畳み込みニューラルネットワークデコーディングを行い、画像データを生成することを含む。
本発明の実施例の有益な効果は次の通りであり、即ち、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットを用いて画像データを表すことにより、画像エンコーディングのエンコーディング効率を向上させることもできる。
本実施例1における画像エンコーディング方法のフローチャートである。 本実施例1における特徴マップを示す図である。 本実施例1におけるマスク畳み込み層を示す図である。 本実施例1におけるマスク畳み込み層を示す他の図である。 本実施例1におけるマスク畳み込み層を示す他の図である。 本実施例1におけるエンコーディング待ちシンボル確率推定方法のフローチャートである。 本実施例1におけるエンコーディング待ちシンボル確率推定方法の他のフローチャートである。 本実施例1における補助情報計算方法のフローチャートである。 本実施例1における画像エンコーディング装置の構成を示す図である。 本実施例2における画像デコーディング方法のフローチャートである。 本実施例2におけるデコーディング待ちシンボル確率推定方法のフローチャートである。 本実施例2におけるデコーディング待ちシンボル確率推定方法の他のフローチャートである。 本実施例2における画像デコーディング装置の構成を示す図である。 本実施例3における画像エンコーディング装置の構成を示す図である。 本実施例3における確率推定器の構成を示す図である。 本実施例3における確率推定器の構成を示す他の図である。 本実施例3における補助情報計算ユニットの構成を示す図である。 本実施例4における画像デコーディング装置の構成を示す図である。 本実施例4における確率推定器の構成を示す図である。 本実施例4における確率推定器の構成を示す他の図である。 本実施例5の電子機器の構成を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
本発明の実施例では、畳み込みニューラルネットワーク（CNN、Convolutional Neural Network）を例として説明を行うが、本発明は、これに限定されない。なお、CNNの基本概念及び内容については、関連技術を参照することができる。
実施例1は、画像エンコーディング方法を提供し、図1は、本実施例における画像エンコーディング方法のフローチャートであり、図1に示すように、該方法は、以下のステップを含む。
ステップ101：処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディング（即ち、畳み込みニューラルネットワークによるエンコーディング）を行い、特徴ベクトル又は特徴マップを生成し；
ステップ102：特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成し；
ステップ103：マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定し、そのうち、マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；
ステップ104：エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行う。
本実施例では、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットを用いて画像データを表すことにより、画像エンコーディングのエンコーディング効率を向上させることができる。
本実施例では、ステップ101において、畳み込みニューラルネットワーク（Convolutional Neural Networks，CNN）は、畳み込み演算を含み且つディープ構造を有するフィードフォワードニューラルネットワーク（Feedforward Neural Networks）であり、ディープラーニング（deep learning）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークにより処理待ちの画像データに対してエンコーディングを行うことで、該画像データに対応する特徴ベクトル又は特徴マップを得ることができる。
本実施例では、ステップ102において、畳み込みニューラルネットワークエンコーディングにより得られた特徴ベクトル又は特徴マップは、アナログデータ形式を有する。該アナログデータ形式の特徴ベクトル又は特徴マップに対して量子化を行うことで、離散形式の特徴ベクトル又は特徴マップを得ることができ、該離散形式の特徴ベクトル又は特徴マップは、エンコーディング待ちシンボルである。本実施例では、任意の量子化方式で特徴ベクトル又は特徴マップの量子化を行っても良いが、本発明は、これについて限定しない。
本実施例では、ステップ103において、マルチスケールのコンテキストモデルを用いて確率を推定するときに、エンコーディング待ちシンボルの順序に従って逐点（point-by-point）推定を行っても良く、そのうち、推定されるエンコーディング待ちシンボルの確率は、該エンコーディング待ちシンボルの前のエンコーディング済みシンボルの情報に依存する。
本実施例では、ステップ103において、マルチスケールのコンテキストモデルは、任意の構造を採用しても良い。例えば、該マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含んでも良い。そのうち、マスク畳み込み層は、エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、エンコーディング待ちシンボルの前のエンコーディング済みシンボルの重みを1に設定し、エンコーディング待ちシンボルの後の未エンコーディングシンボルの重みを0に設定しても良い。
以下、図2及び図3A〜図3Cをもとに、複数の異なるスケールのマスク畳み込み層を用いてエンコーディング待ちシンボルの確率を推定する方法を説明する。
図2は、本実施例の特徴マップの一例を示す図であり、便宜のため、図2では、15*10の特徴マップを採用しているが、理解すべきは、特徴マップは、他のサイズのものであって良いということであり、本発明は、これについて限定しない。図2に示すように、該特徴マップでは、各矩形が１つの離散的なエンコーディング待ちシンボルを表し、点線矩形がエンコーディング済みシンボルに対応し、矩形Dが現在の、確率を推定する必要のあるエンコーディング待ちシンボルに対応し、図中の矢印で示される方向に沿って1つずつエンコーディング待ちシンボルに対して確率推定を行う。
本実施例では、マルチスケールのコンテキストモデルにおいて、任意個の異なるスケールのマスク畳み込み層を採用しても良く、そのうち、マスク畳み込み層のスケールは、任意のスケールであっても良い。図3A〜図3Cは、本実施例の複数の異なるスケールのマスク畳み込み層を示す図である。
本実施例では、図3A〜図3Cに示すように、マルチスケールのコンテキストモデルにおいて3個の異なるスケールのマスク畳み込み層を採用しても良く、そのうち、マスク畳み込み層のスケールは、それぞれ、3*3、5*5、7*7であっても良い。そのうち、図3Aに示す3*3のマスク畳み込み層は、図2中の矩形Aに対応し、図3Bに示す5*5のマスク畳み込み層は、図2中の矩形Bに対応し、図3Cに示す7*7のマスク畳み込み層は、図2中の矩形Cに対応し、図3A中の矩形301、図3B中の矩形302、及び図3C中の矩形303は、図2中の矩形D、即ち、現在のエンコーディング待ちシンボルに対応する。
図2及び図3A〜図3Cに示すように、推定されるエンコーディング待ちシンボルの確率が該エンコーディング待ちシンボルの前のエンコーディング済みシンボルの情報に依存するから、該エンコーディング待ちシンボルの前のエンコーディング済みシンボルの重みを1に設定し、該エンコーディング待ちシンボルの後の未エンコーディングシンボルの重みを0に設定し、そして、公式3に基づいて、推定されるエンコーディング待ちシンボルの確率を計算しても良い。
Figure 2020173782
そのうち、
（外９）
Figure 2020173782

は、推定されるエンコーディング待ちシンボルの確率であり、
（外１０）
Figure 2020173782

は、シンボル
（外１１）
Figure 2020173782

の、その前のシンボル
（外１２）
Figure 2020173782

に対しての条件付き確率であり、mは、前のシンボルの個数であり、それは、マスク畳み込み層のスケールに関連し、例えば、マスク畳み込み層のスケールが3*3のときに、m=4であり、マスク畳み込み層のスケールが5*5のときに、m=12であり、マスク畳み込み層のスケールが7*7のときに、m=24である。
本実施例では、前のエンコーディング済みシンボルに基づいて現在のエンコーディング待ちシンボルの確率を推定し、言い換えれば、現在のエンコーディング待ちシンボルの確率を推定するときに前のエンコーディング済みシンボルと該エンコーディング待ちシンボルとの相関性を考慮する必要がある。異なる画像データ又は同じ画像データにおける異なる領域において、前のエンコーディング済みシンボルと現在のエンコーディング待ちシンボルとの相関性が異なる可能性があるから、本実施例では、複数の異なるスケールのマスク畳み込み層を設定することで、現在のエンコーディング待ちシンボルからの比較的遠い前のエンコーディング済みシンボルを考慮することができるだけでなく、現在のエンコーディング待ちシンボルからの比較的近い前のエンコーディング済みシンボルを考慮することもでき、これにより、前の情報を十分に利用することで、エンコーディング待ちシンボルの確率を正確に推定することができる。
本実施例では、ステップ103において、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定するときに、上述の複数の異なるスケールのマスク畳み込み層の演算結果に基づいて確率推定を行っても良く、又は、複数の異なるスケールのマスク畳み込み層の演算結果及び補助情報に基づいて確率推定を行っても良い。以下、図4及び図5に基づいてステップ103を例示的に説明する。
図4は、本実施例のエンコーディング待ちシンボル確率推定方法のフローチャートである。図4に示すように、該方法は、以下のステップを含む。
ステップ401：複数の異なるスケールのマスク畳み込み層を用いて、それぞれ、エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
ステップ402：複数の異なるスケールのマスク畳み込み層の計算結果に基づいて、確率ネットワークによりエンコーディング待ちシンボルの確率モデルを計算し；
ステップ403：確率モデルに基づいてエンコーディング待ちシンボルの確率を計算する。
本実施例では、ステップ401の内容について、図2及び図3A〜図3Cに関しての説明を参照することができ、ここでは、その詳しい説明を省略する。
本実施例では、ステップ402において、任意の確率ネットワークを用いて確率モデルの計算を行っても良く、例えば、ガウス確率ネットワーク、ラプラス確率ネットワークなどを採用しても良い。ガウス確率ネットワークを例とすれば、ステップ402では、複数の異なるスケールのマスク畳み込み層の計算結果に基づいて、ガウス分布の平均値及び分散又は標準偏差を推定することで、ガウス確率モデルを得ることができる。
本実施例では、ステップ403において、ステップ402で確定された確率モデルに基づいてエンコーディング待ちシンボルの確率を計算し、例えば、ガウス確率モデルを例とすれば、エンコーディング待ちシンボルのシンボル値、ガウス分布の平均値及び分散に基づいて、該エンコーディング待ちシンボルの確率を確定することができる。
図5は、本実施例のエンコーディング待ちシンボル確率推定方法の他のフローチャートである。図5に示すように、該方法は、以下のステップを含む。
ステップ501：複数の異なるスケールのマスク畳み込み層を用いて、それぞれ、エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
ステップ502：補助情報を計算し；
ステップ503：複数の異なるスケールのマスク畳み込み層の計算結果及び補助情報に基づいて、確率ネットワークによりエンコーディング待ちシンボルの確率モデルを計算し；
ステップ504：確率モデルに基づいてエンコーディング待ちシンボルの確率を計算する。
本実施例では、該補助情報は、エンコーディング待ちシンボルに関連する情報であっても良い。確率推定時にエンコーディング待ちシンボルに関連する情報を考慮しているので、エンコーディング待ちシンボルの確率をより正確に推定することができる。
本実施例では、ステップ501及びステップ504がステップ401及びステップ403と同じであり、ここでは、その詳しい説明を省略する。
本実施例では、ステップ501及びステップ502の順序が任意の順序であっても良く、例えば、先にステップ501を実行しても良く、先にステップ502を実行しても良く、又はこの２つのステップを並列に実行しても良い。
本実施例では、ステップ502において、任意の方式で補助情報を計算することができる。以下、図6をもとに、補助情報の計算方法を例示的に説明する。図6は、本実施例の補助情報計算方法のフローチャートである。図6に示すように、該方法は、以下のステップを含む。
ステップ601：畳み込みニューラルネットワークエンコーディングのプロセスから複数組の中間データを抽出し；
ステップ602：複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行い、複数組の畳み込み演算結果を取得し；
ステップ603：特徴ベクトル又は特徴マップ、及び複数組の畳み込み演算結果に基づいて補助情報を計算する。
本実施例では、画像データに対して畳み込みニューラルネットワークエンコーディングを行って該画像データの特徴ベクトル又は特徴マップを生成するプロセスから複数組の中間データを抽出し、該複数組の中間データには、該画像データの特徴ベクトル又は特徴マップに関連する情報が含まれる。該複数組の中間データに対して異なるスケールの畳み込み演算を行って複数組の畳み込み演算結果を取得し、そして、該畳み込み演算結果、及び特徴ベクトル又は特徴マップに基づいて補助情報を計算することで、特徴ベクトル又は特徴マップに関連する情報を十分に利用することができ、これにより、エンコーディング待ちシンボルの確率推定に、より正確な補助情報を提供することができる。
本実施例では、ステップ601において、畳み込みニューラルネットワークエンコーディングのプロセスから中間データを抽出するときに、任意の数の中間データを抽出しても良い。例えば、3組の中間データを抽出することができる。
本実施例では、ステップ602において、複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行うときに、畳み込み演算のスケールが任意に設定されても良い。例えば、3組の中間データを例とすれば、該畳み込み演算のスケールが5*5、7*7、9*9に設定されても良い。上述のような比較的大きいスケールの畳み込み演算を用いることで、範囲がより広い中間データ情報を含めることができ、また、スケールが異なる畳み込み演算を用いることで、異なる範囲の中間データ情報を考慮することができ、即ち、高頻度（high-frequency）情報及び低頻度（low-frequency）情報がすべて含まれており、これにより、補助情報をより正確に推定することができる。
本実施例では、ステップ104において、エントロピーエンコーディング、即ち、エンコーディングプロセスでエントロピー原理に従っていずれの情報も失わない方式でエンコーディングを行う。エントロピーエンコーディングを行うときに、各エンコーディング待ちシンボルの出現確率が正確であればあるほど、少ないビットで該エンコーディング待ちシンボルを表すことができる。ステップ104では、任意のエントロピーエンコーディング、例えば、Shannonエンコーディング、Huffmanエンコーディング、算術エンコーディング(arithmetic coding)などを採用しても良い。
図7は、画像エンコーディング装置の構成を示す図である。以下、図7に基づいて本実施例の画像エンコーディング方法について具体的に説明する。
図7に示すように、まず、畳み込みニューラルネットワークエンコーダにより処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディングを行い、該画像データの潜在表現y（即ち、特徴ベクトル又は特徴マップ）を取得し；量子化器により潜在表現yに対して量子化を行い、離散的な潜在表現
（外１３）
Figure 2020173782

（即ち、エンコーディング待ちシンボル）を取得し；該離散的な潜在表現
（外１４）
Figure 2020173782

が、それぞれ、3*3の畳み込みカーネル、5*5の畳み込みカーネル、及び7*7の畳み込みカーネルを経て、畳み込み演算後の結果c1、c2及びc3を取得し；畳み込み演算後の結果c1、c2及びc3並びに補助情報（Side information）sに基づいて、確率モデル計算ユニットによりエンコーディング待ちシンボルの確率モデルを計算し、ガウス分布を例とすると、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み；エンコーディング待ちシンボルのシンボル値及び確率モデルに基づいて、第一計算ユニットにより、エンコーディング待ちシンボルの確率
（外１５）
Figure 2020173782

を計算し；確率
（外１６）
Figure 2020173782

及び潜在表現
（外１７）
Figure 2020173782

に基づいて、算術エンコーダによりエントロピーエンコーディングを行い、画像データを表すコードストリームb2を生成する。
そのうち、補助情報sは、次のような方式で生成することができ、即ち、中間データ抽出ユニットにより畳み込みニューラルネットワークエンコーダから3組の中間データd1、d2及びd3を抽出し；5*5の畳み込みカーネルにより中間データd1に対して畳み込み演算を行い、7*7の畳み込みカーネルにより中間データd2に対して畳み込み演算を行い、9*9の畳み込みカーネルにより中間データd3に対して畳み込み演算を行うことで、それぞれ、畳み込み演算後の結果e1、e2及びe3を取得し；結合器により畳み込み演算後の結果e1、e2及びe3並びに潜在表現yを結合（combine）して結合データfを取得し；ハイパーエンコーダにより結合データに対してハイパーエンコーディング（Hyper encode）を行い、ハイパーエンコーディングデータgを生成し；算術エンコーダによりハイパーエンコーディングデータgに対して算術エンコーディングを行い、補助情報を示すコードストリームb1を生成し；算術デコーダによりコードストリームb1に対して算術デコーディングを行い、デコーディングデータg’を生成し；ハイパーデコーダによりデコーディングデータg’に対してハイパーデコーディング（Hyper decode）を行い、補助情報sを取得する。
本実施例では、補助情報を表すコードストリームb1及び画像データを表すコードストリームb2は、ネットワークの伝送又は記憶のために用いられる。デコーダ側では、コードストリームb1に対して対応するデコーディングを行うことで補助情報を得ることができ、コードストリームb2に対して対応するデコーディングを行うことで画像データを再構成（reconstruct）することができる。
なお、本実施例では、補助情報sを生成するときにハイパーエンコーディング及びハイパーデコーディング、算術エンコーディング及び算術デコーディングの方式を採用しているが、本発明は、これに限られず、他のエンコーディング及びデコーディングの方式を採用して補助情報を生成することもできる。
本実施例では、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットで画像データを表すことにより、画像エンコーディングのエンコーディング効率を向上させることもできる。
実施例2は、画像デコーディング方法を提供し、図8は、本実施例の画像デコーディング方法のフローチャートであり、図8に示すように、該方法は、以下のステップを含む。
ステップ801：マルチスケールのコンテキストモデルにより現在のデコーディング待ちシンボルの確率を推定し、そのうち、マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；
ステップ802：推定された現在のデコーディング待ちシンボルの確率に基づいて、デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを取得し；
ステップ803：特徴ベクトル又は特徴マップに対して畳み込みニューラルネットワークデコーディングを行い、画像データを生成する。
本実施例では、マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することで、デコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行うことで、画像デコーディングの正確性を向上させることができる。
本実施例では、ステップ801において、マルチスケールのコンテキストモデルを用いて上述の確率を推定するときに、デコーディング待ちシンボルの順序に従って逐点（point-by-point）推定を行い、そのうち、推定されるデコーディング待ちシンボルの確率は、該デコーディング待ちシンボルの前のデコーディング済みシンボルの情報に依存する。
本実施例では、マルチスケールのコンテキストモデルは、任意の構成を採用しても良い。例えば、該マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含んでも良い。そのうち、マスク畳み込み層は、デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、そのうち、デコーディング待ちシンボルの前のデコーディング済みシンボルの重みを1に設定し、デコーディング待ちシンボルの後の未デコーディングシンボルの重みを0に設定する。
以下、図2及び図3A〜図3Cをもとに、複数の異なるスケールのマスク畳み込み層を用いてデコーディング待ちシンボルの確率を推定する方法を説明する。
図2は、本実施例の特徴マップの一例を示す図であり、便宜のため、図2では、15*10の特徴マップが採用されている。なお、理解すべきは、特徴マップは、他のサイズのものであっても良く、本発明は、これに限定されないということである。図2に示すように、該特徴マップでは、各矩形が１つの離散的なデコーディング待ちシンボルを表し、点線矩形がデコーディング済みシンボルに対応し、矩形Dが現在の、確率を推定する必要のあるデコーディング待ちシンボルを対応し、矢印で示される方向に沿って１つずつデコーディング待ちシンボルに対して確率推定を行う。
本実施例では、マルチスケールのコンテキストモデルにおいて任意個の異なるスケールのマスク畳み込み層を採用しても良く、そのうち、マスク畳み込み層のスケールは、任意のスケールであっても良い。図3A〜図3Cは、本実施例の複数の異なるスケールのマスク畳み込み層を示す図である。本実施例では、図3A〜図3Cに示すように、マスク畳み込み層の数が3つであっても良く、マスク畳み込み層のサイズがそれぞれ3*3、5*5及び7*7であっても良い。そのうち、図3Aに示す3*3のマスク畳み込み層は、図2中の矩形Aに対応し、図3Bに示す5*5のマスク畳み込み層は、図2中の矩形Bに対応し、図3Cに示す7*7のマスク畳み込み層は、図2中の矩形Cに対応し、図3A中の矩形301、図3B中の矩形302、及び図3C中の矩形303は、図2中の矩形Dに対応し、即ち、現在のデコーディング待ちシンボルに対応する。図2及び図3A〜図3Cに示すように、該デコーディング待ちシンボルの前のデコーディング済みシンボルの重みを1に設定し、該デコーディング待ちシンボルの後の未デコーディングシンボルの重みを0に設定し、これにより、前のデコーディング済みシンボルに基づいて現在のデコーディング待ちシンボルの確率を推定することができる。
本実施例では、前のデコーディング済みシンボルに基づいて現在のデコーディング待ちシンボルの確率を推定し、言い換えれば、現在のデコーディング待ちシンボルの確率を推定するときに、前のデコーディング済みシンボルと該デコーディング待ちシンボルとの相関性を考慮する必要がある。異なる画像データ又は同じ画像データにおける異なる領域において、前のデコーディング済みシンボルと現在のデコーディング待ちシンボルとの相関性が異なる可能性がある。よって、本実施例では、複数の異なるスケールのマスク畳み込み層を設定することで、現在のデコーディング待ちシンボルからの比較的遠い前のデコーディング済みシンボルを考慮することができるだけでなく、現在のデコーディング待ちシンボルからの比較的小さい前のデコーディング済みシンボルを考慮することもでき、これにより、前の情報を十分に利用することで、デコーディング待ちシンボルの確率を正確に推定することができる。
本実施例では、ステップ801において、マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定するときに、複数の異なるスケールのマスク畳み込み層の演算結果に基づいて確率推定を行っても良く、又は、複数の異なるスケールのマスク畳み込み層の演算結果及び補助情報に基づいて確率推定を行っても良い。以下、
図9A及び図9Bをもとに、ステップ801について例示的に説明する。
図9Aは、本実施例のデコーディング待ちシンボル確率推定方法のフローチャートである。図9Aに示すように、該方法は、以下のステップを含む。
ステップ901：複数の異なるスケールのマスク畳み込み層を用いて、それぞれ、デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
ステップ902：マスク畳み込み層の計算結果に基づいて、確率ネットワークによりデコーディング待ちシンボルの確率モデルを計算し；
ステップ903：確率モデルに基づいてデコーディング待ちシンボルの確率を計算する。
本実施例では、ステップ901の内容について、図2及び図3A〜図3Cに関しての説明を参照することができ、ここでは、その詳細な説明を省略する。
本実施例では、ステップ902において、任意の確率ネットワークを用いて確率モデルの計算を行っても良く、例えば、ガウス確率ネットワーク、ラプラス確率ネットワークなどを採用しても良い。ガウス確率ネットワークを例とすれば、ステップ902では、マスク畳み込み層の計算結果に基づいてガウス分布の平均値及び分散又は標準偏差を推定し、これにより、ガウス確率モデルを得ることができる。
本実施例では、ステップ903において、ステップ902で確定された確率モデルに基づいてデコーディング待ちシンボルの確率を計算し、例えば、ガウス確率モデルを例とすると、デコーディング待ちシンボルのシンボル値、ガウス分布の平均値及び分散に基づいて、該デコーディング待ちシンボルの確率を確定することができる。
図9Bは、本実施例のデコーディング待ちシンボル確率推定方法の他のフローチャートである。図9Bに示すように、該方法は、以下のステップを含む。
ステップ1001：複数の異なるスケールのマスク畳み込み層を用いて、それぞれ、デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
ステップ1002：補助情報を計算し；
ステップ1003：マスク畳み込み層の計算結果及び補助情報に基づいて、確率ネットワークによりデコーディング待ちシンボルの確率モデルを計算し；
ステップ1004：確率モデルに基づいてデコーディング待ちシンボルの確率を計算する。
本実施例では、該補助情報は、デコーディング待ちシンボルに関連する情報であっても良い。確率推定時にデコーディング待ちシンボルに関連する補助情報を考慮しているから、デコーディング待ちシンボルの確率をより正確に推定することができる。
本実施例では、ステップ1001及びステップ1004がステップ901及びステップ903と同じであるから、ここでは、その詳しい説明を割愛する。
本実施例では、ステップ1002において、任意の方式で補助情報を計算しても良い。例えば、受信した、補助情報に対応するビット流に対してハイパーデコーディングを行うことで、補助情報を得ても良い。なお、本発明は、これに限られず、他のデコーディング方式で補助情報を生成することもできる。
本実施例では、ステップ802において、任意のントロピーデコーディング、例えば、Shannonエンコーディング、Huffmanエンコーディング、算術エンコーディング(arithmetic coding)などに対応するデコーディングを採用しても良い。
図10は、画像デコーディング装置の構成の一例を示す図である。以下、図10に基づいて本実施例の画像デコーディング方法を例示的に説明する。
図10に示すように、まず、算術デコーダにより画像データを表すコードストリームb2に対してエントロピーデコーディングを行い、離散的な潜在表現
（外１８）
Figure 2020173782

（即ち、特徴ベクトル又は特徴マップ）を取得し；畳み込みニューラルネットワークデコーダにより潜在表現
（外１９）
Figure 2020173782

に対してデコーディングを行い、画像データを再構成する。
そのうち、算術デコーダによりエントロピーデコーディングを行うときに、さらに現在の潜在表現
（外２０）
Figure 2020173782

の確率を用いる必要があり、該確率は、次のような方式で計算することができ、即ち、離散的な潜在表現
（外２１）
Figure 2020173782

がそれぞれ3*3の畳み込みカーネル、5*5の畳み込みカーネル、及び7*7の畳み込みカーネルを経て畳み込み演算後の結果c1、c2及びc3を取得し；畳み込み演算後の結果c1、c2及びc3及び補助情報（Side information）sに基づいて、確率モデル計算ユニットによりデコーディング待ちシンボルの確率モデルを計算し、ガウス分布を例とすれば、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み；コードストリームb2及び確率モデルに基づいて、第三計算ユニットにより、デコーディング待ちシンボルの確率
（外２２）
Figure 2020173782

を計算する。
そのうち、補助情報sは、次のような方式で生成することができ、即ち、算術デコーダにより補助情報を表すコードストリームb1に対して算術デコーディングを行い、デコーディングデータg’を生成し；ハイパーデコーダにより、デコーディングデータg’に対してハイパーデコーディング（Hyper decode）を行い、補助情報sを取得する。
なお、本実施例では、補助情報s生成時にハイパーデコーディング、算術デコーディングの方式を採用しているが、本発明は、これに限定されず、他のデコーディングの方式で補助情報を生成することもできる。
本実施例では、マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することで、デコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行うことで、画像デコーディングの正確性を向上させることができる。
本実施例3は、さらに、画像エンコーディング装置を提供する。該装置が問題を解決する原理が実施例1の方法と同様であるため、その具体的な実施は、実施例1の方法の実施を参照することができ、ここでは、内容が同じである重複記載を省略する。
図11は、該画像エンコーディング装置1100の構成の一例を示す図であり、図11に示すように、該装置1100は、以下のものを含む。
畳み込みニューラルネットワークエンコーダ1101：畳み込みニューラルネットワークを用いて処理待ちの画像データに対してエンコーディングを行い、画像データの特徴ベクトル又は特徴マップを生成し；
量子化器1102：特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成し；
確率推定器1103：マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定し、そのうち、確率推定器1103は、複数の異なるスケールのマスク畳み込み層11031を含み；
エントロピーエンコーダ1104：エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行う。
本実施例では、畳み込みニューラルネットワークエンコーダ1101、量子化器1102、確率推定器1103及びエントロピーエンコーダ1104の実施方式について実施例1におけるステップ101〜104を参照することができ、ここでは、その詳しい説明を省略する。
本実施例では、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットを用いて画像データを表すことにより、画像エンコーディングのエンコーディング効率を向上させることもできる。
図12は、本実施例の確率推定器1103の構成の一例を示す図である。図12に示すように、確率推定器1103は、以下のものを含んでも良い。
複数の異なるスケールのマスク畳み込み層11031：それぞれ、エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
確率モデル計算ユニット11032：マスク畳み込み層11031の計算結果に基づいて、確率ネットワークによりエンコーディング待ちシンボルの確率モデルを計算し；
第一計算ユニット11033：確率モデルに基づいてエンコーディング待ちシンボルの確率を計算する。
本実施例では、複数の異なるスケールのマスク畳み込み層11031、確率モデル計算ユニット11032及び第一計算ユニット11033の実施方式について実施例1におけるステップ401〜403を参照することができ、ここでは、その詳しい説明を省略する。
図13は、本実施例の確率推定器1103の構成の他の例を示す図である。図13に示すように、確率推定器1103は、以下のものを含んでも良い。
補助情報計算ユニット11034：補助情報を計算し；
複数の異なるスケールのマスク畳み込み層11031：それぞれ、エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
確率モデル計算ユニット11035：マスク畳み込み層11031の計算結果及び補助情報に基づいて、確率ネットワークによりエンコーディング待ちシンボルの確率モデルを計算し；
第一計算ユニット11033：確率モデルに基づいてエンコーディング待ちシンボルの確率を計算する。
本実施例では、複数の異なるスケールのマスク畳み込み層11031、補助情報計算ユニット11034、確率モデル計算ユニット11035及び第一計算ユニット11033の実施方式について実施例1におけるステップ501〜504を参照することができ、ここでは、その詳しい説明を割愛する。
図14は、本実施例の補助情報計算ユニット11034の構成の一例を示す図である。図14に示すように、補助情報計算ユニット11034は、以下のものを含んでも良い。
中間データ抽出ユニット1401：畳み込みニューラルネットワークエンコーダから複数組の中間データを抽出し；
マルチスケール畳み込みユニット1402：複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行い、複数組の畳み込み演算結果を取得し；
第二計算ユニット1403：特徴ベクトル又は特徴マップ、及び複数組の畳み込み演算結果に基づいて前記補助情報を計算する。
本実施例では、中間データ抽出ユニット1401、マルチスケール畳み込みユニット1402及び第二計算ユニット1403の実施方式について実施例1におけるステップ601〜603を参照することができ、ここでは、その詳しい説明を省略する。
本実施例では、マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することで、エンコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてエンコーディング待ちシンボルに対してエントロピーエンコーディングを行うことで、比較的少ないビットを用いて画像データを示すことにより、画像エンコーディングのエンコーディング効率を向上させることができる。
本実施例4は、さらに、画像デコーディング装置を提供する。該装置が問題を解決する原理が実施例2の方法と同様であるため、その具体的な実施について実施例2の方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。
図15は、本実施例の画像デコーディング装置の構成の一例を示す図であり、図15に示すように、該装置1600は、以下のものを含む。
確率推定器1601：マルチスケールのコンテキストモデルを用いて現在のデコーディング待ちシンボルの確率を推定し、そのうち、確率推定器1601は、複数の異なるスケールのマスク畳み込み層16011を含み；
エントロピーデコーダ1602：該確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを取得し；
畳み込みニューラルネットワークデコーダ1603：特徴ベクトル又は特徴マップに対してデコーディングを行い、画像データを生成する。
本実施例では、マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することで、デコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行うことで、画像デコーディングの正確性を向上させることができる。
本実施例では、確率推定器1601、エントロピーデコーダ1602及び畳み込みニューラルネットワークデコーダ1603の実施方式について実施例2におけるステップ801〜803を参照することができ、ここでは、その詳細な記載を省略する。
図16は、本実施例の確率推定器1601の構成の一例を示す図である。図16に示すように、確率推定器1601は、以下のものを含む。
複数の異なるスケールのマスク畳み込み層16011：それぞれ、デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
確率モデル計算ユニット1701：複数の異なるスケールのマスク畳み込み層16011の計算結果に基づいて、確率ネットワークによりデコーディング待ちシンボルの確率モデルを計算し；
第三計算ユニット1702：該確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算する。
本実施例では、複数の異なるスケールのマスク畳み込み層16011、確率モデル計算ユニット1701及び第三計算ユニット1702の実施方式について実施例2におけるステップ901〜903を参照することができ、ここでは、その詳しい説明を省略する。
図17は、本実施例の確率推定器1601の構成の他の例を示す図である。図17に示すように、確率推定器1601は、以下のものを含む。
複数の異なるスケールのマスク畳み込み層16011：それぞれ、デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
補助情報計算ユニット1801：補助情報を計算し；
確率モデル計算ユニット1802：複数の異なるスケールのマスク畳み込み層16011の計算結果及び補助情報に基づいて、確率ネットワークによりデコーディング待ちシンボルの確率モデルを計算し；
第三計算ユニット1702：該確率モデルに基づいてデコーディング待ちシンボルの確率を計算する。
本実施例では、複数の異なるスケールのマスク畳み込み層16011、補助情報計算ユニット1801、確率モデル計算ユニット1802及び第三計算ユニット1702の実施方式について実施例2におけるステップ1001〜1004を参照することができ、ここでは、その詳細な記載を割愛する。
本実施例では、マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することで、デコーディング待ちシンボルの確率推定の正確性を向上させることができ、また、該確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行うことで、画像デコーディングの正確性を向上させることもできる。
本発明の実施例は、さらに、電子機器を提供し、それは、実施例3に記載の画像エンコーディング装置又は実施例4に記載の画像デコーディング装置を含む。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、スマートフォンなどであっても良いが、本発明は、これに限られない。
図18は、本実施例の電子機器の構成の一例を示す図である。図18に示すように、電子機器1900は、処理器（例えば、中央処理装置CPU）1910及び記憶器1920を含み、記憶器1920は、中央処理器1910に接続される。そのうち、該記憶器1920は、各種のデータを記憶することができ、また、情報処理用のプログラムを記憶し、処理器1910の制御下で該プログラムを実行することもできる。
１つの実施方式では、画像エンコーディング装置1100又は画像デコーディング装置1600の機能が処理器1910に集積されても良い。そのうち、処理器1910は、実施例1に記載の画像エンコーディング方法又は実施例2に記載の画像デコーディング方法を実現するように構成されても良い。
他の実施方式では、画像エンコーディング装置1100又は画像デコーディング装置1600が処理器1910と別々で配置されても良く、例えば、画像エンコーディング装置1100又は画像デコーディング装置1600を処理器1910に接続されるチップ（chip）として構成し、処理器1910の制御により画像エンコーディング装置1100又は画像デコーディング装置1600の機能を実現しても良い。
例えば、処理器1910は、次のような制御を行うように構成されても良く、即ち、処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディングを行い、特徴ベクトル又は特徴マップを生成し；特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成し；マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定し、そのうち、マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；及び、エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行う。
或いは、例えば、処理器1910は、次のような制御を行うように構成されても良く、即ち、マルチスケールのコンテキストモデルに基づいて現在のデコーディング待ちシンボルの確率を推定し、そのうち、マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；確率に基づいてデコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを取得し；及び、特徴ベクトル又は特徴マップに対して畳み込みニューラルネットワークデコーディングを行い、画像データを生成する。
該処理器1910の具体的な実施方式は、実施例1又は実施例2を参照することができ、ここでは、その詳しい説明を省略する。
また、図18に示すように、電子機器1900は、さらに、送受信ユニット1930などを含んでも良く、そのうち、これらの部品の機能は、従来技術と同様であるから、ここでは、その詳しい説明を省略する。なお、電子機器1900は、図18に示す全ての部品を含む必要がない。また、電子機器1900は、さらに、図18に無い部品を含んでも良く、これについては、従来技術を参照することができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像エンコーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像エンコーディング装置中で実施例1における画像エンコーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像エンコーディング装置中で実施例1における画像エンコーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像デコーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像デコーディング装置中で実施例2における画像デコーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像デコーディング装置中執で実施例2における画像デコーディング方法を実行させる。
本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は、両者の組み合わせにより実現することができる。例えば、図7、図10〜図17に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1、図4〜図6、図8〜図9Bに示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。
また、本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
また、以上の実施例などに関し、さらに以下のように付記を開示する。
（付記1）
画像エンコーディング方法であって、
処理待ちの画像データに対して畳み込みニューラルネットワークエンコーディングを行い、特徴ベクトル又は特徴マップを生成し；
前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的な前記エンコーディング待ちシンボルを生成し；
マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定し、そのうち、前記マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；及び
前記エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行うことを含む、方法。
（付記2）
付記1に記載の画像エンコーディング方法であって、
前記マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することは、
複数の異なるスケールの前記マスク畳み込み層を用いて、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより前記エンコーディング待ちシンボルの確率モデルを計算し；及び
前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算することを含む、方法。
（付記3）
付記1に記載の画像エンコーディング方法であって、
前記マルチスケールのコンテキストモデルを用いてエンコーディング待ちシンボルの確率を推定することは、
複数の異なるスケールの前記マスク畳み込み層を用いて、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
補助情報を計算し；
前記マスク畳み込み層の計算結果及び補助情報に基づいて、確率ネットワークにより前記エンコーディング待ちシンボルの確率モデルを計算し；及び
前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算することを含む、方法。
（付記4）
付記3に記載の画像エンコーディング方法であって、
補助情報を計算することは、
前記畳み込みニューラルネットワークエンコーディングのプロセスから複数組の中間データを抽出し；
前記複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行い、複数組の畳み込み演算結果を取得し；及び
前記特徴ベクトル又は特徴マップ、及び前記複数組の畳み込み演算結果に基づいて前記補助情報を計算することを含む、方法。
（付記5）
付記4に記載の画像エンコーディング方法であって、
前記中間データは3組あり、前記複数組の畳み込み演算のスケールは、それぞれ、5*5、7*7、及び9*9である、方法。
（付記6）
付記1に記載の画像エンコーディング方法であって、
前記マスク畳み込み層が、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、そのうち、前記エンコーディング待ちシンボルの前のエンコーディング済みシンボルの重みを1に設定し、前記エンコーディング待ちシンボルの後の未エンコーディングシンボルの重みを0に設定する、方法。
（付記7）
付記1に記載の画像エンコーディング方法であって、
前記マスク畳み込み層の数は3つであり、前記マスク畳み込み層のサイズは、それぞれ、3*3、5*5、及び7*7である、方法。
（付記8）
画像デコーディング方法であって、
マルチスケールのコンテキストモデルにより現在のデコーディング待ちシンボルの確率を推定し、前記マルチスケールのコンテキストモデルは、複数の異なるスケールのマスク畳み込み層を含み；
前記確率に基づいて前記デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを取得し；及び
前記特徴ベクトル又は特徴マップに対して畳み込みニューラルネットワークデコーディングを行い、画像データを生成することを含む、方法。
（付記9）
付記8に記載の画像デコーディング方法であって、
前記マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することは、
複数の異なるスケールの前記マスク畳み込み層を用いてそれぞれ前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより前記デコーディング待ちシンボルの確率モデルを計算し；及び
前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算することを含む、方法。
（付記10）
付記8に記載の画像デコーディング方法であって、
前記マルチスケールのコンテキストモデルを用いてデコーディング待ちシンボルの確率を推定することは、
複数の異なるスケールの前記マスク畳み込み層を用いてそれぞれ前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
補助情報を計算し；
前記マスク畳み込み層の計算結果及び前記補助情報に基づいて、確率ネットワークにより前記デコーディング待ちシンボルの確率モデルを計算し；及び
前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算することを含む、方法。
（付記11）
付記8に記載の画像デコーディング方法であって、
前記マスク畳み込み層が、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、そのうち、前記デコーディング待ちシンボルの前のデコーディング済みシンボルの重みを1に設定し、前記デコーディング待ちシンボルの後の未デコーディングシンボルの重みを0に設定する、方法。
（付記12）
付記8に記載の画像エンコーディング方法であって、
前記マスク畳み込み層の数は3つであり、前記マスク畳み込み層のサイズは、それぞれ、3*3、5*5、及び7*7である、方法。
（付記13）
画像エンコーディング装置であって、
畳み込みニューラルネットワークを用いて処理待ちの画像データに対してエンコーディングを行い、前記画像データの特徴ベクトル又は特徴マップを生成する畳み込みニューラルネットワークエンコーダ；
前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成する量子化器；
マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定し、複数の異なるスケールのマスク畳み込み層を含む確率推定器；及び
前記エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行うエントロピーエンコーダを含む、装置。
（付記14）
付記13に記載の画像エンコーディング装置であって、
複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
前記確率推定器は、さらに、
複数の異なるスケールの前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより前記エンコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算する第一計算ユニットを含む、装置。
（付記15）
付記13に記載の画像エンコーディング装置であって、
複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
前記確率推定器は、さらに、
補助情報を計算する補助情報計算ユニット；
複数の異なるスケールの前記マスク畳み込み層の計算結果及び前記補助情報に基づいて、確率ネットワークにより、前記エンコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算する第一計算ユニットを含む、装置。
（付記16）
付記15に記載の画像エンコーディング装置であって、
前記補助情報計算ユニットは、
前記畳み込みニューラルネットワークエンコーダから複数組の中間データを抽出する中間データ抽出ユニット；
前記複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行い、複数組の畳み込み演算結果を得るマルチスケール畳み込みユニット；及び
前記特徴ベクトル又は特徴マップ、及び前記複数組の畳み込み演算結果に基づいて前記補助情報を計算する第二計算ユニットを含む、装置。
（付記17）
付記16に記載の画像エンコーディング装置であって、
前記中間データは3組あり、前記マルチスケール畳み込みユニットのスケールは、それぞれ、5*5、7*7、及び9*9である、装置。
（付記18）
付記13に記載の画像エンコーディング装置であって、
前記マスク畳み込み層が、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、前記エンコーディング待ちシンボルの前のエンコーディング済みシンボルの重みを1に設定し、前記エンコーディング待ちシンボルの後の未エンコーディングシンボルの重みを0に設定する、装置。
（付記19）
付記13に記載の画像エンコーディング装置であって、
前記マスク畳み込み層の数が3つであり、前記マスク畳み込み層のサイズがそれぞれ3*3、5*5、及び7*7である、装置。
（付記20）
画像デコーディング装置であって、
マルチスケールのコンテキストモデルを用いて現在のデコーディング待ちシンボルの確率を推定し、複数の異なるスケールのマスク畳み込み層を含む確率推定器；
前記確率に基づいて前記デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを得るエントロピーデコーダ；及び
前記特徴ベクトル又は特徴マップに対してデコーディングを行い、画像データを生成する畳み込みニューラルネットワークデコーダを含む、装置。
（付記21）
付記20に記載の画像デコーディング装置であって、
複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
前記確率推定器は、さらに、
前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより、前記デコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算する第三計算ユニットを含む、装置。
（付記22）
付記20に記載の画像デコーディング装置であって、
複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
前記確率推定器は、さらに、
補助情報を計算する補助情報計算ユニット；
前記マスク畳み込み層の計算結果及び前記補助情報に基づいて、確率ネットワークにより前記デコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算する第三計算ユニットを含む、装置。
（付記23）
付記20に記載の画像デコーディング装置であって、
前記マスク畳み込み層が、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、前記デコーディング待ちシンボルの前のデコーディング済みシンボルの重みが1と設定され、前記デコーディング待ちシンボルの後の未デコーディングシンボルの重みが0と設定される、装置。
（付記24）
付記20に記載の画像エンコーディング装置であって、
前記マスク畳み込み層の数が3つであり、前記マスク畳み込み層のサイズがそれぞれ3*3、5*5、及び7*7である、装置。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 画像エンコーディング装置であって、
    畳み込みニューラルネットワークを用いて処理待ちの画像データに対してエンコーディングを行い、前記画像データの特徴ベクトル又は特徴マップを生成する畳み込みニューラルネットワークエンコーダ；
    前記特徴ベクトル又は特徴マップに対して量子化を行い、離散的なエンコーディング待ちシンボルを生成する量子化器；
    マルチスケールのコンテキストモデルを用いて前記エンコーディング待ちシンボルの確率を推定し、複数の異なるスケールのマスク畳み込み層を含む確率推定器；及び
    前記エンコーディング待ちシンボルの確率に基づいてエントロピーエンコーディングを行うエントロピーエンコーダを含む、装置。
  2. 請求項1に記載の画像エンコーディング装置であって、
    複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い；
    前記確率推定器は、さらに、
    複数の異なるスケールの前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより、前記エンコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
    前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算する第一計算ユニットを含む、装置。
  3. 請求項1に記載の画像エンコーディング装置であって、
    複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
    前記確率推定器は、さらに、
    補助情報を計算する補助情報計算ユニット；
    複数の異なるスケールの前記マスク畳み込み層の計算結果及び前記補助情報に基づいて、確率ネットワークにより、前記エンコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
    前記確率モデルに基づいて前記エンコーディング待ちシンボルの確率を計算する第一計算ユニットを含む、装置。
  4. 請求項3に記載の画像エンコーディング装置であって、
    前記補助情報計算ユニットは、
    前記畳み込みニューラルネットワークエンコーダから複数組の中間データを抽出する中間データ抽出ユニット；
    前記複数組の中間データに対してそれぞれ異なるスケールの畳み込み演算を行い、複数組の畳み込み演算結果を得るマルチスケール畳み込みユニット；及び
    前記特徴ベクトル又は特徴マップ、及び前記複数組の畳み込み演算結果に基づいて、前記補助情報を計算する第二計算ユニットを含む、装置。
  5. 請求項4に記載の画像エンコーディング装置であって、
    前記中間データは3組あり、前記マルチスケール畳み込みユニットのスケールは、それぞれ、5*5、7*7、及び9*9である、装置。
  6. 請求項1に記載の画像エンコーディング装置であって、
    前記マスク畳み込み層が、前記エンコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行うために用いられ、前記エンコーディング待ちシンボルの前のエンコーディング済みシンボルの重みが1と設定され、前記エンコーディング待ちシンボルの後の未エンコーディングシンボルの重みが0と設定される、装置。
  7. 請求項1に記載の画像エンコーディング装置であって、
    前記マスク畳み込み層の数が3つであり、前記マスク畳み込み層のサイズがそれぞれ3*3、5*5、及び7*7である、装置。
  8. 画像デコーディング装置であって、
    マルチスケールのコンテキストモデルを用いて現在のデコーディング待ちシンボルの確率を推定し、複数の異なるスケールのマスク畳み込み層を含む確率推定器；
    前記確率に基づいて前記デコーディング待ちシンボルに対してエントロピーデコーディングを行い、特徴ベクトル又は特徴マップを得るエントロピーデコーダ；及び
    前記特徴ベクトル又は特徴マップに対してデコーディングを行い、画像データを生成する畳み込みニューラルネットワークデコーダを含む、装置。
  9. 請求項8に記載の画像デコーディング装置であって、
    複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
    前記確率推定器は、さらに、
    前記マスク畳み込み層の計算結果に基づいて、確率ネットワークにより、前記デコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
    前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算する第三計算ユニットを含む、装置。
  10. 請求項8に記載の画像デコーディング装置であって、
    複数の異なるスケールの前記マスク畳み込み層は、それぞれ、前記デコーディング待ちシンボルを中心とする複数のシンボルに対して畳み込み演算を行い、
    前記確率推定器は、さらに、
    補助情報を計算する補助情報計算ユニット；
    前記マスク畳み込み層の計算結果及び前記補助情報に基づいて、確率ネットワークにより、前記デコーディング待ちシンボルの確率モデルを計算する確率モデル計算ユニット；及び
    前記確率モデルに基づいて前記デコーディング待ちシンボルの確率を計算する第三計算ユニットを含む、装置。
JP2020013211A 2019-04-11 2020-01-30 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置 Active JP7424078B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910289189.3A CN111818346B (zh) 2019-04-11 2019-04-11 图像编码方法和装置、图像解码方法和装置
CN201910289189.3 2019-04-11

Publications (2)

Publication Number Publication Date
JP2020173782A true JP2020173782A (ja) 2020-10-22
JP7424078B2 JP7424078B2 (ja) 2024-01-30

Family

ID=69157690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020013211A Active JP7424078B2 (ja) 2019-04-11 2020-01-30 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置

Country Status (4)

Country Link
US (1) US11468602B2 (ja)
EP (1) EP3723048A1 (ja)
JP (1) JP7424078B2 (ja)
CN (1) CN111818346B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416489B2 (ja) 2021-01-04 2024-01-17 テンセント・アメリカ・エルエルシー 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019011968A1 (en) * 2017-07-11 2019-01-17 Deepmind Technologies Limited LEARNING VISUAL CONCEPTS THROUGH NEURONAL NETWORKS
CN111818346B (zh) * 2019-04-11 2023-04-18 富士通株式会社 图像编码方法和装置、图像解码方法和装置
KR102234097B1 (ko) * 2019-07-17 2021-04-01 부산대학교 산학협력단 딥러닝을 위한 이미지 처리 방법 및 이미지 처리 시스템
JP7355622B2 (ja) * 2019-11-29 2023-10-03 株式会社日立製作所 エンコーダを有するストレージシステム
US20220156987A1 (en) * 2020-11-16 2022-05-19 Disney Enterprises, Inc. Adaptive convolutions in neural networks
CN112866694B (zh) * 2020-12-31 2023-07-14 杭州电子科技大学 联合非对称卷积块和条件上下文的智能图像压缩优化方法
CN117768655A (zh) * 2021-02-25 2024-03-26 华为技术有限公司 音视频或图像分层压缩方法和装置
CN113079378B (zh) * 2021-04-15 2022-08-16 杭州海康威视数字技术股份有限公司 图像处理方法、装置和电子设备
CN115412735A (zh) * 2021-05-29 2022-11-29 华为技术有限公司 编解码方法、装置、设备、存储介质及计算机程序
CN115604485A (zh) * 2021-07-09 2023-01-13 华为技术有限公司（Cn） 视频图像的解码方法及装置
KR102656662B1 (ko) 2021-07-14 2024-04-12 한국전자통신연구원 리셉티브 필드의 차이 정보를 활용한 딥러닝 기반 키포인트 검출 장치 및 방법
US11367289B1 (en) * 2021-07-16 2022-06-21 Motional Ad Llc Machine learning-based framework for drivable surface annotation
CN115706798A (zh) * 2021-08-17 2023-02-17 华为技术有限公司 熵编解码方法和装置
CN115834888A (zh) * 2021-09-18 2023-03-21 华为技术有限公司 特征图编解码方法和装置
WO2023075488A1 (ko) * 2021-10-28 2023-05-04 엘지전자 주식회사 엔트로피 코딩에 기반한 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
CN114095728B (zh) * 2022-01-21 2022-07-15 浙江大华技术股份有限公司 一种端到端的视频压缩方法、装置和计算机可读存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5105179B2 (ja) 2008-04-04 2012-12-19 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5258664B2 (ja) 2009-04-14 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
JP5684488B2 (ja) 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP2010272109A (ja) 2009-04-20 2010-12-02 Fujifilm Corp 画像処理装置、画像処理方法およびプログラム
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US8436755B2 (en) 2010-05-21 2013-05-07 Research In Motion Limited Methods and devices for reducing sources in binary entropy coding and decoding
US8483500B2 (en) 2010-09-02 2013-07-09 Sony Corporation Run length coding with context model for image compression using sparse dictionaries
CN104811706B (zh) 2011-01-06 2017-10-27 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
US8571306B2 (en) 2011-08-10 2013-10-29 Qualcomm Incorporated Coding of feature location information
EP3244610A1 (en) 2016-05-12 2017-11-15 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to video data
US10713794B1 (en) 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN107481295B (zh) * 2017-08-14 2020-06-30 哈尔滨工业大学 基于动态字节长度分配的卷积神经网络的图像压缩系统
CN107644426A (zh) * 2017-10-12 2018-01-30 中国科学技术大学 基于金字塔池化编解码结构的图像语义分割方法
US20190122073A1 (en) 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US10692243B2 (en) 2017-12-03 2020-06-23 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10796452B2 (en) 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
US10733431B2 (en) 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
US10674152B2 (en) 2018-09-18 2020-06-02 Google Llc Efficient use of quantization parameters in machine-learning models for video coding
US20200160565A1 (en) * 2018-11-19 2020-05-21 Zhan Ma Methods And Apparatuses For Learned Image Compression
US11729406B2 (en) 2019-03-21 2023-08-15 Qualcomm Incorporated Video compression using deep generative models
CN111818346B (zh) * 2019-04-11 2023-04-18 富士通株式会社 图像编码方法和装置、图像解码方法和装置
US20200329233A1 (en) 2019-04-12 2020-10-15 Frank Nemirofsky Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content
CN111988609A (zh) * 2019-05-22 2020-11-24 富士通株式会社 图像编码装置、概率模型生成装置和图像解码装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7416489B2 (ja) 2021-01-04 2024-01-17 テンセント・アメリカ・エルエルシー 深層強化学習を用いたエンドツーエンドのタスク指向型潜在圧縮のための方法、装置およびコンピュータプログラム

Also Published As

Publication number Publication date
JP7424078B2 (ja) 2024-01-30
CN111818346A (zh) 2020-10-23
CN111818346B (zh) 2023-04-18
US11468602B2 (en) 2022-10-11
US20200327701A1 (en) 2020-10-15
EP3723048A1 (en) 2020-10-14

Similar Documents

Publication Publication Date Title
JP7424078B2 (ja) 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置
US11670010B2 (en) Data compression using conditional entropy models
JP2020191077A (ja) 画像コーディング方法及び装置並びに画像デコーディング方法及び装置
CN113259676B (zh) 一种基于深度学习的图像压缩方法和装置
US11869221B2 (en) Data compression using integer neural networks
US11783511B2 (en) Channel-wise autoregressive entropy models for image compression
CN111986278A (zh) 图像编码装置、概率模型生成装置和图像压缩系统
CN111630570A (zh) 图像处理方法、设备及计算机可读存储介质
CN111727445A (zh) 局部熵编码的数据压缩
WO2022028197A1 (zh) 一种图像处理方法及其设备
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
US12026925B2 (en) Channel-wise autoregressive entropy models for image compression
CN117616753A (zh) 使用光流的视频压缩
CN117915114A (zh) 一种点云属性压缩方法、装置、终端及介质
CN115428458A (zh) 用于压缩三维体积表示的系统和方法
CN114359418A (zh) 图像处理方法、装置、电子设备及存储介质
CN116016920A (zh) 一种图像编码方法、解码方法及相关设备
CN117765138A (zh) 基于文本生成动作的方法、装置、设备及存储介质
JP2010016684A (ja) 符号化装置、符号化方法および符号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7424078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150