JP2020191077A - 画像コーディング方法及び装置並びに画像デコーディング方法及び装置 - Google Patents

画像コーディング方法及び装置並びに画像デコーディング方法及び装置 Download PDF

Info

Publication number
JP2020191077A
JP2020191077A JP2020068869A JP2020068869A JP2020191077A JP 2020191077 A JP2020191077 A JP 2020191077A JP 2020068869 A JP2020068869 A JP 2020068869A JP 2020068869 A JP2020068869 A JP 2020068869A JP 2020191077 A JP2020191077 A JP 2020191077A
Authority
JP
Japan
Prior art keywords
data
feature map
coding
waiting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020068869A
Other languages
English (en)
Other versions
JP7476631B2 (ja
Inventor
静 周
Jing Zhou
静 周
中川　章
Akira Nakagawa
章 中川
思寒 温
Sihan Wen
思寒 温
タヌ・ジミン
Tan Zhiming
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2020191077A publication Critical patent/JP2020191077A/ja
Application granted granted Critical
Publication of JP7476631B2 publication Critical patent/JP7476631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】本発明は、画像コーディング方法及び装置並び画像デコーディング方法及び装置を提供する。【解決手段】画像コーディング方法は、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；特徴マップに対して量子化を行い、離散的な特徴マップを生成し；離散的な特徴マップに対して前処理を行って前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び、コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行うことを含む。【選択図】図１

Description

本発明は、画像処理分野に関する。
コンピュータ技術の発展に伴い、画像の応用が広くなっている。画像ファイルを効率よく記憶又は伝送するために、画像ファイルに対して画像コーディング（画像圧縮）を行う必要がある。画像コーディングは、コードレートと圧縮歪みの度合いとのトレードオフと見なすことができる。
シャノンの情報源コーディング定理によれば、データ圧縮の理論限界が情報量（エントロピー）である。言い換えると、画像データのエントロピーを正確に推定ことができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、レートとディストーションとのバランスを取ることができる。
画像データのエントロピーを計算するために、まず、コーディング待ちデータの確率を確定する必要がある。しかし、通常の場合、コーディング待ちデータの確率が既知でないので、コーディング待ちデータの確率を推定する必要がある。コーディング待ちデータの確率を正確に推定することができれば、比較的少ないビット又は比較的小さいコードレートを用いて画像データを表すことができ、これにより、画像データのコーディング効率を向上させることができる。
現在のところ、自己回帰先験的（Autoregressive Priors）方法により、良い確率推定を行うことができる。例えば、自己回帰モデル（Autoregressive Model）及び階層的先験モデル（Hierarchical Prior Model）を有するエントロピーモデルを用いて確率推定を行うことができる。
しかし、発明者が次のようなことを発見した。即ち、自己回帰モデルが著しい計算オーバーヘッドを要するので、画像データに対してコーディング（coding）／デコーディング（decoding）を行うときに、比較的大きいレイテンシが生じる恐れがある。また、エントロピーモデルに基づいて計算された確率を用いて画像に対してコーディング／デコーディングを行うときに、コーダ及びデコーダの効率も、画像データをコーディング／デコーディングする時間長に影響を与える重要なファクターの１つである。
本発明の実施例は、画像コーディング／デコーディングの時間長を短縮することができる画像コーディング方法及び装置並びに画像デコーディング方法及び装置を提供する。
本発明の実施例の第一側面によれば、画像コーディング方法が提供され、該方法は、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
本発明の実施例の第二側面によれば、画像デコーディング方法が提供され、該方法は、
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
本発明の実施例の第三側面によれば、画像コーディング方法が提供され、該方法は、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて、前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む。
本発明の実施例の第四側面によれば、画像デコーディング方法が提供され、該方法は、
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む。
本発明の実施例の第五側面によれば、画像コーディング装置が提供され、該装置は、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
本発明の実施例の第六側面によれば、画像デコーディング装置が提供され、該装置は、
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
本発明の実施例の第七側面によれば、画像コーディング装置が提供され、該装置は、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む。
本発明の実施例の第八側面によれば、画像デコーディング装置が提供され、該装置は、
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む。
本発明の実施例の有益な効果の１つは、画像コーディング／デコーディングの時間長を短縮することができるということにある。
本発明の実施例における画像コーディング方法のフローチャートである。 本発明の実施例における前処理データを示す図である。 本発明の実施例におけるマスク畳み込み層を示す図である。 本発明の実施例における他のマスク畳み込み層を示す図である。 本発明の実施例における他のマスク畳み込み層を示す図である。 本発明の実施例における画像コーディング方法の他のフローチャートである。 本発明の実施例における画像コーディング装置の構成を示す図である。 本発明の実施例における画像デコーディング方法のフローチャートである。 本発明の実施例における画像デコーディング方法の他のフローチャートである。 本発明の実施例における画像デコーディング装置の構成を示す図である。 本発明の実施例における画像コーディング方法のフローチャートである。 本発明の実施例における画像デコーディング方法のフローチャートである。 本発明の実施例における画像コーディング装置の構成を示す図である。 本発明の実施例における画像デコーディング装置の構成を示す図である。 本発明の実施例における画像コーディング装置の構成を示す図である。 本発明の実施例における画像デコーディング装置の構成を示す図である。 本発明の実施例における電子機器の構成を示す図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。
なお、本発明の実施例では、畳み込みニューラルネットワーク（CNN、Convolutional Neural Network）を例として説明するが、本発明は、これに限られない。また、CNNの基本概念及び内容については、関連技術を参照することができる。
＜第一側面の実施例＞
本発明の実施例は、画像コーディング方法を提供し、図1は、本発明の実施例における画像コーディング方法のフローチャートであり、図1に示すように、該方法は、以下のステップを含む。
101：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、該前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
本発明の実施例では、離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を形成することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
１つ又は複数の実施例では、ステップ101において、畳み込みニューラルネットワークは、畳み込み計算を含み且つ深度構成を有するフィードフォワードニューラルネットワーク（Feedforward Neural Networks）であり、ディープラーニング（deep learning）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行うことで、該画像データに対応する特徴マップを得ることができる。
１つ又は複数の実施例では、ステップ102において、畳み込みニューラルネットワークにより得られた特徴マップは、アナログデータの形式である。該アナログデータの形式の特徴マップに対して量子化を行うことで、離散的な形式の特徴マップを取得することができ、該離散的な形式の特徴マップは、コーディング待ちデータである。１つ又は複数の実施例では、任意の量子化方法を採用して特徴マップの量子化を行っても良いが、本発明の実施例では、これについて限定しない。
１つ又は複数の実施例では、ステップ103において、任意の１つの方法で、離散的な特徴マップに基づいて、データ量が離散的な特徴マップよりも小さい前処理データを生成することができる。例えば、離散的な特徴マップから一部のデータを前処理データとして選択しても良く、例えば、前処理データは、現在のコーディング待ちデータを中心とする、所定範囲内の複数のデータを含んでも良い。
前処理データに離散的な特徴マップのうち一部のみのデータが含まれるので、前処理データのデータ量は、離散的な特徴マップのデータ量よりも小さい。これにより、前処理データに基づいて確率推定を行うときに、確率推定の計算量を減少させ、確率推定の効率を向上させることができる。
１つ又は複数の実施例では、ステップ104において、任意の１つの確率モデルの計算を行っても良く、例えば、ガウス確率モデル、ラプラス確率モデルなどを採用しても良い。ガウス確率モデルを例とすれば、ガウス分布の平均値や分散、標準偏差を推定することにより、ガウス確率モデルを得ることができる。
１つ又は複数の実施例では、ステップ104において、任意の１つの方法で、離散的な特徴マップにおけるコーディング待ちデータに対して確率推定を行うことができる。例えば、自己回帰モデル及び階層的先験モデルを有するエントロピーモデルを用いて確率推定を行っても良い。そのうち、自己回帰モデルは、離散的な特徴マップにおけるコーディング待ちデータの順序に従って逐点（point by point）で推定することができ、そのうち、推定されるコーディング待ちデータの確率は、該コーディング待ちデータの前のコーディング済みデータの情報に依存する。
該自己回帰モデルは、任意の形式であっても良く、例えば、該自己回帰モデルは、マスク畳み込み層を有しても良く、該マスク畳み込み層は、前処理データに対して畳み込み処理を行う。そのうち、マスク畳み込み層は、コーディング待ちデータを中心とする複数のデータに対して畳み込み運算を行うために用いられ、コーディング待ちデータの前のコーディング済みデータの重み（weight）を1とし、コーディング待ちデータの後の未コーディングデータの重みを0とすることができる。そのうち、該自己回帰モデルは、１つ又は複数のマスク畳み込み層を有しても良く、複数のマスク畳み込み層を有する場合、該複数のマスク畳み込み層のスケールは、同じであっても良く、異なっても良い。なお、本発明の実施例は、これに限定されず、他の形式の自己回帰モデルを用いて確率推定を行っても良い。
１つ又は複数の実施例では、マスク畳み込み層を用いて離散的な特徴マップにおけるコーディング待ちデータの確率を計算するときに、マスク畳み込み層のスケールに基づいて前処理データに対応する所定範囲を確定する。
例えば、１つの実施例では、マスク畳み込み層の個数が1個であり、マスク畳み込み層のスケールがn*nである場合（nは、0よりも大きい整数である）、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がn*n以上であり且つ離散的な特徴マップのサイズよりも小さいデータを前処理データとしても良い。１つの実施例では、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、n*nの範囲内のデータのみを前処理データとしても良い。
前処理データのサイズがマスク畳み込み層のスケール以上であるから、マスク畳み込み層のパフォーマンスに影響せず、確率推定の正確性にも影響しない。また、マスク畳み込み層が前処理データのみに対して畳み込み処理を行い、且つ、前処理データのサイズが離散的な特徴マップのサイズよりも小さいので、マスク畳み込み層の計算時間長を短縮することができる。
また、例えば、もう１つの実施例では、マスク畳み込み層の個数が複数個であり、マスク畳み込み層のスケールが同じであり、すべて、m*mである場合、前処理データのサイズの設定方式は、マスク畳み込み層の個数が1個であるときの方式を参照することができ、例えば、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がm*m以上であり且つ離散的な特徴マップのサイズよりも小さいデータを前処理データとしても良い。
また、例えば、もう１つの実施例では、マスク畳み込み層の個数が複数個であり、マスク畳み込み層のスケールが異なる場合、例えば、離散的な特徴マップにおける、現在のコーディング待ちデータを中心とする、範囲がa*a以上であり且つ離散的な特徴マップのサイズより小さいデータを前処理データとしても良く、そのうち、a*aは、該複数のマスク畳み込み層のうちの最大マスク畳み込み層のスケールである。或いは、各マスク畳み込み層についてそれぞれ異なる所定範囲のデータを前処理データとして選択しても良く、そのうち、各マスク畳み込み層についてそれぞれ前処理データを選択する方式は、マスク畳み込み層の個数が1個であるときの方式を参照することができる。
図2は、本発明の実施例における前処理データを示す図である。説明の便宜のため、図2は、例示的に15*10の特徴マップを採用している。なお、理解すべきは、特徴マップは、他のサイズのものであっても良く、本発明の実施例は、これについて限定しない。
図2に示すように、該特徴マップでは、各矩形が１つの離散的なコーディング待ちデータを表し、点線矩形がコーディング済みデータに対応し、矩形Dが現在の、確率を推定する必要のあるコーディング待ちデータに対応し、図中の矢印により示される方向で逐一でコーディング待ちデータに対して確率推定を行う。
図3A-図3Cは、本発明の実施例におけるマスク畳み込み層を示す図である。図3A-図3Cに示すように、マルチスケールコンテキストモデルにおいて3個の異なるスケールのマスク畳み込み層が使用されても良く、そのうち、マスク畳み込み層のスケールは、それぞれ、3*3、5*5及び7*7であっても良い。
例えば、図3Aに示す3*3のマスク畳み込み層が図2中の矩形Aに対応し、図3Bに示す5*5のマスク畳み込み層が図2中の矩形Bに対応し、図3Cに示す7*7のマスク畳み込み層が図2中の矩形Cに対応し、図3A中の矩形301、図3B中の矩形302、及び図3C中の矩形303が図2中の矩形D、即ち、現在のコーディング待ちデータに対応する。
図2及び図3A-図3Cに示すように、推定されるコーディング待ちデータの確率が該コーディング待ちデータの前のコーディング済みデータの情報に依存するから、該コーディング待ちデータの前のコーディング済みデータの重みを1とし、該コーディング待ちデータの後の未コーディングデータの重みを0とし、そして、公式1に基づいて、推定されるコーディング待ちデータの確率を計算することができる。
Figure 2020191077
そのうち、
（外１）
Figure 2020191077
は、推定されるコーディング待ちデータの確率であり、
（外２）
Figure 2020191077
は、データ
（外３）
Figure 2020191077
のその前のデータ
（外４）
Figure 2020191077
に対しての条件付き確率であり、mは、その前のデータの個数であり、それは、マスク畳み込み層のスケールと関係があり、例えば、マスク畳み込み層のスケールが3*3であるときに、m=4であり、マスク畳み込み層のスケールが5*5であるときに、m=12であり、マスク畳み込み層のスケールが7*7であるときに、m=24である。
マスク畳み込み層の個数が3個であり、スケールがそれぞれ3*3、5*5及び7*7である場合、図2に示すように、離散的な特徴マップにおける、現在のコーディング待ちデータDを中心とする7*7の範囲内のデータを前処理データ（ボックスC内のデータに対応する）とし、3*3のマスク畳み込み層、5*5のマスク畳み込み層及び7*7のマスク畳み込み層は、すべて、サイズが7*7である前処理データにおいて畳み込み運算を行うことができる。この場合、現在のコーディング待ちデータDの確率を計算するときに、マスク畳み込み層の数量にも関わらず、１回のみのトリミングを行うことで前処理データを生成することができる。
或いは、図2に示すように、各マスク畳み込み層のためにそれぞれ前処理データを生成しても良い。例えば、離散的な特徴マップにおける、現在のコーディング待ちデータDを中心とする3*3の範囲内のデータを第一前処理データとし（ボックスA内のデータに対応する）、現在のコーディング待ちデータDを中心とする5*5の範囲内のデータを第二前処理データとし（ボックスB内のデータに対応する）、現在のコーディング待ちデータDを中心とする7*7の範囲内のデータを第三前処理データとし（ボックスC内のデータに対応する）、3*3のマスク畳み込み層は、第一前処理データにおいて畳み込み運算を行い、5*5のマスク畳み込み層は、第二前処理データにおいて畳み込み運算を行い、7*7のマスク畳み込み層は、第三前処理データにおいて畳み込み運算を行うこともできる。
１つ又は複数の実施例では、ステップ105では、エントロピーコーディング即ちコーディング過程において、エントロピー原理に従っていずれの情報も失わない方式でエンコーディングを行う。エントロピーコーディングを行うときに、各コーディング待ちデータの出現確率が正確であればあるほど、少ないビットで該コーディング待ちデータを表すことができる。ステップ105では、任意のエントロピーコーディング、例えば、Shannonコーディング、Huffmanコーディング、算術コーディング（arithmetic coding）などを採用しても良い。
図4は、本発明の実施例における画像コーディング方法のもう１つのフローチャートを示す図である。図4に示すように、画像コーディング方法は、以下のステップを含む。
401：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
402 ：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
403：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
404：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
405：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
406：フラッグデータ及びコーディング待ちデータの確率に基づいて、離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行う。
本発明の実施例では、離散的な特徴マップにおける各チャネル（channel）のデータがすべてゼロであるかを指示するためのフラッグデータを生成することで、該フラッグデータに基づいて、コーディング待ちデータに対してエントロピーコーディングを行うことで、確率を計算する時間をさらに短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
１つ又は複数の実施例では、ステップ401、402、403、405が、それぞれ、ステップ101-104に対応しても良いから、これらの内容がここに合併され、詳細な説明が省略される。
１つ又は複数の実施例では、ステップ404において、任意の１つの方式で、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであるかを判断することができる。例えば、ステップ401でh*w*channelの特徴マップが生成されているとし、そのうち、channelは、特徴マップの個数、即ち、チャネル数を示し、h*wは、シングルチャネルの特徴マップのサイズを示す。第i個目のチャネルに係る特徴マップが全ゼロ特徴マップであるかを判断するときに（iは、0よりも大きく且つc以下の整数である）、該特徴マップにおけるh*w個のデータの絶対値の和を求めても良く、結果がゼロであるときに、該第i個目のチャネルに係る特徴マップは、全ゼロ特徴マップである。或いは、第i個目のチャネルに係る特徴マップが全ゼロ特徴マップであるかを判断するときに、順に、該特徴マップにおけるh*w個のデータがゼロであるかを判断しても良く、h*w個のデータがすべてゼロであるときに、該第i個目のチャネルに係る特徴マップは、全ゼロ特徴マップである。なお、本発明の実施例は、これに限られず、他の方式で特徴マップが全ゼロ特徴マップであるかを判断しても良い。
１つ又は複数の実施例では、任意の１つの方式で各チャネルの特徴マップが全ゼロ特徴マップであるかを指示しても良い。例えば、バイナリビットの方式で、特徴マップがすべてゼロであるときに、該特徴マップに対応するビットの位置を0とし、特徴マップがすべてゼロでないときに、該特徴マップに対応するビットの位置を1としても良い。これにより、比較的少ないビット数で、該チャネル特徴マップが全ゼロ特徴マップであるかを表すことができる。
１つ又は複数の実施例では、ステップ406において、フラッグデータ及びコーディング待ちデータの確率に基づいて離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行うときに、例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、該チャネルのコーディング待ちデータの確率に基づいて、コーディング待ちデータに対してエントロピーコーディングを行う。
例えば、以下の表１に示す疑似コードを参照してフラッグデータを生成し、そして、該フラッグデータ及びコーディング待ちデータの確率に基づいてコーディングを行うことができる。
Figure 2020191077
１つ又は複数の実施例では、ステップ405において、前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算しても良く、また、ステップ404において生成されるフラッグデータに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算しても良い。
例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
図5は、本発明の実施例における画像コーディング装置の構成を示す図である。以下、図5を参照しながら、本実施例における画像コーディング方法について具体的に説明する。
図5に示すように、まず、畳み込みニューラルネットワークコーダを用いて、処理待ちの画像データに対して特徴抽出を行い、該画像データの潜在表現y（即ち、特徴マップ）を取得し；量子化器を用いて、潜在表現yに対して量子化を行い、離散的な潜在表現
（外５）
Figure 2020191077
（即ち、コーディング待ちデータ）を取得し；該離散的な潜在表現
（外６）
Figure 2020191077
が前処理器を経て、離散的な潜在表現
（外７）
Figure 2020191077
における、現在のコーディング待ちデータを中心とする7*7の範囲内のデータが選択され、選択されたデータが前処理データ
（外８）
Figure 2020191077
とされ；該前処理データ
（外９）
Figure 2020191077
がそれぞれ3*3の畳み込みカーネル、5*5の畳み込みカーネル及び7*7の畳み込みカーネルを経て、畳み込み運算後の結果c1、c2及びc3が取得され；階層的先験モデルが潜在表現yに基づいて結果c4を生成し；畳み込み運算後の結果c1、c2、c3及びc4に基づいて、エントロピーパラメータモジュールにより、コーディング待ちデータの確率モデルを計算し、ガウス分布を例とすると、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み、これにより、コーディング待ちデータの確率
（外１０）
Figure 2020191077
を取得し；フラッグデータ生成器により、離散的な潜在表現
（外１１）
Figure 2020191077
が各チャネル上ですべてゼロであるかを指示するためのフラッグデータflagを生成し、そして、算術コーダが確率
（外１２）
Figure 2020191077
及びフラッグデータflagに基づいて、離散的な潜在表現
（外１３）
Figure 2020191077
に対してエントロピーコーディングを行い、画像データを表すコードストリームb1を生成する。
１つ又は複数の実施例では、フラッグデータflag及び画像データを表すコードストリームb1は、ネットワーク伝送又は記憶のために用いられても良い。デコーダ側では、フラッグデータflagに基づいてコードストリームb1に対して対応するデコーディングを行うことで、画像データを再構成することができる。
なお、以上、図1又は図4は、本発明の実施例を例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、適切に各ステップ間の実行順序を調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図1又は図4の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
＜第二側面の実施例＞
本発明の実施例は、画像デコーディング方法を提供し、図6は、本発明の実施例における画像デコーディング方法のフローチャートである。図6に示すように、該方法は、以下のステップを含む。
601：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
602：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
603：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
604：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
本発明の実施例では、デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像デコーディングの時間長を短縮することができる。
１つ又は複数の実施例では、ステップ601では、任意の１つの方式で、デコーディング済みデータに基づいて、データ量がデコーディング済みデータよりも小さい前処理データを生成しても良い。例えば、デコーディング済みデータから一部のデータを前処理データとして選択しても良く、例えば、前処理データは、現在のデコーディング待ちデータを中心とする、所定範囲内の複数のデータを含んでも良い。前処理データがデコーディング済みデータにおける一部のみのデータを含むので、前処理データのデータ量は、コーディング済みデータのデータ量よりも小さい。これにより、前処理データに基づいて確率推定を行うときに、確率推定の計算量を減少させ、確率推定の効率を向上させることができる。
１つ又は複数の実施例では、ステップ602において、任意の１つの確率モデルの計算を行っても良く、例えば、ガウス確率モデル、ラプラス確率モデルなどを採用しても良い。ガウス確率モデルを例とすると、ガウス分布の平均値や分散、標準偏差を推定することで、ガウス確率モデルを得ることができる。
１つ又は複数の実施例では、ステップ602において、任意の１つの方式でデコーディング待ちデータに対して確率推定を行っても良い。例えば、自己回帰モデル及び階層的先験モデルを有するエントロピーモデルを採用して確率推定を行っても良い。そのうち、自己回帰モデルは、デコーディング待ちデータの順序に従って逐点で推定しても良い。また、推定されるデコーディング待ちデータの確率は、該デコーディング待ちデータの前のデコーディング済みデータの情報に依存する。
該自己回帰モデルは、任意の形式であっても良く、例えば、該自己回帰モデルは、マスク畳み込み層を有しても良く、該マスク畳み込み層は、前処理データに対して畳み込み処理を行う。そのうち、マスク畳み込み層は、現在のデコーディング待ちデータを中心とする複数のデータに対して畳み込み運算を行うために用いられ、デコーディング待ちデータの前のデコーディング済みデータの重みを1とし、デコーディング待ちデータの後の未デコーディングデータの重みを0とすることができる。そのうち、該自己回帰モデルは、１つ又は複数のマスク畳み込み層を有しても良く、複数のマスク畳み込み層を有する場合、該複数のマスク畳み込み層のスケールは、同じであっても良く、異なっても良い。なお、本発明は、これに限られず、他の形式の自己回帰モデルを採用して確率推定を行っても良い。
１つ又は複数の実施例では、マスク畳み込み層を用いてデコーディング待ちデータの確率を計算するときに、マスク畳み込み層のスケールに基づいて、前処理データに対応する所定範囲を確定することができる。例えば、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しくても良い。マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しくても良く、又は、所定範囲は、各マスク畳み込み層のスケールに等しくても良い。具体的な方式は、第一側面の実施例に記載のようであるため、その内容がここに合併され、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、ステップ603において、任意の１つのエントロピーデコーディング、例えば、Shannonコーディング、Huffmanコーディング、算術コーディング（arithmetic coding）などに対応するデコーディングを採用しても良い。
１つ又は複数の実施例では、ステップ604において、畳み込みニューラルネットワークは、畳み込み計算を含み且つ深度構成を有するフィードフォワードニューラルネットワーク（Feedforward Neural Networks）であり、ディープラーニング（deep learning）の代表的なアルゴリズムの１つである。畳み込みニューラルネットワークを用いて、特徴マップを再構成することで、画像データを再構成することができる。
図7は、本発明の実施例における画像デコーディング方法のもう１つのフローチャートを示す図である。図7に示すように、画像デコーディング方法は、以下のステップを含む。
701：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
702：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
703：フラッグデータ及びデコーディング待ちデータの確率に基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
704：畳み込みニューラルネットワークを用いて、特徴マップを再構成し、画像データを生成する。
１つ又は複数の実施例では、ステップ701、702、704がそれぞれステップ401、402、404に対応しても良く、それらの内容がここに合併され、詳しい説明が省略される。
１つ又は複数の実施例では、ステップ703において、フラッグデータが任意の形式のデータであっても良く、即ち、任意の１つの方式で、或るチャネルの特徴マップが全ゼロ特徴マップであるかを指示することができる。例えば、バイナリビットの方式で、ビットが0であるときに、対応する特徴マップがすべてゼロであることを示し、ビットが1であるときに、対応する特徴マップがすべてゼロでないことを示しても良い。これにより、比較的少ないビット数で、該特徴マップが全ゼロ特徴マップであるかを表すことができる。
１つ又は複数の実施例では、ステップ703において、フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うときに、例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを示すときに、該チャネルについてすべてゼロの特徴マップを生成する。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを示す場合、該チャネルのデコーディング待ちデータの確率に基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
１つ又は複数の実施例では、ステップ702において、前処理データに基づいてデコーディング待ちデータの確率を計算しても良く、フラッグデータに基づいてデコーディング待ちデータの確率を計算しても良い。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを示すときに、該チャネルのデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを示すときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
図8は、本発明の実施例における画像デコーディング装置の構成を示す図である。以下、図8をもとに、本実施例における画像デコーディング方法について具体的に説明する。
図8に示すように、まず、算術デコーダにより、画像データを表すコードストリームb1に対してエントロピーデコーディングを行い、離散的な潜在表現
（外１４）
Figure 2020191077
（即ち、特徴マップ）を取得し、その後、畳み込みニューラルネットワークデコーダにより、潜在表現
（外１５）
Figure 2020191077
に対してデコーディングを行い、画像データを再構成する。
そのうち、算術デコーダを用いてエントロピーデコーディングを行うときに、現在の潜在表現
（外１６）
Figure 2020191077
の確率、及び、現在の処理の特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータflagを使用する必要があり、そのうち、該確率は、次のような方式で計算されても良く、即ち、離散的な潜在表現
（外１７）
Figure 2020191077
が前処理器を経て、離散的な潜在表現
（外１８）
Figure 2020191077
における、現在のデコーディング待ちデータを中心とする7*7の範囲内のデータが選択され、選択されたデータが前処理データ
（外１９）
Figure 2020191077
とされ；該前処理データ
（外２０）
Figure 2020191077
がそれぞれ3*3の畳み込みカーネル、5*5の畳み込みカーネル及び7*7の畳み込みカーネルを経て、畳み込み運算後の結果c1、c2及びc3が取得され；階層的先験モデルが生成結果c4を計算し；畳み込み運算後の結果c1、c2、c3及びc4に基づいて、エントロピーパラメータモジュールにより、デコーディング待ちデータの確率モデルを計算し、ガウス分布を例とすれば、確率モデルは、ガウス分布の平均値μ及び標準偏差σを含み、これにより、コーディング待ちデータの確率
（外２１）
Figure 2020191077
を取得し；算術デコーダが確率
（外２２）
Figure 2020191077
及びフラッグデータflagに基づいて、コードストリームb1に対してエントロピーデコーディングを行い、潜在表現
（外２３）
Figure 2020191077
（特徴マップ）を生成し、そして、畳み込みニューラルネットワークデコーダにより、潜在表現
（外２４）
Figure 2020191077
に対してデコーディングを行い、画像データを再構成する。
なお、以上、図6又は図7は、本発明の実施例を例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に変更したり、幾つかのステップを増減したりしても良い。言い換えれば、当業者は、図6又は図7の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算することで、確率を計算する時間を短縮することができ、これにより、画像デコーディングの時間長を短縮することができる。
＜第三側面の実施例＞
本発明の実施例は、画像コーディング方法を提供し、図9は、本発明の実施例における画像コーディング方法のフローチャートであり、図9に示すように、該方法は、以下のステップを含む。
901：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
902：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
903：前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
904：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
905：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
本発明の実施例では、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
１つ又は複数の実施例では、ステップ901、902が第一側面の実施例におけるステップ101、102に対応しても良く、それらの内容がここに合併され、詳しい説明が省略される。
１つ又は複数の実施例では、ステップ903において、離散的な特徴マップにおける全部のデータに基づいてコーディング待ちデータの確率を計算しても良く、又は、第一側面の実施例に記載のように、離散的な特徴マップにおける一部のみのデータに基づいてコーディング待ちデータの確率を計算しても良く、その内容がここに合併され、詳細な説明が省略される。
１つ又は複数の実施例では、ステップ904、905が第一側面の実施例におけるステップ404、406に対応しても良く、その内容がここに合併され、詳しい説明が省略される。
１つ又は複数の実施例では、ステップ905において、フラッグデータ及びコーディング待ちデータの確率に基づいて離散的な特徴マップにおける或るチャネルのコーディング待ちデータに対してエントロピーコーディングを行うときに、例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないときに、該チャネルコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、ステップ905において、ステップ904で生成されているフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
なお、以上、図9は、例示的に本発明の実施例を説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図9の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
＜第四側面の実施例＞
本発明の実施例は、画像デコーディング方法を提供し、図10は、本発明の実施例における画像デコーディング方法のフローチャートであり、図10に示すように、該方法は、以下のステップを含む。
1001：現在のデコーディング待ちデータの確率を推定し；
1002：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータが、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
1003：畳み込みニューラルネットワークを用いて特徴マップを再構成し、画像データを生成する。
本発明の実施例では、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータに基づいて、デコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
１つ又は複数の実施例では、ステップ1001において、全部のデコーディング済みデータに基づいて現在のデコーディング待ちデータの確率を計算しても良く、又は、第二側面の実施例に記載のように、一部のみのデコーディング済みデータに基づいて現在のデコーディング待ちデータの確率を計算しても良く、その内容がここに合併され、詳しい説明が省略される。
１つ又は複数の実施例では、ステップ1002、1003が第二側面の実施例におけるステップ703、704に対応し、その内容がここに合併され、詳細な説明が省略される。
１つ又は複数の実施例では、ステップ1002において、フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うときに、例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルについてすべてゼロの特徴マップを生成する。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示する場合、該チャネルデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
１つ又は複数の実施例では、ステップ1001において、フラッグデータに基づいてデコーディング待ちデータの確率を計算しても良い。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルに係るデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネル上デコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
なお、以上、図10は、本発明の実施例について例示的に説明するためのものに過ぎず、本発明は、これに限られない。例えば、各ステップ間の実行順序を適切に調整したり、幾つかのステップを増減したりしても良い。言い換えると、当業者は、図10の記載に限られず、上述の内容に対して適切に変更や変形などを行っても良い。
離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するためのフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
＜第五側面の実施例＞
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第一側面の実施例における方法に類似したので、その具体的な実施は、第一側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
図11は、本発明の実施例における画像コーディング装置1100の構成を示す図である。図11に示すように、該装置1100は、以下のものを含む。
畳み込みニューラルネットワークコーダ1101：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
量子化器1102：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前処理器1103：離散的な特徴マップに対して前処理を行い、前処理データを生成し、前処理データのデータ量が離散的な特徴マップのデータ量よりも小さく；
確率推定器1104：前処理データに基づいて離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
エントロピーコーダ1105：コーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、畳み込みニューラルネットワークコーダ1101、量子化器1102、前処理器1103、確率推定器1104、及びエントロピーコーダ1105の実施について第一側面の実施例におけるステップ101-105を参照することができ、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、前処理器1103は、離散的な特徴マップにおける一部のデータを前処理データとして選択しても良く、そのうち、前処理データは、現在のコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む。
１つ又は複数の実施例では、確率推定器1104は、マスク畳み込み層を含み、マスク畳み込み層は、前処理データに対して畳み込み運算を行い、所定範囲は、マスク畳み込み層のスケールに対応する。
１つ又は複数の実施例では、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しい。マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しく、又は、所定範囲は、各マスク畳み込み層のスケールに等しい。
１つ又は複数の実施例では、図11に示すように、画像コーディング装置1100は、さらに以下のものを含んでも良い。
フラッグデータ生成器1106：フラッグデータを生成し、フラッグデータが、離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる。
エントロピーコーダ1105は、さらに、フラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、前記エントロピーコーダ1105は、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、コーディング待ちデータの確率に基づいて該チャネル上のコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、フラッグデータ生成器1106及びエントロピーコーダ1105の実施について第一側面の実施例におけるステップ404、406を参照することができ、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、確率推定器1104は、さらに、フラッグデータ生成器生成のフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルに係るコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
離散的な特徴マップに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてコーディング待ちデータの確率を形成することで、確率を計算する時間を短縮することができ、これにより、画像コーディングの時間長を短縮することができる。
＜第六側面の実施例＞
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第二側面の実施例における方法に類似したので、その具体的な実施は、第二側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
図12は、本発明の実施例における画像デコーディング装置の構成を示す図である。図12に示すように、該装置1200は、以下のものを含む。
前処理器1201：デコーディング済みデータに対して前処理を行い、前処理データを生成し、前処理データのデータ量がデコーディング済みデータのデータ量よりも小さく；
確率推定器1202：前処理データに基づいて、現在のデコーディング待ちデータの確率を計算し；
エントロピーデコーダ1203：確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；
畳み込みニューラルネットワークデコーダ1204：特徴マップに対して再構成を行い、画像データを生成する。
１つ又は複数の実施例では、前処理器1201、確率推定器1202、エントロピーデコーダ1203、及び畳み込みニューラルネットワークデコーダ1204の実施について第二側面の実施例におけるステップ601-604を参照することができ、ここでは、詳しい説明を省略する。
１つ又は複数の実施例では、前処理器1201は、デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前処理データは、現在のデコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む。
１つ又は複数の実施例では、確率推定器1202は、マスク畳み込み層を含み、マスク畳み込み層は、前処理データに対して畳み込み運算を行い、所定範囲は、マスク畳み込み層のスケールに対応する。
１つ又は複数の実施例では、マスク畳み込み層の個数が1個である場合、所定範囲は、マスク畳み込み層のスケールに等しく、マスク畳み込み層の個数が複数個である場合、所定範囲は、複数のマスク畳み込み層の最大スケールに等しく、又は、所定範囲は、各マスク畳み込み層のスケールに等しい。
１つ又は複数の実施例では、エントロピーデコーダ1203は、さらにフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータは、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる。
１つ又は複数の実施例では、エントロピーデコーダ1203は、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示する場合、デコーディング待ちデータの確率に基づいて該チャネル上のデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する。
１つ又は複数の実施例では、エントロピーデコーダ1203の実施は、第二側面の実施例におけるステップ703を参照することができ、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、確率推定器1202は、さらに、フラッグデータに基づいて、デコーディング待ちデータの確率を計算することができる。例えば、フラッグデータにより、特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、該チャネルのデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける或るチャネルデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
デコーディング済みデータに対して前処理を行い、データ量が比較的小さい前処理データを生成し、そして、前処理データに基づいてデコーディング待ちデータの確率を計算し、これにより、確率を計算する時間を短縮し、画像デコーディングの時間長を短縮することができる。
＜第七側面の実施例＞
本発明の実施例は、画像コーディング装置を提供する。該装置が問題を解決する原理が第三側面の実施例における方法に類似したから、その具体的な実施は、第三側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
図13は、本発明の実施例における画像コーディング装置1300の構成を示す図である。図13に示すように、該装置1300は、以下のものを含む。
畳み込みニューラルネットワークコーダ1301：畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、画像データの特徴マップを生成し；
量子化器1302：特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
確率推定器1303：離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータ生成器1304：フラッグデータを生成し、フラッグデータは、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであるかを指示するために用いられ；
エントロピーコーダ1305：フラッグデータ及びコーディング待ちデータの確率に基づいてコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、畳み込みニューラルネットワークコーダ1301、量子化器1302、確率推定器1303、フラッグデータ生成器1304、及びエントロピーコーダ1305の実施は、第三側面の実施例におけるステップ901-905を参照することができ、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、エントロピーコーダ1305は、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータに対してエントロピーコーディングを行わず、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、コーディング待ちデータの確率に基づいて該チャネルのコーディング待ちデータに対してエントロピーコーディングを行う。
１つ又は複数の実施例では、確率推定器1303は、さらに、フラッグデータ生成器1304生成のフラッグデータに基づいて、離散的な特徴マップにおけるコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロであることを指示するときに、離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算しない。フラッグデータにより、離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて離散的な特徴マップにおける該チャネルのコーディング待ちデータの確率を計算する。これにより、画像コーディングの時間長をさらに短縮することができる。
離散的な特徴マップにおける各チャネル上のデータがすべてゼロであるかを指示するためのフラッグデータを生成し、該フラッグデータに基づいてコーディング待ちデータに対してエントロピーコーディングを行うことで、画像コーディングの時間長を短縮することができる。
＜第八側面の実施例＞
本発明の実施例は、画像デコーディング装置を提供する。該装置が問題を解決する原理が第四側面の実施例における方法に類似したので、その具体的な実施は、第四側面の実施例における方法の実施を参照することができ、内容が同じである重複説明は、省略される。
図14は、本発明の実施例における画像デコーディング装置の構成を示す図である。図14に示すように、該装置1400は、以下のものを含む。
確率推定器1401：現在のデコーディング待ちデータの確率を推定し；
エントロピーデコーダ1402：フラッグデータ及びデコーディング待ちデータの確率に基づいてデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、フラッグデータは、特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；
畳み込みニューラルネットワークデコーダ1403：特徴マップに対して再構成を行い、画像データを生成する。
１つ又は複数の実施例では、確率推定器1401、エントロピーデコーダ1402、及び畳み込みニューラルネットワークデコーダ1403の実施は、第四側面の実施例におけるステップ1001-1003を参照することができ、ここでは、その詳しい説明を省略する。
１つ又は複数の実施例では、エントロピーデコーダ1402は、フラッグデータにより、或るチャネル特徴マップにおけるデータがすべてゼロであることを指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、フラッグデータにより、或るチャネル特徴マップにおけるデータがすべてゼロでないことを指示する場合、デコーディング待ちデータの確率に基づいて該チャネルにおけるデコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る。
１つ又は複数の実施例では、確率推定器1401は、フラッグデータに基づいて、デコーディング待ちデータの確率を計算する。例えば、フラッグデータにより、特徴マップにおける該チャネルのデータがすべてゼロであることを指示するときに、該チャネルデコーディング待ちデータの確率を計算しない。フラッグデータにより、特徴マップにおける該チャネルのデータがすべてゼロでないことを指示するときに、前処理データに基づいて該チャネルのデコーディング待ちデータの確率を計算する。これにより、画像デコーディングの時間長をさらに短縮することができる。
離散的な特徴マップにおける各チャネル上のデータがすべてゼロであるかを指示するためのフラッグデータに基づいてデコーディング待ちデータに対してエントロピーデコーディングを行うことで、画像デコーディングの時間長を短縮することができる。
＜第九側面の実施例＞
本発明の実施例は、さらに、電子機器を提供し、それは、第五側面の実施例に記載の画像コーディング装置を含み、又は、第六側面の実施例に記載の画像デコーディング装置を含み、又は、第七側面の実施例に記載の画像コーディング装置を含み、又は、第八側面の実施例に記載の画像デコーディング装置を含み、それらの内容がここに合併される。該電子機器は、例えば、コンピュータ、サーバー、ワークステーション、ラップトップコンピュータ、スマートフォンなどであっても良いが、本発明の実施例は、これに限られない。
図15は、本発明の実施例における電子機器の構成を示す図である。図15に示すように、電子機器1500は、処理器（例えば、中央処理装置CPU）1510及び記憶器1520を含んでも良く、記憶器1520は、中央処理器1510に接続される。そのうち、該記憶器1520は、各種のデータを記憶することができ、また、情報処理用のプログラムをさらに記憶することができ、且つ処理器1510の制御下で該プログラムを実行することができる。
１つの実施例では、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400の機能が処理器1510に集積されても良い。そのうち、処理器1510は、次のように構成されても良く、即ち、第一側面の実施例に記載の画像コーディング方法、又は、第二側面の実施例に記載の画像デコーディング方法、又は、第三側面の実施例に記載の画像コーディング方法、又は、第四側面の実施例に記載の画像デコーディング方法を実現する。
もう１つの実施例では、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400が処理器1510と別々で構成されても良く、例えば、画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400が、処理器1510に接続されるチップとして構成され、処理器1510の制御により画像コーディング装置1100又は画像デコーディング装置1200又は画像コーディング装置1300又は画像デコーディング装置1400の機能を実現しても良い。
例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行う。
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び、畳み込みニューラルネットワークを用いて、前記特徴マップに対して再構成を行い、画像データを生成する。
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行う。
或いは、例えば、処理器1510は、次のような制御を行うように構成されても良く、即ち、現在のデコーディング待ちデータの確率を推定し；フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；畳み込みニューラルネットワークを用いて、前記特徴マップに対して再構成を行い、画像データを生成する。
該処理器1510の具体的な実施は、第一側面乃至第四側面の実施例を参照することができ、ここでは、詳細な説明を割愛する。
また、図15に示すように、電子機器1500は、さらに、送受信ユニッ1530などを含んでも良く、そのうち、これらの部品の機能は、従来技術に類似したので、ここでは、その詳しい説明を省略する。なお、電子機器1500は、図15に示す全部の部品を含む必要がなく、また、電子機器1500は、さらに図15に無い部品を含んでも良く、これについては、従来技術を参照することができる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像コーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像コーディング装置中で第一側面又は第三側面の実施例における画像コーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像コーディング装置中で第一側面又は第三側面の実施例における画像コーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、画像デコーディング装置中で該プログラムを実行するときに、該プログラムは、コンピュータに、該画像デコーディング装置中で第二側面又は第四側面の実施例における画像デコーディング方法を実行させる。
本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、コンピュータに、画像デコーディング装置中で第二側面又は第四側面の実施例における画像デコーディング方法を実行させる。
また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。
また、以上の実施例などに関して、更に次のように付記を開示する。
（付記1）
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さく；
前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；及び
前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
（付記2）
付記1に記載の画像コーディング方法であって、
前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
（付記3）
付記2に記載の画像コーディング方法であて、
マスク畳み込み層を用いて、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
（付記4）
付記3に記載の画像コーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
（付記5）
付記1に記載の画像コーディング方法であって、さらに、
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
（付記6）
付記5に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて前記該チャネル上コーディング待ちデータに対してエントロピーコーディングを行う、方法。
（付記7）
画像デコーディング方法であって、
デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さく；
前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算し；
前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
（付記8）
付記7に記載の画像デコーディング方法であって、
前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、方法。
（付記9）
付記8に記載の画像デコーディング方法であって、
マスク畳み込み層を用いて前記デコーディング待ちデータの確率を計算するときに、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、方法。
（付記10）
付記9に記載の画像デコーディング方法であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、方法。
（付記11）
付記7に記載の画像デコーディング方法であって、
前記前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することは、具体的に、
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得することを含み、
前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、方法。
（付記12）
付記11に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
（付記13）
画像コーディング方法であって、
畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成し；
前記特徴マップに対して量子化を行い、離散的な特徴マップを生成し；
前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算し；
フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うことを含む、方法。
（付記14）
付記13に記載の画像コーディング方法であって、
前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記該チャネルコーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、方法。
（付記15）
画像デコーディング方法であって、
現在のデコーディング待ちデータの確率を推定し；
フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられ；及び
前記特徴マップに対して再構成を行い、画像データを生成することを含む、方法。
（付記16）
付記15に記載の画像デコーディング方法であって、
前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、方法。
（付記17）
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて、処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
前処理器であって、前記離散的な特徴マップに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；及び
エントロピーコーダであって、前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
（付記18）
付記17に記載の画像コーディング装置であって、
前記前処理器は、前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
（付記19）
付記18に記載の画像コーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
(付記20）
付記19に記載の画像コーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
（付記21）
付記17に記載の画像コーディング装置であって、さらに、
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるものを含み、
前記エントロピーコーダは、さらに、前記フラッグデータに基づいて、前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
（付記22）
付記21に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
（付記23）
画像デコーディング装置であって、
前処理器であって、デコーディング済みデータに対して前処理を行い、前処理データを生成し、前記前処理データのデータ量が前記デコーディング済みデータのデータ量よりも小さいもの；
確率推定器であって、前記前処理データに基づいて現在のデコーディング待ちデータの確率を計算するもの；
エントロピーデコーダであって、前記確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得するもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
（付記24）
付記23に記載の画像デコーディング装置であって、
前記前処理器は、前記デコーディング済みデータにおける一部のデータを前処理データとして選択し、そのうち、前記前処理データは、現在の前記デコーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
（付記25）
付記24に記載の画像デコーディング装置であって、
前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
（付記26）
付記25に記載の画像デコーディング装置であって、
前記マスク畳み込み層の個数が1個である場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の個数が複数個である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
（付記27）
付記23に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、さらに、フラッグデータに基づいて、前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータは、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられる、装置。
（付記28）
付記27に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得する、装置。
（付記29）
画像コーディング装置であって、
畳み込みニューラルネットワークコーダであって、畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成するもの；
量子化器であって、前記特徴マップに対して量子化を行い、離散的な特徴マップを生成するもの；
確率推定器であって、前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算するもの；
フラッグデータ生成器であって、フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
エントロピーコーダであって、前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うものを含む、装置。
（付記30）
付記29に記載の画像コーディング装置であって、
前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
（付記31）
画像デコーディング装置であって、
確率推定器であって、現在のデコーディング待ちデータの確率を推定するもの；
エントロピーデコーダであって、フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、そのうち、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるもの；及び
畳み込みニューラルネットワークデコーダであって、前記特徴マップに対して再構成を行い、画像データを生成するものを含む、装置。
（付記32）
付記31に記載の画像デコーディング装置であって、
前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネル上ですべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて、該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、装置。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 画像コーディング装置であって、
    畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成する畳み込みニューラルネットワークコーダ；
    前記特徴マップに対して量子化を行い、離散的な特徴マップを生成する量子化器；
    前記離散的な特徴マップに対して前処理を行って前処理データを生成し、前記前処理データのデータ量が前記離散的な特徴マップのデータ量よりも小さい前処理器；
    前記前処理データに基づいて前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算する確率推定器；及び
    前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うエントロピーコーダを含む、装置。
  2. 請求項1に記載の画像コーディング装置であって、
    前記前処理器は、前記離散的な特徴マップにおける一部のデータを前処理データとして選択し、前記前処理データは、現在の前記コーディング待ちデータを中心とする、所定範囲内の複数のデータを含む、装置。
  3. 請求項2に記載の画像コーディング装置であって、
    前記確率推定器は、マスク畳み込み層を含み、前記マスク畳み込み層は、前記前処理データに対して畳み込み運算を行い、前記所定範囲は、前記マスク畳み込み層のスケールに対応する、装置。
  4. 請求項3に記載の画像コーディング装置であって、
    前記マスク畳み込み層の数が1つである場合、前記所定範囲は、前記マスク畳み込み層のスケールに等しく、前記マスク畳み込み層の数が複数である場合、前記所定範囲は、複数の前記マスク畳み込み層の最大スケールに等しく、又は、前記所定範囲は、各前記マスク畳み込み層のスケールに等しい、装置。
  5. 請求項1に記載の画像コーディング装置であって、
    フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるフラッグデータ生成器をさらに含み、
    前記エントロピーコーダは、さらに、前記フラッグデータに基づいて、前記離散的な特徴マップにおける前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
  6. 請求項5に記載の画像コーディング装置であって、
    前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
  7. 画像コーディング装置であって、
    畳み込みニューラルネットワークを用いて処理待ちの画像データに対して特徴抽出を行い、前記画像データの特徴マップを生成する畳み込みニューラルネットワークコーダ；
    前記特徴マップに対して量子化を行い、離散的な特徴マップを生成する量子化器；
    前記離散的な特徴マップにおけるコーディング待ちデータの確率を計算する確率推定器；
    フラッグデータを生成し、前記フラッグデータが、前記離散的な特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるフラッグデータ生成器；及び
    前記フラッグデータ及び前記コーディング待ちデータの確率に基づいて前記コーディング待ちデータに対してエントロピーコーディングを行うエントロピーコーダを含む、装置。
  8. 付記7に記載の画像コーディング装置であって、
    前記エントロピーコーダは、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロであると指示するときに、前記離散的な特徴マップにおける該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行わず、前記フラッグデータにより、前記離散的な特徴マップにおける或るチャネルのデータがすべてゼロでないと指示するときに、前記コーディング待ちデータの確率に基づいて該チャネルの前記コーディング待ちデータに対してエントロピーコーディングを行う、装置。
  9. 画像デコーディング装置であって、
    現在のデコーディング待ちデータの確率を推定する確率推定器；
    フラッグデータ及び前記デコーディング待ちデータの確率に基づいて前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを取得し、前記フラッグデータが、前記特徴マップにおける各チャネルのデータがすべてゼロであるかを指示するために用いられるエントロピーデコーダ；及び
    前記特徴マップに対して再構成を行い、画像データを生成する畳み込みニューラルネットワークデコーダを含む、装置。
  10. 請求項9に記載の画像デコーディング装置であって、
    前記エントロピーデコーダは、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロであると指示する場合、該チャネルについてすべてゼロの特徴マップを生成し、前記フラッグデータにより、前記特徴マップにおける或るチャネルのデータがすべてゼロでないと指示する場合、前記デコーディング待ちデータの確率に基づいて、該チャネルの前記デコーディング待ちデータに対してエントロピーデコーディングを行い、特徴マップを得る、装置。
JP2020068869A 2019-05-22 2020-04-07 画像コーディング方法及び装置並びに画像デコーディング方法及び装置 Active JP7476631B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910429351.7 2019-05-22
CN201910429351.7A CN111988629B (zh) 2019-05-22 2019-05-22 图像编码装置和图像解码装置

Publications (2)

Publication Number Publication Date
JP2020191077A true JP2020191077A (ja) 2020-11-26
JP7476631B2 JP7476631B2 (ja) 2024-05-01

Family

ID=73435971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020068869A Active JP7476631B2 (ja) 2019-05-22 2020-04-07 画像コーディング方法及び装置並びに画像デコーディング方法及び装置

Country Status (3)

Country Link
US (1) US11184615B2 (ja)
JP (1) JP7476631B2 (ja)
CN (1) CN111988629B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022174948A (ja) * 2021-05-12 2022-11-25 横河電機株式会社 装置、監視システム、方法およびプログラム
KR20230125391A (ko) * 2022-02-21 2023-08-29 가천대학교 산학협력단 특징량맵에 대한 영상 신호를 처리하기 위한 방법 및 이를 지원하는 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538197B2 (en) * 2020-09-15 2022-12-27 Google Llc Channel-wise autoregressive entropy models for image compression
CN117768655A (zh) * 2021-02-25 2024-03-26 华为技术有限公司 音视频或图像分层压缩方法和装置
CN115442609A (zh) * 2021-06-02 2022-12-06 华为技术有限公司 特征数据编解码方法和装置
WO2023075563A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN116112673A (zh) * 2021-11-10 2023-05-12 华为技术有限公司 编解码方法及电子设备
CN116170596A (zh) * 2021-11-24 2023-05-26 华为技术有限公司 编解码方法及电子设备
WO2024007820A1 (zh) * 2022-07-08 2024-01-11 华为技术有限公司 数据编解码方法及相关设备
CN117412046A (zh) * 2022-07-08 2024-01-16 华为技术有限公司 一种编解码方法、装置及计算机设备
CN117880509A (zh) * 2022-10-11 2024-04-12 华为技术有限公司 特征数据编解码方法及相关装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279573B1 (ko) * 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5258664B2 (ja) * 2009-04-14 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
US9369736B2 (en) * 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US8436755B2 (en) * 2010-05-21 2013-05-07 Research In Motion Limited Methods and devices for reducing sources in binary entropy coding and decoding
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
US8483500B2 (en) 2010-09-02 2013-07-09 Sony Corporation Run length coding with context model for image compression using sparse dictionaries
EP2663075B1 (en) * 2011-01-06 2020-05-06 Samsung Electronics Co., Ltd Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof
US10432953B2 (en) * 2016-02-05 2019-10-01 Deepmind Technologies Limited Compressing images using neural networks
CN106485717A (zh) * 2016-09-12 2017-03-08 上海影城有限公司 一种基于卷积神经网络的图像特征提取方法及系统
US10748062B2 (en) * 2016-12-15 2020-08-18 WaveOne Inc. Deep learning based adaptive arithmetic coding and codelength regularization
KR20180073314A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 시스템 및 그것의 동작 방법
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN107464222B (zh) * 2017-07-07 2019-08-20 宁波大学 基于张量空间的无参考高动态范围图像客观质量评价方法
CN109684901B (zh) 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture
US10733431B2 (en) * 2017-12-03 2020-08-04 Facebook, Inc. Systems and methods for optimizing pose estimation
US10586350B2 (en) * 2017-12-03 2020-03-10 Facebook, Inc. Optimizations for dynamic object instance detection, segmentation, and structure mapping
US10796452B2 (en) * 2017-12-03 2020-10-06 Facebook, Inc. Optimizations for structure mapping and up-sampling
US10674152B2 (en) * 2018-09-18 2020-06-02 Google Llc Efficient use of quantization parameters in machine-learning models for video coding
US11729406B2 (en) * 2019-03-21 2023-08-15 Qualcomm Incorporated Video compression using deep generative models
US20200329233A1 (en) * 2019-04-12 2020-10-15 Frank Nemirofsky Hyperdata Compression: Accelerating Encoding for Improved Communication, Distribution & Delivery of Personalized Content
JP7491041B2 (ja) 2019-05-22 2024-05-28 富士通株式会社 画像コーディング装置、確率モデル生成装置及び画像デコーディング装置
CN111986278B (zh) 2019-05-22 2024-02-06 富士通株式会社 图像编码装置、概率模型生成装置和图像压缩系统
WO2020261314A1 (ja) 2019-06-24 2020-12-30 日本電信電話株式会社 画像符号化方法、及び画像復号方法
CN113259665B (zh) 2020-02-07 2022-08-09 华为技术有限公司 一种图像处理方法以及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022174948A (ja) * 2021-05-12 2022-11-25 横河電機株式会社 装置、監視システム、方法およびプログラム
KR20230125391A (ko) * 2022-02-21 2023-08-29 가천대학교 산학협력단 특징량맵에 대한 영상 신호를 처리하기 위한 방법 및 이를 지원하는 장치
KR102628127B1 (ko) * 2022-02-21 2024-01-23 가천대학교 산학협력단 특징량맵에 대한 영상 신호를 처리하기 위한 방법 및 이를 지원하는 장치

Also Published As

Publication number Publication date
US11184615B2 (en) 2021-11-23
JP7476631B2 (ja) 2024-05-01
CN111988629A (zh) 2020-11-24
US20200374522A1 (en) 2020-11-26
CN111988629B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
JP2020191077A (ja) 画像コーディング方法及び装置並びに画像デコーディング方法及び装置
JP7424078B2 (ja) 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置
Mentzer et al. Conditional probability models for deep image compression
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
US11869221B2 (en) Data compression using integer neural networks
CN110892419B (zh) 停止码容忍的图像压缩神经网络
US11783511B2 (en) Channel-wise autoregressive entropy models for image compression
US11375198B2 (en) Processing signal data using an upsampling adjuster
JP7408799B2 (ja) ニューラルネットワークモデルの圧縮
JP6246233B2 (ja) 頂点誤差訂正のための方法および装置
KR20200138079A (ko) 전역적 문맥을 이용하는 기계 학습 기반의 이미지 압축을 위한 방법 및 장치
WO2021059348A1 (ja) 学習方法、学習プログラム、および学習装置
Váša et al. Rate‐distortion optimized compression of motion capture data
CN116527943B (zh) 基于矢量量化索引和生成模型的极限图像压缩方法及系统
CN117915114B (zh) 一种点云属性压缩方法、装置、终端及介质
CN117974833B (zh) 图像生成方法、装置、设备、可读存储介质及程序产品
KR20240025629A (ko) 광학 흐름를 이용한 비디오 압축
Shi et al. TECO: A Unified Feature Map Compression Framework Based on Transform and Entropy
WO2023088562A1 (en) An autoencoder for data compression
CN114359418A (zh) 图像处理方法、装置、电子设备及存储介质
CN117119204A (zh) 基于条件扩散的概率熵建模图像编码、解码、压缩方法
CN117459727A (zh) 一种图像处理方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7476631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150