JP2020137121A - エンコーダ、エンコーディングシステム、およびエンコーディング方法 - Google Patents

エンコーダ、エンコーディングシステム、およびエンコーディング方法 Download PDF

Info

Publication number
JP2020137121A
JP2020137121A JP2020021387A JP2020021387A JP2020137121A JP 2020137121 A JP2020137121 A JP 2020137121A JP 2020021387 A JP2020021387 A JP 2020021387A JP 2020021387 A JP2020021387 A JP 2020021387A JP 2020137121 A JP2020137121 A JP 2020137121A
Authority
JP
Japan
Prior art keywords
circuit
image block
image
coding
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020021387A
Other languages
English (en)
Other versions
JP7063925B2 (ja
Inventor
健華 張
Jianhua Zhang
健華 張
彬 韓
Bin Han
彬 韓
文軍 趙
Wenjun Zhao
文軍 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2020137121A publication Critical patent/JP2020137121A/ja
Application granted granted Critical
Publication of JP7063925B2 publication Critical patent/JP7063925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】システム帯域幅に対するエンコーダの要求を下げることができるエンコーダ、エンコーディングシステム、およびエンコーディング方法を提供する。【解決手段】エンコーダ7には、あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込むための第一インターフェース回路71が含まれる。符号レート制御回路75は、符号化された画像の統計情報に基づいて、符号化されていない画像ブロックの目標符号レートを決定する。第一符号化回路74は、画像ブロックの符号化ブロックをtier-1符号化し、画像ブロックの符号ストリームを得るために用いられる。第二符号化回路76は、目標符号レートに基づいて画像ブロックの符号ストリームをtier−2符号化し、符号化された画像内の画像ブロックの統計情報に基づいて画像ブロックの符号ストリームを切り捨てる。【選択図】図4

Description

本出願は画像のデコード分野に係わり、より具体的には、エンコーダ、エンコーディングシステム及びエンコーディング方法に係わる。本特許書類に開示された内容には、著作権により保護された材料が含まれる。この著作権は著作権者に帰属する。著作権所有者は、特許・商標局の公式記録及びファイルに存在する当該特許文書又は当該特許開示を複製することに何人も反対しない。
JPEG(Joint Photographic Experts group) 2000は、一般的な画像符号化規格である。JPEG 2000はウェーブレット変換を採用しており、最適化されたインターセプトEBCOT(Embedded block coding with optimized truncation)に基づいてエントロピーをエンコードし、JPEGよりも圧縮率が高く、プログレッシブダウンロードと表示をサポートしている。
従来のJPEG 2000のエンコーダの符号レート制御アルゴリズムは、フレーム画像全体に対して大域的な最適化アルゴリズムを行い、システム帯域幅に対する要求が高い。
このリクエストでは、システム帯域幅に対するコーディング・プロセスの要件を緩和するために、エンコーダ・システムとエンコード方式を提供している。
第一に、外部ストレージから事前に生成された符号化された画像の統計情報を読み取るための第一インターフェース回路を含むエンコーダを提供する。符号レート制御回路は、前記符号化された画像の統計情報に基づいて、前記符号化された画像中の画像ブロックの目標符号レートを確定するために使用する。第一符号化回路は、前記画像ブロックの符号化ブロックをtier-1符号化し、前記画像ブロックの符号ストリームを得るために使用される。第二符号化回路は、前記目標符号レートに基づいて、前記画像ブロックの符号ストリームをtier−2符号化し、前記画像ブロックの符号ストリームを切り捨てるために使用される。
第二に、符号化された画像の統計情報を計算するための前処理回路を含む、エンコーディングシステムを提供する。符号化された画像と統計情報を格納するためのストレージにおけるメモリから、前記符号化された画像および前記統計情報を読み取るために使用される。
第三に、あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込むなどのエンコード方式を提供する。前記符号化された画像の統計情報に基づいて、前記符号化された画像内の画像ブロックの目標符号レートを確定する。前記画像ブロックの符号化ブロックをtier-1符号化し、前記画像ブロックの符号ストリームを得る。前記画像ブロックの符号ストリームを、前記目標符号レートに基づいてtier−2符号化し、前記画像ブロックの符号ストリームを切り捨てる。
第四に、コンピュータで読み取り可能なストレージメディアを提供する。このメディアには、コンピュータが読み取り可能なストレージメディアに保存されているディレクティブがあり、コンピュータ上で実行されているときに、コンピュータが第三の方法を実行できるようにする。
第五に、命令を含むコンピュータプログラム製品を提供し、それがコンピュータ上で実行されているときに、コンピュータに第三に述べた方法を実行させる。符号化された画像内の画像ブロックの統計情報をあらかじめ計算しておき、その統計情報に基づいて画像ブロックの符号ストリームを切り捨てることで、各画像ブロックに対して相対的に独立した符号レート制御を行うことで、エンコーダのシステム帯域幅に対する要求を軽減する。
JPEG 2000の符号化フレームワーク図である。 本出願実施例で提供されたエンコーディングシステムの構成図である。 本出願実施例で提供された前処理回路の構成図である。 本出願実施例で提供されたエンコーダの構成図である。 画像ブロックのウェーブレット変換の原理図を示す。 本出願実施例で提供されたデコーダの構成図である。 本出願実施例で提供されたエンコーディング方法のスケマティック・フローチャートである。
本出願は、画像符号化復号領域、動画符号化復号領域、ハードウェア動画符号化復号領域、専用回路動画符号化復号領域、及びリアルタイム動画符号化復号領域に適用することができる。
本出願で提供されているエンコーダは、画像を不可逆圧縮(lossy compression)するためにも、可逆圧縮(lossless compression)するためにも使用できる。可逆圧縮は、視覚的可逆圧縮(visually lossless compression)または数学的可逆圧縮(mathematically lossless compression)のいずれかである。
分かりやすくするために、JPEG 2000の符号化フレームワークについて簡単に説明する。図1に示すように、JPEG 2000の符号化フレームワークには、前処理モジュール12、変換モジュール14、量子化モジュール16、及びEBCOTモジュール18を含めることができる。
前処理モジュール12には、コンポーネント変換(component transformation)モジュール122と直流レベル移動(direct current level shift)モジュール124を含めることができる。
コンポーネント変換モジュール122では、イメージのコンポーネントに何らかの変換を行うことで、コンポーネント間の依存性を低減できる。例えば、Component Transform Module 122では、画像の個々のコンポーネントを現在のカラーフィールドから別のカラーフィールドに変換できる。
コンポーネント変換モジュール122は複数のカラー変換モードをサポートできるため、コンポーネント変換モジュール122はMCT(Multi−mode(登録商標) Color transform)モジュールとも呼ばれる。たとえば、コンポーネント変換モジュール122は、不可逆色変換(ICT)または可逆色変換(RCT)をサポートする。なお、重み変換モジュール122はオプションであり、実際の符号化においても、画像を重み変換せずにそのまま後続処理を行うことができる。
直流レベル移動モジュール124を使用すると、後続の変換操作を容易にするために、成分値を中心に移動して、0を中心に対称に分布させることができる。
変換モジュール14は、画像中の各画像ブロック(tile)を、ウェーブレット変換を用いて変換し、サブバンドのウェーブレット係数を得る。本出願実施例では、画像ブロックのサイズについて具体的な制限を設けず、例えば512×512(単位はピクセル)であってもよい。
量子化モジュール16は、サブバンドのウェーブレット係数を量子化し、量子化後のサブバンドのウェーブレット係数を得るために利用できる。EBCOTモジュール18はJEPG 2000のエントロピー符号化モジュールであり、JEPG 2000の中核モジュールである。
EBCOTモジュール18には、tier−1符号化モジュール182、tier−2符号化モジュール184、および符号レート制御モジュール186を含めることができる。tier−1符号化モジュール182を使用すると、符号化ブロック(サブバンドをさらに独立した複数の符号化ブロック(code block)に分割できる)をtier−1で符号化できる。tier−1符号化には、ビットプレーン・エンコードと算術エンコードを含めることができる。tier−2符号化モジュール184は主に符号ストリームの編成を担当しており、符号化ブロックの符号ストリームを符号レート制御モジュール186が提供する目標符号レートに基づいて切り捨てるなどの処理を行うことができる。
JPEG 2000では、主に圧縮レート歪み最適化アルゴリズム(PCRD)を使用して、符号レートを制御する。従来のJPEG 2000技術では、符号レートの制御を行う際に、フレーム画像中のすべての符号化ブロックの符号ストリームの最適なトランケーションポイントの集合を走査的に計算する。つまり、従来のJPEG 2000テクノロジーでは、フレーム画像全体の符号レートを制御する。ハードウェア・エンコーダの場合、フレーム画像全体の符号レート制御を行うと、大量の中間データが生成され、スライス上のキャッシュが限られている場合には、エンコーダと外部のメモリとの間で大量のデータのやりとりが必要となり、システム帯域幅に対する要求が高くなる。
以下では、図2から図6と合わせて、本出願における技術方案について述べる。本申請実施例は、エンコーディング・システムを提供する。図2に示すように、このエンコーディングシステム2には、前処理回路4、信号処理装置6およびエンコーダ7が含まれる。
図3に示すように、前処理回路4には計算回路42を含めることができる。計算回路42を使用すると、符号化された画像の統計情報を計算できる。この符号化された画像は、センサ3によって収集された画像であっても、他のデバイスから入力された画像であってもよい。符号化された画像の形式は、RAW、またはRGBなどの他の形式にすることができる。前処理回路4の機能は、図2の左側の仮想枠で表されるISP(画像信号処理)サブシステムによって実行可能である。
符号化された画像の統計情報は、符号化された画像中の画像ブロック(tile)に対する符号レート制御に利用できる情報であることから、一部の実装例では、符号化されていない画像の統計情報を符号化された画像ブロックの符号レート制御情報と呼ぶこともできる。符号化された画像の統計には、符号化された画像内の画像ブロックの複雑さ、アクティブさ、テクスチャの1つまたは複数の情報を含めることができる。
符号化された画像の統計情報は、さまざまな方法で計算できる。符号化された画像の統計情報を符号化された画像中の画像ブロックの複雑さの例として、画像ブロック内の画素点の高周波成分の大きさに基づいて画像ブロックの複雑さを定義または計算することができる。例えば、画像ブロックの複雑さは、画像ブロック領域内の各画素点における高周波成分の大きさの累積和である。画像ブロックのテクスチャが複雑な場合は、対応する高周波成分の大きさの合計も大きくなり、この画像ブロックの複雑さは高いと考えられる。画像の符号化理論によれば、複雑度の高い画像ブロック領域に対応する符号化後の符号ストリーム(または符号化に要するビット数)もそれなりに大きくなる。具体的には、画像ブロック領域内の画素点の画素値に基づいてフィルタリング操作により高周波成分を得て、画像ブロックの複雑度を計算することができる。
また、画像ブロック中の画素値の二乗誤差(MSE)に基づいて画像ブロックの複雑さを定義または計算することも可能であり、画像ブロックの画素値のMSEが大きいほど、その画像ブロックの複雑さは高くなると考えられる。
もちろん、画像ブロックの複雑さは、他の定義方式や、上記の定義方式の組合せを用いてもよいが、本出願実施例はこれを限定しない。
オプションで、一部の実装例では、前処理回路4にコンポーネント変換回路44を含めることもできる。コンポーネント変換回路44は、前に説明したコンポーネント変換操作を実行するために使用できる。符号化された画像の統計情報を計算する過程で符号化された画像に対して重み変換を行うことは、もともとエンコーダ7で行う必要があった操作を切り離して前処理回路4で行うことに相当し、エンコーダ7の複雑さを軽減することができる。もちろん、もう1つの実装例では、前処理回路4はコンポーネント変換操作を行わずにエンコーダ7によって実行されることもある。
さらに図2を参照して、前処理回路4の処理結果(前処理後の符号化された画像およびその符号化された画像の統計情報を含むことができる)を外部のメモリ5に格納することができる。メモリ5には、DDR(ダブルデータレート)メモリを使用できる。
エンコーダ7には、JPEG 2000標準をサポートするハードウェア・エンコーダを使用できる。図4に示すように、エンコーダ7は、第一インターフェース回路71、変換回路72、量子化回路73、第一符号化回路74、符号レート制御回路75、第二符号化回路76および符号ストリーム書き込み回路77を含むことができる。
第一インターフェース回路71は、外部のメモリ5からあらかじめ生成された符号化された画像の統計情報を読み込むために利用できる。第一インターフェース回路71は、符号化された画像の画像ブロックの読み取りにも使用できる(この画像ブロック(tile)は符号化された画像のいずれかの画像ブロックにすることができる)。第一インターフェース回路71は、特定のアドレッシングモードでメモリ5に格納されている符号化された画像の画像ブロックを直接読み取ることができ、符号化された画像を分割する必要がない。たとえば、符号化された画像をメモリ5に行順に格納することが可能であり、第一インターフェース回路71は符号化された画像をメモリ5に格納する位置に基づいて、各画像ブロックの格納位置を算出し、ジャンパ方式で該当する画像ブロックを読み込むことができる。あるいは、符号化された画像はメモリ5に画像ブロックごとに格納でき、第一インターフェース回路71は画像ブロックの格納順に画像ブロックを読み込めばよい。第一インターフェース回路71は、メモリ5から直接メモリアクセス(DMA)方式で画像ブロックを読み込むことができる。
第一インターフェース回路71は、符号化された画像の統計情報を符号レート制御情報として符号レート制御回路75に転送することができ、符号レート制御回路75は符号化過程に対して符号レートの制御を行う。オプションで、一部の実装例では、最初のインターフェース回路71を使用して画像ブロックの直流レベル移動を行うこともできる。これは、前述の直流レベル移動モジュール124の機能である。変換回路72は、前節の変換モジュール14で行った操作、すなわち画像ブロックのウェーブレット変換を行うために利用できる。画像ブロックはウェーブレット変換後に多くのサブバンドを得ることができる。ウェーブレット変換により、画像ブロックのウェーブレット係数が得られるのは、これらのサブバンド(sub−band)のウェーブレット係数である。
量子化回路73は、ウェーブレット係数を量子化し、量子化した小数係数または量子化したサブバンドのウェーブレット係数を得るために利用できる。
注目すべき点は、エンコーダ7の複雑さを軽減するために、変換、量子化などの操作の一部またはすべてを図2に示す信号処理装置6に任せて実行できることである。本出願実施例では、信号処理装置6のタイプを具体的に規定していないが、たとえばデジタル信号処理装置(digital signal processor、DSP)であっても、グラフィックス処理装置(graphics processing unit GPU)であってもよい。一例として、変換操作の一部を信号処理装置6に任せて実行することができ、エンコーダ7における量子化回路73は、変換回路72の出力の変換係数(ウェーブレット係数)と信号処理装置6の出力の変換係数(ウェーブレット係数)の両方を受け取ることができ、エンコーダ7の構造を簡略化するだけでなく、符号化過程の並列度を向上させることができる。もう1つの例として、信号処理装置6ではすべての変換操作を実行でき、エンコーダ7では量子化操作を実行すればよい。もう1つの例として、信号処理装置6がすべての変換と量子化操作を担当することも可能であり、エンコーダ7は量子化後の結果をそのまま利用して符号化すればよい。信号処理装置6の演算参加の実施例では、信号処理装置6は特定のアドレッシングモードを用いてメモリ5に格納されている符号化された画像の画像ブロックを直接読み出すことができ、符号化された画像を分割する必要がない。たとえば、符号化された画像はメモリ5に行順に格納され、信号処理装置6は符号化された画像のメモリ5にある位置に基づいて、各画像ブロックのメモリ位置を算出し、ジャンパ方式で該当する画像ブロックを読み込むことができる。あるいは、符号化された画像はメモリ5に画像ブロックごとに格納でき、信号処理装置6は画像ブロックの格納順に画像ブロックを読み込めばよい。信号処理装置6はDMA方式でメモリ5から画像ブロックを読み込むことができる。
信号処理装置6が画像ブロックの符号化に関与する場合、信号処理装置6とエンコーダ7はスライス上のシステム(SOC)全体の符号化サブシステムとみなすことができる(符号化サブシステムは図2の右側の仮想枠で表される)。
第一符号化回路74は、画像ブロックのブロックをtier-1符号化し、画像ブロックの符号ストリームを得るために利用できる。前述の記述を参照すると、変換と量子化によって得られるのはサブバンドのウェーブレット係数であり、サブバンドは独立に符号化可能な1つ以上のブロックに分割されるため、画像ブロックのブロックとは画像ブロックのサブバンドのブロックである。
第一符号化回路74では、符号化ブロックのビットプレーン符号化や算術符号化など、図1のtier−1符号化モジュール182で実行される処理を実行できる。オプションで、第一符号化回路74で符号化ブロックを符号化する前に、たとえばウェーブレット係数の符号ビットと絶対値を分離する前に符号化ブロックを前処理することもできる。また、一部の実装例では、第一符号化回路74で符号化ブロックを符号ストリームに符号化した後、符号化ブロックを後処理することもできる。たとえば、符号ストリームを連結して第二符号化回路76で使用することができる。
符号レート制御回路75を使用すると、符号化された画像の統計に基づいて、符号化された画像内の画像ブロックの目標符号レート(target size)を決定できる。
例えば、符号化された画像の統計情報を、符号化された画像中の画像ブロックの複雑さとすると、符号レート制御回路75は、各画像ブロックの複雑さに応じて、各画像ブロックに重みを割り当てることができる。画像ブロックの複雑度が高いほど重みが大きくなる。符号レート制御回路75は、各画像ブロックの重みと現在のネットワーク状況(ネットワーク帯域幅など)に基づいて画像ブロックの目標符号レートを計算し、画像ブロックの重みが大きいほど目標符号レートが高くなるようにする。オプションで、前処理回路4から出力される符号化されていない画像の統計情報には、各画像ブロックの重みを含めることができ、符号レート制御回路75は、画像ブロックの重みを直接利用して目標符号レートを計算すればよい。
第二符号化回路76は、前述のtier−2符号化モジュール184の機能を実装するために使用できる。たとえば、第二符号化回路76を使用して、目標符号レートに基づいて画像ブロックの符号ストリームをtier−2符号化し、画像ブロックの符号ストリームを切り捨てることができる。
第二符号化回路76には、レート歪み勾配計算回路762(またはslope maker)と遮断回路764(またはtruncator)を含めることができる。
レート歪み勾配計算回路762は、第一符号化回路74から出力される符号ストリームのレート歪み勾配を計算するために利用できる。たとえば、レート歪み勾配計算回路762では、第一符号化回路74で出力された符号ストリーム(つまり、ブロックあたりの符号ストリーム(pass))ごとに、符号レート(rate)と歪み度(distortion)に基づいて歪み勾配(slope)を計算できる。歪みレートは、現在のブロックの符号ストリームが画像ブロック全体でどの程度貢献しているかを評価するために使用できる。このレート歪み勾配は、符号ストリームの階層化、切断など、後続の符号ストリームの構成に使用できる。
遮断回路764は、目標符号レートおよびレート歪み勾配に基づいて画像ブロックの符号ストリームを処理するために利用できる。例えば、遮断回路764を使用して、目標符号レートおよびレート歪み勾配に基づいて画像ブロックの符号ストリームを遮断できる。さらに、遮断回路764は符号ストリームの再構成、符号ストリームの階層化などにも利用できる。また、一部の実装例では、遮断回路764を使用して符号ストリームのheader情報を生成し、header情報を符号ストリームとともに下位レベルの符号ストリームに書き込み、回路77に渡すこともできる。
符号ストリーム書き込み回路77は、回路764の出力を遮断するように構成された符号ストリームを受信し、外部のメモリに符号ストリームを書き込むために利用できる。たとえば、バスを介して外部のストレージに書き込むことができる。バスには、たとえばAXI(Advanced Extensible Interface)バスを使用できる。符号ストリーム書き込み回路77は、符号ストリームに画像ブロックヘッダ(tile header)などの情報を追加することも可能である。
オプションで、一部の実装例では、符号レート制御回路75を使用して、画像ブロックの統計に基づいて符号レート制御バッファの状態情報(バッファーサイズ、バッファーサイズ)を生成することもできる。第一符号化回路74は、符号レート制御バッファの状態情報に基づいてtier-1符号化を制御するためにも利用できる。バッファの状態情報は、第一符号化回路74で符号ストリームを事前に遮断するために使用できる。たとえば、第一符号化回路74では、バッファの状態情報に基づいて、スケジュールされたサイズを超える符号ストリームを削除したり、要件を満たさない符号ストリームを削除したりできる。したがって、バッファの状態情報は、プリトランケート情報とも呼ばれる。さらに、一部の実装例では、符号レート制御回路75は、第一符号化回路74で実際に符号化された符号ストリームのサイズに関するフィードバックを受け取り、解像度ごとに画像ブロックのプリトランケート情報を更新することもできる。
オプションで、一部の実装例では、エンコーダ7にソフトウェア構成用のインターフェース回路(不図示)を含めることができる。このインターフェース回路を使用すると、エンコーダ7内部のレジスタの情報を構成または変更して、エンコーダ7のエンコード方法を制御できる。
本出願実施例では、符号化された画像中の画像ブロックの統計情報を事前に計算しておく。また、この統計情報に基づいて画像ブロックの符号ストリームを遮断することで、個々の画像ブロックに対して相対的に独立した符号レート制御を行い、符号化された画像中のすべての符号化ブロックを全体的に最適化することなく、大量の中間データを生成することができるため、本申請実施例ではエンコーダのシステム帯域幅に対する要求を軽減することができる。符号化された画像全体の符号化処理は、スライス上で実行することもできる。
従来のJPEG 2000エンコーディングシステムは、1つのオンラインエンコーディングシステムと考えることができる。オンラインコーディングシステムは、符号化された画像(図2のセンサ3で収集した画像など)を直接エンコーダに入力し、エンコードが完了してからメモリ5に格納する。従来のJPEG 2000エンコーディングシステムとは異なり、本出願実施例で提供されているエンコーディングシステムは符号化された画像に対して前処理を行い、符号化された画像の統計情報(符号レート制御に利用可能)を取得し、前処理後の符号化されていない画像をメモリ5に格納する。次に、エンコーダ7は、符号化された画像の各画像ブロックを画像ブロック単位で読み取り、相対的に独立して処理できる。符号化された画像はエンコードされる前にメモリ5に格納されているため、エンコードの後続のエンコード操作はリアルタイムにオンラインでは行われないため、本出願実施例で提供されるエンコードシステムは一種のオフライン・エンコード・システムと呼ぶことができる。
オプションで、一部の実装例では、変換回路72の内部または出力側に、変換回路72の出力の中間結果をキャッシュするためのキャッシュ(スライス上のキャッシュ)を設定できる。
オプションで、一部の実装例では、遮断回路764の内部または出力側に、遮断回路764出力の中間結果をキャッシュするキャッシュ(スライス上のキャッシュ)を設定できる。
本出願実施例における画像ブロックは相対的に独立して符号化できるため、大量の中間データを生成することはなく、上記のキャッシュはキャッシュスライス上に生成された中間結果の一部に使用することができる。
エンコーダ7のエンコード効率を向上させるために、一部の実装例では、エンコーダ7の隣接する2つのレベルの回路の速度マッチングを行うことができる。たとえば、隣接する2つのレベルの回路のうち、処理速度の遅い回路をマルチプレクシング構造に設定できる。その後、一定のメカニズムを使用して2つのレベルの回路間のデータ転送を制御し、2つのレベルの回路を十分に流れさせることができる。
1つの例として、量子化回路73と第一符号化回路74の速度を一致させることができる。具体的には、図4に示すように、第一符号化回路74には複数の符号化ユニット742を含めることができる。この複数の符号化ユニット742は、量子化回路73から出力される各ブロックをtier-1で並列に符号化するために利用可能であり、第一符号化回路74は、多重並列構造を用いてtier-1で符号化することが可能である。
量子化回路73と複数の符号化ユニット742との間で、量子化回路73の出力の中間結果に対応する符号化ユニット742をブロックアービトレーションまたはフリーアービトレーションを使用して決定できる。ブロックアービトレーションとは、量子化回路73から出力される周波数成分のあるブロックを、常に固定された符号化ユニットのセットに割り当てること(各符号化ユニットは複数の符号化ユニットから構成される場合がある)を指す。一方、フリーアービトレーションとは、量子化回路73から出力される個々の符号化ブロックが、マルチプレクシング並列符号化ユニットで一貫して受信される可能性があることを指す。ブロックアービトレーション方式の利点は、ハードウェア実現時の回路接続が容易であるのに対し、フリーアービトレーション方式の利点は、場合によっては符号化ユニットの利用効率が向上することである。
もう1つの例として、第一符号化回路74とレート歪み勾配計算回路762のレートをマッチングすることが考えられる。たとえば、レート歪み勾配計算回路762には、複数のレート歪み勾配計算モジュールを含めることができる。この複数のレート歪み勾配計算モジュールは、第一符号化回路74から出力される符号ストリームのレート歪み勾配を並列に計算するために利用できる。第一符号化回路74とレート歪み勾配計算回路762の間では、ブロックアービトレーションまたはフリーアービトレーションを使用して、第一符号化回路74の出力の中間結果に対応するレート歪み計算モジュールを決定することもできる。ブロックアービトレーションの例では、1つのレート歪み計算モジュールが第一符号化回路74における1つの符号化ユニットに対応できる。1つのレート歪み計算モジュールが1つの符号化ユニットに対応することで、回路全体の設計を容易にすることができる。
図5に示す512×512の大きさの画像ブロックを例にとると、変換回路72は通常、この画像ブロックを64x64のブロックに分割して変換し、変換ごとに4つの32x32の中間結果、すなわち4つのブロックを生成する。このうち最後の変換であれば4つのブロックが同時に出力され、それ以外の場合は3つのブロック(すなわち周波数成分がHL、LH、HHに対応するブロック)が出力される。
変換回路72が出力する3つまたは4つのブロックは量子化回路73を経て多重並列の第一符号化回路74に接続されている場合、ブロックごとに対応する符号化ユニット742をブロックアービトレーション方式で決定することができる。
第一符号化回路74には3つの符号化ユニットgroup0、group1、group2が含まれていると仮定する。group0には、符号化ユニットu0−u3が含まれる。group1には符号化ユニットu4−u7を含まれる。group2には、符号化ユニットu8−u11が含まれる。各画像ブロックには、4つのコンポーネント(R、Gr、Gb、Bなど)を含めることができる。これらの各コンポーネントの符号化ブロックと上記3つのコード単位のマッピングは、次の表に示すマッピング方法を使用できる。
上の表では、t5時刻においてgroup0中の符号化ユニットu2とu3がアイドル状態になっているが、その場合には、t6時刻に符号化しようとする符号化ユニットu2とu3にt6時刻前に送ることができる。t5時点でgroup1の符号化ユニットu5-u7がアイドル状態になっている場合、t6時点で符号化するブロックをgroup1の符号化ユニットu5-u7に繰り上げて送ることができる。t5時点でgroup2の符号化ユニットu9-u11がアイドル状態になっている場合、t6時点で符号化するブロックをgroup2の符号化ユニットu9-u11に繰り上げて送ることができる。これにより、成分0、2と成分1、3の間のブロックをピンポン式に効率良く符号化することができる。
また、レート歪み勾配計算回路762に3つのレート歪み計算モジュールを設置することができ、12個の符号化ユニットと3個のレート歪み計算モジュールの間にグループアービトレーション機構を用いることができる。u0-u3は1番目のレート歪み計算モジュールと相互接続可能であり、u4-u7は2番目のレート歪み計算モジュールと相互接続可能であり、u8-u11は3番目のレート歪み計算モジュールと相互接続可能である。
前文では、図4とあわせて、本申請の実施例で提供されたエンコーダ7の構成例を示した。以下、図6とあわせて、本申請実施例が提供するデコーダ8の構成例を示す。
図6に示すように、デコーダ8には、符号ストリーム読み取り回路81、符号ストリーム解析回路82、復号回路83、逆量子化回路84、逆変換回路85、及び出力回路86のうち1つまたは複数の回路を含めることができる。
符号ストリーム読み取り回路81は、デコードする符号ストリームの読み取りに使用できる。この符号ストリーム読み取り回路81は、たとえばAXI(Advanced eXtensible Interface)を使用して、メモリなどの外部ストレージからこのデコードされた符号ストリームを読み取ることができる。
符号ストリーム解析回路82は符号ストリームヘッダ解析回路(header parser)とも呼ばれる。符号ストリーム解析回路82は、符号ストリーム中の様々なタイプのヘッダ情報を解析し、そこからデコードに関連するパラメータと符号ストリームデータを分離して後段の復号回路83で使用することができる。
復号回路83には、デコードユニットを含めることも、並行した多重デコードユニットを含めることもできる(具体的な数は、8ウェイのデコードユニットを並行して構成できるなど、必要に応じて設定できる)。復号回路83の各デコードユニットは、1つのブロックを独立してデコードすることができる。
オプションで、一部の実装例では、回路83をデコードする前にプリプロセッサ回路を設定することもできる。前処理回路は、符号ストリーム解析回路82で出力されるデコードパラメータ、符号ストリームデータなどを並列なマルチプレクシングユニットに割り当てるために利用できる。
オプションで、一部の実装例では、回路83をデコードした後で後処理回路を設定することもできる。後処理回路は、復号回路83から出力される復号データを再構成し、編成されたデータを後処理回路に出力するために利用できる。
逆量子化回路84は、復号回路83がデコードしたデータを逆量子化するために利用できる。逆変換回路85は、逆量子化回路84から出力されるデータの逆変換に利用できる。逆変換の方式としては離散ウェーブレット逆変換が考えられる。
出力回路86は、逆変換回路85で出力されたデータを外部のメモリに書き込むために利用できる。たとえば、逆変換回路85で出力されたデータを、AXIを介して外部のメモリに書き込むことができる。
オプションで、一部の実装例では、デコーダ8にソフトウェア構成インターフェースを含めることもできる。このソフトウェア構成インターフェースにより、デコーダ8内部のレジスタの情報を配置または変更し、デコーダ8のデコード方式を制御することができる。
本出願実施例で提供されているデコーダ8は画像ブロック(tile)単位でデコードすることができる。デコーダ8は外部のメモリから符号ストリームを読み込んだ後、全体のデコードをスライス上で行うことが可能であり(本申請実施例では画像ブロック単位でデコードしているため、中間データはあまり大きくなく、スライスキャッシュによる一時蓄積が可能である)、外部メモリとのインタラクションを行わず、システム帯域幅を節約している。また、デコーダ8の各レベルの回路はパイプライン方式で動作し、デコード効率を向上させることができる。
本申請実施例では、エンコーディング方法も提供している。このエンコーディング方法は、前述のエンコーダ7またはエンコーディングシステムで実行できる。図7に示すように、このエンコーディング方法には手順S72-S78が含まれる。
手順S72では、あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込む。
手順S74では、符号化された画像の統計情報に基づいて、符号化された画像中の画像ブロックの目標符号レートを決定する。
手順S76では、画像ブロックのブロックをtier-1符号化し、画像ブロックの符号ストリームを得る。
手順S78では、画像ブロックの符号ストリームを目標符号レートに基づいてtier−2符号化し、画像ブロックの符号ストリームを切り捨てる。
オプションで、図7の方法には、画像ブロックの統計情報に基づいて、符号レート制御バッファの状態情報を生成する方法も含まれる。tier-1符号化は、符号レート制御バッファの状態情報に基づいて制御される。
オプションで、図7の方法には、メモリから画像ブロックを読み込む方法もある。オプションで、図7の方法には、画像ブロックの直流レベル移動を含めることもできる。オプションで、図7の方法には、画像ブロックのウェーブレット係数を定量化する方法も含まれる。
前記複数の符号化ユニットには複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対してtier-1符号化を行うために使用される。オプションで、手順S76には、複数の符号化ユニットを使用して、画像ブロックの符号化ブロックをtier−1で並行して符号化する。オプションで、複数の符号化ユニットには、複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、画像ブロックの異なる周波数成分の符号化ブロックをtier-1で符号化するために使用される。オプションで、図7の方法には、画像ブロックのウェーブレット変換を含めることもできる。
オプションで、手順S78には、tier−1符号化後の符号ストリームの歪みレート傾斜を計算する機能が含まれる。画像ブロックの符号ストリームは、目標符号レートおよびレート歪み勾配に基づいて切り捨てられる。オプションで、tier-1符号化された符号ストリームのレート歪勾配を計算するには、複数のレート歪勾配計算モジュールを使用して、tier-1符号化された符号ストリームのレート歪勾配を並列に計算する。
オプションとして、符号化された画像の少なくとも一部の変換係数または量子化係数は外部の信号処理装置に基づいて生成され、図7の方法として受信信号処理装置が生成する変換係数または量子化係数を含めることができる。オプションで、符号化された画像の統計には、符号化された画像内の画像ブロックの複雑さが含まれる。
オプションで、あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込む前に、図7の方法は符号化されていない画像の統計情報を計算することも可能である。オプションで、符号化された画像の統計情報をメモリに格納し、符号化された画像の統計情報をメモリに格納する前に、符号化された画像の分量変換を行うこともできる。
上記の実装例では、ソフトウェア、ハードウェア、ファームウェア、またはその他の任意の組み合わせを使用して、全体または一部を実装できる。ソフトウェアを使用して実装する場合は、コンピュータプログラム製品の全体または一部を使用して実装することができる。記載されているコンピュータプログラム製品には、1つ以上のコンピュータ命令が含まれている。前記コンピュータプログラム指令をコンピュータ上でロードし、実行する際には、本発明の実施例に記載された流れ又は機能の全部又は一部が発生する。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、その他のプログラム可能な装置であってもよい。記載されているコンピュータ命令は、コンピュータの読み取り可能なストレージメディアに保存することができる。または、コンピュータの読み取り可能なストレージメディアを別のコンピュータの読み取り可能なストレージメディアに転送する。例えば、コンピュータ命令は、あるWebサイト、コンピュータ、サーバ、またはデータセンターから、別のWebサイト、コンピュータ、サーバ、またはデータセンターに、有線(同軸ケーブル、光ファイバー、DSL(Digital Subscriber line)など)またはワイヤレス(赤外、ワイヤレス、マイクロ波など)で送信できる。このコンピュータの読み取り可能なストレージメディアは、コンピュータがアクセスできる任意のメディア、または1つ以上のメディアが統合されたサーバ、データセンターなどのデータストレージデバイスにすることができる。使用可能なメディアには、磁気メディア(フロッピーディスク、ハードディスク、テープなど)、光学メディア(デジタルビデオディスク(HDD)など)、半導体メディア(ソリッドステートディスク(SSD)など)などがある。
本分野の一般技術者は、本稿で公開した実施例に記述されている各例を組み合わせたユニットおよびアルゴリズムの手順が、電子ハードウェア、あるいは計算機ソフトウェアと電子ハードウェアの組合せによって実現可能であることを認識している。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、技術的な用途と設計上の制約によって異なる。専門技術者は、それぞれの特定のアプリケーションについて、記載されている機能を実現するために異なる方法を使用することができる。ただし、そのような実装は、本出願の範囲外とはみなされない。
本出願で提供されるいくつかの実施例において、明らかにされたシステム、装置及び方法は、他の方法で実現できることを理解すべきである。たとえば、上記の応用実装例は単なる概略的なものである。たとえば、ユニットの分割は、1つの論理機能に分割されており、複数のユニットやコンポーネントを別のシステムに結合したり、統合したりできる。また、いくつかの機能を無視したり、実行したりしないようにしたりすることもできる。また、表示または検討されている相互結合、直接結合、または通信接続は、電気的、機械的、またはその他の形式のインターフェース、装置またはユニットを介した間接結合または通信接続のいずれかである。
分離された部品として説明されているユニットは、物理的に分離されている場合もあれば、物理的に分離されていない場合もあり、ユニットとして表示されているユニットは物理的なユニットではなく、1つの場所にある場合もあれば、複数のネットワークユニットに分散されている場合もある。本実施例案の目的は、実際の必要に応じてその一部またはすべてのユニットを選択して達成することである。
また、本出願の各実施例における各機能ユニットは、1つの処理ユニットに統合することも、各ユニットが単独で物理的に存在することも、2つ以上のユニットを1つのユニットに統合することも可能である。
以上に述べたのは、本出願の具体的な実施方式に過ぎないが、本出願の保護範囲はこれに限定されておらず、本技術分野に熟知している技術者は、本出願で明らかになった技術範囲内において、容易に変化又は代替を思いつくことができ、本出願の保護範囲に含まれるものとする。したがって、本出願の保護範囲は前記請求項の保護範囲に準じなければならない。
2 エンコーディングシステム
4 前処理回路
5 メモリ
6 信号処理装置
7 エンコーダ
8 デコーダ
12 前処理モジュール
14 変換モジュール
16 量子化モジュール
18 モジュール
42 計算回路
44 コンポーネント変換回路
71 第一インターフェース回路
72 変換回路
73 量子化回路
74 第一符号化回路
75 符号レート制御回路
76 第二符号化回路
81 符号ストリーム読み取り回路
82 符号ストリーム解析回路
83 復号回路
84 逆量子化回路
85 逆変換回路
86 出力回路
122 コンポーネント変換モジュール
124 直流レベル移動モジュール
182 符号化モジュール
184 符号化モジュール
186 符号レート制御モジュール
742 符号化ユニット
762 勾配計算回路
764 遮断回路

Claims (31)

  1. あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込むための第一インターフェース回路と、
    前記符号化された画像の統計情報に基づいて、前記符号化された画像中の画像ブロックの目標符号レートを確定するために使用する符号レート制御回路と、
    前記画像ブロックの符号化ブロックをtier-1符号化し、前記画像ブロックの符号ストリームを得るための第一符号化回路と、
    前記目標符号レートに基づいて、前記画像ブロックの符号ストリームをtier−2符号化し、前記画像ブロックの符号ストリームを切り捨てるために使用される第二符号化回路と、
    を具備するエンコーダ。
  2. 前記符号レート制御回路は、前記画像ブロックの統計情報に基づいて、符号レート制御バッファの状態情報を生成するためにも使用され、
    前記第一符号化回路は、前記符号レート制御バッファの状態情報に基づいて前記tier-1符号化を制御するためにも用いられる
    請求項1に記載のエンコーダ。
  3. 前記第一インターフェース回路は、前記メモリから前記画像ブロックを読み込むためにも使用される
    請求項1又は2に記載のエンコーダ。
  4. 前記第一インターフェース回路は、前記画像ブロックの直流レベル移動にも用いられる
    請求項1から3のいずれか一項に記載のエンコーダ。
  5. 前記画像ブロックのウェーブレット係数を量子化する量子化回路
    を具備することを特徴とする請求項1から4のいずれか一項に記載のエンコーダ。
  6. 前記画像ブロックの符号化ブロックを並行してtier−1で符号化するための複数の符号化ユニット
    を具備することを特徴とする請求項5に記載のエンコーダ。
  7. 前記複数の符号化ユニットには、複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対してtier-1符号化を行うために使用される
    請求項6に記載のエンコーダ。
  8. 画像ブロックをウェーブレット変換するために使用される変換回路
    を具備する請求項1から4のいずれか一項に記載のエンコーダ。
  9. 前記変換回路の出力の中間結果をキャッシュする第一キャッシュ
    を具備する請求項8に記載のエンコーダ。
  10. 前記第二符号化回路は、
    前記第一符号化回路が出力する符号ストリームのレート歪み勾配を計算するために使用するレート歪み勾配計算回路と、
    前記画像ブロックの符号ストリームを、前記目標符号レートおよび前記レート歪み勾配に基づいて切り捨てる切り捨て回路と、
    を具備する請求項1から9のいずれか一項に記載のエンコーダ。
  11. 前記レート歪み勾配計算回路は、
    前記第一符号化回路から出力される符号ストリームのレート歪み勾配を並列に計算するための複数のレート歪み勾配計算モジュール
    を具備する請求項10に記載のエンコーダ。
  12. 前記複数のレート歪み勾配計算モジュールは、前記第一符号化回路における複数の符号化ユニットと1対1に対応し、そのうち1つの前記レート歪み勾配計算モジュールは、前記符号化ユニットの出力する符号ストリームのレート歪み勾配を計算するために使用される
    請求項11に記載のエンコーダ。
  13. 前記切り捨て回路の出力の中間結果をキャッシュする第二キャッシュ
    を具備する請求項10から12のいずれか一項に記載のエンコーダ。
  14. 前記符号化された画像の少なくとも一部の変換係数又は量子化係数は外部の信号処理装置に基づいて生成され、
    前記信号処理装置によって生成された変換係数または量子化係数を受信する第二インターフェース回路
    を具備する請求項1から13のいずれか一項に記載のエンコーダ。
  15. 前記符号化された画像の統計情報には、前記符号化された画像中の画像ブロックの複雑さが含まれる
    請求項1から14のいずれか一項に記載のエンコーダ。
  16. 符号化されていない画像の統計を計算するための前処理回路と、
    符号化された画像と前記前処理回路によって計算された統計情報を格納するためのメモリと、
    前記メモリから前記符号化された画像と前記統計情報を読み取るために使用される、請求項1から15のいずれか一項に記載のエンコーダと、
    を具備するエンコーディングシステム。
  17. 前記前処理回路には、符号化された画像の分量変換を行う分量変換回路も含まれており、前記メモリに格納される符号化された画像は、前記分量変換回路による変換後の画像であることを特徴とする
    請求項16に記載のエンコーディングシステム。
  18. あらかじめ生成された符号化された画像の統計情報を外部のメモリから読み込む行程と、
    前記符号化された画像の統計情報に基づいて、前記符号化された画像内の画像ブロックの目標符号レートを確定する行程と、
    前記画像ブロックの符号化ブロックをtier-1符号化し、前記画像ブロックの符号ストリームを得る行程と、
    前記画像ブロックの符号ストリームを、前記目標符号レートに基づいてtier−2符号化し、前記画像ブロックの符号ストリームを切り捨てる行程と
    を有するエンコーディング方法。
  19. 前記画像ブロックの統計情報に基づいて、符号レート制御バッファの状態情報を生成する行程を有し、
    前記tier-1符号化は、前記符号レート制御バッファの状態情報に基づいて制御される
    請求項18に記載のエンコーディング方法。
  20. 前記メモリから、前記画像ブロックを読み込む行程
    を有する請求項18又は19に記載のエンコーディング方法。
  21. 前記画像ブロックを直流レベルで移動する行程
    請求項18から20のいずれか一項に記載のエンコーディング方法。
  22. 前記画像ブロックのウェーブレット係数を量子化する行程
    を有する請求項18から21のいずれか一項に記載のエンコーディング方法。
  23. 前記画像ブロックのブロックを、複数の符号化ユニットを用いてtier-1で並行して符号化する行程
    を有する請求項22に記載のエンコーディング方法。
  24. 前記複数の符号化ユニットには複数の符号化ユニットのセットが含まれ、その中の異なる符号化ユニットのセットが、前記画像ブロックの異なる周波数成分の符号化ブロックに対してtier-1符号化を行うために使用される
    請求項23に記載のエンコーディング方法。
  25. 前記画像ブロックをウェーブレット変換する行程
    を有する請求項18から24のいずれか一項に記載のエンコーディング方法。
  26. 前記画像ブロックの符号ストリームを、前記目標符号レートに基づいてtier−2符号化し、前記画像ブロックの符号ストリームを切り捨てる行程は、
    前記tier-1符号化後の符号ストリームのレート歪み勾配を計算する行程と、
    前記画像ブロックの符号ストリームを、前記目標符号レートおよび前記レート歪み勾配に基づいて切り捨てる行程と
    を含む請求項18から25のいずれか一項に記載のエンコーディング方法。
  27. 前記tier-1符号化後の符号ストリームのレート歪み勾配を計算する行程は、
    複数のレート歪み勾配計算モジュールを用いて、前記tier-1符号化後の符号ストリームのレート歪み勾配を並行して計算する行程
    を含む請求項26に記載のエンコーディング方法。
  28. 前記メモリに格納された前記符号化された画像の少なくとも一部の変換係数又は量子化係数は、外部の信号処理装置に基づいて生成されるものであり、
    前記信号処理装置によって生成された変換係数または量子化係数を受け取る行程
    を含む請求項18から27のいずれか一項に記載のエンコーディング方法。
  29. 前記符号化された画像の統計情報には、前記符号化された画像中の画像ブロックの複雑さが含まれる
    請求項18から28のいずれか一項に記載のエンコーディング方法。
  30. 前記外部のメモリから予め生成された符号化された画像の統計情報を読み取る前に、符号化された画像の統計情報を計算するとともに、符号化された画像の統計情報を前記メモリに格納する行程
    を有する請求項18から29のいずれか一項に記載のエンコーディング方法。
  31. 前記符号化された画像の統計情報を前記メモリに保存する前に、前記符号化された画像に対して、分量変換を行う行程
    を有する請求項18から30のいずれか一項に記載のエンコーディング方法。
JP2020021387A 2019-02-21 2020-02-12 エンコーダ、エンコーディングシステム、およびエンコーディング方法 Active JP7063925B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2019/075746 WO2020168520A1 (zh) 2019-02-21 2019-02-21 编码器、编码系统和编码方法
CNPCT/CN2019/075746 2019-02-21

Publications (2)

Publication Number Publication Date
JP2020137121A true JP2020137121A (ja) 2020-08-31
JP7063925B2 JP7063925B2 (ja) 2022-05-09

Family

ID=70955214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021387A Active JP7063925B2 (ja) 2019-02-21 2020-02-12 エンコーダ、エンコーディングシステム、およびエンコーディング方法

Country Status (4)

Country Link
US (1) US20210203952A1 (ja)
JP (1) JP7063925B2 (ja)
CN (1) CN111264062A (ja)
WO (1) WO2020168520A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032680A (ja) * 2001-07-18 2003-01-31 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラムコード、記憶媒体
JP2003319185A (ja) * 2002-04-19 2003-11-07 Sony Corp 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2005045356A (ja) * 2003-07-23 2005-02-17 Canon Inc 画像符号化装置及び方法
JP2005341236A (ja) * 2004-05-27 2005-12-08 Kddi Corp 動画像符号化方式
JP2011091575A (ja) * 2009-10-21 2011-05-06 Sony Corp 符号化装置および方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0670663A1 (fr) * 1994-03-02 1995-09-06 Laboratoires D'electronique Philips S.A.S. Procédé et dispositif de codage de signaux numériques représentatifs d'une séquence d'images
US7822281B2 (en) * 2003-10-31 2010-10-26 Canon Kabushiki Kaisha Digital video compression
CN100571393C (zh) * 2007-08-21 2009-12-16 中国科学院计算技术研究所 一种基于图像特征的码率控制方法及装置
TWI365662B (en) * 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
CN103051901B (zh) * 2013-01-14 2015-10-28 北京华兴宏视技术发展有限公司 视频数据编码装置和视频数据编码方法
WO2015011752A1 (ja) * 2013-07-22 2015-01-29 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
WO2019127136A1 (zh) * 2017-12-27 2019-07-04 深圳市大疆创新科技有限公司 码率控制的方法与编码装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032680A (ja) * 2001-07-18 2003-01-31 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラムコード、記憶媒体
JP2003319185A (ja) * 2002-04-19 2003-11-07 Sony Corp 画像符号化装置及び方法、並びに画像復号装置及び方法
JP2005045356A (ja) * 2003-07-23 2005-02-17 Canon Inc 画像符号化装置及び方法
JP2005341236A (ja) * 2004-05-27 2005-12-08 Kddi Corp 動画像符号化方式
JP2011091575A (ja) * 2009-10-21 2011-05-06 Sony Corp 符号化装置および方法

Also Published As

Publication number Publication date
US20210203952A1 (en) 2021-07-01
CN111264062A (zh) 2020-06-09
WO2020168520A1 (zh) 2020-08-27
JP7063925B2 (ja) 2022-05-09

Similar Documents

Publication Publication Date Title
CN101569170B (zh) 编码设备和编码方法以及解码设备和解码方法
JP3792789B2 (ja) 符号化装置
JP3693988B2 (ja) 通信管理システム及び通信管理方法
US5966465A (en) Compression/decompression using reversible embedded wavelets
RU2404534C2 (ru) Адаптивный порядок сканирования коэффициентов
CN109842803B (zh) 一种图像压缩的方法及装置
JP2007267384A (ja) 圧縮装置及び圧縮方法
CN101742309B (zh) 图像解码装置、图像解码方法
Hoang et al. Image compression with encoder-decoder matched semantic segmentation
US11924470B2 (en) Encoder and method of encoding a sequence of frames
CN102017636B (zh) 影像的解码
JP7063925B2 (ja) エンコーダ、エンコーディングシステム、およびエンコーディング方法
CN103154970A (zh) 视觉优化量化
JP2013187692A (ja) 画像処理装置及び画像処理方法
Wu et al. Memory-efficient architecture for JPEG 2000 coprocessor with large tile image
CN104837022A (zh) 一种基于hevc的神经影像数据压缩方法
CN111316645A (zh) 编码器、编码系统和编码方法
Zhao et al. A Comparison of Lossless Compression Methods for Palmprint Images.
WO2023185806A9 (zh) 一种图像编解码方法、装置、电子设备及存储介质
CN1477601A (zh) 图像资料编码方法
Mei et al. A high pipeline and low memory design of JPEG2000 encoder
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP2023120813A (ja) データ圧縮システム及びデータ圧縮方法
JP2019197973A (ja) 画像処理装置及びその制御方法及びプログラム、並びに画像処理システム
JP6223012B2 (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220421

R150 Certificate of patent or registration of utility model

Ref document number: 7063925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150