JP2009055384A - 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 - Google Patents

符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2009055384A
JP2009055384A JP2007220596A JP2007220596A JP2009055384A JP 2009055384 A JP2009055384 A JP 2009055384A JP 2007220596 A JP2007220596 A JP 2007220596A JP 2007220596 A JP2007220596 A JP 2007220596A JP 2009055384 A JP2009055384 A JP 2009055384A
Authority
JP
Japan
Prior art keywords
amount
prediction
unit
bit amount
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007220596A
Other languages
English (en)
Other versions
JP4513841B2 (ja
Inventor
Seiretsu Gu
成烈 具
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007220596A priority Critical patent/JP4513841B2/ja
Priority to US12/199,605 priority patent/US7688234B2/en
Publication of JP2009055384A publication Critical patent/JP2009055384A/ja
Application granted granted Critical
Publication of JP4513841B2 publication Critical patent/JP4513841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006Conversion to or from arithmetic code
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えばAVCの符号化方式によりビデオデータを符号化処理する場合に適用して、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減する。
【解決手段】本発明は、bin量の増大によりしきい値を境にして次数が変化する予測関数を用いて、bin量xから発生ビット量yを予測してレート制御する。
【選択図】 図1

Description

本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えばH.264 ISO/IEC 14496-10 AVC (以下、AVCと呼ぶ)の符号化方式によりビデオデータを符号化処理する場合に適用することができる。本発明は、bin量の増大によりしきい値を境にして次数が変化する予測関数を用いて、bin量から発生ビット量を予測してレート制御することにより、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減する。
従来、各種映像機器では、MPEG(Moving Picture Experts Group)2、MPEG4、AVC等の符号化方式によりビデオデータを符号化処理している。これらの符号化方式のうち、AVCの符号化方式は、MPEG2、MPEG4の符号化方式に比して、符号化処理、復号化処理の演算量が多くなる。しかしながらAVCの符号化方式は、MPEG2、MPEG4の符号化方式に比して、高い符号化効率を得ることができる。
ここでAVCの符号化方式は、CAVLC (Context-Adaptive Variable Length Coding :コンテキスト適応型可変長符号化方式) と、CABAC (Context-Adaptive Binary
Arithmetic Coding :コンテキスト適応型2値算術符号化方式) との2種類の高能率符号化方式が用意されており、これら2種類の方式の何れかを用いてシンタックス要素をエントロピー符号化処理する。AVCの符号化方式は、これら2つの方式のうちの何れの方式を使用した場合でも、周囲のブロックの状況に応じて適応的に符号語を割り当てることができ、MPEG2、MPEG4の符号化方式に比して、高い符号化効率を得ることができる。またCABACは、算術符号化処理であることから、CAVLCに比して効率的に符号を割り当てることができる。従ってCABACを使用した場合、CAVLCを使用する場合に比べ符号化効率を改善することができる。
ここで図9は、従来のAVC方式の符号化装置を示すブロック図である。この符号化装置1は、CABACを採用した符号化装置である。この符号化装置1は、予測符号化部2において予測値を用いて入力画像データD1を符号化処理した後、算術符号化部3において各シンタックス要素をCABACにより符号化処理する。
ここで予測符号化部2は、図示しない並替回路において、GOP構造に応じたフレーム単位で入力画像データD1を並べ替えて入力する。予測符号化部2において、減算部5は、この入力画像データD1から予測値D2を減算して予測誤差値を出力する。直交変換部6は、ディスクリートコサイン変換回路等により構成され、この予測誤差値を直交変換処理して係数データを出力する。量子化部7は、制御部8に設けられたレート制御部8Aの制御により量子化スケールを切り換え、直交変換部6から出力される係数データを量子化処理して出力する。
逆量子化部9は、量子化部7の出力データD3を逆量子化処理し、量子化部7の入力データを復号する。逆直交変換部10は、この逆量子化部9の出力データを逆直交変換処理し、直交変換部6の入力データを復号する。加算部11は、この逆直交変換部10の出力データに予測値D2を加算し、入力画像データD1を復号する。フレームメモリ12は、この復号した入力画像データD1を参照画像データとして格納して保持する。予測符号化部2は、インター予測において、このフレームメモリ12に保持した参照画像データを動き補償部13で動き補償して予測値D2を生成する。また予測符号化部2は、イントラ予測では、図示しないイントラ予測部で予測値D2を生成する。予測符号化部2は、量子化部7の出力データを動きベクトル、予測モードのデータ等と共に算術符号化部3に入力する。
算術符号化部3において、2値化部15は、これら量子化部7の出力データ、動きベクトル、予測モードのデータ等による多値のシンタックス要素を、それぞれシンタックス要素の種類に応じた規則に従って2値化し、可変長の2値化シンボル系列を出力する。
コンテキスト計算部16は、符号化すべきデータの周囲の情報、既に符号化された2値化シンボル値等に基づいて、算術符号化部3から出力される2値化シンボルの1ビット毎にコンテキスト計算を行い、処理対象の2値化シンボルの各2値が取り得る確率状態変数を求める。コンテキスト計算部16は、確率状態変数を例えば確率テーブルの形式により保持し、求めた確率状態変数をこの確率テーブルにより2値算術符号化部17に通知する。またコンテキスト計算部16は、1つの2値化シンボルについて確率状態変数を求め終わると、確率テーブルに記録した確率状態変数を更新する。
2値算術符号化部17は、コンテキスト計算部16から通知される確率テーブルにより処理対象の2値化シンボルを符号化処理して出力する。バッファ18は、この2値算術符号化部17の出力データをヘッダ情報等と共に格納し、ビットストリームによる符号化データD4を出力する。
制御部8は、この符号化装置1の動作を制御する制御手段であり、入力画像データD1を処理して最適予測モードを選択し、この最適予測モードに応じた予測値D2の生成を動き補償部13、イントラ予測部に指示する。またレート制御部8Aにより量子化部7の量子化スケールを切り換えてレート制御の処理を実行する。
ここで図10は、制御部8におけるレート制御の処理に関する符号化装置1のブロック図である。なおこの図10において、MEは、動きベクトル検出回路である。制御部8は、ステップSP1のビット量割り当て処理において、割り当て可能な目標ビット量を各ピクチャーに配分して符号化処理対象ピクチャーの目標ビット量を計算し、さらにこの符号化処理対象ピクチャーからレート制御単位の目標ビット量を計算する。なおここでレート制御単位は、この符号化装置1の符号化処理単位であるマクロブロックである。
すなわち制御部8は、この符号化装置1から出力する符号化データD4の目標ビットレートを単位時間当たりのGOP数で割り算し、1GOPに割り当て可能な目標ビット量を計算する。またピクチャータイプ毎に設定された比率によりこの計算した1GOP当たりの目標ビット量を各ピクチャーに配分し、符号化処理対象ピクチャーの目標ビット量を計算する。またこの符号化処理対象ピクチャーの目標ビット量を、1つのピクチャーを構成するマクロブロック数で割り算し、1つのマクロブロックの目標ビット量を計算する。制御部8は、この計算したマクロブロックの目標ビット量をレート制御部8Aに通知する。
また符号化処理単位ブロックの目標ビット量を計算する際に、制御部8は、バッファ18の空き容量を監視して符号化処理で発生する符号化データD4のビット量を監視し、1つのピクチャーの符号化処理を完了する毎に、この1つのピクチャーの符号化データD4のビット量から、1GOPを構成する残りのピクチャーに割り当て可能な目標ビット量を計算し直す。またこの計算し直した目標ビット量をピクチャータイプに応じて各ピクチャーに配分し、続く符号化処理対象ピクチャーの目標ビット量を計算する。またこの符号化処理対象ピクチャーの目標ビット量から1つのマクロブロックの目標ビット量を計算し直し、レート制御部8Aに通知する。
また制御部8は、ステップSP2で示すレート制御部8Aによる処理において、符号化データD4のビット量がステップSP1で計算した目標ビット量となるように、レート制御部8Aによるフィードバック制御により量子化部7の量子化スケールを制御する。すなわち制御部8は、このステップSP1のビット量割り当て処理から通知される目標ビット量に応じて、量子化部7の量子化スケールを指示する量子化スケールのデータDQを出力する。このとき制御部8は、直前マクロブロックにおける符号化データD4のビット量に応じてこの量子化スケールのデータDQを補正して出力する。具体的に、目標ビット量に対して符号化データD4のビット量が大きい場合、量子化ステップサイズを大きくして発生ビット量が少なくなるように、量子化スケールのデータDQを補正する。またこれとは逆に目標ビット量に対して符号化データD4のビット量が少ない場合には、量子化ステップサイズを小さくして発生ビット量が増大するように、量子化スケールのデータDQを補正する。なおこの場合、バッファ18の監視による符号化データD4のビット量に代えて、2値算術符号化部17で検出される実ビット量による符号化データD4のビット量により量子化スケールのデータDQを補正してもよい。
符号化装置1は、図示しないアクティビティー検出部により、入力画像データD1から符号化処理の困難度を示すアクティビティーをマクロブロック単位で検出する。なおアクティビティーは、例えば入力画像データD1の高域成分の2乗和又は絶対値和、若しくは減算部5から出力される予測誤差値の2乗和又は絶対値和等を適用することができる。
制御部8は、ステップSP3の補正処理において、レート制御部8Aで計算された量子化スケールのデータDQをアクティビティーにより補正して量子化部7に出力する。具体的に、アクティビティーが大きく、視覚的に画像劣化が目立ち易い部分では、量子化ステップサイズを小さくするように、量子化スケールのデータDQを補正する。またこれとは逆にアクティビティーが小さく、視覚的に画像劣化が目立ち難い部分では、量子化ステップサイズを大きくするように、量子化スケールのデータDQを補正する。
AVCの符号化処理に関して、特開2005−318296号公報、東芝レビューVol.60 No1.(2005) 17〜20頁には、最適予測モードの選択基準としての発生符号量を簡易に検出する方法が提案されている。この特開2005−318296号公報に開示の手法は、算術符号化部3から出力される2値化シンボルのbin量を累積加算して発生符号量を検出している。また東芝レビューVol.60 No1.(2005) 17〜20頁では、2値化シンボルのbin量の累積加算値を用いた1次近似式の演算処理により発生符号量を検出している。なおここでbin量は、2値化シンボルのビット数である。
ところで図10について上述したレート制御は、算術符号化処理で発生する発生ビット量によるフィードバック制御である。従って符号化装置1は、リアルタイムで入力画像データD1を符号化処理する場合、算術符号化部3において、高速度で2値化シンボルを処理することが必要になる。しかしながら算術符号化部3の処理には、多大な演算量を要する。従ってリアルタイムで入力画像データD1を符号化処理する場合、従来の符号化装置1は、算術符号化部3の構成が複雑になることで回路規模が増大し、さらには消費電力が増大する問題があった。
特開2005−318296号公報 東芝レビューVol.60 No1.(2005) 17〜20頁
本発明は以上の点を考慮してなされたもので、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減することができる符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体を提案しようとするものである。
上記の課題を解決するため請求項1の発明は、符号化装置に適用して、入力信号を直交変換処理して係数データを出力する直交変換部と、前記係数データを量子化処理する量子化部と、前記量子化部の出力データを算術符号化処理して符号化データを出力する算術符号化部と、前記量子化部の量子化スケールを制御してレート制御の処理を実行する制御部とを備え、前記算術符号化部は、前記量子化部の出力データを2値化シンボルに変換する2値化部と、前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化部と、前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測部とを有し、前記制御部は、前記予測ビット量に基づいて、前記量子化部の量子化スケールを制御してレート制御の処理を実行し、前記符号量予測部は、前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式であるようにする。
また請求項2の発明は、符号化方法に適用して、入力信号を直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、前記算術符号化ステップは、前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、前記制御ステップは、前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、前記符号量予測ステップは、前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式であるようにする。
また請求項11の発明は、入力信号を符号化処理する符号化方法のプログラムに適用して、前記入力信号を直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、前記算術符号化ステップは、前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、前記制御ステップは、前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、前記符号量予測ステップは、前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式であるようにする。
また請求項12の発明は、入力信号を符号化処理する符号理方法のプログラムを記録した記録媒体に適用して、前記符号化方法のプログラムは、前記入力信号を直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、前記算術符号化ステップは、前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、前記制御ステップは、前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、前記符号量予測ステップは、前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式であるようにする。
請求項1、請求項2、請求項11、又は請求項12の構成によれば、2値算術符号化処理する前の段階で発生ビット量をある一定範囲内で予測することができる。従って2値算術符号化処理した後の符号化データのビット量によりレート制御する場合に比して、低速度で2値算術符号化処理することができる。従って、2値算術符号化処理する構成を簡略化し、回路規模及び消費電力を低減するようにしても、十分に高速度でレート制御することができる。従って算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減することができる。
本発明によれば、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図1は、本発明の実施例1の符号化装置を示すブロック図である。この符号化装置21は、算術符号化部3、制御部8に代えて算術符号化部23、制御部28が設けられる点を除いて、図9について上述した符号化装置1と同一に構成される。また算術符号化部23は、2値化部15に代えて、2値化部25、符号量予測部26、2値化バッファ27が設けられる点を除いて、図9について上述した符号化装置1の算術符号化部3と同一に構成される。
ここで算術符号化部23において、2値化部25は、2値化部15と同様に、量子化部7の出力データ、動きベクトル、予測モードのデータ等による多値のシンタックス要素を、それぞれシンタックス要素の種類に応じた規則に従って2値化し、可変長の2値化シンボル系列を出力する。また2値化部25は、マクロブロック単位で、この2値化シンボル系列のbin量を累積加算し、累積加算したbin量xを符号量予測部26に出力する。
符号量予測部26は、所定の予測関数y=f(x)を用いてこのbin量xから符号化データD4のビット量の予測値y(以下、予測ビット量と呼ぶ)を計算する。符号量予測部26は、この計算した予測ビット量yを制御部28に通知する。
ここで予測関数y=f(x)は、bin量xが変数に設定された予測ビット量yを計算する多項式である。この実施例において、予測関数y=f(x)は、図2に示すように、bin量xの増大により予測ビット量yが増大する単調増加関数であって、所定のしきい値THを境にしてbin量xの増大により次数が変化する多項式が適用される。
ここで図3は、発生ビット量とbin量xとの関係を示す特性曲線図である。この図3において、符号L1は、発生ビット量の実測結果を1次近似した特性曲線である。また符号L2は、しきい値TH以下で発生ビット量の実測結果を2次近似し、しきい値TH以上で発生ビット量の実測結果を1次近似した特性曲線図である。実際に測定した結果によれば、bin量xがしきい値TH以下の場合、bin量xを変数とした1次近似の場合に比して、bin量xを変数とした2次近似により精度良く発生ビット量を表し得ることが判った。しかしながらbin量xがしきい値TH以上の場合には、bin量xを変数とした2次近似では近似精度が劣化し、bin量xを変数とした1次近似により近似精度が向上することが判った。
そこでこの実施例では、次式により示すように、しきい値TH以下の第1関数及びしきい値TH以上の第2関数にそれぞれ2次関数及び1次関数を適用して予測関数y=f(x)を定義し、この予測関数y=f(x)を用いて予測ビット量yを計算する。なおここで(1)式において、dはしきい値THであり、a〜c、e、fは係数である。これらしきい値d、係数a〜c、e、fは、図3において符号L2で示す特性曲線を定義する定数である。
Figure 2009055384
符号量予測部26は、図4に示すように、bin量と予測ビット量との対応関係を順次記録したテーブルを有し、2値化部25から出力されるbin量によりこのテーブルを参照して対応する予測ビット量を求めることにより、(1)式の演算処理による予測ビット量yを出力する。
2値化バッファ27は、2値化部25から出力される2値化シンボル系列を一時格納し、続く2値算術符号化部17の処理に応じて格納した2値化シンボル系列を順次出力する。
図5は、図10との対比により符号化装置21のレート制御に係る構成を示すブロック図である。この符号化装置21において、制御部28は、この符号化装置21の動作を制御する制御手段であり、入力画像データD1を処理して最適予測モードを選択し、この最適予測モードに応じた予測値D2の生成を動き補償部13、イントラ予測部に指示する。またレート制御部28Aにより量子化部7の量子化スケールを切り換えてレート制御の処理を実行する。
このレート制御に関する構成において、制御部28は、ステップSP11のビット量割り当て処理、ステップSP12のレート制御部28Aの処理が異なる点を除いて、図10について上述した制御部8と同一に構成される。制御部28は、このステップSP11のビット量割り当て処理において、符号量予測部26から通知される予測ビット量yを基準にして目標ビット量を計算する。
すなわち制御部8は、符号化データD4の目標ビットレートを単位時間当たりのGOP数で割り算し、1GOPに割り当て可能な目標ビット量を計算する。またピクチャータイプ毎に設定された比率によりこの計算した1GOP当たりの目標ビット量を各ピクチャーに配分し、符号化処理対象ピクチャーの目標ビット量を計算する。
この符号化処理対象ピクチャーの目標ビット量を計算する際に、制御部8は、符号量予測部26から通知される予測ビット量yをピクチャー単位で累積加算し、2値化部25で1つのピクチャーの処理を完了する毎に、1GOPの残りのピクチャーに割り当て可能な目標ビット量を計算し直す。すなわち例えば符号化データD4の目標ビットレートを単位時間当たりのGOP数で割り算して得られる1GOPの目標ビット量がMの場合であって、このMが得られる場合において、1GOPを構成する15ピクチャーのうちの1つのピクチャーを2値化部25で処理し、この1つのピクチャーの予測ビット量yの累積加算値がYの場合、M−Yのビット量をピクチャータイプに応じて残り14のピクチャーに割り当て直し、続く処理対象ピクチャーの目標ビット量を計算する。
また制御部28は、この続く処理対象ピクチャーの目標符号量を算出する際に使用した予測ビット量yの累積加算値Yを図示しないメモリに記録して保持する。制御部28は、バッファ18の空き容量の監視により、このメモリに保持した累積加算値Yを算出したピクチャーについて、実際の符号化データD4のビット量が検出されると、予測ビット量yの累積加算値Yと符号化データD4のビット量との差分値を計算する。制御部28は、続く処理対象ピクチャーの目標ビット量をこの差分値により補正して計算する。
具体的に、例えば1GOP(15ピクチャー)の2つのピクチャーを2値化部25で処理して予測ビット量の累積値がそれぞれY1及びY2の場合、制御部28は、M−Y1−Y2のビット量をピクチャータイプに応じて残り13のピクチャーに割り当て直し、続く処理対象ピクチャーの目標ビット量mを計算する。またこのとき先頭のピクチャーにおける符号化データD4のビット量がZ1の場合、ピクチャータイプに応じてこの先頭ピクチャーの処理を完了した時点の残りの14のピクチャーに差分値Y1−Z1を配分して差分値処理対象ピクチャーの補正値z2を計算し、先に計算した続く処理対象ピクチャーの目標ビット量mからこの補正値z2を減算して補正する。なおこの予測ビット量yの累積加算値Yと実際の符号化データD4のビット量との差分値により目標ビット量の補正にあっては、例えば1GOPを構成する残りのピクチャーに割り当て可能な符号量から減算して補正する場合等、種々の補正方法を適用することができる。
制御部28は、1つのピクチャーを処理する毎に計算される続く処理対象ピクチャーの目標ビット量を1つのピクチャーを構成するマクロブロック数で割り算し、1つのマクロブロックの目標ビット量を計算する。またこの計算したマクロブロックの目標ビット量をレート制御部8Aに通知する。
制御部28は、ステップSP12で示すレート制御部28Aによる処理において、レート制御部28Aによるフィードバック制御により量子化部7の量子化スケールをマクロブロック単位で制御する。制御部28は、符号化データD4のビット量に代えて、符号量予測部26から通知される予測ビット量yを基準にして量子化部7の量子化スケールを制御する。
すなわち制御部28は、予測ビット量yがステップSP11で計算した目標ビット量となるように、ステップSP11のビット量割り当て処理から通知される目標ビット量に応じて、量子化部7の量子化スケールを指示する量子化スケールのデータDQを出力する。このとき制御部8は、直前のマクロブロックの予測ビット量yに応じてこの量子化スケールのデータDQを補正して出力する。具体的に、目標ビット量に対して予測ビット量yが大きい場合には、量子化ステップサイズを大きくして発生ビット量が低下するように、量子化スケールのデータDQを補正する。またこれとは逆に目標ビット量に対して予測ビット量yが少ない場合には、量子化ステップサイズを小さくして発生ビット量が増大するように、量子化スケールのデータDQを補正する。
さらにこのステップSP12の処理において、制御部28は、2値化バッファ27の空き容量を監視し、2値化バッファ27のオーバーフローを予測する。具体的に、制御部28は、1マクロブロック毎に、2値化バッファ27の空き容量を所定の判定基準値で判定し、2値化バッファ27の空き容量が判定基準値以下となると、2値化バッファ27のオーバーフローの発生を予測する。なおこの判定基準値は、固定値としてもよく、また可変値としてもよい。なお可変値とする場合は、例えばアクティビティーが大きくなると値を小さくする場合等である。
制御部28は、2値化バッファ27のオーバーフローが予測される場合、目標ビット量、予測ビット量yから求める量子化部7の量子化スケールに対して、量子化ステップサイズが大きくなるように、量子化スケールのデータDQを補正して出力する。従ってこの場合、制御部28は、発生ビット量が目標ビット量以下となるように量子化スケールを設定して2値化バッファ27のオーバーフローを防止する。
また制御部28は、符号量予測部26から通知される予測ビット量を所定の判定単位で累積加算し、仮想デコーダ(HRD:Hypothetical Reference Decoder) の入力バッファであるCPB (Coded Picture Buffer) のバッファ占有量を計算する。なおこの判定単位は、例えばマクロブロック単位である。また制御部28は、この累積加算値を所定の判定基準値で判定し、CPBのアンダーフローの発生を予測する。制御部28は、CPBのアンダーフローが予測される場合、CPBのアンダーフローを回避する処理を実行する。ここでこのCPBのアンダーフローを回避する処理は、例えば続くマクロブロックの符号化処理を中止し、当該マクロブロックについて、直前マクロブロックと同一の画像データ出力を指示する制御コードをバッファ18に設定して出力する処理等である。
(2)実施例の動作
以上の構成において、この符号化装置21では(図1及び図5)、GOP構造に応じてフレームが並べ替えられて入力画像データD1が入力され、この入力画像データD1の最適予測モードが順次検出される。入力画像データD1は、この最適予測モードによる予測値D2が動き補償部13又はイントラ予測部により生成され、この予測値D2との予測誤差値が減算部5で求められる。入力画像データD1は、この予測誤差値が直交変換部6で直交変換処理されて係数データが生成され、この係数データが量子化部7で量子化処理される。入力画像データD1は、この量子化部7の出力データが逆量子化部9、逆直交変換部10で順次処理されて参照画像データが復号され、この参照画像データがフレームメモリ12に格納される。またこの参照画像データにより続くマクロブロックの予測値D2が生成される。またこの量子化部7の出力データが動きベクトル、予測モードのデータ等と共に算術符号化部23に入力され、CABACにより算術符号化処理される。
すなわち入力画像データD1は、この算術符号化部23の2値化部25において、シンタックス要素の種類に応じた規則に従ってシンタックス要素が2値化処理され、可変長の2値化シンボル系列が生成される。入力画像データD1は、この2値化シンボル系列を構成する2値化シンボルの1ビット毎に、コンテキスト計算部16でコンテキスト計算が実行されて確率状態変数が求められ、2値算術符号化部17において、この確率状態変数により2値化シンボルが符号化処理される。入力画像データD1は、この2値算術符号化部17の出力データがバッファ18に格納され、ヘッダ情報等が設定されてビットストリームによる符号化データD4が出力される。
符号化装置21では、この符号化データD4を目標ビットレートにより出力するように、制御部28のレート制御部28Aにより量子化部7の量子化スケールが制御されて発生ビット量が制御される。
ここで従来の符号化装置1では(図9)、バッファ18の空き容量の監視により把握される実際の符号化データD4のビット量を基準にしたマクロブロック単位のフィードバック制御によりレート制御の処理を実行していることから、リアルタイムで入力画像データD1を符号化処理する場合には、処理の複雑な算術符号化部3を高速度で処理可能に構成することが必要であり、その結果、算術符号化部3の構成が複雑になることで回路規模が増大し、消費電力が増大する。
そこでこの実施例の符号化装置21では、2値化部25から出力される2値化シンボルにおけるbin量から符号化データのビット量を予測して予測ビット量を計算し、この予測ビット量が目標ビット量となるようにマクロブロック単位のフィードバック制御により量子化部7の量子化スケールが制御される。
その結果、この符号化装置21では、2値算術符号化処理する前の段階である2値化部25で1マクロブロックの処理を完了すると、続くマクロブロックについて量子化スケールの設定処理を開始することができ、2値算術符号化部17の処理速度を高速度化しなくても、リアルタイムで入力画像データを符号化処理してレート制御の処理を実行することができる。また2値算術符号化部17については、処理速度を高速度化しなくてもよいことにより、構成を簡略化し、消費電力の増大を防止することができる。
しかしながらbin量から予測ビット量を計算する場合、精度よく予測ビット量を算出しなければ、目標ビットレートにより符号化データD4を送出できなくなる恐れがある。そこでこの符号化装置21では、符号量予測部26において、bin量の増大により予測ビット値が増大し、かつしきい値を境にしてbin量の増大により次数が変化する予測関数を用いてbin量から予測ビット量が計算され、この予測ビット量によりレート制御の処理が実行される。その結果、この符号化装置21では、bin量により発生ビット量を予測してレート制御する場合でも、精度よくレート制御して目標ビットレートにより符号化データD4を送出することができる。またその結果、高画質の符号化データD4を出力することができる。
より具体的に、符号化装置21では、bin量の増大により2次から1次に次数が変化する予測関数を用いてbin量から予測ビット量が計算され、その結果、bin量により発生ビット量を予測してレート制御する場合でも、精度良くレート制御して目標ビットレートにより符号化データD4を送出することができる。また高画質の符号化データD4を出力することができる。
すなわち符号化装置21では、2値化部25において、マクロブロック単位でbin量が累積加算される。符号化装置21では、この累積加算値が符号量予測部26に入力され、ここで予測関数によりマクロブロック単位で予測ビット量yが計算される。
また符号化装置21では、制御部28において、1GOPに割り当て可能なビット量が各ピクチャーに配分されて処理対象ピクチャーの目標ビット量が計算される。このとき当該GOPにおいて2値化処理の完了したピクチャーの予測発生符号量が予測ビット量yの累積加算により求められる。またこの2値化処理の完了したピクチャーの予測発生符号量により、当該GOPの残りのピクチャーに割り当て可能なビット量が求められ、この残りのピクチャーに割り当て可能なビット量が配分されて処理対象ピクチャーの目標ビット量が計算される。その結果、この実施例では、各ピクチャーの目標ビット量を算出する処理においても、実際の発生ビット量に代えて予測ビット量が適用され、レート制御の処理を高速度化することができる。
またバッファ18を介して実際の符号化データD4のビット量が検出され、この符号化データD4のビット量に対する予測ビット量の誤差値により処理対象ピクチャーの目標ビット量が補正される。その結果、この符号化装置21では、実際の符号化データD4のビット量に代えて予測ビット量を適用して目標ビット量を計算する場合の誤差の累積を防止することができ、レート制御の精度を向上することができる。符号化装置21では、この処理対象ピクチャーの目標ビット量がマクロブロック数で割り算されて、1マクロブロックの目標ビット量が計算される。
符号化装置21では、符号量予測部26で求められる予測ビット量yがこの目標ビット量となるように、量子化部7の量子化スケールが設定される。またアクティビティー検出部で検出されたアクティビティーにより、この量子化スケールが補正され、量子化部7に設定される。
この一連のレート制御の処理において、この符号化装置21では、bin量をマクロブロック単位で累積加算した後、予測関数により予測ビット量yを求めていることにより、予測関数により予測ビット量を求める処理をマクロブロック単位で実行して処理を簡略化することができる。
またこの予測関数により予測ビット量yを求める処理にあっては、符号量予測部26に設けられたテーブルをアクセスして予測ビット量yが求められ、簡易な処理により予測ビット量を求めることができる。
またさらにこの符号化装置21では、2値化バッファ27を介して2値化部25の出力データが2値算術符号化部17に入力される。すなわち上述したように、bin量から予測ビット量を計算し、この予測ビット量によりレート制御する場合、2値算術符号化部17については高速処理を要しないものの、2値化部25にあっては、高速度で符号化処理することが求められる。従ってこの場合、2値化部25から2値算術符号化部17の処理能力を超える2値化データが瞬間的に出力され、2値算術符号化部17の処理が破綻する恐れがある。
しかしながらこの実施例のように、2値化バッファ27を介して2値化部25の出力データを2値算術符号化部17に入力すれば、2値算術符号化部17に入力する2値化データのビットレートの変動をこの2値化バッファ27で緩和することができる。その結果、2値算術符号化部17の構成を簡略化して2値算術符号化部17のスループットを低く設定する場合でも、2値算術符号化部17の処理の破綻を回避することができる。従って符号化装置21は、この2値化バッファ27を介して2値化部25の出力データを2値算術符号化部17に入力する構成によっても、2値算術符号化部17の回路規模を簡略化し、回路規模及び消費電力を低減することができる。
しかしながらこのように2値化バッファ27を介して2値化部25の出力データを2値算術符号化部17に入力する場合、この2値化バッファ27のオーバーフローにより、連続する2値データを正しく算術符号化処理することが困難になる。そこでこの符号化装置21では、制御部28により2値化バッファ27の空き容量が判定されてオーバーフローの発生が予測される。またオーバーフローの発生が予測される場合には、量子化ステップサイズが大きくなるように量子化部7の量子化スケールが設定されて2値化データのbin量が抑圧され、2値化バッファ27のオーバーフローが防止される。
ところでAVCでは、仮想デコーダが定義され、この仮想デコーダの入力バッファであるCPBがアンダーフローしないようにレート制御することが求められる。従来の符号化装置1では、このCPBに係るレート制御においても、実際の符号化データD4のビット量を基準にして実行していた。
この実施例では、このCPBに係る制御に関して、bin量により予測ビット量を求める構成を有効に利用して、アンダーフローの判定単位であるスライスを単位にして、予測ビット量が制御部28で累積加算される。またこの累積加算値が判定基準値で判定され、CPBのアンダーフローの発生が予測される。またこのアンダーフローの発生の予測により、アンダーフローを回避する処理が実行される。
この実施例では、bin量により予測ビット量を求めていることから、従来の符号化データD4のビット量を基準にした処理に比して、アンダーフローの発生予測をアンダーフローが実際に発生する直前で確実に実行することができる。言い換えるならば、従来に比して早期にアンダーフローの発生を予測することができる。従って従来に比して、不必要にアンダーフローの発生を回避する処理を実行しないようにすることができ、その結果、従来に比して高画質の符号化データD4を出力することができる。
(3)実施例の効果
以上の構成によれば、bin量の増大によりしきい値を境にして次数が変化する予測関数を用いてbin量から発生ビット量を予測してレート制御することにより、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減することができる。
より具体的に、bin量の増大により二次関数から一次関数に次数が変化する予測関数を用いてbin量から発生ビット量を予測することにより、十分な精度でレート制御の処理を実行して、算術符号化処理に係る構成を従来に比して簡略化し、回路規模及び消費電力を低減することができる。
またbin量をレート制御の単位で累積して累積値を得、この累積値を予測関数で演算処理して予測値を検出することにより、簡易な処理で予測値を検出することができる。
またbin量と対応する予測ビット量とを順次記録したメモリをアクセスして予測ビット量を出力することにより、簡易な構成で予測値を検出することができる。
またこの予測ビット量を用いて仮想デコーダの入力段に設けられるバッファメモリのアンダーフローの発生を予測し、アンダーフローの発生を回避する処理を実行することにより、従来に比して高画質の符号化データD4を出力することができる。
図6は、図5との対比により本発明の実施例2の符号化装置を示すブロック図である。この符号化装置31は、制御部28に代えて制御部38が設けられる。ここでこの制御部38は、レート制御部28Aに代えて、レート制御部38Aが設けられる点を除いて、上述の実施例と同一に構成される。
この実施例の制御部38は、このレート制御部38Aにより、アクティビティー検出部で検出されるアクティビティーに応じて予測関数を動的に可変する。レート制御部38Aは、このアクティビティーに応じて予測関数を動的に可変する構成が異なる点を除いて、レート制御部28Aと同一に構成される。
具体的に、レート制御部38Aは、アクティビティーが所定の判定基準値より大きくなると、線型の特性に近づくように、予測関数を可変する。なお線型の特性に近づくように予測関数を可変する場合には、例えば(1)式における係数aの値を小さくする場合、さらにはしきい値TH(d)を小さくすると共に、このしきい値THの変更に対応するように、係数e及びfを変更する場合等である。
すなわち種々に検討した結果によれば、ノイズ画像のようなアクティビティーの高い入力画像データでは、近似曲線を線型に近づけて、予測ビット量yの精度が向上することが判った。そこでこの実施例では、アクティビティーに応じて予測関数を動的に可変してレート制御の精度を向上し、画質を向上する。
この実施例によれば、入力画像データのアクティビティーに応じて予測関数を可変することにより、レート制御の精度を向上し、画質を向上することができる。
図7は、図5との対比により本発明の実施例3の符号化装置を示すブロック図である。この符号化装置41は、制御部28に代えて制御部48が設けられる。ここでこの制御部48は、レート制御部28Aに代えて、レート制御部48Aが設けられる点を除いて、上述の実施例と同一に構成される。
この実施例の制御部48は、このレート制御部48Aにより、量子化部7から出力される出力データの値に応じて予測関数を動的に可変する。レート制御部48Aは、この量子化部7から出力される出力データD3の値に応じて予測関数を動的に可変する構成が異なる点を除いて、レート制御部28Aと同一に構成される。
具体的に、制御部48は、マクロブロック単位で、量子化部7から出力される出力データの絶対値和を計算する。なお絶対値和に代えて2乗和を適用するようにしてもよい。制御部48は、この絶対値和を所定の判定基準値で判定し、この絶対値和が判定基準値より小さい場合、線型の特性に近づくように予測関数を可変する。
すなわち種々に検討した結果によれば、量子化部7から出力される出力データの値が小さい場合には、近似曲線を線型に近づけて、予測ビット量yの精度が向上することが判った。そこでこの実施例では、量子化部7から出力される出力データの値に応じて予測関数を動的に可変してレート制御の精度を向上し、画質を向上する。
この実施例によれば、量子化部から出力される出力データの値に応じて予測関数を可変することにより、レート制御の精度を向上し、画質を向上することができる。
図8は、図5との対比により本発明の実施例4の符号化装置を示すブロック図である。この符号化装置51は、制御部28に代えて制御部58が設けられる。ここでこの制御部58は、レート制御部28Aに代えて、レート制御部58Aが設けられる点を除いて、上述の実施例と同一に構成される。
この実施例の制御部58は、このレート制御部58Aにより、符号化データD4のデータ圧縮率に応じて予測関数を動的に可変する。レート制御部58Aは、この符号化データD4のデータ圧縮率に応じて予測関数を動的に可変する構成が異なる点を除いて、レート制御部28Aと同一に構成される。
具体的に制御部48は、マクロブロック単位で、符号化データD4の1マクロブロックのビット量により、又は予測ビット量yにより、符号化データD4のデータ圧縮率を検出する。また制御部48は、この1マクロブロックのビット量又は予測ビット量yを所定の判定基準値で判定し、1マクロブロックのビット量又は予測ビット量yが判定基準値より小さく、データ圧縮率がこの判定基準値で決まる値より大きい場合、線型の特性に近づくように予測関数を可変する。
すなわち種々に検討した結果によれば、符号化データD4のデータ圧縮率が大きい場合には、近似曲線を線型に近づけて、予測ビット量yの精度が向上することが判った。そこでこの実施例では、符号化データD4のデータ圧縮率に応じて予測関数を動的に可変し、レート制御の精度を向上して画質を向上する。
この実施例によれば、符号化データD4のデータ圧縮率に応じて予測関数を動的に可変することにより、レート制御の精度を向上し、画質を向上することができる。
この実施例では、制御部において、2値算術符号化部における1マクロブロック分の2値化シンボルの処理に要する時間を判定し、この時間が一定時間以上短い場合に、予測ビット量に代えて実際の符号化データD4のビット量によりレート制御の処理を実行する。この実施例の符号化装置は、このレート制御の基準の切り換えに関する構成を除いて、上述の各実施例と同一に構成される。
この実施例によれば、2値算術符号化部における2値化シンボルの処理に要する時間が一定時間以上短い場合、予測ビット量に代えて実際の符号化データD4のビット量によりレート制御の処理を実行することにより、予測ビット量と実際の符号化データD4のビット量との誤差によるレート制御の精度の劣化を有効に回避して、上述の実施例と同様の効果を得ることができる。
なお上述の実施例においては、マクロブロック単位でbin量を累積加算した後、予測ビット量を求める場合について述べたが、本発明はこれに限らず、これとは逆に各2値化データのbin量から予測ビット量を求め、この予測ビット量をマクロブロック単位で累積加算してもよい。
また上述の実施例においては、しきい値を境にして2次から1次に次数が変化する多項式により予測関数を生成する場合について述べたが、本発明はこれに限らず、これら以外の次数の多項式により予測関数を生成するようにしてもよく、要はしきい値を境にして次数が変化する多項式により予測関数を生成して、上述の実施例と同様の効果を得ることができる。
また上述の実施例においては、レート制御の単位を、符号化処理単位であるマクロブロックとする場合について述べたが、本発明はこれに限らず、例えばレート制御の単位を2マクロブロック単位とする場合等、レート制御の単位は種々に設定することができる。
また上述の実施例2、3、4では、予測関数を2段階で可変する場合について述べたが、本発明はこれに限らず、3段階以上の多段階で可変してもよい。
また上述の実施例2、3、4では、マクロブロック単位で予測関数を可変する場合について述べたが、本発明はこれに限らず、複数のマクロブロック単位で予測関数を可変してもよい。
また上述の実施例2等は、それぞれアクティビティーにより予測関数を可変する場合等について述べたが、本発明はこれに限らず、上述の実施例の構成を組み合わせるようにしてもよい。
また上述の実施例では、予測ビット量により処理対象ピクチャーの目標ビット量を計算すると共に、レート制御の処理を実行する場合について述べたが、本発明はこれに限らず、処理対象ピクチャーの目標ビット量の計算については、符号化データD4の符号量により計算してもよい。なおこの場合に、2値算術符号化部で処理に時間を要する場合には、処理対象ピクチャーの2フレーム前のピクチャーで検出される符号化データのビット量により、処理対象ピクチャーの1フレーム前のピクチャーを含む残りのピクチャーに割り当て可能なビット量を配分して処理対象ピクチャーの目標ビット量を計算することになる。
また上述の実施例では、入力画像データをリアルタイムで処理することを前提とする場合について述べたが、本発明はこれに限らず、入力画像データをリアルタイムで処理しない場合にも広く適用することができる。
また上述の実施例では、本発明をAVCの符号化装置に適用する場合について述べたが、本発明はこれに限らず、AVC以外の各種算術符号化方法による符号化装置にも広く適用することができる。
また上述の実施例では、ハードウエアにより符号化装置を構成する場合について述べたが、本発明はこれに限らず、例えばコンピュータにおける編集プログラム等、ソフトウエアにより符号化装置を構成する場合にも広く適用することができる。この場合、このソフトウエアに係るプログラムは、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。
本発明は、符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体に関し、例えばAVCの符号化方式によりビデオデータを符号化処理する場合に適用することができる。
本発明の実施例1の符号化装置を示すブロック図である。 図1の符号化装置における予測関数の説明に供する特性曲線図である。 発生ビット量とbin量との関係を示す特性曲線図である。 テーブルの説明に供する図表である。 レート制御の説明に供するブロック図である。 本発明の実施例2の符号化装置の説明に供するブロック図である。 本発明の実施例3の符号化装置の説明に供するブロック図である。 本発明の実施例4の符号化装置の説明に供するブロック図である。 従来の符号化装置を示すブロック図である。 従来の符号化装置のレート制御の説明に供するブロック図である。
符号の説明
1、21、31、41、51……符号化装置、2……予測符号化部、3、23……算術符号化部、6……直交変換部、7……量子化部、8、28、38、48、58……制御部、8A、28A、38A、48A、58A……レート制御部、15、25……2値化部、16……コンテキスト計算部、17……2値算術符号化器、18……バッファ、26……符号量予測部、27……2値化バッファ

Claims (12)

  1. 入力信号を直交変換処理して係数データを出力する直交変換部と、
    前記係数データを量子化処理する量子化部と、
    前記量子化部の出力データを算術符号化処理して符号化データを出力する算術符号化部と、
    前記量子化部の量子化スケールを制御してレート制御の処理を実行する制御部とを備え、
    前記算術符号化部は、
    前記量子化部の出力データを2値化シンボルに変換する2値化部と、
    前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化部と、
    前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測部とを有し、
    前記制御部は、
    前記予測ビット量に基づいて、前記量子化部の量子化スケールを制御してレート制御の処理を実行し、
    前記符号量予測部は、
    前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、
    前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式である
    ことを特徴とする符号化装置。
  2. 入力信号を直交変換処理して係数データを出力する直交変換ステップと、
    前記係数データを量子化処理する量子化ステップと、
    前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、
    前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、
    前記算術符号化ステップは、
    前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、
    前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、
    前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、
    前記制御ステップは、
    前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、
    前記符号量予測ステップは、
    前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、
    前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式である
    ことを特徴とする符号化方法。
  3. 前記予測関数が、
    前記bin量の増大により二次関数から一次関数に次数が変化する多項式である
    ことを特徴とする請求項2に記載の符号化方法。
  4. 前記符号量予測ステップは、
    前記bin量を、前記レート制御の制御単位で累積して累積値を得、
    前記累積値を前記予測関数で演算処理して前記予測ビット量を出力する
    ことを特徴とする請求項2に記載の符号化方法。
  5. 前記符号量予測ステップは、
    前記bin量と対応する前記予測ビット量とを順次記録したメモリをアクセスして前記予測ビット量を出力する
    ことを特徴とする請求項2に記載の符号化方法。
  6. 前記制御ステップは、
    前記入力信号に設定された一定の判定単位で、前記予測ビット量を累積して判定単位の予測ビット量を検出し、
    前記判定単位の予測ビット量を判定基準値で判定して、仮想デコーダの入力段に設けられるバッファメモリのアンダーフローの発生を予測し、
    前記バッファメモリのアンダーフローの発生が予測される場合には、アンダーフローの発生を回避する処理を実行する
    ことを特徴とする請求項2に記載の符号化方法。
  7. 前記制御ステップは、
    前記入力信号のアクティビティーに応じて前記予測関数を可変する
    ことを特徴とする請求項2に記載の符号化方法。
  8. 前記制御ステップは、
    前記量子化ステップの出力データの値に応じて前記予測関数を可変する
    ことを特徴とする請求項2に記載の符号化方法。
  9. 前記制御ステップは、
    前記符号化データのデータ圧縮率に応じて前記予測関数を可変する
    ことを特徴とする請求項5に記載の符号化方法。
  10. 前記制御ステップは、
    前記2値算術符号化ステップにおいて、前記2値化シンボルの処理に要する時間を判定し、
    前記処理に要する時間が一定時間以下の場合、前記予測ビット量に代えて、前記符号化データのビット量により前記レート制御の処理を実行する
    ことを特徴とする請求項2に記載の符号化方法。
  11. 入力信号を符号化処理する符号化方法のプログラムにおいて、
    前記入力信号を直交変換処理して係数データを出力する直交変換ステップと、
    前記係数データを量子化処理する量子化ステップと、
    前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、
    前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、
    前記算術符号化ステップは、
    前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、
    前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、
    前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、
    前記制御ステップは、
    前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、
    前記符号量予測ステップは、
    前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、
    前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式である
    ことを特徴とする符号化方法のプログラム。
  12. 入力信号を符号化処理する符号理方法のプログラムを記録した記録媒体において、
    前記符号化方法のプログラムは、
    前記入力信号を直交変換処理して係数データを出力する直交変換ステップと、
    前記係数データを量子化処理する量子化ステップと、
    前記量子化ステップの出力データを算術符号化処理して符号化データを出力する算術符号化ステップと、
    前記量子化ステップの量子化スケールを制御してレート制御の処理を実行する制御ステップとを備え、
    前記算術符号化ステップは、
    前記量子化ステップの出力データを2値化シンボルに変換する2値化ステップと、
    前記2値化シンボルを2値算術符号化処理して前記符号化データを出力する2値算術符号化ステップと、
    前記2値化シンボルのbin量に基づいて、前記符号化データの予測ビット量を出力する符号量予測ステップとを有し、
    前記制御ステップは、
    前記予測ビット量に基づいて、前記量子化ステップの量子化スケールを制御してレート制御の処理を実行し、
    前記符号量予測ステップは、
    前記bin量を所定の予測関数で演算処理して前記予測ビット量を出力し、
    前記予測関数が、前記bin量の増大により前記予測ビット量が増大し、所定のしきい値より前記bin量が増大すると次数が変化する多項式である
    ことを特徴とする符号化方法のプログラムを記録した記録媒体。
JP2007220596A 2007-08-28 2007-08-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 Expired - Fee Related JP4513841B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007220596A JP4513841B2 (ja) 2007-08-28 2007-08-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US12/199,605 US7688234B2 (en) 2007-08-28 2008-08-27 Coding apparatus, coding method, program for executing the method, and recording medium storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007220596A JP4513841B2 (ja) 2007-08-28 2007-08-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2009055384A true JP2009055384A (ja) 2009-03-12
JP4513841B2 JP4513841B2 (ja) 2010-07-28

Family

ID=40406614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007220596A Expired - Fee Related JP4513841B2 (ja) 2007-08-28 2007-08-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US7688234B2 (ja)
JP (1) JP4513841B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012050067A (ja) * 2010-07-30 2012-03-08 Canon Inc 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
JP2012178660A (ja) * 2011-02-25 2012-09-13 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法
EP2858365A2 (en) 2013-10-02 2015-04-08 Renesas Electronics Corporation Video encoder and method of operating the same
JP2016165122A (ja) * 2016-04-11 2016-09-08 富士通株式会社 動画像復号方法
US9635366B2 (en) 2013-08-30 2017-04-25 Fujitsu Limited Quantization method, coding apparatus, and computer-readable recording medium storing quantization program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083976B2 (en) * 2008-09-05 2015-07-14 Freescale Semiconductor, Inc. Processing a video stream in real time based on binary information of the video stream
US8457211B2 (en) * 2008-11-20 2013-06-04 Texas Instruments Incorporated System and method for image coding
US8520740B2 (en) 2010-09-02 2013-08-27 International Business Machines Corporation Arithmetic decoding acceleration
JP2012138661A (ja) * 2010-12-24 2012-07-19 Sony Corp 画像処理装置および方法
US9237358B2 (en) 2011-11-08 2016-01-12 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
EP3637621B1 (en) 2012-04-15 2023-06-07 Samsung Electronics Co., Ltd. Video decoding method using parameter update for de-binarization of entropy coded transformation coefficient, encoding apparatus using same for binarization
US9648363B2 (en) 2012-09-28 2017-05-09 Marvell World Trade Ltd. Enhanced user experience for miracast devices
KR20180087771A (ko) 2017-01-25 2018-08-02 삼성전자주식회사 엔트로피 인코더 및 이를 포함하는 비디오 인코더
EP3672242B1 (en) 2018-12-21 2021-08-18 Axis AB A method of encoding a video sequence
US11405617B1 (en) * 2019-05-21 2022-08-02 Xilinx, Inc. Method and system to enhance compression efficiency in encoded video by using dual pass entropy coding
CN114553888B (zh) * 2022-01-24 2024-04-05 浙江数秦科技有限公司 一种适于区块链的低网络占用数据传输方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677869B2 (en) * 2001-02-22 2004-01-13 Panasonic Communications Co., Ltd. Arithmetic coding apparatus and image processing apparatus
KR100701810B1 (ko) * 2002-04-26 2007-04-02 가부시키가이샤 엔티티 도코모 신호 부호화 방법, 신호 복호 방법, 신호 부호화 장치, 신호 복호 장치, 및 컴퓨터로 판독가능한 기록매체
JP4227067B2 (ja) 2004-04-28 2009-02-18 株式会社東芝 動画像符号化方法と装置及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012050067A (ja) * 2010-07-30 2012-03-08 Canon Inc 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
JP2012178660A (ja) * 2011-02-25 2012-09-13 Hitachi Kokusai Electric Inc 動画像符号化装置及び動画像符号化方法
US9210435B2 (en) 2011-02-25 2015-12-08 Hitachi Kokusai Electric Inc. Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency
WO2012137656A1 (ja) * 2011-04-06 2012-10-11 ソニー株式会社 画像処理装置および方法
JP2012222531A (ja) * 2011-04-06 2012-11-12 Sony Corp 画像処理装置および方法
US9723304B2 (en) 2011-04-06 2017-08-01 Sony Corporation Image processing device and method
US10171817B2 (en) 2011-04-06 2019-01-01 Sony Corporation Image processing device and method
US9635366B2 (en) 2013-08-30 2017-04-25 Fujitsu Limited Quantization method, coding apparatus, and computer-readable recording medium storing quantization program
EP2858365A2 (en) 2013-10-02 2015-04-08 Renesas Electronics Corporation Video encoder and method of operating the same
JP2015073177A (ja) * 2013-10-02 2015-04-16 ルネサスエレクトロニクス株式会社 動画像符号化装置およびその動作方法
US9961346B2 (en) 2013-10-02 2018-05-01 Renesas Electronics Corporation Video encoder and method of operating the same
JP2016165122A (ja) * 2016-04-11 2016-09-08 富士通株式会社 動画像復号方法

Also Published As

Publication number Publication date
US20090058691A1 (en) 2009-03-05
US7688234B2 (en) 2010-03-30
JP4513841B2 (ja) 2010-07-28

Similar Documents

Publication Publication Date Title
JP4513841B2 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
US8432964B2 (en) Image processing device, method, and program
US7848579B2 (en) Image coding device, method and computer program with data coding amount prediction
US8483494B2 (en) Image encoding device and image encoding method
US20100172593A1 (en) Image encoding apparatus, image encoding method, and image encoding program
WO2011067883A1 (ja) 動画像符号化装置
JP5128389B2 (ja) 動画像符号化装置及び動画像符号化方法
KR20000023174A (ko) 엔코딩 장치 및 방법
US8675726B2 (en) Method and encoder for constrained soft-decision quantization in data compression
US8861596B2 (en) Image encoding device and image encoding method
US20080144721A1 (en) Video coding apparatus
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
JP6708211B2 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
US20110019735A1 (en) Image encoding device and image encoding method
JP2015515812A (ja) ビデオ符号化のための量子化係数を提供するための機器および方法
JP2010130522A (ja) 動画像符号化装置及び動画像符号化方法
JP2004328150A (ja) 動画像符号化装置及び方法
US8755617B2 (en) Image encoding device and image encoding method
CA2732218C (en) Method and encoder for constrained soft-decision quantization in data compression
US20180324446A1 (en) Information compression device, information compression method, non-volatile recording medium, and video coding device
JP2008160402A (ja) 符号化装置及び方法並びに画像符号化装置
JP2008271213A (ja) 画像符号化装置
KR100927389B1 (ko) 스케일가능하지 않은 코딩된 비디오 신호로부터 스케일가능한 코딩된 비디오 신호를 생성하는 방법
JP4847423B2 (ja) 動画像符号化装置、および、コンピュータプログラム
US20060182175A1 (en) Image encoding apparatus, image encoding method, and computer program product

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100503

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees