JP2008283560A - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法 Download PDF

Info

Publication number
JP2008283560A
JP2008283560A JP2007127104A JP2007127104A JP2008283560A JP 2008283560 A JP2008283560 A JP 2008283560A JP 2007127104 A JP2007127104 A JP 2007127104A JP 2007127104 A JP2007127104 A JP 2007127104A JP 2008283560 A JP2008283560 A JP 2008283560A
Authority
JP
Japan
Prior art keywords
encoding
frame
function
quantization step
code amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007127104A
Other languages
English (en)
Other versions
JP2008283560A5 (ja
Inventor
Masaki Suzuki
正樹 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007127104A priority Critical patent/JP2008283560A/ja
Priority to US12/109,717 priority patent/US8358692B2/en
Priority to EP20080156022 priority patent/EP2028865A3/en
Priority to CN200810097327XA priority patent/CN101304532B/zh
Publication of JP2008283560A publication Critical patent/JP2008283560A/ja
Publication of JP2008283560A5 publication Critical patent/JP2008283560A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 目標符号量に応じた量子化ステップを高精度に設定する。
【解決手段】 レート制御部112の係数保持部302は、動画像の解像度およびフレームの符号化方法に対応する複数の係数セットを格納する。係数選択部301は、符号化する動画像の解像度と符号化対象フレームの符号化方法に応じた係数セットを係数保持部302から選択する。特徴量抽出部304は、符号化対象フレームの特徴量を抽出する。QR曲線生成部303は、符号化対象フレームをフレーム間予測符号化する場合、選択された係数セットと特徴量から量子化ステップと発生符号量の関係を示す関数を生成する。モデル型Q決定部300は、QR曲線生成手段303が関数を生成する場合、その関数に基づき目標符号量に応じた量子化ステップを符号化対象フレームの符号化に設定する。
【選択図】 図4

Description

本発明は、動画像の符号化に関する。
ディジタル化された動画像は情報量が多いため、記録・伝送するに当り、情報量を圧縮する技術が必要になる。最近は、動画像の入力出力機器の高解像度化、多階調化に伴い、動画像の情報量はさらに増え、動画像の圧縮は必須である。
動画像を圧縮符号化する装置は、転送レートが決まっている伝達経路に動画像を出力する場合、量子化ステップを制御するレート制御を行う。レート制御は、実際の符号化に先立ち、符号化するフレームの発生符号量を見積り、その見積結果に基づきデータ圧縮率（量子化ステップ）を制御する。
発生符号量の見積に、過去に符号化したフレームの発生符号量を利用する方法が考えられる。しかし、符号化対象のフレームがシーンチェンジ後、言い換えれば、符号化済みのフレームがシーンチェンジ前であると、符号の発生特性が異なる。従って、シーンチェンジが挟まると、発生符号量を正しく見積ることができない。勿論、符号化対象のフレームが動画像の先頭フレームであれば、符号化済みのフレームが存在しないため、発生符号量を見積ることはできない。
特開2002-247584公報
本発明は、目標符号量に応じた量子化ステップを高精度に設定することを目的とする。
また、シーンチェンジを考慮して、目標符号量に応じた量子化ステップを設定することを他の目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる画像処理は、動画像の解像度およびフレームの符号化方法に対応する複数の係数セットを格納するメモリを備え、動画像をフレーム単位に符号化する画像処理であって、符号化する動画像の解像度を示す情報を取得し、前記解像度と符号化対象フレームの符号化方法に応じた係数セットを前記メモリから選択し、前記符号化対象フレームの特徴量を抽出し、前記符号化対象フレームをフレーム間予測符号化する場合、前記選択された係数セットと前記特徴量から量子化ステップと発生符号量の関係を示す関数を生成し、前記関数を生成する場合、前記関数に基づき目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定することを特徴とする。
本発明によれば、目標符号量に応じた量子化ステップを高精度に設定することができる。
また、シーンチェンジを考慮して、目標符号量に応じた量子化ステップを設定することができる。
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
［装置の構成］
図1は動画像符号化装置の構成例を示すブロック図である。
入力部100は、時間方向に連続する複数フレームで構成されるディジタル動画像を入力する。減算部101は、入力部101から入力されるフレームと、予測画像保持部111から出力される予測値の差（以下、予測誤差）を算出する。
入力された動画像のフレームは、小さな矩形ブロックBij（例えば8×8、16×16画素など）に分割される。入力動画像がカラー画像の場合、矩形ブロックBijの集合であるマクロブロック(MBij＞Bij)単位に処理を行う。小矩形分割部116は、符号化モード判定部102の制御により、入力された動画像のフレームまたは減算部101が出力する予測誤差をMB単位に分割する。
予測方向決定部117は、フレーム単位に、フレーム内予測符号化とフレーム間予測符号化を選択する。直交変換部103は、MB単位に、符号化対象のMBを直交変換する。量子化部104は、レート制御部112の制御に従い、直交変換部103が出力する直交変換係数をスカラ量子化する。
可変長符号符号化部113は、量子化部104が出力する量子化値を可変長符号化し、バッファ114へ出力する。バッファ114は、符号化された複数のフレームをバッファして、レート制御部112の制御に従い、符号化された複数のフレームをデータ圧縮された動画像データとして出力部115に出力する。なお、レート制御部112の詳細は後述する。
逆量子化部105は、量子化部104が出力する量子化値を逆量子化して、直交変換係数を出力する。逆直交変換部106は、逆量子化部113が出力する直交変換係数を逆直交変換してMBまたは予測誤差を再生する。
加算器107は、符号化モード判定部102の制御により、逆直交変換部106が再生したMBと予測画像保持部111が保持する予測画像の対応ブロックを加算して符号化対象ブロックを再生し、フレームメモリ108の対応領域に格納する。または、逆直交変換部106が再生した予測誤差をフレームメモリ108の対応領域に格納する。
符号化モード判定部102は、直交変換部103に符号化対象にMBを直交変換させる場合は、再生された符号化対象のMBをフレームメモリ108に格納するように加算器107を制御する。また、直交変換部103に予測誤差を直交変換させる場合は、再生された予測誤差をフレームメモリ108に格納するように加算器107を制御する。つまり、フレームメモリ108は、ローカルデコードされたフレームを記憶する。
動きベクトル検出部109は、MB単位に、フレームメモリ108に記憶された一つ前の符号化対象フレーム（前フレーム）の符号化画像を参照して動きベクトルを検出する。その際、動きベクトル検出部109は、符号化対象のMBの周囲±15画素の範囲でブロックマッチングを行い、予測誤差の絶対和の平均が最小のブロックを予測ブロックとして、動きベクトルを検出する。
動き補償部110は、動きベクトル検出部109の検出情報（動きベクトル）を用いて、フレームメモリ108に格納された再生フレーム（参照フレーム）から予測画像を生成して予測画像保持部111に格納する。予測画像保持部111は、蓄積した予測画像を減算器101と加算器107に出力する。
［レート制御部］
図2はレート制御部112の構成例を示すブロック図である。
符号化開始時、目標符号量決定部202は所定の目標符号量を出力し、量子化ステップ決定部200は所定の量子化ステップを量子化部104に設定する。
目標符号量決定部202は、符号化が開始され、バッファ114に符号が蓄積されると、符号の蓄積状態から各フレームの目標符号量を出力する。量子化ステップ決定部200は、目標符号量に応じた量子化ステップを仮符号化部201に出力する。
仮符号化部201は、直交変換部103から入力した現フレームの直交変換係数を、量子化ステップ決定部200から入力される量子化ステップによって量子化する。さらに、量子化値を可変長符号化部113と同様の方法により符号化して、発生符号量を量子化ステップ決定部200に通知する。
量子化ステップ決定部200は、仮符号化部201から通知された発生符号量（以下、予測符号量）が目標符号量の許容範囲内にあれば、先の量子化ステップを量子化部104に設定して、現フレームの符号化を実行させる。一方、予測符号量が目標符号量の許容範囲外にある場合は、予測符号量に基づき、発生符号量が目標符号量の許容範囲内になるように調整した量子化ステップを量子化部104に設定して、現フレームの符号化を実行させる。
このような構成によれば、実際の符号化に必要な演算量の二倍近い演算を必要とするが、実際の符号化に先立ち、発生符号量を正確に見積ることができる。
図3はレート制御部112の別の構成例を示すブロック図である。
QR曲線保持部204は、実験的に求めた量子化ステップQと発生符号量Rの関係（QR曲線）を保持するメモリである。QR曲線は、フレーム内符号化するイントラピクチャ（Iピクチャ）、予測符号化ピクチャ（Pピクチャ）、双方向予測ピクチャ（Bピクチャ）といったピクチャの種類ごとに用意されている。なお、QR曲線は、量子化ステップQを変数とする多項式（QR関数、R=f(Q)）である。
QR曲線選択部203は、符号化モード判定部112が出力する現フレームのピクチャの種類を示す情報に基づき、QR曲線保持部204が保持するQR曲線の選択情報を出力する。量子化ステップ決定部200は、選択情報が示すQR曲線を参照して、目標符号量に応じた量子化ステップを量子化部104に設定して、現フレームの符号化を実行させる。
QR曲線は、動画像の解像度、階調数（ビット深さ）、動画像中のオブジェクトの特性によって変化するから、目標符号量が確実に得られる保証はない。しかし、図3に示すレート制御部112の構成は、図2に示すレート制御部112に比べて、演算コストを下げることができる。
また、QR曲線保持部204が格納するQR曲線をピクチャの種類だけでなく、動画像の解像度および階調数に対応させてもよい。その場合、QR曲線選択部203は、入力される動画像のヘッダ情報などから動画像の解像度および階調数を示す情報を取得し、ピクチャの種類、解像度、階調数に応じて、QR曲線を選択すればよい。なお、動画像の解像度および階調数が、QR曲線保持部204が保持するQR曲線の代表的な解像度および階調数に一致しない場合は、動画像の解像度および階調数に一番近い解像度および階調数のQR曲線を選択する。
図4はレート制御部112のさらに別の構成例を示すブロック図である。
係数保持部302は、動画像の解像度に応じた係数セットを保持するメモリである。係数セットは、予測符号化ピクチャ（Pピクチャ）、双方向予測ピクチャ（Bピクチャ）といったピクチャの種類ごとに、代表的な解像度および階調数ごとに用意されている。
係数選択部301は、入力される動画像のヘッダ情報などから動画像の解像度および階調数を示す情報を取得する。そして、符号化モード判定部112が出力する現フレームのピクチャの種類、解像度、階調数に応じて、係数保持部302が保持する係数セットを選択する。なお、動画像の解像度および階調数が、係数保持部302が保持する係数セットの代表的な解像度および階調数に一致しない場合は、動画像の解像度および階調数に一番近い解像度および階調数の係数セットを選択する。
特徴量抽出部304は、符号化モード判定部112が出力するピクチャの種類がIピクチャ以外の場合、現フレームの特徴量（例えば、MB単位の輝度の平均分散などの統計量）を抽出する。
QR曲線生成部303は、係数保持部302が出力する係数セット（係数選択部301が選択した係数セット）と、特徴量抽出部304が出力する特徴量からQR曲線（QR関数、R=f(Q)）を生成し、生成したQR曲線をモデル型Q決定部300に入力する。ただし、QR曲線を出力するのは、符号化モード判定部112が出力するピクチャの種類がIピクチャ以外の場合で、Iピクチャの場合はQR曲線を出力しない。
このように、現フレームが、動画像の先頭フレームやシーンチェンジ直後のIピクチャの場合は特徴量の抽出、QR曲線の生成と出力は行われない。また、QR曲線を生成するとは、量子化ステップQを変数とする多項式の係数を決定することである。
モデル型Q決定部300は、QR曲線生成部303からQR曲線が入力されていない場合は、例えば図2や図3で説明した量子化ステップの決定方法により決定した量子化ステップを量子化部104に設定して、現フレームの符号化を実行させる。一方、QR曲線生成部303からQR曲線が入力されている場合は、QR曲線から目標符号量に応じて決定した量子化ステップを量子化部104に設定して、現フレームの符号化を実行させる。
図5はモデルQ決定部300の処理を示すフローチャートである。なお、図5は1フレーム分の処理を示している。つまり、モデルQ決定部300は、フレームの数分、図5に示す処理を繰り返す。
モデルQ決定部300は、処理を開始すると、目標符号量決定部202から目標符号量Rtarを入力し(S1001)、QR曲線生成部303からQR曲線が入力されているか否かを判定する(S1002)。QR曲線が入力されていない場合は、例えば図2や図3で説明した量子化ステップの決定方法により量子化ステップを決定する(S1003)。
また、QR曲線が入力されている場合、モデルQ決定部300は、QR曲線に基づき目標符号量Rtarに応じた量子化ステップQを決定する(S1004)。
図6はモデルQ決定部300の構成例を示すブロック図である。
Q保持部403は、Q更新部404によって更新される量子化ステップQを保持するメモリである。R算出部401は、Q更新部404から入力される量子化ステップQと、QR曲線生成部303から入力されるQR関数（R=f(Q)）を用いて符号量Rを計算する。比較部402は、目標符号量決定部202から入力される目標符号量Rtarと、R算出部401から入力される符号量Rを比較する。Q更新部404は、比較部402の出力に応じてQ保持部403が保持する量子化ステップQを更新する。
Q更新部404は、Q保持部403が保持する量子化ステップQから所定値を減算する減算部405、Q保持部403が保持する量子化ステップQに所定値を加算する加算部406を備える。さらに、非各部402の出力に応じて、減算部405の減算結果、または、加算部406の加算結果を選択するセレクタ407を備える。
ステップS1004において、発生符号量Rを変数とする関数Q=f(R)によれば、目標符号量Rtarを満たす量子化ステップQの決定は容易である。しかし、量子化ステップQを変数とする関数R=f(Q)から目標符号量Rtarを満たす量子化ステップQを導き出すのは単純ではない。
図7は、QR関数R=f(Q)を使って、目標符号量Rtarに対応する量子化ステップQを決定する方法を説明する図である。ここでは、量子化ステップQが取り得る範囲は1〜51とする。
まず、図7(a)に示すように、Q更新部404は、Qの範囲の中央値である25を量子化ステップQの初期値としてQ保持部403に保存するとともに、R算出部401に符号量Rを計算させる。比較部402は、RとRtarを比較して比較結果を示す判定信号（三値）を出力する。比較部402は、例えば、図7(b)に示すR＞Rtarの場合は「2」を、図7(c)に示すR＜Rtarの場合は「1」を、R=Rtarの場合は「0」をそれぞれ出力する。
セレクタ407は、比較部402が「2」を出力する場合は加算部406の出力を選択し、比較部402が「1」を出力する場合は減算405の出力を選択する。言い換えれば、R＞Rtarの場合、加算部406は符号量Rを減らすために例えば現在の量子化ステップQに1を加えた量子化ステップQを選択する。また、R＜Rtarの場合、減算部405は符号量Rを増やすために例えば現在の量子化ステップQから1を減じた量子化ステップQを選択する。
Q更新部404は、R=Rtar（判定信号=0）になるか、判定信号が「2」から「1」または「1」から「2」になるまで、量子化ステップQの加算または減算を繰り返す。そして、判定信号が上記の条件を満たすと、その時点の量子化ステップQを量子化部104へ出力する。このように、関数f(Q)に量子化ステップQを代入して計算した符号量Rと、目標符号量Qtarを比較して、計算した符号量Rを目標符号量Rtarに段階的に近付けることで、目標符号量Rtarを満たす量子化ステップQを決定する
また、モデルQ決定部300における目標符号量Rに対応する量子化ステップQを求める方法に二分木法を用いて、量子化ステップの決定を高速化することも可能である。
二分木法によれば、量子化ステップの初期値QiによるR=f(Qi)とRtarを比較した結果がR=f(Qi)＜Rtarの場合、最大Q値をQiとし、Qiと最小Q値1の中央値QcによってR=f(Qc)を計算する。そして、R=f(Qc)＞Rtarの場合は、最小Q値をQcとし、Qcと最大Q値の中央値をQcにして、R=f(Qc)を計算する。こうして、R=f(Q)をRtarに近付けることで、目標符号量Rtarに対応する量子化ステップQを決定する。
［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一、第二、第三、…のプログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一、第二、第三、…のデバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
動画像符号化装置の構成例を示すブロック図、 レート制御部の構成例を示すブロック図、 レート制御部の構成例を示すブロック図、 レート制御部の構成例を示すブロック図、 モデル型Q決定部の処理を示すフローチャート、 モデル型Q決定部の構成例を示すブロック図、 QR関数を使って、目標符号量に対応する量子化ステップを決定する方法を説明する図である。

Claims (9)

  1. 動画像をフレーム単位に符号化する画像処理装置であって、
    動画像の解像度およびフレームの符号化方法に対応する複数の係数セットを格納する一のメモリと、
    符号化する動画像の解像度を示す情報を取得し、前記解像度と符号化対象フレームの符号化方法に応じた係数セットを前記一のメモリから選択する一の選択手段と、
    前記符号化対象フレームの特徴量を抽出する抽出手段と、
    前記符号化対象フレームをフレーム間予測符号化する場合、前記選択された係数セットと前記特徴量から量子化ステップと発生符号量の関係を示す関数を生成する生成手段と、
    前記生成手段が関数を生成する場合、前記関数に基づき目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定する設定手段とを有することを特徴とする画像処理装置。
  2. 動画像をフレーム単位に符号化する画像処理装置であって、
    動画像の解像度および階調数、並びに、フレームの符号化方法に対応する複数の係数セットを格納する一のメモリと、
    符号化する動画像の解像度および階調数を示す情報を取得し、前記解像度および階調数、並びに、符号化対象フレームの符号化方法に応じた係数セットを前記一のメモリから選択する一の選択手段と、
    前記符号化対象フレームの特徴量を抽出する抽出手段と、
    前記符号化対象フレームをフレーム間予測符号化する場合、前記選択された係数セットと前記特徴量から量子化ステップと発生符号量の関係を示す関数を生成する生成手段と、
    前記生成手段が関数を生成する場合、前記関数に基づき目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定する設定手段とを有することを特徴とする画像処理装置。
  3. さらに、前記符号化対象フレームを符号化した場合の発生符号量を予測する予測手段を有し、
    前記設定手段は、前記生成手段が関数を生成しない場合、前記予測手段の予測の結果に基づき、目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定することを特徴とする請求項1または請求項2に記載された画像処理装置。
  4. さらに、少なくともフレームの符号化方法に対応した、量子化ステップと発生符号量の関係を示す複数の関数を格納する二のメモリと、
    前記符号化対象フレームの符号化方法に応じた関数を前記二のメモリから選択する二の選択手段とを有し、
    前記設定手段は、前記生成手段が関数を生成しない場合、前記二の選択手段が選択した関数に基づき、目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定することを特徴とする請求項1または請求項2に記載された画像処理装置。
  5. 前記生成手段は、前記符号化対象フレームをフレーム内符号化する場合、前記関数を生成しないことを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
  6. 動画像の解像度およびフレームの符号化方法に対応する複数の係数セットを格納するメモリを備え、動画像をフレーム単位に符号化する画像処理装置の画像処理方法であって、
    符号化する動画像の解像度を示す情報を取得し、前記解像度と符号化対象フレームの符号化方法に応じた係数セットを前記メモリから選択し、
    前記符号化対象フレームの特徴量を抽出し、
    前記符号化対象フレームをフレーム間予測符号化する場合、前記選択された係数セットと前記特徴量から量子化ステップと発生符号量の関係を示す関数を生成し、
    前記関数を生成する場合、前記関数に基づき目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定することを特徴とする画像処理方法。
  7. 動画像の解像度および階調数、並びに、フレームの符号化方法に対応する複数の係数セットを格納するメモリを備え、動画像をフレーム単位に符号化する画像処理装置の画像処理方法であって、
    符号化する動画像の解像度および階調数を示す情報を取得し、前記解像度および階調数、並びに、符号化対象フレームの符号化方法に応じた係数セットを前記メモリから選択し、
    前記符号化対象フレームの特徴量を抽出し、
    前記符号化対象フレームをフレーム間予測符号化する場合、前記選択された係数セットと前記特徴量から量子化ステップと発生符号量の関係を示す関数を生成し、
    前記関数を生成する場合、前記関数に基づき目標符号量に応じた量子化ステップを前記符号化対象フレームの符号化に設定することを特徴とする画像処理方法。
  8. コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
  9. 請求項8に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2007127104A 2007-05-11 2007-05-11 画像処理装置およびその方法 Pending JP2008283560A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007127104A JP2008283560A (ja) 2007-05-11 2007-05-11 画像処理装置およびその方法
US12/109,717 US8358692B2 (en) 2007-05-11 2008-04-25 Image-processing apparatus and method thereof
EP20080156022 EP2028865A3 (en) 2007-05-11 2008-05-09 Bit depth dependent video coding
CN200810097327XA CN101304532B (zh) 2007-05-11 2008-05-12 图像处理装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007127104A JP2008283560A (ja) 2007-05-11 2007-05-11 画像処理装置およびその方法

Publications (2)

Publication Number Publication Date
JP2008283560A true JP2008283560A (ja) 2008-11-20
JP2008283560A5 JP2008283560A5 (ja) 2010-06-24

Family

ID=39969492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007127104A Pending JP2008283560A (ja) 2007-05-11 2007-05-11 画像処理装置およびその方法

Country Status (4)

Country Link
US (1) US8358692B2 (ja)
EP (1) EP2028865A3 (ja)
JP (1) JP2008283560A (ja)
CN (1) CN101304532B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505830A (ja) * 2017-01-18 2020-02-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ レート制御方法及びレート制御装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
JP5176175B2 (ja) * 2007-11-02 2013-04-03 エコール・ドゥ・テクノロジー・スュペリュール 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
US8270739B2 (en) 2007-12-03 2012-09-18 Ecole De Technologie Superieure System and method for quality-aware selection of parameters in transcoding of digital images
RU2502213C2 (ru) * 2008-06-27 2013-12-20 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
WO2009157581A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
JP5472106B2 (ja) * 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
BRPI0904324A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Dispositivo de processamento de imagem, e, método de processamento de imagem
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
JP5136470B2 (ja) * 2009-03-06 2013-02-06 富士通株式会社 動画像符号化装置及び動画像符号化方法
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US9691339B2 (en) * 2011-03-29 2017-06-27 Renesas Electronics Corporation Display apparatus and display apparatus control circuit
CN103974060B (zh) * 2013-01-31 2016-01-27 华为技术有限公司 视频质量调整方法和装置
US9661331B2 (en) 2013-03-18 2017-05-23 Vantrix Corporation Method and apparatus for signal encoding realizing optimal fidelity
US9338450B2 (en) 2013-03-18 2016-05-10 Ecole De Technologie Superieure Method and apparatus for signal encoding producing encoded signals of high fidelity at minimal sizes
US10609405B2 (en) 2013-03-18 2020-03-31 Ecole De Technologie Superieure Optimal signal encoding based on experimental data
CN113489976A (zh) * 2021-07-29 2021-10-08 维沃移动通信有限公司 预测编码方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0500077B1 (en) * 1991-02-21 1997-09-24 Nec Corporation Motion image data compression coding apparatus
CN1076933C (zh) * 1993-08-30 2001-12-26 索尼公司 图像编码装置及方法
US5654760A (en) * 1994-03-30 1997-08-05 Sony Corporation Selection of quantization step size in accordance with predicted quantization noise
JP3050047B2 (ja) * 1994-06-24 2000-06-05 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
CN1204751C (zh) * 1999-04-13 2005-06-01 松下电器产业株式会社 编码数据变换方法、再编码方法、再编码系统以及数据记录媒体
US7085318B2 (en) * 2000-06-15 2006-08-01 Sony Corporation Image processing system, image processing method, program, and recording medium
US7308146B2 (en) * 2002-09-30 2007-12-11 Canon Kabushiki Kaisha Digital video compression
US7352808B2 (en) * 2004-01-29 2008-04-01 International Business Machines Corporation System and method for the dynamic resolution change for video encoding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020505830A (ja) * 2017-01-18 2020-02-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ レート制御方法及びレート制御装置
US11159796B2 (en) 2017-01-18 2021-10-26 SZ DJI Technology Co., Ltd. Data transmission

Also Published As

Publication number Publication date
US8358692B2 (en) 2013-01-22
EP2028865A2 (en) 2009-02-25
CN101304532B (zh) 2012-01-25
US20080279275A1 (en) 2008-11-13
CN101304532A (zh) 2008-11-12
EP2028865A3 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
JP2008283560A (ja) 画像処理装置およびその方法
US8363717B2 (en) Image processing apparatus
KR101103723B1 (ko) 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
JP4574444B2 (ja) 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
US9066100B2 (en) Image coding apparatus and image coding method
JP2006180298A (ja) 画像符号化制御方法及びその装置
JP2007228077A5 (ja)
JP2007235928A (ja) 画像処理装置
JP4898415B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2006005659A (ja) 画像符号化装置及びその方法
JP2008283401A (ja) 画像処理装置およびその方法
JP5078852B2 (ja) 動画像符号化装置及び動画像符号化方法
US8218626B2 (en) Encoding control apparatus, encoding control method, and storage medium
KR101319916B1 (ko) 움직임 추정방법 및 장치, 및 이를 이용한 영상 부호화방법및 장치
JP4510696B2 (ja) 画像処理装置及び画像処理方法
JP5094750B2 (ja) 動画像符号化装置及び動画像符号化方法
KR101889101B1 (ko) 메모리 복사를 이용하여 영상을 복원하는 방법 및 장치
JP5355234B2 (ja) 符号化装置及び符号化方法
JP2008199521A (ja) 画像処理装置およびその方法
JP2009021786A (ja) 画像符号化装置及び画像符号化方法
JP4747109B2 (ja) 演算量調整装置
JP5349904B2 (ja) 動画像符号化装置及び動画像符号化方法
JP5247210B2 (ja) 動画像符号化装置及び動画像符号化方法
JP6223012B2 (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110930