JP2009118097A - 画像符号化装置及びその制御方法、コンピュータプログラム - Google Patents

画像符号化装置及びその制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP2009118097A
JP2009118097A JP2007287853A JP2007287853A JP2009118097A JP 2009118097 A JP2009118097 A JP 2009118097A JP 2007287853 A JP2007287853 A JP 2007287853A JP 2007287853 A JP2007287853 A JP 2007287853A JP 2009118097 A JP2009118097 A JP 2009118097A
Authority
JP
Japan
Prior art keywords
image
ratio
encoding
global vector
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007287853A
Other languages
English (en)
Other versions
JP4857243B2 (ja
JP2009118097A5 (ja
Inventor
Akihiro Oishi
晃弘 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007287853A priority Critical patent/JP4857243B2/ja
Priority to US12/262,850 priority patent/US8938005B2/en
Publication of JP2009118097A publication Critical patent/JP2009118097A/ja
Publication of JP2009118097A5 publication Critical patent/JP2009118097A5/ja
Application granted granted Critical
Publication of JP4857243B2 publication Critical patent/JP4857243B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】画像が変化した場合に、ノイズを発生させない最適な符号量を設定し、良好な画質の復号画像を得る。
【解決手段】符号化対象画像を符号化する画像符号化装置であって、符号化対象画像を直交変換し、量子化処理して符号化する符号化手段と、符号化された画像を逆量子化し、逆直交変換して復号する復号手段と、量子化処理のためのビットレートを決定するレート制御手段と、符号化対象画像のグローバルベクトル信頼度を求めるグローバルベクトル演算手段と、符号化対象画像と復号手段における復号結果とを用いてSN比を算出するSN比算出手段とを備え、レート制御手段は、算出されたSN比と目標SN比との差分、及び、符号化対象画像のグローバルベクトル信頼度と直前の画像のグローバルベクトル信頼度との比、の少なくともいずれかに基づいてビットレートを制御する。
【選択図】図1

Description

本発明は、画像符号化装置及びその制御方法、コンピュータプログラムに関する。
近年のマルティメディアの発展に伴い様々な動画像圧縮符号化方式が提案されている。その代表的なものに、MPEG−1,2,4やH.264といったものがある。これらの圧縮符号化の処理は、動画像に含まれる原画像(画像)をブロックと呼ばれる所定の領域に分割し、この分割したブロックを単位にして動き補償予測やDCT変換処理を施すものである。また、動き補償予測を行う場合、既に符号化済みの画像データを局所復号化して得られた画像を参照画像としていることで、符号化を行う際にも復号化処理が必要となる。
また、MPEG方式に準拠して画像の圧縮、符号化を行う場合、その符号量は、画像自体の特性である空間周波数特性やシーン及び量子化スケール値に応じて大きく異なる場合が多い。このような符号化特性を有する画像符号化装置を実現する上で良好な画質の復号画像を得ることができるようにするための重要な技術が符号量制御である。
この符号量制御アルゴリズムの1つとして、TM5(Test Model 5)が一般的に使用されている。このTM5による符号量制御アルゴリズムは、以下に説明する3つのステップから構成され、GOP(Group Of Picture)毎にビットレートが一定になるように以下に挙げる3ステップで符号量が制御される。
(STEP1)
今から符号化を行うピクチャの目標符号量を決定する。現在のGOPにおいて利用可能な符号量であるRgopが以下の(1)式により演算される。
Rgop = (ni+np+nb)*(bits_rate/picture_rate) ・・・(1)
ここで、ni,np,nbはそれぞれI、P、Bピクチャの現GOPにおける残りのピクチャ数であり、bits_rateは目標ビットレート、picture_rateはピクチャレートを表す。
更に、I、P、Bピクチャ毎に符号化結果からピクチャの複雑度を以下の(2)式で求めている。
Xi = Ri*Qi
Xp = Rp*Qp ・・・(2)
Xb = Rb*Qb
ここで、Xi、Xp、Xbはコンプレキシティ(Complexity)とも呼ばれる。また、Ri、Rp及びRbはそれぞれI、P、Bピクチャを符号化した結果得られる符号量である。さらに、Qi、Qp及びQbはそれぞれI、P、Bピクチャ内のすべてのマクロブロックにおけるQスケールの平均値である。式(1)及び式(2)から、I、P、Bピクチャそれぞれについての目標符号量Ti、Tp及びTbは、以下の(3)式で求めることができる。
Ti= max{(Rgop/(1+ ((Np*Xp)/(Xi*Kp)) + ((Nb*Xb)/(Xi*Kb)))) , (bit_rat
e/(8*picture_rate))}
Tp=max{(Rgop/(Np+ (Nb*Kp*Xb)/(Kb*Xp))) , (bit_rate/(8*picture_rate))}
Tb=max{(Rgop/(Nb+ (Np*Kb*Xp)/(Kp*Xb))) , (bit_rate/(8*picture_rate))}
・・・(3)
ただし、Np及びNbは現GOP内のそれぞれP及びBピクチャの残りの枚数、また定数Kp=1.0及びKb=1.4である。
(STEP2)
I、P及びBピクチャ毎に3つの仮想バッファを使用し、式(3)で求めた目標符号量と発生符号量との差分を管理する。仮想バッファのデータ蓄積量をフィードバックし、そのデータ蓄積量に基づいて実際の発生符号量が目標符号量に近づくように、次にエンコードするマクロブロックについて、Qスケールの参照値が設定される。例えば、現在のピクチャタイプがPピクチャの場合には、目標符号量と発生符号量との差分は、次の(4)式に従う演算処理により求めることができる。
dp,j = dp,0 + Bp,j-1 −((Tp*(j-1))/MB_cnt) ・・・(4)
ここで、添字jはピクチャ内のマクロブロックの番号である。dp,0は仮想バッファの初期フルネスを示し、Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。Bp,jはj番目のマクロブロックまでの総符号量、MB_cntはピクチャ内のマクロブロック数を示す。
次にdp,j(以後、「dj」と記載する。) を用いて、j番目のマクロブロックにおけるQスケールの参照値を求めると、(5)式のようになる。
Qj = (dj*31) / r ・・・(5)
ここで、r = 2*bits_rate/picture_rate ・・・(6)
である。
(STEP3)
視覚特性、即ち、復号画像の画質が良好になるように、エンコード対象のマクロブロックの空間アクティビティに基づいて、量子化スケールを最終的に決定する処理を実行する。
ACTj = 1+ min(vblk1, vblk2,……,vblk8) ・・・(7)
(7)式中において、vblk1〜vblk4はフレーム構造のマクロブロックにおける8x8のサブブロックにおける空間アクティビティを示す。また、vblk5〜vblk8はフィールド構造のマクロブロックにおける8x8サブブロックの空間アクティビティを示す。ここで、空間アクティビチィの演算は次の(8)、(9)式により求めることが可能である。
vblk = Σ(Pi−Pbar)2 ・・・(8)
Pbar = (1/64 )* ΣPi ・・・(9)
ここで、Piはi番目のマクロブロックにおける画素値であり、式(8)、(9)中のΣはi=1〜64の演算である。次に(7)式で求めたACTjを以下の(10)式によって正規化を行う。
N_ACTj = (2*ACTj +AVG_ACT)/ (ACTj + AVG_ACT) ・・・(10)
ここで、AVG_ACTは以前に符号化したピクチャにおけるACTjの参照値であり、最終的に量子化スケール(Qスケール値)MQUANTjは以下の(11)式により求められる。
MQUANTj = Qj * N_ACTj ・・・(11)
以上のTM5のアルゴリズムによれば、STEP1の処理によりIピクチャに対して多くの符号量を割り当ており、更にピクチャ内においては視覚的に劣化の目立ちやすい平坦部(空間アクティビティが低い)に符号量が多く配分されるようになる。
このようなTM5方式を応用した符号化方式として、画像信号と局所復号画像のSN比がある一定の値となるように目標符号量を決定する方式が提案されている(特許文献1を参照)。この提案手法では、SN比を一定に保つような目標符号量を設定することですべてのピクチャに対する画質を安定させる効果がある。
また、上記提案方式の改良方式として、Iピクチャ,Pピクチャ,Bピクチャ各ピクチャの符号量を最適な値に設定する方式が提案されている(特許文献2を参照)。この改良方式では、IピクチャのSN比がBピクチャのSN比より大きくなるように、各フレーム(Iピクチャ・Pピクチャ・Bピクチャ)の符号量が配分制御される。つまり、Iピクチャの符号化誤差がBピクチャの符号化誤差より小さくなるように各フレーム(Iピクチャ・Pピクチャ・Bピクチャ)の符号量を制御することで、GOPの原点となるIピクチャの画質を向上させる効果がある。
さらには、画面間差分を用いた符号化方式も提案されている(特許文献3を参照)。提案方式では、現画像全体と参照画像全体との動きベクトルであるグローバルベクトル(GV)を求め、GVの信頼性に応じて決定した探索領域内で現画像のマクロブロックを探索し、動きベクトルを検出している。この手法では、画面間の相関度を信頼度GRVとして求め、この信頼度GRVの数値により動き探索時のサーチウィンドウの位置を決定している。
特開平02−219388号公報 特開平08−070458号公報 特開2005−354528号公報
しかしながら、特許文献1、特許文献2に係る提案方式では、以下のような課題が存在する。
まず、特許文献1に係る提案方式では各ピクチャでのSN比を一定に保つことで、一定の画質を保つことは可能であり、特許文献2に係る提案方式でも、SN比と各ピクチャの符号配分を考慮することで同様に一定の画質を保つことは可能である。
しかし、これらの手法では、SN比を目標符号量決定の判断情報としているため、符号化前の画像ではなく、符号化後の画像で符号量を決定していることになる。よって、例えば、カメラのパン等により高周波成分の少ない画像であったのがカメラが静止して高周波成分が大幅に増加した画像や、画面に何かが入り込んでくるような画像では、急激な変化が起こっている。この場合、符号化によってSN比が大幅に低下しブロックノイズ等のノイズが発生しやすい。従って、SN比を一定とし目標符号量を決定しようとしても、ノイズを発生させない最適な符号量を決定することは困難である。
このように、提案方式では、画像が変化した場合に、ノイズを発生させない最適な符号量を設定し、良好な画質の復号画像を得ることが困難である。そこで、本発明は、画像が変化した場合に、ノイズを発生させない最適な符号量を設定し、良好な画質の復号画像を得ることを可能とすることを目的とする。
上記課題を解決するための本発明は、画像データを符号化する画像符号化装置であって、
符号化対象画像を直交変換し、量子化処理して符号化する符号化手段と、
前記符号化された画像を逆量子化し、逆直交変換して復号する復号手段と、
前記量子化処理のためのビットレートを決定するレート制御手段と、
前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算手段と、
前記符号化対象画像と前記復号手段における復号結果とを用いてSN比を算出するSN比算出手段と
を備え、
前記レート制御手段は、
算出された前記SN比と目標SN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比、の少なくともいずれかに基づいて前記ビットレートを制御することを特徴とする。
本発明によれば、画像の変化に応じてビットレート上昇させるようにして、画像が変化してもノイズを発生させない最適な符号量の設定が行うことができ、良好な画質の復号画像を得ることができる。
以下、添付の図面の図1乃至図4を参照して、発明の実施形態を説明する。図1は、発明の実施形態に対応する符号化方法を実現する画像符号化装置の構成例を示す図である。符号化方式として、具体的にはMPEG(Moving Pictures of Experts Group)やH.264/AVC(Advanced Video Coding)に対応する。よって、該画像符号化装置は、例えばディジタルビデオカメラのような映像音声信号記録装置として実現できる。図2は、画像並び替えの一例を示す図である。図3は、図1の画像符号化装置の点線120で囲まれた各処理部により実行される処理の一例を示すフローチャートである。また、図4は、発明の実施形態に対応するレート制御処理の一例を示すフローチャートである。
まず、図1において、入力信号101は本画像符号化装置への入力信号であり、画像符号化装置が備える撮像素子(CCDやCMOS等)、或いは、ライン入力端子からの映像信号がこれに該当する。また、入力信号101は、所定のブロックに分割された状態で入力される。該ブロックは、例えばMPEGでは16×16、8×8を始めとしたブロックであり、符号化方式に応じてサイズが決まる。なお、本明細書では当該ブロックのことを「マクロブロック」と呼んでいる。
画像並べ替え部102は、入力される画像の順序を入れ替えて後段の処理部に出力する処理部である。画像並べ替え部102は、内部にメモリを備え、図2に示すような#1,#2,#3,・・・の順で入力される画像を、#3,#1,#2,・・・の順で出力されるように、該メモリを管理する。
スイッチ103は、符号化対象画像のピクチャタイプに応じて、画像並べ替え部102からの出力と減算器114からの出力とを切り替えるスイッチである。DCT部104は、直交変換(DCT)を行う処理部である。量子化部105は、DCT部104から出力された直交変換出力係数を量子化処理する処理部である。可変長符号化部106は、量子化部105から出力された量子化結果に可変長符号化処理を施す処理部である。
バッファ107は、可変長符号化部106から出力された符号化データを一時保存するバッファであって、出力端子118とレート制御部116に該符号化データを出力する。逆量子化部108は、量子化部105における量子化結果に逆量子化処理を施す処理部である。IDCT部109は、逆量子化処理結果に対して逆直交変換(IDCT)を施す処理部である。加算器110は、逆直交変換により復号結果として得られた復号データと、動き補償予測部112から出力される予測画像データとを加算して、ローカルデコード画像を出力する演算部である。
スイッチ111は、符号化対象画像のピクチャタイプに応じて、動き補償予測部112からの予測画像データを加算器110に供給するためのスイッチである。動き補償予測部112は、画像並べ替え部102からの出力と、加算器110からの出力とに基づき、動き補償予測を行って予測画像データを生成する処理部である。SN比算出部113は、加算器110から出力と、画像並べ替え部102からの出力とを利用して、SN比を算出する処理部である。
減算器114は、画像並べ替え部102からの出力と、動き補償予測部112からの予測画像データとの間で減算処理を行う演算部である。グローバルベクトル演算部115は、入力信号101に基づきグローバルベクトルを演算する処理部である。レート制御部116は、符号化するGOPの目標ビットレートならびに、ピクチャの目標符号量を決定する処理部である。量子化制御部117は、レート制御部116で決定されたピクチャの目標符号量を元に、マクロブロックの量子化係数を決定する処理部である。出力端子118は、バッファ107に一時保存されている符号化データを出力する出力端子である。
なお、点線領域120は、スイッチ103、DCT部104、量子化部105、逆量子化部108、IDCT部109、加算器110、スイッチ111、動き補償予測部112、SN比算出部113、減算器114を含む。

次に、図3を参照して、図1の点線領域120内の各ブロックによる動作を説明する。
まず、ステップS301において、ピクチャタイプの判定を行い、ピクチャタイプがIピクチャの場合(ステップS301において「YES」)、ステップS302に進み、スイッチ103をA側とし、スイッチ111をOFFとする。その後、ステップS305に移行する。
一方、ピクチャタイプがIピクチャ以外のBピクチャ又はPピクチャの場合(ステップS301において「NO」)、ステップS303に進み、スイッチ103をB側とし、スイッチ111をONとする。続くステップS304では、動き補償予測部112で動き探索を行って予測画像データを生成し、該予測画像データと入力画像との減算処理を減算器114にて行って差分値信号を生成する。
次に、ステップS305では、入力信号のマクロブロック単位にDCT部104で直交変換を行い、量子化制御部117で決定された量子化スケールを用いて量子化部105にて直交変換出力係数の量子化を行って、符号化データを生成する。ここで、量子化パラメータである量子化スケールは、TM5のSTEP2に相当する処理を行うことで算出できるので、ここでの説明は省略する。
続くステップS306では、ステップS305において生成された量子化データに逆量子化部108、IDCT部109により逆変換を施して復号結果としての復号データを生成する。Iピクチャの場合、この逆変換によりローカルデコード画像を得ることができる。
続くステップS307では、ステップS301同様にピクチャタイプの判定を行う。ピクチャタイプがIピクチャの場合は(ステップS307において「YES」)、ステップS310へ移行する。一方、ピクチャタイプがIピクチャ以外のBピクチャ又はPピクチャの場合は(ステップS307において「NO」)、ステップS308に移行する。ステップS308では、減算器114にて減算した予測画像データと、逆変換により得られた復号データとの加算処理を加算器110にて行って、Pピクチャ又はBピクチャのローカルデコード画像を生成する。
次に、ステップS309では、ピクチャタイプがPピクチャか否かを判定する。もし、Pピクチャの場合は(ステップS309において「YES」)、ステップS310へ移行する。一方、Bピクチャの場合は(ステップS309において「NO」)、ステップS311へ移行する。
続くステップS310では、生成したローカルデコード画像を参照画像とするために、動き補償予測部112に記憶する。更にステップS311では、SN比算出部113にて、入力画像とローカルデコード画像とのSN比を算出する。次に、ステップS312に進み、全てのピクチャについて符号化処理が完了したか否かを判定する。完了した場合は(ステップS312において「YES」)、本処理を終了する。一方、まだ符号化すべきピクチャがある場合は(ステップS312において「YES」)、ステップS301に戻って処理を続ける。
図1に戻り、点線領域120以外の処理ブロックの動作を説明する。量子化部105より出力されたデータは、可変長符号化部106に入力され、可変長符号化が行われる。可変長符号化されたデータは、バッファ107に入力され、出力端子118より出力される。また、バッファ107から、符号化されたピクチャの発生符号量や量子化係数等の情報およびSN比算出部113で算出したSN比がレート制御部116に入力される。
また、グローバルベクトル演算部115は、グローバルベクトル信頼度GRVを算出し、レート制御部116に出力する。グローバルベクトル演算部115におけるグローバルベクトル信頼度GRVの算出方法について、以下に概略を説明する。
まず、グローバルベクトルとは、動画再生時の表示順で入力されるピクチャ間(符号化対象画像とその直前画像との間)の空間的な位置の差(即ち、ピクチャ間のずれ量)(i,j)を示すベクトルである。すなわち、グローバルベクトルは、ピクチャ間、或いはピクチャよりも小さい広域エリア(スライス等)間の全体的な動きを表わすパラメータである。最大相関度を有するグローバルベクトルを推定するためには、次のようなMSE(Mean Square Error)(数1)、MAE(Mean Absolute Error)(数2)などの評価関数が用いられる。あるいはMAD(Mean Absolute Difference)を用いてもよい。
Figure 2009118097
Figure 2009118097
ここで、Scur(m,n)は現在のピクチャでの(m,n)番目の画素値、Sref(m,n)は参照ピクチャでの(m,n)番目の画素値を示す。(i,j)は参照ピクチャに対する現在のピクチャの空間的な位置をそれぞれ示している。本実施形態では、参照ピクチャを現ピクチャの1つ前のピクチャとする。
ただし、M,Nを1ピクチャでの水平及び垂直画素数とすると、m=k×q,n=l×rであり、k,lは0≦m≦M、1≦k≦M,0≦n≦N,1≦l≦Nを満たす自然数である。また、Q,RはM−k≦Q≦M,N−l≦R≦Nを満たす。
この評価関数は画素値の差に基づいたものであり、最も小さいMAE値やMSE値となるベクトルをグローバルベクトルとして決定する。MAE値を例にした場合、参照ピクチャを所定の方向に1画素ずつずらしていき、画素の移動距離ごとにMAE値の総和の平均をとる。そして平均MAE値が最小となるときの移動量がグローバルベクトルの選定基準となる。この処理を、例えば所定の方向と直交する他の方向についても行い、この方向で平均MAE値が最小となる移動量が求まれば、2つの移動量とその移動方向からグローバルベクトルを決定することができる。
また、この時に求まる最小のMAE値やMSE値をグローバルベクトル信頼度GRV(Global vector Reliable Value)とする。
このようにして、グローバルベクトル演算部115は、画像間の相関度を表す
グローバルベクトル信頼度GRVを算出し、レート制御部116に出力する。
レート制御部116では、入力された上記各々の情報を元にノイズを発生させないようにビットレートを決定する処理を行う。レート制御部116における処理の詳細を、図4のフローチャートを参照して以下に説明する。図4は、レート制御部116における、ビットレートを決定するための処理の一例を示すフローチャートである。
まず、ステップS401において目標SN比(Tsnr)を設定し、さらにグローバルベクトル演算部115より入力されたグローバルベクトル信頼度(GRV(n))を設定する。ここで、「n」はピクチャナンバーを表す任意の数であって、ここでは処理対象の現画像のピクチャナンバーに対応する値が設定される。
次に、ステップS402では、1GOPの平均SN比(Asnr)を算出する。この平均SN比(Asnr)は、例えば、SN比算出部113で求められた1GOP分のSN比の平均として計算することができる。また、各ピクチャタイプについてSN比算出部113で求められたSN比に基づいて、該SN比の平均により1GOPの平均SN比(Asnr)を予測することもできる。なお、平均SN比の算出方法自体は、発明の本質的特徴ではなく、従って上述した2通りの方法に算出方法が限定されるものではない。よって、1GOPの平均SN比を求める方法として利用可能な他の方法があれば、それを利用することもできる。
続くステップS403では、目標SN比(Tsnr)と、平均SN比(Asnr)との大きさを比較する。もし、目標SN比(Tsnr)よりも平均SN比(Asnr)の方が大きい場合(ステップS403において「YES」)は、ステップS404へ移行する。一方、目標SN比(Tsnr)が平均SN比(Asnr)以上の場合は(ステップS403において「NO」)、ステップS405へ移行する。
ステップS404では、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っているか否かを更に判定する。もし、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っている場合は(ステップS404において「YES」)、ステップS406に移行する。一方、平均SN比(Asnr)が目標SN比(Tsnr)を第1の閾値Th1より上回っていない場合は(ステップS404において「NO」)、ステップS408に移行する。
ステップS406では、現在のレート(Rate)から(Asnr−Tsnr)×αを減算し、新レート(Rate-)を算出し、ステップS408へ移行する。ここで、αは、VBR(可変ビットレート)において平均ビットレートより算出される任意の係数である。平均SN比(Asnr)が目標SN比(Tsnr)を大きく上回っている場合は、符号量の与え過ぎであってレートを下げても目標SN比を上回る。そこで、ステップS406では、レートを下げる処理を行っている。
例えば、数値としてAsnr = 45.0dB, Tsnr = 40.0dB, Th1 = 2, Rate = 7000000bps, α=200000とした場合を考える。この場合、平均SN比(Asnr)は目標SN比(Tsnr)を、5dB上回っており、この量は第1の閾値Th1よりも大きい。そこで、上記の演算によりレートを下げる処理を行って、新レート(Rate-)を6000000bpsとする。
次に、ステップS405以降の処理を説明する。ステップS405では、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っているか否かを更に判定する。もし、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っている場合は(ステップS405において「YES」)、ステップS407に移行する。一方、目標SN比(Tsnr)が平均SN比(Asnr)を第2の閾値Th2より上回っていない場合は(ステップS405において「NO」)、ステップS408に移行する。
ステップS407では、現在のレート(Rate)に(Tsnr−Asnr)×βを加算し、新レート(Rate+)を算出し、ステップS408へ移行する。ここで、βは、VBR(可変ビットレート)において平均ビットレートより算出される任意の係数である。目標SN比(Tsnr)が平均SN比(Asnr)を大きく上回っている場合は、符号量の不足であってレートを上げないと目標SN比を上回ることができない。そこで、ステップS407では、レートを上げる処理を行っている。
例えば、数値としてAsnr = 35.0dB, Tsnr = 40.0dB, Th1 = 2, Rate = 7000000bps, β=200000とした場合を考える。この場合、目標SN比(Tsnr)は平均SN比(Asnr)を、5dB上回っており、この量は第2の閾値Th2よりも大きい。そこで、上記の演算によりレートを上げる処理を行って、新レート(Rate+)を8000000bpsとする。
次に、ステップS408では、処理対象の現ピクチャのグローバルベクトル信頼度GRV(n)と1つ前のピクチャのグローバルベクトル信頼度GRV(n−1)とから、変化率RGRVを算出する。ここで変化率RGRVは、RGRV=GRV(n)/GRV(n−1)で求めることができる。
次にステップS409では、変化率RGRV(Ratio GRV)が第3の閾値ThRより大きいか否かを判定する。もし、変化率RGRVが第3の閾値ThRより大きい場合(ステップS409におて「YES」)、ステップS410へ移行する。一方、変化率RGRVが第3の閾値ThRより大きくない場合(ステップS409において「NO」)、そのまま本処理を終了する。
ステップS410では、現在のレート(Rate)に(RGRV−1)*γ*Rate を加算する演算を行って、レートを上昇させた新レート(Rate+)を算出し、処理を終了する。なお、第3の閾値ThRは、1以上の数であり、γはVBRにおいて平均ビットレートより算出される任意の係数である。
上記のように、変化率RGRVが第3の閾値ThRより大きいとき、画面間の相関が下がっている。グローバルベクトル信頼度は画面間の相関を示すものであり、この信頼度が前ピクチャより大きくなること、すなわち変化率RGRVが1以上であることは、画面間の相関が減少し、画面間差分が大きくなることを意味する。したがって、符号量を増加させなければ、画質が下がってしまう。このため、変化量に応じた符号量の増加が必要となる。
例えば、数値としてThR=1.1, γ=1, Rate = 6000000bps であり、RGVR=1.2であった場合、新レートは、7200000bpsとなる。
上記によりビットレートが算出され、それを前述のTM5のSTEP1より目標符号量を算出できる。その目標符号量は量子化制御部117に入力され、TM5のSTEP2およびSTEP3を行うことで、量子化部105の制御を行う。
なお、上述したレート算出式は、あくまで一例であって、レートの増減方法は上記の式に限定されるものではない。上記では、SN比とグローバルベクトル信頼度の両方を用いる場合を説明したが、いずれか一方のみを用いても良い。また、平均SN比(Asnr)や目標SN比(Tsnr)、或いはグローバルベクトル信頼度GRVや変化率RGRVを用いて、他の演算式によりレートを制御することができる。
以上の処理を行うことで、フレーム間で大きな変化が発生した場合やSN比の低い画像が存在する場合でも、符号化前にその状態を検出し目標符号量を調整して、符号化結果における画質の向上を図ることができる。従って、パン等で高周波成分の少なかった画像が、カメラの静止により高周波成分が大幅に増加した画像や、画面に突然物体が入り込んでくるような画像であっても、目標符号量を調整して、高品位な符号化処理を行うことができる。
[その他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
発明の実施形態に対応する符号化方法を実現する画像符号化装置の構成例を示す図である。 発明の実施形態に対応する、画像並び替えの一例を示す図である。 発明の実施形態に対応する、図1の画像符号化装置の点線120で囲まれた各処理部により実行される処理の一例を示すフローチャートである。 発明の実施形態に対応するレート制御処理の一例を示すフローチャートである。
符号の説明
101・・・入力端子
102・・・画像並び替え部
103・・・スイッチ
104・・・DCT部
105・・・量子化部
106・・・可変長符号化部
107・・・バッファ
108・・・逆量子化部
109・・・IDCT部
110・・・加算器
111・・・スイッチ
112・・・動き補償予測部
113・・・SN比算出部
114・・・減算器
115・・・グローバルベクトル演算部
116・・・レート制御部
117・・・量子化制御部
118・・・出力端子

Claims (5)

  1. 画像データを符号化する画像符号化装置であって、
    符号化対象画像を直交変換し、量子化処理して符号化する符号化手段と、
    前記符号化された画像を逆量子化し、逆直交変換して復号する復号手段と、
    前記量子化処理のためのビットレートを決定するレート制御手段と、
    前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算手段と、
    前記符号化対象画像と前記復号手段における復号結果とを用いてSN比を算出するSN比算出手段と
    を備え、
    前記レート制御手段は、
    算出された前記SN比と目標SN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比、の少なくともいずれかに基づいて前記ビットレートを制御することを特徴とする画像符号化装置。
  2. 前記レート制御手段は、
    前記算出されたSN比が前記目標SN比よりも大きい場合に、前記算出されたSN比と前記目標SN比との差分を第1の閾値と比較し、該差分が該第1の閾値より大きい場合は、前記ビットレートを下げ、
    前記算出されたSN比が前記目標SN比より大きくない場合に、前記目標SN比と前記算出されたSN比との差分を第2の閾値と比較し、該差分が該第2の閾値より大きい場合は、前記ビットレートを上げる
    ことを特徴とする請求項1に記載の画像符号化装置。
  3. 前記レート制御手段は、
    前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比を第3の閾値と比較し、該比が前記第3の閾値より大きい場合に、前記ビットレートを上げる
    ことを特徴とする請求項1又は2に記載の画像符号化装置。
  4. 画像データを符号化する画像符号化装置の制御方法であって、
    符号化対象画像を直交変換し、量子化処理して符号化する符号化工程と、
    前記符号化された画像を逆量子化し、逆直交変換して復号する復号工程と、
    前記量子化処理のためのビットレートを制御するレート制御工程と、
    前記符号化対象画像と、該符号化対象画像の直前の画像との動きベクトルであるグローバルベクトルを演算し、該画像間の相関度を表すグローバルベクトル信頼度を求めるグローバルベクトル演算工程と、
    前記符号化対象画像と前記復号工程における復号結果とを用いてSN比を算出するSN比算出工程と
    を備え、
    前記レート制御工程では、
    算出された前記SN比と目標SN比との差分、及び、前記符号化対象画像のグローバルベクトル信頼度と前記直前の画像のグローバルベクトル信頼度との比、の少なくともいずれかに基づいて前記ビットレートを制御することを特徴とする画像符号化装置の制御方法。
  5. コンピュータを請求項1乃至3のいずれか1項に記載の画像符号化装置として機能させるための、コンピュータプログラム。
JP2007287853A 2007-11-05 2007-11-05 画像符号化装置及びその制御方法、コンピュータプログラム Expired - Fee Related JP4857243B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007287853A JP4857243B2 (ja) 2007-11-05 2007-11-05 画像符号化装置及びその制御方法、コンピュータプログラム
US12/262,850 US8938005B2 (en) 2007-11-05 2008-10-31 Image encoding apparatus, method of controlling the same, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007287853A JP4857243B2 (ja) 2007-11-05 2007-11-05 画像符号化装置及びその制御方法、コンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2009118097A true JP2009118097A (ja) 2009-05-28
JP2009118097A5 JP2009118097A5 (ja) 2010-12-16
JP4857243B2 JP4857243B2 (ja) 2012-01-18

Family

ID=40784743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007287853A Expired - Fee Related JP4857243B2 (ja) 2007-11-05 2007-11-05 画像符号化装置及びその制御方法、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP4857243B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118912A (ja) * 2008-11-13 2010-05-27 Canon Inc 画像符号化装置、制御方法、及びプログラム
US8761530B2 (en) 2011-05-23 2014-06-24 Sony Corporation Apparatus and method to control target code amount

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03124143A (ja) * 1989-10-09 1991-05-27 Oki Electric Ind Co Ltd 動画像パケット符号化・復号化方式
JPH04336894A (ja) * 1991-05-14 1992-11-25 Oki Electric Ind Co Ltd 動画像符号化装置
JPH07154800A (ja) * 1993-11-26 1995-06-16 Mitsubishi Electric Corp 画像符号化装置
JPH0898179A (ja) * 1994-09-29 1996-04-12 Sony Corp 画像符号化装置
JPH09191458A (ja) * 1996-01-10 1997-07-22 Nippon Columbia Co Ltd 動画像圧縮符号化方法及びその装置
JP2005354528A (ja) * 2004-06-11 2005-12-22 Canon Inc 動きベクトル検出装置及び方法
JP2007053620A (ja) * 2005-08-18 2007-03-01 Oki Electric Ind Co Ltd 画像処理装置および画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03124143A (ja) * 1989-10-09 1991-05-27 Oki Electric Ind Co Ltd 動画像パケット符号化・復号化方式
JPH04336894A (ja) * 1991-05-14 1992-11-25 Oki Electric Ind Co Ltd 動画像符号化装置
JPH07154800A (ja) * 1993-11-26 1995-06-16 Mitsubishi Electric Corp 画像符号化装置
JPH0898179A (ja) * 1994-09-29 1996-04-12 Sony Corp 画像符号化装置
JPH09191458A (ja) * 1996-01-10 1997-07-22 Nippon Columbia Co Ltd 動画像圧縮符号化方法及びその装置
JP2005354528A (ja) * 2004-06-11 2005-12-22 Canon Inc 動きベクトル検出装置及び方法
JP2007053620A (ja) * 2005-08-18 2007-03-01 Oki Electric Ind Co Ltd 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118912A (ja) * 2008-11-13 2010-05-27 Canon Inc 画像符号化装置、制御方法、及びプログラム
US8761530B2 (en) 2011-05-23 2014-06-24 Sony Corporation Apparatus and method to control target code amount

Also Published As

Publication number Publication date
JP4857243B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
US8000393B2 (en) Video encoding apparatus and video encoding method
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
JP5267655B2 (ja) 画像符号化装置、画像符号化制御方法および画像符号化プログラム
JP4221655B2 (ja) 符号化装置および符号化方法、プログラム、並びに記録媒体
JP5078837B2 (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
JP4485996B2 (ja) 画像符号化装置及び画像符号化プログラム
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP2007228519A (ja) 画像符号化装置及び画像符号化方法
JP4857243B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP5111128B2 (ja) 符号化装置、符号化装置の制御方法及びコンピュータプログラム
JP4942208B2 (ja) 符号化装置
JP5006763B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP4936557B2 (ja) 符号化装置
WO2020008858A1 (ja) 動画像符号化装置、動画像符号化方法、プログラム
JP4823150B2 (ja) 符号化装置並びに符号化方法
JP5171658B2 (ja) 画像符号化装置
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP5409842B2 (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP5419560B2 (ja) 撮像装置
JP2012105128A (ja) 画像符号化装置
JP2007300557A (ja) 画像符号化装置及び画像符号化方法
JP2010118912A (ja) 画像符号化装置、制御方法、及びプログラム
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111003

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees