JP2009094644A - 動画像符号化装置及びその制御方法 - Google Patents

動画像符号化装置及びその制御方法 Download PDF

Info

Publication number
JP2009094644A
JP2009094644A JP2007261243A JP2007261243A JP2009094644A JP 2009094644 A JP2009094644 A JP 2009094644A JP 2007261243 A JP2007261243 A JP 2007261243A JP 2007261243 A JP2007261243 A JP 2007261243A JP 2009094644 A JP2009094644 A JP 2009094644A
Authority
JP
Japan
Prior art keywords
code amount
scene
encoding
picture
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007261243A
Other languages
English (en)
Other versions
JP2009094644A5 (ja
JP5032936B2 (ja
Inventor
Katsumi Otsuka
克己 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007261243A priority Critical patent/JP5032936B2/ja
Priority to US12/234,036 priority patent/US8792562B2/en
Publication of JP2009094644A publication Critical patent/JP2009094644A/ja
Publication of JP2009094644A5 publication Critical patent/JP2009094644A5/ja
Application granted granted Critical
Publication of JP5032936B2 publication Critical patent/JP5032936B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】画質の劣化具合を表す指標であるブロック歪み量に応じて、シーン目標符号量を制御することで、符号化難易度が高いシーンにおいても良好な画質の符号化動画像データを得る。
【解決手段】シーン分割部412は、シーンの区切りを示す信号を出力する。符号化部400は、与えられたパラメータに従って符号化する。発生符号量累積部415は、符号化部400で生成されるピクチャの符号量を算出する。ブロック歪み算出部411は、ピクチャ間のブロック歪みを算出する。シーン目標符号量算出部413は、余剰符号量及びブロック歪み量から、次のシーンに対する初期の目標符号量を算出する。1つのシーンの最初のピクチャの符号量から、2番目以降の目標符号量を算出する。ピクチャ目標符号量算出部416は、ピクチャの目標符号量を算出する。符号化パラメータ決定部407は、Qスケールを算出し、量子化部405に対してQスケールを設定する。
【選択図】図4

Description

本発明は、可変ビットレートでリアルタイム符号化する動画像符号化技術、特に、蓄積メディアへ符号化ストリームを記録する際に、予め記録時間を保証する技術に関するものである。
近年のデジタル信号処理技術の飛躍的な進歩により、従来ならば困難であった動画像の蓄積メディアへの記録や伝送路を介した動画像の伝送が行われている。この場合に、動画像を構成する各々のピクチャは圧縮符号化処理が施され、そのデータ量が大幅に削減される。この圧縮符号化処理として代表的な手法の一つが、例えばMPEG(Moving Picture Experts Group)方式である。
MPEG方式に準拠して一連のピクチャを一定のビットレートという条件下で圧縮符号化する場合に、複数ピクチャからなるシーン、ピクチャの空間周波数特性、ピクチャ間の相関、及び量子化スケール値に応じて符号量が大きく異なる。この様な符号化特性をもつ装置を実現する上で符号化歪みを最小限にするための重要な技術が符号量制御である。
符号量制御を実現するためのアルゴリズムについては、固定ビットレート符号化方式(以後CBR方式)、及び、可変ビットレート符号化方式(VBR方式)の2つに大別出来る。一般にVBR方式では符号化難易度に応じて符号を適応的に割り当てるため、CBR方式に比べて、復号ピクチャの画質が良い事が知られている。符号の適応的な割り当て方は、例えば符号化難易度が高いシーンには高いビットレートを割り当て、符号化難易度が低いシーンには低いビットレートを割り当てる事により実現される。
CBR方式としては、MPEG−2符号化方式の標準化の過程で提案されたTM5(Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993)))や特許文献1の方式が知られている。
一方、リアルタイム(すなわち1パス)でVBR方式を実現する技術として特許文献2乃至6が知られている。
特許文献2は、CBR方式の課題を解決する事で、VBR方式で画質の向上を試みている。CBR方式では、直前GOPの発生符号量が目標符号量を極端に超えた場合に、次のGOPの目標符号量がこれを吸収し様とするため、画質劣化が生じてしまうという課題がある。特許文献2におけるVBR方式によるGOP単位の発生符号量の推移を図2に示す。図示では、GOP5において符号化難易度が高いために発生符号量が急激に増加していることを示している。このため、後続するGOP6乃至GOP9に至るまで段階的に生成する符号量を減少している。この様な段階的なGOPの発生符号量を達成するため、j番目のGOPの目標符号量R(j)を、次式を用いて求めている。
DIFF(j) = DIFF(j-1) + B(j-1) − Tg …(1)
R(j) = Tg − (1/T)×DIFF(j) …(2)
ただし、B(j)はj番目のGOPの発生符号量、Tgは与えられた目標ビットレートから各GOPに対して均等配分した場合の目標符号量、Tは2以上の定数である。目標符号量R(j)は、式(1)及び(2)からも自明な様に、過去のGOPにおける発生符号量の累積であるDIFF(j)に応じて求めている事がわかる。
特許文献3又は4は、図3に示す通りに、複数のピクチャからなるピクチャ群及び符号化対象であるピクチャに対して、符号化難易度算出部(301及び302)と称する符号化難易度を検出する手段を用いる事で、フィード・フォワード型のVBR方式を実現している。この方法によれば、複数ピクチャからなるピクチャ群をピクチャ群分割部300で分割し、シーケンス全体に対する、ピクチャ群の符号化難易度を符号化難易度情報算出部301において算出している。この算出した符号化難易度に応じて、該ピクチャ群の目標符号量を可変に割り当てられるので、復号ピクチャの画質のばらつきが抑えられる。
特許第3112035号公報 特許第3173369号公報 特許第3265818号公報 特許第3399472号公報 特許第3268306号公報 特許第3358620号公報
しかしながら、上記従来技術には以下の問題がある。
先ず、特許文献2においては、次に符号化すべきGOPの目標符号量R(j)を求める際に、既に符号化した(0、1、…、j−1番目)のGOPの発生符号量のみを参照しているために、符号化難易度に応じて適切に目標符号量R(j)を求めていない。更に、この特許文献1では、急激な発生符号量の増加が生じた後のGOPの目標符号量に注目して、該目標符号量を段階的に減少させているに過ぎない。このため、局所的にはCBR方式に比べて復号ピクチャの画質劣化が改善されるが、シーケンスを通して復号ピクチャの画質劣化を改善する事は困難である。
特許文献3、4においては、平均ビットレート及び最大ビットレートは保証されるが、最大符号量は保証されない。すなわち、デジタルビデオカメラ等に代表される撮影機器において、蓄積メディアに録画する場合など録画時間が予め分らない場合がある。このとき、たとえユーザが撮影開始時にビットレートを指定しても、撮影時間によってはシーケンスの発生符号量が、ビットレートと撮影時間の積を超えてしまう状況が起きてしまう。
また、特許文献4によれば、符号化難易度情報算出部301及び302には、符号化部305と同様な符号化手段が必要となり、処理負荷が非常に重い。この特許文献4には、符号化難易度として空間アクティビティを用いる事が開示されているが、空間アクティビティでは符号化部305における符号化難易度を予測するには不十分である。
また、VBR方式を実現する方法を開示している特許文献5、6に開示されている様に、2パスで符号化を行う方法がある。この方法によれば、1パス目で各々のシーンの符号化難易度を抽出する。そして、2パス目で抽出した符号化難易度に応じて各々のシーンに対して目標符号量を割り当てるので、シーケンスを通じてCBR方式に比べて画質の改善が期待出来る。しかし、撮影機器においては、リアルタイム符号化が必須であり、2パスで符号化を行う事は困難である。
本発明はかかる課題に鑑みたものであり、画質の劣化具合を考慮しながら、シーンに対する目標符号量を制御する事で、与えられた目標ビットレートの条件下において符号化難易度が高いシーンにおいても良好な画質の符号化動画像データを得る事である。更には、符号化するシーケンスの長さに依存せずに、目標ビットレートとシーケンスの長さから定められる最大発生符号量を保証する事である。
かかる課題を解決するため、本発明の動画像符号化装置は以下の構成を備える。すなわち、
動画像を符号化する動画像符号化装置であって、
時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割手段と、
与えられた量子化スケールを決定するパラメータに従って、入力したピクチャ中の複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
前記符号化手段で生成されるピクチャの符号量を算出すると共に、シーンの総符号量を算出する符号量算出手段と、
前記符号化手段で生成された符号化データを復号し、復号後のピクチャと符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出すると共に、シーンを構成する各ピクチャ歪み量の平均値を算出するブロック歪み算出手段と、
前記符号量算出手段で算出した各ピクチャの符号量と、予め設定された目標ビットレートから、各シーンに均等に配分した符号量に対する余剰符号量を算出する余剰符号量算出手段と、
前記ブロック歪み算出手段で算出された平均値と、前記余剰符号量算出手段で算出した余剰符号量に基づいて目標符号量を算出し、算出した目標符号量に基づいて前記符号化手段に与える次に符号化するシーンの初期のパラメータを決定すると共に、
シーン内の最初のピクチャの符号量と予め設定した閾値範囲とを比較し、この比較の結果に従って前記初期のパラメータを修整することで、前記シーン内の2番目以降のピクチャの符号化のためのパラメータを決定するパラメータ決定手段とを備える。
本発明によれば、画質の劣化具合を表す指標であるブロック歪み量に応じて、シーン目標符号量を制御するので、与えられた目標ビットレートの条件下において符号化難易度が高いシーンにおいても良好な画質の符号化動画像データを得る事が出来る。更には、余剰符号量が存在するシーンに対してのみシーン目標符号量を増加させるので、目標ビットレートとシーケンスの長さから定められる最大発生符号量を保証する事が出来る。
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
実施形態では、フレーム間予測を利用した符号化方式を実現する動画像符号化装置に適用した例を説明する。例えば、フレーム間予測を利用した符号化方式としてはMPEG−1、MPEG−2或いはMPEG−4等が知られている。
図1は本実施形態の動画像符号化装置の概略構成図である。本装置は、シーン分割部100、ブロック歪み算出部101、シーン目標符号量算出部102、符号化パラメータ決定部103、符号化部104、局所復号化部106、余剰符号量算出部107、シーン内符号量制御部108、発生符号量累積部109を有する。本実施形態では、図1における符号化部104は、MPEG−4符号化方式に従って符号化するものとする。
[構成の説明]
実施形態における、より具体的な装置構成を図4に示す。
MPEG−4符号化部400は、図1の符号化部104及び局所復号化部106を含む構成となっている。更にMPEG−4符号化部400は、動き検出処理を行うME403、動き補償処理を行うMC410、ブロック符号化部401及び局所ブロック復号化部402から構成される。ブロック符号化部401は、DCT変換部404、量子化部(QTZ)部405、及びエントロピー符号化部(VLC)406で構成される。
MPEG−4符号化部400の処理内容については、例えばISO/IEC14496−2に開示されており、ここでは詳細な説明は省略する。
シーン分割部412は、シーケンス全体(時間軸に並んだ複数のピクチャで構成される動画像)の入力ピクチャを対象として、複数個のピクチャからなるシーンに分割する。シーンを構成するピクチャ数Nは、シーケンスを通して固定でも可変でも良い。ここでは説明を簡略化するために、シーン分割部412は、図5に示す通りに、N=3、つまり、3つのピクチャの入力する度に、そのシーンの区切りタイミングを示す信号をシーン目標量算出部413に出力する。
ブロック歪み算出部411は、ブロック局所復号化部402及びMC410の出力を加算した再構成ピクチャの一部を随時入力する。そして、例えば複数画素で構成されるマクロブロック単位で、MPEG−4符号化部400の入力ピクチャと同一ピクチャ内の同一座標のマクロブロックとでブロック歪みを算出する。これを各ブロック単位に積算することで、オリジナルのピクチャに対する符号化されたピクチャのピクチャ歪みを算出することができる。ここで、ピクチャ中のブロック歪みの度合いを表す量をブロック歪み量とする。つまり、ブロック歪み量は画質劣化の度合を示す指標と言える。なお、ブロック歪み算出部411は、少なくとも1つ以上のピクチャに対してブロック歪み量を算出し、そのブロック歪み量を示す情報をシーン目標符号量算出部413に出力する。
発生符号量累積部415は、ブロック符号化部401から出力される符号化ストリームの符号長を、随時累積する事でピクチャ単位の発生符号量を算出し、その符号量を余剰符号量算出部107に出力する。また、発生符号量累積部415は、算出したピクチャ単位の発生符号量をシーン内で累積し、そのシーン単位の発生符号量(シーンの総符号量)も余剰符号量算出部107に出力する。但し、発生符号量累積部415は、1シーン(実施形態では3ピクチャ)の入力に先立って、直前のシーンで算出したピクチャ、シーン単位の符号量をゼロクリアする。
余剰符号量算出部414は、発生符号量累積部415から入力されるシーン内の各ピクチャ単位の発生符号量、及び、与えられた目標ビットレートをCBR方式で符号化した場合のシーン単位の符号量から、余剰符号量を算出する。そして、余剰符号量算出部414は、シーン目標符号量算出部413に対して余剰符号量をシーン内の全ピクチャの符号化が完了した後に出力する。
シーン目標符号量算出部413は、余剰符号量算出部414から入力される余剰符号量及びブロック歪み算出部411から入力されるブロック歪み量から、次のシーンに対する初期の目標符号量を算出する。つまり、シーン目標符号量の算出は、シーンの先頭ピクチャがMPEG−4符号化部400に入力される前に、シーン毎に行う。算出するシーンの目標符号量は、CBR方式で符号化を行うと仮定した場合の符号量を基準として、余剰符号量及びブロック歪み量に応じて適応的に算出される。シーン目標符号量算出部413は、1つのシーンの最初のピクチャの符号量から、そのシーンの2番目以降の目標符号量を算出する。
ピクチャ目標符号量算出部416は、シーン目標符号量算出部413から入力されるシーン目標符号量から、次のシーンを符号化を行う際のピクチャの目標符号量を算出する。シーン目標符号量を、シーン内の各々のピクチャに対してどの様に割り当てるかは、従来技術であるCBR方式又は本発によるVBR方式であるかには依存せず算出する事が出来る。例えば、CBR方式の従来技術であるTM5方式を用いてピクチャ目標符号量を算出するが可能である。本実施形態でも、TM5方式を用いる事とする。
符号化パラメータ決定部407は、ピクチャ目標符号量算出部416と同様に従来技術を用いる事が可能である。符号化パラメータ決定部407は、MPEG−4符号化部400の符号化パラメータであるQスケールを算出し、量子化部(QTZ)405に対してQスケールを設定する。例えば、TM5方式を用いた場合には、ピクチャ目標符号量算出部416から入力されるピクチャ目標符号量、及び、ブロック符号化部401から出力される符号化ストリームの符号長を随時累積する事で、マクロブロック毎にQスケールを算出する。なお、量子化部405は、DCT変換部404で生成された各変換係数を、量子化スケールで示される量子化ステップ値で除算することになるので、除算後の値の取り得る値は量子化スケールが大きいほど小さな値となる。従って、量子化スケールが大きい程、エントロピー符号化部(VLC)406で生成される符号化データのデータ量は少なくなる。
[処理フローの説明]
次に、図4に示す動画像符号化装置の処理フローについて詳細に説明する。
図6には、6つのシーンからなるシーケンスを本動画像符号化装置により符号化した場合のシーン目標符号量の推移を示している。図中、参照符号610は、従来技術であるCBR方式を用いた場合の各シーンに対するシーン目標符号量を示しており、各々のシーンにおける矩形の面積がシーン目標符号量に対応している。CBR方式を用いた場合の、シーン目標符号量はシーン0〜5まで一定である事がわかる。
参照符号611は、本実施形態におけるシーン目標符号量の推移を示している。また参照符号612は、各々のピクチャにおけるブロック歪み量を表している。
ここで、ブロック歪み算出部411は、次の演算を行う事によりブロック歪み量Bcprevを求める。但し、ここで、MPEG−4符号化部400の入力ピクチャの水平方向の画素数をx_size、垂直方向の画素数をy_sizとする。水平方向の座標をJ、垂直方向の座標をIとしたとき、MPEG−4符号化部400の入力ピクチャの画素値をCIN(J,I)とする。また、同様にブロック局所復号化部402の出力ピクチャである再構成ピクチャの画素値をCOUT(I,J)とする。また、「x % y」は、整数xを整数yで除算した際の余りを返す関数とする。
for (I=0;I < y_size -1; I++){
for (J= 0; J < x_size -1; J++){
if (J % 8 == 7){
EDGEin = ABS (CIN(J,I)−CIN(J,I+1));
EDGEout = ABS (COUT(J,I) − COUT(J,I+1));
MSEblk ++ = POWER(EDGEin − EDGEout));}
else{
if( I % 8 == 7){
EDGEin = ABS(CIN(J,I) − CIN(J+1,I));
EDGEout = ABS(COUT(J,I) − COUT(J+1,I));
MSEblk++ = POWER(EDGEin − EDGEout));}
} }
Bcprev = MSEblk/MSEall; …(3)
ここで、MSEallはCIN(J,I)とCOUT(J,I)とのピクチャ全体における差分二乗和である。
MSEall=ΣΣ{CIN(J,I)-COUT(J,I)}2
上記に示した処理(3)は簡単に説明すると次の通りである。なお、DCT変換部404は8×8個の要素(画素or画素の差分)を単位に変換することになるので、ブロック境界位置は、水平、垂直方向の座標I,Jが「8n−1」と「8n」との間になる。上記「J%7=7」や「I%7=7」を満たすとき、ブロック境界を判定していることになる。
オリジナル画像中の水平方向に隣接する2つブロックのそれぞれの境界に位置する要素の差の絶対値と、IDCT409を介して得られた復号後の画像データ内の該当する2つブロックのそれぞれの境界に位置する要素の差の絶対値を求める。そして、その絶対値の差を変数MSEblk(J%8=7場合)に足し込む。また、垂直方向にも2つのブロックが隣接するので、その境界(I%8=7の場合)での歪み量を算出し、MSEblkに足し込む。変数i,jは画像のサイズまで変化することになるわけであるから、最終的に得られるBcprevは、符号化前のピクチャの各ブロック境界の差と、符号化した結果を復号して得られたピクチャの各ブロック境界の差の、「差」の総合計を表わす値と言える。より簡単には、Bcprevは、復号した画像におけるブロックの境界に、どの程度の歪みが発生しているかを示す指標値であると言える。
図6の説明に戻る。図示における閾値Bhigh及び閾値Blowは、共にブロック局所復号化部402(逆量子化部408と逆DCT部409で構成される)から出力される再構成ピクチャの画質劣化の度合いを表す予めシーン目標符号量算出部413に設定する定数である。閾値Bhighは、ブロック歪みによる画質劣化が著しいために、シーン目標符号量算出部413において現在のシーンに対してシーン目標符号量を増加させるか否かを判断する基準値である。一方、閾値Blowは、ブロック歪みによる画質劣化が殆ど発生しておらず、現在のシーンに対してシーン目標符号量を減少させるか否かを判断する基準値である。
更に、参照符号613は、参照符号612で示される各々のピクチャのブロック歪み量をシーン内で平均した値である。シーン目標符号量算出部413において、参照符号613と同様に閾値Bhigh及びBlowを設ける。これら閾値と、シーン内ブロック歪み平均量とを比較することで、次のシーンに対するシーン目標符号量の増減を判断する。
参照番号614は、CBR方式に対する本発明によるシーン目標符号量の余剰符号量の推移を示したものである。余剰符号量は、MPEG符号化部400においてシーンの符号化が完了する毎に余剰符号量算出部414において算出さる。
次に、図6における矢印601乃至608で表される各処理について説明する。
矢印601は、シーン目標符号量算出部413において、シーン0の最後のピクチャであるピクチャNo.2の符号化が完了した後に、シーン1の最初のシーン目標符号量を算出している事を表している。シーン目標符号量算出部413は、シーン0のシーン内平均ブロック歪み量が閾値範囲を下回る(閾値Blowで示される閾値以下)である事から、次のシーン1は、シーン0と同様に符号化難易度が低いピクチャから構成されると予測する。そのため、CBR方式によるシーン目標符号量から、次式で示す通り、シーン内平均ブロック歪み量に応じた符号量を減算してシーン1のシーン目標符号量とする。
T(N)=TCBR − TCBR×γ×Bscene …(4)
ここで、T(N)はシーンNのシーン目標符号量、TCBRはCBR方式によるシーン目標符号量、γは予めシーン目標符号量算出部413に設定する定数、Bscene は、シーンN−1における各ピクチャのブロック歪み量Bcprevの平均値である。
図6の参照番号614の余剰符号量が、ピクチャNo.5の符号化が完了した後に式(4)中の右辺第二項で表されるTCBR×γ×Bsceneの符号量分だけ増加している事が分る。なお、シーケンスの先頭シーンであるシーン0のシーン目標符号量には、それ以前のシーンは存在しないので、CBR方式によるシーン目標符号量を用いる。
矢印602では、矢印601と同様にシーン2のシーン目標符号量がピクチャNo.5の符号化が完了した後に式(4)を用いて算出され、シーン2の先頭ピクチャであるピクチャNo.6がMPEG−4符号化部400において符号化される。しかし、ピクチャNo.6のブロック歪み量Bcprevが閾値Blowより大きい。このため、矢印603において、シーン2のシーン目標符号量がCBR方式のシーン目標符号量に修正され、シーン目標符号量算出部413から新たにピクチャ目標符号量算出部416に出力される。すなわち、シーン2の残りのピクチャであるピクチャNo.7及びNo.8に対してはCBR方式のシーン目標符号量を用いてピクチャ目標符号量が算出される。
次に矢印604では、シーン2のシーン内平均ブロック歪み量が閾値Blowより大きく、閾値Bhighより小さいため、CBR方式の目標符号量が適切であると予測し、シーン3のシーン目標符号量をCBR方式の目標符号量とする。更に矢印605においても、シーン4のシーン目標符号量が矢印604と同様に算出される。
矢印606では、ピクチャNo.12のブロック歪み量Bcprev が閾値Bhighより大きく、かつ余剰符号量が存在するためにシーン4のシーン目標符号量を増加(修整)させている。ただし、余剰符号量が存在しない場合には、たとえブロック歪み量Bcprev が閾値Bhighより大きい場合でも、シーン目標符号量を増加せずに、CBR方式の目標符号量を用いる。
矢印607では、シーン4のシーン内平均ブロック歪み量が閾値Bhighより大きく、かつ余剰符号量が存在するためにシーン5の目標符号量を増加させる。ただし、この場合も矢印606と同様に余剰符号量が存在しない場合には、シーン目標符号量を増加せずCBR方式の目標符号量を用いる。更に、矢印608では、ピクチャNo.15のブロック歪み量Bcprev が閾値Bhighより小さく、かつ閾値Blowより大きいのでシーン5の残りのピクチャに対するシーン目標符号量として、CBR方式の目標符号量を用いる。
以上説明したように本実施形態によれば、画質の劣化具合を表す指標であるブロック歪み量に応じて、シーン目標符号量を制御する。これにより、与えられた目標ビットレートの条件下において符号化難易度が高いシーンにおいても良好な画質の符号化動画像データを得る事が出来る。更には、余剰符号量が存在するシーンに対してのみシーン目標符号量を増加させるので、目標ビットレートとシーケンスの長さから定められる最大発生符号量を保証する事が出来る。
本発明による動画像符号化装置の概略ブロック図である。 従来技術を説明するための図である。 従来技術を説明するための図である。 実施形態における具体的な動画像符号化装置のブロック図である。 シーン分割部のシーン分割の例を示す図である。 実施形態による動画像符号化装置のシーン目標符号量の推移を説明する図である。

Claims (5)

  1. 動画像を符号化する動画像符号化装置であって、
    時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割手段と、
    与えられた量子化スケールを決定するパラメータに従って、入力したピクチャ中の複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化手段と、
    前記符号化手段で生成されるピクチャの符号量を算出すると共に、シーンの総符号量を算出する符号量算出手段と、
    前記符号化手段で生成された符号化データを復号し、復号後のピクチャと符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出すると共に、シーンを構成する各ピクチャ歪み量の平均値を算出するブロック歪み算出手段と、
    前記符号量算出手段で算出した各ピクチャの符号量と、予め設定された目標ビットレートから、各シーンに均等に配分した符号量に対する余剰符号量を算出する余剰符号量算出手段と、
    前記ブロック歪み算出手段で算出された平均値と、前記余剰符号量算出手段で算出した余剰符号量に基づいて目標符号量を算出し、算出した目標符号量に基づいて前記符号化手段に与える次に符号化するシーンの初期のパラメータを決定すると共に、
    シーン内の最初のピクチャの符号量と予め設定した閾値範囲とを比較し、この比較の結果に従って前記初期のパラメータを修整することで、前記シーン内の2番目以降のピクチャの符号化のためのパラメータを決定するパラメータ決定手段と
    を備えることを特徴とする動画像符号化装置。
  2. 前記符号化手段は、MPEG−4に従って符号化することを特徴とする請求項1に記載の動画像符号化装置。
  3. 前記パラメータ決定手段は、前記ブロック歪み算出手段で算出された平均値が予め設定された閾値より大きく、前記余剰符号量算出手段で算出した余剰符号量が予め設定された閾値より大きい場合にのみ、次のシーンの目標符号量を前記平均値に基づいて増加させるための前記初期のパラメータを決定することを特徴とする請求項1又は2に記載の動画像符号化装置。
  4. 前記パラメータ決定手段は、前記ブロック歪み算出手段で算出された平均値が予め設定された閾値以下となった場合にのみ、次のシーンの目標符号量を前記平均値に基づいて減少させるための前記初期のパラメータを決定することを特徴とする請求項1又は2に記載の動画像符号化装置。
  5. 動画像を符号化する動画像符号化装置の制御方法であって、
    時間軸に並んだピクチャで構成される動画像を、予め設定された複数個のピクチャで構成されるシーンに分割する分割工程と、
    与えられた量子化スケールを決定するパラメータに従って、入力したピクチャ中の複数画素で構成されるブロック単位に符号化し、符号化データを生成する符号化工程と、
    前記符号化工程で生成されるピクチャの符号量を算出すると共に、シーンの総符号量を算出する符号量算出工程と、
    前記符号化工程で生成された符号化データを復号し、復号後のピクチャと符号化前のピクチャとの間の、前記ブロックの境界位置における歪み量をピクチャ歪み量として算出すると共に、シーンを構成する各ピクチャ歪み量の平均値を算出するブロック歪み算出工程と、
    前記符号量算出工程で算出した各ピクチャの符号量と、予め設定された目標ビットレートから、各シーンに均等に配分した符号量に対する余剰符号量を算出する余剰符号量算出工程と、
    前記ブロック歪み算出工程で算出された平均値と、前記余剰符号量算出工程で算出した余剰符号量に基づいて目標符号量を算出し、算出した目標符号量に基づいて前記符号化工程に与える次に符号化するシーンの初期のパラメータを決定すると共に、
    シーン内の最初のピクチャの符号量と予め設定した閾値範囲とを比較し、この比較の結果に従って前記初期のパラメータを修整することで、前記シーン内の2番目以降のピクチャの符号化のためのパラメータを決定するパラメータ決定工程と
    を備えることを特徴とする動画像符号化装置の制御方法。
JP2007261243A 2007-10-04 2007-10-04 動画像符号化装置及びその制御方法 Expired - Fee Related JP5032936B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007261243A JP5032936B2 (ja) 2007-10-04 2007-10-04 動画像符号化装置及びその制御方法
US12/234,036 US8792562B2 (en) 2007-10-04 2008-09-19 Moving image encoding apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007261243A JP5032936B2 (ja) 2007-10-04 2007-10-04 動画像符号化装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2009094644A true JP2009094644A (ja) 2009-04-30
JP2009094644A5 JP2009094644A5 (ja) 2010-11-18
JP5032936B2 JP5032936B2 (ja) 2012-09-26

Family

ID=40523221

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007261243A Expired - Fee Related JP5032936B2 (ja) 2007-10-04 2007-10-04 動画像符号化装置及びその制御方法

Country Status (2)

Country Link
US (1) US8792562B2 (ja)
JP (1) JP5032936B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2825937A1 (en) * 2011-01-28 2012-08-02 Eye IO, LLC Encoding of video stream based on scene type
US10165274B2 (en) * 2011-01-28 2018-12-25 Eye IO, LLC Encoding of video stream based on scene type
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
CN104159109B (zh) * 2014-05-28 2018-12-11 百视通网络电视技术发展有限责任公司 基于vbr视频编码的码率控制方法及系统
WO2022135508A1 (en) * 2020-12-23 2022-06-30 Beijing Bytedance Network Technology Co., Ltd. Video decoder initialization information constraints

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63125075A (ja) * 1986-11-14 1988-05-28 Toshiba Corp 画像圧縮装置
JPH104546A (ja) * 1996-06-14 1998-01-06 Sony Corp 画像データ圧縮装置およびその方法
JP2000041240A (ja) * 1998-07-22 2000-02-08 Nec Corp 可変ビットレート符号化装置および方法
JP2002152757A (ja) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 映像信号符号化装置
JP2003158741A (ja) * 2001-11-20 2003-05-30 Hitachi Ltd 動画像符号化装置
JP2005175621A (ja) * 2003-12-08 2005-06-30 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2005323192A (ja) * 2004-05-10 2005-11-17 Seiko Epson Corp 撮影装置およびこれに用いるプログラム並びに画像記憶方法
JP2007081744A (ja) * 2005-09-13 2007-03-29 Canon Inc 動画像符号化装置及び動画像符号化方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3112035A (en) * 1961-07-28 1963-11-26 Drott Mfg Corp Mobile crane
US3268306A (en) * 1962-03-28 1966-08-23 Trw Inc Titanium pretreatment for protective coating of refractory alloys
US3265818A (en) * 1962-05-28 1966-08-09 Ampex Signal system optimization in magnetic tape apparatus for processing continuous nonpictorial wideband signals
US3358620A (en) * 1965-08-24 1967-12-19 Parigi Paolo Drawing board or work table with raisable and inclinable working surface
JP3112035B2 (ja) 1991-10-07 2000-11-27 株式会社日立製作所 動画像圧縮符号化装置及び方法
JP3358620B2 (ja) 1993-04-09 2002-12-24 ソニー株式会社 画像符号化方法及び画像符号化装置
CN1089527C (zh) 1993-04-09 2002-08-21 索尼公司 图像编码方法、图像编码装置及图像记录载体
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
JP3399472B2 (ja) 1994-09-22 2003-04-21 松下電器産業株式会社 記録装置、記録方法、および記録媒体
US5949956A (en) * 1994-09-22 1999-09-07 Matsushita Electric Industrial Co., Ltd. Variable bit rate video encoder, and video recorder, including code amount allocation
EP0804035B1 (en) * 1996-04-25 2002-06-26 Matsushita Electric Industrial Co., Ltd. Moving picture encoding apparatus and method
JP3173369B2 (ja) 1996-04-25 2001-06-04 松下電器産業株式会社 画像圧縮符号化装置
JP4183364B2 (ja) * 1999-12-28 2008-11-19 富士通株式会社 歪補償装置
JP3702778B2 (ja) * 2000-11-27 2005-10-05 ソニー株式会社 画像符号化装置及び方法
US7103102B2 (en) * 2001-06-29 2006-09-05 Equator Technologies, Inc. Bit stream code lookup table for an MPEG-4 code word
JP2003108178A (ja) * 2001-09-27 2003-04-11 Nec Corp 音声合成装置及び音声合成用素片作成装置
US7352809B2 (en) * 2003-02-21 2008-04-01 Polycom, Inc. System and method for optimal transmission of a multitude of video pictures to one or more destinations
KR100505699B1 (ko) * 2003-08-12 2005-08-03 삼성전자주식회사 실시간 가변 비트율 제어로 화질을 개선시키는 비디오인코더의 인코딩율 제어기, 이를 구비한 비디오 데이터전송 시스템 및 그 방법
KR20050022160A (ko) * 2003-08-26 2005-03-07 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
US7778350B2 (en) * 2005-09-28 2010-08-17 Panasonic Corporation Multi-carrier communication device, and multi-carrier communication method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63125075A (ja) * 1986-11-14 1988-05-28 Toshiba Corp 画像圧縮装置
JPH104546A (ja) * 1996-06-14 1998-01-06 Sony Corp 画像データ圧縮装置およびその方法
JP2000041240A (ja) * 1998-07-22 2000-02-08 Nec Corp 可変ビットレート符号化装置および方法
JP2002152757A (ja) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 映像信号符号化装置
JP2003158741A (ja) * 2001-11-20 2003-05-30 Hitachi Ltd 動画像符号化装置
JP2005175621A (ja) * 2003-12-08 2005-06-30 Canon Inc 動画像符号化装置及び動画像符号化方法
JP2005323192A (ja) * 2004-05-10 2005-11-17 Seiko Epson Corp 撮影装置およびこれに用いるプログラム並びに画像記憶方法
JP2007081744A (ja) * 2005-09-13 2007-03-29 Canon Inc 動画像符号化装置及び動画像符号化方法

Also Published As

Publication number Publication date
US20090092191A1 (en) 2009-04-09
US8792562B2 (en) 2014-07-29
JP5032936B2 (ja) 2012-09-26

Similar Documents

Publication Publication Date Title
KR100987765B1 (ko) 동영상 부호화기에서의 예측 수행 방법 및 장치
KR100703200B1 (ko) 인트라 부호화 장치 및 방법
US8179961B2 (en) Method and apparatus for adapting a default encoding of a digital video signal during a scene change period
JP2001169281A (ja) 動画像符号化装置、および動画像符号化方法
KR20070007295A (ko) 비디오 인코딩 방법 및 장치
JP4532980B2 (ja) 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP5032936B2 (ja) 動画像符号化装置及びその制御方法
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP5649296B2 (ja) 画像符号化装置
JP4179917B2 (ja) 動画像符号化装置及び方法
JP2001128179A (ja) 動画像符号化装置および方法
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP2010212785A (ja) 動画像符号化装置及び動画像符号化方法
JP3690259B2 (ja) 動画像高速符号化装置及び動画像高速符号化方法
JP4561701B2 (ja) 動画像符号化装置
JP2008153802A (ja) 動画像符号化装置及び動画像符号化プログラム
JP2008099175A (ja) 動画符号化装置および動画符号化方法
JP4429516B2 (ja) 画像符号化装置
JP4243472B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2008245237A (ja) 画像処理方法、画像処理装置およびそれを用いた撮像装置
JP2000023155A (ja) 動画像符号化装置
JP5272940B2 (ja) 画像符号化装置
JP5943757B2 (ja) 画像符号化装置及びその方法
Hsia et al. High-performance adaptive group-of-picture rate control for H. 264/AVC
JP6016484B2 (ja) 符号化装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111007

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120629

R151 Written notification of patent or utility model registration

Ref document number: 5032936

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees