JP2006270435A - 動画像符号化装置 - Google Patents

動画像符号化装置 Download PDF

Info

Publication number
JP2006270435A
JP2006270435A JP2005084775A JP2005084775A JP2006270435A JP 2006270435 A JP2006270435 A JP 2006270435A JP 2005084775 A JP2005084775 A JP 2005084775A JP 2005084775 A JP2005084775 A JP 2005084775A JP 2006270435 A JP2006270435 A JP 2006270435A
Authority
JP
Japan
Prior art keywords
frame
scene
unit
scene change
prediction mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005084775A
Other languages
English (en)
Inventor
Hiroshi Mori
弘史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005084775A priority Critical patent/JP2006270435A/ja
Priority to EP20050102419 priority patent/EP1705925A2/en
Priority to US11/092,165 priority patent/US20060215759A1/en
Publication of JP2006270435A publication Critical patent/JP2006270435A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 符号化における演算量を低減させる動画像符号化装置を提供する。
【解決手段】 動画像符号化装置においては、フレームが時系列的に入力され、シーンチェンジが検出される。同一或いは類似シーンを識別するシーン番号が各フレームに付与され、新たなシーンが出現する場合には、新たなシーン番号が付与される。同一シーン番号が付され、連続して入力されるフレームは、インター予測モードで符号化され、シーンチェンジの後に入力されるフレームは、シーン番号で参照フレームが検索され、参照フレームがない場合には、イントラ予測モードで符号化される。参照フレームがある場合には、当該フレームが符号化コストを最小とするイントラ予測モード及びインター予測モードのいずれか一方で符号化される。
【選択図】 図1

Description

この発明は、動画像を符号化する動画像符号化装置に係り、特に、動画像を符号化するに際して動き推定に係る処理量を軽減することができる動画像符号化装置に関する。
動画の符号化・復号化技術は、近年、ますます進化しつつある。これは、動画像の高品質化が進み、情報量が多くなったこと、また、有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。
動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また、伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として国際標準として認められているH.264/AVC(Advanced video coding)と称せられる技術(以下単にH.264と称する。)があり、この動画像の符号化・復号化技術は、例えば、非特許文献1に開示されている。
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003,Overview of the H.264/AVC Video Coding Standard, ThomasWiegand
一般に、ビデオ信号(映像信号)を符号化する動画像符号化装置では、1又は複数の参照フレーム(画像)を基準としてインター(Inter)予測することで画像データを圧縮符号化している。動画像符号化規格の一つであるH.264規格では、複数の参照フレームを用いてインター予測できることから、動き予測のための演算が膨大となっている。
このようなH.264規格に準拠した動画像符号化装置では、シーンチェンジが発生したフレームをIDR(Instantaneous Decoding Refresh)フレームとすることで参照フレームを初期化できる。しかし明暗が繰り返されるようなフラッシュ或いは同一シーンが繰り返される映像が含まれるシーケンスでは、IDRフレーム以前のフレームが参照できなくなる問題があるため、全てのシーンチェンジをIDRフレームとすると符号化効率が劣化する。
また、H.264規格では、MPEG−4のようにイントラマクロブロック(Intra MB)を挿入しないため、IDRフレームを周期的に挿入する必要があるが、必ずしもシーンチェンジをIDRフレームにする必要がないとされている。
以上のような状況に伴い、動き推定に係る処理量、特に、シーンチェンジ後のフレームにおける動き推定を削減することができる動画像符号化装置が望まれている。
本発明は、上記問題点を解決するためになされてものであり、その目的は、動画の符号化に際して演算量を低減することができる動画像符号化装置を提供することにある。
この発明によれば、
時系列的に入力され、動画像を構成するフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン識別子を各フレームに付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン識別子で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記シーンチェンジ間に入力される前記フレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン識別子で前記参照フレームを検索し、当該シーン識別子で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン識別子で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置が提供される。
また、この発明によれば、
時系列的に入力され、動画像を構成するフレーム番号で特定されるフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン番号を各フレームに付与するシーンチェンジ検出部であって、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがあれば、当該シーンと同一のシーン番号を付与し、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがなく、新たなシーンが出現する場合には、新たなシーン番号を付与するシーンチェンジ検出部と、
前記各シーンに属するフレームを前記シーン番号及びフレーム番号で特定される参照フレームとして格納する格納部と、
イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
前記同一シーン番号が付され、連続して入力されるフレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン番号で前記参照フレームを検索し、当該シーン番号で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン番号で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
を具備することを特徴とする動画像符号化装置が提供される。
シーンチェンジ後のフレームにおける動き推定に係る処理量を削減することができる動画像符号化装置を提供することができる。
以下、必要に応じて図面を参照しながら、この発明の一実施の形態に係る動画像符号化装置を説明する。
図1は、この発明の1実施例に係る映像信号(ビデオ信号)をH.264規格に従って可変長符号化する動画像符号化装置を示すブロック図である。この動画像符号化装置には、図2に示されるようにフレームで構成される映像信号(ディジタル化ビデオ信号)が入力される。
始めに、この発明の動画像符号化装置の基本的な発明者の着想に関して図1及び図2を参照して説明する。
H.264規格に準拠した動画符号化装置では、複数の参照フレームからインター(Inter)予測を行うことができるとされている。具体的には、符号化すべきフレームを基準として前後16枚のフレームを参照することができる。これら全ての参照フレーム中から参照対象のブロックを決定し符号化を行う動き推定では、通常、膨大な演算量が必要とされる。そこで、図2に示されるように、時系列的に図1に示す動画像符号化装置に入力されるフレームをシーン毎のグループに分類し、同一シーンに属するフレームには、同一シーン番号を与え、このシーン番号に基づいて動き推定を行う。
また、シーンチェンジが発生し、シーンチェンジ以降のフレームの動きを推定する場合は、シーンチェンジ直前の参照フレームが属するシーンのフレームが参照候補から除外することで動き推定に必要とされる演算量を低減させることができる。即ち、入力されたフレーム毎にシーン番号が付され、同一シーンには、フレームに同一シーン番号が付され、異なるシーンでは、フレームに異なるシーン番号が付されるので、このシーン番号が参照されてシーン内で動き推定するか或いは当該シーンに類似したシーンを検索してそのシーンに属するフレームから動き推定かが決定されている。
ここで、シーンとは、動画における各場面を意味し、シーンチェンジは、場面の切り替わりを意味し、例えば、明暗が繰り返されるようなフラッシュ或いは同一シーンが繰り返される映像が含まれるシーケンスでは、シーンチェンジが起きても再び元のシーンに戻される場合が多い。
以上のようにシーンチェンジを検出した動き予想(ME)では、参照フレームを絞り込むことで処理量を削減することができる。これにより処理量が低減したフレームでは、高度な動き推定或いはモード選択等を用いることができることとなる。
図1に示される動画像符号化装置では、上述の着想を基に、その入力側にシーンチェンジを検出するシーンチェンジ検出部101が設けられている。
例えば、時間の経過とともに図2に示されるようにフレームFR0〜FR5が次々にこのシーンチェンジ検出部101に入力され、シーンチェンジ検出部101でシーンの切り替わり(シーンチェンジ)の検出が行われる。シーンチェンジ検出部101では、フレームFR0〜FR5の入力順序に従ってフレーム番号が付されるとともにフレーム番号に関連づけられてシーン番号が与えられている。
シーンチェンジ検出部101にフレームF0,FR1が入力されると、フレームFR0,FR1に対してフレーム番号,10とフレームFR0,FR1属するシーンを示すシーン番号0が与えると共に、フレーム番号0がシーン番号0に属する旨を符号化制御部106に通知する。
続いてフレームFR2が入力されると、このフレームFR2にフレーム番号2を与えると共に、フレームFR1、FR2間の相関を判断し、フレームFR1とフレームFR2の間(図2のT1)でシーンチェンジが生じていると判断すると、フレーム番号2のフレームFR2には、更新されたシーン番号1が与えられる。そして同様に、フレーム番号2がシーン番号1に属する旨を符号化制御部106に通知する。
また、フレームFR2に続いてフレームFR3が入力されると、このフレームFR3にフレーム番号3を与え、更にフレームFR2、FR3間の相関を判断する。ここで、シーンチェンジが生じていないと判断されると、フレーム番号3のフレームFR3には、シーン番号が更新されず、シーン番号1が与えられる。
以後同様の判断を行って、フレームFR4とフレームFR5にフレーム番号とシーン番号が付与される。
なお、図2ではフレームFR4とフレームFR5の間(図2のT2)でもシーンチェンジが生じているが、ここでは、フレーム番号5のフレームFR5にシーン番号の付与は、新たな番号が与えるに先立ってフレームFR5が属するシーンがあるか否かが判断される。
即ち、フレームFR5は、フレームFR4との間に相関がないと判断される場合には、フレームFR4が属するシーン以外の他のシーンに属するフレームと比較される。ここで、フレームFR5が他のシーンに属するフレームと相関があると判断されれば、そのフレームが属するシーンのシーン番号、例えば、シーン番号0が与えられる。フレーム番号5がシーン番号0番に属する旨が符号化制御部106に与えられる。
上述したようにシーンチェンジ検出部101においては、フレーム番号nが与えられたフレームFRは、フレーム番号(nー1)が付され、シーン番号mに属するフレームFRと比較されてシーンチェンジが生じていることが判別される。そして、シーンチェンジが生じている場合には、フレーム番号nが与えられたフレームFRは、シーン番号mに属するフレームFRを参照候補とせずに、他のシーン番号(m―1,m−2・・・m−k(kは整数))で指定されるシーンに属するフレームFRと比較されてある一定の相関があれば、同一シーンと判断してそのシーン番号が与えられ、後述のように、同一シーンと判別された場合には、そのシーンに属するフレームが参照フレーム候補に指定されて動き推定が実施される。
シーンチェンジ検出部101からは、フレームFR1〜FR5が次々と減算部102を介して周波数変換及び量子化部104に供給され、周波数変換処理及び量子化処理が実施される。即ち、周波数変換及び量子化部104に入力されたフレームFRには、符号化制御部106の制御下でフレームの最小単位であるブロック毎に直交変換(周波数変換演算)が施されて周波数変換係数が求められ、更にこの周波数変換係数に量子化処理が施される。そして、量子化された周波数変換係数は、エントロピー符号化部(可変長符号化部)105へと供給される。エントロピー符号化部(可変長符号化部)105では、符号化制御部106の制御下で量子化された周波数変換係数を可変長符号化し、符号化情報を符号化ビットストリームとして出力する。
一方、周波数変換及び量子化部104から出力された量子化周波数変換係数は、逆量子化及び逆周波数変換部107にも入力され、逆量子化並びに逆周波数変換されてマクロブロック単位で加算器108に供給される。加算器108では、マクロブロック単位で供給されるローカルデコード画像信号にスイッチ103からの予測画像信号と加算されてローカル復号化信号としてデブロッキングフィルタ109に出力される。
デブロッキングフィルタ109では、ローカル復号化信号中に生じているブロック間の歪みがフィルター処理され、このローカル復号化信号が参照フレームとしてフレーム単位でフレームメモリ111に格納される。
新たにシーンチェンジ検出部101から出力されたフレームFRは、動きベクトル検出部112にも与えられて動きベクトルが検出される。検出された動きベクトルは、動き補償部110に与えられるとともにエントロピー符号化部(可変長符号化部)105に与えられる。
動き補償部110では、フレームメモリ111に格納されている参照フレームを参照して動きベクトルに基づいて予測フレームを生成し、スイッチ103を介して減算部102に与える。
減算部102では、新たに入力されたフレームFRと動き補償部110からの予測フレームとの差分データをブロック単位で求めて周波数変換及び量子化部104に与える。そして上記の通り量子化された周波数変換係数が求められる。
シーン検出部101でシーンチェンジが検出され、新たなシーンに係るフレームFRが検出されて新たなシーン番号が与えられた場合には、符号化制御部106は、相関の高いフレームFRがないものとしてスイッチ103を切り替えて画面内圧縮処理(イントラ予測処理)を実行する。
画面内圧縮処理(イントラ予測処理)では、画面内で予測されるフレーム内の予測マクロブロックと新たに入力されるマクロブロックとの差分データが求められて周波数変換及び量子化部104に入力される。周波数変換及び量子化部104では、ブロック単位の差分データ単位で直交変換(周波数変換演算)して周波数変換係数を求め、この周波数変換係数に量子化処理を行って量子化された周波数変換係数を求める。その後、この量子化された周波数変換係数は、逆量子化及び逆周波数変換部107で逆量子化並びに逆周波数変換されてブロック単位で加算器108に供給される。
加算器108では、スイッチ103からのブロック単位の予測画像信号と加算されてローカル復号化信号として加算部108を介して画面内予測部113に供給され、ブロック単位の予測画像が生成される。生成されたブロックの画像は、減算部102で次のブロックの画像と比較され、その差分が周波数変換及び量子化部104に供給されて周波数変換並びに量子化される。この処理の繰り返しで、あるブロックの周囲にあるマクロブロックとの相関が取られてフレーム内或いはスライス内でフレーム内符号化される。周波数変換及び量子化部104から出力される量子化された周波数変換係数は、エントロピー符号化部105で可変長符号化されてビットストリームのペイロードとして出力される。
画面内圧縮処理(イントラ予測処理)の情報は、エントロピー符号化部105に与えられて付加情報として可変長符号化されてペイロードとともに出力される。
図1に示すシーンチェンジ検出部101は、例えば、図3に示すように構成されてフレーム番号に関連付けられてシーン番号が発生される。即ち、図2に示すように映像信号としてフレームFR0、FR1がシーンチェンジ検出部101に入力されると、一時的にフレームFR0、FR1がバッファ部201に格納される。フレームFR0、FR1は、SAD計算・比較部202で両フレームFR0、FR1の互いに対応するマクロブロックが比較されてマクロブロック毎にその差が算出され、その差の絶対値が加算されて絶対値誤差和(SAD:Sum of Absolute Difference)が求められる。この絶対値誤差和(SAD)が参照値Ref 1と比較され、この参照値Ref 1よりも絶対値誤差和が大きければ、シーンチェンジと判断され、この参照値Ref 1よりも絶対値誤差和が小さければ、シーンチェンジなしで同一シーンと判断される。この判別結果は、SAD計算・比較部202から比較信号としてシーン比較部203に供給される。フレームFR0、FR1が同一シーンであれば、同一シーン判別信号がシーン比較部203に与えられ、フレームFR0は、シーン比較部203を介して減算部102に供給される。フレームFR0を減算部102に供給するに際してシーン比較部203は、符号化制御部106にシーン番号0、フレーム番号0のデータを与える。同様にフレームFR1がシーン比較部203から減算部102に供給されるに際しても、シーン比較部203は、符号化制御部106にシーン番号0、フレーム番号1のデータを与える。
フレームFR1に続いてフレームFR2がバッファ部201に供給されて両者のマクロブロックが比較されて絶対値誤差和(SAD)が参照値Ref 1より大きい場合には、フレームFR1とフレームFR2との間でシーンチェンジが生じたとして比較信号としてシーンチェンジ信号がシーン比較部203に与えられる。従って、シーン比較部203において、フレームFR2は、他のシーンの代表的フレームが格納されているフレームメモリ204内のフレームと次々に比較される。この比較は、フレームFR2と比較されるフレームとの絶対値誤差和(SAD)を求めて参照値Ref 2よりも小さければ、両者のフレームは、類似したシーンに属すると判断される。シーン比較部203でフレームFR2のシーンに類似したフレームがなければ、新たなシーン番号1がフレームFR2に与えられる。このシーン番号1及びフレーム番号2は、符号化制御部106に供給されるとともにその新たなシーン番号1のフレームFR2がフレームメモリ204に格納されるとともにフレームFR2がシーン比較部203から減算部102に供給される。
フレームFR3、FR4については、フレームFR2と同様に同一シーンに属するものとして処理され、シーン比較部203からフレーム番号FR3,FR4及びシーン番号1が符号化制御部106に供給されるとともにフレームFR3、FR4が次々に減算部102に供給される。フレームFR5がバッファ部201に供給されると、絶対値誤差和(SAD)が参照値Ref 1より大きくなり、シーンチェンジ信号がシーン比較部203に供給される。シーン比較部203においては、フレームFR5がフレームメモリ204内のフレームFR1と近似していると判断される場合には、フレームFR5が減算部102に供給されるに伴い類似するシーン番号0及びフレーム番号5が符号化制御部106に供給される。
図4のフローチャートを参照して図1に示される符号化装置における符号化制御部106が制御する符号化処理の動作について説明する。
図2に示すフレームFR1〜FR5が,シーンチェンジ検出部101に次々に符号化装置に入力されると、図4のステップS12に示されるように始めに符号化すべきフレームが参照すべき参照シーンが検出される。符号化制御部106は、ステップS14に示されるようにシーンチェンジが生じていなければ、当該フレームFRが前フレームと同一シーンであり、参照シーンがあるとしてステップS28に移行する。ステップS14において、シーンチェンジが生じているが、当該フレームFRが属するシーンのフレームがフレームメモリ204に格納されていれば、同様に、参照シーンがあるとしてステップS28に移行する。ステップS14において、シーンチェンジが生じ、しかも、図3に示すフレームメモリ204に参照対象とされる類似のシーンがないと判断される場合には、ステップS16に移行する。
ステップS16においては、符号化制御部106は、当該符号化すべきフレームに新規なシーン番号を設定する。次に,画像をブロックに分割し,ブロック毎にステップS18において,イントラ予測部113による予測誤差と,エントロピー符号化部105による発生符号量の関係から,コストを最小とするイントラ予測の予測モードを決定する。
ここで、コストとは、コスト関数で定義され、符号化モードを決定する為のパラメータで一般に以下の式が用いられる。
コスト関数=D+λ・R
Dは、歪み(Distortion)を表し、絶対誤差和(SAD:Sum of Absolute Difference)、二乗誤差和(SSD:Sum of Square Difference)のいずれかが用いられる。SSDは、予測誤差の夫々を2乗し、その総和を算出したものである。λは、ビットレートで定まる定数(ラグランジュ乗数)及びRは、イントラ予測ならばイントラ予測モードを符号化する為の発生符号量(Generated Bit)を表し,インター予測ならば動きベクトル(MV)及び参照フレームを符号化する為の発生符号量を表し、符号化対象ブロックを当該候補モードで符号化した場合の発生ビットを表している。各予測モードに対して上記コストを算出し、コストを最小とする予測モードの組み合わせが最適なパラメータ値とされる。
次にステップ20において,ステップS14にて,参照すべきフレームがないと判定されているため,インター予測は行われず,ステップ18にて決定されたイントラ予測モードが,そのままコストを最小とする予測方式として選択される.
ステップS22では、ステップS20で選択された予測モードでブロックがエンコードされる。即ち、周波数変換及び量子化部104により,周波数変換(trans:transform)及び量子化(Quant: quantum)が実行されて当該マクロブロックの周波数変換係数が求められる。その後、符号化制御部106により,ステップS24において符号化すべきフレームFRの全てのブロックに関しての符号化処理が終了したかが確認され、終了していなければ、ステップS18に戻される。フレームFRの全てのブロックに関しての符号化処理が終了していれば、ステップS26に進められ、次のフレームFRの処理の為にステップS12に戻される。
符号化制御部106は,ステップS14において、シーンチェンジがなく、当該フレームFRが前フレームと同一シーンである場合には、或いは、シーンチェンジが生じているが、当該フレームFRが属するシーンのフレームがシーンチェンジ検出部101のフレームメモリ204にあれば、同様に、参照シーンがあるとしてステップS28に移行する。ステップS28に示されるように当該フレームFRに参照されるべきフレームが属するシーン番号が設定される。次に、ステップS30において、フレームメモリ111に格納され、あるフレーム番号nが付されたフレームFRのシーン番号が当該フレームFRに設定されたシーン番号と同一かが確認される。同一のシーンでなければ、ステップS34に示されるように新たなフレームに変更される。この選定されたフレームFRがフレームメモリ111に格納されN枚を超えていなければ、再びステップS30に戻され、選定されたフレームFRのシーンが現フレームFRのフレームと同一であるかが確認される。
符号化制御部106は、画像をブロックに分割し、ブロック毎にステップS30において、選定されたフレームFRのシーンが現フレームFRのシーンと同一であれば、動きベクトル検出部112が、ステップS32において、コストを最小とする動きベクトル(MV)を決定する。このコストは、動き補償部110による予測誤差と,エントロピー符号化部105による動きベクトル(MV)と参照フレームの発生符号量から、算出される。この参照フレームのフレーム番号と決定された動きベクトル(MV)は、符号化制御部106により,後の比較の為に一時記憶される。ステップS34において、新たなフレームに変更される。この選定されたフレームFRがフレームメモリ111に格納されN枚を超えていなければ、再びステップS30に戻され、選定されたフレームFRのシーンが現フレームFRのフレームと同一であるかが確認される。同一シーンのフレームFRがあれば、これを参照フレームとしてコストを最小とする動きベクトル(MV)が動きベクトル検出部112により決定される。シーン番号が同一のフレームが複数ある場合には、ステップS32において、コストともに複数の参照フレームのフレーム番号と複数の決定された動きベクトル(MV)が一時記憶される。
ステップS36において、N枚の参照フレームについての同一シーンの検索が終了されると、一次記憶されている複数のコストが比較され、ステップS38に示すようにコストが最小の参照フレーム及び動きベクトル(MV)が決定される。従って、インター予測のための参照フレーム及び動きベクトル(MV)が決定される。
次に、ステップS40において、比較のためにコストを最小とするイントラ予測が決定される。ステップS42において、ステップS40で決定されたインター予測のコストとステップS42で決定されたイントラ予測のコストとが比較され、コストを最小とする予測モードが選択される。イントラ予測が決定された場合には、図1に示されるスイッチ103が画面内予測部113側に切り替えられ、インター予測が決定されると、図1に示されるスイッチ103が動き補償部110に切り替えられる。
ステップS44では、ステップS42で選択された予測モードでブロックがエンコードされる。即ち、周波数変換及び量子化部104により,周波数変換(trans:transform)及び量子化(Quant:quantum)が実行されて当該ブロックの周波数変換係数が求められる。その後、ステップS46において符号化すべきフレームFRの全てのブロックに関しての符号化処理が終了したかが確認され、終了していなければ、ステップS30に戻される。フレームFRの全てのブロックに関しての符号化処理が終了していれば、ステップS26に進められ、次のフレームFRの処理の為にステップS12に戻される。
以上のようにシーンチェンジ検出後における動き推定(ME:motion estimation)においては、参照フレームを絞り込むことによって処理量を削減することができる。これにより処理用が低減したフレームでは、高度な動き推定或いはモード選択を採用することができる。
サーチ範囲がR×R、N枚の参照フレームについて動き推定する動画像符号化装置(エンコーダ)では、最大参照画素数がR×R×Nとなり、1枚のフレームの符号化におけるサーチ範囲がr=sqrt(R×R×N/n)となる。ここで、nは、実際に動き推定する参照枚数(n<=N)である。
ツーパス(Two Pass)符号化処理では、フレーム間に周期性ある場合には、Non-IDR(Non Instantaneous Decoding Refresh)フレームでシーンチェンジ前のフレームがフレームメモリに保存され、周期性がなければIDRフレームとすることが好ましく、この処理により符号化の効率を向上することができる。
以上のように、この発明によれば、シーンチェンジ後のフレームにおける動き推定に係る処理量を削減することができる動画像符号化装置を提供することができる。
この発明の一実施例に係る動画像符号化装置を示すブロック図である。 図1に示される動画像符号化装置で符号化される動画フレームの例を示す模式図である。 図1に示すシーンチェンジ検出回路の一例を示すブロック図である。 図1に示した動画像符号化装置における動画像の符号化の過程を示すフローチャートである。
符号の説明
101...シーンチェンジ検出部、102...減算部、103...スイッチ、104...量子化部、105...エントロピー符号化部、106...符号化制御部、108...加算部、109...デブロッキングフィルタ、110...動き補償部、111...フレームメモリ、112...動きベクトル検出部、

Claims (9)

  1. 時系列的に入力され、動画像を構成するフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン識別子を各フレームに付与するシーンチェンジ検出部と、
    前記各シーンに属するフレームを前記シーン識別子で特定される参照フレームとして格納する格納部と、
    イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
    前記シーンチェンジ間に入力される前記フレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン識別子で前記参照フレームを検索し、当該シーン識別子で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン識別子で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
    を具備することを特徴とする動画像符号化装置。
  2. 前記シーンチェンジ検出部は、
    連続して入力されるフレームの相関からシーンチェンジを検出して比較信号を発生する相関比較部と、
    前記識別子で特定される前記シーンに属するフレームを比較画像として格納するメモリと、
    このメモリ中の比較画像と前記シーンチェンジ後のフレームとを比較して当該フレームにシーン識別子を付与するシーン比較部と、
    を具備することを特徴とする請求項1の動画像符号化装置。
  3. 前記シーンチェンジ検出部は、入力されるフレームの順序に従ってフレーム番号を付与し、前記シーン識別子は、フレーム番号毎に付与されることを特徴とする請求項1の動画像符号化装置。
  4. 前記符号化部は、
    予測画像と前記フレームとの差分をマクロブロック単位で符号化して符号化データを出力する変換部と、
    前記予測画像を参照して前記符号化データを前記参照フレームに逆変換する逆変換部と、
    入力されたフレームの動きベクトルを検出する動きベクトル検出部と、
    前記参照画像及び前記動きベクトルを参照して逆変換された参照フレームを動き補償して前記予測画像を生成する動き補償部と、
    を含むことを特徴とする請求項1の動画像符号化装置。
  5. 前記格納部は、前記逆変換部から出力されるフレームを前記参照画像として格納することを特徴とする請求項1の動画像符号化装置。
  6. 時系列的に入力され、動画像を構成するフレーム番号で特定されるフレームからシーンチェンジを検出し、このシーンチェンジの検出に応答して同一或いは類似シーンを識別するシーン番号を各フレームに付与するシーンチェンジ検出部であって、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがあれば、当該シーンと同一のシーン番号を付与し、前記シーンチェンジ前の所定範囲に同一或いは類似シーンがなく、新たなシーンが出現する場合には、新たなシーン番号を付与するシーンチェンジ検出部と、
    前記各シーンに属するフレームを前記シーン番号及びフレーム番号で特定される参照フレームとして格納する格納部と、
    イントラ予測モード及びインター予測モードのいずれか一方のモードに設定する設定部と、
    前記同一シーン番号が付され、連続して入力されるフレームをインター予測モードで符号化し、前記シーンチェンジに続いて入力されるフレームに付与されるシーン番号で前記参照フレームを検索し、当該シーン番号で特定される参照フレームがない場合には、当該シーンチェンジに続いて入力されるフレームをイントラ予測モードで符号化し、当該シーン番号で特定される参照フレームがある場合には、当該シーンチェンジに続いて入力されるフレームの符号化を前記インター予測モード及びイントラ予測モードの一方であって、符号化コストを最小とするように前記イントラ予測モード及びインター予測モードのいずれか一方の符号化モードで当該フレームを符号化する符号化部と、
    を具備することを特徴とする動画像符号化装置。
  7. 前記シーンチェンジ検出部は、
    連続して入力されるフレームの相関が閾値と比較され、相関が閾値以下である場合には、前記シーンチェンジの検出としてシーンチェンジ信号を発生する相関比較部と、
    前記シーン番号で特定される前記シーンに属するフレームを比較画像として格納するメモリと、
    このメモリ中の比較画像と前記シーンチェンジ後のフレームとを比較して同一或いは類似していれば前記比較画像と同一のシーン番号を付与するシーン比較部と、
    を具備することを特徴とする請求項6の動画像符号化装置。
  8. 前記符号化部は、
    予測画像と前記フレームとの差分をマクロブロック単位で符号化して符号化データを出力する変換部と、
    前記予測画像を参照して前記符号化データを前記参照フレームに逆変換する逆変換部と、
    入力されたフレームの動きベクトルを検出する動きベクトル検出部と、
    前記参照画像及び前記動きベクトルを参照して逆変換された参照フレームを動き補償して前記予測画像を生成する動き補償部と、
    を含むことを特徴とする請求項1の動画像符号化装置。
  9. 前記格納部は、前記逆変換部から出力されるフレームを前記参照画像として格納することを特徴とする請求項1の動画像符号化装置。
JP2005084775A 2005-03-23 2005-03-23 動画像符号化装置 Pending JP2006270435A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005084775A JP2006270435A (ja) 2005-03-23 2005-03-23 動画像符号化装置
EP20050102419 EP1705925A2 (en) 2005-03-23 2005-03-24 Motion compensation using scene change detection
US11/092,165 US20060215759A1 (en) 2005-03-23 2005-03-28 Moving picture encoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005084775A JP2006270435A (ja) 2005-03-23 2005-03-23 動画像符号化装置

Publications (1)

Publication Number Publication Date
JP2006270435A true JP2006270435A (ja) 2006-10-05

Family

ID=36648684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005084775A Pending JP2006270435A (ja) 2005-03-23 2005-03-23 動画像符号化装置

Country Status (3)

Country Link
US (1) US20060215759A1 (ja)
EP (1) EP1705925A2 (ja)
JP (1) JP2006270435A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141874A1 (en) * 2003-01-15 2004-07-22 Phillip Mullinax System and apparatus for ozonating air and water for animal confinement houses
JP4668767B2 (ja) * 2005-10-31 2011-04-13 富士通セミコンダクター株式会社 動画像符号化装置及び動画像符号化プログラム
WO2007063922A1 (ja) * 2005-11-29 2007-06-07 Kyocera Corporation 通信端末および通信システム、並びに通信端末の表示方法
US8208548B2 (en) * 2006-02-09 2012-06-26 Qualcomm Incorporated Video encoding
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
CN101087438A (zh) * 2006-06-06 2007-12-12 安捷伦科技有限公司 计算无参考视频质量评估的分组丢失度量的系统和方法
KR101375669B1 (ko) * 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
JP4875007B2 (ja) * 2007-02-09 2012-02-15 パナソニック株式会社 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
US20090238268A1 (en) * 2008-03-20 2009-09-24 Mediatek Inc. Method for video coding
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
US20140321541A1 (en) * 2013-04-30 2014-10-30 Motorola Solutions, Inc. Method and apparatus for capturing an image
JP2018191136A (ja) * 2017-05-02 2018-11-29 キヤノン株式会社 符号化装置、符号化方法およびプログラム
CN113542744A (zh) * 2021-07-09 2021-10-22 杭州当虹科技股份有限公司 基于动态hdr场景切换的编码方法
US11935253B2 (en) * 2021-08-31 2024-03-19 Dspace Gmbh Method and system for splitting visual sensor data

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP3063715B2 (ja) * 1997-12-19 2000-07-12 日本電気株式会社 画像圧縮装置
US6563549B1 (en) * 1998-04-03 2003-05-13 Sarnoff Corporation Method and apparatus for adaptively encoding an information stream
JP3939551B2 (ja) * 1999-08-24 2007-07-04 富士通株式会社 動画像処理装置、その方法、及び記録媒体
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
JP3690259B2 (ja) * 2000-09-27 2005-08-31 日本電気株式会社 動画像高速符号化装置及び動画像高速符号化方法
EP1244311A3 (en) * 2001-03-22 2004-10-06 Sony Corporation Picture encoding
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법

Also Published As

Publication number Publication date
US20060215759A1 (en) 2006-09-28
EP1705925A2 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
JP2006270435A (ja) 動画像符号化装置
US8553779B2 (en) Method and apparatus for encoding/decoding motion vector information
KR101422422B1 (ko) Dmvd 처리 향상을 위한 시스템 및 방법
US20120027092A1 (en) Image processing device, system and method
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
WO2012095466A1 (en) Video encoding and decoding with improved error resilience
JP2010081465A (ja) 動画像符号化方法および動画像復号化方法
JP2007166039A (ja) 画像符号化装置
US20110243227A1 (en) Moving picture decoding method and device, and moving picture encoding method and device
JP2008227670A (ja) 画像符号化装置
US8228985B2 (en) Method and apparatus for encoding and decoding based on intra prediction
KR20190029753A (ko) 예측 파라미터들에서의 데이터 숨김을 위한 방법 및 장치
KR101364532B1 (ko) 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
WO2016116984A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP5649296B2 (ja) 画像符号化装置
JP2008011431A (ja) 画像符号化装置
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
JP4713972B2 (ja) 符号化装置
JP6259272B2 (ja) 映像符号化装置及び映像符号化プログラム
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP5832263B2 (ja) 画像符号化装置及び画像符号化方法
WO2005004487A1 (ja) 画像符号化装置及び画像符号化方法
CA2726973C (en) Method and device for motion vector estimation in video transcoding using union of search areas
US10148954B2 (en) Method and system for determining intra mode decision in H.264 video coding
JP2009194474A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080909