JP2010004142A - 動画像符号化装置、復号化装置、符号化方法及び復号化方法 - Google Patents

動画像符号化装置、復号化装置、符号化方法及び復号化方法 Download PDF

Info

Publication number
JP2010004142A
JP2010004142A JP2008159446A JP2008159446A JP2010004142A JP 2010004142 A JP2010004142 A JP 2010004142A JP 2008159446 A JP2008159446 A JP 2008159446A JP 2008159446 A JP2008159446 A JP 2008159446A JP 2010004142 A JP2010004142 A JP 2010004142A
Authority
JP
Japan
Prior art keywords
image
unit
substitute
alternative
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008159446A
Other languages
English (en)
Inventor
Muneaki Yamaguchi
宗明 山口
Masashi Takahashi
昌史 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2008159446A priority Critical patent/JP2010004142A/ja
Priority to US12/369,921 priority patent/US20090316787A1/en
Publication of JP2010004142A publication Critical patent/JP2010004142A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】高圧縮、ランダムアクセス可能であって一時的な復号化の破綻を解消する符号化、復号化技術を提供すること。
【解決手段】動画像符号化装置100は、入力画像の処理対象領域の代替画像を生成する代替画像生成部108と、予測部102で用いた参照画像に応じて代替画像の情報を出力する代替画像選択部109を有する。代替画像選択部109は、予測部102で用いた参照画像が過去に符号化した画像である場合、生成した代替画像の情報を可変長符号化部104へ出力する。可変長符号化部104は、変換量子化部103からの差分画像データを可変長符号化し、これに代替画像の情報を格納して符号化ストリームを生成する。
【選択図】図1

Description

本発明は、動画像を高圧縮で好適に符号化、復号化する符号化、復号化装置及び方法に関する。
従来のMPEG−2に代表される画像符号化技術では、画像情報が一般的に持つ特性、すなわち隣接画素間とフレーム間に高い相関を持つという特性を利用し、更に人間の視覚にとって変化を知覚しにくい高周波成分などの冗長な情報を削減することにより、広い伝送帯域にある入力映像を、低い伝送帯域に適用させることができるようにしている。
近年では、ISO/MPEGとITU−T/VCEGの共同プロジェクトによって策定されたH.264/AVC動画像符号化方式により、高い符号化効率が得られ広く使用されるに至っている。H.264/AVCではマクロブロックと呼ばれる16×16画素ブロック単位で符号化処理を行う。画面内あるいは画面間予測においては、16×16画素や4×4画素、8×8画素等にマクロブロックをブロック単位に分割し、各ブロック単位で予測処理にて符号化を行うことが規定されている。この技術によると、入力画像の細かな動きあるいは模様に応じて、これら多数の予測モードを使い分けることによって、符号化効率を向上することができる。
一般的に、画面内予測と画面間予測を比較すると、画面間予測がより高い精度の予測値が得られる。そのため、画面間予測の使用率を増加することで圧縮率の向上を図ることができる。ただし、画面間予測は他の画面(参照画面)を予測値として使用するため、予測に使用した画面が復号化されていない場合正常に復号化ができない。例えば、先頭のピクチャのみをIピクチャとし、その他のピクチャは画面間予測を含むピクチャ(Pピクチャ)として構成すれば、最も高い圧縮率を実現できる。しかしながらこの場合には、ストリーム途中位置からの再生、すなわちランダムアクセス再生が不可能になる。そこでランダムアクセス再生を可能とするため、画面内予測のみで構成されたピクチャ(Iピクチャ)を定期的に挿入し、復号化に使用するピクチャの範囲を限定するのが一般的である。その結果、ランダムアクセス再生は可能となるが、挿入したIピクチャが復号化されるまでの期間は正常な再生ができないという問題が残る。
画面間予測を用いた符号化の場合、参照画面が得られず復号化が破綻する問題に関して、以下のような技術がある。
特許文献1は、特殊再生時に、復号に必要な参照ピクチャがバッファに存在しないことによる破綻を防止することを目的とする。その構成は、符号化ピクチャと、符号化ピクチャに付加され、復号済みピクチャを参照ピクチャとして保持するバッファを管理するためのコマンドとを含むストリームを生成するストリーム生成装置であって、コマンドを付加された符号化ピクチャが、特殊再生時にスキップされるか否かを判定する判定手段と、スキップされる符号化ピクチャであると判定された場合、その符号化ピクチャよりも復号順が後ろで、特殊再生時にスキップされない符号化ピクチャに前記コマンドと同一内容の再送情報を付加する付加手段とを備えるものである。
さらに特許文献2は、画像伝送におけるフレーム欠陥やコマ落としなどが発生した場合でも、後に送られてくるIフレームを待つことなくPフレームの復号を可能にすることを目的とする。その構成は、参照画像を基準に入力画像を符号化し、符号化データとフレーム番号とを画像復号化装置へ送信する画像符号化装置であって、画像復号化装置から通知される復号異常有無信号及びフレーム番号に基づいて、参照画像の更新を制御する参照画像更新手段を備えるものである。
特表2007−535208号公報 特開平9−149421号公報
画面間予測において、参照画面が得られず復号化が破綻する場合について説明する。
図6は、画面間予測における復号化の破綻を模式的に示す図である。(a)はフレーム列の参照関係を示し、(b)は一部復号化に失敗した出力画像である。各フレームは画面内予測(intra)ブロックと画面間予測(inter)ブロックで構成されている。
フレーム602より再生(復号化)を開始し、フレーム603内の画面間予測ブロック604の処理を行う場合を考える。ブロック604の参照関係が(a)の矢印605の通りであると、復号化開始位置のフレーム602よりも過去に当たるフレーム601の情報を必要とする。しかしフレーム601は復号化されていないので、処理ブロック604については正しく復号化できない。このように復号化が破綻したブロックがいくつか存在すると、(b)の出力画像のように、ブロック状の欠陥606が多数含まれる画像になってしまう。
復号化開始後時間が経過すると、参照先のブロックの復号化が進む結果、復号化が破綻するブロック数は減少する。しかし、再生開始より所定の時間は、ブロック状の欠陥が目立つ再生画像となることは避けられない。また、復号化が正常になされるまでの時間は、復号化対象のブロックの処理が、どの程度時間的に離れたブロックを参照するかにより決まるので、必ずしも一定したものではない。このような再生開始時の画像欠陥は、画像を視聴するユーザに不快感を与えるものである。
上記特許文献1による技術では、参照ピクチャを保持するバッファの制御を行うのみであり、再送情報により、復号化対象のピクチャより時間的に前の参照ピクチャを復活させるものではない。よって、一時的な復号化の破綻は避けられない。
また上記特許文献2による技術では、画像復号化装置から通知される復号異常有無信号に基づいて参照画像を更新して符号化するものであるから、一時的な復号化の破綻は避けられず、また復号異常有無信号の送受信のために構成が複雑になる。
本発明の目的は、高圧縮、ランダムアクセス可能であって一時的な復号化の破綻を解消する符号化、復号化技術を提供することである。
本発明は、入力画像に対してその予測画像との差分画像を求めて符号化を行う動画像符号化装置であって、参照画像を用いて予測画像を生成する予測部と、入力画像と予測画像の差分画像を変換・量子化する変換量子化部と、入力画像の処理対象領域の代替画像を生成する代替画像生成部と、予測部で用いた参照画像に応じて代替画像の情報を出力する代替画像選択部と、変換量子化部にて変換・量子化された差分画像データを可変長符号化し、これに代替画像選択部から出力された代替画像の情報を格納して符号化ストリームを生成する可変長符号化部とを備える。代替画像選択部は、予測部で用いた参照画像が過去に符号化した画像である場合、生成した代替画像の情報を可変長符号化部へ出力する。
本発明は、入力する符号化ストリームを復号化して差分画像とし、その予測画像を加算することで復号化画像を生成する動画像復号化装置であって、符号化ストリームを可変長復号化して差分画像データ、動きベクトルに関する情報、及び代替画像の情報を取得する可変長復号化部と、差分画像データを逆変換・逆量子化する逆変換逆量子化部と、動きベクトルに関する情報と参照画像と用いて予測画像を生成する動き補償部と、代替画像の情報から処理対象領域の代替画像を再構成する代替画像再構成部と、動き補償部で用いた参照画像に応じて、逆変換逆量子化部からの差分画像と動き補償部からの予測画像を加算した加算画像、または代替画像再構成部にて再構成した代替画像を出力する出力画像制御部とを備える。出力画像制御部は、動き補償部で用いた参照画像がまだ復号化を行っていない画像である場合、加算画像の代わりに再構成した代替画像を出力する。
本発明は、入力画像に対してその予測画像との差分画像を求めて符号化を行う動画像符号化方法であって、入力画像の処理対象領域の代替画像を生成し、予測画像の参照先が、過去に符号化した画像であるかどうかを判定し、判定の結果、参照先が過去に符号化した画像である場合、処理対象領域の符号化ストリームに生成した代替画像の情報を格納する。
本発明は、入力する符号化ストリームを復号化して差分画像とし、その予測画像を加算することで復号化画像を生成する動画像復号化方法であって、符号化ストリームを復号化して代替画像の情報を取得し、取得した代替画像の情報から処理対象領域の代替画像を再構成し、予測画像の参照先が既に復号化を行った画像であるかどうかを判定し、判定の結果、参照先がまだ復号化を行っていない画像である場合、処理対象領域の復号化画像の代わりに再構成した代替画像を出力する。
本発明によれば、ランダムアクセス再生時に再生画像に一時的な欠陥が発生せず、ユーザに不快感を与えることがない。
以下、本発明の実施形態を動画像符号化装置と動画像復号化装置に分けて説明する。
図1は、本発明による動画像符号化装置の一実施例を示す構成図である。本実施例の装置100は、予測部102、変換量子化部103、可変長符号化部104、逆量子化逆変換部105、フレームメモリ106、代替画像生成部108、代替画像選択部109などの処理モジュールを備える。
動画像101が入力されると、予測部302はフレームメモリ106を参照して予測画像の生成と動きベクトルの推定を行う。入力画像と予測画像との差分をとり、差分画像は変換量子化部103へ送られ、DCT変換と量子化処理がなされる。さらに可変長符号化部104にて、符号化されビットストリーム107として出力される。ビットストリーム107には、図示しないが動きベクトルに関する情報が含まれる。一方、変換・量子化されたデータは、逆量子化逆変換部105にて逆量子化・逆変換された後、予測画像と加算されフレームメモリ106に格納され次段階での予測のために用いられる。
予測部102は予測実行時に、処理画面と同一の画面から予測を行うか(画面内予測)、あるいは過去に符号化を行った画面より予測を行うか(画面間予測)の選択を行い、その結果を代替画像選択部109に渡す。
代替画像生成部108は、入力画像101から代替画像を生成する。代替画像は処理対象領域の画素値を代表するものであり、例えば、対象領域の画素値の平均値を用いる。すなわち、入力画像の各画素値の平均値Pmを算出し、算出した平均値Pmを代替画像選択部109へ渡す。平均値Pmの算出方法については、図4にて後述する。
代替画像選択部109は、予測部102から入手した情報(画面内予測か画面間予測か)に従い、過去に符号化を行った画面より予測を行う場合(画面間予測)にのみ、代替画像生成部108からの代替画像の情報を可変長符号化部104へ出力する。可変長符号化部104は、受け取った代替画像の情報を符号化したビットストリーム107の中に格納して出力する。ビットストリーム107の構成については、図5にて後述する。
図2は、本実施例における代替画像による画質改善を説明する図である。(a)は比較のために従来の符号化フレーム列とその再生画像、(b)は本実施例の符号化フレーム列とその再生画像を示す。
(a)の従来の符号化フレームでは、再生開始フレーム201より参照関係の影響範囲から決まる所定の期間はブロック状の欠陥が目立つ再生画像となる。すなわち、参照関係の影響範囲として設定されたフレーム203以降の再生画像は問題ないが、それ以前のフレーム201からフレーム202の出力画像ではブロック状の欠陥が目立つ再生画像204となる。
これに対して(b)の本実施例では、過去の画像を参照している領域(画面間予測領域)に補助データを追加し、これにより代替画像を用意する。代替画像はその領域を代表する画素値で生成することで、ブロック状の欠陥を目立たない再生画像にすることができる。すなわち、代替画像205を用意し、問題の生じる領域206、207の復号画像を代替画像205で置き換えて表示を行う。これより、参照関係の影響範囲として設定されているフレーム201からフレーム202においても、ブロック状の欠陥が目立たない出力画像210を得ることができる。
このように本実施例では、符号化時の画像の参照先を解析し、過去の画像を参照することで復号化時に破綻の生じる可能性のある画像領域に代替画像を用意し、補助データとして符号化データに含めて伝送する。これよりランダムアクセス再生の開始直後の期間において、ブロック状の欠陥がない画像を表示できる。なお、代替画像は補助データとして追加して伝送するので、データ量はわずかであるとともに、従来の復号化処理との互換性に問題は生じない。
図3は、本実施例の符号化処理のフローチャートを示す図である。以下、処理ステップ順に説明する。
S301で符号化装置を初期化する。S302で動画像を入力し、S303で代替画像生成部108は代替画像情報を生成する。S304で予測部102は予測領域を設定し、予測処理を行う。S305で入力画像と予測値との差分値を生成する。
S306では、S304で行った予測方式が画面内予測と画面間予測のいずれかを判定する。そして、過去に符号化された画像から予測を行った場合(画面間予測)のみ、S307に進み、S303で生成した代替画像の選択を行い、バッファに格納する。S308で変換量子化部103は、差分値の変換・量子化処理を実施し、変換・量子化データとする。S309で変換・量子化データを逆変換・逆量子化し、予測値と加算して、S310で再構成画像としてフレームメモリ106に書き込む。S311で可変長符号化部104は、S308の変換・量子化データを可変長符号化し、ビットストリームとして出力する。
S312では、1スライス分の画像の処理が終了したかどうか判定し、終了していなければS302に戻り処理を繰り返す。1スライス分の処理が終了すると、S313では、S307でバッファに格納した代替画像を符号化し、代替画像情報としビットストリームに格納する。S314で、符号化処理の終了を判定する。終了していない場合は、S302に戻り上記の処理を繰り返す。
図4は、本実施例における代替画像情報の生成(S303)の一例を説明する図である。
H.264などの映像符号化では、画面401を16×16画素のマクロブロック402に分割し、ブロック毎に処理が行われる。そのため、代替画像もマクロブロックを単位として生成するのが都合が良い。画面全体とマクロブロックの関係は図4の通りである。代替画像の例として平均値を用いた場合の代替画像情報Pmは、マクロブロック内の水平方向(x方向)16画素及び垂直方向(y方向)16画素のデータ(輝度値、色差情報)を全て加算し、マクロブロック内の総画素数256にて除した値となる。具体的には、マクロブロック内の各画素を、左上隅の画素403をP(0,0)、右下隅の画素404をP(15,15)と定義した場合、式(405)を用いて計算する。計算した代替画像情報Pmはビットストリームに格納して出力する。代替画像情報Pmはマクロブロックを代表する画素値であるので必要なビット量はわずかであり、ビットストリーム全体の伝送量を増大させる問題はない。
なお、本実施例では、代替画像にマクロブロック領域内の画素値の平均値を使用したが、他の方法でも可能である。例えばマクロブロックを8×8画素単位などに分割し、DCT及び量子化を行った後の値の一部などを用いても良い。また、代替画像は対象画像の領域から得られる値を用いたが、参照画像の領域から得られる値を用いても良い。
図5は、符号化後のビットストリームの構造(S313)の一例を示す図である。ここではH.264規格を想定し、代替画像情報をユーザデータ領域である「User data unregistered SEI message」に格納する場合を示す。ビットストリーム500は、Picture501と呼ぶ単位にて符号化される。Picture501は、AU(Access unit delimiter)502、SPS(Sequence parameter set)503、PPS(Picture parameter set)504、Slice505などで構成される。代替画像情報は、各Slice505に続いて挿入したUser data unregistered SEI message506に格納する。
さらに詳細に言えば、User data unregistered SEI message506は、NALヘッダ507とRBSP(raw byte sequence payload)508にて構成され、RBSP508は、payload_type(509)、payload_size(510)、uuid_iso_iec_11578(511)、user_data_payload_byte(512)にて構成される。代替画像情報513,514は、user_data_payload_byte(512)に格納する。代替画像情報は固定長とし、該当Sliceの該当するマクロブロック数分を格納する。該当するマクロブロック数は、符号化装置、復号化装置ともに断定可能であり、user_data_payload_byte(512)にその他の情報を格納する必要は必ずしも無い。この領域はユーザデータ格納用であるため、代替画像情報を格納することで従来の復号化処理に何ら支障を与えることはなく、互換性を保持することができる。
図7は、本発明による動画像復号化装置の一実施例を示す構成図である。本実施例の装置700は、可変長復号化部702、逆量子化逆変換部703、フレームメモリ704、動き補償部705、代替画像再構成部707、出力画像制御部708などの処理モジュールを備える。
ビットストリーム701が入力されると、可変長復号化部702にて可変長復号化処理が行われ、差分画像データ、動きベクトルに関する情報、及び代替画像の情報を取得する。このうち差分画像データは逆変換逆量子化部703へ送られる。また動きベクトルに関する情報は動き補償部705へ、代替画像の情報は代替画像再構成部707へ送られる。逆変換逆量子化部703では、変換係数並びに量子化パラーメータを用いて差分画像データを逆変換・逆量子化し、差分画像を得る。動き補償部705では、動きベクトル並びにフレームメモリ704に格納している参照画像を用いて予測画像を生成する。予測画像と差分画像は加算されて加算画像となり、出力画像制御部708へ送られる。代替画像再構成部707では、入力された代替画像情報を基に代替画像を再構成し出力画像制御部708へ送る。
出力画像制御部708では、予測画像と差分画像を加算した加算画像に問題がないかどうかを判定する。ここでの判定は、動き補償部705にて生成した予測画像が正常なものかどうかであり、これまで当該装置700にて復号化処理を行った画像で完全に予測できるか否かである。例えば、予測画像の参照先をたどり、参照先の画像が既に復号化を行った画像の範囲内に含まれているかどうかで判定できる。判定の結果、参照画像が既に復号化を行った画像である場合は、加算画像をそのままフレームメモリ704に格納するとともに復号化画像として出力する。判定の結果、参照画像がまだ復号化を行っていない画像である場合は、加算画像の代わりに代替画像再構成部707からの代替画像をフレームメモリ704に格納し、復号化画像として出力する。
図8は、本実施例の復号化処理のフローチャートを示す図である。以下、処理ステップ順に説明する。
S801で復号化装置を初期化する。S802でビットストリームを入力し、S803で可変長復号化部702は可変長復号化を行う。復号化された各情報に基づき、S804で動き補償処理を行い予測画像を生成する。またS805で逆変換・逆量子化を行い、差分画像を生成する。S806で予測画像と差分画像を加算し加算画像を再構成する。
S807で出力画像制御部708は、再構成した画像に問題がないかどうか判定する。この判定は、予測画像生成時に参照した画像が既に復号化を行った画像の範囲内に含まれているかどうかで判定する。再構成画像に問題がなければ、S808で再構成画像をフレームメモリ704に書き込む。再構成画像に問題があれば、S809で復号化した情報に基づき代替画像を再構成する。S810で生成した代替画像をフレームメモリ704に書き込む。S811でフレームメモリの画像を復号化画像として出力する。S812で、復号化処理の終了を判定する。終了していない場合は、S802に戻り上記の処理を繰り返す。
このように本実施例では、復号化時の画像の参照先を解析し、予測画像が正常なものかどうかを判定して、問題がある場合は代替画像を出力する。代替画像はその領域を代表する画素値で生成されたものであるから、画像の欠陥を目立たなくすることができる。これより、ランダムアクセス再生時に再生画像に一時的な欠陥が発生せず、ユーザに与える不快感をなくすことができる。
本発明による動画像符号化装置の一実施例を示す構成図(実施例1)。 本実施例における代替画像による画質改善を説明する図。 本実施例の符号化処理のフローチャートを示す図。 代替画像情報の生成の一例を説明する図。 符号化後のビットストリームの構造の一例を示す図。 画面間予測における復号化の破綻を模式的に示す図。 本発明による動画像復号化装置の一実施例を示す構成図(実施例2)。 本実施例の復号化処理のフローチャートを示す図。
符号の説明
100…動画像符号化装置
102…予測部
103…変換量子化部
104…可変長符号化部
105…逆量子化逆変換部
106…フレームメモリ
108…代替画像生成部
109…代替画像選択部
700…動画像復号化装置
702…可変長復号化部
703…逆変換逆量子化部
704…フレームメモリ
705…動き補償部
707…代替画像再構成部
708…出力画像制御部。

Claims (10)

  1. 入力画像に対してその予測画像との差分画像を求めて符号化を行う動画像符号化装置において、
    参照画像を用いて上記予測画像を生成する予測部と、
    上記入力画像と上記予測画像の差分画像を変換・量子化する変換量子化部と、
    上記入力画像の処理対象領域の代替画像を生成する代替画像生成部と、
    上記予測部で用いた参照画像に応じて上記代替画像の情報を出力する代替画像選択部と、
    上記変換量子化部にて変換・量子化された差分画像データを可変長符号化し、これに上記代替画像選択部から出力された代替画像の情報を格納して符号化ストリームを生成する可変長符号化部とを備え、
    上記代替画像選択部は、上記予測部で用いた参照画像が過去に符号化した画像である場合、上記生成した代替画像の情報を上記可変長符号化部へ出力することを特徴とする動画像符号化装置。
  2. 請求項1記載の動画像符号化装置において、
    前記代替画像生成部は、前記処理対象領域内の画素値の平均値から前記代替画像を生成することを特徴とする動画像符号化装置。
  3. 請求項1記載の動画像符号化装置において、
    前記可変長符号化部は、前記符号化ストリームのユーザデータ領域に前記代替画像の情報を格納することを特徴とする動画像符号化装置。
  4. 入力する符号化ストリームを復号化して差分画像とし、その予測画像を加算することで復号化画像を生成する動画像復号化装置において、
    上記符号化ストリームを可変長復号化して差分画像データ、動きベクトルに関する情報、及び代替画像の情報を取得する可変長復号化部と、
    上記差分画像データを逆変換・逆量子化する逆変換逆量子化部と、
    上記動きベクトルに関する情報と参照画像と用いて上記予測画像を生成する動き補償部と、
    上記代替画像の情報から処理対象領域の代替画像を再構成する代替画像再構成部と、
    上記動き補償部で用いた参照画像に応じて、上記逆変換逆量子化部からの差分画像と上記動き補償部からの予測画像を加算した加算画像、または上記代替画像再構成部にて再構成した代替画像を出力する出力画像制御部とを備え、
    該出力画像制御部は、上記動き補償部で用いた参照画像がまだ復号化を行っていない画像である場合、上記加算画像の代わりに上記再構成した代替画像を出力することを特徴とする動画像復号化装置。
  5. 請求項4記載の動画像復号化装置において、
    前記代替画像再構成部は、前記処理対象領域内の画素値の平均値から前記代替画像を再構成することを特徴とする動画像符号化装置。
  6. 入力画像に対してその予測画像との差分画像を求めて符号化を行う動画像符号化方法において、
    上記入力画像の処理対象領域の代替画像を生成し、
    上記予測画像の参照先が、過去に符号化した画像であるかどうかを判定し、
    判定の結果、参照先が過去に符号化した画像である場合、上記処理対象領域の符号化ストリームに上記生成した代替画像の情報を格納することを特徴とする動画像符号化方法。
  7. 請求項6記載の動画像符号化方法において、
    前記代替画像は、前記処理対象領域内の画素値の平均値から生成することを特徴とする動画像符号化方法。
  8. 請求項6記載の動画像符号化方法において、
    前記代替画像の情報は、前記符号化ストリームのユーザデータ領域に格納することを特徴とする動画像符号化方法。
  9. 入力する符号化ストリームを復号化して差分画像とし、その予測画像を加算することで復号化画像を生成する動画像復号化方法において、
    上記符号化ストリームを復号化して代替画像の情報を取得し、
    上記取得した代替画像の情報から処理対象領域の代替画像を再構成し、
    上記予測画像の参照先が既に復号化を行った画像であるかどうかを判定し、
    判定の結果、参照先がまだ復号化を行っていない画像である場合、上記処理対象領域の復号化画像の代わりに上記再構成した代替画像を出力することを特徴とする動画像復号化方法。
  10. 請求項9記載の動画像復号化方法において、
    前記代替画像は、前記処理対象領域内の画素値の平均値から再構成することを特徴とする動画像符号化方法。
JP2008159446A 2008-06-18 2008-06-18 動画像符号化装置、復号化装置、符号化方法及び復号化方法 Pending JP2010004142A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008159446A JP2010004142A (ja) 2008-06-18 2008-06-18 動画像符号化装置、復号化装置、符号化方法及び復号化方法
US12/369,921 US20090316787A1 (en) 2008-06-18 2009-02-12 Moving image encoder and decoder, and moving image encoding method and decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008159446A JP2010004142A (ja) 2008-06-18 2008-06-18 動画像符号化装置、復号化装置、符号化方法及び復号化方法

Publications (1)

Publication Number Publication Date
JP2010004142A true JP2010004142A (ja) 2010-01-07

Family

ID=41431262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008159446A Pending JP2010004142A (ja) 2008-06-18 2008-06-18 動画像符号化装置、復号化装置、符号化方法及び復号化方法

Country Status (2)

Country Link
US (1) US20090316787A1 (ja)
JP (1) JP2010004142A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100226441A1 (en) * 2009-03-06 2010-09-09 Microsoft Corporation Frame Capture, Encoding, and Transmission Management
US8638337B2 (en) * 2009-03-16 2014-01-28 Microsoft Corporation Image frame buffer management
CN107197300B (zh) 2011-02-09 2020-03-06 Lg 电子株式会社 编码和解码图像的方法及使用该方法的设备
CN108243339B (zh) 2016-12-27 2021-02-26 浙江大学 图像编解码方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU612543B2 (en) * 1989-05-11 1991-07-11 Panasonic Corporation Moving image signal encoding apparatus and decoding apparatus
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
EP1445773A1 (en) * 1997-07-25 2004-08-11 Sony Corporation Encoding device and encoding method
JP3840020B2 (ja) * 1999-12-14 2006-11-01 株式会社東芝 動画像符号化装置
US6553141B1 (en) * 2000-01-21 2003-04-22 Stentor, Inc. Methods and apparatus for compression of transform data
JP2001243477A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像による交通量解析装置
JP4070104B2 (ja) * 2002-10-16 2008-04-02 独立行政法人情報通信研究機構 動画像符号化復号方法及び動画像符号化装置並びに動画像復号装置
JP4017112B2 (ja) * 2003-04-30 2007-12-05 株式会社リコー 符号化データ生成装置及び方法、プログラム並びに情報記録媒体
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
CN101686365B (zh) * 2004-04-28 2011-12-07 松下电器产业株式会社 流产生装置和方法,流再现装置、方法和系统,流记录方法
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置

Also Published As

Publication number Publication date
US20090316787A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
US10225549B1 (en) System and method for video coding
JP3630474B2 (ja) 動画像伝送システム及び動画像伝送装置
AU2003203271B2 (en) Image coding method and apparatus and image decoding method and apparatus
US20150023428A1 (en) Method and device for encoding/decoding video signals using base layer
GB2364459B (en) Video error resilience
KR20150105431A (ko) 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
KR20070033364A (ko) 디지털 비디오 데이터 인코딩 방법 및 장치
JP2014116733A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2006279573A (ja) 符号化装置と方法、ならびに復号装置と方法
JP2009207163A (ja) 復号装置および方法、記録媒体
MX2012010614A (es) Dispositivo de codificacion de prediccion de imagen movil, metodo de codificacion de prediccion de imagen movil, programa de codificacion de prediccion de imagen movil, dispositivo de descodificacion de prediccion de imagen movil, metodo de decodificacion de prediccion de imagen movil y programa de descodificacion de prediccion de imagen movil.
US20130034156A1 (en) Inter-prediction method and video encoding/decoding method using the inter-prediction method
JP2007515886A (ja) 空間スケーラブルかつsnrスケーラブルなビデオ符号化
JP2012109720A (ja) 画像変換装置、画像再生装置及び画像変換方法
EP3499870B1 (en) Efficient blending using encoder
JP2010004142A (ja) 動画像符号化装置、復号化装置、符号化方法及び復号化方法
KR20160109617A (ko) 디지털 비디오의 디코딩 장치
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
JP5421739B2 (ja) 動画像符号化装置、動画像復号化装置、および、動画像符号化方法
US20190075312A1 (en) Method and apparatus for decoding multi-level video bitstream
JP2004007571A (ja) 符号化装置および方法、復号装置および方法、編集装置および方法、記録媒体、並びにプログラム
JP4390009B2 (ja) 符号化装置及び方法、画像処理システム
JP2003087797A (ja) 画像情報変換装置及び方法、画像情報変換プログラム、並びに記録媒体
KR100956641B1 (ko) 영상 부호화 장치, 영상 부호화 방법, 영상 복호화 장치,영상 복호화 방법 및 컴퓨터 판독가능한 기록매체