JP2007208432A - Moving picture decoder and decoding program - Google Patents
Moving picture decoder and decoding program Download PDFInfo
- Publication number
- JP2007208432A JP2007208432A JP2006022623A JP2006022623A JP2007208432A JP 2007208432 A JP2007208432 A JP 2007208432A JP 2006022623 A JP2006022623 A JP 2006022623A JP 2006022623 A JP2006022623 A JP 2006022623A JP 2007208432 A JP2007208432 A JP 2007208432A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- decoded
- data
- value
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は動画像復号化装置及び動画像復号化プログラムに係り、特にブロック単位の直交変換と量子化と可変長符号化を使用して作成された動画像符号化データを復号する際に発生したエラー処理を行う動画像復号化装置及び動画像復号化プログラムに関する。 The present invention relates to a moving picture decoding apparatus and a moving picture decoding program, and particularly occurs when decoding moving picture encoded data created using block-unit orthogonal transform, quantization, and variable length coding. The present invention relates to a moving picture decoding apparatus and a moving picture decoding program that perform error processing.
符号化対象のディジタル動画像信号に対して、ブロック単位の直交変換と量子化と可変長符号化を使用して生成された動画像符号化データを、復号化と逆量子化と逆直交変換を用いて動画像信号に復号化する動画像復号化装置において、ブロックのエラーが検出された場合、そのブロックと次に復号する隣接ブロックとが独立して復号できないと識別された時は、隣接ブロックの動きベクトルと、上記のエラーが検出されたブロックの動きベクトルとして、例えば、そのブロックの画面上真上のブロックの動きベクトルを設定する動画像復号化装置が知られている(例えば、特許文献1参照)。 The encoded video data generated using block-level orthogonal transform, quantization, and variable length coding is decoded, dequantized, and inverse orthogonal transformed for the digital video signal to be encoded. When a block error is detected in a moving picture decoding apparatus using the decoding apparatus to decode a moving picture signal, if it is determined that the block and the next neighboring block to be decoded cannot be decoded independently, the neighboring block For example, there is known a video decoding device that sets a motion vector of a block immediately above the screen of the block in which the above error is detected and a motion vector of the block in which the above error is detected (for example, Patent Literature 1).
図5は上記の特許文献1記載の従来の動画像復号化装置の一例のブロック図を示す。同図において、復号部501は、入力符号化データを復号する。ここで、符号化データは1フレームがブロック毎に分割され、その各ブロック毎に符号化され、かつ、時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式で符号化されている。エラー検出部502は、復号部501で復号中にエラーがあるかどうかを検出する。エラーが検出されないときは、復号部501が現在復号しているブロックの動きベクトルを動きベクトル記憶部505に記憶し、そのまま動きベクトル設定部506を介して動き補償復号部507へ出力する。
FIG. 5 shows a block diagram of an example of a conventional moving picture decoding apparatus described in Patent Document 1. In the figure, a
動き補償復号部507は、入力された動きベクトルに従い、フレームメモリ508より時間的に近傍な予測画像データを読み出して加算器504へ出力する。加算器504は復号部501からの復号された差分画像データと、動き補償復号部507からの予測画像データとを加算して、復号画像データを生成して外部へ出力する一方、フレームメモリ508に格納する。
The motion
エラー検出部502でエラーが検出された場合、エラーの影響を抑えるために、エラー判定部503において、エラーが検出されたブロック以降のブロックの特性を解析し、解析の結果、現エラーブロックと独立して復号できる場合は、エラーが検出されたブロック以降のブロックは正常に復号処理を行うことができるため、復号部501に対して正常復号処理可能であることを示すエラー判定信号を送出し、現エラーブロックのみをエラー処理する。
When an error is detected by the
一方、解析の結果、現エラーブロックと独立して復号できない場合は、そのことを示すエラー判定信号を復号部501に供給し、復号部501で現在のエラーの影響が及ばない次の復号単位の直前までのすべてのブロックに対してもエラーブロックと見做して、動きベクトル記憶部505、動きベクトル設定部506を経由し、現エラーブロック(ここではマクロブロック:MB)に動きベクトル(Motion vector:MV)値を与える。
On the other hand, if the decoding cannot be performed independently of the current error block as a result of the analysis, an error determination signal indicating the fact is supplied to the
次に、エラーMBに関するMV値の補完方法に関して説明する。動きベクトル設定部506では、エラーMBがピクチャの境界で発生したかどうか判定し(図7のステップ701)、ピクチャの境界でない場合には、図6に示すように、エラーの起きたMBの真上のMBのMV値を補完に使用する(図7のステップ702)。
Next, a method for complementing the MV value related to the error MB will be described. The motion
しかし、エラーの起きたMBがピクチャの一番上部である場合、補完するMVのデータが存在しない。そこで特許文献1では、エラーしたMBがピクチャの最上部の場合、または、ピクチャ単位の場合、すなわち、ピクチャ境界である場合は、エラーの起きたMBの補完するMV値として(0,0)を設定する(図7のステップ703)。
However, if the error MB is at the top of the picture, there is no MV data to complement. Therefore, in Patent Document 1, when the erroneous MB is the top part of a picture, or in the case of a picture unit, that is, at a picture boundary, (0, 0) is used as the MV value to be complemented by the erroneous MB. This is set (
しかしながら、特許文献1記載の従来の動画像復号化装置では、復号化の際、ピクチャ単位のエラー(以下、エラーピクチャともいう)が生じた場合、また、スライス境界のMBでエラー(以下、エラー境界MBともいう)が生じた場合、MV値として(0,0)を補完する技術であるため、補完された画像データは以前に復号した参照ピクチャであり、動いている画像の場合、同じ画像が数枚続くことになり、復号画像が不自然な動きをする、という問題がある。 However, in the conventional moving picture decoding apparatus described in Patent Document 1, if an error in units of pictures (hereinafter also referred to as error pictures) occurs during decoding, or an error occurs in an MB at a slice boundary (hereinafter referred to as error). Since this is a technique for complementing (0, 0) as the MV value when the boundary MB occurs, the complemented image data is a previously decoded reference picture. In the case of a moving image, the same image Will continue several times, and there is a problem that the decoded image moves unnaturally.
また、特許文献1記載の従来の動画像復号化装置では、参照ピクチャ、非参照ピクチャの区別なくエラー処理を行っているため、参照ピクチャにエラーが発生した場合、前の復号画像をそのまま用いるので、復号化順で後の非参照ピクチャ、参照ピクチャに与える影響が大きい、という問題もある。 In addition, since the conventional moving picture decoding apparatus described in Patent Document 1 performs error processing without distinguishing between reference pictures and non-reference pictures, if an error occurs in a reference picture, the previous decoded picture is used as it is. There is also a problem that the influence on the non-reference picture and the reference picture later in the decoding order is large.
本発明は以上の点に鑑みなされたもので、符号化した動画像を復号する際に発生したエラー処理をより効率的に行い、より自然な復号画像を得ることが可能な動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and is a moving picture decoding apparatus capable of performing error processing generated when decoding a coded moving picture more efficiently and obtaining a more natural decoded picture. It is another object of the present invention to provide a moving picture decoding program.
上記の目的を達成するため、第1の発明は、動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、復号手段で復号される動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、動画像符号化データの復号化順を制御する復号化順制御手段と、復号化順を制御したことにより、復号化順制御手段から出力される制御信号に従い、復号手段から出力される復号化MVデータを保持するMV値保存手段と、少なくともMV値保存手段からのMVデータと復号手段からの復号化MVデータとを使用してMV値を算出するMV算出手段と、エラー検出手段によりエラーが検出されたピクチャが非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、相関性判断手段により相関性ありと判断された補完対象ピクチャが1枚でないときは、複数の補完対象ピクチャのそれぞれについてMV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、相関性判断手段により相関性ありと判断された補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、復号手段から出力された復号化係数データに対し、逆量子化及び逆変換を行って得られた画像データが非参照ピクチャであるときは、復号化済みの参照ピクチャデータとMV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、参照ピクチャの復号画像データを復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、復号画像データ生成手段によりエラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、補完用ピクチャ決定手段で決定された補完MV値を持つピクチャの復号化MVデータを、MV値算出手段からのMV値として補完するMVデータ補完手段とを有することを特徴とする。
In order to achieve the above object, the first invention divides each screen of a moving image signal into block units, which are image regions having a predetermined number of pixels, and performs orthogonal transform, quantization, and variable length coding on a block basis. Non-reference to be decoded with reference to the motion vector information of other pictures, and is composed of a plurality of blocks of picture data. Decoding, inverse quantization, and inverse orthogonal transformation are performed on moving picture encoded data including a picture or a reference picture whose motion vector information is referred to when decoding another picture. A moving image decoding device for generating image data,
Decoding means for decoding moving image encoded data and outputting decoded coefficient data and decoded MV data, and detecting whether or not an error has occurred during decoding of the moving image encoded data decoded by the decoding means An error detection unit; a decoding order control unit that controls a decoding order of moving image encoded data according to a picture type of the error in which the error is detected; By controlling the conversion order, in accordance with a control signal output from the decoding order control means, MV value storage means for holding the decoded MV data output from the decoding means, and at least MV data from the MV value storage means An MV calculation unit that calculates an MV value using the decoded MV data from the decoding unit, and a picture in which an error is detected by the error detection unit is a non-reference picture In the decoding order of the non-reference picture, one or more reference pictures on at least one of the front and rear sides are set as the complement target picture, and the intra block existing ratio in the complement target picture is predetermined. Correlation determining means for determining the presence or absence of correlation by comparing with a threshold value, and when the complement target picture determined to be correlated by the correlation determination means is not one, each of the plurality of complement target pictures At least one of the average value and the variance value of the MV values from the MV calculating means is calculated, and the complementary target picture having the smallest calculated value is determined as a picture having the complementary MV value, and there is a correlation by the correlation determining means. When there is one complementation target picture determined to be, a complementing picture determination that determines the complementation target picture as a picture having a complementation MV value If the image data obtained by performing inverse quantization and inverse transformation on the decoded coefficient data output from the stage and the decoding means is a non-reference picture, the decoded reference picture data and the MV value are calculated. Decoded image data generating means for adding the motion compensated image data generated from the MV value from the means to generate decoded image data and storing the decoded image data of the reference picture as decoded reference picture data; When generating the decoded image data of the picture in which the error is detected by the error detecting means, the decoded MV data of the picture having the complementary MV value determined by the complementary picture determining means is calculated by the image data generating means. And MV data complementing means for complementing as an MV value from the means.
また、上記の目的を達成するため、第2の発明の動画像復号化プログラムは、コンピュータを、第1の発明の動画像復号化装置の各構成手段として機能させることを特徴とする。 In order to achieve the above object, a moving picture decoding program according to a second invention causes a computer to function as each component of the moving picture decoding apparatus according to the first invention.
本発明の動画像復号化装置及び動画像復号化プログラムでは、復号すべき非参照ピクチャにエラーが生じたことを検出した時は、その非参照ピクチャの復号化順で前及び/又は後の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性ありと判断された補完対象ピクチャが1枚でないときは、複数の補完対象ピクチャのそれぞれについてMV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、相関性ありと判断された補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定し、決定した補完MV値を持つピクチャのそのMV値をエラーが検出された非参照ピクチャのMV値として補完するようにしたため、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なMV値を選択・決定できる。 In the moving picture decoding apparatus and moving picture decoding program of the present invention, when it is detected that an error has occurred in a non-reference picture to be decoded, the preceding and / or subsequent ones in the decoding order of the non-reference picture are detected. Alternatively, two or more reference pictures are used as complementing target pictures, and the existence ratio of intra blocks in the complementing target pictures is compared with a predetermined threshold to determine whether or not there is a correlation. When the complement target picture is not one, at least one of the average value and the variance value of the MV values from the MV calculation unit is calculated for each of the plurality of complement target pictures, and the complement target picture having the smallest calculated value is calculated. When a picture having a complementary MV value is determined as a picture to be complemented and determined to have correlation, the picture to be complemented is a pixel having a complementary MV value. Since the MV value of the picture having the determined complementary MV value is complemented as the MV value of the non-reference picture in which the error is detected, the scene change is performed before and after the non-reference picture in which the error is detected. Even when it occurs or when the scene changes greatly, an appropriate MV value can be selected and determined.
本発明によれば、復号時にエラーが検出された非参照ピクチャの復号化順で前及び/又は後の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性がある参照ピクチャのMV値をエラーが検出された非参照ピクチャのMV値として補完することにより、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なMV値を選択・決定できるため、より自然な動きをする復号画像を得ることができる。 According to the present invention, one or two or more reference pictures before and / or after in the decoding order of a non-reference picture in which an error is detected at the time of decoding are set as a complement target picture, and an intra block occupies the complement target picture By comparing the ratio with a predetermined threshold value to determine the presence or absence of correlation, and complementing the MV value of the correlated reference picture as the MV value of the non-reference picture in which the error is detected, Even when a scene change occurs before or after a non-reference picture in which an error is detected, or even when the scene change is large, an appropriate MV value can be selected and determined, so that a decoded image that moves more naturally can be obtained. .
次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる動画像復号化装置の一実施の形態のブロック図、図2は本発明になる動画像復号化プログラムによりコンピュータで復号化動作するときの一実施の形態のフローチャートを示す。図1に示すように、本実施の形態は、動画像信号の一画面を複数の画素数からなる画像領域であるブロック単位の直交変換と量子化と可変長符号化とを使用した、MPEG等の符号化方式で符号化して得た動画像符号化データのデータ系列であるビットストリーム101に対して復号化を行う装置であって、ビットストリーム101を保持するメモリ102と、メモリ102からの動画像符号化データを復号する復号部103と、復号部103からの復号データを逆量子化する逆量子化部104と、符号化部側の直交変換とは逆変換を行う逆変換部105と、少なくともメモリ102に出力すべき符号化データを指示する復号順制御部112を有する。また、動画像復号化装置は、加算器107と、エラー処理部108と、MV算出部109と、MC部110と、フレームメモリ111と、相関判断部112と、MV値保存部114とを有する。
Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of an embodiment of a moving picture decoding apparatus according to the present invention, and FIG. 2 is a flowchart of an embodiment when a computer performs a decoding operation using the moving picture decoding program according to the present invention. . As shown in FIG. 1, in this embodiment, MPEG or the like using orthogonal transform, quantization, and variable length coding, which is an image area consisting of a plurality of pixels, on one screen of a moving image signal. A device that decodes a
メモリ102は、保持したビットストリーム101を、復号順制御部112からの制御信号に基づいて、ビットストリーム101を構成する動画像符号化データを復号部103へ出力する。復号部103は、メモリ102から入力された動画像符号化データを復号する。復号部103は、動画像符号化データの復号ができない場合、すなわち、動画像符号化データにピクチャ単位又はスライスの最上部の位置の任意のブロック単位でエラーが生じた場合は、エラー処理部108にエラーを報告し、復号ができている場合は、逆量子化部104に復号して得られた係数データを出力し、MV算出部109に復号して得られた動きベクトル(MV)値データを出力する。逆量子化部104は、復号部103から入力される係数データを逆量子化し、得られたデータを逆変換部105へ出力して、符号化時の直交変換とは逆変換を行わせる。
The
エラー処理部108は、復号部103でエラーと判断された場合に、エラーピクチャデータ、又はエラー境界MBデータが入力され、後述するエラー処理を行う。MV算出部109は、復号されたMV値データ及びMV値保存部114より入力されるMV値データを使用し、算出該当MBの周辺情報などを使用してMV値を算出する。また、非参照ピクチャでは、非参照ピクチャの前後の参照ピクチャのMV値を使用して、MV値を算出することもできる。MV算出部109は、算出したMV値をMC部110に出力する。また、算出したMV値のピクチャが参照ピクチャである場合は、MV値保存部114にもMV値データを出力する。エラー処理におけるMV値補完に関しては、後に詳しく説明する。
When the
MC部110は、MV算出部109で算出されるMV値と、フレームメモリ111より入力される参照ピクチャとを使用してMC画像(動き補償画像)を作成し、作成したMC画像を加算器107に供給して逆変換部105から出力されるデータと加算させて復号画像出力106を生成させる。フレームメモリ111は加算器107より入力される復号化された画像データを保持すると共に、必要に応じてMC部110へ復号画像データを出力する。
The
なお、参照ピクチャはそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照されるピクチャで、MC画像を生成するために用いられる一画面分の画像データであり、非参照ピクチャはそのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャで、MC画像を生成するためには使用されない一画面分の画像データである。 Note that a reference picture is a picture whose motion vector information of the picture itself is referred to when decoding another picture, and is image data for one screen used for generating an MC image. The picture is a picture to be decoded with reference to motion vector information of another picture, and is image data for one screen that is not used to generate an MC image.
復号順制御部112は、エラー処理部108で復号化順を制御する必要がある場合に、メモリ102から復号部103への動画像符号化データの出力を制御する。相関判断部113は、エラー処理部108から入力される後述のデータ構造2のデータ及びMV値保存部114から入力されるMV値データを使用して、エラーピクチャとエラーを補完するピクチャとの相関性を算出し、更新したデータ構造2のデータを作成し、エラー処理部108へ出力する。相関判断部113の動作については後に詳細に説明する。MV値保存部114は、MV算出部109より入力されるMV値データを保持し、また必要に応じて、保持しているMV値データをMV算出部109へ出力する。
The decoding
なお、本実施の形態では、MV値保存部114が保存するMV値データは、直前の参照ピクチャとしているが、本発明はこれに限らない。また、面内予測を行うブロックのMV値には(0,0)をセットする。保存するMV値データのデータ構造はデータ構造1とする。ここで、このデータ構造1と、前記データ構造2は以下の構造である。
In the present embodiment, the MV value data stored by the MV
[データ構造1]:(イントラ/インタースライス判別フラグ、ピクチャ番号、ピクチャ
内の任意のブロック数分の[イントラ/インター、MV値(X,Y)])
[データ構造2]:(エラーピクチャ番号、補完MVピクチャ番号)
次に、図1の実施の形態の動作について、図2のフローチャートを併せ参照して説明する。図1のメモリ102は、動画像符号化データが時系列的に合成されている入力ビットストリーム101を保存し(図2のステップ201の処理1)、保存したビットストリーム101の動画像符号化データを出力する(図2のステップ202の処理2)。続いて、図1の復号部103により入力された動画像符号化データの復号が行われる(図2のステップ203の処理3)。
[Data structure 1]: (Intra / inter slice discrimination flag, picture number, picture
[Intra / inter, MV value (X, Y)]) for any number of blocks
[Data structure 2]: (error picture number, complementary MV picture number)
Next, the operation of the embodiment of FIG. 1 will be described with reference to the flowchart of FIG. The
復号部103は上記の復号が正常に行われたかどうかを判断し(図2のステップ204の分岐1)、復号が正常に行われなかったと判断した場合(すなわち、エラーが発生したと判断した場合)は、エラー処理部108により後述するエラー処理を行わせてデータ構造2のデータを作成し、相関判断部113へ出力する(図2のステップ205)。
The
また、このとき、復号順制御部112は、エラー処理部108から復号化しているデータがエラーであることが伝えられ、そのエラー検出された復号化データのピクチャが、そのピクチャ自身のMV値データが他のピクチャの復号の際に参照される参照ピクチャ(すなわち、MPEGで規定された面内予測符号化画像(Iピクチャ)、又は片側方向予測符号化画像(Pピクチャ))であると判定したときは、メモリ102に対して、エラーピクチャの復号化順で次の復号化データを復号部103に出力するように指示する復号化制御を行う。
At this time, the decoding
相関判断部113は、エラー処理部108からのデータ構造2のデータと、MV値保存部114から入力される前記データ構造1のデータとを使用し、画像の相関性を検出し、より効果の大きい補完を行うことができるデータ構造2のデータを作成する(図2のステップ206の相関判定処理)。この相関判断部113の相関判定処理については、後に詳細に説明する。
The
続いて、MV算出部109が、ステップ205のエラー処理、又はステップ206の相関判定処理で算出されたデータ構造2のデータと、MV値保存部114に保存されているデータ構造1のデータとを使用し、エラーピクチャとエラーを補完するピクチャとのピクチャ間隔から補完するMV値を算出する(図2のステップ207の処理4)。
Subsequently, the
続いて、MC部110が、ステップ207で算出されたMV算出部109からのMV値と、フレームメモリ111から読み出された参照ピクチャの画像データとから動き補償画像(MC画像)を作成して加算器107へ出力して逆変換部105からのデータと加算して復号画像を生成させる(図2のステップ208の処理5)。
Subsequently, the
他方、ステップ204で復号が正常に行われたと判断されたときは、MPEG(Moving Picture Experts Group)に代表される一般的な復号処理が行われる(図2のステップ209の処理6)。すなわち、このステップ209の処理6では、復号部103から復号されて出力された係数データが逆量子化部104で逆量子化された後、逆変換部105で逆変換された後加算器107に供給される一方、復号部103から復号されて出力されたMVデータがMV算出部109によりMV値として算出された後MC部110に供給され、ここでフレームメモリ111より入力される参照ピクチャを使用してMC画像が作成されて加算器107に供給される。これにより、加算器107からは復号画像出力106が出力され、また必要に応じてフレームメモリ111に格納される。
On the other hand, when it is determined in
上記のステップ208の処理5又はステップ209の処理6が終了すると、作成した復号画像が参照ピクチャであるかどうか判定され(図2のステップ210の分岐2)、作成した復号画像が参照ピクチャであると判定されたときは、MC部110でのMC画像作成時に用いたMV値をMV値保存部114に保存し、この際、面内予測を行うブロックのMV値には(0,0)をセットする(図2のステップ211の処理7)。ステップ210の分岐2で作成した復号画像が参照ピクチャではない(非参照ピクチャである)と判定されたときは、処理7を行わずに復号化処理を終了する。なお、非参照ピクチャは、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャであり、MPEGの場合、双方向予測符号化画像(Bピクチャ)である。
When the process 5 in
次に、本実施の形態の要部を構成する、相関性を算出する相関判断部113について、図3を参照して詳細に説明する。相関判断部113は、エラー処理部108から入力されるデータ構造2のデータを解析し、補完対象ピクチャが1枚であるかどうかを判断する(図3のステップ301の分岐1)。ここで、補完対象ピクチャとは、エラー検出された復号化データのピクチャ(エラーピクチャ)が参照ピクチャであるときはそのエラーピクチャの復号順で直前の参照ピクチャがMV値を有している場合は、その参照ピクチャであり、直前の参照ピクチャがMV値を有していない場合(例えば、Iピクチャの場合)は、その直後のMV値を有する参照ピクチャである。また、エラーピクチャが非参照ピクチャであり、その前後のMV値を有する参照ピクチャを復号時に使用する場合は、それら前後の参照ピクチャが補完対象ピクチャである。
Next, the
相関判断部113は、図3のステップ301で補完対象ピクチャが1枚であると判断したときは、後述するステップ306の処理4にて、その補完対象ピクチャを前記ピクチャと決定する。一方、相関判断部113は、ステップ301で補完対象ピクチャが複数枚であると判断した場合、各補完対象ピクチャ内に占めるイントラMBの存在比率(以下、イントラ率という)を補完対象ピクチャ毎にそれぞれ算出する(図3のステップ302の処理1)。
When the
続いて、相関判断部113は、ステップ302で算出した各ピクチャのイントラ率と、予め定められたしきい値Fとを比較し、イントラ率<しきい値Fの関係を満たしている場合は相関性があると判断し、イントラ率≧しきい値Fの関係を満たしている場合は相関性がないと判断する(図3のステップ303の処理2)。これにより、例えば、相関性を判断すべき補完対象ピクチャが、エラーピクチャに対してシーンチェンジポイント後のピクチャ、または予測が難しいピクチャの場合は相関性がないと判断され、シーンチェンジポイント前のピクチャ、または予測が簡単なピクチャの場合は相関性があると判断される。
Subsequently, the
続いて、相関判断部113は、ステップ303で相関性があると判断された補完対象ピクチャが1枚であるかどうか判断する(図3のステップ304の分岐2)。相関性があると判断された補完対象ピクチャが1枚であるときは、その補完対象ピクチャを補完するMV値を持つピクチャと決定する(図3のステップ306の処理4)。
Subsequently, the
一方、相関性判断部113は、ステップ304で相関性があると判断された補完対象ピクチャが1枚ではなかったと判断した時は、各補完対象ピクチャについて、そのピクチャを構成する複数ブロックのMV値の平均値と分散値をそれぞれ算出し(図3のステップ305の処理3)、その中で平均値及び分散値共に最も小さいピクチャを補完するMV値を持つピクチャと決定する(図3のステップ306の処理4)。
On the other hand, when the
ただし、複数枚の相関性があると判断された補完対象ピクチャのうち、平均値が最も小さいピクチャと分散値が最も小さいピクチャとが異なる場合は、MV値の平均値の小さい方のピクチャを、補完するMV値を持つピクチャと決定する。この場合の一例を表1に示す。 However, if the picture with the smallest average value and the picture with the smallest variance value are different from the complement target pictures determined to have a plurality of correlations, the picture with the smaller average value of the MV values is The picture having the MV value to be complemented is determined. An example of this case is shown in Table 1.
そして、ステップ306で補完するMV値を持つピクチャと決定されたエラー補完対象ピクチャを使用し、データ構造2のデータを作成する(図3のステップ307の処理5)。なお、図3のステップ306での補完するMV値を持つピクチャの決定方法は、平均値が小さい方の補完対象ピクチャを選択する方法に限定されるものではなく、分散値の小さい方のピクチャを選択するようにしてもよく、また相関性があると判断された複数枚の補完対象ピクチャから1枚を選択しているが、複数枚を選択してもよく、それらのMV値の平均値などでエラーピクチャのMV値を補完することも可能である。
Then, the data having the data structure 2 is created using the picture having the MV value to be complemented in
次に、図1に示した本発明の動画像復号化装置の一実施の形態と、従来の動画像復号化装置(従来技術というものとする)の動作を比較した一例について、図4と共に説明する。図4(A)、(B)において、P0、B1、B2、P3、B4の順でピクチャが表示されるものとする。ここで、P0、P3は片側方向予測符号化画像(Pピクチャ)を示し、B1、B2、B4は双方向予測符号化画像(Bピクチャ)を示し、P、Bの次の数字は、表示の順番を示す。また、ピクチャB2とピクチャP3の間でシーンチェンジが発生したものとする。 Next, an example in which the operation of the moving picture decoding apparatus of the present invention shown in FIG. 1 is compared with the operation of a conventional moving picture decoding apparatus (referred to as a prior art) will be described with reference to FIG. To do. 4A and 4B, it is assumed that pictures are displayed in the order of P0, B1, B2, P3, and B4. Here, P0 and P3 indicate unidirectional predictive encoded images (P pictures), B1, B2, and B4 indicate bidirectional predictive encoded images (B pictures), and the numbers after P and B are displayed. Indicates the order. It is assumed that a scene change has occurred between the picture B2 and the picture P3.
この場合、シーチェンジの直前の非参照ピクチャであるピクチャB2でエラーが発生した場合、従来技術では図4(B)に示すように、エラーピクチャであるB2の前後の複数枚の参照ピクチャであるピクチャP0とP3を補完するMV値を持つピクチャであると判断する。しかし、ピクチャB2とピクチャP3でシーンが変化しており、ピクチャP3のMV値は純粋にピクチャP0から予測した適切なMV値ではない。 In this case, when an error occurs in the picture B2, which is a non-reference picture immediately before the sea change, in the prior art, as shown in FIG. 4B, there are a plurality of reference pictures before and after the error picture B2. It is determined that the picture has a MV value that complements the pictures P0 and P3. However, the scene changes between the picture B2 and the picture P3, and the MV value of the picture P3 is not an appropriate MV value predicted purely from the picture P0.
これに対し、本実施の形態では、非参照ピクチャであるピクチャB2でエラーが生じた場合、そのエラーピクチャB2の直前と直後の参照ピクチャであるピクチャP0とピクチャP3のそれぞれについて、ピクチャ内に占めるイントラMBの比率をしきい値Fと比較して相関性の有無を判定し、ピクチャP3とピクチャP0の各MBのMV値の平均値、分散値を算出し、この場合はMV値の平均値、分散値を算出すると、エラーピクチャB2と同じシーンのピクチャP0の平均値及び分散値の方が、シーンチェンジ発生後のピクチャP3の平均値及び分散値よりも小さいので、最も相関性があるピクチャとしてピクチャP0のみが選択され、図4(A)に示すように、MV値を補完するピクチャとして、最も適当なピクチャP0を決定することができる。 In contrast, in the present embodiment, when an error occurs in picture B2, which is a non-reference picture, each of pictures P0 and P3, which are reference pictures immediately before and after error picture B2, is occupied in the picture. The intra MB ratio is compared with the threshold value F to determine the presence or absence of correlation, and the average value and variance value of the MV values of each MB of the picture P3 and the picture P0 are calculated. In this case, the average value of the MV values When the variance value is calculated, the average value and the variance value of the picture P0 of the same scene as the error picture B2 are smaller than the average value and the variance value of the picture P3 after the scene change occurs, and thus the picture having the most correlation As shown in FIG. 4A, only the picture P0 is selected as the picture that complements the MV value. Can.
なお、本発明は、上記の装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。 The present invention includes a program for causing a computer to realize the functions of the above apparatus. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.
また、以上の実施の形態では、Iピクチャ及びPピクチャを参照ピクチャとし、Bピクチャを非参照ピクチャとして説明したが、本発明はこれに限定されるものではなく、符号化規格(例えば、H.264規格)によっては、Bピクチャでも参照ピクチャとなり得、また、Pピクチャを非参照ピクチャと設定することも可能である。また、エラーピクチャが非参照ピクチャである場合、その前後のMV値を有する参照ピクチャを補完対象ピクチャとして説明したが、符号化規格(例えば、H.264規格)によっては、前方向2枚の参照ピクチャを補完対象ピクチャとしてもよいし、後方向2枚の参照ピクチャを補完対象ピクチャとしてもよく、更には直前あるいは直後の参照ピクチャに限定されるものでもない。 In the above embodiment, the I picture and the P picture are described as reference pictures and the B picture is described as a non-reference picture. However, the present invention is not limited to this, and an encoding standard (for example, H.264) is used. Depending on the H.264 standard), even a B picture can be a reference picture, and a P picture can be set as a non-reference picture. Further, when the error picture is a non-reference picture, the reference pictures having MV values before and after the error picture have been described as the complement target pictures. However, depending on the encoding standard (for example, the H.264 standard), two reference pictures in the forward direction are used. The picture may be the complement target picture, the two backward reference pictures may be the complement target pictures, and is not limited to the immediately preceding or immediately following reference picture.
エラー処理が必要とされる通信機器、モバイル機器などで使用される動画像復号化装置に有効である。 This is effective for a moving picture decoding apparatus used in a communication device, a mobile device or the like that requires error processing.
101 入力ビットストリーム
102 メモリ
103 復号部
104 逆量子化部
105 逆変換部
106 復号画像出力
107 加算器
108 エラー検出部
109 MV値算出部
110 MC部
111 フレームメモリ
112 復号順制御部
113 相関判断部
114 MV値保存部
DESCRIPTION OF
Claims (2)
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
少なくとも前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記MV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚のときは、その補完対象ピクチャを、補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完MV値を持つピクチャの復号化MVデータを、前記MV値算出手段からのMV値として補完するMVデータ補完手段と
を有することを特徴とする動画像復号化装置。 Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself A moving image decoding apparatus that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture. ,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to a picture type of the error in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using at least MV data from the MV value storage means and the decoded MV data from the decoding means;
When the picture in which the error is detected by the error detection means is the non-reference picture, one or more reference pictures on at least one of the front and rear sides in the decoding order of the non-reference picture are set as the complement target pictures. A correlation determination means for determining the presence or absence of correlation by comparing the presence ratio of the intra block in the complement target picture with a predetermined threshold;
When there is not one complement target picture determined to be correlated by the correlation determination unit, at least one of an average value and a variance value of MV values from the MV calculation unit for each of the plurality of complement target pictures Is calculated as a picture having a complementary MV value, and when the number of the complementary pictures determined to be correlated by the correlation determining means is one, Complementary picture determining means for determining a complementary target picture as a picture having a complementary MV value;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
When the decoded image data generating means generates decoded image data of a picture in which an error has been detected by the error detecting means, decoded MV data of a picture having the complementary MV value determined by the complementary picture determining means MV data complementing means for supplementing the MV value as the MV value from the MV value calculating means.
前記コンピュータを、
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
少なくとも前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記MV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完MV値を持つピクチャの復号化MVデータを、前記MV値算出手段からのMV値として補完するMVデータ補完手段と
して機能させることを特徴とする動画像復号化プログラム。
Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself Using a computer, decoding that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture is performed. A moving picture decoding program to be realized,
The computer,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to a picture type of the error in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using at least MV data from the MV value storage means and the decoded MV data from the decoding means;
When the picture in which the error is detected by the error detection means is the non-reference picture, one or more reference pictures on at least one of the front and rear sides in the decoding order of the non-reference picture are set as the complement target pictures. A correlation determination means for determining the presence or absence of correlation by comparing the presence ratio of the intra block in the complement target picture with a predetermined threshold;
When there is not one complement target picture determined to be correlated by the correlation determination unit, at least one of an average value and a variance value of MV values from the MV calculation unit for each of the plurality of complement target pictures Is calculated as a picture having a complementary MV value, and when the number of the complementary pictures determined to be correlated by the correlation determining means is one, Complementary picture determining means for determining a complementary picture as a picture having a complementary MV value;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
When the decoded image data generating means generates decoded image data of a picture in which an error has been detected by the error detecting means, decoded MV data of a picture having the complementary MV value determined by the complementary picture determining means Is decoded as an MV data complementing unit that complements the MV value from the MV value calculating unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006022623A JP2007208432A (en) | 2006-01-31 | 2006-01-31 | Moving picture decoder and decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006022623A JP2007208432A (en) | 2006-01-31 | 2006-01-31 | Moving picture decoder and decoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007208432A true JP2007208432A (en) | 2007-08-16 |
Family
ID=38487534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006022623A Pending JP2007208432A (en) | 2006-01-31 | 2006-01-31 | Moving picture decoder and decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007208432A (en) |
-
2006
- 2006-01-31 JP JP2006022623A patent/JP2007208432A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10382778B2 (en) | Method for motion vector storage in video coding and apparatus thereof | |
US9743088B2 (en) | Video encoder and video encoding method | |
JP5580453B2 (en) | Direct mode encoding and decoding apparatus | |
US6542642B2 (en) | Image coding process and motion detecting process using bidirectional prediction | |
US8155193B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
US8098731B2 (en) | Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus | |
US8718138B2 (en) | Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image | |
JP5197591B2 (en) | VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
TWI600313B (en) | Image prediction decoding device, image prediction decoding method | |
JP2008219870A (en) | Moving picture coding method and moving picture encoder | |
JP2008017229A (en) | Moving picture encoder | |
US20140233645A1 (en) | Moving image encoding apparatus, method of controlling the same, and program | |
JP2010232734A (en) | Image encoding apparatus, and image encoding method | |
JP5748225B2 (en) | Moving picture coding method, moving picture coding apparatus, and moving picture coding program | |
JP5100572B2 (en) | Encoder | |
JP2010258576A (en) | Scene change detector, and video recorder | |
JP2006203597A (en) | Digital image decoder and decoding method | |
JP2007067694A (en) | Apparatus and method for encoding image, camera, and portable terminal equipment | |
JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
JP5183309B2 (en) | Video decoding apparatus and method | |
JP2008252225A (en) | Motion picture encoding device and method | |
JP2007110409A (en) | Image processing device and program for making computer perform image processing method | |
JP2006262159A (en) | Moving picture encoding device, control method thereof, computer program and storage medium | |
JP2007208432A (en) | Moving picture decoder and decoding program | |
JP4133581B2 (en) | Telop synthesis device, telop synthesis method, and telop synthesis program |