JP2007208432A - Moving picture decoder and decoding program - Google Patents

Moving picture decoder and decoding program Download PDF

Info

Publication number
JP2007208432A
JP2007208432A JP2006022623A JP2006022623A JP2007208432A JP 2007208432 A JP2007208432 A JP 2007208432A JP 2006022623 A JP2006022623 A JP 2006022623A JP 2006022623 A JP2006022623 A JP 2006022623A JP 2007208432 A JP2007208432 A JP 2007208432A
Authority
JP
Japan
Prior art keywords
picture
decoded
data
value
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006022623A
Other languages
Japanese (ja)
Inventor
Futoshi Tsubaki
太 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006022623A priority Critical patent/JP2007208432A/en
Publication of JP2007208432A publication Critical patent/JP2007208432A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide moving picture decoder and decoding program which can produce a more naturally decoded image by processing the errors generated, when an encoded moving picture is decoded more efficiently. <P>SOLUTION: Upon the occurrence of errors in a non-reference picture, a correlation judging section 113 judges existence of correlation, by comparing the occupation ratio of intra MB in the picture with a threshold F, respectively, for the reference pictures immediately before and after that error picture. Furthermore, average value and variance value of the MV value of each MB of these reference pictures are calculated, and a reference picture of smaller average value and variance value is selected as a picture, having correlation the most. Since the MV value can be complemented with the MV value of a reference picture having correlation, even if errors occur in the non-reference picture immediately before occurrence of scene change, the decoded image can move more naturally. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は動画像復号化装置及び動画像復号化プログラムに係り、特にブロック単位の直交変換と量子化と可変長符号化を使用して作成された動画像符号化データを復号する際に発生したエラー処理を行う動画像復号化装置及び動画像復号化プログラムに関する。   The present invention relates to a moving picture decoding apparatus and a moving picture decoding program, and particularly occurs when decoding moving picture encoded data created using block-unit orthogonal transform, quantization, and variable length coding. The present invention relates to a moving picture decoding apparatus and a moving picture decoding program that perform error processing.

符号化対象のディジタル動画像信号に対して、ブロック単位の直交変換と量子化と可変長符号化を使用して生成された動画像符号化データを、復号化と逆量子化と逆直交変換を用いて動画像信号に復号化する動画像復号化装置において、ブロックのエラーが検出された場合、そのブロックと次に復号する隣接ブロックとが独立して復号できないと識別された時は、隣接ブロックの動きベクトルと、上記のエラーが検出されたブロックの動きベクトルとして、例えば、そのブロックの画面上真上のブロックの動きベクトルを設定する動画像復号化装置が知られている(例えば、特許文献1参照)。   The encoded video data generated using block-level orthogonal transform, quantization, and variable length coding is decoded, dequantized, and inverse orthogonal transformed for the digital video signal to be encoded. When a block error is detected in a moving picture decoding apparatus using the decoding apparatus to decode a moving picture signal, if it is determined that the block and the next neighboring block to be decoded cannot be decoded independently, the neighboring block For example, there is known a video decoding device that sets a motion vector of a block immediately above the screen of the block in which the above error is detected and a motion vector of the block in which the above error is detected (for example, Patent Literature 1).

図5は上記の特許文献1記載の従来の動画像復号化装置の一例のブロック図を示す。同図において、復号部501は、入力符号化データを復号する。ここで、符号化データは1フレームがブロック毎に分割され、その各ブロック毎に符号化され、かつ、時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式で符号化されている。エラー検出部502は、復号部501で復号中にエラーがあるかどうかを検出する。エラーが検出されないときは、復号部501が現在復号しているブロックの動きベクトルを動きベクトル記憶部505に記憶し、そのまま動きベクトル設定部506を介して動き補償復号部507へ出力する。   FIG. 5 shows a block diagram of an example of a conventional moving picture decoding apparatus described in Patent Document 1. In the figure, a decoding unit 501 decodes input encoded data. Here, in the encoded data, one frame is divided for each block, encoded for each block, and encoded by a method in which motion compensation prediction is performed for each block between temporally neighboring frames. . The error detection unit 502 detects whether there is an error during decoding by the decoding unit 501. When no error is detected, the motion vector of the block currently decoded by the decoding unit 501 is stored in the motion vector storage unit 505 and output to the motion compensation decoding unit 507 via the motion vector setting unit 506 as it is.

動き補償復号部507は、入力された動きベクトルに従い、フレームメモリ508より時間的に近傍な予測画像データを読み出して加算器504へ出力する。加算器504は復号部501からの復号された差分画像データと、動き補償復号部507からの予測画像データとを加算して、復号画像データを生成して外部へ出力する一方、フレームメモリ508に格納する。   The motion compensation decoding unit 507 reads predicted image data that is temporally nearby from the frame memory 508 according to the input motion vector, and outputs the prediction image data to the adder 504. The adder 504 adds the decoded difference image data from the decoding unit 501 and the predicted image data from the motion compensation decoding unit 507, generates decoded image data, and outputs the decoded image data to the frame memory 508. Store.

エラー検出部502でエラーが検出された場合、エラーの影響を抑えるために、エラー判定部503において、エラーが検出されたブロック以降のブロックの特性を解析し、解析の結果、現エラーブロックと独立して復号できる場合は、エラーが検出されたブロック以降のブロックは正常に復号処理を行うことができるため、復号部501に対して正常復号処理可能であることを示すエラー判定信号を送出し、現エラーブロックのみをエラー処理する。   When an error is detected by the error detection unit 502, in order to suppress the influence of the error, the error determination unit 503 analyzes the characteristics of the blocks after the block in which the error is detected. If the block can be decoded, an error determination signal indicating that normal decoding can be performed is sent to the decoding unit 501 because blocks subsequent to the block in which the error is detected can be normally decoded. Process only the current error block.

一方、解析の結果、現エラーブロックと独立して復号できない場合は、そのことを示すエラー判定信号を復号部501に供給し、復号部501で現在のエラーの影響が及ばない次の復号単位の直前までのすべてのブロックに対してもエラーブロックと見做して、動きベクトル記憶部505、動きベクトル設定部506を経由し、現エラーブロック(ここではマクロブロック:MB)に動きベクトル(Motion vector:MV)値を与える。   On the other hand, if the decoding cannot be performed independently of the current error block as a result of the analysis, an error determination signal indicating the fact is supplied to the decoding unit 501, and the decoding unit 501 has the next decoding unit that is not affected by the current error. All the blocks up to immediately before are regarded as error blocks, and the motion vector (Motion vector) is transferred to the current error block (here, macroblock: MB) via the motion vector storage unit 505 and the motion vector setting unit 506. : MV) value.

次に、エラーMBに関するMV値の補完方法に関して説明する。動きベクトル設定部506では、エラーMBがピクチャの境界で発生したかどうか判定し(図7のステップ701)、ピクチャの境界でない場合には、図6に示すように、エラーの起きたMBの真上のMBのMV値を補完に使用する(図7のステップ702)。   Next, a method for complementing the MV value related to the error MB will be described. The motion vector setting unit 506 determines whether or not an error MB has occurred at the picture boundary (step 701 in FIG. 7). If the error MB is not at the picture boundary, as shown in FIG. The MV value of the upper MB is used for complementation (step 702 in FIG. 7).

しかし、エラーの起きたMBがピクチャの一番上部である場合、補完するMVのデータが存在しない。そこで特許文献1では、エラーしたMBがピクチャの最上部の場合、または、ピクチャ単位の場合、すなわち、ピクチャ境界である場合は、エラーの起きたMBの補完するMV値として(0,0)を設定する(図7のステップ703)。   However, if the error MB is at the top of the picture, there is no MV data to complement. Therefore, in Patent Document 1, when the erroneous MB is the top part of a picture, or in the case of a picture unit, that is, at a picture boundary, (0, 0) is used as the MV value to be complemented by the erroneous MB. This is set (step 703 in FIG. 7).

特開2003−179937号公報JP 2003-179937 A

しかしながら、特許文献1記載の従来の動画像復号化装置では、復号化の際、ピクチャ単位のエラー(以下、エラーピクチャともいう)が生じた場合、また、スライス境界のMBでエラー(以下、エラー境界MBともいう)が生じた場合、MV値として(0,0)を補完する技術であるため、補完された画像データは以前に復号した参照ピクチャであり、動いている画像の場合、同じ画像が数枚続くことになり、復号画像が不自然な動きをする、という問題がある。   However, in the conventional moving picture decoding apparatus described in Patent Document 1, if an error in units of pictures (hereinafter also referred to as error pictures) occurs during decoding, or an error occurs in an MB at a slice boundary (hereinafter referred to as error). Since this is a technique for complementing (0, 0) as the MV value when the boundary MB occurs, the complemented image data is a previously decoded reference picture. In the case of a moving image, the same image Will continue several times, and there is a problem that the decoded image moves unnaturally.

また、特許文献1記載の従来の動画像復号化装置では、参照ピクチャ、非参照ピクチャの区別なくエラー処理を行っているため、参照ピクチャにエラーが発生した場合、前の復号画像をそのまま用いるので、復号化順で後の非参照ピクチャ、参照ピクチャに与える影響が大きい、という問題もある。   In addition, since the conventional moving picture decoding apparatus described in Patent Document 1 performs error processing without distinguishing between reference pictures and non-reference pictures, if an error occurs in a reference picture, the previous decoded picture is used as it is. There is also a problem that the influence on the non-reference picture and the reference picture later in the decoding order is large.

本発明は以上の点に鑑みなされたもので、符号化した動画像を復号する際に発生したエラー処理をより効率的に行い、より自然な復号画像を得ることが可能な動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。   The present invention has been made in view of the above points, and is a moving picture decoding apparatus capable of performing error processing generated when decoding a coded moving picture more efficiently and obtaining a more natural decoded picture. It is another object of the present invention to provide a moving picture decoding program.

上記の目的を達成するため、第1の発明は、動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、復号手段で復号される動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、動画像符号化データの復号化順を制御する復号化順制御手段と、復号化順を制御したことにより、復号化順制御手段から出力される制御信号に従い、復号手段から出力される復号化MVデータを保持するMV値保存手段と、少なくともMV値保存手段からのMVデータと復号手段からの復号化MVデータとを使用してMV値を算出するMV算出手段と、エラー検出手段によりエラーが検出されたピクチャが非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、相関性判断手段により相関性ありと判断された補完対象ピクチャが1枚でないときは、複数の補完対象ピクチャのそれぞれについてMV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、相関性判断手段により相関性ありと判断された補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、復号手段から出力された復号化係数データに対し、逆量子化及び逆変換を行って得られた画像データが非参照ピクチャであるときは、復号化済みの参照ピクチャデータとMV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、参照ピクチャの復号画像データを復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、復号画像データ生成手段によりエラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、補完用ピクチャ決定手段で決定された補完MV値を持つピクチャの復号化MVデータを、MV値算出手段からのMV値として補完するMVデータ補完手段とを有することを特徴とする。
In order to achieve the above object, the first invention divides each screen of a moving image signal into block units, which are image regions having a predetermined number of pixels, and performs orthogonal transform, quantization, and variable length coding on a block basis. Non-reference to be decoded with reference to the motion vector information of other pictures, and is composed of a plurality of blocks of picture data. Decoding, inverse quantization, and inverse orthogonal transformation are performed on moving picture encoded data including a picture or a reference picture whose motion vector information is referred to when decoding another picture. A moving image decoding device for generating image data,
Decoding means for decoding moving image encoded data and outputting decoded coefficient data and decoded MV data, and detecting whether or not an error has occurred during decoding of the moving image encoded data decoded by the decoding means An error detection unit; a decoding order control unit that controls a decoding order of moving image encoded data according to a picture type of the error in which the error is detected; By controlling the conversion order, in accordance with a control signal output from the decoding order control means, MV value storage means for holding the decoded MV data output from the decoding means, and at least MV data from the MV value storage means An MV calculation unit that calculates an MV value using the decoded MV data from the decoding unit, and a picture in which an error is detected by the error detection unit is a non-reference picture In the decoding order of the non-reference picture, one or more reference pictures on at least one of the front and rear sides are set as the complement target picture, and the intra block existing ratio in the complement target picture is predetermined. Correlation determining means for determining the presence or absence of correlation by comparing with a threshold value, and when the complement target picture determined to be correlated by the correlation determination means is not one, each of the plurality of complement target pictures At least one of the average value and the variance value of the MV values from the MV calculating means is calculated, and the complementary target picture having the smallest calculated value is determined as a picture having the complementary MV value, and there is a correlation by the correlation determining means. When there is one complementation target picture determined to be, a complementing picture determination that determines the complementation target picture as a picture having a complementation MV value If the image data obtained by performing inverse quantization and inverse transformation on the decoded coefficient data output from the stage and the decoding means is a non-reference picture, the decoded reference picture data and the MV value are calculated. Decoded image data generating means for adding the motion compensated image data generated from the MV value from the means to generate decoded image data and storing the decoded image data of the reference picture as decoded reference picture data; When generating the decoded image data of the picture in which the error is detected by the error detecting means, the decoded MV data of the picture having the complementary MV value determined by the complementary picture determining means is calculated by the image data generating means. And MV data complementing means for complementing as an MV value from the means.

また、上記の目的を達成するため、第2の発明の動画像復号化プログラムは、コンピュータを、第1の発明の動画像復号化装置の各構成手段として機能させることを特徴とする。   In order to achieve the above object, a moving picture decoding program according to a second invention causes a computer to function as each component of the moving picture decoding apparatus according to the first invention.

本発明の動画像復号化装置及び動画像復号化プログラムでは、復号すべき非参照ピクチャにエラーが生じたことを検出した時は、その非参照ピクチャの復号化順で前及び/又は後の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性ありと判断された補完対象ピクチャが1枚でないときは、複数の補完対象ピクチャのそれぞれについてMV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、相関性ありと判断された補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定し、決定した補完MV値を持つピクチャのそのMV値をエラーが検出された非参照ピクチャのMV値として補完するようにしたため、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なMV値を選択・決定できる。   In the moving picture decoding apparatus and moving picture decoding program of the present invention, when it is detected that an error has occurred in a non-reference picture to be decoded, the preceding and / or subsequent ones in the decoding order of the non-reference picture are detected. Alternatively, two or more reference pictures are used as complementing target pictures, and the existence ratio of intra blocks in the complementing target pictures is compared with a predetermined threshold to determine whether or not there is a correlation. When the complement target picture is not one, at least one of the average value and the variance value of the MV values from the MV calculation unit is calculated for each of the plurality of complement target pictures, and the complement target picture having the smallest calculated value is calculated. When a picture having a complementary MV value is determined as a picture to be complemented and determined to have correlation, the picture to be complemented is a pixel having a complementary MV value. Since the MV value of the picture having the determined complementary MV value is complemented as the MV value of the non-reference picture in which the error is detected, the scene change is performed before and after the non-reference picture in which the error is detected. Even when it occurs or when the scene changes greatly, an appropriate MV value can be selected and determined.

本発明によれば、復号時にエラーが検出された非参照ピクチャの復号化順で前及び/又は後の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断し、相関性がある参照ピクチャのMV値をエラーが検出された非参照ピクチャのMV値として補完することにより、そのエラーを検出した非参照ピクチャの前後でシーンチェンジが生じた場合、又はシーンの変化が大きい場合でも、適切なMV値を選択・決定できるため、より自然な動きをする復号画像を得ることができる。   According to the present invention, one or two or more reference pictures before and / or after in the decoding order of a non-reference picture in which an error is detected at the time of decoding are set as a complement target picture, and an intra block occupies the complement target picture By comparing the ratio with a predetermined threshold value to determine the presence or absence of correlation, and complementing the MV value of the correlated reference picture as the MV value of the non-reference picture in which the error is detected, Even when a scene change occurs before or after a non-reference picture in which an error is detected, or even when the scene change is large, an appropriate MV value can be selected and determined, so that a decoded image that moves more naturally can be obtained. .

次に、本発明の実施の形態について図面と共に説明する。図1は本発明になる動画像復号化装置の一実施の形態のブロック図、図2は本発明になる動画像復号化プログラムによりコンピュータで復号化動作するときの一実施の形態のフローチャートを示す。図1に示すように、本実施の形態は、動画像信号の一画面を複数の画素数からなる画像領域であるブロック単位の直交変換と量子化と可変長符号化とを使用した、MPEG等の符号化方式で符号化して得た動画像符号化データのデータ系列であるビットストリーム101に対して復号化を行う装置であって、ビットストリーム101を保持するメモリ102と、メモリ102からの動画像符号化データを復号する復号部103と、復号部103からの復号データを逆量子化する逆量子化部104と、符号化部側の直交変換とは逆変換を行う逆変換部105と、少なくともメモリ102に出力すべき符号化データを指示する復号順制御部112を有する。また、動画像復号化装置は、加算器107と、エラー処理部108と、MV算出部109と、MC部110と、フレームメモリ111と、相関判断部112と、MV値保存部114とを有する。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of an embodiment of a moving picture decoding apparatus according to the present invention, and FIG. 2 is a flowchart of an embodiment when a computer performs a decoding operation using the moving picture decoding program according to the present invention. . As shown in FIG. 1, in this embodiment, MPEG or the like using orthogonal transform, quantization, and variable length coding, which is an image area consisting of a plurality of pixels, on one screen of a moving image signal. A device that decodes a bit stream 101 that is a data sequence of moving image encoded data obtained by encoding with the above encoding method, and includes a memory 102 that holds the bit stream 101, and a moving image from the memory 102 A decoding unit 103 that decodes the image encoded data, an inverse quantization unit 104 that inversely quantizes the decoded data from the decoding unit 103, an inverse transformation unit 105 that performs inverse transformation on the orthogonal transformation on the coding unit side, A decoding order control unit 112 that instructs at least encoded data to be output to the memory 102 is included. In addition, the video decoding device includes an adder 107, an error processing unit 108, an MV calculation unit 109, an MC unit 110, a frame memory 111, a correlation determination unit 112, and an MV value storage unit 114. .

メモリ102は、保持したビットストリーム101を、復号順制御部112からの制御信号に基づいて、ビットストリーム101を構成する動画像符号化データを復号部103へ出力する。復号部103は、メモリ102から入力された動画像符号化データを復号する。復号部103は、動画像符号化データの復号ができない場合、すなわち、動画像符号化データにピクチャ単位又はスライスの最上部の位置の任意のブロック単位でエラーが生じた場合は、エラー処理部108にエラーを報告し、復号ができている場合は、逆量子化部104に復号して得られた係数データを出力し、MV算出部109に復号して得られた動きベクトル(MV)値データを出力する。逆量子化部104は、復号部103から入力される係数データを逆量子化し、得られたデータを逆変換部105へ出力して、符号化時の直交変換とは逆変換を行わせる。   The memory 102 outputs the encoded video data constituting the bit stream 101 to the decoding unit 103 based on the control signal from the decoding order control unit 112 for the held bit stream 101. The decoding unit 103 decodes the moving image encoded data input from the memory 102. If the decoding unit 103 cannot decode the moving image encoded data, that is, if an error occurs in the moving image encoded data in units of pictures or in arbitrary blocks in the uppermost position of the slice, the error processing unit 108. When the error is reported and decoding is performed, the coefficient data obtained by decoding is output to the inverse quantization unit 104, and the motion vector (MV) value data obtained by decoding is output to the MV calculation unit 109. Is output. The inverse quantization unit 104 inversely quantizes the coefficient data input from the decoding unit 103 and outputs the obtained data to the inverse transform unit 105 to perform an inverse transform from the orthogonal transform at the time of encoding.

エラー処理部108は、復号部103でエラーと判断された場合に、エラーピクチャデータ、又はエラー境界MBデータが入力され、後述するエラー処理を行う。MV算出部109は、復号されたMV値データ及びMV値保存部114より入力されるMV値データを使用し、算出該当MBの周辺情報などを使用してMV値を算出する。また、非参照ピクチャでは、非参照ピクチャの前後の参照ピクチャのMV値を使用して、MV値を算出することもできる。MV算出部109は、算出したMV値をMC部110に出力する。また、算出したMV値のピクチャが参照ピクチャである場合は、MV値保存部114にもMV値データを出力する。エラー処理におけるMV値補完に関しては、後に詳しく説明する。   When the decoding unit 103 determines an error, the error processing unit 108 receives error picture data or error boundary MB data, and performs error processing to be described later. The MV calculation unit 109 uses the decoded MV value data and the MV value data input from the MV value storage unit 114, and calculates the MV value using the peripheral information of the calculated MB. In the non-reference picture, the MV value can be calculated using the MV values of the reference pictures before and after the non-reference picture. The MV calculation unit 109 outputs the calculated MV value to the MC unit 110. If the calculated MV value picture is a reference picture, the MV value data is also output to the MV value storage unit 114. The MV value complement in error processing will be described in detail later.

MC部110は、MV算出部109で算出されるMV値と、フレームメモリ111より入力される参照ピクチャとを使用してMC画像(動き補償画像)を作成し、作成したMC画像を加算器107に供給して逆変換部105から出力されるデータと加算させて復号画像出力106を生成させる。フレームメモリ111は加算器107より入力される復号化された画像データを保持すると共に、必要に応じてMC部110へ復号画像データを出力する。   The MC unit 110 creates an MC image (motion compensation image) using the MV value calculated by the MV calculation unit 109 and the reference picture input from the frame memory 111, and adds the created MC image to the adder 107. Is added to the data output from the inverse transform unit 105 and the decoded image output 106 is generated. The frame memory 111 holds the decoded image data input from the adder 107 and outputs the decoded image data to the MC unit 110 as necessary.

なお、参照ピクチャはそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照されるピクチャで、MC画像を生成するために用いられる一画面分の画像データであり、非参照ピクチャはそのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャで、MC画像を生成するためには使用されない一画面分の画像データである。   Note that a reference picture is a picture whose motion vector information of the picture itself is referred to when decoding another picture, and is image data for one screen used for generating an MC image. The picture is a picture to be decoded with reference to motion vector information of another picture, and is image data for one screen that is not used to generate an MC image.

復号順制御部112は、エラー処理部108で復号化順を制御する必要がある場合に、メモリ102から復号部103への動画像符号化データの出力を制御する。相関判断部113は、エラー処理部108から入力される後述のデータ構造2のデータ及びMV値保存部114から入力されるMV値データを使用して、エラーピクチャとエラーを補完するピクチャとの相関性を算出し、更新したデータ構造2のデータを作成し、エラー処理部108へ出力する。相関判断部113の動作については後に詳細に説明する。MV値保存部114は、MV算出部109より入力されるMV値データを保持し、また必要に応じて、保持しているMV値データをMV算出部109へ出力する。   The decoding order control unit 112 controls the output of moving image encoded data from the memory 102 to the decoding unit 103 when the error processing unit 108 needs to control the decoding order. The correlation determination unit 113 uses the data of the data structure 2 (described later) input from the error processing unit 108 and the MV value data input from the MV value storage unit 114 to correlate the error picture with the picture that complements the error. The data of the updated data structure 2 is created and output to the error processing unit 108. The operation of the correlation determining unit 113 will be described in detail later. The MV value storage unit 114 holds the MV value data input from the MV calculation unit 109 and outputs the held MV value data to the MV calculation unit 109 as necessary.

なお、本実施の形態では、MV値保存部114が保存するMV値データは、直前の参照ピクチャとしているが、本発明はこれに限らない。また、面内予測を行うブロックのMV値には(0,0)をセットする。保存するMV値データのデータ構造はデータ構造1とする。ここで、このデータ構造1と、前記データ構造2は以下の構造である。   In the present embodiment, the MV value data stored by the MV value storage unit 114 is the previous reference picture, but the present invention is not limited to this. In addition, (0, 0) is set as the MV value of the block for which in-plane prediction is performed. The data structure of the MV value data to be stored is data structure 1. Here, the data structure 1 and the data structure 2 are the following structures.

[データ構造1]:(イントラ/インタースライス判別フラグ、ピクチャ番号、ピクチャ
内の任意のブロック数分の[イントラ/インター、MV値(X,Y)])
[データ構造2]:(エラーピクチャ番号、補完MVピクチャ番号)
次に、図1の実施の形態の動作について、図2のフローチャートを併せ参照して説明する。図1のメモリ102は、動画像符号化データが時系列的に合成されている入力ビットストリーム101を保存し(図2のステップ201の処理1)、保存したビットストリーム101の動画像符号化データを出力する(図2のステップ202の処理2)。続いて、図1の復号部103により入力された動画像符号化データの復号が行われる(図2のステップ203の処理3)。
[Data structure 1]: (Intra / inter slice discrimination flag, picture number, picture
[Intra / inter, MV value (X, Y)]) for any number of blocks
[Data structure 2]: (error picture number, complementary MV picture number)
Next, the operation of the embodiment of FIG. 1 will be described with reference to the flowchart of FIG. The memory 102 in FIG. 1 stores an input bitstream 101 in which moving image encoded data is synthesized in time series (processing 1 in step 201 in FIG. 2), and the encoded moving image encoded data of the bitstream 101 is stored. Is output (processing 2 in step 202 in FIG. 2). Subsequently, the moving image encoded data input by the decoding unit 103 in FIG. 1 is decoded (processing 3 in step 203 in FIG. 2).

復号部103は上記の復号が正常に行われたかどうかを判断し(図2のステップ204の分岐1)、復号が正常に行われなかったと判断した場合(すなわち、エラーが発生したと判断した場合)は、エラー処理部108により後述するエラー処理を行わせてデータ構造2のデータを作成し、相関判断部113へ出力する(図2のステップ205)。   The decoding unit 103 determines whether or not the above decoding has been performed normally (branch 1 in step 204 in FIG. 2), and determines that the decoding has not been performed normally (that is, determines that an error has occurred) ) Causes the error processing unit 108 to perform error processing, which will be described later, to create data of the data structure 2, and outputs the data to the correlation determination unit 113 (step 205 in FIG. 2).

また、このとき、復号順制御部112は、エラー処理部108から復号化しているデータがエラーであることが伝えられ、そのエラー検出された復号化データのピクチャが、そのピクチャ自身のMV値データが他のピクチャの復号の際に参照される参照ピクチャ(すなわち、MPEGで規定された面内予測符号化画像(Iピクチャ)、又は片側方向予測符号化画像(Pピクチャ))であると判定したときは、メモリ102に対して、エラーピクチャの復号化順で次の復号化データを復号部103に出力するように指示する復号化制御を行う。   At this time, the decoding order control unit 112 is notified from the error processing unit 108 that the data being decoded is an error, and the picture of the decoded data in which the error has been detected is the MV value data of the picture itself. Is a reference picture to be referred to when decoding another picture (that is, an intra prediction encoded image (I picture) or a one-sided predictive encoded image (P picture) defined in MPEG)) At this time, the decoding control is performed to instruct the memory 102 to output the next decoded data to the decoding unit 103 in the decoding order of the error picture.

相関判断部113は、エラー処理部108からのデータ構造2のデータと、MV値保存部114から入力される前記データ構造1のデータとを使用し、画像の相関性を検出し、より効果の大きい補完を行うことができるデータ構造2のデータを作成する(図2のステップ206の相関判定処理)。この相関判断部113の相関判定処理については、後に詳細に説明する。   The correlation determination unit 113 uses the data of the data structure 2 from the error processing unit 108 and the data of the data structure 1 input from the MV value storage unit 114 to detect the correlation of the image, and can be more effective. Data of data structure 2 that can be greatly complemented is created (correlation determination process in step 206 in FIG. 2). The correlation determination process of the correlation determination unit 113 will be described later in detail.

続いて、MV算出部109が、ステップ205のエラー処理、又はステップ206の相関判定処理で算出されたデータ構造2のデータと、MV値保存部114に保存されているデータ構造1のデータとを使用し、エラーピクチャとエラーを補完するピクチャとのピクチャ間隔から補完するMV値を算出する(図2のステップ207の処理4)。   Subsequently, the MV calculation unit 109 calculates the data structure 2 data calculated in the error process in step 205 or the correlation determination process in step 206 and the data structure 1 data stored in the MV value storage unit 114. The MV value to be complemented is calculated from the picture interval between the error picture and the picture to complement the error (Step 4 in Step 207 in FIG. 2).

続いて、MC部110が、ステップ207で算出されたMV算出部109からのMV値と、フレームメモリ111から読み出された参照ピクチャの画像データとから動き補償画像(MC画像)を作成して加算器107へ出力して逆変換部105からのデータと加算して復号画像を生成させる(図2のステップ208の処理5)。   Subsequently, the MC unit 110 creates a motion compensated image (MC image) from the MV value from the MV calculation unit 109 calculated in step 207 and the image data of the reference picture read out from the frame memory 111. It outputs to the adder 107 and adds with the data from the inverse transformation part 105, and produces | generates a decoded image (process 5 of step 208 of FIG. 2).

他方、ステップ204で復号が正常に行われたと判断されたときは、MPEG(Moving Picture Experts Group)に代表される一般的な復号処理が行われる(図2のステップ209の処理6)。すなわち、このステップ209の処理6では、復号部103から復号されて出力された係数データが逆量子化部104で逆量子化された後、逆変換部105で逆変換された後加算器107に供給される一方、復号部103から復号されて出力されたMVデータがMV算出部109によりMV値として算出された後MC部110に供給され、ここでフレームメモリ111より入力される参照ピクチャを使用してMC画像が作成されて加算器107に供給される。これにより、加算器107からは復号画像出力106が出力され、また必要に応じてフレームメモリ111に格納される。   On the other hand, when it is determined in step 204 that decoding has been performed normally, general decoding processing represented by MPEG (Moving Picture Experts Group) is performed (processing 6 in step 209 in FIG. 2). That is, in process 6 of step 209, the coefficient data decoded and output from the decoding unit 103 is inversely quantized by the inverse quantization unit 104 and then inversely converted by the inverse conversion unit 105, and then is added to the adder 107. On the other hand, the MV data decoded and output from the decoding unit 103 is calculated as an MV value by the MV calculation unit 109 and then supplied to the MC unit 110, where a reference picture input from the frame memory 111 is used. Then, an MC image is created and supplied to the adder 107. As a result, the decoded image output 106 is output from the adder 107 and stored in the frame memory 111 as necessary.

上記のステップ208の処理5又はステップ209の処理6が終了すると、作成した復号画像が参照ピクチャであるかどうか判定され(図2のステップ210の分岐2)、作成した復号画像が参照ピクチャであると判定されたときは、MC部110でのMC画像作成時に用いたMV値をMV値保存部114に保存し、この際、面内予測を行うブロックのMV値には(0,0)をセットする(図2のステップ211の処理7)。ステップ210の分岐2で作成した復号画像が参照ピクチャではない(非参照ピクチャである)と判定されたときは、処理7を行わずに復号化処理を終了する。なお、非参照ピクチャは、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャであり、MPEGの場合、双方向予測符号化画像(Bピクチャ)である。   When the process 5 in step 208 or the process 6 in step 209 is completed, it is determined whether or not the created decoded image is a reference picture (branch 2 in step 210 in FIG. 2), and the created decoded image is a reference picture. Is determined, the MV value used when the MC image is generated in the MC unit 110 is stored in the MV value storage unit 114. At this time, (0, 0) is set as the MV value of the block for which in-plane prediction is performed. Set (processing 7 of step 211 in FIG. 2). If it is determined that the decoded image created in branch 2 of step 210 is not a reference picture (non-reference picture), the decoding process is terminated without performing the process 7. Note that a non-reference picture is a picture that is to be decoded with reference to motion vector information of another picture. In the case of MPEG, a non-reference picture is a bi-predictive encoded image (B picture).

次に、本実施の形態の要部を構成する、相関性を算出する相関判断部113について、図3を参照して詳細に説明する。相関判断部113は、エラー処理部108から入力されるデータ構造2のデータを解析し、補完対象ピクチャが1枚であるかどうかを判断する(図3のステップ301の分岐1)。ここで、補完対象ピクチャとは、エラー検出された復号化データのピクチャ(エラーピクチャ)が参照ピクチャであるときはそのエラーピクチャの復号順で直前の参照ピクチャがMV値を有している場合は、その参照ピクチャであり、直前の参照ピクチャがMV値を有していない場合(例えば、Iピクチャの場合)は、その直後のMV値を有する参照ピクチャである。また、エラーピクチャが非参照ピクチャであり、その前後のMV値を有する参照ピクチャを復号時に使用する場合は、それら前後の参照ピクチャが補完対象ピクチャである。   Next, the correlation determination unit 113 for calculating the correlation, which constitutes the main part of the present embodiment, will be described in detail with reference to FIG. The correlation determination unit 113 analyzes the data of the data structure 2 input from the error processing unit 108, and determines whether or not there is one complement target picture (branch 1 in step 301 in FIG. 3). Here, when the picture of the decoded data in which error is detected (error picture) is a reference picture, the complement target picture is when the immediately preceding reference picture has an MV value in the decoding order of the error picture. When the immediately preceding reference picture has no MV value (for example, in the case of an I picture), the reference picture has the immediately following MV value. Further, when the error picture is a non-reference picture and the reference pictures having MV values before and after the error picture are used at the time of decoding, the reference pictures before and after the reference pictures are the complement target pictures.

相関判断部113は、図3のステップ301で補完対象ピクチャが1枚であると判断したときは、後述するステップ306の処理4にて、その補完対象ピクチャを前記ピクチャと決定する。一方、相関判断部113は、ステップ301で補完対象ピクチャが複数枚であると判断した場合、各補完対象ピクチャ内に占めるイントラMBの存在比率(以下、イントラ率という)を補完対象ピクチャ毎にそれぞれ算出する(図3のステップ302の処理1)。   When the correlation determination unit 113 determines in step 301 in FIG. 3 that there is one complement target picture, the correlation target unit 113 determines the complement target picture as the picture in step 4 of step 306 described later. On the other hand, if the correlation determination unit 113 determines that there are a plurality of complement target pictures in step 301, the intra MB existing ratio (hereinafter referred to as an intra rate) in each complement target picture is determined for each complement target picture. Calculate (Process 1 in Step 302 of FIG. 3).

続いて、相関判断部113は、ステップ302で算出した各ピクチャのイントラ率と、予め定められたしきい値Fとを比較し、イントラ率<しきい値Fの関係を満たしている場合は相関性があると判断し、イントラ率≧しきい値Fの関係を満たしている場合は相関性がないと判断する(図3のステップ303の処理2)。これにより、例えば、相関性を判断すべき補完対象ピクチャが、エラーピクチャに対してシーンチェンジポイント後のピクチャ、または予測が難しいピクチャの場合は相関性がないと判断され、シーンチェンジポイント前のピクチャ、または予測が簡単なピクチャの場合は相関性があると判断される。   Subsequently, the correlation determining unit 113 compares the intra rate of each picture calculated in step 302 with a predetermined threshold value F, and if the relationship of intra rate <threshold value F is satisfied, the correlation rate is determined. When the relationship of intra rate ≧ threshold value F is satisfied, it is determined that there is no correlation (process 2 in step 303 in FIG. 3). Thereby, for example, if the complement target picture whose correlation should be determined is a picture after a scene change point or a picture that is difficult to predict with respect to an error picture, it is determined that there is no correlation, and a picture before the scene change point In the case of a picture that is easy to predict, it is determined that there is a correlation.

続いて、相関判断部113は、ステップ303で相関性があると判断された補完対象ピクチャが1枚であるかどうか判断する(図3のステップ304の分岐2)。相関性があると判断された補完対象ピクチャが1枚であるときは、その補完対象ピクチャを補完するMV値を持つピクチャと決定する(図3のステップ306の処理4)。   Subsequently, the correlation determining unit 113 determines whether or not there is one complement target picture determined to have a correlation in step 303 (branch 2 in step 304 in FIG. 3). When there is one complementation target picture determined to have correlation, it is determined as a picture having an MV value that complements the complementation picture (process 4 in step 306 in FIG. 3).

一方、相関性判断部113は、ステップ304で相関性があると判断された補完対象ピクチャが1枚ではなかったと判断した時は、各補完対象ピクチャについて、そのピクチャを構成する複数ブロックのMV値の平均値と分散値をそれぞれ算出し(図3のステップ305の処理3)、その中で平均値及び分散値共に最も小さいピクチャを補完するMV値を持つピクチャと決定する(図3のステップ306の処理4)。   On the other hand, when the correlation determining unit 113 determines that there is not one complement target picture determined to be correlated in step 304, for each complement target picture, the MV values of a plurality of blocks constituting the picture Are calculated (step 3 in step 305 in FIG. 3), and a picture having an MV value that complements the picture having the smallest average value and variance value is determined (step 306 in FIG. 3). Process 4).

ただし、複数枚の相関性があると判断された補完対象ピクチャのうち、平均値が最も小さいピクチャと分散値が最も小さいピクチャとが異なる場合は、MV値の平均値の小さい方のピクチャを、補完するMV値を持つピクチャと決定する。この場合の一例を表1に示す。   However, if the picture with the smallest average value and the picture with the smallest variance value are different from the complement target pictures determined to have a plurality of correlations, the picture with the smaller average value of the MV values is The picture having the MV value to be complemented is determined. An example of this case is shown in Table 1.

Figure 2007208432
表1に示すように、ピクチャA及びピクチャBがともに相関性あると判断された補完対象ピクチャであると仮定する。算出した平均値がパターン1、つまりピクチャA<ピクチャBの場合、最も相関性があるピクチャとして決定されるのはピクチャAとなる。また、パターン2は、ピクチャA>ピクチャBの場合であり、最も相関性があるピクチャとして決定されるのはピクチャBとなる。
Figure 2007208432
As shown in Table 1, it is assumed that the picture A and the picture B are complementary pictures that are determined to be correlated. When the calculated average value is pattern 1, that is, picture A <picture B, it is picture A that is determined as the most correlated picture. Pattern 2 is a case where picture A> picture B, and picture B is determined as the most correlated picture.

そして、ステップ306で補完するMV値を持つピクチャと決定されたエラー補完対象ピクチャを使用し、データ構造2のデータを作成する(図3のステップ307の処理5)。なお、図3のステップ306での補完するMV値を持つピクチャの決定方法は、平均値が小さい方の補完対象ピクチャを選択する方法に限定されるものではなく、分散値の小さい方のピクチャを選択するようにしてもよく、また相関性があると判断された複数枚の補完対象ピクチャから1枚を選択しているが、複数枚を選択してもよく、それらのMV値の平均値などでエラーピクチャのMV値を補完することも可能である。   Then, the data having the data structure 2 is created using the picture having the MV value to be complemented in step 306 and the error complement target picture determined (step 5 in step 307 in FIG. 3). Note that the method of determining a picture having a MV value to be complemented in step 306 in FIG. 3 is not limited to the method of selecting a complement target picture having a smaller average value, and a picture having a smaller variance value is selected. It may be possible to select one image from a plurality of complement target pictures determined to have correlation, but a plurality of images may be selected, and an average value of the MV values, etc. It is also possible to complement the MV value of the error picture.

次に、図1に示した本発明の動画像復号化装置の一実施の形態と、従来の動画像復号化装置(従来技術というものとする)の動作を比較した一例について、図4と共に説明する。図4(A)、(B)において、P0、B1、B2、P3、B4の順でピクチャが表示されるものとする。ここで、P0、P3は片側方向予測符号化画像(Pピクチャ)を示し、B1、B2、B4は双方向予測符号化画像(Bピクチャ)を示し、P、Bの次の数字は、表示の順番を示す。また、ピクチャB2とピクチャP3の間でシーンチェンジが発生したものとする。   Next, an example in which the operation of the moving picture decoding apparatus of the present invention shown in FIG. 1 is compared with the operation of a conventional moving picture decoding apparatus (referred to as a prior art) will be described with reference to FIG. To do. 4A and 4B, it is assumed that pictures are displayed in the order of P0, B1, B2, P3, and B4. Here, P0 and P3 indicate unidirectional predictive encoded images (P pictures), B1, B2, and B4 indicate bidirectional predictive encoded images (B pictures), and the numbers after P and B are displayed. Indicates the order. It is assumed that a scene change has occurred between the picture B2 and the picture P3.

この場合、シーチェンジの直前の非参照ピクチャであるピクチャB2でエラーが発生した場合、従来技術では図4(B)に示すように、エラーピクチャであるB2の前後の複数枚の参照ピクチャであるピクチャP0とP3を補完するMV値を持つピクチャであると判断する。しかし、ピクチャB2とピクチャP3でシーンが変化しており、ピクチャP3のMV値は純粋にピクチャP0から予測した適切なMV値ではない。   In this case, when an error occurs in the picture B2, which is a non-reference picture immediately before the sea change, in the prior art, as shown in FIG. 4B, there are a plurality of reference pictures before and after the error picture B2. It is determined that the picture has a MV value that complements the pictures P0 and P3. However, the scene changes between the picture B2 and the picture P3, and the MV value of the picture P3 is not an appropriate MV value predicted purely from the picture P0.

これに対し、本実施の形態では、非参照ピクチャであるピクチャB2でエラーが生じた場合、そのエラーピクチャB2の直前と直後の参照ピクチャであるピクチャP0とピクチャP3のそれぞれについて、ピクチャ内に占めるイントラMBの比率をしきい値Fと比較して相関性の有無を判定し、ピクチャP3とピクチャP0の各MBのMV値の平均値、分散値を算出し、この場合はMV値の平均値、分散値を算出すると、エラーピクチャB2と同じシーンのピクチャP0の平均値及び分散値の方が、シーンチェンジ発生後のピクチャP3の平均値及び分散値よりも小さいので、最も相関性があるピクチャとしてピクチャP0のみが選択され、図4(A)に示すように、MV値を補完するピクチャとして、最も適当なピクチャP0を決定することができる。   In contrast, in the present embodiment, when an error occurs in picture B2, which is a non-reference picture, each of pictures P0 and P3, which are reference pictures immediately before and after error picture B2, is occupied in the picture. The intra MB ratio is compared with the threshold value F to determine the presence or absence of correlation, and the average value and variance value of the MV values of each MB of the picture P3 and the picture P0 are calculated. In this case, the average value of the MV values When the variance value is calculated, the average value and the variance value of the picture P0 of the same scene as the error picture B2 are smaller than the average value and the variance value of the picture P3 after the scene change occurs, and thus the picture having the most correlation As shown in FIG. 4A, only the picture P0 is selected as the picture that complements the MV value. Can.

なお、本発明は、上記の装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。   The present invention includes a program for causing a computer to realize the functions of the above apparatus. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.

また、以上の実施の形態では、Iピクチャ及びPピクチャを参照ピクチャとし、Bピクチャを非参照ピクチャとして説明したが、本発明はこれに限定されるものではなく、符号化規格(例えば、H.264規格)によっては、Bピクチャでも参照ピクチャとなり得、また、Pピクチャを非参照ピクチャと設定することも可能である。また、エラーピクチャが非参照ピクチャである場合、その前後のMV値を有する参照ピクチャを補完対象ピクチャとして説明したが、符号化規格(例えば、H.264規格)によっては、前方向2枚の参照ピクチャを補完対象ピクチャとしてもよいし、後方向2枚の参照ピクチャを補完対象ピクチャとしてもよく、更には直前あるいは直後の参照ピクチャに限定されるものでもない。   In the above embodiment, the I picture and the P picture are described as reference pictures and the B picture is described as a non-reference picture. However, the present invention is not limited to this, and an encoding standard (for example, H.264) is used. Depending on the H.264 standard), even a B picture can be a reference picture, and a P picture can be set as a non-reference picture. Further, when the error picture is a non-reference picture, the reference pictures having MV values before and after the error picture have been described as the complement target pictures. However, depending on the encoding standard (for example, the H.264 standard), two reference pictures in the forward direction are used. The picture may be the complement target picture, the two backward reference pictures may be the complement target pictures, and is not limited to the immediately preceding or immediately following reference picture.

エラー処理が必要とされる通信機器、モバイル機器などで使用される動画像復号化装置に有効である。   This is effective for a moving picture decoding apparatus used in a communication device, a mobile device or the like that requires error processing.

本発明装置の一実施の形態のブロック図である。It is a block diagram of one embodiment of the device of the present invention. 本発明装置の概略動作説明用フローチャートである。It is a flowchart for general | schematic operation | movement description of this invention apparatus. 図1中の相関判断部の動作説明用フローチャートである。It is a flowchart for operation | movement description of the correlation judgment part in FIG. 本発明の一実施の形態と従来技術の補完ピクチャの違いを説明する図である。It is a figure explaining the difference of one embodiment of this invention and the complementary picture of a prior art. 従来装置の一例のブロック図である。It is a block diagram of an example of a conventional device. 特許文献1のMB単位のMV補完図である。It is a MV complementation figure of MB unit of patent documents 1. 特許文献1のMV補完に関するフローチャートである。10 is a flowchart related to MV complementation in Patent Document 1;

符号の説明Explanation of symbols

101 入力ビットストリーム
102 メモリ
103 復号部
104 逆量子化部
105 逆変換部
106 復号画像出力
107 加算器
108 エラー検出部
109 MV値算出部
110 MC部
111 フレームメモリ
112 復号順制御部
113 相関判断部
114 MV値保存部



DESCRIPTION OF SYMBOLS 101 Input bit stream 102 Memory 103 Decoding part 104 Inverse quantization part 105 Inverse conversion part 106 Decoded image output 107 Adder 108 Error detection part 109 MV value calculation part 110 MC part 111 Frame memory 112 Decoding order control part 113 Correlation judgment part 114 MV value storage



Claims (2)

動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、前記ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
少なくとも前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記MV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚のときは、その補完対象ピクチャを、補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完MV値を持つピクチャの復号化MVデータを、前記MV値算出手段からのMV値として補完するMVデータ補完手段と
を有することを特徴とする動画像復号化装置。
Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself A moving image decoding apparatus that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture. ,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to a picture type of the error in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using at least MV data from the MV value storage means and the decoded MV data from the decoding means;
When the picture in which the error is detected by the error detection means is the non-reference picture, one or more reference pictures on at least one of the front and rear sides in the decoding order of the non-reference picture are set as the complement target pictures. A correlation determination means for determining the presence or absence of correlation by comparing the presence ratio of the intra block in the complement target picture with a predetermined threshold;
When there is not one complement target picture determined to be correlated by the correlation determination unit, at least one of an average value and a variance value of MV values from the MV calculation unit for each of the plurality of complement target pictures Is calculated as a picture having a complementary MV value, and when the number of the complementary pictures determined to be correlated by the correlation determining means is one, Complementary picture determining means for determining a complementary target picture as a picture having a complementary MV value;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
When the decoded image data generating means generates decoded image data of a picture in which an error has been detected by the error detecting means, decoded MV data of a picture having the complementary MV value determined by the complementary picture determining means MV data complementing means for supplementing the MV value as the MV value from the MV value calculating means.
動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、前記ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する復号化を、コンピュータを用いて実現させる動画像復号化プログラムであって、
前記コンピュータを、
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラーのピクチャタイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
少なくとも前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記エラー検出手段によりエラーが検出されたピクチャが前記非参照ピクチャであるときには、その非参照ピクチャの復号化順で前及び後の少なくとも一方の側の1又は2以上の参照ピクチャを補完対象ピクチャとし、その補完対象ピクチャに占めるイントラブロックの存在比率と予め定められたしきい値とを比較して相関性の有無を判断する相関性判断手段と、
前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚でないときは、複数の前記補完対象ピクチャのそれぞれについて前記MV算出手段からのMV値の平均値及び分散値の少なくとも一方を算出して、その算出値が最も小さな補完対象ピクチャを補完MV値を持つピクチャとして決定し、前記相関性判断手段により相関性ありと判断された前記補完対象ピクチャが1枚のときは、その補完対象ピクチャを補完MV値を持つピクチャとして決定する補完用ピクチャ決定手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記復号画像データ生成手段が前記エラー検出手段によりエラーが検出されたピクチャの復号画像データを生成するときは、前記補完用ピクチャ決定手段で決定された前記補完MV値を持つピクチャの復号化MVデータを、前記MV値算出手段からのMV値として補完するMVデータ補完手段と
して機能させることを特徴とする動画像復号化プログラム。
Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself Using a computer, decoding that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture is performed. A moving picture decoding program to be realized,
The computer,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to a picture type of the error in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using at least MV data from the MV value storage means and the decoded MV data from the decoding means;
When the picture in which the error is detected by the error detection means is the non-reference picture, one or more reference pictures on at least one of the front and rear sides in the decoding order of the non-reference picture are set as the complement target pictures. A correlation determination means for determining the presence or absence of correlation by comparing the presence ratio of the intra block in the complement target picture with a predetermined threshold;
When there is not one complement target picture determined to be correlated by the correlation determination unit, at least one of an average value and a variance value of MV values from the MV calculation unit for each of the plurality of complement target pictures Is calculated as a picture having a complementary MV value, and when the number of the complementary pictures determined to be correlated by the correlation determining means is one, Complementary picture determining means for determining a complementary picture as a picture having a complementary MV value;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
When the decoded image data generating means generates decoded image data of a picture in which an error has been detected by the error detecting means, decoded MV data of a picture having the complementary MV value determined by the complementary picture determining means Is decoded as an MV data complementing unit that complements the MV value from the MV value calculating unit.
JP2006022623A 2006-01-31 2006-01-31 Moving picture decoder and decoding program Pending JP2007208432A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006022623A JP2007208432A (en) 2006-01-31 2006-01-31 Moving picture decoder and decoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006022623A JP2007208432A (en) 2006-01-31 2006-01-31 Moving picture decoder and decoding program

Publications (1)

Publication Number Publication Date
JP2007208432A true JP2007208432A (en) 2007-08-16

Family

ID=38487534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006022623A Pending JP2007208432A (en) 2006-01-31 2006-01-31 Moving picture decoder and decoding program

Country Status (1)

Country Link
JP (1) JP2007208432A (en)

Similar Documents

Publication Publication Date Title
US10382778B2 (en) Method for motion vector storage in video coding and apparatus thereof
US9743088B2 (en) Video encoder and video encoding method
JP5580453B2 (en) Direct mode encoding and decoding apparatus
US6542642B2 (en) Image coding process and motion detecting process using bidirectional prediction
US8155193B2 (en) Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
US8718138B2 (en) Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image
JP5197591B2 (en) VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
TWI600313B (en) Image prediction decoding device, image prediction decoding method
JP2008219870A (en) Moving picture coding method and moving picture encoder
JP2008017229A (en) Moving picture encoder
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
JP2010232734A (en) Image encoding apparatus, and image encoding method
JP5748225B2 (en) Moving picture coding method, moving picture coding apparatus, and moving picture coding program
JP5100572B2 (en) Encoder
JP2010258576A (en) Scene change detector, and video recorder
JP2006203597A (en) Digital image decoder and decoding method
JP2007067694A (en) Apparatus and method for encoding image, camera, and portable terminal equipment
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
JP5183309B2 (en) Video decoding apparatus and method
JP2008252225A (en) Motion picture encoding device and method
JP2007110409A (en) Image processing device and program for making computer perform image processing method
JP2006262159A (en) Moving picture encoding device, control method thereof, computer program and storage medium
JP2007208432A (en) Moving picture decoder and decoding program
JP4133581B2 (en) Telop synthesis device, telop synthesis method, and telop synthesis program