JP2019110376A - Decode error detection estimation device, video decoding device, and program for the devices - Google Patents

Decode error detection estimation device, video decoding device, and program for the devices Download PDF

Info

Publication number
JP2019110376A
JP2019110376A JP2017240324A JP2017240324A JP2019110376A JP 2019110376 A JP2019110376 A JP 2019110376A JP 2017240324 A JP2017240324 A JP 2017240324A JP 2017240324 A JP2017240324 A JP 2017240324A JP 2019110376 A JP2019110376 A JP 2019110376A
Authority
JP
Japan
Prior art keywords
decoding
decoding error
block
clips
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017240324A
Other languages
Japanese (ja)
Other versions
JP6985915B2 (en
Inventor
井口 和久
Kazuhisa Iguchi
和久 井口
和博 千田
Kazuhiro Senda
和博 千田
市ヶ谷 敦郎
Atsuro Ichigaya
敦郎 市ヶ谷
菊文 神田
Kikufumi Kanda
菊文 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017240324A priority Critical patent/JP6985915B2/en
Publication of JP2019110376A publication Critical patent/JP2019110376A/en
Application granted granted Critical
Publication of JP6985915B2 publication Critical patent/JP6985915B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide a decode error detection estimation device for efficiently detecting or estimating a decode error generated in decoding a coded video stream, a video decoding device for performing error concealment depending on the detection of the decode error, and a program for the devices.SOLUTION: A decode error detection estimation device 10 comprises: a the-number-of-clips detection unit 103 for detecting the number of clips in a decode error determination block preset for an input decode area; and a decode error determination unit 105 that compares the number of clips in a present block constituting the decode error determination block on which the detection is performed with the number of clips in a past block in a predetermined past frame of a comparison target or a specified value and, according to a predetermined determination criterion, determines whether or not the present block includes a decode error. A video decoding device 1 of the present invention comprises the decode error detection estimation device 10.SELECTED DRAWING: Figure 1

Description

本発明は、符号化映像の復号時におけるデコードエラーを検出する技術に関し、特に、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置、当該デコードエラーの検出に応じたエラーコンシールメントを行う映像復号装置、及びこれらのプログラムに関する。   The present invention relates to a technique for detecting a decoding error at the time of decoding of a coded video, and more particularly to a decoding error detection / estimating device for detecting or estimating a decoding error that occurs when decoding a coded video stream, detection of the decoding error The present invention relates to a video decoding apparatus that performs error concealment in accordance with the above, and programs for these.

一般に、映像符号化方式では、スタートコードと呼ばれる特定のビット列を規定している。スタートコードは、ビットストリームの区切りに用いられる。スタートコードは、区切り位置以外には出現しないことが保証されている。   In general, a video coding system defines a specific bit string called a start code. The start code is used to separate bitstreams. It is guaranteed that the start code does not appear except at the break position.

スタートコードで区切られたスタートコード以外の部分を、本願明細書中ではペイロードと呼ぶ(ペイロードは、H.264又はH.265等に従う映像符号化方式では、NALユニットと呼ばれている)。ペイロードは、スライスやマクロブロック等の情報を示すヘッダ部と、直交変換係数や動きベクトルやそれらの残差信号を示すデータ部から構成される。極端に低いビットレートのストリームを除くと、一般に、ペイロード中のほぼ全てのビットはデータ部に属している。また、ペイロードを復号して得られる映像の領域を、本願明細書中ではデコード領域(即ち、ペイロードを復号して得られる画像を復元するフレーム画像に割り当てるべき領域)と呼ぶ。デコード領域は、画面全体(フレーム画像、ピクチャ等と呼ばれる)や、画面の一部(スライス、タイル等と呼ばれる)とされ、ストリームヘッダにて指定される。   In the present specification, portions other than the start code separated by the start code are referred to as a payload (the payload is referred to as an NAL unit in a video coding scheme according to H.264 or H.265 or the like). The payload is composed of a header portion indicating information such as a slice or a macroblock, and a data portion indicating orthogonal transform coefficients, motion vectors, and residual signals thereof. Generally, almost all the bits in the payload belong to the data part, except for extremely low bit rate streams. Also, a region of a video obtained by decoding the payload is referred to as a decoding region (that is, a region to be allocated to a frame image from which an image obtained by decoding the payload is restored) in the present specification. The decoding area is an entire screen (referred to as a frame image, a picture or the like) or a part of the screen (referred to as a slice, a tile or the like), and is designated by a stream header.

H.265/MPEG−H HEVC方式などの最近の映像符号化方式は、ビット使用効率を高めるため、スタートコード以外のペイロード中(特にデータ中)にデコードエラー検出が困難な不特定のビット列が出現する。そのため、符号化映像ストリームを復号する際に発生したデコードエラーを検出する既知の方法は、デコード領域の復号が完了する前にスタートコードが現われる(ペイロードの不足)か、デコード領域の復号が完了したにも関わらずスタートコードが現われない(ペイロードの余剰)かの検出によっている。このスタートコードを用いた既知のデコードエラー検出技法では、デコード領域内のエラー位置を把握できないため、デコード領域全体をエラーコンシールメントの対象とせざるを得ないことから、処理効率が良くない。   In recent video coding methods such as H. 265 / MPEG-H HEVC and the like, in order to improve bit use efficiency, non-specific bit strings that are difficult to detect decoding errors appear in payloads (especially data) other than start codes. Do. Therefore, as a known method for detecting a decoding error that occurs when decoding a coded video stream, the start code may appear before the decoding of the decoding area is completed (lack of payload) or the decoding of the decoding area is completed. Despite this, it is detected by detecting whether the start code does not appear (payload surplus). In the known decoding error detection technique using this start code, the error position in the decoding area can not be grasped, and the entire decoding area must be subjected to the error concealment, so the processing efficiency is not good.

尚、可変長データの復号時に復号不能のデータが発生する際にエラーを検出するデコードエラー検出回路が知られている(例えば、特許文献1参照)。この可変長データとは、ハフマン符号化に代表されるデータと符号語が一対一に対応する可変長符号化で圧縮されたデータである。可変長符号化で用いる符号語には特定のビットの組合せのみが存在するため、デコードエラー検出が可能である。   A decoding error detection circuit is known which detects an error when data which can not be decoded occurs during decoding of variable-length data (see, for example, Patent Document 1). The variable-length data is data compressed by variable-length coding in which data typified by Huffman coding and a code word correspond one to one. Decode error detection is possible because only a specific combination of bits exists in a codeword used in variable-length coding.

しかし、H.265/MPEG−H HEVC方式などの、最近の映像符号化方式はビット使用効率を高めるため、(特にデータ部では)可変長符号化ではなく算術符号化を用いている。算術符号化では予め決められた符号語が存在しないことから、上述したようにスタートコード以外のペイロード中(特にデータ中)にデコードエラー検出が困難な不特定のビット列が出現するため、特許文献1の技法ではデコードエラー検出を行うことはできない。   However, recent video coding schemes, such as H. 265 / MPEG-H HEVC, use arithmetic coding rather than variable length coding (especially in the data section) to improve bit usage efficiency. In arithmetic coding, since a predetermined code word does not exist, as described above, a non-specific bit string that is difficult to detect a decoding error appears in the payload (especially data) other than the start code. Can not perform decoding error detection.

また、映像復号時にデコードエラーが発生したマクロブロックを検出する技法も知られている(例えば、特許文献2参照)。特許文献2には、デコードエラー検出の技法として、下記の2例が開示されている。   There is also known a technique for detecting a macroblock in which a decoding error has occurred at the time of video decoding (see, for example, Patent Document 2). Patent Document 2 discloses the following two examples as a decoding error detection technique.

(1)マクロブロック情報をデコードした結果、対応するデータが存在しない。これは、例えば、マクロブロック情報をデコードした後、ある参照フレームを参照して再現する場合、その参照フレームが「リスト10」を指していた場合で、参照フレームリストが「リスト0」から「リスト8」までしか存在しなかった場合などである。   (1) As a result of decoding the macroblock information, there is no corresponding data. This is, for example, when the macro block information is decoded and then reproduced with reference to a reference frame, the reference frame is pointing to "list 10", and the reference frame list is "list 0" to "list For example, there were only 8 ".

(2)マクロブロック情報をデコードした結果の値が符号化対応表に存在しない。これは、例えば、デコードした結果が「40」という値になったが、符号化対応表には「0」から「30」までの値しか定義されていない場合などである。   (2) The value resulting from decoding the macroblock information does not exist in the encoding correspondence table. This is, for example, the case where the decoded result has a value of "40" but only values from "0" to "30" are defined in the encoding correspondence table.

しかし、特許文献2に開示される技法は、参照フレームリストや符号化対応表が示されるヘッダ部に関わるマクロブロックのデコードエラーを検出する技法であるため、一般にペイロード中のビット列のほとんどがデータ部(特に直行変換係数又はその残差信号)であることから、高い検出確率が期待できない。   However, since the technique disclosed in Patent Document 2 is a technique for detecting a decoding error of a macroblock involved in a header portion in which a reference frame list or a coding correspondence table is shown, most of the bit strings in the payload are generally data portions. Since it is (in particular, an orthogonal transformation coefficient or its residual signal), a high detection probability can not be expected.

そして、H.265/MPEG−H HEVC方式などの最近の映像符号化方式は、ビット使用効率を極限まで高めるために、符号化対応表に存在しない値がそもそも復号されることはないため、特許文献2に開示される技法によりデコードエラー検出を行うことが困難である。   And, in recent video coding methods such as H. 265 / MPEG-H HEVC method, in order to maximize the bit use efficiency, values which are not present in the coding correspondence table are not decoded in the first place. It is difficult to perform decoding error detection by the technique disclosed in reference 2.

特開平5−95536号公報Unexamined-Japanese-Patent No. 5-95536 特許第4309784号明細書Patent No. 4309784

上述したように、H.265/MPEG−H HEVC方式などの最近の映像符号化方式は、ビット使用効率を高めるため、スタートコード以外のペイロード中(特にデータ中)にデコードエラー検出が困難な不特定のビット列が出現する。そのため、符号化映像ストリームを復号する際に発生したデコードエラーを検出する既知の方法は、デコード領域の復号が完了する前にスタートコードが現われる(ペイロードの不足)か、デコード領域の復号が完了したにも関わらずスタートコードが現われない(ペイロードの余剰)かの検出によっている。このスタートコードを用いた既知のデコードエラー検出技法では、デコード領域内のエラー位置を把握できないため、デコード領域全体をエラーコンシールメントの対象とせざるを得ないことから、処理効率が良くない。   As described above, recent video coding methods such as the H. 265 / MPEG-H HEVC method and the like improve the bit use efficiency, so it is difficult to detect decoding errors in payloads (especially data) other than the start code. A specific bit string appears. Therefore, as a known method for detecting a decoding error that occurs when decoding a coded video stream, the start code may appear before the decoding of the decoding area is completed (lack of payload) or the decoding of the decoding area is completed. Despite this, it is detected by detecting whether the start code does not appear (payload surplus). In the known decoding error detection technique using this start code, the error position in the decoding area can not be grasped, and the entire decoding area must be subjected to the error concealment, so the processing efficiency is not good.

また、特許文献1又は2の技法では、H.265/MPEG−H HEVC方式などの最近の映像符号化方式に従う符号化映像ストリームを復号する際に発生したデコードエラーを検出するのが困難である。   Further, with the technique of Patent Document 1 or 2, it is difficult to detect a decoding error that occurs when decoding a coded video stream according to a recent video coding method such as H. 265 / MPEG-H HEVC. .

このため、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などの最近の映像符号化方式においても、その符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定する技法が望まれる。   For this reason, H. Not only in H. 265 / MPEG-H HEVC format but also in recent video coding systems such as H. 265 / MPEG-H HEVC format or the like, decoding errors generated when decoding the encoded video stream are efficiently detected or not Techniques to estimate are desired.

そこで、本発明の目的は、上述の問題に鑑みて、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などの最近の映像符号化方式においても、その符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定するデコードエラー検出推定装置、当該デコードエラーの検出に応じたエラーコンシールメントを行う映像復号装置、及びこれらのプログラムを提供することにある。   Therefore, in view of the above problems, the object of the present invention is as follows. Not only in H. 265 / MPEG-H HEVC format but also in recent video coding systems such as H. 265 / MPEG-H HEVC format or the like, decoding errors generated when decoding the encoded video stream are efficiently detected or not A decoding error detection / estimating device to estimate, a video decoding device that performs error concealment according to the detection of the decoding error, and a program thereof are provided.

本発明による第1態様のデコードエラー検出推定装置は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた比較対象の過去フレームにおける当該現ブロックと同一ブロック位置の過去ブロック(過去フレーム中のブロック)のクリップ数とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、を備えることを特徴とする。   A decoding error detection and estimation apparatus according to a first aspect of the present invention is a decoding error detection and estimation apparatus for detecting or estimating a decoding error generated when decoding a coded video stream, and decoding the coded video stream The number of clips detecting means for inputting the obtained decoding area and detecting the number of clips in the decoding error judgment block of the block size preset to perform the decoding error judgment on the inputted decoding area, and the detected decoding error The number of clips of the current block constituting the judgment block is compared with the number of clips of the past block (block in the past frame) at the same block position as the current block in the predetermined comparison target past frame. Whether the current block has a decoding error according to Or it determines, characterized in that it comprises a and a decoding error determination section for generating a decoding error determination signal indicating the presence or absence of decoding error.

また、本発明による第1態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記所定の判定基準として、前記現ブロックのクリップ数が前記過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする。   Further, in the decoding error detection and estimation apparatus according to the first aspect of the present invention, the decoding error determination means determines that the number of clips of the current block is increased by a predetermined amount from the number of clips of the past block as the predetermined determination criterion. It is characterized in that when it is determined that there is a decoding error.

また、本発明による第1態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記予め定めた比較対象の過去フレームとして、復号順で直前に復号済みの過去フレームを比較対象とすることを特徴とする。   Further, in the decoding error detection and estimation apparatus according to the first aspect of the present invention, the decoding error determination unit compares, as a comparison target past frame determined in advance, the previous frame decoded immediately before in the decoding order. It is characterized by

更に、本発明による第2態様のデコードエラー検出推定装置は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた規定値とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、を備えることを特徴とする。   Furthermore, a decoding error detection and estimation apparatus according to a second aspect of the present invention is a decoding error detection and estimation apparatus for detecting or estimating a decoding error generated when decoding a coded video stream, which decodes the coded video stream And the number-of-clips detecting means for detecting the number of clips in the decoding error determination block of the block size set in advance for performing the decoding error determination on the input decoding area, and the detection The number of clips of the current block constituting the decoding error determination block is compared with a predetermined value determined in advance, it is determined whether the current block has a decoding error according to a predetermined determination criterion, and the presence or absence of a decoding error is indicated. And a decode error determination unit that generates a decode error determination signal. It is characterized in.

また、本発明による第2態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、前記所定の判定基準として、前記規定値と、前記現ブロックのクリップ数とを比較して、前記現ブロックのクリップ数が前記規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする。   Further, in the decoding error detection and estimation apparatus according to the second aspect of the present invention, the decoding error judging means compares the specified value with the number of clips of the current block as the predetermined judgment standard, When it is determined that the number of clips in the group is larger than the predetermined value by a predetermined amount, it is determined that there is a decoding error.

また、本発明による第1及び第2態様のデコードエラー検出推定装置において、前記デコードエラー判定手段は、当該デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定することを特徴とする。   Further, in the decoding error detection and estimation apparatus according to the first and second aspects of the present invention, the decoding error determination means compares and determines the ratio of the number of clips to the number of pixels in the decoding error determination block. Do.

更に、本発明の映像復号装置は、本発明に係るデコードエラー検出推定装置と、前記デコードエラー検出推定装置から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成する補完手段と、を備えることを特徴とする。   Furthermore, the video decoding apparatus according to the present invention performs error concealment by complementing the corresponding decoding area based on the decoding error detection and estimation apparatus according to the present invention, and the decoding error determination signal obtained from the decoding error detection and estimation apparatus. And a complementing means for generating a video stream subjected to the texting.

更に、本発明のプログラムは、コンピューターを、本発明に係るデコードエラー検出推定装置、或いは本発明に係る映像復号装置として機能させるためのプログラムとして構成する。   Furthermore, the program of the present invention configures a computer as a program for causing the computer to function as a decoding error detection and estimation device according to the present invention or a video decoding device according to the present invention.

本発明によれば、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などのビット使用効率が高い最近の映像符号化方式においても、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。   According to the present invention, since the number of clipped pixel values generated in the decoding process is used to detect or estimate the decoding error generated when decoding the encoded video stream, Efficiently detect or estimate a place where a decoding error has occurred not only in H. 265 / MPEG-H HEVC and other recent video coding methods, but also in H. 265 / MPEG-H HEVC and other video coding methods. Is possible.

本発明による第1実施形態のデコードエラー検出推定装置を備える映像復号装置の概略構成を例示するブロック図である。It is a block diagram which illustrates schematic structure of a video decoding apparatus provided with the decoding error detection estimation apparatus of 1st Embodiment by this invention. 本発明による第1実施形態のデコードエラー検出推定装置におけるデコードエラー判定ブロックに関するブロック分割の一例を示す説明図である。It is explanatory drawing which shows an example of the block division regarding the decoding error determination block in the decoding error detection estimation apparatus of 1st Embodiment by this invention. 本発明による第1実施形態のデコードエラー検出推定装置におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。It is explanatory drawing which shows the comparative example of the number of clips used for the decoding error determination in the decoding error detection estimation apparatus of 1st Embodiment by this invention. 本発明による第3実施形態のデコードエラー検出推定装置を備える映像復号装置の概略構成を例示するブロック図である。It is a block diagram which illustrates schematic structure of a video decoding apparatus provided with the decoding error detection estimation apparatus of 3rd Embodiment by this invention. 本発明による第2実施形態のデコードエラー検出推定装置におけるデコードエラー判定に用いるクリップ数の説明図である。It is explanatory drawing of the number of clips used for the decoding error determination in the decoding error detection estimation apparatus of 2nd Embodiment by this invention.

〔第1実施形態〕
(映像復号装置)
図1は、本発明による第1実施形態のデコードエラー検出推定装置10を備える映像復号装置1の概略構成を例示するブロック図である。本発明に係るデコードエラー検出推定装置10は、符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定する装置として機能する。
First Embodiment
(Video decoding device)
FIG. 1 is a block diagram illustrating a schematic configuration of a video decoding device 1 provided with a decoding error detection and estimation device 10 according to a first embodiment of the present invention. The decoding error detection and estimation apparatus 10 according to the present invention functions as an apparatus for detecting or estimating a decoding error that occurs when decoding a coded video stream.

まず、映像復号装置1は、デコードエラー検出推定装置10、復号処理部11、及び補完部12を備える。   First, the video decoding device 1 includes a decoding error detection / estimation device 10, a decoding processing unit 11, and a complementing unit 12.

復号処理部11は、符号化映像ストリームを入力し復号処理を行う機能部である。復号処理部11は、当該符号化映像ストリームを入力すると、そのストリームヘッダにて指定されるデコード領域を復号時に区分することができ、順次、デコード領域を補完部12に出力する。   The decoding processing unit 11 is a functional unit that receives an encoded video stream and performs decoding processing. When the decoding processing unit 11 receives the encoded video stream, the decoding processing unit 11 can divide the decoding region specified by the stream header at the time of decoding, and sequentially outputs the decoding region to the complementing unit 12.

一般に、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などの最近の映像符号化方式における映像復号装置では、復号時に(デコード領域の生成時に)、許容される範囲内へと画素値をクリップする処理が含まれる。つまり、クリップとは、許容される最小値又は最大値を越える画素値を、許容される最小値又は最大値にそれぞれ置き換える処理である。一般に、映像符号化方式では、復号処理の中でクリップを行うことが規定されている(例えば、H.265/MPEG−H HEVC方式では、Clip3等の関数として定義されている)。また、許容される範囲(最小値又は最大値)が固定ではなく、映像ストリーム中で可変の場合もある。この場合のクリップは、当該ブロックで許容される範囲に画素値をクリップする処理となる。   In general, H.1. In video decoding devices in recent video coding methods such as H. 265 / MPEG-H HEVC as well as video coding methods prior to H.264, when decoding (generation of a decoding area), within the allowable range And clipping the pixel values. That is, the clip is a process of replacing pixel values exceeding the allowable minimum value or maximum value with the allowable minimum value or maximum value, respectively. In general, in the video encoding method, performing clipping in the decoding process is defined (for example, in the H.265 / MPEG-H HEVC method, it is defined as a function such as Clip 3). Also, the allowable range (minimum value or maximum value) may not be fixed, but may be variable in the video stream. In this case, the clip is a process of clipping the pixel value within the range permitted by the block.

第1実施形態のデコードエラー検出推定装置10は、まず、復号処理部11から、リアルタイムに、或いはデコードエラーの判定対象として指定したデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割する。続いて、デコードエラー検出推定装置10は、当該デコードエラー判定ブロックを構成する現ブロックにおけるクリップ数を検出し、検出した現ブロックのクリップ数と、予め定めた比較対象の過去フレーム(好適には、復号順で直前に復号済みの過去フレーム)における当該現ブロックと同一ブロック位置(同一ブロックサイズ)の過去ブロックのクリップ数とを比較する。そして、デコードエラー検出推定装置10は、当該現ブロックのクリップ数と、当該過去ブロックのクリップ数との比較の際に、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号(デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む)を生成して補完部12に、或いは外部に出力する。   First, the decode error detection / estimation device 10 according to the first embodiment receives a decode area designated as a determination target of a decode error in real time from the decode processing unit 11, and determines the decode error for the input decode area. In order to do this, the block is divided into decode error determination blocks of a block size set in advance. Subsequently, the decoding error detection / estimation device 10 detects the number of clips in the current block constituting the decoding error determination block, and detects the number of clips of the detected current block and a predetermined past frame to be compared (preferably, The current block in the immediately preceding decoded frame in decoding order and the number of clips of the past block at the same block position (the same block size) are compared. Then, when comparing the number of clips in the current block with the number of clips in the past block, the decoding error detection / estimation device 10 determines whether the current block has a decoding error according to a predetermined determination criterion. A decode error determination signal (including indicating that there is a decode error and indicating that there is no decode error) indicating a presence or absence of a decode error is generated and output to the complement unit 12 or to the outside.

補完部12は、順次、復号処理部11から入力されるデコード領域を一時記憶し、デコードエラー検出推定装置10から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成して外部に出力する。尚、この補完に関する技法自体は、本発明の趣旨ではなく、内挿又は外挿等による既知の技法とすることができる。   The complementing unit 12 temporarily stores the decoding area sequentially input from the decoding processing unit 11, and complements the corresponding decoding area based on the decoding error determination signal obtained from the decoding error detection and estimation device 10 Generate a video stream with concealment and output it to the outside. The technique relating to this complementation itself is not the spirit of the present invention, and can be a known technique by interpolation, extrapolation or the like.

尚、図1に示す本実施形態のデコードエラー検出推定装置10では、映像復号装置1内に組み入れる例を示しているが、本実施形態のデコードエラー検出推定装置10を映像復号装置1の外部に設けてもよい。また、本実施形態のデコードエラー検出推定装置10は、単に、デコード領域に対するデコードエラー判定信号を外部に出力する装置として構成することができる。例えば、記憶保持される動画ファイル内のデコード領域に対しデコードエラー判定信号(デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む)を付与する用途に利用できる。   Although the example of incorporating the decoding error detection and estimation apparatus 10 of this embodiment shown in FIG. 1 into the video decoding apparatus 1 is shown, the decoding error detection and estimation apparatus 10 of this embodiment is outside the video decoding apparatus 1. You may provide. Further, the decoding error detection and estimation apparatus 10 of the present embodiment can be configured simply as an apparatus that outputs the decoding error determination signal for the decoding area to the outside. For example, the present invention can be used for applying a decoding error determination signal (including indicating that there is only a decoding error or indicating that there is no decoding error) to a decoding area in a moving image file to be stored.

(デコードエラー検出推定装置)
以下、図1に示す本実施形態のデコードエラー検出推定装置10について詳細に説明する。図1に示すように、本実施形態のデコードエラー検出推定装置10は、対象デコード領域抽出部101、ブロック分割部102、クリップ数検出部103、クリップメモリ104、及びデコードエラー判定部105を備える。また、デコードエラー判定部105は、クリップ数比較部105aを備えている。
(Decoding error detection and estimation device)
Hereinafter, the decoding error detection and estimation apparatus 10 of the present embodiment shown in FIG. 1 will be described in detail. As shown in FIG. 1, the decoding error detection and estimation apparatus 10 of the present embodiment includes a target decoding area extracting unit 101, a block dividing unit 102, a clip number detection unit 103, a clip memory 104, and a decoding error determination unit 105. The decode error determination unit 105 further includes a clip number comparison unit 105a.

対象デコード領域抽出部101は、復号処理部11から、リアルタイムにデコード領域を入力し、或いはデコードエラーの判定対象として指定したデコード領域を抽出して入力し、当該入力したデコード領域をブロック分割部102に出力する。   The target decoding area extraction unit 101 inputs a decoding area in real time from the decoding processing unit 11 or extracts and inputs a decoding area specified as a determination target of a decoding error, and the block division unit 102 receives the input decoding area. Output to

ブロック分割部102は、対象デコード領域抽出部101から得られる当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割し、各デコードエラー判定ブロックをクリップ数検出部103に出力する。また、ブロック分割部102は、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を示すブロック分割情報をクリップ数検出部103及びデコードエラー判定部105に出力する。   The block division unit 102 divides the input decode area obtained from the target decode area extraction unit 101 into decode error judgment blocks of a block size set in advance for judging a decode error, and the respective decode error judgment blocks Is output to the clip number detection unit 103. Also, the block division unit 102 outputs, to the clip number detection unit 103 and the decode error determination unit 105, block division information indicating the frame number of the frame image including the decode area, the block size of each decode error determination block, and the block position. .

デコード領域を分割する各デコードエラー判定ブロックのブロックサイズは任意のサイズとすることができる。図2は、本発明による第1実施形態のデコードエラー検出推定装置10におけるデコードエラー判定ブロックに関するブロック分割の一例を示す説明図である。例えば、図2に示すように、符号化映像ストリームにおける復号順でn番目のフレーム画像F(n)において、デコード領域DIがその一部(スライス、タイル等)で構成されるとする(尚、デコード領域DIはフレーム全体でもよく、ストリームヘッダにて指定される)。デコード領域DIは、k番目の符号化/復号ブロックをbk♯kとすると、符号化/復号を行う基本単位のブロックサイズで分割されているが、m番目のデコードエラー判定ブロックをBK♯mとすると、そのブロックサイズは、この符号化/復号ブロックbk♯kのブロックサイズ以上の大きさとすることができる。   The block size of each decoding error determination block that divides the decoding area can be an arbitrary size. FIG. 2 is an explanatory diagram showing an example of block division regarding a decoding error determination block in the decoding error detection and estimation apparatus 10 of the first embodiment according to the present invention. For example, as shown in FIG. 2, in the n-th frame image F (n) in the decoding order of the encoded video stream, it is assumed that the decoding region DI is configured by a part (slice, tile, etc.) The decoding area DI may be the entire frame, which is specified by the stream header). Decoding area DI is divided by the block size of the basic unit that performs encoding / decoding assuming that the k-th encoding / decoding block is bk # k, but the m-th decoding error determination block is BK # m. Then, the block size can be made larger than the block size of this encoding / decoding block bk # k.

デコードエラー判定ブロックBK♯mのブロックサイズが大きいほど誤検出や検出漏れを防ぐことができ処理速度も向上するが、一方でブロックエラーが発生したフレーム画像F(n)内の位置の特定が大まかになる。この観点からはデコードエラー判定ブロックBK♯mのブロックサイズとして、符号化/復号を行う基本単位である符号化/復号ブロックをbk♯kのブロックサイズ(例えば、H.265/MPEG−H HEVCではCTU)と同一サイズとすることが好適である。   As the block size of the decoding error determination block BK # m is larger, false detection and omission of detection can be prevented, and the processing speed is improved, while identification of the position in the frame image F (n) where a block error has occurred is rough become. From this point of view, as the block size of the decoding error determination block BK # m, the coding / decoding block which is a basic unit for coding / decoding is set to the block size of bk # k (for example, in H.265 / MPEG-H HEVC) It is preferable to use the same size as CTU).

クリップ数検出部103は、ブロック分割部102から得られるブロック分割情報及び各デコードエラー判定ブロックに基づいて、各デコードエラー判定ブロックのクリップ数を累積して検出し、各デコードエラー判定ブロックのクリップ数をそれぞれ現ブロックのクリップ数としてデコードエラー判定部105に出力する。また、クリップ数検出部103は、ブロック分割情報に基づいて検出した現ブロックのクリップ数をクリップメモリ104に出力する。尚、ブロック分割部102がブロック分割情報をデコードエラー判定部105に出力する構成とする代わりに、クリップ数検出部103が、ブロック分割部102から所得したブロック分割情報をデコードエラー判定部105に出力する構成とすることもできる。   The clip number detection unit 103 accumulates and detects the number of clips of each decoding error determination block based on the block division information obtained from the block division unit 102 and each decoding error determination block, and the number of clips of each decoding error determination block Are output to the decoding error determination unit 105 as the number of clips of the current block. Also, the clip number detection unit 103 outputs the clip number of the current block detected based on the block division information to the clip memory 104. Here, instead of the block division unit 102 outputting the block division information to the decode error determination unit 105, the clip number detection unit 103 outputs the block division information acquired from the block division unit 102 to the decode error determination unit 105. Can also be configured.

クリップメモリ104は、クリップ数検出部103から得られる現ブロックのクリップ数をブロック分割情報に基づいて、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を一時蓄積する。尚、クリップメモリ104は、予め定めたフレーム数分の各デコードエラー判定ブロックのクリップ数を更新保持するものとし、本例では、復号順で直前に復号済みの過去フレームにおける各デコードエラー判定ブロックのクリップ数を更新保持する。尚、クリップメモリ104は、初期状態ではクリップなし(クリップ数ゼロ)を保持する。尚、クリップメモリ104はフレーム番号のかわりに、現フレームを特定できる情報、例えばGOP(Group Of Pictures)の先頭からの相対値や、予め定められた符号化順のインデックスを保持してもよい。   The clip memory 104 temporarily stores the number of clips of the current block obtained from the number-of-clips detector 103, the frame number of the frame image including the decoding area, the block size of each decoding error determination block, and the block position. accumulate. The clip memory 104 updates and holds the number of clips of each decoding error determination block for a predetermined number of frames. In this example, the number of decoding error determination blocks in the previous frame decoded immediately before in the decoding order Keep updated the number of clips. In the initial state, the clip memory 104 holds no clip (the number of clips is zero). Instead of the frame number, the clip memory 104 may hold information that can specify the current frame, for example, a relative value from the beginning of a GOP (Group Of Pictures) or an index in a predetermined coding order.

デコードエラー判定部105は、ブロック分割部102又はクリップ数検出部103から得られるブロック分割情報、及びクリップ数検出部103から得られる現ブロックのクリップ数を基に、予め指定した過去フレーム(本例では、復号順で直前に復号済みの過去フレーム)における当該現ブロックと同一ブロック位置(同一ブロックサイズ)の過去ブロックのクリップ数をクリップメモリ104から取得する。   The decoding error determination unit 105 specifies in advance a past frame specified in advance based on the block division information obtained from the block division unit 102 or the clip number detection unit 103 and the clip number of the current block obtained from the clip number detection unit 103 (this example Then, the number of clips in the past block at the same block position (same block size) as the current block in the immediately preceding decoded frame in the decoding order is acquired from the clip memory 104.

そして、デコードエラー判定部105は、クリップ数比較部105aにより、所定の判定基準に従って、当該現ブロックのクリップ数と、当該過去ブロックのクリップ数との比較を行い、当該現ブロックがデコードエラーを有するか否かを判定し、クリップ数比較部105aの結果に応じて、デコードエラーの有無を示すデコードエラー判定信号(デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む)を生成し、補完部12に、或いは外部に出力する。   Then, the decode error determination unit 105 compares the number of clips of the current block with the number of clips of the past block according to a predetermined determination criterion by the clip number comparison unit 105a, and the current block has a decode error. It generates a decode error determination signal (including indicating that there is only a decode error or indicating that there is no decode error) that indicates the presence or absence of a decode error according to the result of the clip number comparison unit 105a. Output to the complement unit 12 or to the outside.

図3は、本発明による第1実施形態のデコードエラー検出推定装置10におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。図3に示すように、クリップ数比較部105aは、符号化映像ストリームにおける復号順でn番目のフレーム画像F(n)において、デコードエラー判定対象の現ブロックBK♯mにおけるクリップ数と、予め指定した過去フレーム(本例では、復号順で直前に復号済みの過去フレームF(n‐1))における当該現ブロックと同一ブロック位置(同一ブロックサイズ)の過去ブロックBK♯m’のクリップ数を、所定の判定基準に従って比較することで、デコードエラーの有無を判定する。   FIG. 3 is an explanatory view showing a comparative example of the number of clips used for decoding error determination in the decoding error detection and estimation apparatus 10 of the first embodiment of the present invention. As shown in FIG. 3, the clip number comparison unit 105a designates in advance the number of clips in the current block BK # m to be subjected to decoding error determination in the nth frame image F (n) in decoding order in the encoded video stream. The number of clips of the past block BK # m 'at the same block position (same block size) as the current block in the past frame (in this example, the past frame F (n-1) decoded immediately before in decoding order) By comparing in accordance with a predetermined determination criterion, it is determined whether or not there is a decoding error.

ここで、クリップ数比較部105aは、当該所定の判定基準の例として、過去ブロックのクリップ数と、現ブロックのクリップ数とを比較して、現ブロックのクリップ数が過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定する。好適には、デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定する。   Here, as an example of the predetermined determination criterion, the clip number comparison unit 105a compares the clip number of the past block with the clip number of the current block, and the clip number of the current block is more than the clip number of the past block. If it is determined that there is a fixed amount increase, it is determined that there is a decoding error. Preferably, the ratio is determined by comparing the ratio of the number of clips to the number of pixels in the decoding error determination block.

例えば、当該所定の判定基準の例として、クリップ数の所定量の増加とは、過去ブロックのクリップ数をP、現ブロックのクリップ数をC、デコードエラー判定ブロック内の画素数をSとしたとき、以下の3例のように構成することができる。
(1) (C+1)/(P+1)>kを満たすときデコードエラー有りと判定する。
(2) C/S−P/S>nを満たすときデコードエラー有りと判定する。
(3) C/S−P*k/S>nを満たすときデコードエラー有りと判定する。
For example, as an example of the predetermined determination reference, when the predetermined number of clips is increased, the number of clips in the past block is P, the number of clips in the current block is C, and the number of pixels in the decoding error determination block is S. , And can be configured as the following three examples.
(1) When (C + 1) / (P + 1)> k is satisfied, it is determined that there is a decoding error.
(2) When C / S-P / S> n is satisfied, it is determined that there is a decoding error.
(3) When C / S-P * k / S> n is satisfied, it is determined that there is a decoding error.

尚、上式のkやnは予め設定するパラメータである。kは1.0以上の値、nは0以上の値を設定する。kやnの値が小さいほど、デコードエラーの検出漏れは減少するが、誤検出が増加する。逆にkやnの値が大きいほど、デコードエラーの誤検出は減少するが、検出漏れが増加する。例えば上記(2)の判定基準を用いるときは、nの値を0.01〜0.03程度に設定するのが好適である。   Note that k and n in the above equation are parameters to be set in advance. k is a value of 1.0 or more, and n is a value of 0 or more. As the values of k and n are smaller, the omission of detection of the decoding error decreases but the false detection increases. Conversely, as the values of k and n increase, false detection of decoding errors decreases, but detection leaks increase. For example, when using the determination criterion of (2) above, it is preferable to set the value of n to about 0.01 to 0.03.

第1実施形態のデコードエラー検出推定装置10、及びこれを備える映像復号装置1によれば、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などのビット使用効率が高い最近の映像符号化方式において、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。   According to the decoding error detection and estimation apparatus 10 of the first embodiment and the video decoding apparatus 1 including the same, it occurs in the decoding process in order to detect or estimate the decoding error generated when decoding the encoded video stream In order to use the number of clipped pixel values, In a recent video coding method with high bit use efficiency such as H. 265 / MPEG-H HEVC method as well as the H. 265 or earlier video coding method, it is possible to efficiently detect or estimate a place where a decoding error occurs. It becomes possible.

〔第2実施形態〕
(映像復号装置)
図4は、本発明による第2実施形態のデコードエラー検出推定装置10を備える映像復号装置1の概略構成を例示するブロック図である。尚、図1に示す第1実施形態と同様な構成要素には同一の参照番号を付している。第2実施形態に係る映像復号装置1は、第1実施形態と比較して、デコードエラー検出推定装置10の構成が異なる点を除き、同様であり、復号処理部11、及び補完部12の更なる説明は省略する。また、この第2実施形態のデコードエラー検出推定装置10は、過去ブロックのクリップ数をクリップメモリ104に保持せずにデコードエラーを判定する点で、第1実施形態とは相違している。
Second Embodiment
(Video decoding device)
FIG. 4 is a block diagram illustrating a schematic configuration of a video decoding device 1 provided with the decoding error detection and estimation device 10 according to the second embodiment of the present invention. The same reference numerals as in the first embodiment shown in FIG. 1 denote the same constituent elements. The video decoding device 1 according to the second embodiment is the same as the first embodiment except that the configuration of the decoding error detection / estimation device 10 is different, and the decoding processing unit 11 and the complementing unit 12 The description is omitted. Further, the decoding error detection and estimation apparatus 10 of the second embodiment is different from the first embodiment in that the decoding error is determined without holding the number of clips of the past block in the clip memory 104.

尚、図4に示す本実施形態のデコードエラー検出推定装置10では、映像復号装置1内に組み入れる例を示しているが、第1実施形態と同様に、本実施形態のデコードエラー検出推定装置10を映像復号装置1の外部に設けてもよい。また、本実施形態のデコードエラー検出推定装置10は、単に、デコード領域に対するデコードエラー判定信号を外部に出力する装置として構成することができる。例えば、記憶保持される動画ファイル内のデコード領域に対しデコードエラー判定信号(デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む)を付与する用途に利用できる。   Although the decoding error detection and estimation apparatus 10 of this embodiment shown in FIG. 4 shows an example incorporated in the video decoding apparatus 1, the decoding error detection and estimation apparatus 10 of this embodiment is the same as the first embodiment. May be provided outside the video decoding device 1. Further, the decoding error detection and estimation apparatus 10 of the present embodiment can be configured simply as an apparatus that outputs the decoding error determination signal for the decoding area to the outside. For example, the present invention can be used for applying a decoding error determination signal (including indicating that there is only a decoding error or indicating that there is no decoding error) to a decoding area in a moving image file to be stored.

(デコードエラー検出推定装置)
以下、図4に示す本実施形態のデコードエラー検出推定装置10について詳細に説明する。図4に示すように、本実施形態のデコードエラー検出推定装置10は、対象デコード領域抽出部101、ブロック分割部102、クリップ数検出部103、及びデコードエラー判定部105を備える。また、デコードエラー判定部105は、クリップ数比較部105bを備えている。
(Decoding error detection and estimation device)
The decode error detection and estimation apparatus 10 of the present embodiment shown in FIG. 4 will be described in detail below. As shown in FIG. 4, the decoding error detection and estimation apparatus 10 of the present embodiment includes a target decoding area extracting unit 101, a block dividing unit 102, a clip number detection unit 103, and a decoding error determination unit 105. The decode error determination unit 105 further includes a clip number comparison unit 105 b.

対象デコード領域抽出部101は、第1実施形態と同様に、復号処理部11から、リアルタイムにデコード領域を入力し、或いはデコードエラーの判定対象として指定したデコード領域を抽出して入力し、当該入力したデコード領域をブロック分割部102に出力する。   As in the first embodiment, the target decoding area extracting unit 101 inputs a decoding area in real time from the decoding processing unit 11 or extracts and inputs a decoding area designated as a judgment target of a decoding error, and the input The decoded area is output to the block division unit 102.

ブロック分割部102は、第1実施形態と同様に、対象デコード領域抽出部101から得られる当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックへブロック分割し、各デコードエラー判定ブロックをクリップ数検出部103に出力する。また、ブロック分割部102は、当該デコード領域を含むフレーム画像のフレーム番号、各デコードエラー判定ブロックのブロックサイズ及びブロック位置を示すブロック分割情報をクリップ数検出部103及びデコードエラー判定部105に出力する。   As in the first embodiment, the block division unit 102 makes a block to a decode error determination block of a block size set in advance for performing a decode error determination on the input decode region obtained from the target decode region extraction unit 101. The division is performed, and each decoding error determination block is output to the clip number detection unit 103. Also, the block division unit 102 outputs, to the clip number detection unit 103 and the decode error determination unit 105, block division information indicating the frame number of the frame image including the decode area, the block size of each decode error determination block, and the block position. .

本実施形態においても、上述した第1実施形態について図2を参照して説明したように、デコード領域を分割する各デコードエラー判定ブロックのブロックサイズは任意のサイズとすることができる。   Also in this embodiment, as described with reference to FIG. 2 in the first embodiment described above, the block size of each decoding error determination block that divides the decoding area can be an arbitrary size.

クリップ数検出部103は、第1実施形態と同様に、ブロック分割部102から得られるブロック分割情報及び各デコードエラー判定ブロックに基づいて、各デコードエラー判定ブロックのクリップ数を累積して検出し、各デコードエラー判定ブロックのクリップ数をそれぞれ現ブロックのクリップ数としてデコードエラー判定部105に出力する。尚、ブロック分割部102がブロック分割情報をデコードエラー判定部105に出力する構成とする代わりに、クリップ数検出部103が、ブロック分割部102から所得したブロック分割情報をデコードエラー判定部105に出力する構成とすることもできる。   Similarly to the first embodiment, the number-of-clips detection unit 103 accumulates and detects the number of clips of each decoding error determination block based on the block division information obtained from the block division unit 102 and each decoding error determination block, The number of clips of each decoding error determination block is output to the decoding error determination unit 105 as the number of clips of the current block. Here, instead of the block division unit 102 outputting the block division information to the decode error determination unit 105, the clip number detection unit 103 outputs the block division information acquired from the block division unit 102 to the decode error determination unit 105. Can also be configured.

デコードエラー判定部105は、ブロック分割部102又はクリップ数検出部103から得られるブロック分割情報、及びクリップ数検出部103から得られる現ブロックのクリップ数を基に、クリップ数比較部105bにより、所定の判定基準に従って、当該現ブロックのクリップ数と、予め定めた規定値との比較を行い、当該現ブロックがデコードエラーを有するか否かを判定し、クリップ数比較部105bの結果に応じて、デコードエラーの有無を示すデコードエラー判定信号(デコードエラー有りのみを示すことや、デコードエラー無しのみを示すことを含む)を生成し、補完部12に、或いは外部に出力する。   The decoding error determination unit 105 is determined by the clip number comparison unit 105 b based on the block division information obtained from the block division unit 102 or the clip number detection unit 103 and the clip number of the current block obtained from the clip number detection unit 103. The number of clips of the current block is compared with a predetermined value determined in advance according to the determination criteria of (1), it is determined whether the current block has a decoding error, and according to the result of the clip number comparison unit 105b, A decode error determination signal (including indicating that there is a decode error and indicating that there is no decode error) indicating the presence or absence of a decode error is generated and output to the complement unit 12 or to the outside.

図5は、本発明による第2実施形態のデコードエラー検出推定装置10におけるデコードエラー判定に用いるクリップ数の比較例を示す説明図である。図5に示すように、クリップ数比較部105bは、符号化映像ストリームにおける復号順でn番目のフレーム画像F(n)において、デコードエラー判定対象の現ブロックBK♯mにおけるクリップ数と、予め定めた規定値を、所定の判定基準に従って比較することで、デコードエラーの有無を判定する。   FIG. 5 is an explanatory view showing a comparative example of the number of clips used for decoding error determination in the decoding error detection and estimation apparatus 10 of the second embodiment according to the present invention. As shown in FIG. 5, the number-of-clips comparison unit 105b determines, in advance, the number of clips in the current block BK # m to be subjected to decoding error determination in the nth frame image F (n) in decoding order in the encoded video stream. The specified value is compared according to a predetermined judgment standard to determine the presence or absence of a decoding error.

ここで、クリップ数比較部105bは、当該所定の判定基準の例として、規定値(例えば予め定めたクリップ数)と、現ブロックのクリップ数とを比較して、現ブロックのクリップ数が当該規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定する。好適には、デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定する。   Here, as an example of the predetermined determination criterion, the clip number comparison unit 105b compares the specified value (for example, the number of clips determined in advance) with the number of clips of the current block, and the number of clips of the current block is the specified If it is determined that there is a predetermined amount increase from the value, it is determined that there is a decoding error. Preferably, the ratio is determined by comparing the ratio of the number of clips to the number of pixels in the decoding error determination block.

例えば、当該所定の判定基準の例として、クリップ数の所定量の増加とは、現ブロックのクリップ数をC、デコードエラー判定ブロック内の画素数をSとしたとき、以下の2例のように構成することができる。
(4) C>nを満たすときデコードエラー有りと判定する。
(5) C/S>nを満たすときデコードエラー有りと判定する。
For example, as an example of the predetermined determination reference, when the number of clips in the current block is C and the number of pixels in the decoding error determination block is S, the increase of the predetermined number of clips is as in the following two examples. It can be configured.
(4) When C> n is satisfied, it is determined that there is a decoding error.
(5) When C / S> n is satisfied, it is determined that there is a decoding error.

尚、上式のnは予め設定するパラメータである。nの値が小さいほど、デコードエラーの検出漏れは減少するが、誤検出が増加する。逆にnの値が大きいほど、デコードエラーの誤検出は減少するが、検出漏れが増加する。例えば上記(5)の判定基準を用いるときは、nの値を0.01〜0.03程度に設定するのが好適である。   Here, n in the above equation is a preset parameter. The smaller the value of n, the less the detection error of the decoding error but the more false detection. Conversely, as the value of n increases, false detection of decoding errors decreases, but detection leaks increase. For example, when using the determination criteria of (5) above, it is preferable to set the value of n to about 0.01 to 0.03.

第2実施形態においても、符号化映像ストリームを復号する際に発生したデコードエラーの検出又は推定のために、その復号過程で発生する画素値のクリップ数を用いるため、H.264以前の映像符号化方式だけでなく、H.265/MPEG−H HEVC方式などのビット使用効率が高い最近の映像符号化方式において、デコードエラーが発生した箇所を効率よく検出又は推定することが可能となる。   Also in the second embodiment, since the number of clips of pixel values generated in the decoding process is used to detect or estimate the decoding error generated when decoding the encoded video stream, In a recent video coding method with high bit use efficiency such as H. 265 / MPEG-H HEVC method as well as the H. 265 or earlier video coding method, it is possible to efficiently detect or estimate a place where a decoding error occurs. It becomes possible.

また、第2実施形態では、現ブロックのクリップ数のみを検出すればよいため、第1実施形態よりも処理負担を軽減させることができる。   Further, in the second embodiment, since only the number of clips of the current block needs to be detected, the processing load can be reduced compared to the first embodiment.

以上の各実施形態におけるデコードエラー検出推定装置10、又は映像復号装置1は、コンピューターにより構成することができ、デコードエラー検出推定装置10、又は映像復号装置1の各処理部を機能させるためのプログラムを好適に用いることができる。具体的には、デコードエラー検出推定装置10、又は映像復号装置1の各処理部を制御するための制御部をコンピューター内の中央演算処理装置(CPU)で構成でき、且つ、各処理部を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも1つのメモリで構成させることができる。即ち、そのようなコンピューターに、CPUによって該プログラムを実行させることにより、デコードエラー検出推定装置10、又は映像復号装置1の各処理部の有する機能を実現させることができる。更に、デコードエラー検出推定装置10、又は映像復号装置1の各処理部の有する機能を実現させるためのプログラムを、前述の記憶部(メモリ)の所定の領域に格納させることができる。そのような記憶部は、装置内部のRAM又はROMなどで構成させることができ、或いは又、外部記憶装置(例えば、ハードディスク)で構成させることもできる。また、そのようなプログラムは、コンピューターで利用されるOS上のソフトウェア(ROM又は外部記憶装置に格納される)の一部で構成させることができる。更に、そのようなコンピューターに、デコードエラー検出推定装置10、又は映像復号装置1の各処理部として機能させるためのプログラムは、コンピューター読取り可能な記録媒体に記録することができる。また、デコードエラー検出推定装置10、又は映像復号装置1の各処理部をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。   The decoding error detection / estimation device 10 or the video decoding device 1 in each of the above embodiments can be configured by a computer, and a program for causing each processing unit of the decoding error detection / estimation device 10 or the video decoding device 1 to function Can be suitably used. Specifically, a control unit for controlling each processing unit of the decoding error detection and estimation apparatus 10 or the video decoding apparatus 1 can be configured by a central processing unit (CPU) in a computer, and each processing unit is operated. A storage unit for appropriately storing a program necessary for causing the program can be configured by at least one memory. That is, by causing such a computer to execute the program by the CPU, the functions possessed by the processing units of the decoding error detection / estimation device 10 or the video decoding device 1 can be realized. Furthermore, a program for realizing the function of each processing unit of the decoding error detection / estimation device 10 or the video decoding device 1 can be stored in a predetermined area of the storage unit (memory) described above. Such a storage unit can be configured by a RAM or ROM inside the device, or can also be configured by an external storage device (for example, a hard disk). Also, such a program can be configured as part of software (stored in a ROM or an external storage device) on an OS used by a computer. Furthermore, a program for causing such a computer to function as each processing unit of the decoding error detection / estimation device 10 or the video decoding device 1 can be recorded on a computer readable recording medium. Also, each processing unit of the decoding error detection / estimation device 10 or the video decoding device 1 can be configured as a part of hardware or software, and can be realized in combination.

以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態の例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した実施形態の例では、特定の判定基準を例示して説明したが、二乗平均を併用するなど、種々の変形例が想定される。従って、本発明に係る送信装置及び受信装置は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。   Although the present invention has been described above by taking the example of the specific embodiment, the present invention is not limited to the example of the above embodiment, and various modifications can be made without departing from the technical concept thereof. For example, in the example of the embodiment described above, although a specific determination criterion is illustrated and described, various modified examples are conceivable, such as using a root mean square. Accordingly, the transmission device and the reception device according to the present invention are not limited to the examples of the embodiments described above, but are limited only by the claims.

本発明によれば、符号化映像ストリームを復号する際に発生したデコードエラーを効率よく検出又は推定することができるので、エラーコンシールメントを要する映像符号化方式の用途に有用である。   According to the present invention, a decoding error generated when decoding a coded video stream can be efficiently detected or estimated, which is useful for applications of a video coding method that requires error concealment.

1 映像復号装置
10 デコードエラー検出推定装置
11 復号処理部
12 補完部
101 対象デコード領域抽出部
102 ブロック分割部
103 クリップ数検出部
104 クリップメモリ
105 デコードエラー判定部
105a,105b クリップ数比較部
DESCRIPTION OF SYMBOLS 1 video decoding apparatus 10 decoding error detection / estimation apparatus 11 decoding processing unit 12 complementing unit 101 target decoding area extracting unit 102 block dividing unit 103 clip number detecting unit 104 clip memory 105 decoding error judging unit 105a, 105b clip number comparing unit

Claims (8)

符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、
前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、
当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた比較対象の過去フレームにおける当該現ブロックと同一ブロック位置の過去ブロックのクリップ数とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、
を備えることを特徴とするデコードエラー検出推定装置。
A decoding error detection and estimation apparatus that detects or estimates a decoding error that occurs when decoding a coded video stream, comprising:
The number of clips for detecting the number of clips in the decoding error judgment block of the block size which is previously set in order to input the decoding area obtained by decoding the encoded video stream and to make a decoding error judgment on the input decoding area Detection means;
The number of clips of the current block constituting the detected decoding error determination block is compared with the number of clips of the past block at the same block position as the current block in the predetermined comparison target past frame, according to a predetermined determination criterion Decoding error judgment means for judging whether the current block has a decoding error and generating a decoding error judgment signal indicating presence or absence of a decoding error;
A decoding error detection and estimation apparatus comprising:
前記デコードエラー判定手段は、前記所定の判定基準として、前記現ブロックのクリップ数が前記過去ブロックのクリップ数より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする、請求項1に記載のデコードエラー検出推定装置。   The decoding error judging means judges that there is a decoding error when it is judged that the number of clips of the current block is increased by a predetermined amount from the number of clips of the past block as the predetermined judgment standard. The decoding error detection estimation apparatus according to claim 1. 前記デコードエラー判定手段は、前記予め定めた比較対象の過去フレームとして、復号順で直前に復号済みの過去フレームを比較対象とすることを特徴とする、請求項1又は2に記載のデコードエラー検出推定装置。   3. The decode error detection method according to claim 1, wherein the decode error determination unit sets, as a comparison target, a past frame that has been decoded immediately before in the decoding order as the predetermined comparison target past frame. Estimator. 符号化映像ストリームを復号する際に発生したデコードエラーを検出又は推定するデコードエラー検出推定装置であって、
前記符号化映像ストリームを復号して得られるデコード領域を入力し、当該入力したデコード領域に対しデコードエラー判定を行うために予め設定されたブロックサイズのデコードエラー判定ブロックにおけるクリップ数を検出するクリップ数検出手段と、
当該検出したデコードエラー判定ブロックを構成する現ブロックのクリップ数と、予め定めた規定値とを比較し、所定の判定基準に従って当該現ブロックがデコードエラーを有するか否かを判定し、デコードエラーの有無を示すデコードエラー判定信号を生成するデコードエラー判定手段と、
を備えることを特徴とするデコードエラー検出推定装置。
A decoding error detection and estimation apparatus that detects or estimates a decoding error that occurs when decoding a coded video stream, comprising:
The number of clips for detecting the number of clips in the decoding error judgment block of the block size which is previously set in order to input the decoding area obtained by decoding the encoded video stream and to make a decoding error judgment on the input decoding area Detection means;
The number of clips in the current block making up the detected decoding error determination block is compared with a predetermined value determined in advance, and it is determined whether the current block has a decoding error according to a predetermined determination criterion. Decoding error judging means for generating a decoding error judgment signal indicating presence or absence;
A decoding error detection and estimation apparatus comprising:
前記デコードエラー判定手段は、前記所定の判定基準として、前記規定値と、前記現ブロックのクリップ数とを比較して、前記現ブロックのクリップ数が前記規定値より所定量の増加があると判定した場合に、デコードエラー有りと判定することを特徴とする、請求項4に記載のデコードエラー検出推定装置。   The decoding error determination means compares the specified value with the number of clips of the current block as the predetermined determination reference, and determines that the number of clips of the current block is increased by a predetermined amount from the specified value. 5. The decoding error detection and estimation apparatus according to claim 4, wherein it is determined that there is a decoding error, in the case where it is detected. 前記デコードエラー判定手段は、当該デコードエラー判定ブロック内の画素数に対するクリップ数の割合で比較して判定することを特徴とする、請求項1から5のいずれか一項に記載のデコードエラー検出推定装置。   The decoding error detection estimation according to any one of claims 1 to 5, wherein the decoding error judgment means compares and judges the ratio of the number of clips to the number of pixels in the decoding error judgment block. apparatus. 請求項1から6のいずれか一項に記載のデコードエラー検出推定装置と、
前記デコードエラー検出推定装置から得られるデコードエラー判定信号を基に、対応するデコード領域を補完することにより、エラーコンシールメントを施した映像ストリームを生成する補完手段と、
を備えることを特徴とする映像復号装置。
A decoding error detection and estimation apparatus according to any one of claims 1 to 6,
Complementing means for generating a video stream subjected to error concealment by complementing the corresponding decoding area based on the decoding error determination signal obtained from the decoding error detection and estimation device;
A video decoding apparatus comprising:
コンピューターを、請求項1から6のいずれか一項に記載のデコードエラー検出推定装置、或いは請求項7に記載の映像復号装置として機能させるためのプログラム。   A program for causing a computer to function as the decoding error detection and estimation device according to any one of claims 1 to 6 or the video decoding device according to claim 7.
JP2017240324A 2017-12-15 2017-12-15 Decoding error detection and estimation device, video decoding device, and their programs Active JP6985915B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017240324A JP6985915B2 (en) 2017-12-15 2017-12-15 Decoding error detection and estimation device, video decoding device, and their programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017240324A JP6985915B2 (en) 2017-12-15 2017-12-15 Decoding error detection and estimation device, video decoding device, and their programs

Publications (2)

Publication Number Publication Date
JP2019110376A true JP2019110376A (en) 2019-07-04
JP6985915B2 JP6985915B2 (en) 2021-12-22

Family

ID=67180209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240324A Active JP6985915B2 (en) 2017-12-15 2017-12-15 Decoding error detection and estimation device, video decoding device, and their programs

Country Status (1)

Country Link
JP (1) JP6985915B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051100A (en) * 2020-06-01 2021-06-29 长江存储科技有限责任公司 Flash memory and error bit counting detection system thereof
WO2022232476A1 (en) * 2021-04-30 2022-11-03 Texas Instruments Incorporated Video accuracy verification
WO2022232480A1 (en) * 2021-04-30 2022-11-03 Texas Instruments Incorporated Frozen image detection
CN115514975A (en) * 2022-07-19 2022-12-23 西安万像电子科技有限公司 Encoding and decoding method and device
CN115514975B (en) * 2022-07-19 2024-04-23 西安万像电子科技有限公司 Encoding and decoding method and device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051100A (en) * 2020-06-01 2021-06-29 长江存储科技有限责任公司 Flash memory and error bit counting detection system thereof
WO2022232476A1 (en) * 2021-04-30 2022-11-03 Texas Instruments Incorporated Video accuracy verification
WO2022232480A1 (en) * 2021-04-30 2022-11-03 Texas Instruments Incorporated Frozen image detection
CN115514975A (en) * 2022-07-19 2022-12-23 西安万像电子科技有限公司 Encoding and decoding method and device
CN115514975B (en) * 2022-07-19 2024-04-23 西安万像电子科技有限公司 Encoding and decoding method and device

Also Published As

Publication number Publication date
JP6985915B2 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
KR101695681B1 (en) Context-based adaptive binary arithmetic coding (cabac) video stream compliance
US7869659B2 (en) Image-comparing apparatus, image-comparing method, image-retrieving apparatus and image-retrieving method
US8102911B2 (en) Picture coding device
US20060104530A1 (en) Adaptive entropy encoding/decoding for screen capture content
CN111316642B (en) Method and apparatus for signaling image coding and decoding partition information
US9641850B2 (en) Video compression device
JP2019110376A (en) Decode error detection estimation device, video decoding device, and program for the devices
US7408989B2 (en) Method of video encoding using windows and system thereof
WO2016189404A1 (en) Foreground motion detection in compressed video data
JP2008252262A (en) Coder and change point detection method for moving images
JP4785678B2 (en) Image coding apparatus and image coding method
JP5851987B2 (en) Arithmetic encoding and decoding method
GB2599566A (en) Data processing apparatuses, methods, computer programs and computer-readable media
EP3874751A2 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
JP3491001B1 (en) Signal encoding method, signal decoding method, signal encoding device, signal decoding device, signal encoding program, and signal decoding program
CA2406164C (en) Method and device for storing and processing picture information of temporally successive pictures
US20180288418A1 (en) Semiconductor device
JP2010062626A (en) Screen data transmitter, screen data transmitting method and screen data transmission program
JP2010010917A (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, and dynamic image decoding method
JP2009231905A (en) Transcoder
KR101541869B1 (en) Method for encoding and decoding using variable length coding and system thereof
JP2005516501A (en) Video image encoding in PB frame mode
US9300977B2 (en) Methods for encoding motion vectors
JP2016208153A (en) Encoding device and encoding method
JP5498972B2 (en) Encoding device, decoding device, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211126

R150 Certificate of patent or registration of utility model

Ref document number: 6985915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150