JP2011019128A - Image quality evaluation device, image quality evaluation method, and program for them - Google Patents
Image quality evaluation device, image quality evaluation method, and program for them Download PDFInfo
- Publication number
- JP2011019128A JP2011019128A JP2009163026A JP2009163026A JP2011019128A JP 2011019128 A JP2011019128 A JP 2011019128A JP 2009163026 A JP2009163026 A JP 2009163026A JP 2009163026 A JP2009163026 A JP 2009163026A JP 2011019128 A JP2011019128 A JP 2011019128A
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- picture
- transmission error
- quality evaluation
- occurred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、画質評価装置、画質評価方法及びそのプログラムに関する。 The present invention relates to an image quality evaluation apparatus, an image quality evaluation method, and a program thereof.
地上デジタル放送やＩＰＴＶなどの映像配信サービスでは、送信設備、伝送設備、受信設備の異常検出を迅速におこなうためにサービスの品質監視を行うことが重要である。伝送品質はパケット損失、パケットエラー、遅延の状態から把握ができるが、映像配信サービスの品質すなわち画質は、伝送品質と必ずしも一致しているわけではなく、別途測定をおこなう必要がある。 In video distribution services such as terrestrial digital broadcasting and IPTV, it is important to monitor service quality in order to quickly detect abnormalities in transmission facilities, transmission facilities, and reception facilities. The transmission quality can be grasped from the packet loss, packet error, and delay states. However, the quality of the video distribution service, that is, the image quality does not necessarily match the transmission quality, and it is necessary to perform measurement separately.
特許文献１では、パケット損失など伝送品質と、映像符号化情報、映像の動き情報を元に画質の推定をおこなっている。特許文献１に記載の方法では、映像符号化情報、映像の動き情報を別途用意し、映像データパケット内に埋込んだ上で伝送する必要があった。この場合、その情報が埋め込まれたパケットが損失した場合には画質の計測が困難になるという問題があった。また、特許文献１では、伝送された映像データパケットを解析して、映像符号化情報や動き情報を取得する方法にも言及しているが、この場合映像の復号処理をおこなう必要があり、画質の計測に多くの計算量を要するという問題があった。 In Patent Document 1, image quality is estimated based on transmission quality such as packet loss, video coding information, and video motion information. In the method described in Patent Document 1, it is necessary to prepare video encoding information and video motion information separately and embed them in a video data packet before transmission. In this case, there is a problem that measurement of image quality becomes difficult when a packet in which the information is embedded is lost. Patent Document 1 also mentions a method of analyzing transmitted video data packets to acquire video encoding information and motion information. In this case, it is necessary to perform video decoding processing. There is a problem that a large amount of calculation is required for measurement.
そこで、非特許文献１、２では、映像の復号をおこなわずに、画質計測をする方法が開示されている。非特許文献１、２に記載の画質評価方法では、映像データの復号を行わずに、映像符号化情報を推定し、推定した映像符号化情報と、ネットワーク品質情報とから画質を推定している。 Therefore, Non-Patent Documents 1 and 2 disclose a method for measuring image quality without decoding video. In the image quality evaluation methods described in Non-Patent Documents 1 and 2, video coding information is estimated without decoding video data, and the image quality is estimated from the estimated video coding information and network quality information. .
一般に、伝送エラーにより生じる画質劣化のピクチャ内での発生位置は、伝送エラーのタイミングによって異なる。 In general, the occurrence position of a picture quality degradation caused by a transmission error in a picture varies depending on the timing of the transmission error.
しかしながら、上述した特許文献１、非特許文献１、及び非特許文献２に記載つれた画質評価方法は、ピクチャ内での劣化発生位置を考慮していないため、画質評価精度が低くなるという問題があった。 However, since the image quality evaluation methods described in Patent Document 1, Non-Patent Document 1, and Non-Patent Document 2 described above do not consider the position where deterioration occurs in a picture, there is a problem that the image quality evaluation accuracy is low. there were.
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、高精度な画質評価を実現する画質評価装置、方法およびそのプログラムを提供することにある。 Accordingly, the present invention has been invented in view of the above problems, and an object thereof is to provide an image quality evaluation apparatus, method, and program for realizing high-accuracy image quality evaluation.
本発明は、伝送エラーが発生したピクチャ内の位置を推定する伝送エラー位置推定部と、前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する画質評価部とを有する画質評価装置である。 The present invention includes a transmission error position estimation unit that estimates a position in a picture in which a transmission error has occurred, and an image quality evaluation unit that evaluates a degree of image quality degradation when the transmission error occurrence position is outside the central region of the picture. It is an image quality evaluation apparatus.
また、本発明は、伝送エラーが発生したピクチャ内の位置を推定し、前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する画質評価方法である。 The present invention is also an image quality evaluation method for estimating a position in a picture in which a transmission error has occurred and evaluating the degree of image quality degradation to a small degree when the transmission error occurs in a region other than the picture center region.
また、本発明は、伝送エラーが発生したピクチャ内の位置を推定する処理と、前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する処理とを情報処理装置に実行させるプログラムである。 In addition, the present invention provides an information processing device with a process for estimating a position in a picture where a transmission error has occurred and a process for evaluating a degree of image quality degradation when the position where the transmission error occurs is outside the center area of the picture. It is a program to be executed.
本発明は、ピクチャ内でのエラー発生位置を考慮しているため、高精度な画質評価を実現する。 Since the present invention considers an error occurrence position in a picture, it realizes high-accuracy image quality evaluation.
本発明の実施の形態を説明する。 An embodiment of the present invention will be described.
図１は本実施の形態の画質評価装置の概要の構成図である。 FIG. 1 is a schematic configuration diagram of an image quality evaluation apparatus according to the present embodiment.
本実施の形態の画質評価装置は、伝送エラーが発生したピクチャ内の位置を推定する伝送エラー発生位置推定部１と、伝送エラー発生位置推定部１の推定結果に基づいて、伝送エラーの発生位置がピクチャ中央領域以外の場合に画質劣化度合いを小さく評価し、伝送エラーの発生位置がピクチャ中央領域である場合に画質劣化度合いを大きく評価する画質評価部２とを有している。 The image quality evaluation apparatus according to the present embodiment includes a transmission error occurrence position estimation unit 1 that estimates a position in a picture where a transmission error has occurred, and a transmission error occurrence position based on the estimation result of the transmission error occurrence position estimation unit 1. Has an image quality evaluation unit 2 that evaluates the degree of image quality degradation small when the area other than the picture center area and evaluates the degree of image quality degradation greatly when the transmission error occurs in the picture center area.
伝送エラー発生位置推定部１は、検出された伝送エラーのピクチャ内での発生位置を推定する。推定方法は、例えば、ピクチャ先頭のデータ位置、及び次ピクチャ先頭のデータ位置とから１枚のピクチャの範囲を推定し、その範囲で伝送エラーが発生したピクチャ内位置を求める。例えば、１ピクチャ分のデータに対し、ピクチャの先頭又はピクチャの末尾から何パーセントの位置で発生しているかを求める。そして、その位置と予め定められた閾値とを比較し、伝送エラーの発生位置が、ピクチャの先頭領域であるか、又はピクチャの末尾領域であるのかを推定する。伝送エラーの発生位置が、ピクチャの先頭領域、又はピクチャの末尾領域でない場合には、伝送エラーの発生位置がピクチャの中央領域であると推定する。尚、伝送エラー発生位置推定部１における伝送エラーの発生位置の推定は、他の方法でも良い。 The transmission error occurrence position estimation unit 1 estimates the occurrence position in the picture of the detected transmission error. In the estimation method, for example, the range of one picture is estimated from the data position of the head of the picture and the data position of the head of the next picture, and the position in the picture where a transmission error has occurred is obtained within that range. For example, with respect to the data for one picture, what percentage of the position occurs from the top of the picture or the end of the picture is obtained. Then, the position is compared with a predetermined threshold value, and it is estimated whether the transmission error occurrence position is the head area of the picture or the tail area of the picture. When the transmission error occurrence position is not the top area of the picture or the end area of the picture, it is estimated that the transmission error occurrence position is the central area of the picture. The transmission error occurrence position estimation unit 1 may estimate the transmission error occurrence position by another method.
画質評価部２は、伝送エラー位置推定部１による伝送エラーの発生位置の情報に基づき、伝送エラーの発生位置がピクチャの先頭領域であるか、又はピクチャの末尾領域である場合に画質劣化度合いを小さく評価し、伝送エラーの発生位置がピクチャ中央領域である場合に画質劣化度合いを大きく評価する。 Based on the transmission error occurrence position information from the transmission error position estimation unit 1, the image quality evaluation unit 2 determines the degree of image quality degradation when the transmission error occurrence position is the top area of the picture or the end area of the picture. Assess small, and if the transmission error occurs in the center area of the picture, the degree of image quality degradation is greatly evaluated.
これは、中央領域で伝送エラーが発生すると、主観的に画質劣化が目立つ。更に、このエラーがピクチャ末尾までの画像に影響が与えるからである。 This is subjectively noticeable in image quality degradation when a transmission error occurs in the central area. Furthermore, this error affects images up to the end of the picture.
一方、伝送エラーの発生位置がピクチャの先頭領域であるか、又はピクチャの末尾領域である場合に、主観的に画質劣化が目立たない。特に、ピクチャの末尾領域である場合には、主観的に画質劣化が目立たないばかりでなく、このエラーが他のピクチャ末尾までの画像に与える画像が少ない。また、伝送エラーの発生位置がピクチャの先頭領域である場合でも、ピクチャが複数のスライスで構成されている場合には、他の画像への影響は伝送エラーの発生位置のスライスだけで収まる。 On the other hand, when the transmission error occurs in the top area of the picture or in the end area of the picture, the image quality degradation is not conspicuous subjectively. In particular, in the case of the end region of a picture, not only the image quality deterioration is not conspicuous subjectively, but also the image that this error gives to images up to the end of another picture. Even when the transmission error occurrence position is the head area of a picture, if the picture is composed of a plurality of slices, the influence on other images is limited to only the slice at the transmission error occurrence position.
このように本実施の形態によれば、伝送エラーのピクチャ内の発生位置を考慮して画質評価を行うので、高精度な画質評価を実現することができる。 As described above, according to the present embodiment, the image quality evaluation is performed in consideration of the occurrence position of the transmission error in the picture, so that it is possible to realize a highly accurate image quality evaluation.
以下、具体的な実施の形態を説明する。
＜第１の実施の形態＞
第１の実施の形態を図面を参照して説明する。
Specific embodiments will be described below.
<First Embodiment>
A first embodiment will be described with reference to the drawings.
図２を参照すると、第１の実施の形態の画質評価装置は、ピクチャヘッダを解析してピクチャの先頭位置を検出するピクチャ先頭検出処理部１１と、パケット損失などの伝送エラーを検出する伝送エラー検出処理部１２と、ピクチャ先頭位置情報と、検出された伝送エラー情報から、伝送エラーが発生したピクチャ内の位置を推定する伝送エラー発生位置推定処理部１３と、伝送エラーの有無情報と伝送エラー発生位置情報とに基づいて、画質評価をおこなう画質評価処理部１４とから構成される。 Referring to FIG. 2, the image quality evaluation apparatus according to the first embodiment analyzes a picture header and detects a picture head detection processing unit 11 that detects the head position of a picture, and a transmission error that detects a transmission error such as packet loss. A detection processing unit 12; a transmission error occurrence position estimation processing unit 13 that estimates a position in a picture in which a transmission error has occurred from the picture head position information and the detected transmission error information; transmission error presence information and transmission error An image quality evaluation processing unit 14 that performs image quality evaluation based on the generation position information.
次に、図２を参照して本発明の画質評価装置の各部の構成について説明する。 Next, the configuration of each part of the image quality evaluation apparatus of the present invention will be described with reference to FIG.
入力されたパケット化された映像データは、ピクチャ先頭検出処理部１１および伝送エラー検出処理部１２に入力される。 The input packetized video data is input to the picture head detection processing unit 11 and the transmission error detection processing unit 12.
ピクチャ先頭検出処理部１１は、ビットストリームからピクチャの先頭を示すヘッダ情報を検出することで、ピクチャ先頭位置を求める。 The picture head detection processing unit 11 obtains the picture head position by detecting header information indicating the head of the picture from the bit stream.
伝送エラー検出処理部１２は、ＲＴＰパケットのsequence_numberや、ＴＳパケットヘッダのcountinuity_counterから伝送されるパケットの連続性を調べることでパケットの損失が発生したか否かを検出する。また、ＣＲＣやパリティチェックなどの誤り検出によりパケットエラーを検出する。 The transmission error detection processing unit 12 detects whether or not a packet loss has occurred by examining the continuity of packets transmitted from the sequence_number of the RTP packet and the countinuity_counter of the TS packet header. A packet error is detected by error detection such as CRC or parity check.
伝送エラー発生位置推定処理部１３は、伝送エラー検出処理部１２で検出された伝送エラーに対して、ピクチャ内のエラー発生位置を推定する。伝送エラー発生位置推定処理部１３は、ピクチャ先頭検出処理部１１で検出されたピクチャ先頭のデータ位置、及び次ピクチャ先頭のデータ位置とから１枚のピクチャの範囲を推定し、その範囲で伝送エラーが発生したピクチャ内の位置を求める。例えば、１ピクチャ分のデータに対し、ピクチャ末尾から何パーセントの位置で発生しているかを求める。 The transmission error occurrence position estimation processing unit 13 estimates an error occurrence position in the picture with respect to the transmission error detected by the transmission error detection processing unit 12. The transmission error occurrence position estimation processing unit 13 estimates the range of one picture from the data position of the head of the picture detected by the picture head detection processing unit 11 and the data position of the head of the next picture. The position in the picture where the occurrence of is found. For example, what percentage of the data for one picture is generated from the end of the picture.
画質評価処理部１４は、伝送エラー検出処理部１２から入力される伝送エラーの有無と、伝送エラー発生位置推定処理部１３から入力される伝送エラー発生位置情報とから画質を推定する。例えば、伝送エラーが無い場合の画質を「良い」、伝送エラーがある場合の画質を「悪い」とした場合に、更に、伝送エラーがピクチャ末尾領域で発生している場合は、伝送エラーが発生していた場合でも「やや悪い」と補正することで、画質評価結果と実際の主観画質との相関を高める。 The image quality evaluation processing unit 14 estimates the image quality from the presence / absence of a transmission error input from the transmission error detection processing unit 12 and the transmission error occurrence position information input from the transmission error occurrence position estimation processing unit 13. For example, if there is no transmission error and the image quality is “good”, and if there is a transmission error, the image quality is “bad”, and if a transmission error occurs in the picture end area, a transmission error occurs. Even in the case where the image quality is corrected, the correlation between the image quality evaluation result and the actual subjective image quality is improved by correcting “somewhat bad”.
また、伝送エラーがピクチャ末尾領域で発生しているか否かの判定は、例えば、伝送エラー発生位置情報と所定の閾値を比較することでおこなう。伝送エラー発生位置がピクチャ末尾から所定の閾値以内である場合に、伝送エラーがピクチャ末尾で発生していると判定する。例えば、画質評価処理部１４は、伝送エラー発生位置推定処理部１３から入力される伝送エラー発生位置と所定の閾値とを比較する。そして、伝送エラー発生位置が所定の閾値以内ならば、伝送エラーが発生している位置がピクチャの末尾領域であると推定する。尚、所定の閾値は、２０％から３０％が好ましく、特に、２５％程度が好ましい。 Whether or not a transmission error has occurred in the picture end area is determined by, for example, comparing transmission error occurrence position information with a predetermined threshold. If the transmission error occurrence position is within a predetermined threshold from the end of the picture, it is determined that a transmission error has occurred at the end of the picture. For example, the image quality evaluation processing unit 14 compares the transmission error occurrence position input from the transmission error occurrence position estimation processing unit 13 with a predetermined threshold value. If the transmission error occurrence position is within a predetermined threshold, it is estimated that the transmission error occurrence position is the end area of the picture. The predetermined threshold is preferably 20% to 30%, and particularly preferably about 25%.
尚、エラー発生位置による補正をする前の画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。 Note that the image quality evaluation method before the correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
図３は第１の実施の形態における画質評価装置の動作をフローチャートで表したものである。 FIG. 3 is a flowchart showing the operation of the image quality evaluation apparatus according to the first embodiment.
まず、画質評価装置に受信したビットストリームが入力される（Ｓ２０１）。 First, the received bit stream is input to the image quality evaluation apparatus (S201).
入力されたビットストリームは、ピクチャ先頭検出処理部１１によりピクチャヘッダが検出され、ピクチャ先頭位置情報が取得される（Ｓ２０２）。さらに、次のピクチャのピクチャヘッダの検出が行われ、ピクチャ末尾の位置情報が取得される（Ｓ２０３）。 In the input bit stream, the picture header is detected by the picture head detection processing unit 11, and the picture head position information is acquired (S202). Further, the picture header of the next picture is detected, and the position information at the end of the picture is acquired (S203).
画質評価処理部１４は、伝送エラー検出処理部１２からの伝送エラーの有無を調べる（Ｓ２０４、Ｓ２０５）。 The image quality evaluation processing unit 14 checks whether or not there is a transmission error from the transmission error detection processing unit 12 (S204, S205).
画質評価処理部１４は、伝送エラーが無い場合は、「画質が良い」と仮評価する（Ｓ２０６）。一方、画質評価処理部１４は、伝送エラーが有る場合は、「画質が悪い」と仮評価する（Ｓ２０７）。 If there is no transmission error, the image quality evaluation processing unit 14 temporarily evaluates that “image quality is good” (S206). On the other hand, when there is a transmission error, the image quality evaluation processing unit 14 temporarily evaluates that “image quality is bad” (S207).
伝送エラー発生位置推定処理部１３は、ピクチャ先頭検出処理部１１で検出されたピクチャ先頭のデータ位置、及び次ピクチャ先頭のデータ位置から得られたピクチャ末尾の位置情報とから１枚のピクチャの範囲を推定する。そして、ピクチャ末尾からの伝送エラーが発生した位置を求める（Ｓ２０８）。 The transmission error occurrence position estimation processing unit 13 determines the range of one picture from the data position of the picture head detected by the picture head detection processing unit 11 and the position information of the picture end obtained from the data position of the head of the next picture. Is estimated. Then, the position where the transmission error has occurred from the end of the picture is obtained (S208).
画質評価処理部１４は、伝送エラー発生位置推定処理部１３からの伝送エラー発生位置と所定の閾値とを比較する（Ｓ２０９）。ここで、図４に示すように、ピクチャ末尾からｙ％の位置で伝送エラーが発生していたとする。この場合、その伝送エラーの発生位置と、所定の閾値Ｙ％とを比較する。そして、ｙ＜Ｙの場合は、ピクチャの末尾領域で伝送エラーが発生しているため、劣化が検知しにくいと推測されるので、「画質がやや悪い」と評価を補正する（Ｓ２１０）。一方、ｙ＞Ｙの場合は、伝送エラーがピクチャの末尾領域で発生していないため、仮評価の画質を補正しない。尚、所定の閾値は、２０から３０％が好ましく、特に、２５％程度が好ましい。 The image quality evaluation processing unit 14 compares the transmission error occurrence position from the transmission error occurrence position estimation processing unit 13 with a predetermined threshold (S209). Here, as shown in FIG. 4, it is assumed that a transmission error has occurred at a position of y% from the end of the picture. In this case, the transmission error occurrence position is compared with a predetermined threshold Y%. If y <Y, a transmission error has occurred in the end area of the picture, and it is estimated that deterioration is difficult to detect. Therefore, the evaluation is corrected as “image quality is slightly bad” (S210). On the other hand, when y> Y, no transmission error has occurred in the end area of the picture, and therefore the image quality of the temporary evaluation is not corrected. The predetermined threshold is preferably 20 to 30%, and particularly preferably about 25%.
このような画質評価をビットストリームの末尾まで繰り返す（Ｓ２１１）。 Such image quality evaluation is repeated until the end of the bitstream (S211).
まだビットストリーム末尾でない場合は、Ｓ２０３に戻り処理を繰り返す。ビットストリーム末尾である場合は、処理を終了する。
＜第２の実施の形態＞
本発明の第２の実施の形態について詳細に説明する。
If it is not yet at the end of the bitstream, the process returns to S203 and is repeated. If it is at the end of the bitstream, the process ends.
<Second Embodiment>
The second embodiment of the present invention will be described in detail.
第２の本実施の形態では、映像データの１ピクチャが複数のスライスに分割されている場合の画質評価方法である。 The second embodiment is an image quality evaluation method when one picture of video data is divided into a plurality of slices.
図５に示すように、１ピクチャが複数のスライスに分割されている場合、伝送エラーにより生じる画質劣化は次のスライスの先頭までとなる。したがって、ピクチャ先頭領域で伝送エラーが発生した場合、画質の劣化はピクチャ上部のみで発生することになる。このような場合、ピクチャ中央部まで画質劣化の影響を及ぼさないので、ピクチャ全体の画質劣化の程度が小さい方向に評価する。 As shown in FIG. 5, when one picture is divided into a plurality of slices, image quality degradation caused by a transmission error is up to the head of the next slice. Therefore, when a transmission error occurs in the picture head region, image quality degradation occurs only in the upper part of the picture. In such a case, since the image quality degradation is not affected up to the center of the picture, evaluation is performed in a direction in which the degree of image quality degradation of the entire picture is small.
そこで、伝送エラー発生位置推定処理部１３は、伝送エラーが発生したピクチャ内位置を求める際に、１ピクチャ分のデータ量に対し、ピクチャ先頭または末尾から何パーセントの位置で発生しているかを求める。 Therefore, the transmission error occurrence position estimation processing unit 13 obtains what percentage of the data amount for one picture from the beginning or end of the picture when obtaining the position in the picture where the transmission error has occurred. .
また、画質評価処理部１４は、伝送エラー発生位置推定処理部１３からの伝送エラー発生位置がピクチャ先頭からＸ％以内、又は末尾からＹ％以内である場合に、画質劣化がピクチャ中央部以外で発生していると判断し、画質劣化の程度が小さいと評価する。例えば、伝送エラーが無い場合の画質を「良い」、伝送エラーがある場合の画質を「悪い」と仮評価した場合に、伝送エラーがピクチャ先頭領域または末尾領域で発生している場合は、伝送エラーが発生していた場合でも「やや悪い」と評価を補正することで、画質評価結果と実際の主観画質との相関を高める。尚、所定の閾値は、先頭から又は末尾からともに、２０％から３０％が好ましく、特に、２５％程度が好ましい。 Also, the image quality evaluation processing unit 14 determines that the image quality degradation is not in the central part of the picture when the transmission error occurrence position from the transmission error occurrence position estimation processing unit 13 is within X% from the beginning of the picture or within Y% from the end. It is determined that the image has occurred, and it is evaluated that the degree of image quality deterioration is small. For example, if the image quality when there is no transmission error is tentatively evaluated as “good” and the image quality when there is a transmission error is “bad”, if the transmission error occurs in the top or bottom area of the picture, Even if an error has occurred, correcting the evaluation as “somewhat bad” increases the correlation between the image quality evaluation result and the actual subjective image quality. Note that the predetermined threshold is preferably 20% to 30%, particularly about 25%, from the beginning or the end.
また、エラー発生位置による補正をする前の仮画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。
＜第３の実施の形態＞
本発明の第３の実施の形態について説明する。
Further, the temporary image quality evaluation method before correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
<Third Embodiment>
A third embodiment of the present invention will be described.
図６を参照すると、第３の実施の形態の画質評価装置は、ピクチャヘッダを解析してピクチャの先頭位置を検出するピクチャ先頭検出処理部５１と、ピクチャヘッダからピクチャタイプを検出するピクチャタイプ検出処理部５２と、パケット損失などの伝送エラーを検出する伝送エラー検出処理部５３と、ピクチャ先頭位置情報と検出された伝送エラー位置情報とに基づいて、伝送エラーが発生したピクチャ内の位置を推定する伝送エラー発生位置推定処理部５４と、伝送エラーの有無情報、伝送エラー発生位置情報、及びピクチャタイプから、画質評価をおこなう画質評価処理部５５とから構成される。 Referring to FIG. 6, the image quality evaluation apparatus according to the third embodiment analyzes a picture header and detects a picture head detection processing unit 51 that detects the head position of a picture, and a picture type detection that detects a picture type from the picture header. Based on the processing unit 52, the transmission error detection processing unit 53 for detecting a transmission error such as packet loss, and the picture head position information and the detected transmission error position information, the position in the picture where the transmission error has occurred is estimated. A transmission error occurrence position estimation processing unit 54, and an image quality evaluation processing unit 55 that performs image quality evaluation from transmission error presence / absence information, transmission error occurrence position information, and picture type.
次に、図６を参照して第３の実施の形態の構成について詳細に説明する。 Next, the configuration of the third embodiment will be described in detail with reference to FIG.
入力されたパケット化された映像データは、ピクチャ先頭検出処理部５１および伝送エラー検出処理部５３に入力される。 The input packetized video data is input to the picture head detection processing unit 51 and the transmission error detection processing unit 53.
ピクチャ先頭検出処理部５１は、ビットストリームからピクチャの先頭を示すヘッダ情報を検出することで、ピクチャ先頭位置を求める。 The picture head detection processing unit 51 obtains the picture head position by detecting header information indicating the head of the picture from the bit stream.
また、ピクチャタイプ検出処理部５２は、ピクチャヘッダの解析を行い、ピクチャタイプを検出する。ピクチャタイプは、例えば、ＭＰＥＧなど既存の動画符号化方式では、Ｉピクチャ(フレーム間予測なし)、Ｐピクチャ(フレーム間片方向予測)、Ｂピクチャ(フレーム間双方向予測)のピクチャタイプが規定されている。 The picture type detection processing unit 52 analyzes the picture header and detects the picture type. As for picture types, for example, in existing moving picture coding schemes such as MPEG, picture types of I picture (no inter-frame prediction), P picture (inter-frame unidirectional prediction), and B picture (inter-frame bi-directional prediction) are defined. ing.
伝送エラー検出処理部５３は、ＲＴＰパケットのsequence_numberやＴＳパケットヘッダのcountinuity_counterから伝送されるパケットの連続性を調べることでパケットの損失が発生したか否かを検出する。また、ＣＲＣやパリティチェックなどの誤り検出によりパケットエラーを検出する。 The transmission error detection processing unit 53 detects whether or not a packet loss has occurred by checking the continuity of packets transmitted from the sequence_number of the RTP packet and the countinuity_counter of the TS packet header. A packet error is detected by error detection such as CRC or parity check.
伝送エラー発生位置推定処理部５４は、伝送エラー検出処理部５３で検出された伝送エラーに対して、ピクチャ先頭からの位置を推定する。ピクチャ先頭のデータ位置と、次ピクチャ先頭のデータ位置から、伝送エラーが発生したピクチャ内の位置を求める。 The transmission error occurrence position estimation processing unit 54 estimates the position from the top of the picture for the transmission error detected by the transmission error detection processing unit 53. From the data position at the beginning of the picture and the data position at the beginning of the next picture, the position in the picture where the transmission error has occurred is obtained.
画質評価処理部５５は、伝送エラー検出処理部５３から入力される伝送エラーの有無、伝送エラー発生位置推定処理部５４から入力される伝送エラー発生位置情報、及びピクチャタイプ検出処理部５２から入力されるピクチャタイプ情報とから画質を推定する。例えば、伝送エラーが無い場合の画質を「良い」、ＩまたはＰピクチャで伝送エラーが発生した場合は、画質劣化が後続のピクチャにも伝播するため、画質を「悪い」、Ｂピクチャで伝送エラーが発生した場合は、画質劣化は後続のピクチャに伝播しないため、画質を「やや悪い」と仮評価する。 The image quality evaluation processing unit 55 is input from the transmission error detection processing unit 53, whether there is a transmission error, transmission error occurrence position information input from the transmission error occurrence position estimation processing unit 54, and the picture type detection processing unit 52. The image quality is estimated from the picture type information. For example, when there is no transmission error, the image quality is “good”, and when a transmission error occurs in an I or P picture, the image quality deterioration is propagated to subsequent pictures. When the image quality occurs, the image quality deterioration is not propagated to the subsequent picture, and therefore the image quality is temporarily evaluated as “somewhat bad”.
更に、伝送エラーがピクチャ末尾領域で発生している場合は、画質劣化が検知しにくくなるので、ＩまたはＰピクチャで伝送エラーが発生している場合でも、上述した画質評価を補正し、画質を「やや悪い」に補正する。一方、伝送エラーがピクチャ中央部で発生している場合は、画質劣化が検知しやすくなるので、Ｂピクチャで伝送エラーが発生している場合でも、上述した画質評価を補正し、画質を「悪い」に補正する。 Furthermore, when a transmission error occurs in the picture end region, it is difficult to detect image quality deterioration. Therefore, even when a transmission error occurs in an I or P picture, the above-described image quality evaluation is corrected to improve the image quality. Correct to “slightly bad”. On the other hand, when a transmission error occurs in the center of the picture, it is easy to detect deterioration in image quality. Therefore, even when a transmission error occurs in a B picture, the above-described image quality evaluation is corrected and the image quality becomes “bad”. To "".
尚、画質評価処理部５５における、伝送エラーがピクチャ末尾で発生しているか否かの判定は、第１の実施の形態で述べた様に、例えば、伝送エラー発生位置情報と所定の閾値を比較することでおこなう。伝送エラー発生位置がピクチャ末尾から所定の閾値以内である場合に、伝送エラーがピクチャ末尾領域で発生していると判定する。 The image quality evaluation processing unit 55 determines whether or not a transmission error has occurred at the end of a picture, for example, as described in the first embodiment, by comparing transmission error occurrence position information with a predetermined threshold. To do it. When the transmission error occurrence position is within a predetermined threshold from the end of the picture, it is determined that a transmission error has occurred in the picture end area.
また、エラー発生位置による補正をする前の画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。
Further, the image quality evaluation method before correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
<Fourth embodiment>
Next, a fourth embodiment of the present invention will be described.
本実施の形態では、第３の実施の形態において映像データの１ピクチャが複数のスライスに分割されている場合の画質評価方法である。 This embodiment is an image quality evaluation method when one picture of video data is divided into a plurality of slices in the third embodiment.
本実施の形態では、伝送エラー発生位置推定処理部５４は、伝送エラーが発生したピクチャ内の位置を求める際に、１ピクチャ分のデータに対し、伝送エラーがピクチャ先頭または末尾から何パーセントの位置で発生しているかを求める。 In the present embodiment, when the transmission error occurrence position estimation processing unit 54 obtains a position in a picture where a transmission error has occurred, the transmission error position relative to the data for one picture is at what percentage from the beginning or end of the picture. Find out what is happening in
画質評価処理部５５は、伝送エラー検出処理部５３から入力される伝送エラーの有無、伝送エラー発生位置推定処理部５４から入力される伝送エラー発生位置情報、ピクチャタイプ検出処理部５２から入力されるピクチャタイプ情報とから画質を推定する。このとき、伝送エラー発生位置がピクチャ先頭からＸ％以内または末尾からＹ％以内である場合に、画質劣化がピクチャ中央部以外で発生していると判断し、画質劣化の程度が小さいと評価する。 The image quality evaluation processing unit 55 is input from the transmission error detection processing unit 53, whether there is a transmission error, transmission error occurrence position information input from the transmission error occurrence position estimation processing unit 54, and the picture type detection processing unit 52. The image quality is estimated from the picture type information. At this time, when the transmission error occurrence position is within X% from the beginning of the picture or within Y% from the end, it is determined that the image quality degradation has occurred outside the central portion of the picture, and it is evaluated that the degree of image quality degradation is small. .
例えば、伝送エラーが無い場合の画質を「良い」、ＩまたはＰピクチャで伝送エラーが発生した場合は、画質劣化が後続のピクチャにも伝播するため、画質を「悪い」、Ｂピクチャで伝送エラーが発生した場合は、画質劣化は後続のピクチャに伝播しないため、画質を「やや悪い」と仮評価する。伝送エラーがピクチャ末尾で発生している場合は、画質劣化が検知しにくくなるので、ＩまたはＰピクチャで伝送エラーが発生している場合でも画質を「やや悪い」に補正する。一方、伝送エラーがピクチャ中央部で発生している場合は、画質劣化が検知しやすくなるので、Ｂピクチャで伝送エラーが発生している場合でも画質を「悪い」に補正する。 For example, when there is no transmission error, the image quality is “good”, and when a transmission error occurs in an I or P picture, the image quality deterioration is propagated to subsequent pictures. When the image quality occurs, the image quality deterioration is not propagated to the subsequent picture, and therefore the image quality is temporarily evaluated as “somewhat bad”. When a transmission error occurs at the end of a picture, it is difficult to detect image quality deterioration. Therefore, even when a transmission error occurs in an I or P picture, the image quality is corrected to “slightly bad”. On the other hand, when a transmission error occurs in the center of the picture, it is easy to detect image quality deterioration. Therefore, even when a transmission error occurs in the B picture, the image quality is corrected to “bad”.
尚、エラー発生位置による補正をする前の画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。
＜第５の実施の形態＞
本発明の第５の実施の形態について説明する。
Note that the image quality evaluation method before the correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
<Fifth embodiment>
A fifth embodiment of the present invention will be described.
図７を参照すると、第５の実施の形態の画質評価装置は、ピクチャの切れ目の情報をパケットから取得し、ピクチャの先頭位置を推定するピクチャ先頭位置推定処理部６１と、推定されたピクチャの先頭位置情報からピクチャタイプを推定するピクチャタイプ推定処理部６２と、パケット損失などの伝送エラーを検出する伝送エラー検出処理部６３と、ピクチャ先頭位置情報と検出された伝送エラー位置情報から、伝送エラーが発生したピクチャ内の位置を推定する伝送エラー発生位置推定処理部６４と、伝送エラーの有無情報、伝送エラー発生位置情報、及びピクチャタイプから、画質評価をおこなう画質評価処理部６５とから構成される。 Referring to FIG. 7, the image quality evaluation apparatus of the fifth exemplary embodiment acquires picture break information from a packet and estimates a picture head position estimation processing unit 61 that estimates the head position of a picture, and the estimated picture information. From the picture type estimation processing unit 62 for estimating the picture type from the head position information, the transmission error detection processing unit 63 for detecting a transmission error such as packet loss, and the transmission error from the picture head position information and the detected transmission error position information. A transmission error occurrence position estimation processing unit 64 that estimates the position in the picture where the image has occurred, and an image quality evaluation processing unit 65 that evaluates image quality from transmission error presence / absence information, transmission error occurrence position information, and picture type. The
次に、図７を参照して、第５の実施の形態について詳細に説明する。 Next, a fifth embodiment will be described in detail with reference to FIG.
第５の実施の形態では、映像データに暗号化がかかっている場合など、ピクチャヘッダの情報が得られない場合を想定している。映像配信サービスではコンテンツ保護の観点からＴＳパケットのペイロード部に暗号化が施されていることがあり、この場合ペイロード部に含まれるピクチャヘッダ情報を読むことができず、ピクチャ先頭位置やピクチャタイプを検出することができない。 In the fifth embodiment, it is assumed that picture header information cannot be obtained, such as when video data is encrypted. In the video distribution service, the payload part of the TS packet may be encrypted from the viewpoint of content protection. In this case, the picture header information contained in the payload part cannot be read, and the picture head position and picture type are set. It cannot be detected.
そこで、第５の実施の形態では、暗号化されていないＲＴＰパケットのヘッダおよびＴＳパケットのヘッダ部分のみの情報を用いた画質評価をおこなう。 Therefore, in the fifth embodiment, image quality evaluation is performed using only information of the header of the unencrypted RTP packet and the header of the TS packet.
入力されたパケット化された映像データは、ピクチャ先頭位置推定処理部６１および伝送エラー検出処理部６３に入力される。ピクチャ先頭位置推定処理部６１は、ＴＳパケットヘッダのpayload_unit_start_indicatorを検出し、ＴＳパケット内にピクチャの切れ目、つまりピクチャの先頭が含まれているか否かを調べる。この処理により、各ピクチャの先頭位置を推定することができる。 The input packetized video data is input to the picture head position estimation processing unit 61 and the transmission error detection processing unit 63. The picture head position estimation processing unit 61 detects payload_unit_start_indicator in the TS packet header, and checks whether or not a picture break, that is, the head of the picture is included in the TS packet. With this process, the head position of each picture can be estimated.
ピクチャタイプ推定処理部６２は、ピクチャタイプを推定する。具体的には、ピクチャ先頭位置推定処理部６１により推定された各ピクチャの先頭位置からピクチャごとのデータ量を算出し、非特許文献２に記載の方法のように、各ピクチャのデータ量を所定の閾値と比較することで、各ピクチャのピクチャタイプを推定する。１ピクチャのデータ量が所定の閾値よりも大きいピクチャは、フレーム間差分を用いずに符号化されている可能性が高いので当該ピクチャをＩピクチャとみなす。また、データ量が所定の閾値よりも小さいピクチャは、フレーム間の双方向予測を用いて符号化されている可能性が高いので当該ピクチャをＢピクチャとみなす。このように、ピクチャ当たりのデータ量の大小から、ピクチャタイプを推定する。なお、ピクチャタイプの推定方法は、他の方法でおこなっても良い。 The picture type estimation processing unit 62 estimates the picture type. Specifically, the data amount for each picture is calculated from the head position of each picture estimated by the picture head position estimation processing unit 61, and the data amount of each picture is set to a predetermined value as in the method described in Non-Patent Document 2. The picture type of each picture is estimated by comparing with the threshold value. A picture in which the data amount of one picture is larger than a predetermined threshold is considered to be an I picture because there is a high possibility that the picture is encoded without using the inter-frame difference. Also, a picture whose data amount is smaller than a predetermined threshold is considered to be a B picture because it is highly likely that it has been encoded using bi-directional prediction between frames. In this way, the picture type is estimated from the amount of data per picture. Note that the picture type estimation method may be performed by another method.
伝送エラー検出処理部６３は、ＲＴＰパケットのsequence_numberやＴＳパケットヘッダのcountinuity_counterから伝送されるパケットの連続性を調べることでパケットの損失が発生したか否かを検出する。また、ＣＲＣやパリティチェックなどの誤り検出によりパケットエラーを検出する。 The transmission error detection processing unit 63 detects whether or not a packet loss has occurred by checking the continuity of packets transmitted from the sequence_number of the RTP packet and the countinuity_counter of the TS packet header. A packet error is detected by error detection such as CRC or parity check.
伝送エラー発生位置推定処理部６４では、伝送エラー検出処理部６３で検出された伝送エラーに対して、ピクチャ先頭からの位置を推定する。ピクチャ先頭のデータ位置と、次ピクチャ先頭のデータ位置から、伝送エラーが発生したピクチャ内の位置を求める。 The transmission error occurrence position estimation processing unit 64 estimates the position from the top of the picture for the transmission error detected by the transmission error detection processing unit 63. From the data position at the beginning of the picture and the data position at the beginning of the next picture, the position in the picture where the transmission error has occurred is obtained.
画質評価処理部６５では、ピクチャタイプ推定処理部６２から入力されるピクチャタイプ情報と、伝送エラー検出処理部６３から入力される伝送エラーの有無と、伝送エラー発生位置推定処理部６４から入力される伝送エラー発生位置情報とから画質を推定する。例えば、伝送エラーが無い場合の画質を「良い」、ＩまたはＰピクチャで伝送エラーが発生した場合は、画質劣化が後続のピクチャにも伝播するため、画質を「悪い」、Ｂピクチャで伝送エラーが発生した場合は、画質劣化は後続のピクチャに伝播しないため、画質を「やや悪い」と仮評価する。 In the image quality evaluation processing unit 65, the picture type information input from the picture type estimation processing unit 62, the presence / absence of a transmission error input from the transmission error detection processing unit 63, and the transmission error occurrence position estimation processing unit 64 are input. The image quality is estimated from the transmission error occurrence position information. For example, when there is no transmission error, the image quality is “good”, and when a transmission error occurs in an I or P picture, the image quality deterioration is propagated to subsequent pictures. When the image quality occurs, the image quality deterioration is not propagated to the subsequent picture, and therefore the image quality is temporarily evaluated as “somewhat bad”.
伝送エラーがピクチャ末尾で発生している場合は、画質劣化が検知しにくくなるので、ＩまたはＰピクチャで伝送エラーが発生している場合でも画質を「やや悪い」に変更する。一方、伝送エラーがピクチャ中央部で発生している場合は、画質劣化が検知しやすくなるので、Ｂピクチャで伝送エラーが発生している場合でも画質を「悪い」に変更する。 When a transmission error occurs at the end of a picture, it is difficult to detect image quality deterioration. Therefore, even when a transmission error occurs in an I or P picture, the image quality is changed to “slightly bad”. On the other hand, when a transmission error occurs in the center of the picture, image quality deterioration is easily detected. Therefore, even when a transmission error occurs in the B picture, the image quality is changed to “bad”.
尚、伝送エラーがピクチャ末尾領域で発生しているか否かの判定は、第１の実施の形態と同様に、伝送エラー発生位置情報と所定の閾値を比較することでおこなう。伝送エラー発生位置がピクチャ末尾から所定の閾値以内である場合に、伝送エラーがピクチャ末尾領域で発生していると判定する。 Whether or not a transmission error has occurred in the picture end region is determined by comparing the transmission error occurrence position information with a predetermined threshold, as in the first embodiment. When the transmission error occurrence position is within a predetermined threshold from the end of the picture, it is determined that a transmission error has occurred in the picture end area.
尚、エラー発生位置による補正をする前の画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。
＜第６の実施の形態＞
本発明の第６の実施の形態について説明する。
Note that the image quality evaluation method before the correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
<Sixth Embodiment>
A sixth embodiment of the present invention will be described.
本実施の形態では、第５の実施の形態において映像データの１ピクチャが複数のスライスに分割されている場合の画質評価方法である。 This embodiment is an image quality evaluation method when one picture of video data is divided into a plurality of slices in the fifth embodiment.
本実施の形態では、伝送エラー発生位置推定処理部６４において、伝送エラーが発生したピクチャ内位置を求める際に、１ピクチャ分のデータ量に対し、ピクチャ先頭または末尾から何パーセントの位置で発生しているかを求める。 In the present embodiment, when the transmission error occurrence position estimation processing unit 64 obtains the position in the picture where the transmission error has occurred, the transmission error occurrence position estimation processing unit 64 occurs at what percentage of the data amount for one picture from the beginning or end of the picture. Ask what they are.
画質評価処理部６５では、伝送エラー検出処理部６３から入力される伝送エラーの有無、伝送エラー発生位置推定処理部６４から入力される伝送エラー発生位置情報、ピクチャタイプ検出処理部６２から入力されるピクチャタイプ情報とから画質を推定する。 In the image quality evaluation processing unit 65, the presence / absence of a transmission error input from the transmission error detection processing unit 63, the transmission error occurrence position information input from the transmission error occurrence position estimation processing unit 64, and the picture type detection processing unit 62 are input. The image quality is estimated from the picture type information.
例えば、伝送エラーが無い場合の画質を「良い」、IまたはPピクチャで伝送エラーが発生した場合は、画質劣化が後続のピクチャにも伝播するため、画質を「悪い」、Bピクチャで伝送エラーが発生した場合は、画質劣化は後続のピクチャに伝播しないため、画質を「やや悪い」と仮評価する。伝送エラーがピクチャ末尾で発生している場合は、画質劣化が検知しにくくなるので、IまたはPピクチャで伝送エラーが発生している場合でも画質を「やや悪い」に変更する。一方、伝送エラーがピクチャ中央部で発生している場合は、画質劣化が検知しやすくなるので、Bピクチャで伝送エラーが発生している場合でも画質を「悪い」に変更する。 For example, when there is no transmission error, the image quality is “good”, and when a transmission error occurs in an I or P picture, the image quality degradation is propagated to the subsequent pictures, so the image quality is “bad” and a transmission error occurs in the B picture. When the image quality occurs, the image quality deterioration is not propagated to the subsequent picture, and therefore the image quality is temporarily evaluated as “somewhat bad”. When a transmission error occurs at the end of a picture, it is difficult to detect image quality degradation. Therefore, even when a transmission error occurs in an I or P picture, the image quality is changed to “slightly bad”. On the other hand, when a transmission error occurs in the center of the picture, image quality deterioration is easily detected. Therefore, even when a transmission error occurs in a B picture, the image quality is changed to “bad”.
尚、伝送エラーがピクチャ先頭領域又はピクチャ末尾領域で発生しているか否かの判定は、第１の実施の形態と同様に、伝送エラー発生位置情報と所定の閾値を比較することでおこなう。伝送エラー発生位置がピクチャ先頭又はピクチャ末尾から所定の閾値以内である場合に、伝送エラーがピクチャ先頭領域又ピクチャ末尾領域で発生していると判定する。 Whether or not a transmission error has occurred in the picture head region or the picture tail region is determined by comparing the transmission error occurrence position information with a predetermined threshold as in the first embodiment. When the transmission error occurrence position is within a predetermined threshold from the top of the picture or the end of the picture, it is determined that a transmission error has occurred in the top area of the picture or the end area of the picture.
また、エラー発生位置による補正をする前の画質評価方法は他の方法でも良い。例えば、非特許文献１では無効フレーム率という数値を元に画質評価をおこなっているが、この推定結果に対し、伝送エラー発生位置情報を用いて推定結果を補正することで実際の主観画質との相関を高める。また、伝送エラー発生位置情報に応じて、連続的に画質評価結果を補正するようにしても良い。この場合、例えば前記のような３段階の画質評価結果ではなく、連続的な画質評価結果を得ることができる。
＜第７の実施の形態＞
次に、第７の実施の形態について図８を参照して詳細に説明する。
Further, the image quality evaluation method before correction based on the error occurrence position may be another method. For example, in Non-Patent Document 1, image quality evaluation is performed based on a numerical value such as an invalid frame rate, but the actual subjective image quality is corrected by correcting the estimation result using transmission error occurrence position information. Increase correlation. Further, the image quality evaluation result may be corrected continuously according to the transmission error occurrence position information. In this case, for example, continuous image quality evaluation results can be obtained instead of the above-described three-stage image quality evaluation results.
<Seventh embodiment>
Next, a seventh embodiment will be described in detail with reference to FIG.
第７の実施の形態では、上述した第１の実施の形態に示される画質評価装置をコンピュータシステムにより実行する。図８を参照すると、本システムはプログラム制御プロセッサ７１が装備されている。プログラム制御プロセッサ７１には、ビットストリームバッファ７２の他に、必要なプログラムを格納したプログラムメモリ７３が接続されている。プログラムメモリ７３に格納されるプログラムモジュールは、メインプログラムの他に、ピクチャ先頭検出処理７１と、伝送エラー検出処理７２と、伝送エラー発生位置推定処理７３と、画質評価処理７４とから構成される。
In the seventh embodiment, the image quality evaluation apparatus described in the first embodiment is executed by a computer system. Referring to FIG. 8, the system is equipped with a program control processor 71. In addition to the
ピクチャ先頭検出処理７４と、伝送エラー検出処理７５と、伝送エラー発生位置推定処理７６と、画質評価処理７７のプログラムモジュールは、図２のピクチャ先頭検出処理部１１と、伝送エラー検出処理部１２と、伝送エラー発生位置推定処理部１３と、画質評価処理部１４をそれぞれ機能的に実現する。 The program modules of picture head detection processing 74, transmission error detection processing 75, transmission error occurrence position estimation processing 76, and image quality evaluation processing 77 are the picture head detection processing section 11, transmission error detection processing section 12 of FIG. The transmission error occurrence position estimation processing unit 13 and the image quality evaluation processing unit 14 are each functionally realized.
本発明の第２から第６の実施の形態についても同様に各装置を機能的に実現するプログラムモジュールを上記コンピュータシステムに実装することにより、コンピュータシステム上で実現可能となる。 Similarly, the second to sixth embodiments of the present invention can be realized on a computer system by mounting program modules that functionally realize each device in the computer system.
実施例１を説明する。実施例１は上述した第１の形態に対応する。 Example 1 will be described. Example 1 corresponds to the first aspect described above.
ＭＰＥＧ−２で符号化された映像データをＩＰパケット化したビットストリームの伝送を想定し、伝送路の途中にて当該ビットストリームの映像品質を測定するものとする。ビットストリームが本発明による画質評価装置に入力されると、まずピクチャ先頭検出処理部１１にてピクチャヘッダが検出される。次のピクチャヘッダまでのデータが１ピクチャを構成することになる。 Assuming transmission of a bit stream obtained by converting video data encoded in MPEG-2 into an IP packet, the video quality of the bit stream is measured in the middle of the transmission path. When the bit stream is input to the image quality evaluation apparatus according to the present invention, the picture header detection unit 11 first detects a picture header. Data up to the next picture header constitutes one picture.
次に、伝送エラー検出処理部１２にて伝送エラーの有無を調べる。 Next, the transmission error detection processing unit 12 checks whether or not there is a transmission error.
伝送エラーが無い場合、画質評価処理部１４は「画質が良い」と評価する。 When there is no transmission error, the image quality evaluation processing unit 14 evaluates that “image quality is good”.
一方、伝送エラー検出処理部１２にてこのピクチャ内で伝送エラーが発生した場合、画質評価処理部１４は「画質が悪い」と評価をおこなう。 On the other hand, when a transmission error occurs in this picture in the transmission error detection processing unit 12, the image quality evaluation processing unit 14 evaluates that “the image quality is bad”.
このとき、ピクチャ先頭検出処理部１１は、ピクチャの先頭位置を検出する。ピクチャ先頭検出処理部１１は次のピクチャの先頭位置を検出する。ピクチャ先頭位置の間隔から当該ピクチャのデータ量を算出する。ここでは、当該ピクチャのデータ量が10000バイトであったとする。 At this time, the picture head detection processing unit 11 detects the head position of the picture. The picture head detection processing unit 11 detects the head position of the next picture. The data amount of the picture is calculated from the interval between the picture head positions. Here, it is assumed that the data amount of the picture is 10,000 bytes.
次に、伝送エラー発生位置推定処理部１３は、伝送エラーの当該ピクチャ内での発生位置を推定する。伝送エラーが当該ピクチャの先頭から9000バイト目で発生していたとする。この場合、ピクチャ末尾から１０％の位置で伝送エラーが発生したことになる。 Next, the transmission error occurrence position estimation processing unit 13 estimates the occurrence position of the transmission error in the picture. Assume that a transmission error occurs at the 9000th byte from the beginning of the picture. In this case, a transmission error has occurred at a position 10% from the end of the picture.
画質評価処理部１４は、伝送エラー発生位置推定処理部１３からの伝送エラー発生位置（ピクチャ末尾から１０％）を受け、この値と所定の閾値とを比較する。ここでは、閾値を１５％とする。伝送エラー発生位置は、閾値より小さいので、画質劣化はピクチャ末尾領域で発生したと判断される。そこで、仮評価した「画質が悪い」から「画質はやや悪い」と評価を補正し、これをこのピクチャで発生した伝送エラーにより劣化した映像の画質評価結果とする。 The image quality evaluation processing unit 14 receives the transmission error occurrence position (10% from the end of the picture) from the transmission error occurrence position estimation processing unit 13, and compares this value with a predetermined threshold value. Here, the threshold is 15%. Since the transmission error occurrence position is smaller than the threshold value, it is determined that the image quality deterioration has occurred in the picture end region. Therefore, the evaluation is corrected from the temporarily evaluated “bad image quality” to “slightly bad image quality”, and this is used as the image quality evaluation result of the video deteriorated due to the transmission error generated in this picture.
１ 伝送エラー発生位置推定部
２ 画質評価部
１１ ピクチャ先頭検出処理部
１２ 伝送エラー検出処理部
１３ 伝送エラー発生位置推定処理部
１４ 画質評価処理部
５１ ピクチャ先頭検出処理部
５２ ピクチャタイプ検出処理部
５３ 伝送エラー検出処理部
５４ 伝送エラー発生位置推定処理部
５５ 画質推定処理部
６１ ピクチャ先頭推定処理部
６２ ピクチャタイプ推定処理部
６３ 伝送エラー検出処理部
６４ 伝送エラー発生位置推定処理部
６５ 画質推定処理部
７１ プログラム制御プロセッサ
７２ ビットストリームバッファ
７３ プログラムメモリ
７４ ピクチャ先頭検出処理
７５ 伝送エラー検出処理
７６ 伝送エラー発生箇所推定処理
７７ 画質推定処理
DESCRIPTION OF SYMBOLS 1 Transmission error occurrence position estimation part 2 Image quality evaluation part 11 Picture head detection process part 12 Transmission error detection process part 13 Transmission error occurrence position estimation process part 14 Image quality evaluation process part 51 Picture head detection process part 52 Picture type detection process part 53 Transmission Error detection processing unit 54 Transmission error occurrence position estimation processing unit 55 Image quality estimation processing unit 61 Picture head estimation processing unit 62 Picture type estimation processing unit 63 Transmission error detection processing unit 64 Transmission error occurrence position estimation processing unit 65 Image quality estimation processing unit 71
Claims (17)
前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する画質評価部と
を有する画質評価装置。 A transmission error position estimator for estimating a position in a picture where a transmission error has occurred;
An image quality evaluation apparatus comprising an image quality evaluation unit that evaluates a degree of image quality degradation when the transmission error occurs in a region other than a picture center region.
請求項１に記載の画質評価装置。 The image quality evaluation apparatus according to claim 1, wherein the image quality evaluation unit evaluates a degree of image quality degradation small when the transmission error occurs in a picture end region.
請求項１又は請求項２に記載の画質評価装置。 The image quality evaluation apparatus according to claim 1, wherein the picture is composed of a plurality of slices.
前記画質評価部は、前記ピクチャタイプに基づいて、伝送エラーが発生したピクチャの前記画質劣化度合を補正する
請求項１から請求項３のいずれかに記載の画質評価装置。 A picture type estimation unit for estimating a picture type of a picture in which a transmission error has occurred;
The image quality evaluation apparatus according to any one of claims 1 to 3, wherein the image quality evaluation unit corrects the image quality degradation degree of a picture in which a transmission error has occurred based on the picture type.
請求項４に記載の画質評価装置。 5. The image quality evaluation apparatus according to claim 4, wherein the picture type estimation unit acquires a data amount for each picture from a bit stream, and estimates a picture type from the data amount for each picture.
請求項１から請求項５のいずれかに記載の画質評価装置。 The image quality evaluation unit estimates that a transmission error has occurred in a picture end region when a position in a picture in which a transmission error has occurred is within a predetermined threshold from the end of the picture. The image quality evaluation apparatus according to any one of the above.
請求項１から請求項５のいずれかに記載の画質評価装置。 The image quality evaluation unit estimates that a transmission error has occurred in a picture head region when a position in a picture in which a transmission error has occurred is within a predetermined threshold from the head of the picture. The image quality evaluation apparatus according to any one of the above.
請求項１から請求項７のいずれかに記載の画質評価装置。 The image quality evaluation unit corrects an image quality evaluation for image quality degradation caused by a transmission error so that the degree of image quality degradation of the image quality evaluation is evaluated to be small when the transmission error occurs in a region other than a picture central region. The image quality evaluation apparatus according to claim 1.
前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する
画質評価方法。 Estimate the position in the picture where the transmission error occurred,
An image quality evaluation method for evaluating a degree of image quality degradation to be small when the transmission error occurs in a region other than the picture center region.
請求項９に記載の画質評価方法。 The image quality evaluation method according to claim 9, wherein the image quality evaluation evaluates a degree of image quality degradation small when the transmission error occurs in a picture end region.
請求項９又は請求項１０に記載の画質評価方法。 The image quality evaluation method according to claim 9 or 10, wherein the picture is composed of a plurality of slices.
前記画質評価は、前記ピクチャタイプに基づいて、伝送エラーが発生したピクチャの前記画質劣化度合を補正する
請求項９から請求項１１のいずれかに記載の画質評価方法。 Estimate the picture type of the picture where the transmission error occurred,
The image quality evaluation method according to any one of claims 9 to 11, wherein the image quality evaluation corrects the image quality degradation degree of a picture in which a transmission error has occurred based on the picture type.
請求項１２に記載の画質評価方法。 13. The image quality evaluation method according to claim 12, wherein in the picture type estimation, a data amount for each picture is obtained from a bit stream, and a picture type is estimated from the data amount for each picture.
請求項９から請求項１３のいずれかに記載の画質評価方法。 The image quality evaluation estimates that a transmission error has occurred in a picture end region when a position in a picture in which a transmission error has occurred is within a predetermined threshold from the end of the picture. The image quality evaluation method according to crab.
請求項９から請求項１３のいずれかに記載の画質評価方法。 14. The method according to claim 9, wherein the image quality evaluation estimates that a transmission error has occurred in a picture head region when a position in a picture in which a transmission error has occurred is within a predetermined threshold from the head of the picture. The image quality evaluation method according to crab.
請求項９から請求項１５のいずれかに記載の画質評価方法。 10. The image quality evaluation is corrected so that an image quality degradation degree of the image quality evaluation is evaluated to be small when the transmission error occurs in a region other than a picture central area, with respect to an image quality assessment for image quality degradation caused by a transmission error. The image quality evaluation method according to claim 15.
前記伝送エラーの発生位置がピクチャ中央領域以外の場合に、画質劣化度合いを小さく評価する処理と
を情報処理装置に実行させるプログラム。
A process of estimating the position in the picture where the transmission error occurred;
A program for causing an information processing apparatus to execute a process of evaluating a degree of image quality deterioration when an occurrence position of the transmission error is outside a picture central area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009163026A JP2011019128A (en) | 2009-07-09 | 2009-07-09 | Image quality evaluation device, image quality evaluation method, and program for them |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009163026A JP2011019128A (en) | 2009-07-09 | 2009-07-09 | Image quality evaluation device, image quality evaluation method, and program for them |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011019128A true JP2011019128A (en) | 2011-01-27 |
Family
ID=43596572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009163026A Pending JP2011019128A (en) | 2009-07-09 | 2009-07-09 | Image quality evaluation device, image quality evaluation method, and program for them |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011019128A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016162897A1 (en) * | 2015-03-17 | 2016-10-13 | 株式会社Ｏｆｆｉｃｅ－ＫＯＢＹ | Diving simulation system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007214991A (en) * | 2006-02-10 | 2007-08-23 | Ntt Advanced Technology Corp | Image quality measuring apparatus and method, and its program |
| WO2008093714A1 (en) * | 2007-01-31 | 2008-08-07 | Nec Corporation | Image quality evaluating method, image quality evaluating apparatus and image quality evaluating program |
| JP2009273013A (en) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | Quality estimation method, quality estimation system, user terminal, quality management terminal and program |
| WO2010032334A1 (en) * | 2008-09-22 | 2010-03-25 | 富士通株式会社 | Quality index value calculation method, information processing device, dynamic distribution system, and quality index value calculation program |
| JP2010226258A (en) * | 2009-03-19 | 2010-10-07 | Fujitsu Ltd | Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method |
-
2009
- 2009-07-09 JP JP2009163026A patent/JP2011019128A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007214991A (en) * | 2006-02-10 | 2007-08-23 | Ntt Advanced Technology Corp | Image quality measuring apparatus and method, and its program |
| WO2008093714A1 (en) * | 2007-01-31 | 2008-08-07 | Nec Corporation | Image quality evaluating method, image quality evaluating apparatus and image quality evaluating program |
| JP2009273013A (en) * | 2008-05-09 | 2009-11-19 | Nippon Telegr & Teleph Corp <Ntt> | Quality estimation method, quality estimation system, user terminal, quality management terminal and program |
| WO2010032334A1 (en) * | 2008-09-22 | 2010-03-25 | 富士通株式会社 | Quality index value calculation method, information processing device, dynamic distribution system, and quality index value calculation program |
| JP2010226258A (en) * | 2009-03-19 | 2010-10-07 | Fujitsu Ltd | Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016162897A1 (en) * | 2015-03-17 | 2016-10-13 | 株式会社Ｏｆｆｉｃｅ－ＫＯＢＹ | Diving simulation system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2536202T3 (en) | Methods and apparatus for temporary synchronization between an encrypted bit stream and the processed video sequence of an external video decoder | |
| JP5670551B2 (en) | Method and apparatus for evaluating the quality of a video stream | |
| KR101125846B1 (en) | Method for transmitting image frame data based on packet system and apparatus thereof | |
| KR101739821B1 (en) | Methods for error concealment due to enhancement layer packet loss in scalable video coding (svc) decoding | |
| US9210419B2 (en) | System and method for diagnostic modeling of audio and video quality of service | |
| US20100110199A1 (en) | Measuring Video Quality Using Partial Decoding | |
| JP5099371B2 (en) | Image quality evaluation method, image quality evaluation apparatus, and image quality evaluation program | |
| KR100541526B1 (en) | Methods and apparatus for multimedia data transmission quality measurement | |
| WO2010009637A1 (en) | Method, system and equipment for evaluating video quality | |
| DK2347599T3 (en) | METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW | |
| US20150296224A1 (en) | Perceptually driven error correction for video transmission | |
| WO2017198223A1 (en) | Video quality evaluation method, device and remote radio head | |
| US20140020004A1 (en) | Method and apparatus for evaluating video quality | |
| US10771818B2 (en) | Method and apparatus for determining the severity of corruption in a picture | |
| JP2001025014A (en) | Method and device for decoding compressed multi-media communication and evaluating quality of multi-media communication | |
| JP5911563B2 (en) | Method and apparatus for estimating video quality at bitstream level | |
| KR20110090596A (en) | Method and apparatus for correcting interarrival jitter | |
| JP2011019128A (en) | Image quality evaluation device, image quality evaluation method, and program for them | |
| JP2011019127A (en) | Image quality evaluation device, image quality evaluation method, and program for them | |
| TWI568238B (en) | Method and system for generating side information at a video encoder to differentiate packet data | |
| US9723266B1 (en) | Lightweight content aware bit stream video quality monitoring service | |
| JP5939884B2 (en) | Error correction coding device | |
| KR100722670B1 (en) | Systems and methods for video quality measurement using transmission error information | |
| JP5394991B2 (en) | Video frame type estimation adjustment coefficient calculation method, apparatus, and program | |
| WO2014198062A1 (en) | Method and apparatus for video quality measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120608 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130424 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131113 |