JP2013046113A - VIDEO QUALITY ESTIMATION DEVICE, METHOD AND PROGRAM USING BASIC GoP LENGTH - Google Patents

VIDEO QUALITY ESTIMATION DEVICE, METHOD AND PROGRAM USING BASIC GoP LENGTH Download PDF

Info

Publication number
JP2013046113A
JP2013046113A JP2011180963A JP2011180963A JP2013046113A JP 2013046113 A JP2013046113 A JP 2013046113A JP 2011180963 A JP2011180963 A JP 2011180963A JP 2011180963 A JP2011180963 A JP 2011180963A JP 2013046113 A JP2013046113 A JP 2013046113A
Authority
JP
Japan
Prior art keywords
video
video frame
frame
quality
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011180963A
Other languages
Japanese (ja)
Other versions
JP5335867B2 (en
Inventor
Kazuhisa Yamagishi
和久 山岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011180963A priority Critical patent/JP5335867B2/en
Publication of JP2013046113A publication Critical patent/JP2013046113A/en
Application granted granted Critical
Publication of JP5335867B2 publication Critical patent/JP5335867B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To estimate the video quality evaluation value of a packetized video with high accuracy.SOLUTION: The amount of information for each video frame is derived from an input packet, and the basic GoP length is derived from the amount of information for each video frame. When the video frame type (I, B, P frame) of all video frames is derived from the basic GoP length, and the video frame deteriorates due to packet loss, a deterioration video frame is derived while taking account of the influence of propagation of the deterioration. A bit rate is calculated from the amount of information for each video frame, and the encoded video quality is derived. Finally, a video quality evaluation value is derived from the encoded video quality and the deterioration video frame.

Description

本発明は、基本GoP(Group of Picture)長を用いた映像品質推定装置及び方法及びプログラムに係り、特に、インターネットのようなIP(Internet Protocol)ネットワーク経由で行うIPTVサービス、映像配信サービスにおける映像の品質を客観的に評価するために用いる基本GoP長を用いた映像品質推定装置及び方法及びプログラムに関する。   The present invention relates to a video quality estimation apparatus, method, and program using a basic GoP (Group of Picture) length, and in particular, an IPTV service and video distribution service performed via an IP (Internet Protocol) network such as the Internet. The present invention relates to a video quality estimation apparatus, method, and program using a basic GoP length used for objectively evaluating quality.

インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。   With the increase in speed and bandwidth of Internet access lines, the spread of video communication services that transfer video media including video and audio between terminals or between servers and terminals via the Internet is expected.

インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質(ユーザ体感品質:QoE(Quality of Experience))が劣化してしまう。   Since the Internet is a network whose communication quality is not always guaranteed, when communication is performed using audio and video media, the bit rate is lowered and the line is congested due to the narrow line bandwidth of the network between user terminals. As a result, packet loss and packet transfer delay occur, and the quality perceived by the user for audio, video media, etc. (user experience quality: QoE (Quality of Experience)) deteriorates.

具体的には、原映像を符号化する場合、フレーム内の映像信号にブロック単位の処理による劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、ネットワークを介し、符号化された映像データをパケットとしてユーザ端末に送信する際、パケット損失や廃棄が発生すると、フレーム内に劣化が生じ、映像全体の品質が低くなる。   Specifically, when the original video is encoded, the video signal in the frame is deteriorated by processing in units of blocks, or high-frequency components of the video signal are lost, so that the fineness of the entire video is lowered. Further, when the encoded video data is transmitted as a packet to the user terminal via the network, if a packet loss or discard occurs, the frame is deteriorated and the quality of the entire video is lowered.

結果として、ユーザは受信した映像に、ぼけ、にじみ、やモザイク状の歪みを知覚する。   As a result, the user perceives blur, blur, and mosaic distortion in the received video.

上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質が高いことを監視することが重要となる。   In order to confirm that the video communication service as described above is provided with good quality, the quality of the video provided to the user is measured by measuring the quality of the video experienced by the user during the service provision. It is important to monitor that is high.

したがって、ユーザが体感する映像の品質を適切に表現することができる映像品質客観評価技術が必要とされている。   Therefore, there is a need for video quality objective evaluation technology that can appropriately express the quality of the video experienced by the user.

従来、映像品質を評価する手法として、主観品質評価法(例えば、非特許文献1参照)や客観品質評価法(例えば、非特許文献2参照)がある。   Conventionally, as a method for evaluating video quality, there are a subjective quality evaluation method (for example, see Non-Patent Document 1) and an objective quality evaluation method (for example, Non-Patent Document 2).

主観品質評価法は、複数のユーザが実際に映像を視聴し、体感した品質を5段階(9段階や11段階の場合もある)の品質尺度(非常に良い、良い、ふつう、悪い、非常に悪い)や妨害尺度(劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる)などにより評価し、全ユーザ数で各映像(例えば、パケット損失率0%でビットレートが20Mbpsの映像)の品質評価値を平均し、その値をMOS(Mean Opinion Score)値やDMOS(Degradation Mean Opinion Score)値として定義している。   The subjective quality evaluation method is a quality scale (very good, good, normal, bad, very good) of the quality experienced by multiple users who actually watched the video and experienced the quality (may be 9 or 11 levels) Bad) and disturbance scale (no degradation is observed, degradation is observed but not bothered, slightly concerned about degradation, concerned about degradation, very concerned about degradation), etc. Average the quality evaluation value of each video (for example, video with a packet loss rate of 0% and a bit rate of 20 Mbps) by the number of users, and define the value as MOS (Mean Opinion Score) value or DMOS (Degradation Mean Opinion Score) doing.

しかしながら、主観品質評価は、特別な専用機材(モニタなど)や評価環境(室内照度や室内騒音など)を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。   However, subjective quality evaluation not only requires special dedicated equipment (such as a monitor) and an evaluation facility that can adjust the evaluation environment (such as room illuminance and room noise), but many users actually evaluate the video. There is a need. For this reason, it takes time for the user to actually complete the evaluation, which is not suitable for evaluating the quality in real time.

そこで、映像品質に影響を与える特徴量(例えば、ビットレートやフレーム単位のビット量、パケット損失情報など)を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。   Therefore, it is desired to develop an objective quality evaluation method that outputs a video quality evaluation value using a feature amount (for example, bit rate, bit amount in frame units, packet loss information, etc.) that affects video quality.

従来の客観品質評価法の1つに、送信されたパケットとサービス提供者などから得たGoP(Group of Picture)の設定値を入力とし、映像フレームのビット量から映像フレーム種別(I、B、Pフレーム)を推定し、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出する技術がある(例えば、非特許文献2参照)。   As one of the conventional objective quality evaluation methods, the input value of GoP (Group of Picture) obtained from the transmitted packet and the service provider is input, and the video frame type (I, B, There is a technique for deriving a video quality evaluation value by estimating a P frame) and considering how much deterioration is propagated in a video frame lost due to packet loss (see, for example, Non-Patent Document 2).

従来の客観品質評価法の多くは、上記のように、パケットを用いて映像品質評価値を推定するものであった。   Many of the conventional objective quality evaluation methods estimate a video quality evaluation value using a packet as described above.

ITU-T勧告P.910ITU-T recommendation P.910 牛木、増田、林、高橋、"フレーム種別推定を用いたパケットレイヤ映像品質推定法、" 電子情報通信学会論文誌 B Vol.J94-B, No.1, pp.36-48.Ushiki, Masuda, Hayashi, Takahashi, "Packet layer video quality estimation using frame type estimation," IEICE Transactions B Vol.J94-B, No.1, pp.36-48.

映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに提供される映像の品質が高いことを監視することが重要であり、ユーザが体感する映像の品質を適切に表示することが可能な映像品質客観評価技術が必要とされている。   In order to confirm that the video communication service is provided with good quality, the quality of the video experienced by the user is measured while the service is provided, and the high quality of the video provided to the user is monitored. Therefore, there is a need for an objective video quality evaluation technique that can appropriately display the quality of the video experienced by the user.

しかしながら、非特許文献2の技術は、サービス提供者などから得た基本的なGoP長(以降、基本GoP長)を用いることを前提としているため、基本GoP長がわからないサービスには適用できないといった問題がある。   However, since the technology of Non-Patent Document 2 is based on the premise that the basic GoP length obtained from a service provider or the like (hereinafter referred to as the basic GoP length) is used, it cannot be applied to services where the basic GoP length is unknown. There is.

具体的には、非特許文献2では、基本GoP長に一定量(数映像フレーム)を加算した値を、Iフレームの推定区間とし、その推定区間の中で一番、ビット量が多い映像フレームをIフレームとしているが、当該Iフレームの推定区間が定まらないといった問題が発生する。   Specifically, in Non-Patent Document 2, a value obtained by adding a certain amount (several video frames) to the basic GoP length is set as an I frame estimation section, and the video frame having the largest bit amount in the estimation section However, there is a problem that the estimated section of the I frame is not determined.

本発明は、上記の点に鑑みなされたもので、上述の問題を解決すべく、各映像フレームが持つビット量を入力として、そのビット量の変動から基本GoP長を導出することで、非特許文献2で記載されるように、パケット損失により損失した映像フレームがどの程度、劣化が伝搬するか考慮し、映像品質評価値を導出するための基本GoP長を用いた映像品質推定装置及び方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above points, and in order to solve the above-described problem, the bit amount of each video frame is input, and the basic GoP length is derived from the variation of the bit amount. As described in Document 2, a video quality estimation apparatus and method using a basic GoP length for deriving a video quality evaluation value in consideration of how much the video frame lost due to packet loss propagates, and The purpose is to provide a program.

図1は、本発明の原理構成図である。   FIG. 1 is a principle configuration diagram of the present invention.

本発明(請求項1)は、映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットを、映像フレーム毎にグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP(Group of Picture)長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別(I、B、Pフレーム)を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、を備える。
The present invention (Claim 1) is a video quality estimation apparatus using a basic GoP length for objectively evaluating video quality,
Video frame discriminating means for grouping input packets for each video frame;
Video frame information amount calculating means for deriving a video frame information amount for each video frame determined by the video frame determining means;
I frame interval calculation means for deriving an interval between video frames for each I frame from the video frame information amount for each video frame derived by the video frame information amount calculation means;
A basic GoP length calculating means for calculating, as a basic GoP (Group of Picture) length, an I frame interval having the highest occurrence frequency of the quality measurement interval from a set of I frame intervals derived by the I frame interval calculating means;
Based on the basic GoP length derived by the basic GoP length calculating means, video frame type calculating means for calculating video frame types (I, B, P frames) of all video frames;
Video bit rate calculating means for calculating a video bit rate from the video frame information amount for each video frame derived by the video frame information amount calculating means;
A lost video frame determining means for determining whether a packet loss is included in the video frame determined by the video frame determining means;
A deteriorated video frame calculating means for determining how much the influence of loss propagates from the video frame type calculated by the video frame type calculating means and the lost video frame determined by the lost video frame determining means;
Encoded video quality calculating means for calculating video quality related to video encoding using the bit rate of the video calculated by the video bit rate calculating means;
Video quality calculating means for calculating video quality from the encoded video quality calculated by the encoded video quality calculating means and the deteriorated video frame calculated by the deteriorated video frame calculating means.

従来、映像符号化を実施する際に利用される基本的なGoP長(Iフレームの間隔)は、サービスプロバイダが、映像品質評価装置に基本GoP長を与えることで実施されていたが、サービスプロバイダが基本GoP長を与えることができない状況下では、上記のような技術を用いて映像品質を評価することはできない。   Conventionally, the basic GoP length (I-frame interval) used for video encoding has been implemented by the service provider giving the basic GoP length to the video quality evaluation device. Under the circumstances that cannot give the basic GoP length, it is not possible to evaluate the video quality using the above techniques.

これに対し、本発明によれば、受信したパケットデータのみから、映像フレーム毎の情報量を基に基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を入手できない状況下でも映像品質を評価できる。   On the other hand, according to the present invention, the basic GoP length can be calculated from only received packet data based on the information amount for each video frame, and the video frame type of each video frame can be derived. Video quality can be evaluated even in situations where long information is not available.

したがって、本発明によりユーザが実際に視聴する映像通信サービスの映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。   Therefore, the present invention makes it possible to monitor the video quality value for the video of the video communication service that is actually viewed by the user. Therefore, it is easy to determine whether the service being provided maintains a certain level of quality for the user. Judgment can be made.

このため、提供中のサービスの品質実態を従来技術で映像品質評価をできなかった点を改善することが可能となる。   For this reason, it becomes possible to improve the point that the quality of the service being provided could not be evaluated with the prior art.

本発明の一実施の形態における映像品質推定装置の構成図である。It is a block diagram of the video quality estimation apparatus in one embodiment of this invention. 本発明の一実施の形態におけるIフレーム間隔算出部の構成図である。It is a block diagram of the I frame space | interval calculation part in one embodiment of this invention. 本発明の一実施の形態における映像フレーム判別部での判別対象となる映像フレームの例である。It is an example of the video frame used as the discrimination | determination object in the video frame discrimination | determination part in one embodiment of this invention. 本発明の一実施の形態におけるIフレーム間隔算出部のIフレーム間隔算出の例である。It is an example of I frame interval calculation of the I frame interval calculation part in one embodiment of this invention. 本発明の一実施の形態における映像フレームのクラスタリングの例である。It is an example of the clustering of the video frame in one embodiment of this invention. 符号化映像品質・映像品質算出機能の構成例である。It is an example of a structure of an encoding video quality and video quality calculation function. 符号化映像品質・映像品質算出処理のフローチャート(その1)である。It is a flowchart (the 1) of an encoding video quality and video quality calculation process. 符号化映像品質・映像品質算出処理のフローチャート(その2)である。It is a flowchart (the 2) of an encoding video quality and video quality calculation process. 本発明の一実施例における映像品質推定装置の動作のフローチャートである。It is a flowchart of operation | movement of the video quality estimation apparatus in one Example of this invention.

以下図面と共に、本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本発明の本実施の形態にかかる基本GoP長を用いた映像品質推定装置(以下、「映像品質推定装置」と記す)は、入力パケット内に示される映像フレームの区切り情報をもとに、入力パケットが構成する各映像フレームを判別し、判別された映像フレームの情報量(ビット量やパケット数)を算出する。映像フレームの区切り情報としては、RTP/UDP/IPの場合においてRTP(Real-time Transport Protocol)ヘッダに記載されるマーカビットが0×1の場合(映像フレームを構成する最後のパケットであることを意味する。)やRTP timestamp(複数パケットで構成される同一の映像フレームは同一のRTP timestampを持つことを利用し、映像フレームの区切りを判別する)の場合、TS/RTP/UDP/IPやTS/UDP/IPやTTS/RTP/UDP/IPやTTS/UDP/IPの場合においてTS(Transport Stream)やTTS(Timestamped TS)に記載されるPayload unit start indicator(PUSI)が0×1の場合(映像フレームを構成する先頭のパケットであることを意味する)やPES(Packetized Elementary Stream)ヘッダの有無(1つのPESに1つの映像フレームが内容されていることを利用する)などを利用することが可能である。算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームを含むグループの映像フレームすべてをIフレームとし、Iフレームの間隔で発生頻度の一番高いものを基本GoP長として、映像フレーム毎の映像フレーム種別(I,B,Pフレーム)を推定する。ここで、クラスタリングの手法として、本願実施の形態では最短距離法と昇順法を対象としているが、他の方法を用いることも可能である。映像フレーム毎の情報量から映像のビットレートを算出し、そのビットレートから符号化直後の映像品質を導出する。パケット損失が発生した映像フレームを判別し、損失映像フレームと映像フレーム種別から劣化の伝搬状況を加味し劣化映像フレーム長を算出する。最後に、符号化映像品質と劣化映像フレーム長から映像品質を客観的に評価するものである。   The video quality estimation apparatus using the basic GoP length according to this embodiment of the present invention (hereinafter referred to as “video quality estimation apparatus”) is input based on video frame delimiter information indicated in the input packet. Each video frame included in the packet is determined, and the information amount (bit amount and number of packets) of the determined video frame is calculated. As the video frame delimiter information, in the case of RTP / UDP / IP, if the marker bit written in the RTP (Real-time Transport Protocol) header is 0x1 (that is, the last packet constituting the video frame) TS / RTP / UDP / IP or TS in the case of RTP timestamp (uses the same video frame consisting of multiple packets to have the same RTP timestamp to determine the video frame delimiter) In the case of / UDP / IP, TTS / RTP / UDP / IP and TTS / UDP / IP, when the Payload unit start indicator (PUSI) described in TS (Transport Stream) and TTS (Timestamped TS) is 0x1 ( Use the presence of a PES (Packetized Elementary Stream) header (uses the fact that one PES contains one video frame), etc. Is possible. Based on the calculated amount of information for each video frame, the video frames are clustered into several groups, and all the video frames in the group including the video frame with the largest amount of information are defined as I frames, and the frequency of occurrences occurs at I frame intervals Is the basic GoP length, and the video frame type (I, B, P frame) for each video frame is estimated. Here, as the clustering method, the shortest distance method and the ascending order method are targeted in the embodiment of the present application, but other methods can also be used. The video bit rate is calculated from the amount of information for each video frame, and the video quality immediately after encoding is derived from the bit rate. A video frame in which packet loss has occurred is discriminated, and a degraded video frame length is calculated from the lost video frame and the video frame type, taking into account the propagation state of degradation. Finally, the video quality is objectively evaluated from the encoded video quality and the degraded video frame length.

例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービスなど映像通信における客観的な映像品質評価を実現するために、パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。   For example, in the present embodiment, in order to realize objective video quality evaluation in video communication such as IPTV service and video distribution service performed via an IP network such as the Internet, packets are analyzed and these video communication are performed. Deriving a video quality value that quantitatively represents the feature quantity that affects the video quality involved.

図1は、本発明の一実施の形態における映像品質推定装置の構成を示す。   FIG. 1 shows the configuration of a video quality estimation apparatus according to an embodiment of the present invention.

同図に示すように、映像品質推定装置100は、映像フレーム判別部1と、映像フレーム情報量算出部2と、Iフレーム間隔算出部3と、基本GoP長算出部4と、映像フレーム種別算出部5と、映像ビットレート算出部6と、損失映像フレーム判別部7と、劣化映像フレーム算出部8と、符号化映像品質算出部9と、映像品質算出部10とから構成されている。   As shown in the figure, the video quality estimation apparatus 100 includes a video frame determination unit 1, a video frame information amount calculation unit 2, an I frame interval calculation unit 3, a basic GoP length calculation unit 4, and a video frame type calculation. 5, a video bit rate calculation unit 6, a lost video frame determination unit 7, a degraded video frame calculation unit 8, an encoded video quality calculation unit 9, and a video quality calculation unit 10.

Iフレーム間隔算出部3は、図2に示すように、最短距離映像フレーム算出部31(図2(A))もしくは昇順映像フレーム算出部32(図2(B))とから構成されている。   As shown in FIG. 2, the I-frame interval calculation unit 3 includes a shortest distance video frame calculation unit 31 (FIG. 2A) or an ascending video frame calculation unit 32 (FIG. 2B).

なお、上記の各算出部は、算出結果を一時的に保存するメモリ(図示せず)を有するものとする。   In addition, each said calculation part shall have a memory (not shown) which preserve | saves a calculation result temporarily.

映像フレーム判別部1は、入力パケット内に示される映像フレームの区切り情報である特定の値を持つマーカビットやPUSIの情報などをもとに、図3のように、入力されたパケットを、構成する映像フレーム毎にグループ化することで、各映像フレームを判別する。図3は、映像フレームの区切り情報として、パケット構成がRTP/UDP/IPの場合に0x1の値を持つマーカビットを利用した際の例である。仮に、パケット損失により映像フレームの区切り情報が損失しても、パケット構成がRTP/UDP/IPの場合、RTP タイムスタンプは映像フレーム毎に増加するため、RTP タイムスタンプの増加量から損失を検知できる。更に、タイムスタンプから映像のフレームレートを換算できるため、映像フレームが複数連続して損失しても、タイムスタンプから抜けてしまった映像フレームの存在を確認できる。ただし、各映像フレームが何パケットもっているか判別できない。   The video frame discriminating unit 1 composes an input packet as shown in FIG. 3 based on marker bits having specific values, which are video frame delimiter information shown in the input packet, and PUSI information. Each video frame is discriminated by grouping each video frame. FIG. 3 shows an example when marker bits having a value of 0x1 are used as video frame delimiter information when the packet configuration is RTP / UDP / IP. Even if video frame delimiter information is lost due to packet loss, if the packet configuration is RTP / UDP / IP, the RTP time stamp increases for each video frame, so the loss can be detected from the amount of RTP time stamp increase. . Furthermore, since the frame rate of the video can be converted from the time stamp, even if a plurality of video frames are continuously lost, it is possible to confirm the presence of the video frame that has been lost from the time stamp. However, it cannot be determined how many packets each video frame has.

映像フレーム情報量算出部2は、映像フレーム判別部1で判別された映像フレーム毎に、映像フレームを構成するパケットとしてグループ化されたパケットの数をカウントし、映像フレーム毎の情報量として記憶する。この際、パケット数ではなく、パケット数からビット数やバイト数としてカウントしてもよい。   The video frame information amount calculation unit 2 counts the number of packets grouped as packets constituting the video frame for each video frame discriminated by the video frame discrimination unit 1 and stores it as an information amount for each video frame. . At this time, instead of the number of packets, the number of packets may be counted as the number of bits or bytes.

Iフレーム間隔算出部3は、映像フレーム情報量算出部2で算出された映像フレーム毎の情報量をもとに映像フレームをいくつかのグループにクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームをすべてIフレームと判定し、各Iフレームの間隔をIフレーム間隔として算出する。   The I-frame interval calculation unit 3 clusters the video frames into several groups based on the information amount for each video frame calculated by the video frame information amount calculation unit 2, and is the same as the video frame having the largest amount of information. All the video frames classified into the group are determined as I frames, and the interval between each I frame is calculated as the I frame interval.

Iフレーム間隔算出部3は、最短距離映像フレーム算出部31を備え、映像フレーム情報量算出部2で算出された映像フレーム毎の情報量をもとに最短距離法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。具体的には、図4に示すように、映像のフレームレートが3fpsのとき、フレームレートである3の2倍の6映像フレームを最短距離映像フレーム算出部31の入力として、最短距離法を適用していくつかのグループにクラスタリングする(この際、最短距離法への入力を映像フレームレートの三倍などの値としても良い)。クラスタリングによるグループ化は、映像フレーム種別判別部5においてI、B、Pフレームと3種類の映像フレーム種別があることから、3つのグループになるまで処理を続け、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定し、Iフレーム間隔算出部3においてIフレームと認定されたフレーム番号が出現する間隔を計算する。図4の例において、最も情報量の多い映像フレームの映像フレーム番号は"6"であるので、当該"6"と同一のグループである映像フレーム番号"5"をIフレームとする。なお、例えば、映像フレーム番号"10"〜"18"まで同一グループであれば、"10"〜"18"は全てIフレームとなる。   The I-frame interval calculation unit 3 includes a shortest distance video frame calculation unit 31 and clusters video frames by applying the shortest distance method based on the information amount for each video frame calculated by the video frame information amount calculation unit 2. However, all the video frames classified into the same group as the video frame having the largest amount of information may be determined as I frames. Specifically, as shown in FIG. 4, when the video frame rate is 3 fps, the shortest distance method is applied with 6 video frames twice the frame rate of 3 being input to the shortest distance video frame calculation unit 31. Then, clustering into several groups (in this case, the input to the shortest distance method may be a value such as three times the video frame rate). In grouping by clustering, there are three types of video frame types, I, B, and P frames, in the video frame type discriminating unit 5, so processing continues until there are three groups, and it is the same as the video frame with the largest amount of information All the video frames classified into the group are determined as I frames, and the I frame interval calculation unit 3 calculates the intervals at which frame numbers recognized as I frames appear. In the example of FIG. 4, the video frame number of the video frame with the largest amount of information is “6”, so the video frame number “5” that is the same group as the “6” is the I frame. For example, if the video frame numbers “10” to “18” are the same group, “10” to “18” are all I frames.

また、Iフレーム間隔算出部3は、上述した最短距離映像フレーム算出部31の代わりに、昇順映像フレーム算出部32を備え、映像フレーム情報量算出部2で算出された映像フレーム毎の情報量をもとに昇順法を適用して映像フレームをクラスタリングし、最も情報量が多い映像フレームと同一のグループに分類された映像フレームすべてをIフレームと判定してもよい。   The I frame interval calculation unit 3 includes an ascending video frame calculation unit 32 instead of the shortest distance video frame calculation unit 31 described above, and calculates the information amount for each video frame calculated by the video frame information amount calculation unit 2. The video frames may be clustered by applying the ascending order method, and all the video frames classified into the same group as the video frame having the largest amount of information may be determined as I frames.

具体的に、昇順法によるクラスタリングの例を図5に示す。同図において、fは映像フレーム番号を示し、VTSfは映像フレーム毎のTS数を示す。同図における導出手順は以下の通りである。   Specifically, FIG. 5 shows an example of clustering by the ascending order method. In the figure, f indicates a video frame number, and VTSf indicates the TS number for each video frame. The derivation procedure in the figure is as follows.

1)(2×フレームレート)分の映像フレームのデータを入力する。   1) Input video frame data for (2 × frame rate).

2)10映像フレーム毎に最大TS数を持つ映像フレームの番号とTS数を記憶する(但し、最大値が複数ある場合は映像フレームが小さい方を選択)。   2) Store the number of video frames having the maximum number of TSs and the number of TSs every 10 video frames (however, if there are multiple maximum values, select the smaller video frame).

3)上記2)で選択された映像フレーム対し、TS数に関し昇順に並べる。   3) The video frames selected in 2) are arranged in ascending order with respect to the TS number.

4)順番に並んだTS数の除算値を計算する。   4) Calculate the division value of the TS numbers arranged in order.

5)除算値が最大ところ(白抜き部分)を閾値として仮のIフレームを決める(但し、最大値が複数ある場合は、最初の最大値)。   5) A temporary I frame is determined with the division value being the maximum (outlined portion) as a threshold (however, if there are a plurality of maximum values, the first maximum value).

6)仮のIフレームの間隔を"距離が長いほう"から計算し、最も発生頻度の多いものを基本GoP長とする(但し、距離が"10以下"はカウントしない)。   6) The temporary I-frame interval is calculated from “the longer the distance”, and the most frequently occurring one is set as the basic GoP length (however, the distance of “10 or less” is not counted).

図5の例では、映像のフレームレートが30fpsのとき、フレームレートである30の2倍の60映像フレームを昇順映像フレーム算出部の入力としていくつかのグループにクラスタリングする(この際、昇順法への入力を映像フレームレートの三倍などの値としても良い)。ただし、図面の太線がデータ入力の区切りを示している。具体的には、入力された60映像フレームに対し、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出し、昇順法を適用して、情報量の大小関係に基づきデータの並び替えを実施している(本実施例では、計算量削減の観点から、10映像フレーム毎に最大の情報量を持つ映像フレームを抽出しているが、本処理を用いず、60映像フレームに対し、直接昇順法を適用しても良い)。次に、昇順に並び替えられた映像フレームに対し、除算法を用い、隣接映像フレームの情報量を除算する(図5の例では、映像フレーム番号34の情報量を映像フレーム番号18の情報量で除算し、他の映像フレームに対しても同様の処理をする)。得られた除算値の中で最大の除算値を閾値として、閾値を超える情報量を持つ映像フレームを仮のIフレームとする。   In the example of FIG. 5, when the video frame rate is 30 fps, 60 video frames that are twice the frame rate of 30 are clustered into several groups as inputs to the ascending video frame calculation unit (in this case, the ascending order method). Can be a value such as three times the video frame rate). However, a bold line in the drawing indicates a delimiter for data input. Specifically, for the input 60 video frames, video frames with the maximum amount of information are extracted every 10 video frames, and ascending order is applied to rearrange the data based on the magnitude relationship of the information amount. (In this example, from the viewpoint of reducing the amount of calculation, a video frame having the maximum amount of information is extracted for every 10 video frames. Ascending order may be applied). Next, for the video frames rearranged in ascending order, the division method is used to divide the information amount of the adjacent video frame (in the example of FIG. 5, the information amount of the video frame number 34 is changed to the information amount of the video frame number 18). The same processing is performed for other video frames). Among the obtained division values, the maximum division value is set as a threshold, and a video frame having an information amount exceeding the threshold is set as a temporary I frame.

基本GoP長算出部4は、Iフレーム間隔算出部3で判定されたIフレームの間隔から各GoP長で発生頻度の一番高いGoP長を基本GoP長とする。   The basic GoP length calculation unit 4 sets the GoP length having the highest occurrence frequency in each GoP length from the I frame interval determined by the I frame interval calculation unit 3 as the basic GoP length.

映像フレーム種別算出部5は、基本GoP長算出部4で算出された基本GoP長と、映像フレーム情報量算出部2で算出された映像フレーム毎の情報量から映像フレーム種別(I,P,B)を判別する。非特許文献2で示されるように、具体的には、基本GoP長に2〜4の値を加えた値を探索範囲とし、探索範囲の中で最大の情報量を持つ映像フレームをIフレームとする。Iフレーム間にある映像フレームの情報量を平均し、事前に決定されている係数αを掛けた値を閾値として、映像フレーム毎の情報量が閾値以上の映像フレームはPフレーム、閾値未満のフレームはBフレームと判定する(非特許文献2図7参照)。なお、係数αは、映像コーディックの実装により変化する値であり、概ね0.9〜1.3の値を持つ。   The video frame type calculation unit 5 calculates the video frame type (I, P, B) from the basic GoP length calculated by the basic GoP length calculation unit 4 and the information amount for each video frame calculated by the video frame information amount calculation unit 2. ). As shown in Non-Patent Document 2, specifically, a value obtained by adding a value of 2 to 4 to the basic GoP length is set as a search range, and a video frame having the maximum amount of information in the search range is defined as an I frame. To do. The amount of information of video frames between I frames is averaged, and a value obtained by multiplying a predetermined coefficient α is used as a threshold value. Is determined to be a B frame (see non-patent document 2 FIG. 7). Note that the coefficient α is a value that varies depending on the implementation of the video codec, and generally has a value of 0.9 to 1.3.

映像ビットレート算出部6は、映像フレーム情報量算出部2で算出された情報量をもとにビットレートを算出する。   The video bit rate calculation unit 6 calculates the bit rate based on the information amount calculated by the video frame information amount calculation unit 2.

損失映像フレーム判別部7は、映像フレーム判別部1で映像フレーム毎にグループ化されたパケットの中にパケット損失があるか判別し、パケット損失がある場合は、その映像フレームを損失映像フレームと判定する。具体的には、RTPパケットのRTP タイムスタンプの抜けやTSパケットのTSヘッダ内の巡回カウンタ(CC)の抜けから、損失パケットを検出し、その損失パケットを含む映像フレームを損失映像フレームと判定する。   The lost video frame discriminating unit 7 discriminates whether there is a packet loss in the packets grouped for each video frame by the video frame discriminating unit 1, and if there is a packet loss, determines that the video frame is a lost video frame. To do. Specifically, a lost packet is detected from the missing RTP time stamp of the RTP packet or the cyclic counter (CC) in the TS header of the TS packet, and the video frame including the lost packet is determined as a lost video frame. .

劣化映像フレーム算出部8は、損失映像フレーム判別部7により判定された損失映像フレームと、映像フレーム種別算出部5で判定された映像フレーム種別をもとに、非特許文献2で示されるように、損失の劣化の伝搬状況を加味し、劣化映像フレーム数をカウントする(非特許文献2図3参照)。   As shown in Non-Patent Document 2, the degraded video frame calculation unit 8 is based on the lost video frame determined by the lost video frame determination unit 7 and the video frame type determined by the video frame type calculation unit 5. The number of deteriorated video frames is counted in consideration of the propagation state of loss deterioration (see Non-Patent Document 2 FIG. 3).

符号化映像品質算出部9は、映像ビットレート算出部6で算出されたビットレート(BR)をもとに、以下の数式に基づき、符号化映像品質(VQC)を算出する。ただし、v1, v2, v3は、予め記憶されている定数とする。   The encoded video quality calculation unit 9 calculates the encoded video quality (VQC) based on the following equation based on the bit rate (BR) calculated by the video bit rate calculation unit 6. However, v1, v2, and v3 are constants stored in advance.

Figure 2013046113
映像品質算出部10は、符号化映像品質算出部9で算出された符号化映像品質(VQC)と劣化映像フレーム算出部8で算出された劣化映像フレーム数(DF)から以下の数式に基づき、映像品質を算出する。ただし、v4, v5, v6は、予め記憶されている定数とする。
Figure 2013046113
The video quality calculation unit 10 is based on the following formula from the encoded video quality (VQC) calculated by the encoded video quality calculation unit 9 and the number of degraded video frames (DF) calculated by the degraded video frame calculation unit 8: Calculate video quality. However, v4, v5, and v6 are constants stored in advance.

Figure 2013046113
また、IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質(VQC)、映像品質(VQ)を導出しても良い。この、ビットレート、映像フレーム毎のビット量と映像フレーム種別を利用して、符号化映像品質(VQC)、映像品質(VQ)を導出する、符号化映像品質・映像品質算出機能の一実施形態を以下に例示する。なお、詳細は、PCT/JP2010/055203に記載されている。
Figure 2013046113
In addition, using the bit rate that affects video quality related to video communication such as IPTV service and video distribution service via IP network, the bit amount for each video frame and the video frame type, the encoded video quality (VQC), Video quality (VQ) may be derived. An embodiment of an encoded video quality / video quality calculation function for deriving encoded video quality (VQC) and video quality (VQ) using the bit rate, the bit amount per video frame and the video frame type. Is exemplified below. Details are described in PCT / JP2010 / 055203.

図6は、符号化映像品質・映像品質算出機能の構成例を示し、当該符号化映像品質・映像品質算出機能は、ビットレートや映像フレーム毎のビット量と映像フレーム種別を利用して符号化映像品質(VQC)、映像品質(VQ)を導出するものである。   FIG. 6 shows an example of the configuration of the encoded video quality / video quality calculation function. The encoded video quality / video quality calculation function performs encoding using the bit rate, the bit amount for each video frame, and the video frame type. Video quality (VQC) and video quality (VQ) are derived.

同図に示す符号化映像品質・映像品質算出機能200では、入力パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。具体的には、符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数それぞれを考慮して映像品質評価値を導出することにより、符号化映像の映像品質を推定するものである。符号化映像品質・映像品質算出機能200は、パケット分析部20、映像集合フレーム特性推定部21、符号化品質推定部22、パケット損失品質推定部23とから構成されている。   The encoded video quality / video quality calculation function 200 shown in the figure analyzes the encoded video packet included in the input packet, and quantitatively represents the feature quantity affecting the video quality related to the video communication. Deriving a quality value. Specifically, by deriving a video quality evaluation value in consideration of the bit rate of the encoded video, the bit amount for each video frame type in the video frame of the encoded video, and the number of lost video frames, the encoded video is derived. The video quality is estimated. The encoded video quality / video quality calculation function 200 includes a packet analysis unit 20, a video aggregate frame characteristic estimation unit 21, an encoding quality estimation unit 22, and a packet loss quality estimation unit 23.

パケット分析部20は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部201と、映像フレーム種別毎のビット量を導出するビット量算出部202とから構成されており、ビットレート算出部201によって導出されたビットレートと、ビット量算出部202によって導出された映像フレーム種別毎のビット量とを出力する。   The packet analysis unit 20 includes a bit rate calculation unit 201 that derives a bit rate of an encoded video packet included in an input packet, and a bit amount calculation unit 202 that derives a bit amount for each video frame type. The bit rate derived by the bit rate calculation unit 201 and the bit amount for each video frame type derived by the bit amount calculation unit 202 are output.

映像集合フレーム特性推定部21は、パケット分析部20のビットレート算出部201より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。   The video aggregate frame characteristic estimation unit 21 receives the bit rate output from the bit rate calculation unit 201 of the packet analysis unit 20 and derives and outputs a frame characteristic indicating the bit amount characteristic for each frame type.

符号化品質推定部22は、パケット分析部20のビット量算出部202より出力されたビットレートと映像種別毎のビット量と、映像集合フレーム特性推定部21から出力された映像フレーム種別毎のフレーム特性とに基づいて符号化映像品質評価値(VQC)を導出する。   The encoding quality estimation unit 22 includes the bit rate output from the bit amount calculation unit 202 of the packet analysis unit 20, the bit amount for each video type, and the frame for each video frame type output from the video aggregate frame characteristic estimation unit 21. The coded video quality evaluation value (VQC) is derived based on the characteristics.

パケット損失映像品質推定部23は、符号化品質推定部22より算出された符号化映像品質評価値(VQC)と、パケット分析部20より算出された映像フレーム種別毎のビット量と映像フレーム損失数を表す損失映像フレーム数と、映像集合フレーム特性推定部21により導出される映像フレーム種別毎のフレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値(VQ)を導出する。図7,8に、上記の映像フレーム毎のビット量と映像フレーム種別を利用し、符号化映像品質(VQC)、映像品質(VQ)を導出するための詳細なフローチャートを例示する。   The packet loss video quality estimation unit 23 encodes the encoded video quality evaluation value (VQC) calculated by the encoding quality estimation unit 22, the bit amount and the number of video frame losses for each video frame type calculated by the packet analysis unit 20. A video that quantitatively represents the quality of the encoded video that is affected by the packet loss degradation, based on the number of lost video frames representing the frame quality and the frame characteristics for each video frame type derived by the video aggregate frame characteristic estimation unit 21 Deriving the quality evaluation value (VQ). 7 and 8 exemplify detailed flowcharts for deriving the encoded video quality (VQC) and video quality (VQ) using the bit amount and video frame type for each video frame.

次に、本実施の形態にかかる映像品質推定装置100の動作について以下に具体的に説明する。   Next, the operation of the video quality estimation apparatus 100 according to the present embodiment will be specifically described below.

図9は、本発明の一実施例における映像品質推定装置の動作のフローチャートである。   FIG. 9 is a flowchart of the operation of the video quality estimation apparatus in one embodiment of the present invention.

映像品質推定装置100の映像フレーム判別部1に、パケットが入力されると映像フレームの区切り位置を示す情報に基づき各映像フレームを構成するパケットがグループ化されて映像フレームが判別され、当該映像フレームを映像フレーム情報量算出部2及び損失映像フレーム判別部7に出力する(S101)。   When a packet is input to the video frame determination unit 1 of the video quality estimation apparatus 100, the packets constituting each video frame are grouped based on information indicating the delimiter position of the video frame, and the video frame is determined. Is output to the video frame information amount calculation unit 2 and the lost video frame discrimination unit 7 (S101).

映像フレーム情報量算出部2は、映像フレーム判別部1から入力された映像フレームを構成するパケット数を映像フレーム毎の情報量として計数し、Iフレーム間隔算出部3及び映像ビットレート算出部6に出力する(S102)。   The video frame information amount calculation unit 2 counts the number of packets constituting the video frame input from the video frame determination unit 1 as the information amount for each video frame, and sends it to the I frame interval calculation unit 3 and the video bit rate calculation unit 6. Output (S102).

Iフレーム間隔算出部3は、入力された映像フレーム毎の情報量に基づき、最終的に3つのグループに収束するまでクラスタリングを繰り返し、収束した3つのグループの内、最も情報量が多い映像フレームを含むグループに分類された映像フレームすべてをIフレームとし、各Iフレームの間隔を計算し、基本GoP長算出部4へ出力する(S103)。
本実施例では、クラスタリングの手法として、最短距離法を適用した場合と、昇順法を適用した場合を図4、図5等で例示している。基本GoP長算出部4は、Iフレーム間隔算出部3で計算されたIフレームの間隔の中で発生頻度の高いものを基本GoP長とし、映像フレーム種別算出部5へ出力する(S104)。
Based on the input information amount for each video frame, the I-frame interval calculation unit 3 repeats clustering until it finally converges into three groups, and the video frame with the largest amount of information among the three converged groups is selected. All the video frames classified into the included group are set as I frames, the interval between each I frame is calculated, and output to the basic GoP length calculation unit 4 (S103).
In this embodiment, as a clustering method, the case where the shortest distance method is applied and the case where the ascending order method is applied are illustrated in FIGS. The basic GoP length calculation unit 4 sets, as the basic GoP length, the one having a high occurrence frequency among the I frame intervals calculated by the I frame interval calculation unit 3, and outputs the basic GoP length to the video frame type calculation unit 5 (S104).

映像フレーム種別算出部5は、基本GoP長算出部4で導出された基本GoP長と映像フレーム情報量算出部2で算出された映像フレームごとの情報量から映像フレーム種別(I,P,Bフレーム)を導出し、劣化映像フレーム算出部8へ出力する(S105)。   The video frame type calculation unit 5 calculates the video frame type (I, P, B frame) from the basic GoP length derived by the basic GoP length calculation unit 4 and the information amount for each video frame calculated by the video frame information amount calculation unit 2. ) Is derived and output to the degraded video frame calculation unit 8 (S105).

映像ビットレート算出部6は、映像フレーム情報量算出部2から入力された映像フレームごとの情報量からビットレートを算出し、符号化映像品質算出部9へ出力される(S106)。   The video bit rate calculation unit 6 calculates the bit rate from the information amount for each video frame input from the video frame information amount calculation unit 2, and outputs the bit rate to the encoded video quality calculation unit 9 (S106).

損失映像フレーム判別部7は、映像フレーム判別部1から入力される各映像フレームにパケット損失が含まれるか否かによって、損失映像フレームを判定し、損失映像フレームと判定された映像フレームは劣化映像フレーム算出部8へ出力される(S107)。   The lost video frame discriminating unit 7 determines a lost video frame depending on whether or not each video frame input from the video frame discriminating unit 1 includes a packet loss, and the video frame determined to be a lost video frame is a degraded video. It is output to the frame calculation unit 8 (S107).

劣化映像フレーム算出部8は、損失映像フレーム判別部7より入力された損失映像フレームと、映像フレーム種別算出部5で入力された映像フレーム種別から、劣化の伝搬状況を加味し、劣化映像フレーム数をカウントし、映像品質算出部10へ出力する(S108)。   The degraded video frame calculation unit 8 takes into account the propagation status of degradation from the lost video frame input from the lost video frame determination unit 7 and the video frame type input from the video frame type calculation unit 5, and determines the number of degraded video frames. Is output to the video quality calculation unit 10 (S108).

符号化映像品質算出部9は、映像ビットレート算出部6より入力されたビットレートに基づき、符号化直後の符号化映像品質を導出し、映像品質算出部10へ出力する(S109)。   The encoded video quality calculation unit 9 derives the encoded video quality immediately after encoding based on the bit rate input from the video bit rate calculation unit 6 and outputs it to the video quality calculation unit 10 (S109).

映像品質算出部10は、符号化映像品質算出部9から入力された符号化映像品質と、劣化映像フレーム算出部8から入力される損失映像フレームから映像品質を導出し(S110)、処理を終了する。   The video quality calculation unit 10 derives the video quality from the encoded video quality input from the encoded video quality calculation unit 9 and the lost video frame input from the degraded video frame calculation unit 8 (S110), and ends the processing. To do.

このように、本実施の形態によれば、受信したパケットデータのみから、映像フレームごとの情報量をもとに基本GoP長を算出し、各映像フレームの映像フレーム種別を導出することができるため、基本GoP長の情報を予め入手できない状況下でも映像品質を評価可能となる。   Thus, according to the present embodiment, it is possible to calculate the basic GoP length based on the amount of information for each video frame from only the received packet data and derive the video frame type of each video frame. The video quality can be evaluated even in situations where basic GoP length information is not available in advance.

したがって、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。   Therefore, it is possible to easily determine whether the service being provided maintains a certain level of quality for the user, and it becomes possible to grasp and manage the actual quality of the service being provided in real time. .

なお、上記の実施の形態における映像品質推定装置100は、CPU(中央演算装置)やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置100の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム(ソフトウェア)とが協働して実現される。   The video quality estimation apparatus 100 in the above embodiment is realized by installing a computer program in a computer including a CPU (Central Processing Unit), a memory, and an interface, and the various functions of the video quality estimation apparatus 100 described above are performed. The various hardware resources of the computer and the computer program (software) are realized in cooperation.

図1、図2に示す映像品質推定装置100の構成要素の動作をプログラムとして構築し、当該映像品質推定装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。   The operations of the constituent elements of the video quality estimation apparatus 100 shown in FIGS. 1 and 2 are constructed as a program and installed and executed on a computer used as the video quality estimation apparatus, or distributed via a network. Is possible.

なお、欧州のIPTVの仕様で、パケットにIフレームを示すフラグが暗号化されていない場合は、基本GoPサイズは自明であるが、欧州のIPTVの仕様でIフレームを示すフラグが暗号化されている場合や標準の日本のパケットの仕様では基本GoPサイズが自明ではないため、GoPのサイズをパケットを用いて導出する必要があり、本発明が有効となる。   If the flag indicating I frame is not encrypted in the IPTV specification in Europe, the basic GoP size is obvious, but the flag indicating I frame is encrypted in the European IPTV specification. Since the basic GoP size is not obvious in the case of standard Japanese packet specifications, it is necessary to derive the GoP size using the packet, and the present invention is effective.

さらに、構築されたプログラムをハードディスクや、フレキシブルディスク・CD−ROM等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。   Furthermore, the constructed program can be stored in a portable storage medium such as a hard disk, a flexible disk, or a CD-ROM, and installed in a computer or distributed.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

IPネットワーク経由で行うIPTVサービス、映像配信サービスなどの映像通信の映像品質評価値を推定する映像品質推定装置に利用できる。   It can be used for a video quality estimation device that estimates a video quality evaluation value of video communication such as an IPTV service and a video distribution service performed via an IP network.

1 映像フレーム判別部
2 映像フレーム情報量算出部
3 Iフレーム間隔算出部
4 基本GoP長算出部
5 映像フレーム種別算出部
6 映像ビットレート算出部
7 損失映像フレーム判別部
8 劣化映像フレーム算出部
9 符号化映像品質算出部
10 映像品質算出部
20 パケット分析部
21 映像集合フレーム特性推定部
22 符号化品質推定部
23 パケット損失品質推定部
31 最短距離映像フレーム算出部
32 昇順映像フレーム算出部
100 映像品質推定装置
200 符号化映像品質・映像品質算出機能
201 ビットレート算出部
202 ビット量算出部
DESCRIPTION OF SYMBOLS 1 Video frame discrimination | determination part 2 Video frame information amount calculation part 3 I frame interval calculation part 4 Basic GoP length calculation part 5 Video frame type calculation part 6 Video bit rate calculation part 7 Loss video frame discrimination part 8 Degraded video frame calculation part 9 Code Video quality calculator
10 Video quality calculator
20 packet analysis unit 21 video aggregate frame characteristic estimation unit 22 encoding quality estimation unit 23 packet loss quality estimation unit 31 shortest distance video frame calculation unit
32 Ascending video frame calculation unit 100 Video quality estimation apparatus 200 Encoded video quality / video quality calculation function 201 Bit rate calculation unit 202 Bit amount calculation unit

Claims (7)

映像の品質を客観的に評価する基本GoP長を用いた映像品質推定装置であって、
入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別手段と、
前記映像フレーム判別手段により判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出手段と、
前記Iフレーム間隔算出手段で導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP(Group of Picture)長として算出する基本GoP長算出手段と、
前記基本GoP長算出手段で導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別(I、B、Pフレーム)を算出する映像フレーム種別算出手段と、
前記映像フレーム情報量算出手段で導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出手段と、
前記映像フレーム判別手段で判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別手段と、
前記映像フレーム種別算出手段で算出された前記映像フレーム種別と前記損失映像フレーム判別手段で判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出手段と、
前記映像ビットレート算出手段で算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出手段と、
前記符号化映像品質算出手段で算出された符号化映像品質と前記劣化映像フレーム算出手段で算出された劣化映像フレームから映像品質を算出する映像品質算出手段と、
を備えることを特徴とする基本GoP長を用いた映像品質推定装置。
A video quality estimation device that uses the basic GoP length to objectively evaluate video quality,
Video frame discriminating means for grouping packets for each video frame based on the input packet information;
Video frame information amount calculating means for deriving a video frame information amount for each video frame determined by the video frame determining means;
I frame interval calculation means for deriving an interval between video frames for each I frame from the video frame information amount for each video frame derived by the video frame information amount calculation means;
A basic GoP length calculating means for calculating, as a basic GoP (Group of Picture) length, an I frame interval having the highest occurrence frequency of the quality measurement interval from a set of I frame intervals derived by the I frame interval calculating means;
Based on the basic GoP length derived by the basic GoP length calculating means, video frame type calculating means for calculating video frame types (I, B, P frames) of all video frames;
Video bit rate calculating means for calculating a video bit rate from the video frame information amount for each video frame derived by the video frame information amount calculating means;
A lost video frame determining means for determining whether a packet loss is included in the video frame determined by the video frame determining means;
A deteriorated video frame calculating means for determining how much the influence of loss propagates from the video frame type calculated by the video frame type calculating means and the lost video frame determined by the lost video frame determining means;
Encoded video quality calculating means for calculating video quality related to video encoding using the bit rate of the video calculated by the video bit rate calculating means;
Video quality calculating means for calculating video quality from the encoded video quality calculated by the encoded video quality calculating means and the degraded video frame calculated by the degraded video frame calculating means;
A video quality estimation device using a basic GoP length characterized by comprising:
前記Iフレーム間隔算出手段において、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する最短距離映像フレーム算出手段を含む
請求項1に記載の基本GoP長を用いた映像品質推定装置。
In the I frame interval calculation means,
2. The shortest distance video frame calculation means for clustering video frame information based on the shortest distance method and determining video frames grouped in the same group as video frames having the maximum video frame information amount as I frames. Video quality estimation device using the basic GoP length described.
前記Iフレーム間隔算出手段において、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する昇順映像フレーム算出手段を含む
請求項1に記載の基本GoP長を用いた映像品質推定装置。
In the I frame interval calculation means,
2. The ascending order video frame calculating means according to claim 1, further comprising: ascending order picture frame calculating means for clustering the information amount of the picture frame based on the ascending order method, and judging the picture frame grouped with the picture frame having the maximum picture frame information quantity as the I frame. Video quality estimation device using basic GoP length.
映像の品質を客観的に評価する基本GoP長を用いた映像品質推定方法であって、
映像フレーム判別手段が、入力されたパケットの情報をもとに、映像フレーム毎にパケットをグループ化する映像フレーム判別ステップと、
映像フレーム情報量算出手段が、前記映像フレーム判別ステップにより判別された映像フレーム毎の映像フレーム情報量を導出する映像フレーム情報量算出ステップと、
Iフレーム間隔算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量からIフレーム毎の映像フレームの間隔を導出するIフレーム間隔算出ステップと、
基本GoP長算出手段が、前記Iフレーム間隔算出ステップで導出されたIフレーム間隔の集合から品質測定区間の発生頻度の最も高いIフレーム間隔を基本GoP(Group of Picture)長として算出する基本GoP長算出ステップと、
映像フレーム種別算出手段が、前記基本GoP長算出ステップで導出された前記基本GoP長をもとに、全映像フレームの映像フレーム種別(I、B、Pフレーム)を算出する映像フレーム種別算出ステップと、
映像ビットレート算出手段が、前記映像フレーム情報量算出ステップで導出された前記映像フレーム毎の映像フレーム情報量から映像のビットレートを算出する映像ビットレート算出ステップと、
損失映像フレーム判別手段が、前記映像フレーム判別ステップで判別された映像フレームにパケット損失が含まれるか判別する損失映像フレーム判別ステップと、
劣化映像フレーム算出手段が、前記映像フレーム種別算出ステップで算出された前記映像フレーム種別と前記損失映像フレーム判別ステップで判別された損失映像フレームから損失の影響がどの程度伝搬するか判別する劣化映像フレーム算出ステップと、
符号化映像品質算出手段が、前記映像ビットレート算出ステップで算出された前記映像のビットレートを用いて映像符号化に関する映像品質を算出する符号化映像品質算出ステップと、
映像品質算出手段が、前記符号化映像品質算出ステップで算出された符号化映像品質と前記劣化映像フレーム算出ステップで算出された劣化映像フレームから映像品質を算出する映像品質算出ステップと、
を行うことを特徴とする基本GoP長を用いた映像品質推定方法。
A video quality estimation method using a basic GoP length to objectively evaluate video quality,
A video frame discrimination step, wherein the video frame discrimination means groups the packets for each video frame based on the input packet information;
A video frame information amount calculating means for deriving a video frame information amount for each video frame determined by the video frame determining step;
An I frame interval calculating means for deriving an interval of video frames for each I frame from the video frame information amount for each of the video frames derived in the video frame information amount calculating step;
The basic GoP length calculation means calculates the basic GoP (Group of Picture) length as the basic GoP (Group of Picture) length from the set of I frame intervals derived in the I frame interval calculation step. A calculation step;
A video frame type calculating step for calculating a video frame type (I, B, P frame) of all video frames based on the basic GoP length derived in the basic GoP length calculating step; ,
A video bit rate calculating means for calculating a video bit rate from a video frame information amount for each video frame derived in the video frame information amount calculating step;
A lost video frame determining means for determining whether the video frame determined in the video frame determining step includes a packet loss;
Degraded video frame calculating means for determining how much the influence of loss propagates from the video frame type calculated in the video frame type calculating step and the lost video frame determined in the lost video frame determining step A calculation step;
An encoded video quality calculating step, wherein the encoded video quality calculating means calculates a video quality related to video encoding using the bit rate of the video calculated in the video bit rate calculating step;
A video quality calculating means for calculating a video quality from the encoded video quality calculated in the encoded video quality calculating step and the deteriorated video frame calculated in the deteriorated video frame calculating step;
A video quality estimation method using a basic GoP length characterized by
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を最短距離法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項4に記載の基本GoP長を用いた映像品質推定方法。
In the I frame interval calculation step,
5. The basic GoP length according to claim 4, wherein the information amount of the video frame is clustered based on the shortest distance method, and the video frame that is grouped with the video frame having the maximum video frame information amount is determined as an I frame. Video quality estimation method.
前記Iフレーム間隔算出ステップにおいて、
映像フレームの情報量を昇順法に基づきクラスタリングし、最大映像フレーム情報量を持つ映像フレームと同一のグループとされた映像フレームをIフレームと判定する
請求項4に記載の基本GoP長を用いた映像品質推定方法。
In the I frame interval calculation step,
The video using the basic GoP length according to claim 4, wherein the information amount of the video frame is clustered based on an ascending order method, and the video frame grouped with the video frame having the maximum video frame information amount is determined as an I frame. Quality estimation method.
コンピュータを、
請求項1乃至3のいずれか1項に記載の基本GoP長を用いた映像品質推定装置の各手段として機能させるための基本GoP長を用いた映像品質推定プログラム。
Computer
A video quality estimation program using a basic GoP length for functioning as each unit of the video quality estimation apparatus using the basic GoP length according to any one of claims 1 to 3.
JP2011180963A 2011-08-22 2011-08-22 Video quality estimation apparatus, method, and program using basic GoP length Active JP5335867B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011180963A JP5335867B2 (en) 2011-08-22 2011-08-22 Video quality estimation apparatus, method, and program using basic GoP length

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011180963A JP5335867B2 (en) 2011-08-22 2011-08-22 Video quality estimation apparatus, method, and program using basic GoP length

Publications (2)

Publication Number Publication Date
JP2013046113A true JP2013046113A (en) 2013-03-04
JP5335867B2 JP5335867B2 (en) 2013-11-06

Family

ID=48009709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011180963A Active JP5335867B2 (en) 2011-08-22 2011-08-22 Video quality estimation apparatus, method, and program using basic GoP length

Country Status (1)

Country Link
JP (1) JP5335867B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051545A (en) * 2011-08-31 2013-03-14 Nippon Telegr & Teleph Corp <Ntt> Timestamped ts (tts) based video frame discrimination device, method and program, and video quality estimation device, method and program using video frame discriminated by tts
CN106658223A (en) * 2015-11-03 2017-05-10 中国移动通信集团公司 Video uplink transmission method and video uplink transmission device in long-term evolution LTE network
CN106851261A (en) * 2017-02-23 2017-06-13 中国矿业大学 A kind of method for evaluating video quality based on GOP

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009025357A1 (en) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP2009273010A (en) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> Video quality estimation method, apparatus and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009025357A1 (en) * 2007-08-22 2009-02-26 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP2009273010A (en) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> Video quality estimation method, apparatus and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6013027234; 牛木一成、増田征貴、林孝典、高橋玲: 'フレーム種別推定を用いたパケットレイヤ映像品質推定法' 電子情報通信学会論文誌B Vol.J94-B No.1, 20110101, Page.36-48 *
JPN6013027235; 牛木一成、富永聡子、林孝典: 'TSヘッダ情報を用いた映像フレーム種別推定法の有効性検証' 電子情報通信学会技術研究報告 Vol.107 No.312, 20071108, Page.15-19 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051545A (en) * 2011-08-31 2013-03-14 Nippon Telegr & Teleph Corp <Ntt> Timestamped ts (tts) based video frame discrimination device, method and program, and video quality estimation device, method and program using video frame discriminated by tts
CN106658223A (en) * 2015-11-03 2017-05-10 中国移动通信集团公司 Video uplink transmission method and video uplink transmission device in long-term evolution LTE network
CN106658223B (en) * 2015-11-03 2020-05-12 中国移动通信集团公司 Video uplink transmission method and device under Long Term Evolution (LTE) network
CN106851261A (en) * 2017-02-23 2017-06-13 中国矿业大学 A kind of method for evaluating video quality based on GOP

Also Published As

Publication number Publication date
JP5335867B2 (en) 2013-11-06

Similar Documents

Publication Publication Date Title
JP5172440B2 (en) Video quality estimation apparatus, method and program
KR101465927B1 (en) Video data quality assessment method and device
JP4965659B2 (en) How to determine video quality
US8537683B2 (en) Method for estimating the quality of experience of a user in respect of audio and/or video contents distributed through telecommunications networks
EP3393125B1 (en) Audio/visual quality estimation device, method for estimating audio/visual quality, and program
KR101399509B1 (en) Data streaming through time-varying transport media
JP5427238B2 (en) Method and system for determining the quality value of a video stream
JP4914400B2 (en) Quality estimation method, quality estimation system, user terminal, quality management terminal and program
JP2009273010A (en) Video quality estimation method, apparatus and program
EP3491784B1 (en) Estimation of losses in a video stream
JP5335867B2 (en) Video quality estimation apparatus, method, and program using basic GoP length
Sagatov et al. Influence of distortions of key frames on video transfer in wireless networks
JP5384586B2 (en) Video frame discriminating apparatus, method and program using TimestampedTS (TTS), and video quality estimating apparatus, method and program using video frame discriminated using TTS
JP5405915B2 (en) Video quality estimation apparatus, video quality estimation method, and video quality estimation apparatus control program
JP5491150B2 (en) Audio quality factor index calculation method, apparatus, and program
JP6061778B2 (en) Video quality evaluation apparatus, video quality evaluation method and program
JP4460549B2 (en) User experience quality estimation apparatus, method, and program
JP2019121847A (en) Quality estimation device, quality estimation method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130731

R150 Certificate of patent or registration of utility model

Ref document number: 5335867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350