CN101151903A - 视频品质评估设备、方法和程序 - Google Patents

视频品质评估设备、方法和程序 Download PDF

Info

Publication number
CN101151903A
CN101151903A CNA2006800098785A CN200680009878A CN101151903A CN 101151903 A CN101151903 A CN 101151903A CN A2006800098785 A CNA2006800098785 A CN A2006800098785A CN 200680009878 A CN200680009878 A CN 200680009878A CN 101151903 A CN101151903 A CN 101151903A
Authority
CN
China
Prior art keywords
video quality
degradation
frame rate
input
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800098785A
Other languages
English (en)
Other versions
CN100568972C (zh
Inventor
山岸和久
林孝典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101151903A publication Critical patent/CN101151903A/zh
Application granted granted Critical
Publication of CN100568972C publication Critical patent/CN100568972C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H04L43/0835—One way packet loss

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

在评估与作为表示视听媒体的每个单位时间内的编码比特数的输入编码比特率(21B)、表示每个单位时间内的帧数的输入帧速率(21A)和表示分组丢失发生概率的分组丢失率(21C)而输入的主要参数(21)相对应的主观视频品质中，评估模型指定单元(12)根据输入帧速率(21A)和输入编码比特率(21B)来指定表示分组丢失率和基准主观视频品质(23)的劣化之间的关系的劣化模型(22)。通过根据与使用劣化模型(22)所计算的输入分组丢失率(21C)相对应的视频品质劣化比例，校正基准主观视频品质，而计算所希望的主观视频品质评估值(24)。

Description

视频品质评估设备、方法和程序
技术领域
本发明涉及一种视听通信技术，更具体地，涉及一种视频品质评估技术，用于评估在终端接收并再现编码为多个帧的视听媒体时观众实际感受的主观视频品质。
背景技术
高速宽带互联网接入技术的进步产生了对经由互联网在终端或服务器终端之间传送包含视频和音频数据的视听媒体的视听通信服务的期望。
这种视听通信服务使用编码通信来改善视听媒体传送效率，其中，使用视听媒体或人类视觉特性的图像间或图像内的自相关，将视听媒体编码为多个帧并传送。
另一方面，用于视听通信服务的诸如互联网之类的尽力网络并不总是确保通信质量。为此，在通过互联网传送具有时间连续性的诸如视听媒体的流内容时，由于品质劣化，可感受到通信线路上的窄带或拥塞，所述品质即观众从经由通信线路接收并再现的视听媒体所实际感受到的主观视频品质。此外，应用所进行的编码在视频图像上添加了编码失真，这由于主观视频品质的劣化而可感受到。更具体地，观众感受到视听媒体品质的劣化，例如散焦、模糊、马赛克式的失真以及视频图像中的不均匀效果。
在传送视听媒体的视听通信服务中，很容易感受到品质劣化。为了提供高品质的视听通信服务，在提供服务之前的应用和网络的品质设计以及服务开始之后的品质管理是重要的。这需要简单且有效的能够适当地表示观众所感知的视频品质的视频品质评估技术。
对于评估作为一种流内容的音频媒体的品质的传统技术，ITU-T推荐P.862(国际电信联盟-电信标准部分)定义了输入谈话信号的客观谈话品质评估方法PESQ(语音质量感知评估)。ITU-T推荐G.107描述了输入视频品质参数并用于VolP(IP电话)中的品质设计的音频品质评估方法。
另一方面，作为评估视频媒体品质的一种技术，作为推荐提出了一种输入视频信号的客观视频图像评估方法(例如ITU-T推荐J.144：下面将其称为参考文献1)。还提出了一种输入视频品质参数的视频品质评估方法(例如Yamagishi & Hayashi，“Video Quality EstimationModel based on Display size and Resolution for AudiovisualCommunication Services”，IEEE Technical Report CQ2005-90，2005/09，pp.61-64：下面将其称为参考文献2)。该技术根据视频品质与每个视频品质参数之间的关系来使视频品质形式化，并通过对乘积的线性求和来使视频品质形式化。还提出了一种考虑编码参数和分组丢失的品质评估模型(例如Arayama，Kitawaki，& Yamada，“opinionmodel for audio-visual communication quality for quality parametersby coding and packet loss”，IEICE Technical Report CQ2005-77，2005/11，pp.57-60：下面将其称为参考文献3)。
发明内容
本发明要解决的问题
在应用和网络的品质设计和品质管理中，与同视听通信服务有关的各种条件相对应的品质设计/管理的具体且有用的准则是必要的。尤其是是因为存在多种因素，即影响视听通信服务的视频品质的视频品质参数，所以获得品质设计/管理的准则是重要的，以便知道视频品质参数对视频品质的影响，或应该改善的具体视频品质参数以及其改善对视频品质的影响。
极大影响视频品质的因素是表示视听媒体的编码内容的编码比特率和帧速率。编码比特率是表示视听媒体的每个单位时间内的编码比特数的值。帧速率是表示视听媒体的每个单位时间内的帧数的值。
在提供以特定编码比特率编码的视频图像的情况下，在以高的帧速率编码视频图像时，由于获得了平滑的视频图像，所以可改善时间视频品质。另一方面，由于每个单位帧内编码比特数下降，所以空间图像劣化变得明显，产生了较差的视频品质。在通过使用大的每个单位帧内的编码比特数来对视频图像进行编码时，空间图像劣化获得了改善，所以可获得更高的视频品质。然而，由于每个单位时间内的帧数减少，所以会出现具有不均匀效果的时间帧下降，产生较差的视频品质。
极大地影响视频品质的另一个因素是分组丢失率。分组丢失率表示在通信网络或终端处发生的用于传送视听媒体的分组丢失发生概率。
通常，高分组丢失率使得不能够对编码的视听媒体进行正常解码，从而导致较差的视频品质。如果编码比特率较低，则分组丢失率对视频品质的影响较小。然而，如果编码比特率较高，即使在分组丢失率并不改变的情况下，它也极大地影响视频品质。分组丢失率具有与结合帧速率所述的特性曲线特征相同的特性曲线特征。
因此，在考虑分组丢失率对基于编码比特率和帧速率而改变的视频品质的影响的情况下，品质设计/管理的具体且有用的准则是重要的，以便知道编码比特率、帧速率和分组丢失率的设置值以及与之相对应的视频品质。
然而，上述参考文献1中描述的使用视频信号作为输入的客观品质评估方法在考虑视频图像的特征(即根据空间和时间失真而计算的特征)的情况下评估视频品质。因此，诸如视频品质参数等的多种因素对视听通信服务的视频品质的影响是不确定的。因此，不可能获得品质设计/管理的准则以便知道应该改善的视频品质参数及其改善对视频品质的影响。
上述参考文献2和3描述了使用视频品质参数作为输入的视频品质评估方法。然而，在这些方法中，并未考虑分组丢失率对基于编码比特率和帧速率的集合而改变的视频品质的影响。因此，不可能获得在应用和网络的品质设计和品质管理中具体且有用的品质设计/管理的准则。
本发明是为了解决上述问题，并且本发明的目的是提供一种视频品质评估设备、方法和程序，能够在考虑分组丢失率对基于编码比特率和帧速率而改变的视频品质的影响的情况下，获得品质设计/管理的具体且有用的准则。
解决上述问题的技术手段
为了解决上述问题，根据本发明的视频品质评估设备包括：参数提取单元，其提取编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率，作为主要参数；第一存储单元，其存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；劣化模型指定单元，其根据输入编码比特率和输入帧速率来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的劣化模型；以及视频品质校正单元，其根据使用所指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算出观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
根据本发明的视频品质评估方法包括以下步骤：使参数提取单元提取编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率，作为主要参数；使第一存储单元，存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；使劣化模型指定单元根据输入编码比特率和输入帧速率来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的劣化模型；以及使视频品质校正单元根据使用所指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算出观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
根据本发明的程序使视频评估设备的计算机针对经由通信网络向任意终端发送编码为多个帧的视听媒体的视听通信执行以下步骤，计算观众从在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值：使参数提取单元提取编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率，作为主要参数；使存储单元存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；使劣化模型指定单元根据输入编码比特率和输入帧速率来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的劣化模型；以及使视频品质校正单元根据使用所指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算出观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
本发明的效果
根据本发明，在评估与作为视听媒体的表示每个单位时间内的编码比特率数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率而输入的主要参数相对应的主观视频品质中，劣化模型指定单元根据输入帧速率和输入编码比特率，来指定表示分组丢失率与基准主观视频品质的劣化之间的关系的劣化模型。根据使用该劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例，来校正基准主观视频品质。
因此，可以通过参考与作为评估条件输入的输入编码比特率和帧速率相对应的劣化模型，计算与作为评估条件输入的分组丢失率相对应的视频品质劣化比例，并且根据视频品质劣化比例来校正基准主观视频品质，以获得所希望的视频品质评估值。
这可以获得品质设计/管理的具体且有用的准则，以便在考虑分组丢失率对基于编码比特率和帧速率而改变的视频品质的影响的情况下，知道编码比特率、帧速率和分组丢失率的设置值以及与之相对应的视频品质。所述准则非常适用于提供服务之前的应用和网络的品质设计和服务开始之后的品质管理。
附图说明
图1是示出了根据本发明第一实施例的视频品质评估设备的布置的框图；
图2是示出了根据本发明第一实施例的视频品质评估设备的劣化模型指定单元的布置的框图；
图3是示出了(关于帧速率的)分组丢失率对比主观视频品质的特性曲线图；
图4是示出了(关于编码比特率的)分组丢失率对比主观视频品质的特性曲线图；
图5是示出了帧速率对比劣化指标的特性曲线图；
图6是示出了编码比特率对比劣化指标的特性曲线图；
图7是示出了劣化指数的三维图；
图8是示出了(关于帧速率的)分组丢失率对比视频品质劣化比例的特性曲线图；
图9是示出了根据本发明第一实施例的视频品质评估设备的视频品质评估过程的流程图；
图10是示出了劣化指标信息的结构示例的图；
图11是示出了根据本发明第二实施例的视频品质评估设备的布置的框图；
图12是示出了根据本发明第二实施例的视频品质评估设备的劣化模型指定单元的布置的框图；
图13是示出了劣化指标系数DB的布置的解释性图；
图14是示出了根据本发明第二实施例的视频品质评估设备的视频品质评估过程的流程图；
图15是示出了根据本发明第三实施例的视频品质评估设备的布置的框图；
图16是示出了根据本发明第三实施例的视频品质评估设备的视频品质评估单元的布置的框图；
图17是示出了帧速率对比主观视频品质的特性曲线图；
图18是示出了编码比特率对比最佳帧速率的特性曲线图；
图19是示出了编码比特率对比最佳视频品质的特性曲线图；
图20是示出了高斯函数的解释性图；
图21是示出了按照高斯函数建模的帧速率对比主观视频品质的特性曲线解释性图；
图22是示出了编码比特率对比视频品质劣化指标的特性曲线图；
图23是示出了根据本发明第三实施例的视频品质评估设备的基准主观视频品质评估过程的流程图；
图24是示出了评估模型指定参数信息的结构示例的图；
图25是示出了根据本发明第四实施例的视频品质评估设备的布置的框图；
图26是示出了根据本发明第四实施例的视频品质评估设备的视频品质评估单元的布置的框图；
图27是示出了特性曲线系数DB的布置的解释性图；
图28是示出了逻辑函数的解释性图；
图29是示出了按照逻辑函数建模的编码比特率对比最佳视频品质的特性曲线解释性图；
图30是示出了根据本发明第四实施例的视频品质评估设备的基准主观视频品质评估过程的流程图；
图31是示出了使用该实施例的视频品质评估设备的评估精度的图；
图32是示出了传统视频品质评估设备的评估精度的图；
图33是示出了根据本发明第五实施例的视频品质评估设备的评估模型指定单元的布置的框图；
图34是示出了视听通信服务中的视听媒体的编码比特率对比主观视频品质的特性曲线图；
图35是示出了按照逻辑函数建模的编码比特率对比主观视频品质的特性曲线解释性图；
图36是示出了帧速率对比最佳视频品质的特性曲线图；
图37是示出了帧速率对比视频品质第一变化指标的特性曲线图；
图38是示出了帧速率对比视频品质第二变化指标的特性曲线图；
图39是示出了根据本发明第五实施例的视频品质评估设备的视频品质评估过程的流程图；
图40是示出了评估模型指定参数信息的结构示例的图；
图41是示出了根据本发明第六实施例的视频品质评估设备的评估模型指定单元的布置的框图；
图42是示出了系数DB的布置的解释性图；
图43是示出了根据本发明第六实施例的视频品质评估设备的视频品质评估过程的流程图；以及
图44是示出了使用该实施例的视频品质评估设备的评估精度的图。
具体实施方式
接下来，参考附图来描述本发明的实施例。
[第一实施例]
首先参考图1来描述根据本发明第一实施例的视频品质评估设备。图1是示出了根据本发明第一实施例的视频品质评估设备的布置的框图。
视频品质评估设备1由计算输入信息的诸如计算机之类的信息处理设备构成。在用于经由通信网络向任意终端发送编码为多个帧的视听媒体的视听通信中，视频品质评估设备1输入与视听媒体和通信网络有关的评估条件，并通过使用预定评估模型，计算观众从再现在终端上的视听媒体所实际感受到的主观视频品质的评估值。
在本实施例中，输入了视听媒体的表示每个单位时间内的编码比特数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率。对于指示以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质，根据输入编码比特率和输入帧速率来指定表示分组丢失率与基准主观视频品质的劣化之间的关系的劣化模型。根据按照指定的劣化模型所计算的与分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算出评估值。
[视频品质评估设备]
接下来，参考图1和2来详细描述根据本发明第一实施例的视频品质评估设备的布置。图2是示出了根据本发明第一实施例的视频品质评估设备的劣化模型指定单元的布置的框图。
视频品质评估设备1包括参数提取单元11、劣化模型指定单元12和视频品质校正单元13，作为主要的功能单元。这些功能单元可通过专用计算电路来实现，或通过提供例如CPU的微处理器及其外围电路，并使微处理器读取并执行预先准备的程序，以使硬件和程序彼此协作。包括例如存储器和硬盘的存储设备的存储单元(稍后进行描述)存储在这些功能单元中使用的处理信息。经由包括存储设备的存储单元(未示出)来在功能单元之间交换处理信息。所述程序可存储在存储单元中。与常用的信息处理设备一样，视频品质评估设备1还包括各种基本组件，例如存储设备、操作输入设备和屏幕显示设备。
参数提取单元11具有提取与作为评估目标的视听通信服务有关的各种评估条件10的功能、从评估条件10中提取与视听媒体的编码有关的帧速率和编码比特率的功能、从评估条件10中提取与传送视听媒体的终端和通信网络的性能有关的分组丢失率的功能、以及作为包括输入帧速率fr(21A)、输入编码比特率br(21B)和输入分组丢失率pl(21C)的主要参数21来输出所提取的编码比特率、帧速率和分组丢失率的功能。
操作者可通过使用例如键盘的操作输入设备来输入评估条件10。可选地，评估条件10可通过使用用于输入/输出数据的数据输入/输出设备，从外部设备、记录介质或通信网络获得，或者从实际视听通信服务中测量到。取决于视听通信服务的特征或所希望的主观视频品质，输入分组丢失率pl(21C)可包括通信网络的分组丢失率和终端的分组丢失率中的一个或两者。
劣化模型指定单元12具有如下功能：根据参数提取单元11所输出的主要参数21的输入帧速率21A和输入编码比特率21B，来指定表示分组丢失率与基准主观视频品质23的劣化之间的关系的劣化模型22。基准主观视频品质23是在没有分组丢失的情况下以输入帧速率21A和输入编码比特率21B编码的视听媒体的主观视频品质。基准主观视频品质23可预先存储在存储单元23M(第一存储单元)中。可选地，参数提取单元22可从评估条件10中提取基准主观视频品质23以及主要参数21，并将其存储在存储单元23M中。
视频品质校正单元13具有以下功能：通过参考劣化模型指定单元12所指定的劣化模型22，计算与主要参数21的输入分组丢失率21C相对应的视频品质劣化比例；以及根据视频品质劣化比例，通过校正基准主观视频品质23，来计算所希望的主观视频品质评估值24。
如图2所示，劣化模型指定单元12还包括多个功能单元。这些主要功能单元包括帧速率劣化指标计算单元12A、编码比特率劣化指标计算单元12B以及劣化指标计算单元12C。
帧速率劣化指标计算单元12A具有如下功能：通过参考存储单元31M(第二存储单元)中的帧速率对比劣化指标的特性曲线31A，计算帧速率劣化指标τ1(fr)(第一劣化指标：32A)，帧速率劣化指标τ1(fr)表示分组丢失率对以输入帧速率fr(21A)发送的视听媒体的主观视频品质特性曲线的劣化的影响程度。
编码比特率劣化指标计算单元12B具有如下功能：通过参考存储单元31M中的编码比特率对比劣化指标的特性曲线31B，来计算编码比特率劣化指标τ2(br)(第二劣化指标：32B)，编码比特率劣化指标τ2(br)表示分组丢失率对以输入编码比特率br(21B)发送的视听媒体的主观视频品质特性曲线的劣化的影响程度。
劣化指标计算单元12C具有如下功能：根据作为指定劣化模型22的参数的帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)，计算劣化指标τ(fr，br)(33)，劣化指标τ(fr，br)(33)表示分组丢失率对以输入帧速率fr(21A)和输入编码比特率br(21B)发送的视听媒体的基准主观视频品质23的劣化的影响程度。
作为劣化指标推导特性曲线31，来预先准备帧速率对比劣化指标的特性曲线31A以及编码比特率对比劣化指标的特性曲线31B，并存储在存储单元31M(第二存储单元)中。
[主观视频品质的特性曲线]
接下来，参考图3和4来描述视听通信服务中视听通信媒体的分组丢失率对主观视频品质的劣化的影响。图3是示出了视听通信服务中视听通信媒体的(关于帧速率的)分组丢失率对比主观视频品质的特性曲线图。图3示出了与各个帧速率fr相对应的特性曲线。图4是示出了视听通信服务中视听通信媒体的(关于编码比特率的)分组丢失率对比主观视频品质的特性曲线图。图4示出了与各个编码比特率br相对应的特性曲线。参考图3和4，横坐标表示分组丢失率pl(％)，纵坐标表示主观视频品质值MOS(fr，br，pl)(MOS值)。
通常，当在通信网络或终端处丢失了编码的视听媒体的帧时，有时不能够正常地对编码的视听媒体进行解码。在这种情况下，作为视听媒体的空间和时间体系的劣化而出现失真。如图3和4所示，视频品质随分组丢失率的增加而单调下降。
如果视听媒体的编码比特率较低，而分组丢失率对视频品质的影响较小。然而，如果视听媒体的编码比特率较高，则即使在分组丢失率不改变时，它也极大地影响视频品质。分组丢失率具有与结合帧速率所述的特性曲线特征相同的特性曲线特征。
例如，在视听媒体的帧速率较高时(fr＝30fps)，如图3所示，视频品质随分组丢失率的改变而急剧劣化。在帧速率较低时(fr＝10fps)，视频品质随分组丢失率的改变而缓慢劣化。此外，在视听媒体的编码比特率较高时(br＝3Mbps)，如图4所示，视频品质随分组丢失率的变化而急剧劣化。在编码比特率较低时(br＝1Mbps)，视频品质随分组丢失率的改变而缓慢劣化。即，在出现分组丢失时，视听媒体的帧速率与编码比特率之间的相互作用影响视频品质的劣化。
因此，品质设计/管理的具体且有用的准则是重要的，以便在考虑分组丢失率对基于编码比特率和帧速率而改变的视频品质的影响的情况下，知道编码比特率、帧速率和分组丢失率的设置值以及与之对应的视频品质。
本实施例关注于主观视频品质特性曲线的这种属性。劣化模型指定单元12根据输入帧速率21A和输入编码比特率21B，指定表示视听媒体的输入分组丢失率pl21C与基准主观视频品质23的劣化之间的关系的劣化模型22。视频品质校正单元13通过使用劣化模型指定单元12所指定的劣化模型22，评估与输入分组丢失率pl21C相对应的主观视频品质评估值24。
[劣化模型]
接下来，详细描述劣化模型指定单元12所使用的劣化模型和指定劣化模型的方法。
将在没有丢失的情况下(pl＝0)以主要参数21中的输入帧速率fr和输入编码比特率编码的视听媒体的主观视频品质定义为基准主观视频品质G(fr，br)。将输入帧速率fr和输入编码比特率br处分组丢失率pl关于基准主观视频品质G(fr，br)所引起的劣化程度定义为视频品质劣化比例P(fr，br，pl)。在这种情况下，任意输入分组丢失率pl处的主观视频品质MOS(fr，br，pl)由下式给出：
MOS(fr，br，pl)＝1+G(fr，br)·P(fr，br，pl)    …(1)
在如图3和4所示的由劣化模型22表示关于分组丢失率pl的主观视频品质劣化特性曲线时，可使用指数函数。该指数函数使用主要参数21中的输入帧速率fr、输入编码比特率br和输入分组丢失率pl作为变量，并且主观视频品质随分组丢失率pl的增加而单调下降。
将帧速率fr和编码比特率br下分组丢失率对劣化模型22的影响程度定义为劣化指标τ(fr，br)。可按照下式来建模视频品质劣化指标P(fr，br，pl)：
P = ( fr , br , pl ) = exp { pl τ ( fr , br ) } - - - ( 2 )
如上述图3和4所示，帧速率fr和编码比特率br下分组丢失率对主观视频品质劣化的影响独立存在。当帧速率fr对主观视频品质的影响分量是帧速率劣化指标τ1(fr)，编码比特率br对主观视频品质的影响分量是编码比特率劣化指标τ2(br)，并且a、b和c是系数时，可按照下式来建模劣化指标τ(fr， br)：
τ(fr，br)＝a+b·τ1(fr)+c·τ2(br)    ...(3)
该公式是由帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)的线性和形成的。
图5是示出了表示帧速率fr对主观视频品质的影响分量的帧速率对比劣化指标的特性曲线图。横坐标表示帧速率fr(fps)，纵坐标表示帧速率劣化指标τ1(fr)。随着帧速率增加，帧速率劣化指标τ1(fr)单调下降。图6是示出了表示编码比特率br对主观视频品质的影响分量的编码比特率对比劣化指标的特性曲线图。横坐标表示编码比特率br(bps)，纵坐标表示编码比特率劣化指标τ2(br)。随着编码比特率增加，编码比特率劣化指标τ2(br)单调下降。
在根据帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)来计算劣化指标τ(fr，br)时，可确定与评估条件10相对应的劣化模型22，即分组丢失率对比视频品质劣化指标的特性曲线。
图7是示出了劣化指标的三维图。第一横坐标表示帧速率fr，第二横坐标表示编码比特率br，纵坐标表示劣化指标τ(fr，br)。图8是示出了(关于帧速率的)分组丢失率对比视频品质劣化指标的特性曲线图。横坐标表示分组丢失率pl(％)，纵坐标表示视频品质劣化比例P(fr，br，pl)。图8示出了在固定编码比特率br＝2Mbps时与帧速率fr＝2、10和30相对应的特性曲线。
[第一实施例的操作]
接下来，参考图9来描述根据本发明第一实施例的视频品质评估设备的操作。图9是示出了根据本发明第一实施例的视频品质评估设备的视频品质评估过程的流程图。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图9中的视频品质评估过程。评估条件10指定了基准主观视频品质23以及主要参数21。在视频品质评估设备1中，预先准备上述的帧速率对比劣化指标特性曲线31A(图5)和编码比特率对比劣化指标特性曲线31B(图6)，并存储在存储单元31M中，作为函数表达式。
首先，参数提取单元11提取与作为评估目标的视听通信服务有关的各种评估条件10，从评估条件10中提取与视听媒体的编码有关的帧速率和编码比特率，提取通信网络或终端处视听媒体的分组丢失率，并输出输入帧速率fr(21A)、输入编码比特率br(21B)和输入分组丢失率pl(21C)，作为主要参数21(步骤S100)。此时，参数提取单元11从评估条件10中提取在没有分组丢失(pl＝0)的情况下输入帧速率fr(21A)和输入编码比特率br(21B)处的主观视频品质值，并将其作为基准主观视频品质23输出。
劣化模型指定单元12根据参数提取单元11所输出的主要参数21中的输入帧速率21A和输入编码比特率21B，指定表示视听媒体的分组丢失率与主观视频品质之间的关系的劣化模型22。
更具体地，帧速率劣化指标计算单元12A通过参考存储单元31M中如图5所示的帧速率对比劣化指标的特性曲线31A，计算与输入帧速率fr(21A)相对应的帧速率劣化指标τ1(fr)(32A)。
接下来，劣化模型指定单元12使编码比特率劣化指标计算单元12B具有如下功能：通过参考存储单元31M中如图6所示的编码比特率对比劣化指标的特性曲线31B，来计算与输入编码比特率br(21B)相对应的编码比特率劣化指标τ2(br)(32B)。
劣化模型指定单元12使劣化指标计算单元12C将帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)的实际值代入上述方程式(3)，从而计算劣化指标τ(fr，br)(33)(步骤S1 03)。通过该过程，指定了图8所示的劣化模型22，即由上述方程式(2)表示的分组丢失率对比视频品质劣化比例特性曲线。
然后，视频品质评估设备1使视频品质校正单元13通过参考劣化模型指定单元12所指定的劣化模型22，将劣化指标τ(fr，br)和从参数提取单元11输出的主要参数21中的输入分组丢失率pl(21C)代入上述方程式(2)，从而计算出相应的视频品质劣化比例P(fr，br，pl)(步骤S104)。
之后，视频品质校正单元13将视频品质劣化比例P(fr，br，pl)的实际值和基准主观视频品质33代入上述方程式(1)，从而计算出视频品质MOS(fr，br，pl)。视频品质校正单元13输出该视频品质，作为观众从通过使用作为评估目标的视听通信服务而在终端上再现的视听媒体所实际感受到的主观视频品质评估值24(步骤S105)，并结束视频品质评估过程序列。
如上所述，在本实施例中，在评估与作为视听媒体的表示每个单位时间内的帧数的输入帧速率21A、表示每个单位时间内的编码比特数的输入编码比特率21B和表示分组丢失发生概率的输入分组丢失率21C而输入的主要参数21相对应的主观视频品质中，劣化模型指定单元12根据输入帧速率21A和输入编码比特率21B来指定表示分组丢失率与基准主观视频品质23的劣化之间的关系的劣化模型22。根据使用劣化模型22所计算的与输入分组丢失率21C相对应的视频品质劣化比例，通过校正基准主观视频品质来计算所希望的主观视频品质评估值24。
因此，可以通过参考与作为评估条件10输入的输入帧速率21A和输入编码比特率21B相对应的劣化模型22，获得与作为评估条件10输入的输入分组丢失率21C相对应的主观视频品质评估值24。
这可以获得品质设计/管理的具体且有用的准则，以便在考虑分组丢失率对基于编码比特率和帧速率而改变的视频品质的影响的情况下，知道编码比特率、帧速率和分组丢失率的设定值以及与之相对应的视频品质。所述准则非常适用于提供服务之前的应用和网络的品质设计和服务开始之后的品质管理。
例如，假定应该以所希望的视频品质来分发视听媒体。使用本实施例的视频品质评估设备1使得能够知道传送以编码比特率和帧速率编码的视听媒体同时满足所希望的视频品质所允许的特定分组丢失率。特别地，编码比特率通常受限于网络限制。在这种情况下，编码比特率固定，并应用本实施例的视频品质评估设备1。这使得可以容易且具体地知道帧速率、分组丢失率与视频品质之间的关系。
在本实施例所述的示例中，预先以函数表达式的形式准备用于计算劣化指标33的帧速率对比劣化指标的特性曲线31A和编码比特率对比劣化指标的特性曲线31B。然而，用于推导劣化指标33的劣化指标推导特性曲线31并不局限于函数表达式。它们可作为与输入帧速率和输入编码比特率相对应的值而存储在存储单元31M中。
图10是示出了表示输入帧速率、输入编码比特率与劣化指标之间的相关的劣化指标信息的结构示例的图。每个劣化指标信息包含一组输入帧速率fr(21A)和输入编码比特率br(21B)以及对应的劣化指标τ(fr，br)(33)。预先根据劣化指标推导特性曲线31来计算劣化指标信息，并存储在存储单元31M中。
劣化模型指定单元12可通过参考劣化指标信息来推导出与输入帧速率21A以及输入编码比特率21B相对应的劣化指标τ(fr，br)。
在本实施例中，通过使用上述方程式(2)来计算出与劣化指标τ(fr，br)相对应的视频品质劣化比例P(fr，br，pl)。然而，可通过使用任意其它计算方程式来计算视频品质劣化比例P(fr，br，pl)。
例如，可通过使用超指数函数(4)来建模视频品质劣化比例P(fr，br，pl)，超指数函数(4)是通过对由输入帧速率fr和输入编码比特率br确定的多组系数与使用劣化指标τ(fr，br)的指数函数的乘积求和运算获得的，例如由下式给出：
P ( fr , bf , pl ) = α ( fr , br ) exp { - pl τ x ( fr , br ) } + β ( fr , br ) exp { - pl τ y ( fr , br ) } + · · · . . . ( 4 )
例如，当视频品质劣化比例P(fr，br，pl)随分组丢失率pl的增加而急剧下降时，这种计算是适用的。
视频品质劣化比例P(fr，br，pl)可按照仅使用分组丢失率pl以及系数a和b的线性函数来建模，并由下式给出
P(fr，br，pl)＝a+b·pl   ...(5)
该方程在具有较小的变化幅度的有限评估条件下可用，并极大地缩短了计算时间。
[第二实施例]
接下来，参考图11和12来描述根据本发明第二实施例的视频品质评估设备。图11是示出了根据本发明第二实施例的视频品质评估设备的布置的框图。在图11中用与上述图1相同的附图标记表示相同或类似的部件。图12是示出了根据本发明第二实施例的视频品质评估设备的评估模型指定单元的布置的框图。在图12中用与上述图2相同的附图标记表示相同或类似的部件。
第一实施例以通过参考预先准备的劣化指标推导特性曲线31来推导出与输入帧速率21A以及输入编码比特率21B相对应的劣化指标33的情况为例。在第二实施例中，描述根据视听通信服务的通信类型、再现视听媒体的再现性能或者再现视听媒体的终端的再现环境来依次指定评估条件10中与作为评估目标的视听通信服务有关的各种评估条件10相对应的劣化指标推导特性曲线31的情况。
与第一实施例(图1)不同，根据第二实施例的视频品质评估设备1还包括劣化指标系数提取单元14和劣化指标系数数据库(下面称为劣化指标系数DB)26。
劣化指标系数提取单元14具有如下功能：通过参考存储单元26M(第三存储单元)中的劣化指标系数DB 26来提取与参数提取单元11从评估条件10中提取的子参数25相对应的劣化指标系数27。
图13是示出了劣化指标系数DB的布置的解释性图。劣化指标系数DB 26是示出了各种子参数25和相应特性曲线系数a、b、c、...i(27)集合的数据库。子参数25包括指示视听通信服务的通信类型的通信类型参数25A、指示再现视听媒体的终端的再现性能的再现性能参数25B以及指示再现视听媒体的终端的再现环境的再现环境参数25C。
通信类型参数25A的详细示例是指示作为评估目标的视听通信服务所执行的通信类型的“任务”。
再现性能参数25B的详细示例是与视听媒体有关的“编码方法”、“视频格式”和“关键帧”以及与终端的媒体再现性能有关的“监视器大小”和“监视器分辨率”。
再现环境参数25C的详细示例是在终端上再现媒体的“室内亮度”。
子参数25并不局限于这些示例。可根据作为评估目标的视听通信服务或视听媒体的内容而任意选择子参数，子参数仅需要包括通信类型参数25A、再现性能参数25B和再现环境参数25C中的至少一个。
劣化指标系数提取单元14通过参考预先准备的存储单元26M中的劣化指标系数DB，来提取与子参数25相对应的劣化指标参数27。劣化指标系数27是指定要用于推导出劣化指标33的劣化指标推导特性曲线31的系数。
劣化模型指定单元12指定由劣化指标系数提取单元14所提取的劣化指标系数27所指定的劣化指标推导特性曲线31，即帧速率对比劣化指标特性曲线31A和编码比特率对比劣化指标特性曲线31B。
[劣化指标推导特性曲线]
接下来，详细描述劣化模型指定单元12所用的劣化指标推导特性曲线31。
劣化指标推导特性曲线31可通过使用劣化指标系数提取单元14从劣化指标系数DB 26中提取的劣化指标系数27，按照下面的方式来建模。
劣化指标推导特性曲线31的帧速率对比劣化指标特性曲线31A的帧速率劣化指标随帧速率的增加而单调下降，然后收敛于特定的最小值，如上述图5所示。帧速率对比劣化指标特性曲线31A可按照一般的线性函数来建模。假定fr是帧速率，τ1(fr)是相应帧速率劣化指标，d、e和f是系数。在这种情况下，帧速率对比劣化指标特性曲线31A由下式给出：
τ1(fr)＝d+e·exp(-fr/f)   ...(6)
如上述图6所示，劣化指标推导特性曲线31的编码比特率对比劣化指标特性曲线31B的编码比特率劣化指标随着编码比特率增加而下降，然后收敛于特定最小值。例如，编码比特率对比劣化指标特性曲线31B可按照一般的指数函数来建模。假定br是编码比特率，τ2(br)是相应的编码比特率劣化指标，g、h和i是系数。在这种情况下，编码比特率对比劣化指标特性曲线31B由下式给出：
τ2(br)＝g+h·exp(-br/i)    ...(7)
劣化指标推导特性曲线31的建模并不总是通过使用上述指数函数进行的。可使用任意其它函数。例如，取决于作为评估目标的视听通信服务或视听媒体的内容、网络性能或评估条件10的内容，在相对有限的范围内基于输入编码比特率或输入帧速率的视频品质评估过程就足够了。如果这种局部评估是可以的，则劣化指标推导特性曲线31可通过诸如上述线性函数之类的简单函数来建模。
当将上述分别表示帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)的方程式(6)和(7)代入表示劣化指标τ(fr，br)的上述方程式(3)时，获得了
τ(fr，br)＝a+b·τ1(fr)+c·τ2(br)
＝a+b{d+e·exp(-fr/f)}+c{g+h·exp(-br/i)}
＝(a+bd+cg)+be·exp(-fr/f)+ch·exp(-br/i)...(8)
方程式(8)的所有系数a至i是常数。这使得可以将系数a+bd+cg、be、ch、f和i重新定义为新系数a’、b’、c’、d’和e’，并且将指数函数项重新定义为新的劣化指标τ1′(fr)和τ2′(br)，表示如下
a+bd+cga’
beb’
chc’
exp(-fr/f)τ1′(fr)
exp(-br/i)τ2′(br)
fd’
ie’    ...(9)
结果，可按照下式对劣化指标τ(fr，br)进行建模：
τ(fr，br)＝a’+b’·τ1’(fr)+c·τ2’(br)
＝a’+b’·exp(-fr/d’)+c’·exp(-br/e’)    ...(10)
因此，可以通过使用新的帧速率劣化指标τ1’(fr)和编码比特率劣化指标τ2’(br)作为帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)，来执行评估。这使得可以减少评估劣化指标τ(fr，br)所需的系数个数，并极大地减少了指定劣化模型22所需的计算量。
[第二实施例的操作]
接下来，参考图14来描述根据本发明第二实施例的视频品质评估设备的操作。图14是示出了根据本发明第二实施例的视频品质评估设备的视频品质评估过程的流程图。在图14中用与上述图9相同的步骤标号表示相同或类似的步骤。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图9的视频品质评估过程。将通信类型参数25A、再现性能参数25B和再现环境参数25C用作子参数25。存储单元26M中的劣化指标系数DB 26预先存储子参数25和劣化指标系数27的集合。
首先，参数提取单元11提取与作为评估目标的视听通信服务有关的各种评估条件10，从评估条件10中提取与视听媒体的编码有关的帧速率和编码比特率，提取通信网络或终端中视听媒体的分组丢失率，并输出输入帧速率fr(21A)、输入编码比特率br(21B)和输入分组丢失率pl(21C)，作为主要参数21(步骤S100)。此时，参数提取单元11从评估条件10中提取在没有任何分组丢失(pl＝0)的情况下在输入帧速率fr(21A)和输入编码比特率br(21B)处的主观视频品质值，并将其作为基准主观视频品质23输出。
参数提取单元11还从评估条件10中提取通信类型参数25A、再现性能参数25B和再现环境参数25C，并将其作为子参数25输出(步骤S200)。
劣化指标系数提取单元14通过参考存储单元26M中的劣化指标系数DB 26，提取并输出与子参数25的值相对应的劣化指标特性曲线a、b、...、i(27)(步骤S201)。
因此，劣化模型指定单元12使帧速率劣化指标计算单元12A通过参考由劣化指标系数27中的系数d、e和f指定的帧速率对比劣化指标的特性曲线31A，计算与输入帧速率fr(21A)相对应的帧速率劣化指标τ1(fr)(32A)(步骤S101)。
接下来，劣化模型指定单元12使编码比特率劣化指标计算单元12B通过参考由劣化指标系数27中的系数g、h和i指定的编码比特率对比劣化指标的特性曲线31B来计算与输入编码比特率br(21B)相对应的编码比特率劣化指标τ2(br)(32B)(步骤S102)。
在计算了帧速率劣化指标τ1(fr)和编码比特率劣化指标τ2(br)之后，劣化模型指定单元12使用帧速率劣化指标τ1(fr)、编码比特率劣化指标τ2(br)和劣化指标系数27中的系数a、b和c，按照上述方程式(3)来计算劣化指标τ(fr，br)(33)，从而指定劣化模型22(步骤S103)。
然后，视频品质评估设备1使视频品质校正单元13按照与上述方式相同的方式，通过参考劣化模型指定单元12所指定的劣化模型22，来计算与劣化指标τ(fr，br)和输入分组丢失率pl(21C)相对应的视频品质劣化比例P(fr，br，pl)(步骤S104)。
之后，按照与上述方式相同的方式，视频品质校正单元13根据视频品质劣化比例P(fr，br，pl)和基准主观视频品质23，来计算视频品质MOS(fr，br，pl)，并输出该视频品质，作为观众从通过使用作为评估目标的视听通信服务而再现在终端上的视听媒体所实际感受到的主观视频品质评估值24(步骤S105)，并结束视频品质评估过程序列。
如上所述，在本实施例中，劣化指标系数提取单元14从存储单元26M中的劣化指标系数DB 26中提取与参数提取单元11所提取并包括通信类型参数25A、再现性能参数25B以及再现环境参数25C中的至少一个的子参数25相对应的劣化指标系数27。劣化模型指定单元12根据劣化指标系数27所指定的劣化指标推导特性曲线31，来计算与输入帧速率21以及输入编码比特率21B相对应的劣化指标33。因此，可以根据作为评估目标的视听通信服务或终端的特定属性，推导出劣化指标33。这改善了视频品质评估精度。
特别地，在现有技术的评估视频品质的情况下，需要针对在作为评估目标的视听通信服务中使用的每个编码方法、通信网络或终端，准备劣化模型。然而，根据本发明，劣化并不取决于编码方法、通信网络或终端。仅根据编码方法、通信网络或终端，通过参考要用在劣化模型中的系数，就可使用相同的劣化模型。因此，可以灵活地处理不同环境下的视听通信服务。
[第三实施例]
首先参考图15和16来描述根据本发明第三实施例的视频品质评估设备。图15是示出了根据本发明第三实施例的视频品质评估设备的布置的框图。在图15中用与上述图1相同的附图标记来表示相同或类似的部件。图16是示出了根据本发明第三实施例的视频品质评估设备的评估模型指定单元的布置的框图。在图16中用与上述图2相同的附图标记来表示相同或类似的部件。
第一和第二实施例以预先由评估条件10指定基准主观视频品质23并将其存储在存储单元23M中的情况为例。在第三实施例中，描述以下情况：视频品质评估设备1并入了包括视频品质评估单元15，并且基于由评估条件10指定的主要参数21中的输入帧速率21A和输入编码比特率21B来评估基准主观视频品质23。
在本实施例中，在评估与作为视听媒体的表示每个单位时间内的编码比特数的输入编码比特率和表示每个单位时间内的帧数的输入帧速率而输入的主要参数相对应的基准主观视频品质中，根据输入编码比特率来指定表示视听媒体的帧速率和基准主观视频品质之间的关系的评估模型。通过使用所指定的评估模型来评估与输入帧速率相对应的基准主观视频品质，并将其输出。
使视频品质校正单元13通过基于劣化模型22来校正基准主观视频品质23而获得主观视频品质评估值24的布置与上述第一实施例相同，并且不再重复详细描述。可代替第一实施例而使用第二实施例。
[视频品质评估单元]
与第一实施例(图1)不同，根据第三实施例的视频品质评估设备1还包括视频品质评估单元15。
如图16所示，视频品质评估单元15还包括多个功能单元。主要的功能单元包括评估模型指定单元15A和视频品质计算单元15B。
评估模型指定单元15A具有如下功能：根据参数提取单元11所输出的主要参数21中的输入编码比特率21B，来指定表示视听媒体的帧速率与主观视频品质之间的关系的评估模型36。
视频品质计算单元15B具有以下功能：通过参考评估模型指定单元15A所指定的评估模型36，评估与主要参数21的输入帧速率21A相对应的主观视频品质，并作为所希望的基准主观视频品质评估值23，输出该主观视频品质。
如图16所示，评估模型指定单元15A还包括多个功能单元。用于计算评估模型指定参数35的主要功能单元包括最佳帧速率计算单元16A、最佳视频品质计算单元16B、视频品质劣化指标计算单元16C以及评估模型产生单元16D。
评估模型指定参数35是指定要用作评估模型36的函数形状的值。在本实施例中，至少将下面要描述的最佳帧速率和最佳视频品质用作评估模型指定参数35。可将视频品质劣化指标所表示的另一个参数添加到评估模型指定参数35中。
最佳帧速率计算单元16A具有如下功能：通过参考存储单元34M中的编码比特率对比最佳帧速率的特性曲线35A，计算表示与以输入编码比特率br(21B)发送的视听媒体的最佳主观视频品质相对应的帧速率的最佳帧速率ofr(br)(35A)，作为评估模型指定参数35之一。
最佳视频品质计算单元16B具有如下功能：通过参考存储单元34M中的编码比特率对比最佳视频品质的特性曲线34B，来计算表示以输入编码比特率21B发送的视听媒体的主观视频品质的最佳值的最佳视频品质α(br)(35B)，作为评估模型指定参数35之一。
视频品质劣化指标计算单元16C具有如下功能：通过参考存储单元34M中的编码比特率对比视频品质劣化指标的特性曲线34C，计算表示从表示以输入编码比特率21B发送的视听媒体的主观视频品质的最佳值的最佳视频品质35B劣化的劣化程度的视频品质劣化指标ω(br)(35C)，作为评估模型指定参数35之一。
作为评估模型指定参数推导特性曲线34，来预先准备编码比特率对比最佳帧速率的特性曲线34A、编码比特率对比最佳视频品质的特性曲线34B以及编码比特率对比视频品质劣化指标的特性曲线34C，并存储在存储单元34M中。
评估模型产生单元16D具有如下功能：通过将包括最佳帧速率计算单元16A所计算的最佳帧速率ofr(br)、最佳视频品质计算单元16B所计算的最佳视频品质α(br)、以及视频品质劣化指标计算单元16C所计算的视频品质劣化指标ω(br)的评估模型指定参数35的值代入预定函数表达式，来产生评估模型3，以便评估与主要参数21的输入帧速率21A相对应的主观视频品质。
[主观视频品质的特性曲线]
接下来，参考图17来描述视听通信服务中视听媒体的主观视频品质特性曲线。图17是示出了视听通信服务中视听媒体的帧速率对比主观视频品质的特性曲线图。参考图17，横坐标表示帧速率fr(fps)，纵坐标表示主观视频品质值MOS(fr，br)(MOS值)。图17示出了与各个编码比特率br相对应的特性曲线。
每个单位帧内的编码比特数和帧速率相对于视听媒体的主观视频品质具有权衡关系。
更具体地，在提供以特定编码比特率编码的视频图像的情况下，在以高的帧速率编码视频图像时，由于获得了平滑的视频图像，所以可改善时间视频品质。另一方面，由于每个单位帧内编码比特数减少，所以空间图像劣化变得明显，这导致较差的视频品质。在使用大的每个单位帧内的编码比特数对视频图像进行编码时，空间图像劣化得以改善，因此可获得更好的视频品质。然而，由于每个单位时间内的帧数减少，所以会出现具有不均匀效果的时间帧下降，而这导致较差的视频品质。
从图17可见，存在与每个编码比特率对应的最佳帧速率，即获得最大视频品质(即最佳视频品质)处的最佳帧速率。即使在帧速率增加超过最佳帧速率的情况下，视频品质也不会改善。例如，在编码比特率br＝256[kbbs]时，主观视频品质特性曲线展现为具有与帧速率fr＝10[fps]相对应的最佳视频品质＝3[MOS]的顶点的凸形。
即使在编码比特率改变时，主观视频品质特性曲线也展现出相似的形状。可通过其凸形，即包括最佳帧速率和最佳视频品质的评估模型指定参数，来指定每个主观视频品质特性曲线的坐标位置。
本实施例关注于主观视频品质特性曲线的这种属性。评估模型指定单元15A根据输入编码比特率21B，指定表示视听媒体的帧速率与主观视频品质之间的关系的评估模型36。视频品质计算单元15B通过使用评估模型指定单元15A所指定的评估模型36，评估与输入帧速率21A相对应的主观视频品质评估值23。
[评估模型指定参数的推导]
接下来，详细描述视频品质评估单元15的评估模型指定单元15A的评估模型指定参数的推导。
为了使评估模型指定单元15A根据输入编码比特率21B来指定表示视听媒体的帧速率与主观视频品质之间的关系的评估模型36，必须推导出最佳帧速率35A和最佳视频品质35B，作为与输入编码比特率21B相对应的评估模型指定参数。
在本实施例中，作为评估模型指定参数推导特性曲线34，预先准备下面将描述的编码比特率对比最佳帧速率的特性曲线34A和编码比特率对比最佳视频品质的特性曲线34B。通过参考这些特性曲线来推导出与输入编码比特率21B相对应的评估模型指定参数35。
对于图17所示的特性曲线，在以最佳视频品质再现视听媒体时的编码比特率与此时的帧速率(即最佳帧速率)具有如下关系：最佳帧速率随编码比特率的增加而单调增加，然后收敛于最佳帧速率。
图18是示出了编码比特率对比最佳帧速率的特性曲线图。参考图18，横坐标表示编码比特率br(kbps)，纵坐标表示最佳帧速率ofr(br)(fps)。
对于图17所示的特性曲线，在以最佳帧速率发送视听媒体时的编码比特率和视频品质(即最佳视频品质)具有如下趋势关系：视频品质随着编码比特率的增加而变高，随后收敛于最大值(最大主观视频品质值)，或者随着编码比特率的降低而变小，然后收敛于最小值。
图19是示出了编码比特率对比最佳视频品质的特性曲线图。参考图19，横坐标表示编码比特率br(kbps)，纵坐标表示最佳视频品质α(br)。视频品质由MOS值表示，MOS值使用“1”作为基准值，并且最大可取“5 ”。评估模型36的最佳视频品质α(br)使用“0”作为基准值，并最大可取“4”。尽管基准值是不同的，但是这些值使用几乎相同的尺度，因此下面并不特别进行区分。
根据该编码比特率对比最佳视频品质的特性曲线，即使在设置高的编码比特率时，视频品质也在特定编码比特率处达到饱和。这与人类视觉特性相匹配，更具体地，即使在编码比特率增加超过需要时，观众也不会在视觉上觉察到视频品质的改善。如果编码比特率太低，则视频品质显著劣化，因而收敛于最小视频品质。这与实际现象相匹配，更具体地，在屏幕上有运动的人脸的视频图像中，眼睛鼻子的轮廓变得模糊并扁平，因此观众不能够识别出自己的脸。
[评估模型]
接下来，详细描述视频品质评估单元15的评估模型指定单元15A所用的评估模型和指定评估模型的方法。
可通过使用如图20所示的高斯函数来表示具有与作为评估模型指定参数35的最佳帧速率35A和最佳视频品质35B相对应的顶点的凸函数特性曲线。图20是示出了高斯函数的解释性图。
高斯函数展现出具有与最佳值相对应的顶点P并且从该顶点向两侧衰减的凸形。函数表达式由顶点P的坐标和最大幅值给出。假定xc是顶点P的x坐标，A是最大幅值，y0是Y轴的基准值(最小值)，并且ω是表示凸特性曲线的展开宽度的系数。由下式给出相对于任意变量x的函数值y：
y = y 0 + A · exp { - ( x - x c ) 2 2 ω 2 } . . . ( 11 )
ω 1 = 2 ln ( 4 ) · ω
假定变量x是视听媒体的帧速率的对数值，函数y是主观视频品质，顶点P的变量x是与编码比特率相对应的最佳帧速率的对数值，并且最大幅值A是与编码比特率相对应的最佳视频品质α(br)。在这种情况下，由下式给出与任意帧速率相对应的主观视频品质：
MOS(fr，br)＝1+G(fr，br)
G ( fr , br ) = α ( br ) · exp { - ( ln ( fr ) - ln ( ofr ( br ) ) ) 2 2 ω ( br ) 2 } . . . ( 12 )
因此可以指定与输入编码比特率相对应的评估模型，即帧速率对比主观视频品质的特性曲线。图21是示出了按照高斯函数建模的帧速率对比主观视频品质的特性曲线解释性图。
此时，方程式(12)中使用的α(br)和G(fr，br)使用“0”作为基准值，并最大可取“4 ”。在G(fr，br)加“1”时，可获得由MOS值(1至5)表示的实际视频品质值。
在高斯函数中，使用系数ω来指定凸特性曲线的展开宽度。如果需要对应于与编码比特率相对应的每个帧速率对比主观视频品质的特性曲线而改变展开宽度，则使用与编码比特率相对应的视频品质劣化指标ω(br)(35C)。
视频品质劣化指标ω(br)指示出从表示以输入编码比特率21B发送的视听媒体的主观视频品质的最佳值的最佳视频品质35B劣化的劣化程度。视频品质劣化指标ω(br)与高斯函数的系数ω相对应。
对于图17所示的特性曲线，编码比特率与主观视频品质的劣化程度具有如下关系：随着编码比特率增加，劣化程度变缓和，而随着编码比特率降低，劣化程度变大。因此，编码比特率与视频品质劣化指标具有如下趋势关系：随着编码比特率变大，帧速率对比主观视频品质的特性曲线的凸形的展开宽度变大，并且视频品质劣化指标也变大。随着编码比特率变小，帧速率对比主观视频品质的特性曲线的凸形的展开宽度变小，并且视频品质劣化指标也变小。
图22是示出了编码比特率对比视频品质劣化指标的特性曲线图。参考图22，横坐标表示编码比特率br(kbps)，纵坐标表示视频品质劣化指标ω(br)。图22示出了由高斯函数表达的评估模型中的编码比特率对比视频品质劣化指标的特性曲线。如果使用另一种评估模型，则使用表示与该评估模型相对应的系数的编码比特率对比视频品质劣化指标的特性曲线。
不必基于作为评估目标的视听通信服务而使用与各个编码比特率相对应的帧速率对比主观视频品质特性曲线的各种展开宽度。在这种情况下，可将常数用作视频品质劣化指标ω(br)。
[第三实施例的操作]
接下来，参考图23来描述根据本发明第三实施例的视频品质评估设备的操作。图23是示出了根据本发明第三实施例的视频品质评估设备的视频品质评估过程的流程图。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图23中的视频品质评估过程。这里将描述除了最佳帧速率35A和最佳视频品质35B之外还将视频品质劣化指标35C用作评估模型指定参数的示例。在视频品质评估设备1中，预先准备上述的编码比特率对比最佳帧速率的特性曲线34A(图18)、编码比特率对比最佳视频品质的特性曲线34B(图19)以及编码比特率对比视频品质劣化指标的特性曲线34C(图22)，并作为函数表达式存储在存储单元34M中。
首先，视频品质评估单元15的评估模型指定单元15A从存储单元(未示出)中获取参数提取单元11从评估条件10中提取的输入帧速率fr(21A)和输入编码比特率br(21B)(步骤S300)。评估模型指定单元15A根据输入编码比特率br(21B)，指定表示视听媒体的帧速率和主观视频品质之间的关系的评估模型36。
更具体地，最佳帧速率计算单元16A通过参考存储单元34M中的编码比特率对比最佳帧速率的特性曲线34A，计算与输入编码比特率br(21B)相对应的最佳帧速率ofr(br)(35A)(步骤S301)。
接下来，评估模型指定单元15A使最佳视频品质计算单元16B通过参考存储单元34M中的编码比特率对比最佳视频品质的特性曲线34B来计算与输入编码比特率br(21B)相对应的最佳视频品质α(br)(35B)(步骤S302)。
类似地，评估模型指定单元15A使视频品质劣化指标计算单元16C通过参考存储单元34M中的编码比特率对比视频品质劣化指标的特性曲线34C来计算与输入编码比特率br(21B)相对应的视频品质劣化指标ω(br)(35C)(步骤S303)。
在计算了评估模型指定参数35之后，评估模型指定单元15A使评估模型产生单元16D将包括最佳帧速率ofr(br)、最佳视频品质α(br)和视频品质劣化指标ω(br)的评估模型指定参数35的实际值代入上述方程式(12)，从而指定评估模型MOS(fr，br)，即帧速率对比主观视频品质的特性曲线(步骤S304)。
然后，视频品质评估设备1使视频品质评估单元15的视频品质计算单元15B通过参考评估模型指定单元15A所指定的评估模型36来计算与参数提取单元11所输出的主要参数21中的输入帧速率21A相对应的视频品质，并作为基准主观视频品质23而输出该视频品质，该视频品质表示观众从通过使用作为评估目标的视听通信服务而再现在终端上的视听媒体所实际感受到的主观视频品质(步骤S305)，并结束基准视频品质评估过程序列。
如上所述，在本实施例中，在评估与作为视听媒体的表示每个单位时间内的编码比特数的输入编码比特率21B和表示每个单位时间内的帧数的输入帧速率21A而输入的主要参数21相对应的主观视频品质中，评估模型指定单元15A根据输入编码比特率21B来指定表示视听媒体的帧速率与主观视频品质之间的关系的评估模型36。通过使用所指定的评估模型36来评估与输入帧速率21A相对应的主观视频品质，并作为基准主观视频品质23将其输出。
因此，可以通过参考与作为评估条件10输入的输入编码比特率21B相对应的评估模型36，获得与作为评估条件10输入的输入帧速率21A相对应的基准主观视频品质23。
这使得可以在视频品质评估设备1中评估以输入帧速率21A和输入编码比特率21B编码的视听媒体的基准主观视频品质23，因此不再需要从外部作为评估条件10而指定基准主观视频品质23。因此，在第一或第二实施例中描述的视频品质校正单元13可评估与任意评估条件10相对应的主观视频评估值24，而不需要准备基准主观视频品质23。
在本实施例所述的示例中，预先以函数表达式的形式准备用于计算评估模型指定参数35的编码比特率对比最佳帧速率的特性曲线34A、编码比特率对比最佳视频品质的特性曲线34B以及编码比特率对比视频品质劣化指标的特性曲线34C，并将其存储在存储单元34M中。然而，用于计算评估模型指定参数的评估模型指定参数推导特性曲线34并不局限于函数表达式。它们可作为与输入编码比特率相对应的值而存储在存储单元34M中。
图24是示出了表示输入编码比特率与评估模型指定参数之间的相关的评估模型指定参数信息的结构示例的图。每个评估模型指定参数信息包括一组输入编码比特率br(21B)和对应的最佳帧速率ofr(br)(35A)、最佳视频品质α(br)(35B)和视频品质劣化指标ω(br)(35C)。预先根据评估模型指定参数推导特性曲线34来计算评估模型指定参数信息，并存储在存储单元34M中。
可通过参考评估模型指定参数信息来推导出与输入编码比特率21B相对应的评估模型指定参数35。
[第四实施例]
接下来，参考图25和26来描述根据本发明第四实施例的视频品质评估设备。图25是示出了根据本发明第四实施例的视频品质评估设备的布置的框图。在图25中用与上述图15相同的附图标记表示相同或类似的部件。图26是示出了根据本发明第四实施例的视频品质评估设备的评估模型指定单元的布置的框图。在图26中用与上述图16相同的附图标记表示相同或类似的部件。
第三实施例以通过参考预先准备的评估模型指定参数推导特性曲线34来推导出与输入编码比特率相对应的评估模型指定参数35的情况为例。在第四实施例中，描述以下情况：假定第三实施例根据视听通信服务的通信类型、再现视听媒体的再现性能或者再现视听媒体的终端的再现环境，来依次指定评估条件10中与作为评估目标的视听通信服务有关的各种评估条件10相对应的评估模型指定参数推导特性曲线34，而不是预先准备评估模型指定参数推导特性曲线34。
与第三实施例(图15)不同，根据第四实施例的视频品质评估设备1还包括特性曲线系数提取单元17和特性曲线系数数据库(下面称为特性曲线系数DB)28。
特性曲线系数提取单元17具有如下功能：通过参考存储单元28M(第四存储单元)中的特性曲线系数DB 28来提取与参数提取单元11从评估条件10中提取的子参数25相对应的特性曲线系数29。本实施例中使用的子参数25与第二实施例中描述的相同，并且不再重复对其的详细描述。
图27是示出了特性曲线系数DB的布置的解释性图。特性曲线系数DB 28是示出了各种子参数25和相应特性曲线系数j、k、...、p(29)集合的数据库。如上所述，子参数25包括指示视听通信服务的通信类型的通信类型参数25A、指示再现视听媒体的终端的再现性能的再现性能参数25B以及指示再现视听媒体的终端的再现环境的再现环境参数25C。
子参数25并不局限于这些示例。可根据作为评估目标的视听通信服务或视听媒体的内容而选择子参数，子参数仅需要包括通信类型参数25A、再现性能参数25B和再现环境参数25C中的至少一个。
特性曲线系数提取单元17通过参考预先准备的特性曲线系数DB28，来提取与子参数25相对应的特性曲线参数29。特性曲线系数29是指定要用于推导出评估模型指定参数35的评估模型指定参数推导特性曲线的系数。
评估模型指定单元15A指定由特性曲线系数提取单元17所提取的特性曲线系数29所指定的评估模型指定参数推导特性曲线34，即编码比特率对比最佳帧速率的特性曲线34A、编码比特率对比最佳视频品质特性曲线34B、以及编码比特率对比视频品质劣化指标的特性曲线34C。
[评估模型指定参数推导特性曲线]
接下来，详细描述评估模型指定单元15A所用的评估模型指定参数推导特性曲线34。
评估模型指定参数推导特性曲线34可通过使用特性曲线系数提取单元17从特性曲线系数DB 28中提取的特性曲线系数29，按照下面的方式来建模。
评估模型指定参数推导特性曲线34的编码比特率对比最佳帧速率特性曲线34A的最佳帧速率随编码比特率的增加而单调增加，然后收敛于特定的最大帧速率，如上述图18所示。编码比特率对比最佳帧速率特性曲线34A可按照一般的线性函数来建模。假定br是编码比特率，ofr(br)是相应最佳帧速率，j和k是系数。在这种情况下，编码比特率对比最佳帧速率的特性曲线34A由下式给出：
ofr(br)＝j+k·br    ...(13)
如上述图19所示，评估模型指定参数推导特性曲线34的编码比特率对比最佳视频品质的特性曲线34B的视频品质随着编码比特率增加而增加，然后收敛于特定最大值，并随编码比特率降低而降低，然后收敛于特定最小值。例如，编码比特率对比最佳视频品质特性曲线34B可按照一般的逻辑函数来建模。
图28是示出了逻辑函数的解释性图。在系数p＞1时，逻辑函数的函数值y随变量x增加而增加。随着变量x下降，函数值y收敛于最小值。随着变量x增加，函数值y收敛于最大值。假定A1是最小值，A2是最大值，p和x0是系数。在这种情况下，相对于任意变量x的函数值y由方程式(14)给出，方程式(14)包括最大值A2的项和表示从最大值A2减少的分数项。
y = A 2 + A 1 - A 2 1 + ( x / x 0 ) p . . . ( 14 )
在将编码比特率br代入变量x、将最佳视频品质α(br)代入相应函数值y、将特性曲线系数1代入最大值A2、将“0”代入最小值A1、将特性曲线系数m代入变量x0、并将特性曲线系数n代入系数p时，编码比特率对比最佳视频品质特性曲线34B由下式给出：
α ( br ) = 1 - 1 1 + ( br / m ) n . . . ( 15 )
图29是示出了按照逻辑函数建模的编码比特率对比最佳视频品质特性曲线的解释性图。
如上述图22所示，评估模型指定参数推导特性曲线34的编码比特率对比视频品质劣化指标的特性曲线34C的视频品质劣化指标随编码比特率增加而增加，并随编码比特率降低而降低。例如，编码比特率对比视频品质劣化指标的特性曲线34C可按照一般的线性函数来建模。假定br是编码比特率，ω(br)是相应视频品质劣化指标，o和p是系数。在这种情况下，编码比特率对比视频品质劣化指标特性曲线34C由下式给出：
ω(br)＝o+p·br    ...(16)
评估模型指定参数推导特性曲线34的建模并不总是通过使用上述线性函数或逻辑函数进行的。可使用任意其它函数。例如，取决于作为评估目标的视听通信服务或视听媒体的内容、网络性能或评估条件10的内容，在相对有限的范围内基于输入编码比特率或输入帧速率的视频品质评估过程就足够了。如果这种局部评估是可以的，则评估模型指定参数推导特性曲线34可通过诸如上述线性函数之类的简单函数来建模。
如果评估模型指定参数关于输入编码比特率或输入帧速率而极大地变化，则可通过使用诸如指数函数之类的其它函数来表达编码比特率对比最佳视频品质特性曲线34A。在使用指数函数来建模的情况下，最佳帧速率ofr(br)和视频品质劣化指标ω(br)由下式给出：
ofr(br)＝q+r·exp(br/s)
ω(br)＝t+u·exp(br/v)    ...(17)
其中q、r、s、t、u和v是系数。
[第四实施例的操作]
接下来，参考图30来描述根据本发明第四实施例的视频品质评估设备的操作。图30是示出了根据本发明第四实施例的视频品质评估设备的视频品质评估过程的流程图。在图30中用与上述图23相同的步骤标号表示相同或类似的步骤。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图30的视频品质评估过程。这里描述除了最佳帧速率35A和最佳视频品质35B之外还将视频品质劣化指标35C用作评估模型指定参数的示例。此外，将通信类型参数25A、再现性能参数25B和再现环境参数25C用作子参数25。特性曲线系数DB 28预先存储子参数25和特性曲线系数29的集合。
首先，评估模型指定单元15A从存储单元(未示出)中获取参数提取单元11从评估条件10中提取的主要参数21中的输入帧速率fr(21A)和输入编码比特率br(21B)(步骤S300)。
特性曲线系数提取单元17从存储单元(未示出)中提取参数提取单元11从评估条件10中提取的子参数25中的通信类型参数25A、再现性能参数25B、再现环境参数25C(步骤S400)。
特性曲线系数提取单元17通过参考存储单元28M中的特性曲线系数DB 28来提取并输出与子参数25的值相对应的特性曲线系数j、k、l、...、p(29)(步骤S401)。
因此，评估模型指定单元15A使最佳帧速率计算单元16A通过参考存储单元34M中的由特性曲线系数29中的特性曲线系数j和k指定的编码比特率对比最佳帧速率的特性曲线34A，计算与输入编码比特率br(21B)相对应的最佳帧速率ofr(br)(35A)(步骤S301)。
接下来，评估模型指定单元15A使最佳视频品质计算单元16B通过参考存储单元34M中的由特性曲线系数29中的特性曲线系数l、m和n指定的编码比特率对比最佳视频品质的特性曲线34B来计算与输入编码比特率br(21B)相对应的最佳视频品质α(br)(35B)(步骤S302)。
类似地，评估模型指定单元15A使视频品质劣化指标计算单元16C通过参考存储单元34M中的由特性曲线系数126中的特性曲线系数o和p指定的编码比特率对比视频品质劣化指标的特性曲线34C来计算与输入编码比特率br(21B)相对应的视频品质劣化指标ω(br)(35C)(步骤S303)。
在计算了评估模型指定参数35之后，评估模型指定单元15A使评估模型产生单元16D将包括最佳帧速率ofr(br)、最佳视频品质α(br)和视频品质劣化指标ω(br)的评估模型指定参数35的实际值代入上述方程式(12)，从而指定评估模型MOS(fr，br)，即帧速率对比主观视频品质的特性曲线(步骤S304)。
然后，视频品质评估设备1使视频品质计算单元15B通过参考评估模型指定单元15A所指定的评估模型36来计算与参数提取单元11所输出的主要参数21中的输入帧速率21A相对应的视频品质，并作为输出该视频品质，作为观众从通过使用作为评估目标的视听通信服务而再现在终端上的视听媒体所实际感受到的主观视频品质评估值24(步骤S305)，并结束基准视频品质评估过程序列。
如上所述，在本实施例中，特性曲线系数提取单元17从存储单元28M中的特性曲线系数DB 28中提取与参数提取单元11所提取并包括通信类型参数25A、再现性能参数25B以及再现环境参数25C中的至少一个的子参数25相对应的特性曲线系数29。评估模型指定单元15A根据特性曲线系数29所指定的评估模型指定参数推导特性曲线34，来计算与输入编码比特率21B相对应的评估模型指定参数35。因此，可以根据作为评估目标的视听通信服务或终端的特定属性，推导出评估模型指定参数35。这改善了视频品质评估精度。
特别地，在现有技术的评估视频品质的情况下，需要针对在作为评估目标的视听通信服务中使用的每个编码方法或终端，准备视频品质评估模型。然而，根据本发明，视频品质评估模型并不取决于编码方法或终端。仅根据编码方法或终端，通过参考要用在视频品质评估模型中的系数，就可使用相同的视频品质评估模型。因此，可以灵活地处理不同环境下的视听通信服务。因此，第一或第二实施例中描述的视频品质校正单元13可以评估与任意评估条件10相对应的主观视频品质评估值24，而不需要准备基准主观视频品质23。
图31是示出了使用本实施例的视频品质评估设备的评估精度的图。图32是示出了根据参考文献2的传统视频品质评估设备的评估精度的图。参考图31和32，横坐标表示使用视频品质评估设备所评估的主观视频品质的评估值(MOS值)，纵坐标表示观众实际意见所评价的主观视频品质的评价值(MOS值)。评价值和评估值之间的误差较小，并且图31中的评估精度比图32中的高。这是特定评估条件下的比较结果。已经确认了即使在使用另一种编码方法或终端时也会获得类似的比较结果。
[第五实施例]
首先，参考图33来描述根据本发明第五实施例的视频品质评估设备。图33是示出了根据本发明第五实施例的视频品质评估设备的布置的框图。在图33中使用与上述图16相同的附图标记来表示相同或类似的部件。
在第三实施例描述的示例中，视频品质评估单元15根据输入编码比特率21B来指定表示视听媒体的帧速率与基准主观视频品质之间的关系的评估模型36，通过使用所指定的评估模型36来评估与输入帧速率21A相对应的基准主观视频品质23，并输出该基准主观视频品质。
在第五实施例中，将描述以下示例：视频品质评估单元15根据输入帧速率21A来指定表示视听媒体的编码比特率与基准主观视频品质之间的关系的评估模型36，通过使用所指定的评估模型36来评估与输入编码比特率21B相对应的基准主观视频品质23，并输出该基准主观视频品质。
使视频品质校正单元通过根据劣化模型23来校正基准主观视频品质23而获得主观视频品质校正值24的布置与上述第一实施例相同，并且在此不再重复详细描述。可代替第一实施例而使用第二实施例。
[视频品质评估单元]
与第三实施例(图16)不同，在根据本实施例的视频品质评估设备1中，代替最佳帧速率计算单元16A、最佳视频品质计算单元16B和视频品质劣化指标计算单元16C，评估模型指定单元15A包括最佳视频品质计算单元16E、视频品质第一变化指标计算单元16F和视频品质第二变化指标计算单元16G。代替编码比特率对比最佳帧速率的特性曲线34A、编码比特率对比最佳视频品质的特性曲线34B以及编码比特率对比视频品质劣化指标的特性曲线34G，存储单元34M存储帧速率堆积最佳视频品质的特性曲线34E、帧速率对比视频品质第一变化指标的特性曲线34F以及帧速率对比视频品质第二变化指标的特性曲线34G。
最佳视频品质计算单元16E具有如下功能：通过参考存储单元34M中的帧速率对比最佳视频品质的特性曲线34E，计算表示以输入帧速率21A发送的视听媒体的主观视频品质的最佳值的最佳视频品质β(fr)(35E)，作为评估模型指定参数35之一。
视频品质第一变化指标计算单元16F具有如下功能：通过参考存储单元34M中的帧速率对比视频品质第一变化指标的特性曲线34F，来计算表示从表示以输入帧速率21A发送的视听媒体的主观视频品质的最佳值的最佳视频品质35E变化的变化(劣化)程度的视频品质第一变化指标δ(fr)(35F)，作为评估模型指定参数35之一。
视频品质第二变化指标计算单元16G具有如下功能：通过参考存储单元34M中的帧速率对比视频品质第二变化指标的特性曲线34G，计算表示从表示以输入帧速率21A发送的视听媒体的主观视频品质的最佳值的最佳视频品质35E变化的变化(劣化)程度的视频品质第二变化指标ε(fr)(35G)，作为评估模型指定参数35之一。
作为评估模型指定参数推导特性曲线34，来预先准备帧速率对比最佳视频品质的特性曲线34E、帧速率对比视频品质第一变化指标的特性曲线34F以及帧速率对比视频品质第二变化指标的特性曲线34G，并存储在存储单元34M中。
评估模型产生单元16D具有如下功能：通过将包括最佳视频品质计算单元16E所计算的最佳视频品质β(fr)、视频品质第一变化指标计算单元16F所计算的视频品质第一变化指标δ(fr)、以及视频品质第二变化指标计算单元16G所计算的视频品质第二变化指标ε(fr)的评估模型指定参数35的值代入预定函数表达式，来产生评估模型36，以便评估与主要参数21的输入帧速率21A相对应的主观视频品质。
[主观视频品质的特性曲线]
接下来，参考图34来描述视听通信服务中视听媒体的主观视频品质特性曲线。图34是示出了视听通信服务中视听媒体的编码比特率对比主观视频品质的特性曲线图。参考图34，横坐标表示编码比特率br(kbps)，纵坐标表示主观视频品质值MOS(fr，br)(MOS值)。图34示出了与各个帧速率fr相对应的特性曲线。
每个单位帧内的编码比特数和帧速率相对于视听媒体的主观视频品质具有权衡关系。
更具体地，在提供以特定编码比特率编码的视频图像的情况下，在以高的帧速率编码视频图像时，由于获得了平滑的视频图像，所以可改善时间视频品质。另一方面，由于每个单位帧内编码比特数减少，所以空间图像劣化变得明显，这导致较差的视频品质。在使用大的每个单位帧内的编码比特数对视频图像进行编码时，空间图像劣化得以改善，因此可获得更好的视频品质。然而，由于每个单位时间内的帧数减少，所以会出现具有不均匀效果的时间帧下降，而这导致较差的视频品质。
如图34所示，当帧速率不改变时，视频品质随编码比特率的增加而单调增加，并收敛于以该帧速率发送的视听媒体的最佳视频品质。例如，当帧速率＝10[fps]时，主观视频品质的特性曲线随编码比特率的增加而单调增加，并收敛于编码比特率br＝1000[kbps]附近的最佳视频品质＝3.8[MOS]。
即使在帧速率改变时，主观视频品质特性曲线也展现出相似的形状。可通过包括最佳视频品质和与最佳视频品质相对应的变化程度的评估模型指定参数，来指定每个主观视频品质特性曲线的坐标位置。
本实施例关注于主观视频品质特性曲线的这种属性。评估模型指定单元15A根据输入帧速率21A，指定表示视听媒体的编码比特率与主观视频品质之间的关系的评估模型36。视频品质评估单元15通过使用评估模型指定单元15A所指定的评估模型36，评估与输入编码比特率21B相对应的基准主观视频品质23。
[评估模型]
接下来，详细描述评估模型指定单元15A所使用的评估模型和评估模型指定参数的推导。
图34所示的编码比特率对比主观视频品质特性曲线随编码比特率的增加而单调增加，并收敛于以帧速率发送的视听媒体的最佳视频品质。例如，该编码比特率对比主观视频品质特性曲线可按照图28所示的一般逻辑函数来建模。
在将编码比特率br代入变量x、将主观视频品质MOS(fr，br)代入相应函数值y、将最佳视频品质β(fr)代入最大值A2、将“1”代入最小值A1、将视频品质第一变化指标δ(fr)代入系数x0、并将视频品质第二变化指标ε(fr)代入系数p时，由下式给出了与任意编码比特率br相对应的主观视频品质MOS：
MOS ( fr , br ) = β ( fr ) + 1 - β ( fr ) 1 + ( br / δ ( fr ) ) ϵ ( fr ) . . . ( 18 )
结果，可指定与输入帧速率21A相对应的评估模型，即编码比特率对比主观视频品质特性曲线。图35是示出了按照逻辑函数建模的编码比特率对比主观视频品质特性曲线。
因此，在评估模型指定单元15A要根据输入帧速率21A来指定表示视听媒体的编码比特率与主观视频品质之间的关系的评估模型36时，必须推导出最佳视频品质35E、视频品质第一变化指标35F以及视频品质第二变化指标35G，作为与输入帧速率21A相对应的评估模型指定参数。具体地，视频品质第一变化指标δ(fr)和视频品质第二变化指标ε(fr)被用于计算以逻辑函数的分数项表示的从最大值A4的下降，即从最佳视频品质β(fr)的变化(劣化)，并且是指定评估模型36所必需的，作为表示与帧速率fr处的主观视频品质有关的变化程度的变化指标。
在本实施例中，预先准备下面将描述的帧速率对比最佳视频品质特性曲线34E、帧速率对比视频品质第一变化指标特性曲线34F以及帧速率对比视频品质第二变化指标特性曲线34G，作为评估模型指定参数推导特性曲线34。通过参考这些特性曲线来推导出与输入帧速率21A相对应的评估模型指定参数35。
在图34所示的特性曲线中，所发送的视听媒体的帧速率与对应的最佳视频品质具有如下趋势关系：最佳视频品质β(fr)随着帧速率fr增加而增加，并收敛于特定的最大值(最大主观视频品质值)。
图36是示出了帧速率对比最佳视频品质的特性曲线图。参考图36，横坐标表示帧速率fr(fps)，纵坐标表示最佳视频品质β(fr)(MOS值)。
发送的视听媒体的帧速率与相应的视频品质第一变化指标具有如下趋势关系：视频品质第一变化指标随着帧速率的增加而单调增加。
图37是示出了帧速率对比视频品质第一变化指标的特性曲线图。参考图37，横坐标表示帧速率fr(fps)，纵坐标表示视频品质第一变化指标δ(fr)。
发送的视听媒体的帧速率与相应的视频品质第二变化指标具有图下趋势关系：视频品质第二变化指标随着帧速率的增加而单调降低。
图38是示出了帧速率对比视频品质第二变化指标的特性曲线图。参考图38，横坐标表示帧速率fr(fps)，纵坐标表示视频品质第二变化指标ε(fr)。
[第五实施例的操作]
接下来，参考图39来描述根据本发明第五实施例的视频品质评估设备的操作。图39是示出了根据本发明第五实施例的视频品质评估设备的视频品质评估过程的流程图。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图39中的视频品质评估过程。在视频品质评估设备1中，预先准备上述帧速率对比最佳视频品质特性曲线34E(图36)、帧速率对比视频品质第一变化指标特性曲线34F(图37)以及帧速率对比视频品质第二变化指标特性曲线34G(图38)，并作为函数表达式存储在存储单元34M中。
首先，参数提取单元11提取与作为评估目标的视听通信服务有关的各种评估条件10，并从评估条件10中提取与视听媒体的编码有关的编码比特率和帧速率，并作为主要参数21而输出输入编码比特率br(21B)和输入帧速率fr(21A)(步骤S310)。
评估模型指定单元15A根据参数提取单元11所输出的主要参数21中的输入帧速率21A，来指定表示视听媒体的编码比特率与主观视频品质之间的关系的评估模型36。
更具体地，最佳视频品质计算单元16E通过参考存储单元34M中的帧速率对比最佳视频品质特性曲线34E，来计算与输入帧速率fr(21A)相对应的最佳视频品质β(fr)(35E)(步骤S311)。
接下来，评估模型指定单元15A使视频品质第一变化指标计算单元16F通过参考存储单元34M中的帧速率对比视频品质第一变化指标特性曲线34F，来计算与输入帧速率fr(21A)相对应的视频品质第一变化指标δ(fr)(35F)(步骤S312)。
类似地，评估模型指定单元15A使视频品质第二变化指标计算单元16G通过参考存储单元34M中的帧速率对比视频品质第二变化指标特性曲线34G，来计算与输入帧速率fr(21A)相对应的视频品质第二变化指标ε(fr)(35G)(步骤S313)。
在计算了评估模型指定参数35之后，评估模型指定单元15A使评估模型产生单元16D将包括最佳视频品质β(fr)、视频品质第一变化指标δ(fr)和视频品质第二变化指标ε(fr)的评估模型指定参数35的实际值代入上述方程式(18)，从而指定评估模型36，即编码比特率对比主观视频品质的特性曲线(步骤S314)。
然后，视频品质评估设备1使视频品质评估单元15通过参考评估模型指定单元15A所指定的评估模型36，计算与参数提取单元11所输出的主要参数21中的输入编码比特率21B相对应的视频品质，输出该视频品质，作为观众从通过使用作为评估目标的视听通信服务而再现在终端上的视听媒体所实际感受到的基准主观视频品质23(步骤S315)，并结束基准视频品质评估过程序列。
如上所述，在本实施例中，在评估与输入作为表示每个单位时间内的编码比特数的输入编码比特率21B和表示视听媒体的每个单位时间内的帧数的输入帧速率21A的主要参数21相对应的主观视频品质中，评估模型指定单元15A根据输入编码帧速率21A来指定表示视听媒体的编码比特率与主观视频品质之间的关系的评估模型36。通过使用所指定的评估模型36来评估与输入编码比特率21B相对应的主观视频品质，并作为基准主观视频品质23输出。
因此，可以通过参考与作为评估条件10输入的输入帧速率21A相对应的评估模型36，获得与作为评估条件10输入的输入编码比特率21B相对应的基准主观视频品质评估值23。
这可以获得品质设计/管理的具体且有用的准则，以便在相对于视频品质来考虑每个单位帧内编码比特数和帧速率之间的权衡的情况下知道编码比特率和帧速率的值以及与之相对应的视频品质。所述准则非常适用于提供服务之前的应用和网络的品质设计和服务开始之后的品质管理。
例如，假定应该以所希望的视频品质来分发视听媒体。使用本实施例的视频品质评估设备1使得能够具体知道应该使用何种编码比特率和帧速率来编码由摄像机捕获的视频图像以便满足所希望的视频品质。特别地，编码比特率通常受限于网络限制。在这种情况下，编码比特率固定，并应用本实施例的视频品质评估设备1。这使得可以容易且具体地知道帧速率与视频品质之间的关系。
在本实施例所述的示例中，预先以函数表达式的形式准备用于计算评估模型指定参数35的帧速率对比最佳帧速率的特性曲线34E、帧速率对比视频品质第一变化指标的特性曲线34F以及帧速率对比视频品质第二变化指标的特性曲线34G，并将其存储在存储单元34M中。然而，用于计算评估模型指定参数的评估模型指定参数推导特性曲线34并不局限于函数表达式。它们可作为与输入帧速率相对应的值而存储在存储单元34M中。
图40是示出了表示输入帧速率与评估模型指定参数之间的相关的评估模型指定参数信息的结构示例的图。每个评估模型指定参数信息包括一组输入帧速率fr(21A)和对应的最佳视频品质β(fr)(35E)、视频品质第一变化指标δ(fr)(35F)和视频品质第二变化指标ε(fr)(35G)。预先根据评估模型指定参数推导特性曲线34来计算评估模型指定参数信息，并存储在存储单元34M中。
可通过参考评估模型指定参数信息来推导出与输入帧速率21A相对应的评估模型指定参数35。
[第六实施例]
接下来，参考图41来描述根据本发明第六实施例的视频品质评估设备。图41是示出了根据本发明第六实施例的视频品质评估设备的评估模型指定单元的布置的框图。在图41中用与上述图33中相同的附图标记表示相同或类似的部件。
第四实施例以以下情况为例：作为评估模型指定参数推导特性曲线34，指定第三实施例中使用的编码比特率对比最佳帧速率特性曲线34A、编码比特率对比最佳视频品质特性曲线34B以及编码比特率对比视频品质劣化指标特性曲线34C。
在第六实施例中，描述如下情况：作为评估模型指定参数推导特性曲线34，指定第五实施例中使用的帧速率对比最佳视频品质特性曲线34E、帧速率对比视频品质第一变化指标特性曲线34F以及帧速率对比视频品质第二变化指标特性曲线34G。
根据子参数25来依次指定与评估条件10相对应的评估模型指定参数推导特性曲线34的视频品质评估设备的布置与上述第四实施例(图25)相同，在此不再重复其详细描述。
图42是示出了特性曲线系数DB的布置的解释性图。特性曲线系数DB 28是示出了各种子参数25和相应特性曲线系数i’、k’、l’、...、q’(29)集合的数据库。子参数25包括指示视听通信服务的通信类型的通信类型参数25A、指示再现视听媒体的终端的再现性能的再现性能参数25B以及指示再现视听媒体的终端的再现环境的再现环境参数25C。
通信类型参数25A的详细示例是指示作为评估目标的视听通信服务所执行的通信类型的“任务”。
再现性能参数25B的详细示例是与视听媒体有关的“编码方法”、“视频格式”和“关键帧”以及与终端的媒体再现性能有关的“监视器大小”和“监视器分辨率”。
再现环境参数25C的详细示例是在终端上再现媒体的“室内亮度”。
子参数25并不局限于这些示例。可根据作为评估目标的视听通信服务或视听媒体的内容而任意选择子参数，子参数仅需要包括通信类型参数25A、再现性能参数25B和再现环境参数25C中的至少一个。
特性曲线系数提取单元17通过参考预先准备的存储单元28M中的特性曲线系数DB28，来提取与子参数25相对应的特性曲线参数29。特性曲线系数29是指定要用于推导出评估模型指定参数35的评估模型指定参数推导特性曲线的系数。
评估模型指定单元15A指定由特性曲线系数提取单元17所提取的特性曲线系数29所指定的评估模型指定参数推导特性曲线34，即帧速率对比最佳视频品质的特性曲线34E、帧速率对比视频品质第一变化指标的特性曲线34F、以及帧速率对比视频品质第二变化指标的特性曲线34G。
[评估模型指定参数推导特性曲线]
接下来，详细描述评估模型指定单元15A所用的评估模型指定参数推导特性曲线34。
评估模型指定参数推导特性曲线34可通过使用特性曲线系数提取单元17从特性曲线系数DB 28中提取的特性曲线系数29，按照下面的方式来建模。
评估模型指定参数推导特性曲线34的帧速率对比最佳视频品质特性曲线34E的最佳视频品质随帧速率的增加而单调增加，然后收敛于特定的最大主观视频品质，如上述图36所示。例如，帧速率对比最佳视频品质特性曲线34E可按照一般的指数函数来建模。假定fr是帧速率，β(fr)是相应最佳视频品质，j’、k’和l’是系数。在这种情况下，帧速率对比最佳视频品质的特性曲线34E由下式给出：
β(fr)＝j’+k’·exp(-fr/l’)    ...(19)
如上述图37所示，评估模型指定参数推导特性曲线34的帧速率对比视频品质第一变化指标的特性曲线34F的视频品质第一变化指标随着帧速率增加而单调增加。例如，帧速率对比视频品质第一变化指标的特性曲线34F可按照一般的指数函数来建模。假定fr是帧速率，δ(fr)是相应的视频品质第一变化指标，m’、n’和o’是系数。在这种情况下，帧速率对比视频品质第一变化指标特性曲线34F由下式给出：
δ(fr)＝m’+n’·exp(fr/o’)    ...(20)
如上述图38所示，评估模型指定参数推导特性曲线34的帧速率对比视频品质第二变化指标的特性曲线34G的视频品质第二变化指标随着帧速率增加而单调降低。例如，帧速率对比视频品质第二变化指标的特性曲线34G可按照一般的线性函数来建模。假定fr是帧速率，ε(fr)是相应的视频品质第二变化指标，p’和q’是系数。在这种情况下，帧速率对比视频品质第二变化指标特性曲线34G由下式给出：
ε(fr)＝p’+q’·fr    ...(21)
并不需要总是使用上述指数函数或线性函数来进行评估模型指定参数推导特性曲线34的建模。可使用任意其它的函数。例如，取决于作为评估的视听通信服务或视听媒体的内容、网络性能或评估条件10的内容，在相对有限范围内的基于输入编码比特率或输入帧速率的视频品质评估过程是足够的。如果这种局部评估是可以的，则帧速率对比最佳视频品质特性曲线34E或帧速率对比视频品质第一变化指标特性曲线34F可按照例如上述线性函数的简单函数来建模。
如果评估模型指定参数相对于输入编码比特率或输入帧速率而极大地变化，则可通过使用诸如指数函数或逻辑函数之类的其它函数，对帧速率对比视频品质第二变化指标特性曲线34G和帧速率对比最佳视频品质特性曲线34E或帧速率对比视频品质第一变化指标特性曲线34F建模。
[第六实施例的操作]
接下来，参考图43来描述根据本发明第六实施例的视频品质评估设备的操作。图43是示出了根据本发明第六实施例的视频品质评估设备的视频品质评估过程的流程图。在图43中用与上述图39相同的步骤标号表示相同或类似的步骤。
视频品质评估设备1根据来自操作员的指示操作或评估条件10的输入而开始图43的视频品质评估过程。将通信类型参数25A、再现性能参数25B和再现环境参数25C用作子参数25。存储单元28M中的特性曲线系数DB 28预先存储子参数25和特性曲线系数29的集合。
首先，参数提取单元11提取与作为评估目标的视听通信服务有关的各种评估条件10，从评估条件10中提取与视听媒体的编码有关的帧速率和编码比特率，并输出输入编码比特率br(21B)和输入帧速率fr(21A)，作为主要参数21(步骤S310)。参数提取单元11还从评估条件10中提取通信类型参数25A、再现性能参数25B和再现环境参数25C，并将其作为子参数25输出(步骤S410)。
特性曲线系数提取单元17通过参考存储单元28M中的特性曲线系数DB 28，提取并输出与子参数25的值相对应的特性曲线系数j’、k’、l’、...、q’(步骤S411)。
因此，评估模型指定单元15A使最佳视频品质计算单元16E通过参考由特性曲线29中的特性曲线系数j’、k’和l’指定的帧速率对比最佳视频品质的特性曲线34E，计算与输入帧速率fr(21A)相对应的最佳视频品质β(fr)(35E)(步骤S311)。
接下来，评估模型指定单元15A使视频品质第一变化指标计算单元16F通过参考由特性曲线系数29中的特性曲线系数m’、n’和o’指定的帧速率对比视频品质第一变化指标的特性曲线34F来计算与输入帧速率fr(21A)相对应的视频品质第一变化指标δ(fr)(35F)(步骤S312)。
类似地，评估模型指定单元15A使视频品质第二变化指标计算单元16G通过参考由特性曲线系数29中的特性曲线系数g’和q’指定的帧速率对比视频品质第二变化指标的特性曲线34G来计算与输入帧速率fr(21A)相对应的视频品质第二变化指标ε(fr)(35G)(步骤S313)。
在计算了评估模型指定参数35之后，评估模型指定单元15A使评估模型产生单元16D将包括最佳视频品质β(fr)、视频品质第一变化指标δ(fr)和视频品质第二变化指标ε(fr)的评估模型指定参数35的实际值代入上述方程式(18)，从而指定评估模型36，即编码比特率对比主观视频品质的特性曲线(步骤S314)。
然后，视频品质评估设备1使视频品质评估单元15通过参考评估模型指定单元15A所指定的评估模型36来计算与参数提取单元11所输出的主要参数21中的输入编码比特率21B相对应的视频品质，并输出该视频品质，作为观众从通过使用作为评估目标的视听通信服务而再现在终端上的视听媒体所实际感受到的基准主观视频品质23(步骤S315)，并结束基准视频品质评估过程序列。
如上所述，在本实施例中，特性曲线系数提取单元17从存储单元28M中的特性曲线系数DB 28中提取与参数提取单元11所提取并包括通信类型参数25A、再现性能参数25B以及再现环境参数25C中的至少一个的子参数25相对应的特性曲线系数29。评估模型指定单元15A根据特性曲线系数29所指定的评估模型指定参数推导特性曲线34，来计算与输入帧速率21A相对应的评估模型指定参数35。因此，可以根据作为评估目标的视听通信服务或终端的特定属性，推导出评估模型指定参数35。这改善了视频品质评估精度。
特别地，在现有技术的评估视频品质的情况下，需要针对在作为评估目标的视听通信服务中使用的每个编码方法或终端，准备视频品质评估模型。然而，根据本实施例，视频品质评估模型并不取决于编码方法或终端。仅根据编码方法或终端，通过参考要用在视频品质评估模型中的系数，就可使用相同的视频品质评估模型。因此，可以灵活地处理不同环境下的视听通信服务。因此，第一或第二实施例中描述的视频品质校正单元13可评估与任意评估条件10相对应的主观视频品质评估值24，而不需要准备基准主观视频品质23。
图44是示出了使用本实施例的视频品质评估设备的评估精度的图。参考图44，横坐标表示使用视频品质评估设备所评估的主观视频品质的评估值(MOS值)，纵坐标表示观众实际意见所评价的主观视频品质的评价值(MOS值)。评价值和评估值之间的误差较小，并且图44中的评估精度比图32中的高，其中图32示出了根据上述参考文献2的传统视频品质评估设备的评估精度。这是特定评估条件下的比较结果。已经确认了即使在使用另一种编码方法和终端时也会获得类似的比较结果。
[实施例的扩展]
在上述实施例中，使用指数函数对劣化模型22进行建模，并使用高斯函数或逻辑函数对评估模型36进行建模。然而，本发明并不局限于此。也可使用诸如线性函数、二次函数或更高阶函数之类的任意其它函数。在上述示例中，通过函数对劣化模型22或评估模型36进行建模。可以使用除了函数之外的任意模型，例如黑盒子模型，例如神经网络或仅指定输入/输出特性的基于情况推理。
对于第二实施例中使用的子参数25与劣化指标系数DB 26中的特性曲线系数27之间的关联或第四和第六实施例中使用的子参数25与特性曲线系数DB 28中的特性曲线系数29之间的关联，可通过针对各种子参数的每种组合来实际测量劣化指标推导特性曲线31或评估模型指定参数推导特性曲线34，并针对所获得的测量数据通过最小平方方法来执行收敛运算，来计算劣化指标系数27或特性曲线系数29。视频品质评估设备1可包括针对这种系数计算的装置。
在实施例中，例如存储单元23M、28M、31M和34M的存储单元由独立的存储设备形成。然而，本发明并不局限于此。存储单元中的一些或所有可由单个存储设备形成。

Claims (13)

1.一种视频品质评估设备，包括：
参数提取单元，其提取视听媒体参数，作为分别包括输入编码比特率和输入帧速率的主要参数，视听媒体参数包括编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的编码比特率、表示每个单位时间内的帧数的帧速率和表示分组丢失发生概率的输入分组丢失率；
第一存储单元，其存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；
劣化模型指定单元，其根据输入编码比特率和输入帧速率，来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的恶劣化模型；以及
视频品质校正单元，其根据使用指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
2.根据权利要求1所述的视频品质评估设备，其特征在于，还包括第二存储单元，其存储：第一列表指标特性曲线，表示视听媒体的帧速率与在该帧速率下分组丢失率对主观视频品质的劣化的影响程度之间的关系；以及第二劣化指标特性曲线，表示视听媒体的编码比特率与在该编码比特率下分组丢失率对主观视频品质的劣化的影响程度之间的关系，
其中，所述劣化模型指定单元包括：第一劣化指标计算单元，其通过参考第一劣化指标特性曲线来计算与输入帧速率相对应的第一劣化指标；第二劣化指标计算单元，其通过参考第二劣化指标特性曲线来计算与输入编码比特率相对应的第二劣化指标；以及劣化指标计算单元，其通过组合第一劣化指标和第二劣化指标来计算劣化指标，以便指定与输入帧速率和输入编码比特率相对应的劣化模型。
3.根据权利要求1所述的视频品质评估设备，其特征在于还包括：
第三存储单元，其存储劣化指标系数之间的关联以便指定劣化指标特性曲线，并存储包括指示视听通信类型的通信类型参数、指示终端上视听媒体的再现性能的再现性能参数和指示在终端上再现视听媒体的周围环境的再现环境参数中的至少一个的子参数；以及
劣化指标系数提取单元，其通过参考所述关联来提取与所述参数提取单元所提取的子参数相对应的劣化指标系数；
其中，所述劣化模型指定单元通过参考劣化指标系数所指定的劣化指标特性曲线来计算第一劣化指标和第二劣化指标。
4.根据权利要求1所述的视频品质评估设备，其特征在于还包括：
评估模型指定单元，其根据输入编码比特率来指定表示视听媒体的主观视频品质与帧速率之间的关系的评估模型；以及
视频品质评估单元，其通过使用所指定的评估模型来评估与输入帧速率相对应的主观视频品质，并作为基准主观视频品质来输出该主观视频品质。
5.根据权利要求4所述的视频品质评估设备，其特征在于，所述评估模型指定单元根据包括表示与以输入编码比特率发送的视听媒体的最佳主观视频品质相对应的帧速率的最佳帧速率和表示此时的视频品质的最佳视频品质的评估模型指定参数，来指定评估模型。
6.根据权利要求4所述的视频品质评估设备，其特征在于还包括：
第四存储单元，其存储特性曲线系数之间的关联，以便指定评估模型和子参数，子参数包括指示视听通信类型的通信类型参数、指示终端上的视听媒体的再现性能的再现性能参数和指示在终端上再现视听媒体的周围环境的再现环境参数中的至少一个；以及
特性曲线系数提取单元，其通过参考所述关联来提取与所述参数提取单元所提取的子参数相对应的特性曲线系数，
其中，所述评估模型指定单元指定特性曲线系数和输入编码比特率所指定的评估模型。
7.一种视频评估方法，其特征在于包括以下步骤：
使参数提取单元提取视听媒体参数，作为分别包括输入编码比特率和输入帧速率的主要参数，视听媒体参数包括编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的编码比特率、表示每个单位时间内的帧数的帧速率和表示分组丢失发生概率的输入分组丢失率；
使第一存储单元存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；
使劣化模型指定单元根据输入编码比特率和输入帧速率，来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的恶劣化模型；以及
使视频品质校正单元根据使用指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
8.根据权利要求7所述的视频品质评估方法，其特征在于，还包括以下步骤：使第二存储单元存储：第一列表指标特性曲线，表示视听媒体的帧速率与在该帧速率下分组丢失率对主观视频品质的劣化的影响程度之间的关系；以及第二劣化指标特性曲线，表示视听媒体的编码比特率与在该编码比特率下分组丢失率对主观视频品质的劣化的影响程度之间的关系，
其中，所述劣化模型指定步骤包括以下步骤：通过参考第一劣化指标特性曲线来计算与输入帧速率相对应的第一劣化指标；通过参考第二劣化指标特性曲线来计算与输入编码比特率相对应的第二劣化指标；以及通过组合第一劣化指标和第二劣化指标来计算劣化指标，以便指定与输入帧速率和输入编码比特率相对应的劣化模型。
9.根据权利要求7所述的视频品质评估方法，其特征在于还包括：
使第三存储单元存储劣化指标系数之间的关联以便指定劣化指标特性曲线，并存储包括指示视听通信类型的通信类型参数、指示终端上视听媒体的再现性能的再现性能参数和指示在终端上再现视听媒体的周围环境的再现环境参数中的至少一个的子参数；以及
使劣化指标系数提取单元通过参考所述关联来提取与所述参数提取单元所提取的子参数相对应的劣化指标系数；
其中，在所述劣化模型指定步骤中，通过参考劣化指标系数所指定的劣化指标特性曲线来计算第一劣化指标和第二劣化指标。
10.根据权利要求7所述的视频品质评估方法，其特征在于还包括：
使评估模型指定单元根据输入编码比特率来指定表示视听媒体的主观视频品质与帧速率之间的关系的评估模型；以及
使视频品质评估单元通过使用所指定的评估模型来评估与输入帧速率相对应的主观视频品质，并作为基准主观视频品质来输出该主观视频品质。
11.根据权利要求10所述的视频品质评估方法，其特征在于，在所述评估模型指定步骤中，根据包括表示与以输入编码比特率发送的视听媒体的最佳主观视频品质相对应的帧速率的最佳帧速率和表示此时的视频品质的最佳视频品质的评估模型指定参数，来指定评估模型。
12.根据权利要求10所述的视频品质评估方法，其特征在于还包括：
使第四存储单元存储特性曲线系数之间的关联，以便指定评估模型和子参数，子参数包括指示视听通信类型的通信类型参数、指示终端上的视听媒体的再现性能的再现性能参数和指示在终端上再现视听媒体的周围环境的再现环境参数中的至少一个；以及
使特性曲线系数提取单元通过参考所述关联来提取与所述参数提取单元所提取的子参数相对应的特性曲线系数，
其中，在所述评估模型指定步骤中，指定由特性曲线系数和输入编码比特率所指定的评估模型。
13.一种程序，使视频评估设备的计算机针对经由通信网络向任意终端发送编码为多个帧的视听媒体的视听通信执行以下步骤，计算观众从在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值：
使参数提取单元提取编码为多个帧的视听媒体的表示每个单位时间内的编码比特数的输入编码比特率、表示每个单位时间内的帧数的输入帧速率和表示分组丢失发生概率的输入分组丢失率，作为主要参数；
使存储单元存储表示在没有分组丢失的情况下以输入编码比特率和输入帧速率编码的视听媒体的主观视频品质的基准主观视频品质；
使劣化模型指定单元根据输入编码比特率和输入帧速率来指定表示输入分组丢失率和基准主观视频品质的劣化之间的关系的劣化模型；以及
使视频品质校正单元根据使用所指定的劣化模型而计算的与输入分组丢失率相对应的视频品质劣化比例来校正基准主观视频品质，从而计算出观众从经由通信网络接收到并在任意终端上再现的视听媒体所实际感受到的主观视频品质的评估值。
CNB2006800098785A 2006-05-09 2006-11-28 视频品质评估设备和方法 Active CN100568972C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP130085/2006 2006-05-09
JP2006130085 2006-05-09

Publications (2)

Publication Number Publication Date
CN101151903A true CN101151903A (zh) 2008-03-26
CN100568972C CN100568972C (zh) 2009-12-09

Family

ID=38667537

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006800098785A Active CN100568972C (zh) 2006-05-09 2006-11-28 视频品质评估设备和方法

Country Status (7)

Country Link
US (1) US8154602B2 (zh)
EP (1) EP2018069B1 (zh)
JP (1) JP4490483B2 (zh)
KR (1) KR100935650B1 (zh)
CN (1) CN100568972C (zh)
CA (1) CA2604139C (zh)
WO (1) WO2007129423A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101895787A (zh) * 2010-07-21 2010-11-24 深圳市融创天下科技发展有限公司 一种视频编码性能主观评价方法及系统
CN102077582A (zh) * 2008-06-26 2011-05-25 日本电气株式会社 高品质内容生成系统及其方法和程序
CN102687517A (zh) * 2009-10-22 2012-09-19 日本电信电话株式会社 视频质量估计设备、视频质量估计方法以及程序
CN102972042A (zh) * 2010-07-05 2013-03-13 三菱电机株式会社 影像质量管理系统
CN103413586A (zh) * 2013-07-26 2013-11-27 国核电站运行服务技术有限公司 一种核电厂多部件系统维修方法
CN105791833A (zh) * 2014-12-17 2016-07-20 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
CN106817582A (zh) * 2015-11-27 2017-06-09 维布络有限公司 在视频传输过程中动态优化视频质量的系统和方法
WO2017173817A1 (zh) * 2016-04-06 2017-10-12 华为技术有限公司 视频显示质量的计算方法及设备
CN113470601A (zh) * 2021-07-07 2021-10-01 南昌航空大学 一种自动作曲方法及系统

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2358451T3 (es) * 2007-11-30 2011-05-10 Siemens Aktiengesellschaft Determinación de la calidad de una conexión de comunicación en un sistema de señalización de peligro de saltos múltiples accionado por radio.
JP5172440B2 (ja) 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
US20120020415A1 (en) * 2008-01-18 2012-01-26 Hua Yang Method for assessing perceptual quality
JP5123384B2 (ja) 2008-06-11 2013-01-23 日本電信電話株式会社 オーディオ品質推定方法、オーディオ品質推定装置およびプログラム
CN101626506B (zh) 2008-07-10 2011-06-01 华为技术有限公司 一种视频码流的质量评估方法、装置及系统
WO2010124002A1 (en) 2009-04-21 2010-10-28 Marvell World Trade Ltd. Automatic adjustments for video post-processor based on estimated quality of internet video content
JP5237226B2 (ja) * 2009-08-25 2013-07-17 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
US8923151B2 (en) * 2009-11-24 2014-12-30 Nec Corporation Quality control apparatus, moving image transmission system, quality control method, and recording medium
US9288071B2 (en) 2010-04-30 2016-03-15 Thomson Licensing Method and apparatus for assessing quality of video stream
US9215466B2 (en) 2011-01-31 2015-12-15 Apple Inc. Joint frame rate and resolution adaptation
US8885050B2 (en) 2011-02-11 2014-11-11 Dialogic (Us) Inc. Video quality monitoring
JP6010539B2 (ja) 2011-09-09 2016-10-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法および復号方法
CN103379360B (zh) * 2012-04-23 2015-05-27 华为技术有限公司 一种视频质量评估方法和装置
CN103634594B (zh) * 2012-08-21 2015-04-29 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
CN103813160B (zh) * 2012-11-12 2016-03-02 中国电信股份有限公司 视频质量监控方法和装置
US9858656B2 (en) * 2013-03-13 2018-01-02 Raytheon Company Video interpretability and quality estimation
WO2016080354A1 (ja) * 2014-11-17 2016-05-26 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
CN105828069B (zh) * 2016-04-06 2019-01-18 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
EP3291556A1 (en) * 2016-08-30 2018-03-07 Deutsche Telekom AG Method and apparatus for determining the perceptual video quality of a chunk of multimedia content
CN111277894B (zh) * 2020-03-02 2021-08-27 四川长虹电器股份有限公司 一种自动检测视频播放画面流畅性的方法
WO2023113143A1 (en) * 2021-12-16 2023-06-22 Samsung Electronics Co., Ltd. Method and electronic device for enhancing image quality
CN115334271B (zh) * 2022-08-10 2024-05-07 平安科技（深圳）有限公司 高帧率视频生成方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690441A (ja) 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 最適フレームレート決定方法
JP4247888B2 (ja) 2003-05-20 2009-04-02 日本電信電話株式会社 映像配信システムおよび映像配信方法
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
JP3925866B2 (ja) 2003-11-07 2007-06-06 日本放送協会 映像品質測定装置及び映像品質測定プログラム
JP4327674B2 (ja) 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
JP4365291B2 (ja) 2004-09-01 2009-11-18 日本電信電話株式会社 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077582A (zh) * 2008-06-26 2011-05-25 日本电气株式会社 高品质内容生成系统及其方法和程序
CN102077582B (zh) * 2008-06-26 2014-04-16 日本电气株式会社 高品质内容生成系统及其方法和程序
CN102687517A (zh) * 2009-10-22 2012-09-19 日本电信电话株式会社 视频质量估计设备、视频质量估计方法以及程序
CN102972042A (zh) * 2010-07-05 2013-03-13 三菱电机株式会社 影像质量管理系统
CN101895787A (zh) * 2010-07-21 2010-11-24 深圳市融创天下科技发展有限公司 一种视频编码性能主观评价方法及系统
CN103413586A (zh) * 2013-07-26 2013-11-27 国核电站运行服务技术有限公司 一种核电厂多部件系统维修方法
CN105981384B (zh) * 2013-09-06 2019-04-19 西姆维弗股份有限公司 用于客观感知视频质量评估的方法和系统
CN105981384A (zh) * 2013-09-06 2016-09-28 王舟 用于客观感知视频质量评估的方法和系统
CN105791833A (zh) * 2014-12-17 2016-07-20 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
CN105791833B (zh) * 2014-12-17 2018-09-04 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
CN106817582B (zh) * 2015-11-27 2019-03-12 维布络有限公司 在视频传输过程中动态优化视频质量的系统和方法
CN106817582A (zh) * 2015-11-27 2017-06-09 维布络有限公司 在视频传输过程中动态优化视频质量的系统和方法
WO2017173817A1 (zh) * 2016-04-06 2017-10-12 华为技术有限公司 视频显示质量的计算方法及设备
CN113470601A (zh) * 2021-07-07 2021-10-01 南昌航空大学 一种自动作曲方法及系统
CN113470601B (zh) * 2021-07-07 2023-04-07 南昌航空大学 一种自动作曲方法及系统

Also Published As

Publication number Publication date
CN100568972C (zh) 2009-12-09
US20090225170A1 (en) 2009-09-10
CA2604139C (en) 2014-02-18
EP2018069B1 (en) 2016-08-10
EP2018069A1 (en) 2009-01-21
EP2018069A4 (en) 2011-10-05
WO2007129423A1 (ja) 2007-11-15
US8154602B2 (en) 2012-04-10
JPWO2007129423A1 (ja) 2009-09-17
KR100935650B1 (ko) 2010-01-07
KR20080002778A (ko) 2008-01-04
CA2604139A1 (en) 2007-11-09
JP4490483B2 (ja) 2010-06-23

Similar Documents

Publication Publication Date Title
CN101151903A (zh) 视频品质评估设备、方法和程序
CA2604053C (en) Video quality estimation appartus, method, and program
US7965203B2 (en) Video quality estimation apparatus, method, and program
US8405773B2 (en) Video communication quality estimation apparatus, method, and program
US8804815B2 (en) Support vector regression based video quality prediction
CN111182300B (zh) 编码参数的确定方法、装置、设备及存储介质
JP4451856B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4802183B2 (ja) マルチメディア総合品質推定方法および装置
US20150373324A1 (en) Method And Apparatus For Context-Based Video Quality Assessment
Garcia et al. Towards a content-based parametric video quality model for IPTV
JP2015504272A (ja) 歪み／品質測定
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4408120B2 (ja) 映像品質推定装置、方法、およびプログラム
Brunnström et al. Video expert assessment of high quality video for Video Assistant Referee (VAR): A comparative study
JP6061778B2 (ja) 映像品質評価装置、映像品質評価方法及びプログラム
CN117242499A (zh) 自动视频质量评估

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant