CN101558657B - 视频质量估计装置、视频质量估计方法、帧类型确定方法 - Google Patents

视频质量估计装置、视频质量估计方法、帧类型确定方法 Download PDF

Info

Publication number
CN101558657B
CN101558657B CN2008800010326A CN200880001032A CN101558657B CN 101558657 B CN101558657 B CN 101558657B CN 2008800010326 A CN2008800010326 A CN 2008800010326A CN 200880001032 A CN200880001032 A CN 200880001032A CN 101558657 B CN101558657 B CN 101558657B
Authority
CN
China
Prior art keywords
frame
grouping
video quality
data amount
frame type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008800010326A
Other languages
English (en)
Other versions
CN101558657A (zh
Inventor
牛木一成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101558657A publication Critical patent/CN101558657A/zh
Application granted granted Critical
Publication of CN101558657B publication Critical patent/CN101558657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

帧类型确定单元(15B)基于视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量；并基于帧的帧数据量之间的大小关系来确定帧类型。视频质量估计单元(15C)基于帧类型确定单元(15B)获得的每一帧的帧类型、从存储单元(14)读出的基本流的帧结构(14A)、以及从视频通信的TS分组中检测到的TS分组丢失状态来估计视频通信的视频质量。

Description

视频质量估计装置、视频质量估计方法、帧类型确定方法
技术领域
本发明涉及视频通信技术，更具体地，涉及将通过将视频信号压缩编码为多种类型的帧而获得的基本流转换为TS分组并发送TS分组的视频通信技术。
背景技术
当在视频分发(如使用无线电波的数字广播或使用通信网络的数字广播)中使用压缩编码方法(如MPEG-2标准(ISO/IEC 13818)或H.264)时，将原始视频图像压缩编码为帧(画面)，如I、P和B帧，以产生基本流，并且，将基本流划分为被称为TS分组(传输流分组)的分组并进行分发。
如果必须对这种视频分发中的版权问题给予适当考虑，则对TS分组中存储有视频数据或音频数据的有效载荷部分进行加密。接收终端接收加密的TS分组并进行解密，最终将其作为视频输出并提供给观看者。
在这些视频应用中，如果在使用无线电波的视频分发中大气条件恶化，或在使用网络的视频分发中在网络或终端处发生分组丢失或延迟，则视频质量退化，导致较差的服务质量。为了提供稳定的服务，需要对通信网络或终端的质量进行管理，以确保预定视频质量。
这种质量控制需要通过测量大气条件或网络质量(例如分组丢失或延迟)对用户观看到的视频的质量的影响，从而对质量状态进行管理。
使用帧间运动预测编码来传送由高效编码压缩的视频信号。由于使用了关于之前和之后两侧的帧信息，因此，导致分组丢失的大气条件或者网络或终端中的TS分组丢失可能不仅使一个视频帧的视频质量退化，而是使多个帧的视频质量全部退化。
在这种情况下，即使没有分组丢失，后续帧的解码视频也会发生视频质量退化。大气条件或网络上的分组丢失不一定与视频应用的退化相对应。因此，为了精确地获得大气条件或网络质量与应用质量之间的对应关系，必须基于编码的信息来正确掌握质量退化的影响范围。
为了基于编码的信息来掌握质量退化的影响范围，已经提出了一种技术，其中对每个分组添加帧类型信息并进行分发，接收侧获取该帧类型信息，并基于退化的帧的类型以及之前和之后的帧的状态来计算退化要影响的帧的数目(例如日本专利公开No.2006-33722)。由于需要对每个分组添加帧类型信息，因此这种技术的通用性较差。
为了基于编码的信息来掌握质量退化的影响范围，传统上还提出了另一种技术，其中基于退化的帧的类型以及之前和之后的帧的状态来计算退化要影响的帧的数目(例如日本专利公开No.2007-60475)。
发明内容
然而，现有技术通过分析TS分组的有效载荷部分来掌握基本流中每一帧的帧类型，因此不适用于编码后的载荷部分。
为了解决这一问题而提出了本发明，本发明的目的是提供一种视频质量估计装置、视频质量估计方法、帧类型确定方法及记录介质，即使在TS分组的有效载荷部分已加密的情况下，也能够掌握每一帧的帧类型，并考虑退化的帧的影响来估计视频质量。
为了解决上述问题，根据本发明，提供了一种视频质量估计装置所使用的视频质量估计方法，所述视频质量估计装置包括算术处理单元和存储单元，用于基于TS分组来估计视频通信的视频质量，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述视频质量估计方法包括：存储步骤，使所述存储单元存储所述基本流的帧结构；帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型；以及视频质量估计步骤，使所述算术处理单元基于所述帧类型确定步 骤中获得的每一帧的帧类型、从所述存储单元读出的所述基本流的帧结构、以及从所述视频通信的TS分组中检测到的TS分组丢失状态来估计所述视频通信的视频质量。
根据本发明，提供了一种视频质量估计装置，用于基于TS分组来估计视频通信的视频质量，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述视频质量估计装置包括：存储单元，存储所述基本流的帧结构；帧类型确定单元，基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型；以及视频质量估计单元，基于所述帧类型确定单元获得的每一帧的帧类型、从所述存储单元读出的所述基本流的帧结构、以及从所述视频通信的TS分组中检测到的TS分组丢失状态来估计所述视频通信的视频质量。
根据本发明，提供了一种帧类型确定方法，用于使包括算术处理单元和存储单元的处理装置基于视频通信中的TS分组来确定每一帧的类型，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述帧类型确定方法包括：存储步骤，使所述存储单元存储所述基本流的帧结构；以及帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型。
根据本发明，提供了一种记录介质，记录用于视频质量估计装置的程序，所述视频质量估计装置包括算术处理单元和存储单元，以基于TS分组来估计视频通信的视频质量，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述程序使计算机执行以下步骤：存储步骤，使所述存储单元存储所述基本流的帧结构；帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置 来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型；以及视频质量估计步骤，使所述算术处理单元基于所述帧类型确定步骤中获得的每一帧的帧类型、从所述存储单元读出的所述基本流的帧结构、以及从所述视频通信的TS分组中检测到的TS分组丢失状态来估计所述视频通信的视频质量。
根据本发明，提供了另一种记录介质，记录用于处理装置的程序，所述处理装置包括算术处理单元和存储单元，并基于视频通信中的TS分组来确定每一帧的类型，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述程序使计算机执行以下步骤：存储步骤，使所述存储单元存储所述基本流的帧结构；以及帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型。
本发明的效果
根据本发明，即使在TS分组的有效载荷部分已加密的情况下，可以基于从未加密的TS首部获得的信息来掌握每一帧的帧类型，并考虑退化帧的影响来精确估计视频质量。
附图说明
图1是示出了根据本发明的第一实施例的视频质量估计装置的配置的框图；
图2是示出了使用根据本发明的视频质量估计装置的IPTV系统的配置示例的框图；
图3是示出了使用根据本发明的视频质量估计装置的数字广播系统的配置示例的框图；
图4是示意根据本发明的第一实施例的视频质量估计装置的视频质量估计处理的流程图；
图5是示意根据本发明的第一实施例的视频质量估计装置的TS 分组获取处理的流程图；
图6是示出了TS分组的结构示例的视图；
图7是示意根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的流程图；
图8A是示出了根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的一部分的说明视图；
图8B是示出了根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的另一部分的说明视图；
图8C是示出了根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的又一部分的说明视图；
图8D是示出了根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的又另一部分的说明视图；
图8E是示出了根据本发明的第一实施例的视频质量估计装置的帧类型确定处理的再一部分的说明视图；
图9是示意根据本发明的第二实施例的视频质量估计装置的帧类型确定处理的流程图；
图10是示意根据本发明的第二实施例的视频质量估计装置的表现模式专用的帧类型确定处理的流程图；
图11是示意根据本发明的第二实施例的视频质量估计装置的异常帧类型确定处理的流程图；
图12是示意根据本发明的第二实施例的视频质量估计装置的连续B帧重新确定处理的流程图；
图13是示意根据本发明的第三实施例的视频质量估计装置的帧类型确定处理的流程图；
图14是示意根据本发明的第三实施例的视频质量估计装置的I帧确定处理的流程图；
图15是示意根据本发明的第三实施例的视频质量估计装置的P/B帧确定处理的流程图；
图16是示出了根据本发明的第三实施例的视频质量估计装置的P/B帧确定处理的说明视图；
图17A是示出了根据本发明的第三实施例的视频质量估计装置的P/B帧确定处理的一部分的说明视图；
图17B是示出了根据本发明的第三实施例的视频质量估计装置的P/B帧确定处理的另一部分的说明视图；
图18是示意根据本发明的第三实施例的视频质量估计装置的确定周期获知处理的流程图；
图19是示意根据本发明的第三实施例的视频质量估计装置的调整系数获知处理的流程图；
图20是示意根据本发明的第四实施例的视频质量估计装置的帧类型确定处理的流程图；
图21是示意根据本发明的第四实施例的视频质量估计装置的P帧确定处理的流程图；
图22是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的说明视图；
图23A是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的一部分的说明视图；
图23B是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的一部分的说明视图；
图23C是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的一部分的说明视图；
图23D是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的一部分的说明视图；
图23E是示出了根据本发明的第四实施例的视频质量估计装置的P帧确定处理的一部分的说明视图；
图24是示意根据本发明的第五实施例的视频质量估计装置的帧类型确定处理的流程图；
图25是示意根据本发明的第六实施例的视频质量估计装置的帧类型确定处理的流程图；
图26是示意根据本发明的第六实施例的视频质量估计装置的I帧确定处理的流程图；
图27是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的说明视图；
图28是示意根据本发明的第七实施例的视频质量估计装置的TS分组获取处理的流程图；
图29是示意根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的流程图；
图30是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的说明视图；
图31是示意根据本发明的第七实施例的视频质量估计装置的最优内插模式选择处理的流程图；
图32是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(无分组丢失)的说明视图；
图33A是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(在I帧起始处仅丢失一个分组)的说明视图；
图33B是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(从I帧起始处开始丢失多个分组)的说明视图；
图34A是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(在B或P帧起始处仅丢失一个分组)的说明视图；
图34B是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(在B或P帧起始处丢失多个分组)的说明视图；
图35是示出了根据本发明的第七实施例的视频质量估计装置的帧类型确定处理的示例(在I、B和P帧起始处丢失多个分组)的说明视图；
图36A是示出了根据本发明的第八实施例的视频质量估计装置的帧类型确定处理的示例(在I帧起始处仅丢失一个分组)的说明视图；
图36B是示出了根据本发明的第八实施例的视频质量估计装置的帧类型确定处理的示例(从I帧起始处开始丢失多个分组)的说明视 图；
图37A是示出了根据本发明的第八实施例的视频质量估计装置的帧类型确定处理的示例(在B或P帧起始处仅丢失一个分组)的说明视图；
图37B是示出了根据本发明的第八实施例的视频质量估计装置的帧类型确定处理的示例(在B或P帧起始处丢失多个分组)的说明视图；以及
图38是示出了根据本发明的第八实施例的视频质量估计装置的帧类型确定处理的示例(在I、B和P帧起始处丢失多个分组)的说明视图。
具体实施方式
现在参考附图来描述本发明的实施例。
[第一实施例]
参考图1，描述根据本发明的第一实施例的视频质量估计装置。
视频质量估计装置10由信息处理装置(如处理输入数据的计算机)形成。视频质量估计装置10具有基于视频通信中的TS分组来估计视频质量的功能，在所述视频通信中，通过将视频信号压缩编码为多种类型的帧(画面)而获得的基本流被转换为TS分组，并经由数字广播或分组通信网络(如因特网)被从发送装置传送至接收装置。
视频质量估计装置10包括以下单元作为主要功能单元：通信接口单元(以下称为通信I/F单元)11、操作输入单元12、屏幕显示单元13、存储单元14和算术处理单元15。算术处理单元15包括以下单元作为主要处理单元：TS分组获取单元15A、帧类型确定单元15B以及视频质量估计单元15C。
在本实施例中，帧类型确定单元15B基于视频通信的输入TS分组中包括的帧起始位置，对每一帧中包括的TS分组数目进行计数，作为每一帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型。视频质量估计单元15C基于帧类型确定单元15B获得的每一帧的帧 类型、从存储单元14读出的基本流的帧结构、以及从视频通信的TS分组中检测到的TS分组丢失状态来估计视频通信的视频质量。
根据本发明的视频质量估计装置用于IPTV系统或数字广播系统中。图2所示的IPTV系统是一种视频分发系统，如因特网电视系统，该系统将视频信号转换为IP分组并经由分组通信网络3A来分发IP分组。该IPTV系统包括发送装置(IPTV广播站)1A和连接至分组通信网络3A的接收装置2A。
发送装置1A通过基于MPEG-2标准(ISO/IEC 13818)来进行编码，将视频信号压缩编码为多种类型的帧，从而产生基本流。然后，发送装置1A将基本流转换为TS分组、对其有效载荷部分进行加密、将TS分组存储在IP分组中、并将其发送至分组通信网络3A。
接收装置2A从由分组通信网络3A接收到的IP分组中提取TS分组，对其有效载荷部分进行解密、并对由所获得的TS分组产生的基本流进行解码，从而产生期望的视频信号。
连接至分组通信网络3A的视频质量估计装置10捕获目标视频通信的IP分组、提取TS分组，基于TS分组来识别帧类型、并基于识别结果来估计视频质量。在这种情况下，如图2所示，可以在接收装置2A中提供视频质量估计装置10，以基于在接收装置2A中产生的TS分组来识别帧类型，并基于识别结果来估计视频质量。
图3所示的数字广播系统是一种视频分发系统，如地面数字广播或卫星广播，该系统对视频信号进行压缩编码，并经由无线广播网络3B来进行分发。该数字广播系统包括发送装置(数字广播站)1B和连接至无线广播网络3B的接收装置(TV接收机)2B。
与上述IPTV系统中的发送装置1A类似，发送装置1B根据视频信号来产生基本流、使用例如OFDM对基本流进行调制，并将其作为广播电波发送至无线广播网络3B。
与上述IPTV系统中的接收装置2A类似，接收装置2B对从无线广播网络3B接收的广播电波进行解调，以产生基本流，然后产生期望的视频信号。
视频质量估计装置10接收并解调来自无线广播网络3B的广播电 波以产生基本流、从所获得的基本流中提取TS分组，基于TS分组来识别帧类型、并基于识别结果来估计视频质量。在这种情况下，如图2所示，可以在无线广播网络3B与视频质量估计装置10之间提供接收机，用于接收并解调来自无线广播网络3B的广播电波以产生目标视频通信的IP分组。
可选地，可以在接收装置2B中提供视频质量估计装置10，以基于接收装置2B中产生的TS分组来识别帧类型，并基于识别结果来估计视频质量。此时，视频质量估计装置10可以具有以下功能：通过接收并解调来自无线广播网络3B的广播电波来产生目标视频通信的IP分组。
[视频质量估计装置的配置]
以下参照图1详细描述根据本发明的第一实施例的视频质量估计装置的配置。在这里将要解释的示例中，将该视频质量估计装置应用于图2所示的IPTV网络。
视频质量估计装置10包括以下单元作为主要功能单元：通信I/F单元11、操作输入单元12、屏幕显示单元13、存储单元14和算术处理单元15。
通信I/F单元11包括专用通信电路，并具有经由分组通信网络发送/接收各种IP分组的功能。在将视频质量估计装置应用于图3所示的数字广播系统时，通信I/F单元11可以具有通过接收和解调广播电波来产生IP分组的功能。
操作输入单元12包括操作输入设备(如键盘和鼠标)，并具有检测操作者的操作并将其输出至算术处理单元15的功能。
屏幕显示单元13由屏幕显示设备(如LCD或PDP)形成，并具有在屏幕上显示各种信息(如操作菜单和根据来自算术处理单元15的指令的视频质量估计结果)的功能。
存储单元14包括存储设备(如硬盘或存储器)，并具有存储算术处理单元15要在各种处理中使用的处理信息和程序14P的功能。经由例如视频质量估计装置10中提供的通信I/F单元11的数据输入/输出功能，从外部设备或记录介质(未示出)预先读出程序14P，并将其存储在存储单元14中。
存储单元14存储以下信息作为主要处理信息：帧结构14A、处理目标PID 14B、帧数据量14C、帧数据量序列14D、帧类型确定结果序列14F以及视频质量估计值14G。
帧结构14A是表示基本流中的帧序列的配置信息(如GOP信息)。经由操作输入单元12或通信I/F单元11预先输入与目标视频通信相对应的内容，并将其存储在存储单元14中。
处理目标PID 14B是用于识别处理目标基本流中的每个TS分组的识别信息。经由操作输入单元12或通信I/F单元11预先输入处理目标PID 14B，并将其存储在存储单元14中。对于PID(packet_indicator)，可以对接收TS分组中存储的PID进行合计，并使用具有最大接收计数的PID作为处理目标PID 14B。处理目标PID 14B可以从由PS分组通知的PMT(程序映射表)中获得。
帧数据量14C是通过使帧类型确定单元15B基于TS分组中包括的帧起始位置来对每一帧中的TS分组数目进行计数而获得的值。
帧数据量序列14D是通过将各个帧的帧数据量按照帧到达顺序(重现顺序)排列而获得的有序数据。
确定序列14E是通过从帧数据量序列14D中提取帧数据量作为用于帧类型确定的数据而获得的有序数据。
确定结果序列14F是表示帧数据量序列14D中的每一帧的帧类型确定结果的有序数据。
视频质量估计值14G是由视频质量估计单元15C估计的视频质量值。
算术处理单元15包括微处理器(如CPU)及其外围电路，并具有以下功能：从存储单元14中读出程序14P，并使微处理器执行程序14P以使上述硬件与程序14P协作，从而实现各种处理单元，如TS分组获取单元15A、帧类型确定单元15B以及视频质量估计单元15C。
TS分组获取单元15A具有从由通信I/F单元11输出的IP分组中提取TS分组的功能，以及获取TS分组中PID与存储单元14中的处理目标PID 14B相匹配的一个TS分组的功能。
帧类型确定单元15B具有以下功能：检测TS分组获取单元15A所 获取的TS分组中包括的帧起始位置；基于帧起始位置来对帧中包括的TS分组的数目进行计数，作为帧的帧数据量，并将该帧数据量存储在存储单元14中的帧数据量序列14D中；以及基于帧的帧数据量之间的大小关系来确定每一帧的帧类型。
视频质量估计单元15C具有以下功能：基于TS分组获取单元15A所获取的每个TS分组来确认TS分组丢失状态；基于TS分组丢失状态、帧类型确定单元15B所获得的每一帧的帧类型、以及从存储单元14读出的基本流的帧结构14A来估计视频通信的视频质量；以及将估计值存储在存储单元14中作为视频质量估计值14G。可以使用已知技术(例如专利参考文献2)来实现视频质量估计单元15C的视频质量估计处理，这里省略其详细描述。
[第一实施例的操作]
以下参照图4来描述根据本发明的第一实施例的视频质量估计装置的操作。
[视频质量估计处理]
视频质量估计装置10的算术处理单元15根据由操作输入单元12检测到的指示开始视频质量估计的操作者操作，开始图4所示的视频质量估计处理。
算术处理单元15首先使TS分组获取单元15A从存储单元14中读出处理目标PID 14B(步骤100)，并执行TS分组获取处理(以后描述)来从由通信I/F单元11接收的IP分组中获取处理目标TS分组(步骤101)。
算术处理单元15使帧类型确定单元15B针对由TS分组获取单元15A获取的TS执行帧类型确定处理(以后描述)，从而确定处理目标基本流中的每一帧的帧类型(步骤102)。
算术处理单元15确定针对视频质量估计周期中要用于估计视频质量的所有帧的帧类型确定是否已经结束(步骤103)。如果帧类型确定尚未结束(步骤103中为否)，则该处理返回步骤101继续处理。
如果帧类型确定已结束(步骤103中为是)，则算术处理单元15使视频质量估计单元15C基于由TS分组获取单元15A获取的TS分组来确 认TS分组丢失状态(步骤104)。
视频质量估计单元15C从存储单元14中读出确定结果序列14F作为帧的帧类型(步骤105)，基于TS丢失状态、帧的帧类型和从存储单元14中读出的基本流的帧结构14A来估计视频通信的视频质量(步骤106)，将估计值存储在存储单元14中作为视频质量估计值14G(步骤106)并结束这一系列视频质量估计处理。
[TS分组获取处理]
以下参照图5来描述根据本发明的第一实施例的视频质量估计装置的TS分组获取处理。
在图4的步骤101中的TS分组获取处理中，算术处理单元15中的TS分组获取单元15A首先从通信I/F单元11输出的IP分组中提取新的TS分组(步骤110)，并从该TS分组的TS首部中获取PID(步骤111)。
如图6所示，由ITU-T Rec.H.222标准定义的TS分组包括：TS首部，存储各种识别信息；适配字段部分，存储各种扩展信息；以及TS有效载荷部分，存储有基本流。由于TS有效载荷部分是加密的，因此无法分析其内容。另一方面，TS首部和适配字段部分未加密，可以分析其内容。
TS首部在自顶端起第10个比特处存储有payload_unit_start_indicator(PUSI)信息，作为表示帧起始位置的识别信息。当payload_unit_start_indicator信息为“1”时，TS分组的TS有效载荷部分包括PES首部。PES首部表示视频/音频数据中的中断，其在基本流中的出现场合依编码器而改变。在本实施例中使用的编码器使用表示帧起始位置的PES首部，如可以从Tanber得到的EN5090或可以从Scientifc Atlanta得到的D9054。注意，如果编码器所使用的PES首部不表示帧起始位置，但是可以基于特定规则被推断为帧起始位置，则该PES首部被认为是基于该规则的帧起始位置。
TS首部还从自顶端起第12比特开始，在13个比特中存储有PID(packet_indicator)作为识别信息，表示TS分组的TS有效载荷部分中存储的数据内容类型。通过检查PID，可以识别在TS分组的TS有效载荷中存储有压缩编码后的帧数据。
TS首部还从自顶端起第28个比特开始，在4个比特中存储有连续性指示符(CC：continuity_counter)，作为表示具有相同PID的TS分组的序列号的信息。
TS首部还从自顶端起第26个比特开始，在2个比特中存储有适配字段控制信息(AFC：adaptation_field_control)，作为识别信息，表示适配字段部分和TS有效载荷部分的存在/不存在。
适配字段部分存储RAI(random_access_indicator)信息和ESPI(elementary_stream_priority_indicator)信息。这两个信息都是表示帧起始的识别信息，在一些编解码器中附加使用这些信息。
在RTP(实时传输协议/RFC3550，)中，定义了一种传输层协议，用于实时发送/接收音频数据或运动图像，并使用该协议作为UDP(用户数据报协议)的上层协议。如图6所示，RTP使用分层结构，该分层结构将包括RTP首部和RTP有效载荷在内的RTP分组存储在基于UDP的IP分组中。因此，在IP分组中的RTP分组的RTP有效载荷部分中，存储有与通信方法相对应的尽可能多(例如7个)的TS分组，并将其发送至分组通信网络3A。
RTP首部从自顶端起第9个比特开始，在一个比特中存储有MB(MakerBit)信息，作为识别信息，表示目标实时应用的应用数据的边界。
RTP首部还从自顶端起第17个比特开始，在16个比特中存储有RTP序列号(RTP-SEQ)，作为表示RTP分组的序列号的信息。
TS分组获取单元15A将获取的PID与存储单元14中的处理目标PID进行比较(步骤112)。如果PID不匹配(步骤112中为否)，则该处理返回步骤110以处理下一个TS分组。
如果PID相匹配(步骤112中为是)，则TS分组获取单元15A将该TS分组暂时存储在存储单元14中作为处理目标TS分组(步骤113)，并结束这一系列TS分组获取处理。
[帧类型确定处理]
以下参照图7和图8A至8E来描述根据本发明的第一实施例的视频质量估计装置的帧类型确定处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图7中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator 信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。该处理返回图5中的步骤110以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将帧数据量14C存储在存储单元14中帧数据量序列14D的结尾处，作为新的有序数据(步骤123)，并将该帧数据量14C清零(步骤124)。
帧类型确定单元15B将帧数据量序列14D中的序列长度与存储单元14中的帧结构14A所定义的最大GOP长度进行比较(步骤125)。如果帧数据量序列14D的序列长度等于或小于最大GOP长度(步骤125中为否)，则该处理返回图5中的步骤110以处理下一TS分组。
如果帧数据量序列14D的序列长度大于最大GOP长度(步骤125中为是)，则如图8A所示，帧类型确定单元15B将与例如最大GOP长度相对应的帧F1至F17的有序数据(帧数据量)从帧数据量序列14D的起始处移动至存储单元14中的确定序列14E(步骤130)。
如图8B所示，帧类型确定单元15B从确定序列14E的有序数据中选择最大帧数据量(即帧F15的有序数据)，将与该帧数据量相对应的帧确定为I帧，并将表示I帧的帧类型信息存储在存储单元14中作为确定结果序列14F中与帧F15相对应的有序数据(步骤131)。
在基本流中，I帧包含未经帧间预测压缩的帧数据。因此，I帧的数据量比经过帧间预测压缩的P或B帧的数据量大几倍或更多。因此，可以将仅出现一次I帧的周期(如最大GOP长度)中具有最大帧数据量的帧确定为I帧，其中确定周期等于或小于基本流中的I帧间隔。
如图8C所示，帧类型确定单元15B从确定序列14F的有序数据中选 择与从起始帧至紧接I帧之前的帧之间的帧(即帧F1至F14)相对应的有序数据(帧数据量)(步骤132)，在这些有序数据中，将帧数据量大于周围帧的帧数据量的每一帧确定为P帧，并将表示I帧的帧类型信息存储在存储单元14中作为确定结果序列14F中与帧F15相对应的有序数据(步骤133)。
在基本流中，将P帧与B帧进行比较。按时间顺序使用前向运动补偿预测来进行压缩编码的P帧的数据量大于在前向和反向上使用双向运动补偿预测来进行压缩编码的B帧的数据量。因此，如果帧的帧数据量之间的大小关系与预定确定帧模式相匹配，则可以将与确定帧模式中的P帧相对应的帧指定为P帧，其中所述预定确定帧模式在无I帧的确定周期中包括一个P帧和多个B帧。
例如，当将一般GOP结构中出现的帧模式“IBBPBB”中包括的确定帧模式“BBPB”与帧数据量增大/减小的转变进行对照时，P帧的帧数据量大于每个B帧的帧数据量。在图8C所示的示例中，帧F1至F4的帧数据量为“10”、“20”、“60”和“25”。大小关系为帧F1＜帧F3、帧F2＜帧F3以及帧F3＞帧F4，这与确定帧模式“BBPB”的帧数据量增大/减小的转变相匹配。因此，可以将与确定帧模式“BBPB”中的P帧相对应的帧F3确定为P帧。
因此，针对处理目标基本流的GOP结构中包括的确定帧模式，从确定周期中选择与N种确定帧模式相对应的连续帧作为确定目标帧。将确定目标帧的帧数据量之间的大小关系与确定帧模式进行比较。可以基于其间的匹配来指定P帧。可以通过在对确定目标帧选择位置进行顺序偏移的同时重复执行比较来指定无I帧的确定周期中的所有P帧。
在GOP结构中，使用以下模式作为确定帧模式：该模式包括紧接在P帧之前的所有连续B帧和在P帧下一帧的一个B帧。例如，在GOP结构“IBBBPBBB”中，使用确定帧模式“BBBPB”，该模式包括紧接在P帧之前的3个连续B帧和在P帧下一帧的一个B帧。使用这种确定帧模式能够正确检测P帧相对于其余B帧的帧数据量的增大，而不会错误地检测到完全在B帧之间的帧数据量的增大。
在按照这种方式确定了P帧之后，如图8D所示，帧类型确定单元15B将帧F1至F14中在步骤132从确定周期中选出，但未在步骤133中被确定为P帧的其余未确定帧F1、F2、F4、F5、F7、F8、F10、F11、F13和F14确定为B帧，并将表示B帧的帧类型信息存储在存储单元14中作为确定结果序列14F中与B帧相对应的有序数据(步骤134)。
如图8E所示，帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧F1至F15相对应的帧数据量(步骤135)，并结束这一系列帧类型确定处理。
[第一实施例的效果]
如上所述，在本实施例中，帧类型确定单元15B基于视频通信的输入TS分组中包括的帧起始位置，对帧中包括的TS分组数目进行计数，作为帧的帧数据量，并基于帧的帧数据量之间的大小关系来确定帧类型。视频质量估计单元15C基于帧类型确定单元15B获得的每一帧的帧类型、从存储单元14读出的基本流的帧结构14A、以及从视频通信的TS分组中检测到的TS分组丢失状态来估计视频通信的视频质量。因此，即使在TS分组的有效载荷部分已加密的情况下，也能够掌握每一帧的帧类型，并考虑退化的帧的影响来估计视频质量。
在本实施例中，在确定周期(等于或小于基本流中的I帧间隔)中在时间上连续的帧中，将具有最大帧数据量的帧确定为I帧。使用基本流中的最大GOP长度作为该确定周期。因此，可以正确指定I帧。此外，由于计算量较小，减小了实现中的限制。
在本实施例中，假定基本流的帧结构包括确定帧模式，在确定帧模式中，包括多个B帧、一个P帧和一个B帧在内的N(N为4以上的整数)个帧在时间上连续。如果在不包含I帧的N个时间上连续的帧中，从第一帧至第N-2帧的所有帧以及第N帧的帧数据量都小于第N-1帧的帧数据量，则将第N-1帧确定为P帧。这可以正确指定P帧。此外，由于计算量较小，减小了实现中的限制。
在本实施例中，在不包含I帧的在时间上连续的预定数目的帧中，将未被确定为P帧的其余帧确定为B帧。这可以正确指定B帧。此外，由于计算量较小，减小了实现中的限制。
在本实施例中，基于TS分组的首部中包括的payload_unit_start_indicator信息的值来检测帧起始位置。这实现了对每一帧的帧数据量进行正确计数。
[第二实施例]
以下描述根据本发明的第二实施例的视频质量估计装置。
在第一实施例中，在假定使用一般压缩编码方法(其中GOP结构极少改变为不同于帧表现模式“IBBPBB”)的情况下说明了帧类型确定。在第二实施例描述的示例中，GOP结构包括上述模式之外的表现模式。
在根据本实施例的视频质量估计装置中，算术处理单元15中的帧类型确定单元15B通过以下方式来执行帧类型确定处理：针对多种不同表现模式中的每一种，预先设置表示该表现模式中包括的帧的位置和帧数据量之间关系的准则。针对不包括I帧在内的在时间上连续的多个帧，检查是否满足每个准则。基于与所满足的准则相对应的表现模式来确定每一帧的类型。
准则包括：基于表现模式中预定位置处的多个帧的帧数据量的平均值而计算的阈值与表现模式中每一帧的帧数据量之间的比较结果，即其间的大小关系。将每个准则预先存储在存储单元14中。帧类型确定单元15B在需要时从存储单元14中读出准则并使用准则。
除了算术处理单元15中的帧类型确定单元15B执行的确定处理的内容之外，第二实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
[第二实施例的操作]
以下参照图9来描述根据本发明的第二实施例的视频质量估计装置的帧类型确定处理。在图9中，使用与上述图7中相同的步骤编号表示相同或相似的处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行与上述图7中的步骤120至125相同的处理。
如果在步骤125中帧数据量序列14D的序列长度大于最大GOP长 度(步骤125中为是)，则如图8A所示，帧类型确定单元15B将与最大GOP长度相对应的帧F1至F17的有序数据(帧数据量)从帧数据量序列14D的起始处移动至存储单元14中的确定序列14E(步骤130)。
如图8B所示，帧类型确定单元15B从确定序列14E的有序数据中选择最大帧数据量(即帧F15的有序数据)，将与该帧数据量相对应的帧确定为I帧，并将表示I帧的帧类型信息存储在存储单元14中作为确定结果序列14F中与帧F15相对应的有序数据(步骤131)。
在基本流中，I帧包含未经帧间预测压缩的帧数据。因此，I帧的数据量比经过帧间预测压缩的P或B帧的数据量大几倍或更多。因此，可以将仅出现一次I帧的周期(如最大GOP长度)中具有最大帧数据量的帧确定为I帧，其中确定周期等于或小于基本流中的I帧间隔。
如图8C所示，帧类型确定单元15B从确定序列14F的有序数据中选择与从起始帧至紧接I帧之前的帧(即帧F1至F14)相对应的有序数据(帧数据量)(步骤132)，将有序数据的起始处设置为确定目标帧起始位置，并执行以后描述的图10中的表现模式专用的帧类型确定处理(步骤200)。
在表现模式专用的帧类型确定处理中，如果对于从确定目标帧起始位置开始的预定数目的帧，未满足任一表现模式的准则，即如果确定失败(步骤201中为否)，则帧类型确定单元15B执行以后要描述的图11中的异常帧类型确定处理作为表现模式专用的帧类型确定处理的异常处理(步骤202)。
如果对于从确定目标帧起始位置开始的预定数目的帧，满足一个表现模式的准则，即如果在步骤200中确定成功(步骤201中为是)，或在步骤202之后，帧类型确定单元15B确定对步骤132中选择的所有有序数据的确定是否已经结束(步骤203)。
如果对所有有序数据的确定未结束(步骤203中为否)，则帧类型确定单元15B返回步骤200以从新设置的确定目标帧起始位置开始重复执行表现模式专用的帧类型确定处理。
如果对步骤132中选择的所有有序数据的确定已结束(步骤203中为是)，则帧类型确定单元15B对每个已确定的有序数据执行图12(以 后要描述)中的连续B帧重新确定处理(步骤204)。
如图8E所示，帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧F1至F15相对应的帧数据量(步骤135)，并结束这一系列帧类型确定处理。
[表现模式专用的帧类型确定处理]
以下参照图10来描述根据本发明的第二实施例的视频质量估计装置的表现模式专用的帧类型确定处理。
在图9的步骤200中，算术处理单元15中的帧类型确定单元15B执行图10中的表现模式专用的帧类型确定处理。
帧类型确定单元15B确定从当前选择的确定目标帧起始位置开始预定数目的帧是否满足表现模式“BBP”的准则(步骤210)，表现模式“BBP”是GOP结构“IBBPB”的稳定起始模式。
更具体地，紧接在I帧之后设置确定目标帧起始位置。对于从确定目标帧起始位置开始的两帧(对应于BB)，例如从图8C中的确定序列14E的有序数据的起始处开始的两个有序数据F1和F2，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算下限值(阈值)。接下来，将该下限值与从确定目标帧起始位置起的第三帧(例如从图8C中的确定序列14E的有序数据的起始处起的第三个有序数据F3)的帧数据量进行比较。
如果该帧数据量大于下限值，则将从确定目标帧起始位置开始的3帧确定为“BBP”。用于计算平均值的帧不局限于上述这些帧。例如，可以使用从确定目标帧起始位置开始的3个帧的平均值。用于计算阈值的预定系数不局限于1.2。可以选择与系统或视频相符的值。
如果满足该准则并且确定成功(步骤211中为是)，则帧类型确定单元15B将与每个确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤220)，选择新的确定目标帧起始位置(步骤221)，并结束这一系列表现模式专用的帧类型确定处理。
在步骤221中，如果帧数据确定结果中的最后的帧的帧类型为P帧，则将该P帧设置为新的确定目标帧起始位置。如果最后的帧的帧类型不是P帧，则将P帧的下一帧设置为新的确定目标帧起始位置。如 果最后的帧的帧类型为P帧，则重新使用该P帧作为起始帧。这与不进行重新使用的情况相比，实现了稳定无误的帧类型确定。
如果未满足该准则并且在步骤210中帧类型确定失败(步骤211中为否)，则帧类型确定单元15B确定从当前选择的确定目标帧起始位置开始的预定数目的帧是否满足包括连续P帧在内的表现模式的准则(步骤212)。
更具体地，对于从确定目标帧起始位置开始的预定数目的帧，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算上限值(阈值)。此外，向该平均值添加例如0.8的预定系数，从而计算下限值(阈值)。接下来，将该上限值和下限值与从确定目标帧起始位置开始的预定数目的帧中的每一帧的帧数据量进行比较。如果帧数据量落入该上限值和下限值之间的范围，则将从确定目标帧起始位置开始的预定数目的所有帧确定为P帧。
用于平均值计算和确定的帧数目的最大值为从确定目标帧起始位置至下一I帧的帧数目，最小值为从确定目标帧起始位置开始预定最小帧数目(例如4个)。在将帧数目从最大值逐渐减小至最小值的同时重复进行确定，当确定成功时结束确定。用于计算阈值的预定系数不局限于1.2和0.8。可以选择与系统或视频相符的值。
如果满足了该准则并且确定成功(步骤213中为是)，则帧类型确定单元15B将与每个确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤220)，为下一次确定选择确定目标帧起始位置(步骤221)，并结束这一系列表现模式专用的帧类型确定处理。
如果未满足该准则并且在步骤212中帧类型确定失败(步骤213中为否)，则帧类型确定单元15B确定从当前选择的确定目标帧起始位置开始的预定数目的帧是否满足表现模式“PBBP”的准则(步骤214)，表现模式“PBBP”是GOP结构“IBBPBB”的稳定中间模式。
更具体地，对于从确定目标帧起始位置的下一帧开始的两帧(对应于BB)，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算下限值(阈值)。接下来，将该下限值与确定目标帧起 始位置处的帧(对应于P)和从确定目标帧起始位置起的第三帧(对应于P)中的每一个进行比较。如果这两帧的帧数据量均大于下限值，则将从确定目标帧起始位置开始的4帧确定为“PBBP”。用于计算平均值的帧不局限于上述这些帧。例如，可以使用从确定目标帧起始位置的下一帧开始的3个帧的平均值。用于计算阈值的预定系数不局限于1.2。可以选择与系统或视频相符的值。
如果满足该准则并且确定成功(步骤215中为是)，则帧类型确定单元15B将与每个确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤220)，为下一次确定选择确定目标帧起始位置(步骤221)，并结束这一系列表现模式专用的帧类型确定处理。
如果未满足该准则并且在步骤214中帧类型确定失败(步骤215中为否)，则帧类型确定单元15B确定从当前选择的确定目标帧起始位置开始的预定数目的帧是否满足表现模式“PBB”的准则(步骤216)，表现模式“PBB”是GOP结构“IBBPBB”的稳定中间模式。
更具体地，对于从确定目标帧起始位置的下一帧开始的两帧(对应于BB)，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算下限值(阈值)。接下来，将该下限值与确定目标帧起始位置处的帧(对应于P)进行比较。如果该帧的帧数据量大于下限值，则将从确定目标帧起始位置开始的3帧确定为“PBB”。用于计算平均值的帧不局限于上述这些帧。例如，可以使用从确定目标帧起始位置的下一帧开始的3个帧的平均值。用于计算阈值的预定系数不局限于1.2。可以选择与系统或视频相符的值。
如果满足该准则并且确定成功(步骤217中为是)，则帧类型确定单元15B将与每个确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤220)，为下一次确定选择确定目标帧起始位置(步骤221)，并结束这一系列表现模式专用的帧类型确定处理。
如果未满足该准则并且在步骤216中帧类型确定失败(步骤217中为否)，则帧类型确定单元15B确定从当前选择的确定目标帧起始位置 开始的预定数目的帧是否满足表现模式“PPBBP”的准则(步骤218)，表现模式“PPBBP”是从GOP结构“IBBPBB”改变而来的异常模式。
更具体地，对于从确定目标帧起始位置起第二帧开始的两帧(对应于BB)，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算下限值(阈值)。接下来，将该下限值与从确定目标帧起始位置开始的两帧(对应于P)以及从确定目标帧起始位置起的第五帧(对应于P)进行比较。如果这些帧的帧数据量大于下限值，则将从确定目标帧起始位置开始的5帧确定为“PPBBP”。用于计算平均值的帧不局限于上述这些帧。例如，可以使用从确定目标帧起始位置的下一帧开始的4个帧的平均值。用于计算阈值的预定系数不局限于1.2。可以选择与系统或视频相符的值。
如果满足该准则并且确定成功(步骤219中为是)，则帧类型确定单元15B将与每个确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤220)，为下一次确定选择确定目标帧起始位置(步骤221)，并结束这一系列表现模式专用的帧类型确定处理。
如果未满足该准则并且在步骤218中帧类型确定失败(步骤219中为否)，则帧类型确定单元15B结束这一系列表现模式专用的帧类型确定处理。
[异常帧类型确定处理]
以下参照图11来描述根据本发明的第二实施例的视频质量估计装置的异常帧类型确定处理。
在图9的步骤202中，算术处理单元15中的帧类型确定单元15B执行图11中的异常帧类型确定处理。
帧类型确定单元15B确定在确定目标帧起始位置处的帧是否满足基于P和B帧的帧数据量平均值的P和B帧的准则(步骤230)。
更具体地，从存储单元14中具有已确定帧类型的确定结果序列14F中选择位于预定范围内的预定数目的P帧。对于这些P帧，基于存储单元14中的确定序列14E中的帧数据量来计算平均值。此外，计算位于该预定范围内的预定数目的P帧的帧数据量的平均值。获得上述 两个平均值的平均值作为阈值。如果在存储单元14中的确定序列14E中，确定目标帧起始位置处的帧的帧数据量大于阈值，则将该帧确定为P帧。如果该帧数据量小于阈值，则将该帧确定为B帧。可以使用相同的准则，对从确定目标帧起始位置开始的多个帧进行上述确定。
如果满足该准则并且确定成功(步骤231中为是)，则帧类型确定单元15B将与确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤237)，选择最后确定的帧的下一帧作为新的确定目标帧起始位置(步骤238)，并结束这一系列异常帧类型确定处理。
如果未满足该准则并且在步骤230中帧类型确定失败(步骤231中为否)，则帧类型确定单元15B确定在确定目标帧起始位置处的帧是否满足P帧的准则(步骤232)，该准则使用与P帧相关的帧数据量的平均值。
更具体地，对于在位于该GOP范围内的紧接前一P帧之前的预定数目的P帧，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算上限值(阈值)。此外，向该平均值添加例如0.8的预定系数，从而计算下限值(阈值)。接下来，将该上限值和下限值与确定目标帧起始位置处的帧的帧数据量进行比较。如果该帧数据量落入该上限值和下限值之间的范围，则将确定目标帧起始位置处的帧确定为P帧。可以使用相同的准则，对从确定目标帧起始位置开始的多个帧进行上述确定。
如果满足该准则并且确定成功(步骤233中为是)，则帧类型确定单元15B将与确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤237)，选择最后确定的帧的下一帧作为新的确定目标帧起始位置(步骤238)，并结束这一系列异常帧类型确定处理。
如果未满足该准则并且在步骤232中帧类型确定失败(步骤233中为否)，则帧类型确定单元15B确定在确定目标帧起始位置处的帧是否满足B帧的准则(步骤234)，该准则使用与B帧相关的帧数据量的平均值。
更具体地，对于在位于该GOP范围内的紧接前一P帧之前的预定数目的B帧，计算帧数据量的平均值。向该平均值添加预定系数(例如1.2)，从而计算上限值(阈值)。接下来，将该上限值与确定目标帧起始位置处的帧的帧数据量进行比较。如果该帧数据量小于该上限值，则将确定目标帧起始位置处的帧确定为B帧。可以使用相同的准则，对从确定目标帧起始位置开始的多个帧进行上述确定。
如果满足该准则并且确定成功(步骤235中为是)，则帧类型确定单元15B将与确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤237)，选择最后确定的帧的下一帧作为新的确定目标帧起始位置(步骤238)，并结束这一系列异常帧类型确定处理。
如果未满足该准则并且在步骤234中帧类型确定失败(步骤235中为否)，则帧类型确定单元15B将确定目标帧起始位置处的帧确定为P帧(步骤236)，将与确定结果相对应的帧类型信息存储在存储单元14中的确定结果序列14F的相应帧中(步骤237)，选择最后确定的帧的下一帧作为新的确定目标帧起始位置(步骤238)，并结束这一系列异常帧类型确定处理。
[连续B帧重新确定处理]
以下参照图12来描述根据本发明的第二实施例的视频质量估计装置的连续B帧重新确定处理。
在图9的步骤204中，算术处理单元15中的帧类型确定单元15B执行图12中的连续B帧重新确定处理。
帧类型确定单元15B参照存储单元14中的确定结果序列14F的有序数据，并确定在GOP结构结尾处是否满足3或4个B帧连续的准则。如果满足该准则，则将这些B帧重新确定为“BBP”(如果3个B帧连续)或“BBPP”(如果4个B帧连续)。根据确定结果来更新存储单元14中的确定结果序列14F的对应帧的帧类型信息(步骤240)。
帧类型确定单元15B将图9的步骤132中选择的有序数据(帧数据量)的起始处设置为重新确定目标帧起始位置(步骤241)，并确定是否满足以下准则：在存储单元14中的确定结果序列14F的有序数据中， 从重新确定目标帧起始位置开始5或8个B帧连续。如果满足该准则，则将这些B帧重新确定为“BBPBB”(如果5个B帧连续)或“BBPBBPBB”(如果8个B帧连续)。根据确定结果来更新存储单元14中的确定结果序列14F的对应帧的帧类型信息(步骤242)。
如果满足该准则并且确定成功(步骤243中为是)，帧类型确定单元15B确定对步骤241中选择的所有有序数据的确定是否已经结束(步骤203)。
如果对所有有序数据的确定尚未结束(步骤245中为否)，则帧类型确定单元15B选择下一个重新确定目标帧起始位置(步骤246)，返回步骤242以对从新设置的重新确定目标帧起始位置开始重复执行处理。
如果未满足该准则并且步骤243中帧类型确定失败(步骤243中为否)，则帧类型确定单元15B确定是否满足以下准则：从重新确定目标帧起始位置开始，3、4、6或7个B帧连续。如果满足该准则，则将这些B帧重新确定为“BBP”(如果3个B帧连续)、“BBPB”(如果4个B帧连续)、“BBPBBP”(如果6个B帧连续)或“BBPBBPB”(如果7个B帧连续)。根据确定结果来更新存储单元14中的确定结果序列14F的对应帧的帧类型信息(步骤244)。
此后，帧类型确定单元15B确定对步骤241中选择的所有有序数据的确定是否已经结束(步骤203)。
如果对所有有序数据的确定尚未结束(步骤245中为否)，则帧类型确定单元15B选择下一个重新确定目标帧起始位置(步骤246)，返回步骤242以对从新设置的重新确定目标帧起始位置开始重复执行处理。
如果在步骤245中对所有有序数据的确定已结束(步骤245中为是)，帧类型确定单元15B结束这一系列的连续B帧重新确定处理。
[第二实施例的效果]
如上所述，在本实施例的算术处理单元15中帧类型确定单元15B的帧类型确定处理中，针对多种不同表现模式中的每一种，预先设置表示表现模式中包括的帧的位置与帧数据量之间关系的准则。基于每 个表现模式的准则来检查不包括I帧的在时间上连续的多个帧。基于与所满足的准则相对应的表现模式来确定每一帧的类型。这实现了在除GOP结构的一般帧表现模式之外的其他表现模式中确定每一帧的类型。
准则包括：基于预定范围内的多个帧的帧数据量的平均值而计算的阈值与表现模式中每一帧的帧数据量之间的比较结果，即其间的大小关系。因此，可以通过非常简单的算术处理来确定帧类型。
[第三实施例]
以下描述根据本发明的第三实施例的视频质量估计装置。
在第一和第二实施例所描述的示例中，基于相对于确定目标帧之前和之后的帧的帧数据量增大/减小关系来确定确定目标帧的帧类型。在第三实施例中，描述了一种基于阈值来确定P和B帧的帧类型确定方法，以及获知用于该帧类型确定方法的系数的方法。
除了算术处理单元15中的帧类型确定单元15B执行的处理的内容之外，第三实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
[第三实施例的操作]
以下描述根据本发明的第三实施例的视频质量估计装置的操作。
本实施例的视频质量估计装置10在使算术处理单元15的帧类型确定单元15B确定确定目标帧的帧类型时，使用两种帧确定处理，即I帧确定处理和P/B帧确定处理。
I帧确定处理是确定I帧的帧确定方法。使用表示I帧搜索范围的确定周期作为系数。使用表示最大GOP长度的值作为该确定周期。
P/B帧确定处理是确定P和B帧的确定处理。使用调整系数作为系数，所述调整系数基于帧数据量来调整用于区分P和B帧的阈值。
优选地，在执行帧确定处理之前，预先获知确定周期和调整系数并将其存储在存储单元14中。然而，可以从外部输入标准值并存储在存储单元14中。为了获知确定周期和调整系数，顺序地按两步执行获知处理。更具体地，首先获知确定周期，然后获知调整系数。
[帧类型确定处理]
首先参照图13来描述根据本发明的第三实施例的视频质量估计装置的帧类型确定处理。在图13中，与图7中相同的步骤编号表示相同或相似的处理。
在图4的步骤102的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图13中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。该处理返回图5中的步骤110以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将帧数据量14C存储在存储单元14中帧数据量序列14D的结尾处作为新的有序数据(步骤123)，并将该帧数据量14C清零(步骤124)。
帧类型确定单元15B使用作为系数给出的确定周期来执行图14(以后描述)中的I帧确定处理(步骤300)，然后，使用作为系数的调整系数来执行图15(以后描述)中的P/B帧确定处理(步骤301)。
使用这些处理，将表示I、P和B帧之一的帧类型确定结果以与帧数据量序列14D中直至下一I帧的每一帧相对应的方式存储在存储单元14中的确定结果序列14F中。
如上述图8E所示，帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧相对应的帧数据量(步骤135)，并结束这一系列帧类型确定处理。
[I帧确定处理]
以下参照图14来描述根据本发明的第三实施例的视频质量估计装置的I帧确定处理。
在图13的步骤300的I帧确定处理中，算术处理单元15中的帧类型确定单元15B执行图14中的I帧确定处理。
帧类型确定单元15B将序列长度(即存储单元14中的帧数据量序列14D的数据数目)与作为系数给出的确定周期(即在这种情况下是最大GOP长度)进行比较(步骤310)。
如果序列长度小于最大GOP长度(步骤310中为否)，则算术处理单元15返回图5中的步骤110以处理下一TS分组。
如果序列长度等于或大于最大GOP长度(步骤310中为是)，则如上述图8A所示，帧类型确定单元15B将与最大GOP长度相对应的数据F1至F17从存储单元14中的帧数据量序列14D移动至确定序列14E(步骤311)。
如图8B所示，帧类型确定单元15B将与确定序列14E中具有最大帧数据量的数据15相对应的帧确定为I帧，并将确定结果存储在存储单元14中的确定结果序列14F中(步骤312)，并结束这一系列I帧确定处理。
[P/B帧确定处理]
以下参照图15、16、17A和17B来描述根据本发明的第三实施例的视频质量估计装置的P/B帧确定处理。
在图13的步骤301的P/B帧确定处理中，算术处理单元15中的帧类型确定单元15B执行图15中的P/B帧确定处理。
如图16和17A所示，帧类型确定单元15B计算存储单元14中的确定序列14E中，从起始帧直至在上述I帧确定处理中被确定为I帧的帧的帧数据量的简单平均值(步骤320)。在图17A所示的示例中，计算帧F1至F14的简单平均值。
帧类型确定单元15B将所获得的简单平均值与作为系数给出的调整系数相乘，从而计算P/B帧确定的阈值(步骤321)。
如图17B所示，帧类型确定单元15B选择确定序列14E的起始帧(步骤322)，并将所选的帧的帧数据量与该阈值进行比较(步骤323)。
如果所选的帧的帧数据量大于该阈值(步骤323中为是)，则帧类型确定单元15B将所选的帧确定为P帧，并将表示P帧的帧类型信息存储在存储单元14中的确定结果序列14F中的所选的帧中(步骤324)。
在图17B所示的示例中，帧F3、F6、F9和F12的帧数据量大于该阈 值，因此被确定为P帧。其余帧F1、F2、F4、F5、F7、F8、F10、F11、F13和F14的帧数据量等于或小于该阈值，因此被确定为B帧。
如果所选的帧的帧数据量等于或小于该阈值(步骤323中为否)，则帧类型确定单元15B将所选的帧确定为B帧，并将表示B帧的帧类型信息存储在存储单元14中的确定结果序列14F中的所选的帧中(步骤325)。
此后，帧类型确定单元15B确定是否已经对直至确定序列14E中最后一帧的所有帧执行了使用该阈值的帧类型确定(步骤326)。如果确定尚未进行至该最后一帧(步骤326中为否)，则帧类型确定单元15B从确定序列14E中选择下一帧(步骤327)，并返回步骤323。
如果确定已经进行至该最后一帧(步骤326中为是)，则帧类型确定单元15B结束这一系列P/B帧确定处理。
[确定周期获知方法]
以下参照图18来描述根据本发明的第三实施例的视频质量估计装置的确定周期获知方法。
在确定周期获知处理中，在处理目标基本流中，在与预先给出的获知周期相对应的TS分组中对从每个I帧至下一I帧的帧数目进行计数。获知最大值，即最大GOP，作为要在I帧确定处理中用作系数的确定周期。
当帧类型确定单元15B要确定目标帧的帧类型时，视频质量估计装置10的算术处理单元15预先执行图18中的确定周期获知处理。假定在执行确定周期获知处理之前，处理目标PID 14B已存储在存储单元14中作为识别处理目标基本流中的TS分组的识别信息。
帧类型确定单元15B将确定周期清零，并将临时帧计数设置为“1”，从而对确定周期和临时帧计数进行初始化(步骤350)。TS分组获取单元15A执行上述图5中的TS分组获取处理，从而获取具有处理目标PID 14B的TS分组(步骤351)。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并基于TS首部中的payload_unit_start_indicator信息来确定该TS分组是否在帧的起始处(步骤352)。如果该TS分组不在帧的 起始处(步骤352中为否)，则该处理返回步骤351。
如果所获取的TS分组在帧的起始处(步骤352中为否)，则帧类型确定单元15B分析该TS分组以获取帧类型(步骤353)。
如果所获取的帧类型表示除I帧之外的帧(步骤354中为否)，则帧类型确定单元15B将临时帧计数加1(步骤355)并返回步骤301。
如果所获取的帧类型表示I帧(步骤354中为是)，帧类型确定单元15B将该临时帧计数与确定周期进行比较(步骤356)。仅当临时帧计数大于确定周期时(步骤356中为是)，帧类型确定单元15B将临时帧计数存储为确定周期(步骤357)。
此后，帧类型确定单元15B将临时帧计数初始化为1(步骤358)。如果与获知周期相对应的TS分组的处理尚未结束(步骤359中为否)，则该处理返回步骤301。如果与获知周期相对应的TS分组的处理已经结束(步骤359中为是)，则帧类型确定单元15B结束这一系列确定周期获知处理。
通过这种处理，在处理目标基本流的TS分组中，对从I帧至下一I帧的帧数目进行计数。获知最大值，即最大GOP，作为确定周期。
[调整系数获知方法]
以下参照图19来描述根据本发明的第三实施例的视频质量估计装置的调整系数获知方法。
调整系数获知处理获知要在P/B帧确定处理中用作系数的调整系数。
在这里将要解释的情况中，使用在给定范围内顺序选择的临时调整系数来执行与帧类型确定处理相同的处理，从而对预先给定的获知周期中的每一帧的帧类型进行估计，计算估计结果与从未加密流中获取的实际帧类型的错误确定比，获知具有最低错误确定比的临时调整系数作为真实的调整系数。
当帧类型确定单元15B要确定目标帧的帧类型时，视频质量估计装置10的算术处理单元15预先执行图19中的调整系数获知处理。假定在执行调整系数获知处理之前，处理目标PID 14B已存储在存储单元14中作为识别处理目标基本流中的TS分组的识别信息，并且已经通过 上述图18所示的确定周期获知处理获得了确定周期。
帧类型确定单元15B在临时错误确定比中设置合适的初始值(步骤370)，并且将给定范围内的未选值设置为临时调整系数(步骤371)。TS分组获取单元15A执行上述图5中的TS分组获取处理，从而获取具有处理目标PID 14B的TS分组(步骤372)。
帧类型确定单元15B执行与图13中的步骤120至301相同的处理(步骤373)。此时，使用临时调整系数来取代调整系数。
通过该处理，将表示I、P和B帧之一的帧类型确定结果以与帧数据量序列14D中直至下一I帧的每一帧相对应的方式存储在存储单元14中的确定结果序列14F中。
此后，帧类型确定单元15B将所获得的帧类型估计结果与实际帧类型(即从预先准备的处理目标基本流的未加密流中获取的正确帧类型)进行比较，从而计算估计结果与正确帧类型的错误确定比(步骤374)。通过[估计结果错误的帧数目]÷[估计目标帧总数]来获得该错误确定比。
帧类型确定单元15B将所获得的错误确定比与临时错误确定比进行比较(步骤375)。仅当该错误确定比小于临时错误确定比时(步骤375中为是)，帧类型确定单元15B才将该临时调整系数存储为调整系数(步骤376)。
帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧F1至F15相对应的帧数据量(步骤377)。
如果与获知周期相对应的TS分组的处理尚未结束(步骤378中为否)，则处理返回步骤372。如果与获知周期相对应的TS分组的处理已经结束(步骤378中为是)，则帧类型确定单元15B确定是否已经选择了所有临时调整系数(步骤379)。
如果尚未选择所有临时调整系数(步骤379中为否)，则帧类型确定单元15B返回步骤371。如果已经选择了所有临时调整系数(步骤379中为是)，则帧类型确定单元15B结束这一系列调整系数获知处理。
通过这种处理，在处理目标基本流的TS分组的帧类型估计中，获知了具有最低错误确定比的调整系数。
[第三实施例的效果]
如上所述，在本实施例的算术处理单元15中的帧类型确定单元15B的帧类型确定处理中，确定基本流中的I帧。然后，将每一帧的帧数据量与阈值进行比较，从而区分P和B帧。这使得即使在不存在具体帧模式作为基本流的GOP结构的情况下，也能够基于具有加密有效载荷部分的TS分组来掌握每一帧的帧类型。
在本实施例中，在确定P和B帧时，基于阈值与表现模式中的每一帧的帧数据量之间的比较结果，即基于其间的大小关系来确定P和B帧，其中所述阈值是基于预定范围内的多个帧的帧数据量的平均值来计算的。因此，可以通过非常简单的算术处理来确定帧类型。
[第四实施例]
以下将描述根据本发明的第四实施例的视频质量估计装置。
在第三实施例描述的示例中，使用基于阈值来确定P和B帧的P/B帧确定处理。在第四实施例说明的情况中，使用以下P帧确定处理来替代P/B帧确定处理：将预定范围内具有预定帧数据量的连续帧确定为P帧。
除了算术处理单元15中的帧类型确定单元15B执行的确定处理的内容之外，第四实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
[第四实施例的操作]
以下描述根据本发明的第四实施例的视频质量估计装置的操作。
本实施例的视频质量估计装置10在使算术处理单元15的帧类型确定单元15B确定确定目标帧的帧类型时，使用两种帧确定处理，即I帧确定处理和P/B帧确定处理。
I帧确定处理是确定I帧的帧确定方法，与第三实施例中在图14中描述的I帧确定处理相同。
P帧确定处理是确定P帧的帧确定处理。使用调整系数A、调整系数B和下限帧计数作为系数，其中调整系数A调整用于基于帧数据量来确定连续P帧的起始位置的阈值；调整系数B调整用于基于帧数据量来 确定从连续P帧的起始位置至结束位置的搜索范围之内的所有帧都是P帧的确定范围；下限帧计数表示从连续P帧的起始位置至结束位置的搜索范围中所需的最小帧数目。
优选地，在执行帧确定处理之前，预先获知调整系数A、调整系数B和下限帧计数并将其存储在存储单元14中。然而，可以从外部输入标准值并存储在存储单元14中。
[帧类型确定处理]
以下参照图20来描述根据本发明的第四实施例的视频质量估计装置的帧类型确定处理。在图20中，与上述图13中相同的步骤编号表示相同或相似的处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图20中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。该处理返回图5中的步骤110以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将帧数据量14C存储在存储单元14中帧数据量序列14D的结尾处作为新的有序数据(步骤123)，并将该帧数据量14C清零(步骤124)。
帧类型确定单元15B使用作为系数给出的确定周期来执行图14(以后描述)中的I帧确定处理(步骤300)，然后，使用作为系数的调整系数A和B以及下限帧计数来执行图21(以后描述)中的P帧确定处理(步骤400)。
使用这些处理，将表示I和P帧之一的帧类型确定结果以与帧数据量序列14D中直至下一I帧的每一帧相对应的方式存储在存储单元14中的确定结果序列14F中。
在按照这种方式确定了I和P帧之后，帧类型确定单元15B将帧数据量序列14D中直至下一I帧中既未被确定为I帧也未被确定为P帧的其余未确定帧确定为B帧，并将确定结果存储在存储单元14中的确定结果序列14F中(步骤134)。
帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧相对应的帧数据量(步骤135)，并结束这一系列帧类型确定处理。
[P帧确定处理]
以下参照图21、22和23A至23E来描述根据本发明的第四实施例的视频质量估计装置的P帧确定处理。
在图20的步骤400中的P帧确定处理中，算术处理单元15中的帧类型确定单元15B执行图21中的P帧类型确定处理。
如图22和23A所示，帧类型确定单元15B计算存储单元14的确定序列14E中从起始帧直至在上述I帧确定处理中被确定为I帧的帧的帧数据量的简单平均值作为总平均值，并将该总平均值乘以作为系数给出的调整系数A，从而计算用于确定连续P帧的起始位置的阈值(步骤410)。在图23A所示的示例中，将帧F1至F15的帧数据量之和“500”除以帧数目“14”，从而获得总平均值“35.7”。将该总平均值乘以调整系数A“0.7”，从而获得阈值“35.7×0.7＝25.0”。
如图23B所示，帧类型确定单元15B选择存储单元14中的确定序列14E的起始帧作为范围(即搜索范围，预期P帧在该范围中连续出现)的起始位置(步骤411)，并将起始位置处的帧的帧数据量与阈值进行比较(步骤412)。在图23B所示的示例中，将帧F1至F14的帧数据量与步骤410中获得的阈值进行比较。此时，由于帧F1和F2的帧数据量等于或小于阈值，因此将起始位置设置为紧接之后的帧。由于帧F3的帧数据量大于阈值，因此将帧F3选为搜索范围的起始位置，并将其确定为P帧。
如果起始位置处的帧的帧数据量小于阈值(步骤412中为否)，则帧类型确定单元15B将起始位置设置为紧接之后的帧(步骤422)，并返回步骤402。
如果起始位置处的帧的帧数据量等于或大于阈值(步骤412中为是)，则仅当起始位置处的帧尚未经过帧类型确定(步骤413中为是)时，帧类型确定单元15B将该帧确定为P帧，并将确定结果存储在存储单元14中的确定结果序列14F中(步骤414)。
帧类型确定单元15B将从起始位置至紧接下一I帧之前的帧的帧数目与下限帧计数进行比较(步骤415)。如果该帧数目小于下限帧计数(步骤415中为否)，则帧类型确定单元15B结束这一系列P帧确定处理。
如果该帧数目等于或大于下限帧计数(步骤415中为是)，则帧类型确定单元15B将紧接下一I帧之前的帧选为该范围(即搜索范围，预期P帧在该范围中连续出现)的结束位置(步骤416)。
如图23C所示，帧类型确定单元15B计算搜索范围中从起始位置至结束位置的帧的帧数据量的平均值作为搜索平均值，并将该搜索平均值乘以作为系数给出的调整系数B，从而计算用于连续P帧确定的确定范围(步骤417)。
在图23C所示的示例中，将搜索范围内的帧F3至F14的帧数据量之和“453”除以帧数目“12”，从而获得搜索平均值“37.75”。将该搜索平均值乘以调整系数B以获得确定范围宽度。在搜索平均值中加上/减去该确定范围宽度，从而获得确定范围“30.2至45.3”。
如图23D所示，帧类型确定单元15B将搜索范围中从起始位置至结束位置的每一帧的帧数据量与确定范围进行比较(步骤418)。在图23D所示的示例中，将属于步骤416中定义的搜索范围的帧F3至F14与步骤417中获得的确定范围“30.2至45.3”进行比较。
如果这些帧的帧数据量落入该确定范围(步骤418中为是)，则帧类型确定单元15B将搜索范围内的帧确定为连续P帧，将确定结果存储在存储单元14中的确定结果序列14F中(步骤419)，并前进至步骤422以执行针对新搜索范围的连续P帧确定，该新搜索范围的起始位置设置为紧接之后的帧。
如图23E所示，如果这些帧之一的帧数据量不在确定范围之内(步骤418中为否)，则帧类型确定单元15B将结束位置设置为紧接之前的 帧(步骤420)，并将搜索范围中包括的帧的数目与下限帧计数进行比较(步骤421)。在图23E所示的示例中，对于帧F3至F14的搜索范围，由于不是所有这些帧的帧数据量都落入确定范围，因此将结束位置设置在紧接之前的帧F13。以相同的方式，针对F3至F13、F3至F12、F3至F11和F3至F10的搜索范围执行上述确定，每次都将结束位置设置为紧接之前的帧。最终，在F3至F9的搜索范围中，所有帧的帧数据量都落入确定范围。因此，将帧F3至F9确定为连续P帧。
如果帧数目等于或大于下限帧计数(步骤421中为是)，则该处理返回步骤418以针对缩窄一帧之后的新搜索范围执行连续P帧的确定。如果帧数目小于下限帧计数(步骤421中为否)，则该处理前进至步骤422以执行针对新搜索范围的连续P帧确定，该新搜索范围的起始位置设置为紧接之后的帧。
[系数获知处理]
以下描述根据本发明的第四实施例的视频质量估计装置的系数获知处理。
通过使用第四实施例的调整系数A和B以及下限帧计数来替代第三实施例中所述的图19中的调整系数获知处理中的调整系数，可以获知要在本实施例中的帧类型确定处理中使用的调整系数A和B以及下限帧计数。这里省略其详细描述。
为了获知调整系数A和B以及下限帧计数，按两步执行获知处理。更具体地，首先使用第三实施例中所述的图18中的确定周期获知处理来获知要在I帧确定处理中使用的确定周期，然后获知调整系数A和B以及下限帧计数。
在获知调整系数A和B以及下限帧计数时，在分别对调整系数A和B以及下限帧计数给出临时值的同时，执行上述图21中的P帧确定处理。然后，选择将确定结果的错误确定比最小化的组合。
[第四实施例的效果]
如上所述，在本实施例的算术处理单元15中帧类型确定单元15B的帧类型确定处理中，确定基本流中的I帧。然后，将预定数目或更多的连续帧中的所有帧确定为P帧，其中在所述连续帧中，在起始位置 处的帧的帧数据量等于或大于预定阈值，从起始位置至结束位置的所有帧的帧数据量落入预定确定范围之内。这使得即使在不存在具体帧模式作为基本流的GOP结构的情况下，也能够基于具有加密有效载荷部分的TS分组来掌握每一帧的帧类型。
特别地，当预定数目或更多的P帧连续出现时，每个P帧的信息量变得与B帧一样小。因此，无法通过第三实施例中使用的P/B帧确定处理来正确确定P帧。在本实施例中，集中关注这种连续P帧的帧数据量之间的较小变化，将以预定数目或更多数目的形式连续出现的、并且帧数据量在预定确定范围之内的帧确定为P帧。因此，可以正确确定P帧。
在本实施例中，将基于作为帧类型确定处理的目标的所有帧的帧数据量的平均值而计算的阈值与从起始帧开始的所有目标帧的帧数据量依次进行比较。基于比较结果来确定是否选择一帧作为搜索范围的起始帧。因此，可以通过非常简单的算术处理来选择搜索范围的起始帧。
在本实施例中，基于搜索范围中从起始位置至结束位置的帧的帧数据量的平均值来计算确定范围。因此，可以通过非常简单的算术处理来正确确定连续P帧。
[第五实施例]
以下描述根据本发明的第五实施例的视频质量估计装置。
在第三实施例描述的示例中，在帧类型确定处理中，执行I帧确定处理，然后执行P/B帧确定处理。在第四实施例描述的示例中，在帧类型确定处理中，执行I帧确定处理，然后执行P帧确定处理。在第五实施例描述的示例中，在帧类型确定处理中，执行I帧确定处理，然后执行P/B帧确定处理，最后执行P帧确定处理。
除了算术处理单元15中的帧类型确定单元15B执行的处理的内容之外，第五实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
在本实施例的帧类型确定处理中，使用与图14中相同的处理作为 I帧确定处理，使用与图15中相同的处理作为P/B帧确定处理，使用与图21中相同的处理作为P帧确定处理。这里省略对这些确定处理和要在这些确定处理中使用的各种系数的获知处理的详细描述。
[帧类型确定处理]
以下参照图24来描述根据本发明的第五实施例的视频质量估计装置的帧类型确定处理。在图24中，与上述图13和20中相同的步骤编号表示相同或相似的处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图24中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。该处理返回图5中的步骤110以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将帧数据量14C存储在存储单元14中帧数据量序列14D的结尾处作为新的有序数据(步骤123)，并将该帧数据量14C清零(步骤124)。
帧类型确定单元15B使用作为系数给出的确定周期来执行图14中的I帧确定处理(步骤300)，然后，使用作为系数的调整系数来执行上述图15中的P/B帧确定处理(步骤301)。此后，帧类型确定单元15B使用作为系数的调整系数A和B以及下限帧计数来执行图21中的P帧确定处理(步骤400)。
使用这些处理，将表示I、P和B帧之一的帧类型确定结果以与帧数据量序列14D中直至下一I帧的每一帧相对应的方式存储在存储单元14中的确定结果序列14F中。
在这样确定了I、P和B帧之后，帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定的帧相对应的帧数据量(步骤 135)，并结束这一系列帧类型确定处理。
[第五实施例的效果]
如上所述，在本实施例的算术处理单元15中帧类型确定单元15B的帧类型确定处理中，确定基本流中的I帧。然后，将每一帧的帧数据量与阈值进行比较，从而区分P和B帧。最后，将预定数目或更多的连续帧中的所有帧确定为P帧，其中在所述连续帧中，在起始位置处的帧的帧数据量等于或大于预定阈值，从起始位置至结束位置的所有帧的帧数据量落入预定确定范围之内。这使得即使在不存在具体帧模式作为基本流的GOP结构的情况下，也能够基于具有加密有效载荷部分的TS分组来掌握每一帧的帧类型。
在本实施例中，在确定P和B帧时，基于阈值与表现模式中的每一帧的帧数据量之间的比较结果，即基于其间的大小关系来确定P和B帧，其中所述阈值是基于预定范围内的多个帧的帧数据量的平均值来计算的。因此，可以通过非常简单的算术处理来确定帧类型。
此外，当预定数目或更多的P帧连续出现时，每个P帧的信息量变得与B帧一样小。因此，无法通过P/B帧确定处理来正确确定P帧。在本实施例中，集中关注这种连续P帧的帧数据量之间的较小变化，将以预定数目或更多数目的形式连续出现的、并且帧数据量在预定确定范围之内的帧确定为P帧。因此，可以正确确定P帧。
在本实施例中，将基于作为帧类型确定处理的目标的所有帧的帧数据量的平均值而计算的阈值与从起始帧开始的所有目标帧的帧数据量依次进行比较。基于比较结果来确定是否选择一帧作为搜索范围的起始帧。因此，可以通过非常简单的算术处理来选择搜索范围的起始帧。
在本实施例中，基于搜索范围中从起始位置至结束位置的帧的帧数据量的平均值来计算确定范围。因此，可以通过非常简单的算术处理来正确确定连续P帧。
[第六实施例]
以下参照图25来描述根据本发明的第六实施例的视频质量估计 装置。在图25中，与上述图13中相同的步骤编号表示相同或相似的处理。
在第三实施例描述的情况中，如图13所示，将每一帧分为多个TS分组并进行存储，基于TS分组的TS首部中存储的payload_unit_start_indicator信息来确定帧中断，在每个帧中断处获得帧数据量，并将最大GOP长度中具有最大帧数据量的帧确定为I帧。也可以使用如图6所示的RTP首部中的标记比特(MB)信息作为与payload_unit_start_indicator(PUSI)信息类似的帧识别信息。
用于实时应用的一些编解码器可以使用TS首部中的适配字段部分的RAI(random_access_indicator)信息或ESPI(elementary_stream_priority_indicator)信息作为表示I帧起始处的识别信息。在第六实施例描述的情况中，使用RAI信息或ESPI信息，基于第三实施例来确定I帧。
除了算术处理单元15中的帧类型确定单元15B执行的处理的内容之外，第六实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
[帧类型确定处理]
以下参照图25来描述根据本发明的第六实施例的视频质量估计装置的帧类型确定处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图25中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。
此后，帧类型确定单元15B基于存储单元14中的设置信息来确定在流的编解码器中是否能够使用上述RAI信息或ESPI信息(步骤600)。如果不能使用RAI/ESPI信息(步骤600中为否)，则该处理返回图5中 的步骤110以处理下一TS分组。
如果在流的编解码器中能够使用RAI/ESPI信息(步骤600中为是)，则帧类型确定单元15B从TS首部中获取RAI/ESPI信息。如果RAI/ESPI信息不是“1”(步骤601中为否)，则确认该TS分组的帧不是I帧。因此，该处理返回图5中的步骤110以处理下一TS分组。
如果RAI/ESPI信息为“1”(步骤601中为是)，则确认该TS分组的帧是I帧。因此，帧类型确定单元15B将帧类型确定结果(即表示I帧的值“I”)存储在存储单元14中I帧起始信息序列的结尾处作为新的有序数据(步骤602)。与确定序列14E类似，I帧起始信息序列表示在payload_unit_start_indicator信息所标识的每个帧中断处的帧是否是I帧。然后，该处理返回图5中的步骤110以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将帧数据量14C存储在存储单元14中帧数据量序列14D的结尾处作为新的有序数据(步骤123)，并将该帧数据量14C清零(步骤124)。
帧类型确定单元15B使用作为系数给出的确定周期来执行图26(以后描述)中的I帧确定处理(步骤300)，然后，使用作为系数的调整系数来执行上述图15(以后描述)中的P/B帧确定处理(步骤301)。
使用这些处理，将表示I、P和B帧之一的帧类型确定结果以与帧数据量序列14D中直至下一I帧的每一帧相对应的方式存储在存储单元14中的确定结果序列14F中。
帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定类型的帧相对应的帧数据量(步骤135)。
此后，与步骤600中相同，帧类型确定单元15B确定在流的编解码器中是否能够使用RAI/ESPI信息(步骤610)。仅当能够使用RAI/ESPI信息时(步骤610中为是)，帧类型确定单元15B清除存储单元14中的I帧起始信息序列(步骤611)，并结束这一系列帧类型确定处理。
[I帧确定处理]
以下参照图26来描述根据本发明的第六实施例的视频质量估计装置的I帧确定处理。
在图13的步骤300的I帧确定处理中，算术处理单元15中的帧类型确定单元15B执行图26中的I帧确定处理。
帧类型确定单元15B将序列长度(即存储单元14中的帧数据量序列14D的数据数目)与作为系数给出的确定周期(即在这种情况下是最大GOP长度)进行比较(步骤310)。
如果序列长度小于最大GOP长度(步骤310中为否)，则算术处理单元15返回图5中的步骤110以处理下一TS分组。
如果序列长度等于或大于最大GOP长度(步骤310中为是)，则如上述图8A所示，帧类型确定单元15B将与最大GOP长度相对应的数据F1至F17从存储单元14中的帧数据量序列14D移动至确定序列14E(步骤311)。
与步骤600中相同，帧类型确定单元15B确定在流的编解码器中是否能够使用RAI/ESPI信息(步骤620)。如果能够使用RAI/ESPI信息(步骤620中为是)，则帧类型确定单元15B将存储单元14中的I帧起始信息序列中存储的I帧确定结果存储在存储单元14中的确定结果序列14F中(步骤621)，并结束这一系列I帧确定处理。
如果不能使用RAI/ESPI信息(步骤620中为否)，则如上述图8B所示，帧类型确定单元15B将与确定序列14E中具有最大帧数据量的数据15相对应的帧确定为I帧，并将确定结果存储在存储单元14中的确定结果序列14F中(步骤312)，并结束这一系列I帧确定处理。
[第六实施例的效果]
如上所述，在本实施例的算术处理单元15中帧类型确定单元15B的帧类型确定处理中，基于TS首部中的适配字段部分中的RAI信息或ESPI信息来确定I帧。这允许简化I帧确定处理，并获得较高的确定精度。
在本实施例描述的示例中，在图24的步骤610和610以及图25的步骤630中连续确定RAI/ESPI信息的可用性。当仅在能够使用RAI/ESPI信息的环境中使用根据本实施例的视频质量估计装置时，可以省略上述确定处理和图24中的步骤312。
在本实施例描述的示例中，将确定处理应用至上述第三实施例中 所述的图13中的帧类型确定处理。按照上述方式，该确定处理也适用于第四或第五实施例，并且可以获得相同的功能和效果。
例如，在第四实施例中，在上述图20的步骤122之后添加图25中的步骤600至602。在图20的步骤135之后添加图25中的步骤610和611。与图20中的步骤300一样，执行图26中的I帧确定处理。在第五实施例中，在上述图24的步骤122之后添加图25中的步骤600至602。在图24的步骤135之后添加图25中的步骤610和611。与图24中的步骤300一样，执行图26中的I帧确定处理。
[第七实施例]
以下描述根据本发明的第七实施例的视频质量估计装置。
在第三实施例描述的情况中，如图13所示，将每一帧分为多个TS分组并进行存储，基于帧中断信息(如表示帧起始位置的payload_unit_start_indicator信息)来确定帧中断。在这种情况下，如果存储该payload_unit_start_indicator信息的IP分组丢失，则无法基于payload_unit_start_indicator信息来确定帧起始位置(即帧中断)。
参照图27，发送侧基于预定GOP结构将帧分为多个IP分组并顺序发送。在这种情况下，典型GOP长度是15帧。帧F1至F15形成一个GOP结构。在这些帧中，在帧F3的起始分组中出现丢失A。在帧F4的起始分组中出现丢失B。在帧F4中的分组中出现丢失C和D。这就是说，发生了包括两个帧中断在内的4个丢失A、B、C和D。
由于丢失A和B导致用作帧中断确定信息的payload_unit_start_indicator信息丢失，因此接收侧将发送侧的帧F2至F4识别为一个帧F2。这降低了帧类型确定精度。
在图27所示的示例中，基于参照图6描述的RTP序列号(RTP-SEQ)和TS首部连续性指示符(CC：continuity_counter)可以将分组丢失A至D检测为TS分组丢失。此外，在将下一I帧之前接收的帧数目“13”与典型GOP长度(即15帧)相比时，可以确定丢失帧数目为“2”。由于4个分组丢失A至D中的两个包括帧中断，因此有4×3/2＝6种模式，即中断内插模式，这些模式假定在IP分组丢失中丢失了帧中断确定信息。
在本实施例描述的情况中，在通过使用每种中断内插模式来断开帧而获得的帧结构中执行帧类型确定处理，选择与预先设置的GOP结构相匹配的帧类型确定结果作为帧类型确定结果。
除了算术处理单元15中的帧类型确定单元15B执行的处理的内容之外，第七实施例的视频质量估计装置的配置与第一实施例(图1)中相同，这里不重复其详细描述。
[TS分组获取处理]
以下参照图28来描述根据本发明的第七实施例的视频质量估计装置的TS分组获取处理。在图28中，使用与上述图5中相同的步骤编号表示相同或相似的处理。
在图4的步骤101中的TS分组获取处理中，算术处理单元15中的TS分组获取单元15A确认是否提取了从通信I/F单元11输出的IP分组中存储的所有TS分组(步骤700)。如果未提取所有TS分组(步骤700中为否)，则该处理前进至步骤110(以后描述)。
如果提取了所有TS分组(步骤700中为是)，则TS分组获取单元15A接收从通信I/F单元11输出的新的IP分组(步骤701)，并确认该新IP分组的RTP序列号(RTP-SEQ)与紧接之前的IP分组的RTP序列号之差是否大于1(步骤702)。RTP序列号是按照发送顺序依次添加至IP分组的。因此，如果正常接收IP分组，则两个RTP序列号之差为1。如果RTP序列号之差大于1，则可以确认紧接之前的IP分组丢失。
如果两个RTP序列号之差大于1(步骤702中为是)，则TS分组获取单元15A将“1”存储在存储单元14中的丢失存在/不存在标记中(步骤703)。如果两个RTP序列号之差不大于1(步骤702中为否)，则TS分组获取单元15A将“0”存储在存储单元14中的丢失存在/不存在标记中(步骤704)。
丢失存在/不存在标记是表示紧接在当前TS分组获取目标的IP分组之前是否出现IP分组丢失的信息。值“1”表示存在分组丢失。值“0”表示不存在分组丢失。在图28所示的处理示例中，每次获取到新IP分组，就更新该丢失存在/不存在标记的值。
此后，TS分组获取单元15A从IP分组中提取新的TS分组(步骤 110)，并从该TS分组的TS首部中获取PID(步骤111)。
TS分组获取单元15A将获取的PID与存储单元14中的处理目标PID进行比较(步骤112)。如果PID不匹配(步骤112中为否)，则该处理返回步骤700以处理下一个TS分组。
如果PID相匹配(步骤112中为是)，则TS分组获取单元15A将该TS分组暂时存储在存储单元14中作为处理目标TS分组(步骤113)，并结束这一系列TS分组获取处理。
[帧类型确定处理]
以下参照图29和30来描述根据本发明的第七实施例的视频质量估计装置的帧类型确定处理。在图29中，使用与上述图25中相同的步骤编号表示相同或相似的处理。
在图4的步骤102中的帧类型确定处理中，算术处理单元15中的帧类型确定单元15B执行图29中的帧类型确定处理。
帧类型确定单元15B从存储单元14中读出上述图28中的TS分组获取处理中更新的丢失存在/不存在标记。如果值为“1”，表示紧接之前的IP分组的丢失存在(步骤710中为是)，则帧类型确定单元15B将存储单元14中的帧数据量14C存储在存储单元14中临时帧数据量序列的结尾处作为新的有序数据(步骤711)，将“丢失”存储在存储单元14中的中断类型序列中(步骤712)，将帧数据量14C清零(步骤713)，并返回图20中的步骤700以处理下一个TS分组。
根据这些处理，将直至基于丢失存在/不存在标记检测到IP分组丢失之前连续接收到的一个或多个TS分组的块识别为临时帧。将这些帧的帧数据量存储在临时帧数据量序列中，将中断类型存储在中断类型序列中。
如图30所示，临时帧数据量序列是表示临时帧的帧数据量的有序数据，所述临时帧包括：基于TS首部中的payload_unit_start_indicator信息(或RTP首部中的标记比特(MB)信息)来区分出的正常帧以及基于一个GOP结构中的丢失存在/不存在标记而检测到的IP分组丢失处区分出的临时帧。
如图30所示，中断类型序列是表示临时帧的中断类型的类型信息 的有序数据。如果临时帧是基于payload_unit_start_indicator信息来区分出的正常帧，则有序数据的值为“PUSI”。如果该帧是基于IP分组丢失来区分出的，则有序数据的值为“丢失”。在图30所示的示例中，在RTP序列号为“76”、“81”、“91”和“95”的4个IP分组中发生分组丢失。这些分组丢失与图27所示的丢失A、B、C和D相对应。使用中断类型序列中与临时帧f3、f4、f5和f6相对应的值“丢失”来表示这些分组丢失。
如果步骤710中丢失存在/不存在标记的值为“0”，表示紧接之前的IP分组的丢失不存在(步骤710中为否)，则帧类型确定单元15B从存储单元14中读出TS分组获取单元15A所获取的TS分组，并从TS首部中获取payload_unit_start_indicator信息(步骤120)。
如果payload_unit_start_indicator信息不为“1”(步骤121中为否)，则该TS分组不是帧起始处的TS分组。帧类型确定单元15B将存储单元14中的帧数据量14C加1，从而对帧的TS分组数目进行计数(步骤122)。
此后，帧类型确定单元15B基于存储单元14中的设置信息来确定在流的编解码器中是否能够使用上述RAI信息或ESPI信息(步骤600)。如果不能使用RAI/ESPI信息(步骤600中为否)，则该处理返回图28中的步骤700以处理下一TS分组。
如果在流的编解码器中能够使用RAI/ESPI信息(步骤600中为是)，则帧类型确定单元15B从TS首部中获取RAI/ESPI信息。如果RAI/ESPI信息不是“1”(步骤601中为否)，则确认该TS分组的帧不是I帧。因此，该处理返回图28中的步骤700以处理下一TS分组。
如果RAI/ESPI信息为“1”(步骤601中为是)，则确认该TS分组的帧是I帧。因此，帧类型确定单元15B将帧类型确定结果(即表示I帧的值“I”)存储在存储单元14中I帧起始信息序列的结尾处作为新的有序数据(步骤602)。与确定序列14E类似，I帧起始信息序列表示在payload_unit_start_indicator信息所识别的每个帧中断处的帧是否是I帧。然后，该处理返回图28中的步骤700以处理下一TS分组。
如果payload_unit_start_indicator信息为“1”(步骤121中为是)，则帧类型确定单元15B将存储单元14中的帧数据量14C存储在存储单 元14中临时帧数据量序列的结尾处作为新的有序数据(步骤702)，将“PUSI”存储在存储单元14中的中断类型序列中(步骤721)，并将该帧数据量14C清零(步骤124)。
根据这些处理，将基于payload_unit_start_indicator信息检测到的正常帧识别为临时帧。将其帧数据量存储在临时帧数据量序列中。将其中断类型存储在中断类型序列中。
帧类型确定单元15B执行图31(以后描述)中的最优内插模式选择处理(步骤722)，从而创建中断内插模式，这些模式假定在IP分组丢失中丢失了帧中断确定信息。帧类型确定单元15B从这些中断内插模式中选择最优内插模式，并基于该最优内插模式来从存储单元14中获取帧确定结果(步骤723)。
帧类型确定单元15B从存储单元14中的帧数据量序列14D中删除与已确定类型的帧相对应的帧数据量(步骤135)。
此后，与步骤600中相同，帧类型确定单元15B确定在流的编解码器中是否能够使用RAI/ESPI信息(步骤610)。仅当能够使用RAI/ESPI信息时(步骤610中为是)，帧类型确定单元15B清除存储单元14中的I帧起始信息序列(步骤611)，并结束这一系列帧类型确定处理。
[最优内插模式选择处理]
以下参照图31来描述根据本发明的第七实施例的视频质量估计装置的最优内插模式选择处理。
在图29的步骤722中的最优内插模式选择处理中，算术处理单元15中的帧类型确定单元15B执行图31中的最优内插模式选择处理。
帧类型确定单元15B参照存储单元14中的中断类型序列，并对临时帧中具有值“PUSI”的正常中断帧的数目进行计数，从而计算临时GOP长度(步骤730)。帧类型确定单元15B将临时GOP长度与作为系数给出的确定周期(在这种情况下即为最大GOP长度(17帧))进行比较(步骤731)。
如果该临时GOP长度小于最大GOP长度(步骤731中为否)，则该处理返回图28中的步骤700以处理下一TS分组。
如果该临时GOP长度等于或大于最大GOP长度(步骤731中为 是)，则帧类型确定单元15B将与最大GOP长度相对应的有序数据从存储单元14中的临时帧数据量序列移动至确定序列14E(步骤732)。
这种情况下，临时帧数据量序列也包括与具有基于IP分组丢失的帧中断的临时帧相关的有序数据。因此，如果选择了与从序列起始处开始最大GOP长度相对应的有序数据，则无法正确选择与一个GOP结构相对应的临时帧。
为了选择额外的临时帧，例如，对临时帧数据量序列中具有值“PUSI”的每个临时帧的数目进行计数。然后，选择与从序列起始处开始至最大GOP长度的临时帧相对应的有序数据。
在图30所示的示例中，将最大GOP长度定义为17帧，对临时帧数据量序列中具有值“PUSI”的每个临时帧的数目进行计数。临时帧f21与从起始处f1起的第17帧相对应。因此，将临时帧f1至f12从临时帧数据量序列移动至确定序列14E。
帧类型确定单元15B基于存储单元14中的确定序列14E的内容来执行I帧确定处理(步骤733)。在I帧确定处理中，帧类型确定单元15B仅执行上述图26中的I帧确定处理中的步骤620、621和312。
根据这种处理，根据确定序列14E中的临时帧来检测位于下一GOP结构的起始处的I帧。在图30中所示的示例中，将临时帧f18确定为I帧。将表示I帧的值“I”存储在存储单元14中的I帧起始信息序列中作为临时帧f18的有序数据。
帧类型确定单元15B基于存储单元14中的中断类型序列来创建针对丢失帧(即具有值“丢失”的每个临时帧)的中断内插模式(步骤734)。
更具体地，帧类型确定单元15B参照存储单元14中的I帧起始信息序列；对存储单元14中的中断类型序列中具有值“PUSI”的每个临时帧的数目进行计数，作为GOP长度，同时将从临时帧f1(I帧)至紧接下一I帧之前的临时帧f18的帧认为是一个GOP结构；并基于该GOP长度和存储单元14中预先设置的典型GOP长度之差来计算丢失帧的数目。
帧类型确定单元15B将存储单元14中的中断类型序列中具有值 “丢失”的每个临时帧中的丢失帧选择的所有组合创建为中断内插模式，并将该中断内插模式存储在存储单元14中。
在图30所示的示例中，GOP长度为13帧。如果典型GOP长度为15帧，则丢失帧数目为2。这表明，在临时帧f2至f6中分别具有值“丢失”的两个帧的起始处丢失了payload_unit_start_indicator信息。因此，创建6种中断内插模式P1至P6(4×3/2)。
在按照这种方式创建了中断内插模式之后，帧类型确定单元15B从存储单元14中选择一个未处理(未确定)的中断内插模式(步骤735)，并基于该中断内插模式来更新存储单元14中的确定序列14E(步骤736)。
例如，如果在图30中选择P1作为中断内插模式，则由临时帧f2、f3和f4来形成发送侧帧F2。由临时帧f5来形成发送侧帧F3。由临时帧f6来形成发送侧帧F4。
因此，将存储单元14中的临时帧数据量序列中的临时帧f2、f3和f4的帧数据量之和存储在确定序列14E中作为帧F2的帧数据量。类似地，将临时帧f5和f6的帧数据量存储在确定序列14E中，分别作为帧F3和F4的帧数据量。还将临时帧f1以及与最大GOP长度相对应的f7至f20的帧数据量存储在确定序列14E中作为相应帧的帧数据量。
帧类型确定单元15B基于更新后的确定序列14E的内容来执行I帧确定处理(步骤737)，执行P/B帧确定处理(步骤301)，从存储单元14中的确定结果序列14F中读出所获得的帧类型确定结果，并将其以与中断内插模式相关联的方式存储在存储单元14中(步骤738)。此时，帧类型确定单元15B在步骤737中执行上述图26中的I帧确定处理，并在步骤301中执行上述图15中的P/B帧确定处理。
此后，帧类型确定单元15B确认对所有中断内插模式的帧类型确定处理是否已经结束(步骤739)。如果还有未处理的中断内插模式(步骤739中为否)，则该处理返回步骤735以对未处理的中断内插模式执行帧类型确定。
如果对所有中断内插模式的帧类型确定已经结束(步骤739中为是)，则帧类型确定单元15B选择针对相应中断内插模式而获得的帧类 型确定结果中与存储单元14中预先设置的典型GOP结构相匹配的一个中断内插模式作为最优内插模式，将其存储在存储单元14中(步骤740)，并结束这一系列最优内插模式选择处理。
典型GOP结构的一个示例是包括15帧的结构，该结构与GOP长度相对应，其帧类型为“IBBPBBPBBPBBPBB”。在存储单元14中预先设置了一个或多个GOP结构。对于图30所示的示例中的中断内插模式P6，由临时帧f2形成发送侧帧F2。由临时帧f3形成发送侧帧F3。由临时帧f4、f5和f6形成发送侧帧F4。由于帧F2、F3和F4的帧数据量分别为10、15和70，因此，该帧类型确定结果与典型GOP结构相匹配。
[第七实施例的效果]
如上所述，在本实施例的算术处理单元15中帧类型确定单元15B的帧类型确定处理中，检测在基本流中发生的分组丢失。假定在分组丢失中丢失了表示帧起始位置的帧中断确定信息，并且，基于根据该假定结果而获得的帧起始位置来执行帧类型确定。这使得即使在由于通信网络中的IP分组丢失而导致帧中断确定信息丢失时，也能够执行精确的帧类型确定。
此外，创建多个中断内插模式，这些模式假定在IP分组丢失中丢失了帧中断确定信息。基于根据中断内插模式的帧起始位置来对每种中断内插模式执行帧类型确定处理。从所获得的帧类型确定结果中选择最优中断模式，该最优中断模式的帧类型确定结果与存储单元14中预先设置的典型GOP结构相匹配。这能够实现更精确的帧类型确定。
在本实施例描述的示例中，将确定处理应用至基于第三实施例的第六实施例中描述的图13的帧类型确定处理。以与上述相同的方式，该确定处理也适用于基于第四或第五实施例的第六实施例，并且可以获得相同的功能和效果。
例如，基于第四实施例，执行上述图20中的步骤400和134来取代上述图31中的步骤301。基于第五实施例，紧接上述图31中的步骤301之后执行上述图24中的步骤400和134。
[帧类型确定处理的示例]
以下描述根据本发明的第七实施例的视频质量估计装置的帧类 型确定处理的示例。
以下对在使用I帧识别信息(如第六实施例中所述的存储在TS分组的适配字段中的RAI信息或ESPI信息)来识别I帧时应用的帧类型确定处理的第一示例进行说明。然后，对在不使用I帧识别信息来识别I帧时应用的帧类型确定处理的第二示例进行说明。
[帧类型确定处理的第一示例]
首先参照图32、33A、33B、34A、34B和35来描述在使用I帧识别信息(如第六实施例中所述的RAI信息或ESPI信息)来识别I帧时使用的帧类型确定处理的第一示例。
在这种情况下，基于帧识别信息(PUSI/MB)，如TS首部中的payload_unit_start_indicator(PUSI)信息或RTP首部中的标记比特(MB)信息来识别流中的每一帧。基于TS分组的适配字段中的I帧识别信息(RAI/ESPI)来识别I帧。注意，GOP中的帧类型表现模式包括典型表现模式，如重复出现的“IBBPBB”。
参照图32来描述无分组丢失的情况。
如图32所示，在没有分组丢失的情况下，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度(例如17帧)中检测I帧识别信息。因此，可以将其中检测到I帧识别信息的帧F16识别为I帧。
参照图33A和33B来描述在I帧起始处发生分组丢失的情况。
如图33A所示，当仅丢失I帧F16的起始IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度中未检测到I帧识别信息。因此，可以认识到，丢失的IP分组包括I帧识别信息和帧识别信息。
图33A中的认识不仅可以适用于仅丢失I帧的起始IP分组的情况，而且也适用于仅丢失总计两个连续IP分组(即I帧的起始IP分组和其后的下一IP分组)的情况。
如图33B所示，当仅丢失了包括I帧F16的起始分组以及该起始IP分组之后的多个后续IP分组(视频数据)在内的总计3个或更多连续IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度中未检测到I帧识别信息。因此，可以认识到，丢失的IP分组之一 包括I帧识别信息和帧识别信息。
考虑到每个丢失的IP分组包括帧识别信息(PUSI/MB)，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组的起始IP分组包括I帧识别信息(RAI/ESPI)。注意，以循环(round-robin)方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
以下参照图34A和34B描述以下情况：在I帧起始处未发生分组丢失，但是在P或B帧起始处发生分组丢失。
如图34A所示，当I帧F16的起始IP分组未丢失，而仅丢失B帧F2的起始IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度(例如17帧)中检测I帧识别信息。因此，可以将其中检测到I帧识别信息的帧F16识别为I帧。
考虑到每个丢失的IP分组包括帧识别信息(PUSI/MB)，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组包括帧识别信息(PUSI/MB)。
图34A中的认识不仅可以适用于仅丢失B帧的起始IP分组的情况，而且也适用于仅丢失P帧的起始IP分组的情况。该认识还适用于仅丢失总计两个连续IP分组(即B或P帧的起始IP分组和其后的下一IP分组)的情况。
如图34B所示，当I帧F16的起始IP分组未丢失，而丢失了包括B帧F2的起始IP分组和P帧F7的起始IP分组在内的总计两个或更多IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度(例如17帧)中检测I帧识别信息。因此，可以将其中检测到I帧识别信息的帧F16识别为I帧。
考虑到每个丢失的IP分组包括帧识别信息(PUSI/MB)，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组包括帧识别信息(PUSI/MB)。注意，以循环方式，针 对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
图34B中的认识不仅可以适用于丢失B帧的起始IP分组和P帧的起始IP分组的情况，还适用于丢失两个B帧的起始IP分组或两个P帧的起始IP分组的情况。该认识也适用于丢失已丢失的B或P帧的起始IP分组之后的一个或多个IP分组的情况。
参照图35描述以下情况：分组丢失发生在I帧的起始处和P或B帧的起始处。
如图35所示，当丢失了B帧F2的起始IP分组、P帧F7的中间IP分组(视频数据)和I帧F16的起始IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，在后续的最大GOP长度中未检测到I帧识别信息。因此，可以认识到，丢失的IP分组之一包括I帧识别信息和帧识别信息，并且，其余IP分组包括帧识别信息。
考虑到每个丢失的IP分组包括帧识别信息(PUSI/MB)，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组包括帧识别信息。注意，以循环方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
注意，可以认识到，在典型GOP长度的位置处的丢失的IP分组包括帧识别信息(PUSI/MB)和I帧识别信息(RAI/ESPI)。
图35中的认识也适用于丢失已丢失的I、B或P帧的起始IP分组之后的一个或更多IP分组的情况。
[帧类型确定处理的第二示例]
以下参照图36A、36B、37A、37B和38来描述在不使用I帧识别信息(如第六实施例中所述的RAI信息或ESPI信息)来识别I帧时使用的帧类型确定处理的第二示例。
在这种情况下，基于帧识别信息(PUSI/MB)，如TS首部中的payload_unit_start_indicator(PUSI)信息或RTP首部中的标记比特(MB)信息，来识别流中的每一帧。基于帧数据量来识别I帧。注意，GOP中的帧类型表现模式包括典型表现模式，如重复出现的“IBBPBB”。
参照图36A和36B来描述在I帧起始处发生分组丢失的情况。
如图36A所示，当仅丢失I帧F16的起始IP分组时，将帧F1识别为I帧，然后，可以将在后续的最大GOP长度中具有最大帧数据量的帧F16假定为I帧。由于该假定的I帧包括IP分组丢失，因此认为该IP分组包括帧识别信息(PUSI/MB)。
考虑到丢失的IP分组包括帧识别信息，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：该IP分组包括帧识别信息。
图36A中的认识不仅可以适用于仅丢失I帧的起始IP分组的情况，而且也适用于仅丢失总计两个连续IP分组(即I帧的起始IP分组和其后的下一IP分组)的情况。
如图36B所示，当仅丢失了包括I帧F16的起始分组以及该起始IP分组之后的多个后续IP分组(视频数据)在内的总计3个或更多连续IP分组时，将帧F1识别为I帧，然后，可以将在后续的最大GOP长度中具有最大帧数据量的帧F16假定为I帧。由于该假定的I帧包括IP分组丢失，因此认为该IP分组包括帧识别信息(PUSI/MB)。
考虑到每个丢失的IP分组包括帧识别信息，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：每个分组包括帧识别信息。注意，以循环方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
以下参照图37A和37B描述以下情况：在I帧起始处未发生分组丢失，但是在P或B帧起始处发生分组丢失。
如图37A所示，当I帧F16的起始IP分组未丢失，而仅丢失P帧F7的起始IP分组时，将帧F1识别为I帧，然后，可以将在后续的最大GOP长度中具有最大帧数据量的帧F16识别为I帧。由于该IP分组丢失包括在从I帧(帧F1)开始的GOP中，因此认为该IP分组包括帧识别信息(PUSI/MB)。
考虑到丢失的IP分组包括帧识别信息，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：该IP分组包括帧识别信息。注意，以循环方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
图37A中的认识不仅可以适用于仅丢失B帧的起始IP分组的情况，而且也适用于仅丢失P帧的起始IP分组的情况。该认识还适用于仅丢失总计两个连续IP分组(即B或P帧的起始IP分组和其后的下一IP分组)的情况。
如图37B所示，当I帧F16的起始IP分组未丢失，而丢失了包括B帧F2的起始IP分组和P帧F7的起始IP分组在内的总计两个或更多IP分组时，将帧F1识别为I帧，然后，可以将在后续的最大GOP长度中具有最大帧数据量的帧F16识别为I帧。由于该IP分组丢失包括在从I帧(帧F1)开始的GOP中，因此认为这些IP分组包括帧识别信息(PUSI/MB)。
考虑到丢失的IP分组包括帧识别信息，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组包括帧识别信息。注意，以循环方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
图37B中的认识不仅可以适用于丢失B帧的起始IP分组和P帧的起始IP分组的情况，还适用于丢失两个B帧的起始IP分组或两个P帧的起 始IP分组的情况。该认识也适用于丢失已丢失的B或P帧的起始IP分组之后的一个或多个IP分组的情况。
参照图38描述以下情况：分组丢失发生在I帧的起始处和P或B帧的起始处。
如图38所示，当丢失了B帧F2的起始IP分组、P帧F7的中间IP分组(视频数据)和I帧F16的起始IP分组时，基于I帧识别信息将帧F1识别为I帧，然后，可以将在后续的最大GOP长度中具有最大帧数据量的帧F16识别为I帧。由于该IP分组丢失包括在从I帧(帧F1)开始的GOP中，因此认为这些IP分组包括帧识别信息(PUSI/MB)。
考虑到每个丢失的IP分组包括帧识别信息，执行帧类型确定。如果确定结果与表现模式“IBBPBB”相匹配，则可以认识到：这些IP分组包括帧识别信息。注意，以循环方式，针对满足以下条件的组合执行该帧类型确定：IBBPBB结构中的典型GOP长度＝帧识别信息的数目+被认为包括帧识别信息的丢失IP分组的数目。如果多种组合都满足该条件，则选择组合的确定结果将每个帧类型(P，B)的帧数据量之间的变化最小化的组合。
图38中的认识也适用于丢失已丢失的I、B或P帧的起始IP分组之后的一个或更多IP分组的情况。
在上述实施例中，任意设置使用阈值来进行的大小关系比较的具体内容。例如，在确定中，可以使用“大于阈值”或“小于阈值”来取代“等于或大于阈值”或“等于或小于阈值”。这也适用于不使用阈值而使用其他值(如预定范围)来进行的大小关系比较。
工业实用性
本发明的视频质量估计装置可以用于估计经由通信网络来交换视频数据的视频应用中的视频质量，更具体地，适用于估计视频分发(如使用无线电波的数字广播或使用通信网络的数字广播的IP重传)中的视频质量。

Claims (16)

1.一种视频质量估计装置所使用的视频质量估计方法，所述视频质量估计装置包括算术处理单元和存储单元，以基于TS分组来估计视频通信的视频质量，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述方法包括：
存储步骤，使所述存储单元存储所述基本流的帧结构；
帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量；并基于帧的帧数据量之间的大小关系来确定帧类型；以及
视频质量估计步骤，使所述算术处理单元基于所述帧类型确定步骤中获得的每一帧的帧类型、从所述存储单元读出的所述基本流的帧结构、以及从所述视频通信的TS分组中检测到的TS分组丢失状态来估计所述视频通信的视频质量。
2.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：将在不大于所述基本流中的I帧间隔的确定周期中在时间上连续的帧中具有最大帧数据量的帧确定为I帧。
3.如权利要求2所述的视频质量估计方法，其中，所述确定周期是所述基本流的最大GOP长度。
4.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：针对不包括I帧的在时间上连续的预定数目的帧，根据所述基本流的帧结构与帧的帧数据量之间的大小关系的模式之间的匹配，确定P帧和B帧。
5.如权利要求4所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：当所述基本流的帧结构包括确定帧模式，在所述确定帧模式中，在时间上连续的N个帧包括多个B帧、一个P帧和一个B帧，而且在不包括I帧的所述在时间上连续的N个帧中，包括从起始帧至第N-2个帧和第N个帧在内的所有帧的帧数据量都小于第N-1个帧的帧数据量的情况下，将第N-1个帧确定为P帧，其中N为不小于4的整数。
6.如权利要求4所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：在所述不包括I帧的在时间上连续的预定数目的帧中，将未被确定为P帧的其余每一帧确定为B帧。
7.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：针对不包括I帧的在时间上连续的多个帧，检查是否满足针对多个不同表现模式中的每个表现模式预先设置的、表示表现模式中包括的帧的位置与帧数据量之间的关系的准则，并且，基于与所满足的准则相对应的表现模式来确定每一帧的类型。
8.如权利要求7所述的视频质量估计方法，其中，所述准则包括：基于所述基本流中的预定范围内的多个帧的帧数据量的平均值来计算的阈值与所述表现模式中的每一帧的帧数据量之间的大小关系。
9.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：基于TS分组首部中包括的payload_unit_start_indicator信息的值来检测所述帧起始位置。
10.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：将不包括I帧的在时间上连续的帧中的每一帧的帧数据量与预定阈值进行比较，并基于比较结果来将所述帧确定为P帧和B帧之一。
11.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：在不包括I帧的在时间上连续的帧中，将满足以下条件的不少于预定数目的连续帧中的所有帧确定为P帧：在所述连续帧中，位于起始位置的帧所具有的帧数据量不小于预定阈值，而且，从所述起始位置至结束位置的所有帧的帧数据量在预定确定范围之内。
12.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：基于TS分组的适配字段部分中包括的random_access_indicator“RAI”信息和elementary_stream_priority_indicator“ESPI”信息之一的值来确定I帧。
13.如权利要求1所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：检测所述基本流中出现的分组丢失；假设分组丢失，其中表示帧起始位置的帧中断确定信息丢失；以及基于根据假设结果所获得的帧起始位置来执行帧类型确定。
14.如权利要求13所述的视频质量估计方法，其中，所述帧类型确定步骤包括以下步骤：创建多个中断内插模式，所述中断内插模式假设在分组丢失中丢失了所述帧中断确定信息；针对每个中断内插模式，根据所述中断内插模式基于帧起始位置来执行帧类型确定；以及从所获得的帧类型确定结果中选择最优内插模式的帧类型确定结果，所述最优内插模式的帧类型确定结果与所述存储单元中预先设置的典型GOP结构相匹配。
15.一种视频质量估计装置，用于基于TS分组来估计视频通信的视频质量，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述装置包括：
存储单元，存储所述基本流的帧结构；
帧类型确定单元，基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量；并基于帧的帧数据量之间的大小关系来确定帧类型；以及
视频质量估计单元，基于所述帧类型确定单元获得的每一帧的帧类型、从所述存储单元读出的所述基本流的帧结构、以及从所述视频通信的TS分组中检测到的TS分组丢失状态来估计所述视频通信的视频质量。
16.一种帧类型确定方法，使包括算术处理单元和存储单元的处理装置基于视频通信中的TS分组来确定每一帧的类型，所述视频通信将基本流转换为TS分组并传送所述TS分组，所述基本流是通过将视频信号压缩编码为多种帧而获得的，所述方法包括：
存储步骤，使所述存储单元存储所述基本流的帧结构；以及
帧类型确定步骤，使所述算术处理单元基于所述视频通信的输入TS分组中包括的帧起始位置来对帧中包括的TS分组的数目进行计数，作为每一帧的帧数据量；并基于帧的帧数据量之间的大小关系来确定帧类型。
CN2008800010326A 2007-08-22 2008-08-22 视频质量估计装置、视频质量估计方法、帧类型确定方法 Active CN101558657B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007216364 2007-08-22
JP216364/2007 2007-08-22
JP105708/2008 2008-04-15
JP2008105708 2008-04-15
PCT/JP2008/065009 WO2009025357A1 (ja) 2007-08-22 2008-08-22 映像品質推定装置、映像品質推定方法、フレーム種別判定方法、および記録媒体

Publications (2)

Publication Number Publication Date
CN101558657A CN101558657A (zh) 2009-10-14
CN101558657B true CN101558657B (zh) 2011-07-27

Family

ID=40378257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800010326A Active CN101558657B (zh) 2007-08-22 2008-08-22 视频质量估计装置、视频质量估计方法、帧类型确定方法

Country Status (7)

Country Link
US (1) US8320747B2 (zh)
EP (1) EP2077672B1 (zh)
JP (1) JP4891352B2 (zh)
KR (1) KR101008608B1 (zh)
CN (1) CN101558657B (zh)
CA (1) CA2668003C (zh)
WO (1) WO2009025357A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
US20100161779A1 (en) * 2008-12-24 2010-06-24 Verizon Services Organization Inc System and method for providing quality-referenced multimedia
JP5472120B2 (ja) * 2009-02-02 2014-04-16 日本電気株式会社 ピクチャタイプ推定装置、方法、及びプログラム
JP2011019127A (ja) * 2009-07-09 2011-01-27 Nec Corp 画質評価装置、画質評価方法及びそのプログラム
EP2309668A1 (en) 2009-10-09 2011-04-13 Thomson Licensing A digital receiver and corresponding digital transmission system server
ES2537236T3 (es) 2009-10-22 2015-06-03 Nippon Telegraph And Telephone Corporation Dispositivo de estimación de la calidad de vídeo, método de estimación de la calidad de vídeo, y programa de estimación de la calidad de vídeo
JP2011114444A (ja) * 2009-11-25 2011-06-09 Fujitsu Ltd 情報処理装置，情報生成方法，およびプログラム
CN102223565B (zh) * 2010-04-15 2013-03-20 上海未来宽带技术股份有限公司 一种基于视频内容特征的流媒体视频质量评估方法
US9288071B2 (en) 2010-04-30 2016-03-15 Thomson Licensing Method and apparatus for assessing quality of video stream
JP5394991B2 (ja) * 2010-06-04 2014-01-22 日本電信電話株式会社 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム
PL2866448T3 (pl) * 2010-07-30 2016-10-31 Sposób i urządzenie do czasowej synchronizacji wejściowego strumienia bitów dekodera wideo z przetworzoną sekwencją wideo dekodowaną przez dekoder wideo
EP2413535B1 (en) * 2010-07-30 2012-09-19 Deutsche Telekom AG Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream
JP2014504471A (ja) * 2010-11-30 2014-02-20 トムソン ライセンシング フレーム損失パターンに基づいてビデオの品質を測定する方法および装置
PL2649807T3 (pl) * 2010-12-10 2018-09-28 Deutsche Telekom Ag Sposób i aparatura do oceny jakości sygnału wideo podczas kodowania i transmisji sygnału wideo
CN103716640B (zh) * 2010-12-17 2017-02-01 华为技术有限公司 帧类型的检测方法和装置
CN102547300B (zh) * 2010-12-17 2015-01-21 华为技术有限公司 帧类型的检测方法和装置
CN104883563B (zh) 2011-04-11 2017-04-12 华为技术有限公司 一种视频数据质量评估方法和装置
JP5335867B2 (ja) * 2011-08-22 2013-11-06 日本電信電話株式会社 基本ＧｏＰ長を用いた映像品質推定装置及び方法及びプログラム
JP5384586B2 (ja) * 2011-08-31 2014-01-08 日本電信電話株式会社 ＴｉｍｅｓｔａｍｐｅｄＴＳ（ＴＴＳ）を用いた映像フレーム判別装置および方法およびプログラム、及びＴＴＳを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラム
JP2013062738A (ja) * 2011-09-14 2013-04-04 Oki Electric Ind Co Ltd 映像パケットのフレーム種別判別方法及び監視サーバ
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
CA3081964A1 (en) * 2012-01-20 2013-07-25 Ge Video Compression, Llc Coding concept allowing parallel processing, transport demultiplexer and video bitstream
WO2014018012A1 (en) 2012-07-24 2014-01-30 Siemens Enterprise Communications Gmbh & Co. Kg Method, device, and system for testing video quality
CN104780369B (zh) 2012-08-21 2018-04-17 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
CN103634698B (zh) * 2012-08-21 2014-12-03 华为技术有限公司 视频流的帧类型检测、帧大小检测方法及装置
CN104394485B (zh) * 2012-08-21 2017-12-15 华为技术有限公司 视频流的帧大小检测方法及装置
US9858656B2 (en) * 2013-03-13 2018-01-02 Raytheon Company Video interpretability and quality estimation
JP6421422B2 (ja) 2014-03-05 2018-11-14 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法
CN103929637B (zh) * 2014-04-23 2016-03-30 无锡天脉聚源传媒科技有限公司 一种视频比较装置及其比较方法
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
US10440087B2 (en) 2016-08-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Estimation of losses in a video stream
CN106604097B (zh) * 2016-12-07 2020-08-11 广东威创视讯科技股份有限公司 多路视频信号的传输方法和系统
CN109391846B (zh) * 2017-08-07 2020-09-01 浙江宇视科技有限公司 一种自适应模式选择的视频加扰方法及装置
CN112073823B (zh) * 2020-09-02 2022-07-12 深圳创维数字技术有限公司 丢帧处理方法、视频播放终端及计算机可读存储介质
EP4304167A1 (en) 2021-06-14 2024-01-10 Samsung Electronics Co., Ltd. Electronic device carrying out video call by using frc, and operation method for electronic device
CN115134629B (zh) * 2022-05-23 2023-10-31 阿里巴巴（中国）有限公司 视频传输方法、系统、设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5650829A (en) * 1994-04-21 1997-07-22 Sanyo Electric Co., Ltd. Motion video coding systems with motion vector detection
US20020154694A1 (en) 1997-03-21 2002-10-24 Christopher H. Birch Bit stream splicer with variable-rate output
US6011868A (en) * 1997-04-04 2000-01-04 Hewlett-Packard Company Bitstream quality analyzer
JP2001024994A (ja) * 1999-07-07 2001-01-26 Matsushita Electric Ind Co Ltd 送信装置、受信装置、記録装置及びプログラム記録媒体
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
JP4327674B2 (ja) 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
US7835615B2 (en) * 2004-10-12 2010-11-16 Panasonic Corporation Data processing apparatus
WO2006114761A1 (en) * 2005-04-26 2006-11-02 Koninklijke Philips Electronics N.V. A device for and a method of detecting positions of intra-coded frames in a data stream
JP4460506B2 (ja) 2005-08-26 2010-05-12 日本電信電話株式会社 ユーザ体感品質推定装置、方法、およびプログラム
KR100740421B1 (ko) 2006-09-01 2007-07-16 온타임텍 주식회사 디지털 멀티미디어 방송 측정 장치에서의 신호 품질 측정방법
WO2009012302A1 (en) 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for viewer quality estimation of packet video streams

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2001-24994A 2001.01.26
JP特开2006-33722A 2006.02.02

Also Published As

Publication number Publication date
CA2668003A1 (en) 2009-02-26
WO2009025357A1 (ja) 2009-02-26
KR101008608B1 (ko) 2011-01-17
EP2077672A4 (en) 2010-01-06
KR20090084845A (ko) 2009-08-05
JPWO2009025357A1 (ja) 2010-11-25
US20100166388A1 (en) 2010-07-01
CN101558657A (zh) 2009-10-14
JP4891352B2 (ja) 2012-03-07
EP2077672A1 (en) 2009-07-08
CA2668003C (en) 2013-04-02
US8320747B2 (en) 2012-11-27
EP2077672B1 (en) 2014-06-25

Similar Documents

Publication Publication Date Title
CN101558657B (zh) 视频质量估计装置、视频质量估计方法、帧类型确定方法
US11805265B2 (en) Selecting content transmissions based on encoding parameters
JP5957532B2 (ja) ビデオシーケンスにおける知覚品質評価のためのシーン変化検出
US8902782B2 (en) Method of determining video quality
US20120201310A1 (en) Video quality estimation apparatus, video quality estimation method, and program
US8094578B2 (en) Method of predicting the transmission error rate in a communication network and server implementing such a method
CN101617538A (zh) 用于视频编码中扩展空间可分级性的改进层间预测
CN105474650A (zh) 用于确定具有变化的质量对比特率的媒体数据流的质量的概念
US20080123749A1 (en) Method of transmitting at varying bit rates through a transmission channel
JP2010518794A (ja) 効率的な空間イントラ予測可能性決定（又は評価）のためのシステムおよび方法
Bentaleb et al. Data-driven bandwidth prediction models and automated model selection for low latency
CN101517903B (zh) 多媒体信息接收装置
Nguyen et al. An evaluation of tile selection methods for viewport-adaptive streaming of 360-degree video
CN101622877A (zh) 用于有效空间帧内可预测性确定（或评估）的系统和方法
CN1197256C (zh) 通信系统,发射机,保护传输差错的方法
CN100556149C (zh) 向量预测方法
Kempken et al. Modeling of H. 264 high definition video traffic using discrete-time semi-Markov processes
KR101971075B1 (ko) 계층 변조 신호의 성상비
JP5394991B2 (ja) 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム
CN110708604B (zh) 一种视频转发服务器的ip信道带宽的适配方法及装置
US11303690B1 (en) Method and system for enhancing quality of experience (QOE) of video reception at receiver

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant