CN102547300A - 帧类型的检测方法和装置 - Google Patents

帧类型的检测方法和装置 Download PDF

Info

Publication number
CN102547300A
CN102547300A CN2010105943225A CN201010594322A CN102547300A CN 102547300 A CN102547300 A CN 102547300A CN 2010105943225 A CN2010105943225 A CN 2010105943225A CN 201010594322 A CN201010594322 A CN 201010594322A CN 102547300 A CN102547300 A CN 102547300A
Authority
CN
China
Prior art keywords
frame
present
type
data volume
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105943225A
Other languages
English (en)
Other versions
CN102547300B (zh
Inventor
沈秋
谢清鹏
张冬
李厚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN201310664666.2A priority Critical patent/CN103716640B/zh
Priority to CN201010594322.5A priority patent/CN102547300B/zh
Priority to EP14182578.6A priority patent/EP2814255B1/en
Priority to EP11848791.7A priority patent/EP2637410B1/en
Priority to PCT/CN2011/080343 priority patent/WO2012079406A1/zh
Publication of CN102547300A publication Critical patent/CN102547300A/zh
Priority to US13/919,674 priority patent/US9497459B2/en
Application granted granted Critical
Publication of CN102547300B publication Critical patent/CN102547300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明实施例公开了一种帧类型的检测方法和装置，其中方法包括：检测各帧的播放时间；若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定所述当前帧为双向预测编码帧B帧。本发明实施例提供的技术方案，结合不同类型帧的编码顺序以及不同类型帧的前后数据量大小关系，在不解码净载的情况下判断帧类型，消除了衰减因子的影响，提高了帧类型检测的正确率。

Description

帧类型的检测方法和装置
技术领域
本发明涉及视频处理技术领域，特别涉及帧类型的检测方法和装置。
背景技术
视频编码标准中的可解码数据帧类型可分为帧内编码帧(I-Frame，Intracoded frames，I帧)、单向预测编码帧(P-Frame，Predicted frames，P帧)、双向预测编码帧(B-Frame，Bi-directional predicted frames，B帧)。在视频应用中，I帧作为可解码的起始，一般称为随机接入点，可提供随机接入以及快速浏览等服务。在传输过程中，不同的帧类型出错，对解码端的主观质量的影响是不同的，I帧具有截断误差传播的作用，因此，如果I帧出错，则对整个视频的解码质量影响极大；P帧往往会作为其他帧间编码帧的参考帧，其作用次于I帧；由于B帧通常不做为参考帧，其丢失对视频解码质量影响较小。因此，在视频传输应用中区分数据流的不同帧类型有非常重要的意义，比如：作为视频质量评估的重要参数，帧类型判断的准确性直接影响到评估结果的准确性；可以对视频中不同类型的帧进行不等差保护来实现视频的有效传输，另外为了节省传输资源，在带宽不足时可以丢弃一些对主观质量影响不大的帧。
常用的流传输技术主要为互联网流媒体联盟(Internet Streaming MediaAlliance，ISMA)方式和活在网际协议上的动图像专家组传输流(MovingPicture Expert Group-2 Transport Stream over Intet PetProtocol，MPEG-2 TSover IP)方式，这两种协议方式在将压缩视频数据流进行封装时，都设计了能指示视频数据类型的指示位。ISMA方式是将压缩视频数据流直接采用实时传输协议(Real-time Transport Protocol，RTP)进行封装，其中MPEG-4 Part2遵循互联网标准3016(Request For Comments 3016，RFC3016)，H.264/听觉和视觉信号编码(Aural and Visual Code，AVC)遵循RFC3984，以RFC3984为例，RTP头部包含的序列号(Sequence Number)、时间戳(Timestamp)等可以用来判断丢帧以及帮助检测帧类型；MPEG-2 TS over IP方式也分两种：用户数据报文协议/IP上的传输流(TS over User Datagram Protocol/IP，TS overUDP/IP)和实时传输协议/UDP/IP上的传输流(TS over Real-time TransportProtocol/UDP/IP，TS over RTP/UDP/IP)，在视频传输中比较常用的是TS overRTP/UDP/IP(后面简称TS over RTP)，是将压缩视频数据流封装为基本流，进一步将基本流划分为TS分组，最后对TS分组用RTP进行封装并传输。
RTP是针对多媒体数据流的一种传输协议，负责提供端到端的实时数据传输，其报文主要包括四个部分：RTP头，RTP扩展头，净载头，净载数据。RTP头中的包含的数据主要有：序列号、时间戳、标志位等。序列号与RTP包一一对应，每发送一个包增加1，可用于检测丢包；时间戳可表示视频数据的采样时间，不同的帧会有不同的时间戳，可指示视频数据的播放顺序；标志位则用来标识一帧的结束。这些信息是帧类型判断的重要依据。
一个TS分组有188个字节，由分组首部、可变长度适配头和净负荷数据组成，其中分组首部的起始指示位(payload unit start indicator，PUSI)表示净负荷数据是否包含打包的分组流(Packet Elementary Stream，PES)包头或节目特殊信息(Program Special Information，PSI)。对于H.264媒体格式，每个PES包头预示着一个NAL单元的开始。TS分组自适应区段中的一些标志位，如：随机接入指示(random access indicator)、基本流优先级指示(elementary stream priority indicator)，可以用来判断传输内容的重要性，对于视频而言，随机接入指示为1表示随后遇到的第一个PES包中包含序列开始信息，基本流优先级指示为1表示该TS分组负载内容有较多的Intra块数据。
如果通过PUSI判断出TS分组负载部分包含PES包头，则可以进一步挖掘对传输有用的信息。PES分组由PES分组包头及其后的分组数据组成，原始流数据(视频、音频等)加载在PES包数据中。PES分组插在传送流分组中，每个PES分组首部的第一个字节就是传送流分组有效负载的第一个字节。即一个PES包头必须包含在一个新的TS包中，同时PES包数据要充满TS传送包的有效负荷区域，若PES包数据的结尾无法与TS包的结尾对齐，则需要在TS的自适应区域中插入相应数量的填充字节，使得两者的结尾对齐。PES优先级表示PES包数据中的净载的重要性，对于视频，为1表示Intra数据；另外PTS表示显示时间，DTS表示解码时间，可以用来判断视频载荷内容的前后相关性，从而判断载荷类型。
TS over RTP方式中，为了保护传输中的视频版权内容，在传输过程中往往会采用对负载加密的方式进行传输。对TS分组的加密是对分组的有效载荷部分进行加密，一旦TS头部的加扰标记置1，则其载荷被加密，此时仅可以利用相邻PUSI之间具有相同PID的数据包的长度(同一个视频帧的长度)来判断出载荷数据类型。如果TS分组中PES头未加密，则除了可以利用上述视频帧的长度来判断数据帧类型外，还可以利用PTS来协助判断帧类型。
通过以上的介绍可知：不同类型的数据帧其数据量有区别，I帧由于只去除了帧内的冗余，其数据量一般比去除了帧间冗余的帧间编码帧大，而P帧一般又比B帧的数据量大。针对这一特性，目前存在一些帧类型检测算法在TS分组加密的情况下，利用帧的数据量来判断帧类型；以下介绍运用比较多的两种方法：
一：通过解析TS分组，得到每个视频帧的长度，通过长度大小信息推断帧类型。已经提出的方法是针对TS分组的有效载荷部分已加密的情况下，确定帧类型。
该方法通过解析TS分组的Continuity Counter域判断分组的丢失状态，通过本次执行判断之前的图像组(Group Of Pictures，GOP)的结构信息估计丢失的分组状态，并结合TS分组头部自适应字段的可用信息(Random AccessIndicator，RAI或者Elementary Stream Priority Indicator，ESPI)来判断视频帧的类型。
对于I帧的识别，可以用以下三种方法：
1、利用RAI或者ESPI识别I帧。
2、在不能利用RAI或者ESPI识别时，通过缓存一个GOP的数据，将当前缓存的数据中的最大值做为I帧，GOP的长度需要预先定义，一旦GOP长度发生变化，该方法将失效。
3、使用表示最大GOP长度的值作为I帧的确定周期，确定周期内的最大数据量帧是I帧，确定周期是已检测出的I帧周期的最大值。
对于P帧，用以下三种方法：
1、从起始帧至紧接I帧之前的帧之间的帧中，选择数据量大于周围帧的每一帧确定为P帧。针对处理目标流的GOP结构中包括的确定帧模式，从确定周期中选择与N种确定帧模式相对应的连续帧作为确定目标帧，将确定目标帧的数据量之间的大小关系与确定帧模式进行比较，可以基于其间的匹配来确定P帧。在GOP结构中，使用以下模式作为确定帧模式：该模式包括紧接在P帧之前的所有连续B帧和在P帧下一帧的一个B帧。此时GOP的一些信息需要预先输入。
2、基于表现模式中预定位置处的多个帧的帧数据量的平均值而计算的阈值与表现模式中每一帧的帧数据量之间的比较结果。
3、使用调整系数基于帧数据量来调整用于区分P和B帧的阈值。调整系数：在给定范围内顺序选择的临时调整系数来执行与帧类型确定处理相同的处理，从而对预先给定的获知周期中的每一帧的帧类型进行估计，计算估计结果与从未加密流中获取的实际帧类型的错误确定比，获知具有最低错误确定比的临时调整系数作为真实的调整系数。
对于B帧，判断方法为：I帧，P帧以外的帧确定为B帧。
以上判断帧类型的方法，对于有分组丢失的情况，基于RTP序列号和TS首部连续性指示符(CC)可以检测分组丢失，通过GOP结构可以模式匹配估计丢失的分组状态，从而达到一定程度的纠正。但是对于不可调整阈值的方法需要预先输入GOP信息，而对于可调整阈值的方法则需要从未加密的码流中获取帧类型信息来训练系数，需要过多的人工干预。另外，需要缓存一个GOP再进行帧类型估计，不适用于实时应用。再次，I帧判断只进行一次，可调整的系数是周期，在每个周期中直接取最大值为I，只考虑到了局部特性，对于全局特性没有考虑。
二：利用阈值区分不同帧的方法可以分四步进行：
1、阈值的更新：
区分I帧的阈值(Ithresh)：
scaled_max_iframe＝scaled_max_iframe*0.995；其中scaled_max_iframe为上一个I帧大小。
如果nbytes＞scaled_max_iframe，
则ithresh＝(scaled_max_iframe/4+av_nbytes*2)/2；其中av_nbytes为当前8帧的滑动均值。
区分P帧的阈值(Pthresh)：
scaled_max_pframe＝scaled_max_pframe*0.995；其中scaled_max_pframe为上一个P帧大小。
如果nbytes＞scaled_max_pframe，则pthresh＝av_nbytes*0.75；
2、检测I帧：视频每隔一段时间会有一个I帧，I帧比平均值大，I帧比P帧大。如果当前帧数据量比Ithresh大，则认为该帧是I帧。
3、检测P帧：利用B帧比平均值小。如果当前帧的数据量大于Pthresh，小于Ithresh，则认为该帧是P帧。
4、其他的帧为B帧。
以上第二种判断帧类型的方法，采用衰减因子控制阈值，该因子直接影响I帧的判断，当后续I帧大于当前I帧时，容易判断出I帧；但是当后续I帧远小于当前I帧时，需要经过很多帧的衰减才能重新判断出I帧。且算法中固定为0.995，没有考虑GOP变化剧烈的情况，很多情况下并不适用。衰减因子越小，则I帧漏检率越小，同时P误判为I帧的概率增加；衰减因子越大，则I帧漏检率增大(序列中I帧的大小变化剧烈时)，将I帧判断为P帧。因此检测准确率较低。另外，仅考虑使用阈值判断B/P帧，对I/P/P/P...这种帧结构，算法会将很多P帧错判为B帧误判率高。
发明内容
本发明实施例要解决的技术问题是提供一种帧类型的检测方法和装置，提高帧类型检测的正确率。
为解决上述技术问题，本发明所提供的帧类型的检测方法实施例可以通过以下技术方案实现：
检测各帧的播放时间；
若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定所述当前帧为双向预测编码帧B帧。
一种帧类型的检测方法，包括：
获得接收到的帧所在码流的编码类型，所述编码类型包括：开环编码和闭环编码；
若当前帧的数据量大于第一域值则确定当前帧为明显的帧内编码帧I帧，所述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为单向预测编码帧P帧；所述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
一种帧类型的检测装置，包括：
时间检测单元，用于检测各帧的播放时间；
帧类型确定单元，用于若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定所述当前帧为双向预测编码B帧。
一种帧类型的检测装置，包括：
类型获得单元，用于获得已经接收到的帧所在码流的编码类型，所述编码类型包括：开环编码和闭环编码；
帧类型确定单元，用于若当前帧的数据量大于第一域值则确定当前帧为明显的I帧，所述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为P帧；所述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
本发明实施例提供的技术方案，结合不同类型帧的编码顺序以及不同类型帧的前后数据量大小关系，在不解码净载的情况下判断帧类型，消除了衰减因子的影响，提高了帧类型检测的正确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1A为本发明实施例方法流程示意图；
图1B为本发明实施例方法流程示意图；
图2a为本发明实施例分级B帧编码结构示意图；
图2b为本发明实施例编码顺序和播放顺序的关系，以及编码的层级示意图；
图3为本发明实施例丢包帧结构示意图；
图4为本发明实施例方法流程示意图；
图5为本发明实施例方装置结构示意图；
图6为本发明实施例方装置结构示意图；
图7为本发明实施例方装置结构示意图；
图8为本发明实施例方装置结构示意图；
图9为本发明实施例方装置结构示意图；
图10为本发明实施例检测结果示意图；
图11为本发明实施例检测结果示意图；
图12为本发明实施例检测结果示意图；
图13为本发明实施例检测结果示意图；
图14为本发明实施例检测结果示意图；
图15为本发明实施例检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种帧类型的检测方法，如图1A所示，包括：
101A：检测各帧的播放时间；
102A：若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定上述当前帧为双向预测编码B帧；
进一步地，本发明实施例还可以：依据各帧的播放顺序和编码顺序确定B帧在分级编码中所属的层级。对于如何确定层级在后文中将作进一步的说明。基于B帧的特性，若确定了其所属的层级可以在很多领域应用，例如：在压缩数据帧时，可以丢弃层级高的B帧。在B帧的层级确定后的应用本发明实施例不予限定。
上述实施例，结合不同类型帧的编码顺序以及不同类型帧的前后数据量大小关系，在不解码净载的情况下判断帧类型，消除了衰减因子的影响，提高了帧类型检测的正确率。
本发明实施例还提供了另一种帧类型的检测方法，如图1B所示，包括：
101B：获得接收到的帧所在码流的编码类型，上述编码类型包括：开环编码和闭环编码；
102B：若当前帧的数据量大于第一域值则确定当前帧为明显的I帧，上述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
上述明显的I帧属于I帧，若判断为明显的I帧，那么判断错误的几率是很低的，但是有可能出现漏判，后续其他判断I帧的方式可能出现错判I帧的情况。
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧(当前帧此时还不清楚其帧类型，但是可以确定其是否为明显的I帧)，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为P帧；上述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
需要说明的是，上述图1B对应的方法可以独立应用，也可以与图1A的方法结合使用，若结合使用可以在图1A中播放时间无法检测到的情况下使用实现方式。
上述获得接收到的帧所在码流的编码类型包括：
统计明显的I帧后一帧的类型，若为P帧的比例达到设定比例则确定编码类型为闭环编码，否则为开环编码。
以下实施例以图1B的方案与图1A的方案结合使用为例进行说明，若图1B方案独立使用的时，可以不用检查播放时间是否能够被检测到。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
若当前帧大于第二阈值，则确定当前帧为I帧；上述第二阈值为当前帧之前的一个I帧的数据量、当前帧所在图像组中P帧的平均数据量以及设定个数连续帧的平均数据量中的最大值。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
若当前帧大于第三阈值，且当前帧与前一个I帧的间隔超过固定间隔，则确定当前帧为I帧；上述第三阈值为：当前帧所在图像组各帧的平均数据量、上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度、当前帧的前一个P帧的数据量以及当前帧所在图像组I帧的数据量计算得到；或者，上述第三阈值根据当前帧所在图像组各帧的平均数据量以及上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
若当前帧的上一帧为P帧且当前帧的数据量大于第五阈值，或者当前图像组存在B帧且当前帧的数据量大于第六阈值，则确定当前帧为P帧；上述第五阈值为：第一调节因子与当前帧所在图像组的P帧的平均数据量的积，上述第一调节因子大于0.5且小于1；上述第六阈值为：P帧平均数据量和B帧平均数据量的均值；
若当前帧的上一帧为B帧且当前帧的数据量小于第七阈值，或者当前图像组存在P帧且当前帧的数据量小于第八阈值，则确定当前帧为P帧；上述第七阈值为：第二调节因子与当前帧所在图像组的B帧的平均数据量的积，上述第二调节因子大于1小于1.5；上述第八阈值为：P帧平均数据量与B帧平均数据量的均值。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
在帧类型判断结束后，确定I帧的固定间隔，若在固定间隔达到后仍然没有判断存在I帧，则将固定间隔处设定范围内的最大数据量的帧确定为I帧；并更新图像组中各种类型帧的平均数据量以及I帧的间隔参数。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
在帧类型判断结束后，统计连续的B帧，若连续的B帧数大于预测值，则将上述连续的B帧中数据量最大的帧确定为P帧；并更新图像组中各种类型帧的平均数据量；上述预测值大于等于3小于等于7。
进一步地在101A中若播放时间无法检测到的方法实施例，还包括：
确定已经接收到的帧是否发生丢包，若发生丢包，则确定丢包类型；
若丢包类型为帧内丢包，则计算帧数据量时确定收到帧的数据量与丢包数据量的和为该帧的数据量；
若丢包类型为帧间丢包，则确定丢包处之前的包的标志位是否为1，若是，则将丢包的数据量计算入后一帧，否则将丢包的数据量平均分配给前后两帧。
进一步地上述确定丢包类型包括：
通过统计已经检测出的帧类型预测编码结构；
若丢包类型为帧间丢包，丢包处之前的包的标志位无法检测，则依据预测的编码结构以及丢包的位置分割当前数据长度。
本发明实施例充分利用RTP或TS over RTP的包头信息，结合视频中不同类型帧的编码顺序以及不同类型帧的前后数据量大小关系，在不解码视频净载的情况下快速实时的判断帧类型，并且通过丢包处理、自动更新参数以及后期帧类型纠正的方法提高帧类型检测的正确率。
视频流中会有指示视频数据的播放时间的包头信息，如：ISMA方式中的RTP时间戳，以及TS over RTP方式中PES头的PTS。本发明实施例将利用播放时间信息和编码顺序的相互关系，来判断某些特殊结构的编码类型，如：B帧。但对于TS over RTP方式，可能存在TS净载完全加密PES头无法解码的情况，即PTS不可得，因此，本发明实施例还提供了不利用播放时间只利用数据量等信息来进行帧类型判断的方案。
观察实际应用中的视频码流可以发现，同一个GOP内不同类型的帧一般具有较为明显的区别，I帧数据量最大，P帧其次，B帧最小。如果能正确识别出每个GOP起始处的I帧，则可以利用该帧的数据量判断此GOP内部的P帧和B帧。但由于视频信号的非平稳性，不同位置处的I帧数据量差别存在着较大的差别，甚至会和之前GOP中的P帧的数据量相当，给判断I帧带来了困难。本发明实施例设计了一套可智能调节的动态参数，以提高帧类型判断的鲁棒性和准确性。特别是在判断I帧时，充分考虑了不同应用场景中I帧的特性适当的调节判断准则和相关参数，大大降低了I帧的误判率。
在有损传输的应用场景中，输入的视频流会发生丢包，根据丢包对判断过程的影响，可以将其分为两类：一、帧内的丢包，此时帧边界的信息没有丢失，可以先获取到帧边界，用对应的序列号来统计一帧的包数；二、帧边界丢包(如：RTP中标志位为1的包，或TS over RTP中PUSI置1的包)，此时可能无法判断前后两帧的边界，也可能前后两帧的数据拼接到一帧，使得帧数据量统计不准确，影响帧类型判断的结果。本发明实施例将就此进行丢包检测、帧边界估计以及部分的帧类型估计。
在帧类型判断的前期，由于统计数据不充足，会存在较多的误判，不仅影响到已输出的结果，更会通过改变各种参数影响到后续判断的准确性。本发明实施例在判断帧类型流程之后增加了帧类型纠正，在数据增加后若输出结果有明显错误时进行内部纠正，内部纠正虽然不能改变已经输出的帧类型，但可以通过调整参数的方式提高后续判断的准确性。
以下将分别就本发明实施例的三个要点进行详细说明：
一：利用播放时间判断B帧或/和分级B帧：
由于B帧采用前向以及后向的已编码帧作为预测，其编码顺序在后向参考帧之后，使得其播放时间往往和编码顺序不一致，因此可以用播放时间信息来判定B帧。若当前帧的播放时间小于已经接收到的帧的最大的播放时间，则该帧肯定为B帧，否则为I帧或P帧。
对于分级编码的B帧也可以利用播放时间来进一步判断最高层级以及每个B帧所属的层级。以连续7个B帧的情况为例，图2a所示，是该情况下分级B帧的编码结构图，第一排字母的下标表示每帧所属的层级，第二排的数字为每一帧的播放序号。而实际的编码顺序为(括弧中的数字为播放序号)I0/P0(0)，I0/P0(8)，B1(4)，B2(2)，B3(1)，B3(3)，B2(6)，B3(5)，B3(7)。图2b为编码顺序和播放顺序的关系，以及编码的层级，阿拉伯数字表示播放序号，中文数字表示编码序号。
用播放时间判断分级的算法可分为两步：
第一步：判断最高层级(此例中为3)。将第0帧的层级设为0，然后按编码顺序读取播放时间，如果当前一帧的播放时间小于前一帧的播放时间则当前帧的层级为前一帧的层级加1，反之则与前一帧的一样。直到读到播放时间紧邻于第0帧的帧即第1帧，此时第1帧所对应的层级即为最高层级。
第二步：根据相邻B帧播放时间的对称关系来判断剩余的帧所属的层级。第一步完成后图.五(b)实线框中的层级都已经确定，此时需检测虚线框中的B帧所属的层级。检测方法是在已经确定层级的帧中进行遍历，寻找到两个帧使得他们播放时间的均值与当前帧的播放时间相等，则当前帧的层级为该两个帧的最大层级加1。图中的椭圆展示的即是这种对称关系，即椭圆中上面两帧的播放时间的均值等于最下面帧的播放时间，而最下面帧的层级刚好为以上两帧层级的最大值加1。
二、利用帧数据量来判断帧类型：
由于根据播放时间只能区分出是否为B帧，本实施例提供了只利用数据量等信息来判断I帧和P帧的方案。对于根据播放时间可判断出B帧的情况，只需要对剩余的帧区分是否I帧或P帧；而对于无法根据播放时间判断出B帧的情况(例如包头信息加密的情况)则要对所有帧进行判断，先确定I帧和P帧，剩余的帧则判定为B帧。
本实施例通过自动参数更新的方法利用帧数据量来判断帧类型，主要分为以下几个模块(如图六所示)：I帧判断模块、P帧判断模块、参数更新模块和类型纠正模块。
A：I帧判断：
一般来说视频中的I帧可分为以下两类：固定间隔的I帧，即为了满足随机接入在压缩过程中按照固定间隔(一定时期内固定，一旦用户切换频道，该间隔可能会发生变化)插入的I帧；自适应插入的I帧，即是为了提高压缩效率，在场景切换处插入的I帧。
对于固定间隔的I帧，在识别过程中可以估计该固定间隔，在超过该间隔还没有判断到I帧时，主动放宽判断条件或者用局部的特征来判断(后文对此将有详细说明)。
而对于自适应插入的I帧，在序列空间复杂度类似的场景切换处，如果编码为自适应插入的I帧，由于I帧的压缩效率差，其码率往往会比之前的P帧大；如果编码为P帧，由于预测变差，其码率也会比较大，此时该帧是比较重要的帧，较为容易的判断为I帧(P帧和I帧数据量都比较大，容易错误地将P帧误认是I帧)。对于空间复杂度简单的场景切换处，编码为I帧可能会比之前的P帧还小，对于此类的I帧没有办法正确识别，但是其后的那些P帧或B帧也会相应变小，通过后续的更新，可以进行类型纠正，以提高对后续帧类型的识别率。
因此，可通过以下三个步骤来判断I帧，即分别比较当前帧数据量和给定阈值，只要某一步中当前帧数据量大于给定阈值就判定为I帧：
根据阈值1判断明显的I帧；
根据阈值2判断非固定间隔的I帧；
根据阈值3判断超过预期的固定间隔的I帧。
B：P帧判断：
对于上一帧为I帧且当前视频流为闭环编码的情况，I帧后面不会紧邻B帧。如果该帧没有判断为I帧，则为P帧；
对于上一帧为I帧且当前视频流为开环编码的情况，如果当前帧的数据量大于阈值4，则该帧为P帧，否则该帧为B帧；
对于上一帧为P帧的情况，如果当前帧数据量大于阈值5或者在当前GOP存在B帧的情况下大于阈值6，那么该帧为P帧；
对于上一帧为B帧的情况，表示当前GOP中存在B帧，如果当前帧数据量小于阈值7或者在当前GOP已经判断出有P帧的情况下小于阈值8，那么该帧为P帧。
C：参数更新：
统计GOP的编码类型(开环或闭环)：在识别过程中，对于比较明显的I帧，可以统计其后一帧是B帧还是P帧，若大多数I帧后面都是P帧，则可以认为该编码器是闭环编码，否则认为是开环编码。
计算预期的I帧固定间隔：在判断出I帧后，统计其间隔的概率分布，并通过加权平均，得到的预期的固定间隔。
根据新判断出的帧类型实时的更新上述模块中的阈值：
a)阈值1：根据之前50帧的平均数据量(av_IBPnbytes)以及前一个I帧的数据量(iframe_size_GOP)，按照公式(1)计算得到：
阈值1＝delta1*iframe_size_GOP+av_IBPnbytes
其中，delta1为调节因子，取值范围为(0，1)，根据实验得到的经验值为0.5。
b)阈值2：根据前一个I帧的数据量(iframe_size_GOP)、当前GOP中最大的P帧的平均数据量(max_pframes_size_GOP)以及前50帧中I帧P帧的平均数据量(av_IPnbytes)，按照公式(2)计算得到：
阈值2＝max(delta2*max_pframes_size_GOP，delta2*av_IPnbytes，delta3*iframe_size_GOP)
其中，delta2和delta3分别为调节因子，其经验值为1.5和0.5。
c)阈值3：根据当前GOP的每帧的平均数据量(av_frame_size GOP)，前一个P帧的数据量(prew_pframe_nbytes)，当前GOP的I帧的数据量(iframe_size_GOP)，按照公式(3)计算得到；或者根据当前GOP的P帧平均数据量(av_pframes_size GOP)按照公式(5)计算得到：
阈值3＝max(av_frame_size_GOP，ip_thresh*prew_pframe_nbytes，iframe_size_GOP/3)            公式(3)
其中，ip_thresh随着从上一个I帧到当前帧的距离(curr_i_interval)与预期的固定I帧间隔(expected_iframe_interval)的远离程度来计算的：
ip_thresh＝max(2-(curr_i_interval-expected_iframe_interval)*0.1，1.5)公式(4)
阈值3＝SThresh*av_pframes_size_GOP+av_pframes_size_GOP    公式(5)
其中，sThresh根据curr_i_interval和expected_iframe_interval来计算：
SThresh＝
max(delta4，SThresh/(delta5*curr_i_interval/expected_iframe_interval))公式(6)
其中，delta4和delta5分别为调节因子，其经验值为0.2和2.0。
d)阈值4：为上一个GOP的P帧平均数据量(av_pframes_size_Last GOP)和B帧平均数据量(av_bframes_size_Last_GOP)的均值，如公式(7)：
阈值4＝(av_pframes_size_Last_GOP+av_bframes_size_Last_GOP)/2
e)阈值5：为0.75乘以当前GOP中P帧平均数据量(av_pframes_size GOP)，如公式(8)：
阈值5＝delta6*av_pframes_size_GOP
其中，delta6分别为调节因子，其经验值为0.75
f)阈值6：为P帧平均数据量(av_pframes_size_GOP)和B帧平均数据量(max_bframes_size_GOP)的均值，如公式(9)；
阈值6＝(av_pframes_size_GOP+max_ bframes_size_GOP)/2
g)阈值7：为1.25乘以当前GOP中B帧平均数据量(av_bframes_size_GOP)，如公式(10)：
阈值7＝delta7*av_bframes_size_GOP
其中，delta7分别为调节因子，其经验值为1.25
h)阈值8：为P帧平均数据量(av_pframes_size_GOP)和B帧平均数据量的均值(av_bframes_size_GOP)，如公式(11)：
阈值7＝(av_pframes_size_GOP+av_bframes_size_GOP)/2
D：类型纠正：
纠正漏判的I帧：
经过上述步骤后，可能存在远超过预期的固定间隔却还没有判断出I帧的情况，此时，虽然已经输出帧类型，但是可以利用局部的信息纠正参数，使得后续的帧类型判断更准确。在接近预期的固定间隔附近取数据量最大的帧，将其帧类型改为I帧，并更新GOP中各帧类型的平均数据量和I帧间隔等参数。
纠正错判的B帧：
实际应用中的视频编码器，在利用B帧提高编码效率时一般会考虑到解码延时以及解码存储开销，不会编码出超过7个的连续B帧，甚至，更为极端的是，连续B帧不会超过3个。通过之前判断出的帧类型统计得出该码流中最大连续B帧的预测值。在将一帧确定为B帧时，需要确保此次连续的B帧数不超过预测值。如果超过该值，说明当前连续判断为B帧的帧中可能有错判，需要将这些帧中数据量最大的帧改判为P帧，并更新GOP中的各帧类型的平均数据量等信息。
三、无法确定边界和帧数据量时的帧类型检测：
前两个实例都需要在帧边界和帧数据量已获得的情况下进行。在无丢包时可以通过RTP的序列号、时间戳、标志位(ISMA方式)或RTP序列号、TS中CC、PUSI、PID(TS over RTP方式)来准确的获知帧边界和每一帧的数据量，但在发生丢包的情况下，如果处于帧边界的包发生丢失，则无法准确判断帧边界的位置，可能会将帧的包数估计错误甚至将两帧的数据量拼为一帧，这将对帧类型的检测带来极大的干扰。因此，如果有丢包则需要在帧类型判断之前进行丢包处理，来获得帧边界、帧数据量和帧类型等信息。
由于ISMA方式中RTP时间戳的变化标志着新的帧到达，因此在发生丢包时，其处理过程比较简单：
1)如果丢包前后时间戳无变化，代表丢失的包处于一帧内部，只需在统计帧数据量时考虑丢包的数据即可；
2)如果丢包前后时间戳发生变化，代表丢包发生在帧的边界，此时如果丢包前一个包的标志位为1，则视丢包为后一帧的数据，添加到后一帧的数据量中；否则，将丢包的数据量平均分配给前后两帧(此处假设一次突发丢包不会超过一帧的长度)。
TS over RTP的情况要相对复杂，由于只能通过是否有PES头(即PUSI为1)来判断一帧的开始，若发生丢包，则很难判断两个有PES头的包之间的数据是属于一帧或多帧，如图3所示，在两个有PES头的包之间的数据发生了3次丢包，但由于无法知晓丢失的包中是否也有PES头(即代表一帧的开始)，无法判断这些数据是否属于同一帧。本案例从两方面分别提供了解决方法。
如果PES头可解，则可以根据其中的PTS来判断当前数据长度(即两个有PES头的包之间的数据长度)是否包含帧头信息：
1)统计正确检测出来的GOP的PTS的顺序，将分布概率与距离目前帧的距离加权作为预期指数，得到预期编码结构；
2)根据接收顺序中从I帧开始的一系列帧的PTS到当前的PTS及下一个PTS与预期的编码结构进行匹配
a)如果符合预期的编码结构，则认为该数据长度的丢包中不包含帧头信息，即当前数据长度为一帧，丢包发生在该帧内部，不需要分割；
b)如果不符合预期的编码结构，说明丢包中很可能包含帧头信息，按照预期的编码结构以及丢包发生的位置(连续长度，丢包长度等)分割当前的数据长度，分配合理的帧类型和帧大小以及PTS。
3)若后续发现了之前判断为丢失帧头的帧，则在校正步骤中更新之前的判断结果。
另外，可以根据丢包长度，连续长度，最大连续长度，最大丢包长度等来判断当前的数据长度是否为一帧以及属于何种帧类型：
1)如果该数据长度和前一个I帧的长度差不多，则认为属于同一个I帧；如果该数据长度和P帧差不多大，且最大连续长度比50帧之内的平均B帧的数据量大，则认为该数据长度都属于同一个P帧；对其他情况转到2)；
2)如果该数据长度和两个P帧差不多大，则要拆分为两个P帧，将这改数据长度分为两段，使得每段的长度都和P帧最接近，并且要确保第二段以丢失包开头；对其他情况转到3)；
3)如果该数据长度和P帧加B帧差不多，则要拆分为P帧+B帧，将连续长度最大的包归属为P帧，在此基础上将该数据长度分为两段，使得每段的长度分别接近P帧和B帧，并且要确保第二段以丢失包开头；对其他情况转到4)；
4)如果最大连续长度小于B帧且该数据长度和三个B帧差不多，则要拆分为三个B帧，将该数据长度分为三段，使得每段的长度都接近B帧，并且要确保第二段第三段以丢失包开头；对其他情况转到5)；
5)如果最大连续长度小于B帧且该数据长度和两个B帧差不多，则要拆分为两个B帧，将该数据长度的包分为两段，使得每段的长度都接近B帧，并且要确保第二段第三段以丢失包开头；对其他情况转到6)；
6)其他情况下认为该数据长度全部属于一帧。
本实施例结合以上各例，提供一个可选的帧类型检测方案，具体流程如图4所示：分为以下几个阶段：利用PTS初步判断帧类型、丢包处理、利用数据量进一步判断帧类型和类型纠正。
401：数据输入后，判断包头是否可解，是则执行根据播放时间判断帧类型，否则执行丢包处理；在帧类型判断结束后，判断是否之前帧判断是否有误，有则执行帧类型纠正，否则可以进入帧类型判断的循环，即进入401，具体执行如下：
根据播放时间判断帧类型：对输入的码流先判断是否为TS over RTP的包，如果是则需判断TS包的PES头是否加密。对于RTP包或PES头可解的TS overRTP的包，可根据播放时间信息初步判断是否为B帧，具体实施可参考要点一；
丢包处理：检测是否存在丢包，若无丢包直接统计出数据量进入以下帧类型判断步骤；若有丢包则需针对RTP或TS over RTP包分别进行丢包处理，估计帧边界、帧数据量或部分帧类型，具体实施可参考要点三；
根据数据量判断帧类型：该过程实时判断帧类型，且动态智能的调整相关参数，具体实施可参考要点二；
类型纠正：在判断过程中若发现之前的判断结果有误则会进行纠正，该过程不影响输出结果，但可用于更新相关参数，以提高后续判断的准确性，具体实施可参考要点二。
本发明实施例还提供了一种帧类型的检测装置，如图5所示，包括：
时间检测单元501，用于检测各帧的播放时间；
帧类型确定单元502，用于若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定上述当前帧为双向预测编码B帧；
进一步地，上述图5中还可以包括：
层级确定单元503，用于依据各帧的播放顺序和编码顺序确定B帧在分级编码中所属的层级；需要说明的是，层级确定不是本发明实施例确定B帧的必要技术特征，该技术特征仅作为后续进行需要层级信息的相关处理时才需要。
本发明实施例还提供了另一种帧类型的检测装置，如图6所示，包括：
类型获得单元601，用于获得已经接收到的帧所在码流的编码类型，上述编码类型包括：开环编码和闭环编码；
帧类型确定单元602，还用于若当前帧的数据量大于第一域值则确定当前帧为明显的I帧，上述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为P帧；上述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
进一步地，上述帧类型确定单元602，还用于若当前帧大于第二阈值，则确定当前帧为I帧；上述第二阈值为当前帧之前的一个I帧的数据量、当前帧所在图像组中P帧的平均数据量以及设定个数连续帧的平均数据量中的最大值。
进一步地，上述帧类型确定单元602，还用于若当前帧与前一个I帧的间隔超过固定间隔，且当前帧大于第三阈值，则确定当前帧为I帧；上述第三阈值为：当前帧所在图像组各帧的平均数据量、当前帧的前一个P帧的数据量以及当前帧所在图像组I帧的数据量、上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到；或者，上述第三阈值根据当前帧所在图像组各帧的平均数据量以及上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到。
进一步地，上述帧类型确定单元602，还用于若当前帧的上一帧为P帧且当前帧的数据量大于第五阈值，或者当前图像组存在B帧且当前帧的数据量大于第六阈值，则确定当前帧为P帧；上述第五阈值为：第一调节因子与当前帧所在图像组的P帧的平均数据量的积，上述第一调节因子大于0.5且小于1；上述第六阈值为：P帧平均数据量和B帧平均数据量的均值；
若当前帧的上一帧为B帧且当前帧的数据量小于第七阈值，或者当前图像组粗在P帧且当前帧的数据量小于第八阈值，则确定当前帧为P帧；上述第七阈值为：第二调节因子与当前帧所在图像组的B帧的平均数据量的积，上述第二调节因子大于1小于1.5；上述第八阈值为：P帧平均数据量与B帧平均数据量的均值。
进一步地，如图7所示，上述装置还包括：
间隔获取单元701，用于在帧类型判断结束后，确定I帧的固定间隔；
上述帧类型确定单元602，还用于若在固定间隔达到后仍然没有判断存在I帧，则将固定间隔处设定范围内的最大数据量的帧确定为I帧；
第一更新单元702，用于更新图像组中各种类型帧的平均数据量以及I帧的间隔参数。
进一步地，如图8所示，上述装置还包括：
统计单元801，用于在帧类型判断结束后，统计连续的B帧；
上述帧类型确定单元602，还用于若连续B帧的数量大于预测值，则将上述连续的B帧中数据量最大的帧确定为P帧；上述预测值大于等于3小于等于7
第二更新单元802，用于更新图像组中各种类型帧的平均数据量。
进一步地，如图9所示，上述装置还包括：
丢包类型确定单元901，用于确定已经接收到的帧是否发生丢包，若发生丢包，则确定丢包类型；
数据量确定单元902，用于若丢包类型为帧内丢包，则计算帧数据量时确定收到帧的数据量与丢包数据量的和为该帧的数据量；
若丢包类型为帧间丢包，则确定丢包处之前的包的标志位是否为1，若是，则将丢包的数据量计算入后一帧，否则将丢包的数据量平均分配给前后两帧。
需要说明的是，本实施的装置和图4或图5的装置是可以合并使用的，帧类型确定单元502与帧类型确定单元602可以使用同一个功能单元实现。
本发明实施例充分利用RTP或TS over RTP的包头信息，结合视频中不同类型帧的编码顺序以及不同类型帧的前后数据量大小关系，在不解码视频净载的情况下快速实时的判断帧类型，并且通过丢包处理、自动更新参数以及后期帧类型纠正的方法提高帧类型检测的正确率。
视频流中会有指示视频数据的播放时间的包头信息，如：ISMA方式中的RTP时间戳，以及TS over RTP方式中PES头的PTS。本发明实施例将利用播放时间信息和编码顺序的相互关系，来判断某些特殊结构的编码类型，如：B帧。但对于TS over RTP方式，可能存在TS净载完全加密PES头无法解码的情况，即PTS不可得，因此，本发明实施例还提供了不利用播放时间只利用数据量等信息来进行帧类型判断的方案。
观察实际应用中的视频码流可以发现，同一个GOP内不同类型的帧一般具有较为明显的区别，I帧数据量最大，P帧其次，B帧最小。如果能正确识别出每个GOP起始处的I帧，则可以利用该帧的数据量判断此GOP内部的P帧和B帧。但由于视频信号的非平稳性，不同位置处的I帧数据量差别存在着较大的差别，甚至会和之前GOP中的P帧的数据量相当，给判断I帧带来了困难。本发明实施例设计了一套可智能调节的动态参数，以提高帧类型判断的鲁棒性和准确性。特别是在判断I帧时，充分考虑了不同应用场景中I帧的特性适当的调节判断准则和相关参数，大大降低了I帧的误判率。
在有损传输的应用场景中，输入的视频流会发生丢包，根据丢包对判断过程的影响，可以将其分为两类：一、帧内的丢包，此时帧边界的信息没有丢失，可以先获取到帧边界，用对应的序列号来统计一帧的包数；二、帧边界丢包(如：RTP中标志位为1的包，或TS over RTP中PUSI置1的包)，此时可能无法判断前后两帧的边界，也可能前后两帧的数据拼接到一帧，使得帧数据量统计不准确，影响帧类型判断的结果。本发明实施例将就此进行丢包检测、帧边界估计以及部分的帧类型估计。
在帧类型判断的前期，由于统计数据不充足，会存在较多的误判，不仅影响到已输出的结果，更会通过改变各种参数影响到后续判断的准确性。本发明实施例在判断帧类型流程之后增加了帧类型纠正，在数据增加后若输出结果有明显错误时进行内部纠正，内部纠正虽然不能改变已经输出的帧类型，但可以通过调整参数的方式提高后续判断的准确性。
以下是帧类型判断后的几种应用，可以理解的是帧类型确定后的应用举例不应理解为穷举，不对本发明实施例构成限定。
1.根据判断出来的帧类型进行不等保护：带宽受限时，可根据不同帧类型对视频质量影响的区别进行不等保护，使得视频接收质量达到最优。
2.用预期周期结合GOP的平均码率可以实现视频快速浏览：对于存储在本地的码流用户不想浏览全部的视频，可以通过快速的预处理，提取出I帧对应位置从而实现快速流览。对于存储在服务器的码流，用户不想浏览全部的视频，服务器可以通过快速的预处理，提取出I帧对应位置从而有选择的传输关键帧信息给用户。
3.服务质量(Quality of Service，QOS)：在带宽不足时，在中间节点，可以根据判断出的帧类型，智能丢弃一部分B帧或者P帧(靠近GOP结束的P帧)，使得降低码率的同时，尽可能少的影响视频质量。
另外基于实验，对本发明实施例的技术方案的效果进行了测试，以下是测试结果。
本节的实验在没有丢包的情况下，对利用播放时间和不利用播放时间的两种情况，分别与背景技术中的方案二进行了对比，结果如表1所示。
表1测试序列
Figure BDA0000039057870000221
测试序列：使用现网捕获的TS码流以及定码率编码的码流进行测试，如表一，其中现网捕获的码流前三个(iptv137，iptv138，iptv139)是载荷部分加密但PES头部未加密的码流；定码率编码的码流码率为(1500，3000，4000，5000，6000，7000，9000，12000，15000)。选用的码流都为H.264编码，其帧类型分为I、P、B三种，且无分级B。下面给出以上序列的帧类型检测实验结果，如表2所示。
表2本文方法与现有方法检测结果对比
Figure BDA0000039057870000222
如表二所示，本实验比较了以下几个因子：I帧漏检率为漏检的I帧与序列中I帧总数的比值；I帧错检率为将P或B误判为I帧的数目与I帧总数的比值(值得注意的是，绝大多数情况下都是只会将P错判为I，很少情况下会将B错判为I，这与B帧码率远远小于I帧码率的事实一致)；P-＞I出错率为错将P帧判为I帧的数目与实际P帧总数的比值；P-＞B出错率为错将P帧判为B帧的数目与实际P帧总数的比值；B-＞P出错率为错将B帧判为P帧的数目与实际B帧总数的比值；总出错率为错判的数目与总帧数的比值(只要判断的帧类型与实际类型不符合即为错判)。I帧漏检率与I帧错检率平均值可以体现对于I帧的正确检测概率。
由于利用PTS判断B帧的准确率是100％，因此不再单独比较利用播放时间和不利用播放时间的结果。同时，为了充分体现本发明实施例二的优越性，在利用播放时间的情况下对现有方法也增加了利用播放时间判断B帧的过程，因此，性能的不同主要来自利用帧数据量判断的方法的差异。结果显示，在可以利用播放时间判断帧类型以及不利用播放时间判断帧类型的情况下，本方法对于现网截获的码流以及自编的码流都比现有方法好，尤其对自编码流，本方法检测效果更是明显，甚至有些情况下可以无错，而现有方法则很少存在无错的情况。
图10至图15给出了一些序列的详细检测结果，其中实际的线条上用圆形标识，预测的线条用三角形标识；包括I帧分布状况(横轴表示I帧间隔，间隔为1表示相邻的两帧为I，间隔为0表示I帧间隔大于49，I帧预测周期是本文方法预测的I帧周期，I帧实际周期是实际的I帧周期)以及帧类型的分布情况(图中表格里，矩阵对角线为正确判断的帧数，其他位置为错判)。图标题为序列名+总帧数+总错检率。可见现网的序列一般都是存在一个固定的I帧间隔(图中最大值)，伴随着场景的切换，会自适应地插入一些I帧，从而造成了在最大值附近的一个扰动，形成了图中的I帧分布状况。对于FIFA序列(图十四)，可以看到实际周期中存在两个极大值，本文算法也能较精确的分辨出两个极大值。按照本文算法估计出的预期I帧间隔与实际I帧间隔很相似，因此可以用来指导快速浏览时的跳帧。
图10：iptv137 15861(error 0.6％)结果如表3所示：
表3
  iptv 137  检测为P  检测为B  检测为I
  实际类型P  4909  0  61
 实际类型B   1   10215   0
 实际类型I   36   0   639
图11：iptv138 17320(error 0.1％)，结果如表4所示：
表4
  iptv 138   检测为P   检测为B  检测为I
  实际类型P   5676   0  8
  实际类型B   0   10903  0
  实际类型I   10   0  723
图12：song 38741(error 0.9％)，结果如表5所示：
表5
 song   检测为P   检测为B   检测为I
 实际类型P   16698   0   149
 实际类型B   0   20217   0
 实际类型I   210   0   1467
图13：FIFA 9517(error1.3％)，结果如表6所示：
表6
 FIFA   检测为P   检测为B  检测为I
 实际类型P   4267   0   21
 实际类型B   0   4693   0
 实际类型I   106   0   430
图14：travel 1486(error 0.8％)，结果如表7所示：
表7
  travel  检测为P  检测为B  检测为I
  实际类型P   493   0   11
  实际类型B   0   934   0
  实际类型I   1   0   47
图15：sport 1156(error 0.3％)，结果如表8所示：
表8
 sport  检测为P  检测为B  检测为I
 实际类型P   396   0   4
 实际类型B   0   719   0
 实际类型I   0   0   37
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明实施例所提供的帧类型的检测方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (28)

1.一种帧类型的检测方法，其特征在于，包括：
检测各帧的播放时间；
若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定所述当前帧为双向预测编码帧B帧。
2.根据权利要求1所述方法，其特征在于，帧类型检测结束后，还包括：
依据各帧的播放顺序和编码顺序确定B帧在分级编码中所属的层级。
3.根据权利要求1所述方法，其特征在于，若检测播放时间失败还包括：
获得接收到的帧所在码流的编码类型，所述编码类型包括：开环编码和闭环编码；
若当前帧的数据量大于第一域值则确定当前帧为明显的帧内编码帧I帧，所述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为单向预测编码帧P帧；所述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
4.根据权利要求3所述方法，其特征在于，所述获得已经接收到的帧所在码流的编码类型包括：
统计明显的I帧后一帧的类型，若为P帧的比例达到设定比例则确定编码类型为闭环编码，否则为开环编码。
5.根据权利要求3所述方法，其特征在于，还包括：
若当前帧的数据量大于第二阈值，则确定当前帧为I帧；所述第二阈值为当前帧之前的一个I帧的数据量、当前帧所在图像组中P帧的平均数据量以及设定个数连续帧的平均数据量中的最大值。
6.根据权利要求3所述方法，其特征在于，还包括：
若当前帧与前一个I帧的间隔超过固定间隔，且当前帧的数据量大于第三阈值，则确定当前帧为I帧；所述第三阈值根据当前帧所在图像组各帧的平均数据量、当前帧的前一个P帧的数据量以及当前帧所在图像组I帧的数据量、上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到；或者，所述第三阈值根据当前帧所在图像组各帧的平均数据量以及上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到。
7.根据权利要求3所述方法，其特征在于，还包括：
若当前帧的上一帧为P帧且当前帧的数据量大于第五阈值，或者当前图像组存在B帧且当前帧的数据量大于第六阈值，则确定当前帧为P帧；所述第五阈值为：第一调节因子与当前帧所在图像组的P帧的平均数据量的积，所述第一调节因子大于0.5且小于1；所述第六阈值为：P帧平均数据量和B帧平均数据量的均值；
若当前帧的上一帧为B帧且当前帧的数据量小于第七阈值，或者当前图像组存在P帧且当前帧的数据量小于第八阈值，则确定当前帧为P帧；所述第七阈值为：第二调节因子与当前帧所在图像组的B帧的平均数据量的积，所述第二调节因子大于1小于1.5；所述第八阈值为：P帧平均数据量与B帧平均数据量的均值。
8.根据权利要求3至7任意一项所述方法，其特征在于，还包括：
在帧类型判断结束后，确定I帧的固定间隔，若在固定间隔达到后仍然没有判断存在I帧，则将固定间隔处设定范围内的最大数据量的帧确定为I帧；并更新图像组中各种类型帧的平均数据量以及I帧的间隔参数。
9.根据权利要求3至7任意一项所述方法，其特征在于，还包括：
在帧类型判断结束后，统计连续的B帧，若连续B帧的数量大于预测值，则将所述连续的B帧中数据量最大的帧确定为P帧；并更新图像组中各种类型帧的平均数据量；所述预测值大于等于3小于等于7。
10.根据权利要求3至7任意一项所述方法，其特征在于，还包括：
确定已经接收到的帧是否发生丢包，若发生丢包，则确定丢包类型；
若丢包类型为帧内丢包，则计算帧数据量时确定收到帧的数据量与丢包数据量的和为该帧的数据量；
若丢包类型为帧间丢包，则确定丢包处之前的包的标志位是否为1，若是，则将丢包的数据量计算入后一帧，否则将丢包的数据量平均分配给前后两帧。
11.一种帧类型的检测方法，其特征在于，包括：
获得接收到的帧所在码流的编码类型，所述编码类型包括：开环编码和闭环编码；
若当前帧的数据量大于第一域值则确定当前帧为明显的帧内编码帧I帧，所述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为单向预测编码帧P帧；所述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
12.根据权利要求11所述方法，其特征在于，所述获得已经接收到的帧所在码流的编码类型包括：
统计明显的I帧后一帧的类型，若为P帧的比例达到设定比例则确定编码类型为闭环编码，否则为开环编码。
13.根据权利要求11所述方法，其特征在于，还包括：
若当前帧的数据量大于第二阈值，则确定当前帧为I帧；所述第二阈值为当前帧之前的一个I帧的数据量、当前帧所在图像组中P帧的平均数据量以及设定个数连续帧的平均数据量中的最大值。
14.根据权利要求11所述方法，其特征在于，还包括：
若当前帧与前一个I帧的间隔超过固定间隔，且当前帧的数据量大于第三阈值，则确定当前帧为I帧；所述第三阈值根据当前帧所在图像组各帧的平均数据量、当前帧的前一个P帧的数据量以及当前帧所在图像组I帧的数据量、上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到；或者，所述第三阈值根据当前帧所在图像组各帧的平均数据量以及上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到。
15.根据权利要求11所述方法，其特征在于，还包括：
若当前帧的上一帧为P帧且当前帧的数据量大于第五阈值，或者当前图像组存在B帧且当前帧的数据量大于第六阈值，则确定当前帧为P帧；所述第五阈值为：第一调节因子与当前帧所在图像组的P帧的平均数据量的积，所述第一调节因子大于0.5且小于1；所述第六阈值为：P帧平均数据量和B帧平均数据量的均值；
若当前帧的上一帧为B帧且当前帧的数据量小于第七阈值，或者当前图像组存在P帧且当前帧的数据量小于第八阈值，则确定当前帧为P帧；所述第七阈值为：第二调节因子与当前帧所在图像组的B帧的平均数据量的积，所述第二调节因子大于1小于1.5；所述第八阈值为：P帧平均数据量与B帧平均数据量的均值。
16.根据权利要求11至15任意一项所述方法，其特征在于，还包括：
在帧类型判断结束后，确定I帧的固定间隔，若在固定间隔达到后仍然没有判断存在I帧，则将固定间隔处设定范围内的最大数据量的帧确定为I帧；并更新图像组中各种类型帧的平均数据量以及I帧的间隔参数。
17.根据权利要求11至15任意一项所述方法，其特征在于，还包括：
在帧类型判断结束后，统计连续的B帧，若连续B帧的数量大于预测值，则将所述连续的B帧中数据量最大的帧确定为P帧；并更新图像组中各种类型帧的平均数据量；所述预测值大于等于3小于等于7。
18.根据权利要求11至15任意一项所述方法，其特征在于，还包括：
确定已经接收到的帧是否发生丢包，若发生丢包，则确定丢包类型；
若丢包类型为帧内丢包，则计算帧数据量时确定收到帧的数据量与丢包数据量的和为该帧的数据量；
若丢包类型为帧间丢包，则确定丢包处之前的包的标志位是否为1，若是，则将丢包的数据量计算入后一帧，否则将丢包的数据量平均分配给前后两帧。
19.根据权利要求18所述方法，其特征在于，还包括：
通过统计已经检测出的帧类型预测编码结构；
若丢包类型为帧间丢包，丢包处之前的包的标志位无法检测，则依据预测的编码结构以及丢包的位置分割当前数据长度。
20.一种帧类型的检测装置，其特征在于，包括：
时间检测单元，用于检测各帧的播放时间；
帧类型确定单元，用于若当前帧的播放时间小于已经接收到的帧的最大播放时间，则确定所述当前帧为双向预测编码B帧。
21.根据权利要求20所述装置，其特征在于，还包括：
层级确定单元，用于依据各帧的播放顺序和编码顺序确定B帧在分级编码中所属的层级。
22.一种帧类型的检测装置，其特征在于，包括：
类型获得单元，用于获得已经接收到的帧所在码流的编码类型，所述编码类型包括：开环编码和闭环编码；
帧类型确定单元，用于若当前帧的数据量大于第一域值则确定当前帧为明显的I帧，所述第一阈值由设定连续个数的帧的平均数据量以及I帧数据量计算得到；
若当前帧的前一帧为I帧、编码类型为闭环编码且当前帧为非明显的I帧，或者，若当前帧的前一帧为I帧、编码类型为开环编码且当前帧的数据量大于第四阈值，则确定当前帧为P帧；所述第四阈值为一个图像组的P帧平均数据量以及B帧平均数据量的均值；
若当前帧非I帧也非P帧，则确定当前帧为B帧。
23.根据权利要求22所述装置，其特征在于，
所述帧类型确定单元，还用于若当前帧的数据量大于第二阈值，则确定当前帧为I帧；所述第二阈值为当前帧之前的一个I帧的数据量、当前帧所在图像组中P帧的平均数据量以及设定个数连续帧的平均数据量中的最大值。
24.根据权利要求22所述装置，其特征在于，
所述帧类型确定单元，还用于若当前帧与前一个I帧的间隔超过固定间隔，且当前帧的数据量大于第三阈值，则确定当前帧为I帧；所述第三阈值为：当前帧所在图像组各帧的平均数据量、当前帧的前一个P帧的数据量以及当前帧所在图像组I帧的数据量、上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到；或者，所述第三阈值根据当前帧所在图像组各帧的平均数据量以及上一个I帧到当前帧的距离与预期的固定I帧间隔的远离程度计算得到。
25.根据权利要求22所述装置，其特征在于，
所述帧类型确定单元，还用于若当前帧的上一帧为P帧且当前帧的数据量大于第五阈值，或者当前图像组存在B帧且当前帧的数据量大于第六阈值，则确定当前帧为P帧；所述第五阈值为：第一调节因子与当前帧所在图像组的P帧的平均数据量的积，所述第一调节因子大于0.5且小于1；所述第六阈值为：P帧平均数据量和B帧平均数据量的均值；
若当前帧的上一帧为B帧且当前帧的数据量小于第七阈值，或者当前图像组粗在P帧且当前帧的数据量小于第八阈值，则确定当前帧为P帧；所述第七阈值为：第二调节因子与当前帧所在图像组的B帧的平均数据量的积，所述第二调节因子大于1小于1.5；所述第八阈值为：P帧平均数据量与B帧平均数据量的均值。
26.根据权利要求22至25任意一项所述装置，其特征在于，还包括：
间隔获取单元，用于在帧类型判断结束后，确定I帧的固定间隔；
所述帧类型确定单元，还用于若在固定间隔达到后仍然没有判断存在I帧，则将固定间隔处设定范围内的最大数据量的帧确定为I帧；
第一更新单元，用于更新图像组中各种类型帧的平均数据量以及I帧的间隔参数。
27.根据权利要求22至25任意一项所述装置，其特征在于，还包括：
统计单元，用于在帧类型判断结束后，统计连续的B帧；
所述帧类型确定单元，还用于若连续B帧的数量大于预测值，则将所述连续的B帧中数据量最大的帧确定为P帧；所述预测值大于等于3小于等于7；
第二更新单元，用于更新图像组中各种类型帧的平均数据量。
28.根据权利要求22至25任意一项所述装置，其特征在于，还包括：
丢包类型确定单元，用于确定已经接收到的帧是否发生丢包，若发生丢包，则确定丢包类型；
数据量确定单元，用于若丢包类型为帧内丢包，则计算帧数据量时确定收到帧的数据量与丢包数据量的和为该帧的数据量；
若丢包类型为帧间丢包，则确定丢包处之前的包的标志位是否为1，若是，则将丢包的数据量计算入后一帧，否则将丢包的数据量平均分配给前后两帧。
CN201010594322.5A 2010-12-17 2010-12-17 帧类型的检测方法和装置 Active CN102547300B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201310664666.2A CN103716640B (zh) 2010-12-17 2010-12-17 帧类型的检测方法和装置
CN201010594322.5A CN102547300B (zh) 2010-12-17 2010-12-17 帧类型的检测方法和装置
EP14182578.6A EP2814255B1 (en) 2010-12-17 2011-09-29 Method and apparatus for detecting frame types
EP11848791.7A EP2637410B1 (en) 2010-12-17 2011-09-29 Detection method and device for frame type
PCT/CN2011/080343 WO2012079406A1 (zh) 2010-12-17 2011-09-29 帧类型的检测方法和装置
US13/919,674 US9497459B2 (en) 2010-12-17 2013-06-17 Method and apparatus for detecting frame types

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010594322.5A CN102547300B (zh) 2010-12-17 2010-12-17 帧类型的检测方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310664666.2A Division CN103716640B (zh) 2010-12-17 2010-12-17 帧类型的检测方法和装置

Publications (2)

Publication Number Publication Date
CN102547300A true CN102547300A (zh) 2012-07-04
CN102547300B CN102547300B (zh) 2015-01-21

Family

ID=46244056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010594322.5A Active CN102547300B (zh) 2010-12-17 2010-12-17 帧类型的检测方法和装置

Country Status (4)

Country Link
US (1) US9497459B2 (zh)
EP (2) EP2637410B1 (zh)
CN (1) CN102547300B (zh)
WO (1) WO2012079406A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566844A (zh) * 2017-09-05 2018-01-09 成都德芯数字科技股份有限公司 一种隐藏字幕处理方法和装置
CN112689195A (zh) * 2020-12-22 2021-04-20 中国传媒大学 视频加密方法、分布式加密系统、电子设备及存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103634698B (zh) * 2012-08-21 2014-12-03 华为技术有限公司 视频流的帧类型检测、帧大小检测方法及装置
US20160234528A1 (en) * 2015-02-09 2016-08-11 Arris Enterprises, Inc. Carriage of video coding for browsers (vcb) video over mpeg-2 transport streams
KR101687115B1 (ko) * 2015-09-09 2016-12-15 한국과학기술원 통신 시스템의 암호화 패킷 전송 방법
CN108024111B (zh) * 2016-10-28 2019-12-06 北京金山云网络技术有限公司 一种帧类型判定方法及装置
CN109492408B (zh) 2017-09-13 2021-06-18 杭州海康威视数字技术股份有限公司 一种加密数据的方法及装置
CN111901605B (zh) * 2019-05-06 2022-04-29 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及存储介质
CN111917661B (zh) * 2020-07-29 2023-05-02 抖音视界有限公司 数据传输方法、装置、电子设备和计算机可读存储介质
CN112102400B (zh) * 2020-09-15 2022-08-02 上海云绅智能科技有限公司 基于距离的闭环检测方法、装置、电子设备和存储介质
US11876620B1 (en) * 2022-08-23 2024-01-16 Hewlett Packard Enterprise Development Lp Error correction for decoding frames

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549604A (zh) * 2003-05-07 2004-11-24 乐金电子（中国）研究开发中心有限公 视频信号编解码器的帧类型误判防止方法
CN101426137A (zh) * 2008-11-25 2009-05-06 上海华为技术有限公司 一种视频帧类型的识别方法和装置
CN101438615A (zh) * 2006-06-05 2009-05-20 三星电子株式会社 在无线网络上发送/播放多媒体数据的方法和使用所述方法的无线装置
CN101558657A (zh) * 2007-08-22 2009-10-14 日本电信电话株式会社 视频质量估计装置、视频质量估计方法、帧类型确定方法及记录介质
WO2009154529A1 (en) * 2008-06-16 2009-12-23 Telefonaktiebolaget Lm Ericsson (Publ) Media stream processing
CN101626507A (zh) * 2008-07-07 2010-01-13 华为技术有限公司 一种识别rtp包的帧类型的方法、装置及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1067831C (zh) 1998-07-15 2001-06-27 国家科学技术委员会高技术研究发展中心 Mpeg-2视频解码器及其输入缓冲器的控制方法
US6658381B1 (en) * 1999-10-15 2003-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for robust frame type detection in systems employing variable bit rates
GB2414362B (en) * 2004-05-18 2006-10-04 Motorola Inc Wireless communication unit and method for acquiring synchronisation therein
CN1722830A (zh) * 2004-07-13 2006-01-18 皇家飞利浦电子股份有限公司 一种编码数据的解码方法和装置
JP4375305B2 (ja) * 2004-10-26 2009-12-02 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
WO2009012302A1 (en) 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for viewer quality estimation of packet video streams
US8335262B2 (en) * 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
CN101518657A (zh) 2008-12-31 2009-09-02 上海序参量科技发展有限公司 扇形环境污染消除装置
CN101651815B (zh) 2009-09-01 2012-01-11 中兴通讯股份有限公司 一种可视电话及利用其提高视频质量方法
EP2413535B1 (en) * 2010-07-30 2012-09-19 Deutsche Telekom AG Method for estimating the type of the group of picture structure of a plurality of video frames in a video stream
CN103634698B (zh) * 2012-08-21 2014-12-03 华为技术有限公司 视频流的帧类型检测、帧大小检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1549604A (zh) * 2003-05-07 2004-11-24 乐金电子（中国）研究开发中心有限公 视频信号编解码器的帧类型误判防止方法
CN101438615A (zh) * 2006-06-05 2009-05-20 三星电子株式会社 在无线网络上发送/播放多媒体数据的方法和使用所述方法的无线装置
CN101558657A (zh) * 2007-08-22 2009-10-14 日本电信电话株式会社 视频质量估计装置、视频质量估计方法、帧类型确定方法及记录介质
WO2009154529A1 (en) * 2008-06-16 2009-12-23 Telefonaktiebolaget Lm Ericsson (Publ) Media stream processing
CN101626507A (zh) * 2008-07-07 2010-01-13 华为技术有限公司 一种识别rtp包的帧类型的方法、装置及系统
CN101426137A (zh) * 2008-11-25 2009-05-06 上海华为技术有限公司 一种视频帧类型的识别方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566844A (zh) * 2017-09-05 2018-01-09 成都德芯数字科技股份有限公司 一种隐藏字幕处理方法和装置
CN107566844B (zh) * 2017-09-05 2019-05-14 成都德芯数字科技股份有限公司 一种隐藏字幕处理方法和装置
CN112689195A (zh) * 2020-12-22 2021-04-20 中国传媒大学 视频加密方法、分布式加密系统、电子设备及存储介质
CN112689195B (zh) * 2020-12-22 2023-04-11 中国传媒大学 视频加密方法、分布式加密系统、电子设备及存储介质

Also Published As

Publication number Publication date
EP2814255B1 (en) 2017-01-04
WO2012079406A1 (zh) 2012-06-21
EP2637410A1 (en) 2013-09-11
EP2814255A3 (en) 2015-06-03
EP2814255A2 (en) 2014-12-17
EP2637410A4 (en) 2014-07-30
US9497459B2 (en) 2016-11-15
EP2637410B1 (en) 2020-09-09
US20130279585A1 (en) 2013-10-24
CN102547300B (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN102547300A (zh) 帧类型的检测方法和装置
CN103026719B (zh) 用于在视频比特流和输出视频序列之间的时间同步的方法和装置
US11012685B2 (en) Scene change detection for perceptual quality evaluation in video sequences
US20100238792A1 (en) Information acquisition system, transmit apparatus, data obtaining apparatus, transmission method, and data obtaining method
US8320747B2 (en) Video quality estimation apparatus, video quality estimation method, frame type determination method, and recording medium
ES2553734T3 (es) Método y sistema para medir la calidad de transmisiones de flujos de bit de audio y vídeo sobre una cadena de transmisión
US20120201310A1 (en) Video quality estimation apparatus, video quality estimation method, and program
KR101834031B1 (ko) 비디오 신호의 인코딩 및 전송 동안에 비디오 신호의 품질 평가 방법 및 장치
CN107404646B (zh) 视频质量评估的方法、装置和头端设备
CN102714752A (zh) 视频质量估计技术
CN103053134A (zh) 估计视频流中多个视频帧的图像组结构的类型的方法
CN106416262B (zh) 辅助多媒体流的同步的方法和系统
CN103716640B (zh) 帧类型的检测方法和装置
CN111093079A (zh) 图像处理方法及装置
Yamada et al. Accurate video-quality estimation without video decoding
US20090196307A1 (en) Transmitter apparatus, receiver apparatus, moving image and audio transmission evaluation method, and computer readable storage medium storing program thereof
KR101358802B1 (ko) 멀티미디어 방송 서비스 품질 측정 시스템 및 이의 관리 방법
KR102548427B1 (ko) 영상품질 측정장치 및 방법
Argyropoulos et al. Scene change detection in encrypted video bit streams
Mosharafa et al. A novel algorithm for synchronizing audio and video streams in MPEG-2 system layer
CN116471397A (zh) 一种多播视频源质量监测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant