CN107770538B - 一种检测场景切换帧的方法、装置和系统 - Google Patents

一种检测场景切换帧的方法、装置和系统 Download PDF

Info

Publication number
CN107770538B
CN107770538B CN201610708531.5A CN201610708531A CN107770538B CN 107770538 B CN107770538 B CN 107770538B CN 201610708531 A CN201610708531 A CN 201610708531A CN 107770538 B CN107770538 B CN 107770538B
Authority
CN
China
Prior art keywords
frame
threshold
frames
pmax
gop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610708531.5A
Other languages
English (en)
Other versions
CN107770538A (zh
Inventor
熊婕
杨友庆
黄一宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610708531.5A priority Critical patent/CN107770538B/zh
Priority to PCT/CN2017/098483 priority patent/WO2018036481A1/zh
Priority to EP17842903.1A priority patent/EP3499460A1/en
Priority to KR1020197007484A priority patent/KR20190039265A/ko
Priority to JP2019510927A priority patent/JP2019528643A/ja
Publication of CN107770538A publication Critical patent/CN107770538A/zh
Priority to US16/284,664 priority patent/US10917643B2/en
Application granted granted Critical
Publication of CN107770538B publication Critical patent/CN107770538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种检测视频中的场景切换帧的方法、装置和系统。在检测视频中的场景切换帧时，根据所述视频的GOP的所有P帧中最大的P帧Pmax的大小
Figure DDA0001088094350000011
与Pmax和Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值的相对大小关系、以及
Figure DDA0001088094350000012
与该GOP中的多个P帧的大小的中值或平均值的相对大小关系判断Pmax是否为场景切换帧，以检测P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。

Description

一种检测场景切换帧的方法、装置和系统
技术领域
本发明涉及视频技术领域，尤其涉及一种检测场景切换帧的方法、装置及系统。
背景技术
随着通信技术的发展，IPTV(Internet Protocol Television，因特网协议电视)、OTT等视频业务，已经进入大规模商用阶段。为了保证视频业务的质量，必须对视频质量进行评估，以便及时采取相应的措施进行调整，以保证视频业务的正常运行。因此，如何对视频质量进行准确的评估，便成为一个迫切需要解决的重要问题。
一段视频由多个连续的视频帧序列组成，通常包括不止一个场景，如一段视频包括4个场景，场景1和场景3对应的是拍摄的足球场的视频，场景2和场景4对应的是拍摄的观众席的视频。
在对视频质量进行评估时，需要先检测出场景发生切换的位置，即场景切换帧的位置，进而基于场景评估视频质量。如，对视频进行编码带来的视频编码损伤不仅和视频编码类型、帧率、分辨率和码率相关，还和场景的复杂度有关，因此，在评估视频编码损伤时，需要先检测出场景发生切换的位置。所以，在对视频质量进行评估时，场景切换检测必须非常准确。
在对视频中的各视频帧进行编码时会将各视频帧编码成不同类型的帧，如I帧、P帧、B帧。其中，I帧为帧内预测编码帧，在编码时只参考帧内的数据；P帧为前向预测编码帧，即单向差别帧，记录的是本帧跟之前的一个I帧(或P帧)的差别；B帧为双向预测内插编码帧，即双向差别帧，记录的是本帧与前一帧和后一帧的差别。
标准ITU-T P1201.2所提供的IPTV监控方案提供了一种检测场景切换帧的方法，然而，该现有技术只检测I帧中的场景切换帧，但实际上很多场景切换帧为P帧,因此，根据该现有技术检测场景切换帧会导致漏检。
发明内容
本发明实施例提供一种检测场景切换帧的方法和装置，用于解决现有技术中存在的漏检场景切换帧的问题。
第一方面，提供了一种检测场景切换帧的方法，所述视频包括N个图像组GOP，N为大于等于2的整数，所述方法包括：
确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000021
其中K为变量且取值依次从M至N，1≤M≤N；
在确定
Figure BDA0001088094330000022
和
Figure BDA0001088094330000023
的相对大小大于或等于第一阈值，且
Figure BDA0001088094330000024
和
Figure BDA0001088094330000025
的相对大小大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA0001088094330000026
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure BDA0001088094330000027
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
根据本发明第一方面提供的方法，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
在第一方面的第一种可能的实现方式中，
Figure BDA0001088094330000028
和
Figure BDA0001088094330000029
的相对大小
Figure BDA00010880943300000210
具体可以根据公式
Figure BDA00010880943300000216
或者
Figure BDA00010880943300000217
计算。
公式
Figure BDA00010880943300000218
或
Figure BDA00010880943300000219
可以简单有效地反映出
Figure BDA00010880943300000211
和
Figure BDA00010880943300000212
的相对大小关系。
在一种实现方式中，根据公式
Figure BDA00010880943300000220
计算
Figure BDA00010880943300000213
相应地，可以根据公式
Figure BDA00010880943300000222
计算所述第一阈值。
在另一种实现方式中，根据公式
Figure BDA00010880943300000221
计算
Figure BDA00010880943300000214
相应地，可以根据公式
Figure BDA00010880943300000215
计算所述第一阈值。
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，所以，通过公式
Figure BDA00010880943300000312
或
Figure BDA0001088094330000031
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中，
Figure BDA0001088094330000032
和
Figure BDA0001088094330000033
的相对大小
Figure BDA0001088094330000034
具体可以根据公式
Figure BDA0001088094330000035
计算。公式
Figure BDA0001088094330000036
可以简单有效地反映出
Figure BDA0001088094330000037
和
Figure BDA0001088094330000038
的相对大小关系。
具体可以根据如下公式计算
Figure BDA0001088094330000039
Figure BDA00010880943300000310
其中，P-m,…,P-1表示第K个GOP中Pmax之前的P帧,P1,…,Pn表示第K个GOP中Pmax之后的P帧，F用于求P-m,…,P-1,P1,…,Pn的大小的中值或平均值；
m＝min(num_before_P_frames,max_num)
n＝min(num_after_P_frames,max_num)
其中，num_before_P_frames为第K个GOP中Pmax之前的P帧数，num_after_P_frames为第K个GOP中Pmax之后的P帧数,max_num表示预设的需要考虑的帧数。
通过该公式计算
Figure BDA00010880943300000311
考虑了所述第一视频帧所在GOP中离所述第一视频帧最近的一些视频帧，从而进一步提升了检测P帧中的场景切换帧的准确率。
第二方面，提供了一种实现视频质量评估的方法，所述视频包括N个图像组GOP，N为大于等于2的整数，所述方法包括：
确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000049
其中K为变量且取值依次从M至N，1≤M≤N；
在确定
Figure BDA00010880943300000410
和
Figure BDA00010880943300000411
的相对大小大于或等于第一阈值，
Figure BDA00010880943300000412
和
Figure BDA00010880943300000418
的相对大小大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure BDA00010880943300000413
和
Figure BDA00010880943300000419
的相对大小大于或等于第一阈值，
Figure BDA00010880943300000414
和
Figure BDA00010880943300000420
的相对大小大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure BDA00010880943300000415
和
Figure BDA00010880943300000421
的相对大小大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300000422
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或均值，
Figure BDA00010880943300000424
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure BDA00010880943300000423
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
根据本发明第二方面提供的方法，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题，并且，在检测P帧中的场景切换帧时，不仅考虑了I帧和P帧的大小，还考虑了B帧的大小，从而进一步提升了检测P帧中的场景切换帧的准确率。
在第二方面的第一种可能的实现方式中，
Figure BDA00010880943300000416
和
Figure BDA00010880943300000428
的相对大小
Figure BDA00010880943300000429
具体可以根据公式
Figure BDA0001088094330000042
或者
Figure BDA0001088094330000043
计算。
公式
Figure BDA0001088094330000045
或
Figure BDA0001088094330000044
可以简单有效地反映出
Figure BDA00010880943300000417
和
Figure BDA00010880943300000427
的相对大小关系。
在一种实现方式中，可以根据公式
Figure BDA0001088094330000047
计算
Figure BDA00010880943300000426
相应地，可以根据公式
Figure BDA0001088094330000046
计算所述第一阈值。
在另一种实现方式中，可以根据公式
Figure BDA0001088094330000048
计算
Figure BDA00010880943300000425
相应地，可以根据公式
Figure BDA0001088094330000041
计算所述第一阈值。
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，所以，通过公式
Figure BDA0001088094330000056
或
Figure BDA0001088094330000051
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中，
Figure BDA0001088094330000057
和
Figure BDA00010880943300000510
的相对大小
Figure BDA00010880943300000511
具体可以根据公式
Figure BDA0001088094330000052
计算。公式
Figure BDA0001088094330000053
可以简单有效地反映出
Figure BDA0001088094330000058
和
Figure BDA00010880943300000512
的相对大小关系。
具体可以根据如下公式计算
Figure BDA00010880943300000513
Figure BDA0001088094330000054
其中，P-m,…,P-1表示第K个GOP中Pmax之前的P帧,P1,…,Pn表示第K个GOP中Pmax之后的P帧，F用于求P-m,…,P-1,P1,…,Pn的大小的中值或平均值；
m＝min(num_before_P_frames,max_num)
n＝min(num_after_P_frames,max_num)
其中，num_before_P_frames为第K个GOP中Pmax之前的P帧数，num_after_P_frames为第K个GOP中Pmax之后的P帧数,max_num表示预设的需要考虑的帧数。
通过该公式计算
Figure BDA00010880943300000514
考虑了所述第一视频帧所在GOP中离所述第一视频帧最近的一些视频帧，从而进一步提升了检测P帧中的场景切换帧的准确率。
结合第二方面或第二方面的第一种或第二种可能的实现方式,在第三种可能的实现方式中，
Figure BDA0001088094330000059
和
Figure BDA00010880943300000515
的相对大小
Figure BDA00010880943300000516
具体可以根据公式
Figure BDA0001088094330000055
或者
Figure BDA0001088094330000061
计算。
公式
Figure BDA0001088094330000062
或者
Figure BDA0001088094330000063
可以简单有效地反映出
Figure BDA00010880943300000610
和
Figure BDA00010880943300000611
的相对大小关系。
在一种实现方式中，根据公式
Figure BDA0001088094330000064
计算
Figure BDA00010880943300000612
相应地，可以根据公式
Figure BDA0001088094330000069
计算所述第三阈值。
在另一种实现方式中，根据公式
Figure BDA0001088094330000065
计算
Figure BDA00010880943300000613
相应地，可以根据公式
Figure BDA0001088094330000066
计算所述第三阈值。
其中,Bthreshold为所述第三阈值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值。
因为Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值，所以，通过公式
Figure BDA00010880943300000614
或
Figure BDA0001088094330000067
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第二方面的第三种可能的实现方式,在第四种可能的实现方式中，在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure BDA00010880943300000615
或
Figure BDA0001088094330000068
计算新的Bthreshold，所述新的Bthreshold用于判断下一个GOP的Pmax是否为场景切换帧。
根据第二方面的第四种可能的实现方式，第三阈值Bthreshold可以实时更新，及时排除了已经确定为场景切换帧的P帧的影响，因此，可以进一步提升检测P帧中的场景切换帧的准确率。
第三方面，提供了一种用于检测视频中的场景切换帧的检测装置，所述视频包括N个GOP，N为大于等于2的整数，所述检测装置包括：第一确定单元和第二确定单元；
所述第一确定单元，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000079
其中K为变量且取值依次从M至N，1≤M≤N；
所述第二确定单元，用于在确定
Figure BDA00010880943300000710
和
Figure BDA00010880943300000718
的相对大小大于或等于第一阈值，且
Figure BDA00010880943300000711
和
Figure BDA00010880943300000716
的相对大小大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300000717
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure BDA00010880943300000715
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
根据本发明第三方面提供的检测装置，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
在第三方面的第一种可能的实现方式中，所述第二确定单元，具体可以根据公式
Figure BDA0001088094330000075
或者
Figure BDA0001088094330000072
计算
Figure BDA00010880943300000712
和
Figure BDA00010880943300000719
的相对大小
Figure BDA00010880943300000720
公式
Figure BDA0001088094330000074
或
Figure BDA0001088094330000073
可以简单有效地反映出
Figure BDA00010880943300000713
和
Figure BDA00010880943300000721
的相对大小关系。
在一种实现方式中，所述第二确定单元根据公式
Figure BDA0001088094330000076
计算
Figure BDA00010880943300000714
相应地，所述第二确定单元可以根据公式
Figure BDA0001088094330000077
计算所述第一阈值。
在另一种实现方式中，所述第二确定单元根据公式
Figure BDA0001088094330000078
计算
Figure BDA00010880943300000722
相应地，所述第二确定单元可以根据公式
Figure BDA0001088094330000071
计算所述第一阈值。
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，所以，通过公式
Figure BDA0001088094330000085
或
Figure BDA0001088094330000081
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中，所述第二确定单元具体可以根据公式
Figure BDA0001088094330000082
计算
Figure BDA0001088094330000086
和
Figure BDA0001088094330000088
的相对大小
Figure BDA0001088094330000089
公式
Figure BDA0001088094330000083
可以简单有效地反映出
Figure BDA0001088094330000087
和
Figure BDA00010880943300000811
的相对大小关系。
所述第二确定单元具体可以根据如下公式计算
Figure BDA00010880943300000810
Figure BDA0001088094330000084
其中，P-m,…,P-1表示第K个GOP中Pmax之前的P帧,P1,…,Pn表示第K个GOP中Pmax之后的P帧，F用于求P-m,…,P-1,P1,…,Pn的大小的中值或平均值；
m＝min(num_before_P_frames,max_num)
n＝min(num_after_P_frames,max_num)
其中，num_before_P_frames为第K个GOP中Pmax之前的P帧数，num_after_P_frames为第K个GOP中Pmax之后的P帧数,max_num表示预设的需要考虑的帧数。
通过该公式计算
Figure BDA00010880943300000812
考虑了所述第一视频帧所在GOP中离所述第一视频帧最近的一些视频帧，从而进一步提升了检测P帧中的场景切换帧的准确率。
第四方面，提供了一种检测视频中的场景切换帧的检测装置，所述视频包括N个图像组GOP，N为大于等于2的整数，所述检测装置包括：第一确定单元和第二确定单元；
所述第一确定单元，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000091
其中K为变量且取值依次从M至N，1≤M≤N；
所述第二确定单元，用于在确定
Figure BDA0001088094330000094
和
Figure BDA00010880943300000926
的相对大小大于或等于第一阈值，
Figure BDA0001088094330000092
和
Figure BDA00010880943300000924
的相对大小大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure BDA0001088094330000093
和
Figure BDA00010880943300000925
的相对大小大于或等于第一阈值，
Figure BDA0001088094330000095
和
Figure BDA00010880943300000922
的相对大小大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure BDA0001088094330000096
和
Figure BDA00010880943300000927
的相对大小大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300000928
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或均值，
Figure BDA00010880943300000923
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure BDA00010880943300000921
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
根据本发明第四方面提供的检测装置，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题，并且，在检测P帧中的场景切换帧时，不仅考虑了I帧和P帧的大小，还考虑了B帧的大小，从而进一步提升了检测P帧中的场景切换帧的准确率。
在第四方面的第一种可能的实现方式中，所述第二确定单元，具体可以根据公式
Figure BDA0001088094330000099
或者
Figure BDA0001088094330000098
计算
Figure BDA0001088094330000097
和
Figure BDA00010880943300000915
的相对大小
Figure BDA00010880943300000916
公式
Figure BDA00010880943300000910
或
Figure BDA00010880943300000911
可以简单有效地反映出
Figure BDA00010880943300000912
和
Figure BDA00010880943300000918
的相对大小关系。
在一种实现方式中，所述第二确定单元根据公式
Figure BDA00010880943300000913
计算
Figure BDA00010880943300000917
相应地，所述第二确定单元可以根据公式
Figure BDA00010880943300000914
计算所述第一阈值。
在另一种实现方式中，所述第二确定单元根据公式
Figure BDA00010880943300000919
计算
Figure BDA00010880943300000920
相应地，所述第二确定单元可以根据公式
Figure BDA0001088094330000101
计算所述第一阈值。
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，所以，通过公式
Figure BDA0001088094330000108
或
Figure BDA0001088094330000102
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中，所述第二确定单元具体可以根据公式
Figure BDA0001088094330000103
计算
Figure BDA0001088094330000106
和
Figure BDA0001088094330000109
的相对大小
Figure BDA00010880943300001011
公式
Figure BDA0001088094330000104
可以简单有效地反映出
Figure BDA0001088094330000107
和
Figure BDA00010880943300001010
的相对大小关系。
所述第二确定单元具体可以根据如下公式计算
Figure BDA00010880943300001012
Figure BDA0001088094330000105
其中，P-m,…,P-1表示第K个GOP中Pmax之前的P帧,P1,…,Pn表示第K个GOP中Pmax之后的P帧，F用于求P-m,…,P-1,P1,…,Pn的大小的中值或平均值；
m＝min(num_before_P_frames,max_num)
n＝min(num_after_P_frames,max_num)
其中，num_before_P_frames为第K个GOP中Pmax之前的P帧数，num_after_P_frames为第K个GOP中Pmax之后的P帧数,max_num表示预设的需要考虑的帧数。
通过该公式计算
Figure BDA00010880943300001013
考虑了所述第一视频帧所在GOP中离所述第一视频帧最近的一些视频帧，从而进一步提升了检测P帧中的场景切换帧的准确率。
结合第四方面或第四方面的第一种或第二种可能的实现方式,在第三种可能的实现方式中，所述第二确定单元具体可以根据公式
Figure BDA0001088094330000111
或者
Figure BDA0001088094330000112
计算
Figure BDA0001088094330000119
和
Figure BDA00010880943300001111
的相对大小
Figure BDA00010880943300001112
公式
Figure BDA0001088094330000113
或者
Figure BDA0001088094330000114
可以简单有效地反映出
Figure BDA00010880943300001110
和
Figure BDA00010880943300001113
的相对大小关系。
在一种实现方式中，所述第二确定单元根据公式
Figure BDA0001088094330000115
计算
Figure BDA00010880943300001114
相应地，所述第二确定单元可以根据公式
Figure BDA00010880943300001115
计算所述第一阈值。
在另一种实现方式中，所述第二确定单元根据公式
Figure BDA0001088094330000116
计算
Figure BDA00010880943300001116
相应地，所述第二确定单元可以根据公式
Figure BDA0001088094330000117
计算所述第一阈值。
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值，所以，通过公式
Figure BDA00010880943300001117
或
Figure BDA0001088094330000118
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
结合第四方面的第三种可能的实现方式,在第四种可能的实现方式中，在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure BDA0001088094330000121
或
Figure BDA0001088094330000122
计算新的Bthreshold，所述新的Bthreshold用于判断下一个GOP的Pmax是否为场景切换帧。
根据第四方面的第四种可能的实现方式，第三阈值Bthreshold可以实时更新，及时排除了已经确定为场景切换帧的P帧的影响，因此，可以进一步提升检测P帧中的场景切换帧的准确率。
第五方面，提供了一种检测视频中的场景切换帧的检测装置，所述检测装置包括处理器和存储器；
所述存储器，用于存放计算机操作指令；
所述处理器，用于执行所述存储器中存放的计算机操作指令使得所述检测装置执行本发明第一方面或第一方面的任一可能的实现方式、第二方面或第二方面的任一可能的实现方式所提供的方法。
根据本发明的第五方面提供的检测装置，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
第六方面，提供了一种检测设备，所述检测设备包括媒体单元和检测装置；
所述媒体单元，用于获取所述视频，并将所述视频传输给所述检测装置；
所述检测装置，用于从所述媒体单元获取所述视频，并执行本发明第三方面或第三方面的任一可能的实现方式、第四方面或第四方面的任一可能的实现方式、第五方面或第五方面的任一可能的实现方式所提供的检测装置所执行的操作。
根据本发明的第六方面提供的检测设备，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
第七方面，提供了一种实现视频质量评估的系统，所述系统包括视频服务器、传输设备和视频终端，其中，所述视频服务器发送的视频流经由所述传输设备传输到所述视频终端；
所述传输设备或所述视频终端具体可以包括本发明第三方面或第三方面的任一可能的实现方式、第四方面或第四方面的任一可能的实现方式、第五方面或第五方面的任一可能的实现方式所提供的检测装置；或者，
所述系统还包括第一检测装置，所述第一检测装置具体可以为本发明第三方面或第三方面的任一可能的实现方式、第四方面或第四方面的任一可能的实现方式、第五方面或第五方面的任一可能的实现方式所提供的检测装置，所述传输设备2020或所述视频终端2030与所述第一检测装置相连，并且所述第一检测装置通过与第一检测装置连接的所述传输设备或所述视频终端获取所述视频流。
根据本发明的第七方面提供的系统，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A和1B是本发明实施例1提供的视频系统100的组网结构示意图；
图2A、2B和2C是本发明实施例1提供的GOP示意图；
图3A、3B和3C是本发明实施例1的实施方式A提供的方法流程示意图；
图4A、4B和4C是本发明实施例1的实施方式B提供的方法流程示意图；
图5A、5B和5C是本发明实施例1提供的GOP示例的示意图；
图6是本发明实施例2提供的检测装置200的结构示意图；
图7是本发明实施例3提供的检测装置1000的结构示意图；
图8是本发明实施例4提供的检测设备400的结构示意图；
图9A-9C是本发明实施例5提供的系统2000的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1A为本发明实施例提供的一种视频系统100的组网结构示意图，视频系统100包括视频服务器110、一个或多个传输设备120和视频终端130，其中，视频服务器110发送的视频流经由所述传输设备120传输到视频终端130。
视频系统100具体可以是如图1B所示的IPTV系统。在该IPTV系统中，视频服务器110具体为视频头端(video headEnd，video HE),传输设备120具体包括核心路由器(CoreRouter,CR)、宽带网络网关(Broadband Network Gateway，BNG)、光线路终端(OpticalLine Terminal，OLT)等网络设备，视频终端130具体为机顶盒(Set Top Box,STB)。
在如图1A、1B所示的视频系统中，当视频流从视频服务器传送到视频终端时，由于所经过的网络状态的变化，会导致视频流出现丢包、时延、抖动、乱序等异常现象。这些异常现象会造成视频终端屏幕上所播放的视频画面出现花屏、卡顿等缺陷，导致用户的视频观看体验下降。因此，需要通过视频质量评估对用户的视频体验进行监控。
在对视频质量进行评估时，往往需要先检测出场景发生切换的位置，即场景切换帧的位置，进而基于场景评估视频质量。
如，对视频进行编码带来的视频编码损伤不仅和视频编码类型、帧率、分辨率和码率相关，还和场景的复杂度有关，因此，在评估视频编码损伤时，需要先检测出场景发生切换的位置。
又如，当视频传输过程中发生丢包时，视频终端的解码器通常会将受损帧的前一帧中对应区域的视频内容作为受损帧中受损区域的内容来对受损帧进行错误补偿，因此受损帧与前一帧的内容差距越小，补偿效果越好，而当受损帧为场景切换帧时，由于场景切换帧与其前一帧的内容几乎完全不同，此时的补偿效果是最差的，因此，在对丢包所导致的视频质量造成的影响时，需要考虑受损帧是否为场景切换帧。
再如，编码后的视频帧序列由多个图像组(Group of Picture，GOP)组成，如图2A所示,每个GOP由I帧开始，随后是一些P帧和B帧，到下一个I帧的前一帧结束。I帧为帧内编码帧，P帧为前向参考帧，B帧为双向参考帧。当一个GOP中的某一帧发生丢包时时，丢包导致的解码错误会在后面的视频帧中持续扩散，通常认为扩散直至该GOP的最后一帧。如图2B所示，GOP1中第四帧受损时，通常认为错误会一直扩散至该GOP的最后一帧。但是当GOP中有场景切换帧时，由于场景切换帧与其前面的帧的内容几乎完全不同，编码时多采用帧内预测编码(该场景切换帧中的宏块大多采用帧内预测编码)，因此，如果该GOP内的且位于该场景切换帧之前的某一帧受损，错误扩散会在场景切换帧截止，如图2C所示，GOP1中第六帧为场景切换帧，当第四帧受损时，错误扩散至第六帧就截止了。所以，在对丢包所导致的视频质量造成的影响时，需要检测场景切换帧。
需要说明的是，在本发明实施例中所说的各个帧之间的前后顺序，指的是所指代的帧在视频中的时间上的前后，如，一个时长为T(如10秒)的视频包括一个时刻t1处的视频帧1和一个时刻t2处的视频帧2，如果t1小于t2，如t1为1秒30毫秒，t2为5秒40毫秒，则认为视频帧1在视频帧2的前面。
在具体实现时，可以在视频系统中部署用于实现场景切换帧检测的检测装置。该检测装置可以部署在视频流所经过的任一设备(如传输设备120、视频终端130)上，也可以旁挂到视频流所经过的任一设备上并通过镜像的方式获取视频流。
图3A和3B是本发明实施例1提供的方法流程示意图，本发明实施例1的方法可以应用于图1A、1B所示的视频系统100，由检测装置执行。
在本发明实施例1中，对视频(后续称为待检视频)中的场景切换帧进行检测。所述待检视频可以是从视频文件中读取的，也可以是从获取的视频流中获取的。所述待检视频具体可以是一个完整的视频，也可以是一个视频中的一个视频段。对于较长的视频，通常会设置测量时间窗口，对该测量时间窗口中的视频段进行检测，如，在对一个视频进行检测时，将测量时间窗口的长度设置为10秒，则先对该视频的0-10秒的视频段作为待检视频进行检测，再对10-20秒的视频段作为待检视频进行检测，依次类推。
在检测之前，检测模块可以先确定所述待检视频中的各视频帧的类型(如I帧、P帧、B帧)和大小。
如，实时获取视频流，从对应测量时间窗口(如10-20秒)的视频流的分组报文中提取视频帧的信息，计算视频帧的大小(单位为字节)。具体计算视频帧的大小的过程是循环该测量时间窗口内所有的分组报文，先从分组报文的头中找到当前视频帧的开始标识，然后将包括该开始标识的报文的负载长度以及后续的各分组报文的负载长度累加起来，直至发现下一个视频帧的开始标识，累加和便是当前视频帧的大小。计算视频帧的大小的具体实现方式可参见标准ITU-T P1201.2。
然后确定测量时间窗口内的所有视频帧的类型。具体可以根据分组报文的报文头中的字段random_access_indicator确定视频帧的类型。针对I帧，无论加密与否，都可以通过random_access_indicator确定帧的类型。针对非I帧，当视频没有加密时，可直接从视频帧的帧头中获取帧类型，当视频加密时，或视频帧的帧头丢失时，可先根据帧大小或帧的显示时间戳(Present Time Stamp,PTS)估计GOP模式，GOP模式一般是P B B P B B或P B B BP B B B。当前PTS值和上一个PTS值之间的差值能够描述GOP的模式。一旦GOP模式确定了，所有丢失或被加密的视频帧的模式即可被确定。确定视频帧的类型的具体实现方式可参见标准ITU-T P1201.2。
通过上述两步，便可将待检视频分成若干个GOP。一个待检视频通常包括多个GOP，假定为N个，N为大于等于2的整数,如图5A所示的示例。在如图5A所示的示例中，纯色阴影填充的视频帧为I帧，斜线阴影填充的视频帧为P帧，无填充色的视频帧为B帧。
一个视频帧为一幅图像，在对视频中的各视频帧进行编码时会将各视频帧编码成不同类型的帧，如I帧、P帧、B帧。其中，I帧为帧内预测编码帧，在编码时只参考帧内的数据，因此包含完整的图像数据；P帧为前向预测编码帧，即单向差别帧，记录的是本帧跟之前的一个I帧(或P帧)的差别；B帧为双向预测内插编码帧，即双向差别帧，记录的是本帧与前一帧和后一帧的差别。
I帧普遍大于P帧，P帧普遍大于B帧。通常I帧大小是P帧大小的2-5倍，P帧大小是B帧大小的2-5倍。
由于场景切换帧与其前一帧的内容差异较大，因此场景切换帧即便被编码为P帧，该场景切换帧中的宏块也大多采用帧内预测编码方式参考本帧内的其它宏块进行编码，所以，会比较大。如果P帧的大小超过I帧的一半，那么该P帧很可能就是场景切换帧，因此，在检测P帧类型的场景切换帧时，P帧与I帧的相对大小关系可以参考。
然而，当视频中的画面内容变化比较快时，如拍摄的激烈的足球赛事等运动比较剧烈的场面，由于前后视频帧之间的相关性小，在对非场景切换帧进行编码时，即便参考前一视频帧将其编码为P帧，压缩率也会比较低，此时P帧的大小也会比较大，甚至会超过I帧大小的一半。在这种情况下，不是场景切换帧的相邻P帧之间的大小差距并不大，而是场景切换帧的P帧和其相邻的不是场景切换帧的P帧的大小差距则比较大，因此，在检测P帧类型的场景切换帧时，相邻P帧之间大小的比值也可以参考。
基于上述分析，下面结合图3A对本发明实施例1的实施方式A详加阐述，以检测待检视频中的场景切换帧，所述视频包括N个GOP，N为大于等于2的整数。
所述待检视频，可以是视频文件中的一段视频，也可以是视频流中的一段视频，如视频服务器发送给视频终端的视频流中的一段视频，相应地，所述检测装置，可以内置于所述视频流所经过的任一设备(如传输设备120、视频终端130)上，也可以旁挂到所述视频流所经过的任一设备上并通过镜像的方式获取所述视频流。
如图3A所示，本发明实施例1的实施方式A提供的方法包括：
所述检测装置从所述N个GOP中的第M个GOP开始依次对每个GOP执行如下操作以判断每个GOP中的所有P帧中最大的P帧Pmax是否为场景切换帧，其中M大于等于1且小于等于N。
具体可以从第一个GOP开始检测，即M等于1。也可以从第一个GOP后面的某个GOP开始检测，例如，待检视频是一个视频流中开始的一段视频，由于前两个GOP中的帧大小一般不太具有可参考性，通常从第三个GOP开始检测，则M等于3。
步骤102:确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000181
其中K为变量且取值依次从M至N，1≤M≤N。
步骤103：在确定
Figure BDA0001088094330000182
和
Figure BDA0001088094330000186
的相对大小大于或等于第一阈值，且
Figure BDA0001088094330000183
和
Figure BDA0001088094330000189
的相对大小大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300001810
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure BDA0001088094330000187
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
另外，在确定
Figure BDA0001088094330000184
和
Figure BDA0001088094330000188
的相对大小小于第一阈值，或
Figure BDA0001088094330000185
和
Figure BDA00010880943300001811
的相对大小小于第二阈值的情况下，确定Pmax不为场景切换帧。
如图5B所示，第K个GOP中的第二个P帧为Pmax，第K个GOP的I帧不是场景切换帧，第K-1个GOP中没有场景切换帧，第K-2个GOP的第三个P帧(后续称为P’max)为场景切换帧，则Pmax之前离Pmax最近的场景切换帧为P’max。
在具体实现时，在步骤102之前还可以将第一个GOP的I帧确定为场景切换帧，则当第K个GOP的Pmax和第一个GOP的I帧之间没有场景切换帧时，Pmax之前离Pmax最近的场景切换帧即为第一个GOP的I帧。如果所述待检视频是一个视频中的视频片段且待检视频之前有已经检测过场景切换帧的视频片段(后续称为前一视频片段)，则Pmax之前离Pmax最近的场景切换帧可能位于所述前一视频片段中。
在计算
Figure BDA0001088094330000195
时，可以利用Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有或部分I帧的大小的中值或平均值。如图5B所示，第K个GOP中的第二个P帧为Pmax，Pmax之前离Pmax最近的场景切换帧为P’max，Pmax和P’max之间包含两个I帧Ik和Ik-1，
Figure BDA0001088094330000191
指的就是Ik和Ik-1的大小的平均值。
Figure BDA0001088094330000196
可以为所述第K个GOP中的所有或部分P帧的大小的中值或平均值。一种优选的实施方式如下：
根据如下公式计算
Figure BDA0001088094330000198
Figure BDA0001088094330000197
其中，P-m,…,P-1表示第K个GOP中Pmax之前的P帧,P1,…,Pn表示第K个GOP中Pmax之后的P帧，F用于求P-m,…,P-1,P1,…,Pn的大小的中值或平均值；
m＝min(num_before_P_frames,max_num)
n＝min(num_after_P_frames,max_num)
其中，num_before_P_frames为第K个GOP中Pmax之前的P帧数，num_after_P_frames为第K个GOP中Pmax之后的P帧数,max_num表示预设的需要考虑的帧数。如图5C所示,num_before_P_frames等于7，num_after_P_frames等于4，max_num设置为6，此时m等于6，n等于4。
通过该公式计算
Figure BDA0001088094330000199
考虑了所述第一视频帧所在GOP中离所述第一视频帧最近的一些视频帧，从而进一步提升了检测P帧中的场景切换帧的准确率。
在具体实现时，可以根据如下公式计算
Figure BDA0001088094330000194
和
Figure BDA00010880943300001910
的相对大小
Figure BDA00010880943300001911
Figure BDA0001088094330000192
或者，
Figure BDA0001088094330000193
公式
Figure BDA0001088094330000201
可以简单有效地反映出
Figure BDA0001088094330000205
和
Figure BDA0001088094330000208
的相对大小关系。
所述第一阈值可以预先设置，同一待检视频中不同GOP可以采用相同的第一阈值。如当根据公式
Figure BDA0001088094330000206
计算
Figure BDA0001088094330000209
时，将所述第一阈值设置为0.53，如当根据公式
Figure BDA0001088094330000207
计算
Figure BDA00010880943300002010
时，将所述第一阈值设置为0.47。
所述第一阈值也可以是计算出来并可以进行动态调整的，从而进一步提高检测的准确性。计算并动态调整的过程如下：
在对该待检视频的第M个GOP进行检测之前先根据如下公式计算第一阈值：
Figure BDA0001088094330000202
或者，
Figure BDA0001088094330000203
其中,Imedian为所述待检视频中的所有I帧的大小的中值或平均值，Pmedian为所述待检视频中的所有P帧的大小的中值或平均值。以中值为例，如，所述待检视频中包括9个P帧，大小分别为3 5 3 6 4 7 3 5 4，按照大小顺序排列为3 3 3 4 4 5 5 6 7，则Pmedian为4；所述待检视频中包括3个P帧，大小分别为15 12 18，按照大小顺序排列为12 15 18，则Imedian为15。
因为Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，所以，通过公式
Figure BDA00010880943300002011
或
Figure BDA0001088094330000204
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
然后，在每次确定出一个新的类型为P帧的场景切换帧后，如确定第K个GOP的Pmax为场景切换帧后，可以将所述待检视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并公式
Figure BDA0001088094330000211
或
Figure BDA0001088094330000212
计算新的Ithreshold，并利用所述新的Ithreshold判断后续GOP(如所述第K个GOP的下一个GOP)的Pmax是否为场景切换帧。
由于第一阈值Ithreshold可以实时更新，及时排除了已经确定为场景切换帧的P帧的影响，因此，可以进一步提升检测P帧中的场景切换帧的准确率。
具体实现方式可以是，若所述第一阈值根据公式
Figure BDA0001088094330000218
获得，所述
Figure BDA0001088094330000219
和
Figure BDA00010880943300002110
的相对大小
Figure BDA00010880943300002111
为：
Figure BDA0001088094330000217
若所述第一阈值根据公式
Figure BDA0001088094330000213
获得，所述
Figure BDA00010880943300002112
和
Figure BDA00010880943300002113
的相对大小
Figure BDA00010880943300002114
为：
Figure BDA0001088094330000214
在具体实现时，可以根据如下公式计算
Figure BDA00010880943300002115
和
Figure BDA00010880943300002118
的相对大小
Figure BDA00010880943300002119
Figure BDA0001088094330000215
公式
Figure BDA0001088094330000216
可以简单有效地反映出
Figure BDA00010880943300002116
和
Figure BDA00010880943300002117
的相对大小关系。
所述第二阈值通常可以预先设置，同一待检视频中不同GOP可以采用相同的第二阈值，如设置为1.51。
本发明实施例1的实施方式A还可以包括步骤101。
步骤101:从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧。
在步骤101中，在判断第K个GOP的I帧是否为场景切换帧时，具体可以根据所述第K个GOP的I帧的大小与第K-1个GOP的I帧的大小的比值、第K-1个GOP内的所有P帧的大小的平均值与所述第K个GOP内的所有P帧的大小的平均帧的比值、以及第K-1个GOP内的所有B帧的大小的平均值与所述第K个GOP内的所有B帧的大小的平均帧的比值判断所述第K个GOP的I帧是否为场景切换帧。具体实现方式如下：
1、计算第K个GOP的I帧的大小与第K-1个GOP的I帧的大小的比值rI；
2、计算第K-1个GOP内的所有P帧的大小的平均值与第K个GOP内的所有P帧的大小的平均帧的比值rP；
3、计算第K-1个GOP的所有B帧的大小的平均值与第K个GOP内的所有B帧的大小的平均帧的比值rB；
4、如果比值rI大于第一阈值或小于第二阈值，则进一步判断下列条件(1)和条件(2)，否则，确定第K个GOP的I帧不是场景切换帧。
条件(1)rP小于阈值第三阈值或rP大于第四阈值
条件(2)rB小于阈值第五阈值或rB大于第六阈值
如果条件(1)和条件(2)均满足，确定第K个GOP的I帧为场景切换帧，否则，确定第K个GOP的I帧不是场景切换帧。
上述实现方式的具体细节可参见标准ITU-T P1201.2。
在具体实现时，可以直接将第一个GOP的I帧确定为场景切换帧，并在K不等于1时利用上述方法判断第K个GOP的I帧是否为场景切换帧。
在具体实现时，如图3B所示，可以采用实现方式J实现实施方式A：先执行步骤101再执行步骤102-103，即，先检测出第M个GOP至第N个GOP的I帧中的场景切换帧再检测第M个GOP至第N个GOP的P帧中的场景切换帧。如，先将GOP1的I帧确定为场景切换帧，再判断GOPM(如GOP1)至GOPN中的I帧是否为场景切换帧，然后依次判断GOPM(如GOP1)至GOPN中的Pmax是否为场景切换帧。
在具体实现时，如图3C所示，也可以采用实现方式K实现实施方式A：将步骤101贯穿到步骤102-103中，按照视频帧的顺序依次检测场景切换帧，即，从第M个(如第一个)GOP开始根据GOP的顺序逐个GOP检测当前GOP中的场景切换帧，并在检测当前GOP中的场景切换帧时先判断当前GOP中的I帧是否为场景切换帧再判断当前GOP中的Pmax是否为场景切换帧。如，先将GOP1的I帧确定为场景切换帧，然后依次判断GOP1的Pmax、GOP2的I帧、GOP2的Pmax、GOP3的I帧、GOP3的Pmax、……、GOPN的I帧、GOPN的Pmax是否为场景切换帧。简而言之，即是在K小于N时，在判断第K个GOP的Pmax是否为场景切换帧之后判断第K+1个GOP的I帧是否为场景切换帧。
如果采用实现方式K来实现实施方式A，由于场景在短时间内连续发生切换的几率较低，所以，在判断某个I帧是否为场景切换帧前，还可以先计算该I帧与前一个场景切换帧之间的距离(后续称为第一距离)，如果所述第一距离小于或等于距离阈值，则确定该I帧不是场景切换帧，否则，可以进一步根据标准ITU-T P1201.2提供的方法判断该I帧是否为场景切换帧。具体实现方式为：当K小于N时，在判断第K个GOP的Pmax是否为场景切换帧之后，在确定所述第K+1个GOP的I帧(后续称为当前I帧)和所述当前I帧之前离所述当前I帧最近的场景切换帧之间的距离小于或等于距离阈值时，确定所述当前I帧不是场景切换帧，否则，可以进一步根据标准ITU-T P1201.2提供的方法判断所述当前I帧是否为场景切换帧。
本发明所说的两个视频帧之间的距离，指的是两个视频帧之间相差多少个视频帧，第X个视频帧和第Y个视频帧之间的距离为Y-N，两个相邻视频帧之间的距离为1。
所述距离阈值可以预先设置，同一待检视频中不同GOP可以采用相同的距离阈值。
所述距离阈值也可以是确定出来并进行动态调整的，从而进一步提高检测的准确性。确定并动态调整距离阈值的过程如下：
在从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧之前，先确定初始距离阈值，确定的初始距离阈值可以为如下三个长度中的其中一个：
(1)所述N个GOP中长度最长的GOP的长度；
(2)所述N个GOP的长度的平均值；
(3)长度L，其中，所述N个GOP中长度为L的GOP的数量最多。
本发明所说的GOP的长度指的是GOP所包括的视频帧的数量。
如，所述待检视频包括8个GOP，长度依次为10 6 8 7 8 7 9 8，根据方式(1)确定的初始距离阈值为10；根据方式(2)确定的初始距离阈值为8；根据方式(3)确定的初始距离阈值为8，因为长度为8的GOP的数量最多。
当采用固定GOP长度编码时，每个GOP的长度是相同的，则通过上述三种方式算出的初始距离阈值是一样的。
然后，在确定出一个新的场景切换帧时，如果所述新的场景切换帧与所述新的场景切换帧之前离所述新的场景切换帧最近的场景切换帧的距离(后续称为第二距离)小于所述距离阈值，将所述距离阈值更新为所述第二距离。
根据本发明的实施例1的实施方式A，在检测视频中的场景切换帧时，根据所述视频的GOP的所有P帧中最大的P帧Pmax的大小
Figure BDA0001088094330000241
与Pmax和Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值的相对大小关系、以及
Figure BDA0001088094330000242
与该GOP中的多个P帧的大小的中值或平均值的相对大小关系判断Pmax是否为场景切换帧，以检测P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
另外，在视频编码时，P帧普遍大于B帧，通常P帧大小是B帧大小的2-5倍。由于场景切换帧与其前一帧的内容差异较大，因此场景切换帧即便被编码为P帧，该场景切换帧中的宏块也大多采用帧内预测编码，所以，会比较大。如果P帧大小小于B帧的2倍，那么该P帧有可能是场景切换帧，因此，在检测P帧类型的场景切换帧时，P帧与B帧的相对大小关系可以参考。
基于上述分析，下面结合图4A对本发明实施例1的实施方式B详加阐述，以检测待检视频中的场景切换帧，所述视频包括N个GOP，N为大于等于2的整数。
如图4A所示，本发明实施例1的实施方式B提供的方法包括：
步骤202:同步骤102，不再赘述。
步骤203：在确定
Figure BDA0001088094330000253
和
Figure BDA0001088094330000254
的相对大小大于或等于第一阈值，
Figure BDA0001088094330000258
和
Figure BDA00010880943300002512
的相对大小大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure BDA0001088094330000255
和
Figure BDA0001088094330000256
的相对大小大于或等于第一阈值，
Figure BDA0001088094330000259
和
Figure BDA00010880943300002513
的相对大小大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure BDA0001088094330000257
和
Figure BDA00010880943300002511
的相对大小大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300002510
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的均值，
Figure BDA00010880943300002514
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure BDA00010880943300002515
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
另外，还可以在确定
Figure BDA00010880943300002516
和
Figure BDA00010880943300002522
的相对大小小于第一阈值，或
Figure BDA00010880943300002519
和
Figure BDA00010880943300002520
的相对大小小于第二阈值、或
Figure BDA00010880943300002517
和
Figure BDA00010880943300002521
的相对大小小于第三阈值的情况下，确定Pmax不为场景切换帧。
其中，确定
Figure BDA00010880943300002518
和
Figure BDA00010880943300002523
的相对大小大于或等于第一阈值的方法、
Figure BDA00010880943300002524
和
Figure BDA00010880943300002525
的相对大小大于或等于第二阈值的方法，同步骤102，不再赘述。
在具体实现时，可以根据如下公式计算
Figure BDA00010880943300002526
和
Figure BDA00010880943300002527
的相对大小
Figure BDA00010880943300002528
Figure BDA0001088094330000251
或者，
Figure BDA0001088094330000252
公式
Figure BDA0001088094330000261
或
Figure BDA0001088094330000262
可以简单有效地反映出
Figure BDA0001088094330000268
和
Figure BDA0001088094330000269
的相对大小关系。
所述第三阈值可以预先设置，同一待检视频中不同GOP可以采用相同的第三阈值。如当根据公式
Figure BDA0001088094330000263
计算
Figure BDA00010880943300002610
时，将所述第一阈值设置为2.87，如当根据公式
Figure BDA0001088094330000264
计算
Figure BDA00010880943300002611
时，将所述第一阈值设置为1.87。
所述第三阈值也可以是计算出来并进行动态调整的，从而进一步提高检测的准确性。计算并动态调整的过程如下：
在对该待检视频的第M个GOP进行检测之前先根据如下公式计算第三阈值：
Figure BDA0001088094330000265
或者，
Figure BDA0001088094330000266
其中,Bthreshold为所述第三阈值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述待检视频中的所有B帧的大小的中值或平均值。
因为Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值，所以，通过公式
Figure BDA00010880943300002612
或
Figure BDA0001088094330000267
可以准确地计算出有效阈值，从而精确地检测出P帧中的场景切换帧。
然后，在每次确定出一个新的类型为P帧的场景切换帧后，如确定第K个GOP的Pmax为场景切换帧后，可以将所述待检视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据据公式
Figure BDA0001088094330000272
或
Figure BDA0001088094330000271
计算新的Bthreshold，所述新的Bthreshold用于判断下一个GOP的Pmax是否为场景切换帧。
由于第三阈值Bthreshold可以实时更新，及时排除了已经确定为场景切换帧的P帧的影响，因此，可以进一步提升检测P帧中的场景切换帧的准确率。
本发明实施例1的实施方式B还可以包括步骤201，同步骤101，不再赘述。
在具体实现时，也可以采用与实施方式A的两种实现方式(实现方式J和实现方式K)类似的实现方式来实现实施方式B，分别如图4B和4C所示。
根据本发明的实施例1的实施方式B，在检测视频中的场景切换帧时，根据所述视频的GOP的所有P帧中最大的P帧Pmax的大小
Figure BDA0001088094330000273
与Pmax和Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值的相对大小关系、
Figure BDA0001088094330000274
与该GOP中的多个P帧的大小的中值或平均值的相对大小关系、以及
Figure BDA0001088094330000275
与Pmax和Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值的相对大小关系判断Pmax是否为场景切换帧，以检测P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题，并且，在检测P帧中的场景切换帧时，不仅考虑了I帧和P帧的大小，还考虑了B帧的大小，从而进一步提升了检测P帧中的场景切换帧的准确率。
根据本发明实施例1，本发明实施例2提供了一种用于检测视频中的场景切换帧的检测装置200，所述视频包括N个GOP，N为大于等于2的整数。如图6所示，检测装置200包括第一确定单元210和第二确定单元220。
实施例2的第一种实施方式对应实施例1的实施方式A，如下：
所述第一确定单元210，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA0001088094330000281
其中K为变量且取值依次从M至N，1≤M≤N。
所述第二确定单元220，用于在确定
Figure BDA0001088094330000286
和
Figure BDA0001088094330000287
的相对大小大于或等于第一阈值，且
Figure BDA0001088094330000282
和
Figure BDA0001088094330000283
的相对大小大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA0001088094330000284
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure BDA0001088094330000285
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
具体地，所述第一确定单元210具体可以用于执行上述实施例1的实施方式A所述的方法的步骤102，所述第二确定单元220具体可以用于执行上述实施例1的实施方式A所述的方法的步骤103。
进一步地，所述第二确定单元220还可以用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧，具体可以用于执行上述实施例1的实施方式A所述的方法的步骤101。
实施例2的第二种实施方式对应实施例1的实施方式B，如下：
所述第一确定单元210，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure BDA00010880943300002811
其中K为变量且取值依次从M至N，1≤M≤N。
所述第二确定单元220，用于在确定
Figure BDA0001088094330000288
和
Figure BDA00010880943300002814
的相对大小大于或等于第一阈值，
Figure BDA0001088094330000289
和
Figure BDA00010880943300002810
的相对大小大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure BDA00010880943300002812
和
Figure BDA00010880943300002813
的相对大小大于或等于第一阈值，
Figure BDA00010880943300002815
和
Figure BDA00010880943300002816
的相对大小大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure BDA00010880943300002818
和
Figure BDA00010880943300002819
的相对大小大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中
Figure BDA00010880943300002820
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或均值，
Figure BDA00010880943300002817
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure BDA00010880943300002821
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
具体地，所述第一确定单元210具体可以用于执行上述实施例1的实施方式B所述的方法的步骤202，所述第二确定单元220具体可以用于执行上述实施例1的实施方式B所述的方法的步骤203。
进一步地，所述第二确定单元220还可以用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧，具体可以用于执行上述实施例1的实施方式B所述的方法的步骤201。
根据本发明的实施例2，在检测视频中的场景切换帧时，不仅检测I帧中的场景切换帧，还根据所述视频的GOP的所有P帧中最大的P帧Pmax的大小
Figure BDA0001088094330000292
与Pmax和Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值的相对大小关系、以及
Figure BDA0001088094330000291
与该GOP中的多个P帧的大小的中值或平均值的相对大小关系判断Pmax是否为场景切换帧，以实现检测P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。根据本发明的实施例2的实施方式B，在检测P帧中的场景切换帧时，不仅考虑了I帧和P帧的大小，还考虑了B帧的大小，从而进一步提升了检测P帧中的场景切换帧的准确率。
根据本发明实施例1，本发明实施例3提供了一种检测装置1000，如图7所示，检测装置1000包括处理器1010和存储器1020，其中，处理器1010和存储器1020之间通过总线完成相互间的通信。
存储器1020，用于存放计算机操作指令。存储器1020可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1010，用于执行存储器1020中存放的计算机操作指令。处理器1010具体可以是中央处理器(CPU，central processing unit)，是计算机核心单元。
其中，处理器1010执行所述计算机操作指令使得检测装置1000执行上述实施例1所述的方法。
根据本发明的实施例3，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
根据本发明实施例1-3，本发明实施例4提供了一种检测设备400。如图8所示，所述检测设备400包括媒体单元4010和检测装置4020。
所述媒体单元4010，用于获取所述视频(后续称为待检视频)，并将所述视频传输给所述检测装置4020。所述媒体单元4010具体可以从视频文件中读取所述待检视频，也可以是从接收的视频服务器发送的媒体流中获取所述待检视频。所述待检视频具体可以是一个完整的视频，也可以是一个视频中的一个视频段，如果是视频段，所述媒体单元4010可以将所述视频段所在的视频(即包括所述视频段的视频)传输给所述检测装置4020并由所述检测装置4020对接收的视频中的视频段进行检测以检测出所述待检视频中的场景切换帧。
所述检测装置4020，具体可以为实施例2提供的检测装置200或实施例3提供的检测装置1000，用于从所述媒体单元4010获取所述待检视频并执行实施例2提供的检测装置200或实施例3提供的检测装置1000所执行的操作。
所述检测装置4020还可以进一步根据检测出的场景切换帧对所述待检视频或所述待检视频所在的视频的质量进行评估。
根据本发明的实施例4，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
根据本发明实施例1-3，本发明实施例5提供了一种实现视频质量评估的系统2000。如图9A所示，系统2000包括视频服务器2010、传输设备2020和视频终端2030，其中，所述视频服务器2010发送的视频流经由所述传输设备2020传输到所述视频终端2030。
在一种具体实现方式中，所述传输设备2020或所述视频终端2030具体可以包括实施例2提供的检测装置200或实施例3提供的检测装置1000。在具体实现时，所述传输设备2020和所述视频终端2030可以均包括实施例2提供的检测装置200或实施例3提供的检测装置1000。所述传输设备2020或所述视频终端2030具体可以为实施例4提供的检测设备400。
在另一种具体实现方式中，所述系统还包括检测装置2040，如图9B和9C所示，所述检测装置2040具体可以为实施例2提供的检测装置200或实施例3提供的检测装置1000，所述传输设备2020或所述视频终端2030与所述检测装置2040相连，并且所述检测装置2040通过与所述检测装置2040连接的所述传输设备2020或所述视频终端2030获取所述视频流。在具体实现时，所述传输设备2020和所述视频终端2030可以分别与一个检测装置2040相连。
根据本发明的实施例5，在检测视频中的场景切换帧时，可以检测出P帧中的场景切换帧，从而有效减少了漏检场景切换帧的问题。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (26)

1.一种检测视频中的场景切换帧的方法，其特征在于，所述视频包括N个图像组GOP，N为大于等于2的整数，所述方法包括：
确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure FDA0002501490590000011
其中K为变量且取值依次从M至N，1≤M≤N；
在确定
Figure FDA0002501490590000012
和
Figure FDA0002501490590000013
的相对大小
Figure FDA0002501490590000014
大于或等于第一阈值，且
Figure FDA0002501490590000015
和
Figure FDA0002501490590000016
的相对大小
Figure FDA0002501490590000017
大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中,
Figure FDA0002501490590000018
满足公式
Figure FDA0002501490590000019
或
Figure FDA00025014905900000110
Figure FDA00025014905900000111
满足公式
Figure FDA00025014905900000112
Figure FDA00025014905900000113
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure FDA00025014905900000114
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据公式
Figure FDA00025014905900000115
计算所述第一阈值；或者，
根据公式
Figure FDA00025014905900000116
计算所述第一阈值；
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
3.如权利要求2所述的方法，其特征在于，所述方法还包括：
在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure FDA00025014905900000117
或
Figure FDA00025014905900000118
计算新的Ithreshold，所述新的Ithreshold用于判断下一个GOP的Pmax是否为场景切换帧。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧；
其中，在K小于N时，在判断第K个GOP的Pmax是否为场景切换帧之后判断第K+1个GOP的I帧是否为场景切换帧；
所述从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧具体包括：在确定第一距离小于或等于距离阈值时，确定所述第K+1个GOP的I帧不是场景切换帧，所述第一距离为所述第K+1个GOP的I帧和所述第K+1个GOP的I帧之前离所述第K+1个GOP的I帧最近的场景切换帧之间的距离。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
设置所述距离阈值，所述距离阈值为如下三个长度中的其中一个：
所述N个GOP中长度最长的GOP的长度；
所述N个GOP的长度的中值或平均值；
长度L，其中，所述N个GOP中长度为L的GOP的数量最多。
6.如权利要求4或5所述的方法，其特征在于，在确定出一个新的场景切换帧时，如果第二距离小于所述距离阈值，将所述距离阈值更新为所述第二距离，其中，所述第二距离具体为所述新的场景切换帧与所述新的场景切换帧之前离所述新的场景切换帧最近的场景切换帧之间的距离。
7.一种检测视频中的场景切换帧的方法，其特征在于，所述视频包括N个图像组GOP，N为大于等于2的整数，所述方法包括：
确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure FDA0002501490590000021
其中K为变量且取值依次从M至N，1≤M≤N；
在确定
Figure FDA0002501490590000022
和
Figure FDA0002501490590000023
的相对大小
Figure FDA0002501490590000024
大于或等于第一阈值，
Figure FDA0002501490590000025
和
Figure FDA0002501490590000026
的相对大小
Figure FDA0002501490590000027
大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure FDA0002501490590000028
大于或等于第一阈值，
Figure FDA0002501490590000029
大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure FDA00025014905900000210
和
Figure FDA00025014905900000211
的相对大小
Figure FDA00025014905900000212
大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中,
Figure FDA00025014905900000213
满足公式
Figure FDA00025014905900000214
或
Figure FDA00025014905900000215
Figure FDA00025014905900000216
满足公式
Figure FDA00025014905900000217
Figure FDA0002501490590000031
满足公式
Figure FDA0002501490590000032
或
Figure FDA0002501490590000033
Figure FDA0002501490590000034
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或均值，
Figure FDA0002501490590000035
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure FDA0002501490590000036
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；
所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
8.如权利要求7所述的方法，其特征在于，所述方法还包括：
根据公式
Figure FDA0002501490590000037
计算所述第一阈值；或者，
根据公式
Figure FDA0002501490590000038
计算所述第一阈值；
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
9.如权利要求7所述的方法，其特征在于，所述方法还包括
根据公式
Figure FDA0002501490590000039
计算所述第三阈值；或者，
根据公式
Figure FDA00025014905900000310
计算所述第三阈值；
其中,Bthreshold为所述第三阈值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值。
10.如权利要求8所述的方法，其特征在于，所述方法还包括：
在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure FDA00025014905900000311
或
Figure FDA00025014905900000312
计算新的Ithreshold，所述新的Ithreshold用于判断下一个GOP的Pmax是否为场景切换帧。
11.如权利要求7所述的方法，其特征在于，所述方法还包括：从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧；
其中，在K小于N时，在判断第K个GOP的Pmax是否为场景切换帧之后判断第K+1个GOP的I帧是否为场景切换帧；
所述从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧具体包括：在确定第一距离小于或等于距离阈值时，确定所述第K+1个GOP的I帧不是场景切换帧，所述第一距离为所述第K+1个GOP的I帧和所述第K+1个GOP的I帧之前离所述第K+1个GOP的I帧最近的场景切换帧之间的距离。
12.如权利要求11所述的方法，其特征在于，所述方法还包括：
设置所述距离阈值，所述距离阈值为如下三个长度中的其中一个：
所述N个GOP中长度最长的GOP的长度；
所述N个GOP的长度的中值或平均值；
长度L，其中，所述N个GOP中长度为L的GOP的数量最多。
13.如权利要求11或12所述的方法，其特征在于，在确定出一个新的场景切换帧时，如果第二距离小于所述距离阈值，将所述距离阈值更新为所述第二距离，其中，所述第二距离具体为所述新的场景切换帧与所述新的场景切换帧之前离所述新的场景切换帧最近的场景切换帧之间的距离。
14.一种用于检测视频中的场景切换帧的检测装置，其特征在于，所述视频包括N个GOP，N为大于等于2的整数，所述检测装置包括：第一确定单元和第二确定单元；
所述第一确定单元，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure FDA0002501490590000041
其中K为变量且取值依次从M至N，1≤M≤N；
所述第二确定单元，用于在确定
Figure FDA0002501490590000042
和
Figure FDA0002501490590000043
的相对大小
Figure FDA0002501490590000044
大于或等于第一阈值，且
Figure FDA0002501490590000045
和
Figure FDA0002501490590000046
的相对大小
Figure FDA0002501490590000047
大于或等于第二阈值的情况下，确定Pmax为场景切换帧，其中,
Figure FDA0002501490590000048
满足公式
Figure FDA0002501490590000049
或
Figure FDA00025014905900000410
Figure FDA00025014905900000411
满足公式
Figure FDA0002501490590000051
Figure FDA0002501490590000052
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或平均值，
Figure FDA0002501490590000053
为所述第K个GOP中的多个P帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1。
15.如权利要求14所述的检测装置，其特征在于，
所述第二确定单元，还用于根据公式
Figure FDA0002501490590000054
计算所述第一阈值；或者，根据公式
Figure FDA0002501490590000055
计算所述第一阈值；
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
16.如权利要求15所述的检测装置，其特征在于，
所述第二确定单元，还用于在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure FDA0002501490590000056
或
Figure FDA0002501490590000057
计算新的Ithreshold，所述新的Ithreshold用于判断下一个GOP的Pmax是否为场景切换帧。
17.如权利要求14所述的检测装置，其特征在于，所述第二确定单元，还用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧；
其中，在K小于N时，所述第二确定单元在判断第K个GOP的Pmax是否为场景切换帧之后判断第K+1个GOP的I帧是否为场景切换帧；
所述第二确定单元用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧，具体包括：用于在确定第一距离小于或等于距离阈值时，确定所述第K+1个GOP的I帧不是场景切换帧，所述第一距离为所述第K+1个GOP的I帧和所述第K+1个GOP的I帧之前离所述第K+1个GOP的I帧最近的场景切换帧之间的距离。
18.如权利要求17所述的检测装置，其特征在于，所述第二确定单元，还用于设置所述距离阈值，所述距离阈值为如下三个长度中的其中一个：
所述N个GOP中长度最长的GOP的长度；
所述N个GOP的长度的中值或平均值；
长度L，其中，所述N个GOP中长度为L的GOP的数量最多。
19.如权利要求17或18所述的检测装置，其特征在于，所述第二确定单元，还用于：在确定出一个新的场景切换帧时，如果第二距离小于所述距离阈值，将所述距离阈值更新为所述第二距离，其中，所述第二距离具体为所述新的场景切换帧与所述新的场景切换帧之前离所述新的场景切换帧最近的场景切换帧之间的距离。
20.一种检测视频中的场景切换帧的检测装置，其特征在于，所述视频包括N个图像组GOP，N为大于等于2的整数，所述检测装置包括：第一确定单元和第二确定单元；
所述第一确定单元，用于确定第K个GOP的所有P帧中最大的P帧Pmax,其中Pmax的大小为
Figure FDA0002501490590000061
其中K为变量且取值依次从M至N，1≤M≤N；
所述第二确定单元，用于在确定
Figure FDA0002501490590000062
和
Figure FDA0002501490590000063
的相对大小
Figure FDA0002501490590000064
大于或等于第一阈值，
Figure FDA0002501490590000065
和
Figure FDA0002501490590000066
的相对大小
Figure FDA0002501490590000067
大于或等于第二阈值，且所述第K个GOP中没有B帧的情况下，或者在确定
Figure FDA0002501490590000068
大于或等于第一阈值，
Figure FDA0002501490590000069
大于或等于第二阈值，所述第K个GOP中有B帧，且
Figure FDA00025014905900000610
和
Figure FDA00025014905900000611
的相对大小
Figure FDA00025014905900000612
大于或等于第三阈值的情况下，确定Pmax为场景切换帧，其中,
Figure FDA00025014905900000613
满足公式
Figure FDA00025014905900000614
或
Figure FDA00025014905900000615
Figure FDA00025014905900000616
满足公式
Figure FDA00025014905900000617
Figure FDA00025014905900000618
满足公式
Figure FDA00025014905900000619
或
Figure FDA00025014905900000620
Figure FDA00025014905900000621
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的多个I帧的大小的中值或均值，
Figure FDA00025014905900000622
为所述第K个GOP中的多个P帧的大小的中值或平均值,
Figure FDA0002501490590000071
为Pmax与Pmax之前离Pmax最近的场景切换帧之间的所有B帧的大小的中值或平均值；所述第一阈值大于0且小于1，所述第二阈值大于1，所述第三阈值大于1。
21.如权利要求20所述的检测装置，其特征在于，所述第二确定单元，还用于：
根据公式
Figure FDA0002501490590000072
计算所述第一阈值；或者，
根据公式
Figure FDA0002501490590000073
计算所述第一阈值；
其中,Ithreshold为所述第一阈值，Imedian为所述视频中的所有I帧的大小的中值或平均值，Pmedian为所述视频中的所有P帧的大小的中值或平均值。
22.如权利要求20所述的检测装置，其特征在于，所述第二确定单元，还用于：
根据公式
Figure FDA0002501490590000074
计算所述第三阈值；或者，
根据公式
Figure FDA0002501490590000075
计算所述第三阈值；
其中,Bthreshold为所述第三阈值，Pmedian为所述视频中的所有P帧的大小的中值或平均值，Bmedian为所述视频中的所有B帧的大小的中值或平均值。
23.如权利要求21所述的检测装置，其特征在于，所述第二确定单元，还用于在确定第K个GOP的Pmax为场景切换帧后，将所述视频中除去已确定为场景切换帧的P帧之外的其它P帧的大小的中值或平均值作为新的Pmedian，并根据公式
Figure FDA0002501490590000076
或
Figure FDA0002501490590000077
计算新的Ithreshold，所述新的Ithreshold用于判断下一个GOP的Pmax是否为场景切换帧。
24.如权利要求20所述的检测装置，其特征在于，所述第二确定单元，还用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧；
其中，在K小于N时，在判断第K个GOP的Pmax是否为场景切换帧之后判断第K+1个GOP的I帧是否为场景切换帧；
所述第二确定单元用于从所述N个GOP中的第M个至第N个GOP的I帧中检测场景切换帧，具体包括：用于在确定第一距离小于或等于距离阈值时，确定所述第K+1个GOP的I帧不是场景切换帧，所述第一距离为所述第K+1个GOP的I帧和所述第K+1个GOP的I帧之前离所述第K+1个GOP的I帧最近的场景切换帧之间的距离。
25.如权利要求24所述的检测装置，其特征在于，所述第二确定单元，还用于设置所述距离阈值，所述距离阈值为如下三个长度中的其中一个：
所述N个GOP中长度最长的GOP的长度；
所述N个GOP的长度的中值或平均值；
长度L，其中，所述N个GOP中长度为L的GOP的数量最多。
26.如权利要求24或25所述的检测装置，其特征在于，所述第二确定单元，还用于：在确定出一个新的场景切换帧时，如果第二距离小于所述距离阈值，将所述距离阈值更新为所述第二距离，其中，所述第二距离具体为所述新的场景切换帧与所述新的场景切换帧之前离所述新的场景切换帧最近的场景切换帧之间的距离。
CN201610708531.5A 2016-08-23 2016-08-23 一种检测场景切换帧的方法、装置和系统 Active CN107770538B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610708531.5A CN107770538B (zh) 2016-08-23 2016-08-23 一种检测场景切换帧的方法、装置和系统
PCT/CN2017/098483 WO2018036481A1 (zh) 2016-08-23 2017-08-22 一种检测场景切换帧的方法、装置和系统
EP17842903.1A EP3499460A1 (en) 2016-08-23 2017-08-22 Method, device, and system for detecting scene change frame
KR1020197007484A KR20190039265A (ko) 2016-08-23 2017-08-22 장면 변화 프레임을 검출하기 위한 방법, 디바이스, 및 시스템
JP2019510927A JP2019528643A (ja) 2016-08-23 2017-08-22 シーンチェンジフレームを検出するための方法および装置ならびにシステム
US16/284,664 US10917643B2 (en) 2016-08-23 2019-02-25 Method and apparatus for detecting scene change frame and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610708531.5A CN107770538B (zh) 2016-08-23 2016-08-23 一种检测场景切换帧的方法、装置和系统

Publications (2)

Publication Number Publication Date
CN107770538A CN107770538A (zh) 2018-03-06
CN107770538B true CN107770538B (zh) 2020-09-11

Family

ID=61245503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610708531.5A Active CN107770538B (zh) 2016-08-23 2016-08-23 一种检测场景切换帧的方法、装置和系统

Country Status (6)

Country Link
US (1) US10917643B2 (zh)
EP (1) EP3499460A1 (zh)
JP (1) JP2019528643A (zh)
KR (1) KR20190039265A (zh)
CN (1) CN107770538B (zh)
WO (1) WO2018036481A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114143606A (zh) 2018-08-22 2022-03-04 华为技术有限公司 一种实现视频流切换的方法、装置和系统
CN110891182B (zh) * 2018-09-11 2022-04-12 华为技术有限公司 一种实现视频流切换的方法、装置和系统
CN109168001B (zh) * 2018-09-27 2021-02-12 苏州科达科技股份有限公司 视频场景变化的检测方法、装置及视频采集设备
CN109361923B (zh) * 2018-12-04 2022-05-31 深圳市梦网视讯有限公司 一种基于运动分析的滑动时间窗场景切换检测方法和系统
CN111629261B (zh) * 2019-02-28 2022-04-22 阿里巴巴集团控股有限公司 信息处理方法、装置、电子设备及计算机可读存储介质
CN112019850B (zh) * 2020-08-27 2022-08-23 广州市百果园信息技术有限公司 基于场景切换的图像组划分方法、视频编码方法及装置
CN112351278B (zh) * 2020-11-04 2023-07-07 北京金山云网络技术有限公司 一种视频的编码方法和装置，视频的解码方法和装置
US11743474B2 (en) 2021-08-27 2023-08-29 Meta Platforms, Inc. Shot-change detection using container level information

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758759A (zh) * 2005-11-18 2006-04-12 清华大学 一种视频场景切换检测方法
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
WO2016027410A1 (ja) * 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 検知装置および検知システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3315766B2 (ja) * 1992-09-07 2002-08-19 富士通株式会社 画像データ符号化方法、その方法を用いた画像データ符号化装置、画像データ復元方法、その方法を用いた画像データ復元装置、シーン変化検出方法、その方法を用いたシーン変化検出装置、シーン変化記録装置、及び画像データのシーン変化記録・再生装置
JPH09322174A (ja) 1996-05-30 1997-12-12 Hitachi Ltd 動画データの再生方法
JP2002010254A (ja) 2000-06-20 2002-01-11 Sony Corp 特徴点検出方法および記録再生装置
US7525579B2 (en) * 2004-12-27 2009-04-28 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method for use therein
US8208536B2 (en) * 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
JP2010219929A (ja) 2009-03-17 2010-09-30 Oki Networks Co Ltd 動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置
US8588296B2 (en) * 2009-07-02 2013-11-19 Dialogic Corporation Bitrate control algorithm for video transcoding systems
CN102740108B (zh) 2011-04-11 2015-07-08 华为技术有限公司 一种视频数据质量评估方法和装置
CN102630013B (zh) * 2012-04-01 2013-10-16 北京捷成世纪科技股份有限公司 基于场景切换的码率控制视频压缩方法和装置
CN103826121B (zh) * 2013-12-20 2017-05-10 电子科技大学 低延迟视频编码基于场景切换检测的码率控制方法
CN103945281B (zh) * 2014-04-29 2018-04-17 中国联合网络通信集团有限公司 视频传输处理方法、装置和系统
US10063866B2 (en) * 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758759A (zh) * 2005-11-18 2006-04-12 清华大学 一种视频场景切换检测方法
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
WO2016027410A1 (ja) * 2014-08-21 2016-02-25 パナソニックＩｐマネジメント株式会社 検知装置および検知システム

Also Published As

Publication number Publication date
CN107770538A (zh) 2018-03-06
KR20190039265A (ko) 2019-04-10
EP3499460A4 (en) 2019-06-19
US20190260999A1 (en) 2019-08-22
WO2018036481A1 (zh) 2018-03-01
US10917643B2 (en) 2021-02-09
EP3499460A1 (en) 2019-06-19
JP2019528643A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
CN107770538B (zh) 一种检测场景切换帧的方法、装置和系统
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
US8094713B2 (en) Method and system for viewer quality estimation of packet video streams
JP5938786B2 (ja) ビデオデータ品質評価方法およびビデオデータ品質評価デバイス
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
US10728538B2 (en) Technique for video quality estimation
US9723329B2 (en) Method and system for determining a quality value of a video stream
EP2637410B1 (en) Detection method and device for frame type
US11310489B2 (en) Method, apparatus, and system for implementing video quality assessment
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
Yamada et al. Accurate video-quality estimation without video decoding
Venkatesh Babu et al. Evaluation and monitoring of video quality for UMA enabled video streaming systems
KR20150046036A (ko) 비디오 비트스트림에서 점진적 전환 픽쳐를 검출하기 위한 방법 및 장치
JP2004179685A (ja) 動画像送信端末

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant