CN112165621B - 场景切换帧的检测方法及装置、存储介质、电子设备 - Google Patents

场景切换帧的检测方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN112165621B
CN112165621B CN202011017961.5A CN202011017961A CN112165621B CN 112165621 B CN112165621 B CN 112165621B CN 202011017961 A CN202011017961 A CN 202011017961A CN 112165621 B CN112165621 B CN 112165621B
Authority
CN
China
Prior art keywords
frame
similarity
scene
frames
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011017961.5A
Other languages
English (en)
Other versions
CN112165621A (zh
Inventor
张文杰
樊鸿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011017961.5A priority Critical patent/CN112165621B/zh
Publication of CN112165621A publication Critical patent/CN112165621A/zh
Application granted granted Critical
Publication of CN112165621B publication Critical patent/CN112165621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change

Abstract

本发明公开了一种场景切换帧的检测方法及装置、存储介质、电子设备，属于视频编码技术领域。其中，该方法包括：获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；判断所述第一帧与所述第二帧之间是否发生场景切换；若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。通过本发明，解决了相关技术使用当前帧和前一帧检测场景切换错误率高的技术问题，提高了场景切换帧的定位准确率，进而提高了视频帧的编码效率。

Description

场景切换帧的检测方法及装置、存储介质、电子设备
技术领域
本发明涉及视频编码领域，具体而言，涉及一种场景切换帧的检测方法及装置、存储介质、电子设备。
背景技术
相关技术在视频编码过程中，需要进行场景判断和切换，相关技术中的场景切换判断方法，是在视频编码开始的预分析阶段，会对每一帧检查它与前面一帧的差异，当差异达到一定阈值时，就认为发生了场景切换，判断该帧为场景切换帧，刷新GOP(Group ofPictures，画面组)，将该帧作为新GOP的第一帧用关键帧(I帧)来编码。
相关技术对于一段视频帧，按照图像帧的时序可将其分为以下5种场景情况：①A0A1A2A3A4A5A6A7：同一场景A；②A0A1A2B0B1A3A4A5：同一场景A，中间短暂出现其他场景B，不认为发生场景切换；③A0A1A2A3B0B1B2B3：场景发生切换由A到B，硬转场，B0为场景切换帧；④A0A1A2B0B1C0C1C2：场景发生切换由A到C，软转场，C0为场景切换帧；中间几帧为其他场景B；⑤A0A1A2ABBAB0B1B2：场景发生切换由A到B，软转场，B0为场景切换帧，中间几帧(如AB、BA)为两场景叠化帧。上面③④⑤的情况，相关技术的场景切换检测方案，可能会出现错检测和漏检的情况。比如对于情况②和④，可能会将短暂出现的B误判为场景切换帧。或比如对于情况⑤由于叠化转场中场景是逐渐过渡，导致可能出现漏检的情况，或将软转场过程中的叠化帧AB或BA帧误判为了场景切换帧的情况。这些漏检和误检，都会致使后续编码的参考帧不准确，编码代价变大，编码效率变差。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
本发明实施例提供了一种场景切换帧的检测方法及装置、存储介质、电子设备。
根据本申请实施例的一个方面，提供了一种场景切换帧的检测方法，包括：获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；判断所述第一帧与所述第二帧之间是否发生场景切换；若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。
进一步，判断所述第一帧与所述第二帧之间是否发生场景切换包括：计算P0帧与Pn帧的第一相似度，其中，所述第一帧为所述P0帧，所述第二帧为P2n帧，P2n帧是Pn帧之后的第n帧，n为大于0的整数；若所述第一相似度小于第一阈值，计算所述P0帧与所述P2n帧的第二相似度；若所述第一相似度大于或等于第一阈值，确定所述第一帧与第二帧之间未发生场景切换；若所述第二相似度小于所述第一阈值，确定所述第一帧与第二帧之间发生场景切换；若所述第二相似度大于或等于所述第一阈值，确定所述第一帧与第二帧之间未发生场景切换。
进一步，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧包括：根据所述第一帧和所述第二帧构建m个叠化帧，其中，m为大于0的整数；计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，其中，所述Pi帧是所述第一帧至所述第二帧之间的任一图像帧；若所述第三相似度和所述第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，Pi+1帧是Pi帧之后的第一帧。
进一步，计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，包括：以P2n-1为Pi的起始位置，P1为Pi的结束位置，迭代计算Pi帧与P2n帧的第三相似度，以及Pi帧与m个叠化帧的第四相似度，直到所述第三相似度和所述第四相似度满足所述预定条件，其中，所述P2n-1为所述第二帧的前一帧，所述P1为所述第一帧的后一帧。
进一步，根据所述第一帧和所述第二帧构建m个叠化帧包括：获取m个加权系数；基于所述m个加权系数分别逐像素加权融合所述第一帧和所述第二帧，得到m个叠化帧。
进一步，若所述第三相似度和所述第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，包括：比较所述第三相似度与第二阈值，以及比较所述第三相似度与所述第四相似度；若满足S'2n≤max(T',S'd1,...,S'dm)，将Pi+1帧确定为场景切换帧，其中，所述S'2n为所述第三相似度，T'为所述第二阈值，S'd1,...,S'dm分别对应所述m个叠化帧的第四相似度。
进一步，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧之后，所述方法还包括：在编码所述场景切换帧之前，切换所述源编码视频的画面组GOP，并将所述场景切换帧设置为所述GOP的内部编码帧。
根据本申请实施例的另一个方面，还提供了一种场景切换帧的检测装置，包括：获取模块，用于获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；判断模块，用于判断所述第一帧与所述第二帧之间是否发生场景切换；确定模块，用于若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。
进一步，所述判断模块包括：计算单元，用于计算P0帧与Pn帧的第一相似度，其中，所述第一帧为所述P0帧，所述第二帧为P2n帧，P2n帧是Pn帧之后的第n帧，n为大于0的整数；第一处理单元，用于若所述第一相似度小于第一阈值，计算所述P0帧与所述P2n帧的第二相似度；若所述第一相似度大于或等于第一阈值，确定所述第一帧与第二帧之间未发生场景切换；第二处理单元，用于若所述第二相似度小于所述第一阈值，确定所述第一帧与第二帧之间发生场景切换；若所述第二相似度大于或等于所述第一阈值，确定所述第一帧与第二帧之间未发生场景切换。
进一步，所述确定模块包括：构建单元，用于根据所述第一帧和所述第二帧构建m个叠化帧，其中，m为大于0的整数；计算单元，用于计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，其中，所述Pi帧是所述第一帧至所述第二帧之间的任一图像帧；确定单元，用于若所述第三相似度和所述第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，Pi+1帧是Pi帧之后的第一帧。
进一步，所述计算单元包括：计算子单元，用于以P2n-1为Pi的起始位置，P1为Pi的结束位置，迭代计算Pi帧与P2n帧的第三相似度，以及Pi帧与m个叠化帧的第四相似度，直到所述第三相似度和所述第四相似度满足所述预定条件，其中，所述P2n-1为所述第二帧的前一帧，所述P1为所述第一帧的后一帧。
进一步，所述构建单元包括：获取子单元，用于获取m个加权系数；融合子单元，用于基于所述m个加权系数分别逐像素加权融合所述第一帧和所述第二帧，得到m个叠化帧。
进一步，所述确定单元包括：比较子单元，用于比较所述第三相似度与第二阈值，以及比较所述第三相似度与所述第四相似度；确定子单元，用于若满足S'2n≤max(T',S'd1,...,S'dm)，将Pi+1帧确定为场景切换帧，其中，所述S'2n为所述第三相似度，T'为所述第二阈值，S'd1,...,S'dm分别对应所述m个叠化帧的第四相似度。
进一步，所述装置还包括：设置模块，用于在所述确定模块在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧之后，在编码所述场景切换帧之前，切换所述源编码视频的画面组GOP，并将所述场景切换帧设置为所述GOP的内部编码帧。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，判断源编码视频当前的第一帧与第一帧之后的第二帧之间是否发生场景切换，若第一帧与第二帧之间发生场景切换，在第一帧至第二帧的图像帧集合中确定场景切换帧，通过使用当前帧与其后的第二帧来判断第一帧与第二帧之间是否发生场景切换，可以避免场景切换帧的漏检和误检，解决了相关技术使用当前帧和前一帧检测场景切换错误率高的技术问题，提高了场景切换帧的定位准确率，进而提高了视频帧的编码效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种服务器的硬件结构框图；
图2是根据本发明实施例的一种场景切换帧的检测方法的流程图；
图3是本发明实施例中场景帧融合叠化帧的示意图；
图4是本发明实施例的检测流程图；
图5是根据本发明实施例的一种场景切换帧的检测装置的结构框图；
图6是实施本发明实施例的一种电子设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在服务器、计算机、影像设备、手机、平板或者类似的运算装置中执行。以运行在服务器上为例，图1是本发明实施例的一种服务器的硬件结构框图。如图1所示，服务器10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述服务器还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述服务器的结构造成限定。例如，服务器10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储服务器程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种场景切换帧的检测方法对应的服务器程序，处理器102通过运行存储在存储器104内的服务器程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至服务器10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种场景切换帧的检测方法，图2是根据本发明实施例的一种场景切换帧的检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取源编码视频的第一帧和第二帧，其中，第二帧是源编码视频在第一帧多个时序之后的图像帧；
步骤S204，判断第一帧与第二帧之间是否发生场景切换；
在视频编码过程中，获取当前解码的第一帧，以及第一帧之后的第二帧，可以根据第一帧和第二帧的图像相似度来判断第一帧与第二帧之间是否发生场景切换，在发生场景切换时，第一帧和第二帧分别是不同场景中的图像帧，否则，第一帧和第二帧是同一场景中的图像帧。
步骤S206，若第一帧与第二帧之间发生场景切换，在第一帧至第二帧的图像帧集合中确定场景切换帧。
在本实施例的场景切换是指视频序列中的画面由一个场景切换至另一个场景，包括硬转场和软转场，场景切换帧为待切换的场景中视频画面的起始帧，其中，硬转场发生场景切换时，没有中间过度帧，直接从前一场景变成下一场景。软转场发生场景切换时，前一场景通过过度帧(叠化、闪白、渐入等)逐渐过度到下一场景。叠化转场也是软转场的一种，通过前后两个场景透明叠加，逐渐完成场景过度。
通过上述步骤，判断源编码视频当前的第一帧与第一帧之后的第二帧之间是否发生场景切换，若第一帧与第二帧之间发生场景切换，在第一帧至第二帧的图像帧集合中确定场景切换帧，通过使用当前帧与其后的第二帧来判断第一帧与第二帧之间是否发生场景切换，可以避免场景切换帧的漏检和误检，提高了场景切换帧的定位准确率，进而提高了视频帧的编码效率。
在本实施例中，根据当前帧与其后的第二帧的相似度来判定是否发生场景切换。判断第一帧与第二帧之间是否发生场景切换包括：
S11，计算P0帧与Pn帧的第一相似度，其中，第一帧为P0帧，第二帧为P2n帧，P2n帧是Pn帧之后的第n帧，n为大于0的整数；
在一个示例中，n＝5，此外，n也可以根据帧率，视频编码设备的编码能力，源编码视频的情景内容进行匹配设置。
S12，若第一相似度小于第一阈值，计算P0帧与P2n帧的第二相似度；若第一相似度大于或等于第一阈值，确定第一帧与第二帧之间未发生场景切换；
S13，若第二相似度小于第一阈值，确定第一帧与第二帧之间发生场景切换；若第二相似度大于或等于第一阈值，确定第一帧与第二帧之间未发生场景切换。
本实施方式通过设置Pn帧和P2n帧的两级判定，可以避免因中间Pn帧处短暂出现其他场景的图像帧(如相关技术中的场景②)而导致的误检。
在本实施例的另一方面，若第一相似度大于或等于第一阈值，或者第二相似度大于或等于第一阈值，确定第一帧与第二帧之间未发生场景切换，则正常编码P0的下一帧，不切换源编码视频的GOP(group of pictures，画面组)，并继续检测P0的下一帧。在视频编码中，GOP是一组编码视频流中的一组连续的画面，一个GOP由以下几种不同类型的帧组成：I帧(内部编码帧)，P帧(预测编码帧)，B帧(双向预测编码帧)，每一个GOP以I帧开头，GOP间隔通常指的是两个I帧之间的距离。在解码过程中，通过关键帧(I帧)即可完成画面解码。
在本实施例中，在第一帧至第二帧的图像帧集合中确定场景切换帧包括：
S21，根据第一帧和第二帧构建m个叠化帧，其中，m为大于0的整数；
在本实施例的一个实施方式中，根据第一帧和第二帧构建m个叠化帧包括：获取m个加权系数；基于m个加权系数分别逐像素加权融合第一帧和第二帧，得到m个叠化帧。可选的，m个加权系数按照预定步长依次递增。
本实施方式中叠化帧的生成方法为两帧图像融合，即逐像素加权融合。在一个示例中，若需生成三张叠化帧，m＝3，可将加权系数依次设为0.25,0.5,0.75。
图3是本发明实施例中场景帧融合叠化帧的示意图，5张图为从场景1到场景2的叠化转场过程，首尾2帧(第一张图和第五张图)分别为2个场景中的图像帧，中间3帧为第一张图和第五张图按照不同权重系数的叠化帧。
S22，计算Pi帧与第二帧的第三相似度，以及计算Pi帧分别与m个叠化帧的第四相似度，其中，Pi帧是第一帧至第二帧之间的任一图像帧；
在本实施例的一个实施方式中，计算Pi帧与第二帧的第三相似度，以及计算Pi帧分别与m个叠化帧的第四相似度，包括：以P2n-1为Pi的起始位置，P1为Pi的结束位置，迭代计算Pi帧与P2n帧的第三相似度，以及Pi帧与m个叠化帧的第四相似度，直到第三相似度和第四相似度满足预定条件，其中，P2n-1为第二帧的前一帧，P1为第一帧的后一帧。
在一个示例中，令i＝2n-1，从P2n-1帧起，计算Pi帧与原始序列中的P2n帧以及Pi帧与所有叠化帧(Pd1,...,Pdm)的相似度分别记为S’2n，S’d1，...，S’dm。若满足不预定条件，则认为第i帧与第P2n帧的相似度大于阈值T’且大于所有叠化帧，说明该帧是属于下一个场景中的帧，然后每次令i＝i-1，持续迭代，直至恰好对于第i帧满足预定条件。
S23，若第三相似度和第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，Pi+1帧是Pi帧之后的第一帧。
在本实施例的一个实施方式中，若第三相似度和第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，包括：比较第三相似度与第二阈值，以及比较第三相似度与第四相似度；若满足S'2n≤max(T',S'd1,...,S'dm)，将Pi+1帧确定为场景切换帧，其中，S'2n为第三相似度，T'为第二阈值，S'd1,...,S'dm分别对应m个叠化帧的第四相似度。
在实施方式中，直至迭代至恰好满足S'2n≤max(T',S'd1,...,S'dm)的第i帧，则认为第i帧为相关技术中情况③中的前一场景帧A3；或相关技术中情况④中的其他场景帧B1；或相关技术中情况⑤中的叠化帧BA。则判断第i+1帧为恰好完成场景切换的帧，最终实现在软件切换场景中的准确判定，避免场景切换帧的误检。
本实施例通过将场景切换时恰好切换到新场景的第一帧作为场景切换帧，原因是将其作为新GOP的第一帧，对后续帧的参考性最好，编码代价最低。若将转场过程中的过度帧或叠化帧作为场景切换，后续帧的参考性较差，会增大编码代价。
在本实施例中，比较两个图像帧的相似度(如P0帧与Pn帧的第一相似度，Pi帧与第二帧的第三相似度，Pi帧分别与m个叠化帧的第四相似度)所用的方法可以有很多，比如使用传统的判断场景切换的方法：帧内预测代价与帧间预测代价的比值；亦可直接计算两幅图的相关系数，或比较两幅图颜色直方图的相似度，或计算两幅图的PSNR(Peak Signal toNoise Ratio,峰值信噪比)/SSIM(Structural SIMilarity，结构相似性)指标，或用基于深度学习的CNN(Convolutional Neural Networks，卷积神经网络)方法来判断相似度等。
可选的，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧之后，还包括：在编码所述场景切换帧之前，切换所述源编码视频的画面组GOP，并将所述场景切换帧设置为所述GOP的内部编码帧(I帧)。
图4是本发明实施例的检测流程图，首先通过计算当前帧P0与其后间隔n帧的Pn以及间隔2n帧的P2n的相似度来判定是否发生了场景切换，即判别是相关技术中的情况①②还是③④⑤。若发生了场景切换，则用P0和P2n构建出若干叠化帧Pd，依次将P2n至P0之间的帧从后往前，分别与P2n，Pd，以及阈值比较，判断出恰好完成转场的帧Pz，将其判定为场景切换帧，并刷新GOP用I帧编码，具体包括如下步骤：
步骤1：检测是否发生了场景切换；
对于当前帧P0，检测P0与其之后的第n帧Pn的相似度Sn(其中n为预设值，如n＝5)：
若Sn≥T即相似度大于等于某阈值，即Pn帧与P0帧相似，则认为未发生场景切换(对应情况①)，直接检测P0的下一帧；
若Sn<T即相似度小于某阈值，即Pn帧与P0帧差异较大，则继续检测P0与其之后的第2n帧P2n的相似度S2n，若S2n≥T则认为从P0至P2n并未发生场景切换，只是中间Pn帧处短暂出现其他场景(对应场景②)；若S2n<T则认为从P0至P2n帧发生了场景切换(对应场景③④⑤)。
步骤2：判断恰好完成转场的帧；
若步骤1判定结果为发生了场景切换，则步骤2需检测恰好完成场景切换的帧。
(2.1)首先利用P0帧和P2n帧按不同比例构建m个叠化帧Pd1,...,Pdm，其中Pd1最接近P0帧，Pdm最接近P2n帧。(其中m为预设值，如m＝3)
(2.2)令i＝2n-1，即从P2n-1帧起，计算Pi帧与原始序列中的P2n帧以及Pi帧与所有叠化帧Pd1,...,Pdm的相似度分别记为S’2n，S’d1，...，S’dm。若满足S'2n>max(T',S'd1,...,S'dm)，则认为第i帧与第P2n帧的相似度大于阈值T’且大于所有叠化帧，说明该帧是属于下一个场景中的帧，排除该帧为情况④中的其他场景帧B或情况⑤中的叠化帧BA。
(2.3)每次令i＝i-1，直至恰好对于第i帧满足S'2n≤max(T',S'd1,...,S'dm)，则认为第i帧为情况③中的前一场景帧A3；或情况④中的其他场景帧B1；或情况⑤中的叠化帧BA。则判断第i+1帧为恰好完成场景切换的帧。
步骤3：依据场景切换帧刷新GOP，将该帧用I帧编码。
利用本实施例的方案，可以更准确的检测场景切换，尤其是在软转场时，可有效避免漏检和误检的发生，进一步提高编码效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种场景切换帧的检测装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的一种场景切换帧的检测装置的结构框图，应用在网站服务器，如图5所示，该装置包括：获取模块50，判断模块52，确定模块54，其中，
获取模块50，用于获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；
判断模块52，用于判断所述第一帧与所述第二帧之间是否发生场景切换；
确定模块54，用于若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。
可选的，所述判断模块包括：计算单元，用于计算P0帧与Pn帧的第一相似度，其中，所述第一帧为所述P0帧，所述第二帧为P2n帧，P2n帧是Pn帧之后的第n帧，n为大于0的整数；第一处理单元，用于若所述第一相似度小于第一阈值，计算所述P0帧与所述P2n帧的第二相似度；若所述第一相似度大于或等于第一阈值，确定所述第一帧与第二帧之间未发生场景切换；第二处理单元，用于若所述第二相似度小于所述第一阈值，确定所述第一帧与第二帧之间发生场景切换；若所述第二相似度大于或等于所述第一阈值，确定所述第一帧与第二帧之间未发生场景切换。
可选的，所述确定模块包括：构建单元，用于根据所述第一帧和所述第二帧构建m个叠化帧，其中，m为大于0的整数；计算单元，用于计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，其中，所述Pi帧是所述第一帧至所述第二帧之间的任一图像帧；确定单元，用于若所述第三相似度和所述第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，Pi+1帧是Pi帧之后的第一帧。
可选的，所述计算单元包括：计算子单元，用于以P2n-1为Pi的起始位置，P1为Pi的结束位置，迭代计算Pi帧与P2n帧的第三相似度，以及Pi帧与m个叠化帧的第四相似度，直到所述第三相似度和所述第四相似度满足所述预定条件，其中，所述P2n-1为所述第二帧的前一帧，所述P1为所述第一帧的后一帧。
可选的，所述构建单元包括：获取子单元，用于获取m个加权系数；融合子单元，用于基于所述m个加权系数分别逐像素加权融合所述第一帧和所述第二帧，得到m个叠化帧。
可选的，所述确定单元包括：比较子单元，用于比较所述第三相似度与第二阈值，以及比较所述第三相似度与所述第四相似度；确定子单元，用于若满足S'2n≤max(T',S'd1,...,S'dm)，将Pi+1帧确定为场景切换帧，其中，所述S'2n为所述第三相似度，T'为所述第二阈值，S'd1,...,S'dm分别对应所述m个叠化帧的第四相似度。
可选的，所述装置还包括：设置模块，用于在所述确定模块在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧之后，在编码所述场景切换帧之前，切换所述源编码视频的画面组GOP，并将所述场景切换帧设置为所述GOP的内部编码帧。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；
S2，判断所述第一帧与所述第二帧之间是否发生场景切换；
S3，若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；
S2，判断所述第一帧与所述第二帧之间是否发生场景切换；
S3，若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
图6是实施本发明实施例的一种电子设备的结构框图。如图6所示，包括处理器41和用于存储数据的存储器42，通过通信总线44连接，还包括与通信总线44连接的通信接口43，与其他部件或外部设备进行适配连接。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种场景切换帧的检测方法，其特征在于，包括：
获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；
判断所述第一帧与所述第二帧之间是否发生场景切换；
若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧；
其中，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧包括：获取m个加权系数；基于所述m个加权系数分别逐像素加权融合所述第一帧和所述第二帧，得到m个叠化帧，其中，m为大于0的整数；计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，其中，所述Pi帧是所述第一帧至所述第二帧之间的任一图像帧；若所述第三相似度和所述第四相似度满足预定条件，比较所述第三相似度与第二阈值，以及比较所述第三相似度与所述第四相似度；若满足，将Pi+1帧确定为场景切换帧，其中，所述/>为所述第三相似度，/>为所述第二阈值，/>分别对应所述m个叠化帧的第四相似度，Pi+1帧是Pi帧之后的第一帧。
2.根据权利要求1所述的方法，其特征在于，判断所述第一帧与所述第二帧之间是否发生场景切换包括：
计算P0帧与Pn帧的第一相似度，其中，所述第一帧为所述P0帧，所述第二帧为P2n帧，所述Pn帧是所述P0帧和所述P2n帧的中间帧，P2n帧是Pn帧之后的第n帧，n为大于0的整数；
若所述第一相似度小于第一阈值，计算所述P0帧与所述P2n帧的第二相似度；若所述第一相似度大于或等于第一阈值，确定所述第一帧与第二帧之间未发生场景切换；
若所述第二相似度小于所述第一阈值，确定所述第一帧与第二帧之间发生场景切换；若所述第二相似度大于或等于所述第一阈值，确定所述第一帧与第二帧之间未发生场景切换。
3.根据权利要求1所述的方法，其特征在于，计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，包括：
以P2n-1为Pi的起始位置，P1为Pi的结束位置，迭代计算Pi帧与P2n帧的第三相似度，以及Pi帧与m个叠化帧的第四相似度，直到所述第三相似度和所述第四相似度满足所述预定条件，其中，所述P2n-1为所述第二帧的前一帧，所述P1为所述第一帧的后一帧。
4.根据权利要求1所述的方法，其特征在于，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧之后，所述方法还包括：
在编码所述场景切换帧之前，切换所述源编码视频的画面组GOP，并将所述场景切换帧设置为所述GOP的内部编码帧。
5.一种场景切换帧的检测装置，其特征在于，包括：
获取模块，用于获取源编码视频的第一帧和第二帧，其中，所述第二帧是所述源编码视频在所述第一帧多个时序之后的图像帧；
判断模块，用于判断所述第一帧与所述第二帧之间是否发生场景切换；
确定模块，用于若所述第一帧与所述第二帧之间发生场景切换，在所述第一帧至所述第二帧的图像帧集合中确定场景切换帧；
其中，所述确定模块包括：构建单元，用于根据所述第一帧和所述第二帧构建m个叠化帧，其中，m为大于0的整数；计算单元，用于计算Pi帧与所述第二帧的第三相似度，以及计算所述Pi帧分别与所述m个叠化帧的第四相似度，其中，所述Pi帧是所述第一帧至所述第二帧之间的任一图像帧；确定单元，用于若所述第三相似度和所述第四相似度满足预定条件，将Pi+1帧确定为场景切换帧，Pi+1帧是Pi帧之后的第一帧；
其中，所述构建单元包括：获取子单元，用于获取m个加权系数；融合子单元，用于基于所述m个加权系数分别逐像素加权融合所述第一帧和所述第二帧，得到m个叠化帧；
其中，所述确定单元包括：比较子单元，用于比较所述第三相似度与第二阈值，以及比较所述第三相似度与所述第四相似度；确定子单元，用于若满足，将Pi+1帧确定为场景切换帧，其中，所述/>为所述第三相似度，/>为所述第二阈值，分别对应所述m个叠化帧的第四相似度。
6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至4中任一项所述的方法步骤。
7.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至4中任一项所述的方法步骤。
CN202011017961.5A 2020-09-24 2020-09-24 场景切换帧的检测方法及装置、存储介质、电子设备 Active CN112165621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011017961.5A CN112165621B (zh) 2020-09-24 2020-09-24 场景切换帧的检测方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011017961.5A CN112165621B (zh) 2020-09-24 2020-09-24 场景切换帧的检测方法及装置、存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN112165621A CN112165621A (zh) 2021-01-01
CN112165621B true CN112165621B (zh) 2024-01-19

Family

ID=73862820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011017961.5A Active CN112165621B (zh) 2020-09-24 2020-09-24 场景切换帧的检测方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN112165621B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022247066A1 (en) * 2021-05-22 2022-12-01 Qualcomm Incorporated High dynamic range scene cut detection
CN113627534A (zh) * 2021-08-11 2021-11-09 百度在线网络技术（北京）有限公司 识别动态图像的类型的方法、装置及电子设备
CN113672188A (zh) * 2021-08-26 2021-11-19 广东瑞德智能科技股份有限公司 基于低端mcu的oled屏高效显示方法和家用电器
CN115439482B (zh) * 2022-11-09 2023-04-07 荣耀终端有限公司 转场检测方法及其相关设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449392B1 (en) * 1999-01-14 2002-09-10 Mitsubishi Electric Research Laboratories, Inc. Methods of scene change detection and fade detection for indexing of video sequences
JP2003333601A (ja) * 2002-05-16 2003-11-21 Mitsubishi Electric Corp シーン変化検出回路
JP2004128872A (ja) * 2002-10-02 2004-04-22 Canon Inc 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
CN101494726A (zh) * 2008-01-25 2009-07-29 索尼株式会社 场景切换点检测器、记录和重现装置、事件生成器和方法
JP2010016660A (ja) * 2008-07-04 2010-01-21 Sony Corp シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム
JP2010141764A (ja) * 2008-12-15 2010-06-24 Victor Co Of Japan Ltd 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
CN101909511A (zh) * 2008-01-09 2010-12-08 奥林巴斯株式会社 场景变化检测装置以及场景变化检测程序
CN104270553A (zh) * 2014-09-28 2015-01-07 北京奇艺世纪科技有限公司 一种视频场景切换检测方法及装置
CN106937114A (zh) * 2015-12-30 2017-07-07 株式会社日立制作所 用于对视频场景切换进行检测的方法和装置
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术（北京）有限公司 视频场景切换检测方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010831A (ja) * 2007-06-29 2009-01-15 Toshiba Corp 画像解析装置および画像解析方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6449392B1 (en) * 1999-01-14 2002-09-10 Mitsubishi Electric Research Laboratories, Inc. Methods of scene change detection and fade detection for indexing of video sequences
JP2003333601A (ja) * 2002-05-16 2003-11-21 Mitsubishi Electric Corp シーン変化検出回路
JP2004128872A (ja) * 2002-10-02 2004-04-22 Canon Inc 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
CN101072342A (zh) * 2006-07-01 2007-11-14 腾讯科技（深圳）有限公司 一种场景切换的检测方法及其检测系统
CN101909511A (zh) * 2008-01-09 2010-12-08 奥林巴斯株式会社 场景变化检测装置以及场景变化检测程序
CN101494726A (zh) * 2008-01-25 2009-07-29 索尼株式会社 场景切换点检测器、记录和重现装置、事件生成器和方法
JP2010016660A (ja) * 2008-07-04 2010-01-21 Sony Corp シーンチェンジ検出装置、シーンチェンジ検出方法およびプログラム
JP2010141764A (ja) * 2008-12-15 2010-06-24 Victor Co Of Japan Ltd 撮像装置、撮像方法、画像信号再生装置および画像信号再生方法
CN104270553A (zh) * 2014-09-28 2015-01-07 北京奇艺世纪科技有限公司 一种视频场景切换检测方法及装置
CN106937114A (zh) * 2015-12-30 2017-07-07 株式会社日立制作所 用于对视频场景切换进行检测的方法和装置
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术（北京）有限公司 视频场景切换检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Rupesh Kumar,et al.Cut scene change detection using spatio temporal video frame.《IEEE》.2016,全文. *
基于SVC的场景切换检测及码率控制研究;金星;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;全文 *

Also Published As

Publication number Publication date
CN112165621A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112165621B (zh) 场景切换帧的检测方法及装置、存储介质、电子设备
US9936208B1 (en) Adaptive power and quality control for video encoders on mobile devices
CN112312231B (zh) 一种视频图像编码方法、装置、电子设备及介质
WO2019179283A1 (zh) 图像识别方法及装置
CN108073890A (zh) 视频序列中的动作识别
WO2011140783A1 (zh) 一种实现视频预览和检索的方法及移动终端
CN105049728A (zh) 一种拍摄图像的获取方法和装置
CN103517072A (zh) 视频通信方法和设备
US20230171410A1 (en) Method for coding a video based on a long-term reference frame, device, and storage medium
CN113271464B (zh) 视频编码方法、解码方法及相关装置
US20050089232A1 (en) Method of video compression that accommodates scene changes
CN114157870A (zh) 编码方法、介质及电子设备
CN113196742B (zh) 计算机实现的方法、系统和计算机可读介质
CN103475877A (zh) 视频传输方法和系统
CN111447451A (zh) 图像编码、解码方法及装置
US10880562B2 (en) Image processing method and camera thereof
CN113014905B (zh) 图像帧的生成方法及装置、存储介质、电子设备
EP2890124A1 (en) Coding method and device applied to hevc-based 3dvc
CN102510427B (zh) 一种低网络带宽手机实时在线传输的方法
CN109862315B (zh) 视频处理方法、相关设备及计算机存储介质
CN105847822A (zh) 一种视频解码方法及装置
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器
US20080095243A1 (en) H.264 decoding method and device for detection of NAL-unit error
WO2024067176A1 (zh) 车位检测处理方法、装置、存储介质及电子装置
JP7303930B1 (ja) 画像処理方法、装置、電子機器および読み取り可能な記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant