CN117197707A - 切变镜头的分割方法和装置、存储介质及电子设备 - Google Patents
切变镜头的分割方法和装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117197707A CN117197707A CN202310441705.6A CN202310441705A CN117197707A CN 117197707 A CN117197707 A CN 117197707A CN 202310441705 A CN202310441705 A CN 202310441705A CN 117197707 A CN117197707 A CN 117197707A
- Authority
- CN
- China
- Prior art keywords
- frame
- difference rate
- sequence
- determining
- characteristic difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 230000035772 mutation Effects 0.000 claims abstract description 16
- 238000013450 outlier detection Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 101100030351 Schizosaccharomyces pombe (strain 972 / ATCC 24843) dis2 gene Proteins 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 238000007667 floating Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种切变镜头的分割方法和装置、存储介质及电子设备。其中，该方法包括：提取待检测视频帧序列中每帧图像的图像特征，得到视频帧特征序列；基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列；确定所述帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。本发明解决了相关技术中对于视频的切变镜头检测与分割的准确度与效率较低的技术问题。
Description
技术领域
本发明涉及视频处理技术领域，具体而言，涉及一种切变镜头的分割方法和装置、存储介质及电子设备。
背景技术
随着信息传播工具的迅速发展，视频逐渐成为人们日常生活中获取信息的一个主要途径，如何对这些视频进行有效的处理和分析已经成为互联网应用的一个重要问题。为了对视频内容进行有效的处理和分析，需要将视频分割为一个个基本单元，通常认为视频的基本组成单元是镜头，镜头是指摄影机在一次开机到停机之间所拍摄的连续画面片断，是视频构成的基本单位，因此镜头分割是视频分析和处理过程中的首要任务。
一个视频中根据镜头之间的变化的视觉特点可分为切变 (Cut)、溶变(Dissolve)、淡出淡入(FOI)和扫变(Wipe)等方式。而在视频中往往会出现物体移动、镜头移动和光线变化等情况，这些因素具有与镜头切换相似的特征，会影响到镜头分割的准确率。
发明内容
本发明实施例提供了一种切变镜头的分割方法和装置、存储介质及电子设备，以至少解决相关技术中切变镜头检测和分割时出现的时效性差且准确率低的技术问题。
根据本发明实施例的一个方面，提供了一种切变镜头的分割方法，包括：提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列；确定所述帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
根据本发明实施例的另一方面，还提供了一种切变镜头的分割装置，包括：提取单元，用于提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；确定单元，用于基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列；切变镜头检测单元，用于确定所述帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；切变镜头分割单元，用于根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的切变镜头的分割方法。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述切变镜头的分割方法。
本申请实施例提供的技术方案可以包括以下有益效果：
本申请实施例提供的切变镜头的分割方法，得到待检测的视频帧序列之后，可以确定视频帧序列中相邻视频帧之间的帧特征差异率，根据相邻视频帧之间的帧特征差异率，确定发生帧特征差异率突变的目标相邻视频帧，在检测到特征差异率突变时，确定待检测视频存在切变镜头。并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。该方法计算简单，极少浮点运算，因此大大提升了镜头分割算法的处理速度，且基于提取的特征差异率确定分割帧，也提升了镜头分割算法的准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的切变镜头的分割方法的应用环境的示意图；
图2是根据本发明实施例的另一种可选的切变镜头的分割方法的应用环境的示意图；
图3是根据本发明实施例的一种可选的切变镜头的分割方法的流程图；
图4是根据本发明实施例的一种可选的提取帧特征差异率序列的示意图；
图5是根据本发明实施例的一种可选的帧特征差异率突变的示意图；
图6是根据本发明实施例的一种邻域和/>的示意图；
图7是根据本发明实施例的一种镜头内容的示意图；
图8是根据本发明实施例的一种可选的切变镜头的分割装置的结构示意图；
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面，提供了一种切变镜头的分割方法，作为一种可选地实施方式，上述切变镜头的分割方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有切变镜头的分割应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于显示待检测的视频帧序列；处理器1024用于获取待检测的视频帧序列。存储器1026用于存储上述待检测的视频帧序列。
此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述待检测的视频帧序列。处理引擎1064用于：提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列；确定帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；根据目标帧特征差异率确定对应的目标相邻视频帧，并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
在一个或多个实施例中，本申请上述切变镜头的分割方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，分割切变镜头。
可选地，上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机，车载电子设备，可穿戴设备等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。
目前，现有技术中的镜头分割方法，计算复杂，需要运用大量的浮点运算，因此，视频处理的效率非常低，难以满足对海量视频快速进行镜头分割的时效性要求。且现有技术中都是通过固定阈值进行切变镜头的判断，而不是根据图像的前后内容动态进行判断，方法准确率低。
基于此，本申请实施例提供了一种切变镜头的分割方法，无需进行训练，且仅计算特征的标准差和数学期望，极少浮点运算，处理速率非常高，一秒钟可处理9万帧图像，且基于视频帧之间的UniformLBP特征进行差异率分析，可以大大提高镜头分割的准确率，同时满足时效性和准确率的要求，经试验验证，分割准确率达到98%以上。下面结合附图3对本申请实施例的切变镜头的分割方法进行详细介绍，如图3所示，该方法主要包括如下步骤：
S301、提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列。
在一个实施例中，首先读取待检测的视频文件，对视频文件中的视频数据进行解码，得到视频帧序列，对解码后的视频帧序列进行色彩空间转换，将视频帧转换到同一个色彩空间进行处理，本申请实施例可以将视频帧转换到YUV420P色彩空间。得到待检测的视频帧序列。
进一步地，提取待检测的视频帧序列中每帧图像的图像特征，图像特征包括UniformLBP特征。具体地，根据视频帧序列中每帧图像的图像数据计算UniformLBP特征，得到每帧图像的UniformLBP特征矩阵ULBPM；基于ULBPM特征矩阵获取每帧图像对应的特征矩阵的模modULBPM，将ULBPM和modULBPM作为每帧图像的UniformLBP特征数据；将视频帧序列的每帧图像的UniformLBP特征数据组成视频帧特征序列。
如图6所示，对图像像素提取3×3邻域特征作为低八位特征（，距离为1，特征点数为8），提取5×5邻域特征作为高八位特征（/>，距离为2，特征点数为8）。可以获取和/>的特征数据，从而得了该像素点的十六位特征数据（/>），对YUV分量中所有像素计算/>特征得到YUV3个分量的/>特征矩阵。
基于公式（1）获取图像每个像素点的每个邻域和/>的特征值；
(1)
其中，c为中心像素，i为邻域内的特征点，pixel为像素值；
基于邻域特征值获取图像对应的预设位数的LBP特征，进而得到Uniform LBP特征；计算图像在YUV分量中所有像素对应的Uniform LBP特征，得到YUV分量下的特征矩阵。
根据如下公式（2）确定特征矩阵的模。
其中，i为YUV分量，wi和hi为分量下的宽高，为像素点的横纵坐标，m和n均为非负整数，/>为/>像素坐标点在v维度下的特征值，/>。
具体的，LBP特征是基于像素点及其在3×3邻域或5×5邻域选取的像素点的像素值计算的，可知本申请中选取的特征点本身就是像素点，像素值即为特征点的像素值，能准确表征图像特征。其中无浮点运算，因此计算量小，同时本申请使用半径为1和2的两组方邻域LBP特征共同来表示像素点的特征，弥补了精度上损失，使得特征的精度更高。
可选地，提取图像特征时，也可以提取图像的直方图特征、SIFT特征、HOG特征或HAAR特征等，根据提取的特征来计算相邻帧的特征差异率。本申请对提取的特征不做限定。
S302基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列。
在一个实施例中，基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列，包括：
根据公式（5）在视频帧特征序列中顺序计算相邻视频帧之间的UniformLBP特征差异率，基于得到的每个UniformLBP特征差异率组成帧特征差异率序列；
其中，为视频帧序列中除尾帧外的任意一帧，/>的函数值即为帧特征差异率，/>为/>的函数表达式；
根据公式（6）确定的函数表达式；
其中，为大小相同的两幅图像，/>和/>分别为/>和/>的UniformLBP特征矩阵的模，/>函数用于计算/>的特征差异值，/>函数用于计算/>两幅图像的帧特征差异率；
和/>作为分母时为非零数值，若且/>，则/>。
图4是根据本发明实施例的一种可选的提取帧特征差异率序列的示意图，如图4所示，首先对待处理的视频进行解帧，得到帧序列，然后提取帧序列中每帧图像的特征数据，得到得到视频帧特征序列，最后确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列。
S303确定帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率。
如图5所示，当视频镜头为切变镜头时，镜头内的帧特征差异序列的变化是稳定连续的，不存在突变，而在镜头的边界上产生突变。根据这种特性，计算连续n帧的图像的特征差异率，得到连续n帧特征差异率的标准差和数据期望/>，根据预设的离群值检测算法检测镜头是否发生切变。其中，预设的离群值检测算法包括三西格玛原则，基于三西格玛原则，根据连续多个帧特征差异率对应的标准差和数据期望值，确定发生帧特征差异率突变的目标帧特征差异率。
具体地，对于帧特征差异率序列中每个帧特征差异率，顺序执行如下操作：判断当前帧特征差异率是否满足预设确定条件，预设确定条件包括：从当前帧特征差异率的前一帧特征差异率开始，当前帧特征差异率之前存在连续n个帧特征差异率，且该连续n个帧特征差异率均不是目标帧特征差异率，且从当前帧特征差异率的后一个帧特征差异率开始，当前帧特征差异率之后存在连续n个帧特征差异率。
若满足预设确定条件，则确定当前帧特征差异率为待测帧特征差异率；若不满足预设确定条件，确定当前帧特征差异率不是待测帧特征差异率。
进一步地，在确定当前帧特征差异率为待测帧特征差异率的情况下，从当前帧特征差异率的前一帧特征差异率开始，确定当前帧特征差异率前连续n个帧特征差异率的第一数学期望和第一标准差，计算当前帧特征差异率与第一数学期望的差值的第一绝对值，若第一绝对值小于三倍第一标准差，则确定当前帧特征差异率不是目标帧特征差异率。其中，n是预设参数，为大于2的正整数。
若第一绝对值大于等于三倍第一标准差，则再从当前帧特征差异率的后一帧特征差异率开始，确定当前帧特征差异率后连续n个帧特征差异率的第二数学期望和第二标准差，计算当前帧特征差异率与第二数学期望的差值的第二绝对值，若第二绝对值大于或等于三倍第二标准差，则确定当前帧特征差异率为目标帧特征差异率。若第二绝对值小于三倍第二标准差，则确定当前帧特征差异率不是目标帧特征差异率。
其中，确定第一数学期望、第一标准差，第二数学期望和第二标准差，包括：
根据公式（1）确定第一数学期望，根据公式（2）确定第一标准差/>；
根据公式（3）确定第二数学期望Edis2，根据公式（4）确定第二标准差Ddis2；
上述公式（1）至（4）中，k为待检测帧特征差异率在帧特征差异率序列中的序号，Dis为帧特征差异率函数。
根据该步骤，可以快速准确的找到发生突变的目标帧特征差异率。当检测到视频帧序列中存在突变的目标帧特征差异率时，说明视频中存在切变镜头。可以对视频中的切变镜头进行检测。
S304根据目标帧特征差异率确定对应的目标相邻视频帧，并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
在一个实施例中，当帧特征差异率序列中第k帧特征差异率为目标帧特征差异率时，确定视频帧序列中的第k帧和第k+1帧为目标相邻视频帧。将第k帧和k+1帧作为切变镜头的边界帧，第k帧为前一切变镜头的最后一帧，第k+1帧为后一切变镜头的第一帧，视频帧序列在k+1帧处发生了切变。
如图7所示，从左数第四帧为前一切变镜头的最后一帧，第五帧为后一切变镜头的第一帧，视频帧序列在第五帧处发生了切变，从第五帧开始为下一个镜头的内容。
在一个可选地实施例中，还包括确定待检测的视频帧序列中每个切变镜头的边界帧；根据边界帧将待检测的视频帧序列分为不同的子视频帧序列，每个子视频帧序列对应一个切变镜头，从而得到了待检测视频的切变镜头序列。
本申请实施例提供的切变镜头的分割方法，无需进行训练，且仅计算特征的标准差和数学期望，极少浮点运算，处理速率非常高，一秒钟可处理9万帧图像，且基于视频帧之间的UniformLBP特征进行差异率分析，可以大大提高镜头分割的准确率，同时满足时效性和准确率的要求，经试验验证，分割准确率达到98%以上。
根据本发明实施例的另一个方面，还提供了一种用于实施上述切变镜头的分割方法的切变镜头的分割装置。如图8所示，该装置包括：提取单元801、确定单元802、切变镜头检测单元803、切变镜头分割单元804。
提取单元801，用于提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；
确定单元802，用于基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列；
切变镜头检测单元803，用于确定帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；
切变镜头分割单元804，用于根据目标帧特征差异率确定对应的目标相邻视频帧，并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
需要说明的是，上述实施例提供的切变镜头的分割装置在执行切变镜头的分割方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的切变镜头的分割装置与切变镜头的分割方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
根据本发明实施例的又一个方面，还提供了一种用于实施上述切变镜头的分割方法的电子设备，该电子设备可以是图9所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图9所示，该电子设备包括存储器905和处理器903，该存储器905中存储有计算机程序，该处理器903被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列；确定帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；根据目标帧特征差异率确定对应的目标相邻视频帧，并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。
其中，存储器905可用于存储软件程序以及模块，如本发明实施例中的切变镜头的分割方法和装置对应的程序指令/模块，处理器903通过运行存储在存储器905内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的切变镜头的分割方法。存储器905可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器905可进一步包括相对于处理器903远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器905具体可以但不限于用于存储视频帧等信息。作为一种示例，如图9所示，上述存储器905中可以但不限于包括上述切变镜头的分割装置中的提取单元801、确定单元802、切变镜头检测单元803、切变镜头分割单元804。此外，还可以包括但不限于上述切变镜头的分割装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置904用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置904包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置904为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器901，用于显示上述视频帧；和连接总线902，用于连接上述电子设备中的各个模块部件。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述视频切变镜头的分割方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；基于视频帧特征序列，确定视频帧序列中相邻视频帧之间的帧特征差异率，得到视频帧序列对应的帧特征差异率序列；确定帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；根据目标帧特征差异率确定对应的目标相邻视频帧，并将目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种切变镜头的分割方法，其特征在于，包括：
提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；
基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列；
确定所述帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；
根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
2.根据权利要求1所述的方法，其特征在于，所述预设的离群值检测算法包括三西格玛原则，所述基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率，包括：
基于三西格玛原则，根据连续多个帧特征差异率对应的标准差和数据期望值，确定发生帧特征差异率突变的目标帧特征差异率。
3.根据权利要求2所述的方法，其特征在于，所述基于三西格玛原则，根据连续多个帧特征差异率对应的标准差和数据期望值，确定发生帧特征差异率突变的目标帧特征差异率，包括：
对于所述帧特征差异率序列中每个帧特征差异率，顺序执行如下操作：判断当前帧特征差异率是否满足预设确定条件，所述预设确定条件包括：从所述当前帧特征差异率的前一帧特征差异率开始，所述当前帧特征差异率之前存在连续n个帧特征差异率，且该连续n个帧特征差异率均不是目标帧特征差异率，且从所述当前帧特征差异率的后一个帧特征差异率开始，所述当前帧特征差异率之后存在连续n个帧特征差异率；
若满足，则确定当前帧特征差异率为待测帧特征差异率；若否，确定当前帧特征差异率不是待测帧特征差异率；
在确定所述当前帧特征差异率为待测帧特征差异率的情况下，从所述当前帧特征差异率的前一帧特征差异率开始，确定所述当前帧特征差异率前连续n个帧特征差异率的第一数学期望和第一标准差，计算所述当前帧特征差异率与所述第一数学期望的差值的第一绝对值，若所述第一绝对值小于三倍所述第一标准差，则确定所述当前帧特征差异率不是所述目标帧特征差异率；其中，所述n是预设参数，为大于2的正整数；
若所述第一绝对值大于等于三倍所述第一标准差，则从所述当前帧特征差异率的后一帧特征差异率开始，所述确定当前帧特征差异率后连续n个帧特征差异率的第二数学期望和第二标准差，计算所述当前帧特征差异率与所述第二数学期望的差值的第二绝对值，若所述第二绝对值大于或等于三倍所述第二标准差，则确定所述当前帧特征差异率为所述目标帧特征差异率。
4.根据权利要求3所述的方法，其特征在于，确定所述第一数学期望、第一标准差，所述第二数学期望和第二标准差，包括：
根据公式（1）确定第一数学期望Edis1，根据公式（2）确定第一标准差Ddis1；
根据公式（3）确定第二数学期望Edis2，根据公式（4）确定第二标准差Ddis2；
上述公式（1）至（4）中，所述k为待检测帧特征差异率在帧特征差异率序列中的序号，Dis为帧特征差异率函数。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧，包括：
当帧特征差异率序列中第k帧特征差异率为所述目标帧特征差异率时，确定所述视频帧序列中的第k帧和第k+1帧为所述目标相邻视频帧；
将所述第k帧和k+1帧作为切变镜头的边界帧，所述第k帧为前一切变镜头的最后一帧，所述第k+1帧为后一切变镜头的第一帧，视频帧序列在k+1帧处发生了切变。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待检测的视频帧序列中每个切变镜头的边界帧；
根据所述边界帧将所述待检测的视频帧序列分为不同的子视频帧序列，每个子视频帧序列对应一个切变镜头，从而得到了待检测视频的切变镜头序列。
7.根据权利要求1所述的方法，其特征在于，所述图像特征包括UniformLBP特征，所述提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列，包括：
根据所述视频帧序列中每帧图像的图像数据计算UniformLBP特征，得到每帧图像的UniformLBP特征矩阵；
基于所述获取所述每帧图像对应的特征矩阵的模/>，将所述和/>作为每帧图像的UniformLBP特征数据；
将所述视频帧序列的每帧图像的UniformLBP特征数据组成所述视频帧特征序列。
8.根据权利要求7所述的方法，其特征在于，所述基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列，包括：
根据公式（5）在所述视频帧特征序列中顺序计算相邻视频帧之间的UniformLBP特征差异率，基于得到的每个UniformLBP特征差异率组成所述帧特征差异率序列；
其中，为视频帧序列中除尾帧外的任意一帧，/>的函数值即为帧特征差异率，为/>的函数表达式；根据公式（6）确定所述/>的函数表达式；
其中，为大小相同的两幅图像，/>和/>分别为/>和的UniformLBP特征矩阵的模，/>函数用于计算/>的特征差异值，/>函数用于计算两幅图像的帧特征差异率；
所述和/>作为分母时为非零数值，若且/>，则/>。
9.根据权利要求1所述的方法，其特征在于，所述提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列之前，包括：
读取待检测的视频文件，对视频文件中的视频数据进行解码和色彩空间转换，得到所述待检测的视频帧序列。
10.一种切变镜头的分割装置，其特征在于，包括：
提取单元，用于提取待检测的视频帧序列中每帧图像的图像特征，得到视频帧特征序列；
确定单元，用于基于所述视频帧特征序列，确定所述视频帧序列中相邻视频帧之间的帧特征差异率，得到所述视频帧序列对应的帧特征差异率序列；
切变镜头检测单元，用于确定所述帧特征差异率序列中连续多个帧特征差异率对应的标准差和数据期望值，并基于预设的离群值检测算法确定发生帧特征差异率突变的目标帧特征差异率；
切变镜头分割单元，用于根据所述目标帧特征差异率确定对应的目标相邻视频帧，并将所述目标相邻视频帧中的两帧图像作为相邻两切变镜头的边界帧。
11.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
12.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至9任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310441705.6A CN117197707A (zh) | 2023-04-23 | 2023-04-23 | 切变镜头的分割方法和装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310441705.6A CN117197707A (zh) | 2023-04-23 | 2023-04-23 | 切变镜头的分割方法和装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197707A true CN117197707A (zh) | 2023-12-08 |
Family
ID=89002304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310441705.6A Pending CN117197707A (zh) | 2023-04-23 | 2023-04-23 | 切变镜头的分割方法和装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197707A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800095A (zh) * | 2012-07-17 | 2012-11-28 | 南京特雷多信息科技有限公司 | 一种镜头边界检测方法 |
| US20160217338A1 (en) * | 2015-01-26 | 2016-07-28 | Alibaba Group Holding Limited | Method and device for face in-vivo detection |
| CN110826365A (zh) * | 2018-08-09 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 一种视频指纹生成方法和装置 |
| CN114708287A (zh) * | 2020-12-16 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 一种镜头边界检测方法、设备及存储介质 |
-
2023
- 2023-04-23 CN CN202310441705.6A patent/CN117197707A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102800095A (zh) * | 2012-07-17 | 2012-11-28 | 南京特雷多信息科技有限公司 | 一种镜头边界检测方法 |
| US20160217338A1 (en) * | 2015-01-26 | 2016-07-28 | Alibaba Group Holding Limited | Method and device for face in-vivo detection |
| CN110826365A (zh) * | 2018-08-09 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 一种视频指纹生成方法和装置 |
| CN114708287A (zh) * | 2020-12-16 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 一种镜头边界检测方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 黄菊;: "基于直方图的微视频镜头边界检测方法的研究", 信息通信, no. 12, 15 December 2016 (2016-12-15), pages 76 - 78 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020516188A (ja) | 顔画像重複削除方法及び装置、電子機器、記憶媒体、プログラム | |
| CN116188821B (zh) | 版权检测方法、系统、电子设备和存储介质 | |
| CN111260037B (zh) | 图像数据的卷积运算方法、装置、电子设备及存储介质 | |
| CN110149551B (zh) | 媒体文件播放方法和装置、存储介质及电子装置 | |
| CN107295352B (zh) | 一种视频压缩方法、装置、设备及存储介质 | |
| KR20170057362A (ko) | 훈련 품질 척도를 이용한 비감독 이미지 세그먼트 분할을 위한 방법 및 시스템 | |
| CN116188822B (zh) | 图像相似性判断方法、装置、电子设备和存储介质 | |
| CN107272899B (zh) | 一种基于动态手势的vr交互方法、装置及电子设备 | |
| CN116188805A (zh) | 海量图像的图像内容分析方法、装置和图像信息网络 | |
| CN112929695A (zh) | 视频去重方法、装置、电子设备和存储介质 | |
| CN116168045B (zh) | 扫变镜头的分割方法和系统、存储介质及电子设备 | |
| CN113076159B (zh) | 图像显示方法和装置、存储介质及电子设备 | |
| CN112966687B (zh) | 图像分割模型训练方法、装置及通信设备 | |
| CN113918763A (zh) | 视频封面的推荐、生成方法、装置、设备及存储介质 | |
| CN109145879B (zh) | 一种打印字体识别的方法、设备及存储介质 | |
| CN117197707A (zh) | 切变镜头的分割方法和装置、存储介质及电子设备 | |
| KR102444172B1 (ko) | 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템 | |
| KR101526490B1 (ko) | 클라우드 컴퓨팅에서의 효율적 자원관리를 위한 시각 데이터 가공장치 및 그 방법 | |
| CN108475430A (zh) | 图片质量评估方法及装置 | |
| CN117197706B (zh) | 渐出渐入镜头的分割方法和系统、存储介质及电子设备 | |
| CN112306243A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN113064689A (zh) | 场景识别方法和装置、存储介质及电子设备 | |
| CN111611843A (zh) | 人脸检测预处理方法、装置、设备和存储介质 | |
| CN117177004B (zh) | 内容帧的提取方法、装置、设备及存储介质 | |
| CN116152530B (zh) | 图像差异的确定方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |