CN112785606B - 一种镜头分割方法、装置、电子设备和计算机可读介质 - Google Patents
一种镜头分割方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112785606B CN112785606B CN202110106189.2A CN202110106189A CN112785606B CN 112785606 B CN112785606 B CN 112785606B CN 202110106189 A CN202110106189 A CN 202110106189A CN 112785606 B CN112785606 B CN 112785606B
- Authority
- CN
- China
- Prior art keywords
- shot
- similarity
- frames
- frame
- split
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种镜头分割方法、装置、电子设备和计算机可读介质，属于镜头分割技术领域。所述方法包括：获取目标视频的多个分割镜头，其中，每个所述分割镜头中包含多个镜头帧；确定每个所述分割镜头中的第一镜头帧；在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将所述第一分割镜头、所述第二分割镜头和所述第一分割镜头与所述第二分割镜头之间的分割镜头进行合并，其中，所述第一分割镜头和所述第二分割镜头之间的镜头间隔数小于目标阈值。本申请提高镜头分割的准确性。
Description
技术领域
本申请涉及镜头技术领域，尤其涉及一种镜头分割方法、装置、电子设备和计算机可读介质。
背景技术
一个镜头指的是摄像机在一次开机到关机时间内连续拍摄的一组内在相关的镜头帧序列，一段视频会包含多个视频镜头，视频镜头分割是许多视频处理应用的重要的步骤之一，从本世纪初开始就得到广泛的研究，并取得了丰富的研究成果。镜头分割目的在于正确检测并分割出镜头的边界。
由于视频镜头变换十分复杂，目前镜头分割采用的方法一般包括基于帧差、基于直方图差分和三维卷积神经网络，但这些方法均容易产生镜头边界的过分割，比如一段视频本应拆分为10个镜头，却被拆分为20个镜头，这导致镜头分割不准确。
发明内容
本申请实施例的目的在于提供一种镜头分割方法、装置、电子设备和计算机可读介质，以解决镜头分割不准确的问题。具体技术方案如下：
第一方面，提供了一种镜头分割方法，所述方法包括：
获取目标视频的多个分割镜头，其中，每个所述分割镜头中包含多个镜头帧；
确定每个所述分割镜头中的第一镜头帧，其中，所述第一镜头帧与所述分割镜头中第二镜头帧的相似度大于相似度阈值，所述第二镜头帧为所述分割镜头中除所述第一镜头帧之外的镜头帧；
在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将所述第一分割镜头、所述第二分割镜头和所述第一分割镜头与所述第二分割镜头之间的分割镜头进行合并，其中，所述第一分割镜头和所述第二分割镜头之间的镜头间隔数小于目标阈值。
可选地，所述确定每个所述分割镜头中的第一镜头帧包括：
遍历一个分割镜头中的全部镜头帧，得到各镜头帧与所述分割镜头中其他镜头帧的相似度；
确定所述镜头帧的匹配度，其中，所述匹配度为所述分割镜头中与所述镜头帧的相似度大于相似度阈值的其他镜头帧的数量；
从多个镜头帧中选取相似度大于所述相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
可选地，所述第一镜头帧的数量为多个，所述从多个镜头帧中选取相似度大于所述相似度阈值、且匹配度大于预设匹配值的第一镜头帧包括：
从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧后，降低当前相似度阈值，并将第一镜头帧的数量加一；
重复执行从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧的步骤，直至选取出的第一镜头帧的数量达到预设数量值。
可选地，从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧包括：
从多个镜头帧中查找相似度大于第一相似度阈值、且匹配度大于预设匹配值的第一镜头帧；
在查找失败的情况下，确定第二相似度阈值，其中，所述第二相似度阈值低于所述第一相似度阈值；
从多个镜头帧中选取相似度大于所述第二相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
可选地，所述遍历一个分割镜头中的全部镜头帧，得到各镜头帧与所述分割镜头中其他镜头帧的相似度包括：
遍历一个分割镜头中的全部镜头帧，并根据每个所述镜头帧生成一个直方图，其中，所述直方图的横坐标为所述镜头帧的颜色区间，所述直方图的纵坐标为所述颜色区间中的像素数量；
确定两个直方图的相同颜色区间中像素数量的差值；
在所述差值小于差值阈值的情况下，确定所述两个直方图表示的两个镜头帧之间具有相似度。
可选地，所述第一镜头帧的数量为多个，在确定每个所述分割镜头中的第一镜头帧之后，所述方法还包括：
在所述分割镜头的镜头帧数量小于预设数量的情况下，确定所述分割镜头为目标分割镜头，并确定所述目标分割镜头中全部第一镜头帧的相似度；
确定所述目标分割镜头中各所述第一镜头帧的平均相似度；
在所述平均相似度大于第二预设阈值的情况下，将所述目标分割镜头与邻近镜头进行合并，其中，所述邻近镜头为所述目标分割镜头的前一个分割镜头或后一个分割镜头。
可选地，所述获取目标视频的多个分割镜头包括：
将所述目标视频输入目标分割模型，得到所述目标分割模型输出的所述目标视频的多个分割镜头。
第二方面，提供了一种镜头分割装置，所述装置包括：
获取模块，用于获取目标视频的多个分割镜头，其中，每个所述分割镜头中包含多个镜头帧；
确定模块，用于确定每个所述分割镜头中的第一镜头帧，其中，所述第一镜头帧与所述分割镜头中第二镜头帧的相似度大于相似度阈值，所述第二镜头帧为所述分割镜头中除所述第一镜头帧之外的镜头帧；
合并模块，用于在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将所述第一分割镜头、所述第二分割镜头和所述第一分割镜头与所述第二分割镜头之间的分割镜头进行合并，其中，所述第一分割镜头和所述第二分割镜头之间的镜头间隔数小于目标阈值。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现任一所述的方法步骤。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的方法步骤。
本申请实施例有益效果：
本申请实施例提供了一种镜头分割方法，服务器在目标分割模型输出的分割镜头的基础上，根据分割镜头之间的第一镜头帧的相似性，合并相似的分割镜头，避免镜头分割过度，降低误检率，提高镜头分割的准确性。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种镜头分割方法硬件环境示意图；
图2为本申请实施例提供的一种镜头分割的方法流程图；
图3为本申请实施例提供的确定第一镜头帧的方法流程图；
图4为本申请实施例提供的一种镜头分割装置的结构示意图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种镜头分割方法的实施例。
可选地，在本申请实施例中，上述镜头分割方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于PC、手机、平板电脑等。
本申请实施例中的一种镜头分割方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行。
本申请实施例提供了一种镜头分割方法，可以应用于服务器，用于将视频的镜头进行分割，提高镜头分割的准确性。
下面将结合具体实施方式，对本申请实施例提供的一种镜头分割方法进行详细的说明，如图2所示，具体步骤如下：
步骤201：获取目标视频的多个分割镜头。
其中，每个分割镜头中包含多个镜头帧。
目标视频是由多个分割镜头组成的，在需要对目标视频进行处理时需要重新将目标视频分割成多个镜头，但容易出现过分割的情况。在本申请实施例中，服务器获取目标视频，然后将目标视频输入目标分割模型，得到目标分割模型输出的目标视频的多个分割镜头，采用目标分割模型得到的分割结果可能会出现过分割的情况，镜头分割准确性低。示例性地，目标分割模型可以为3D卷积神经网络模型，如C3D，TransNet等。
服务器获取标注有镜头边界的样本视频和未标注有镜头标记的训练视频，服务器将样本视频输入初始分割模型进行模型训练，然后将训练视频输入训练的初始分割模型，得到初始分割模型输出的镜头分割结果，服务器确定镜头分割结果与预设分割结果相同的情况下，确定初始分割模型训练完成，得到目标分割模型。其中，样本视频的数据集可以为ClipShots，也可以为BBC。
步骤202：确定每个分割镜头中的第一镜头帧。
其中，第一镜头帧与分割镜头中第二镜头帧的相似度大于相似度阈值，第二镜头帧为分割镜头中除第一镜头帧之外的镜头帧。
在本申请实施例中，服务器确定每个分割镜头中各镜头帧之间的相似度，其中，相似度大于相似度阈值的镜头帧为第一镜头帧，第一镜头帧与分割镜头中第二镜头帧的相似度大于相似度阈值，第二镜头帧为分割镜头中除第一镜头帧之外的镜头帧。第一镜头帧可以代表其所在的分割镜头，第一镜头帧的数量为至少一个。
步骤203：在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于预设阈值的情况下，则将第一分割镜头、第二分割镜头和第一分割镜头与第二分割镜头之间的分割镜头进行合并。
其中，第一分割镜头和第二分割镜头之间的镜头间隔数小于目标阈值。
在本申请实施例中，服务器确定第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧，其中，第一分割镜头和第二分割镜头之间的镜头间隔数小于目标阈值，以保证第一分割镜头和第二分割镜头不会相距过远，以使相邻的近似的分割镜头能够合并。示例性的，目标阈值为1，则第一分割镜头和第二分割镜头之间的镜头间隔数最大为1，第一分割镜头和第二分割镜头之间最多可以存在一个分割镜头。
若服务器确定在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于预设阈值，表明第一分割镜头和第二分割镜头相似，则合并第一分割镜头、第二分割镜头和第一分割镜头与第二分割镜头之间的分割镜头。其中，第一镜头帧之间的相似度可以为颜色相似度。示例性地，第一分割镜头和第二分割镜头之间还存在一个分割镜头，则将三个分割镜头进行合并。
在本申请中，服务器在目标分割模型输出的分割镜头的基础上，根据分割镜头之间的第一镜头帧的相似性，合并相似的分割镜头，避免镜头分割过度，提高镜头分割的准确性。
作为一种可选的实施方式，如图3所示，确定每个分割镜头中的第一镜头帧包括：
步骤301：遍历一个分割镜头中的全部镜头帧，得到各镜头帧与分割镜头中其他镜头帧的相似度。
服务器遍历一个分割镜头中的全部镜头帧，得到每个镜头帧对应的直方图，服务器通过各直方图之间的相似度，得到各镜头帧与分割镜头中其他镜头帧的相似度。
步骤302：确定镜头帧的匹配度。其中，匹配度为分割镜头中与镜头帧的相似度大于相似度阈值的其他镜头帧的数量。
服务器设定一个相似度阈值，由于一个镜头帧与分割镜头中其他镜头帧分别进行相似度计算，因此可以得到一个镜头帧的多个相似度值，若该镜头帧的多个相似度值中有至少一个相似度值大于相似度阈值，则服务器确定与该待选镜头帧的相似度大于相似度阈值的镜头帧的数量，并将该数量作为待选镜头帧的匹配度。其中，预设匹配值可以为分割镜头中镜头帧的总帧数和预设百分比的乘积值。
示例性地，一个分割镜头中包含5帧，预设百分百为10％，则镜头帧的总帧数和预设百分比的乘积值为0.5。
步骤303：从多个镜头帧中选取相似度大于相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
若服务器确定匹配度大于预设匹配值、且匹配度大于预设匹配值，则将该镜头帧作为第一镜头帧。
一个分割镜头中包含5帧，分别为A、B、C、D和E。A分别与B、C、D和E相似，相似度分别为98％、97％、96％、86％，相似度阈值为95％，A与其他镜头帧的相似度部分大于相似度阈值，由于与A的相似度大于相似度阈值的镜头帧分别为B、C、D，则A的匹配度为3。3>0.5，则将A作为第一镜头帧。
服务器确定第一镜头帧，只有镜头帧的相似度大于相似度阈值，且匹配度大于预设匹配值，才会将该镜头帧作为第一镜头帧，提高了镜头帧的相似度和匹配度，这样第一镜头帧才能够真实的代表其所在的分割镜头，提高第一镜头帧与分割镜头的适配度。
作为一种可选的实施方式，第一镜头帧的数量为多个，从多个镜头帧中选取相似度大于相似度阈值、且匹配度大于预设匹配值的第一镜头帧包括：从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧后，降低当前相似度阈值，并将第一镜头帧的数量加一；重复执行从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧的步骤，直至选取出的第一镜头帧的数量达到预设数量值。
在本申请实施例中，第一镜头帧的数量可以为多个，服务器在选取出一个相似度大于当前相似度阈值的待选镜头帧、且匹配度大于预设匹配值的第一镜头帧后，将第一镜头帧的数量加一，表示选取出来一个第一镜头帧。然后服务器降低当前相似度阈值，采用相同的方式再次从多个镜头帧中选取出一个相似度大于当前相似度阈值的待选镜头帧、且匹配度大于预设匹配值的第一镜头帧，然后再次将第一视频中的数量加一，直至选取出的第一镜头帧的数量达到预设数量值。
示例性地，一个分割镜头中包含5帧，分别为A、B、C、D和E。A分别与B、C、D相似，且相似度大于相似度阈值为95％，则A的匹配度为3。3大于预设匹配值0.5，则A为第一个第一镜头帧。在确定第二个第一镜头帧时，将相似度阈值降低为90％，若B分别与C、D相似，且相似度大于相似度阈值为90％，则B的匹配度为2，2大于预设匹配值0.5，则B为第二个第一镜头帧。以此类推，相似度阈值可以逐步降低为85％、80％等，本申请中设定第一镜头帧的数量为3个。
在本申请中，从一个分割镜头中选取出来多个第一镜头帧，该多个第一镜头帧用于表示其所在的分割镜头，采用多个第一镜头帧提高了第一镜头帧与分割镜头之间的匹配度。
在每次查找第一镜头帧的过程中，需要从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧，如果没有查找到该第一镜头帧，表明相似度阈值过高，则确定低于第一相似度阈值的第二相似度阈值，然后继续从多个镜头帧中选取相似度大于第二相似度阈值、且匹配度大于预设匹配值的第一镜头帧，直至查找到第一镜头帧。该降低相似度阈值的方式可以应用于多个第一镜头帧的查找过程中，以便于查找到第一镜头帧。
示例性地，一个分割镜头中包含5帧，分别为A、B、C、D和E。相似度阈值为95％，各镜头帧之间的相似度均小于95％，则无法找到第一镜头帧，此时将相似度阈值降低为80％，A与B、C、D的相似度均大于80％，且匹配度4大于0.5，则A为第一镜头帧。
作为一种可选的实施方式，遍历一个分割镜头中的全部镜头帧，得到各镜头帧与分割镜头中其他镜头帧的相似度包括：遍历一个分割镜头中的全部镜头帧，并根据每个镜头帧生成一个直方图，其中，直方图的横坐标为镜头帧的颜色区间，直方图的纵坐标为颜色区间中的像素数量；确定两个直方图的相同颜色区间中像素数量的差值；在差值小于差值阈值的情况下，确定两个直方图表示的两个镜头帧之间具有相似度。
服务器遍历一个分割镜头中的全部镜头帧，得到每个镜头帧的镜头帧序列，然后将该镜头帧序列从RGB颜色空间转换到HSV颜色空间，再对每个镜头帧进行直方图计算并归一化，得到每个镜头帧对应的直方图。该直方图的横坐标为镜头帧的颜色区间，直方图的纵坐标为颜色区间中的像素数量，服务器确定两个直方图中相同颜色区间中像素数量的差值，该差值表示两个直方图之间的相似性。若服务器确定两个直方图的差值小于差值阈值，则确定两个直方图表示的两个镜头帧之间具有相似度。
其中，计算直方图之间的相似度的公式为：
其中，k代表直方图第k个颜色区间，K为全部的颜色区间个数。Hi(k)为直方图Hi第k个颜色区间的像素值，Hj(k)为直方图Hj的第k个颜色区间的像素值。
RGB颜色空间不直观，从RGB值中很难判断该值所表示的颜色，因此，RGB颜色空间不符合人对颜色的感知心理。其次，RGB颜色空间是不均匀的颜色空间，两种颜色之间的知觉差异不能通过该颜色空间中两个颜色点之间的距离来表示。HSV颜色空间是一种面向视觉感知的颜色模型，人眼的色彩知觉主要包括3个要素：色调H、饱和度S和亮度V，HSV颜色空间亮度分量与图像的彩色信息无关，且色调与饱和度分量与人感受颜色的方式紧密相连。这些特点使得HSV颜色空间非常适合以人的视觉系统来感知彩色特性的图像处理算法，因此，在直方图算法中更多使用较好地符合人眼感知特性的HSV颜色模型。在本申请实施例中，H通道设置为8个区间，S通道4个区间，V通道4个区间。
在本申请中，得到直方图的过程为：
1.将当前图像由RGB空间转换到HSV空间，H范围[0,360]，S范围[0,1]，V范围[0,1]。
2.遍历图像各通道，将H量化到8个bin，如[316,360]＝0,[0,20]＝0,[21,40]＝1,…[296,315]＝7；S量化到4个bin，如[0,0.15]＝0,(0.15,0.4]＝1,(0.4,0.75)＝2,(0.75,1)＝3；V量化到4个bin，如[0,0.15]＝0,(0.15,0.4]＝1,(0.4,0.75)＝2,(0.75,1)＝3。
3.利用公式G＝16H+4S+V将三个通道融合并归一化，融合后G取值范围[0,127]，统计G中各区间的像素数量(等于0的像素个数，等于1的像素个数，…等于127的个数)，再除以图像分辨率就得到直方图。
作为一种可选的实施方式，第一镜头帧的数量可以为一个为多个，合并分割镜头的方式包括以下三个方式中的至少一个：
方式一：在分割镜头的镜头帧数量小于预设数量的情况下，确定分割镜头为目标分割镜头，若一个目标分割镜头中任意两个第一镜头帧之间的相似度大于第二预设阈值，或该目标分割镜头中所有第一镜头帧的平均相似度大于第三预设阈值，则将该目标分割镜头合并至邻近镜头，邻近镜头为该目标分割镜头的前一个或后一个分割镜头。
示例性地，目标分割镜头为包含的镜头帧小于15个的分割镜头，若一个目标分割镜头中任意两个第一镜头帧之间的相似度大于0.95，或该目标分割镜头中所有第一镜头帧的平均相似度大于0.1，则将该目标分割镜头合并至邻近镜头。
方式二：确定两个分割镜头之间的颜色统计：第四预设阈值，第一分割镜头和第二分割镜头为相邻镜头，若第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于四预设阈值，则合并第一分割镜头和第二分割镜头。
示例性地，第三预设相似阈值为0.6，若两个相邻分割镜头之间的第一镜头帧的相似度大于0.6，则合并这两个相邻分割镜头。
方式三：合并类似对话情景下的重复镜头。使用一个大小为N(N>2)的滑动窗口，每次分析N个镜头。如果两个分割镜头之间的相似度大于第一预设阈值，则合并这两个分割镜头和两个分割镜头之间的其他镜头。其中，两个相邻分割镜头之间的预设相似阈值大于两个间隔分割镜头之间的预设相似阈值。
示例性地，N为3，如果相邻两个分割镜头相似，则合并这两个相邻分割镜头；如果第一个镜头和第三个镜头相似，则直接将这三个镜头合并为一个。其中，第一个镜头和第三个镜头的第一预设阈值为0.4，第一个镜头和第二个镜头、第二个镜头和第三个镜头的第一预设阈值为0.7。
其中，上述方式一至三可以选取其中至少一个执行，也可以顺序执行。
基于相同的技术构思，本申请实施例还提供了一种镜头分割装置，如图4所示，该装置包括：
获取模块401，用于获取目标视频的多个分割镜头，其中，每个分割镜头中包含多个镜头帧；
第一确定模块402，用于确定每个分割镜头中的第一镜头帧，其中，第一镜头帧与分割镜头中第二镜头帧的相似度大于相似度阈值，第二镜头帧为分割镜头中除第一镜头帧之外的镜头帧；
第一合并模块403，用于在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将第一分割镜头、第二分割镜头和第一分割镜头与第二分割镜头之间的分割镜头进行合并，其中，第一分割镜头和第二分割镜头之间的镜头间隔数小于目标阈值。
可选地，确定模块402包括：
遍历单元，用于遍历一个分割镜头中的全部镜头帧，得到各镜头帧与分割镜头中其他镜头帧的相似度；
确定单元，用于确定镜头帧的匹配度，其中，匹配度为分割镜头中与镜头帧的相似度大于相似度阈值的其他镜头帧的数量；
选取单元，用于从多个镜头帧中选取相似度大于相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
可选地，第一镜头帧的数量为多个，选取单元包括：
选取子单元，用于从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧后，降低当前相似度阈值，并将第一镜头帧的数量加一；
执行子单元，用于重复执行从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧的步骤，直至选取出的第一镜头帧的数量达到预设数量值。
可选地，选取子单元包括：
查找子模块，用于从多个镜头帧中查找相似度大于第一相似度阈值、且匹配度大于预设匹配值的第一镜头帧；
确定子模块，用于在查找失败的情况下，确定第二相似度阈值，其中，第二相似度阈值低于第一相似度阈值；
选取子模块，用于从多个镜头帧中选取相似度大于第二相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
可选地，遍历单元包括：
遍历子单元，用于遍历一个分割镜头中的全部镜头帧，并根据每个镜头帧生成一个直方图，其中，直方图的横坐标为镜头帧的颜色区间，直方图的纵坐标为颜色区间中的像素数量；
第一确定子单元，用于确定两个直方图的相同颜色区间中像素数量的差值；
第二确定子单元，用于在差值小于差值阈值的情况下，确定两个直方图表示的两个镜头帧之间具有相似度。
可选地，第一镜头帧的数量为多个，装置还包括：
第二确定模块，用于在分割镜头的镜头帧数量小于预设数量的情况下，确定分割镜头为目标分割镜头，并确定目标分割镜头中全部第一镜头帧的相似度；
第三确定模块，用于确定目标分割镜头中各第一镜头帧的平均相似度；
第二合并模块，用于在平均相似度大于第二预设阈值的情况下，将目标分割镜头与邻近镜头进行合并，其中，邻近镜头为目标分割镜头的前一个分割镜头或后一个分割镜头。
可选地，获取模块401包括：
输入单元，用于将目标视频输入目标分割模型，得到目标分割模型输出的目标视频的多个分割镜头。
根据本申请实施例的另一方面，本申请提供了一种电子设备，如图5所示，包括存储器503、处理器501、通信接口502及通信总线504，存储器503中存储有可在处理器501上运行的计算机程序，存储器503、处理器501通过通信接口502和通信总线504进行通信，处理器501执行计算机程序时实现上述方法的步骤。
上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行上述方法的程序代码。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种镜头分割方法，其特征在于，所述方法包括：
获取目标视频的多个分割镜头，其中，每个所述分割镜头中包含多个镜头帧；
确定每个所述分割镜头中的第一镜头帧，其中，所述第一镜头帧与所述分割镜头中第二镜头帧的相似度大于相似度阈值，所述第二镜头帧为所述分割镜头中除所述第一镜头帧之外的镜头帧；
在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将所述第一分割镜头、所述第二分割镜头和所述第一分割镜头与所述第二分割镜头之间的分割镜头进行合并，其中，所述第一分割镜头和所述第二分割镜头之间的镜头间隔数小于目标阈值；
其中，所述确定每个所述分割镜头中的第一镜头帧包括：
遍历一个分割镜头中的全部镜头帧，得到各镜头帧与所述分割镜头中其他镜头帧的相似度；
确定所述镜头帧的匹配度，其中，所述匹配度为所述分割镜头中与所述镜头帧的相似度大于相似度阈值的其他镜头帧的数量；
从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧后，降低当前相似度阈值，并将第一镜头帧的数量加一，其中，所述第一镜头帧的数量为多个；
重复执行从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧的步骤，直至选取出的第一镜头帧的数量达到预设数量值。
2.根据权利要求1所述的方法，其特征在于，从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧包括：
从多个镜头帧中查找相似度大于第一相似度阈值、且匹配度大于预设匹配值的第一镜头帧；
在查找失败的情况下，确定第二相似度阈值，其中，所述第二相似度阈值低于所述第一相似度阈值；
从多个镜头帧中选取相似度大于所述第二相似度阈值、且匹配度大于预设匹配值的第一镜头帧。
3.根据权利要求1所述的方法，其特征在于，所述遍历一个分割镜头中的全部镜头帧，得到各镜头帧与所述分割镜头中其他镜头帧的相似度包括：
遍历一个分割镜头中的全部镜头帧，并根据每个所述镜头帧生成一个直方图，其中，所述直方图的横坐标为所述镜头帧的颜色区间，所述直方图的纵坐标为所述颜色区间中的像素数量；
确定两个直方图的相同颜色区间中像素数量的差值；
在所述差值小于差值阈值的情况下，确定所述两个直方图表示的两个镜头帧之间具有相似度。
4.根据权利要求1所述的方法，其特征在于，所述第一镜头帧的数量为多个，在确定每个所述分割镜头中的第一镜头帧之后，所述方法还包括：
在所述分割镜头的镜头帧数量小于预设数量的情况下，确定所述分割镜头为目标分割镜头，并确定所述目标分割镜头中全部第一镜头帧的相似度；
确定所述目标分割镜头中各所述第一镜头帧的平均相似度；
在所述平均相似度大于第二预设阈值的情况下，将所述目标分割镜头与邻近镜头进行合并，其中，所述邻近镜头为所述目标分割镜头的前一个分割镜头或后一个分割镜头。
5.根据权利要求1所述的方法，其特征在于，所述获取目标视频的多个分割镜头包括：
将所述目标视频输入目标分割模型，得到所述目标分割模型输出的所述目标视频的多个分割镜头。
6.一种镜头分割装置，其特征在于，所述装置包括：
获取模块，用于获取目标视频的多个分割镜头，其中，每个所述分割镜头中包含多个镜头帧；
确定模块，用于确定每个所述分割镜头中的第一镜头帧，其中，所述第一镜头帧与所述分割镜头中第二镜头帧的相似度大于相似度阈值，所述第二镜头帧为所述分割镜头中除所述第一镜头帧之外的镜头帧；
合并模块，用于在第一分割镜头的第一镜头帧与第二分割镜头的第一镜头帧之间的相似度大于第一预设阈值的情况下，则将所述第一分割镜头、所述第二分割镜头和所述第一分割镜头与所述第二分割镜头之间的分割镜头进行合并，其中，所述第一分割镜头和所述第二分割镜头之间的镜头间隔数小于目标阈值；
其中，所述确定模块用于：
遍历一个分割镜头中的全部镜头帧，得到各镜头帧与所述分割镜头中其他镜头帧的相似度；
确定所述镜头帧的匹配度，其中，所述匹配度为所述分割镜头中与所述镜头帧的相似度大于相似度阈值的其他镜头帧的数量；
从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧后，降低当前相似度阈值，并将第一镜头帧的数量加一，其中，所述第一镜头帧的数量为多个；
重复执行从多个镜头帧中选取出一个相似度大于当前相似度阈值、且匹配度大于预设匹配值的第一镜头帧的步骤，直至选取出的第一镜头帧的数量达到预设数量值。
7.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110106189.2A CN112785606B (zh) | 2021-01-26 | 2021-01-26 | 一种镜头分割方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110106189.2A CN112785606B (zh) | 2021-01-26 | 2021-01-26 | 一种镜头分割方法、装置、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112785606A CN112785606A (zh) | 2021-05-11 |
| CN112785606B true CN112785606B (zh) | 2024-04-09 |
Family
ID=75757344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110106189.2A Active CN112785606B (zh) | 2021-01-26 | 2021-01-26 | 一种镜头分割方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112785606B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603916A (zh) * | 2016-12-14 | 2017-04-26 | 天脉聚源（北京）科技有限公司 | 一种关键帧检测方法及装置 |
| CN106791274A (zh) * | 2016-12-14 | 2017-05-31 | 天脉聚源（北京）科技有限公司 | 一种场景检测方法及装置 |
| CN108182421A (zh) * | 2018-01-24 | 2018-06-19 | 北京影谱科技股份有限公司 | 视频分割方法和装置 |
| CN108509917A (zh) * | 2018-03-30 | 2018-09-07 | 北京影谱科技股份有限公司 | 基于镜头类相关性分析的视频场景分割方法和装置 |
| CN110175591A (zh) * | 2019-05-31 | 2019-08-27 | 中科软科技股份有限公司 | 一种获取视频相似度的方法及系统 |
| CN111327945A (zh) * | 2018-12-14 | 2020-06-23 | 北京沃东天骏信息技术有限公司 | 用于分割视频的方法和装置 |
-
2021
- 2021-01-26 CN CN202110106189.2A patent/CN112785606B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603916A (zh) * | 2016-12-14 | 2017-04-26 | 天脉聚源（北京）科技有限公司 | 一种关键帧检测方法及装置 |
| CN106791274A (zh) * | 2016-12-14 | 2017-05-31 | 天脉聚源（北京）科技有限公司 | 一种场景检测方法及装置 |
| CN108182421A (zh) * | 2018-01-24 | 2018-06-19 | 北京影谱科技股份有限公司 | 视频分割方法和装置 |
| CN108509917A (zh) * | 2018-03-30 | 2018-09-07 | 北京影谱科技股份有限公司 | 基于镜头类相关性分析的视频场景分割方法和装置 |
| CN111327945A (zh) * | 2018-12-14 | 2020-06-23 | 北京沃东天骏信息技术有限公司 | 用于分割视频的方法和装置 |
| CN110175591A (zh) * | 2019-05-31 | 2019-08-27 | 中科软科技股份有限公司 | 一种获取视频相似度的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112785606A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978890B (zh) | 基于图像处理的目标提取方法、装置及终端设备 | |
| CN107665324B (zh) | 一种图像识别方法及终端 | |
| CN103207898B (zh) | 一种基于局部敏感哈希的相似人脸快速检索方法 | |
| CN108182421B (zh) | 视频分割方法和装置 | |
| CN108366203B (zh) | 一种构图方法、装置、电子设备及存储介质 | |
| CN110399842B (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109116129B (zh) | 终端检测方法、检测设备、系统及存储介质 | |
| JP7305046B2 (ja) | 画像分類方法及び装置並びに機器 | |
| CN103810473A (zh) | 一种基于隐马尔科夫模型的人体对象的目标识别方法 | |
| CN110111347B (zh) | 图像标志提取方法、装置及存储介质 | |
| CN104951440B (zh) | 一种图像处理方法及电子设备 | |
| CN108734127B (zh) | 年龄识别值调整方法、装置、设备及存储介质 | |
| CN113449639A (zh) | 一种物联网网关对仪表的无接触数据采集方法 | |
| KR101541384B1 (ko) | 영상 인식 장치 및 방법 | |
| CN105404682B (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN112785606B (zh) | 一种镜头分割方法、装置、电子设备和计算机可读介质 | |
| CN112784854A (zh) | 基于数理统计的服装颜色分割提取方法、装置和设备 | |
| JP2016071800A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US11354925B2 (en) | Method, apparatus and device for identifying body representation information in image, and computer readable storage medium | |
| CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
| CN110633630A (zh) | 一种行为识别方法、装置及终端设备 | |
| KR20160109221A (ko) | 시퀀스 간의 유사성을 결정하는 방법 및 디바이스 | |
| CN112188309B (zh) | 基于累计差异度和奇异值分解的镜头边界检测方法和装置 | |
| CN111275045B (zh) | 图像的主体识别方法、装置、电子设备和介质 | |
| CN114170649A (zh) | 皮肤敏感分类模型的训练方法、皮肤敏感打分方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |