CN112258541A - 视频边界检测方法、系统、设备及存储介质 - Google Patents

视频边界检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112258541A
CN112258541A CN202011344814.9A CN202011344814A CN112258541A CN 112258541 A CN112258541 A CN 112258541A CN 202011344814 A CN202011344814 A CN 202011344814A CN 112258541 A CN112258541 A CN 112258541A
Authority
CN
China
Prior art keywords
frame image
feature point
video
boundary detection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011344814.9A
Other languages
English (en)
Inventor
范博
罗超
成丹妮
胡泓
李巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN202011344814.9A priority Critical patent/CN112258541A/zh
Publication of CN112258541A publication Critical patent/CN112258541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种视频边界检测方法、系统、设备及存储介质，所述方法包括步骤：对待测视频进行切帧处理，获得多帧连续的图像；将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；提取第一帧图像的特征点，形成第一特征点集合；自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测；本申请提高了视频边界的检测准确率。

Description

视频边界检测方法、系统、设备及存储介质
技术领域
本发明涉及图像处理技术领域，具体地说，涉及一种视频边界检测方法、系统、设备及存储介质。
背景技术
在OTA(Online Travel Agency，在线旅行代理)行业中，由于视频相比图片可以包含更多的信息量，所以目前企业普遍利用视频展示的手段替代以前的图片展示手段，比如展示酒店宣传视频、旅拍视频等。那么对OTA视频进行充分利用对于企业来说也就变得很重要，这就涉及到OTA视频的二次处理，包括场景分割、场景识别或者精华剪辑等处理。这些处理通常会使用到的基本技术是视频边界检测，即为准确识别视频中各个转场，把一个长视频切割为多个场景的短视频。
视频边界检测的基础在于，同一个镜头内的视觉内容相近，而不同镜头间的视频内容差异大，且特征区别明显。视频的镜头变化主要分为突变(cut)和渐变(gradual)两种类型，突变是前一个镜头的末帧没有过渡地紧接着下一个镜头的首帧，而渐变是值在一段时间内逐渐完成镜头的变换，一般持续几帧到十几帧。
现有的视频边界检测的方法多为基于色彩空间的帧间变化特征进行检测：包括基于直方图的方法或者基于HSV变化检测。这种方法对于突变的转场效果较好，因为场景突变时两个场景的边界所对应的两个连续的帧，无论是直方图还是HSV变化都非常明显。但是对于缓慢渐变转场的边界，在两个不同场景间，连续的帧的直方图或HSV变化程度随时间成缓慢线性变化。而实际情况中镜头移动也可能导致相似特性变化。所以现有技术很难准确识别渐变转场的视频边界。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种视频边界检测方法、系统、设备及存储介质，减小对于渐变转场镜头的漏检率，从而提高视频边界的检测准确率。
为实现上述目的，本发明提供了一种视频边界检测方法，所述方法包括以下步骤：
对待测视频进行切帧处理，获得多帧连续的图像；
将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；
提取第一帧图像的特征点，形成第一特征点集合；
自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；
基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；
基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；
基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测。
可选地，所述提取第一帧图像的特征点，包括：
基于Shi-Tomasi算法，提取所有帧图像中第一帧图像的特征点。
可选地，所述基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合，包括：
利用Lucas-Kanade光流算法，对当前帧图像进行特征点跟踪，获得当前帧图像的带有状态码的第二特征点集合；
根据所述第二特征点集合中的所述状态码，统计得到相邻帧图像之间相同的特征点个数。
可选地，所述基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数，包括：
根据所述相同的特征点个数，获得相邻帧图像的特征点匹配个数。
可选地，所述第一特征点集合为：points1＝{(x1,y1),(x2,y2)…(xj,yj)}；其中，(xj,yj)表示第一特征点集合中的第j个特征点；
所述第二特征点集合为：pointsi＝{(x1,y1,st),(x2,y2,st)…(xj,yj,st)}；其中，pointsi表示第i帧图像即当前帧图像的第二特征点集合，(xj,yj,st)表示第二特征点集合中的第j个特征点，st表示所述状态码，st为0或1；第二特征点集合中的每一个特征点具有一个所述状态码，第i-1帧图像和第i帧图像之间相同的特征点个数为第i帧图像的第二特征点集合中st为1的特征点个数。
可选地，所述相邻帧图像间的HSV变化值通过以下公式计算：
Figure BDA0002799579780000031
其中，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，x表示每一帧图像的宽度，y表示每一帧图像的高度，Hi表示第i帧图像的色调分量值，Hi-1表示第i-1帧图像的色调分量值，Si表示第i帧图像的饱和度分量值，Si-1表示第i-1帧图像的饱和度分量值，Vi表示第i帧图像的亮度分量值，Vi-1表示第i-1帧图像的亮度分量值。
可选地，在所述提取第一帧图像的特征点的步骤之前，所述方法还包括步骤：
对所有帧图像进行灰度处理，转换为灰度图像。
可选地，所述对待测视频进行切帧处理，获得多帧连续的图像，包括：
提取每一帧图像形成图片；
基于所有帧图像对应的图片构造一图片链表；
将所述图片链表存储至内存中。
可选地，所述基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值，包括：
利用所述HSV变化值和所述特征点匹配个数进行加权求和，得到当前帧图像的边界检测值。
可选地，所述当前帧图像的边界检测值通过以下公式计算得到：
wi＝α*Δhsvi+β*pi
其中，wi表示第i帧图像即当前帧图像的边界检测值，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，pi表示第i帧图像和第i-1帧图像间的特征点匹配个数，α表示第一权重，β表示第二权重，0≤α≤1，且0≤β≤1，且(β/α)≥1.5。
可选地，所述基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测，包括：
若所述边界检测值大于预设阈值，则将相邻帧图像中的当前帧图像作为边界帧图像，否则判定当前帧图像不是边界帧图像。
可选地，所述将相邻帧图像分别映射至HSV颜色空间，包括：
分别获取相邻两帧图像中各个像素点的RGB值；
将所述各个像素点的RGB值转换至HSV颜色空间。
本发明还提供了一种视频边界检测系统，所述系统包括：
图像帧切分单元，对待测视频进行切帧处理，获得多帧连续的图像；
HSV映射单元，用于将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；
特征点提取单元，用于提取第一帧图像的特征点，形成第一特征点集合；
第二特征点集合获取单元，用于自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；
特征点匹配个数获取单元，基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；
边界检测值获取单元，基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；
边界判定单元，基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测。
本发明还提供了一种视频边界检测设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项视频边界检测方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项视频边界检测方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的视频边界检测方法、系统、设备及存储介质通过将相邻帧图像之间的HSV变化特征和特征点匹配特征结合起来，综合考虑对视频边界进行检测，能够为镜头边界的检测提供更丰富的信息，以解决传统方法对渐变转场的视频边界识别弱的问题，从而减小渐变转场镜头边界的漏检率，提高镜头边界的检测准确率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为本发明一实施例公开的一种视频边界检测方法的流程示意图；
图2为上述实施例公开的视频边界检测方法中步骤S10的流程示意图；
图3为上述实施例公开的视频边界检测方法中步骤S20的流程示意图；
图4为本发明一实施例公开的一种视频边界检测系统的结构示意图；
图5为本发明一实施例公开的一种视频边界检测设备的结构示意图；
图6为本发明一实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例公开了一种视频边界检测方法，该方法包括以下步骤：
S10，对待测视频进行切帧处理，获得多帧连续的图像。其中，所有帧图像的宽度和高度均相等。具体来说，如图2所示，该步骤S10具体包括步骤：
S101，提取每一帧图像形成图片。
S102，基于所有帧图像对应的图片构造一图片链表。由于视频的帧序列是有序序列，所以本实施例采用链表存储上述帧图像。
S103，将上述图片链表存储至内存中。链表中包含有每一帧图片的指针，该指针指向此图片在内存中的位置。这样将图片形成链表提取缓存至内存中，可以提高帧图像的访问速度，有利于提高检测效率。
S20，将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值。比如，将第i-1帧图像和第i帧图像分别映射至HSV颜色空间，获得第i-1帧图像和第i帧图像之间的HSV变化值。具体来说，如图3所示，步骤S20包括：
S201，分别获取相邻两帧图像中各个像素点的RGB值。比如，分别获取第i-1帧图像和第i帧图像中各个像素点的RGB值。
S202，将上述各个像素点的RGB值转换至HSV颜色空间。该步骤可以利用现有技术实现。示例性地，可以采用以下公式实现将各个像素点的RGB值转换至HSV颜色空间：
Figure BDA0002799579780000061
V＝max
其中，r，g，b分别代表图像像素点的红、绿、蓝三个颜色分量，max表示r、g、b中的最大值，min表示r、g、b中的最小值，H,S,V分别代表HSV颜色空间的色调、饱和度和亮度分量值。
S203，基于相邻两帧图像在HSV颜色空间的各个分量值，获得相邻两帧图像间的HSV变化值，即第i-1帧图像和第i帧图像之间的HSV变化值。
上述相邻帧图像间的HSV变化值通过以下公式计算：
Figure BDA0002799579780000062
其中，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，x表示每一帧图像的宽度，y表示每一帧图像的高度，Hi表示第i帧图像的色调分量值，Hi-1表示第i-1帧图像的色调分量值，Si表示第i帧图像的饱和度分量值，Si-1表示第i-1帧图像的饱和度分量值，Vi表示第i帧图像的亮度分量值，Vi-1表示第i-1帧图像的亮度分量值。
S30，提取第一帧图像的特征点，形成第一特征点集合。具体实施时，可以利用Shi-Tomasi算法，提取所有帧图像中第一帧图像的特征点。利用Shi-Tomasi算法提取帧图像的特征点的具体过程参考现有技术即可实现，本申请不再赘述。
提取到的特征点具有多个，该多个特征点形成第一特征点集合。上述第一特征点集合可以为：points1＝{(x1,y1),(x2,y2)…(xj,yj)}。其中，(xj,yj)表示第一特征点集合中的第j个特征点。
S40，自第二帧图像开始至最后一帧图像，基于上述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合。具体而言，该步骤包括：
S401，利用Lucas-Kanade光流算法，对当前帧图像进行特征点跟踪，获得当前帧图像的带有状态码的第二特征点集合。也即，在当前帧图像中跟踪上述自第一帧图像中提取到的特征点。
上述第二特征点集合为：pointsi＝{(x1,y1,st),(x2,y2,st)…(xj,yj,st)}；其中，pointsi表示第i帧图像即当前帧图像的第二特征点集合，其中i≥2。(xj,yj,st)表示第二特征点集合中的第j个特征点，st表示上述状态码，st取值为0或1。
第二特征点集合中的每一个特征点具有一个上述状态码。如果在当前第i帧图像中找到与上一帧即第i-1帧图像中共有的某个特征点，则在当前帧图像对应的第二特征点集合中，该特征点对应的状态码为1。如果在当前第i帧图像中没有找到与第i-1帧图像中共有的某个特征点，则该特征点对应的状态码为0。
S402，根据上述第二特征点集合中的上述状态码，统计得到相邻帧图像之间相同的特征点个数。具体来说，第i-1帧图像和第i帧图像之间相同的特征点个数为第i帧图像对应的第二特征点集合中st值为1的特征点个数。
S50，基于上述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数。具体来说，根据上述相同的特征点个数，获得相邻帧图像的特征点匹配个数。相邻帧图像的特征点匹配个数即为相邻帧图像之间相同的特征点个数。比如，第i帧图像对应的第二特征点集合中st值为1的特征点具有5个，就说明在第i帧图像找到了与第i-1帧图像相同的特征点数量为5个。也即说明，第i-1帧图像和第i帧图像之间的特征点匹配个数为5。
S60，基于相邻帧图像的上述HSV变化值和上述特征点匹配个数，获取当前帧图像的边界检测值。具体实施时，可以利用上述HSV变化值和上述特征点匹配个数进行加权求和，得到当前帧图像的边界检测值。
具体来说，上述当前帧图像的边界检测值通过以下公式计算得到：
wi＝α*Δhsvi+β*pi
其中，wi表示第i帧图像即当前帧图像的边界检测值，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，pi表示第i帧图像和第i-1帧图像间的特征点匹配个数，α表示第一权重，β表示第二权重，0≤α≤1，且0≤β≤1，且(β/α)≥1.5。这样使得在计算边界检测值的过程中更多参考相邻帧图像间的特征点匹配个数的信息，使得边界检测尤其是渐变转场的视频边界计算更加准确，有利于提高视频边界检测的准确率。
S70，基于上述边界检测值和预设阈值，对上述待测视频的边界进行检测。具体实施时，可以为：若上述边界检测值大于预设阈值，则将相邻帧图像中的当前帧图像作为边界帧图像，否则判定当前帧图像不是边界帧图像。比如，若第i帧图像为当前帧图像，则可以将第i-1帧图像作为待测视频的前一子视频的结束边界，可以将第i帧图像作为待测视频的当前子视频的开始边界。
上述预设阈值可以为30，但本申请不以上述为限，具体实施可以根据需求进行设定。
在本申请的另一实施例中，在上述实施例的基础上，在步骤S20和步骤S30之间还包括步骤：
S80，对所有帧图像进行灰度处理，转换为与原始帧图像具有相同图像尺寸的灰度图像。这样可以减小边界检测过程中的计算量，有利于提高检测效率。
如图4所示，本发明实施例还公开了一种视频边界检测系统4，该系统包括：
图像帧切分单元41，对待测视频进行切帧处理，获得多帧连续的图像；
HSV映射单元42，用于将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；
特征点提取单元43，用于提取第一帧图像的特征点，形成第一特征点集合；
第二特征点集合获取单元44，用于自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；
特征点匹配个数获取单元45，基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；
边界检测值获取单元46，基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；
边界判定单元47，基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测。
可以理解的是，本发明的视频边界检测系统还包括其他支持视频边界检测系统运行的现有功能模块。图4显示的视频边界检测系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的视频边界检测系统用于实现上述的视频边界检测的方法，因此对于视频边界检测系统的具体实施步骤可以参照上述对视频边界检测的方法的描述，此处不再赘述。
本发明实施例还公开了一种视频边界检测设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述视频边界检测方法中的步骤。图5是本发明公开的视频边界检测设备的结构示意图。下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述视频边界检测方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述视频边界检测方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述视频边界检测方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，通过将相邻帧图像之间的HSV变化特征和特征点匹配特征结合起来，综合考虑对视频边界进行检测，能够为镜头边界的检测提供更丰富的信息，以解决传统方法对渐变转场的视频边界识别弱的问题，从而减小镜头边界的漏检率，提高镜头边界的检测准确率。
图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的视频边界检测方法、系统、设备及存储介质通过将相邻帧图像之间的HSV变化特征和特征点匹配特征结合起来，综合考虑对视频边界进行检测，能够为镜头边界的检测提供更丰富的信息，以解决传统方法对渐变转场的视频边界识别弱的问题，从而减小镜头边界的漏检率，提高镜头边界的检测准确率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种视频边界检测方法，其特征在于，包括以下步骤：
对待测视频进行切帧处理，获得多帧连续的图像；
将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；
提取第一帧图像的特征点，形成第一特征点集合；
自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；
基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；
基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；
基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测。
2.如权利要求1所述的视频边界检测方法，其特征在于，所述提取第一帧图像的特征点，包括：
基于Shi-Tomasi算法，提取所有帧图像中第一帧图像的特征点。
3.如权利要求1所述的视频边界检测方法，其特征在于，所述基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合，包括：
利用Lucas-Kanade光流算法，对当前帧图像进行特征点跟踪，获得当前帧图像的带有状态码的第二特征点集合；
根据所述第二特征点集合中的所述状态码，统计得到相邻帧图像之间相同的特征点个数。
4.如权利要求3所述的视频边界检测方法，其特征在于，所述基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数，包括：
根据所述相同的特征点个数，获得相邻帧图像的特征点匹配个数。
5.如权利要求3所述的视频边界检测方法，其特征在于，所述第一特征点集合为：points1＝{(x1,y1),(x2,y2)…(xj,yj)}；其中，(xj,yj)表示第一特征点集合中的第j个特征点；
所述第二特征点集合为：pointsi＝{(x1,y1,st),(x2,y2,st)…(xj,yj,st)}；其中，pointsi表示第i帧图像即当前帧图像的第二特征点集合，(xj,yj,st)表示第二特征点集合中的第j个特征点，st表示所述状态码，st为0或1；第二特征点集合中的每一个特征点具有一个所述状态码，第i-1帧图像和第i帧图像之间相同的特征点个数为第i帧图像的第二特征点集合中st为1的特征点个数。
6.如权利要求1所述的视频边界检测方法，其特征在于，所述相邻帧图像间的HSV变化值通过以下公式计算：
Figure FDA0002799579770000021
其中，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，x表示每一帧图像的宽度，y表示每一帧图像的高度，Hi表示第i帧图像的色调分量值，Hi-1表示第i-1帧图像的色调分量值，Si表示第i帧图像的饱和度分量值，Si-1表示第i-1帧图像的饱和度分量值，Vi表示第i帧图像的亮度分量值，Vi-1表示第i-1帧图像的亮度分量值。
7.如权利要求1所述的视频边界检测方法，其特征在于，在所述提取第一帧图像的特征点的步骤之前，所述方法还包括步骤：
对所有帧图像进行灰度处理，转换为灰度图像。
8.如权利要求1所述的视频边界检测方法，其特征在于，所述对待测视频进行切帧处理，获得多帧连续的图像，包括：
提取每一帧图像形成图片；
基于所有帧图像对应的图片构造一图片链表；
将所述图片链表存储至内存中。
9.如权利要求1所述的视频边界检测方法，其特征在于，所述基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值，包括：
利用所述HSV变化值和所述特征点匹配个数进行加权求和，得到当前帧图像的边界检测值。
10.如权利要求9所述的视频边界检测方法，其特征在于，所述当前帧图像的边界检测值通过以下公式计算得到：
wi＝α*Δhsvi+β*pi
其中，wi表示第i帧图像即当前帧图像的边界检测值，Δhsvi表示第i帧图像和第i-1帧图像间的HSV变化值，pi表示第i帧图像和第i-1帧图像间的特征点匹配个数，α表示第一权重，β表示第二权重，0≤α≤1，且0≤β≤1，且(β/α)≥1.5。
11.如权利要求1所述的视频边界检测方法，其特征在于，所述基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测，包括：
若所述边界检测值大于预设阈值，则将相邻帧图像中的当前帧图像作为边界帧图像，否则判定当前帧图像不是边界帧图像。
12.如权利要求1所述的视频边界检测方法，其特征在于，所述将相邻帧图像分别映射至HSV颜色空间，包括：
分别获取相邻两帧图像中各个像素点的RGB值；
将所述各个像素点的RGB值转换至HSV颜色空间。
13.一种视频边界检测系统，用于实现如权利要求1所述的视频边界检测方法，其特征在于，所述系统包括：
图像帧切分单元，对待测视频进行切帧处理，获得多帧连续的图像；
HSV映射单元，用于将相邻帧图像分别映射至HSV颜色空间，获得相邻帧图像间的HSV变化值；
特征点提取单元，用于提取第一帧图像的特征点，形成第一特征点集合；
第二特征点集合获取单元，用于自第二帧图像开始至最后一帧图像，基于所述第一特征点集合中的特征点，对当前帧图像进行特征点跟踪，获得当前帧图像的第二特征点集合；
特征点匹配个数获取单元，基于所述当前帧图像的第二特征点集合，获得相邻帧图像的特征点匹配个数；
边界检测值获取单元，基于相邻帧图像的所述HSV变化值和所述特征点匹配个数，获取当前帧图像的边界检测值；
边界判定单元，基于所述边界检测值和预设阈值，对所述待测视频的边界进行检测。
14.一种视频边界检测设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至12中任意一项所述视频边界检测方法的步骤。
15.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至12中任意一项所述视频边界检测方法的步骤。
CN202011344814.9A 2020-11-26 2020-11-26 视频边界检测方法、系统、设备及存储介质 Pending CN112258541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344814.9A CN112258541A (zh) 2020-11-26 2020-11-26 视频边界检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344814.9A CN112258541A (zh) 2020-11-26 2020-11-26 视频边界检测方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN112258541A true CN112258541A (zh) 2021-01-22

Family

ID=74225601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344814.9A Pending CN112258541A (zh) 2020-11-26 2020-11-26 视频边界检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112258541A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018589A (zh) * 2021-10-25 2022-02-08 中汽研汽车检验中心（天津）有限公司 气囊弹出速度的确定方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114018589A (zh) * 2021-10-25 2022-02-08 中汽研汽车检验中心（天津）有限公司 气囊弹出速度的确定方法、装置、电子设备及介质
CN114018589B (zh) * 2021-10-25 2024-03-15 中汽研汽车检验中心（天津）有限公司 气囊弹出速度的确定方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN107633526B (zh) 一种图像跟踪点获取方法及设备、存储介质
US11222211B2 (en) Method and apparatus for segmenting video object, electronic device, and storage medium
US20120320223A1 (en) Computing device, storage medium and method for identifying differences between two images
CN110162657B (zh) 一种基于高层语义特征和颜色特征的图像检索方法及系统
CN113436100B (zh) 用于修复视频的方法、装置、设备、介质和产品
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN113642584A (zh) 文字识别方法、装置、设备、存储介质和智能词典笔
US20120301020A1 (en) Method for pre-processing an image in facial recognition system
CN114004972A (zh) 一种图像语义分割方法、装置、设备和存储介质
CN112258541A (zh) 视频边界检测方法、系统、设备及存储介质
CN112116585B (zh) 图像移除篡改盲检测方法、系统、设备及存储介质
US20070061727A1 (en) Adaptive key frame extraction from video data
CN114022865A (zh) 基于车道线识别模型的图像处理方法、装置、设备和介质
CN112966687A (zh) 图像分割模型训练方法、装置及通信设备
US8380006B2 (en) System and method for merging separated pixel blocks into an integral image of an object
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
CN113361462B (zh) 视频处理和字幕检测模型的方法及装置
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN113378958A (zh) 自动标注方法、装置、设备、存储介质及计算机程序产品
CN112925942A (zh) 一种数据搜索方法、装置、设备及存储介质
CN114066841A (zh) 一种天空检测方法、装置、计算机设备和存储介质
CN112232431A (zh) 水印检测模型训练方法、水印检测方法、系统、设备及介质
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
CN112801030B (zh) 一种目标文本区域的定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination