CN116030396B - 一种用于视频结构化提取的精确分割方法 - Google Patents

Abstract

本发明涉及图像处理领域，提出了一种用于视频结构化提取的精确分割方法，包括：获取视频数据；获取包含分割目标的已知图像，得到匹配网络输入中的源图像，获取视频数据中包含分割目标的分帧图像；分别计算多个纹理密度等级下分帧图像和已知图像中像素点的匹配影响系数，得到分帧图像和已知图像中像素点的特征相似度；计算分帧图像与已知图像的区域相似度；根据分帧图像与每个运动状态下已知图像的区域相似度，获取每个运动状态对应的关键帧图像；根据关键帧图像中分割目标的语义分割结果，得到视频数据结构化提取的结果。本发明旨在解决采集视频数据进行结构化提取时由于图像信息过于复杂导致关键帧提取精度低的问题。

Description

一种用于视频结构化提取的精确分割方法

技术领域

本发明涉及图像处理领域，具体涉及一种用于视频结构化提取的精确分割方法。

背景技术

现阶段视频分割是指对将连续帧的视频序列或者单独每帧视频图像中按照一定的标准分割形成不同的区域。视频结构化是一种视频内容信息提取技术，对视频中的目标按照视频语义采用特征提取、语义分割、目标识别等多种技术手段，将原始视频这种非结构化的数据转换成计算机或人可以理解的文本信息或可视化图形信息。视频结构化的作用能够加快目标寻找的速度，降低视频储存的容量，获取更多的可用数据。

视频分割的常用方法是机器视觉和深度学习算法两大类，根据不同的目标对象选择不同的分割方法，例如交通监控视频中关注的更多是人员、车辆，而不会关注路边商店的信息，此时可以通过目标检测的方法获取视频的结构信息；在利用深度学习算法提取视频的结构化信息时，结构化的结果非常依赖神经网络的自身结构，部分神经网络对视频中分割目标携带信息的读取能力较弱；利用匹配网络获取关键帧的方法是当前流行的方法，根据采集数据与已知图像的匹配结果获取结构化的提取结果，但是匹配过程中相似性的计算通过输入源图像和目标图像全局特征和局部特征计算，忽略了源图像像素点之间的约束性。另一方面，视频中可能出现连续几帧是一样内容的现象，这些因素在很大程度上影响着视频查找速度和视频的长期储存。

发明内容

本发明提供一种用于视频结构化提取的精确分割方法，以解决传统方法对采集视频数据进行结构化提取时由于图像信息过于复杂导致关键帧提取精度低的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种用于视频结构化提取的精确分割方法，该方法包括以下步骤：

获取采集视频中的包含分割目标的分帧图像，将分帧图像作为匹配网络输入中的目标图像，根据分割目标的运动状态获取已知图像，将已知图像作为匹配网络输入中的源图像；

根据预设次数已知图像和分帧图像滤波结果获取预设数量纹理密度等级的滤波图像，将每次已知图像和分帧图像滤波程度相同的滤波结果作为相同纹理密度等级的滤波图像，根据已知图像和分帧图像同一纹理密度等级的滤波图像中空间位置相同的两个像素点的欧氏距离和特征值的差值获取像素点的区域特征影响指数以及影响半径；根据像素点的影响半径和特征值获取已知图像和分帧图像中相同空间位置的两个像素点的匹配影响系数；

获取预设次数滤波结果中已知图像和分帧图像得到预设数量纹理密度等级，本实施例中预设次数为n-1次，预设数量为n个，将匹配影响系数大于n个匹配影响系数均值的纹理密度等级作为有效密度等级，根据n个纹理密度等级中有效密度等级对应的匹配影响系数获取两个像素点的特征相似度；

根据匹配网络中输入之间的准确匹配结果获取已知图像和分帧图像的结果图像，根据结果图像中像素点的特征相似度的统计结果获取已知图像和分帧图像的区域相似度；根据采集视频中所有分帧图像与分割目标每个运动状态的已知图像的区域相似度排序结果获取每个已知图像对应的关键帧图像；利用语义分割网络获取关键帧图像中分割目标的运动状态，将包含违章状态的分割目标的分帧图像按照时间顺序连接得到采集视频的结构化提取结果。

可选的，所述根据分割目标的运动状态获取已知图像，包括的具体方法为：

将分割目标的运动状态人为分成正常运动状态和违章状态，将包含分割目标各种正常运动状态的图像作为模板图像，利用模板匹配算法从现有数据库中获取包含分割目标每种正常运动状态的已知图像。

可选的，所述根据已知图像和分帧图像预设次数滤波结果获取预设数量纹理密度等级的滤波图像，包括具体方法为：

利用Gabor滤波器分别对已知图像和分帧图像进行预设次数的滤波，将每次与相同滤波频率进行滤波的分帧图像和已知图像的滤波结果作为相同纹理密度等级的滤波图像，根据预设次数的滤波结果获取预计数量纹理密度等级的滤波图像。

可选的，所述根据已知图像和分帧图像相同纹理密度等级的滤波图像中空间位置相同的两个像素点的欧氏距离和特征值的差值获取像素点的区域特征影响指数以及影响半径，包括的具体方法为：

式中，

是与像素点i欧氏距离最小的边缘点，

是像素点i与其对应边缘点

的欧氏距离，

是像素点i的灰度值，

是边缘点

的灰度值，

是像素点i的区域特征影响 指数，

是与像素点j欧氏距离最小的边缘点，

是像素点j与其对应边缘点

的欧氏距 离，

是像素点j的灰度值，

是边缘点

的灰度值，

是像素点j的区域特征影响指数，

是像素点i区域特征指数的绝对值，

是像素点j区域特征指数的绝对值，

函数的含义 是取括号内两个参数的最小值，L是像素点i，j匹配过程中的影响半径，所述像素点特征值 为像素点的灰度值。

可选的，所述根据像素点的影响半径和特征值获取已知图像和分帧图像中相同空间位置的两个像素点的匹配影响系数，包括具体方法为：

将空间位置相同像素点对应的影响半径作为搜索半径，将已知图像中像素点作为中心点，以搜索半径为半径的圆形区域作为空间位置相同像素点在匹配网络中的影响范围，获取以自然常数为底数，以相同空间位置两个像素点的灰度值差值为指数的值作为像素点的特征值，获取影响范围内所有像素点特征值的累加和，获取影响范围内像素点特征值与所有像素点特征值累加和的比值，将比值作为已知图像和分帧图像中相同空间位置的两个像素点对应的匹配影响系数。

可选的，所述根据每个纹理密度等级下已知图像和分帧图像匹配影响系数计算结果获取预设数量中有效匹配指数的统计结果，包括具体方法为：

获取预设数量中每个纹理密度等级下已知图像和分帧图像中空间位置相同像素点的匹配影响系数，获取已知图像和分帧图像中所有像素点匹配影响系数的均值，将已知图像和分帧图像中相同空间位置的两个像素点的匹配影响系数大于匹配影响系数均值的纹理密度等级作为有效密度等级；

获取预设数量中所有作为有效密度等级数量的纹理密度等级的有效匹配指数，将预设数量中所有有效匹配指数的累加和作为统计结果，将有效匹配指数的统计结果中纹理密度等级对应匹配影响系数的累加和作为已知图像和分帧图像中空间位置相同像素点的有效匹配指数。

可选的，所述获取已知图像和分帧图像中空间位置相同的任意两个像素点的特征相似度，包括的具体方法为：

式中，

是匹配过程中两个像素点的特征相似度，

是n个纹理密度等级下有效匹 配指数的统计结果，

是纹理密度等级p下像素点的有效匹配指数，

是纹理密度等 级p下两个像素点的匹配影响系数，

是n个纹理密度等级下匹配影响系数的均值,

是 纹理密度等级m下两个像素点的匹配影响系数。

可选的，所述根据匹配网络采用GLU-Net，利用GLU-Net获取已知图像和分帧图像的结果图像。

可选的，所述根据结果图像中像素点的特征相似度的统计结果获取已知图像和分帧图像的区域相似度，包括的具体方法为：

式中，

是已知图像A和第k帧分帧图像的区域相似度，N是输出图像A-k中像素 点数量，输出图像A-k是匹配网络输入中第k帧分帧图像和已知图像A的匹配结果，p，q分别 为已知图像A中的像素点p和第k幅分帧图像中的像素点q，

是像素点p与像素点q的特征 相似度。

可选的，所述根据采集视频中所有分帧图像与分割目标每个运动状态的已知图像的区域相似度排序结果获取每个已知图像对应的关键帧图像，包括的具体方法为：

将采集视频中每一个分帧图像与分割目标某个运动状态对应已知图像的区域相似度进行排序，将区域相似度最大值对应的分帧图像作为关键帧图像，将分割目标所有的运动状态分别作为已知图像，获取每个运动状态的已知图像对应的关键帧图像。

本发明的有益效果是：通过将包含汽车各运动状态下得到已知图像和采集视频的分帧图像匹配，获取分帧图像中的关键帧图像。计算已知图像和分帧图像上相同空间位置对应不同像素点的区域特征影响指数，通过区域影响范围内像素点特征值差异得到影响程度，得到像素点对应的匹配影响系数，匹配影响系数的有益效果在于匹配网络在计算相似度时考虑已知图像内相邻像素点的约束性对每一帧视频图像中像素点的影响，提高了匹配网络输出结果的准确性；通过多个纹理密度等级下，分帧图像和已知图像匹配影响系数对应的有效匹配指数计算匹配过程中对应像素点之间的特征相似度，避免了单一纹理下由于分割目标运动状态的多样性导致的计算误差，得到了更适合匹配网络的相似度，通过区域相似度获取分割目标每个运动状态的已知图像对应的关键帧图像，通过语义分割网络得到输出结果和关键帧的时间顺序完成了对采集视频的分割，减少了采集视频结构化提取过程中大量图像信息的冗余计算，完成更高精度的分割。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种用于视频结构化提取的精确分割方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种用于视频结构化提取的精确分割方法，该方法包括以下步骤：

步骤S001、获取视频中包括分割目标的分帧图像，将分帧图像作为匹配网络输入中的目标图像，将现有数据库中的已知图像作为匹配网络输入中的源图像。

本实施例的目的是根据分割目标的运动状态完成对采集视频的结构化提取，因此首先从现有数据库中根据分割目标每种运动状态获取已知图像。管理部门利用录像装置获取目标的监控视频，本发明以违章汽车作为分割目标，因此所述录像装置为交通部门的录像装置。根据路况，获取违章汽车可能出现的每条道路上，采集包含分割目标的视频录像。录像装置在录制过程中难免会受到周围环境的影响，会造成获取的视频出现模糊的现象，因此需要对录制视频进行视频复原的高清化处理，本发明采用EDVR算法对获取的视频进行处理，EDVR算法的原理是利用多帧图像的信息恢复一帧图像，EDVR算法处理视频为公知技术，具体过程不再详细赘述。

需要说明的是，传统GLU-Net匹配网络在两幅图像匹配过程中虽然考虑了局部小尺度位移和全局角度的大尺度位移，但是计算两幅输入图像的特征相似度时忽略了同一图像中相邻像素点之间的影响，对于画面中存在较少分割目标的情况时的匹配精度较低，本实施例考虑利用相邻像素点之间的约束性在匹配时计算新的输入图像之间的特征相似度，两幅输入图像之间像素点之间的影响关系一致，特征相似度越高，两幅图像的匹配结果更加精准。

采集视频中包含成千上万帧图像，只有包含分割目标的帧图像才是所需要的图像数据，因此本发明考虑首先从采集视频中获取包含分割目标的关键帧图像。例如，交通管理部分在记录违章汽车时，汽车就成为分割目标，应该从监控视频中获取包含汽车的图像，只有人和建筑的图像不可能是关键帧图像。

本实施例中，首先从现有数据库中获取分割目标在各种运动姿态下的图像，例如在慢速运动的图像、快速运动的图像等。人为将分割目标的运动状态分为正常运动状态和违章运动状态，将包含分割目标每种正常运动状态的图像作为模板图像，利用模板匹配算法从现有数据库中获取包含分割目标各种正常运动状态的图像作为已知图像，模板匹配算法为公知技术，具体过程不再详细赘述。采集视频的分帧图像记为未知图像，如果采集视频中含有分割目标，必定会对应已知图像中的某种运动姿态，因此进行已知图像和采集视频的匹配。

本实施例中，利用GLU-Net实现图像匹配，GLU-Net估计了源图像和目标图像之间的密集对应关系，估计的对应关系被用来扭曲结果图像，扭曲的结果图像与目标图像准确匹配，将匹配图像作为网络的输出图像。

具体的，在实施例中，将已知图像作为源图像，将采集视频的分帧图像作为目标图 像。图像匹配网络GLU-Net的输入是两幅大小相同的图像，因此对于采集的视频，首先将采 集视频进行分帧处理，得到一帧一帧的独立图像，总帧数为K帧，视频分帧为公知技术，具体 过程不再详细赘述。分帧后的每一帧的图像都为RGB图像，记每一帧图像尺寸为

，即分 帧后每一帧图像的维度数据为

，其中是图像尺度，3的含义是图像是3通道图像。将 已知图像的维度调整成与分帧图像一致，即可得到匹配网络的输入数据。

至此，通过分帧处理和尺度调整，得到匹配网络的两个输入图像。

步骤S002、获取相同等级纹理密度下已知图像和分帧图像的滤波图像，通过空间位置相同的两个像素点之间的欧氏距离和特征值的差值计算区域特征影响指数和影响半径，根据影响半径获取影响区域，基于影响区域内像素点图像特征相似程度计算匹配影响系数。

需要说明的是，分割目标的每个运动状态都会对应一个已知图像，因此每张已知图像中像素点表现出的信息也是不相同的，将已知图像与分帧后的图像放入网络中进行匹配，网络的输出是两张图像之间特征重合的区域。对于视频结构化的分割而言，分割的目的是精准的得到包含分割目标的每一帧的图像。匹配网络是通过计算两个输入图像之间的相似度进行匹配的。

对于单独一帧的图像而言，如果包含分割目标的一部分区域，它在当前帧图像中的变化是缓慢的，而在图像纹理上变化是相对明显，为了避免非分割目标区域的图像纹理在匹配过程中造成干扰，本发明考虑在不同纹理密度的图像上计算两幅输入图像的相似度，将相似程度较大的像素点作为计算图像特征时的参考点。

具体的，在本实施例中，利用Gabor滤波器分别对已知图像和分帧图像进行n-1次 滤波，以已知图像为例，分帧图像与已知图像的滤波过程一致。已知图像滤波后得到的n-1 幅不同等级纹理密度的已知图像，包括没有进行滤波的已知图像，最终得到n个纹理等级密 度的已知图像，分别记纹理密度等级为纹理密度

，纹理密度

至纹理密度

，其中纹理 密度

对应的是第一次滤波的结果，纹理密度

对应的是第二次滤波的结果，纹理密度

对应的是没有滤波的已知图像。进一步的，构建匹配影响系数s，用于表征在匹配过程 中，两幅输入图像上空间位置相同的像素点的匹配程度。计算纹理密度

下已知图像FY的 像素点i和分帧图像F中像素点j的匹配影响系数

：

式中，

是已知图像FY中像素点i的灰度值，

是已知图像FY中像素点

的灰度值，

是已知图像FY中像素点i与像素点

之间的欧氏距离。像素点

是已知图像中FY与像 素点i欧氏距离最小的一个区域边缘点，如果存在多个欧式距离相等的情况，取欧式距离水 平分量最小的边缘点，对于区域边缘点，利用canny边缘检测技术检测图像的边缘像素点， 得到区域边缘点，canny边缘检测为公知技术，具体过程不再详细赘述，

是像素点i的区域 特征影响指数。

是分帧图像F中像素点j的灰度值，

是分帧图像F中像素点

的灰度值，

是分帧图像F中像素点j与像素点

之间的欧氏距离，像素点

是分帧图像F中与像素点j欧 氏距离最小的一个区域边缘点，

是像素点j的区域特征影响指数。

L是像素点i，j在匹配过程中对应的影响半径，它的含义是在匹配网络中计算已知图像FY与分帧图像F的相似度时，计算像素点i，j相似度时的搜索半径的大小。min函数的含义是取括号内两个参数的最小值，N是以像素点i为中心以L为半径所取影响区域内像素点的数量。e是自然常数。

影响半径L反映了在纹理密度

的情况下，两幅输入图像在计算相似度的过程中， 像素点对应的搜索半径大小，不同位置和不同图像特征的像素点对应的搜索半径是不同 的，这样设置的有益效果在于考虑了分割目标在运动状态下不同位置上像素点的运动程度 可能是一样的。

匹配影响系数

反映了已知图像FY中第i个像素点对分帧图像F中第j个像素点图 像特征的相似程度，两个像素点的图像特征越相似，即

的值越小，相应的匹配影响系 数

的值越小，它们之间的关联性就越高，在网络中越不受影响，像素点i，j所在位置位于 网络输出区域的可能性应该越大。

至此，通过上面方法可以获取已知图像FY的像素点i和分帧图像F中像素点j的匹 配影响系数

。

步骤S003、基于n个纹理密度等级下匹配影响系数与所有匹配影响系数均值对比结果获取有效密度等级，根据有效密度等级统计结果对应的匹配影响系数获取像素点的特征相似度。

具体的，利用滤波器对已知图像和分帧图像进行n-1次滤波，得到n-1个纹理密度等级的滤波结果，将为滤波的已知图像和分帧图像作为1个纹理密度等级，共得到n个纹理密度等级的分帧图像和已知图像。

进一步的，分别计算每一次滤波过后的已知图像与每一次滤波后每个分帧图像中 像素点的匹配影响系数

，最后统计已知图像与分帧图像在n次匹配后的结果作为特征相似 度，两幅图中空间位置相同的像素点每次滤波都会一个匹配影响系数s，分别记为

，

至

。基于n个匹配影响次数获取空间位置相同的像素点的匹配程度。以像素点i，j 为例，像素点i，j的特征相似度

：

式中，

是匹配过程中两个像素点的特征相似度，

是有效匹配指数

取1的 纹理密度等级数量的统计结果，

是纹理密度等级p下像素点的有效匹配指数，

是 纹理密度等级p下两个像素点的匹配影响系数，

是n个纹理密度等级下匹配影响系数的均 值,

是纹理密度等级m下两个像素点的匹配影响系数。有效匹配指数

的含义是 反映纹理密度等级p下像素点i与像素点j的匹配影响系数

是否大于n次匹配后匹配影 响系数的均值

，如果满足此条件，

的值为1，否则

的值为0。

的有益效果在 于能够筛除掉部分与已知图像像素点图像信息相似性较低的分帧图像，加快后续视频分割 的速度，因为如果是分割目标所在的分帧图像，此类图像与已知图像像素点之间的关联性 应该达到一定程度。

至此，通过对不同纹理密度下两个输入图像的匹配处理，得到对应的特征相似度。

步骤S004、根据匹配网络输出的结果图像中像素点的特征相似度的获取已知图像和分帧图像的区域相似度，根据采集视频中所有分帧图像与分割目标每个运动状态的已知图像的区域相似度排序结果获取关键帧图像，根据语义分割网络中分割图像中分割目标的运动状态；将处于违章状态的分割目标对应的分帧图像保留，将保留分帧图像按照时间顺序连接得到采集视频的结构化提取结果。

分别计算K幅分帧图像与分割目标在不同运行状态下对应的已知图像中像素点的 特征相似度S，进一步的，将特征相似度S代替GLU-Net网络中传统相似度，根据每次匹配网 络的输出，得到输入分帧图像与已知图像的匹配结果，统计第k幅分帧图像与已知图像A输 出匹配结果图像A-k对应的区域相似度

：

式中，

是已知图像A和第k帧分帧图像的区域相似度，N是输出图像A-k中像素 点数量，输出图像A-k是匹配网络输入中第k帧分帧图像和已知图像A的匹配结果，p，q分别 为已知图像A中的像素点p和第k幅分帧图像中的像素点q，

是像素点p与像素点q的特征 相似度。

区域相似度

反映了第k幅分帧图像与已知图像A相似区域内像素点之间的特 征相似度的高低，网络输出的匹配结果图像A-k内像素点对应的特征相似度越大，输出的区 域相似度也越大，第k幅分帧图像与已知图像A的相似区域的相似度更高。

进一步的，对于分割目标的每一个运动状态下的已知图像，分别计算每一幅分帧 图像与每一个运动状态下的已知图像对应的区域相似度T，并对计算结果进行排序，将每一 个运动状态下区域相似度最大值

对应的分帧图像作为关键帧，假设分割目标有50个运 动状态，存在50张不同的已知图像，每个运动状态下得到一个区域相似度最大值

，其对 应的分帧图像即可作为一张关键帧图像，以此类推，可以将50个分帧图像作为关键帧图像。

至此，通过将分帧图像与分割目标的每一种运动状态已知图像处理，得到采集视频中的关键帧。

需要说明的是OSVOS算法是对采集视频的每一帧进行处理，OSVOS算法是基于全卷积神经网络FCN对视频进行分析分割的。

进一步的，在本实施例中，首先对所有得到的关键帧图像进行旋转，裁剪等图像增强处理，目的在于扩大关键帧图像的数量，并根据已知图像中分割目标的运动状态对关键帧图像进行标记，标记借助Labelme完成，标签0代表运动状态不处于违章行为，标签1代表运动状态处于违章行为，将关键帧图像与标签编码后的结果作为FCN的训练集，网络的优化算法为Adam，以交叉熵作为损失函数，网络训练完成后，将视频的每一个分帧图像作为输入送到网络中，输出是分帧图像中违章汽车的分割结果图像。根据分割结果图像，将不含违章汽车的分帧图像删除，保留包含违章状态汽车即分割目标的分帧图像，将这些分帧图像根据时间顺序连接起来，得到采集视频的结构化提取结果。

至此，获取到采集视频中对应分割目标违章状态的关键帧图像，完成对视频的结构化提取。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种用于视频结构化提取的精确分割方法，其特征在于，该方法包括以下步骤：

获取采集视频中的包含分割目标的分帧图像，将分帧图像作为匹配网络输入中的目标图像，根据分割目标的运动状态获取已知图像，将已知图像作为匹配网络输入中的源图像；

根据预设次数已知图像和分帧图像滤波结果获取预设数量纹理密度等级的滤波图像，将每次已知图像和分帧图像滤波程度相同的滤波结果作为相同纹理密度等级的滤波图像，根据已知图像和分帧图像同一纹理密度等级的滤波图像中空间位置相同的两个像素点的欧氏距离和特征值的差值获取像素点的区域特征影响指数以及影响半径；根据像素点的影响半径和特征值获取相同纹理密度等级已知图像和分帧图像中相同空间位置的两个像素点的匹配影响系数；

根据每个纹理密度等级下已知图像和分帧图像匹配影响系数计算结果获取预设数量中有效匹配指数的统计结果，将已知图像和分帧图像相同空间位置的两个像素点的匹配影响系数小于预设数量纹理密度等级中相同空间位置的两个像素点的所有匹配影响系数均值的纹理密度等级作为有效密度等级，根据预设数量纹理密度等级中有效密度等级对应的匹配影响系数获取已知图像和分帧图像中相同空间位置的两个像素点的特征相似度；

根据匹配网络获取已知图像和分帧图像的结果图像，根据结果图像中像素点的特征相似度的统计结果获取已知图像和分帧图像的区域相似度；根据采集视频中所有分帧图像与分割目标每个运动状态的已知图像的区域相似度排序结果获取每个已知图像对应的关键帧图像；利用语义分割网络获取关键帧图像中分割目标的运动状态，将包含违章状态的分割目标的分帧图像按照时间顺序连接得到采集视频的结构化提取结果；

其中，区域特征影响指数的计算公式为：

式中，

是与像素点i欧氏距离最小的边缘点，利用canny边缘检测技术获取已知图像和分帧图像中的边缘点，/>

是像素点i与其对应边缘点/>

的欧氏距离，/>

是像素点i的灰度值，/>

是边缘点/>

的灰度值，/>

是像素点i的区域特征影响指数；

其中，匹配影响系数的获取方法为：将空间位置相同像素点对应的影响半径作为搜索半径，将已知图像中像素点作为中心点，以搜索半径为半径的圆形区域作为空间位置相同像素点在匹配网络中的影响范围，获取以自然常数为底数，以相同空间位置两个像素点的灰度值差值为指数的值作为像素点的特征值，获取影响范围内所有像素点特征值的累加和，获取影响范围内像素点特征值与所有像素点特征值累加和的比值，将比值作为已知图像和分帧图像中相同空间位置的两个像素点对应的匹配影响系数；

其中，有效匹配指数的获取方法为：获取预设数量中每个纹理密度等级下已知图像和分帧图像中空间位置相同像素点的匹配影响系数，获取预设数量纹理密度等级中已知图像和分帧图像中像素点匹配影响系数的均值，将已知图像和分帧图像中相同空间位置的两个像素点的匹配影响系数大于匹配影响系数均值的纹理密度等级作为有效密度等级；获取预设数量纹理密度等级中所有作为有效密度等级的纹理密度等级对应的有效匹配指数。

2.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据分割目标的运动状态获取已知图像，包括的具体方法为：

将分割目标的运动状态人为分成正常运动状态和违章状态，将包含分割目标各种正常运动状态的图像作为模板图像，利用模板匹配算法从现有数据库中获取包含分割目标每种正常运动状态的图像，称为已知图像。

3.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据已知图像和分帧图像预设次数滤波结果获取预设数量纹理密度等级的滤波图像，包括具体方法为：

利用Gabor滤波器分别对已知图像和分帧图像进行预设次数的滤波，将每次与相同滤波频率进行滤波的分帧图像和已知图像的滤波结果作为相同纹理密度等级的滤波图像，根据预设次数的滤波结果获取预计数量纹理密度等级的滤波图像。

4.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据已知图像和分帧图像相同纹理密度等级的滤波图像中空间位置相同的两个像素点的欧氏距离和特征值的差值获取像素点的区域特征影响指数以及影响半径，包括的具体方法为：

式中，

是像素点i的区域特征影响指数，/>

是与像素点j欧氏距离最小的边缘点，

是像素点j与其对应边缘点/>

的欧氏距离，/>

是像素点j的灰度值，/>

是边缘点/>

的灰度值，/>

是像素点j的区域特征影响指数，/>

是像素点i区域特征指数/>

的绝对值，/>

是像素点j区域特征指数/>

的绝对值，/>

函数的含义是取括号内两个参数的最小值，L是像素点i，j匹配过程中的影响半径，像素点特征值为像素点的灰度值。

5.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据每个纹理密度等级下已知图像和分帧图像匹配影响系数计算结果获取预设数量中有效匹配指数的统计结果，包括具体方法为：

将预设数量中所有有效匹配指数的累加和作为统计结果。

6.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述获取已知图像和分帧图像中空间位置相同的两个像素点的特征相似度，包括的具体方法为：

式中，

是匹配过程中两个像素点的特征相似度，/>

是n个纹理密度等级下有效匹配指数的统计结果，/>

是纹理密度等级p下像素点的有效匹配指数，/>

是纹理密度等级p下两个像素点的匹配影响系数，/>

是n个纹理密度等级下匹配影响系数的均值, />

是纹理密度等级m下两个像素点的匹配影响系数。

7.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据匹配网络采用GLU-Net，利用GLU-Net获取已知图像和分帧图像的结果图像。

8.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据结果图像中像素点的特征相似度的统计结果获取已知图像和分帧图像的区域相似度，包括的具体方法为：

式中，

是已知图像A和第k帧分帧图像的区域相似度，N是输出图像A-k中像素点数量，输出图像A-k是匹配网络输入中第k帧分帧图像和已知图像A的匹配结果，p，q分别为已知图像A中的像素点p和第k幅分帧图像中的像素点q，/>

是像素点p与像素点q的特征相似度。

9.根据权利要求1所述的一种用于视频结构化提取的精确分割方法，其特征在于，所述根据采集视频中所有分帧图像与分割目标每个运动状态的已知图像的区域相似度排序结果获取每个已知图像对应的关键帧图像，包括的具体方法为：

将采集视频中每一个分帧图像与分割目标某个运动状态对应已知图像的区域相似度进行排序，将区域相似度最大值对应的分帧图像作为关键帧图像，将分割目标所有的运动状态分别作为已知图像，获取每个运动状态的已知图像对应的关键帧图像。

Images