CN114049380A - 目标物体定位追踪方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种目标物体定位追踪方法、装置、计算机设备和存储介质，包括：获取现场视频图像；采用光流法在所述现场视频图像中确定目标物体所在目标区域；根据所述目标区域确定目标视频图像；对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。通过本申请的技术方案，基于光流法获取视频图像中目标物体所在目标区域的初始定位，基于模板匹配或全局阈值分割方法对上述目标区域中目标物体进行精准定位，从而减少视频图像中大量背景信息的干扰，可有效提高目标物体跟踪定位的效率和准确性，特别适用于在自动化生产领域中对目标物体的实时定位拾取的场合。

Description

目标物体定位追踪方法、装置、计算机设备和存储介质

技术领域

本申请涉及定位追踪技术领域，尤其涉及一种目标物体定位追踪方法、装置、计算机设备和存储介质。

背景技术

近年来，随着智能化工业的快速发展，视觉测量及运动定位追踪技术在相应的诸多领域中得到了广泛应用。在自动化生产领域中，由于生产线中输送的工件形状和大小、工件在产线中位置以及日照情况等因素会发生变化，因此对于工件定位追踪的要求越来越高。

目前，在生产线上常用的机器视觉结合机器人通过模板匹配的方法来进行目标物体的定位跟踪，但有时因机器视觉识别的背景过于复杂，降低了目标物体的可辨析性，会出现误匹配或是匹配耗时过多的情况，很难实现对目标物体的实时定位拾取。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种目标物体定位追踪方法和装置。

本申请提供了一种目标物体定位追踪方法，包括：

获取现场视频图像；

采用光流法在所述现场视频图像中确定目标物体所在目标区域；

根据所述目标区域确定目标视频图像；

对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

可选地，根据所述目标区域确定目标视频图像包括：

将所述目标区域对应的视频图像进行二值化处理，获取二值化处理视频图像；

确定二值化处理视频图像的最小外接矩形；

对所述最小外接矩形进行膨胀处理，获取目标外接矩形；

将所述目标外接矩形对应区域的现场视频图像确定为目标视频图像。

可选地，所述对所述目标视频图像进行模板匹配，确定目标物体的位置包括：对所述目标视频图像基于轮廓特征进行模板匹配，确定目标物体的位置。

可选地，对所述目标视频图像进行全局阈值分割，确定目标物体的位置包括：

获取所述目标视频图像的像素灰度直方图；

根据所述像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域；

根据所述目标截取区域的中心坐标以及旋转角度确定目标物体的位置。

可选地，根据像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域，包括：

将所述像素灰度直方图中灰度值出现频率最高的灰度值与预设偏差值之和作为分割阈值；

根据所述分割阈值确定目标截取区域。

可选地，根据所述目标截取区域的中心坐标以及旋转角度确定目标物体的位置包括：

获取所述目标截取区域的多个图像轮廓凸包线；

计算多个所述图像轮廓凸包线的旋转角度；所述图像轮廓凸包线旋转所述旋转角度后，所述图像轮廓凸包线平行于图像坐标系的X轴；

根据每个旋转所述旋转角度后的所述目标截取区域的图像轮廓确定最小外接矩形；

根据最小面积的最小外接矩形的中心坐标以及所对应的图像轮廓凸包线旋转角度确定目标物体的位置。

可选地，所述采用光流法在所述现场视频图像中确定目标物体所在目标区域包括：

基于梯度的光流法在所述现场视频图像中确定目标物体所在目标区域。

本申请提供一种目标物体定位追踪装置，包括：

现场视频图像获取模块，用于获取现场视频图像；

目标区域获取模块，用于采用光流法在所述现场视频图像中确定目标物体所在目标区域；

目标视频图像确定模块，用于根据所述目标区域确定目标视频图像；

目标物体位置确定模块，用于对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述任意所述的目标物体定位追踪方法的步骤。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意所述的目标物体定位追踪方法的步骤。

本申请提供的技术方案相对于现有技术的有益效果：

本申请提供了一种目标物体定位追踪方法、装置、计算机设备和存储介质，包括：获取现场视频图像；采用光流法在所述现场视频图像中确定目标物体所在目标区域；根据所述目标区域确定目标视频图像；对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。由此，通过视频拍摄设备获取现场中包含目标物体的现场视频图像，基于光流法获取现场视频图像中目标物体所在目标区域的初始定位，同时针对目标物体所在区域图像进行处理，有效保证目标物体完全落入目标区域中；然后基于模板匹配或全局阈值分割方法对上述目标区域中目标物体进行精准定位，从而减少视频图像中大量背景信息的干扰，可进一步提高目标物体跟踪定位的效率和准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种目标物体定位追踪方法的具体流程示意图；

图2为本申请实施例提供的一种根据目标区域确定目标视频图像的具体流程示意图；

图3为本申请实施例提供的一种对目标视频图像进行全局阈值分割，确定目标物体位置的具体流程示意图；

图4为本申请实施例提供的一种根据目标截取区域的中心坐标以及旋转角度确定目标物体的位置的具体流程示意图；

图5为本申请实施例提供的一种目标物体定位追踪装置结构示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面将结合附图和实施例对本申请的方案作进一步的详细说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

图1为本申请实施例提供的一种目标物体定位追踪方法的具体流程示意图，参照图1，该方法包括以下步骤：

S110、获取现场视频图像；

其中，可以通过视频拍摄设备拍摄包含目标物体的现场视频图像，用以确定目标物体的所在图像区域。

可以理解的是，获取现场视频图像获取设备可以是工业相机、扫描仪等，还可采用本领域技术人员可知的其他获取现场视频图像的设备，本申请实施例在此不限定。

S120、采用光流法在所述现场视频图像中确定目标物体所在目标区域；

需要说明的是，在获取的现场视频图像中，设定图像中每个像素点包含一个对应的速度矢量（包括大小和方向）时，则视频图像中所有像素点的速度矢量会形成一个光流场。光流场反映了视频图像上每个像素点的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。基于此，图像像素点的灰度值变化可看作是光流的移动，而光流是由于拍摄场景中目标物体本身的移动、相机的运动，或者两者的共同运动所产生的。

在实际应用中，获取现场视频图像的设备可能是动态的，目标物体的背景也是动态改变的，即当目标物体与背景发生相对运动时，目标物体图像的光流速度和背景图像不同，从而引起图像像素点的灰度值变化，进而获取到光流场的变化区域，用以确定目标物体所在的目标区域。

S130、根据所述目标区域确定目标视频图像；

利用上述各步骤确定出目标物体所在的目标区域后，可以在现场视频图像中截取目标区域对应的视频图像，即目标视频图像。该步骤相当于在获取的现场视频图像中进一步缩小包含目标物体的图像搜索范围。

S140、对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

可以理解的是，为确定目标物体的位置，需要针对目标视频图像中目标物体与背景进行有效的区分，从而获取目标物体的几何特征及位置信息。其中，可以采用模板匹配方式，将目标视频图像与待匹配模板进行匹配，用以定位目标物体的位置；还可以利用全局阈值分割方式，对目标物体信息进行分割提取，从而确定目标物体的位置。

在其他实施方式中，还可采用本领域技术人员可知的其他方式直接或间接确定目标物体的位置，本申请实施例对此不限定。

由此，通过获取包含目标物体的现场视频图像，基于光流法获取现场视频图像中目标物体所在的目标区域，定位出目标物体的大致位置，然后基于模板匹配或全局阈值分割方法对处于上述目标区域中的目标物体进行精准定位，从而减少了视频图像中大量背景信息的干扰，有效提高了目标物体跟踪定位的效率和准确性。

图2为本申请实施例提供的一种根据目标区域确定目标视频图像的具体流程示意图，参照图2，包括以下步骤：

S210、将所述目标区域对应的视频图像进行二值化处理，获取二值化处理视频图像。

其中，在目标区域对应的视频图像中会包含目标物体、背景及噪声等图像信息。本申请通过对目标区域对应的视频图像进行二值化处理，例如可以通过设定一个适当的阈值T，用阈值T将目标区域对应的视频图像分成两部分，包括大于T的像素群和小于T的像素群，并将大于T的像素群的像素值设定为白色（或者黑色），小于T的像素群的像素值设定为黑色（或者白色），从而将目标区域对应的视频图像的有效信息分离出来。

S220、确定二值化处理视频图像的最小外接矩形。

具体地，在包含目标物体的二值化处理视频图像中，获取多个包含目标物体的外接矩形区域边界，根据各个外接矩形区域相应边界点的坐标值，计算和比较各个包含目标物体的外接矩形的面积大小，用以获取在包含目标物体的二值化处理视频图像中面积最小的最小外接矩形。

如此设置，通过获取视频图像的最小外接矩形，可缩小包含目标物体视频图像的处理范围，从而减小后续目标物体匹配和识别的计算量，进而有效提高目标物体跟踪定位的效率。

S230、对所述最小外接矩形进行膨胀处理，获取目标外接矩形。

需要说明的是，将最小外接矩形进行图像形态学的膨胀处理，用以避免经过二值化后最小外接矩形易出现图像断裂，而造成目标物体处于最小外接矩形边缘的现象，从而保证后续目标物体进行模板匹配的准确性。所述膨胀处理，是通过在所述最小外接矩形的边缘添加像素值，使得图像整体的像素值扩张，进而达到图像的膨胀效果，以获取目标外接矩形。

S240、将所述目标外接矩形对应区域的现场视频图像确定为目标视频图像。

由此，根据确定的目标视频图像，为后续目标物体进行精准定位提供了目标模板匹配或阈值分割的视频图像，有利于提高实现目标物体精确跟踪定位的效率。

在一些实施例中，可选的，所述对所述目标视频图像进行模板匹配，确定目标物体的位置包括：对所述目标视频图像基于轮廓特征进行模板匹配，确定目标物体的位置。

可以理解的是，基于轮廓特征进行模板匹配的方式只针对目标视频图像轮廓进行图像模板匹配，匹配速度快，效率高，同时在处理图像轮廓带有旋转和缩放的情况时具有很好的适应性。另外，基于轮廓特征的待匹配目标模板可以不从现场图像中获取，而利用二维图像处理软件将包含目标物体的二维图纸直接进行轮廓数据生成而获得，从而有效提高了匹配模板的准确性。

在其他实施方式中，还可采用本领域技术人员可知的其他类型的模板匹配方式对目标物体的位置进行确定，例如：ncc模板匹配、基于点匹配、基于描述符匹配等方式，本申请实施例对此不限定。

图3为本申请实施例提供的一种对目标视频图像进行全局阈值分割，确定目标物体位置的具体流程示意图，参照图3，包括以下步骤：

S310、获取所述目标视频图像的像素灰度直方图。

其中，视频图像的像素灰度直方图能够反映视频图像中各灰度级像素点出现的频率与灰度级之间的关系，通过获取目标视频图像的像素灰度直方图，得到图像中各个像素点的灰度频率分布区间，用以作为后续设置目标图像截取分割阈值的依据，便于确定有效可靠的目标截取区域。

S320、根据所述像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域。

可以理解的是，目标截取区域边界通常不是界限分明的，因此需要通过设置分割阈值来确定目标截取区域。如果阈值选取过小，很有可能会将目标区域的点排除在外，分割得到的区域偏小，反之如果阈值选取过大，则会造成分割区域被扩大，甚至分辨不出目标截取区域边界。

在一些实施例中，可选的，根据像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域，包括：

将所述像素灰度直方图中灰度值出现频率最高的灰度值与预设偏差值之和作为分割阈值；

根据所述分割阈值确定目标截取区域。

具体地，通过获取的像素灰度直方图，在所述像素灰度直方图统计视频图像中各个灰度像素点的数目，得到相应的灰度频率分布区间，并以所述像素灰度直方图中灰度值出现频率最高的灰度值与预设灰度偏差之和作为分割阈值。预设偏差值为零时，出现频率最高的灰度值即为分割阈值。预设灰度偏差大于零时，即，将比最高频率灰度值大于一定值的灰度值作为分割阈值。预设灰度偏差小于零时，即，将比最高频率灰度值小一定值的灰度值作为分割阈值。

在其他实施方式中，还可采用本领域技术人员可知的其他设置分割阈值的方式用于确定目标截取区域，本申请实施例对此不限定。

S330、根据所述目标截取区域的中心坐标以及旋转角度确定目标物体的位置。

由于通过上述各步骤可以确定目标截取区域。目标截取区域即为能够表征目标物体精确位置的区域，因此本申请实施例可以通过计算目标截取区域的中心坐标以及旋转角度确定目标物体的位置。

图4为本申请实施例提供的一种根据目标截取区域的中心坐标以及旋转角度确定目标物体的位置的具体流程示意图，参照图4，包括以下步骤：

S410、获取所述目标截取区域的多个图像轮廓凸包线。

可以理解的是，图像轮廓凸包线是图像中一系列最外层的点连接起来所构成的凸多边形曲线，能够代表了图像区域的基本外形。具体地，在目标截取区域中依次获取多个图像中由一系列最外层点构成的凸多边形曲线，用以确定目标物体所在位置的轮廓区域。

S420、计算多个所述图像轮廓凸包线的旋转角度；所述图像轮廓凸包线旋转所述旋转角度后，所述图像轮廓凸包线平行于图像坐标系的X轴。

具体地，通过选取每个图像轮廓凸包线中任意一条边AB作为起始边，并设两点坐标分别为A(x₁, y₁)，B(x₂, y₂)，其中以A点为中心点旋转一定θ角度，使该边AB平行于坐标横轴，其中旋转角度θ可由下式求得：

。

S430、根据每个旋转所述旋转角度后的所述目标截取区域的图像轮廓确定最小外接矩形。

具体地，仍然以边AB为例，以A点为中心点旋转一定θ角度后，将边AB为一个上边界，找到图像轮廓中沿图像坐标系y方向坐标值的最小值点作为下侧点，经过该点作一条平行于x轴方向的直线，从而确定了所述外接矩形的下边界；同时找到沿图像坐标系中x方向上坐标最小值点作为左侧点，x方向上坐标最大点作为右侧点，经过上述两点分别做垂直于x轴方向的两条直线，从而确定了所述外接矩形的左边界和右边界，由此利用图像轮廓得到图像外接矩形。

基于此，多次选取包含目标物体的图像轮廓凸包线的，重复上述步骤获取相应多个外接矩形，通过计算和比较各个外接矩形的顶点坐标和面积，以确定面积最小的上述最小外接矩形。

S440、根据最小面积的最小外接矩形的中心坐标以及所对应的图像轮廓凸包线旋转角度确定目标物体的位置。

具体地，通过最小外接矩形的顶点坐标计算出最小外接矩形的中心坐标，其中，最小外接矩形边界上四个顶点坐标分别为：

(a₁，b₁)，(a₂，b₂)， (a₃, b₃)，(a₄, b₄)；则最小外接矩形的中心点坐标分别为

；即为目标物体的中心坐标，目标物体的旋转角度为外接矩形的旋转角度θ，从而确定目标物体的位置。

在一些实施例中，可选的，所述采用光流法在所述现场视频图像中确定目标物体所在目标区域包括：基于梯度的光流法在所述现场视频图像中确定目标物体所在目标区域。

需要说明的是，基于梯度的光流法是利用视频图像序列灰度的时空微分（即时空梯度函数）计算像素点的速度矢量，当目标物体与背景发生相对运动时，会造成带有灰度的像素点在图像平面上运动而产生的瞬时速度，从而识别出发生速度矢量变化所在的区域范围，进而实现所述目标区域的初步定位。

在其他实施方式中，还可采用本领域技术人员可知的其他光流算法方式来确定目标物体所在目标区域，例如基于匹配的光流算法、基于能量的光流算法等，本申请实施例对此不限定。

图5为本申请实施例提供的一种目标物体定位追踪装置结构示意图，该目标物体定位追踪装置包括：现场视频图像获取模块11、目标区域获取模块12、目标视频图像确定模块13以及目标物体位置确定模块14。

其中，现场视频图像获取模块11，用于获取现场视频图像；

目标区域获取模块12，用于采用光流法在所述现场视频图像中确定目标物体所在目标区域；

目标视频图像确定模块13，用于根据所述目标区域确定目标视频图像；

目标物体位置确定模块14，用于对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

本申请通过获取现场中包含目标物体的视频图像，基于光流法获取视频图像中目标物体所在目标区域的初始定位，同时针对目标物体所在区域图像进行处理，有效保证目标物体完全落入目标区域中；基于模板匹配或全局阈值分割方法对上述目标区域中目标物体进行精准定位，从而减少了视频图像中大量背景信息的干扰，有效提高了目标物体跟踪定位的效率和准确性。

本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述应用于任意实施例所述一种目标物体定位追踪方法的步骤。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现可实现如上述应用于任意实施例所述一种目标物体定位追踪方法的步骤。

需要说明的是，可读存储介质的例子包括但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（Random Access Memory，RAM）、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Electrical Programmable Read Only Memory，EPROM)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请的上述实施例提供的存储介质与本申请实施例提供的多套拍照式扫描仪数据拼接方法出于相同的发明构思，具有与其存储的应用程序或指令所采用、运行或实现的方法相同的有益效果。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种目标物体定位追踪方法，其特征在于，包括：

获取现场视频图像；

采用光流法在所述现场视频图像中确定目标物体所在目标区域；

根据所述目标区域确定目标视频图像；

对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

2.根据权利要求1所述的目标物体定位追踪方法，其特征在于，所述根据所述目标区域确定目标视频图像包括：

将所述目标区域对应的视频图像进行二值化处理，获取二值化处理视频图像；

确定二值化处理视频图像的最小外接矩形；

对所述最小外接矩形进行膨胀处理，获取目标外接矩形；

将所述目标外接矩形对应区域的现场视频图像确定为目标视频图像。

3.根据权利要求1所述的目标物体定位追踪方法，其特征在于，所述对所述目标视频图像进行模板匹配，确定目标物体的位置包括：

对所述目标视频图像基于轮廓特征进行模板匹配，确定目标物体的位置。

4.根据权利要求1所述的目标物体定位追踪方法，其特征在于，所述对所述目标视频图像进行全局阈值分割，确定目标物体的位置包括：

获取所述目标视频图像的像素灰度直方图；

根据所述像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域；

根据所述目标截取区域的中心坐标以及旋转角度确定目标物体的位置。

5.根据权利要求4所述的目标物体定位追踪方法，其特征在于，所述根据所述像素灰度直方图确定分割阈值，并根据所述分割阈值确定目标截取区域，包括：

将所述像素灰度直方图中灰度值出现频率最高的灰度值与预设偏差值之和作为分割阈值；

根据所述分割阈值确定目标截取区域。

6.根据权利要求4所述的目标物体定位追踪方法，其特征在于，所述根据所述目标截取区域的中心坐标以及旋转角度确定目标物体的位置包括：

获取所述目标截取区域的多个图像轮廓凸包线；

计算多个所述图像轮廓凸包线的旋转角度；所述图像轮廓凸包线旋转所述旋转角度后，所述图像轮廓凸包线平行于图像坐标系的X轴；

根据每个旋转所述旋转角度后的所述目标截取区域的图像轮廓确定最小外接矩形；

根据最小面积的最小外接矩形的中心坐标以及所对应的图像轮廓凸包线旋转角度确定目标物体的位置。

7.根据权利要求1所述的目标物体定位追踪方法，其特征在于，所述采用光流法在所述现场视频图像中确定目标物体所在目标区域包括：

基于梯度的光流法在所述现场视频图像中确定目标物体所在目标区域。

8.一种目标物体定位追踪装置，其特征在于，包括：

现场视频图像获取模块，用于获取现场视频图像；

目标区域获取模块，用于采用光流法在所述现场视频图像中确定目标物体所在目标区域；

目标视频图像确定模块，用于根据所述目标区域确定目标视频图像；

目标物体位置确定模块，用于对所述目标视频图像进行模板匹配或全局阈值分割，确定目标物体的位置。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images