CN106875369A - 实时动态目标跟踪方法及装置 - Google Patents
实时动态目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN106875369A CN106875369A CN201710191881.3A CN201710191881A CN106875369A CN 106875369 A CN106875369 A CN 106875369A CN 201710191881 A CN201710191881 A CN 201710191881A CN 106875369 A CN106875369 A CN 106875369A
- Authority
- CN
- China
- Prior art keywords
- dimensional image
- frame difference
- matrix
- image
- treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000011159 matrix material Substances 0.000 claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000005352 clarification Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- RMMXTBMQSGEXHJ-UHFFFAOYSA-N Aminophenazone Chemical compound O=C1C(N(C)C)=C(C)N(C)N1C1=CC=CC=C1 RMMXTBMQSGEXHJ-UHFFFAOYSA-N 0.000 description 1
- 229960000212 aminophenazone Drugs 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种实时动态目标跟踪方法及装置，涉及图像处理的技术领域，其中，一种实时动态目标跟踪方法，包括：采集目标的三维图像；对三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵；对二维图像进行图像预处理；对预处理后的二维图像和图像深度矩阵进行帧差分处理；对帧差分处理后的二维图像进行凸包检测并计算凸包的质心；对帧差分处理后的图像深度矩阵进行滤波；将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵；根据凸包的质心对目标团块矫正矩阵进行目标标记和路径跟踪。解决了现有动态目标追踪在鲁棒性或实时性存在不足的技术问题，达到了提高动态目标追踪的鲁棒性或实时性的技术效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种实时动态目标跟踪方法及装置。
背景技术
现有技术的目标跟踪主要通过两种方式实现，一种方式是运用生成的模型描述子描述目标的特征，通过搜索待定目标的特征实现目标的跟踪，有代表性的算法有稀疏编码，在线密度估计等。稀疏编码和在线密度估计等算法着眼于对目标本身的描述，忽略了背景信息，在目标为非刚体或被遮挡的情况下会产生漂移；另一种方式是通过训练分类器来实现跟踪目标。代表性的算法有MeanShift和典型的DLT深度学习算法。MeanShift采用目标的颜色直方图作为搜索特征，不断迭代MeanShift向量使得算法收敛于目标的真实位置，从而达到区分目标和跟踪的目的，MeanShift算法对边缘遮挡、目标旋转、变形和背景运动不敏感。典型的DLT深度学习算法采用辅助训练数据进行预训练，获取目标初略特征，实际跟踪时微调整预训练模型，增强其分类性能。这些算法在鲁棒性和实时性方面都或多或少存在不尽人意的地方。
发明内容
有鉴于此，本发明的目的在于提供一种实时动态目标跟踪方法及装置，以缓解现有技术的目标跟踪在鲁棒性和实时性较差的技术问题。
第一方面，本发明实施例提供了一种实时动态目标跟踪方法，包括以下步骤：
采集目标的三维图像；
对三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵；
对二维图像进行图像预处理，生成预处理后的二维图像；
对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分处理后的二维图像和帧差分处理后的图像深度矩阵；
对帧差分处理后的二维图像进行凸包检测并计算凸包的质心；
对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；
将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，得到目标团块矫正矩阵；
根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在图像通道分割处理前或帧差分处理前还包括帧分割处理，具体方法为：
在图像通道分割处理之前对三维图像进行等帧数分组；
或在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，帧差分处理为三帧差分处理。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，三帧差分处理为帧间差分法、索贝尔算子或背景差分算法。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，预处理方法包括全局阈值化、局部自适应阈值化、高斯模糊、高斯金字塔和拉普拉斯金字塔中的一种或多种。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，生成目标团块矫正矩阵，具体为：
对帧差分后的二维图像进行形态学处理生成目标轮廓矩阵，将目标轮廓矩阵和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，对帧差分处理后的二维图像进行凸包检测并计算凸包的质心，具体为：
对帧差分处理后的二维图像进行形态学处理生成目标轮廓矩阵，对目标轮廓矩阵进行凸包检测并计算凸包的质心。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，滤波处理为低通滤波处理。
第二方面，本发明实施例还提供一种实时动态目标跟踪装置，包括：
图像采集模块，用于采集目标的三维图像；
分割模块，用于对三维图像进行通道分割处理，生成二维图像和图像深度矩阵；
图像预处理模块，用于对二维图像进行图像预处理，得到预处理后的二维图像；
帧差分处理模块，用于对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分后的二维图像和帧差分后的图像深度矩阵；
凸包检测模块，用于对所述帧差分处理后的二维图像进行凸包检测并计算所述凸包的质心；
滤波模块，用于对帧差分后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；
融合模块，用于将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵；
目标标记和跟踪模块，用于根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括帧分组模块；
用于在图像通道分割处理之前对三维图像进行等帧数分组；
或用于在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。
本发明实施例带来了以下有益效果：
本发明提供了一种实时动态目标跟踪方法，将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；对二维图像进行图像预处理，对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，然后对帧差分后的二维图像进行凸包检测，并计算凸包的质心；将帧差分后的图像深度矩阵进行滤波后与帧差分处理后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和帧差分处理后的二维图像融合后实现了对目标轮廓的双重定位，根据质心对目标团块矫正矩阵进行目标标记和路径跟踪，提高了对柔性目标实时跟踪的准确率。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的实时动态目标跟踪方法的第一种实施方式的流程图；
图2为本发明实施例1提供的实时动态目标跟踪方法的第二种实施方式的流程图；
图3为本发明实施例1提供的实时动态目标跟踪方法的第三种实施方式的流程图；
图4为本发明实施例1提供的实时动态目标跟踪方法的第四种实施方式的流程图；
图5为本发明实施例2提供的实时动态目标跟踪装置的第一种实施方式的示意图；
图6为本发明实施例2提供的实时动态目标跟踪装置的第二种实施方式的示意图；
图7为本发明实施例2提供的实时动态目标跟踪装置的第三种实施方式的示意图；
图8为本发明实施例2提供的实时动态目标跟踪装置的第四种实施方式的示意图。
图标：101-图像采集模块；102-分割模块；103-图像预处理模块；104-帧差分处理模块；105-凸包检测模块；106-滤波模块；107-融合模块；108-目标标记和跟踪模块；110-帧分组模块；111-形态学处理模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的实时动态目标跟踪方法在鲁棒性或实时性存在不足，基于此，本发明实施例提供的一种实时动态目标跟踪方法及装置，可以提高实时动态目标追踪的鲁棒性或实时性。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种实时动态目标跟踪方法进行详细介绍。
实施例1：
如图1所示，本发明实施例提供了一种实时动态目标跟踪方法，具体步骤如下：
S100.采集目标的三维图像。
通过深度摄像头连续实时采集动态目标的三维图像。本实施例中的动态目标可以是柔性目标，也可以是非柔性目标。
S102.对三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵。
对每一帧三维图像进行图像通道分割，分离出二维图像和深度矩阵，然后对二维图像和深度矩阵分别进行处理。
S104.对二维图像进行图像预处理，得到预处理后的二维图像。
二维图像的预处理方法优选为全局阈值化、局部自适应阈值化、高斯模糊、高斯金字塔和拉普拉斯金字塔中的一种或几种。全局阈值化、局部自适应阈值算法进行二值化消除光照影响；采用高斯模糊、高斯金字塔和拉普拉斯金字塔消除噪音等。通过上述预处理方法实现图像的光照均衡。
S106.对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分处理后的二维图像和帧差分处理后的图像深度矩阵。
帧差分处理可以是三帧或五帧差分法，优选采用三帧差分法，比如：帧间差分法、索贝尔算子或背景差分算法。
S108.对帧差分处理后的二维图像进行凸包检测并计算凸包的质心。
通过质心实现对凸包的标记和跟踪，降低了目标跟踪的数据运算量，同时提高了目标跟踪的准确率，实现了动态目标追踪的实时性。
S110.对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵。
优选通过低通滤波器对帧差分处理后的图像深度矩阵进行滤波，以剔除帧差分处理后的图像深度矩阵中的正数。
S112.将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。
将帧差分处理后的二维图像和滤波后的图像深度矩阵进行坐标融合，由于滤波后的图像深度矩阵也包含目标轮廓信息，因此，将均包含目标轮廓信息的两矩阵信息进行融合可以精确定位目标团块的坐标及轮廓。
S114.根据质心对目标团块矫正矩阵进行目标标记和路径跟踪。
根据质心对目标团块矩阵对进行标记并保存记录，实现目标团块质心的实时定位，而且输出结果可以作为各种需要跟踪目标的实际应用的后续输入数据。
将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；对二维图像进行图像预处理，对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，然后对帧差分后的二维图像进行凸包检测，并计算凸包的质心；将帧差分后的图像深度矩阵进行滤波后与帧差分处理后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和帧差分处理后的二维图像融合后实现了对目标轮廓的双重定位，根据质心对目标团块矫正矩阵进行目标标记和路径跟踪，提高了对柔性目标实时跟踪的准确率。
如图2所示，作为本发明的另一种实施方式，在步骤S102之前还包括：
步骤S101.对三维图像进行等帧数分组。
根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则三维图像的分组为每三帧一组；若选择五帧差分法，则三维图像的分组为每五帧一组。三维图像等帧数分组后，在步骤S102中，对每一组三维图像中的每一帧图像进行图像通道分割。
如图3所示，作为本发明的另一种实施方式，在步骤S106之前还包括：
S105.对所述预处理后的二维图像进行等帧数分组。
此步骤中，将预处理后的二维图像根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则预处理后的二维图像的分组为每三帧一组，若选择五帧差分法，则预处理后的二维图像的分组为每五帧一组。
另外，对于等帧数分组，也可以在二维图像进行预处理前进行等帧数分组，将二维图像根据选择的具体的帧差分方法选择相应的帧数分组，比如，若选择三帧差分法，则二维图像的分组为每三帧一组，若选择五帧差分法，则二维图像的分组为每五帧一组。
如图4所示，作为本发明的另一种实施方式，在步骤S106之后的优选实施方式为：
S107.对帧差分后的二维图像进行形态学处理，生成目标轮廓矩阵。
本步骤对帧差分处理后的二维图像进行形态学处理生成目标轮廓矩阵，且形态学处理方法优选腐蚀或膨胀，通过腐蚀去掉毛刺，去掉孤立的0像素；通过膨胀填充边缘或0像素内部的孔。
S108.对目标轮廓矩阵进行凸包检测并计算凸包的质心。
S110.对帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵。
S112.将目标轮廓矩阵和滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。
S114.根据目标团块矫正矩阵进行目标标记并跟踪路径。
实施例2：
如图5所示，本实施例提供了一种实时动态目标跟踪装置，包括图像采集模块101、分割模块102、图像预处理模块103、帧差分处理模块104、凸包检测模块105、滤波模块106、融合模块107、目标标记和跟踪模块108，图像采集模块101用于采集目标的三维图像；分割模块102用于对三维图像进行通道分割处理，生成二维图像和图像深度矩阵；图像预处理模块103用于对二维图像进行图像预处理，得到预处理后的二维图像；帧差分处理模块104用于对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，得到帧差分后的二维图像和帧差分后的图像深度矩阵；凸包检测模块105用于对帧差分后的二维图像进行凸包检测并计算凸包的质心；滤波模块106用于对帧差分后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；融合模块107用于将帧差分后的二维图像和滤波后的图像深度矩阵进行坐标融合，得到目标团块矫正矩阵；目标标记和跟踪模块108用于根据凸包的质心对目标团块矫正矩阵进行目标标记和路径跟踪。
通过通道分割模块102将采集的目标的三维图像进行通道分割生成二维图像和图像深度矩阵；通过预处理模块对二维图像进行图像预处理，通过帧差分处理模块104对预处理后的二维图像和图像深度矩阵分别进行帧差分处理，通过凸包检测模块105用于对帧差分后的二维图像进行凸包检测和凸包质心的计算；通过融合模块107将帧差分后的图像深度矩阵进行滤波后与帧差分后的二维图像进行坐标融合生成目标团块矫正矩阵，因为帧差分后的图像深度矩阵也包含轮廓信息，因此滤波后的深度矩阵和目标轮廓矩阵融合后实现了对目标轮廓的双重定位，根据目标团块矫正矩阵进行目标标记并跟踪路径。
如图6和图7所示，作为本实施例的另一种实施方式，实时动态目标跟踪装置还包括帧分组模块110，用于在图像通道分割处理之前对三维图像进行等帧数分组；或用于在帧差分处理前对二维图像或预处理后的二维图像进行等帧数分组。即图像的等帧数分组，可以在在图像通道分割处理前即对三维图像进行等帧数分组；或是在二维图像预处理之前对二维图像进行等帧数分组；或是对预处理后的二维图像进行等帧数分组，然后将分组后的设定帧数的二维图像直接进行帧差分处理。
本实施例中的帧差分处理是三帧差分法或五帧差分法或是其他帧差分方法。
需要说明的是，本实施例中的差分方法、预处理方法如实施例1中所述，在此不予赘述。
如图8所示，作为本实施例的另一种实施方式，实时动态目标跟踪装置还包括形态学处理模块111，用于对帧差分后的二维图像进行形态学处理，生成目标轮廓矩阵。凸包检测模块105和融合模块107均基于形态学处理模块111生成的目标轮廓矩阵。本实施例中的形态学算法优选为膨胀或腐蚀。
本发明实施例提供的实时动态目标跟踪装置，与上述实施例提供的实时动态目标跟踪方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
本发明实施例所提供的实时动态目标跟踪方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种实时动态目标跟踪方法，其特征在于，包括以下步骤：
采集所述目标的三维图像；
对所述三维图像进行图像通道分割处理，生成二维图像和图像深度矩阵；
对所述二维图像进行图像预处理，生成预处理后的二维图像；
对所述预处理后的二维图像和所述图像深度矩阵分别进行帧差分处理，得到帧差分处理后的二维图像和帧差分处理后的图像深度矩阵；
对所述帧差分处理后的二维图像进行凸包检测并计算所述凸包的质心；
对所述帧差分处理后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；
将所述帧差分处理后的二维图像和所述滤波后的图像深度矩阵进行坐标融合，生成目标团块矫正矩阵；
根据所述质心对所述目标团块矫正矩阵进行目标标记和路径跟踪。
2.根据权利要求1所述的方法，其特征在于，在所述图像通道分割处理前或所述帧差分处理前还包括帧分割处理，具体为：
在所述图像通道分割处理之前对所述三维图像进行等帧数分组；
或在所述帧差分处理前对所述二维图像或所述预处理后的二维图像进行等帧数分组。
3.根据权利要求1所述的方法，其特征在于，所述帧差分处理为三帧差分处理。
4.根据权利要求3所述的方法，其特征在于，所述三帧差分处理为帧间差分法、索贝尔算子或背景差分算法。
5.根据权利要求1所述的方法，其特征在于，所述预处理包括全局阈值化、局部自适应阈值化、高斯模糊、高斯金字塔和拉普拉斯金字塔中的一种或多种。
6.根据权利要求1所述的方法，其特征在于，所述将所述帧差分处理后的二维图像和所述滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵，具体为：
对所述帧差分后的二维图像进行形态学处理，生成目标轮廓矩阵，将所述目标轮廓矩阵和所述滤波后的图像深度矩阵进行坐标融合生成目标团块矫正矩阵。
7.根据权利要求1所述的方法，其特征在于，所述对所述帧差分处理后的二维图像进行凸包检测并计算所述凸包的质心，具体为：
对所述帧差分处理后的二维图像进行形态学处理生成目标轮廓矩阵，对所述目标轮廓矩阵进行凸包检测并计算所述凸包的质心。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述滤波处理为低通滤波处理。
9.一种实时动态目标跟踪装置，其特征在于，包括：
图像采集模块，用于采集所述目标的三维图像；
分割模块，用于对所述三维图像进行通道分割处理，生成二维图像和图像深度矩阵；
图像预处理模块，用于对所述二维图像进行图像预处理，得到预处理后的二维图像；
帧差分处理模块，用于对所述预处理后的二维图像和所述图像深度矩阵分别进行帧差分处理，得到帧差分后的二维图像和帧差分后的图像深度矩阵；
凸包检测模块，用于对所述帧差分处理后的二维图像进行凸包检测并计算所述凸包的质心；
滤波模块，用于对所述帧差分后的图像深度矩阵进行滤波，得到滤波后的图像深度矩阵；
融合模块，用于将所述帧差分处理后的二维图像和所述滤波后的图像深度矩阵进行坐标融合，生成目标团块矫正矩阵；
目标标记和跟踪模块，用于根据所述质心对所述目标团块矫正矩阵进行目标标记和路径跟踪。
10.根据权利要求9所述的装置，其特征在于，还包括帧分组模块；
用于在所述图像通道分割处理之前对所述三维图像进行等帧数分组；
或用于在所述帧差分处理前对所述二维图像或所述预处理后的二维图像进行等帧数分组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710191881.3A CN106875369B (zh) | 2017-03-28 | 2017-03-28 | 实时动态目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710191881.3A CN106875369B (zh) | 2017-03-28 | 2017-03-28 | 实时动态目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106875369A true CN106875369A (zh) | 2017-06-20 |
| CN106875369B CN106875369B (zh) | 2020-01-03 |
Family
ID=59160119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710191881.3A Active CN106875369B (zh) | 2017-03-28 | 2017-03-28 | 实时动态目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106875369B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112019892A (zh) * | 2020-07-23 | 2020-12-01 | 深圳市玩瞳科技有限公司 | 客户端服务端分离的行为识别方法、装置及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007076890A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Segmentation of video sequences |
| CN105138990A (zh) * | 2015-08-27 | 2015-12-09 | 湖北师范学院 | 一种基于单目摄像头的手势凸包检测与掌心定位方法 |
| CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术（北京）有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
-
2017
- 2017-03-28 CN CN201710191881.3A patent/CN106875369B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007076890A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Segmentation of video sequences |
| CN105138990A (zh) * | 2015-08-27 | 2015-12-09 | 湖北师范学院 | 一种基于单目摄像头的手势凸包检测与掌心定位方法 |
| CN106407947A (zh) * | 2016-09-29 | 2017-02-15 | 百度在线网络技术（北京）有限公司 | 用于无人驾驶车辆的目标物体识别方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| CHUNJUAN BO等: "Online Object Tracking Based on Convex Hull Representation", 《2016 IEEE 22ND INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEMS》 * |
| DERRY ALAMSYAH等: "Particle Filter for 3D Fingertips Tracking from Color and Depth Images with Occlusion Handling", 《ICACSIS 2013》 * |
| 李长龙: "基于Kinect深度图像的手势识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 郑继冬: "视频监控中船只目标检测与遮挡处理的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112019892A (zh) * | 2020-07-23 | 2020-12-01 | 深圳市玩瞳科技有限公司 | 客户端服务端分离的行为识别方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106875369B (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Object tracking by jointly exploiting frame and event domain | |
| CN105825173B (zh) | 通用道路和车道检测系统与方法 | |
| Gurghian et al. | Deeplanes: End-to-end lane position estimation using deep neural networksa | |
| Du et al. | Car detection for autonomous vehicle: LIDAR and vision fusion approach through deep learning framework | |
| CN103546726B (zh) | 违章用地的自动发现方法 | |
| CN111091091A (zh) | 目标对象重识别特征的提取方法、装置、设备及存储介质 | |
| CN107705324A (zh) | 一种基于机器学习的视频目标检测方法 | |
| CN104217417B (zh) | 一种视频多目标跟踪的方法及装置 | |
| CN106127788A (zh) | 一种视觉避障方法和装置 | |
| CN108647694A (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
| CN109214403A (zh) | 图像识别方法、装置及设备、可读介质 | |
| EP2813973B1 (en) | Method and system for processing video image | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN109753884A (zh) | 一种基于关键帧提取的视频行为识别方法 | |
| CN115861968A (zh) | 一种基于实时点云数据的动态障碍物剔除方法 | |
| CN113689464A (zh) | 一种基于孪生网络的自适应多层响应融合的目标跟踪方法 | |
| CN107948586A (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| Ge et al. | Three-dimensional location methods for the vision system of strawberry-harvesting robots: development and comparison | |
| CN118096815A (zh) | 一种基于机器视觉的道路非常态事件检测系统 | |
| CN105791686A (zh) | 多运动目标捕捉与跟踪设备及多运动目标捕捉与跟踪方法 | |
| CN117593685B (zh) | 真值数据的构建方法和装置、存储介质 | |
| CN117495891B (zh) | 点云边缘检测方法、装置和电子设备 | |
| CN106875369A (zh) | 实时动态目标跟踪方法及装置 | |
| CN114913519B (zh) | 一种3d目标检测方法、装置、电子设备及存储介质 | |
| Sreekumar et al. | TPCAM: Real-time traffic pattern collection and analysis model based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 2301-bcd, building B2, phase I, Baoneng Science Park, Qinghu Industrial Zone, Gangtou community, Bantian street, Longgang District, Shenzhen City, Guangdong Province Patentee after: Shenzhen Shidai Technology Group Co., Ltd Address before: 518100, Guangdong District, Longhua, Shenzhen province Longhua street, Qing Xiang Road, 1, Bao science and Technology Park, Lok Kang home C4038 Patentee before: SHENZHEN SHIDAI TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |