CN111340845B - 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质 - Google Patents

基于深度视觉传感器的自动跟踪方法、系统、终端以及介质 Download PDF

Info

Publication number
CN111340845B
CN111340845B CN202010116088.9A CN202010116088A CN111340845B CN 111340845 B CN111340845 B CN 111340845B CN 202010116088 A CN202010116088 A CN 202010116088A CN 111340845 B CN111340845 B CN 111340845B
Authority
CN
China
Prior art keywords
target
image
target area
depth
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010116088.9A
Other languages
English (en)
Other versions
CN111340845A (zh
Inventor
李会川
韩磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Black Eye Intelligent Technology Co ltd
Original Assignee
Shanghai Black Eye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Black Eye Intelligent Technology Co ltd filed Critical Shanghai Black Eye Intelligent Technology Co ltd
Priority to CN202010116088.9A priority Critical patent/CN111340845B/zh
Publication of CN111340845A publication Critical patent/CN111340845A/zh
Application granted granted Critical
Publication of CN111340845B publication Critical patent/CN111340845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种基于深度视觉传感器的自动跟踪方法、系统、终端以及介质，包括：采集彩色图像和深度图像；以所述深度图像的首帧图像中心点作为初始迭代的最佳种子点，对深度图像进行迭代分割得到图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；以目标初始质心为起点查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，提取所述目标区域的边界信息以及颜色直方图数据；筛选与校正目标区域边界，并验证该区域为正确的目标区域；将正确的目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数。本申请能够实现在目标发生形变，目标与背景区域重合等场景下跟踪目标不丢失，紧密跟随目标移动，或对目标进行引导，进而使工作效率增高。

Description

基于深度视觉传感器的自动跟踪方法、系统、终端以及介质
技术领域
本申请涉及一种基于计算机视觉技术领域，特别是涉及一种基于深度视觉传感器的自动跟踪方法、系统、终端以及介质。
背景技术
现如今，人机交互技术正在迅猛发展，其中行人追踪是人机交互中不可或缺的一部分，而在深度图像中对行人进行自动追踪也具有重要的意义。由于现有的大部分关于自动追踪技术在跟踪目标发生形变、目标与背景区域重合场景下还是容易将跟踪目标丢失，导致浪费了大量的时间和精力，进而使跟踪工作效率降低以及准确率不高。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于深度视觉传感器的自动跟踪方法、系统、终端以及介质，用于解决大部分关于自动追踪技术在跟踪目标发生形变、目标与背景区域重合场景下还是容易将跟踪目标丢失，导致浪费了大量的时间和精力，进而使跟踪工作效率降低以及准确率不高的问题。
为实现上述目的及其他相关目的，本申请提供一种基于深度视觉传感器的自动跟踪方法，包括：采集彩色图像和深度图像；以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；根据目标区域的边界信息筛选与校正提取的目标区域，并根据颜色直方图数据验证该区域为正确的目标区域的概率；将正确的目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数。
于本申请的一实施例中，以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据的方式包括：根据所述深度图像中的首帧图像的最佳种子点对所述首帧图像进行生长，并分割所述首帧图像得到目标区域以及背景区域；对分割后的首帧图像进行轮廓检测以提取所述目标区域的目标初始化边界信息，并计算所述目标区域的平均深度；提取所述目标区域的目标初始化颜色直方图数据，以验证该区域为正确目标区域；将正确的目标区域得边界信息作为目标尺度回归基础参数，并根据所述目标区域提取目标初始化质心数据。
于本申请的一实施例中，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置的方式包括：根据目标在当前帧中的距离和偏航角得到最佳种子点位置信息。
于本申请的一实施例中，根据目标区域的边界信息筛选与校正正确提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域的方式包括：对分割后的下一帧图像进行轮廓检测以提取所述下一帧的边界信息，并筛选目标正确的区域；提取筛选后的目标区域的颜色直方图数据，将所述颜色直方图数据与模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域。
于本申请的一实施例中，将正确的目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数的方式包括：将正确的目标区域结合深度图像计算得到距离和夹角，以得到当前位置信息并更新回归模板参数与颜色匹配模板参数。
于本申请的一实施例中，对彩色图像和深度图像分别进行对齐处理。
于本申请的一实施例中，所述方法还包括：所述下一帧图像最佳种子点位置结合生长算法对所述下一帧图像进行生长。
为实现上述目的及其他相关目的，本申请提供一种基于深度视觉传感器的自动跟踪系统，包括：图像采集模块，用于采集彩色图像和深度图像；初始化模块，用于以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；目标判决模块，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；校正与验证模块，根据尺度回归模板的信息筛选和校正当前帧提取的目标区域-，并根据所述颜色直方图数据验证该区域为正确的目标区域；位置输出模块，用于将目标区域结合深度图像计算得到距离和夹角，以输出当前位置信息并更新各参数。
为实现上述目的及其他相关目的，本申请提供一种基于深度视觉传感器的自动跟踪终端，包括：存储器，用于存储计算机程序；处理器，运行所述计算机程序，以执行所述基于深度视觉传感器的自动跟踪方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被运行时实现所述基于深度视觉传感器的自动跟踪方法。
如上所述，本申请的基于深度视觉传感器的自动跟踪方法、系统、终端以及介质，具有以下有益效果：本申请提供基于深度视觉传感器自动跟踪方法，能够实现在目标发生形变，目标与背景区域重合等场景下跟踪目标不丢失，紧密跟随目标移动，或对目标进行引导，进而使工作效率增高。
附图说明
图1显示为本申请一实施例中基于深度视觉传感器的自动跟踪方法的流程示意图。
图2显示为本申请一实施例中基于深度视觉传感器的自动跟踪系统的结构示意图。
图3显示为本申请一实施例中基于深度视觉传感器的自动跟踪终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本申请提供一种基于深度视觉传感器的自动跟踪方法，解决了大部分关于自动追踪技术在跟踪目标发生形变、目标与背景区域重合场景下还是容易将跟踪目标丢失，导致浪费了大量的时间和精力，进而使跟踪工作效率降低以及准确率不高的问题，本申请提供基于深度视觉传感器自动跟踪方法，能够实现在目标发生形变，目标与背景区域重合等场景下跟踪目标不丢失，紧密跟随目标移动，或对目标进行引导，进而使工作效率增高。
所述方法包括：
采集彩色图像和深度图像；
以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；
根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；
根据目标区域的边界信息筛选与校正正确提取的目标区域，并根所据述颜色直方图数据验证该区域为正确的目标区域；
将正确的目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数。
下面以附图1为参考，针对本申请得实施例进行详细说明，以便本申请所述技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中基于深度视觉传感器的自动跟踪方法的流程示意图，即经过以下步骤；
步骤S11：采集彩色图像和深度图像。
可选的，采集当前时刻的彩色图像和深度图像。
可选的，数据采集装置采集当前时刻的彩色图像和深度图像。
可选的，所述数据采集装置包括视觉传感器，其中所述视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
可选的，所述数据传感器为图像传感器，所述图像传感器可以为CCD(Charge-Coupled Device，电荷耦合器件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两大类中的任一种。
可选的，所述图像传感器为RGB-D/ToF传感器。
可选的，采集彩色图像和深度图像，并对所述彩色图像和深度图像进行对齐操作。
可选的，所述对齐操作包括：对所述彩色图像以及深度图像进行帧对齐或对所述彩色图像以及深度图像进行图像对齐中的一种或多种；举例来说，所述帧对齐利用视频帧对齐算法实现；所述图像对齐利用最小二乘法求解对齐矩阵的方式实现。
可选的，将所述深度图像进行深度转换，得到有效的深度图像信息。
步骤S12：以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据。
可选的，以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据的方式包括：
根据所述深度图像中的首帧图像的最佳种子点对所述首帧图像进行生长，并分割所述首帧图像得到目标区域以及背景区域；
对分割后的首帧图像进行轮廓检测以提取所述目标区域的目标初始化边界信息，并计算所述目标区域的平均深度；
提取所述目标区域的目标初始化颜色直方图数据，以验证该区域为正确目标区域；
将正确的目标区域得边界信息作为目标尺度回归基础参数，并根据所述目标区域提取目标初始化质心数据。
可选的，根据所述深度图像中的首帧图像的最佳种子点利用生长算法对所述首帧图像进行生长；其中，所述生长算法可以为Floodfill算法、扫描线算法以及区段算法等用于生长的算法中的一种或多种，在本申请中不作限定。
可选的，将生长后的首帧图像进行分割，得到首帧图像的目标区域以及背景区域。
可选的，将生长后的首帧图像进行迭代分割，得到首帧图像的目标区域以及背景区域。
可选的，所述迭代分割包括：阈值分割法，所述阈值分割法是一种基于区域的图像分割技术，其基本原理是：通过设定不同的特征阈值，把图像像素点分为若干类.常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征.设原始图像为f(x，y)，按照一定的准则在f(x，y)中找到特征值T，将图像分割为两个部分，一般意义下，阈值运算可以看作是对图像中某点的灰度、该点的某种局部特性以及该点在图像中的位置的一种函数，这种阈值函数可记作：T(x，y，n(x，y)，f(x，y))式中，f(x，y)是点(x，y)的灰度值；n(x，y)是点(x，y)的局部邻域特性.根据对T的不同约束，可以得到3种不同类型的区域相关的全局阈值T＝T(n(x，y)，f(x，y)):与点的灰度值和该点的局部邻域特征有关。
可选的，对分割后的首帧图像中的目标区域进行轮廓检测，提取所述目标区域的目标初始化边界信息，根据所述目标初始化边界信息得到所述目标区域的平均深度。
可选的，所述轮廓检测通过OpenCV进行轮廓检测。
可选的，经过对所述首帧图像的目标区域对目标进行轮廓检测后，经过标注得到所述目标区域的目标初始化边界。
可选的，经过对所述首帧图像的目标区域对目标进行轮廓检测后，经过回归算法得到所述目标区域的目标初始化边界。
S13：根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据。
可选的，根据所述目标初始化质心数据作为下一帧图像初始种子点位置数据，根据所述初始种子点位置数据查找下一帧图像最佳种子点位置。
可选的，根据初始种子点位置在当前帧中的距离和偏航角进行估计，结合跟踪的轨迹得出最佳的种子点位置。
可选的，需要对上一帧图像的区域进行完整迭代，根据目标上一帧的位置和本帧估算的位置得到最佳的种子点，并根据目标自身的连贯性设置最佳的动态分割阈值。
可选的，需要根据目标的距离和目标的连贯性和连通性，生成目标最大和最小的深度变化范围。
可选的，所述迭代分割包括：阈值分割法，所述阈值分割法是一种基于区域的图像分割技术，其基本原理是：通过设定不同的特征阈值，把图像像素点分为若干类.常用的特征包括：直接来自原始图像的灰度或彩色特征；由原始灰度或彩色值变换得到的特征.设原始图像为f(x，y)，按照一定的准则在f(x，y)中找到特征值T，将图像分割为两个部分，一般意义下，阈值运算可以看作是对图像中某点的灰度、该点的某种局部特性以及该点在图像中的位置的一种函数，这种阈值函数可记作：T(x，y，n(x，y)，f(x，y))式中，f(x，y)是点(x，y)的灰度值；n(x，y)是点(x，y)的局部邻域特性.根据对T的不同约束，可以得到3种不同类型的区域相关的全局阈值T＝T(n(x，y)，f(x，y)):与点的灰度值和该点的局部邻域特征有关。
可选的，对分割后的下一帧图像中的目标区域进行轮廓检测，提取所述目标区域的边界信息。
可选的，所述轮廓检测通过OpenCV进行轮廓检测。
可选的，经过对所述下一帧图像的目标区域对目标进行轮廓检测后，经过标注得到所述目标区域的边界信息。
可选的，经过对所述下一帧图像的目标区域对目标进行轮廓检测后，经过回归算法得到所述目标区域的边界信息。
可选的，对提取的目标区域进行边界回归，得到最佳的目标边界信息，修正过程是目标边界模板每帧更新一次实现的。
S14：根据所述下一帧图像的目标区域的边界信息筛选与校正目标区域边界信息，并根据所述颜色直方图数据验证该区域为正确目标区域的概率。
可选的，根据所述下一帧图像的目标区域的边界信息筛选与校正目标区域边界信息，并根据所述颜色直方图数据验证该区域为正确目标区域的概率的方式包括：
对分割后的下一帧图像进行轮廓检测以提取应用于下一帧的边界信息，并筛选目标正确的区域；
提取筛选后的目标区域的颜色直方图数据，将所述颜色直方图数据与模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域的置信度。
可选的，对分割后的下一帧图像进行轮廓检测以提取应用于下一帧的边界信息，对获得所述边界信息进行校正，排除错误提取的区域，保留正确提取的区域。
可选的，提取筛选后的正确的目标区域的颜色直方图数据，将所述颜色直方图数据与颜色匹配模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域。
可选的，若匹配度未达到匹配阈值，则认为跟踪失败，则该区域为错误的目标区域。
S15：将目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数。
可选的，将正确的目标区域结合深度图像根据深度测量和三角原理计算得到目标的距离和夹角，以确定当前目标位置信息并输出，并更新各参数。
可选的，将正确的目标区域结合深度图像根据最优化算法计算以及三角测量算法得到目标的距离和夹角，以确定当前目标位置信息并输出，并更新各参数。
可选的，将正确的目标区域结合深度图像计算得到距离和夹角，以得到当前位置信息并更新回归模板参数与颜色匹配模板参数。
与上述实施例原理相似的是，本申请提供一种基于深度视觉传感器的自动跟踪系统，所述系统包括：
图像采集模块，用于采集彩色图像和深度图像；
初始化模块，用于以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；
目标判决模块，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；
校正与验证模块，根据尺度回归模板的信息筛选和校正当前帧提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域；
位置输出模块，用于将正确的目标区域结合深度图像计算得到距离和夹角，以输出当前位置信息并更新各参数。
以下结合附图提供具体实施例：
如图2所示展示本申请实施例中的一种基于深度视觉传感器的自动跟踪系统的结构示意图。
所述系统包括：
所述图像采集模块21，用于采集彩色图像和深度图像；
所述初始化模块22，用于以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；
所述目标判决模块23，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；
所述校正与验证模块24，根据尺度回归模板的信息筛选和校正当前帧提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域；
所述位置输出模块25，用于将正确的目标区域结合深度图像计算得到距离和夹角，以输出当前位置信息并更新各参数。
可选的，所述图像采集模块21连接所述初始化模块22，所述初始化模块22连接所述目标判决模块23，所述目标判决模块23连接所述校正与验证模块24，且所述校正与验证模块24连接所述位置输出模块25。
可选的，所述图像采集模块21采集当前时刻的彩色图像和深度图像。
可选的，数据采集装置采集当前时刻的彩色图像和深度图像。
可选的，所述数据采集装置包括视觉传感器，其中所述视觉传感器是整个机器视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。
可选的，所述数据传感器为图像传感器，所述图像传感器可以为CCD(Charge-Coupled Device，电荷耦合器件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两大类中的任一种。
可选的，所述图像传感器为RGB-D/ToF传感器。
可选的，所述图像采集模块21采集彩色图像和深度图像，并对所述彩色图像和深度图像进行对齐操作。
可选的，所述对齐操作包括：对所述彩色图像以及深度图像进行帧对齐或对所述彩色图像以及深度图像进行图像对齐中的一种或多种；举例来说，所述帧对齐利用视频帧对齐算法实现；所述图像对齐利用最小二乘法求解对齐矩阵的方式实现。
可选的，所述图像采集模块21将所述深度图像进行深度转换，得到有效的深度图像信息。
可选的，所述初始化模块22以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据的方式包括：
根据所述深度图像中的首帧图像的最佳种子点对所述首帧图像进行生长，并分割所述首帧图像得到目标区域以及背景区域；
对分割后的首帧图像进行轮廓检测以提取所述目标区域的目标初始化边界信息，并计算所述目标区域的平均深度；
提取所述目标区域的目标初始化颜色直方图数据，以验证该区域为正确目标区域；
将正确的目标区域得边界信息作为目标尺度回归基础参数，并根据所述目标区域提取目标初始化质心数据。
可选的，所述初始化模块22根据所述深度图像中的首帧图像的最佳种子点利用生长算法对所述首帧图像进行生长；其中，所述生长算法可以为Floodfill算法、扫描线算法以及区段算法等用于生长的算法中的一种或多种，在本申请中不作限定。
可选的，所述初始化模块22将生长后的首帧图像进行分割，得到首帧图像的目标区域以及背景区域。
可选的，所述初始化模块22将生长后的首帧图像进行迭代分割，得到首帧图像的目标区域以及背景区域。
可选的，所述迭代分割包括：阈值分割法。
可选的，所述初始化模块22对分割后的首帧图像中的目标区域进行轮廓检测，提取所述目标区域的目标初始化边界信息，根据所述目标初始化边界信息得到所述目标区域的平均深度。
可选的，所述初始化模块22经过所述轮廓检测是通过OpenCV进行轮廓检测。
可选的，所述初始化模块22经过对所述首帧图像的目标区域对目标进行轮廓检测后，经过标注得到所述目标区域的目标初始化边界。
可选的，所述初始化模块22经过对所述首帧图像的目标区域对目标进行轮廓检测后，经过回归算法得到所述目标区域的目标初始化边界。
可选的，所述目标判决模块23根据所述目标初始化质心数据作为下一帧图像初始种子点位置数据，根据所述初始种子点位置数据查找下一帧图像最佳种子点位置。
可选的，所述目标判决模块23根据初始种子点位置在当前帧中的距离和偏航角进行估计，结合跟踪的轨迹得出最佳的种子点位置。
可选的，所述目标判决模块23需要对上一帧图像的区域进行完整迭代，根据目标上一帧的位置和本帧估算的位置得到最佳的种子点，并根据目标自身的连贯性设置最佳的动态分割阈值。
可选的，所述目标判决模块23需要根据目标的距离和目标的连贯性和连通性，生成目标最大和最小的深度变化范围。
可选的，所述迭代分割包括：阈值分割法。
可选的，所述目标判决模块23对分割后的下一帧图像中的目标区域进行轮廓检测，提取所述目标区域的边界信息。
可选的，所述目标判决模块23的轮廓检测是通过OpenCV进行轮廓检测。
可选的，所述目标判决模块23经过对所述下一帧图像的目标区域对目标进行轮廓检测后，经过标注得到所述目标区域的边界信息。
可选的，所述目标判决模块23经过对所述下一帧图像的目标区域对目标进行轮廓检测后，经过回归算法得到所述目标区域的边界信息。
可选的，所述目标判决模块23对提取的目标区域进行边界回归，得到最佳的目标边界信息，修正过程是目标边界模板每帧更新一次实现的。
可选的，所述校正与验证模块24根据所述下一帧图像的目标区域的边界信息筛选与校正正确提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域的方式包括：
对分割后的下一帧图像进行轮廓检测以提取应用于下一帧的边界信息，并筛选目标正确的区域；
提取筛选后的目标区域的颜色直方图数据，将所述颜色直方图数据与模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域。
可选的，所述校正与验证模块24对分割后的下一帧图像进行轮廓检测以提取应用于下一帧的边界信息，对获得所述边界信息进行校正，排除错误提取的区域，保留正确提取的区域。
可选的，所述校正与验证模块24提取筛选后的正确的目标区域的颜色直方图数据，将所述颜色直方图数据与颜色匹配模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域。
可选的，若匹配度未达到匹配阈值，则认为跟踪失败，则该区域为错误的目标区域。
可选的，所述位置输出模块25将正确的目标区域结合深度图像根据最优化算法计算和三角测距原理得到目标的距离和夹角，以确定当前目标位置信息并输出，并更新各参数。
可选的，所述位置输出模块25将正确的目标区域结合深度图像根据距离匹配算法计算以及角度匹配算法得到目标的距离和夹角，以确定当前目标位置信息并输出，并更新各参数。
可选的，所述位置输出模块25将正确的目标区域结合深度图像计算得到距离和夹角，以得到当前位置信息并更新回归模板参数与颜色匹配模板参数。
如图3所示，展示本申请实施例中的基于深度视觉传感器的自动跟踪终端30的结构示意图。
所述电子装置30包括：存储器31及处理器32所述存储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的基于深度视觉传感器的自动跟踪方法。
可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，所而图3中均以一个为例。
可选的，所述电子装置30中的处理器32会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在存储器31中的应用程序，从而实现如图1所述基于深度视觉传感器的自动跟踪方法中的各种功能。
可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器31，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的基于深度视觉传感器的自动跟踪方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请基于深度视觉传感器的自动跟踪方法、系统、终端以及介质，解决了大部分关于自动追踪技术在跟踪目标发生形变、目标与背景区域重合场景下还是容易将跟踪目标丢失，导致浪费了大量的时间和精力，进而使跟踪工作效率降低以及准确率不高的问题，本申请提供基于深度视觉传感器自动跟踪方法，能够实现在目标发生形变，目标与背景区域重合等场景下跟踪目标不丢失，紧密跟随目标移动，或对目标进行引导，进而使工作效率增高。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于深度视觉传感器的自动跟踪方法，其特征在于，所述方法包括：
采集彩色图像和深度图像；
以所述深度图像的首帧图像中的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；
根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；
根据所述下一帧图像的目标区域的边界信息筛选与校正目标区域边界信息，并根据所述颜色直方图数据验证该区域为正确目标区域的概率；
将目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数。
2.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，以所述深度图像的首帧图像中的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到首帧图像的目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据的方式包括：
根据所述深度图像中的首帧图像的最佳种子点对所述首帧图像进行生长，并分割所述首帧图像得到目标区域以及背景区域；
对分割后的首帧图像进行轮廓检测以提取所述目标区域的目标初始化边界信息，并计算所述目标区域的平均深度；
提取所述目标区域的目标初始化颜色直方图数据，以验证该区域为正确目标区域；
将正确的目标区域得边界信息作为目标尺度回归基础参数，并根据所述目标区域提取目标初始化质心数据。
3.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置的方式包括：根据目标在当前帧中的距离和偏航角得到最佳种子点位置信息。
4.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，根据所述下一帧图像的目标区域的边界信息筛选与校正正确提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域的概率方式包括：
对分割后的下一帧图像进行轮廓检测以提取下一帧的边界信息，并筛选目标正确的区域；
提取筛选后的目标区域的颜色直方图数据，将所述颜色直方图数据与模板数据进行匹配，若匹配度达到匹配阈值，则为认为跟踪成功，该目标区域为正确的目标区域。
5.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，将正确的目标区域结合深度图像计算得到目标的距离和夹角，以输出当前位置信息并更新各参数的方式包括：将正确的目标区域结合深度图像计算得到距离和夹角，以得到当前位置信息并更新回归模板参数与颜色匹配模板参数。
6.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，对彩色图像和深度图像分别进行对齐处理。
7.根据权利要求1所述的基于深度视觉传感器的自动跟踪方法，其特征在于，所述方法还包括：所述下一帧图像最佳种子点位置结合生长算法对所述下一帧图像进行生长。
8.一种基于深度视觉传感器的自动跟踪系统，其特征在于，包括：
图像采集模块，用于采集彩色图像和深度图像；
初始化模块，用于以所述深度图像的首帧图像的中心点为迭代的最佳种子点，对首帧图像进行迭代分割得到目标区域，以获得目标初始化质心数据、目标初始化边界信息以及目标初始化颜色直方图数据；
目标判决模块，根据所述目标初始化质心数据查找下一帧图像最佳种子点位置，并对所述下一帧图像进行迭代分割得到所述下一帧图像的目标区域，以提取所述目标区域的边界信息以及颜色直方图数据；
校正与验证模块，根据尺度回归模板的信息筛选和校正当前帧提取的目标区域，并根据所述颜色直方图数据验证该区域为正确的目标区域；
位置输出模块，用于将正确的目标区域结合深度图像计算得到距离和夹角，以输出当前位置信息并更新各参数。
9.一种基于深度视觉传感器的自动跟踪终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序，以执行如权利要求1至7中任一项所述的基于深度视觉传感器的自动跟踪方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至7中任一项所述的基于深度视觉传感器的自动跟踪方法。
CN202010116088.9A 2020-02-25 2020-02-25 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质 Active CN111340845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010116088.9A CN111340845B (zh) 2020-02-25 2020-02-25 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010116088.9A CN111340845B (zh) 2020-02-25 2020-02-25 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质

Publications (2)

Publication Number Publication Date
CN111340845A CN111340845A (zh) 2020-06-26
CN111340845B true CN111340845B (zh) 2020-12-29

Family

ID=71183669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010116088.9A Active CN111340845B (zh) 2020-02-25 2020-02-25 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质

Country Status (1)

Country Link
CN (1) CN111340845B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723769B (zh) * 2020-06-30 2023-10-27 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备以及存储介质
CN114331828A (zh) * 2020-09-30 2022-04-12 脸萌有限公司 图片转视频的方法、装置、设备及存储介质
CN112990115B (zh) * 2021-04-21 2021-09-14 广州市玄武无线科技股份有限公司 一种用于冰柜陈列识别的拍摄方法及系统
CN115379194B (zh) * 2021-05-19 2024-06-04 北京小米移动软件有限公司 深度图像的量化方法及装置、终端设备、存储介质
CN113689365B (zh) * 2021-08-23 2022-06-21 南通大学 一种基于Azure Kinect的目标跟踪定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US9311550B2 (en) * 2013-03-06 2016-04-12 Samsung Electronics Co., Ltd. Device and method for image processing
CN104424634B (zh) * 2013-08-23 2017-05-03 株式会社理光 对象跟踪方法和装置
CN104732559B (zh) * 2015-02-02 2017-08-01 大连民族学院 一种基于rgb‑d数据的多目标检测与跟踪方法

Also Published As

Publication number Publication date
CN111340845A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340845B (zh) 基于深度视觉传感器的自动跟踪方法、系统、终端以及介质
CN105023278B (zh) 一种基于光流法的运动目标跟踪方法及系统
US10248887B2 (en) Object tracking device and method
WO2018219054A1 (zh) 一种车牌识别方法、装置及系统
JP4157620B2 (ja) 移動物体検出装置及びその方法
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
CN108109163A (zh) 一种航拍视频的运动目标检测方法
JP5468332B2 (ja) 画像特徴点抽出方法
US9747507B2 (en) Ground plane detection
CN112966542A (zh) 一种基于激光雷达的slam系统和方法
CN107945215A (zh) 高精度红外图像跟踪器及一种目标快速跟踪方法
CN111667514A (zh) 一种快速准确的车辆跟踪系统
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
JP6466038B1 (ja) 画像処理装置および画像処理方法
CN111199198B (zh) 一种图像目标定位方法、图像目标定位装置及移动机器人
CN115063760B (zh) 车辆可行驶区域检测方法、装置、设备及存储介质
CN114639159A (zh) 移动行人检测方法、电子设备及机器人
CN111507339B (zh) 一种基于强度图像的目标点云获取方法
KR20170088370A (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
del-Blanco et al. Target detection through robust motion segmentation and tracking restrictions in aerial flir images
KR102173244B1 (ko) Surf 특징점 추적 기반 영상 안정화 시스템
CN109064485B (zh) 一种基于cmt算法的特征库维护方法
JPWO2020244717A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant