CN106919895B - 用于运动目标的跟踪方法和系统 - Google Patents

用于运动目标的跟踪方法和系统 Download PDF

Info

Publication number
CN106919895B
CN106919895B CN201610510999.3A CN201610510999A CN106919895B CN 106919895 B CN106919895 B CN 106919895B CN 201610510999 A CN201610510999 A CN 201610510999A CN 106919895 B CN106919895 B CN 106919895B
Authority
CN
China
Prior art keywords
dimensional image
size
image
target
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610510999.3A
Other languages
English (en)
Other versions
CN106919895A (zh
Inventor
滕书华
谭志国
李洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Fenghua Intelligent Technology Co ltd
Original Assignee
Hunan Visualtouring Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Visualtouring Information Technology Co Ltd filed Critical Hunan Visualtouring Information Technology Co Ltd
Priority to CN201610510999.3A priority Critical patent/CN106919895B/zh
Publication of CN106919895A publication Critical patent/CN106919895A/zh
Application granted granted Critical
Publication of CN106919895B publication Critical patent/CN106919895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种用于运动目标的跟踪方法和系统。所述跟踪方法包括：获取带有运动目标的二维图像和三维图像，并根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸；根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据，并根据所述图像特征数据确定所述运动目标的类型；根据所述运动目标在所述二维图像中的尺寸和所述运动目标的类型在所述二维图像中对所述运动目标进行标注。根据本发明提出的技术方案，能够在不增加计算复杂度的情况下，实现对运动目标准确地检测跟踪。

Description

用于运动目标的跟踪方法和系统
技术领域
本发明涉及图像处理技术，尤其涉及一种用于运动目标的跟踪方法和系统。
背景技术
运动目标检测跟踪是计算机视觉领域内一个极富挑战性的研究课题，在视频监控、交通流量观测、机器人导航以及视频图像压缩和传输等方面都具有广泛的应用。基于二维光学图像的监控仅能够提供视频和图像信息，而难以再从监控中获得其他信息，从而大大限制了监控视频先验预警效能的发挥。
发明人在实现本发明的过程中发现，现有技术存在以下问题：现有的基于二维光学图像的运动目标检测跟踪方法随着目标的变大或变小，不能够有效地将跟踪到的虚警目标和真实目标进行区分。
发明内容
本发明的目的在于，提供一种用于运动目标的跟踪方法和系统，以准确地检测和跟踪运动目标。
根据本发明的一方面，提供一种用于运动目标的跟踪方法，所述跟踪方法包括：获取带有运动目标的二维图像和三维图像，并根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸；根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据，并根据所述图像特征数据确定所述运动目标的类型；根据所述运动目标在所述二维图像中的尺寸和所述运动目标的类型在所述二维图像中对所述运动目标进行标注。
可选地，所述根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸包括：提取所述运动目标在所述三维图像中的尺寸以及所述运动目标与图像采集装置之间的距离；如果所述运动目标在所述三维图像中的尺寸与预设尺寸的差值小于等于差值阈值，则根据所述运动目标在所述三维图像中的尺寸和所述距离确定所述二维图像中单个像素代表的实物尺寸，并且根据所述运动目标在所述三维图像中的尺寸计算所述运动目标在所述二维图像中的尺寸。
可选地，所述根据所述图像特征数据确定所述运动目标的类型包括：将所述图像特征数据输入预先训练的图像分类器，获取所述运动目标的类型。
可选地，所述根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据包括：如果所述运动目标在所述二维图像中的尺寸大于等于尺寸阈值，则从所述二维图像提取所述运动目标的局部特征数据；或者，如果所述运动目标在所述二维图像中的尺寸小于所述尺寸阈值，则从所述二维图像提取所述运动目标的全局特征数据。
可选地，在所述根据所述图像特征数据确定所述运动目标的类型之前，所述跟踪方法还包括：获取多个图像，多个所述图像中的目标分别标注目标类型以及目标大小信息；根据所述目标大小信息分别从多个所述图像中提取目标的图像特征数据，所述图像特征数据为目标的局部特征数据或目标的全局特征数据；以所述图像特征数据以及与所述图像特征数据相应的目标类型作为样本训练用于识别运动目标的类型的图像分类器。
可选地，所述根据所述目标大小信息分别从多个所述图像中提取目标的图像特征数据包括：如果所述目标大小信息大于等于所述尺寸阈值，则从所述图像中提取目标的局部特征数据；如果所述目标大小信息小于所述尺寸阈值，则从所述图像中提取目标的全局特征数据。
可选地，根据以下公式来计算所述二维图像中单个像素代表的实物尺寸
Figure BDA0001038094440000021
Figure BDA0001038094440000022
其中，ɑ为所述图像采集装置的视场角，d为所述运动目标与所述图像采集装置之间的距离，l为所述图像采集装置拍摄的正方形环境尺寸的边长，M和N分别为所述二维图像的宽度和高度。
可选地，根据以下公式计算所述运动目标在所述二维图像中的第二尺寸
Figure BDA0001038094440000023
其中，M和N分别为所述二维图像的宽度和高度，m和n分别为从所述三维图像提取所述运动目标的宽度和高度，其中，mM/l为所述二维图像中所述运动目标的宽度，nN/l为所述二维图像中所述运动目标的高度。
可选地，所述局部特征数据通过尺度不变特征变换算法提取，所述全局特征数据通过小波矩特征算法提取。
根据本发明的另一方面，还提供一种用于运动目标的跟踪系统，其中，所述跟踪系统包括用于采集带有运动目标的二维图像的二维图像采集装置、用于采集带有运动目标的三维图像的三维图像采集装置以及图像分析单元，所述图像分析单元用于执行如前所述的任一种跟踪方法，其中，所述二维图像采集装置和三维图像采集装置集成在一个图像采集装置中，或放置在一起同步地工作。
根据本发明示例性实施例的用于运动目标的跟踪方法和系统，通过对同步采集的带有运动目标的二维图像和三维图像进行处理、分析，并且利用三维图像具有尺寸不变性的特点，将从三维图像获得的运动目标的实际尺寸来计算二维图像中运动目标的尺寸；进一步地根据运动目标的图像特征数据，确定所述运动目标的类型，从而将虚警目标从运动目标中剔除；进而在二维图像中调整运动目标的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标。
附图说明
图1是示出根据本发明的总体发明构思的技术方案的示意图；
图2是示出结合运动目标的二维图像和三维图像计算二维图像中单个像素所代表的实际尺寸的示意图；
图3是示出根据本发明实施例一的用于运动目标的跟踪方法的流程图；
图4是示出根据本发明实施例二的用于运动目标的跟踪方法的流程图；
图5是示出根据本发明实施例三的用于运动目标的跟踪系统的逻辑框图；
图6是示出根据本发明实施例二的用于运动目标的跟踪方法的跟踪结果的示意图。
具体实施方式
本发明的基本构思是，提供一种通过对包含运动目标的二维图像和三维图像进行分析实现准确地对运动目标进行检测与跟踪的方案。具体地，将从包含运动目标的三维图像提取的距离信息以及运动目标的尺寸信息引入二维光学图像的检测跟踪算法中进行分析和融合，并且根据二维图像中运动目标的图像特征数据确定所述运动目标的类型，剔除虚警运动目标，以准确地跟踪目标，特别是运动中的目标。通过本发明提出的技术方案，能够在不增加算法复杂度的情况下，准确剔除虚警目标，进一步为尺寸逐渐减小或逐渐增大的运动目标自动地选择合适的跟踪窗口大小，大大地提高运动目标检测跟踪算法的适应性和鲁棒性，并且对尺寸变化的运动目标进行准确地检测与跟踪。
具体地，运动目标包括但不限于移动中的人体、车辆和/或动物等等。运动目标的三维点云图像包含了运动目标的三维形状信息和距离信息，而不包含二维图像中的RGB色彩信息；此外，三维点云图像具有尺寸不变性，无需考虑二维图像中因旋转、移动等变化而带来的形变。由于监控视频的主要监控目标是运动目标，而运动目标在监控视频画面中所占比例的大小，受摄像头焦距、运动目标和摄像头之间的距离的影响会有很大变化，因此为了尽可能实现在视频画面中对运动目标的连续跟踪，将运动目标的三维点云数据引入到二维图像的运动目标检测方法中，实现在视频中对运动目标进行连续跟踪。
以下参照图1和图2描述根据本发明的总体发明构思的技术方案的基本原理。
图1是示出根据本发明的总体发明构思的技术方案的示意图。
参照图1，根据本发明的总体发明构思，通过集成有二维图像采集装置和三维图像采集装置的图像采集装置或放置在一起的二维图像采集装置和三维图像采集装置分别连续地采集含有运动目标的场景图像(即运动目标的二维图像110和运动目标的三维图像120)。以下以运动目标为移动中的人体为例说明，运动目标为移动中的其他目标的原理相同。
此后，根据采集的人体目标的三维图像120提取人体目标的高度、宽度等尺寸信息以及其与图像采集装置之间的距离，再提取从二维光学图像检测跟踪到的人体目标，然后根据提取到的人体目标与图像采集装置之间的距离，实时确定二维图像中单个像素所代表的实际尺寸。
图2是示出结合运动目标的二维图像和运动目标的三维图像计算二维图像中单个像素所代表的实际尺寸的示意图。
参照图2，假设α为图像采集装置中例如二维光学传感器的二维图像采集装置的视场角，d为运动目标和二维光学传感器之间的距离。为了简单起见，假设二维光学传感器所拍摄的环境区域为正方形，其边长为l。按照摄影测量学的相关理论可知，此时若已知视场角和运动目标与二维光学传感器之间的距离，在距离较远时，可通过公式1近似计算得到二维光学传感器拍摄的图像所能容纳的环境尺寸l：
Figure BDA0001038094440000051
假设已知的二维图像的尺寸为IIR＝M×N，其中，M和N分别为所述二维图像的宽度和高度，则可求得二维图像中单个像素代表的尺寸大小为：
Figure BDA0001038094440000052
进一步地，由三维图像的三维点云数据得到的运动目标的实际尺寸为SReal＝m×n，可推导出运动目标在二维光学图像中的尺寸SIR为：
Figure BDA0001038094440000053
其中，M和N分别为所述二维图像的宽度和高度，m和n分别为从所述三维图像提取所述运动目标的宽度和高度，其中，mM/l为所述二维图像中所述运动目标的宽度，nN/l为所述二维图像中所述运动目标的高度。
在计算得到二维图像中单个像素所代表的实际尺寸后，根据提取到的运动目标的宽度和高度，结合运动目标和二维光学传感器之间的距离获取运动目标在二维图像中的像素面积，通过运动目标在二维图像中的图像特征数据确定运动目标的类型从而过滤掉虚警目标，并实时地更新二维图像检测结果中跟踪框的大小，从而实现二维和三维运动目标的融合检测与跟踪。
由于三维点云图像具有尺寸不变性，不受二维图像中因旋转、移动等变化而带来的形变的影响，因此通过将从三维点云数据中获得的运动目标的实际尺寸来计算二维图像中运动目标的尺寸，进一步地根据运动目标的图像特征数据，确定所述运动目标的类型，从而将虚警目标从运动目标中剔除；进而在二维图像中调整运动目标的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标。
下面结合附图详细描述本发明的示例性实施例。
实施例一
图3是示出根据本发明实施例一的用于运动目标的跟踪方法的流程图。可由例如图5示出的用于运动目标的跟踪系统执行本实施例的方法。
参照图3，在步骤S310，获取带有运动目标的二维图像和三维图像。
如前所述，可通过集成有二维图像采集装置和三维图像采集装置的图像采集装置或放置在一起的二维图像采集装置和三维图像采集装置分别连续地采集含有运动目标的场景图像。也可以读取通过前述装置已采集的带有运动目标的二维图像和三维图像。
该二维图像可以是二维光学图像，该三维图像可以是三维点云图像。
相应地，二维图像采集装置可以是光学摄像头，三维图像采集装置可以是例如激光雷达。
在步骤S320，根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸。
具体地可提取运动目标在三维点云图像中的尺寸：例如宽度M和高度N以及运动目标与图像采集装置之间的距离d。
预先设置不同类型运动目标的预设尺寸和对应的差值阈值，如果运动目标在三维图像中的尺寸与至少一种预设尺寸的差值小于等于对应的差值阈值，则该三维点云图像中可能包含运动目标待跟踪目标，因此，根据所述运动目标在三维点云图像中的尺寸以及其与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸Spix，并且根据运动目标在三维点云图像中的尺寸计算运动目标在二维图像中的尺寸。如果运动目标在三维图像中的尺寸与所有预设尺寸的差值都大于对应的差值阈值，则该三维点云图像中不包含运动目标，返回执行S310。
上述预设尺寸包括预设的宽度和高度，如果运动目标在三维图像中的宽度与预设的宽度的差值小于等于对应的差值阈值，且运动目标在三维图像中的高度与预设的高度的差值小于等于对应的差值阈值，则确定运动目标在三维图像中的尺寸与该预设尺寸的差值小于等于对应的差值阈值。否则，如果运动目标在三维图像中的宽度与预设的宽度的差值小于等于对应的差值阈值而运动目标在三维图像中的高度与预设的高度的差值大于对应的差值阈值，则确定运动目标在三维图像中的尺寸与该预设尺寸的差值大于对应的差值阈值；或者，如果运动目标在三维图像中的宽度与预设的宽度的差值大于对应的差值阈值而运动目标在三维图像中的高度与预设的高度的差值小于等于对应的差值阈值，则确定运动目标在三维图像中的尺寸与该预设尺寸的差值大于对应的差值阈值；或者，如果运动目标在三维图像中的宽度与预设的宽度的差值大于对应的差值阈值且运动目标在三维图像中的高度与预设的高度的差值大于对应的差值阈值，则确定运动目标在三维图像中的尺寸与该预设尺寸的差值大于对应的差值阈值。
可通过前述公式1和公式2计算得到二维图像中单个像素代表的实物尺寸，再通过前述公式3计算得到运动目标在所述二维图像中的尺寸SIR。
在步骤S330，根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据。
根据运动目标在所述二维图像中的尺寸从二维图像提取所述运动目标的图像特征数据。图像特征数据包括局部特征数据或全局特征数据，具体地，如果所述运动目标在所述二维图像中的尺寸大于等于尺寸阈值，则从所述二维图像提取所述运动目标的局部特征数据；或者，如果所述运动目标在所述二维图像中的尺寸小于所述尺寸阈值，则从所述二维图像提取所述运动目标的全局特征数据。其中，运动目标在所述二维图像中的尺寸是指运动目标在二维图像中的像素面积，即运动目标在二维图像中的像素数量。
其中，全局特征可以包括但不限于以下特征或它们的组合：颜色特征、纹理特征、形状特征或灰度特征等。
局部特征主要是图像中线条交叉以及明暗变化的结构所对应的特征，包括但不限于斑点特征和/或角点特征等。
在步骤S340，根据所述图像特征数据确定所述运动目标的类型。
具体地，将所述图像特征数据输入预先训练的图像分类器，获取所述运动目标的类型。预先训练的图像分类器可以识别各种类型的运动目标，将图像特征数据输入图像分类器后，输出用于标识运动目标的类型的标签值。
在步骤S350，根据所述运动目标在所述二维图像中的尺寸和所述运动目标的类型在所述二维图像中对所述运动目标进行标注。
在确定人体目标在所述二维图像中的尺寸SIR后，可将该尺寸SIR作为参照对二维图像中的人体目标的跟踪框进行修正并进行标注。具体地，根据二维图像中运动目标的宽度确定跟踪框的宽度，根据二维图像中运动目标的高度确定跟踪框的高度。例如，跟踪框的宽度为二维图像中运动目标的宽度×第一比例系数；跟踪框的高度为二维图像中运动目标的高度×第二比例系数，第一比例系数和第二比例系数分别大于1，第一比例系数和第二比例系数预先设定。
通过前述步骤S310～S350的处理，将从三维图像获得的运动目标的实际尺寸来计算二维图像中运动目标的尺寸；进一步地根据运动目标的图像特征数据，确定所述运动目标的类型，从而将虚警目标从运动目标中剔除；进而在二维图像中调整运动目标的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动中的目标。
实施例二
图4是示出根据本发明实施例二的用于运动目标的跟踪方法的流程图。可由例如图5示出的用于运动目标的跟踪系统执行本实施例的方法。
图4中示出的用于运动目标的跟踪方法的处理为实施例一的一种具体实施方式。图4中示出的步骤S310～S350的处理与图3中的相应步骤的处理类似，在此不予赘述。
在本实施例中，预先对多个图像进行训练，得到用于识别运动目标的类型的图像分类器。图4，对图像分类器的训练步骤S360的处理包括操作S361、S362和S363。在图像分类器的训练步骤S360的各步骤中的图像为二维图像。
在步骤S361，获取多个图像，多个所述图像中的目标分别标注目标类型以及目标大小信息。
多个图像中包括不同类型的目标，例如人体、车辆、动物等，在图像中以标签的形式标注目标类型，例如标签A表示人体，标签B表示车辆，标签C表示动物等等，目标大小信息为目标在图像中的尺寸。
在步骤S362，根据所述目标大小信息分别从多个所述图像中提取目标的图像特征数据，所述图像特征数据为目标的局部特征数据或目标的全局特征数据。
具体地，如果所述目标大小信息大于等于所述尺寸阈值，则从所述图像中提取目标的局部特征数据；如果所述目标大小信息小于所述尺寸阈值，则从所述图像中提取目标的全局特征数据。
在步骤S363，以所述图像特征数据以及与所述图像特征数据相应的目标类型作为样本训练用于识别运动目标的类型的图像分类器。
将目标的局部特征数据和目标类型作为分类算法的输入，对分类算法进行训练，从而得到基于目标的局部特征数据识别运动目标的类型的图像分类器；或者，将目标的全局特征数据和目标类型作为分类算法的输入，对分类算法进行训练，从而得到基于目标的全局特征数据识别运动目标的类型的图像分类器。例如，在步骤S340中，如果提取的是二维图像中运动目标的局部特征，则将运动目标的局部特征输入基于目标的局部特征数据识别运动目标的类型的图像分类器，如果输出标签A则表示运动目标的类型为移动的人体，如果输出标签B则表示运动目标的类型为移动的车辆，如果输出标签C则表示运动目标的类型为移动的动物，如果输出0或者输出NULL，则表示该运动目标不是待跟踪目标。
其中，分类算法包括但不限于装袋(Bagging)算法、提升/推进(Boosting)算法等等，以下以Boosting算法中的自适应增强(Adaptive Boosting，Adaboost)算法、训练目标为人体的全局特征为例说明图像分类器的训练过程。分类算法为其他的分类算法，以及训练目标为其他目标的特征，以及训练目标为多种类型目标的特征的实现原理相似，在此不再赘述。
假设有n个行人样本，训练之初每个样本均占有相同的比重即D1(i)＝1/n，其中Dt(i)表示第i个样本在第t次迭代所占的权重，若第t次迭代所得到的弱分类器用ht表示，该分类器的性能由其误判率决定。如果共进行了T次迭代，则最后的强分类器可表示为：
Figure BDA0001038094440000091
AdaBoost通过最小化指数损失函数来组合强分类器，指数损失函数为：
Figure BDA0001038094440000092
AdaBoost算法通过对指数损失函数求导得到最小值来调整相应的样本权重并选择相应的弱学习机的权重αt。设行人特征样本集表示为Train＝{(TrainXi,TrainYi)|1≤i≤n；i,n∈N}，TrainXi表示第i个行人的特征列，即TrainXi＝{fij|1≤j≤m；j,m∈N}，其中fij表示第i个行人的第j个特征值，m表示单一行人提取的特征总数，TrainYi表示第i个行人的标签，TrainYi＝1表示正样本(行人)，TrainYi＝0表示负样本(非行人)。AdaBoost算法流程如下：
①假设正样本数为R，负样本数为S，初始化权重：TrainYi＝0时，wt,i＝1/2S；TrainYi＝1时，wt,i＝1/2R。
②循环T次以下操作，其中T表示弱分类器个数，例如，设置T为20。
(a)归一化权重：
Figure BDA0001038094440000101
其中1≤t≤T；
(b)对每一次的迭代训练可得到一个相应的弱分类器ht(TrainX)，计算该分类器的分类错误率
Figure BDA0001038094440000102
(c)选择εt最小的弱分类器ht(TrainX)；
(d)更新权值
Figure BDA0001038094440000103
其中ei＝0表示TrainXi被正确地分类，ei＝1表示被错误地分类，
Figure BDA0001038094440000104
并计算分类器的权值
Figure BDA0001038094440000105
③最终的强分类器表示为：
Figure BDA0001038094440000106
从式(3)可看出，AdaBoost得到的强分类器就是T个弱分类器的组合体，每个弱分类器均对最终的判别结果拥有投票权，然而每个弱分类器的投票权重不一样，分类效果越好(即分类错误率越低)的分类器获得的投票权重越高。
通过前述操作的处理，根据运动目标在二维图像中的尺寸从二维图像中提取的运动目标的图像特征数据作为分类的依据来对运动目标进行检测和跟踪，过滤掉了运动目标检测中发生的虚警，提高了运动目标的目标跟踪的准确性，同时不增加计算复杂度。
图6是示出根据本发明实施例二的用于运动目标的跟踪方法的结果的示意图。其中，以运动目标为移动的人体为例，在高层建筑物上安装红外和激光雷达传感器采集不同距离的街道的二维场景图像和三维场景图像，以跟踪街道上的行人。由于从远处拍摄连续拍摄这些场景图像，场景中行人的尺寸较小，而且与图像采集装置之间的距离各不同，因此利用一般的基于二维图像进行行人检测和跟踪难以准确检测和跟踪行人。如图6所示，根据本发明实施例二的方法通过利用三维图像的尺寸不变性，计算得到人体目标在二维图像中的尺寸，进一步地将虚警目标从人体目标中剔除从而对行人进行检测和跟踪，获得较准确的跟踪结果。
进一步地，本实施例的方法可还包括：展现在步骤S350经过标注的所述二维图像。
实施例三
本发明的示例性实施例还提供一种用于运动目标的跟踪系统。图5是示出根据本发明实施例三的用于运动目标的跟踪系统的逻辑框图。
参照图5，实施例三的用于运动目标的跟踪系统包括用于采集带有运动目标的二维图像的二维图像采集装置510、用于采集带有运动目标的三维图像的三维图像采集装置520以及图像分析单元530。
其中，二维图像采集装置510和三维图像采集装置520集成在一个图像采集装置中，或放置在一起同步地工作。
这里，图像分析单元530用于执行前述实施例一和/或实施例二的方法。
进一步地，该系统可还包括：显示单元540，用于展现经过图像分析单元530标注的二维图像。
根据本发明示例性实施例的用于运动目标的跟踪方法和系统，通过对同步采集的带有运动目标的二维图像和三维图像进行处理、分析，并且利用三维图像具有尺寸不变性的特点，将从三维图像获得的运动目标的实际尺寸来计算二维图像中运动目标的尺寸；运动目标进一步根据运动目标的图像特征数据，确定所述运动目标的类型，从而将虚警目标从运动目标中剔除；并在二维图像中调整运动目标的跟踪框的大小，能够在不增加计算复杂度的情况下，准确地检测和跟踪运动目标。
需要指出，根据实施的需要，可将本申请中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种用于运动目标的跟踪方法，所述跟踪方法包括：
获取同步采集的带有运动目标的二维图像和三维图像，并根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸；
根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据，所述图像特征数据为局部特征数据或全局特征数据，并根据所述图像特征数据确定所述运动目标的类型；
根据所述运动目标在所述二维图像中的尺寸和所述运动目标的类型在所述二维图像中对所述运动目标进行标注，
其中，所述根据所述二维图像和三维图像确定所述运动目标在所述二维图像中的尺寸包括：
提取所述运动目标在所述三维图像中的尺寸以及所述运动目标与图像采集装置之间的距离；
根据所述运动目标在所述三维图像中的尺寸以及所述运动目标与图像采集装置之间的距离计算所述运动目标在所述二维图像中的尺寸。
2.根据权利要求1所述的跟踪方法，其中，所述根据所述运动目标在所述三维图像中的尺寸以及所述运动目标与图像采集装置之间的距离计算所述运动目标在所述二维图像中的尺寸包括：
如果所述运动目标在所述三维图像中的尺寸与预设尺寸的差值小于等于差值阈值，则根据所述二维图像的尺寸和所述运动目标与图像采集装置之间的距离确定所述二维图像中单个像素代表的实物尺寸，并且根据所述运动目标在所述三维图像中的尺寸计算所述运动目标在所述二维图像中的尺寸。
3.根据权利要求1或2所述的跟踪方法，其中，所述根据所述图像特征数据确定所述运动目标的类型包括：
将所述图像特征数据输入预先训练的图像分类器，获取所述运动目标的类型。
4.根据权利要求3所述的跟踪方法，其中，根据所述运动目标在所述二维图像中的尺寸从所述二维图像提取所述运动目标的图像特征数据包括：
如果所述运动目标在所述二维图像中的尺寸大于等于尺寸阈值，则从所述二维图像提取所述运动目标的局部特征数据；或者，
如果所述运动目标在所述二维图像中的尺寸小于所述尺寸阈值，则从所述二维图像提取所述运动目标的全局特征数据。
5.根据权利要求4所述的跟踪方法，其中，在所述根据所述图像特征数据确定所述运动目标的类型之前，所述跟踪方法还包括：
获取多个图像，多个所述图像中的目标分别标注目标类型以及目标大小信息；
根据所述目标大小信息分别从多个所述图像中提取目标的图像特征数据，所述图像特征数据为目标的局部特征数据或目标的全局特征数据；
以所述图像特征数据以及与所述图像特征数据相应的目标类型作为样本训练用于识别运动目标的类型的图像分类器。
6.根据权利要求5所述的跟踪方法，其中，所述根据所述目标大小信息分别从多个所述图像中提取目标的图像特征数据包括：
如果所述目标大小信息大于等于所述尺寸阈值，则从所述图像中提取目标的局部特征数据；
如果所述目标大小信息小于所述尺寸阈值，则从所述图像中提取目标的全局特征数据。
7.根据权利要求2所述的跟踪方法，其中，
根据以下公式来计算所述二维图像中单个像素代表的实物尺寸Spix：
Figure FDA0002317973770000021
Figure FDA0002317973770000022
其中，ɑ为所述图像采集装置的视场角，d为所述运动目标与所述图像采集装置之间的距离，l为所述图像采集装置拍摄的正方形环境尺寸的边长，M和N分别为所述二维图像的宽度和高度。
8.根据权利要求7所述的跟踪方法，其中，根据以下公式计算所述运动目标在所述二维图像中的尺寸SIR：
Figure FDA0002317973770000023
其中，M和N分别为所述二维图像的宽度和高度，m和n分别为从所述三维图像提取所述运动目标的宽度和高度，其中，mM/l为所述二维图像中所述运动目标的宽度，nN/l为所述二维图像中所述运动目标的高度。
9.根据权利要求4所述的跟踪方法，其中，所述局部特征数据通过尺度不变特征变换算法提取，所述全局特征数据通过小波矩特征算法提取。
10.一种用于运动目标的跟踪系统，其中，所述跟踪系统包括用于采集带有运动目标的二维图像的二维图像采集装置、用于采集带有运动目标的三维图像的三维图像采集装置以及图像分析单元，所述图像分析单元用于执行如权利要求1～9中任一项所述的跟踪方法，
其中，所述二维图像采集装置和三维图像采集装置集成在一个图像采集装置中，或放置在一起同步地工作。
CN201610510999.3A 2016-07-01 2016-07-01 用于运动目标的跟踪方法和系统 Active CN106919895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610510999.3A CN106919895B (zh) 2016-07-01 2016-07-01 用于运动目标的跟踪方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610510999.3A CN106919895B (zh) 2016-07-01 2016-07-01 用于运动目标的跟踪方法和系统

Publications (2)

Publication Number Publication Date
CN106919895A CN106919895A (zh) 2017-07-04
CN106919895B true CN106919895B (zh) 2020-03-27

Family

ID=59453247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610510999.3A Active CN106919895B (zh) 2016-07-01 2016-07-01 用于运动目标的跟踪方法和系统

Country Status (1)

Country Link
CN (1) CN106919895B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754412B (zh) * 2017-11-07 2021-10-01 北京京东乾石科技有限公司 目标跟踪方法、目标跟踪装置及计算机可读存储介质
US10768294B2 (en) 2018-03-19 2020-09-08 Mitsubishi Electric Research Laboratories, Inc. System and method for multimodal, motion-aware radar imaging
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN110335300A (zh) * 2019-05-14 2019-10-15 广东康云科技有限公司 基于视频融合的场景动态模拟方法、系统及存储介质
CN111753609B (zh) * 2019-08-02 2023-12-26 杭州海康威视数字技术股份有限公司 一种目标识别的方法、装置及摄像机
CN111426299B (zh) * 2020-06-15 2020-11-03 北京三快在线科技有限公司 一种基于目标物的景深进行测距的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104050684A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种基于在线训练的视频运动目标分类方法与系统
CN105136064A (zh) * 2015-09-13 2015-12-09 维希艾信息科技（无锡）有限公司 一种运动目标三维尺寸检测系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1976445A (zh) * 2006-12-15 2007-06-06 上海鼎业电子科技有限公司 基于立体视频动态跟踪的多摄像机监控系统及其跟踪方法
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104050684A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种基于在线训练的视频运动目标分类方法与系统
CN105136064A (zh) * 2015-09-13 2015-12-09 维希艾信息科技（无锡）有限公司 一种运动目标三维尺寸检测系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于红外CCD与激光测距仪融合的行人检测技术研究";余燕;《中国优秀硕士学位论文全文数据库 信息科技辑》;20081115;摘要，第2-5章 *
余燕."基于红外CCD与激光测距仪融合的行人检测技术研究".《中国优秀硕士学位论文全文数据库 信息科技辑》.2008,第I140-630页. *

Also Published As

Publication number Publication date
CN106919895A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106919895B (zh) 用于运动目标的跟踪方法和系统
US11403859B2 (en) Three dimensional (3D) object detection
US9607228B2 (en) Parts based object tracking method and apparatus
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US9405974B2 (en) System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
US8249301B2 (en) Video object classification
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
Benedek 3D people surveillance on range data sequences of a rotating Lidar
EP2874097A2 (en) Automatic scene parsing
US20130251275A1 (en) Calibration of video object classification
CN110297232A (zh) 基于计算机视觉的单目测距方法、装置及电子设备
US9928426B1 (en) Vehicle detection, tracking and localization based on enhanced anti-perspective transformation
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN106228570B (zh) 一种真值数据确定方法和装置
US12131485B2 (en) Object tracking device and object tracking method
Ali et al. Vehicle detection and tracking in UAV imagery via YOLOv3 and Kalman filter
CN104376575A (zh) 一种基于多摄像头监控的行人计数方法和装置
TW202117598A (zh) 用於產生物件之物件分類的方法和裝置
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
Shin et al. Lane detection algorithm based on top-view image using random sample consensus algorithm and curve road model
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
CN108875500B (zh) 行人再识别方法、装置、系统及存储介质
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN114792417A (zh) 模型训练方法、图像识别方法、装置、设备及存储介质
CN107767366B (zh) 一种输电线路拟合方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221012

Address after: Room 1016, Block C, Haiyong International Building 2, No. 489, Lusong Road, High tech Zone, Changsha City, Hunan Province, 410221

Patentee after: Hunan Fenghua Intelligent Technology Co.,Ltd.

Address before: 410205 A645, room 39, Changsha central software park headquarters, No. 39, Jian Shan Road, hi tech Development Zone, Hunan.

Patentee before: HUNAN VISUALTOURING INFORMATION TECHNOLOGY Co.,Ltd.