CN113516685A - 目标跟踪方法、装置、设备及存储介质 - Google Patents

目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113516685A
CN113516685A CN202110777392.2A CN202110777392A CN113516685A CN 113516685 A CN113516685 A CN 113516685A CN 202110777392 A CN202110777392 A CN 202110777392A CN 113516685 A CN113516685 A CN 113516685A
Authority
CN
China
Prior art keywords
target object
point cloud
cloud data
dimensional
top view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110777392.2A
Other languages
English (en)
Other versions
CN113516685B (zh
Inventor
张时嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202110777392.2A priority Critical patent/CN113516685B/zh
Publication of CN113516685A publication Critical patent/CN113516685A/zh
Application granted granted Critical
Publication of CN113516685B publication Critical patent/CN113516685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种目标跟踪方法、装置、设备及存储介质，所述方法包括：获取目标物体的激光点云数据；基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；在所述二维俯视图中确定所述目标物体的图像边框；基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。本发明可以实现基于目标物体的激光点云数据和图像边框的匹配结果实现目标物体的跟踪，可以提高对目标物体进行跟踪的准确性。

Description

目标跟踪方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶领域领域，尤其涉及一种目标跟踪方法、装置、设备及存储介质。
背景技术
相关技术中，自动驾驶车辆在行驶过程中可以利用车载摄像头向车外拍摄多帧图像，并通过检测该多帧图像中的目标物体(如，从自动驾驶车辆旁经过的其他车辆等)的对应关系实现对该目标物体的跟踪。然而在某些较为复杂的交通场景中，目标物体很可能被其他物体(如，人、车等)遮挡一部分，虽然在图像中可以把目标物体和遮挡物体都框出来，但是在通过雷达检测目标物体的距离时，从固定角度测到的目标物体的距离可能受到遮挡物体的干扰(即，可能一会测到的是目标物体的距离，一会测到的是遮挡物体的距离)，因而导致无法准确检测出目标物体的运动方向和运动轨迹，这显然会导致目标物体的跟踪结果不准确。
发明内容
有鉴于此，本发明提出一种目标跟踪方法、装置、设备及存储介质以解决上述技术问题。
为了达到上述目的，本发明所采用的技术方案为：
根据本发明实施例的第一方面，提出了一种目标跟踪方法，包括：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
在一实施例中，所述基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，包括：
将所述图像边框与所述二维视图进行匹配；
基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪。
在一实施例中，所述基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪，包括：
将所述二维视图中与所述图像边框匹配的物体确定为目标物体，并对所述目标物体进行跟踪。
在一实施例中，所述在所述二维俯视图中确定所述目标物体的图像边框，包括：
从所述二维俯视图中识别出所述目标物体；
基于所述目标物体的识别结果确定所述目标物体的图像边框。
在一实施例中，所述基于所述目标物体的识别结果确定所述目标物体的图像边框，包括：
基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充；
在所述二维俯视图中获取补充后的所述目标物体的图像边框。
在一实施例中，所述获取目标物体的激光点云数据，包括：
基于激光雷达获取目标物体的激光点云数据。
在一实施例中，所述基于激光雷达获取目标物体的激光点云数据，包括：
基于激光雷达获取目标物体所在区域的区域激光点云数据；
从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
根据本发明实施例的第二方面，提出了一种目标跟踪装置，包括：
点云数据获取模块，用于获取目标物体的激光点云数据；
俯视图获取模块，用于基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
图像边框确定模块，用于在所述二维俯视图中确定所述目标物体的图像边框；
目标物体跟踪模块，用于基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
在一实施例中，所述目标物体跟踪模块，包括：
边框匹配单元，用于将所述图像边框与所述二维视图进行匹配；
物体跟踪单元，用于基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪。
在一实施例中，所述物体跟踪单元还用于将所述二维视图中与所述图像边框匹配的物体确定为目标物体，并对所述目标物体进行跟踪。
在一实施例中，所述图像边框确定模块，包括：
物体识别单元，用于从所述二维俯视图中识别出所述目标物体；
边框确定单元，用于基于所述目标物体的识别结果确定所述目标物体的图像边框。
在一实施例中，所述边框确定单元还用于：
基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充；
在所述二维俯视图中获取补充后的所述目标物体的图像边框。
在一实施例中，所述点云数据获取模块还用于基于激光雷达获取目标物体的激光点云数据。
在一实施例中，所述点云数据获取模块还包括：
区域点云获取单元，用于基于激光雷达获取目标物体所在区域的区域激光点云数据；
点云数据获取单元，用于从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
根据本发明实施例的第三方面，提出了一种电子设备，所述电子设备包括：
处理器；
用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时实现：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
根据本发明实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器处理时实现：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
与现有技术相比较，本发明通过获取目标物体的激光点云数据，并基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图，然后在所述二维俯视图中确定所述目标物体的图像边框，进而基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以实现基于目标物体的激光点云数据和图像边框的匹配结果实现目标物体的跟踪，可以提高对目标物体进行跟踪的准确性。
附图说明
图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图；
图2示出了根据本发明的如何基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪的示意图；
图3示出了根据本发明的如何在所述二维俯视图中确定所述目标物体的图像边框的示意图；
图4示出了根据本发明的如何基于所述目标物体的识别结果确定所述目标物体的图像边框的示意图；
图5示出了根据本发明的如何基于激光雷达获取目标物体的激光点云数据的示意图；
图6示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；
图7示出了根据本发明的另一示例性实施例的目标跟踪装置的结构框图；
图8示出了根据本发明的一示例性实施例的电子设备的结构框图。
具体实施方式
以下将结合附图所示的具体实施例对本发明进行详细描述。但这些实施例并不限制本发明，本领域的普通技术人员根据这些实施例所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二等来描述各种结构，但这些结构不应限于这些术语。这些术语仅用来将同一类型的结构彼此区分开。
图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图。本实施例的方法可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图1所示，该方法包括以下步骤S101-S104：
在步骤S101中，获取目标物体的激光点云数据。
本实施例中，当需要对目标物体进行追踪时，可以采用预设的装置获取目标物体的激光点云数据。其中，上述目标物体可以为当前用户选择的行人或车辆等，本实施例对此不进行限定。
在一实施例中，上述预设的装置可以包括车载的激光雷达等，本实施例对此不进行限定。
在步骤S102中，基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图。
本实施例中，当获取目标物体的激光点云数据后，可以基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图。
在一实施例中，可以利用传统的占据栅格(grid)算法来基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图。举例来说，可以将目标物体的激光点云数据转换为以栅格表示的数据，再利用传统的Open cv中的腐蚀、膨胀以及开闭运算等方法的结合对该以栅格表示的数据进行处理，得到目标物体的激光雷达坐标系下的二维俯视图。
在另一实施例中，还可以将上述激光点云数据输入到预先训练的深度学习模型中，得到目标物体的三维模型，进而将该三维模型投影到激光雷达坐标系中的二维平面，得到目标物体的激光雷达坐标系下的二维俯视图。其中，深度学习模型的输入和输出分别为目标物体的激光点云数据以及三维模型。
在步骤S103中，在所述二维俯视图中确定所述目标物体的图像边框。
本实施例中，当基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图后，可以在所述二维俯视图中确定所述目标物体的图像边框。
在一实施例中，在得到上述目标物体的二维俯视图后，可以采用预设的图像识别方法在所述二维俯视图中识别出目标物体的图像边框。值得说明的是，上述预设的图像识别方法可以基于实际需要从相关技术中进行选取，本实施例对此不进行限定。
在另一实施例中，上述在所述二维俯视图中确定所述目标物体的图像边框的方式还可以参见下述图3所示实施例，在此先不进行详述。
在步骤S104中，基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
本实施例中，当在所述二维俯视图中确定所述目标物体的图像边框后，可以基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
在一实施例中，上述目标物体的相机坐标系下的二维视图可以为基于车辆上预先设置的图像采集装置所拍摄的目标物体的图像，举例来说，该目标物体的相机坐标系下的二维视图可以包括目标物体的左侧、右侧、前侧、后侧以及其他方向中的任意图像，本实施例对此不进行限定。其中，上述预设的图像采集装置可以包括车载摄像头等装置，本实施例对此不进行限定。值得说明的是，上述图像的类型可以包括JPEG、PNG、GIF、BMP等，本实施例对此不进行限定。
值得说明的是，由于上述二维俯视图为激光雷达坐标系下的视图，因而在基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪时，可以对上述二维俯视图和目标物体的相机坐标系下的二维视图均进行坐标转换，以将二者转换至相同的坐标系，例如地图坐标系，进而基于转换后的二维俯视图中的图像边框以及转换后的二维视图对目标物体进行跟踪。
在另一实施例中，上述基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪的方式还可以参见下述图2所示实施例，在此先不进行详述。
由上述描述可知，本实施例的方法通过获取目标物体的激光点云数据，并基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图，然后在所述二维俯视图中确定所述目标物体的图像边框，进而基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以实现基于目标物体的激光点云数据和图像边框的匹配结果实现目标物体的跟踪，可以提高对目标物体进行跟踪的准确性。
图2示出了根据本发明的如何基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪的示意图；本实施例在上述实施例的基础上以如何基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪为例进行示例性说明。如图2所示，上述步骤S104所述基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以包括以下步骤S201-S202：
在步骤S201中，将所述图像边框与所述二维视图进行匹配。
本实施例中，当在二维俯视图中确定目标物体的图像边框后，可以将该目标物体的图像边框与预先获取的目标物体的相机坐标系下的二维视图进行匹配，即可得到匹配结果。
在一实施例中，将该目标物体的图像边框与预先获取的目标物体的相机坐标系下的二维视图进行匹配时，可以先对上述二维俯视图和目标物体的相机坐标系下的二维视图均进行坐标转换，以将二者转换至相同的坐标系，例如地图坐标系，进而基于转换后的二维俯视图中的图像边框以及转换后的二维视图进行匹配。
举例来说，可以先将目标物体在相机坐标系下的二维视图输入预先构建的深度学习网络，以得到目标物体的xyz轴坐标和长宽高以及航向角，即目标物体在相机坐标系下的三维信息；然后再基于该三维信息进行投影，到相机坐标系下(或者地图坐标系下)的二维俯视图，进而可以将该相机坐标系下的二维俯视图与上述激光雷达坐标系下的二维俯视图均转换至地图坐标系，以基于转换后的二维俯视图中的图像边框以及转换后的二维视图进行匹配。
再举例来说，可以基于目标物体在相机坐标系下的二维视图以及基于毫米波雷达获取的距离信息(即，目标物体与当前车辆之间的距离)，然后将该距离信息转换至相机坐标系，以确定相机坐标系下目标物体的距离信息，进而基于该在相机坐标系下的二维视图以及目标物体的距离信息确定目标物体的三维信息，从而确定目标物体在相机坐标系下的二维俯视图像中的图像边框，在此基础上，将该相机坐标系下的二维俯视图像中的图像边框与上述激光雷达坐标系下的二维俯视图均转换至地图坐标系，以基于转换后的二维俯视图像中的图像边框以及转换后的二维视图进行匹配。
在此基础上，当基于转换后的二维俯视图中的图像边框以及转换后的二维视图进行匹配后，可以构建目标物体的图像边框与二维视图之间的关联关系，其中，该关联关系即目标物体的图像边框与二维视图匹配的匹配结果。
在步骤S202中，基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪。
本实施例中，当将所述图像边框与所述二维视图进行匹配后，可以基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪。
在一实施例中，当得到上述目标物体的图像边框与目标物体的相机坐标系下的二维视图之间的关联关系后，可以基于该关联关系对目标物体进行跟踪，例如可以跟踪目标物体的实时位置或行驶轨迹等，本实施例对此不进行限定。
由上述描述可知，本实施例通过将所述图像边框与所述二维视图进行匹配，并基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪，可以实现基于目标物体的图像边框与目标物体的相机坐标系下的二维视图对该目标物体进行跟踪，可以提升跟踪目标物体的准确性，满足跟踪物体的准确需求。
图3示出了根据本发明的如何在所述二维俯视图中确定所述目标物体的图像边框的示意图；本实施例在上述实施例的基础上以如何在所述二维俯视图中确定所述目标物体的图像边框为例进行示例性说明。如图2所示，上述步骤S103中在所述二维俯视图中确定所述目标物体的图像边框，可以包括以下步骤S301-S302：
在步骤S301中，从所述二维俯视图中识别出所述目标物体。
本实施例中，当基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图后，可以从所述二维俯视图中识别出所述目标物体。
在一实施例中，当得到上述目标物体的二维俯视图后，可以基于预设的图像处理方法从二维俯视图中识别出所述目标物体。值得说明的是，上述预设的图像处理方法可以基于实际业务需要从相关技术中进行选择，本实施例对此不进行限定。
在步骤S302中，基于所述目标物体的识别结果确定所述目标物体的图像边框。
本实施例中，当从所述二维俯视图中识别出所述目标物体后，可以基于所述目标物体的识别结果确定所述目标物体的图像边框。
可以理解的是，当从上述二维俯视图中识别出目标物体后，即可确定目标物体的外部轮廓，进而可以基于目标物体的外部轮廓确定该目标物体的图像边框。其中，该目标物体的图像边框可以为包围目标物体的最小外包矩形等，具体形状可以视目标物体的类型而定，本实施例对此不进行限定。
举例来说，可以采用预设方式在上述获取的图像中确定该目标物体的图像边框。值得说明的是，上述预设方式可以为人工标注方式，或者还可以为自动标注模式。例如，可以利用预先基于样本图像训练用于确定目标物体的图像边框的神经网络。进而当得到训练好的神经网络后，可以将上述图像输入该预先训练的神经网络，进而可以基于该神经网络的输出结果确定目标物体的图像边框。
在另一实施例中，上述基于所述目标物体的识别结果确定所述目标物体的图像边框的方式还可以参见下述图4所示实施例，在此先不进行详述。
由上述描述可知，本实施例通过从所述二维俯视图中识别出所述目标物体，并基于所述目标物体的识别结果确定所述目标物体的图像边框，可以实现准确地在二维俯视图中确定出目标物体的图像边框，从而可以实现后续基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以提高对目标物体进行跟踪的准确性。
图4示出了根据本发明的如何基于所述目标物体的识别结果确定所述目标物体的图像边框的示意图；本实施例在上述实施例的基础上以如何基于所述目标物体的识别结果确定所述目标物体的图像边框为例进行示例性说明。如图4所示，上述步骤S302所述基于所述目标物体的识别结果确定所述目标物体的图像边框，可以包括以下步骤S401-S402：
在步骤S401中，基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充。
本实施例中，当从所述二维俯视图中识别出所述目标物体后，可以基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充。
举例来说，当从所述二维俯视图中识别出所述目标物体后，可以识别该目标物体的类型，如确定该目标物体是车辆还是人物等。进一步地，可以基于该类型物体的常见外形，对二维俯视图中目标物体的缺失部分进行补充，其中，具体的补充方式可以参考相关技术中现存的图像处理方式，如传统经典CV算法等，本实施例对此不进行限定。
在步骤S402中，在所述二维俯视图中获取补充后的所述目标物体的图像边框。
本实施例中，当基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充后，可以在所述二维俯视图中获取补充后的所述目标物体的图像边框。
由上述描述可知，本实施例通过基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充，并在所述二维俯视图中获取补充后的所述目标物体的图像边框，可以提高在二维俯视图中确定的目标物体的图像边框的准确性，从而可以提高后续基于该图像边框跟踪目标物体的准确性。
图5示出了根据本发明的如何基于激光雷达获取目标物体的激光点云数据的示意图；本实施例在上述实施例的基础上以如何基于激光雷达获取目标物体的激光点云数据为例进行示例性说明。如图5所示，上述步骤S101所述基于激光雷达获取目标物体的激光点云数据，可以包括以下步骤S501-S502：
在步骤S501中，基于激光雷达获取目标物体所在区域的区域激光点云数据。
本实施例中，为了追踪目标物体，可以基于车辆上预设的激光雷达获取目标物体所在区域的区域激光点云数据。
举例来说，在追踪目标物体过程中，可以通过车辆上预先安装的激光雷达实时扫描当前车辆的外部环境，从而得到激光点云数据，其中，该激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据，进而可以基于该点云数据确定目标物体所在区域的区域激光点云数据。
在步骤S502中，从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
本实施例中，当基于激光雷达获取目标物体所在区域的区域激光点云数据后，可以从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
在一实施例中，当基于激光雷达获取目标物体所在区域的区域激光点云数据后，可以基于目标物体的预计高度，将该区域激光点云数据中高度高于设定阈值的图像数据过滤掉(即，去除掉)，即可排除高度过高的物体的激光点云数据的干扰，从而可以提高确定目标物体的激光点云数据的准确性。
由上述描述可知，本实施例通过基于激光雷达获取目标物体所在区域的区域激光点云数据，并从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据，可以实现基于激光雷达获取目标物体的激光点云数据，进而可以实现后续基于获取的目标物体的激光点云数据确定目标物体的二维俯视图以及基于二维俯视图中目标物体的图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以实现基于目标物体的激光点云数据和图像边框的匹配结果实现目标物体的跟踪，可以提高对目标物体进行跟踪的准确性。
图6示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图6所示，该装置包括：点云数据获取模块110、俯视图获取模块120、图像边框确定模块130以及目标物体跟踪模块140，其中：
点云数据获取模块110，用于获取目标物体的激光点云数据；
俯视图获取模块120，用于基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
图像边框确定模块130，用于在所述二维俯视图中确定所述目标物体的图像边框；
目标物体跟踪模块140，用于基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
由上述描述可知，本实施例的装置通过获取目标物体的激光点云数据，并基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图，然后在所述二维俯视图中确定所述目标物体的图像边框，进而基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，可以实现基于目标物体的激光点云数据和图像边框的匹配结果实现目标物体的跟踪，可以提高对目标物体进行跟踪的准确性。
图7示出了根据本发明的另一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。其中，点云数据获取模块210、俯视图获取模块220、图像边框确定模块230以及目标物体跟踪模块240与前述图6所示实施例中的点云数据获取模块110、俯视图获取模块120、图像边框确定模块130以及目标物体跟踪模块140的功能相同，在此不进行赘述。如图7所示，上述目标物体跟踪模块240，可以包括：
边框匹配单元241，用于将所述图像边框与所述二维视图进行匹配；
物体跟踪单元，用于基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪242。
在一实施例中，物体跟踪单元242还可以用于将所述二维视图中与所述图像边框匹配的物体确定为目标物体，并对所述目标物体进行跟踪。
在一实施例中，上述图像边框确定模块230，可以包括：
物体识别单元231，用于从所述二维俯视图中识别出所述目标物体；
边框确定单元232，用于基于所述目标物体的识别结果确定所述目标物体的图像边框。
在一实施例中，上述边框确定单元232还可以用于：
基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充；
在所述二维俯视图中获取补充后的所述目标物体的图像边框。
在一实施例中，点云数据获取模块210还可以用于基于激光雷达获取目标物体的激光点云数据。
在一实施例中，点云数据获取模块210还可以包括：
区域点云获取单元211，用于基于激光雷达获取目标物体所在区域的区域激光点云数据；
点云数据获取单元212，用于从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明目标跟踪装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明的目标跟踪装置所在电子设备的一种硬件结构图，除了图8所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现以下任务处理方法：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本发明的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪，包括：
将所述图像边框与所述二维视图进行匹配；
基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪。
3.根据权利要求1所述的方法，其特征在于，所述基于所述图像边框与所述二维视图的匹配结果对所述目标物体进行跟踪，包括：
将所述二维视图中与所述图像边框匹配的物体确定为目标物体，并对所述目标物体进行跟踪。
4.根据权利要求1所述的方法，其特征在于，所述在所述二维俯视图中确定所述目标物体的图像边框，包括：
从所述二维俯视图中识别出所述目标物体；
基于所述目标物体的识别结果确定所述目标物体的图像边框。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标物体的识别结果确定所述目标物体的图像边框，包括：
基于预设图像处理方法对在所述二维俯视图中识别出的目标物体的缺失部分进行补充；
在所述二维俯视图中获取补充后的所述目标物体的图像边框。
6.根据权利要求1所述的方法，其特征在于，所述获取目标物体的激光点云数据，包括：
基于激光雷达获取目标物体的激光点云数据。
7.根据权利要求6所述的方法，其特征在于，所述基于激光雷达获取目标物体的激光点云数据，包括：
基于激光雷达获取目标物体所在区域的区域激光点云数据；
从所述区域激光点云数据中过滤掉高度高于设定阈值的图像数据，得到目标物体的激光点云数据。
8.一种目标跟踪装置，其特征在于，包括：
点云数据获取模块，用于获取目标物体的激光点云数据；
俯视图获取模块，用于基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
图像边框确定模块，用于在所述二维俯视图中确定所述目标物体的图像边框；
目标物体跟踪模块，用于基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储计算机程序的存储器；
其中，所述处理器被配置为在执行所述计算机程序时实现：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器处理时实现：
获取目标物体的激光点云数据；
基于所述激光点云数据确定所述目标物体的激光雷达坐标系下的二维俯视图；
在所述二维俯视图中确定所述目标物体的图像边框；
基于所述图像边框与预先获取的所述目标物体的相机坐标系下的二维视图对所述目标物体进行跟踪。
CN202110777392.2A 2021-07-09 2021-07-09 目标跟踪方法、装置、设备及存储介质 Active CN113516685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110777392.2A CN113516685B (zh) 2021-07-09 2021-07-09 目标跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110777392.2A CN113516685B (zh) 2021-07-09 2021-07-09 目标跟踪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113516685A true CN113516685A (zh) 2021-10-19
CN113516685B CN113516685B (zh) 2024-06-25

Family

ID=78066604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110777392.2A Active CN113516685B (zh) 2021-07-09 2021-07-09 目标跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113516685B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049827A (zh) * 2022-05-19 2022-09-13 广州文远知行科技有限公司 目标物体检测分割方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124102A (zh) * 2017-12-28 2018-06-05 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
US20180156914A1 (en) * 2016-12-05 2018-06-07 Trackman A/S Device, System, and Method for Tracking an Object Using Radar Data and Imager Data
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110781806A (zh) * 2019-10-23 2020-02-11 浙江工业大学 一种基于yolo的行人检测追踪方法
CN110992693A (zh) * 2019-12-04 2020-04-10 浙江工业大学 一种基于深度学习的交通拥堵程度多维度分析方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112581543A (zh) * 2020-12-28 2021-03-30 镇江市高等专科学校 运动机器人视觉导航方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180156914A1 (en) * 2016-12-05 2018-06-07 Trackman A/S Device, System, and Method for Tracking an Object Using Radar Data and Imager Data
CN109978984A (zh) * 2017-12-27 2019-07-05 Tcl集团股份有限公司 人脸三维重建方法及终端设备
CN108124102A (zh) * 2017-12-28 2018-06-05 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109785363A (zh) * 2018-12-29 2019-05-21 中国电子科技集团公司第五十二研究所 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN110147807A (zh) * 2019-01-04 2019-08-20 上海海事大学 一种船舶智能识别跟踪方法
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110781806A (zh) * 2019-10-23 2020-02-11 浙江工业大学 一种基于yolo的行人检测追踪方法
CN110992693A (zh) * 2019-12-04 2020-04-10 浙江工业大学 一种基于深度学习的交通拥堵程度多维度分析方法
CN111914664A (zh) * 2020-07-06 2020-11-10 同济大学 基于重识别的车辆多目标检测和轨迹跟踪方法
CN112581543A (zh) * 2020-12-28 2021-03-30 镇江市高等专科学校 运动机器人视觉导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹晓磊: ""基于车载视频的行车违章行为识别算法设计与实现"", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), 15 March 2021 (2021-03-15), pages 035 - 167 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049827A (zh) * 2022-05-19 2022-09-13 广州文远知行科技有限公司 目标物体检测分割方法、装置、设备及存储介质
CN115049827B (zh) * 2022-05-19 2024-06-18 广州文远知行科技有限公司 目标物体检测分割方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113516685B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US10885398B2 (en) Joint 3D object detection and orientation estimation via multimodal fusion
US10970871B2 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
CN109791603B (zh) 通过预测对象的运动来捕获机动车辆的环境区域中的对象的方法、摄像机系统以及机动车辆
CN111160302A (zh) 基于自动驾驶环境的障碍物信息识别方法和装置
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US12077161B2 (en) Method and processing unit for determining information with respect to an object in an environment of a vehicle
JP7091686B2 (ja) 立体物認識装置、撮像装置および車両
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
EP3531340B1 (en) Human body tracing method, apparatus and device, and storage medium
JP7389729B2 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
CN110717445A (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
Ponsa et al. On-board image-based vehicle detection and tracking
WO2014083910A1 (ja) 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2004038624A (ja) 車両認識方法、車両認識装置及び車両認識用プログラム
CN113516685B (zh) 目标跟踪方法、装置、设备及存储介质
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN115601435B (zh) 车辆姿态检测方法、装置、车辆及存储介质
JP3605955B2 (ja) 車輌判別装置
CN113066100B (zh) 目标跟踪方法、装置、设备及存储介质
US20240062505A1 (en) Image processing device, image processing method, and program
JP6943092B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
Rosebrock et al. Using the shadow as a single feature for real-time monocular vehicle pose determination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant