CN113066100A - 目标跟踪方法、装置、设备及存储介质 - Google Patents

目标跟踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113066100A
CN113066100A CN202110322156.1A CN202110322156A CN113066100A CN 113066100 A CN113066100 A CN 113066100A CN 202110322156 A CN202110322156 A CN 202110322156A CN 113066100 A CN113066100 A CN 113066100A
Authority
CN
China
Prior art keywords
coordinate system
target object
point cloud
cloud data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110322156.1A
Other languages
English (en)
Inventor
张时嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shenyang Co Ltd
Original Assignee
Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Reach Automotive Technology Shenyang Co Ltd filed Critical Neusoft Reach Automotive Technology Shenyang Co Ltd
Priority to CN202110322156.1A priority Critical patent/CN113066100A/zh
Publication of CN113066100A publication Critical patent/CN113066100A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种目标跟踪方法、装置、设备及存储介质，所述方法包括：获取当前车辆外部环境的图像；在所述图像中确定目标物体的图像边框；基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。本发明可以分辨从旁经过的外形相同的不同车辆，从而可以提高对目标物体进行跟踪的准确性。

Description

目标跟踪方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶领域领域，尤其涉及一种目标跟踪方法、装置、设备及存储介质。
背景技术
相关技术中，自动驾驶车辆在行驶过程中可以利用车载摄像头向车外拍摄多帧图像，并通过检测该多帧图像中的目标物体(如，从自动驾驶车辆旁经过的其他车辆等)的对应关系实现对该目标物体的跟踪。然而在实际应用中，由于自动驾驶车辆也处于行驶状态，因而可能无法分辨从旁经过的外形相同的不同车辆。即先后经过本车的多辆同款车很可能由于都出现在所拍摄图像的同一位置(如，图像右下角)，而被误认为是同一车辆，这显然会导致目标物体的跟踪结果不准确。
发明内容
有鉴于此，本发明提出一种目标跟踪方法、装置、设备及存储介质以解决上述技术问题。
为了达到上述目的，本发明所采用的技术方案为：
根据本发明实施例的第一方面，提出了一种目标跟踪方法，包括：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
在一实施例中，所述在所述图像中确定目标物体的图像边框，包括：
将所述图像输入预先训练的神经网络，基于所述神经网络的输出结果确定目标物体的图像边框。
在一实施例中，所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，包括：
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
在一实施例中，所述图像是基于摄像头采集的；
所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据，包括：
基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据；
基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据；
基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据；
将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
在一实施例中，所述基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，包括：
基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框；
基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
根据本发明实施例的第二方面，提出了一种目标跟踪装置，包括：
环境图像获取模块，用于获取当前车辆外部环境的图像；
图像边框确定模块，用于在所述图像中确定目标物体的图像边框；
车辆距离确定模块，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
目标物体跟踪模块，用于基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
在一实施例中，所述图像边框确定模块还用于将所述图像输入预先训练的神经网络，基于所述神经网络的输出结果确定目标物体的图像边框。
在一实施例中，所述车辆距离确定模块，包括：
点云数据确定单元，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
车辆距离确定单元，用于基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
在一实施例中，所述图像是基于摄像头采集的；
所述点云数据确定单元还用于：
基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据；
基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据；
基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据；
将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
在一实施例中，所述目标物体跟踪模块，包括：
图像边框获取单元，用于基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框；
目标物体跟踪单元，用于基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
根据本发明实施例的第三方面，提出了一种电子设备，所述电子设备包括：
处理器；
被配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
根据本发明实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
与现有技术相比较，本发明通过获取当前车辆外部环境的图像，并在所述图像中确定目标物体的图像边框，然后基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，进而基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，由于是基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，而不仅仅是基于目标物体的图像进行跟踪，因而可以避免将外形相同的不同车辆误认为是同一车辆，即能够分辨出从旁经过的外形相同的不同车辆，从而可以提高对目标物体进行跟踪的准确性。
附图说明
图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图；
图2示出了根据本发明的如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离的示意图；
图3示出了根据本发明的如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据的示意图；
图4示出了根据本发明的如何基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪的示意图；
图5示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；
图6示出了根据本发明的另一示例性实施例的目标跟踪装置的结构框图；
图7示出了根据本发明的一示例性实施例的电子设备的结构框图。
具体实施方式
以下将结合附图所示的具体实施例对本发明进行详细描述。但这些实施例并不限制本发明，本领域的普通技术人员根据这些实施例所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二等来描述各种结构，但这些结构不应限于这些术语。这些术语仅用来将同一类型的结构彼此区分开。
图1示出了根据本发明的一示例性实施例的目标跟踪方法的流程图。本实施例的方法可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图1所示，该方法包括以下步骤S101-S104：
在步骤S101中，获取当前车辆外部环境的图像。
本实施例中，可以通过当前车辆上预先设置的图像采集装置拍摄当前车辆的外部环境的图像，进而终端设备或服务端可以获取该图像采集装置所采集的图像。
其中，上述预设的图像采集装置可以包括车载摄像头等装置，本实施例对此不进行限定。
值得说明的是，上述图像可以包括单幅图像或包含多帧连续图像的视频，且图像的类型可以包括JPEG、PNG、GIF、BMP等，本实施例对此不进行限定。
在步骤S102中，在所述图像中确定目标物体的图像边框。
本实施例中，当获取当前车辆外部环境的图像后，可以在图像中确定目标物体的图像边框。
举例来说，当确定需要跟踪的目标物体后，可以采用预设方式在上述获取的图像中确定该目标物体的图像边框。其中，上述目标物体可以为当前用户选择的行人或车辆等，本实施例对此不进行限定。
值得说明的是，上述预设方式可以为人工标注方式，或者还可以为自动标注模式。例如，可以利用预先基于样本图像训练用于确定目标物体的图像边框的神经网络。进而当得到训练好的神经网络后，可以将上述图像输入该预先训练的神经网络，进而可以基于该神经网络的输出结果确定目标物体的图像边框。
在步骤S103中，基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离。
本实施例中，当在所述图像中确定目标物体的图像边框后，可以基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离。
其中，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据。
举例来说，在当前车辆行驶过程中，可以通过当前车辆上预先安装的激光雷达扫描当前车辆的外部环境，从而得到点云数据，进而可以基于该点云数据确定当前车辆与外部环境中各物体之间的距离。在此基础上，可以将当前获取的激光点云数据与上述图像中的图像边框进行匹配，以确定该图像边框中的物体(即目标物体)的激光点云数据。如此，既可以通过目标物体的激光点云数据确定该目标物体与当前车辆之间的距离。
在步骤S104中，基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
本实施例中，当基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离后，可以基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
举例来说，可以通过当前车辆或者车载终端设备上预设的定位装置获取当前车辆的定位信息。其中，该预设的定位装置可以基于实际需要进行设置，如设置为全球定位系统(GPS)装置等，本实施例对此不进行限定。
在一实施例中，上述步骤S104中基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪的方式还可以参见下述图4所示实施例，在此先不进行详述。
由上述描述可知，本实施例的方法通过获取当前车辆外部环境的图像，并在所述图像中确定目标物体的图像边框，然后基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，进而基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，由于是基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，而不仅仅是基于目标物体的图像进行跟踪，因而可以避免将外形相同的不同车辆误认为是同一车辆，即能够分辨出从旁经过的外形相同的不同车辆，从而可以提高对目标物体进行跟踪的准确性。
图2示出了根据本发明的如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离的示意图。本实施例在上述实施例的基础上以如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离为例进行示例性说明。如图2所示，上述步骤S103所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，可以包括以下步骤S201-S202：
在步骤S201中，基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据。
本实施例中，当在所述图像中确定目标物体的图像边框以及基于激光雷达扫描当前车辆的外部环境得到点云数据后，可以将该激光点云数据与图像边框进行匹配，得到目标物体在像素坐标系下的点云数据。
在另一实施例中，上述步骤S201中基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据的方式还可以参见下述图3所示实施例，在此先不进行详述。
在步骤S202中，基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
本实施例中，当基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据后，可以基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
举例来说，当获取目标物体在像素坐标系下的点云数据后，可以确定该点云数据中每个点距离当前车辆之间的距离，进而可以确定目标物体与当前车辆之间的距离。
由上述描述可知，本实施例通过基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离，可以实现基于当前获取的激光点云数据以及目标物体的图像边框确定目标物体与当前车辆之间的距离，进而可以实现后续基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，可以提高对目标物体进行跟踪的准确性。
图3示出了根据本发明的如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据的示意图；本实施例在上述实施例的基础上以如何基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据为例进行示例性说明。
本实施例中，所述图像是基于摄像头采集的。在此基础上，如图3所示，上述步骤S201所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据，可以包括以下步骤S301-S304：
在步骤S301中，基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据。
本实施例中，可以预先标定当前车辆上的激光雷达对应的激光雷达坐标系与当前车辆上的摄像头对应的摄像头坐标系之间的第一关系，进而可以在基于当前车辆上的激光雷达获取到激光雷达坐标系下的激光点云数据后，基于预先标定的第一关系将该激光点云数据转换至摄像头坐标系，从而得到该摄像头坐标系下的激光点云数据。
其中，激光雷达坐标信息与摄像头坐标系之间的第一关系的标定方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。
在步骤S302中，基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据。
本实施例中，可以预先标定上述摄像头坐标系与图像坐标系之间的第二关系，进而可以在得到所述摄像头坐标系下的激光点云数据后，基于预先标定的第二关系将摄像头坐标系下的激光点云数据转换至上述图像坐标系，从而得到图像坐标系下的激光点云数据。
其中，摄像头坐标系与图像坐标系之间的第二关系的标定方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。
在步骤S303中，基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据。
本实施例中，可以预先标定图像坐标系与像素坐标系之间的第三关系，进而可以在得到图像坐标系下的激光点云数据后，基于预先标定的第三关系将图像坐标系下的激光点云数据转换至上述像素坐标系，从而得到该像素坐标系下的激光点云数据。
其中，图像坐标系与像素坐标系之间的第三关系的标定方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。
在步骤S304中，将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
本实施例中，当将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据后，即可将像素坐标系下的激光点云数据与目标物体在当前车辆外部环境的图像中的图像边框进行匹配，从而得到该目标物体在像素坐标系下的点云数据。
由上述描述可知，本实施例通过基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据，并基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据，然后基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据，进而可以将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据，可以实现基于当前获取的激光点云数据以及所述图像边框准确的确定所述目标物体在像素坐标系下的点云数据，进而为后续基于目标物体在像素坐标系下的点云数据确定目标物体与当前车辆之间的距离提供准确的依据。
图4示出了根据本发明的如何基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪的示意图；本实施例在上述实施例的基础上以如何基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪为例进行示例性说明。如图4所示，上述步骤S104所述基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，可以包括以下步骤S401-S402：
在步骤S401中，基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框。
本实施例中，当基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离后，可以基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框。
举例来说，当确定目标物体与当前车辆之间的距离后，可以基于该目标物体与当前车辆之间的距离将目标物体在像素坐标系下的图像边框投影到地图坐标系，从而可以得到该目标物体在地图坐标系下的图像边框。
在步骤S402中，基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
本实施例中，当基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框后，可以基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
举例来说，可以通过当前车辆或者车载终端设备上预设的定位装置获取当前车辆的定位信息。其中，该预设的定位装置可以基于实际需要进行设置，如设置为全球定位系统(GPS)装置等，本实施例对此不进行限定。在此基础上，即可在当前车辆行驶过程中，基于当前车辆的定位信息以及目标物体在地图坐标系下的图像边框，对该目标物体进行跟踪。
由上述描述可知，本实施例通过基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框，并基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪，可以实现基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，由于是基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，而不仅仅是基于目标物体的图像进行跟踪，因而可以分辨出从旁经过的外形相同的不同车辆，进而可以提高对目标物体进行跟踪的准确性。
图5示出了根据本发明的一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。如图5所示，该装置包括：环境图像获取模块110、图像边框确定模块120、车辆距离确定模块130以及目标物体跟踪模块140，其中：
环境图像获取模块110，用于获取当前车辆外部环境的图像；
图像边框确定模块120，用于在所述图像中确定目标物体的图像边框；
车辆距离确定模块130，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
目标物体跟踪模块140，用于基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
由上述描述可知，本实施例的装置通过获取当前车辆外部环境的图像，并在所述图像中确定目标物体的图像边框，然后基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，进而基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，由于是基于目标物体与当前车辆之间的距离以及当前车辆的定位信息对目标物体进行跟踪，而不仅仅是基于目标物体的图像进行跟踪，因而可以避免将外形相同的不同车辆误认为是同一车辆，即能够分辨出从旁经过的外形相同的不同车辆，从而可以提高对目标物体进行跟踪的准确性。
图6示出了根据本发明的另一示例性实施例的目标跟踪装置的结构框图；本实施例的装置可以应用于具有数据处理功能的终端设备(如，车载终端、智能手机或平板电脑等)或服务端(如，一台服务器或多台服务器组成的服务器集群等)。其中，环境图像获取模块210、图像边框确定模块220、车辆距离确定模块230以及目标物体跟踪模块240与前述图5所示实施例中的环境图像获取模块110、图像边框确定模块120、车辆距离确定模块130以及目标物体跟踪模块140的功能相同，在此不进行赘述。
如图6所示，图像边框确定模块220还可以用于将所述图像输入预先训练的神经网络，基于所述神经网络的输出结果确定目标物体的图像边框。
在一实施例中，车辆距离确定模块230，可以包括：
点云数据确定单元231，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
车辆距离确定单元232，用于基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
在一实施例中，本实施例的图像是基于摄像头采集的；
在此基础上，点云数据确定单元231还可以用于：
基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据；
基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据；
基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据；
将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
在一实施例中，目标物体跟踪模块240，可以包括：
图像边框获取单元241，用于基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框；
目标物体跟踪单元242，用于基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明目标跟踪装置的实施例可以应用在网络设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明的目标跟踪装置所在电子设备的一种硬件结构图，除了图7所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器处理时实现以下任务处理方法：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本发明的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种目标跟踪方法，其特征在于，包括：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
2.根据权利要求1所述的方法，其特征在于，所述在所述图像中确定目标物体的图像边框，包括：
将所述图像输入预先训练的神经网络，基于所述神经网络的输出结果确定目标物体的图像边框。
3.根据权利要求1所述的方法，其特征在于，所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，包括：
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
4.根据权利要求3所述的方法，其特征在于，所述图像是基于摄像头采集的；
所述基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据，包括：
基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据；
基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据；
基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据；
将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪，包括：
基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框；
基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
6.一种目标跟踪装置，其特征在于，包括：
环境图像获取模块，用于获取当前车辆外部环境的图像；
图像边框确定模块，用于在所述图像中确定目标物体的图像边框；
车辆距离确定模块，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
目标物体跟踪模块，用于基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
7.根据权利要求6所述的装置，其特征在于，所述图像边框确定模块还用于将所述图像输入预先训练的神经网络，基于所述神经网络的输出结果确定目标物体的图像边框。
8.根据权利要求6所述的装置，其特征在于，所述车辆距离确定模块，包括：
点云数据确定单元，用于基于当前获取的激光点云数据以及所述图像边框确定所述目标物体在像素坐标系下的点云数据；
车辆距离确定单元，用于基于所述目标物体在像素坐标系下的点云数据确定所述目标物体与所述当前车辆之间的距离。
9.根据权利要求8所述的装置，其特征在于，所述图像是基于摄像头采集的；
所述点云数据确定单元还用于：
基于预先标定的激光雷达坐标系与摄像头坐标系之间的第一关系，将所述激光雷达坐标系下的激光点云数据转换至所述摄像头坐标系，得到所述摄像头坐标系下的激光点云数据；
基于预先标定的所述摄像头坐标系与图像坐标系之间的第二关系，将所述摄像头坐标系下的激光点云数据转换至所述图像坐标系，得到所述图像坐标系下的激光点云数据；
基于预先标定的所述图像坐标系与像素坐标系之间的第三关系，将所述图像坐标系下的激光点云数据转换至所述像素坐标系，得到所述像素坐标系下的激光点云数据；
将所述像素坐标系下的激光点云数据与所述图像边框进行匹配，得到所述目标物体在像素坐标系下的点云数据。
10.根据权利要求9所述的装置，其特征在于，所述目标物体跟踪模块，包括：
图像边框获取单元，用于基于所述目标物体与所述当前车辆之间的距离将所述图像边框投影到地图坐标系，得到地图坐标系下的图像边框；
目标物体跟踪单元，用于基于所述当前车辆的定位信息以及所述地图坐标系下的图像边框，对所述目标物体进行跟踪。
11.一种电子设备，其特征在于，所述电子设备包括：
处理器；
被配置为存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器处理时实现：
获取当前车辆外部环境的图像；
在所述图像中确定目标物体的图像边框；
基于当前获取的激光点云数据以及所述图像边框确定所述目标物体与所述当前车辆之间的距离，所述激光点云数据包括基于激光雷达扫描所述外部环境得到的点云数据；
基于所述目标物体与所述当前车辆之间的距离以及所述当前车辆的定位信息对所述目标物体进行跟踪。
CN202110322156.1A 2021-03-25 2021-03-25 目标跟踪方法、装置、设备及存储介质 Pending CN113066100A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322156.1A CN113066100A (zh) 2021-03-25 2021-03-25 目标跟踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322156.1A CN113066100A (zh) 2021-03-25 2021-03-25 目标跟踪方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113066100A true CN113066100A (zh) 2021-07-02

Family

ID=76563584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322156.1A Pending CN113066100A (zh) 2021-03-25 2021-03-25 目标跟踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113066100A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262594A1 (zh) * 2021-06-15 2022-12-22 同方威视技术股份有限公司 跟随目标的方法、装置、机器人及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110636248A (zh) * 2018-06-22 2019-12-31 华为技术有限公司 目标跟踪方法与装置
CN111060132A (zh) * 2019-11-29 2020-04-24 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111611853A (zh) * 2020-04-15 2020-09-01 宁波吉利汽车研究开发有限公司 一种传感信息融合方法、装置及存储介质
US20200324898A1 (en) * 2019-04-10 2020-10-15 Thomas Andrew Youmans Method and algorithm for flight, movement, autonomy, in gps, communication, degraded, denied, obstructed non optimal environment
CN111784748A (zh) * 2020-06-30 2020-10-16 深圳市道通智能航空技术有限公司 目标跟踪方法、装置、电子设备及移动载具

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636248A (zh) * 2018-06-22 2019-12-31 华为技术有限公司 目标跟踪方法与装置
US20200324898A1 (en) * 2019-04-10 2020-10-15 Thomas Andrew Youmans Method and algorithm for flight, movement, autonomy, in gps, communication, degraded, denied, obstructed non optimal environment
CN110276793A (zh) * 2019-06-05 2019-09-24 北京三快在线科技有限公司 一种标定三维物体的方法及装置
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN111060132A (zh) * 2019-11-29 2020-04-24 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111611853A (zh) * 2020-04-15 2020-09-01 宁波吉利汽车研究开发有限公司 一种传感信息融合方法、装置及存储介质
CN111784748A (zh) * 2020-06-30 2020-10-16 深圳市道通智能航空技术有限公司 目标跟踪方法、装置、电子设备及移动载具

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022262594A1 (zh) * 2021-06-15 2022-12-22 同方威视技术股份有限公司 跟随目标的方法、装置、机器人及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN110146869B (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN111179358B (zh) 标定方法、装置、设备及存储介质
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
CN112419385A (zh) 一种3d深度信息估计方法、装置及计算机设备
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN111976601B (zh) 自动泊车方法、装置、设备和存储介质
US11151729B2 (en) Mobile entity position estimation device and position estimation method
CN111667545B (zh) 高精度地图生成方法、装置、电子设备及存储介质
US11880993B2 (en) Image processing device, driving assistance system, image processing method, and program
CN113030990B (zh) 车辆的融合测距方法、装置、测距设备及介质
CN112036359A (zh) 一种车道线的拓扑信息获得方法、电子设备及存储介质
CN113240813B (zh) 三维点云信息确定方法及装置
CN113066100A (zh) 目标跟踪方法、装置、设备及存储介质
JP2018073275A (ja) 画像認識装置
CN112837384A (zh) 车辆标记方法、装置和电子设备
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN111797715A (zh) 车位检测方法、装置、电子设备及存储介质
CN115883969B (zh) 一种无人机拍摄方法、装置、设备及介质
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN113188569A (zh) 车辆与激光雷达的坐标系标定方法、设备及存储介质
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN110930455B (zh) 定位方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination