CN116597131A - 目标定位方法、装置及电子设备、计算机可读存储介质 - Google Patents

目标定位方法、装置及电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN116597131A
CN116597131A CN202310530928.XA CN202310530928A CN116597131A CN 116597131 A CN116597131 A CN 116597131A CN 202310530928 A CN202310530928 A CN 202310530928A CN 116597131 A CN116597131 A CN 116597131A
Authority
CN
China
Prior art keywords
target
coordinate system
current
cloud data
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310530928.XA
Other languages
English (en)
Inventor
张上鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202310530928.XA priority Critical patent/CN116597131A/zh
Publication of CN116597131A publication Critical patent/CN116597131A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请公开了一种目标定位方法、装置及电子设备、计算机可读存储介质，该方法包括：获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；根据目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。本申请通过事先训练好的目标关键点检测模型对目标在图像可见区域的参考点位置进行检测，可以有效区分拥挤遮挡场景下的行人个体，进一步利用激光雷达测距的优势，结合参考点位置对应的激光点云数据，确定出目标的绝对位置，提高了拥挤遮挡场景下的目标定位精度。

Description

目标定位方法、装置及电子设备、计算机可读存储介质
技术领域
本申请涉及目标定位技术领域，尤其涉及一种目标定位方法、装置及电子设备、计算机可读存储介质。
背景技术
基于路侧感知实现的目标定位是指检测出目标在世界坐标系下的绝对位置，基于该绝对位置可以相应地在数字孪生、智慧城市等平台上同步显示，也可以将该绝对位置发送给车端补盲，因为车辆存在视野盲区，行人等目标如果在处在车辆的盲区内容易不被看到，从而易造成事故。
目前的目标定位流程一般是通过2D目标检测模型检测出行人等目标在图像中的矩形框，该矩形框的底边一般都是接地的，通过事先标定的相机坐标系与世界坐标系的变换关系，将矩形框的底边中心变换到世界坐标系下，从而得到目标的绝对位置。
然而上述目标定位流程要求检测出的矩形框的底边贴着地面，这是因为单目相机没有尺度信息，得不到人到相机的距离，所以往往标定的是地面上的坐标与相机图像的坐标的变换关系，通过相机图像的坐标找到相应的世界坐标。这种情况下如果检测的是拥挤遮挡等场景下的目标，被遮挡的目标很难检测到接地的矩形框的底边，进而无法通过上述目标检测流程实现精准的目标定位。
发明内容
本申请实施例提供了一种目标定位方法、装置及电子设备、计算机可读存储介质，以提高拥挤遮挡等场景下的目标定位精度。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种目标定位方法，其中，所述方法包括：
获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
可选地，所述预设目标关键点检测模型通过如下方式得到：
获取训练样本数据，所述训练样本数据包含有目标在当前图像中可见区域的参考点标注位置；
利用所述训练样本数据对人体关键点检测模型进行训练，得到所述预设目标关键点检测模型。
可选地，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果包括：
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据；
根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果。
可选地，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括：
确定图像像素坐标系与激光雷达坐标系的变换关系；
根据所述图像像素坐标系与激光雷达坐标系的变换关系，将所述当前激光点云数据投影至所述当前图像中，得到当前激光点云数据的投影位置；
根据所述目标关键点检测结果和所述当前激光点云数据的投影位置确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据。
可选地，所述确定图像像素坐标系与激光雷达坐标系的变换关系包括：
确定所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系，并根据所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系确定所述图像像素坐标系与激光雷达坐标系的变换关系；或者，
利用预设标定策略对所述图像像素坐标系与激光雷达坐标系的变换关系进行标定。
可选地，所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括目标在当前图像中可见区域的参考点位置对应的3D点的位置，所述根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果包括：
确定激光雷达坐标系与世界坐标系的变换关系；
根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果。
可选地，所述3D点的位置包括多个，所述根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果包括：
利用预设融合策略对多个3D点的位置进行融合，得到融合后的3D点的位置；
根据所述激光雷达坐标系与世界坐标系的变换关系，将所述融合后的3D点的位置转换到世界坐标系下，得到所述目标定位结果。
第二方面，本申请实施例还提供一种目标定位装置，其中，所述装置包括：
获取单元，用于获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
检测单元，用于利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
确定单元，用于根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
第三方面，本申请实施例还提供一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例的目标定位方法，先获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；然后利用预设目标关键点检测模型对当前图像进行检测，得到目标关键点检测结果，目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；最后根据目标在当前图像中可见区域的参考点位置和当前激光点云数据，确定目标定位结果。本申请实施例的目标定位方法通过事先训练好的目标关键点检测模型对目标在图像可见区域的参考点位置进行检测，可以有效区分拥挤遮挡场景下的行人个体，进一步利用激光雷达测距的优势，结合参考点位置对应的激光点云数据，确定出目标的绝对位置，提高了拥挤遮挡场景下的目标定位精度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中一种目标定位方法的流程示意图；
图2为本申请实施例中一种目标定位流程示意图；
图3为本申请实施例中一种目标定位装置的结构示意图；
图4为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种目标定位方法，如图1所示，提供了本申请实施例中一种目标定位方法的流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据。
本申请实施例的目标定位方法可以由路侧设备来执行，从路侧感知视角为车端的感知定位提供更多参考信息。当然，本领域技术人员也可以根据实际需求将其拓展到车端，即基于车端的相机和激光雷达，利用本申请实施例的目标定位方案实现目标定位。
本申请实施例的目标定位方法主要用于检测拥堵遮挡场景下的行人目标，在进行目标定位时，需要先获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据，由于路侧相机和激光雷达的数据采集频率不同，因此这里可以对二者采集的数据进行时间同步处理，从而得到当前时刻对应的图像的激光点云数据。
步骤S120，利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置。
即使在拥挤遮挡场景下目标检测算法也能够较好地区分出图像中的不同个体，因此本申请实施例可以利用事先训练好的目标关键点检测模型对当前图像中的目标进行关键点检测，得到目标关键点检测结果，具体可以包括目标在当前图像中可见区域的参考点位置。预设目标关键点检测模型可以基于OpenPose、CPM(Convolutional Pose Machines，卷积姿态机)等深度学习算法训练得到，具体如何训练，本领域技术人员可以结合现有技术灵活确定，在此不作具体限定。
考虑到拥挤遮挡场景下，行人目标会由于被遮挡而无法检测出底边接地点，本申请实施例定义了行人目标在当前图像中可见区域的参考点，即对行人目标在图像中未被遮挡的部分选取一个或多个参考点作为目标关键点检测模型检测并输出的位置点，该参考点的选取可以考虑实际的拥堵遮挡情况来设置，例如人的头部通常是最不容易被遮挡的区域，因此可以在人的头部位置未被遮挡的部分设置参考点。
步骤S130，根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
由于前述步骤得到的目标在当前图像中可见区域的参考点位置为目标的二维位置信息，因此本申请实施例可以进一步利用激光雷达测距的优势，结合当前的激光点云数据，确定出该图像中的参考点位置对应的绝对位置，作为该目标的最终定位位置。之所以没有直接利用激光雷达进行目标检测和定位是因为在拥挤遮挡场景下，基于激光雷达采集的点云数据无法有效区域行人个体。
本申请实施例的目标定位方法通过事先训练好的目标关键点检测模型对目标在图像可见区域的参考点位置进行检测，可以有效区分拥挤遮挡场景下的行人个体，进一步利用激光雷达测距的优势，结合参考点位置对应的激光点云数据，确定出目标的绝对位置，提高了拥挤遮挡场景下的目标定位精度。
在本申请的一些实施例中，所述预设目标关键点检测模型通过如下方式得到：获取训练样本数据，所述训练样本数据包含有目标在当前图像中可见区域的参考点标注位置；利用所述训练样本数据对人体关键点检测模型进行训练，得到所述预设目标关键点检测模型。
如前所述，为了保证在拥堵遮挡场景下被遮挡目标在图像中能够被有效检出，定义了行人目标在当前图像中可见区域的参考点，因此本申请实施例训练的目标关键点检测模型需要能够准确检测出行人目标在当前图像中可见区域的参考点位置，而传统的关键点检测模型主要是对人的肩膀、关节以及鼻子、眼睛等位置进行检测，这就需要对传统的关键点检测模型的训练数据进行改造，即标注出大量的目标在图像中可见区域的参考点位置作为训练样本数据，以此训练目标关键点检测模型。
对于行人目标来说，人的头部区域通常是最不容易被遮挡的部位，且人的人的头部在图像中可见区域的中心位置也最易于人工标注，并且无论人朝向路侧相机还是背对路侧相机亦或是其他任何角度，都可以较为容易确定出人的头部在图像中可见区域的中心位置，相比于头部的其他关键点如眼睛、鼻子等更具有鲁棒性，因此本申请实施例在标注训练样本数据时，可以将人的头部在图像中可见区域的中心位置作为参考点位置进行标注，一方面便于人工标注，提高标注效率，另一方面也提高目标关键点检测模型的鲁棒性。
在本申请的一些实施例中，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果包括：根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据；根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果。
目标在当前图像中可见区域的参考点位置是指参考点的二维位置信息，因此本申请实施例可以利用激光雷达测距的优势，结合当前的激光点云数据，确定出该参考点位置对应的当前激光点云数据，进而根据该参考点位置对应的当前激光点云数据的3D位置，确定目标的最终定位位置。
在本申请的一些实施例中，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括：确定图像像素坐标系与激光雷达坐标系的变换关系；根据所述图像像素坐标系与激光雷达坐标系的变换关系，将所述当前激光点云数据投影至所述当前图像中，得到当前激光点云数据的投影位置；根据所述目标关键点检测结果和所述当前激光点云数据的投影位置确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据。
在确定目标在当前图像中可见区域的参考点位置对应的当前激光点云数据时，可以先确定图像像素坐标系与激光雷达坐标系之间的变换关系，该变换关系可以事先标定得到，当然，具体如何标定，本领域技术人员可以结合现有技术灵活确定，在此不作具体限定。
基于图像像素坐标系与激光雷达坐标系之间的变换关系，可以将当前的激光点云数据投影到当前图像中，得到当前激光点云数据在图像中的投影位置，进一步结合目标在当前图像中可见区域的参考点位置可以确定出参考点位置与当前激光点云数据在图像中的投影位置之间的对应关系，进而也就可以得到参考点位置对应的当前激光点云数据。
在本申请的一些实施例中，所述确定图像像素坐标系与激光雷达坐标系的变换关系包括：确定所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系，并根据所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系确定所述图像像素坐标系与激光雷达坐标系的变换关系；或者，利用预设标定策略对所述图像像素坐标系与激光雷达坐标系的变换关系进行标定。
本申请实施例在确定图像像素坐标系与激光雷达坐标系之间的变换关系时，可以采取两种方式，一种方式是先对图像像素坐标系与相机坐标系之间的变换关系进行标定，例如可以利用棋盘格，通过张正友棋盘格标定法标定出图像像素坐标系与相机坐标系之间的变换矩阵，并对相机坐标系与激光雷达坐标系之间的变换矩阵进行标定，最后再根据图像像素坐标系与相机坐标系之间的变换矩阵以及相机坐标系与激光雷达坐标系之间的变换矩阵通过矩阵变换的方式计算出图像像素坐标系与激光雷达坐标系的变换矩阵。另一种方式是直接利用棋盘格对图像像素坐标系与激光雷达坐标系的变换关系进行联合标定。
在本申请的一些实施例中，所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括目标在当前图像中可见区域的参考点位置对应的3D点的位置，所述根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果包括：确定激光雷达坐标系与世界坐标系的变换关系；根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果。
本申请实施例的目标在当前图像中可见区域的参考点位置对应的当前激光点云数据主要包括该参考点位置对应的3D点位置，由于该3D点位置是激光雷达坐标系下的，而最终提供给车端的定位或者用于展示的定位信息应该世坐标系与世界坐标系之间的变换关系，将上述参考点位置对应的3D点位置转换到世界坐标系下，从而得到该参考点位置对应的世界坐标系下的绝对位置。
在本申请的一些实施例中，所述3D点的位置包括多个，所述根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果包括：利用预设融合策略对多个3D点的位置进行融合，得到融合后的3D点的位置；根据所述激光雷达坐标系与世界坐标系的变换关系，将所述融合后的3D点的位置转换到世界坐标系下，得到所述目标定位结果。
由于激光点云数据中的3D点与图像中的像素点并非是一一对应的关系，因此在将激光点云数据投影至当前图像中后，可能会出现多个3D点对应一个参考位置点的情况，因此本申请实施例可以采取一定的融合策略对多个3D点的位置进行融合处理。
例如，可以基于每个3D点的位置选取距离路侧感知设备最近的3D点的位置作为融合后的3D点的位置，也可以对多个3D点的位置求平均处理，从而得到融合后的3D点的位置。当然，具体如何融合，本领域技术人员可以根据实际需求灵活选择，在此不作具体限定。
为了便于对本申请各实施例的理解，如图2所示，提供了本申请实施例中一种目标定位流程示意图。先获取路侧相机采集的当前图像以及对应的激光雷达采集的当前激光点云数据，然后利用预设目标关键点检测模型对当前图像进行检测，得到目标在图像可见区域的参考点位置，之后再将当前激光点云数据投影至当前图像中，确定出参考点位置对应的激光点云数据；最后将参考点位置对应的激光点云数据中的3D点位置转换到世界坐标系下，得到最终的目标定位结果。
本申请的目标定位流程通过事先训练好的目标关键点检测模型对目标在图像可见区域的参考点位置进行检测，可以有效区分拥挤遮挡场景下的行人个体，进一步利用激光雷达测距的优势，结合参考点位置对应的激光点云数据，确定出目标的绝对位置，提高了拥挤遮挡场景下的目标定位精度。
本申请实施例还提供了一种目标定位装置300，如图3所示，提供了本申请实施例中一种目标定位装置的结构示意图，所述装置300包括：获取单元310、检测单元320以及确定单元330，其中：
获取单元310，用于获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
检测单元320，用于利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
确定单元330，用于根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
在本申请的一些实施例中，所述预设目标关键点检测模型通过如下方式得到：获取训练样本数据，所述训练样本数据包含有目标在当前图像中可见区域的参考点标注位置；利用所述训练样本数据对人体关键点检测模型进行训练，得到所述预设目标关键点检测模型。
在本申请的一些实施例中，所述确定单元330具体用于：根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据；根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果。
在本申请的一些实施例中，所述确定单元330具体用于：确定图像像素坐标系与激光雷达坐标系的变换关系；根据所述图像像素坐标系与激光雷达坐标系的变换关系，将所述当前激光点云数据投影至所述当前图像中，得到当前激光点云数据的投影位置；根据所述目标关键点检测结果和所述当前激光点云数据的投影位置确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据。
在本申请的一些实施例中，所述确定单元330具体用于：确定所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系，并根据所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系确定所述图像像素坐标系与激光雷达坐标系的变换关系；或者，利用预设标定策略对所述图像像素坐标系与激光雷达坐标系的变换关系进行标定。
在本申请的一些实施例中，所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括目标在当前图像中可见区域的参考点位置对应的3D点的位置，所述确定单元330具体用于：确定激光雷达坐标系与世界坐标系的变换关系；根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果。
在本申请的一些实施例中，所述3D点的位置包括多个，所述确定单元330具体用于：利用预设融合策略对多个3D点的位置进行融合，得到融合后的3D点的位置；根据所述激光雷达坐标系与世界坐标系的变换关系，将所述融合后的3D点的位置转换到世界坐标系下，得到所述目标定位结果。
能够理解，上述目标定位装置，能够实现前述实施例中提供的目标定位方法的各个步骤，关于目标定位方法的相关阐释均适用于目标定位装置，此处不再赘述。
图4是本申请的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成目标定位装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
上述如本申请图1所示实施例揭示的目标定位装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中目标定位装置执行的方法，并实现目标定位装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中目标定位装置执行的方法，并具体用于执行：
获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标定位方法，其中，所述方法包括：
获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
2.如权利要求1所述方法，其中，所述预设目标关键点检测模型通过如下方式得到：
获取训练样本数据，所述训练样本数据包含有目标在当前图像中可见区域的参考点标注位置；
利用所述训练样本数据对人体关键点检测模型进行训练，得到所述预设目标关键点检测模型。
3.如权利要求1所述方法，其中，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果包括：
根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据；
根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果。
4.如权利要求3所述方法，其中，所述根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括：
确定图像像素坐标系与激光雷达坐标系的变换关系；
根据所述图像像素坐标系与激光雷达坐标系的变换关系，将所述当前激光点云数据投影至所述当前图像中，得到当前激光点云数据的投影位置；
根据所述目标关键点检测结果和所述当前激光点云数据的投影位置确定所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据。
5.如权利要求4所述方法，其中，所述确定图像像素坐标系与激光雷达坐标系的变换关系包括：
确定所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系，并根据所述图像像素坐标系与相机坐标系的变换关系和所述相机坐标系与激光雷达坐标系的变换关系确定所述图像像素坐标系与激光雷达坐标系的变换关系；或者，
利用预设标定策略对所述图像像素坐标系与激光雷达坐标系的变换关系进行标定。
6.如权利要求3所述方法，其中，所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据包括目标在当前图像中可见区域的参考点位置对应的3D点的位置，所述根据所述目标在当前图像中可见区域的参考点位置对应的当前激光点云数据，确定所述目标定位结果包括：
确定激光雷达坐标系与世界坐标系的变换关系；
根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果。
7.如权利要求6所述方法，其中，所述3D点的位置包括多个，所述根据所述激光雷达坐标系与世界坐标系的变换关系，将所述3D点的位置转换到世界坐标系下，得到所述目标定位结果包括：
利用预设融合策略对多个3D点的位置进行融合，得到融合后的3D点的位置；
根据所述激光雷达坐标系与世界坐标系的变换关系，将所述融合后的3D点的位置转换到世界坐标系下，得到所述目标定位结果。
8.一种目标定位装置，其中，所述装置包括：
获取单元，用于获取路侧相机采集的当前图像和激光雷达采集的当前激光点云数据；
检测单元，用于利用预设目标关键点检测模型对所述当前图像进行检测，得到目标关键点检测结果，所述目标关键点检测结果包括目标在当前图像中可见区域的参考点位置；
确定单元，用于根据所述目标在当前图像中可见区域的参考点位置和所述当前激光点云数据，确定目标定位结果。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7之任一所述方法。
CN202310530928.XA 2023-05-11 2023-05-11 目标定位方法、装置及电子设备、计算机可读存储介质 Pending CN116597131A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310530928.XA CN116597131A (zh) 2023-05-11 2023-05-11 目标定位方法、装置及电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310530928.XA CN116597131A (zh) 2023-05-11 2023-05-11 目标定位方法、装置及电子设备、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116597131A true CN116597131A (zh) 2023-08-15

Family

ID=87598545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310530928.XA Pending CN116597131A (zh) 2023-05-11 2023-05-11 目标定位方法、装置及电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116597131A (zh)

Similar Documents

Publication Publication Date Title
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
EP3637313A1 (en) Distance estimating method and apparatus
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN110341621B (zh) 一种障碍物检测方法及装置
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114495043B (zh) 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
JP6361313B2 (ja) 車両検出方法及び装置
CN112465831A (zh) 基于双目立体相机的弯道场景感知方法、系统和装置
CN115546315A (zh) 自动驾驶车辆的传感器在线标定方法、装置及存储介质
JP2018073275A (ja) 画像認識装置
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN115661014A (zh) 一种点云数据处理方法、装置和电子设备、存储介质
CN116682091A (zh) 用于自动驾驶车辆的障碍物感知方法、装置
CN116597131A (zh) 目标定位方法、装置及电子设备、计算机可读存储介质
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
US11195305B2 (en) Method and device for identifying stereoscopic object, and vehicle and storage medium
CN112767498A (zh) 相机标定方法、装置和电子设备
CN112017241A (zh) 一种数据处理的方法和装置
JP2022014673A (ja) 画像処理装置
JP2021043141A (ja) 物体距離推定装置及び物体距離推定方法
JP2013191073A (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
CN116894834A (zh) 用于景区的路侧检测方法、装置及电子设备、存储介质
CN115761010A (zh) 相机标定方法以及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination