CN115424263A - 交通灯的标注方法、车载设备和存储介质 - Google Patents

交通灯的标注方法、车载设备和存储介质 Download PDF

Info

Publication number
CN115424263A
CN115424263A CN202210938699.0A CN202210938699A CN115424263A CN 115424263 A CN115424263 A CN 115424263A CN 202210938699 A CN202210938699 A CN 202210938699A CN 115424263 A CN115424263 A CN 115424263A
Authority
CN
China
Prior art keywords
point cloud
fused
cloud data
initial
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210938699.0A
Other languages
English (en)
Inventor
何鹏
周光
蔡一奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepRoute AI Ltd
Original Assignee
DeepRoute AI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepRoute AI Ltd filed Critical DeepRoute AI Ltd
Priority to CN202210938699.0A priority Critical patent/CN115424263A/zh
Publication of CN115424263A publication Critical patent/CN115424263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种交通灯的标注方法、车载设备和存储介质，交通灯的标注方法包括获取用于交通灯标注的至少两帧图像数据和所述至少两帧图像数据分别对应的初始点云数据；对所述至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到所述每一帧图像数据对应的中间点云数据，从而得到至少两帧中间点云数据；将所述至少两帧中间点云数据进行多帧处理，以得到融合点云数据；对所述融合点云数据进行过滤处理，以得到交通灯的目标点云数据，从而实现交通灯标注。本申请省时省力，能够提高检测的准确率，进而提高标注的精确度，为增强自动驾驶安全提供基础。

Description

交通灯的标注方法、车载设备和存储介质
技术领域
本申请涉及物体标注技术领域，特别是涉及一种交通灯的标注方法、车载设备和存储介质。
背景技术
在自动驾驶、高精地图等领域，更新频率高、计算量小、传输快的众包式采集建图越来越受到大家的青睐。除了定位信息，其中感知所获得的道路、交通标志、障碍物、行人等交通元素信息，会被用来控制车辆的转向和速度。交通标志中，交通灯识别的及时与准确，直接影响到自动驾驶车辆的安全与可靠。
但是，一些方案是通过人工对交通灯进行标注，费时费力，标注精度难以保证，还有一些方案存在误检漏检的情况，导致标记错误。
发明内容
本申请至少提供一种交通灯的标注方法、车载设备和存储介质。
本申请第一方面提供了一种交通灯的标注方法，所述方法包括：获取用于交通灯标注的至少两帧图像数据和所述至少两帧图像数据分别对应的初始点云数据；
对所述至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到所述每一帧图像数据对应的中间点云数据，从而得到至少两帧中间点云数据；
将所述至少两帧中间点云数据进行多帧处理，以得到融合点云数据；
对所述融合点云数据进行过滤处理，以得到交通灯的目标点云数据，从而实现交通灯标注。
其中，所述过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。
其中，所述融合点云数据包括至少一个点云；所述尺寸过滤处理包括：对所述至少一个点云中每个点云进行定位边框处理，以得到每个点云的三维方向以及尺寸信息；
将所述至少一个点云中所述三维方向中的主方向不与地面平行的点云进行删除；和/或，将所述至少一个点云中所述尺寸信息不满足预设尺寸的点云进行删除。
其中，所述融合点云数据包括至少一个点云；所述形状过滤处理包括：对所述至少一个点云中每个点云进行三维凸包处理操作，以得到每个点云的形状；
将所述至少一个点云中所述形状不满足预设形状的点云进行删除。
其中，所述融合点云数据包括至少一个点云；所述点云密度过滤处理包括：对所述至少一个点云中每个点云进行点云密度计算操作，以得到每个点云的密度；
将所述至少一个点云中密度小于预设密度阈值的点云进行删除。
其中，对所述至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到所述每一帧图像数据对应的中间点云数据，包括：确定所述初始点云数据中位于所述每一帧图像数据中的目标区域内的点云数据；
对所述目标区域内的点云数据进行聚类处理，以得到至少一个点云簇；
对所述至少一个点云簇中每个点云簇进行平面分割和/或直线分割处理，从而得到所述每一帧图像数据对应的中间点云数据。
其中，将所述至少两帧中间点云数据进行多帧处理，以得到融合点云数据，包括：确定所述至少两帧中间点云数据中位于同一目标区域内的点云数据并进行融合，得到所述目标区域内的融合点云；
对所述目标区域内的融合点云进行聚类处理，得到至少一个融合点云簇；
对所述至少一个融合点云簇中每个所述融合点云簇进行平面分割和/或直线分割处理，以得到所述融合点云数据。
其中，对每个所述点云簇/所述融合点云簇进行平面分割处理，包括：基于所述点云簇/所述融合点云簇建立初始平面；其中，所述初始平面与世界坐标系的Z轴之间的角度小于预设角度；
所述点云簇/所述融合点云簇中满足预设条件的点划分至所述初始平面，其中，所述预设条件为所述点到所述初始平面的垂直距离小于预设距离；
若所述初始平面内的点的数量满足预设比例，则将所述初始平面内的点作为点云；
和/或，对每个所述点云簇/所述融合点云簇进行直线分割处理，包括：
基于所述点云簇/所述融合点云簇建立初始直线；
若所述初始直线内的点的数量满足预设比例，则将所述初始直线内的点作为点云。
本申请第二方面提供了一种车载设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的交通灯的标注方法。
本申请第三方面提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现上述第一方面中的交通灯的标注方法。
上述方案，通过对至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，得到至少两帧中间点云数据，将至少两帧中间点云数据进行多帧处理，以得到融合点云数据，通过对融合点云数据进行过滤处理，以得到交通灯的目标点云数据，进而根据交通灯的目标点云数据进行交通灯标注，省时省力，能够提高检测的准确率，进而提高标注的精确度，为增强自动驾驶安全提供基础。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请交通灯的标注方法一实施例的流程示意图；
图2(a)为本申请交通灯的标注方法一实施例的一应用场景示意图；
图2(b)为本申请交通灯的标注方法一实施例的另一应用场景示意图；
图2(c)为本申请交通灯的标注方法一实施例的又一应用场景示意图；
图2(d)为本申请交通灯的标注方法一实施例的再一应用场景示意图；
图3是本申请车载设备一实施例的结构示意图；
图4是本申请非易失性计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
如上述，一些方案是通过人工对交通灯进行标注，费时费力，标注精度难以保证，还有一些方案存在误检漏检的情况，导致标记错误。
为此，本申请提供一种交通灯的标注方法、车载设备和存储介质，避免误检漏检，提高标注精度。
请参阅图1，图1是本申请交通灯的标注方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的车载设备，车载设备可通过接收传感器设备采集的信息，执行本方法，传感器设备可以是自动驾驶车辆装备的毫米波雷达、激光雷达或摄像头，传感器设备在自动驾驶车辆行驶过程中感知车辆周边真实物理世界动态场景，场景中包括路旁的交通灯，结合高精地图对道路旁的交通灯进行标注。如图1所示，交通灯的标注方法包括如下步骤：
S1、获取用于交通灯标注的至少两帧图像数据和至少两帧图像数据分别对应的初始点云数据。
可以利用图像传感器对道路图像数据进行采集，利用雷达传感器对点云数据进行采集。例如，将图像传感器和雷达传感器安装于一可移动的设备上。其中，该可移动的设备可以是自动移动设备，如机器人、自动驾驶车辆等。
在一些实施例中，图像传感器可以是相机，雷达传感器可以激光雷达传感器，如机械式激光雷达。
在一应场景中，自动驾驶车辆在道路上行驶，通过设置于该自动驾驶车辆上的图像传感器获取道路的图像数据并利用雷达传感器获取对应的初始点云数据。
在自动驾驶车辆行驶过程中，获取到的道路的图像数据中通常包括道路、交通灯、道路周边的树木、路灯、建筑等。因此，通过图像识别技术，能够识别出道路的图像数据中的交通灯。
在感知识别出道路的图像数据中的交通灯后，可以利用矩形框对交通灯进行框定。
S2、对至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到每一帧图像数据对应的中间点云数据，从而得到至少两帧中间点云数据。
通过雷达传感器采集到的初始点云数据是三维的，而图像数据是二维的，因此需要先将初始点云数据投影到图像数据。其中，道路两旁有一些绿化树木的枝叶或其他物体可能会遮挡交通灯，使雷达传感器采集到的初始点云数据包括交通灯的初始点云数据和非交通灯的初始点云数据，相应的，交通灯的初始点云数据以及一些非交通灯的初始点云数据都可能会落入图像数据中交通灯的矩形框内，进而对每一帧图像数据中的每一矩形框内的初始点云数据进行单帧处理，能够对初始点云数据进行初步过滤，能够将明显的非交通灯的初始点云数据进行去除，得到每一帧图像数据对应的中间点云数据，从而得到至少两帧中间点云数据。
其中，投影过程包括对初始点云数据进行运动补偿处理，将补偿处理后的点云的时间戳与图像数据的时间戳对齐，进而将点云数据投影到对应时刻的图像数据。
S3、将至少两帧中间点云数据进行多帧处理，以得到融合点云数据。
单帧处理过程中，一些非交通灯的初始点云数据在投影后，不易被过滤掉，因此将单帧处理后的至少两帧中间点云数据进行融合后，再进行多帧处理，进一步对融合后的非交通灯的点云数据进行去除，从而得到多帧处理后的融合点云数据。
S4、对融合点云数据进行过滤处理，以得到交通灯的目标点云数据，从而实现交通灯标注。
多帧处理得到的融合点云数据中，还可能存在一些非交通灯的融合点云数据，因此进一步对多帧处理得到的融合点云数据进行过滤处理，以过滤掉非交通灯的融合点云数据，得到交通灯的目标点云数据，从而根据交通灯的目标点云数据对交通灯进行标注。
需要注意的是，本申请是以交通灯为例进行说明，在其它可行实施例中，本申请的方法还可以用于对道路场景中的其他物体进行标注，例如交通指示牌，不作具体限定。
上述方案，通过对至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，得到至少两帧中间点云数据，将至少两帧中间点云数据进行多帧处理，以得到融合点云数据，通过对融合点云数据进行过滤处理，以得到交通灯的目标点云数据，进而根据交通灯的目标点云数据进行交通灯标注，省时省力，能够提高检测的准确率，进而提高标注的精确度，为增强自动驾驶安全提供基础。
如上述，对融合点云数据进行过滤处理，得到交通灯的目标点云数据。在本申请一实施例中，过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。
对多帧处理得到的融合点云数据进行过滤处理，过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个，以对融合点云数据中的非交通灯的融合点云数据进行去除。
如上述，过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。在本申请一实施例中，融合点云数据包括至少一个点云；尺寸过滤处理包括：对至少一个点云中每个点云进行定位边框处理，以得到每个点云的三维方向以及尺寸信息；将至少一个点云中三维方向中的主方向不与地面平行的点云进行删除；和/或，将至少一个点云中尺寸信息不满足预设尺寸的点云进行删除。
融合点云数据中包括至少一个点云，对至少一个点云中每个点云进行定位边框处理，以得到每个点云三维方向以及尺寸信息。定位边框处理可以采用OBB(OrientedBounding Box)处理方法，以得到每个点云的三维方向以及尺寸信息，或采用其它能够实现的方法均可，不作具体限定。
将至少一个点云中三维方向中的主方向不与地面平行的点云进行删除。交通灯一般是垂直于地面设置的，因此交通灯的主视方向应与地面平行，则交通灯的点云的主方向平行于地面。点云的主方向不与地面平行的认为是非交通灯的点云，则对于主方向不与地面平行的点云进行删除。
将至少一个点云中尺寸信息不满足预设尺寸的点云进行删除，一些常用的交通灯的高度为1.5米，宽度为0.5米，一些非机动车道常用的交通灯的高度是1.05米，宽度是0.35米，其中，交通灯的高度指的是交通灯灯罩外轮廓的高度，不包括用于支撑交通灯的灯杆的高度，交通灯的宽度指的是交通灯灯罩外轮廓的宽度，并不包括用于支撑交通灯的灯杆的宽度。其中预设尺寸可以根据实际使用场景进行设置，例如高度预设范围为1.0米至1.7米，宽度预设范围为0.3米至0.7米，或其它能够实现的范围值均可，不作具体限定。
例如，图2(a)为本申请交通灯的标注方法一实施例的一应用场景示意图，如图2(a)所示，对融合点云数据中的全部点云进行标号，得到编号分别为B1-B6的点云，假设高度预设范围为1.0米至1.7米，宽度预设范围为0.3米至0.7米。其中编号为B3的点云的主方向平行于地面，但是点云B3的高度为2.0米，超出高度预设范围，因此需要将点云B3删除。其中编号为B5的点云的主方向不与地面平行，认为点云B5是非交通灯的点云，因此也需要将点云B5删除。
如上述，过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。在本申请一实施例中，融合点云数据包括至少一个点云；形状过滤处理包括：对至少一个点云中每个点云进行三维凸包处理操作，以得到每个点云的形状；将至少一个点云中形状不满足预设形状的点云进行删除。
融合点云数据包括至少一个点云，对至少一个点云中每个点云进行三维凸包处理操作，以得到每个点云的形状，将点云中形状不满足预设形状的点云进行删除。可以理解的，通过雷达扫描采集到的交通灯的初始点云数据一般为一根点云线或多跟点云线，得到的交通灯的点云形状较为单一，一般为规则的直线形或矩形。对点云进行三维凸包计算处理，能够得到点云的形状，可以将预设形状设置为矩形或直线形，对于形状不满足预设形状的点云进行删除，能够很好的将非交通灯的点云进行过滤。
例如，图2(b)为本申请交通灯的标注方法一实施例的另一应用场景示意图，如图2(b)所示，对编号分别为B1、B2、B4及B6的点云进行三维凸包计算处理，得到每个点云的形状，假设预设形状为矩形，其中编号为B6的点云的形状为八边形，不满足矩形的预设形状，因此认为点云B6为非交通灯的点云，因此将点云B6进行删除。
如上述，过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。在本申请一实施例中，融合点云数据包括至少一个点云；点云密度过滤处理包括：对至少一个点云中每个点云进行点云密度计算操作，以得到每个点云的密度；将至少一个点云中密度小于预设密度阈值的点云进行删除。
融合点云数据中包括至少一个点云，对至少一个点云中每个点云进行点云密度计算操作，以得到每个点云的密度，将至少一个点云中密度小于预设密度阈值的点云进行删除。可以理解的，通过雷达扫描采集到的交通灯的初始点云数据一般密度较大，相邻的点之间的距离紧凑，得到的交通灯的点云的密度较大。而采集到的非交通灯的初始点云数据的密度一般较小，例如树叶、树枝的初始点云数据中的点较分散，因此可以根据密度对点云做进一步的过滤，对于密度小于预设密度阈值的点云进行删除。
例如，图2(c)为本申请交通灯的标注方法一实施例的又一应用场景示意图，如图2(c)所示，对编号分别为B1、B2及B4的点云进行点云密度计算操作，得到每个点云的点云密度，其中点云B1的点云密度为300点每平方米，点云B2的点云密度为1200点每平方米，点云B4的点云密度为1500点每平方米。假设预设密度阈值为1000点每平方米，点云B1的点云密度小于预设密度阈值，因此需要对点云B1进行删除。
例如，图2(d)为本申请交通灯的标注方法一实施例的再一应用场景示意图，如图2(d)所示，在优化过滤过程中，点云的编号可能会发生改变，是由于在将一些非交通灯的点云删除后，会对剩余的点云进行重新编号。
如上述，通过矩形框对图像数据中交通灯进行框定，并将采集到的初始点云数据投影至对应的图像数据中。在本申请一实施例中，至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到每一帧图像数据对应的中间点云数据，包括：确定初始点云数据中位于每一帧图像数据中的目标区域内的点云数据；对目标区域内的点云数据进行聚类处理，以得到至少一个点云簇；对至少一个点云簇中每个点云簇进行平面分割和/或直线分割处理，从而得到每一帧图像数据对应的中间点云数据。
确定初始点云数据中位于每一帧图像数据中的目标区域内的点云数据，可以理解的，该目标区域就是在图像数据中感知识别出的交通灯的区域，可以采用矩形框对交通灯进行框定，则矩形框内的区域即为目标区域。将采集到的初始点云数据对应投影于图像数据中，根据矩形框可以确定目标区域内的点云数据。
对目标区域内的点云数据进行聚类处理，以得到至少一个点云簇。可以采用欧式聚类、DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法等对目标区域内的点云数据进行聚类处理，得到至少一个点云簇，或其它能够实现的算法均可，不做具体限定。即，通过聚类算法，可以将目标区域中的点云进行划分聚类，进而得到得到交通灯的点云簇以及非交通灯的点云簇。
由于雷达采集到的初始点云数据是在雷达坐标系下，处理过程中需要将初始点云数据转换到世界坐标系中，再进行进一步的处理。对至少一个点云簇中每个点云簇进行平面分割和/或直线分割处理，从而得到每一帧图像数据对应的中间点云数据。对聚类后的交通灯的点云簇及非交通灯的点云簇进行平面分割和/或直线分割处理，可以去除其中的非交通灯的点云簇，进而得到每一帧图像数据对应的中间点云数据。
如上述，对每个点云簇进行平面分割和/或直线分割，在本申请一实施例中，对每个点云簇进行平面分割处理，包括：基于点云簇建立初始平面；其中，初始平面与世界坐标系的Z轴之间的角度小于预设角度；点云簇中满足预设条件的点划分至初始平面，其中，预设条件为点到初始平面的垂直距离小于预设距离；若初始平面内的点的数量满足预设比例，则将初始平面内的点作为点云；和/或，对每个点云簇进行直线分割处理，包括：基于点云簇建立初始直线；若初始直线内的点的数量满足预设比例，则将初始直线内的点作为点云。
对目标区域内的每个点云簇进行平面分割，首先基于点云簇建立初始平面，可以理解的，点云簇中包括至少两条点云线，则可以根据这至少两条点云线构建一个平面，定义该平面为初始平面。由于交通灯一般是竖直设置的，交通灯的点云簇建立的初始平面的延伸方向也应是竖直方向的，但是一些交通灯并非完全垂直地面，因此初始平面与世界坐标系的Z轴之间的角度小于预设角度即可，世界坐标系的Z轴为垂直于地面的轴，预设角度可以是10°、15°，或其它能够实现的角度值，根据实际使用需求设置即可，不做具体限定。即，构建得到的初始平面与世界坐标系的Z轴之间的角度小于预设角度的点云簇，认为是交通灯的点云簇。构建得到的初始平面与世界坐标系的Z轴之间的角度大于或等于预设角度的点云簇，认为是非交通灯的点云簇，则对该点云簇进行删除。
点云簇中满足预设条件的点划分至初始平面，其中，预设条件为点到初始平面的垂直距离小于预设距离。可以理解的，根据点云簇构建的初始平面为拟合平面，对于一些垂直距离初始平面小于预设距离的点，均可划分至初始平面，垂直距离初始平面大于或等于预设距离的点，则对应删除，其中预设距离可以是10厘米、15厘米，或其它能够实现的距离值，根据实际使用需求设置即可，不做具体限定。例如，预设距离为10厘米，点云簇中一个点与初始平面之间的垂直距离为8厘米，则将该点划分至初始平面，点云簇中另一个点与初始平面之间的垂直距离为12厘米，则将该点进行删除。
若初始平面内的点的数量满足预设比例，则将初始平面内的点作为点云。可以理解的，由于点云簇是对初始点云数据进行聚类后确定的属于交通灯的点云，则置信度较高。因此，在划分到初始平面内的点的数量与点云簇中点的数量之间的比例满足预设比例时，则将初始平面内的点作为点云。其中，预设比例可以为80％、85％、90％，或其它能够实现的比例值，根据实际使用需求设置即可，不做具体限定。
对每个点云簇进行直线分割处理，可以理解的，因雷达设置的位置关系以及交通灯的位置关系，使得交通灯的点云簇并不足以构成平面，点云簇内包括一条点云线，则需要对点云簇进行直线分割处理。由于点云簇中包括多个点，首先基于点云簇中的多个点拟合得到初始直线，若初始直线内的点的数量满足预设比例，则将初始直线内的点作为点云。由于点云簇是对初始点云数据聚类后确定的属于交通灯的点云，则置信度较高。因此，在划分到初始直线内的点的数量与点云簇中点的数量之间的比例满足预设比例时，则将初始直线内的点作为点云。其中，预设比例可以为80％、85％、90％，或其它能够实现的比例值，根据实际使用需求设置即可，不做具体限定。
在一些实施例中，也可以对点云簇既做平面分割处理又做直线分割处理，以进一步提高标注精度。
如上述，对至少两帧图像数据及其对应的初始点云数据进行单帧处理，以得到至少两帧中间点云数据。在本申请一实施例中，将至少两帧中间点云数据进行多帧处理，以得到融合点云数据，包括：确定至少两帧中间点云数据中位于同一目标区域内的点云数据并进行融合，得到目标区域内的融合点云；对目标区域内的融合点云进行聚类处理，得到至少一个融合点云簇；对至少一个融合点云簇中每个融合点云簇进行平面分割和/或直线分割处理，以得到融合点云数据。
确定至少两帧中间点云数据中位于同一目标区域内的点云数据并进行融合，得到目标区域内的融合点云，可以理解的，至少两帧中间点云数据中同一目标区域内框定的为同一个交通灯的中间点云数据，将同一目标区域内的点云数据进行融合，得到目标区域内的融合点云，即得到交通灯的融合点云。
对目标区域内的融合点云进行聚类处理，以得到至少一个融合点云簇。可以采用欧式聚类、DBSCAN(Density-Based Spatial Clustering of Applications with Noise)聚类算法等对目标区域内的融合点云进行聚类处理，得到至少一个融合点云簇，或其它能够实现的算法均可，不做具体限定。即，通过聚类算法，可以将目标区域中的融合点云进行划分聚类，进而得到得到交通灯的融合点云簇以及非交通灯的融合点云簇。
对至少一个融合点云簇中每个融合点云簇进行平面分割和/或直线分割处理，以得到融合点云数据。对聚类后的交通灯的融合点云簇及非交通灯的融合点云簇进行平面分割和/或直线分割处理，可以去除其中的非交通灯的融合点云簇，从而得到交通灯的融合点云数据。
如上述，对每个融合点云簇进行平面分割和/或直线分割，在本申请一实施例中，对每个融合点云簇进行平面分割处理，包括：基于融合点云簇建立初始平面；其中，初始平面与世界坐标系的Z轴之间的角度小于预设角度；融合点云簇中满足预设条件的点划分至初始平面，其中，预设条件为点到初始平面的垂直距离小于预设距离；若初始平面内的点的数量满足预设比例，则将初始平面内的点作为点云；和/或，对每个融合点云簇进行直线分割处理，包括：基于融合点云簇建立初始直线；若初始直线内的点的数量满足预设比例，则将初始直线内的点作为点云。
对目标区域内的每个融合点云簇进行平面分割，首先基于融合点云簇建立初始平面，可以理解的，融合点云簇中包括至少两条融合点云线，则可以根据这至少两条融合点云线构建一个平面，定义该平面为初始平面。交通灯的融合点云簇建立的初始平面的延伸方向应是竖直方向的，但是一些交通灯并非完全垂直地面，因此初始平面与世界坐标系的Z轴之间的角度小于预设角度即可，世界坐标系的Z轴为垂直于地面的轴，预设角度可以是10°、15°，或其它能够实现的角度值，根据实际使用需求设置即可，不做具体限定。即，构建得到的初始平面与世界坐标系的Z轴之间的角度小于预设角度的融合点云簇，认为是交通灯的融合点云簇。构建得到的初始平面与世界坐标系的Z轴之间的角度大于或等于预设角度的融合点云簇，认为是非交通灯的融合点云簇，则对该融合点云簇进行删除。
融合点云簇中满足预设条件的点划分至初始平面，其中，预设条件为点到初始平面的垂直距离小于预设距离。可以理解的，根据融合点云簇构建的初始平面为拟合平面，对于一些垂直距离初始平面小于预设距离的点，均可划分至初始平面，垂直距离初始平面大于或等于预设距离的点，则对应删除，其中预设距离可以是10厘米、15厘米，或其它能够实现的距离值，根据实际使用需求设置即可，不做具体限定。例如，预设距离为10厘米，融合点云簇中一个点与初始平面之间的垂直距离为9厘米，则将该点划分至初始平面，融合点云簇中另一个点与初始平面之间的垂直距离为13厘米，则将该点进行删除。
若初始平面内的点的数量满足预设比例，则将初始平面内的点作为点云。可以理解的，由于融合点云簇是对中间点云数据融合后再进行聚类后得到的，则置信度较高。因此，在划分到初始平面内的点的数量与融合点云簇中点的数量之间的比例满足预设比例时，则将初始平面内的点作为点云。其中，预设比例可以为80％、85％、90％，或其它能够实现的比例值，根据实际使用需求设置即可，不做具体限定。
对每个融合点云簇进行直线分割处理，可以理解的，因雷达设置的位置关系以及交通灯的位置关系，使得交通灯的融合点云簇并不足以构成平面，融合点云簇内包括一条融合点云线，则需要对融合点云簇进行直线分割处理。由于融合点云簇中包括多个点，首先基于融合点云簇中的多个点拟合得到初始直线，若初始直线内的点的数量满足预设比例，则将初始直线内的点作为点云。由于融合点云簇是对中间点云数据融合后再进行聚类后得到的，则置信度较高。因此，在划分到初始直线内的点的数量与融合点云簇中点的数量之间的比例满足预设比例时，则将初始直线内的点作为点云。其中，预设比例可以为80％、85％、90％，或其它能够实现的比例值，根据实际使用需求设置即可，不做具体限定。
对每个融合点云簇进行平面分割和/或直线分割，得到点云，进而对全部融合点云簇进行平面分割和/或直线分割后得到融合点云数据。
在一些实施例中，也可以对融合点云簇既做平面分割处理又做直线分割处理，以进一步提高标注精度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图3，图3是本申请车载设备一实施例的结构示意图。车载设备300包括相互耦接的存储器301和处理器302，处理器302用于执行存储器301中存储的程序指令，以实现上述的交通灯的标注方法实施例的步骤。在一个具体的实施场景中，车载设备300可以包括但不限于：微型计算机、服务器，在此不做限定。
具体而言，处理器302用于控制其自身以及存储器301以实现上述交通灯的标注方法实施例的步骤。处理器302还可以称为CPU(Central Processing Unit，中央处理单元)，处理器302可能是一种集成电路芯片，具有信号的处理能力。处理器302还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器302可以由集成电路芯片共同实现。
请参阅图4，图4为本申请非易失性计算机可读存储介质一实施例的结构示意图。计算机可读存储介质500用于存储计算机程序501，计算机程序501在被处理器302执行时，用于实现上述的交通灯的标注方法实施例中的步骤。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和相关设备，可以通过其它的方式实现。例如，以上所描述的相关设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口，装置或单元的间接耦合或通信断开连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种交通灯的标注方法，其特征在于，所述方法包括：
获取用于交通灯标注的至少两帧图像数据和所述至少两帧图像数据分别对应的初始点云数据；
对所述至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到所述每一帧图像数据对应的中间点云数据，从而得到至少两帧中间点云数据；
将所述至少两帧中间点云数据进行多帧处理，以得到融合点云数据；
对所述融合点云数据进行过滤处理，以得到交通灯的目标点云数据，从而实现交通灯标注。
2.根据权利要求1所述的方法，其特征在于，所述过滤处理包括尺寸过滤处理、形状过滤处理以及点云密度过滤处理中至少一个。
3.根据权利要求2所述的方法，其特征在于，所述融合点云数据包括至少一个点云；
所述尺寸过滤处理包括：
对所述至少一个点云中每个点云进行定位边框处理，以得到每个点云的三维方向以及尺寸信息；
将所述至少一个点云中所述三维方向中的主方向不与地面平行的点云进行删除；和/或
将所述至少一个点云中所述尺寸信息不满足预设尺寸的点云进行删除。
4.根据权利要求2所述的方法，其特征在于，所述融合点云数据包括至少一个点云；
所述形状过滤处理包括：
对所述至少一个点云中每个点云进行三维凸包处理操作，以得到每个点云的形状；
将所述至少一个点云中所述形状不满足预设形状的点云进行删除。
5.根据权利要求2所述的方法，其特征在于，所述融合点云数据包括至少一个点云；
所述点云密度过滤处理包括：
对所述至少一个点云中每个点云进行点云密度计算操作，以得到每个点云的密度；
将所述至少一个点云中密度小于预设密度阈值的点云进行删除。
6.根据权利要求1所述的方法，其特征在于，
对所述至少两帧图像数据中每一帧图像数据及其对应的初始点云数据进行单帧处理，以得到所述每一帧图像数据对应的中间点云数据，包括：
确定所述初始点云数据中位于所述每一帧图像数据中的目标区域内的点云数据；
对所述目标区域内的点云数据进行聚类处理，以得到至少一个点云簇；
对所述至少一个点云簇中每个点云簇进行平面分割和/或直线分割处理，从而得到所述每一帧图像数据对应的中间点云数据。
7.根据权利要求1所述的方法，其特征在于，将所述至少两帧中间点云数据进行多帧处理，以得到融合点云数据，包括：
确定所述至少两帧中间点云数据中位于同一目标区域内的点云数据并进行融合，得到所述目标区域内的融合点云；
对所述目标区域内的融合点云进行聚类处理，得到至少一个融合点云簇；
对所述至少一个融合点云簇中每个所述融合点云簇进行平面分割和/或直线分割处理，以得到所述融合点云数据。
8.根据权利要求6或7所述的方法，其特征在于，对每个所述点云簇/所述融合点云簇进行平面分割处理，包括：
基于所述点云簇/所述融合点云簇建立初始平面；其中，所述初始平面与世界坐标系的Z轴之间的角度小于预设角度；
所述点云簇/所述融合点云簇中满足预设条件的点划分至所述初始平面，其中，所述预设条件为所述点到所述初始平面的垂直距离小于预设距离；
若所述初始平面内的点的数量满足预设比例，则将所述初始平面内的点作为点云；
和/或
对每个所述点云簇/所述融合点云簇进行直线分割处理，包括：
基于所述点云簇/所述融合点云簇建立初始直线；
若所述初始直线内的点的数量满足预设比例，则将所述初始直线内的点作为点云。
9.一种车载设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至8任一项所述的交通灯的标注方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现如权利要求1-8中任一项所述的交通灯的标注方法。
CN202210938699.0A 2022-08-05 2022-08-05 交通灯的标注方法、车载设备和存储介质 Pending CN115424263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210938699.0A CN115424263A (zh) 2022-08-05 2022-08-05 交通灯的标注方法、车载设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210938699.0A CN115424263A (zh) 2022-08-05 2022-08-05 交通灯的标注方法、车载设备和存储介质

Publications (1)

Publication Number Publication Date
CN115424263A true CN115424263A (zh) 2022-12-02

Family

ID=84196657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210938699.0A Pending CN115424263A (zh) 2022-08-05 2022-08-05 交通灯的标注方法、车载设备和存储介质

Country Status (1)

Country Link
CN (1) CN115424263A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆
CN116721246A (zh) * 2023-07-14 2023-09-08 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN117058510A (zh) * 2023-08-22 2023-11-14 聚米画沙(北京)科技有限公司 一种基于空间计算的多源安防数据融合方法和系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984805A (zh) * 2023-03-15 2023-04-18 安徽蔚来智驾科技有限公司 一种数据增强方法、目标检测方法及车辆
CN116721246A (zh) * 2023-07-14 2023-09-08 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN116721246B (zh) * 2023-07-14 2024-03-19 酷哇科技有限公司 连续帧点云快速标注方法及系统
CN117058510A (zh) * 2023-08-22 2023-11-14 聚米画沙(北京)科技有限公司 一种基于空间计算的多源安防数据融合方法和系统
CN117058510B (zh) * 2023-08-22 2024-02-13 聚米画沙(北京)科技有限公司 一种基于空间计算的多源安防数据融合方法和系统

Similar Documents

Publication Publication Date Title
US10846874B2 (en) Method and apparatus for processing point cloud data and storage medium
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
CN108959321B (zh) 停车场地图构建方法、系统、移动终端及存储介质
CN115424263A (zh) 交通灯的标注方法、车载设备和存储介质
WO2018133851A1 (zh) 一种点云数据处理方法、装置及计算机存储介质
CN111542860A (zh) 用于自主车辆的高清地图的标志和车道创建
US20210148722A1 (en) Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
US10997740B2 (en) Method, apparatus, and system for providing real-world distance information from a monocular image
CN110118564B (zh) 一种高精度地图的数据管理系统、管理方法、终端和存储介质
CN103731652B (zh) 移动面分界线认知装置和方法、以及移动体设备控制系统
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
JP6442834B2 (ja) 路面高度形状推定方法とシステム
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
JP2020533667A (ja) 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器
JP2012185011A (ja) 移動体位置測定装置
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN112270272B (zh) 高精度地图制作中道路路口提取方法及系统
CN112740225B (zh) 一种路面要素确定方法及装置
DE112020000590T5 (de) Karte und verfahren zum erstellen einer karte
CN112432650A (zh) 高精地图数据的获取方法、车辆控制方法以及设备
WO2022166606A1 (zh) 一种目标检测方法及装置
CN114509065B (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
CN111651547B (zh) 高精度地图数据的获取方法、装置及可读存储介质
CN116385994A (zh) 一种三维道路线提取方法及相关设备
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination