CN116630923B - 道路消失点的标注方法、装置及电子设备 - Google Patents
道路消失点的标注方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116630923B CN116630923B CN202310582140.3A CN202310582140A CN116630923B CN 116630923 B CN116630923 B CN 116630923B CN 202310582140 A CN202310582140 A CN 202310582140A CN 116630923 B CN116630923 B CN 116630923B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- timestamp
- coordinate system
- determining
- surrounding image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000006243 chemical reaction Methods 0.000 claims description 63
- 238000001514 detection method Methods 0.000 claims description 27
- 230000002093 peripheral effect Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000005452 bending Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 18
- 238000002372 labelling Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本公开关于一种道路消失点的标注方法、装置及电子设备，其中，该方法包括：获取预设时间段内至少一个第一时间戳上车辆在指定区域范围内的目标点云数据，以及预设时间段内第二时间戳上的待标注的车辆周边图像；根据至少一个第一时间戳中与第二时间戳匹配的第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；进而结合多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息，并对车辆周边图像进行标注处理，从而能够避免车道线与车辆前进方向不一致以及车道线弯曲对道路消失点标注的影响，提高标注效率。
Description
技术领域
本公开涉及自动驾驶、智能感知技术领域，尤其涉及一种道路消失点的标注方法、装置及电子设备。
背景技术
目前，在自动驾驶系统中，道路消失点的检测是重要的一个步骤。道路消失点是指路面上与车辆前进方向一致的平行线的交点。道路消失点检测的准确度，直接影响车道线检测结果投影到车体坐标系下的位置准确性，影响下游业务，例如，规划业务、定位业务的性能。
相关技术中，采用道路消失点检测模型，对车辆周边图像进行检测处理，获取车辆周边图像中道路消失点的坐标信息。其中，在道路消失点检测模型的训练过程中，针对车辆周边图像，对其中的车道线进行人工标注，然后通过标注的车道线的交点来确定道路消失点的坐标信息。
上述方案中，车道线与车辆前进方向经常不一致，且车辆周边图像中车道线容易存在轻微弯曲，导致确定得到的道路消失点的坐标信息的准确度低；且上述方案依赖于人工对车道线的标注，导致训练数据的获取成本高，获取时间长。
发明内容
本公开提供一种道路消失点的标注方法、装置及电子设备。
根据本公开实施例的第一方面，提供一种道路消失点的标注方法，所述方法包括：获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述目标点云数据包括，以所述第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；从至少一个所述第一时间戳中选择与所述第二时间戳匹配的第三时间戳；根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；所述多个参考点用于确定与所述车辆的前进方向平行的两条直线；根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息；根据所述道路消失点的坐标信息对所述车辆周边图像进行标注处理，得到标注后的车辆周边图像。
在本公开的一个实施例中，所述获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像，包括：获取所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；获取所述预设时间段内至少一个所述第一时间戳上车辆的周边点云数据、所述车辆在世界坐标系下的位置信息以及朝向信息；针对每个第一时间戳，根据所述第一时间戳上车辆在世界坐标系下的位置信息以及朝向信息，确定所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系；根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及所述车辆的周边点云数据，确定世界坐标系下所述车辆的点云数据集合；根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及至少一个所述第一时间戳上车体坐标系下的指定区域范围，确定至少一个所述第一时间戳上所述世界坐标系下的目标区域范围；根据所述点云数据集合中至少一个所述目标区域范围内多个点的坐标信息，确定至少一个所述第一时间戳上所述车辆的目标点云数据。
在本公开的一个实施例中，所述根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及所述车辆的周边点云数据，确定世界坐标系下所述车辆的点云数据集合，包括：针对每个第一时间戳，根据所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系，以及所述第一时间戳上车辆的周边点云数据，确定所述第一时间戳上所述世界坐标系下的点云数据子集合；根据至少一个所述第一时间戳上所述世界坐标系下的点云数据子集合，确定世界坐标系下所述车辆的点云数据集合。
在本公开的一个实施例中，所述从至少一个所述第一时间戳中选择与所述第二时间戳匹配的第三时间戳，包括：根据所述第二时间戳，从至少一个所述第一时间戳中获取对应的时间戳差值绝对值最小的候选时间戳；在所述候选时间戳与所述第二时间戳之间的时间戳差值绝对值小于预设时间长度的情况下，将所述候选时间戳作为所述第三时间戳。
在本公开的一个实施例中，所述根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息，包括：获取所述第三时间戳上车辆的目标点云数据中至少一个路面点的坐标信息；根据至少一个所述路面点的坐标信息，拟合路面方程，确定所述路面方程中的路面方程系数；确定多个参考点的X轴坐标和Y轴坐标；其中，多个所述参考点中第一部分参考点的X轴坐标为第一数值，第二部分参考点的X轴坐标为第二数值；根据所述多个参考点的X轴坐标和Y轴坐标、以及路面方程系数已知的所述路面方程，确定所述多个参考点的坐标信息。
在本公开的一个实施例中，所述根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息，包括：根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中所述多个参考点的坐标信息；根据所述车辆周边图像中所述多个参考点的坐标信息，确定所述车辆周边图像中与所述车辆的前进方向平行的两条直线的位置信息；根据所述两条直线的位置信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
在本公开的一个实施例中，所述根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息，包括：对所述车辆周边图像进行去畸变处理，得到去畸变图像；确定所述车辆周边图像与所述去畸变图像之间的坐标转换关系；根据所述车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，确定所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系；根据所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述去畸变图像中所述多个参考点的坐标信息；根据所述去畸变图像中所述多个参考点的坐标信息，确定所述去畸变图像中与所述车辆的前进方向平行的两条直线的位置信息；根据所述两条直线的位置信息，确定所述去畸变图像中所述道路消失点的坐标信息；根据所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述去畸变图像中所述道路消失点的坐标信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
在本公开的一个实施例中，所述方法还包括：根据至少一个所述标注后的车辆周边图像，对初始道路消失点检测模型进行训练处理，得到训练好的道路消失点检测模型，用于车辆周边图像中的道路消失点检测。
根据本公开实施例的第二方面，还提供一种道路消失点的标注装置，所述装置包括：获取模块，用于获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述目标点云数据包括，以所述第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；选择模块，用于从至少一个所述第一时间戳中选择与所述第二时间戳匹配的第三时间戳；第一确定模块，用于根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；所述多个参考点用于确定与所述车辆的前进方向平行的两条直线；第二确定模块，用于根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息；标注处理模块，用于根据所述道路消失点的坐标信息对所述车辆周边图像进行标注处理，得到标注后的车辆周边图像。
根据本公开实施例的第三方面，还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为：实现如上所述的道路消失点的标注方法的步骤。
根据本公开实施例的第四方面，还提供一种车辆，包括如上所述的电子设备，或者，车辆与如上所述的电子设备连接。
根据本公开实施例的第五方面，还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行如上所述的道路消失点的标注方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳；根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息；根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像，从而能够自动对车辆周边图像进行标注，且避免车道线与车辆前进方向不一致以及车道线弯曲对道路消失点标注的影响，且避免人工标注，提高标注效率，进而提高道路消失点的检测效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1为本公开一个实施例的道路消失点的标注方法的流程图；
图2为本公开另一个实施例的道路消失点的标注方法的流程图；
图3为本公开另一个实施例的道路消失点的标注方法的流程图；
图4为本公开一个实施例中去畸变图像中道路消失点的示意图；
图5为本公开一个实施例中车辆周边图像中道路消失点的示意图；
图6为本公开一个实施例的道路消失点的标注装置的结构示意图；
图7为根据本公开一示例性实施例示出的一种电子设备的结构框图；
图8为根据本公开一示例性实施例示出的一种车辆的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，在自动驾驶系统中，道路消失点的检测是重要的一个步骤。道路消失点是指路面上与车辆前进方向一致的平行线的交点。道路消失点检测的准确度，直接影响车道线检测结果投影到车体坐标系下的位置准确性，影响下游业务，例如，规划业务、定位业务的性能。
相关技术中，采用道路消失点检测模型，对车辆周边图像进行检测处理，获取车辆周边图像中道路消失点的坐标信息。其中，在道路消失点检测模型的训练过程中，针对车辆周边图像，对其中的车道线进行人工标注，然后通过标注的车道线的交点来确定道路消失点的坐标信息。
上述方案中，车道线与车辆前进方向经常不一致，且车辆周边图像中车道线容易存在轻微弯曲，导致确定得到的道路消失点的坐标信息的准确度低；且上述方案依赖于人工对车道线的标注，导致训练数据的获取成本高，获取时间长。
图1为本公开一个实施例的道路消失点的标注方法的流程图。其中，需要说明的是，本实施例的道路消失点的标注方法可应用于道路消失点的标注装置，该装置可被配置于电子设备中，以使该电子设备可以执行道路消失点的标注功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图1所示，该方法包括以下步骤：
步骤101，获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息。
在本公开实施例中，车辆上可以搭载激光雷达，车辆在道路上行驶的过程中，激光雷达可以周期发出快速的激光信号，激光信号遇到障碍物后被反弹回来。信号反弹后，激光雷达自带的传感器可以收集信号反弹所花费的时间，进而确认传感器位置与障碍物之间的距离；结合距离得到障碍物上一个点的空间坐标。将确定得到的多个点的空间坐标进行组合，得到激光雷达在一个时间戳上采集到的车辆的周边点云数据。然后，电子设备可以结合车辆上激光雷达在预设时间段内至少一个第一时间戳上采集到的车辆的周边点云数据，确定至少一个第一时间戳上车辆的目标点云数据。
在本公开实施例中，车辆上可以搭载前视摄像头，车辆在道路上行驶的过程中，前视摄像头可以周期采集车辆周边图像，进而得到至少一个第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像。
在本公开实施例中，在一个车体坐标系下的指定区域范围，可以根据车体坐标系下X轴取值范围、Y轴取值范围以及Z轴取值范围确定。其中，X轴取值范围例如可以为(-100m，100m)。Y轴取值范围例如可以为(-11m，11m)。Z轴取值范围例如可以为(∞，∞)。
步骤102，从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳。
在本公开实施例中，电子设备执行步骤102的过程例如可以为，根据第二时间戳，从至少一个第一时间戳中获取对应的时间戳差值绝对值最小的候选时间戳；在候选时间戳与第二时间戳之间的时间戳差值绝对值小于预设时间长度的情况下，将候选时间戳作为第三时间戳。其中，预设时间长度例如可以为10ms。
其中，至少一个第一时间戳，为激光雷达采集周边点云数据的采集时间点；第二时间戳，为前视摄像头采集车辆周边图像的采集时间点。其中，周边点云数据的采集频率与车辆周边图像的采集频率不一定一致。在周边点云数据的采集频率与车辆周边图像的采集频率不一致的情况下，周边点云数据的采集时间点与车辆周边图像的采集时间点也不一致，因此，可以选择与第二时间戳匹配的第三时间戳，进而结合第三时间戳上车辆的目标点云数据来确定第二时间戳上车辆周边图像中道路消失点的坐标信息，提高道路消失点的坐标信息的确定准确度。
其中，周边点云数据的采集频率例如可以为100Hz。车辆周边图像的采集频率例如可以为30Hz。
步骤103，根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线。
在本公开实施例中，电子设备执行步骤103的过程例如可以为，获取第三时间戳上车辆的目标点云数据中至少一个路面点的坐标信息；根据至少一个路面点的坐标信息，拟合路面方程，确定路面方程中的路面方程系数；确定多个参考点的X轴坐标和Y轴坐标；其中，多个参考点中第一部分参考点的X轴坐标为第一数值，第二部分参考点的X轴坐标为第二数值；根据多个参考点的X轴坐标和Y轴坐标、以及路面方程系数已知的路面方程，确定多个参考点的坐标信息。
在本公开实施例中，路面点，是指路面上的点。在车体坐标系下，理想状态时，位于路面上的点的Z轴坐标可以为零值；考虑到路面存在起伏，可以将对应的Z轴坐标位于一定数值范围内的点，作为路面上的点。其中，一定数值范围例如可以为(-0.07，0.07)。对应的，电子设备获取第三时间戳上车辆的目标点云数据中至少一个路面点的坐标信息的过程例如可以为，将该目标点云数据中对应的Z轴坐标位于一定数值范围内的点，确定为路面点；获取路面点的坐标信息。
在本公开实施例中，路面方程例如可以如以下公式(1)所示：
Ax+By+Cz+D＝0 (1)
其中，A、B、C、D为路面方程中的系数。其中，x表示X轴上的数值，X轴为水平面上垂直于车辆前进方向的轴；y表示Y轴上的数值，Y轴为朝向车辆前进方向的轴；z表示Z轴上的数值，Z轴为垂直于水平面的轴。
其中，电子设备根据至少一个路面点的坐标信息，拟合路面方程，确定路面方程中的路面方程系数之后，能够基于该路面方程确定路面上的其他点的坐标信息，例如，路面上参考点的坐标信息。
在本公开实施例中，参考点的数量可以为至少4个，用于确定路面上与车辆的前进方向平行的两条直线，确定得到的该两条直线位于路面上。其中，位于确保参考点能够确定路面上与车辆的前进方向平行的两条直线，可以在车体坐标系中分别选择两组参考点，一组参考点中至少两个参考点的X轴数值可以相同且Y轴数值不同，例如，X轴数值均为第一数值；另一组参考点中至少两个参考点的X轴数值可以相同且Y轴数值不同，例如，X轴数值均为第二数值。其中，第一数值和第二数值可以相同，也可以不同。
在本公开实施例中，电子设备根据多个参考点的X轴坐标和Y轴坐标、以及路面方程系数已知的路面方程，确定多个参考点的坐标信息的过程例如可以为，针对每个参考点，将该参考点的X轴坐标和Y轴坐标代入路面方程系数已知的路面方程，求解可以得到该参考点的Z轴坐标，进而得到该参考点的坐标信息。
步骤104，根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息。
在本公开实施例中，在车辆周边图像中，针对路面上平行的两条车道线，在该两条车道线上距离车辆较近的位置上，该两条车道线之间的距离较宽；在该两条车道线上距离车辆较远的位置上，该两条车道线之间的距离越窄，因此，该两条车道线在车辆周边图像中距离车辆较远的位置上会汇聚于道路消失点。对应的，电子设备可以先结合多个参考点的坐标信息，确定车辆周边图像中的两条直线；确定两条直线的汇聚点，并将汇聚点，确定为车辆周边图像中的道路消失点；进而获取道路消失点的坐标信息。
步骤105，根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像。
在本公开实施例中，步骤105之后，电子设备还可以执行以下过程：根据至少一个标注后的车辆周边图像，对初始道路消失点检测模型进行训练处理，得到训练好的道路消失点检测模型，用于车辆周边图像中的道路消失点检测。
其中，针对每个车辆周边图像，电子设备可以将车辆周边图像输入初始道路消失点检测模型，获取初始道路消失点检测模型输出的道路消失点的预测坐标信息；根据道路消失点的预测坐标信息以及车辆周边图像中道路消失点的标注坐标信息，构建损失函数；根据损失函数的数值对初始道路消失点检测模型进行参数调整处理，得到训练好的道路消失点检测模型。
本公开实施例的道路消失点的标注方法中，通过获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳；根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息；根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像，从而能够自动对车辆周边图像进行标注，且避免车道线与车辆前进方向不一致以及车道线弯曲对道路消失点标注的影响，且避免人工标注，提高标注效率，进而提高道路消失点的检测效率。
图2为本公开另一个实施例的道路消失点的标注方法的流程图。其中，需要说明的是，本实施例的道路消失点的标注方法可应用于道路消失点的标注装置，该装置可被配置于电子设备中，以使该电子设备可以执行道路消失点的标注功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图2所示，该方法包括以下步骤：
步骤201，获取预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像。
在本公开实施例中，车辆上可以搭载前视摄像头，车辆在道路上行驶的过程中，前视摄像头可以周期采集车辆周边图像，进而得到至少一个第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像。
步骤202，获取预设时间段内至少一个第一时间戳上车辆的周边点云数据、车辆在世界坐标系下的位置信息以及朝向信息。
在本公开实施例中，针对每个第一时间戳，电子设备可以在该第一时间戳上采集车辆的周边点云数据；并在该第一时间戳上采集车辆在世界坐标系下的位置信息以及朝向信息。
步骤203，针对每个第一时间戳，根据第一时间戳上车辆在世界坐标系下的位置信息以及朝向信息，确定第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系。
步骤204，根据至少一个第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系、以及车辆的周边点云数据，确定世界坐标系下车辆的点云数据集合。
在本公开实施例中，电子设备执行步骤204的过程例如可以为，针对每个第一时间戳，根据第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系，以及第一时间戳上车辆的周边点云数据，确定第一时间戳上世界坐标系下的点云数据子集合；根据至少一个第一时间戳上世界坐标系下的点云数据子集合，确定世界坐标系下车辆的点云数据集合。
其中，至少一个点云数据子集合中存在重复的点，例如，针对道路点上的一个点，车辆在行驶到达该点所在位置之前、车辆在行驶到达该点所在位置之时、车辆在行驶经过该点所在位置之后，均可以通过激光雷达扫描到该点，获取到该点的坐标信息。因此，根据至少一个第一时间戳上世界坐标系下的点云数据子集合，确定世界坐标系下车辆的点云数据集合之后，可以对点云数据集合中的重复点进行去除处理。
步骤205，根据至少一个第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系、以及至少一个第一时间戳上车体坐标系下的指定区域范围，确定至少一个第一时间戳上世界坐标系下的目标区域范围。
步骤206，根据点云数据集合中至少一个目标区域范围内多个点的坐标信息，确定至少一个第一时间戳上车辆的目标点云数据。
在本公开实施例中，电子设备执行步骤206的过程例如可以为，针对每个第一时间戳，获取该第一时间戳上世界坐标系下的目标区域范围；从点云数据集合中获取位于该目标区域范围内的点的坐标信息，并进行组合处理，得到该第一时间戳上车辆的目标点云数据。其中，不同的第一时间戳上，在世界坐标系下的目标区域范围不同。
步骤207，从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳。
步骤208，根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线。
步骤209，根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息。
步骤210，根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像。
其中，需要说明的是，步骤207至步骤210的详细内容，可以参考图1所示实施例中的步骤102至步骤105，此处不再进行详细说明。
本公开实施例的道路消失点的标注方法中，通过获取预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；获取预设时间段内至少一个第一时间戳上车辆的周边点云数据、车辆在世界坐标系下的位置信息以及朝向信息；针对每个第一时间戳，根据第一时间戳上车辆在世界坐标系下的位置信息以及朝向信息，确定第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系；根据至少一个第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系、以及车辆的周边点云数据，确定世界坐标系下车辆的点云数据集合；根据至少一个第一时间戳上车体坐标系与世界坐标系之间的坐标转换关系、以及至少一个第一时间戳上车体坐标系下的指定区域范围，确定至少一个第一时间戳上世界坐标系下的目标区域范围；根据点云数据集合中至少一个目标区域范围内多个点的坐标信息，确定至少一个第一时间戳上车辆的目标点云数据；从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳；根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息；根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像，从而能够自动对车辆周边图像进行标注，且避免车道线与车辆前进方向不一致以及车道线弯曲对道路消失点标注的影响，且避免人工标注，提高标注效率，进而提高道路消失点的检测效率。
图3为本公开另一个实施例的道路消失点的标注方法的流程图。其中，需要说明的是，本实施例的道路消失点的标注方法可应用于道路消失点的标注装置，该装置可被配置于电子设备中，以使该电子设备可以执行道路消失点的标注功能。
其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端、服务器等，移动终端例如可以为车载设备、手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。以下实施例中以执行主体为电子设备为例进行说明。
如图3所示，该方法包括以下步骤：
步骤301，获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息。
步骤302，从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳。
步骤303，根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线。
步骤304，根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中多个参考点的坐标信息。
在本公开实施例中，电子设备可以针对每个参考点，结合车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，对该参考点的坐标信息进行坐标转换处理，得到车辆周边图像中一个参考点的坐标信息。
步骤305，根据车辆周边图像中多个参考点的坐标信息，确定车辆周边图像中与车辆的前进方向平行的两条直线的位置信息。
其中，直线的位置信息，可以采用直线的斜率，以及直线上一个点的坐标信息来表示。
步骤306，根据两条直线的位置信息，确定车辆周边图像中道路消失点的坐标信息。
在本公开实施例中，由于车辆前视摄像头的采集原理，车辆前视摄像头采集到的车辆周边图像可能存在畸变情况，例如，车辆周边图像中的直线会弯曲等。为了进一步提高道路消失点的坐标信息的准确度，电子设备可以先对车辆周边图像进行去畸变处理，得到去畸变图像；进而结合车辆周边图像的像素坐标系与去畸变图像的像素坐标系之间的坐标转换关系、车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定去畸变图像中多个参考点的坐标信息；进而确定去畸变图像中道路消失点的坐标信息；根据去畸变图像中道路消失点的坐标信息，确定车辆周边图像中道路消失点的坐标信息。
其中，去畸变图像中道路消失点的示意图可以如图4所示，在图4中，道路消失点，为图4中显示的两条直线的交点。车辆周边图像中道路消失点的示意图可以如图5所示，在图5中，道路消失点，为图5中显示的车辆左侧的黑点。
步骤307，根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像。
本公开实施例的道路消失点的标注方法中，通过获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳；根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中多个参考点的坐标信息；根据车辆周边图像中多个参考点的坐标信息，确定车辆周边图像中与车辆的前进方向平行的两条直线的位置信息；根据两条直线的位置信息，确定车辆周边图像中道路消失点的坐标信息；根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像，从而能够结合目标点云数据中能够确定与车辆前进方向平行的两条直线的多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息，避免根据多条平行车道线的汇聚点确定道路消失点的坐标信息，提高确定得到的道路消失点的坐标信息的准确度，提高道路消失点的检测效率。
图6为本公开一个实施例的道路消失点的标注装置的结构示意图。
如图6所示，该道路消失点的标注装置可以包括：获取模块601、选择模块602、第一确定模块603、第二确定模块604和标注处理模块605；
其中，获取模块601，用于获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述目标点云数据包括，以所述第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；
选择模块602，用于从至少一个所述第一时间戳中选择与所述第二时间戳匹配的第三时间戳；
第一确定模块603，用于根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；所述多个参考点用于确定与所述车辆的前进方向平行的两条直线；
第二确定模块604，用于根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息；
标注处理模块605，用于根据所述道路消失点的坐标信息对所述车辆周边图像进行标注处理，得到标注后的车辆周边图像。
在本公开的一个实施例中，所述获取模块601包括：第一获取单元、第二获取单元、第一确定单元、第二确定单元、第三确定单元和第四确定单元；所述第一获取单元，用于获取所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述第二获取单元，用于获取所述预设时间段内至少一个所述第一时间戳上车辆的周边点云数据、所述车辆在世界坐标系下的位置信息以及朝向信息；所述第一确定单元，用于针对每个第一时间戳，根据所述第一时间戳上车辆在世界坐标系下的位置信息以及朝向信息，确定所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系；所述第二确定单元，用于根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及所述车辆的周边点云数据，确定世界坐标系下所述车辆的点云数据集合；所述第三确定单元，用于根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及至少一个所述第一时间戳上车体坐标系下的指定区域范围，确定至少一个所述第一时间戳上所述世界坐标系下的目标区域范围；所述第四确定单元，用于根据所述点云数据集合中至少一个所述目标区域范围内多个点的坐标信息，确定至少一个所述第一时间戳上所述车辆的目标点云数据。
在本公开的一个实施例中，所述第二确定单元具体用于，针对每个第一时间戳，根据所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系，以及所述第一时间戳上车辆的周边点云数据，确定所述第一时间戳上所述世界坐标系下的点云数据子集合；根据至少一个所述第一时间戳上所述世界坐标系下的点云数据子集合，确定世界坐标系下所述车辆的点云数据集合。
在本公开的一个实施例中，所述选择模块602具体用于，根据所述第二时间戳，从至少一个所述第一时间戳中获取对应的时间戳差值绝对值最小的候选时间戳；在所述候选时间戳与所述第二时间戳之间的时间戳差值绝对值小于预设时间长度的情况下，将所述候选时间戳作为所述第三时间戳。
在本公开的一个实施例中，所述第一确定模块603具体用于，获取所述第三时间戳上车辆的目标点云数据中至少一个路面点的坐标信息；根据至少一个所述路面点的坐标信息，拟合路面方程，确定所述路面方程中的路面方程系数；确定多个参考点的X轴坐标和Y轴坐标；其中，多个所述参考点中第一部分参考点的X轴坐标为第一数值，第二部分参考点的X轴坐标为第二数值；根据所述多个参考点的X轴坐标和Y轴坐标、以及路面方程系数已知的所述路面方程，确定所述多个参考点的坐标信息。
在本公开的一个实施例中，所述第二确定模块604具体用于，根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中所述多个参考点的坐标信息；根据所述车辆周边图像中所述多个参考点的坐标信息，确定所述车辆周边图像中与所述车辆的前进方向平行的两条直线的位置信息；根据所述两条直线的位置信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
在本公开的一个实施例中，所述第二确定模块604具体用于，对所述车辆周边图像进行去畸变处理，得到去畸变图像；确定所述车辆周边图像与所述去畸变图像之间的坐标转换关系；根据所述车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，确定所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系；根据所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述去畸变图像中所述多个参考点的坐标信息；根据所述去畸变图像中所述多个参考点的坐标信息，确定所述去畸变图像中与所述车辆的前进方向平行的两条直线的位置信息；根据所述两条直线的位置信息，确定所述去畸变图像中所述道路消失点的坐标信息；根据所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述去畸变图像中所述道路消失点的坐标信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
在本公开的一个实施例中，所述装置还包括：训练模块，用于根据至少一个所述标注后的车辆周边图像，对初始道路消失点检测模型进行训练处理，得到训练好的道路消失点检测模型，用于车辆周边图像中的道路消失点检测。
本公开实施例的道路消失点的标注装置中，通过获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；目标点云数据包括，以第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；从至少一个第一时间戳中选择与第二时间戳匹配的第三时间戳；根据第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；多个参考点用于确定与车辆的前进方向平行的两条直线；根据车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及多个参考点的坐标信息，确定车辆周边图像中道路消失点的坐标信息；根据道路消失点的坐标信息对车辆周边图像进行标注处理，得到标注后的车辆周边图像，从而能够自动对车辆周边图像进行标注，且避免车道线与车辆前进方向不一致以及车道线弯曲对道路消失点标注的影响，且避免人工标注，提高标注效率，进而提高道路消失点的检测效率。
根据本公开实施例的第三方面，还提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器被配置为：实现如上所述的道路消失点的标注方法。
为了实现上述实施例，本公开还提出了一种存储介质。
其中，当所述存储介质中的指令由处理器执行时，使得处理器能够执行如上所述的道路消失点的标注方法。
为了实现上述实施例，本公开还提供一种计算机程序产品。
其中，该计算机程序产品由电子设备的处理器执行时，使得电子设备能够执行如上的方法。
图7为根据一示例性实施例示出的一种电子设备的结构框图。图7示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示，电子设备1000包括处理器111，其可以根据存储在只读存储器(ROM，Read Only Memory)112中的程序或者从存储器116加载到随机访问存储器(RAM，RandomAccess Memory)113中的程序而执行各种适当的动作和处理。在RAM 113中，还存储有电子设备1000操作所需的各种程序和数据。处理器111、ROM 112以及RAM 113通过总线114彼此相连。输入/输出(I/O，Input/Output)接口115也连接至总线114。
以下部件连接至I/O接口115：包括硬盘等的存储器116；以及包括诸如局域网(Local Area Network，LAN)卡、调制解调器等的网络接口卡的通信部分117，通信部分117经由诸如因特网的网络执行通信处理；驱动器118也根据需要连接至I/O接口115。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分117从网络上被下载和安装。在该计算机程序被处理器111执行时，执行本公开的方法中限定的上述功能。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备1000的处理器111执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
图8为根据本公开一示例性实施例示出的一种车辆800的框图。例如，车辆800可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆800可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图8，车辆800可包括各种子系统，例如，信息娱乐系统810、感知系统820、决策控制系统830、驱动系统840以及计算平台850。其中，车辆800还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆800的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
其中，一种示例中，计算平台850可以为如图7所示的电子设备，能够获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像，进而确定车辆周边图像中道路消失点的坐标信息，用于对车辆周边图像进行标注处理。另一种示例中，计算平台850可以与如图7所示的电子设备连接，获取电子设备处理得到的经过道路消失点标注的车辆周边图像，用于车辆导航、车辆自动控制等。
在一些实施例中，信息娱乐系统810可以包括通信系统，娱乐系统以及导航系统等。
感知系统820可以包括若干种传感器，用于感测车辆800周边的环境的信息。例如，感知系统820可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统830可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统840可以包括为车辆800提供动力运动的组件。在一个实施例中，驱动系统840可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆800的部分或所有功能受计算平台850控制。计算平台850可包括至少一个处理器851和存储器852，处理器851可以执行存储在存储器852中的指令853。
处理器851可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(Field ProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。
存储器852可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
除了指令853以外，存储器852还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器852存储的数据可以被计算平台850使用。
在本公开实施例中，处理器851可以执行指令853，以完成上述的道路消失点的标注方法的全部或部分步骤。
此外，在本文中使用词语“示例性的”以表示充当示例、实例、示图。在本文中被描述为“示例性的”任何方面或设计都不一定理解为与其他方面或设计相比是有利的。相反，使用词语示例性的旨在以具体的方式呈现概念。如在本文中所使用的，术语“或”旨在表示包括性的“或”而不是排他性的“或”。即，除非另外指定，或者从上下文中清楚，否则“X应用A或B”旨在表示自然的包括性排列中的任何一种排列。即，如果X应用A；X应用B；或者X应用A和B两者，则“X应用A或B”在前述实例中的任何一个实例下都满足。另外，除非另外指定或者从上下文中清楚指向单数形式，否则如在该申请和所附权利要求中所使用的冠词“一”和“一个”通常被理解为表示“一个或多个”。
同样，尽管已经关于一个或多个实现示出并描述了本公开，但是在阅读并理解了该说明书和附图之后，本领域技术人员将想到等同的变型和修改。本公开包括所有这样的修改和变型，并且仅由权利要求的范围来限制。特别关于由上文所描述的组件(例如，元件、资源等)执行的各种功能，除非另外指出，否则用于描述这样的组件的术语旨在对应于执行所描述的组件的具体功能的任何组件(功能上等价的)，即使结构上不等价于所公开的结构。另外，尽管可以已经关于几个实现中的仅仅一个而公开了本公开的特定的特征，但是如可以是期望的并且有利于任何给定的或特定的应用的那样，这样的特征可以与其它实现的一个或多个其它特征相结合。此外，就在具体实施方式或者权利要求中所使用的“包括”、“拥有”、“具有”、“有”、或其变型而言，这样的术语旨在作为类似于术语“包含”的方式是包括性的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种道路消失点的标注方法，其特征在于，所述方法包括：
获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述目标点云数据包括，以所述第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；其中，所述第一时间戳为采集周边点云数据的采集时间点；所述第二时间戳为前视摄像头采集车辆周边图像的采集时间点；
在所述周边点云数据的采集频率与所述车辆周边图像的采集频率不一致的情况下，根据所述第二时间戳，从至少一个所述第一时间戳中获取对应的时间戳差值绝对值最小的候选时间戳；
在所述候选时间戳与所述第二时间戳之间的时间戳差值绝对值小于预设时间长度的情况下，将所述候选时间戳作为第三时间戳；
根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；所述多个参考点用于确定路面上与所述车辆的前进方向平行的两条直线；
根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息；
根据所述道路消失点的坐标信息对所述车辆周边图像进行标注处理，得到标注后的车辆周边图像。
2.根据权利要求1所述的方法，其特征在于，所述获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像，包括：
获取所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；
获取所述预设时间段内至少一个所述第一时间戳上车辆的周边点云数据、所述车辆在世界坐标系下的位置信息以及朝向信息；
针对每个第一时间戳，根据所述第一时间戳上车辆在世界坐标系下的位置信息以及朝向信息，确定所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系；
根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及所述车辆的周边点云数据，确定世界坐标系下所述车辆的点云数据集合；
根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及至少一个所述第一时间戳上车体坐标系下的指定区域范围，确定至少一个所述第一时间戳上所述世界坐标系下的目标区域范围；
根据所述点云数据集合中至少一个所述目标区域范围内多个点的坐标信息，确定至少一个所述第一时间戳上所述车辆的目标点云数据。
3.根据权利要求2所述的方法，其特征在于，所述根据至少一个所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系、以及所述车辆的周边点云数据，确定世界坐标系下所述车辆的点云数据集合，包括：
针对每个第一时间戳，根据所述第一时间戳上车体坐标系与所述世界坐标系之间的坐标转换关系，以及所述第一时间戳上车辆的周边点云数据，确定所述第一时间戳上所述世界坐标系下的点云数据子集合；
根据至少一个所述第一时间戳上所述世界坐标系下的点云数据子集合，确定世界坐标系下所述车辆的点云数据集合。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息，包括：
获取所述第三时间戳上车辆的目标点云数据中至少一个路面点的坐标信息；
根据至少一个所述路面点的坐标信息，拟合路面方程，确定所述路面方程中的路面方程系数；
确定多个参考点的X轴坐标和Y轴坐标；其中，多个所述参考点中第一部分参考点的X轴坐标为第一数值，第二部分参考点的X轴坐标为第二数值；
根据所述多个参考点的X轴坐标和Y轴坐标、以及路面方程系数已知的所述路面方程，确定所述多个参考点的坐标信息。
5.根据权利要求1所述的方法，其特征在于，所述根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息，包括：
根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中所述多个参考点的坐标信息；
根据所述车辆周边图像中所述多个参考点的坐标信息，确定所述车辆周边图像中路面上与所述车辆的前进方向平行的两条直线的位置信息；
根据所述两条直线的位置信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息，包括：
对所述车辆周边图像进行去畸变处理，得到去畸变图像；
确定所述车辆周边图像与所述去畸变图像之间的坐标转换关系；
根据所述车体坐标系与车辆周边图像的像素坐标系之间的坐标转换关系，以及所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，确定所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系；
根据所述车体坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述去畸变图像中所述多个参考点的坐标信息；
根据所述去畸变图像中所述多个参考点的坐标信息，确定所述去畸变图像中路面上与所述车辆的前进方向平行的两条直线的位置信息；
根据所述两条直线的位置信息，确定所述去畸变图像中所述道路消失点的坐标信息；
根据所述车辆周边图像的像素坐标系与所述去畸变图像的像素坐标系之间的坐标转换关系，以及所述去畸变图像中所述道路消失点的坐标信息，确定所述车辆周边图像中所述道路消失点的坐标信息。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据至少一个所述标注后的车辆周边图像，对初始道路消失点检测模型进行训练处理，得到训练好的道路消失点检测模型，用于车辆周边图像中的道路消失点检测。
8.一种道路消失点的标注装置，其特征在于，所述装置包括：
获取模块，用于获取预设时间段内至少一个第一时间戳上车辆的目标点云数据，以及所述预设时间段内第二时间戳上车辆前视摄像头采集的待标注的车辆周边图像；所述目标点云数据包括，以所述第一时间戳上车辆的位置信息为原点构建的车体坐标系下，指定区域范围内多个点的坐标信息；其中，所述第一时间戳为采集周边点云数据的采集时间点；所述第二时间戳为前视摄像头采集车辆周边图像的采集时间点；
选择模块，用于在所述周边点云数据的采集频率与所述车辆周边图像的采集频率不一致的情况下，根据所述第二时间戳，从至少一个所述第一时间戳中获取对应的时间戳差值绝对值最小的候选时间戳；在所述候选时间戳与所述第二时间戳之间的时间戳差值绝对值小于预设时间长度的情况下，将所述候选时间戳作为第三时间戳；
第一确定模块，用于根据所述第三时间戳上车辆的目标点云数据，确定多个参考点的坐标信息；所述多个参考点用于确定路面上与所述车辆的前进方向平行的两条直线；
第二确定模块，用于根据所述车体坐标系与所述车辆周边图像的像素坐标系之间的坐标转换关系，以及所述多个参考点的坐标信息，确定所述车辆周边图像中道路消失点的坐标信息；
标注处理模块，用于根据所述道路消失点的坐标信息对所述车辆周边图像进行标注处理，得到标注后的车辆周边图像。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现如权利要求1至7中任一项所述的道路消失点的标注方法的步骤。
10.一种车辆，其特征在于，包括如权利要求9所述的电子设备，或者，车辆与如权利要求9所述的电子设备连接。
11.一种非临时性计算机可读存储介质，当存储介质中的指令由处理器执行时，使得处理器能够执行如权利要求1至7中任一项所述的道路消失点的标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310582140.3A CN116630923B (zh) | 2023-05-22 | 2023-05-22 | 道路消失点的标注方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310582140.3A CN116630923B (zh) | 2023-05-22 | 2023-05-22 | 道路消失点的标注方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630923A CN116630923A (zh) | 2023-08-22 |
| CN116630923B true CN116630923B (zh) | 2024-01-02 |
Family
ID=87637686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310582140.3A Active CN116630923B (zh) | 2023-05-22 | 2023-05-22 | 道路消失点的标注方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630923B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101880850B1 (ko) * | 2017-04-14 | 2018-07-20 | 인하대학교 산학협력단 | 도로 주행 영상에서 채도와 명도의 상관관계와 시간적 필터링을 이용한 안개 검출 방법 및 시스템 |
| CN112733812A (zh) * | 2021-03-01 | 2021-04-30 | 知行汽车科技（苏州）有限公司 | 三维车道线检测方法、装置及存储介质 |
| CN114170323A (zh) * | 2021-12-07 | 2022-03-11 | 合肥英睿系统技术有限公司 | 图像拍摄装置的参数标定方法、设备及存储介质 |
| CN114898321A (zh) * | 2022-06-02 | 2022-08-12 | 重庆交通职业学院 | 道路可行驶区域检测方法、装置、设备、介质及系统 |
| CN115019268A (zh) * | 2022-05-30 | 2022-09-06 | 深圳市商汤科技有限公司 | 一种车道线检测方法、装置、计算机设备及存储介质 |
| CN115375739A (zh) * | 2022-08-04 | 2022-11-22 | 北京迈格威科技有限公司 | 车道线生成方法、设备和介质 |
| CN115457505A (zh) * | 2022-08-31 | 2022-12-09 | 东风汽车集团股份有限公司 | 一种摄像头的小障碍物探测方法、装置、设备及存储介质 |
| CN116129378A (zh) * | 2022-12-28 | 2023-05-16 | 新石器中研(上海)科技有限公司 | 车道线检测方法、装置、设备、车辆和介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10699135B2 (en) * | 2017-11-20 | 2020-06-30 | Here Global B.V. | Automatic localization geometry generator for stripe-shaped objects |
| CN108830894B (zh) * | 2018-06-19 | 2020-01-17 | 亮风台（上海）信息科技有限公司 | 基于增强现实的远程指导方法、装置、终端和存储介质 |
-
2023
- 2023-05-22 CN CN202310582140.3A patent/CN116630923B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101880850B1 (ko) * | 2017-04-14 | 2018-07-20 | 인하대학교 산학협력단 | 도로 주행 영상에서 채도와 명도의 상관관계와 시간적 필터링을 이용한 안개 검출 방법 및 시스템 |
| CN112733812A (zh) * | 2021-03-01 | 2021-04-30 | 知行汽车科技（苏州）有限公司 | 三维车道线检测方法、装置及存储介质 |
| CN114170323A (zh) * | 2021-12-07 | 2022-03-11 | 合肥英睿系统技术有限公司 | 图像拍摄装置的参数标定方法、设备及存储介质 |
| CN115019268A (zh) * | 2022-05-30 | 2022-09-06 | 深圳市商汤科技有限公司 | 一种车道线检测方法、装置、计算机设备及存储介质 |
| CN114898321A (zh) * | 2022-06-02 | 2022-08-12 | 重庆交通职业学院 | 道路可行驶区域检测方法、装置、设备、介质及系统 |
| CN115375739A (zh) * | 2022-08-04 | 2022-11-22 | 北京迈格威科技有限公司 | 车道线生成方法、设备和介质 |
| CN115457505A (zh) * | 2022-08-31 | 2022-12-09 | 东风汽车集团股份有限公司 | 一种摄像头的小障碍物探测方法、装置、设备及存储介质 |
| CN116129378A (zh) * | 2022-12-28 | 2023-05-16 | 新石器中研(上海)科技有限公司 | 车道线检测方法、装置、设备、车辆和介质 |
Non-Patent Citations (1)
| Title |
|---|
| "基于点云与图像纹理的道路识别算法研究";王俏;《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》(第2023年第01期);第C035-977页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630923A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6862409B2 (ja) | 地図生成及び移動主体の位置決めの方法及び装置 | |
| CN109214248B (zh) | 用于识别无人驾驶车辆的激光点云数据的方法和装置 | |
| CN109459734B (zh) | 一种激光雷达定位效果评估方法、装置、设备及存储介质 | |
| CN108734780B (zh) | 用于生成地图的方法、装置和设备 | |
| CN110889808A (zh) | 一种定位的方法、装置、设备及存储介质 | |
| CN111353453B (zh) | 用于车辆的障碍物检测方法和装置 | |
| JP2020057387A (ja) | 車両位置決め方法、車両位置決め装置、電子機器及びコンピュータ読み取り可能な記憶媒体 | |
| CN111652072A (zh) | 轨迹获取方法、轨迹获取装置、存储介质和电子设备 | |
| CN112798004A (zh) | 一种车辆的定位方法、装置、设备及存储介质 | |
| CN111681172A (zh) | 协同构建点云地图的方法、设备和系统 | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| CN116892944B (zh) | 农机导航线生成方法及装置、导航方法及装置 | |
| CN116486377B (zh) | 可行驶区域的生成方法及装置 | |
| CN116630923B (zh) | 道路消失点的标注方法、装置及电子设备 | |
| CN111145260B (zh) | 一种基于车载的双目标定方法 | |
| CN115223015B (zh) | 模型训练方法、图像处理方法、装置和车辆 | |
| US11532100B2 (en) | Method for environmental acquisition, data processing unit | |
| CN111401194B (zh) | 用于自动驾驶车辆的数据处理方法和装置 | |
| CN114440856A (zh) | 一种构建语义地图的方法及装置 | |
| CN109711363B (zh) | 车辆定位方法、装置、设备和存储介质 | |
| CN116503482B (zh) | 车辆位置的获取方法、装置及电子设备 | |
| CN113218392A (zh) | 室内定位导航方法及导航装置 | |
| CN116678423B (zh) | 多源融合定位方法、装置及车辆 | |
| CN115471513B (zh) | 点云分割方法及装置 | |
| CN114842458B (zh) | 障碍物检测方法、装置、车辆和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |