CN112580489A - 交通灯检测方法、装置、电子设备及存储介质 - Google Patents
交通灯检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112580489A CN112580489A CN202011480996.2A CN202011480996A CN112580489A CN 112580489 A CN112580489 A CN 112580489A CN 202011480996 A CN202011480996 A CN 202011480996A CN 112580489 A CN112580489 A CN 112580489A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- historical
- point cloud
- view picture
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及自动驾驶技术领域，提供一种交通灯检测方法、装置、电子设备及存储介质，其中方法包括：获取车辆的当前位置和视野图片；基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测；其中，所述交通灯的三维坐标是基于所述车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。本申请提供的方法、装置、电子设备及存储介质，能够消除视野图片中光照条件、相机特性和周围环境等因素带来的干扰，大幅度地提高交通灯的检测精度和检测效率。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种交通灯检测方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术、传感器技术和车联网技术等的不断发展，自动驾驶技术取得了巨大的进步。具有自动驾驶功能的车辆通过自动检测道路路况和交通灯状态实现行驶路径的自动规划，从而控制车辆安全可靠地在道路上行驶。交通灯也被称为红绿灯。
现有技术中，主要通过图像检测的方式对交通灯进行检测，由于外界光照强度变化频繁，导致车载相机拍摄的图像容易曝光不足或者曝光过度，或者图像中出现大量的无关影响因素，导致交通灯的检测精度差，检测效率低。
发明内容
本申请提供一种交通灯检测方法、装置、电子设备及存储介质，能够消除视野图片中光照条件、相机特性和周围环境等因素带来的干扰，大幅度地提高交通灯的检测精度和检测效率。
本申请提供一种交通灯检测方法，包括：
获取车辆的当前位置和视野图片；
基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测；
其中，所述交通灯的三维坐标是基于所述车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
根据本申请提供的一种交通灯检测方法，所述交通灯的三维坐标的确定方法，包括：
若所述历史视野图片包含交通灯，则基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云；
将所述历史视野图片对应的三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
基于所述历史视野图片中交通灯的二维坐标，以及所述历史视野图片对应的三维点云，确定所述交通灯的三维坐标。
根据本申请提供的一种交通灯检测方法，所述基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云，包括：
基于所述车辆的历史位置和所述三维点云地图，确定所述车辆在历史位置对应的三维点云；
分别确定所述三维点云和所述历史视野图片中的关键点；
基于所述三维点云和所述历史视野图片中的关键点，对所述三维点云和所述历史视野图片进行匹配，得到所述历史视野图片对应的三维点云。
根据本申请提供的一种交通灯检测方法，所述将所述历史视野图片对应的三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标，包括：
基于转换矩阵，将所述三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
其中，所述转换矩阵是基于采集所述三维点云的车载激光雷达以及采集所述历史视野图片的车载相机之间的相对位置关系确定的。
根据本申请提供的一种交通灯检测方法，所述若所述历史视野图片包含交通灯，则基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云，之前还包括：
对所述历史视野图片进行目标检测，确定所述视野图片的目标检测结果；
所述目标检测结果用于表征历史视野图片中是否包含交通灯。
根据本申请提供的一种交通灯检测方法，所述基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测，包括：
将所述交通灯的三维坐标投影到所述视野图片中，确定所述交通灯在所述视野图片中的二维坐标；
基于所述交通灯在所述视野图片中的二维坐标，对所述交通灯进行检测。
根据本申请提供的一种交通灯检测方法，所述三维点云地图是基于如下步骤获取的：
同步获取车辆在行驶过程中的采集得到的定位信号与点云数据；
基于所述定位信号与所述点云数据，确定所述三维点云地图。
本申请提供一种交通灯检测装置，包括：获取单元，用于获取车辆的当前位置和视野图片；
检测单元，用于基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测；
其中，所述交通灯的三维坐标是基于所述车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述交通灯检测方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述交通灯检测方法的步骤。
本申请提供的交通灯检测方法、装置、电子设备及存储介质，根据车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图，确定交通灯的三维坐标，进而根据交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并根据二维坐标进行交通灯检测，由于交通灯在视野图片中的二维坐标是根据交通灯的三维坐标确定的，能够消除视野图片中光照条件、相机特性和周围环境等因素带来的干扰，大幅度地提高交通灯的检测精度和检测效率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的交通灯检测方法的流程示意图；
图2为本申请提供的交通灯的三维坐标的确定方法的流程示意图之一；
图3为本申请提供的交通灯的三维坐标的确定方法的流程示意图之二；
图4为本申请提供的根据二维坐标进行交通灯检测方法的流程示意图；
图5为本申请提供的三维点云地图确定方法的流程示意图；
图6为本申请提供的交通灯检测装置的结构示意图；
图7为本申请提供的三维坐标确定单元的结构示意图之一；
图8为本申请提供的三维点云确定子单元的结构示意图；
图9为本申请提供的三维坐标确定单元的结构示意图之二；
图10为本申请提供的检测单元的结构示意图；
图11为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的交通灯检测方法的流程示意图，如图1所示，该方法包括：
步骤110，获取车辆的当前位置和视野图片。
具体地，本申请中车辆可以为无人驾驶车辆，也可以为安装有交通灯识别系统的车辆，本申请对于车辆的类型不作具体限定。
当前位置为车辆在当前时刻所处的地理位置。当前位置可以通过安装在车辆上的实时定位单元获取。实时定位单元可以为惯性测量单元(Inertial Measurement Unit，IMU)，用于采集车辆在行驶过程中的实时定位。
视野图片为记录车辆在前进方向上的空间范围内事物信息的图片。视野图片可以通过安装在车辆上的图像采集单元获取。图像采集单元可以为车载相机(Camera)，用于采集车辆在行驶过程中的视野图片。
步骤120，基于当前位置的交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并基于二维坐标进行交通灯检测；其中，交通灯的三维坐标是基于车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
具体地，根据当前位置的交通灯的三维坐标，在视野图片中对交通灯的具体位置进行查找，确定交通灯的二维坐标。交通灯的二维坐标用于表示交通灯在视野图片中的精确位置。
对车载相机拍摄得到的视野图片进行内容检测，如果判断获知视野图片中包含交通灯，则表明车辆已行驶至交叉路口，需要对交通灯的显示状态进行识别，按照交通灯的指示调整车辆的行驶状态，例如汽车按照交通灯的指示进行停车、直行、掉头或者转弯。对交通灯的显示状态进行识别的前提，是要在视野图片中检测得到交通灯的精确位置。
交通灯的检测与很多因素密切相关，如光照条件、相机特性和周围环境等。阳光直射、雾霾天气和树木遮挡等场景下，相机采集的视野图片的效果各不相同，可能引起交通灯在视野图片中呈现色彩失真、曝光不足和曝光过度等现象，从而影响交通灯的检测精度。此外，交通场景中的车灯、广告牌和行人等因素会引入干扰，导致交通灯的检测效果差。根据交通灯的二维坐标，无人驾驶系统或者交通灯识别系统能够迅速消除视野图片中大量的无关影响因素，在视野图片中找到交通灯的显示区域，从而对交通灯的颜色以及形状等属性进行检测。
交通灯的三维坐标可以根据车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图进行确定。历史位置为车辆在建立三维点云地图过程中经过的地理位置，历史视野图片为车辆经过历史位置时获取的视野图片。车载相机拍摄的历史视野图片与车辆经过的历史位置一一对应。
可以根据车辆的历史位置与三维点云地图进行匹配，获取车辆在历史位置对应的点云数据，结合车辆在历史位置拍摄得到的历史视野图片，准确地确定交通灯的三维坐标。交通灯的三维坐标用于表示交通灯在三维点云地图中的精确位置。
三维点云地图可以预先制定，例如可以通过使用专用的车载或以人为载体的传感器平台采集激光点云，然后使用专业计算平台配合离线建图算法计算出三维点云地图。
本申请提供的交通灯检测方法，根据车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图，确定交通灯的三维坐标，进而根据交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并根据二维坐标进行交通灯检测，由于交通灯在视野图片中的二维坐标是根据交通灯的三维坐标确定的，能够消除视野图片中光照条件、相机特性和周围环境等因素带来的干扰，大幅度地提高交通灯的检测精度和检测效率。
基于上述实施例，图2为本申请提供的交通灯的三维坐标的确定方法的流程示意图之一，如图2所示，交通灯的三维坐标的确定方法包括：
步骤210，若历史视野图片包含交通灯，则基于车辆的历史位置和三维点云地图，确定历史视野图片对应的三维点云。
步骤220，将历史视野图片对应的三维点云投影到历史视野图片中，得到历史视野图片对应的二维坐标。
步骤230，基于历史视野图片中交通灯的二维坐标，以及历史视野图片对应的三维点云，确定交通灯的三维坐标。
具体地，如果历史视野图片包含交通灯，则可以根据历史视野图片进一步确定交通灯的三维坐标。
可以将车辆的历史位置输入至三维点云地图中，进行查询后得到车辆在历史位置拍摄得到的历史视野图片所对应的三维点云。
将历史视野图片对应的三维点云投影到历史视野图片中，也就是将历史视野图片对应的三维点云投影到与历史视野图片所在的成像平面，可以得到历史视野图片中各个目标物体对应的二维坐标。此处，目标物体为历史视野图片中的交通灯、车辆、广告牌和行人等。
根据历史视野图片中交通灯的二维坐标，结合历史视野图片对应的三维点云，可以得到交通灯的三维坐标。例如，可以根据视野图片中交通灯的二维坐标，在对应的三维点云中确定交通灯对应的点云索引，再根据点云索引提取对应的点云，可以得到交通灯的三维坐标。可以对提取到的点云进行求均值，以减少误差。
本申请提供的交通灯检测方法，交通灯的三维坐标是根据车辆的历史位置和三维点云地图，以及历史视野图片确定的，不需要采用人工方式进行获取，降低了交通灯三维坐标的获取难度。
基于上述任一实施例，图3为本申请提供的交通灯的三维坐标的确定方法的流程示意图之二，如图3所示，步骤210包括：
步骤2101，基于车辆的历史位置和三维点云地图，确定车辆在历史位置对应的三维点云；
步骤2102，分别确定三维点云和历史视野图片中的关键点；
步骤2103，基于三维点云和历史视野图片中的关键点，对三维点云和历史视野图片进行匹配，得到历史视野图片对应的三维点云。
具体地，确定历史视野图片对应的三维点云，也就是将历史视野图片与三维点云进行匹配。由于车辆在历史位置对应的三维点云所反映的空间范围与历史视野图片中所反映的空间范围可能不一致，需要对三维点云和历史视野图片进行匹配。
首先，三维点云地图包含了大量的三维点云。根据车辆的历史位置，在三维点云地图中进行检索，得到车辆在历史位置对应的三维点云。
其次，分别确定三维点云和历史视野图片中的关键点。例如，可以在历史视野图片选取若干个目标物体，根据每一目标物体的形状特征，将目标物体的边界点作为关键点，分别在三维点云和历史视野图片进行标注。
最后，根据三维点云和历史视野图片中已经标注的关键点，对三维点云和历史视野图片进行匹配，得到历史视野图片对应的三维点云。对于车辆在历史位置对应的三维点云中与历史视野图片不对应的部分，可以进行裁剪后去除。
关键点的匹配算法可以采用匈牙利算法(Hungarian algorithm)和卡尔曼滤波算法(Kalman Filter algorithm)，本申请实施例对于匹配算法的选择不作具体限定。
确定历史视野图片对应的三维点云的方法，还可以采用基于2D3D-MatchNet建立图片点云匹配模型的方法来实现，2D3D-MatchNet是一种端到端深度网络模型，通过深度网络模型学习大量的样本二维图像和样本二维图像对应的三维点云，从而获得识别二维图像和三维点云之间对应关系的能力。
基于上述实施例，步骤220包括：
基于转换矩阵，将三维点云投影到历史视野图片中，得到历史视野图片对应的二维坐标；
其中，转换矩阵是基于采集三维点云的车载激光雷达以及采集历史视野图片的车载相机之间的相对位置关系确定的。
具体地，将三维点云投影到历史视野图片中，需要建立三维点云所在的点云坐标系与历史视野图片所在的图像坐标系之间的转换关系。
三维点云所在的点云坐标系可以以采集三维点云的车载激光雷达的安装位置为原点建立，历史视野图片所在的图像坐标系可以为以采集历史视野图片的车载相机为原点建立。
由于车载激光雷达以及车载相机安装在车辆上的位置一般是固定不变的，可以通过标定和解算的方式，事先获取车载激光雷达和车载相机的相对位置关系，确定点云坐标系与图像坐标系之间的映射函数关系，该映射函数关系表示为转换矩阵。
根据转换矩阵，对三维点云中的点云进行坐标转换，投影到历史视野图片中，从而得到历史视野图片对应的二维坐标。
基于上述任一实施例，步骤210之前还包括：
对历史视野图片进行目标检测，确定历史视野图片的目标检测结果；
目标检测结果用于表征历史视野图片中是否包含交通灯。
具体地，对历史视野图片进行目标检测，得到的历史视野图片的目标检测结果用于表征历史视野图片中是否包含交通灯。可以基于神经网络模型建立交通灯检测模型，将历史视野图片输入至交通灯检测模型，由交通灯检测模型对历史视野图片进行检测后，得到目标检测结果。
可以预先训练得到交通灯检测模型，具体可以通过如下训练方式得到交通灯检测模型：首先，收集大量的样本历史视野图片。其次，采用人工方式对每一样本历史视野图片中是否包含交通灯进行标记，得到每一样本历史视野图片的标签。随即，将大量的样本历史视野图片，以及样本历史视野图片的标签输入至初始模型进行训练，以提高初始模型对交通灯的检测能力为目标，得到交通灯检测模型。
初始模型可以选择卷积神经网络(Convolutional Neural Networks，CNN)、全卷积神经网络(Fully Convolutional Networks，FCN)和循环神经网络(Recurrent NeuralNetwork，RNN)等，本申请实施例对于初始模型的选择不作具体限定。
基于上述任一实施例，图4为本申请提供的根据二维坐标进行交通灯检测方法的流程示意图，如图4所示，步骤120包括：
步骤1201，将交通灯的三维坐标投影到视野图片中，确定交通灯在视野图片中的二维坐标；
步骤1202，基于交通灯在视野图片中的二维坐标，对交通灯进行检测。
具体地，根据交通灯的三维坐标，可以更加精确地在视野图片中确定交通灯所在的具体位置。将获取交通灯的三维坐标投影到视野图片中，得到交通灯在视野图片中的二维坐标。交通灯的三维坐标投影到视野图片的方法可以根据转换矩阵进行，上述实施例中已对转换矩阵的确定方法进行了阐述，此处不再赘述。
根据交通灯在视野图片中的二维坐标，对交通灯进行检测。对交通灯进行检测的检测包括对交通灯的颜色和形状进行检测。
例如，可以根据神经网络模型为初始模型建立交通灯颜色检测模型。首先，收集大量的样本交通灯图片，对样本交通灯图片的颜色进行人工标记，得到样本交通灯图片的颜色标签，随即将大量的样本交通灯图片，以及每一样本交通灯图片的颜色标签输入至神经网络模型进行训练，以提高神经网络模型对交通灯颜色的识别能力，最终得到交通灯颜色检测模型。
建立交通灯形状检测模型的方法与交通灯颜色检测模型的方法类似，此处不再赘述。
基于上述任一实施例，图5为本申请提供的三维点云地图确定方法的流程示意图，如图5所示，三维点云地图是基于如下步骤获取的：
步骤510，同步获取车辆在行驶过程中的采集得到的定位信号与点云数据；
步骤520，基于定位信号与点云数据，确定三维点云地图。
具体地，同步获取车辆在行驶过程中的采集得到的定位信号与点云数据，建立点云数据与定位信号之间的对应关系，采用SLAM算法，建立三维点云地图。
SLAM(simultaneous localization and mapping)，也称为CML(ConcurrentMapping and Localization)，即时定位与地图构建或并发建图与定位。例如，车辆行驶在未知环境中，车辆一边行驶，一边逐步描绘出此环境的地图。常用的SLAM算法包括HectorSLAM算法和Gmapping算法等。
基于上述任一实施例，本申请实施例提供一种交通灯检测方法，包括：
步骤一、在车辆上安装惯性测量单元、激光雷达和相机。驾驶车辆行驶在道路上，同步获取车辆在行驶过程中的采集得到的定位信号与点云数据，建立点云数据与定位信号之间的对应关系，采用SLAM算法，建立三维点云地图。
步骤二、对车辆上安装的惯性测量单元、激光雷达和相机进行位置标定和解算。获取激光雷达和相机的相对位置关系，确定以激光雷达为原点的点云坐标系与以相机为原点的图像坐标系之间的映射函数关系，该映射函数关系表示为转换矩阵，该转换矩阵用于实现将激光雷达采集的点云数据投影到相机采集的历史视野图片中。
步骤三、若检测到历史视野图片中包含交通灯，则根据车辆的历史位置和三维点云地图，确定历史视野图片对应的三维点云。根据转换矩阵，将历史视野图片对应的三维点云投影到历史视野图片中，确定交通灯的三维坐标。
步骤四、当车辆经过当前位置时，车载相机拍摄得到当前的视野图片，将步骤三中已确定的交通灯的三维坐标投影到当前的视野图片中，确定交通灯在当前的视野图片中的二维坐标，并基于二维坐标进行交通灯检测。
下面对本申请提供的交通灯检测装置进行描述，下文描述的交通灯检测装置与上文描述的交通灯检测方法可相互对应参照。
基于上述任一实施例，图6为本申请提供的交通灯检测装置的结构示意图，如图6所示，该装置包括：
获取单元610，用于获取车辆的当前位置和视野图片；
检测单元620，用于基于当前位置的交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并基于二维坐标进行交通灯检测；
其中，交通灯的三维坐标是基于车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
具体地，获取单元610用于获取车辆的当前位置和视野图片。检测单元620，用于基于当前位置的交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并基于二维坐标进行交通灯检测。
本申请提供的交通灯检测装置，根据车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图，确定交通灯的三维坐标，进而根据交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并根据二维坐标进行交通灯检测，由于交通灯在视野图片中的二维坐标是根据交通灯的三维坐标确定的，能够消除视野图片中光照条件、相机特性和周围环境等因素带来的干扰，大幅度地提高交通灯的检测精度和检测效率。
基于上述任一实施例，图7为本申请提供的三维坐标确定单元的结构示意图之一，如图7所示，三维坐标确定单元630包括：
三维点云确定子单元6301，用于若历史视野图片包含交通灯，则基于车辆的历史位置和三维点云地图，确定历史视野图片对应的三维点云；
二维坐标确定子单元6302，用于将历史视野图片对应的三维点云投影到历史视野图片中，得到历史视野图片对应的二维坐标；
三维坐标确定子单元6303，用于基于历史视野图片中交通灯的二维坐标，以及历史视野图片对应的三维点云，确定交通灯的三维坐标。
基于上述任一实施例，图8为本申请提供的三维点云确定子单元的结构示意图，如图8所示，三维点云确定子单元6301包括：
第一三维点云确定模块63011，用于基于车辆的历史位置和三维点云地图，确定车辆在历史位置对应的三维点云；
关键点确定模块63012，用于分别确定三维点云和历史视野图片中的关键点；
第二三维点云确定模块63013，用于基于三维点云和历史视野图片中的关键点，对三维点云和历史视野图片进行匹配，得到历史视野图片对应的三维点云。
基于上述任一实施例，二维坐标确定子单元6302包括：
转换模块，用于基于转换矩阵，将三维点云投影到历史视野图片中，得到历史视野图片对应的二维坐标；
其中，转换矩阵是基于采集三维点云的车载激光雷达以及采集历史视野图片的车载相机之间的相对位置关系确定的。
基于上述任一实施例，图9为本申请提供的三维坐标确定单元的结构示意图之二，如图9所示，三维坐标确定单元630还包括：
目标检测子单元6300，用于对历史视野图片进行目标检测，确定视野图片的目标检测结果；
目标检测结果用于表征历史视野图片中是否包含交通灯。
基于上述任一实施例，图10为本申请提供的检测单元的结构示意图，如图10所示，检测单元620包括：
投影子单元6201，用于将交通灯的三维坐标投影到视野图片中，确定交通灯在视野图片中的二维坐标；
检测子单元6202，用于基于交通灯在视野图片中的二维坐标，对交通灯进行检测。
本申请实施例提供的交通灯检测装置用于执行上述交通灯检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
基于上述任一实施例，图11为本申请提供的电子设备的结构示意图，如图11所示，该电子设备可以包括：处理器(Processor)1110、通信接口(Communications Interface)1120、存储器(Memory)1130和通信总线(Communications Bus)1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑命令，以执行如下方法：
获取车辆的当前位置和视野图片；基于当前位置的交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并基于二维坐标进行交通灯检测；其中，交通灯的三维坐标是基于车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
此外，上述的存储器1130中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述交通灯检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
获取车辆的当前位置和视野图片；基于当前位置的交通灯的三维坐标，确定交通灯在视野图片中的二维坐标，并基于二维坐标进行交通灯检测；其中，交通灯的三维坐标是基于车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述交通灯检测方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种交通灯检测方法，其特征在于，包括：
获取车辆的当前位置和视野图片；
基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测；
其中，所述交通灯的三维坐标是基于所述车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
2.根据权利要求1所述的交通灯检测方法，其特征在于，所述交通灯的三维坐标的确定方法，包括：
若所述历史视野图片包含交通灯，则基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云；
将所述历史视野图片对应的三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
基于所述历史视野图片中交通灯的二维坐标，以及所述历史视野图片对应的三维点云，确定所述交通灯的三维坐标。
3.根据权利要求2所述的交通灯检测方法，其特征在于，所述基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云，包括：
基于所述车辆的历史位置和所述三维点云地图，确定所述车辆在历史位置对应的三维点云；
分别确定所述三维点云和所述历史视野图片中的关键点；
基于所述三维点云和所述历史视野图片中的关键点，对所述三维点云和所述历史视野图片进行匹配，得到所述历史视野图片对应的三维点云。
4.根据权利要求2所述的交通灯检测方法，其特征在于，所述将所述历史视野图片对应的三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标，包括：
基于转换矩阵，将所述三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
其中，所述转换矩阵是基于采集所述三维点云的车载激光雷达以及采集所述历史视野图片的车载相机之间的相对位置关系确定的。
5.根据权利要求2所述的交通灯检测方法，其特征在于，所述若所述历史视野图片包含交通灯，则基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云，之前还包括：
对所述历史视野图片进行目标检测，确定所述视野图片的目标检测结果；
所述目标检测结果用于表征历史视野图片中是否包含交通灯。
6.根据权利要求1所述的交通灯检测方法，其特征在于，所述基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测，包括：
将所述交通灯的三维坐标投影到所述视野图片中，确定所述交通灯在所述视野图片中的二维坐标；
基于所述交通灯在所述视野图片中的二维坐标，对所述交通灯进行检测。
7.根据权利要求1至6任一项所述的交通灯检测方法，其特征在于，所述三维点云地图是基于如下步骤获取的：
同步获取车辆在行驶过程中的采集得到的定位信号与点云数据；
基于所述定位信号与所述点云数据，确定所述三维点云地图。
8.一种交通灯检测装置，其特征在于，包括：
获取单元，用于获取车辆的当前位置和视野图片；
检测单元，用于基于当前位置的交通灯的三维坐标，确定所述交通灯在所述视野图片中的二维坐标，并基于所述二维坐标进行交通灯检测；
其中，所述交通灯的三维坐标是基于所述车辆的历史位置、历史位置对应的历史视野图片以及三维点云地图确定的。
9.根据权利要求8所述的交通灯检测装置，其特征在于，还包括三维坐标确定单元，所述三维坐标确定单元包括：
三维点云确定子单元，用于若所述历史视野图片包含交通灯，则基于所述车辆的历史位置和所述三维点云地图，确定所述历史视野图片对应的三维点云；
二维坐标确定子单元，用于将所述历史视野图片对应的三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
三维坐标确定子单元，用于基于所述历史视野图片中交通灯的二维坐标，以及所述历史视野图片对应的三维点云，确定所述交通灯的三维坐标。
10.根据权利要求9所述的交通灯检测装置，其特征在于，所述三维点云确定子单元包括：
第一三维点云确定模块，用于基于所述车辆的历史位置和所述三维点云地图，确定所述车辆在历史位置对应的三维点云；
关键点确定模块，用于分别确定所述三维点云和所述历史视野图片中的关键点；
第二三维点云确定模块，用于基于所述三维点云和所述历史视野图片中的关键点，对所述三维点云和所述历史视野图片进行匹配，得到所述历史视野图片对应的三维点云。
11.根据权利要求9所述的交通灯检测装置，其特征在于，所述二维坐标确定子单元包括：
转换模块，用于基于转换矩阵，将所述三维点云投影到所述历史视野图片中，得到所述历史视野图片对应的二维坐标；
其中，所述转换矩阵是基于采集所述三维点云的车载激光雷达以及采集所述历史视野图片的车载相机之间的相对位置关系确定的。
12.根据权利要求9所述的交通灯检测装置，其特征在于，所述三维坐标确定单元还包括：
目标检测子单元，用于对所述历史视野图片进行目标检测，确定所述视野图片的目标检测结果；
所述目标检测结果用于表征历史视野图片中是否包含交通灯。
13.根据权利要求8所述的交通灯检测装置，其特征在于，所述检测单元包括：
投影子单元，用于将所述交通灯的三维坐标投影到所述视野图片中，确定所述交通灯在所述视野图片中的二维坐标；
检测子单元，用于基于所述交通灯在所述视野图片中的二维坐标，对所述交通灯进行检测。
14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的交通灯检测方法的步骤。
15.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的交通灯检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011480996.2A CN112580489A (zh) | 2020-12-15 | 2020-12-15 | 交通灯检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011480996.2A CN112580489A (zh) | 2020-12-15 | 2020-12-15 | 交通灯检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112580489A true CN112580489A (zh) | 2021-03-30 |
Family
ID=75135435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011480996.2A Pending CN112580489A (zh) | 2020-12-15 | 2020-12-15 | 交通灯检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580489A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861832A (zh) * | 2021-04-25 | 2021-05-28 | 湖北亿咖通科技有限公司 | 交通标识的检测方法、装置、电子设备及存储介质 |
| CN113343873A (zh) * | 2021-06-17 | 2021-09-03 | 湖北亿咖通科技有限公司 | 信号灯识别方法、装置、设备、介质及产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583415A (zh) * | 2018-12-11 | 2019-04-05 | 兰州大学 | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 |
| CN110677491A (zh) * | 2019-10-10 | 2020-01-10 | 郑州迈拓信息技术有限公司 | 用于车辆的旁车位置估计方法 |
| CN110705485A (zh) * | 2019-10-08 | 2020-01-17 | 东软睿驰汽车技术（沈阳）有限公司 | 一种交通信号灯识别方法及装置 |
| CN111079680A (zh) * | 2019-12-23 | 2020-04-28 | 北京三快在线科技有限公司 | 临时交通信号灯检测方法、装置和自动驾驶设备 |
| CN111340889A (zh) * | 2020-02-19 | 2020-06-26 | 厦门大学 | 基于车载激光扫描自动获取匹配图像块与点云球的方法 |
| CN111652050A (zh) * | 2020-04-20 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种交通标志的定位方法、装置、设备和介质 |
-
2020
- 2020-12-15 CN CN202011480996.2A patent/CN112580489A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583415A (zh) * | 2018-12-11 | 2019-04-05 | 兰州大学 | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 |
| CN110705485A (zh) * | 2019-10-08 | 2020-01-17 | 东软睿驰汽车技术（沈阳）有限公司 | 一种交通信号灯识别方法及装置 |
| CN110677491A (zh) * | 2019-10-10 | 2020-01-10 | 郑州迈拓信息技术有限公司 | 用于车辆的旁车位置估计方法 |
| CN111079680A (zh) * | 2019-12-23 | 2020-04-28 | 北京三快在线科技有限公司 | 临时交通信号灯检测方法、装置和自动驾驶设备 |
| CN111340889A (zh) * | 2020-02-19 | 2020-06-26 | 厦门大学 | 基于车载激光扫描自动获取匹配图像块与点云球的方法 |
| CN111652050A (zh) * | 2020-04-20 | 2020-09-11 | 宁波吉利汽车研究开发有限公司 | 一种交通标志的定位方法、装置、设备和介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112861832A (zh) * | 2021-04-25 | 2021-05-28 | 湖北亿咖通科技有限公司 | 交通标识的检测方法、装置、电子设备及存储介质 |
| CN113343873A (zh) * | 2021-06-17 | 2021-09-03 | 湖北亿咖通科技有限公司 | 信号灯识别方法、装置、设备、介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI703064B (zh) | 用於在不良照明狀況下定位運輸工具的系統和方法 | |
| CN110147706B (zh) | 障碍物的识别方法和装置、存储介质、电子装置 | |
| CN107235044B (zh) | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 | |
| CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN106023622B (zh) | 一种确定红绿灯识别系统识别性能的方法和装置 | |
| CN114413881B (zh) | 高精矢量地图的构建方法、装置及存储介质 | |
| CN111976601B (zh) | 自动泊车方法、装置、设备和存储介质 | |
| CN112580489A (zh) | 交通灯检测方法、装置、电子设备及存储介质 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
| CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
| JP7136138B2 (ja) | 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN115235493A (zh) | 一种基于矢量地图进行自动驾驶定位的方法及装置 | |
| Blachut et al. | Automotive Perception System Evaluation with Reference Data from a UAV’s Camera Using ArUco Markers and DCNN | |
| KR102540629B1 (ko) | 교통 시설물에 대한 학습 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102540636B1 (ko) | 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102540634B1 (ko) | 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102540624B1 (ko) | 항공 라이다를 이용한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| KR102540632B1 (ko) | 색상 보정을 적용한 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 | |
| JP2020076714A (ja) | 位置姿勢推定装置 | |
| CN112648924B (zh) | 基于车载单目摄像设备的悬浮对象空间位置确定方法 | |
| CN117037007B (zh) | 一种航拍式的道路照明均匀度检查方法及装置 | |
| KR102618951B1 (ko) | 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |