CN111652050B - 一种交通标志的定位方法、装置、设备和介质 - Google Patents
一种交通标志的定位方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN111652050B CN111652050B CN202010310661.XA CN202010310661A CN111652050B CN 111652050 B CN111652050 B CN 111652050B CN 202010310661 A CN202010310661 A CN 202010310661A CN 111652050 B CN111652050 B CN 111652050B
- Authority
- CN
- China
- Prior art keywords
- data
- traffic sign
- information
- image data
- dimensional coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000007621 cluster analysis Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种交通标志的定位方法、装置、设备和介质，所述方法通过融合图像数据和雷达点云数据，得到融合图像数据，将融合图像数据输入到交通标志识别定位模型中进行识别和定位，得到交通标志信息和交通标志的二维坐标信息，将交通标志的二维坐标信息通过空间转换成为三维坐标信息，通过三维坐标信息得到交通标志的空间坐标。所述方法将图像识别的结果和激光雷达数据融合进行识别和定位，最后输出交通标志的识别结果和空间坐标，提高了交通标志识别的准确性和完整性，同时也为高精地图的定位和地图数据的更新提供了更加精确的数据，提高了地图数据的精度。
Description
技术领域
本发明涉及图像检测领域，尤其涉及一种交通标志的定位方法、装置、设备和介质。
背景技术
目前，高精度地图作为无人驾驶领域的刚性需求和基础设施，在整个行车过程中扮演着核心角色。可以帮助无人汽车预先感知路面的复杂信息，如坡度、曲率、航向等，结合智能路径规划，让汽车做出正确决策。车辆在地图中位置更新的方式主要依靠处理卫星定位信息和惯导信息来实现，在高精度地图制作的过程中，会将交通标志、红绿灯等信息放在对应的地图点上。因此，可以通过识别出来的交通标志信息和地图上交通标志的数据进行匹配，来定位车辆在地图中的位置以及进行高精地图数据的更新。
在现有技术中，可以通过相机识别道路交通标志信息或者施工路段信息，来更新车辆当前的定位信息，但是只能通过二维图像来识别出交通标志的内容，没有准确输出交通标志空间位置，且仅通过图像方式更新的地图信息，也存在精度不足的问题。因此，亟需一种交通标志的定位方法，实现对交通标志的准确定位。
发明内容
本发明提供了一种交通标志的定位方法、装置、设备和介质，提高了交通标志识别的准确性和完整性，也提高了高精度地图的准确性。
一方面，本发明提供了一种交通标志的定位方法，所述方法包括：
获取前方道路的图像数据和前方道路的雷达点云数据；
将所述图像数据和所述雷达点云数据融合，得到融合图像数据；
基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；
根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
另一方面提供了一种交通标志的定位装置，所述装置包括：数据采集模块、图像融合模块、图像识别模块、位置数据转换模块和空间坐标获取模块；
所述数据采集模块用于获取前方道路的图像数据和前方道路的雷达点云数据；
所述图像融合模块用于将所述图像数据和所述雷达点云数据融合，得到融合图像数据；
所述图像识别模块用于基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
所述位置数据转换模块用于对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；
所述空间坐标获取模块用于根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
另一方面提供了一种设备，用所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种交通标志的定位方法。
另一方面提供了一种存储介质，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的一种交通标志的定位方法。
本发明提供的一种交通标志的定位方法、装置、设备和介质，所述方法通过融合图像数据和雷达点云数据，得到融合图像数据，将融合图像数据输入到交通标志识别定位模型中进行识别和定位，得到交通标志信息和交通标志的二维坐标信息，将交通标志的二维坐标信息通过空间转换成为三维坐标信息，通过三维坐标信息得到交通标志的空间坐标。所述方法将图像识别的结果和激光雷达数据融合进行识别和定位，最后输出交通标志的识别结果和空间坐标，提高了交通标志识别的准确性和完整性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种交通标志的定位方法的应用场景示意图；
图2为本发明实施例提供的一种交通标志的定位方法的流程图；
图3为本发明实施例提供的一种交通标志的定位方法中获取前方道路的数据的方法的流程图；
图4为本发明实施例提供的一种交通标志的定位方法中得到融合图像数据的方法的流程图；
图5为本发明实施例提供的一种交通标志的定位方法中对融合图像数据进行识别和定位的方法的流程图；
图6为本发明实施例提供的一种交通标志的定位方法中进行空间转换的方法的流程图；
图7为本发明实施例提供的一种交通标志的定位方法中转换矩阵的标定方法的流程图；
图8为本发明实施例提供的一种交通标志的定位方法中标定物体的示意图；
图9为本发明实施例提供的一种交通标志的定位方法的交通标志识别定位模型的训练方法流程图；
图10为本发明实施例提供的一种交通标志的定位装置的结构示意图；
图11为本发明实施例提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。而且，术语“第一”、“第二”等适用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
请参见图1，其显示了本发明实施例提供的一种交通标志的定位方法的应用场景示意图，所述应用场景包括采集终端110和处理器120，所述采集终端110用于采集前方道路的图像数据和前方道路的雷达点云数据，所述处理器120用于对图像数据和雷达点云数据进行融合，再通过交通标志识别定位模型对融合后的数据进行识别和定位，得到交通标志信息和交通标志对应的二维坐标数据，经过空间转换获取交通标志的三维坐标数据，最终得到交通标志的空间坐标。处理器120可以输出交通标志信息和交通标志的空间坐标到其他系统中，其他系统可以根据交通标志信息和交通标志的空间坐标进行车辆定位或者地图更新等操作。
在本发明实施例中，采集终端110可以为摄像头和车载激光雷达，所述车载激光雷达是利用激光的传播速度快，直线型好的特点将激光发射出去，并接收返回的信息来描述被测量物体的表面形态的。其中，被测量物体的表面形态是由成千上万个点组成，即雷达点云。
请参见图2，其显示了一种交通标志的定位方法，可应用于服务器侧，所述方法包括：
S210.获取前方道路的图像数据和前方道路的雷达点云数据；
进一步地，请参见图3，所述获取前方道路的图像数据和前方道路的雷达点云数据包括：
S310.获取前方道路的图像数据；
S320.同步获取前方道路的初始雷达点云数据；
S330.对所述初始雷达点云数据中的每一个点进行编号，得到编号后的初始雷达点云数据；
S340.将所述编号后的初始雷达点云数据作为雷达点云数据。
具体地，通过摄像头采集前方道路的图像数据后，激光雷达同步获得摄像头采集图像的同一时刻的前方道路的初始雷达点云数据。获得初始雷达点云数据后，对点云中数据每一个点，按照采集的时间进行编号区分，将三维的点由(X，Y，Z)扩充成(X，Y，Z，i)，其中X、Y、Z为该点在激光雷达坐标系下坐标值，i为每个点唯一序号。初始雷达点云数据中的编号信息在雷达点云数据映射为二维坐标数据后，也包括在二维坐标数据中，后续再次将第一位置数据通过空间转换得到第二位置数据时，该编号数据可以用来进行二维数据和三维数据的对应，从而通过平面坐标中交通标志的位置得到立体坐标中交通标志的位置。
通过给雷达点云信息进行编号，可以在后续将二维坐标转换为三维坐标时快速获取雷达点云信息中构成交通的标志的点，便于进行坐标转换，以得到交通标志在空间中的位置信息。
S220.将所述图像数据和所述雷达点云数据融合，得到融合图像数据；
进一步地，请参见图4，所述将所述图像数据和所述雷达点云数据融合，得到融合图像数据包括：
S410.根据预设的转换矩阵，将所述雷达点云数据映射为二维坐标数据；
S420.将所述二维坐标数据与所述图像数据进行融合，得到融合图像数据。
具体地，根据预先标定的转换矩阵，将雷达点云数据映射为二维坐标数据，即将三维坐标中的点P(X，Y，Z，i)，映射成p(x，y，i)的具有索引编号的图像，x、y对应的是该点的二维像素坐标，其中i是和空间三维点坐标(X，Y，Z，i)中的i序号一致。然后将映射后的具有索引编号的图像和摄像头采集的图像数据融合成一个RGBI四通道图像，所述融合后的RGBI四通道图像也具有编号信息。
融合图像数据和雷达点云数据，主要可以通过雷达点云数据中的编号，得到具有索引编号的图像，从而可以在后续识别到交通标志后，根据索引编号恢复成空间坐标。
S230.基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
进一步地，请参见图5，所述交通标志数据包括交通标志信息和第一位置数据，所述交通标志定位识别模型包括区域提取层、卷积层和分类回归层，基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志信息和第一位置数据包括：
S510.基于所述区域提取层中预设的标准候选框，对融合图像数据进行区域提取，得到交通标志候选区域信息；
S520.基于所述卷积层，对所述交通标志候选区域信息进行特征提取，得到交通标志特征信息；
S530.基于所述分类回归层，对所述交通标志特征信息进行分类，得到交通标志信息；
S540.基于所述分类回归层，对所述交通标志特征信息进行边界回归，得到第一位置数据。
具体地，在进行图像识别时，可以通过RCNN(Region with CNN feature)、SSD、YOLO、VGG等模型进行识别。在一个具体的实施例中，所述交通标志定位识别模型可以为RCNN模型，因此，所述交通标志定位识别模型分为区域提取层、卷积层和分类回归层，其中区域提取层基于预设的标准候选框分割融合图像数据，查看标准候选框中的图像部分是否可能为交通标志的图像，合并最有可能的区域，重复上述步骤直到各个标准候选框中的部分图像合并成为一个区域，即得到交通标志候选区域信息。
之后在卷积层，对交通标志候选区域信息进行特征提取，得到交通标志特征信息。在分类回归层，通过分类器进行分类步骤，对卷积层输出的交通标志特征信息的向量进行分类，确定交通标志信息，即识别得到交通标志的含义。通过边界回归框对卷积层输出的交通标志特征信息的向量进行回归，得到精确的交通标志的区域信息，即第一位置数据。
S240.对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；
进一步地，请参见图6，对所述第一位置数据进行空间转换，得到第二位置数据包括：
S610.根据所述第一位置数据，得到交通标志区域信息；
S620.根据所述交通标志区域信息，确定交通标志的二维坐标数据，所述交通标志的二维坐标数据中包括所述雷达点云数据中每个点的编号；
S630.根据所述交通标志的二维坐标数据中每个点的编号，获取对应的雷达点云数据中交通标志的三维坐标数据；
S640.基于预设的聚类分析算法，对所述交通标志的三维坐标数据进行去除干扰点的操作，得到第二位置数据。
具体地，根据交通标志定位识别模型输出的第一位置数据，可以得到交通标志所在的区域，因此可以确定在融合图像数据中的交通标志，即交通标志的二维坐标数据。在融合后的图像数据中，获取位于落在交通标志所在的区域的二维坐标数据p(x,y,i)，即可以得到交通标志的二维坐标数据，而二维坐标数据实际上是通过三维坐标数据映射得到的，因此通过二维坐标数据中保留的编号信息，以及同样具有编号信息的雷达点云数据，可以确定在雷达点云数据中交通标志牌对应的三维点集(X，Y，Z，i)。然后通过聚类分析算法，剔除三维点集中的干扰点，可以得到交通标志的第二位置数据，即交通标志在三维坐标中的位置数据。
S250.根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
具体地，计算三维数据的点集中，各个坐标轴的平均值，可以得到交通标志的中心坐标位置(X，Y，Z)，所述交通标志的中心坐标位置可以作为待定位交通标志的空间坐标输出。
进一步地，将交通标志的识别信息和定位信息，即交通标志信息和交通标志的空间坐标输出到车载系统，例如无人驾驶系统，车载系统可以根据交通标志信息和交通标志的空间坐标进行车辆定位或更新地图数据。
将图像识别的结果和激光雷达数据融合进行识别和定位，最后输出交通标志的识别结果和空间坐标，提高了交通标志识别的准确性和完整性。
进一步地，请参见图7，所述获取前方道路的图像数据和前方道路的雷达点云数据之前，还包括：
S710.获取多组图像标定信息和多组雷达点云标定信息，所述图像标定信息为固定位置进行采集的标定物体中预定点的二维坐标信息，所述雷达点云标定信息为固定位置进行采集的标定物体中预定点的三维坐标信息；
S720.基于所述多组图像标定信息和所述多组雷达点云标定信息，确定转换矩阵。
具体地，通过预设已知任意边长的标定物体，如图8所示，可以进行摄像头和激光雷达的标定。固定摄像头和激光雷达，在相对位置不改变的情况下，通过摄像头和激光雷达采集标定物体的图像数据和雷达点云数据，提取该标定物体角点a1到a11的坐标为Xcamera(x，y)和Xlidar(X，Y，Z)。重复上述步骤，得到多组数据，使用标定工具得到对应的转换矩阵。通过标定得到的转换矩阵可以应用于将三维的雷达点云数据转换为二维坐标数据。
进一步地，请参见图9，所述方法还包括：
S910.获取训练样本集，所述训练样本集是具有标注信息的融合图像数据；
S920.构建初始神经网络模型；
S930.基于所述训练样本集，对所述初始神经网络模型进行训练，得到交通标志定位识别模型；
S940.其中，所述标注信息包括交通标志信息和所述交通标志信息对应的第一位置数据。
具体地，对融合图像数据标注交通标志信息，可以通过编号为1，2，3，4……的数字，分别表示“注意行人”、“上陡坡”、“两侧道路变窄”等交通标志信息。对融合图像数据标注交通标志信息对应的第一位置数据时，可以通过(x，y，W，H)来表示第一位置信息，其中x、y的值表示交通标志区域的中心点位置，W和H分别表示交通标志区域的宽和高的值。
将具有标注信息的融合图像数据作为训练样本集，对构建的初始神经网络模型进行训练，得到交通标志定位识别模型，可以根据输入的融合图像数据对交通标志进行识别和定位。
本发明实施例提出了一种交通标志的定位方法，所述方法通过融合图像数据和雷达点云数据，得到融合图像数据，将融合图像数据输入到交通标志识别定位模型中进行识别和定位，得到交通标志信息和交通标志的二维坐标信息，将交通标志的二维坐标信息通过空间转换成为三维坐标信息，通过三维坐标信息得到交通标志的空间坐标。所述方法将图像识别的结果和激光雷达数据融合进行识别和定位，最后输出交通标志的识别结果和空间坐标，提高了交通标志识别的准确性和完整性，同时也为高精地图的定位和地图数据的更新提供了更加精确的数据，提高了地图数据的精度。
本发明实施例还提供了一种交通标志的定位装置，请参见图10，所述装置包括：数据采集模块1010、图像融合模块1020、图像识别模块1030、位置数据转换模块1040和空间坐标获取模块1050；
所述数据采集模块1010用于获取前方道路的图像数据和前方道路的雷达点云数据；
所述图像融合模块1020用于将所述图像数据和所述雷达点云数据融合，得到融合图像数据；
所述图像识别模块1030用于基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
所述位置数据转换模块1040用于对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；
所述空间坐标获取模块1050用于根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
上述实施例中提供的装置可执行本发明任意实施例所提供方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的一种交通标志的定位方法。
本实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令由处理器加载并执行本实施例上述的一种交通标志的定位方法。
本实施例还提供了一种设备，所述设备包括处理器和存储器，其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本实施例上述的一种交通标志的定位方法。
所述设备可以为计算机终端、移动终端或服务器，所述设备还可以参与构成本发明实施例所提供的装置或系统。如图11所示，移动终端11(或计算机终端11或服务器11)可以包括一个或多个(图中采用1102a、1102b，……，1102n来示出)处理器1102(处理器1102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1104、以及用于通信功能的传输装置1106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动设备11还可包括比图11中所示更多或者更少的组件，或者具有与图11所示不同的配置。
应当注意到的是上述一个或多个处理器1102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到移动设备11(或计算机终端)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1104可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器1102通过运行存储在存储器1104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于自注意力网络的时序行为捕捉框生成方法。存储器1104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1104可进一步包括相对于处理器1102远程设置的存储器，这些远程存储器可以通过网络连接至移动设备11。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端11的通信供应商提供的无线网络。在一个实例中，传输装置1106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与移动设备11(或计算机终端)的用户界面进行交互。
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤和顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或中断产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
本实施例中所示出的结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的设备的限定，具体的设备可以包括比示出的更多或更少的部件，或者组合某些部件，或者具有不同的部件的布置。应当理解到，本实施例中所揭露的方法、装置等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分仅仅为一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元模块的间接耦合或通信连接。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员还可以进一步意识到，结合本说明书所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但这种实现不应认为超出本发明的范围。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种交通标志的定位方法，其特征在于，所述方法包括：
获取前方道路的图像数据和前方道路的雷达点云数据；
将所述图像数据和所述雷达点云数据融合，得到融合图像数据；
所述将所述图像数据和所述雷达点云数据融合，得到融合图像数据包括：
根据预设的转换矩阵，将所述雷达点云数据映射为二维坐标数据；
将所述二维坐标数据与所述图像数据进行融合，得到融合图像数据；
基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；
所述对所述第一位置数据进行空间转换，得到第二位置数据包括：
根据所述第一位置数据，得到交通标志区域信息；
根据所述交通标志区域信息，确定交通标志的二维坐标数据，所述交通标志的二维坐标数据中包括所述雷达点云数据中每个点的编号；
根据所述交通标志的二维坐标数据中每个点的编号，获取对应的雷达点云数据中交通标志的三维坐标数据；
基于预设的聚类分析算法，对所述交通标志的三维坐标数据进行去除干扰点的操作，得到第二位置数据；
根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
2.根据权利要求1所述的一种交通标志的定位方法，其特征在于，所述获取前方道路的图像数据和前方道路的雷达点云数据包括：
获取前方道路的图像数据；
同步获取前方道路的初始雷达点云数据；
对所述初始雷达点云数据中的每一个点进行编号，得到编号后的初始雷达点云数据；
将所述编号后的初始雷达点云数据作为雷达点云数据。
3.根据权利要求1所述的一种交通标志的定位方法，其特征在于，所述交通标志数据包括交通标志信息和第一位置数据，所述交通标志定位识别模型包括区域提取层、卷积层和分类回归层，基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志信息和第一位置数据包括：
基于所述区域提取层中预设的标准候选框，对融合图像数据进行区域提取，得到交通标志候选区域信息；
基于所述卷积层，对所述交通标志候选区域信息进行特征提取，得到交通标志特征信息；
基于所述分类回归层，对所述交通标志特征信息进行分类，得到交通标志信息；
基于所述分类回归层，对所述交通标志特征信息进行边界回归，得到第一位置数据。
4.根据权利要求1所述的一种交通标志的定位方法，其特征在于，所述获取前方道路的图像数据和前方道路的雷达点云数据之前，还包括：
获取多组图像标定信息和多组雷达点云标定信息，所述图像标定信息为固定位置进行采集的标定物体中预定点的二维坐标信息，所述雷达点云标定信息为固定位置进行采集的标定物体中预定点的三维坐标信息；
基于所述多组图像标定信息和所述多组雷达点云标定信息，确定转换矩阵。
5.根据权利要求1所述的一种交通标志的定位方法，其特征在于，所述方法还包括：
获取训练样本集，所述训练样本集是具有标注信息的融合图像数据；
构建初始神经网络模型；
基于所述训练样本集，对所述初始神经网络模型进行训练，得到交通标志定位识别模型；
其中，所述标注信息包括交通标志信息和所述交通标志信息对应的第一位置数据。
6.一种交通标志的定位装置，其特征在于，所述装置包括：数据采集模块、图像融合模块、图像识别模块、位置数据转换模块和空间坐标获取模块；
所述数据采集模块用于获取前方道路的图像数据和前方道路的雷达点云数据；
所述图像融合模块用于将所述图像数据和所述雷达点云数据融合，得到融合图像数据；所述将所述图像数据和所述雷达点云数据融合，得到融合图像数据包括：根据预设的转换矩阵，将所述雷达点云数据映射为二维坐标数据；将所述二维坐标数据与所述图像数据进行融合，得到融合图像数据；
所述图像识别模块用于基于交通标志定位识别模型，对所述融合图像数据进行识别，得到交通标志数据，所述交通标志数据包括第一位置数据，所述第一位置数据表征待定位交通标志在二维空间中的位置数据；
所述位置数据转换模块用于对所述第一位置数据进行空间转换，得到第二位置数据，所述第二位置数据表征所述待定位交通标志在三维空间中的位置数据；所述对所述第一位置数据进行空间转换，得到第二位置数据包括：根据所述第一位置数据，得到交通标志区域信息；根据所述交通标志区域信息，确定交通标志的二维坐标数据，所述交通标志的二维坐标数据中包括所述雷达点云数据中每个点的编号；根据所述交通标志的二维坐标数据中每个点的编号，获取对应的雷达点云数据中交通标志的三维坐标数据；基于预设的聚类分析算法，对所述交通标志的三维坐标数据进行去除干扰点的操作，得到第二位置数据；
所述空间坐标获取模块用于根据所述第二位置数据，确定所述待定位交通标志的空间坐标。
7.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-5任一项所述的一种交通标志的定位方法。
8.一种存储介质，其特征在于，所述存储介质包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1-5任一项所述的一种交通标志的定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310661.XA CN111652050B (zh) | 2020-04-20 | 2020-04-20 | 一种交通标志的定位方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010310661.XA CN111652050B (zh) | 2020-04-20 | 2020-04-20 | 一种交通标志的定位方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652050A CN111652050A (zh) | 2020-09-11 |
| CN111652050B true CN111652050B (zh) | 2024-04-02 |
Family
ID=72349198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010310661.XA Active CN111652050B (zh) | 2020-04-20 | 2020-04-20 | 一种交通标志的定位方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652050B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112487868A (zh) * | 2020-11-04 | 2021-03-12 | 西人马帝言(北京)科技有限公司 | 一种物体识别方法、装置、设备及存储介质 |
| CN112580489A (zh) * | 2020-12-15 | 2021-03-30 | 深兰人工智能(深圳)有限公司 | 交通灯检测方法、装置、电子设备及存储介质 |
| CN112712129B (zh) * | 2021-01-11 | 2024-04-19 | 深圳力维智联技术有限公司 | 多传感器融合方法、装置、设备及存储介质 |
| CN113096395B (zh) * | 2021-03-31 | 2022-03-25 | 武汉理工大学 | 一种基于定位与人工智能识别的道路交通安全评价系统 |
| CN113129590A (zh) * | 2021-04-12 | 2021-07-16 | 武汉理工大学 | 基于车载雷达与图形测量的交通设施信息智能分析方法 |
| CN114694123B (zh) * | 2022-05-30 | 2022-09-27 | 阿里巴巴达摩院(杭州)科技有限公司 | 交通信号灯感知方法、装置、设备及存储介质 |
| CN115159149B (zh) * | 2022-07-28 | 2024-05-24 | 深圳市罗宾汉智能装备有限公司 | 一种基于视觉定位的取料卸货方法及其装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018049998A1 (zh) * | 2016-09-13 | 2018-03-22 | 腾讯科技（深圳）有限公司 | 交通标志牌信息获取方法及装置 |
| CN110163064A (zh) * | 2018-11-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
-
2020
- 2020-04-20 CN CN202010310661.XA patent/CN111652050B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018049998A1 (zh) * | 2016-09-13 | 2018-03-22 | 腾讯科技（深圳）有限公司 | 交通标志牌信息获取方法及装置 |
| CN110163064A (zh) * | 2018-11-30 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
| CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于多传感器融合辅助的Alex Net模型图像识别算法;李子月;曾庆化;张庶;刘玉超;刘建业;;中国惯性技术学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652050A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111652050B (zh) | 一种交通标志的定位方法、装置、设备和介质 | |
| CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
| CN106650705B (zh) | 区域标注方法、装置和电子设备 | |
| CN111652940A (zh) | 目标异常识别方法、装置、电子设备及存储介质 | |
| CN108594244B (zh) | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 | |
| CN111190199B (zh) | 定位方法及定位装置、计算机设备和可读存储介质 | |
| CN113378693B (zh) | 生成目标检测系统和检测目标的方法及装置 | |
| CN114612616A (zh) | 建图方法、装置、电子设备和存储介质 | |
| WO2023231991A1 (zh) | 交通信号灯感知方法、装置、设备及存储介质 | |
| CN114639085A (zh) | 交通信号灯识别方法、装置、计算机设备和存储介质 | |
| CN115540894A (zh) | 车辆轨迹规划方法、装置、电子设备和计算机可读介质 | |
| CN112765302B (zh) | 位置信息的处理方法、装置及计算机可读介质 | |
| CN115620264B (zh) | 车辆定位方法、装置、电子设备和计算机可读介质 | |
| CN112417941A (zh) | 注释辅助方法、注释辅助装置以及存储介质 | |
| CN116895060A (zh) | 一种基于场景重建的三维车道线标注方法与装置 | |
| CN116033544A (zh) | 室内停车场定位方法、计算机设备、存储介质及程序产品 | |
| CN109655073B (zh) | 一种在无或弱信号区域中的地图绘制方法、装置及车辆 | |
| CN113874681B (zh) | 点云地图质量的评估方法和系统 | |
| CN112818845A (zh) | 测试方法、目标对象检测方法、行驶控制方法及装置 | |
| WO2021056185A1 (en) | Systems and methods for partially updating high-definition map based on sensor data matching | |
| CN112435291A (zh) | 一种多目标体积测量方法、装置及存储介质 | |
| CN115100426B (zh) | 信息确定方法、装置、电子设备及计算机程序产品 | |
| CN118062016B (zh) | 车辆环境感知方法、设备和存储介质 | |
| CN114627069A (zh) | 车轮触地点的获取方法、存储介质和电子设备 | |
| CN115221356A (zh) | 一种数据标注方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |