CN106560835A - 一种路牌识别方法及装置 - Google Patents

一种路牌识别方法及装置 Download PDF

Info

Publication number
CN106560835A
CN106560835A CN201510642917.6A CN201510642917A CN106560835A CN 106560835 A CN106560835 A CN 106560835A CN 201510642917 A CN201510642917 A CN 201510642917A CN 106560835 A CN106560835 A CN 106560835A
Authority
CN
China
Prior art keywords
guideboard
doubtful
image
laser
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510642917.6A
Other languages
English (en)
Other versions
CN106560835B (zh
Inventor
王奇
陈岳
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Autonavi Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autonavi Software Co Ltd filed Critical Autonavi Software Co Ltd
Priority to CN201510642917.6A priority Critical patent/CN106560835B/zh
Publication of CN106560835A publication Critical patent/CN106560835A/zh
Application granted granted Critical
Publication of CN106560835B publication Critical patent/CN106560835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

本发明公开一种路牌识别方法及装置，包括：接收激光扫描仪和摄像机沿着道路方向采集的激光点和道路图像；对激光点进行聚类，并确定出疑似路牌激光点集合；根据疑似路牌激光点集合中激光点的三维坐标和道路图像的拍摄位置，确定出疑似路牌的道路图像；对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；对道路图像中疑似路牌对应的图像区域进行图像处理，得到疑似路牌的内容；将疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定疑似路牌是否为路牌。采用本发明实施例提供的方案，提高了路牌识别准确度和效率。

Description

一种路牌识别方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及一种路牌识别方法及装置。
背景技术
在汽车辅助驾驶或者无人驾驶研究领域，感知汽车当前所处的环境是汽车实现自动控制的前提。道路上的路牌信息(例如：限速牌)是重要的交通信息，一旦无法准确获知，将会导致汽车违章和安全隐患等问题。准确地识别路牌的内容，可以为导航、汽车辅助驾驶以及无人驾驶等技术提供重要的数据支持，避免违章和安全隐患的问题。
现有的路牌识别方式是在采集车上安装双目摄像机，沿着道路方向通过双目摄像机对道路周围进行图像采集得到道路图像，并通过计算两幅道路图像的位置偏差来获取物体的三维信息以得到疑似路牌，并通过对道路图像进行全图的图像处理来识别出路牌的内容。由于图像的二维特性，单纯利用二维图像进行物体识别，识别精度较低，且双目摄像机在拍摄过程中受拍摄距离影响，距离越远误差越大，即立体视觉受拍摄距离的限制，因此进一步使得三维物体的识别效果较差；另外，现有技术对图像做全图的图像处理，处理的范围较大，时延较长，从路牌识别的效率较低。
发明内容
本发明实施例提供一种路牌识别方法及装置，用以解决现有技术中存在的路牌识别效率和准确性较低的问题。
本发明实施例提供一种路牌识别方法，包括：
接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像；
对扫描得到的激光点进行聚类，并确定出疑似路牌激光点集合；
根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出所述疑似路牌的道路图像；
对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；
对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容；
将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
本发明实施例提供一种路牌识别装置，包括：
采集单元，用于接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像；
聚类单元，用于对扫描得到的激光点进行聚类，并确定出疑似路牌的激光点集合；
道路图像确定单元，用于根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出所述疑似路牌的道路图像；
图像区域确定单元，用于对疑似路牌的激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；
内容识别单元，用于对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容；
路牌确定单元，用于将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
本发明实施例提供的方案，首先，通过激光扫描仪和摄像机沿着道路方向采集激光点和道路图像；再通过激光点和道路图像的位置信息确定出道路周围的疑似路牌对应的激光点集合和道路图像，并对疑似路牌的激光点集合中的激光点进行坐标转换后得到疑似路牌在相应道路图像中的图像区域，从而大致确定出疑似路牌在道路图像上的图像区域，后续仅对该图像区域进行图像处理即可确定出疑似路牌的内容，再将该内容与路牌内容进行匹配即可确定该路牌是否为一个真正的路牌。本方案，一方面，通过激光扫描仪对道路周围进行激光扫描来得到激光点云，并通过对激光点云进行聚类来识别疑似路牌的物体，由于激光扫描仪得到的激光点带有三维坐标，而三维坐标更能反映真实物体的特征，因此采用激光扫描仪来进行物体识别较为准确；另一方面，本方案无需对道路图像做全图的图像处理，只需要对道路图像中与疑似路牌对应的图像区域进行图像处理即可，因此，能够提高路牌识别的速度和效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的路牌识别方法的流程图；
图2为本发明实施例提供的路牌识别装置的结构示意图；
图3为本发明实施例提供的聚类单元的结构示意图。
具体实施方式
为了给出提高路牌识别效率，本发明实施例提供了一种路牌识别方法及装置，以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。
本发明实施例中，路牌识别方法可以应用在导航、汽车辅助驾驶，或者无人驾驶领域。
实施例1：
本发明实施例1提供了一种路牌识别方法，如图1所示，包括：
步骤101、接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像。
本发明实施例中，步骤101的实现方式，具体可以为：将激光扫描仪和摄像机可以安装在同一辆采集车上，采集人员沿着道路方向驾驶采集车，由安装在采集车上的激光扫描仪对道路周围进行激光扫描得到激光点并上传，以及，由安装在采集车上的摄像机对道路周围进行拍摄得到道路图像，并将道路图像及拍摄位置点一并上传。或者，本发明实施例，还可以是，将激光扫描仪和摄像机分别安装在不同的采集车上，采集人员可以是在同一时段或不同时段沿着道路方向驾驶采集车，由安装在采集车上的激光扫描仪对道路周围进行激光扫描得到激光点，以及，由安装在采集车上的摄像机对道路周围进行拍摄得到道路图像，并将道路图像及拍摄位置点一并上传。
激光扫描仪对道路周围进行激光扫描时，激光打到某物体上时会返回激光点，该激光点包括三维信息和反射强度，根据反射强度即可获知物体距离激光扫描仪的距离，结合激光扫描仪的位置信息、接收到的三维信息、物体距离激光扫描仪的距离，即可得到激光点的三维坐标。
优选地，为了提高对路牌识别的准确性，所述激光扫描仪可以是三维激光扫描仪，该三维激光扫描仪可以以一设定的角度方向扫描当前行进道路周围的物体的三维信息，即得到激光点，该激光点带有地理坐标系下的三维坐标。该设定角度方向可以根据实际需要进行灵活设置，以能扫描到路牌为宜，例如，该设定角度方向可以为120°。摄像机的拍摄角度也可以预先设定，以能拍摄到道路周边的路牌为宜。
步骤102、对扫描得到的激光点进行聚类，并确定出疑似路牌激光点集合。
本步骤102中，由于激光扫描仪对道路周围进行扫描得到的激光点中包括道路上的激光点，而道路面的激光点进行聚类没有实际意义，因为道路面激光点识别出的物体是道路而不是路牌，因此，为提高识别疑似路牌的效率，本发明技术方案，不是对所有的激光点进行聚类，而是仅对位于道路面以上的激光点进行聚类，因此前述步骤102可包括以下步骤a-步骤d：
步骤a、根据扫描得到的激光点生成道路面。具体处理方式可如下：
在世界坐标系下，可以选取激光扫描仪的位置点g0(x0，y0，z0)，并且可以将激光扫描仪的位置作为该激光扫描仪所在的采集车的位置，根据g0生成平行于世界坐标系中z轴且方向与z轴相反的直线L，在扫描得到的激光点中选取与直线L距离最近且在z轴上的z值小于z0的点p1(x1，y1，z1)，其中，z1<z0。在扫描得到的其他激光点中选取与p1的距离在预设第一距离范围内的点p2和点p3，例如：第一距离范围的下限值为dmin，上限值为dmax，其中dmax、dmin的取值较小，可以根据实际经验进行灵活设置，本方案并不做严格限定。根据点p1、p2和p3生成平面，将该平面确定为道路面。
步骤b、对位于道路面以上的激光点进行聚类，生成多个激光点集合。
具体实现可如下：从扫描激光点中筛选出z值大于z0的激光点，将筛选出的激光点确定为位于道路面以上的激光点。对激光点进行聚类的方式可采用常规的聚类算法即可实现，本方案并不作严格限定。优选地，可以采用DBCAN聚类方法(其中，DBCAN聚类是一种基于密度的聚类方式，其特点是可以在空间数据中发现任一形状的类)。在对激光点进行聚类，同一个空间对象的激光点聚合成一个激光点集合，激光点集合对应的物体可以是位于道路上或周边的广告牌、电线杆、树、建筑物等。
步骤c、分别将激光点集合对应的激光点投影到道路面和与该道路面垂直的垂直面上，以得到每个激光点集合对应的第一投影区域和第二投影区域。具体实现可如下：将激光点集合中的激光点投影到道路面，形成大量的投影点，将投影点构成的区域确定为激光点集合对应的第一投影区域；同理，将激光点集合中的激光点投影到垂直面，形成大量的投影点，将投影点构成的区域确定为激光点集合对应的第二投影区域。其中与道路面垂直的垂直面，根据以下方式得到：在道路面上取一个激光点，确定通过该激光点并垂直于道路面的直线，过该直线的平面都与该道路面垂直。在过直线的平面中选取一个近似垂直或垂直于道路方向的平面确定为本发明实施例中的垂直面。
步骤d、将激光点集合的第一投影区域和第二投影区域与预设的路牌特征信息进行比较，将第一投影区域和第二投影区域均符合路牌特征信息的激光点集合确定为疑似路牌对应的激光点集合。具体处理方式如下：判断所述激光点集合的第一投影区域对应的长度是否落入路牌特征信息中的长度范围内；以及，判断第一投影区域对应的宽度是否落入路牌特征信息中的宽度范围内；若均是，则判断所述激光点集合对应的第一投影区域符合路牌特征信息；判断所述激光点集合的第二投影区域对应的高度是否落入路牌特征信息中的高度范围内；若是则判断所述激光点集合对应的第二投影区域符合路牌特征信息。
在实际应用中，真正的路牌的边框一般都是较为规则的形状(如圆形、三角形、矩形)且具有一定的厚度，并且还具有一定的高度范围，但是不管哪种类别的路牌，投影到道路面和垂直面的投影区域也为规则的形状，不管路牌是圆形、三角形还是矩形，投影到道路面形成的投影区域为规则形状。优选地，为进一步提高对疑似路牌激光点集合判定的效率。本方案在执行步骤d之前，还可以通过以下方式将明显不是路牌的激光点集合排除掉：将第一投影区域和/或第二投影区域为非规则几何形状的激光点集合排除掉，针对保留的激光点集合执行前述步骤d。
步骤d中，具体的实施例为：路牌特征信息中的宽度范围根据实际存在的路牌的厚度来设定，如可以选取所有类别的路牌中厚度最小的值作为宽度范围的下限值，以及选取所有类别的路牌中厚度最大的值作为宽度范围的上限值。同理，路牌特征信息中的长度范围根据实际存在的路牌正面的外接矩形框的长度来设定，如可以选取所有类别的路牌中正面的外接矩形框中长度最短的值作为长度范围的下限值，以及选取所有类别的路牌中正面的外接矩形框中长度最长的值作为长度范围的上限值。同理，路牌特征信息中的高范围根据实际存在的路牌的高度来设定，如可以选取所有类别的路牌中高度最低的值作为高度范围的下限值，以及选取所有类别的路牌中高度最大的值作为高度范围的上限值。
步骤103、根据疑似路牌激光点集合中激光点的三维坐标和道路图像的拍摄位置，确定出疑似路牌的道路图像。
步骤103中，具体实现可如下：根据疑似路牌激光点集合中的激光点的三维坐标，计算激光点集合的中心位置点，例如：可以激光点集合中各激光点的x值的平均值，y值的平均值和z值的平均值作为中心位置点的x，y和z值；分别计算各道路图像的拍摄位置与该中心位置点之间的距离；将距离位于预置第二距离范围内的道路图像确定为疑似路牌的道路图像，其中，第二距离范围可以根据实际经验和需要进行灵活设置，如10～50米，本方案并不做严格限定。步骤104、通过坐标变换，对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域。
本步骤104中，通过坐标变换对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，具体实现可如下：首先，通过世界坐标系和相机坐标系之间的转换关系，可以得到疑似路牌激光点集合中各个激光点在在相机坐标系中的坐标；其次，通过相机坐标系和图像坐标系之间的转换关系，可以得到疑似路牌激光点集合中各个激光点在相机坐标系中的坐标在疑似路牌的道路图像中对应的像素点坐标，具体处理方式可如下：
首先，确定世界坐标系与相机坐标系之间的转换矩阵R，具体采用如下公式确定：
R＝Rx(roll)*Ry(pitch)*Rz(yaw)；
其中，roll，pitch，yaw分别为相机坐标系相对于世界坐标系绕x、y、z轴的旋转角度，Rx(roll)表示相机坐标系绕x轴旋转roll形成的矩阵，Ry(pitch)表示相机坐标系绕y轴旋转pitch形成的矩阵，Rz(yaw)表示相机坐标系绕z轴旋转yaw形成的矩阵。相机坐标系的原点在世界坐标系中的坐标(Xcam，Ycam，Zcam)已知，以一世界坐标系中的点A为例，得到点A在相机坐标系中对应的坐标为Pc，以及该坐标Pc在道路图像上对应的像素点坐标为P，从而得到点A在道路图像上的像素点坐标P。具体原理如下：
采用如下公式确定世界坐标系中的点A(X，Y，Z)在相机坐标系中对应的点pc(xc,yc,zc)：
根据以下公式得到Pc在道路图像上对应的像素点坐标为P(x0，y0)：
x0＝fx*(xc/zc)+cx
y0＝fy*(yc/zc)+cy
其中，cx和cy分别为图像坐标系x轴和y轴对相机光轴的偏移量，fx和fy为相机的物理焦距。cx、cy、fx和fy为相机的内参数，是预先对相机进行标定得到的，可以通过现有的棋盘标定法，从不同角度拍摄一张打印好的棋盘板，求解得到相机的内参数，具体标定过程在此不再赘述。
步骤105、对道路图像中疑似路牌对应的图像区域进行图像处理，得到疑似路牌的内容。
本步骤105中，对疑似路牌对应的图像区域可以通过灰度化处理、边缘检测、字符和图像提取等处理方式，得到疑似路牌的内容，具体处理方式与现有技术相同，在此不再进行详细描述。
步骤106、将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
本发明实施例中提供的路牌识别方法可以是对某一特定类别的路牌(如限速牌)进行识别，也可以是针对各种类别的路牌，如道路交通中的各种类别的路牌，如危险标志、道路方向标志、警告标志、禁令标志等。本方案对路牌的类别不做严格的限定。
本发明实施例中，若当前述步骤103确定出所述疑似路牌的道路图像为N个(N大于等于2)时，前述步骤104中，即针对疑似路牌的每一个道路图像，均需要对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域，依此得到N个图像区域。
相应的，步骤105中会得到疑似路牌的N个内容。
相应的，步骤106具体实现可如下：将对道路图像中所述疑似路牌对应的图像区域进行图像处理得到的内容，分别与预置的路牌内容进行匹配，并记录匹配成功的内容；当匹配成功的内容均一致，且匹配成功的内容的数量与所述疑似路牌的道路图像数量的比例值大于等于预置的比例阈值时，则确定所述疑似路牌为路牌，并将匹配成功的内容作为所述路牌的内容。例如，疑似路牌对应N个图像道路，得到N个内容，其中有M个内容与路牌内容匹配成功，且这M个内容完全相同，若M/N大于等于预置的比例阈值k(k可以位于40％-70％的任意一个值。具体的可灵活设置，本方案不做严格限定)，则认为该识别结果是可信度较高的，此时能够确认该疑似路牌即为一个真正的路牌。相反，如果识别出的N个内容均不与路牌内容匹配，则认为该疑似路牌不是路牌；或者，如果识别出的M个内容与路牌内容匹配成功，但是内容不完全一致，则认为该疑似路牌不是路牌；再或者，识别出的与路牌内容匹配成功的M个内容完全一致，但是M/N小于比例阈值，则认为该疑似路牌不是路牌。
一般情况下路牌可以仅由字符组成，也可以仅由图像组成，还可以是由文字和字符组成，因此，路牌内容包括字符和图像，因此，前述步骤105，具体实现如下：对所述道路图像中所述疑似路牌对应的图像区域进行字符和图像提取，得到所述疑似路牌对应的字符和/或图像。此时，步骤106，具体实现如下：将所述疑似路牌对应的字符和/或图像，与预置的路牌标准模板库中存储的字符和图像进行匹配，在匹配成功时确定所述疑似路牌的内容与预置的路牌内容匹配成功。其中，可以通过相似度来衡量疑似路牌的内容与路牌标准模板库中存储的字符和图像是否匹配成功，当相似度大于等于设定相似度阈值，确定匹配成功，若相似度小于相似度预置则确定匹配失败。本发明实施例中，预置的路牌标准模板库中存储有大量的真正路牌对应的字符和/或图像信息，如真正路牌A仅包括字符，则在路牌标准模板库中存储该路牌及字符的对应关系；如真正路牌B仅包括图像，则在路牌标准模板库中存储该路牌及图像的对应关系；如真正路牌C包括图像和字符，则在路牌标准模板库中存储该路牌及图像和字符的对应关系。
通过本发明实施例1提供的上述方法，一方面，通过激光扫描仪对道路周围进行激光扫描来得到激光点云，并通过对激光点云进行聚类来识别疑似路牌的物体，由于激光扫描仪得到的激光点带有三维坐标，而三维坐标更能反映真实物体的特征，因此采用激光扫描仪来进行物体识别较为准确；另一方面，本方案无需对道路图像做全图的图像处理，只需要对道路图像中与疑似路牌对应的图像区域进行图像处理即可，因此，能够提高路牌识别的速度和效率。
实施例2：
基于同一发明构思，根据本发明上述实施例提供的路牌识别方法，相应地，本发明实施例2还提供了一种路牌识别方法装置，其结构示意图如图2所示，具体包括：
采集单元201，用于接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像；
聚类单元202，用于对扫描得到的激光点进行聚类，并确定出疑似路牌的激光点集合；
道路图像确定单元203，用于根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出所述疑似路牌的道路图像；
图像区域确定单元204，用于对疑似路牌的激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；
内容识别单元205，用于对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容；
路牌确定单元206，用于将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
进一步的，聚类单元202的结构如图3所示，具体包括：
道路面生成子单元301，用于根据扫描得到的激光点生成道路面；
聚类子单元302，用于对位于道路面以上的激光点进行聚类，生成多个激光点集合；
投影区域生成子单元303，用于分别将激光点集合对应的激光点投影到所述道路面和与该道路面垂直的垂直面上，以得到每个激光点集合对应的第一投影区域和第二投影区域；
比较子单元304，用于将激光点集合的第一投影区域和第二投影区域与预设的路牌特征信息进行比较；
确定子单元305，用于将第一投影区域和第二投影区域均符合路牌特征信息的激光点集合确定为疑似路牌激光点集合。
进一步的，比较子单元304，具体用于：
判断所述激光点集合的第一投影区域对应的长度是否落入路牌特征信息中的长度范围内；以及，判断第一投影区域对应的宽度是否落入路牌特征信息中的宽度范围内；若均是，则判断所述激光点集合对应的第一投影区域符合路牌特征信息；
判断所述激光点集合的第二投影区域对应的高度是否落入路牌特征信息中的高度范围内；若是则判断所述激光点集合对应的第二投影区域符合路牌特征信息。
进一步的，道路面生成子单元301，具体用于：
选取激光扫描仪的位置点g0(x0，y0，z0)，根据g0生成平行于世界坐标系中z轴且方向与z轴相反的直线L；
从扫描得到的激光点中选取与直线L距离最近的点p1(x1，y1，z1)，其中z1<z0；
从扫描得到的其他激光点中选取与p1的距离在预置第一距离范围内的点p2和p3；
根据点p1、p2和p3生成平面，将该平面确定为道路面。
进一步的，道路图像确定单元203，具体用于：
根据疑似路牌激光点集合中的激光点的三维坐标，计算激光点集合的中心位置点；
分别计算各道路图像的拍摄位置与所述中心位置点之间的距离；
将距离位于预置第二距离范围内的道路图像确定所述疑似路牌的道路图像。
进一步的，当道路图像确定单元确定出所述疑似路牌的道路图像为至少两个时，所述路牌确定单元206，具体用于：
将所述内容识别单元对道路图像中所述疑似路牌对应的图像区域进行图像处理得到的内容，分别与预置的路牌内容进行匹配，并记录匹配成功的内容；
当匹配成功的内容均一致，且匹配成功的内容的数量与所述疑似路牌的道路图像数量的比例值大于等于预置的比例阈值时，则确定所述疑似路牌为路牌，并将匹配成功的内容作为所述路牌的内容。
进一步的，所述路牌内容为字符和图像；
所述内容识别单元205，具体用于：对所述道路图像中所述疑似路牌对应的图像区域进行字符和图像提取，得到所述疑似路牌对应的字符和/或图像；
路牌确定单元206将所述疑似路牌的内容与预置的路牌内容进行匹配，具体用于：将所述疑似路牌对应的字符和/或图像，与预置的路牌标准模板库中存储的字符和图像进行匹配，在匹配成功时确定所述疑似路牌的内容与预置的路牌内容匹配成功。
上述各单元的功能可对应于图1所示流程中的相应处理步骤，在此不再赘述。
综上所述，本发明实施例提供的方案，通过激光扫描仪和摄像机沿着道路方向采集激光点和道路图像；再通过激光点和道路图像的位置信息确定出道路周围的疑似路牌对应的激光点集合和道路图像，并对疑似路牌的激光点集合中的激光点进行坐标转换后得到疑似路牌在相应道路图像中的图像区域，从而大致确定出疑似路牌在道路图像上的图像区域，后续仅对该图像区域进行图像处理即可确定出疑似路牌的内容，再将该内容与路牌内容进行匹配即可确定该路牌是否为一个真正的路牌。采用本发明实施例提供的方案，提高了路牌的识别效率。
本申请的实施例所提供的路牌识别装置可通过计算机程序实现。本领域技术人员应该能够理解，上述的模块划分方式仅是众多模块划分方式中的一种，如果划分为其他模块或不划分模块，只要路牌识别装置具有上述功能，都应该在本申请的保护范围之内。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种路牌识别方法，其特征在于，包括：
接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像；
对扫描得到的激光点进行聚类，并确定出疑似路牌激光点集合；
根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出所述疑似路牌的道路图像；
对疑似路牌激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；
对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容；
将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
2.如权利要求1所述的方法，其特征在于，对扫描得到的激光点进行聚类，并确定出疑似路牌激光点集合，具体包括：
根据扫描得到的激光点生成道路面；
对位于道路面以上的激光点进行聚类，生成多个激光点集合；
分别将激光点集合对应的激光点投影到所述道路面和与该道路面垂直的垂直面上，以得到每个激光点集合对应的第一投影区域和第二投影区域；
将激光点集合的第一投影区域和第二投影区域与预设的路牌特征信息进行比较，将第一投影区域和第二投影区域均符合路牌特征信息的激光点集合确定为疑似路牌激光点集合。
3.如权利要求2所述的方法，其特征在于，将激光点集合的第一投影区域和第二投影区域与预设的路牌特征信息进行比较，具体包括：
判断所述激光点集合的第一投影区域对应的长度是否落入路牌特征信息中的长度范围内；以及，判断第一投影区域对应的宽度是否落入路牌特征信息中的宽度范围内；若均是，则判断所述激光点集合对应的第一投影区域符合路牌特征信息；
判断所述激光点集合的第二投影区域对应的高度是否落入路牌特征信息中的高度范围内；若是则判断所述激光点集合对应的第二投影区域符合路牌特征信息。
4.如权利要求2或3所述的方法，其特征在于，根据扫描得到的激光点生成道路面，具体包括：
选取激光扫描仪的位置点g0(x0，y0，z0)，根据g0生成平行于世界坐标系中z轴且方向与z轴相反的直线L；
从扫描得到的激光点中选取与直线L距离最近的点p1(x1，y1，z1)，其中z1<z0；
从扫描得到的其他激光点中选取与p1的距离在预置第一距离范围内的点p2和点p3；
根据点p1、p2和p3生成平面，将该平面确定为道路面。
5.如权利要求1～3任一项所述的方法，其特征在于，根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出与所述疑似路牌的道路图像，具体包括：
根据疑似路牌激光点集合中的激光点的三维坐标，计算激光点集合的中心位置点；
分别计算各道路图像的拍摄位置与所述中心位置点之间的距离；
将距离位于预置第二距离范围内的道路图像确定为所述疑似路牌的道路图像。
6.如权利要求1～3任一项所述的方法，其特征在于，当确定出所述疑似路牌的道路图像为至少两个时，所述将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌，具体包括：
将对道路图像中所述疑似路牌对应的图像区域进行图像处理得到的内容，分别与预置的路牌内容进行匹配，并记录匹配成功的内容；
当匹配成功的内容均一致，且匹配成功的内容的数量与所述疑似路牌的道路图像数量的比例值大于等于预置的比例阈值时，则确定所述疑似路牌为路牌，并将匹配成功的内容作为所述路牌的内容。
7.如权利要求1～3任一项所述的方法，其特征在于，路牌内容包括字符和图像；
所述对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容，具体包括：对所述道路图像中所述疑似路牌对应的图像区域进行字符和图像提取，得到所述疑似路牌对应的字符和/或图像；
将所述疑似路牌的内容与预置的路牌内容进行匹配，具体包括：将所述疑似路牌对应的字符和/或图像，与预置的路牌标准模板库中存储的字符和图像进行匹配，在匹配成功时确定所述疑似路牌的内容与预置的路牌内容匹配成功。
8.一种路牌识别装置，其特征在于，包括：
采集单元，用于接收激光扫描仪和摄像机沿着道路方向，对道路周围进行激光扫描得到激光点和拍摄得到道路图像；
聚类单元，用于对扫描得到的激光点进行聚类，并确定出疑似路牌的激光点集合；
道路图像确定单元，用于根据疑似路牌激光点集合中激光点的三维坐标和所述道路图像的拍摄位置，确定出所述疑似路牌的道路图像；
图像区域确定单元，用于对疑似路牌的激光点集合中激光点的三维坐标进行坐标转换，得到各激光点在疑似路牌的道路图像上的像素点坐标，将该像素点坐标在道路图像上构成的区域确定为疑似路牌对应的图像区域；
内容识别单元，用于对道路图像中所述疑似路牌对应的图像区域进行图像处理，得到所述疑似路牌的内容；
路牌确定单元，用于将所述疑似路牌的内容与预置的路牌内容进行匹配，根据匹配结果确定所述疑似路牌是否为路牌。
9.如权利要求8所述的装置，其特征在于，所述聚类单元，具体包括：
道路面生成子单元，用于根据扫描得到的激光点生成道路面；
聚类子单元，用于对位于道路面以上的激光点进行聚类，生成多个激光点集合；
投影区域生成子单元，用于分别将激光点集合对应的激光点投影到所述道路面和与该道路面垂直的垂直面上，以得到每个激光点集合对应的第一投影区域和第二投影区域；
比较子单元，用于将激光点集合的第一投影区域和第二投影区域与预设的路牌特征信息进行比较；
确定子单元，用于将第一投影区域和第二投影区域均符合路牌特征信息的激光点集合确定为疑似路牌激光点集合。
10.如权利要求9所述的装置，其特征在于，所述比较子单元，具体用于：
判断所述激光点集合的第一投影区域对应的长度是否落入路牌特征信息中的长度范围内；以及，判断第一投影区域对应的宽度是否落入路牌特征信息中的宽度范围内；若均是，则判断所述激光点集合对应的第一投影区域符合路牌特征信息；
判断所述激光点集合的第二投影区域对应的高度是否落入路牌特征信息中的高度范围内；若是则判断所述激光点集合对应的第二投影区域符合路牌特征信息。
11.如权利要求9或10所述的装置，其特征在于，所述道路面生成子单元，具体用于：
选取激光扫描仪的位置点g0(x0，y0，z0)，根据g0生成平行于世界坐标系中z轴且方向与z轴相反的直线L；
从扫描得到的激光点中选取与直线L距离最近的点p1(x1，y1，z1)，其中z1<z0；
从扫描得到的其他激光点中选取与p1的距离在预置第一距离范围内的点p2和p3；
根据点p1、p2和p3生成平面，将该平面确定为道路面。
12.如权利要求8-10任一项所述的装置，其特征在于，道路图像确定单元，具体用于：
根据疑似路牌激光点集合中的激光点的三维坐标，计算激光点集合的中心位置点；
分别计算各道路图像的拍摄位置与所述中心位置点之间的距离；
将距离位于预置第二距离范围内的道路图像确定所述疑似路牌的道路图像。
13.如权利要求8-10任一项所述的装置，其特征在于，当道路图像确定单元确定出所述疑似路牌的道路图像为至少两个时，所述路牌确定单元具体用于：
将所述内容识别单元对道路图像中所述疑似路牌对应的图像区域进行图像处理得到的内容，分别与预置的路牌内容进行匹配，并记录匹配成功的内容；
当匹配成功的内容均一致，且匹配成功的内容的数量与所述疑似路牌的道路图像数量的比例值大于等于预置的比例阈值时，则确定所述疑似路牌为路牌，并将匹配成功的内容作为所述路牌的内容。
14.如权利要求8-10任一项所述的装置，其特征在于，所述路牌内容为字符和图像；
所述内容识别单元，具体用于：对所述道路图像中所述疑似路牌对应的图像区域进行字符和图像提取，得到所述疑似路牌对应的字符和/或图像；
路牌确定单元将所述疑似路牌的内容与预置的路牌内容进行匹配，具体用于：将所述疑似路牌对应的字符和/或图像，与预置的路牌标准模板库中存储的字符和图像进行匹配，在匹配成功时确定所述疑似路牌的内容与预置的路牌内容匹配成功。
CN201510642917.6A 2015-09-30 2015-09-30 一种路牌识别方法及装置 Active CN106560835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510642917.6A CN106560835B (zh) 2015-09-30 2015-09-30 一种路牌识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510642917.6A CN106560835B (zh) 2015-09-30 2015-09-30 一种路牌识别方法及装置

Publications (2)

Publication Number Publication Date
CN106560835A true CN106560835A (zh) 2017-04-12
CN106560835B CN106560835B (zh) 2019-05-24

Family

ID=58485250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510642917.6A Active CN106560835B (zh) 2015-09-30 2015-09-30 一种路牌识别方法及装置

Country Status (1)

Country Link
CN (1) CN106560835B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
WO2018049998A1 (zh) * 2016-09-13 2018-03-22 腾讯科技（深圳）有限公司 交通标志牌信息获取方法及装置
WO2018196000A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Methods and associated systems for grid analysis
CN108846333A (zh) * 2018-05-30 2018-11-20 厦门大学 标志牌地标数据集生成及车辆定位方法
CN109948635A (zh) * 2017-12-21 2019-06-28 北京万集科技股份有限公司 一种基于激光扫描的目标识别方法及装置
CN110135387A (zh) * 2019-05-24 2019-08-16 李子月 一种基于传感器融合的图像快速识别方法
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
CN111860295A (zh) * 2018-09-07 2020-10-30 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN111930877A (zh) * 2020-09-18 2020-11-13 蘑菇车联信息科技有限公司 地图路牌的生成方法及电子设备
WO2021000787A1 (zh) * 2019-07-02 2021-01-07 华为技术有限公司 道路几何识别方法及装置
CN116503821A (zh) * 2023-06-19 2023-07-28 成都经开地理信息勘测设计院有限公司 基于点云数据和图像识别的道路标识识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2113092A1 (en) * 2006-12-18 2009-11-04 Datalogic Scanning Group S.r.l. Aiming device
CN102156866A (zh) * 2011-03-09 2011-08-17 深圳百维达科技有限公司 路牌识别系统及路牌识别方法
CN102364560A (zh) * 2011-10-19 2012-02-29 华南理工大学 一种便于电子识别的交通标牌及其识别方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN104280036A (zh) * 2013-07-05 2015-01-14 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN104463105A (zh) * 2014-11-19 2015-03-25 深圳市腾讯计算机系统有限公司 路牌识别方法及装置
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法
CN104680165A (zh) * 2013-11-27 2015-06-03 富士通株式会社 从场景图像中自动提取路牌图像的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2113092A1 (en) * 2006-12-18 2009-11-04 Datalogic Scanning Group S.r.l. Aiming device
CN102156866A (zh) * 2011-03-09 2011-08-17 深圳百维达科技有限公司 路牌识别系统及路牌识别方法
CN102364560A (zh) * 2011-10-19 2012-02-29 华南理工大学 一种便于电子识别的交通标牌及其识别方法
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
CN104280036A (zh) * 2013-07-05 2015-01-14 北京四维图新科技股份有限公司 一种交通信息的检测与定位方法、装置及电子设备
CN104680165A (zh) * 2013-11-27 2015-06-03 富士通株式会社 从场景图像中自动提取路牌图像的方法和装置
CN104463105A (zh) * 2014-11-19 2015-03-25 深圳市腾讯计算机系统有限公司 路牌识别方法及装置
CN104598885A (zh) * 2015-01-23 2015-05-06 西安理工大学 街景图像中的文字标牌检测与定位方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891500B2 (en) 2016-09-13 2021-01-12 Tencent Technology (Shenzhen) Company Limited Method and apparatus for acquiring traffic sign information
WO2018049998A1 (zh) * 2016-09-13 2018-03-22 腾讯科技（深圳）有限公司 交通标志牌信息获取方法及装置
WO2018196000A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Methods and associated systems for grid analysis
CN107516077A (zh) * 2017-08-17 2017-12-26 武汉大学 基于激光点云和影像数据融合的交通标牌信息提取方法
CN109948635B (zh) * 2017-12-21 2021-04-27 北京万集科技股份有限公司 一种基于激光扫描的目标识别方法及装置
CN109948635A (zh) * 2017-12-21 2019-06-28 北京万集科技股份有限公司 一种基于激光扫描的目标识别方法及装置
CN108846333B (zh) * 2018-05-30 2022-02-18 厦门大学 标志牌地标数据集生成及车辆定位方法
CN108846333A (zh) * 2018-05-30 2018-11-20 厦门大学 标志牌地标数据集生成及车辆定位方法
CN111860295B (zh) * 2018-09-07 2023-08-25 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN111860295A (zh) * 2018-09-07 2020-10-30 百度在线网络技术（北京）有限公司 基于无人车的障碍物检测方法、装置、设备以及存储介质
CN110163064B (zh) * 2018-11-30 2022-04-05 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
CN110163064A (zh) * 2018-11-30 2019-08-23 腾讯科技（深圳）有限公司 一种道路标志物的识别方法、装置及存储介质
CN110135387A (zh) * 2019-05-24 2019-08-16 李子月 一种基于传感器融合的图像快速识别方法
WO2021000787A1 (zh) * 2019-07-02 2021-01-07 华为技术有限公司 道路几何识别方法及装置
CN111930877B (zh) * 2020-09-18 2021-01-05 蘑菇车联信息科技有限公司 地图路牌的生成方法及电子设备
CN111930877A (zh) * 2020-09-18 2020-11-13 蘑菇车联信息科技有限公司 地图路牌的生成方法及电子设备
CN116503821A (zh) * 2023-06-19 2023-07-28 成都经开地理信息勘测设计院有限公司 基于点云数据和图像识别的道路标识识别方法及系统
CN116503821B (zh) * 2023-06-19 2023-08-25 成都经开地理信息勘测设计院有限公司 基于点云数据和图像识别的道路标识识别方法及系统

Also Published As

Publication number Publication date
CN106560835B (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN106560835A (zh) 一种路牌识别方法及装置
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
CN109074668A (zh) 路径导航方法、相关装置及计算机可读存储介质
KR101319471B1 (ko) 부감 화상 생성장치, 부감 화상 생성방법 및 기록매체
CN110148169A (zh) 一种基于ptz云台相机的车辆目标三维信息获取方法
CN110032949A (zh) 一种基于轻量化卷积神经网络的目标检测与定位方法
CN116685873A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN110758243A (zh) 一种车辆行驶过程中的周围环境显示方法和系统
CN110300292A (zh) 投影畸变校正方法、装置、系统及存储介质
AU2007355942A1 (en) Arrangement and method for providing a three dimensional map representation of an area
CN105550688B (zh) 点云数据的分类方法及装置
CN109685855A (zh) 一种道路云监控平台下的摄像机标定优化方法
CN104021588A (zh) 一种实时恢复车辆三维真实模型的系统及方法
CN111932627B (zh) 一种标识物绘制方法及系统
CN110033621A (zh) 一种危险车辆检测方法、装置及系统
CN111476242A (zh) 一种激光点云语义分割方法及装置
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
WO2024016877A1 (zh) 一种面向车路协同的路测感知仿真系统
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及系统
CN113221648A (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN116229224A (zh) 融合感知方法、装置、电子设备及存储介质
CN114119682A (zh) 一种激光点云和图像配准方法及配准系统
CN110059724A (zh) 一种视觉图片样本的获取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200423

Address after: 310012 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 102200, No. 8, No., Changsheng Road, Changping District science and Technology Park, Beijing, China. 1-5

Patentee before: AUTONAVI SOFTWARE Co.,Ltd.

TR01 Transfer of patent right