CN113378735B - 一种道路标识线识别方法、装置、电子设备及存储介质 - Google Patents

一种道路标识线识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113378735B
CN113378735B CN202110678130.0A CN202110678130A CN113378735B CN 113378735 B CN113378735 B CN 113378735B CN 202110678130 A CN202110678130 A CN 202110678130A CN 113378735 B CN113378735 B CN 113378735B
Authority
CN
China
Prior art keywords
road marking
camera
marking line
vehicle
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110678130.0A
Other languages
English (en)
Other versions
CN113378735A (zh
Inventor
吕志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyland Technology Co Ltd
Original Assignee
Kyland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyland Technology Co Ltd filed Critical Kyland Technology Co Ltd
Priority to CN202110678130.0A priority Critical patent/CN113378735B/zh
Publication of CN113378735A publication Critical patent/CN113378735A/zh
Application granted granted Critical
Publication of CN113378735B publication Critical patent/CN113378735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种道路标识线识别方法、装置、电子设备及存储介质,方法包括:获取设定数量的车辆摄像头的摄像头标定关联信息;获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。本发明实施例的技术方案能够提高道路标识线识别的准确性和实时性。

Description

一种道路标识线识别方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及图像识别技术领域,尤其涉及一种道路标识线识别方法、装置、电子设备及存储介质。
背景技术
在车辆行驶的道路上,通常设置有作为行驶划分线的白线、黄线、反光道钉等各种道路标识线。道路标识线可以引导车辆行驶,或规范车辆的行驶区域。施工线是一种典型的道路标识线,图1是现有技术提供的一种施工线示意图,在一个具体的例子中,如图1所示,在工程实施过程中,装载服务器的施工车辆可以按照施工线路行驶施工。为了规范车辆行驶操作,有些场景中,往往需要车辆有效识别道路上的道路标识线,如自动驾驶车辆识别车道线,或施工车辆识别施工线等。
现有技术中,车辆对道路标识线识别的方法通常为:采用一个摄像头获取不同时刻的道路标识线图像,对摄像头获取的图像进行处理,最终确定道路标识线的识别结果。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:单独采用一个摄像头获取的多个图像来识别道路标识线的方式需要对多个不同的图像进行复杂的处理,如按图像拍摄顺序进行图像拼接、合成等,降低了导致道路标识线的识别结果的准确性。同时车辆需要获取不同时刻的多张图像后才能确定道路标识线最终的识别结果,降低了道路标识线的识别结果的实时性。
发明内容
本发明实施例提供一种道路标识线识别方法、装置、电子设备及存储介质,能够提高道路标识线识别的准确性和实时性。
第一方面,本发明实施例提供了一种道路标识线识别方法,包括:
获取设定数量的车辆摄像头的摄像头标定关联信息;
获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;
根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
第二方面,本发明实施例还提供了一种道路标识线识别装置,包括:
摄像头标定关联信息获取模块,用于获取设定数量的车辆摄像头的摄像头标定关联信息;
道路标识线图像识别结果获取模块,用于获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;
道路标识线关联信息确定模块,用于根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的道路标识线识别方法。
第四方面,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所提供的道路标识线识别方法。
本发明实施例通过获取设定数量的车辆摄像头的摄像头标定关联信息以及各车辆摄像头在同一时刻拍摄的道路标识线图像,并对道路标识线图像进行图像识别,得到道路标识线图像识别结果,以根据摄像头标定关联信息和道路标识线图像识别结果确定目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。由于可以采用多个车辆摄像头同时获取某一时刻的道路标识线图像,因此可以根据各摄像头在同一时刻拍摄的多个道路标识线图像识别道路标识线,而无需等待获取其他时刻的道路标识线图像进行道路标识线的识别,解决现有道路标识线识别方法存在的准确率和实时性较低等问题,从而提高道路标识线识别的准确性和实时性。
附图说明
图1是现有技术提供的一种施工线示意图;
图2是本发明实施例一提供的一种道路标识线识别方法的流程图;
图3是本发明实施例二提供的一种道路标识线识别方法的流程图;
图4是本发明实施例二提供的一种标定板的效果示意图;
图5是本发明实施例二提供的一种计算各车辆摄像头的摄像头中心点位置的几何空间示意图;
图6是本发明实施例二提供的一种计算摄像头中心点间距的几何空间示意图;
图7是本发明实施例二提供的一种计算摄像头视线角度的几何空间示意图;
图8是本发明实施例三提供的一种道路标识线识别方法的流程图;
图9是本发明实施例三提供的一种车辆摄像头拍摄到的施工线图像的效果示意图;
图10是本发明实施例三提供的一种图像经过高斯模糊处理后的效果示意图;
图11是本发明实施例三提供的一种图像经过顶帽运算处理后的效果示意图;
图12是本发明实施例三提供的一种图像经过开运算处理后的效果示意图;
图13是本发明实施例三提供的一种图像经过二值化处理后的效果示意图;
图14是本发明实施例三提供的一种施工线边界的效果示意图;
图15是本发明实施例三提供的一种施工线的边界关键点的效果示意图;
图16是本发明实施例三提供的一种施工线的边界关键点拟合后的效果示意图;
图17是本发明实施例四提供的一种道路标识线识别方法的流程图;
图18是本发明实施例四提供的一种计算目标车辆与施工线线之间的距离的几何空间示意图;
图19是本发明实施例四提供的一种计算目标车辆与道路标识线之间的夹角的几何空间示意图;
图20是本发明实施例五提供的一种道路标识线识别装置的示意图;
图21为本发明实施例六提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
实施例一
图2是本发明实施例一提供的一种道路标识线识别方法的流程图,本实施例可适用于更高效、更准确地识别道路标识线的情况,该方法可以由道路标识线识别装置来执行,该装置可以由软件和/或硬件的方式来实现,并一般可集成在电子设备中。该电子设备可以是车辆的车载终端设备或控制器设备等。相应的,如图2所示,该方法包括如下操作:
S110、获取设定数量的车辆摄像头的摄像头标定关联信息。
其中,设定数量可以根据实际需求设定,为了保证道路标识线的准确性和低时延的效果,可选的,设定数量可以为2。也即,车辆摄像头可以包括第一车辆摄像头和第二车辆摄像头。车辆摄像头用于拍摄道路标识线的图像。摄像头标定关联信息可以是车辆摄像头标定相关的信息,如摄像头内参或车辆上安装的两摄像头之间的距离等,只要能够用于道路标识线的识别即可,本发明实施例并不对摄像头标定关联信息的具体信息内容进行限定。摄像头标定关联信息是具有严格几何逻辑关系的数据,数据的准确度较高。
可以理解的是,部分车辆如自动驾驶车辆的车体本身具备摄像头,但部分车辆如施工车辆的车体本身则不具备摄像头。因此,如果车辆本身不具备摄像头,需要在车辆上安装设定数量的车辆摄像头。
示例性的,以施工车辆为例说明,可以在施工车辆的某一指定位置处安装一个垂直杆,然后在垂直杆上的上下两个固定位置处分别安装一个车辆摄像头。可选的,垂直杆可以尽量垂直于地面安装,以保证摄像头标定关联信息的准确性。以自动驾驶车辆为例说明,可以将自动驾驶车辆中位于同一竖直线方向上或属于上下位置关系的两个车载摄像头作为车辆摄像头进行道路标识线的识别。
相应的,车辆上用于处理数据的车载终端或控制器(下文简称车辆数据处理设备)可以获取设定数量的车辆摄像头的摄像头标定关联信息。需要说明的是,可以由车辆数据处理设备根据车辆摄像头的相关数据自行计算摄像头标定关联信息,也可以由其他电子设备根据车辆摄像头的相关数据计算得到摄像头标定关联信息之后,将摄像头标定关联信息发送至车辆数据处理设备,本发明实施例并不对车辆数据处理设备获取摄像头标定关联信息的具体方式进行限定。
S120、获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果。
其中,道路标识线图像也即车辆摄像头对道路标识线进行拍摄得到的图像。道路标识线图像识别结果可以是车辆数据处理设备对道路标识线图像进行识别得到的图像识别结果。
相应的,设定数量的车辆摄像头可以在同一时刻同时对道路标识线进行拍摄,从而得到同一时刻拍摄的多个道路标识线图像,车辆摄像头可以将拍摄得到的道路标识线图像发送至车辆数据处理设备。例如,当设定数量为2时,两个车辆摄像头可以将在同一时刻针对道路标识线拍摄得到的两个道路标识线图像同时发送至车辆数据处理设备。车辆数据处理设备接收到道路标识线图像之后,可以按照既定的图像识别流程进行图像识别处理,从而得到两个道路标识线图像分别对应的道路标识线图像识别结果。
S130、根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
其中,目标车辆也即对道路标识线进行识别的车辆。道路标识线关联信息可以是目标车辆识别到的道路标识线的相关信息,如目标车辆与道路标识线之间的距离以及目标车辆与道路标识线之间的夹角等。
在本发明实施例中,当车辆数据处理设备获取到摄像头标定关联信息和道路标识线图像的道路标识线图像识别结果之后,即可根据摄像头标定关联信息和道路标识线图像识别结果确定道目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。例如,车辆数据处理设备可以根据摄像头标定关联信息和道路标识线图像识别结果计算用于确定目标车辆与道路标识线之间的距离的相关角度信息,并根据角度信息进一步计算目标车辆与道路标识线之间的距离或夹角。
由于目标车辆的车辆数据处理设备获取到的道路标识线图像为各车辆摄像头在同一时刻拍摄的图像,因此车辆数据处理设备无需对道路标识线图像进行拼接、合成等复杂的处理过程,也不需要等待多个不同时刻的图像拍摄时间之后在进行道路标识线的识别,从而提高道路标识线识别的准确性和实时性。同时,由于摄像头标定关联信息是具有严格几何逻辑关系的数据,相对于图像识别数据的准确度更高。因此,在道路标识线图像识别结果的基础上结合摄像头标定关联信息确定道路标识线关联信息,可以进一步保证道路标识线关联信息的准确性。
本发明实施例通过获取设定数量的车辆摄像头的摄像头标定关联信息以及各车辆摄像头在同一时刻拍摄的道路标识线图像,并对道路标识线图像进行图像识别,得到道路标识线图像识别结果,以根据摄像头标定关联信息和道路标识线图像识别结果确定目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。由于可以采用多个车辆摄像头同时获取某一时刻的道路标识线图像,因此可以根据各摄像头在同一时刻拍摄的多个道路标识线图像识别道路标识线,而无需等待获取其他时刻的道路标识线图像进行道路标识线的识别,解决现有道路标识线识别方法存在的准确率和实时性较低等问题,从而提高道路标识线识别的准确性和实时性。
实施例二
图3是本发明实施例二提供的一种道路标识线识别方法的流程图,本实施例以上述实施例为基础进行具体化,在本实施例中,给出了获取设定数量的车辆摄像头的摄像头标定关联信息的多种具体可选的实现方式。可选的,设定数量可以为2,且限定了所有的数据计算由车辆数据处理设备执行。相应的,如图3所示,本实施例的方法可以包括:
S210、获取设定数量的车辆摄像头的摄像头标定关联信息。
其中,所述摄像头标定关联信息包括摄像头内参标定信息和摄像头安装标定信息。
其中,摄像头内参标定信息可以是车辆摄像头的内参标定数据,如内参和畸变系数等,本发明实施例并不对摄像头内参标定信息的具体信息类型进行限定。摄像头安装标定信息可以是车辆摄像头安装标定的相关信息,如摄像头的中心点位置以及各摄像头之间的距离等,本发明实施例同样不对摄像头安装标定信息的具体信息类型进行限定。可以理解的是,摄像头内参标定信息和摄像头安装标定信息可以由车辆数据处理设备独立生成,也可以由其他数据处理设备生成后发送至车辆数据处理设备,本发明实施例对此并不进行限制。
可以理解的是,由于车辆摄像头在完成标定过程后直接用于道路标识线的识别,因此,在对车辆摄像头标定之前,可以首先调整车辆摄像头对准道路标识线,以初步确定各车辆摄像头的拍照位置。
相应的,当摄像头标定关联信息包括摄像头内参标定信息时,S210具体可以包括下述操作:
S211、获取各所述车辆摄像头多角度拍摄的标定板图像信息。
其中,标定板图像信息可以是车辆摄像头对标定板进行拍摄得到的图像。
S212、根据所述标定板图像信息和摄像头内参标定程序计算所述摄像头内参标定信息。
其中,摄像头内参标定程序可以是用于对车辆摄像头的内存进行标定的程序。
在本发明实施例中,在获取车辆摄像头的摄像头内参标定信息之前,可以首先确定两个车辆摄像头安装位置与施工线的大致距离,为车辆摄像头选择适当焦距并对焦,确保在此距离上的目标清晰可见后拧紧焦距和对焦旋钮。然后可以准备一个标定板,并将标定板放置在道路标识线上,并对标定板的放置位置根据摄像头位置进行调整,使得车辆摄像头可以捕获到标定板的图像。图4是本发明实施例二提供的一种标定板的效果示意图。在一个具体的例子中,可以采用如图4所示的黑白相间的正方形格子排列形成的标定板对车辆摄像头进行内参标定。具体的,两车辆摄像头可以调节拍照角度,并分别从各角度拍摄标定板,每个摄像头得到十张以上照片后运行摄像头内参标定程序计算两摄像头内参和畸变系数作为摄像头内参标定信息,并将摄像头内参标定信息进行保存。
其中,摄像头安装标定信息可以包括各所述车辆摄像头之间的摄像头中心点间距和各所述车辆摄像头的摄像头视线角度。
其中,摄像头中心点可以是车辆摄像头的中心位置。考虑到摄像头本身具有一定的体积,而后续的计算过程需要将车辆摄像头定位一个点,才能对车辆摄像头进行测量,因此需要首先确定每个车辆摄像头的中心点作为车辆摄像头抽象的位置。摄像头中心点间距也即各个车辆摄像头中心点之间的间距。摄像头视线角度可以是车辆摄像头画面中心延长线与竖直方向垂直于地面的法线之间的角度。
在车辆摄像头完成内参标定后,即可调整车辆摄像头对准道路标识线,并固定各车辆摄像头的拍照位置,以继续对车辆摄像头的安装信息进行标定。
相应的,当摄像头标定关联信息包括摄像头安装标定信息时,S210具体还可以包括下述操作:
可选的,摄像头安装标定信息可以包括各所述车辆摄像头之间的摄像头中心点间距,具体可以通过下述操作确定:
S213、获取预设数量的标定卡片之间的标定卡片间距以及各所述车辆摄像头的关联标定卡片夹角。
其中,所述标定卡片间距包括第一标定卡片间距和第二标定卡片间距;所述关联标定卡片夹角包括第一关联标定卡片夹角和第二关联标定卡片夹角。
其中,预设数量可以根据需求设定,如3等,本发明实施例并不对预设数量的具体数值进行限定。标定卡片可以用于确定车辆摄像头的安装标定信息。标定卡片间距可以是相邻两个标定卡片之间的间距,可以通过测量获取。关联标定卡片夹角可以是车辆摄像头中心点与各标定卡片之间连线的夹角,可以根据车辆摄像头拍摄的图像和摄像头的内参标定确定。
在本发明实施例中,可选的,可以采用3个标定卡片放置于地面,并利用各车辆摄像头拍摄同时包含三个标定卡片的图像,以根据3个标定卡片计算车辆摄像头的中心点位置,进而根据车辆摄像头的中心点位置计算车辆摄像头之间的摄像头中心点间距。其中,标定卡片可以是具有标识的卡片,如十字形标识或点位标识等,本发明实施例并不对标定卡片采用的标识类型进行限定。具体的,车辆数据处理设备可以获取各个标定卡片之间的标定卡片间距以及各车辆摄像头的关联标定卡片夹角。
S214、根据所述标定卡片间距和所述关联标定卡片夹角计算各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离。
其中,目标标定卡片夹角可以是车辆摄像头中心点与中间的标定卡片之间的线段与地面水平线的夹角。摄像头标定卡片目标距离可以是车辆摄像头中心点与中间的标定卡片之间的线段的长度。
S215、根据各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离计算各所述车辆摄像头之间的摄像头中心点间距。
相应的,车辆数据处理设备可以根据已知的两个标定卡片间距和两个关联标定卡片夹角计算各车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离,以进一步利用几何关系根据各车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离计算各车辆摄像头之间的摄像头中心点间距。
图5是本发明实施例二提供的一种计算各车辆摄像头的摄像头中心点位置的几何空间示意图。在一个具体的例子中,如图5所示,假设两个车辆摄像头的中心点位置分别为A和B。将3个标定卡片放置于地面,各车辆摄像头拍摄同时包括三个标定卡片的图像。P、Q和R三个点为3个标定卡片上标识点,如十字形标识的交点等。以第一车辆摄像头的中心点为A点举例说明,线段AP、AQ和AR分别为中心点与三个标定卡片之间的连线。H1为标定卡片P与标定卡片Q之间的间距,可以称为第一标定卡片间距。H2为标定卡片Q与标定卡片R之间的间距,可以称为第二标定卡片间距。H1和H2的数值为已知量,可以通过测量获得。∠PAQ(也即∠1)可以为第一关联标定卡片夹角,∠QAR(也即∠2)可以为第二关联标定卡片夹角。∠1和∠2可以根据第一车辆摄像头对三个标定卡片同时拍照得到的图像以及第一车辆摄像头的内参确定,也即可以作为已知量。相应的,车辆数据处理设备可以根据H1、H2、∠1和∠2确定目标标定卡片夹角∠AQP和摄像头标定卡片目标距离AQ。同理,∠BQP和BQ也可以采用相同的原理计算。在得到∠AQP和AQ的长度之后,即可进一步根据∠AQP和AQ的长度确定点A的位置。同理,第二车辆摄像头中心点B也可以采用上述方式计算。在得到点A和点B的位置后,可以利用几何关系进一步计算摄像头中心点间距,也即线段AB的距离。
具体的,以点A为例进一步说明:已知H1、H2、∠1和∠2,求∠AQP的大小。另∠AQP为θ,AQ的长度为H,在△APQ中,根据正弦定理可知:
Figure BDA0003121650110000081
根据上述公式可得到求解H的第一公式:
Figure BDA0003121650110000082
同理,在△AQR中,根据正弦定理可知:
Figure BDA0003121650110000083
根据上述公式可得到求解H的第二公式:
Figure BDA0003121650110000084
联立第一公式和第二公式,可以得到:
Figure BDA0003121650110000085
也即:sin(θ-λ)=0,其中:
Figure BDA0003121650110000086
令θ在区间[0,π]上取值,即:
Figure BDA0003121650110000087
相应的,根据上述方法得到∠AQP之后,即可将∠AQP代入至第一公式或第二公式中,得到H也即线段AQ的具体数值。同理,∠BQP和线段BQ的数值也可以采用上述相同的计算流程计算确定。
图6是本发明实施例二提供的一种计算摄像头中心点间距的几何空间示意图。在一个具体的例子中,结合图5和图6所示,在计算得到∠AQP、∠BQP以及线段AQ、线段BQ的长度后,可以进一步利用余弦定理计算摄像头中心点间距也即线段AB的长度。具体的,∠AQB=∠AQP-∠BQP,而AQ和BQ的长度已知,因此,可以根据公式
Figure BDA0003121650110000091
计算得到线段AB的值。
可选的,摄像头安装标定信息还可以包括各所述车辆摄像头的摄像头视线角度,具体可以通过下述操作确定:
S216、确定各所述车辆摄像头的摄像头视线与地面的视线交点。
其中,摄像头视线可以是车辆摄像头画面中心延长线。视线交点也即各车辆摄像头的摄像头视线与地面的交点。
在本发明实施例中,在计算各车辆摄像头的摄像头视线角度之前,可以首先确定各车辆摄像头的摄像头视线与地面的视线交点。可选的,各车辆摄像头的摄像头视线与地面的视线交点可以为一个相同的视线交点。
可以理解的是,以施工线作为道路标识线为例说明,在对摄像头进行安装标定的过程中,在地面放置标定卡片时,可以将标定卡片放置在施工线上,以使各车辆摄像头可以固定摄像头视线角度进行各种标定过程。在各车辆摄像头固定摄像头视线角度之后,可以从各自的摄像头视线角度拍摄施工线。
S217、根据各摄像头中心点与所述视线交点构成的第一线段、第二线段和摄像头中心点间距对应的第三线段计算各所述车辆摄像头的摄像头视线角度。
其中,第一线段可以第一车辆摄像头与视线交点构成的线段。第二线段可以第二车辆摄像头与视线交点构成的线段。第三线段可以是第一车辆摄像头的摄像头中心点与第二车辆摄像头的摄像头中心点之间构成的线段。
相应的,在确定各车辆摄像头的摄像头视线与地面的视线交点之后,即可根据各摄像头中心点与视线交点构成的第一线段、第二线段和各摄像头中心点构成的第三线段计算各车辆摄像头的摄像头视线角度。
图7是本发明实施例二提供的一种计算摄像头视线角度的几何空间示意图。在一个具体的例子中,以施工线作为道路标识线为例继续说明,如图7所示,假设各车辆摄像头的摄像头视线与地面的视线交点为L,L也是施工线上的一点。可以理解的是,通常情况下施工线等道路标识线具有一定的宽度。因此,在后续的计算过程中,可以考虑道路标识线的两条边界分别计算。假设L是施工线上边界的一点。高处的摄像头中心位置A和低处的摄像头中心位置B的连线与地面相交于点D。可以近似认为AD垂直于地面。因此,在安装车辆摄像头时,尽量确定两个摄像头的连线垂直于地面,以确保后续计算的准确度。此时,按照上述标定过程可以计算得到第一线段AL、第二线段BL和第三线段AB的长度。相应的,第一车辆摄像头的摄像头视线角度∠LAB可以通过余弦定理求解:
Figure BDA0003121650110000092
同时,根据余弦定理可以计算得到∠ABL的值:
Figure BDA0003121650110000093
相应的,第二车辆摄像头的摄像头视线角度∠DBL=180°-∠ABL。
S220、获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果。
S230、根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息。
需要说明的是,图3仅是一种实现方式的示意图,步骤S211-S212和步骤S213-S217之间并没有先后顺序关系,可以先实施步骤S211-S212,再实施步骤S213-S217,也可以先实施步骤S213-S217,再实施步骤S211-S212,还可以两者并行实施。
采用上述技术方案,通过计算具有严格几何逻辑关系的摄像头标定关联信息,以在道路标识线图像识别结果的基础上结合摄像头标定关联信息确定道路标识线关联信息,无需等待获取其他时刻的道路标识线图像并对各个图像进行拼接、合成等复杂处理过程进行道路标识线的识别,避免因多图像的复杂处理过程导致道路标识线的识别结果的准确性和实时性较低等问题,可以进一步保证道路标识线关联信息的准确性和实时性。
实施例三
图8是本发明实施例三提供的一种道路标识线识别方法的流程图,本实施例以上述实施例为基础进行具体化,在本实施例中,给出了对所述道路标识线图像进行图像识别的多种具体可选的实现方式。可选的,设定数量可以为2,且限定了所有的数据计算由车辆数据处理设备执行。相应的,如图8所示,本实施例的方法可以包括:
S310、获取设定数量的车辆摄像头的摄像头标定关联信息。
S320、获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像。
S330、对所述道路标识线图像转换为灰度图。
本实施例以施工线作为道路标识线为例具体说明图像识别处理的各个过程。在该应用场景中,道路标识线图像也即施工线图像,道路标识线边界也即施工线边界,道路标识线图像识别结果也即施工线图像识别结果。
可以理解的是,实际车辆摄像头拍摄的施工线在图像中应该是横的。图9是本发明实施例三提供的一种车辆摄像头拍摄到的施工线图像的效果示意图。如图9所示,上方横向分布的白色线条即可为车辆摄像头拍摄到的施工线。当车辆摄像头的数量为2个时,两个车辆摄像头可以分别在同一时刻拍摄到两个施工线图像。
相应的,车辆摄像头拍摄到的施工线图像是彩色的,为了便于计算处理,在得到施工线图像之后,车辆数据处理设备可以将施工线图像转换为灰度图。
S340、对所述灰度图进行图像预处理,得到预处理道路标识线图像;其中,所述图像预处理包括高斯模糊处理、顶帽运算处理、开运算处理和二值化处理。
相应的,在图像识别过程中,车辆数据处理设备可以对灰度图进行高斯模糊处理、顶帽运算处理、开运算处理和二值化处理等处理过程。
图10是本发明实施例三提供的一种图像经过高斯模糊处理后的效果示意图。如图10所示,高斯模糊处理可以降低灰度图片噪点和路面上小白点的影响,便于后续提取施工线。考虑到施工线是水平的,所以主要在水平方向上进行模糊,竖直方向上模糊力度不能太大,否则会难以有效识别施工线边界。可选的,高斯模糊处理使用的高斯核大小可以为21x21,水平方向标准差为11,竖直方向为2。
图11是本发明实施例三提供的一种图像经过顶帽运算处理后的效果示意图。如图11所示,在高斯模糊处理得到图像后,可以利用顶帽运行对图像进一步预处理。顶帽运算能够突出图像中与周围区域更亮的区域,消除因光照不均匀造成的影响。施工线是需要与竖直方向的像素比较,所以顶帽核高度应该大一些,宽度小一些才能更好突出水平方向上较白的线。可选的,顶帽运算核高度可以取21像素,宽度可以取3像素。
图12是本发明实施例三提供的一种图像经过开运算处理后的效果示意图。如图12所示,在顶帽运算处理得到图像后,可以利用开运算对图像进一步预处理。开运算可以消除图像中的一些小物体。由于施工线是水平方向上的一条连线,因此相比其他物体水平方向占的空间较大。开运算的核设置水平方向上的检查范围大一些就可以去掉很大一部分噪声。可选的,开运算核宽度可以取41像素,高度可以取3像素。
可选的,可以使用findContours函数(用于检测出物体的轮廓)来查找施工线的上下边界,但findContours函数查找的是黑色与非黑色的部分的交界,现在得到的图像还有很多灰色的部分。因此,在开运算处理得到图像后,可以对图像进一步进行二值化处理。图13是本发明实施例三提供的一种图像经过二值化处理后的效果示意图。如图13所示,二值化处理可以将图像中的所有像素装换为黑白两种像素。可选的,用于进行二值化的像素阈值可以取10,以达到较好的二值化效果。
S350、根据所述预处理道路标识线图像确定道路标识线边界;其中,所述道路标识线边界包括第一道路标识线边界和第二道路标识线边界。
其中,第一道路标识线边界可以是道路标识线的上边界,第二道路标识线边界可以是道路标识线的下边界。以施工线为例说明,第一道路标识线边界可以是施工线的上边界,第二道路标识线边界可以是施工线的下边界。
可以理解的是,在实际图像处理过程中,仅需要查找施工线的外层边界。可选的,可以采用多种方式查找施工线的边界。例如,可以选择RETR_EXTERNAL(一种轮廓提取方法)。使用CHAIN_APPROX_SIMPLE(压缩横、竖和对角方向的点)方法减少边界关键点,以保证后续计算速度。此时可能得到上百条边界,可以理解的是,施工线的边界明显要其他白斑的边界更长,所以可以对边界线进行简单筛选,只保留长度最长的边界,并将最长边界作为施工线的边界。图14是本发明实施例三提供的一种施工线边界的效果示意图。如图14所示,通过上述方法可以准确定位施工线的上下两个边界。
S360、确定所述道路标识线边界的边界关键点,并对所述边界关键点进行拟合,得到所述道路标识线图像识别结果。
其中,边界关键点可以是道路标识线边界上的一些关键点。以施工线为例说明,边界关键点可以是施工线边界上的一些关键点。
在得到施工线边界之后,可以对施工线进行拟合得到最终的施工线图像识别结果。但是考虑到施工线边界的关键点往往分布很不均匀。所以可以首先对施工线边界提取边界关键点。图15是本发明实施例三提供的一种施工线的边界关键点的效果示意图。如图15所示,可以按照关键点左右跨度将施工线平均分成50个竖条,每一条再找中间的竖线和施工线边界的上下交点作为后续计算拟合的边界关键点,上边界和下边界的交点需要分开存储。
相应的,在得到边界关键点后,可以利用边界关键点进行拟合得到最终的施工线图像识别结果。可选的,可以将采集到的边界关键点输入至OpenCV中,为了降低拟合误差,可以使用抛物线拟合的方式对边界关键点进行拟合,其最终的拟合效果如图16所示。
S370、根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息。
本发明实施例通过获取设定数量的车辆摄像头的摄像头标定关联信息以及各车辆摄像头在同一时刻拍摄的道路标识线图像,并对道路标识线图像进行图像识别,得到道路标识线图像识别结果,以根据摄像头标定关联信息和道路标识线图像识别结果确定目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。由于可以采用多个车辆摄像头同时获取某一时刻的道路标识线图像,因此可以根据各摄像头在同一时刻拍摄的多个道路标识线图像识别道路标识线,而无需等待获取其他时刻的道路标识线图像进行道路标识线的识别,解决现有道路标识线识别方法存在的准确率和实时性较低等问题,从而提高道路标识线识别的准确性和实时性。
实施例四
图17是本发明实施例四提供的一种道路标识线识别方法的流程图,本实施例以上述实施例为基础进行具体化,在本实施例中,给出了确定道路标识线关联信息的多种具体可选的实现方式。可选的,设定数量可以为2,且限定了所有的数据计算由车辆数据处理设备执行。相应的,如图17所示,本实施例的方法可以包括:
S410、获取设定数量的车辆摄像头的摄像头标定关联信息。
S420、获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果。
S430、根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定目标车辆与道路标识线之间的距离。
相应的,S430具体可以包括下述操作:
S431、根据摄像头内参标定信息、所述道路标识线图像识别结果确定目标道路标识线边界与目标车辆摄像头视线之间的像素差值。
其中,目标道路标识线边界可以是道路标识线中的其中一个边界。目标车辆摄像头视线可以是第一车辆摄像头的车辆摄像头视线或第二车辆摄像头的车辆摄像头视线,本发明实施例对此并不进行限制。像素差值可以是道路标识线图像中道路标识线边界与目标车辆摄像头视线之间在竖直方向相差的像素数量。
在本发明实施例中,确定目标车辆与道路标识线之间的距离之前,首先需要根据摄像头内参标定信息确定车辆摄像头视线在道路标识线图像中的坐标信息,然后根据道路标识线图像识别结果确定目标道路标识线边界基准点的坐标信息,进而根据两个坐标信息计算像素差值。
可以理解的是,由于道路标识线边界和车辆摄像头的数量均为2。因此,像素差值可以包括四种类型:第一道路标识线边界与第一车辆摄像头视线之间的第一像素差值、第一道路标识线边界与第二车辆摄像头视线之间的第二像素差值、第二道路标识线边界与第一车辆摄像头视线之间的第三像素差值,以及第二道路标识线边界与第二车辆摄像头视线之间的第四像素差值。可选的,可以将道路标识线图像的水平方向的中垂线与道路标识线边界之间的交点作为基准点计算像素差值。
S432、根据所述摄像头标定关联信息中包括的摄像头视线角度和所述像素差值确定目标定位角度。
其中,所述目标定位角度包括第一车辆摄像头对应的第一目标定位角度和第二车辆摄像头对应的第二目标定位角度。
其中,目标定位角度也即各车辆摄像头观察道路标识线时的光路与设定坐标系的横坐标轴的夹角,可以用于计算目标车辆与道路标识线之间的距离。
相应的,在得到像素差值之后,即可根据摄像头标定关联信息中包括的摄像头视线角度和像素差值确定目标定位角度。
可选的,由于车辆摄像头的数量为2个,因此,目标定位角度可以包括第一车辆摄像头对应的第一目标定位角度和第二车辆摄像头对应的第二目标定位角度。
S433、根据所述目标定位角度计算所述目标车辆与第一道路标识线边界之间的第一距离,以及所述目标车辆与第二道路标识线边界之间的第二距离。
其中,第一距离可以是目标车辆与第一道路标识线边界之间的距离,第二距离可以是目标车辆与第二道路标识线边界之间的距离。
相应的,在得到目标定位角度之后,即可根据目标定位角度计算目标车辆与第一道路标识线边界之间的第一距离,以及目标车辆与第二道路标识线边界之间的第二距离。
S434、根据所述第一距离和所述第二距离计算所述目标车辆与所述道路标识线之间的距离。
最终可以根据目标车辆与第一道路标识线边界之间的第一距离,以及目标车辆与第二道路标识线边界之间的第二距离计算目标车辆与道路标识线之间的距离。
示例性的,可以对第一距离和第二距离取平均计算得到一个平均距离。可以理解的是,该平均距离具体为道路标识线与车辆摄像头垂直地面的直线之间的距离。如果车辆摄像头没有安装在车体上,而是安装在车辆的垂直杆上,则需要测量垂直杆与车辆之间的固定间距,然后在得到的平均距离的基础上加上固定间距的和值即为目标车辆与道路标识线之间的距离。
可以理解的是,由于道路标识线存在两条边界。因此,针对两条边界需要独立计算,且两条边界的计算原理和计算过程相同。下面,以施工线和施工车辆为具体应用场景进行示例性说明。
首先,可以根据施工线图像识别结果确定施工线图像中施工线的两个边界与两个车辆摄像头视线之间在竖直方向相差的像素差值,具体为:施工线上边界与第一车辆摄像头视线之间的第一像素差值、施工线上边界与第二车辆摄像头视线之间的第二像素差值、施工线下边界与第一车辆摄像头视线之间的第三像素差值,以及施工线下边界与第二车辆摄像头视线之间的第四像素差值。
具体的,以第一车辆摄像头为例说明:可以获取第一车辆摄像头拍摄施工线得到的施工线图像,然后以施工线图像的水平方向的中垂线与施工线上边界的交点作为第一基准点,以施工线图像的水平方向的中垂线与施工线下边界的交点作为第二基准点。进一步的,确定第一基准点的第一坐标信息和第二基准点的第二坐标信息。同时,可以根据摄像头内参标定信息确定第一车辆摄像头在施工线图像中对应的第三坐标。计算第一坐标信息与第三坐标信息之间的像素差值作为第一像素差值,计算第二坐标信息与第三坐标信息之间的像素差值作为第三像素差值。同理,可以根据第二车辆摄像头计算得到第二像素差值和第四像素差值。
相应的,在得到像素差值之后,可以根据摄像头标定关联信息中包括的摄像头视线角度和像素差值确定第一目标定位角度和第二目标定位角度。
图18是本发明实施例四提供的一种计算目标车辆与施工线线之间的距离的几何空间示意图。在一个具体的例子中,如图18所示,在平面ABL中,以A为原点,AB方向为y轴,过A点垂直于直线AB且朝向施工线一侧为x轴建立直角坐标系。L为施工线所在位置,第一目标定位角度α为第一车辆摄像头观察施工线时的光路与x轴夹角,第二目标定位角度β为第二车辆摄像头观察施工线时的光路与x轴夹角。如图18所示,假设L为施工线上边界,其坐标为(x,y)有直线AL:y=x*tanα;直线BL:y=x*tanβ+AB。也即,L的坐标满足方程:
x*tanα-y=0
x*tanβ-y=AB
也即:
Figure BDA0003121650110000141
进一步得到:
Figure BDA0003121650110000142
相应的,可以根据L点的坐标值计算线段DL的长度:
Figure BDA0003121650110000143
其中,上述线段DL的长度为施工线上边界与目标车辆之间的第一距离。同时,可以根据上述同样的计算流程计算施工线下边界与目标车辆之间的第二距离。进一步计算第一距离与第二距离之间的平均值作为目标车辆与施工线(中心线)之间的距离DL’。
相应的,如果确定车辆摄像头为车体上的摄像头,则可以直接将DL’作为目标车辆与施工线之间的距离。但在施工线识别场景中,车辆摄像头与目标车辆之间有一定的间距D’,因此,目标车辆与道路标识线之间的距离具体为:DL’与D’的和值。
S440、根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定目标车辆与道路标识线之间的夹角。
S441、根据所述摄像头标定关联信息确定目标车辆摄像头的目标关联角度的目标关联正弦值。
其中,目标车辆摄像头可以第一车辆摄像头和/或第二车辆摄像头。也即,目标车辆摄像头可以是任意一个车辆摄像头,也可以是多个车辆摄像头。目标关联角度可以用于辅助计算目标车辆与道路标识线之间的夹角。可选的,目标关联角度可以根据车辆摄像头的摄像头视线角度计算。目标关联正弦值可以是目标关联角度的正弦值。
S442、根据所述目标车辆摄像头的道路标识线图像识别结果确定道路标识线斜率作为关联正切值。
其中,所述关联正切值包括第一关联正切值和第二关联正切值。
其中,道路标识线斜率可以根据车辆摄像头的道路标识线图像识别结果确定。第一关联正切值可以是根据道路标识线上边界确定的道路标识线斜率,第二关联正切值可以是根据道路标识线下边界确定的道路标识线斜率。
S443、根据所述第一关联正切值和所述第二关联正切值确定目标关联正切值。
其中,目标关联正切值可以是根据第一关联正切值和第二关联正切值确定的正切值,可以用于辅助计算目标车辆与道路标识线之间的夹角。
可选的,可以计算第一关联正切值和第二关联正切值的平均值,并将该平均值确定为目标关联正切值。
在本发明实施例中,在确定目标车辆与道路标识线之间的夹角时,可以仅依据其中一个车辆摄像头的相关数据计算,也可以同时依据所有的车辆摄像头计算。可选的,当依据其中一个车辆摄像头的相关数据计算时,选取任意一个车辆摄像头作为目标车辆摄像头。示例性的,以第一车辆摄像头作为目标车辆摄像头为例说明:可以首先根据第一车辆摄像头的摄像头标定关联信息和获取的道路标识线等相关信息确定目标关联角度的目标关联正弦值以及关联正切值。其中,目标关联角度与第一车辆摄像头的摄像头视线角度的和值为90°。因此,可以根据第一车辆摄像头的摄像头视线角度计算得到目标关联角度,进而计算目标关联角度的正弦值作为目标关联正弦值。
进一步的,根据第一车辆摄像头的道路标识线图像识别结果确定道路标识线上边界的道路标识线斜率,以及道路标识线上边界的道路标识线斜率,并将道路标识线上边界的道路标识线斜率作为第一关联正切值,将道路标识线下边界的道路标识线斜率作为第二关联正切值。可选的,可以从道路标识线的边界中选择一个基准点计算道路标识线斜率,该基准点可以是道路标识线图像的水平方向的中垂线与道路标识线边界之间的交点。相应的,在得到第一关联正切值和第二关联正切值之后,可以对第一关联正切值和第二关联正切值取平均计算,将得到的平均值作为目标关联正切值。
可选的,当车辆摄像头的数量为2时,还可以分别计算两个车辆摄像头对应的目标关联正切值,再对两个目标关联正切值进行取平均计算,将得到的平均值作为最终的目标关联正切值,本发明实施例并不对目标关联正切值的计算方式进行限定。
S444、根据所述目标关联正弦值和所述目标关联正切值计算所述目标车辆与道路标识线之间的夹角。
相应的,在得到目标关联正弦值和目标关联正切值之后,即根据立体几何空间关系,利用目标关联正弦值和目标关联正切值计算目标车辆与道路标识线之间的夹角的目标正切值,进而对该夹角的目标正切值进行反正切计算,从而得到目标车辆与道路标识线之间的夹角的具体数值。
在一个具体的例子中,仍以施工线作为道路标识线具体说明。图19是本发明实施例四提供的一种计算目标车辆与道路标识线之间的夹角的几何空间示意图,如图19所示,可以将第一车辆摄像头A作为目标车辆摄像头,相应的,∠ALD即为目标关联角度。可以近似认为线段AD垂直与地面,则可以根据摄像头标定关联信息确定目标车辆摄像头的摄像头视线角度∠LAD,则根据三角形内角和可知:∠ALD=90°-∠LAD。相应的,可以计算sin∠ALD作为目标关联正弦值。如果确定线段AD垂直与地面,则可以直接根据∠LAD计算∠ALD。如果要保证结果的精确性,则可以利用余弦定理计算∠ALD的余弦值。四面体LKMN是一个无限小的四面体。相对应目标车辆摄像头就是一个点,为了便于显示,图19中对四面体LKMN进行了放大处理。四面体LKMN的构建过程具体为:取LN作为地面上的实际施工线,长度无穷小。LM就是过L点且垂直于AL的平面与地面的交线,M点为在地面作NM垂直于LM的垂足。过N做AL的平行线,该平行线与过L点且垂直于AL的平面就交于K点。这样,从目标车辆摄像头的角度来看,K点和N点是重合的,也即KN与AL平行。目标车辆摄像头拍摄的施工线图像中的抛物线切线斜率就是MK/ML。
其中,施工线图像中的抛物线切线斜率可以通过施工线图像计算。具体的,在施工线图像中作水平方向的中垂线,该中垂线与施工线的上下边界之间的交点作为两个基准点,并根据抛物线的拟合结果和基准点的坐标值计算两个基准点的斜率,将两个基准点的斜率分别作为第一关联正切值和第二关联正切值。进一步的,对第一关联正切值和第二关联正切值计算平均值,将平均值作为关联正切值。或者,也还可以同时根据第二车辆摄像头采用上述相同方式计算一个关联正切值,再对两个关联正切值计算平均值,得到最终的关联正切值。
相应的,关联正切值的取值为MK/ML,也即tan∠KLM。而施工线与施工车辆行进方向的夹角也即∠NLM。由图19可知,tan∠NLM=MN/ML。显然:
Figure BDA0003121650110000161
所以,有:
Figure BDA0003121650110000171
最终得到:
Figure BDA0003121650110000172
本发明实施例通过获取设定数量的车辆摄像头的摄像头标定关联信息以及各车辆摄像头在同一时刻拍摄的道路标识线图像,并对道路标识线图像进行图像识别,得到道路标识线图像识别结果,以根据摄像头标定关联信息和道路标识线图像识别结果确定目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。由于可以采用多个车辆摄像头同时获取某一时刻的道路标识线图像,因此可以根据各摄像头在同一时刻拍摄的多个道路标识线图像识别道路标识线,而无需等待获取其他时刻的道路标识线图像进行道路标识线的识别,解决现有道路标识线识别方法存在的准确率和实时性较低等问题,从而提高道路标识线识别的准确性和实时性。
需要说明的是,以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
实施例五
图20是本发明实施例五提供的一种道路标识线识别装置的示意图,如图20所示,所述装置包括:摄像头标定关联信息获取模块510、道路标识线图像识别结果获取模块520以及道路标识线关联信息确定模块530,其中:
摄像头标定关联信息获取模块510,用于获取设定数量的车辆摄像头的摄像头标定关联信息;
道路标识线图像识别结果获取模块520,用于获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;
道路标识线关联信息确定模块530,用于根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
本发明实施例通过获取设定数量的车辆摄像头的摄像头标定关联信息以及各车辆摄像头在同一时刻拍摄的道路标识线图像,并对道路标识线图像进行图像识别,得到道路标识线图像识别结果,以根据摄像头标定关联信息和道路标识线图像识别结果确定目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角等道路标识线关联信息。由于可以采用多个车辆摄像头同时获取某一时刻的道路标识线图像,因此可以根据各摄像头在同一时刻拍摄的多个道路标识线图像识别道路标识线,而无需等待获取其他时刻的道路标识线图像进行道路标识线的识别,解决现有道路标识线识别方法存在的准确率和实时性较低等问题,从而提高道路标识线识别的准确性和实时性。
可选的,所述摄像头标定关联信息包括摄像头内参标定信息;摄像头标定关联信息获取模块510具体用于:获取各所述车辆摄像头多角度拍摄的标定板图像信息;根据所述标定板图像信息和摄像头内参标定程序计算所述摄像头内参标定信息。
可选的,所述摄像头标定关联信息包括摄像头安装标定信息;所述摄像头安装标定信息包括各所述车辆摄像头之间的摄像头中心点间距;摄像头标定关联信息获取模块510具体用于:获取预设数量的标定卡片之间的标定卡片间距以及各所述车辆摄像头的关联标定卡片夹角;其中,所述标定卡片间距包括第一标定卡片间距和第二标定卡片间距;所述关联标定卡片夹角包括第一关联标定卡片夹角和第二关联标定卡片夹角;根据所述标定卡片间距和所述关联标定卡片夹角计算各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离;根据各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离计算各所述车辆摄像头之间的摄像头中心点间距。
可选的,所述摄像头标定关联信息包括摄像头安装标定信息;所述摄像头安装标定信息包括各所述车辆摄像头的摄像头视线角度;摄像头标定关联信息获取模块510具体用于:确定各所述车辆摄像头的摄像头视线与地面的视线交点;根据各摄像头中心点与所述视线交点构成的第一线段、第二线段和摄像头中心点间距对应的第三线段计算各所述车辆摄像头的摄像头视线角度。
可选的,道路标识线图像识别结果获取模块520具体用于:对所述道路标识线图像转换为灰度图;对所述灰度图进行图像预处理,得到预处理道路标识线图像;其中,所述图像预处理包括高斯模糊处理、顶帽运算处理、开运算处理和二值化处理;根据所述预处理道路标识线图像确定道路标识线边界;其中,所述道路标识线边界包括第一道路标识线边界和第二道路标识线边界;确定所述道路标识线边界的边界关键点,并对所述边界关键点进行拟合,得到所述道路标识线图像识别结果。
可选的,道路标识线关联信息确定模块530具体用于:根据摄像头内参标定信息、所述道路标识线图像识别结果确定目标道路标识线边界与目标车辆摄像头视线之间的像素差值;根据所述摄像头标定关联信息中包括的摄像头视线角度和所述像素差值确定目标定位角度;其中,所述目标定位角度包括第一车辆摄像头对应的第一目标定位角度和第二车辆摄像头对应的第二目标定位角度;根据所述目标定位角度计算所述目标车辆与第一道路标识线边界之间的第一距离,以及所述目标车辆与第二道路标识线边界之间的第二距离;根据所述第一距离和所述第二距离计算所述目标车辆与所述道路标识线之间的距离。
可选的,道路标识线关联信息确定模块530具体用于:根据所述摄像头标定关联信息确定目标车辆摄像头的目标关联角度的目标关联正弦值;根据所述目标车辆摄像头的道路标识线图像识别结果确定道路标识线斜率作为关联正切值;其中,所述关联正切值包括第一关联正切值和第二关联正切值;根据所述第一关联正切值和所述第二关联正切值确定目标关联正切值;根据所述目标关联正弦值和所述目标关联正切值计算所述目标车辆与道路标识线之间的夹角。
上述道路标识线识别装置可执行本发明任意实施例所提供的道路标识线识别方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例提供的道路标识线识别方法。
实施例六
图21为本发明实施例六提供的一种电子设备的结构示意图,该电子设备可以是车辆的车载终端设备或控制器设备等车辆数据处理设备。如图21所示,该电子包括处理器60、存储器61、输入装置62和输出装置63;电子设备中处理器60的数量可以是一个或多个,图21中以一个处理器60为例;电子设备中的处理器60、存储器61、输入装置62和输出装置63可以通过总线或其他方式连接,图21中以通过总线连接为例。
存储器61作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的道路标识线识别方法对应的程序指令/模块(例如,道路标识线识别装置中的摄像头标定关联信息获取模块510、道路标识线图像识别结果获取模块520以及道路标识线关联信息确定模块530)。处理器60通过运行存储在存储器61中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的道路标识线识别方法:获取设定数量的车辆摄像头的摄像头标定关联信息;获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
存储器61可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器61可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器61可进一步包括相对于处理器60远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置62可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置63可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种存储计算机程序的计算机存储介质,所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的道路标识线识别方法:获取设定数量的车辆摄像头的摄像头标定关联信息;获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory,ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory,EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种道路标识线识别方法,其特征在于,包括:
获取设定数量的车辆摄像头的摄像头标定关联信息;
获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;
根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角;
其中,所述摄像头标定关联信息和所述道路标识线图像识别结果确定目标车辆与道路标识线之间的距离,包括:
根据摄像头内参标定信息、所述道路标识线图像识别结果确定目标道路标识线边界与目标车辆摄像头视线之间的像素差值;
根据所述摄像头标定关联信息中包括的摄像头视线角度和所述像素差值确定目标定位角度;其中,所述目标定位角度包括第一车辆摄像头对应的第一目标定位角度和第二车辆摄像头对应的第二目标定位角度;
根据所述目标定位角度计算所述目标车辆与第一道路标识线边界之间的第一距离,以及所述目标车辆与第二道路标识线边界之间的第二距离;
根据所述第一距离和所述第二距离计算所述目标车辆与所述道路标识线之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述摄像头标定关联信息包括摄像头内参标定信息;
所述获取设定数量的车辆摄像头的摄像头标定关联信息,包括:
获取各所述车辆摄像头多角度拍摄的标定板图像信息;
根据所述标定板图像信息和摄像头内参标定程序计算所述摄像头内参标定信息。
3.根据权利要求1或2所述的方法,其特征在于,所述摄像头标定关联信息包括摄像头安装标定信息;所述摄像头安装标定信息包括各所述车辆摄像头之间的摄像头中心点间距;
所述获取设定数量的车辆摄像头的摄像头标定关联信息,包括:
获取预设数量的标定卡片之间的标定卡片间距以及各所述车辆摄像头的关联标定卡片夹角;其中,所述标定卡片间距包括第一标定卡片间距和第二标定卡片间距;所述关联标定卡片夹角包括第一关联标定卡片夹角和第二关联标定卡片夹角;
根据所述标定卡片间距和所述关联标定卡片夹角计算各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离;
根据各所述车辆摄像头的目标标定卡片夹角和摄像头标定卡片目标距离计算各所述车辆摄像头之间的摄像头中心点间距。
4.根据权利要求1或2所述的方法,其特征在于,所述摄像头标定关联信息包括摄像头安装标定信息;所述摄像头安装标定信息包括各所述车辆摄像头的摄像头视线角度;
所述获取设定数量的车辆摄像头的摄像头标定关联信息,包括:
确定各所述车辆摄像头的摄像头视线与地面的视线交点;
根据各摄像头中心点与所述视线交点构成的第一线段、第二线段和摄像头中心点间距对应的第三线段计算各所述车辆摄像头的摄像头视线角度。
5.根据权利要求1所述的方法,其特征在于,所述对所述道路标识线图像进行图像识别,包括:
对所述道路标识线图像转换为灰度图;
对所述灰度图进行图像预处理,得到预处理道路标识线图像;其中,所述图像预处理包括高斯模糊处理、顶帽运算处理、开运算处理和二值化处理;
根据所述预处理道路标识线图像确定道路标识线边界;其中,所述道路标识线边界包括第一道路标识线边界和第二道路标识线边界;
确定所述道路标识线边界的边界关键点,并对所述边界关键点进行拟合,得到所述道路标识线图像识别结果。
6.根据权利要求1所述的方法,其特征在于,根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定目标车辆与道路标识线之间的夹角,包括:
根据所述摄像头标定关联信息确定目标车辆摄像头的目标关联角度的目标关联正弦值;
根据所述目标车辆摄像头的道路标识线图像识别结果确定道路标识线斜率作为关联正切值;其中,所述关联正切值包括第一关联正切值和第二关联正切值;
根据所述第一关联正切值和所述第二关联正切值确定目标关联正切值;
根据所述目标关联正弦值和所述目标关联正切值计算所述目标车辆与道路标识线之间的夹角。
7.一种道路标识线识别装置,其特征在于,包括:
摄像头标定关联信息获取模块,用于获取设定数量的车辆摄像头的摄像头标定关联信息;
道路标识线图像识别结果获取模块,用于获取各所述车辆摄像头在同一时刻拍摄的道路标识线图像,并对所述道路标识线图像进行图像识别,得到道路标识线图像识别结果;
道路标识线关联信息确定模块,用于根据所述摄像头标定关联信息和所述道路标识线图像识别结果确定道路标识线关联信息;其中,所述道路标识线关联信息包括目标车辆与道路标识线之间的距离和/或目标车辆与道路标识线之间的夹角;
其中,道路标识线关联信息确定模块具体用于:根据摄像头内参标定信息、所述道路标识线图像识别结果确定目标道路标识线边界与目标车辆摄像头视线之间的像素差值;根据所述摄像头标定关联信息中包括的摄像头视线角度和所述像素差值确定目标定位角度;其中,所述目标定位角度包括第一车辆摄像头对应的第一目标定位角度和第二车辆摄像头对应的第二目标定位角度;根据所述目标定位角度计算所述目标车辆与第一道路标识线边界之间的第一距离,以及所述目标车辆与第二道路标识线边界之间的第二距离;根据所述第一距离和所述第二距离计算所述目标车辆与所述道路标识线之间的距离。
8.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的道路标识线识别方法。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的道路标识线识别方法。
CN202110678130.0A 2021-06-18 2021-06-18 一种道路标识线识别方法、装置、电子设备及存储介质 Active CN113378735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110678130.0A CN113378735B (zh) 2021-06-18 2021-06-18 一种道路标识线识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110678130.0A CN113378735B (zh) 2021-06-18 2021-06-18 一种道路标识线识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113378735A CN113378735A (zh) 2021-09-10
CN113378735B true CN113378735B (zh) 2023-04-07

Family

ID=77577748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110678130.0A Active CN113378735B (zh) 2021-06-18 2021-06-18 一种道路标识线识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113378735B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200938A1 (zh) * 2018-04-18 2019-10-24 福州大学 一种车辆压线提前预警系统
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
WO2021093420A1 (zh) * 2019-11-12 2021-05-20 深圳创维数字技术有限公司 车辆导航方法、装置及计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819263B (zh) * 2012-07-30 2014-11-05 中国航天科工集团第三研究院第八三五七研究所 多摄像头无人车视觉感知系统
CN105698812B (zh) * 2016-01-15 2019-04-30 武汉光庭科技有限公司 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法
CN106250816A (zh) * 2016-07-19 2016-12-21 武汉依迅电子信息技术有限公司 一种基于双摄像头的车道线识别方法及系统
CN110276807B (zh) * 2019-05-30 2023-09-29 文远知行有限公司 车载摄像头辅助标定方法、装置、设备和介质
CN110443855A (zh) * 2019-08-08 2019-11-12 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN111126276B (zh) * 2019-12-24 2022-09-20 苏州智加科技有限公司 车道线检测方法、装置、计算机设备及存储介质
CN112257539B (zh) * 2020-10-16 2024-06-14 广州大学 车辆与车道线的位置关系检测方法、系统和存储介质
CN112800986B (zh) * 2021-02-02 2021-12-07 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200938A1 (zh) * 2018-04-18 2019-10-24 福州大学 一种车辆压线提前预警系统
WO2020083103A1 (zh) * 2018-10-24 2020-04-30 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
WO2021093420A1 (zh) * 2019-11-12 2021-05-20 深圳创维数字技术有限公司 车辆导航方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN113378735A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US20210254989A1 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
CN110146869B (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN112435300B (zh) 定位方法及装置
WO2018196391A1 (zh) 一种车载摄像机的外部参数标定方法及装置
JP6866440B2 (ja) 物体識別方法、装置、機器、車両及び媒体
CN111508260A (zh) 车辆停车位检测方法、装置和系统
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
US10817747B2 (en) Homography through satellite image matching
CN112257539B (zh) 车辆与车道线的位置关系检测方法、系统和存储介质
CN111260539A (zh) 鱼眼图目标识别方法及其系统
CN115755097A (zh) 天气情况检测方法、装置、设备及存储介质
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN113378735B (zh) 一种道路标识线识别方法、装置、电子设备及存储介质
CN110147695B (zh) 一种用于公交站点识别的站点标志牌和公交站点的识别系统
CN111126109B (zh) 一种车道线识别方法、装置和电子设备
CN107992789B (zh) 识别交通灯的方法、装置及车辆
EP3288260B1 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and carrier means
CN113994391B (zh) 车辆通行提醒方法、装置及车载终端
CN113253619B (zh) 一种船舶数据信息的处理方法及装置
CN113188569A (zh) 车辆与激光雷达的坐标系标定方法、设备及存储介质
CN112766068A (zh) 一种基于网格化标注的车辆检测方法及系统
CN113139409B (zh) 车辆识别方法、装置、设备及存储介质
US20230298144A1 (en) Infra-red contrast enhancement filter
WO2021253333A1 (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN115690767A (zh) 车牌识别方法、装置、无人机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant