CN117437606A - 车道线的类别的识别方法、装置及设备 - Google Patents

车道线的类别的识别方法、装置及设备 Download PDF

Info

Publication number
CN117437606A
CN117437606A CN202311401696.4A CN202311401696A CN117437606A CN 117437606 A CN117437606 A CN 117437606A CN 202311401696 A CN202311401696 A CN 202311401696A CN 117437606 A CN117437606 A CN 117437606A
Authority
CN
China
Prior art keywords
lane line
image
lane
initial image
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311401696.4A
Other languages
English (en)
Inventor
李晓宵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Langge Technology Co ltd
Zhejiang Geely Holding Group Co Ltd
Original Assignee
Hangzhou Langge Technology Co ltd
Zhejiang Geely Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Langge Technology Co ltd, Zhejiang Geely Holding Group Co Ltd filed Critical Hangzhou Langge Technology Co ltd
Priority to CN202311401696.4A priority Critical patent/CN117437606A/zh
Publication of CN117437606A publication Critical patent/CN117437606A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种车道线的类别的识别方法、装置及设备。方法应用于车辆的处理器,车辆中设置有采集装置和处理器,采集装置用于采集车辆所处的环境的初始图像;处理器用于基于初始图像中车道线的类别控制车辆进行自动驾驶,方法包括:获取采集装置所采集的初始图像,并提取初始图像中的车道线的车道线坐标信息;其中,车道线坐标信息表征车道线在初始图像中的位置;根据车道线坐标信息,从初始图像中提取车道线,得到车道线图像;其中,车道线图像中包括第一区域和第二区域,第一区域为初始图像中的车道线的区域,第二区域的像素点的像素值均为预设值;根据车道线图像,确定车道线的类别。本申请能够提高车道线类别的识别准确度。

Description

车道线的类别的识别方法、装置及设备
技术领域
本申请涉及自动驾驶技术,尤其涉及一种车道线的类别的识别方法、装置及设备。
背景技术
随着汽车智能化的不断发展,自动驾驶技术成为研究热点。车道线的类别的识别是自动驾驶技术的基础。
目前,研究多是聚焦于如何利用机器学习模型进行车道线的检测方面,对于车道线的分类的研究的效果不佳,车道线的类别识别的准确度较低、效率较低。故,亟需一种能够提高车道线的类别识别准确度的方法。
发明内容
本申请提供一种车道线的类别的识别方法、装置及设备,用以提高车道线的类别识别准确度。
第一方面,本申请提供一种车道线的类别的识别方法,所述方法应用于车辆的处理器,所述车辆中设置有采集装置和所述处理器,所述采集装置用于采集车辆所处的环境的初始图像;所述处理器用于基于所述初始图像中车道线的类别控制车辆进行自动驾驶,包括:
获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
根据所述车道线图像,确定所述车道线的类别。
可选的,所述车道线坐标信息包括车道线的中心线上的点,所述车道线坐标信息中的点具有坐标;
根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像,包括:
根据所述车道线坐标信息,确定所述初始图像中的第一坐标点和第二坐标点;其中,所述第一坐标点的横坐标为所述车道线坐标信息中的横坐标的最大值,所述第一坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最大值;所述第二坐标点的横坐标为所述车道线坐标信息中的横坐标的最小值,所述第二坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最小值;
根据所述第一坐标点和所述第二坐标点,对所述初始图像进行裁切处理,得到裁切后的初始图像;其中,所述裁切后的初始图像中包括初始图像中的车道线;
生成与所述裁切后的初始图像的大小相同的初始掩膜;其中,所述初始掩膜中的像素点的像素值均为所述预设值;
根据所述裁切后的初始图像和所述初始掩膜,生成所述车道线图像。
可选的,根据所述裁切后的初始图像和所述初始掩膜,生成所述车道线图像,包括:
在所述初始掩膜中,根据所述车道线坐标信息中的每一点的坐标,沿着x轴加上多个点,并沿着x轴减去多个点,得到每一点的扩展区域;
根据各点的扩展区域,确定所述第一区域在所述初始掩膜中的位置;
将所述裁切后的初始图像中与所述第一区域对应的像素点的像素值,填充至所述初始掩膜的所述第一区域中,得到所述车道线图像。
可选的,根据所述车道线图像,确定所述车道线的类别,包括:
对所述车道线图像中第一区域进行映射变换处理,得到待识别图像;其中,所述待识别图像中第一区域的位置与所述车道线图像中第一区域的位置不同;
对所述待识别图像进行识别处理,得到所述车道线的类别。
可选的,对所述车道线图像中第一区域进行映射变换处理,得到待识别图像,包括:
根据所述车道线坐标信息,确定所述车道线坐标信息所表征的长度信息和倾斜角度;其中,所述倾斜角度表征所述车道线坐标信息所指示的车道线的倾斜度;
根据所述长度信息,确定第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点;并根据第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点,确定第一矩阵;
基于所述倾斜角度,确定在车道线图像的每一边界线的定位方向,并基于所述每一边界线的定位方向,确定所述每一边界线对应的定位点;其中,所述定位方向用于确定定位点;所述定位点为定位方向上首个非0的像素点;并根据各所述定位点,确定第二矩阵;
根据所述第一矩阵和所述第二矩阵,确定变换矩阵;其中,所述变换矩阵为将第一矩阵变换为第二矩阵的矩阵;
根据变换矩阵对所述车道线图像中第一区域进行映射变换处理,得到所述待识别图像。
可选的,对所述待识别图像进行识别处理,得到所述车道线的类别,包括:
将所述待识别图像输入至预设的分类网络模型中,输出所述车道线的类别。
可选的,所述方法还包括:
根据所述车道线的类别,控制车辆进行自动驾驶过程。
第二方面,本申请提供一种车道线的类别的识别装置,所述装置应用于车辆的处理器,所述车辆中设置有采集装置和所述处理器,所述采集装置用于采集车辆所处的环境的初始图像;所述处理器用于基于所述初始图像中车道线的类别控制车辆进行自动驾驶,包括:
获取单元,用于获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
提取单元,用于根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
确定单元,用于根据所述车道线图像,确定所述车道线的类别。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面中任一项所述的车道线的类别的识别方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的车道线的类别的识别方法。
第五方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面任一项所述的车道线的类别的识别方法。
第六方面,本申请提供一种芯片,所述芯片上存储有计算机程序,所述计算机程序被所述芯片执行时,实现如第一方面任一项所述的车道线的类别的识别方法。
本申请提供的车道线的类别的识别方法、装置及设备,根据初始图像中的车道线的车道线的坐标信息,得到了该车道线的车道线图像,并且该车道线图像中包括初始图像中的车道线区域的第一区域和预设像素值的第二区域,对该车道线图像进行识别,确定了该车道线的类别。该方式中,将车道线图像中的包括背景信息的第二区域设置为预设像素值,与车道线的像素值差距大,相较于现有技术中,将包括背景信息的图像一起进行识别处理而言,提高了车道线的类别的识别准确率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为现有技术中一种车道线的类别的识别方法的流程示意图;
图2为本申请提供的一种车道线的类别的识别方法的流程示意图;
图3为本申请提供的一种车道线的类别的识别方法的流程示意图;
图4为本申请提供的一种车道线图像的示意图;
图5为本申请提供的一种待识别图像的示意图;
图6为本申请提供的一种车道线的类别的识别装置的结构示意图;
图7为本申请提供的一种车道线的类别的识别装置的结构示意图;
图8为本申请提供的一种电子设备结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
车道线的类别的识别是自动驾驶技术的基础。图1为现有技术中一种车道线的类别的识别方法的流程示意图。如图1所示,目前,车道线的类别的识别方法,包括如下步骤:
S101、获取车辆采集的目标图像。
示例性地,车辆中设置有采集装置和处理器,该方法的执行主体例如可以是车辆中的处理器。该采集装置例如可以是摄像头、鱼眼相机等。例如,车辆的采集装置采集到目标图像后,将该目标图像发送至车辆的处理器。需说明,上述目标图像中包括至少一条车道线。
S102、将目标图像输入至车道线检测网络模型中,输出车道线的点串坐标;并根据该车道线的点串坐标,对目标图像进行裁剪,得到裁剪后的图片。
示例性地,上述车道线检测网络模型例如可以是卷积神经网络(ConvolutionalNeural Networks,CNN),循环神经网络(Recurrent Neural Network,RNN)等,上述点串坐标是指该车道线的中心线上的点的坐标。
上述裁剪后的图片中仅包括一条车道线。例如,在得到该车道线的点串坐标后,将该车道线的点串坐标的起点和终点的连线作为对角线,确定一个矩形框,裁剪该矩形框,得到裁剪后的图片。
S103、将裁剪后的图片输入至分类网络模型中,输出该车道线的类别。
上述分类网络模型例如可以是残差网络(Residual Network,ResNet)。上述车道线的类别,例如可以是实线、虚线等。
利用上述方式,输入至分类网络模型中的裁剪后的图片中,不仅包括车道线的信息,还包括有大量的背景信息,使得车道线的类别的识别准确率低。
有鉴于此,本申请提供一种车道线的类别的识别方法,利用不同区域的不同像素值的车道线图像进行车道线类型的识别,即,将除了车道线区域外的其他背景信息设为纯黑色(像素值为0),仅保留原有的车道线区域的像素值。利用该方式得到的车道线图像进行车道线的类别的识别时,由于背景信息的像素值均相同,与车道线的像素值差距大,可以提高车道线的类别的识别准确率,并且能降低处理时的计算量,提高识别效率。
下面结合具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请提供的一种车道线的类别的识别方法的流程示意图。该方法应用于车辆的处理器,该车辆中设置有采集装置和处理器,该采集装置用于采集车辆所处的环境的初始图像;该处理器用于基于该初始图像中车道线的类别控制车辆进行自动驾驶;如图2所示,该方法包括:
S201、获取采集装置所采集的初始图像,并提取初始图像中的车道线的车道线坐标信息。
其中,上述车道线坐标信息表征车道线在初始图像中的位置。
示例性地,上述采集装置例如可以是行车记录仪、摄像头、鱼眼相机等,本申请在此不做限定。上述车道线坐标信息例如可以是车道线的中心线上的点的坐标信息,也可以是车道线上任意位置的点的坐标信息,只要能表征该车道线在初始图像中的位置即可,本申请在此不做限定。
一个示例中,上述处理器可以从上述采集装置中获取该初始图像;也可以是上述采集装置采集到初始图像后,将该初始图像上传至云端服务器,处理器可以从该云端服务器中获取该采集装置所采集的初始图像。
一个示例中,在处理器获取到初始图像后,可以将该初始图像输入至车道线检测网络模型中,提取初始图像中的车道线的车道线坐标信息。该车道线检测网络模型,例如可以是CNN,也可以是RNN,本申请在此不做限定,具体可以根据实际需求进行设置。
需说明,上述初始图像中可以包括至少一条车道线,上述提取到的车道线坐标信息为该初始图像中包括的每一条车道线对应的各车道线坐标信息。
S202、根据车道线坐标信息,从初始图像中提取车道线,得到车道线图像;其中,车道线图像中包括第一区域和第二区域,该第一区域为初始图像中的车道线的区域,该第二区域的像素点的像素值均为预设值。
示例性地,上述车道线图像的第二区域的像素点的像素值例如可以是0,即上述第二区域是黑色,也可以是其他预设值,本申请在此不做限定。上述第一区域是初始图像中的车道线的区域。
一个示例中,可以先根据上述初始图像中包括的任一条车道线对应的车道线坐标信息,将包括该车道线的矩形区域从初始图像中裁切出来,得到裁切后的图像,进而将该裁切后的图像输入至预设的生成模型中,输出该车道线图像。该预设的生成模型是基于样本图像-样本图像对应的车道线图像对训练得到的,该生成模型例如可以是CNN等,本申请在此不做限定。
另一个示例中,可以按照前述方式先得到裁切后的图像,再根据裁切后的图像的尺寸,预设一个与该裁切后的图像的像素点一一对应的初始掩膜(mask),该初始mask的各像素点的像素值为预设值,例如可以是0。再根据该车道线坐标信息,结合该初始mask,填充在该初始mask中对应的裁切后的图像中车道线的区域的像素点的像素值,得到该车道线图像。
S203、根据车道线图像,确定车道线的类别。
示例性地,上述车道线的类别例如可以是实线、虚线等,也可以是白实线、白虚线、黄实线、黄虚线等,本申请在此不做限定,具体可以根据实际需求进行设置。
一个示例中,可以将该车道线图像输入至预设的分类网络模型中,输出该车道线的类别。该分类网络模型例如可以是ResNet,或者是其他分类模型,本申请在此不做限定。也可以对该车道线图像进行处理,将仅包括该车道线图像中的第一区域的图像输入至预设的分类网络模型中,输出该车道线的类别。例如对该车道线图像进行裁切、映射变换等处理,得到仅包括第一区域的图像。
在本实施例中,根据初始图像中的车道线的车道线的坐标信息,得到了该车道线的车道线图像,并且该车道线图像中包括初始图像中的车道线区域的第一区域和预设像素值的第二区域,对该车道线图像进行识别,确定了该车道线的类别。该方式中,将车道线图像中的包括背景信息的第二区域设置为预设像素值,与车道线的像素值差距大,相较于现有技术中,将包括背景信息的图像一起进行识别处理而言,提高了车道线的类别的识别准确率。
现有技术中,将包括背景信息的图像输入至分类网络模型中进行处理,导致车道线的类别的识别准确率低的同时,由于包括背景信息,还导致计算量较大,使得车道线类别的识别的效率较低。
图3为本申请提供的一种车道线的类别的识别方法的流程示意图。该方法应用于车辆的处理器,该车辆中设置有采集装置和处理器,该采集装置用于采集车辆所处的环境的初始图像;该处理器用于基于初始图像中车道线的类别控制车辆进行自动驾驶,如图3所示,该方法包括:
S301、获取采集装置所采集的初始图像。
示例性地,可以参考前述步骤S201的说明。
S302、提取初始图像中的车道线的车道线坐标信息;其中,车道线坐标信息表征车道线在初始图像中的位置。
一个示例中,上述车道线坐标信息包括车道线的中心线上的点,该车道线坐标信息中的点具有坐标。
示例性地,该步骤的说明可以参考前述步骤S201。
S303、根据车道线坐标信息,确定初始图像中的第一坐标点和第二坐标点。
其中,上述第一坐标点的横坐标为上述车道线坐标信息中的横坐标的最大值,上述第一坐标点的纵坐标为上述车道线坐标信息中的纵坐标的最大值;上述第二坐标点的横坐标为上述车道线坐标信息中的横坐标的最小值,上述第二坐标点的纵坐标为上述车道线坐标信息中的纵坐标的最小值。
示例性地,以该初始图像的水平方向为x轴,该初始图像的竖直方向为y轴建立坐标系,该x轴上的坐标值可以对应横坐标,y轴上的坐标值可以对应纵坐标。一个示例中,可以遍历上述车道线坐标信息中的各坐标点的横坐标值和纵坐标值,根据该横坐标值的最大值和纵坐标值的最大值,确定该第一坐标点;与此类似地,确定该第二坐标点。
S304、根据第一坐标点和第二坐标点,对初始图像进行裁切处理,得到裁切后的初始图像。
其中,上述裁切后的初始图像中包括初始图像中的车道线。
示例性地,可以将该第一坐标点和该第二坐标点的连线作为对角线,进而基于该对角线确定出一个矩形区域,裁切该矩形区域,得到裁切后的初始图像,即该裁切后的初始图像为该矩形区域内的初始图像。
S305、生成与裁切后的初始图像的大小相同的初始mask。
其中,初始mask中的像素点的像素值均为预设值。
示例性地,可以先根据预设值,生成一帧预设尺寸的图像,例如,若预设值为0,则生成一帧预设尺寸的纯黑图像;再根据裁切后的初始图像的尺寸,裁切该预设尺寸的图像,得到该初始mask。也可以是先确定该裁切后的初始图像的尺寸,再生成一帧默认像素值的与该裁切后的初始图像的尺寸相同的图像,在将该图像的像素值修改为预设值,得到初始mask。
S306、根据裁切后的初始图像和初始mask,生成车道线图像。其中,车道线图像中包括第一区域和第二区域,第一区域为初始图像中的车道线的区域,第二区域的像素点的像素值均为预设值。
示例性地,可以是在初始mask中根据该车道线坐标信息,确定该车道线坐标信息对应的裁切后的初始图像中的车道线区域,并确定该车道线区域中的各像素点的像素值,将该车道线区域中的各像素点的像素值对应的填充在该初始mask中,得到该车道线图像。
关于如何确定该车道线坐标信息对应的裁切后的初始图像中的车道线区域,由于车道线具有固定的宽度,因此,例如可以是沿着x轴数值增大的方向扩展m个点,得到该车道线区域;也可以是沿着x轴数值减小的方向扩展m个点,得到该车道线区域;也可以是根据该车道线坐标信息,沿着x轴,向x轴数值增大的方向扩展m个点,向x轴数值减小的方向扩展m个点,得到该车道线区域。
一个示例中,步骤S306包括:
S3061、在初始mask中,根据车道线坐标信息中的每一点的坐标,沿着x轴加上多个点,并沿着x轴减去多个点,得到每一点的扩展区域。
示例性地,上述每一个点的扩展区域包括车道线坐标信息中的该点,以及,扩展得到的多个点。
S3062、根据各点的扩展区域,确定第一区域在初始mask中的位置;
示例性地,可以将上述各点的扩展区域作为该第一区域,并根据各扩展区域中包括的各坐标点的坐标,确定该第一区域在初始mask中的位置。
S3063、将裁切后的初始图像中与第一区域对应的像素点的像素值,填充至初始mask的第一区域中,得到车道线图像。
示例性地,根据各扩展区域中包括的各坐标点的坐标,确定在裁切后的初始图像中各坐标对应的像素值,并将该像素值填充至该坐标对应的初始mask的第一区域的对应位置中。
S307、对车道线图像中第一区域进行映射变换处理,得到待识别图像。
其中,上述待识别图像中第一区域的位置与该车道线图像中第一区域的位置不同。
示例性地,图4为本申请提供的一种车道线图像的示意图。图5为本申请提供的一种待识别图像的示意图。如图5所示,上述待识别图像中仅包括上述第一区域。上述映射变换处理是指将上述车道线图像中的第一区域进行图像校正。参考图4,上述第一区域在该车道线图像中可能是倾斜的,为便于后续处理,因此需要将该第一区域进行校正,得到待识别图像。
一个示例中,可以将该车道线图像输入至预设的校正模型中,输出待识别图像。该校正模型例如可以是CNN等,是基于样本车道线图像-样本待识别图像对训练得到的。
另一个示例中,该步骤S307可以包括如下步骤:
S3071、根据车道线坐标信息,确定车道线坐标信息所表征的长度信息和倾斜角度。
其中,上述倾斜角度表征车道线坐标信息所指示的车道线的倾斜度。
示例性地,上述车道线坐标信息所表征的长度信息是指该车道线坐标信息所对应的车道线的长度。可以根据两点间的距离计算公式,分别计算上述车道线坐标信息中相邻两点间的距离,并累加该距离得到该车道线坐标信息所表征的长度信息。
示例性地,上述倾斜角度可以根据两点间的斜率计算公式得到。可以是在上述车道线坐标信息中随机取任意两个不同点的坐标,根据两点间的斜率计算公式,确定该两点间的斜率,进而根据该斜率与倾斜角度的对应关系,确定该车道线坐标信息所表征的倾斜角度。
也可以是固定取该车道线坐标信息中的两个坐标点进行斜率计算,例如该车道线坐标信息中的起始点和终点,将两点间的斜率对应的倾斜角度作为该车道线坐标信息所表征的倾斜角度。或者是,随机取该车道线坐标信息中的多个点的坐标,计算任意两点间的斜率,并对该任意两点间的斜率的和取平均,得到平均值,将该平均值对应的倾斜角度作为该车道线坐标信息所表征的倾斜角度。
S3072、根据长度信息,确定第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点;并根据第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点,确定第一矩阵。
示例性地,上述第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点为预设图像的端点。即,上述待识别图像的端点。
例如,参考图5,将图5中的A0看作第一预设坐标点,A1看作第二预设坐标点,A2看作第三预设坐标点,A3看作第四预设坐标点。上述长度信息可以视为L,那么,上述A0的坐标可以预设为(0,0),A1的坐标可以预设为(N,0),A2的坐标可以预设为(0,L),A1的坐标可以预设为(N,L),其中,N为上述车道线的宽度,与前述步骤S306的扩展有关,例如,若以前述步骤S3061分别沿着x轴加上m个点,并沿着x轴减去m个点为例,N可以为2m。需说明,本申请在此不做限定,具体可以根据实际需求进行设置。
示例性地,上述第一矩阵是指前述车道线图像中第一区域进行映射变换时的目标矩阵。例如,参考前述A0~A1的坐标,该第一矩阵的形式可以是需说明,本申请仅是提供一种第一矩阵的形式示意,本申请对第一矩阵的形式不做限定。
S3073、基于倾斜角度,确定在车道线图像的每一边界线的定位方向,并基于每一边界线的定位方向,确定每一边界线对应的定位点;并根据各所述定位点,确定第二矩阵。
其中,上述定位方向用于确定定位点;上述定位点为定位方向上首个非0的像素点。
示例性地,预设倾斜角度、边界线与定位方向三者间的映射关系表,例如表1为一种倾斜角度、边界线与定位方向三者间的映射关系表。
表1
示例性地,参考表1,以该车道线的倾斜角度为[0,90)为例,结合图4,各边界线的定位方向如图4中各边界线的箭头所示,进而各边界线对应的定位点例如可以是M0、M1、M2、M3,并确定该四个定位点的坐标,根据该四个定位点的坐标,确定该第二矩阵。该第二矩阵是指车道线图像中第一区域进行映射变换时的原始矩阵。以M0(x0,y0)、M1(x1,y1)、M2(x2,y2)、M3(x3,y3)为例,该第二矩阵的形式例如可以是需说明,本申请仅是提供一种第二矩阵的形式示意,本申请对第二矩阵的形式不做限定。
需说明,本申请不限定上述步骤S3072和S3073的执行顺序,可以先后执行,也可以并行执行,本申请仅是以先执行S3072进行示意。
S3074、根据第一矩阵和第二矩阵,确定变换矩阵。
其中,上述变换矩阵为将第一矩阵变换为第二矩阵的矩阵。
示例性地,可以预设上述变换矩阵的元素,根据矩阵的计算公式,确定该变换矩阵。
例如,上述变换矩阵的形式为结合上述第一矩阵和第二矩阵,根据矩阵其次方程求解的方式,即可确认该变换矩阵中的各参数。需说明,本申请仅是提供一种变换矩阵的形式示意,本申请对变换矩阵的形式不做限定。
S3075、根据变换矩阵对车道线图像中第一区域进行映射变换处理,得到待识别图像。
由于该变换矩阵是对上述车道线图像中的第一区域的四个定位点进行映射变换的矩阵,因此,该变换矩阵同样可以适用于该第一区域中的其他点进行映射变换。示例性地,先根据车道线图像,确定该车道线图像中非0像素点的坐标,即该第一区域中各点的坐标,根据该第一区域中各点的坐标,得到第三矩阵。根据该第三矩阵和变换矩阵,即可确定该待识别图像。
S308、对待识别图像进行识别处理,得到车道线的类别。
示例性地,可以将该待识别图像输入至预设的分类网络模型中,输出该车道线的类别。该分类网络模型例如可以是ResNet,或者是其他分类模型,本申请在此不做限定。
该方式中,输入至分类网络模型中的待识别图像,相较于现有技术中,减少了背景信息,仅包括该车道线,提高了车道线识别的准确度,并且减少了计算的参数量,提高了计算效率。
S309、根据车道线的类别,控制车辆进行自动驾驶过程。
示例性地,可以基于该车道线的类别,进行车辆的行驶路线规划,进而根据规划后的行驶路线,控制车辆进行自动驾驶。需说明,本申请对如何基于车道线的类别进行路线规划不做限定,具体可以参考现有技术。
在本实施例中,根据车道线坐标信息和初始mask确定了车道线图像,并根据车道线图像中的第一区域和变换矩阵,对该车道线图像中的第一区域进行了映射变换处理,得到了待识别图像,最后基于待识别图像进行了车道线识别,得到了该车道线的类别。该方式中,根据车道线坐标信息和初始mask,确定了该车道线图像中的第一区域,并通过映射变换处理,使得待识别图像中仅包括该第一区域,去除了无效的背景信息,提高了车道线识别的准确度,并且减少了计算的参数量,提高了计算效率。
图6为本申请提供的一种车道线的类别的识别装置的结构示意图。该装置40应用于车辆的处理器,车辆中设置有采集装置和处理器,采集装置用于采集车辆所处的环境的初始图像;处理器用于基于初始图像中车道线的类别控制车辆进行自动驾驶,如图6所示,该装置40包括:
获取单元41,用于获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
提取单元42,用于根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
确定单元43,用于根据所述车道线图像,确定所述车道线的类别。
上述车道线的类别的识别装置的各功能模块配合可以执行上述实施例中描述的车道线的类别的识别方法,其实现原理与技术效果类似,对此不再赘述。
图7为本申请提供的一种车道线的类别的识别装置的结构示意图。该装置50应用于车辆的处理器,车辆中设置有采集装置和处理器,采集装置用于采集车辆所处的环境的初始图像;处理器用于基于初始图像中车道线的类别控制车辆进行自动驾驶,如图7所示,该装置50包括:
获取单元51,用于获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
提取单元52,用于根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
确定单元53,用于根据所述车道线图像,确定所述车道线的类别。
一个示例中,所述车道线坐标信息包括车道线的中心线上的点,所述车道线坐标信息中的点具有坐标;上述提取单元52,包括:
确定模块521,用于根据所述车道线坐标信息,确定所述初始图像中的第一坐标点和第二坐标点;其中,所述第一坐标点的横坐标为所述车道线坐标信息中的横坐标的最大值,所述第一坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最大值;所述第二坐标点的横坐标为所述车道线坐标信息中的横坐标的最小值,所述第二坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最小值;
裁切模块522,用于根据所述第一坐标点和所述第二坐标点,对所述初始图像进行裁切处理,得到裁切后的初始图像;其中,所述裁切后的初始图像中包括初始图像中的车道线;
第一生成模块523,用于生成与所述裁切后的初始图像的大小相同的初始掩膜;其中,所述初始掩膜中的像素点的像素值均为所述预设值;
第二生成模块524,用于根据所述裁切后的初始图像和所述初始掩膜,生成所述车道线图像。
一个示例中,上述第二生成模块524,包括:
处理子模块5241,用于在所述初始掩膜中,根据所述车道线坐标信息中的每一点的坐标,沿着x轴加上多个点,并沿着x轴减去多个点,得到每一点的扩展区域;
第一确定子模块5242,用于根据各点的扩展区域,确定所述第一区域在所述初始掩膜中的位置;
填充子模块5243,用于将所述裁切后的初始图像中与所述第一区域对应的像素点的像素值,填充至所述初始掩膜的所述第一区域中,得到所述车道线图像。
一个示例中,上述确定单元53,包括:
变换模块531,用于对所述车道线图像中第一区域进行映射变换处理,得到待识别图像;其中,所述待识别图像中第一区域的位置与所述车道线图像中第一区域的位置不同;
识别模块532,用于对所述待识别图像进行识别处理,得到所述车道线的类别。
一个示例中,上述变换模块531,包括:
第二确定子模块5311,用于根据所述车道线坐标信息,确定所述车道线坐标信息所表征的长度信息和倾斜角度;其中,所述倾斜角度表征所述车道线坐标信息所指示的车道线的倾斜度;
第三确定子模块5312,用于根据所述长度信息,确定第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点;并根据第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点,确定第一矩阵;
第四确定子模块5313,用于基于所述倾斜角度,确定在车道线图像的每一边界线的定位方向,并基于所述每一边界线的定位方向,确定所述每一边界线对应的定位点;其中,所述定位方向用于确定定位点;所述定位点为定位方向上首个非0的像素点;并根据各所述定位点,确定第二矩阵;
第五确定子模块5314,用于根据所述第一矩阵和所述第二矩阵,确定变换矩阵;其中,所述变换矩阵为将第一矩阵变换为第二矩阵的矩阵;
变换子模块5315,用于根据变换矩阵对所述车道线图像中第一区域进行映射变换处理,得到所述待识别图像。
一个示例中,上述识别模块532,包括:
识别子模块5321,用于将所述待识别图像输入至预设的分类网络模型中,输出所述车道线的类别。
一个示例中,上述装置50还可以包括控制单元54,用于根据所述车道线的类别,控制车辆进行自动驾驶过程。
上述车道线的类别的识别装置的各功能模块配合可以执行上述实施例中描述的车道线的类别的识别方法,其实现原理与技术效果类似,对此不再赘述。
图8为本申请提供的一种电子设备结构示意图。如图8所示,该电子设备600可以包括:至少一个处理器601、存储器602。
存储器602,用于存储程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
存储器602可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory)。
处理器601用于执行存储器602存储的计算机执行指令,以实现前述方法实施例所描述的车道线的类别的识别方法。其中,处理器601可能是一个中央处理器(CentralProcessing Unit,简称为CPU),或者是特定集成电路(Application Specific IntegratedCircuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
该电子设备600还可以包括通信接口603,以通过通信接口603可以与外部设备进行通信交互。外部设备例如可以是计算机、平板等。
在具体实现上,如果通信接口603、存储器602和处理器601独立实现,则通信接口603、存储器602和处理器601可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果通信接口603、存储器602和处理器601集成在一块芯片上实现,则通信接口603、存储器602和处理器601可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有计算机执行指令,计算机执行指令用于上述实施例中的车道线的类别的识别方法。
本申请还提供一种计算机程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。电子设备600的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得电子设备600实施上述的各种实施方式提供的方法。
本申请还提供一种芯片,所述芯片上存储有计算机程序,所述计算机程序被所述芯片执行时,实现各种实施方式提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种车道线的类别的识别方法,其特征在于,所述方法应用于车辆的处理器,所述车辆中设置有采集装置和所述处理器,所述采集装置用于采集车辆所处的环境的初始图像;所述处理器用于基于所述初始图像中车道线的类别控制车辆进行自动驾驶,所述方法包括:
获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
根据所述车道线图像,确定所述车道线的类别。
2.根据权利要求1所述的方法,其特征在于,所述车道线坐标信息包括车道线的中心线上的点,所述车道线坐标信息中的点具有坐标;
根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像,包括:
根据所述车道线坐标信息,确定所述初始图像中的第一坐标点和第二坐标点;其中,所述第一坐标点的横坐标为所述车道线坐标信息中的横坐标的最大值,所述第一坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最大值;所述第二坐标点的横坐标为所述车道线坐标信息中的横坐标的最小值,所述第二坐标点的纵坐标为所述车道线坐标信息中的纵坐标的最小值;
根据所述第一坐标点和所述第二坐标点,对所述初始图像进行裁切处理,得到裁切后的初始图像;其中,所述裁切后的初始图像中包括初始图像中的车道线;
生成与所述裁切后的初始图像的大小相同的初始掩膜;其中,所述初始掩膜中的像素点的像素值均为所述预设值;
根据所述裁切后的初始图像和所述初始掩膜,生成所述车道线图像。
3.根据权利要求2所述的方法,其特征在于,根据所述裁切后的初始图像和所述初始掩膜,生成所述车道线图像,包括:
在所述初始掩膜中,根据所述车道线坐标信息中的每一点的坐标,沿着x轴加上多个点,并沿着x轴减去多个点,得到每一点的扩展区域;
根据各点的扩展区域,确定所述第一区域在所述初始掩膜中的位置;
将所述裁切后的初始图像中与所述第一区域对应的像素点的像素值,填充至所述初始掩膜的所述第一区域中,得到所述车道线图像。
4.根据权利要求1所述的方法,其特征在于,根据所述车道线图像,确定所述车道线的类别,包括:
对所述车道线图像中第一区域进行映射变换处理,得到待识别图像;其中,所述待识别图像中第一区域的位置与所述车道线图像中第一区域的位置不同;
对所述待识别图像进行识别处理,得到所述车道线的类别。
5.根据权利要求4所述的方法,其特征在于,对所述车道线图像中第一区域进行映射变换处理,得到待识别图像,包括:
根据所述车道线坐标信息,确定所述车道线坐标信息所表征的长度信息和倾斜角度;其中,所述倾斜角度表征所述车道线坐标信息所指示的车道线的倾斜度;
根据所述长度信息,确定第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点;并根据第一预设坐标点、第二预设坐标点、第三预设坐标点以及第四预设坐标点,确定第一矩阵;
基于所述倾斜角度,确定在车道线图像的每一边界线的定位方向,并基于所述每一边界线的定位方向,确定所述每一边界线对应的定位点;其中,所述定位方向用于确定定位点;所述定位点为定位方向上首个非0的像素点;并根据各所述定位点,确定第二矩阵;
根据所述第一矩阵和所述第二矩阵,确定变换矩阵;其中,所述变换矩阵为将第一矩阵变换为第二矩阵的矩阵;
根据变换矩阵对所述车道线图像中第一区域进行映射变换处理,得到所述待识别图像。
6.根据权利要求4所述的方法,其特征在于,对所述待识别图像进行识别处理,得到所述车道线的类别,包括:
将所述待识别图像输入至预设的分类网络模型中,输出所述车道线的类别。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
根据所述车道线的类别,控制车辆进行自动驾驶过程。
8.一种车道线的类别的识别装置,其特征在于,所述装置应用于车辆的处理器,所述车辆中设置有采集装置和所述处理器,所述采集装置用于采集车辆所处的环境的初始图像;所述处理器用于基于所述初始图像中车道线的类别控制车辆进行自动驾驶,所述装置包括:
获取单元,用于获取所述采集装置所采集的所述初始图像,并提取所述初始图像中的车道线的车道线坐标信息;其中,所述车道线坐标信息表征车道线在初始图像中的位置;
提取单元,用于根据所述车道线坐标信息,从所述初始图像中提取车道线,得到车道线图像;其中,所述车道线图像中包括第一区域和第二区域,所述第一区域为初始图像中的车道线的区域,所述第二区域的像素点的像素值均为预设值;
确定单元,用于根据所述车道线图像,确定所述车道线的类别。
9.一种电子设备,其特征在于,所述电子设备包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1-7中任一项所述的车道线的类别的识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的车道线的类别的识别方法。
CN202311401696.4A 2023-10-26 2023-10-26 车道线的类别的识别方法、装置及设备 Pending CN117437606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311401696.4A CN117437606A (zh) 2023-10-26 2023-10-26 车道线的类别的识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311401696.4A CN117437606A (zh) 2023-10-26 2023-10-26 车道线的类别的识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN117437606A true CN117437606A (zh) 2024-01-23

Family

ID=89547519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311401696.4A Pending CN117437606A (zh) 2023-10-26 2023-10-26 车道线的类别的识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117437606A (zh)

Similar Documents

Publication Publication Date Title
CN110705405B (zh) 目标标注的方法及装置
US10429193B2 (en) Method and apparatus for generating high precision map
EP3620964A1 (en) Lane line processing method and device
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
JP2021135993A (ja) テキスト認識方法及びテキスト認識装置、電子設備、記憶媒体
CN113592720B (zh) 图像的缩放处理方法、装置、设备、存储介质
CN112801923A (zh) 文字处理方法、系统、可读存储介质及计算机设备
CN111767752B (zh) 一种二维码识别方法及装置
CN112507938A (zh) 一种文本图元的几何特征计算方法及识别方法、装置
CN113986152A (zh) 图像分段转换的喷墨打印方法、装置、设备及存储介质
CN117437606A (zh) 车道线的类别的识别方法、装置及设备
CN116152474A (zh) 扫描数据的处理方法、装置、设备及介质
US11367296B2 (en) Layout analysis
CN114926803A (zh) 车道线检测模型建立方法、车道线检测方法、装置和设备
CN111401365B (zh) Ocr图像自动生成方法及装置
CN113591720A (zh) 车道偏离检测方法、装置及计算机存储介质
CN112364693A (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
CN112825141B (zh) 识别文本的方法、装置、识别设备和存储介质
JP6613625B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN112991145B (zh) 图像生成方法、系统、电子设备及机器可读存储介质
CN113570518B (zh) 一种图像矫正方法、系统、计算机设备和存储介质
CN117315406B (zh) 一种样本图像处理方法、装置及设备
JP2014021510A (ja) 画像処理装置および画像処理方法、ならびに、プログラム
JP7210380B2 (ja) 画像学習プログラム、画像学習方法、及び画像認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination