CN110610137B - 检测车辆行驶状态的方法、装置以及电子设备、存储介质 - Google Patents

检测车辆行驶状态的方法、装置以及电子设备、存储介质 Download PDF

Info

Publication number
CN110610137B
CN110610137B CN201910775045.9A CN201910775045A CN110610137B CN 110610137 B CN110610137 B CN 110610137B CN 201910775045 A CN201910775045 A CN 201910775045A CN 110610137 B CN110610137 B CN 110610137B
Authority
CN
China
Prior art keywords
line
lane line
lane
width
edge line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910775045.9A
Other languages
English (en)
Other versions
CN110610137A (zh
Inventor
于雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201910775045.9A priority Critical patent/CN110610137B/zh
Publication of CN110610137A publication Critical patent/CN110610137A/zh
Application granted granted Critical
Publication of CN110610137B publication Critical patent/CN110610137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Abstract

本公开实施例提供了一种检测车辆行驶状态的方法、装置以及电子设备、存储介质,涉及车辆技术领域,其中的方法包括:检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线,基于像素点与单位实际空间距离之间的对应关系,在第一道路图像中设置与第一边缘线相对应的至少一条刻度线;使用至少一条刻度线获得与第一车道线相对应的位置信息,根据位置信息确定车辆相对于第一车道线的行驶状态并进行相应的处理;本公开的方法、装置以及电子设备、存储介质,对于车偏离车道压线的检测简便并且准确性高、抗噪声和抗干扰的能力强,检测的实时性好,能够提高行车的安全性。

Description

检测车辆行驶状态的方法、装置以及电子设备、存储介质
技术领域
本公开涉及车辆安全技术领域,尤其涉及一种检测车辆行驶状态的方法、装置以及电子设备、存储介质。
背景技术
交通安全一直是人们关心的重要问题之一,在高速公路上每年都会发生很多交通事故,造成了严重的人员伤亡和巨大的经济损失,因此,开发先进驾驶辅助系统具有重要的意义。车道偏离预警(Lane Departure Warning,简称LDW)系统是一种汽车驾驶安全辅助系统。车道偏离报警系统目前以摄像头为主要传感器,基于机器视觉技术探测并跟踪车道线,结合驾驶员特性判断车辆是否有偏离出车道的危险,危险时为驾驶员提供声音、灯光及震动警示。但是,现有的车道线检测方法对于车偏离车道压线的检测过程复杂并且准确性低。
发明内容
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种检测车辆行驶状态的方法、装置以及电子设备、存储介质。
根据本公开实施例的一个方面,提供一种检测车辆行驶状态的方法,包括:检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线;基于像素点与单位实际空间距离之间的对应关系,在所述第一道路图像中设置与所述第一边缘线相对应的至少一条刻度线;使用所述至少一条刻度线获得与所述第一车道线相对应的位置信息;其中,所述位置信息包括:所述第一车道线与所述至少一条刻度线的相对位置、所述第一车道线与所述第一边缘线之间的第一实际宽度中的至少一个;根据所述位置信息确定车辆相对于所述第一车道线的行驶状态并进行相应的处理。
根据本公开实施例的另一方面,提供一种检测车辆行驶状态的装置,包括:目标获得模块,用于检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线;刻度设置模块,用于基于像素点与单位实际空间距离之间的对应关系,在所述第一道路图像中设置与所述第一边缘线相对应的至少一条刻度线;位置获得模块,用于使用所述至少一条刻度线获得与所述第一车道线相对应的位置信息;其中,所述位置信息包括:所述第一车道线与所述至少一条刻度线的相对位置、所述第一车道线与所述第一边缘线之间的第一实际宽度中的至少一个;行驶处理模块,用于基于所述刻度线和所述第一车道线判断是否进行车道偏离预警处理。
根据本公开实施例的另一方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的方法。
根据本公开实施例的另一方面,提供一种电子设备,所述电子设备包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于执行上述的方法。
基于本公开上述实施例提供的一种检测车辆行驶状态的方法、装置以及电子设备、存储介质,基于像素数与实际距离的对应关系设置刻度线并根据对应关系确定与刻度线和边缘线之间的实际宽度相对应的宽度像素数,基于刻度线和车道线判断是否进行车道偏离预警处理;使得车道偏离报警阈值的确定简单、并且对于车偏离车道压线的检测简便并且准确性高、抗噪声和抗干扰的能力强。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为本公开的检测车辆行驶状态的方法的一个实施例的流程图;
图2为本公开的进行车道偏离处理的一个实施例的流程图;
图3为本公开的获得车辆与车道线之间的实际距离的一个实施例的流程图;
图4为本公开的设置刻度线的一个实施例的流程图;
图5A为本公开的在车辆运行过程中,在图像中设置与一侧车轮相对应的多条刻度线的示例图;图5B为本公开的在车辆运行过程中,在图像中设置与两侧车轮相对应的多条刻度线的示例图;
图6为本公开的确定宽度和像素之间的对应关系的一个实施例的流程图;
图7为本公开的在车辆静止的状态下,在图像中设置与一侧车轮相对应的多条刻度线的示例图的示例图;
图8为本公开的对于图像进行处理的一个实施例的流程图;
图9为本公开的检测车辆行驶状态的装置的一个实施例的结构示意图;
图10为本公开的检测车辆行驶状态的装置的另一个实施例的结构示意图;
图11是本公开的电子设备的一个实施例的结构图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或者两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅是一种描述关联对象的关联关系,表示可以存在三种关系,如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中,任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
申请概述
在实现本公开的过程中,发明人发现,现有的车道偏离报警系统基于机器视觉技术探测并跟踪车道线,结合驾驶员特性判断车辆是否有偏离出车道的危险,对于车偏离车道压线的检测复杂并且准确性低、抗噪声和抗干扰的能力不强,测试效率低。
本公开提供的检测车辆行驶状态的方法,基于像素点与单位实际空间距离之间的对应关系,在第一道路图像中设置与车轮的第一边缘线相对应的至少一条刻度线;使用刻度线获得与第一车道线相对应的位置信息,用于确定车辆相对于第一车道线的行驶状态并进行相应的处理;对于车偏离车道压线的检测简便并且准确性高、抗噪声和抗干扰的能力强,检测的实时性好。
示例性方法
图1为本公开的检测车辆行驶状态的方法的一个实施例的流程图,如图1所示的方法包括步骤:S101至S104。下面对各步骤分别进行说明。
步骤S101,检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线。
在一个实施例中,摄像装置可以为多种摄像装置,例如为鱼眼摄像机、前视摄像机等。摄像装置的数量可以为一个或多个,安装在车辆上,在车辆行驶的过程中,摄像装置拍摄第一道路图像。从第一道路图像中检测出道路中的第一车道线和车轮的第一边缘线。第一车道线的数量可以为一条或多条,第一边缘线可以为一个或多个车轮的边缘线,车轮的边缘线可以为轮胎外侧的边缘线。
步骤S102,基于像素点与单位实际空间距离之间的对应关系,在第一道路图像中设置与第一边缘线相对应的至少一条刻度线。
在一个实施例中,像素数与单位实际空间距离的对应关系是指与单位实际空间长度对应的像素数。例如,在实际的环境中,第一边缘线与第一车道线之间的距离为30cm。对应关系确定了与单位实际空间距离(1cm)对应的像素点数量为100,则基于对应关系确定在第一道路图像中,与第一边缘线与第一车道线之间距离对应的像素点数量为100*30=3000。根据像素点与单位实际空间距离之间的对应关系,在第一图像中设置与第一边缘线相对应的一条或多条刻度线。
步骤S103,使用至少一条刻度线获得与第一车道线相对应的位置信息。位置信息包括:第一车道线与至少一条刻度线的相对位置、第一车道线与第一边缘线之间的第一实际宽度中的至少一个。
步骤S104,根据位置信息确定车辆相对于第一车道线的行驶状态并进行相应的处理。
车辆的行驶状态可以包括在车道内正常行驶、偏离车道行驶等状态。在一个实施例中,可以根据第一车道线与至少一条刻度线的相对位置和/或第一车道线与第一边缘线之间的第一实际宽度,确定车辆相对于第一车道线的行驶状态。如果相对位置和/或第一实际宽度,确定车辆距离第一车道线过近或车轮压住第一车道线等,则确定车辆的行驶状态为偏离车道行驶装置,进行车道偏离报警,可以采用声音、图像、震动等方式对驾驶员进行提醒。
上述实施例中的检测车辆行驶状态的方法,基于预设的像素数与实际距离的对应关系,在道路图像中设刻度线并根据对应关系确定与刻度线和车轮边缘线之间的实际宽度和像素数,能够直观的确定车辆的行驶状态,提高了车辆在行车过程中检测的实时性并且检测简便。
在一个实施例中,确定车辆相对于第一车道线的行驶状态可以有多种方法。例如,基于第一车道线在刻度线区域中的相对位置,检测车轮是否偏离车道;或者,基于第一车道线与第一车轮边缘线之间的实际距离,检测车轮是否偏离车道等。
图2为本公开的进行车道偏离处理的一个实施例的流程图,如图2所示的方法包括步骤:S201至S203。下面对各步骤分别进行说明。
步骤S201,在第一道路图像中设置与至少一条刻度线相对应的预警区域。在一个实施例中,在第一道路图像中设置一条或多条刻度线,通过第一道路图像中的刻度线能够比较直观地判断车辆是否跑偏。在第一道路图像中设置与一条或多条刻度线相对应的预警区域。例如,如果刻度线为1条,则可以在此刻度线的一侧设置预警区域;如果刻度线为多条,则可以在其中的一条刻度线的一侧设置预警区域。
步骤S202,基于相对位置判断第一车道线是否位于预警区域内。相对位置为第一车道线与至少一条刻度线的相对位置。
步骤S203,如果是,则进行车道偏离预警处理。在车辆行驶的过程中,如果确定第一车道线位于预警区域内,则进行报警。
上述实施例中的检测车辆行驶状态的方法,通过在道路图像中设置与刻度线相对应的预警区域,当确定车道线位于预警区域内时,进行车道偏离预警处理,能够基于预警区域进行车道偏离预警处理,对于车道偏离的检测简便,提高了检测的准确性和检测的实时性。
图3为本公开的获得车辆与车道线之间的实际距离的一个实施例的流程图,如图3所示的方法包括步骤:S301至S305。下面对各步骤分别进行说明。
步骤S301,确定距离第一车道线最近的刻度线。
步骤S302,确定此刻度线与第一车道线之间的第一宽度像素数。
步骤S303,基于对应关系获得与第一宽度像素数相对应的第一实际距离。
在一个实施例中,在第一道路图像中设置有多条刻度线,从多条刻度线中确定距离第一车道线最近的刻度线A。如果刻度线的数量为1条,则此条刻度线为刻度线A。确定刻度线A与第一车道线之间的第一宽度像素数为3000。对应关系确定了与单位实际空间距离(1cm)对应的像素点的数量为100,则基于对应关系获得与第一宽度像素数3000相对应的第一实际距离为30cm。
步骤S304,获得此刻度线与第一边缘线之间的第二实际距离。
步骤S305,根据第一实际距离与第二实际距离获得第一实际宽度。如果第一实际宽度小于预设的宽度阈值,则进行车道偏离预警处理。
在一个实施例中,可以使用多种方法确定宽度阈值。例如,获取当前车辆行驶的路段类型(例如为高度公路、国道等)、车辆行驶速度、当前天气等信息,基于预设的车道偏离预警策略,基于路段类型、车辆行驶速度、当前天气等信息获得当前的车道偏离预警距离,基于车道偏离预警距离确定宽度阈值。确定的宽度阈值可以为20cm、30cm等。
在一个实施例中,在第一道路图像中设置刻度线A时,确定刻度线A与第一边缘线之间的像素点的数量为2000,基于对应关系获得刻度线A与第一边缘线之间的第二实际距离为2000/100=20cm,获得刻度线A与第一边缘线之间的第二实际距离为20+30=50cm。判断第一实际宽度是否小于预设的宽度阈值,如果是,则进行车道偏离预警处理。
上述实施例中的检测车辆行驶状态的方法,基于像素点与单位实际空间距离之间的对应关系以及刻度线,获得车道线与车轮边缘线之间的实际宽度,如果实际宽度小于宽度阈值,则进行车道偏离预警处理,能够根据车道线与车轮边缘线之间实际宽度进行行驶状态检测,提高了检测的准确性和检测的实时性,并且检测简便。
在一个实施例中,设置与第一边缘线相对应的至少一条刻度线可以有多种方法。图4为本公开的设置刻度线的一个实施例的流程图,如图4所示的方法包括步骤:S401至S403。下面对各步骤分别进行说明。
步骤S401,预设第一边缘线与至少一条刻度线之间的起始宽度。可以设置车轮的第一边缘线与一条或多条刻度线之间的起始宽度为2cm、3cm等。
步骤S402,基于对应关系确定与起始宽度相对应的起始宽度像素数。
步骤S403,根据起始宽度像素数在第一边缘线和第一车道线之间设置至少一条刻度线。
在一个实施例中,多条刻度线可以为相互平行的刻度线,确定相邻的两条刻度线之间的实际间隔宽度,基于对应关系确定与实际间隔宽度相对应的间隔宽度像素数。根据起始宽度像素数和间隔宽度像素数,在第一车道线和第一边缘线之间设置多条相互平行的刻度线。例如,刻度线的数量为4,起始宽度像素数为500,两条刻度线的实际间隔为10cm,基于对应关系确定10cm对应的像素数为1000。在第一道路图像中,将第一条刻度线与第一边缘线之间的像素数设置为500,并设置间隔为1000像素的4条刻度线。
上述实施例中的检测车辆行驶状态的方法,基于像素点与单位实际空间距离之间的对应关系以及车轮边缘线与刻度线之间的起始宽度,在车轮边缘线和车道线之间的刻度线,能够提供直观的车辆行驶状态的检测方式,检测简便并提高了检测的准确性和检测的实时性。
如图5A所示,在车辆行驶的过程中,安装在车辆一侧的摄像装置拍摄第一道路图像,从第一道路图像中检测出道路中的第一车道线和车轮的第一边缘线,在第一道路图像中设置多条相互平行的刻度线。如图5B所示,在车辆行驶的过程中,分别安装在车辆两侧的两个摄像装置分别拍摄第一道路图像,分别从两个第一道路图像中检测出道路中的第一车道线和车轮的第一边缘线,分别在两个第一道路图像中设置多条相互平行的刻度线。在驾驶的过程中,驾驶员可通过第一道路图像查看此时车轮与车道线的位置及之间距离。
图6为本公开的确定宽度和像素之间的对应关系的一个实施例的流程图,如图6所示的方法包括步骤:S501至S504。下面对各步骤分别进行说明。
步骤S501,获得摄像装置采集的第二道路图像,在第二道路图像中获得第二车道线和车轮的第二边缘线。
在一个实施例中,在车辆静止时进行测试并拍摄图像,摄像装置拍摄第二道路图像,从第二道路图像中检测出道路中的第二车道线和车轮的第二边缘线。
步骤S502,获得第二车道线和第二边缘线之间的第二宽度像素数。
步骤S503,获得第二车道线和第二边缘线之间的第二实际宽度。
在一个实施例中,可以通过激光水平仪、卷尺等获得真实的车轮到第二车道线之间的第二实际宽度。
步骤S504,根据第二实际宽度和第二宽度像素数确定对应关系。将第二宽度像素数与第二实际宽度的比值作为像素数与单位实际空间距离的对应关系。
上述实施例中的检测车辆行驶状态的方法,在车辆静止时进行测试,通过采集道路图像并获得道路图像中车道线和车轮边缘线之间的实际距离的像素信息,获得像素点与单位实际空间距离之间的对应关系,能够基于对应关系设置刻度线以及确定行驶过程中的车道线与车轮边缘线之间的实际宽度,能够进行直观的车辆行驶检测,可以提高检测的准确性和实时性。
如图7所示,获取第二道路图像,基于对应关系在第二道路图像中预先设置刻度线,确定刻度线的数量、起始宽度、间隔宽度、预警区域等信息并存储。在车辆行驶的过程中,可以基于预先确定的信息在第一道路图像中生成刻度线,进行车道偏离预警处理。
图8为本公开的获得车道线和车轮边缘线的一个实施例的结构示意图,如图8所示的方法包括步骤:S601至S605。下面对各步骤分别进行说明。
步骤S601,利用预设的标定方法获得摄像装置的内参矩阵。
在一个实施例中,可以采用多种标定方法。例如,摆放不同位姿的棋盘格,获得摄像装置对棋盘格采集的二维图像数据,检测图像中的标定物,提取图像中的角点位置,获得摄像装置的内参和标定物参数,内参矩阵可以包括内参矩阵和畸变参数矩阵等,可以使用张正友标定法等标定摄像装置的内参。
步骤S602,使用内参矩阵对目标道路图像进行去畸变处理;目标道路图像包括:第一道路图像和第二道路图像。可以使用内参矩阵对第一道路图像和第二道路图像进行去畸变处理。
步骤S603,在进行了去畸变处理后的目标道路图像中,基于预设的变换算法提取车道线图像和车轮图像。
在一个实施例中,预设的变换算法可以为多种算法,例如为深度学习算法等。基于深度学习算法建立神经网络模型,可以设置获取样本图像库,样本图像库中的每个样本图像包括车道线图像和车轮图像。将样本图像以及对于车道线、车轮的识别结果输入神经网络模型进行训练,得到训练好的神经网络模型。将进行了去畸变处理后的目标道路图像输入神经网络模型,提取车道线图像和车轮图像。
步骤S604,对车道线图像和车轮图像依次进行灰度化和二值化处理,获得二值化车道线图像和二值化车轮图像。
步骤S605,基于预设的边缘检测算子在二值化车道线图像和二值化车轮图像中分别提取边缘线信息,并根据边缘线信息进行拟合处理,分别获得目标车道线和目标边缘线。目标车道线包括:第一车道线和第二车道线等;目标边缘线包括:第一边缘线和第二边缘线等。
在一个实施例中,可以采用高斯滤波器等对车道线图像和车轮图像进行滤波处理。对车道线图像和车轮图像进行灰度化处理,将车道线图像和车轮图像上的点的灰度值设为0或255,对车道线图像和车轮图像进行二值化处理。可以采用拉普拉斯算子等,在二值化车道线图像和二值化车轮图像中分别提取边缘线信息,根据边缘线信息进行拟合处理,分别获得目标车道线和目标边缘线。
在一个实施例中,在进行了去畸变处理后的目标道路图像中,基于预设的变换算法提取车道线图像和车轮图像后,不进行灰度化和二值化处理,可以基于预设的边缘检测算子在车道线图像和车轮图像中分别提取边缘线信息,并根据边缘线信息进行拟合处理,分别获得目标车道线和目标边缘线。
在一个实施例中,在第一道路图像中,基于像素点与单位实际空间距离之间的对应关系,按照缩放比例增画刻度线,多条刻度线与车轮的实际距离可以为0cm/10cm/20cm/30cm等,基于刻度线判断车轮与车道线间的距离,系统可直接通过刻度线确定真实环境中的车轮到车道线的位置距离,驾驶员可以直观地通过刻度线观察到车轮到车道线的位置距离,如果检测到车轮偏离车道,则系统进行报警,报警可以采用播放声音、显示报警图标等方式。
上述实施例中的检测车辆行驶状态的方法,通过对道路图像进行去畸变处理后提取车道线图像和车轮图像,基于边缘检测算子提取边缘线信息并进行拟合处理,获得目标车道线和目标边缘线,能够提高检测的准确性,并且抗噪声和抗干扰的能力强。
示例性装置
在一个实施例中,如图9所示,本公开提供一种检测车辆行驶状态的装置,包括:目标获得模块901、刻度设置模块902、位置获得模块903和行驶处理模块904。目标获得模块901检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线。刻度设置模块902基于像素点与单位实际空间距离之间的对应关系,在第一道路图像中设置与第一边缘线相对应的至少一条刻度线。
位置获得模块903使用至少一条刻度线获得与第一车道线相对应的位置信息,位置信息包括:第一车道线与至少一条刻度线的相对位置、第一车道线与第一边缘线之间的第一实际宽度中的至少一个。行驶处理模块904基于刻度线和第一车道线判断是否进行车道偏离预警处理。
在一个实施例中,行驶处理模块904在第一道路图像中设置与至少一条刻度线相对应的预警区域。行驶处理模块904基于相对位置判断第一车道线是否位于预警区域内,如果是,则进行车道偏离预警处理。
位置获得模块903确定距离第一车道线最近的刻度线,确定此刻度线与第一车道线之间的第一宽度像素数。位置获得模块903基于对应关系获得与第一宽度像素数相对应的第一实际距离,获得此刻度线与第一边缘线之间的第二实际距离。位置获得模块903根据第一实际距离与第二实际距离获得第一实际宽度。行驶处理模块904判断第一实际宽度是否小于预设的宽度阈值,如果是,则进行车道偏离预警处理。
在一个实施例中,刻度设置模块902预设第一边缘线与至少一条刻度线之间的起始宽度,基于对应关系确定与起始宽度相对应的起始宽度像素数。刻度设置模块902根据起始宽度像素数在第一边缘线和第一车道线之间设置至少一条刻度线。
刻度线的数量为多条,刻度设置模块902确定相邻的两条刻度线之间的实际间隔宽度,基于对应关系确定与实际间隔宽度相对应的间隔宽度像素数。刻度设置模块902根据起始宽度像素数和间隔宽度像素数,在第一车道线和第一边缘线之间设置多条相互平行的刻度线。
在一个实施例中,如图10所示,检测车辆行驶状态的装置还包括:刻度预设模块905。刻度预设模块905获得摄像装置采集的第二道路图像,在第二道路图像中获得第二车道线和车轮的第二边缘线。刻度预设模块905获得第二车道线和第二边缘线之间的第二宽度像素数,获得第二车道线和第二边缘线之间的第二实际宽度。刻度预设模块905根据第二实际宽度和第二宽度像素数确定对应关系。
如图10所示,检测车辆行驶状态的装置还包括:图像处理模块906。图像处理模块906利用预设的标定方法获得摄像装置的内参矩阵,使用内参矩阵对目标道路图像进行去畸变处理,目标道路图像包括:第一道路图像和第二道路图像等。
图像处理模块906在进行了去畸变处理后的目标道路图像中,基于预设的变换算法提取车道线图像和车轮图像,对车道线图像和车轮图像依次进行灰度化和二值化处理,获得二值化车道线图像和二值化车轮图像。
图像处理模块906基于预设的边缘检测算子在二值化车道线图像和二值化车轮图像中分别提取边缘线信息,并根据边缘线信息进行拟合处理,分别获得目标车道线和目标边缘线,目标车道线包括:第一车道线和第二车道线等;目标边缘线包括:第一边缘线和第二边缘线等。
图11是本公开的电子设备的一个实施例的结构图,如图11所示,电子设备111包括一个或多个处理器1111和存储器1112。
处理器1111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备111中的其他组件以执行期望的功能。
存储器1112可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器,例如,可以包括:随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器,例如,可以包括:只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器1111可以运行所述程序指令,以实现上文所述的本公开的各个实施例的检测车辆行驶状态的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,电子设备111还可以包括:输入装置1113以及输出装置1114等,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外,该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图11中仅示出了该电子设备111中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备111还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的检测车辆行驶状态的方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的检测车辆行驶状态的方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括:具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
上述实施例中的检测车辆行驶状态的方法、装置以及电子设备和存储介质,对于车偏离车道压线的检测简便并且准确性高、抗噪声和抗干扰的能力强,检测的实时性好,能够提高行车的安全。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述,以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言,是非常显而易见的,并且在此定义的一般原理可以应用于其他方面,而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种检测车辆行驶状态的方法,包括:
检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线;
基于像素点与单位实际空间距离之间的对应关系,在所述第一道路图像中设置与所述第一边缘线相对应的至少一条刻度线;
使用所述至少一条刻度线获得与所述第一车道线相对应的位置信息;所述位置信息包括:所述第一车道线与所述至少一条刻度线的相对位置、所述第一车道线与所述第一边缘线之间的第一实际宽度中的至少一个;
其中,所述使用所述至少一条刻度线获得与所述第一车道线相对应的位置信息包括:
确定距离所述第一车道线最近的刻度线;确定此刻度线与所述第一车道线之间的第一宽度像素数;基于所述对应关系获得与所述第一宽度像素数相对应的第一实际距离;
获得此刻度线与所述第一边缘线之间的第二实际距离;根据所述第一实际距离与所述第二实际距离获得所述第一实际宽度;
根据所述位置信息确定车辆相对于所述第一车道线的行驶状态并进行相应的处理。
2.如权利要求1所述的方法,所述根据所述位置信息确定车辆相对于所述第一车道线的行驶状态并进行相应的处理包括:
在所述第一道路图像中设置与所述至少一条刻度线相对应的预警区域;
基于所述相对位置判断所述第一车道线是否位于所述预警区域内,如果是,则进行车道偏离预警处理。
3.如权利要求1所述的方法,所述根据所述位置信息确定车辆相对于所述第一车道线的行驶状态并进行相应的处理包括:
判断所述第一实际宽度是否小于预设的宽度阈值,如果是,则进行车道偏离预警处理。
4.如权利要求3所述的方法,还包括:
获得车道偏离预警距离,基于所述车道偏离预警距离确定所述宽度阈值。
5.如权利要求1所述的方法,所述在所述第一道路图像中设置与所述第一边缘线相对应的至少一条刻度线包括:
预设所述第一边缘线与所述至少一条刻度线之间的起始宽度;
基于所述对应关系确定与所述起始宽度相对应的起始宽度像素数;
根据起始宽度像素数在所述第一边缘线和所述第一车道线之间设置所述至少一条刻度线。
6.如权利要求5所述的方法,所述刻度线的数量为多条;所述根据起始宽度像素数在所述第一边缘线和所述第一车道线之间设置所述至少一条刻度线包括:
确定相邻的两条所述刻度线之间的实际间隔宽度,基于所述对应关系确定与所述实际间隔宽度相对应的间隔宽度像素数;
根据所述起始宽度像素数和所述间隔宽度像素数,在所述第一车道线和所述第一边缘线之间设置多条相互平行的所述刻度线。
7.如权利要求1至6任一项所述的方法,还包括:
获得所述摄像装置采集的第二道路图像,在所述第二道路图像中获得第二车道线和车轮的第二边缘线;
获得所述第二车道线和所述第二边缘线之间的第二宽度像素数;
获得所述第二车道线和所述第二边缘线之间的第二实际宽度;
根据所述第二实际宽度和所述第二宽度像素数确定所述对应关系。
8.如权利要求7所述的方法,还包括:
利用预设的标定方法获得所述摄像装置的内参矩阵;
使用所述内参矩阵对目标道路图像进行去畸变处理;其中,所述目标道路图像包括:所述第一道路图像和所述第二道路图像。
9.如权利要求8所述的方法,还包括:
在进行了去畸变处理后的所述目标道路图像中,基于预设的变换算法提取车道线图像和车轮图像;
基于预设的边缘检测算子在所述车道线图像和所述车轮图像中分别提取边缘线信息,并根据所述边缘线信息进行拟合处理,分别获得目标车道线和目标边缘线;
其中,所述目标车道线包括:所述第一车道线和所述第二车道线;所述目标边缘线包括:所述第一边缘线和所述第二边缘线。
10.一种检测车辆行驶状态的装置,包括:
目标获得模块,用于检测摄像装置采集的第一道路图像中的第一车道线和车轮的第一边缘线;
刻度设置模块,用于基于像素点与单位实际空间距离之间的对应关系,在所述第一道路图像中设置与所述第一边缘线相对应的至少一条刻度线;
位置获得模块,用于使用所述至少一条刻度线获得与所述第一车道线相对应的位置信息;所述位置信息包括:所述第一车道线与所述至少一条刻度线的相对位置、所述第一车道线与所述第一边缘线之间的第一实际宽度中的至少一个;
其中,所述位置获得模块,用于确定距离所述第一车道线最近的刻度线;确定此刻度线与所述第一车道线之间的第一宽度像素数;基于所述对应关系获得与所述第一宽度像素数相对应的第一实际距离;获得此刻度线与所述第一边缘线之间的第二实际距离;根据所述第一实际距离与所述第二实际距离获得所述第一实际宽度;
行驶处理模块,用于基于所述刻度线和所述第一车道线判断是否进行车道偏离预警处理。
11.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-9任一项所述的方法。
12.一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-9任一项所述的方法。
CN201910775045.9A 2019-08-21 2019-08-21 检测车辆行驶状态的方法、装置以及电子设备、存储介质 Active CN110610137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910775045.9A CN110610137B (zh) 2019-08-21 2019-08-21 检测车辆行驶状态的方法、装置以及电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910775045.9A CN110610137B (zh) 2019-08-21 2019-08-21 检测车辆行驶状态的方法、装置以及电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN110610137A CN110610137A (zh) 2019-12-24
CN110610137B true CN110610137B (zh) 2022-04-15

Family

ID=68890627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910775045.9A Active CN110610137B (zh) 2019-08-21 2019-08-21 检测车辆行驶状态的方法、装置以及电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN110610137B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113282074A (zh) * 2020-02-03 2021-08-20 奥迪股份公司 自动驾驶车辆基于轨迹自检的应急系统和应急方法
CN111339877B (zh) * 2020-02-19 2023-04-07 阿波罗智联(北京)科技有限公司 盲区的长度检测方法、装置、电子设备及存储介质
CN111402329A (zh) * 2020-03-24 2020-07-10 上海眼控科技股份有限公司 车辆压线检测方法、装置、计算机设备和存储介质
CN111623795B (zh) * 2020-05-28 2022-04-15 阿波罗智联(北京)科技有限公司 实景导航图标显示方法、装置、设备和介质
CN114112424A (zh) * 2021-10-15 2022-03-01 华人运通(上海)自动驾驶科技有限公司 车辆adas系统横向控制功能的检测方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
CN203332108U (zh) * 2013-06-09 2013-12-11 兰州工业学院 一种危险驾驶行为识别装置
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN208376628U (zh) * 2018-06-26 2019-01-15 比歪尔科技(深圳)有限公司 一种安全驾驶辅助系统
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术(北京)有限公司 车道偏离识别方法、装置、设备和存储介质
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313547A (zh) * 2011-05-26 2012-01-11 东南大学 基于手绘轮廓语义地图的移动机器人视觉导航方法
CN203332108U (zh) * 2013-06-09 2013-12-11 兰州工业学院 一种危险驾驶行为识别装置
CN104129389A (zh) * 2014-08-06 2014-11-05 中电海康集团有限公司 一种有效判别车辆行驶状态的方法及其装置
CN104859563A (zh) * 2015-05-28 2015-08-26 北京汽车股份有限公司 车道偏离预警方法和系统
CN208376628U (zh) * 2018-06-26 2019-01-15 比歪尔科技(深圳)有限公司 一种安全驾驶辅助系统
CN109785667A (zh) * 2019-03-11 2019-05-21 百度在线网络技术(北京)有限公司 车道偏离识别方法、装置、设备和存储介质
CN109866684A (zh) * 2019-03-15 2019-06-11 江西江铃集团新能源汽车有限公司 车道偏离预警方法、系统、可读存储介质及计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Vision-Based Lane Dpearture Detection Using a Stacked Sparse Autoencoder";Zengcai Wang et al.;《Mathematical Problems in Engineering 2018》;20180916;第2018卷;全文 *
"单目视觉的智能电动小车车道线识别与跟踪";叶美松;《中国优秀博硕士学位论文全文数据库(硕士)》;20170715(第07期);第16-63页 *
"车道偏离预警系统关键技术";田鹏;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20160715(第07期);第51-54页 *

Also Published As

Publication number Publication date
CN110610137A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
CN110610137B (zh) 检测车辆行驶状态的方法、装置以及电子设备、存储介质
US8687063B2 (en) Method for predicting lane line and lane departure warning system using the same
CN106774306B (zh) 应用于无人驾驶车辆的启动检测方法、装置和系统
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
CN107392139B (zh) 一种基于霍夫变换的车道线检测方法及终端设备
CN110781768A (zh) 目标对象检测方法和装置、电子设备和介质
CN108549911B (zh) 基于神经网络的驾驶员转向介入识别方法
US20110216202A1 (en) Traffic sign classification system
CN112014845A (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
CN112037521B (zh) 一种车辆类型识别方法以及危化品车辆识别方法
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN112009470B (zh) 车辆行驶控制方法、装置、设备及存储介质
CN115394117B (zh) 一种车辆障碍预警方法及系统
US9600894B2 (en) Image processing apparatus and computer-readable storage medium
KR101236234B1 (ko) 레이저 센서와 카메라를 이용한 차선 인식 시스템
CN108319931A (zh) 一种图像处理方法、装置及终端
CN112794274B (zh) 一种油罐车底部装油口安全监控方法及系统
KR20160063906A (ko) 차량 상태 분석 방법, 이를 구현하는 차량 정보 수집 장치 및 스마트 디바이스
US10783350B2 (en) Method and device for controlling a driver assistance system by using a stereo camera system including a first and a second camera
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN112990117B (zh) 基于智能驾驶系统的安装数据处理方法及装置
TWI408612B (zh) 動態即時相對關係辨識方法與系統
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
CN113255500A (zh) 一种车辆随意变道检测的方法及装置
CN113610033A (zh) 一种双手脱离方向盘监测方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant