CN112819864A - 一种行驶状态检测方法、装置及存储介质 - Google Patents

一种行驶状态检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112819864A
CN112819864A CN202110409001.1A CN202110409001A CN112819864A CN 112819864 A CN112819864 A CN 112819864A CN 202110409001 A CN202110409001 A CN 202110409001A CN 112819864 A CN112819864 A CN 112819864A
Authority
CN
China
Prior art keywords
target
lane line
lane
intercept
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110409001.1A
Other languages
English (en)
Other versions
CN112819864B (zh
Inventor
肖宁
赵晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110409001.1A priority Critical patent/CN112819864B/zh
Publication of CN112819864A publication Critical patent/CN112819864A/zh
Application granted granted Critical
Publication of CN112819864B publication Critical patent/CN112819864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种行驶状态检测方法、装置及存储介质,可应用的领域包括但不限于地图、导航、智慧交通、自动驾驶、车路协同等领域。针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线;对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。

Description

一种行驶状态检测方法、装置及存储介质
技术领域
本发明涉及交通领域,尤其涉及一种行驶状态检测方法、装置及存储介质。
背景技术
目前,包括采用基于惯性传感器(Inertial Measurement Unit ,IMU)计算目标车辆横向位移的方式、或基于目标车辆偏航角的方式、或基于激光雷达和点云的方式,以实现车道跟踪。
基于惯性传感器的横向位移追踪方法具有一定的误差,导致准确率不高,且在弯道场景容易误判;基于目标车辆偏航角的方法需要获取目标车辆方向盘数据和道路数据,过程比较繁琐;基于激光雷达和点云的方式成本太高。
发明内容
本申请提供一种行驶状态检测方法、装置及存储介质,用以简化行驶状态检测过程,提高行驶状态检测的准确性。
第一方面,本申请实施例提供一种行驶状态检测方法,该方法包括:
针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;
基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线;
对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;
基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。
第二方面,本申请实施例提供一种行驶状态检测装置,该装置包括:
获取单元,用于针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;
识别单元,用于基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线;
第一确定单元,对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;
第二确定单元,用于基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。
在一种可能的实现方式中,得到单元通过如下方式确定目标车道线位置信息:
对目标车道线进行逆透视变换,得到目标车道线在图像坐标系下对应的车道线像素坐标集合,将得到的车道线像素坐标集合作为目标车道线在至少一帧车道环境图像中的目标车道线位置信息。
在一种可能的实现方式中,第一确定单元具体用于:
针对至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于目标车道线的车道线位置信息对应的车道线像素坐标集合,选取出一个车道线像素坐标作为参考车道线像素坐标;
基于参考车道线像素坐标,在当前帧车道环境图像中,确定与移动中线垂直的标准线,并将标准线与移动中线的交点坐标作为参考移动中线像素坐标,移动中线是基于当前帧车道环境图像中的目标车辆位置信息确定的,且在当前帧车道环境图像中表征目标车辆的当前移动方向;
基于参考车道线像素坐标和参考移动中线像素坐标,确定目标车辆和目标车道线在当前帧车道环境图像中的截距;
基于针对至少一帧车道环境图像对应的截距,得到目标车道线对应的截距序列。
在一种可能的实现方式中,第一确定单元具体用于:
确定参考车道线像素坐标和参考移动中线像素坐标之间像素点的数量,并将像素点的数量按照扩充系数进行扩充,以及将扩充后得到的目标数据作为目标车辆和目标车道线的截距,其中,扩充系数是基于摄像装置的内外参数确定的;或
基于摄像装置的内外参数,将参考车道线像素坐标和参考移动中线像素坐标,分别转换为车辆坐标系下相应的目标车道线像素坐标和目标参考移动中线像素坐标,并基于目标车道线像素坐标和目标参考移动中线像素坐标,确定目标车辆和目标车道线的截距;
其中,摄像装置为采集至少一帧车道环境图像的采集装置。
在一种可能的实现方式中,第一确定单元具体用于:
针对至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于摄像装置的内外参数,将目标车道线的车道线位置信息对应的车道线像素坐标集合中的至少一条车道线像素坐标,转换到车辆坐标系下,得到相应的目标车道线坐标集合,以及将目标车辆位置信息转换到车辆坐标系下,得到相应的目标车辆坐标;
基于目标车道线坐标集合对目标车道线进行拟合重建,确定车辆坐标系下,用于表征当前帧车道环境图像中的目标车道线的车道线方程;
基于车道线方程以及目标车辆坐标,确定目标车辆和目标车道线的截距;
基于针对至少一帧车道环境图像对应的截距,得到目标车道线对应的截距序列。
在一种可能的实现方式中,第二确定单元具体用于:
在至少一个截距序列中,选取至少一条目标截距序列;
对于至少一条目标截距序列中的一个目标截距序列:若基于一个目标截距序列中包含的连续多个截距的取值,确定目标车辆与一个目标截距序列对应的目标车道线之间的距离为递增,则判定目标车辆远离一个目标截距序列对应的目标车道线;
对于至少一条目标截距序列中的一个目标截距序列:若基于一个目标截距序列中包含的连续多个截距的取值,确定目标车辆与一个目标截距序列对应的目标车道线之间的距离为递减,则判定目标车辆靠近一个目标截距序列对应的目标车道线。
在一种可能的实现方式中,第二确定单元具体用于:
基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列,其中,每个横向位移序列包含的每个横向位移,表征目标车辆的横向移动方向和移动距离;
基于确定的至少一条目标车道线对应的横向位移序列,确定目标车辆的行驶状态。
在一种可能的实现方式中,第二确定单元基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列之前,还用于:
基于目标窗系数对至少一条目标车道线对应的截距序列进行滤波处理,其中目标窗系数是对预设窗函数的窗系数进行归一化处理后确定的。
在一种可能的实现方式中,第二确定单元基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列之前,还用于:
基于缩放系数,对至少一条目标车道线对应的截距序列进行缩放处理,其中,缩放系数是,基于与目标车辆相邻的至少一条目标车道线中,位于目标车辆两侧的相邻的目标车道线各自对应的截距序列,以及目标车辆当前所在车道的车道宽度确定的。
在一种可能的实现方式中,第二确定单元具体用于:
将至少一条目标车道线对应的截距序列进行一阶差分处理,得到至少一条目标车道线对应的横向位移序列。
在一种可能的实现方式中,第二确定单元具体用于:
在至少一条目标车道线对应的横向位移序列中,选取至少一条横向位移序列作为目标横向位移序列;
对于至少一条目标横向位移序列中的一个目标横向位移序列:若一个目标横向位移序列中包含的连续多个横向位移,表征目标车辆的横向移动方向一致,且连续多个横向位移中的一个横向位移的位移值达到第一阈值,则确定目标车辆跨越与横向移动方向同侧的一条相邻的目标车道线;
对于至少一条目标横向位移序列中的一个目标横向位移序列:若一个目标横向位移序列中包含的连续多个横向位移,表征目标车辆的横向移动方向一致,且连续多个横向位移的位移总值达到第二阈值,则确定目标车辆跨越与横向移动方向同侧的一条相邻的目标车道线。
第三方面,本申请实施例提供一种行驶状态检测设备,包括:存储器和处理器,其中,存储器,用于存储计算机指令;处理器,用于执行计算机指令以实现本申请实施例提供的行驶状态检测方法。
第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现本申请实施例提供的行驶状态检测方法。
本申请有益效果如下:
本申请实施例提供一种行驶状态检测方法、装置及存储介质;在本申请实施例中,针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像,基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线;然后确定至少一条目标车道线对应的截距序列,并基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态;在此过程中,不依赖于其他传感器和地图数据,简单易用。且获得目标车道线对应的截距序列时,对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;基于目标车辆位置信息和目标车道线位置信息,可以准确确定出目标车辆与目标车道线之间的截距,以提高基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态的精度;因此本申请实施例对行驶状态检测时,简单易用、成本低、精度高。
本申请的其它特征向量和优点将在随后的说明书中阐述,并且,子模型地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种截距确定的示意图;
图2为一种车辆坐标系的示意图;
图3为一种行驶状态检测系统的装置结构图;
图4为本申请实施例中一种行驶状态检测的方法流程图;
图5为本申请实施例中一种通过摄像装置获取的车道环境图像的示意图;
图6为本申请实施例中一种基于车道环境图像进行车道线识别的结果示意图;
图7为本申请实施例中一种进行逆透视变换后的车道环境图像的示意图;
图8为本申请实施例中一种确定目标车辆与目标车道线之间的截距的方法流程图;
图9为本申请实施例中一种确定参考移动中线像素坐标的示意图;
图10为本申请实施例中另一种确定目标车辆与目标车道线之间的截距的方法流程图;
图11为本申请实施例中一种在车辆坐标系下目标车道线与目标车辆之间的位置关系的示意图;
图12为本申请实施例中一种判定目标车辆靠近或远离目标车道线的示意图;
图13为本申请实施例中另一种判定目标车辆靠近或远离目标车道线的示意图;
图14为本申请实施例中一种确定目标车辆与目标车道线之间的距离示意图;
图15为本申请实施例中另一种确定目标车辆与目标车道线之间的距离示意图;
图16为本申请实施例中一种目标车辆向左车道跨越的示意图;
图17为本申请实施例中一种目标车辆向右车道跨越的示意图;
图18为本申请实施例中一种行驶状态检测的整体方法流程图;
图19为本申请实施例中一种行驶状态检测装置结构图;
图20为本申请实施例中一种计算设备结构图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以下对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
1、人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2、机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
3、智能交通系统(Intelligent Traffic System,ITS)又称智能运输系统(Intelligent Transportation System),是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造,加强车辆、道路、使用者三者之间的联系,从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
4、智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems,IVICS),简称车路协同系统,是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术,全方位实施车车、车路动态实时信息交互,并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理,充分实现人车路的有效协同,保证交通安全,提高通行效率,从而形成的安全、高效和环保的道路交通系统。
5、截距分为横截距和纵截距,横截距是直线与X轴交点的横坐标,纵截距是直线与Y轴交点的纵坐标,截距是一个数且有正负,比如直线方程y=kx+b中,b就是截距,当然截距概念也可以推广到一般的曲线如y=ax2+bx+c中,c就是截距。如图1所示,为本申请实施例中提供的一种截距确定的示意图,在本申请实施例中设车道线为与X轴平行与Y轴垂直的线(y=-2),则截距为当x等于0时,y的取值即截距为-2,在本申请实施例中根据截距可以确定目标车辆与车道线之间的距离,即截距的绝对值,因此可以确定目标车辆与车道线之间的距离为2。
6、车辆坐标系(Vehicle Coordinate System,VCS):车辆坐标系是用来描述车辆运动的特殊三维动坐标系O-xyz;其坐标系原点O相对于车辆位置固定,一般情况下取车辆质心,当车辆在水平路面上处于静止状态,X轴平行于地面指向车辆前方,Y轴指向驾驶员的左侧,Z轴通过车辆质心指向上方,如图2所示为本申请实施例中提供的一种车辆坐标系的示意图。当然图2仅是一种说明,车辆坐标系的建立方式可以有多种,如左手系、右手系,坐标系原点的选择也有多种,如前轴中点、车头中点、后轴中点。
下面对本申请实施例的设计思想进行简要介绍。
本申请实施例给出目标车辆行驶状态检测方法,主要在目标车辆移动过程中对车道进行跟踪。相关技术中,车道跟踪方式包括多种,比如:基于惯性传感器来计算目标车辆的横向位移,从而进行目标车辆的车道跟踪;基于目标车辆偏航角的方法进行目标车辆的车道跟踪;基于激光雷达和点云的方式进行目标车辆的车道跟踪等。
其中,采用基于惯性传感器来计算目标车辆的横向位移,进行目标车辆的车道跟踪的过程中,由于车道宽度在不同场景是不同的,无法简单通过横向位移来准确判断目标车辆当前的行驶状态是否跨越车道。此外,这种方法具有一定的误差,如累计误差、传感器噪声,导致准确率不高,且在弯道场景容易误判,因为在弯道情况下,目标车辆即使保持在同个车道上,惯性传感器也会认为有变道特征,如右转和向右变道传感器的读数相近;
基于目标车辆偏航角的方法需要获取目标车辆方向盘数据、车速信息和道路数据,方向盘数据用来获得目标车辆的转向信息,但是只能在车机上使用,且同样面临车道宽度未知和道路数据误差的问题;
基于激光雷达和点云的方式成本太高,雷达的左右测距在一定程度上也能实现跟踪,即根据雷达获得的三维点云来计算前后帧之间的位置关系,但是这种方案成本较高。
基于上述内容,本申请实施例中提供一种依赖目标车辆中的摄像装置获取车道环境图像,基于获取的车道环境图像中车道线与目标车辆之间的位置关系,进行车道跟踪,且不依赖其他传感器数据的行驶状态检测方法、装置及存储介质,以简化行驶状态检测的过程,降低检测成本,提高检测效率。
在本申请实施例中,针对移动中的目标车辆,获取设定时间段内采集至少一帧车道环境图像;基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线,并对于至少一条目标车道线中的每条车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;基于得到的至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态,无需通过其他传感器,即可对目标车辆进行车道跟踪,确定目标车辆的行驶状态,且根据车道环境图像可以实时检测车辆与至少一条目标车道线之间的位置关系,基于位置关系可以准确的确定出目标车辆的行驶状态,提高检测准确度,且简化检测方式,降低检测成本。
在本申请实施例中,基于得到的至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态,即基于在至少一条截距序列中选取的至少一条目标截距序列,确定目标车辆的行驶状态时,由于截距的绝对值表征了目标车辆与目标车道线之间的距离,因此基于至少一条目标截距序列中的一个目标截距序列,确定一个目标截距序列中的多个连续截距,用于表征目标车辆与一个目标截距序列对应的一条目标车道线之间的距离递减时,则说明目标车辆靠近一条目标车道线;或基于至少一条目标截距序列中的一个目标截距序列,确定一个目标截距序列中的多个连续截距,用于表征目标车辆与一个目标截距序列对应的一条目标车道线之间的距离递增时,则说明目标车辆远离一条目标车道线。
在本申请实施例中,基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态时,将至少一条目标车道线对应的截距序列进行一阶差分处理,得到至少一条目标车道线对应的横向位移序列,其中,每个横向位移序列包含的每个横向位移,表征目标车辆的横向移动方向和移动距离;然后基于确定的至少一条目标车道线对应的横向位移序列,确定目标车辆的行驶状态。横向位移不仅表征在设定时间段内目标车辆沿至少一条目标截距序列对应的目标车道线的横向移动距离,还表征了目标车辆的横向移动方向;因此,当确定至少一条目标横向位移序列,基于至少一条目标横向位移序列中的每一个横向位移,即可确定目标车辆的移动方向,并确定目标车辆向横向位移指示的移动方向同侧的一条相邻的目标车道线靠近;且基于至少一条目标横向位移序列中的连续多个横向位移,确定连续多个横向位移对应的横向移动的方向一致,且连续多个横向位移中的一个横向位移的位移值达到第一阈值,或连续多个横向位移的位移总值达到第二阈值,则说明目标车辆跨越与移动方向同侧的一条相邻的目标车道线。
在本申请实施例中,还可以基于目标截距序列和目标横向位移序列同时确定目标车辆的行驶状态,基于目标截距序列确定连续多个截距先减小后增大,发生增大的突变,且基于目标横向位移序列确定连续多个截距对应的横向位移,且多个横向位移的移动方向一致,则说明目标车辆跨越与移动方向同侧的一条相邻的目标车道线。
在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
本申请实施例提供的一种行驶状态检测方法可以应用到智能车控制技术领域中的智能交通系统和智能车路协同系统、自动驾驶领域和高级辅助驾驶领域,进行目标车辆的自动驾驶车道保持控制,进行车道偏离预警等场景。还可以用在导航领域,对目标车辆在道路上的具体车道进行跟踪,制定特定的导航策略等场景。
在上述应用场景中,主要通过行驶状态检测系统进行行驶状态检测,请参照图3,图3示例性提供了本申请实施例中一种行驶状态检测系统的结构示意图,该行驶状态检测系统30中包括摄像装置31,图像处理装置32以及车道跟踪装置33;
其中,摄像装置31针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像,车道环境图像为在目标车辆移动过程中,设定时间段内针对目标车辆移动前方拍摄的至少一帧图像,比如在目标车辆移动过程中,在设定时间段内,摄像装置31每隔0.01秒采集一次目标车辆前方的图像,因此可连续获取至少一帧车道环境图像;
摄像装置31将至少一帧车道环境图像传输给图像处理装置32,由图像处理装置32对至少一帧车道环境图像进行车道线识别,得到车辆坐标系下与目标车辆相邻的至少一条目标车道线,即确定与目标车辆左侧相邻的目标车道线,与目标车辆右侧相邻的目标车道线中的之一或组合,在本申请实施例中可以直接用车道线位置坐标表征目标车道线,或用车道线方程表征目标车道线;
图像处理装置32将得到的与目标车辆相邻的至少一条目标车道线传输给车道跟踪装置33,由车道跟踪装置33对目标车辆的车道进行跟踪。
其中,车道跟踪装置33中包括截距序列更新单元330、滤波处理单元331、截距缩放单元332以及车道跟踪单元333;
其中,截距序列更新单元330用于基于图像处理装置32传输的与目标车辆相邻的至少一条目标车道线,确定目标车辆与至少一条目标车道线之间的截距,并更新至少一条目标车道线对应的截距序列;
滤波处理单元331,用于对至少一条目标车道线对应的截距序列进行滤波处理;
截距缩放单元332,用于对至少一条目标车道线对应的截距序列进行缩放处理;
车道跟踪单元333,用于基于至少一条目标车道线对应的截距信息进行车道跟踪,检测目标车辆的行驶状态。
需要说明的是,行驶状态检测系统30位于终端设备中,终端设备可为安装于目标车辆的外部设备,比如个人计算机、手机、平板电脑、笔记本、车载终端等计算机设备;也可以为目标车辆内部的某个功能模块。
基于上述应用场景,下面结合上述描述的应用场景,根据附图来描述本申请示例性实施方式提供的行驶状态检测方法,需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。
请参照图4,图4示例性提供了本申请实施例中一种行驶状态检测方法,包括如下步骤:
步骤S400,终端设备针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像。
在本申请实施例中,终端设备中设置有摄像装置,该摄像装置可以为单目摄像头,单目摄像头可以位于目标车辆前挡风玻璃的正中间位置,在目标车辆的移动过程中,通过单目摄像头获取目标车辆前方的车道环境图像;请参考图5,图5示例性提供本申请实施例中一种车道环境图像的示意图,该车道环境图像为单目摄像头实时获取的目标车辆移动前方的红-绿-蓝(Red Green Blue,RGB)图像。
在一种可能的实现方式中,目标车辆移动过程中,通过单目摄像头在设定时间内连续获取车道环境图像,连续获取车道环境图像的时间间隔为预先设定的,比如0.01秒,则每间隔0.01秒通过单目摄像头获取一帧车道环境图像。
步骤S401,终端设备基于获取的至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线。
在目标车辆移动过程中,确定与目标车辆相邻的至少一条目标车道线时,基于至少一帧车道环境图像中的每帧车道环境图像进行车道线识别,确定每帧车道环境图像中与目标车辆相邻的至少一条目标车道线的目标车道线位置信息;然后基于目标车道线位置信息,确定出与目标车辆相邻的至少一条目标车道线。
比如,在每一帧车道环境图像中,确定与目标车辆左侧相邻的一条车道线的车道线位置信息,基于该车道线位置信息,可确定与目标车辆相邻的一条目标车道线,即左侧相邻车道线;以及在每一帧车道环境图像中,确定与目标车辆右侧相邻的一条车道线的车道线位置信息,基于该车道线位置信息,可确定与目标车辆相邻的一条目标车道线,即右侧相邻车道线。
在一种可能的实现方式中,通过如下方式确定至少一条目标车道线的目标车道线位置信息。
将获取的至少一帧车道环境图像分别输入图像处理模型,基于图像处理模型将至少一帧车道环境图像分别进行处理,识别至少一帧车道环境图像中包含的与目标车辆相邻的至少一条目标车道线;请参考图6,如图6示例性提供了本申请实施例中一种基于车道环境图像进行车道线识别的结果示意图。从图6中可知,与目标车辆相邻的至少一条目标车道线中包含有与目标车辆相邻的左侧第一车道线L1、左侧第二车道线L2,以及与目标车辆相邻的右侧第一车道线R1、右侧第二车道线R2。
具体的,图像处理模型可以为空间卷积神经网络(Spatial ConvolutionalNeural Network,SCNN)模型,采用机器学习的方式对至少一帧车道环境图像进行车道线识别,得到如图6所示的示意图。
在另一种可能的实现方式中,也可以采用非机器学习的传统视觉方式从车道环境图像中进行车道线识别,得到如图6所示的示意图。
在得到图6所示的车道线识别结果后,因为图片中存在近大远小的情况,即同样的车道宽度,近处占用更多的像素,远处占用更少的像素,说明一个像素对应的物理空间绝对距离不同,即比例不一样;因此需要进行逆透视变换,逆透视变换为一种投影变换,即把车道线变成一种俯视效果的呈现,并且消除近大远小的比例问题,所有像素都有同样的比例。
将图6的图像进行逆透视变换,也即对至少一条目标车道线进行逆透视变换,得到逆透视变换后的车道环境图像示意图;请参考图7,图7示例性提供本申请实施例中一种逆透视变换后的示意图;
因此,基于图7所示的逆透视变换后的仅包含有与目标车辆相邻的至少一条目标车道线的车道环境示意图,得到至少一条目标车道线,在图像坐标系下对应的至少一个车道线像素坐标集合;将得到的至少一条目标车道线像对应的至少一个车道线像素坐标集合,作为相应的车道环境图像中的至少一条目标车道线对应的目标车道线位置信息。即一个车道环境图像对应至少一条目标车道线,每条目标车道线对应一个车道线像素坐标集合。
在本申请实施例中,在获取的车道环境图像中,确定了与目标车辆相邻的至少一条目标车道线后,针对确定的至少一条目标车道线,分别确定目标车辆与至少一条目标车道线中的每条目标车道线之间的截距,进一步确定至少一条目标车道线对应的截距序列;
比如,确定目标车辆与左侧相邻的目标车道线L之间的截距序列
Figure 636471DEST_PATH_IMAGE001
,确定目标车辆 与右侧相邻的目标车道线R之间的截距序列
Figure DEST_PATH_IMAGE002
中的至少一种。
步骤S402,终端设备对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列。
在本申请实施例中,基于获取的至少一帧车道环境图像中的每帧车道环境图像,在该帧车道环境图像中,确定出与目标车辆的相邻的至少一条目标车道线,及每条目标车道线对应的目标车道线位置信息,以及目标车辆位置信息;然后,基于目标车道线位置信息以及目标车辆位置信息,确定出目标车辆与目标车道线之间的截距。
因此,可以分别确定出获取的至少一帧车道环境图像中目标车道线与目标车辆之间的截距,即每帧车道环境图像中均需要确定出一个与目标车辆左侧相邻的目标车道线L与目标车辆之间的截距,一个与目标车辆右侧相邻的目标车道线R与目标车辆之间的截距中的至少一种;
将至少一帧车道环境图像中与目标车辆左侧相邻的目标车道线L与目标车辆之间 的截距,按照车道环境图像获取时间排列,得到截距序列
Figure 209404DEST_PATH_IMAGE003
; 以及
将至少一帧车道环境图像中与目标车辆右侧相邻的目标车道线R与目标车辆之间 的截距,按照车道环境图像获取时间排列,得到截距序列
Figure DEST_PATH_IMAGE004
其中,车道环境图像获取时间与图像处理模型处理和传递时间相对应,截距序列中第一个截距为获取到的第一帧车道环境图像对应的截距。
下面以至少一帧车道环境图像中的每帧图像,确定一条目标车道线与目标车辆之间的截距为例,对截距的确定方式进行说明。比如,针对一帧车道环境图像,确定与目标车辆左侧相邻的目标车道线L与目标车辆之间的截距。
在本申请实施例中,在针对至少一帧车道环境图像中的每帧车道环境图像,确定目标车辆与目标车道线之间的截距时:可以在当前帧车道环境图像中,基于车道线像素坐标直接确定;还可以在当前帧车道环境图像中,根据目标车道线对应的车道线像素坐标集合对车道线方程进行拟合重建,确定用于表征目标车道线的车道线方程,根据车道线方程确定截距,即基于车道线像素坐标间接确定。
情况A:基于车道线像素坐标直接确定截距。
请参考图8,图8示例性提供本申请实施例中一种确定目标车辆与目标车道线之间的截距的方法流程图,包括如下步骤:
步骤S800,终端设备在当前帧车道环境图像中,基于目标车道线的车道线位置信息对应的车道线像素坐标集合,选取出一个车道线像素坐标作为参考车道线像素坐标。
其中,车道线像素坐标集合的确定方式可以参见步骤S401,在此不再重复。
在一种可能的实现方式中,基于目标车道线的车道线位置信息对应的车道线像素坐标集合,随机选取一个车道线像素坐标作为参考车道线像素坐标;即参考车道线像素坐标可以为,车道线像素坐标集合中的任意一个用于表征当前帧车道环境图像中,目标车道线位置的车道线像素坐标。
步骤S801,终端设备基于参考车道线像素坐标,在当前帧车道环境图像中,确定与移动中线垂直的标准线,并将标准线与移动中线的交点坐标作为参考移动中线像素坐标。
其中,移动中线是基于当前帧车道环境图像中的目标车辆位置信息确定的,且用于在当前帧车道环境图像中,表征目标车辆的当前移动方向;请参考图9,图9示例性提供本申请实施例中一种确定参考移动中线像素坐标的示意图,设当前的车道线为直线,目标车辆向前行驶,由于目标车辆通过摄像装置获取当前帧车道环境图像,目标车辆的中心点与获取的当前帧车道环境图像中心点在同一直线上,因此表征目标车辆在当前帧车道环境图像中的移动方向和位置信息的移动中线,为与车道线平行且过当前帧车道环境图像中心点的直线;标准线为过参考车道线像素坐标且与移动中线垂直的直线;因此基于标准线与移动中线的交点,可以确定参考移动中线像素坐标,参考像移动中线像素坐标为在当前帧车道环境图像中可以用于表征目标车辆的位置信息。
步骤S802,终端设备基于参考车道线像素坐标和参考移动中线像素坐标,确定目标车辆和一条目标车道线在当前帧车道环境图像中的截距。
其中,确定目标车辆和一条目标车道线在当前帧车道环境图像中的截距即确定车辆坐标系下目标车辆和一条目标车道线之间的截距。
因此,需要将参考车道线像素坐标和参考移动中线像素坐标转换到车辆坐标系下,基于转换后的坐标确定截距;或先基于参考车道线像素坐标和参考移动中线像素坐标确定一个相对截距,在将像素坐标下确定的相对距离转换到车辆坐标下的实际截距。
在一种可能的实施方式中,基于参考车道线像素坐标和参考移动中线像素坐标,确定目标车辆和一条目标车道线在当前帧车道环境图像中的截距时,可通过如下方式确定:
方式一:确定参考车道线像素坐标和参考移动中线像素坐标之间像素点的数量,并将像素点的数量按照扩充系数进行扩充,将扩充后得到的目标数据作为目标车辆和一条目标车道线的截距,其中,扩充系数是基于摄像装置的内外参数确定的,摄像装置为采集至少一帧车道环境图像的采集装置;
方式二:基于摄像装置的内外参数,将参考车道线像素坐标和参考移动中线像素坐标,分别转换为车辆坐标系下相应的目标车道线像素坐标和目标参考移动中线像素坐标,并基于目标车道线像素坐标和目标参考移动中线像素坐标,确定目标车辆和一条目标车道线的截距,其中,摄像装置为采集至少一帧车道环境图像的采集装置。
需要说明的是,在本申请实施例中,也可以将像素坐标系下参考车道线像素坐标和参考移动中线像素坐标之间的像素点的数量作为目标车辆与一条目标车道线之间的截距,此时所有的截距都采用像素点数量表示;或者,本申请实施例中,可以确定世界坐标下目标车辆与一条目标车道线之间的截距,此时需要将像素坐标系下的坐标转换到世界坐标系下,然后进一步确定目标车辆与一条目标车道线之间的截距,此时所有的截距都应是在世界坐标系下确定的。
情况B:基于车道线像素坐标间接确定截距。
请参考图10,图10示例性提供本申请实施例中另一种确定目标车辆与一条目标车道线之间的截距的方法流程图,包括如下步骤:
步骤S1000,终端设备在当前帧车道环境图像中,基于摄像装置的内外参数,将一条目标车道线的车道线位置信息对应的车道线像素坐标集合中的至少一条车道线像素坐标,分别转换到车辆坐标系下,得到相应的目标车道线坐标集合,以及将目标车辆位置信息转换到车辆坐标系下,得到相应的目标车辆坐标。
其中,摄像装置为采集至少一帧车道环境图像的采集装置。
步骤S1001,终端设备基于目标车道线坐标集合对目标车道线进行拟合重建,确定车辆坐标系下,用于表征当前帧车道环境图像中的目标车道线的车道线方程。
在对目标车道线进行拟合重建的过程中,需要先设定目标车道线对应的车道线方程的表现形式。设目标车道线对应的车道线方程的表现形式可为2次或者3次多项式,如:
Figure 307851DEST_PATH_IMAGE005
其中,其中a,b,c,d是多项式的拟合系数,无论采用哪种表现形式,将目标车道线坐标集合中的各个目标车道线坐标带入到上述表现形式的方程式中,即可求解出拟合系数a,b,c,d的值,最后将拟合系数a,b,c,d的值带入到上述表现形式的方程式中重建即可确定用于表征当前帧车道环境图像中的目标车道线的车道线方程。
步骤S1002,终端设备基于车道线方程以及目标车辆坐标,确定目标车辆和目标车道线的截距。
请参照图11,图11示例性提供了一种在车辆坐标系下目标车道线与目标车辆之间 的位置关系,从图11中可知:车辆坐标系的x轴正方向为目标车辆行驶前方,y轴正方向为驾 驶员的左侧,坐标原点o在车辆的后轴中心,因此坐标原点为目标车辆位置信息即目标车辆 坐标为(0,0);图11中目标车辆对应的目标车道线分别为与目标车辆左侧相邻的目标车道 线L和与目标车辆右侧相邻的目标车道线;设,图11中的目标车道线L和目标车道线R均采用 车道线方程
Figure DEST_PATH_IMAGE006
的形式表示。
在本申请实施例中,截距为在x=0时的y的取值,因此基于图11可以确定截距为左正右负;截距在物理意义上表示目标车辆与目标车道线之间的距离。因此,根据上述拟合重建确定出的车道线方程,以及目标车辆坐标(0,0)可以确定出目标车辆和目标车道线的截距。也就是说可以确定出目标车辆和目标车道线之间的距离。
通过上述情况A和情况B两种实施方式,可以确定出当前帧车道环境图像对应的目标车辆与目标车道线之间的截距。
因此,基于针对至少一帧车道环境图像对应的截距,得到至少一条目标车道线对应的截距序列。
步骤S403,终端设备基于得到的至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。
在本申请实施例中,目标车辆的行驶状态可以为靠近或远离目标车道线,还可以为跨越目标车道线。
情况一:若检测的行驶状态为靠近或远离目标车道线时,则可以根据至少一个目标截距序列中多个连续截距,确定的目标车辆与目标车道线之间的距离取值确定。
请参考图12,图12示例性提供了本申请实施例中一种靠近或远离目标车道线的示意图。
从图12中可知,目标车辆与目标车道线L和目标车道线R分别对应有截距序列
Figure 234219DEST_PATH_IMAGE003
和截距序列
Figure 642066DEST_PATH_IMAGE004
;其中,
Figure 792425DEST_PATH_IMAGE007
为第一帧车道环境图像对应的目标车辆与左侧相邻的目标车道线L之间的截距,
Figure DEST_PATH_IMAGE008
为第二帧车道环境图像对应的目标车辆与左侧相邻的目标车道线L之间的截距,以 此类推;以及
Figure 92082DEST_PATH_IMAGE009
为第一帧车道环境图像对应的目标车辆与右侧相邻的目标车道线R之 间的截距,
Figure DEST_PATH_IMAGE010
为第二帧车道环境图像对应的目标车辆与右侧相邻的目标车道线R之间 的截距,以此类推。其中,图12中目标车辆对应的截距取值为左正右负。
在本申请实施例中,可以根据截距序列
Figure 87719DEST_PATH_IMAGE001
和截距序列
Figure 84494DEST_PATH_IMAGE002
中的任一截距序列确定 目标车辆的行驶状态,也可以根据两个截距序列共同确定目标车辆的行驶状态。
因此,在至少一个截距序列中,随机选取一个截距序列作目标截距序列,或者,将所有截距序列均作为目标截距序列;
以选取的至少一个目标截距序列中的一个目标截距序列为例,对目标车辆的行驶 状态进行说明。比如,从截距序列中选取截距序列
Figure 405754DEST_PATH_IMAGE001
作为目标截距序列,此时目标截距序 列为
Figure 720936DEST_PATH_IMAGE003
此时,若基于目标截距序列
Figure 926789DEST_PATH_IMAGE003
中的多个连续截距
Figure 778070DEST_PATH_IMAGE011
的取值,确定目标车辆与目标截距序列
Figure 535811DEST_PATH_IMAGE001
对应的目标车道线L之间的 距离为递减,则确定目标车辆远离与目标车辆右侧相邻的目标车道线R,向与目标车辆左侧 相邻的目标车道线L靠近,可参见图12;
反之,若基于目标截距序列
Figure 105332DEST_PATH_IMAGE003
中的多个连续截距
Figure 849298DEST_PATH_IMAGE011
的取值,确定目标车辆与目标截距序列
Figure 322129DEST_PATH_IMAGE001
对应的目标车道线L之间的 距离为递增,则确定目标车辆远离与目标车辆左侧相邻的目标车道线L,向与目标车辆右侧 相邻的目标车道线R靠近。
同理,基于目标截距序列
Figure 985192DEST_PATH_IMAGE004
也可以确定出目标车 辆是靠近还是远离与目标截距序列
Figure 182955DEST_PATH_IMAGE002
对应的目标车道线R,在此不再赘述。
因此,建立的车辆坐标系的y轴正方向为驾驶员的左侧时,当截距序列
Figure 589666DEST_PATH_IMAGE001
、截距序 列
Figure 556485DEST_PATH_IMAGE002
中的至少一个截距序列中的截距取值越来越小时,确定目标车辆远离与目标车辆右 侧相邻的目标车道线R,靠近与目标车辆左侧相邻的目标车道线L;当截距序列
Figure 656028DEST_PATH_IMAGE001
、截距序 列
Figure 433097DEST_PATH_IMAGE002
中的至少一个截距序列中的截距取值越来越大时,确定目标车辆靠近与目标车辆右 侧相邻的目标车道线R,远离与目标车辆左侧相邻的目标车道线L。
在另一种可能的实现方式中,若建立车辆坐标系的y轴正方向为驾驶员的右侧,请 参考图13,图13示例性提供了本申请实施例中另一种靠近或远离一条目标车道线的示意 图。目标车辆与左侧相邻的目标车道线L和右侧相邻的目标车道线R,分别对应有截距序列
Figure 643499DEST_PATH_IMAGE003
和截距序列
Figure 199245DEST_PATH_IMAGE004
;此时截距 为左负有正;
根据截距序列
Figure 735269DEST_PATH_IMAGE001
和截距序列
Figure 501099DEST_PATH_IMAGE002
中的任一截距序列确定目标车辆的行驶状态时, 以选取的至少一个目标截距序列中的一个目标截距序列为例,对目标车辆的行驶状态进行 说明。
比如,从截距序列中选取截距序列
Figure 124979DEST_PATH_IMAGE001
作为目标截距序列,此时目标截距序列为
Figure 692489DEST_PATH_IMAGE003
此时,若基于目标截距序列
Figure 133834DEST_PATH_IMAGE003
中的多个连续截距
Figure 262327DEST_PATH_IMAGE011
的取值,确定目标车辆与截距序列
Figure 80111DEST_PATH_IMAGE001
对应的目标车道线L之间的距离 为递增,则确定目标车辆远离与目标车辆左侧相邻的目标车道线L,靠近与目标车辆右侧相 邻的目标车道线R,可参见图13;
反之,若基于目标截距序列
Figure 469504DEST_PATH_IMAGE003
中的多个连续截距
Figure 957117DEST_PATH_IMAGE011
的取值,确定目标车辆与截距序列
Figure 196075DEST_PATH_IMAGE001
对应的目标车道线L之间的距离 为递减,则确定目标车辆远离与目标车辆左侧右侧相邻的目标车道线R,靠近与目标车辆左 侧相邻的目标车道线L。
同理,基于目标截距序列
Figure 817549DEST_PATH_IMAGE004
也可以确定出目标车 辆是靠近还是远离截距序列
Figure 202394DEST_PATH_IMAGE002
对应的目标车道线R,在此不再赘述。
因此,建立的车辆坐标系的y轴正方向为驾驶员的右侧时,当截距序列
Figure 719963DEST_PATH_IMAGE001
、截距序 列
Figure 947682DEST_PATH_IMAGE002
中的至少一个截距序列中的截距取值越来越大时,确定目标车辆远离与目标车辆右 侧相邻的目标车道线R,靠近与目标车辆左侧相邻的目标车道线L;当截距序列
Figure 982634DEST_PATH_IMAGE001
、截距序 列
Figure 113663DEST_PATH_IMAGE002
中的至少一个截距序列中的截距取值越来越小时,确定目标车辆靠近与目标车辆右 侧相邻的目标车道线R,远离与目标车辆左侧相邻的目标车道线L。
从上述内容可知,本申请实施例在根据截距序列确定目标车辆的行驶状态时,还与建立的车辆坐标系相关,对于下述情况同样适用,不再重复介绍。
情况二:若检测的行驶状态为靠近或远离目标车道线时,则根据目标车辆的横向移动方向确定。
即,基于目标车辆的横向移动方向,确定目标车辆靠近或远离目标车道线;其中,目标车辆的横向移动方向与目标车辆的横向位移相关。
因此,在本申请实施例中,在基于目标车辆的横向位移,确定目标车辆靠近或远离目标车道线时,需要确定目标车辆的横向位移序列,横向位移序列中包含有至少一个横向位移。
在本申请实施例中,基于至少一个截距序列,分别确定至少一个相应的横向位移 序列,即截距序列
Figure 67713DEST_PATH_IMAGE001
对应横向位移序列
Figure DEST_PATH_IMAGE012
,截距序列
Figure 985990DEST_PATH_IMAGE002
对应横向位移序列
Figure 949267DEST_PATH_IMAGE013
具体的,将至少一个截距序列中的每个截距序列分别进行一阶差分处理,分别得到每个截距序列对应的横向位移序列:
Figure DEST_PATH_IMAGE014
Figure 135136DEST_PATH_IMAGE015
因此,横向位移序列
Figure DEST_PATH_IMAGE016
Figure 463349DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
,以此类推;横向位移序列
Figure 993556DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
,以此类推;具体可参考图14,图14示 例性提供了一种确定目标车辆与目标车道线之间的距离示意图。
其中,每个横向位移序列包含的每个横向位移,表征目标车辆的移动方向及移动距离。
在本申请实施例中,由于目标车辆在行驶过程中存在很多变化因素,如车身晃动 (导致摄像头晃动)、车道线被遮挡(如行车和阴影遮挡)等,导致获取的单帧车道环境图像 中的车道线存在一定程度的抖动,为了保证数据的准确性,因此需要对截距序列
Figure 199672DEST_PATH_IMAGE001
Figure 538249DEST_PATH_IMAGE002
进 行平滑滤波。
在一种可能的实现方式中,基于目标窗系数分别对选取的至少一条目标车道线对应的截距序列进行滤波处理,其中目标窗系数是对预设窗函数的窗系数进行归一化处理后确定的。
平滑滤波需要对信号采用一个对称的,且中间高两边低的窗,如汉宁窗,汉明窗、高斯窗。在进行滤波时,需要对窗系数进行归一化,这类窗的特点为中间高两边低,能在对信号进行平滑的同时保持该点的信号特征。具体来说,以汉宁窗为例,汉宁窗的窗系数表示如下:
Figure 834101DEST_PATH_IMAGE021
其中N表示窗口大小,令SUM表示窗口系数的和,有:
Figure DEST_PATH_IMAGE022
对系数
Figure 726971DEST_PATH_IMAGE023
进行归一化处理,得到新系数
Figure DEST_PATH_IMAGE024
Figure 733848DEST_PATH_IMAGE025
一般为了对称且突出当前点,取N为奇数,
Figure 926932DEST_PATH_IMAGE024
即为单峰序列,当
Figure DEST_PATH_IMAGE026
时取 到最大值。对序列
Figure 862527DEST_PATH_IMAGE001
Figure 773851DEST_PATH_IMAGE001
的滤波可以表示如下:
Figure 852928DEST_PATH_IMAGE027
Figure DEST_PATH_IMAGE028
Figure 634939DEST_PATH_IMAGE029
Figure DEST_PATH_IMAGE030
即为滤波后得到的序列。
在本申请实施例中,由于在进行投影变换和坐标系转换的过程中需要用到相机的 内外参数,因此也会存在一定的误差,往往会相差一个倍数,故需要对截距序列
Figure 741435DEST_PATH_IMAGE001
Figure 140055DEST_PATH_IMAGE002
进 行缩放处理,对滤波后的截距序列
Figure 19893DEST_PATH_IMAGE031
Figure 62936DEST_PATH_IMAGE030
进行缩放处理。
在一种可能的实现方式中,基于缩放系数,对至少一条目标车道线对应的截距序列进行缩放处理,其中,缩放系数是基于与目标车辆相邻的至少一条目标车道线中,位于目标车辆两侧的相邻的目标车道线各自对应的截距序列,以及目标车辆当前所在车道的车道宽度确定的。
在本申请实施例中,缩放处理流程如下:
Figure DEST_PATH_IMAGE032
Figure 464967DEST_PATH_IMAGE033
Figure DEST_PATH_IMAGE034
Figure 554146DEST_PATH_IMAGE035
其中,
Figure DEST_PATH_IMAGE036
表示一个取绝对值的运算,
Figure 709446DEST_PATH_IMAGE037
是一个可配置的用于缩放的 参数,表示车道宽度,车道宽度可以是预先设定的,比如车道宽度可取3.5m,3.75m等值,也 可以根据目标车辆与左右两侧目标车道线对应的截距序列确定。
Figure DEST_PATH_IMAGE038
是计算出的一个缩 放系数,
Figure 59525DEST_PATH_IMAGE039
是对
Figure 179927DEST_PATH_IMAGE038
进行一阶滤波后的缩放系数,
Figure DEST_PATH_IMAGE040
Figure 379571DEST_PATH_IMAGE041
为缩放后的结果序列。
需要说明的是,对
Figure 978043DEST_PATH_IMAGE038
进行一阶滤波获得
Figure 120311DEST_PATH_IMAGE039
,将
Figure 536249DEST_PATH_IMAGE039
作为缩放系数的操作步 骤不是必须的,可直接将
Figure 6545DEST_PATH_IMAGE038
作为缩放系数进行缩放处理,且对
Figure 533341DEST_PATH_IMAGE038
进行滤波处理时采用 的滤波方法并不是唯一的,进行滤波处理主要用于保持车道宽度的平稳。
得到
Figure 766001DEST_PATH_IMAGE040
Figure 493786DEST_PATH_IMAGE041
后,对两个序列进行一阶差分运算,得到序列
Figure DEST_PATH_IMAGE042
Figure 903908DEST_PATH_IMAGE043
Figure DEST_PATH_IMAGE044
Figure 437657DEST_PATH_IMAGE045
在本申请实施例中,可以根据横向位移序列
Figure DEST_PATH_IMAGE046
和横向位移序列
Figure 138807DEST_PATH_IMAGE047
中的任一横向 位移序列确定目标车辆的行驶状态,也可以根据两个横向位移序列共同确定目标车辆的行 驶状态。
因此,在至少一个横向位移序列中,随机选取一个横向位移序列作目标横向位移序列,或者,将所有横向位移序列均作为目标横向位移序列。
以选取的至少一个目标横向位移序列中的一个目标横向位移序列为例,对目标车 辆的行驶状态进行说明。比如,从横向位移序列中选取横向位移序列
Figure 37493DEST_PATH_IMAGE046
作为横向位移序 列,此时目标横向位移序列为
Figure 75856DEST_PATH_IMAGE016
此时,若基于目标横向位移序列
Figure 944455DEST_PATH_IMAGE016
中的任一横向 位移,确定目标车辆的移动方向,基于目标车辆的移动方向确定目标车辆是靠近还是远离 目标横向位移序列
Figure 56768DEST_PATH_IMAGE046
对应的目标车道线L;参考图13确定目标车辆靠近目标车道线L,远离 目标车道线R。
图15为本申请实施例提供的另一种确定目标车辆与目标车道线之间的距离示意 图,基于图15确定的目标横向位移序列
Figure 221295DEST_PATH_IMAGE016
中的任一横向位 移,可以确定目标车辆靠近目标车道线R,远离目标车道线L。
同理,基于目标横向位移序列
Figure DEST_PATH_IMAGE048
也可以确定出目 标车辆是靠近还是远离目标车道线R,在此不再赘述。
情况三:若检测行驶状态为跨域目标车道线时,则根据目标车辆的横向移动方向和横向移动位移确定目标车辆是否跨越目标车道线。
在本申请实施例中,基于目标车辆对应的至少一条目标车道线的截距序列,确定 至少一个横向位移序列,即截距序列
Figure 746954DEST_PATH_IMAGE001
对应横向位移序列
Figure 153665DEST_PATH_IMAGE046
,截距序列
Figure 245118DEST_PATH_IMAGE002
对应横向位移 序列
Figure 954448DEST_PATH_IMAGE047
,具体的可参见上述情况二的方式,在此不再赘述。
在本申请实施例中,可以根据横向位移序列
Figure 731517DEST_PATH_IMAGE046
和横向位移序列
Figure 207498DEST_PATH_IMAGE047
中的任一横向 位移序列确定目标车辆的行驶状态,也可以根据两个横向位移序列共同确定目标车辆的行 驶状态。
因此,在至少一个横向位移序列中,随机选取一个横向位移序列作目标横向位移序列,或者,将所有横向位移序列均作为目标横向位移序列。
以选取的至少一个目标横向位移序列中的一个目标横向位移序列为例,对目标车 辆的行驶状态进行说明。比如,从横向位移序列中选取横向位移序列
Figure 887878DEST_PATH_IMAGE046
作为横向位移序 列,此时目标横向位移序列为
Figure 33689DEST_PATH_IMAGE016
基于图14和图15可知,截距和横向位移均为左正右负;当目标车辆在车道内向左 移动时
Figure 799519DEST_PATH_IMAGE001
Figure 315077DEST_PATH_IMAGE002
都在逐渐减小;向右移动时,
Figure 990909DEST_PATH_IMAGE001
Figure 166675DEST_PATH_IMAGE002
都在逐渐增大。
当目标车辆跨越目标车道线L或目标车道线R时,
Figure 419802DEST_PATH_IMAGE046
Figure 112951DEST_PATH_IMAGE047
会有一个突变即
Figure 767924DEST_PATH_IMAGE046
突然 增大或突然减小;或
Figure 613126DEST_PATH_IMAGE047
突然增大或突然减小,因此基于
Figure 619129DEST_PATH_IMAGE046
Figure 584810DEST_PATH_IMAGE047
序列中的任一横向位移可 以确定目标车辆是否跨道;
具体的,当确定
Figure 94289DEST_PATH_IMAGE046
序列中包含的连续多个横向位移,表征目标车辆的横向移动方 向一致,且连续多个横向位移中的一个横向位移的位移值达到第一阈值,则确定目标车辆 跨越与横向移动方向同侧的一条相邻的目标车道线;
比如,确定
Figure 143017DEST_PATH_IMAGE046
序列中包含的连续多个横向位移,表征目标车辆向左移动,即靠近 与目标车辆左侧相邻的目标车道线,此时当连续多个横向位移中的一个横向位移的位移值 达到第一阈值时,则确定目标车辆跨越与目标车辆左侧相邻的目标车道线L;
确定
Figure 246102DEST_PATH_IMAGE046
序列中包含的连续多个横向位移,表征目标车辆向右移动,即靠近与目标 车辆右侧相邻的目标车道线,此时当连续多个横向位移中的一个横向位移的位移值达到第 一阈值时,则确定目标车辆跨越与目标车辆右侧相邻的目标车道线R;
同理,基于
Figure 641573DEST_PATH_IMAGE047
序列也可以确定出目标车辆是跨越左侧相邻的目标车道线L,还是 跨越右侧相邻的目标车道线R。
在本申请实施例中,还会存在一种特殊情况,目标车辆缓慢变道,比如目标车辆逐渐向左侧相邻车道靠近,或逐渐向右侧相邻车道靠近,因此,可以基于横向位移的积分确定;
在一种可能的实现方式中,对至少一个横向位移序列中的每个横向位移序列,分 别进行一次小窗口的局部积分,分别得到每个横向位移序列对应的积分序列
Figure 271138DEST_PATH_IMAGE049
Figure DEST_PATH_IMAGE050
Figure 428450DEST_PATH_IMAGE051
Figure DEST_PATH_IMAGE052
其中,M表示积分的窗口大小,
Figure 612306DEST_PATH_IMAGE049
表示目标车辆向左侧移动的位移总和,
Figure 542960DEST_PATH_IMAGE050
表 示目标车辆向右侧移动的位移总和。
在本申请实施例中,若一个目标横向位移序列中包含的连续多个横向位移,表征目标车辆的横向移动方向一致,且连续多个横向位移的位移总值达到第二阈值,则确定目标车辆跨越与横向移动方向同侧的一条相邻的目标车道线;
比如,若确定
Figure 27031DEST_PATH_IMAGE046
序列中包含的连续多个横向位移,表征目标车辆向左移动,即靠 近与目标车辆左侧相邻的目标车道线,此时当连续多个横向位移的位移总和
Figure 886402DEST_PATH_IMAGE049
达到第二 阈值时,则确定目标车辆跨越与目标车辆左侧相邻的目标车道线L;若确定
Figure 823134DEST_PATH_IMAGE047
序列中包含 的连续多个横向位移,表征目标车辆向右移动,即靠近与目标车辆右侧相邻的目标车道线, 此时当连续多个横向位移的位移总和
Figure 199889DEST_PATH_IMAGE050
达到第二阈值时,则确定目标车辆跨越与目标车 辆右侧相邻的目标车道线R;需要说明的是,此处基于相同思想可以衍生出多种确定方式, 在此不再一一列举。
请参考图16,图16示例性提供了本申请实施例中一种目标车辆向左车道跨越的示意图;
请参考图17,图17示例性提供了本申请实施例中一种目标车辆向右车道跨越的示意图。
请参照图18,图18示例性提供本申请实施例中一种行驶状态检测方法整体流程图,包括如下步骤:
步骤S1800,在目标车辆移动过程中,终端设备通过单目摄像头,获取设定时间段内,采集的至少一帧目标车辆移动前方的车道环境图像;
步骤S1801,终端设备基于图像处理模型检测,对至少一帧车道环境图像中进行车道线识别,得到与目标车辆相邻的至少一条目标车道线,并识别至少一条目标车道线中每条目标车道线各自对应的车道线像素坐标集合;
步骤S1802,终端设备将至少一条目标车道线对应的车道线像素坐标集合中的各个车道线像素坐标,转换到车辆坐标系下,确定至少一条目标车道线对应的目标车道线坐标集合;
步骤S1803,终端设备基于预设的车道线方程表现形式和至少一条目标车道线对应的目标车道线坐标集合,分别拟合重建用于表征一帧车道环境图像对应的至少一条目标车道线的车道线方程;
步骤S1804,终端设备基于至少一条目标车道线的车道线方程和目标车辆在车辆坐标系下的位置,分别确定目标车辆与至少一条目标车道线的之间的截距;
步骤S1805,终端设备基于至少一帧车道环境图像对应的目标车辆与至少一条目标车道线的之间的截距,分别确定至少一条目标车道线对应的截距序列;
步骤S1806,终端设备基于得到的至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。
需要说明的是,图18所描述的仅是本申请实施例中一种可实现的实施方式,但不是唯一的实现方式,其他实现方式可根据上述描述的内容单独确定,原理类似,在此不再赘述。
本申请实施例提供的行驶状态检测方法,针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像,基于至少一帧车道环境图像识别车道环境图像中包含的与目标车辆相邻的至少一条目标车道线;针对目标车辆的至少一条目标车道线,分别确定目标车道线对应的截距序列,之后基于在得到的至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态;本申请实施例中不依赖其他传感器数据,且不需要地图数据作为支撑,简单易用、成本低且精度高。
基于同一发明构思,本申请实施例还提供了一种行驶状态检测装置1900,请参照图19,图19示例性提供了本申请实施例中一种该装置包括:
获取单元1901,用于针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;
识别单元1902,用于基于至少一帧车道环境图像进行车道线识别,得到与目标车辆相邻的至少一条目标车道线;
第一确定单元1903,对于至少一条目标车道线中的每条目标车道线:基于目标车辆在至少一帧车道环境图像中的目标车辆位置信息,以及目标车道线在至少一帧车道环境图像中的目标车道线位置信息,确定目标车辆和目标车道线在至少一帧车道环境图像中的截距,得到目标车道线对应的截距序列;
第二确定单元1904,用于基于至少一条目标车道线对应的截距序列,确定目标车辆的行驶状态。
在一种可能的实现方式中,得到单元通过如下方式确定目标车道线位置信息:
对目标车道线进行逆透视变换,得到目标车道线在图像坐标系下对应的车道线像素坐标集合,将得到的车道线像素坐标集合作为目标车道线在至少一帧车道环境图像中的目标车道线位置信息。
在一种可能的实现方式中,第一确定单元1903具体用于:
针对至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于所述目标车道线的车道线位置信息对应的车道线像素坐标集合,选取出一个车道线像素坐标作为参考车道线像素坐标;
基于所述参考车道线像素坐标,在所述当前帧车道环境图像中,确定与移动中线垂直的标准线,并将所述标准线与所述移动中线的交点坐标作为参考移动中线像素坐标,所述移动中线是基于所述当前帧车道环境图像中的目标车辆位置信息确定的,且在所述当前帧车道环境图像中表征所述目标车辆的当前移动方向;
基于所述参考车道线像素坐标和所述参考移动中线像素坐标,确定所述目标车辆和所述目标车道线在所述当前帧车道环境图像中的截距;
基于针对至少一帧车道环境图像对应的截距,得到目标车道线对应的截距序列。
在一种可能的实现方式中,第一确定单元1903具体用于:
确定参考车道线像素坐标和参考移动中线像素坐标之间像素点的数量,并将像素点的数量按照扩充系数进行扩充,以及将扩充后得到的目标数据作为目标车辆和目标车道线的截距,其中,扩充系数是基于摄像装置的内外参数确定的;或
基于摄像装置的内外参数,将参考车道线像素坐标和参考移动中线像素坐标,分别转换为车辆坐标系下相应的目标车道线像素坐标和目标参考移动中线像素坐标,并基于目标车道线像素坐标和目标参考移动中线像素坐标,确定目标车辆和目标车道线的截距;
其中,摄像装置为采集至少一帧车道环境图像的采集装置。
在一种可能的实现方式中,第一确定单元1903具体用于:
针对至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于摄像装置的内外参数,将目标车道线的车道线位置信息对应的车道线像素坐标集合中的至少一条车道线像素坐标,转换到车辆坐标系下,得到相应的目标车道线坐标集合,以及将目标车辆位置信息转换到车辆坐标系下,得到相应的目标车辆坐标;
基于目标车道线坐标集合对目标车道线进行拟合重建,确定车辆坐标系下,用于表征当前帧车道环境图像中的目标车道线的车道线方程;
基于车道线方程以及目标车辆坐标,确定目标车辆和目标车道线的截距;
基于针对至少一帧车道环境图像对应的截距,得到目标车道线对应的截距序列。
在一种可能的实现方式中,第二确定单元1904具体用于:
在至少一条截距序列中,选取至少一条目标截距序列;
对于至少一条目标截距序列中的一个目标截距序列:若基于一个目标截距序列中包含的连续多个截距的取值,确定目标车辆与一个目标截距序列对应的目标车道线之间的距离为递增,则判定目标车辆远离一个目标截距序列对应的目标车道线;
对于至少一条目标截距序列中的一个目标截距序列:若基于一个目标截距序列中包含的连续多个截距的取值,确定目标车辆与一个目标截距序列对应的目标车道线之间的距离为递减,则判定目标车辆靠近一个目标截距序列对应的目标车道线。
在一种可能的实现方式中,第二确定单元1904具体用于:
基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列,其中,每个横向位移序列包含的每个横向位移,表征目标车辆的横向移动方向和移动距离;
基于确定的至少一条目标车道线对应的横向位移序列,确定目标车辆的行驶状态。
在一种可能的实现方式中,第二确定单元1904基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列之前,还用于:
基于目标窗系数对至少一条目标车道线对应的截距序列进行滤波处理,其中目标窗系数是对预设窗函数的窗系数进行归一化处理后确定的。
在一种可能的实现方式中,第二确定单元1904基于至少一条目标车道线对应的截距序列,确定至少一条目标车道线对应的横向位移序列之前,还用于:
基于缩放系数,对至少一条目标车道线对应的截距序列进行缩放处理,其中,缩放系数是,基于与目标车辆相邻的至少一条目标车道线中,位于目标车辆两侧的相邻的目标车道线各自对应的截距序列,以及目标车辆当前所在车道的车道宽度确定的。
在一种可能的实现方式中,第二确定单元1904具体用于:
将至少一条目标车道线对应的截距序列进行一阶差分处理,得到至少一条目标车道线对应的横向位移序列。
在一种可能的实现方式中,第二确定单元1904具体用于:
在至少一条目标车道线对应的横向位移序列中,选取至少一条横向位移序列作为目标横向位移序列;
对于至少一条目标横向位移序列中的一个目标横向位移序列:若一个目标横向位移序列中包含的连续多个横向位移,表征目标车辆的横向移动方向一致,且连续多个横向位移中的一个横向位移的位移值达到第一阈值,则确定目标车辆跨越与横向移动方向同侧的一条相邻的目标车道线;
对于至少一条目标横向位移序列中的一个目标横向位移序列:若一个目标横向位移序列中包含的连续多个横向位移,表征目标车辆的横向移动方向一致,且连续多个横向位移的位移总值达到第二阈值,则确定目标车辆跨越与横向移动方向同侧的一条相邻的目标车道线。
在介绍了本申请示例性实施方式的行驶状态检测的方法及装置后,接下来介绍本申请的另一示例性实施方式的行驶状态检测的计算设备。
所属技术领域的技术人员能够理解,本申请的各个方面可以实现为系统、方法或程序产品。因此,本申请的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一种可能的实现方式中,本申请实施例提供的行驶状态检测计算设备可以至少包括处理器和存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本申请中各种示例性实施方式的行驶状态检测方法中的任一步骤。
下面参照图20来描述根据本申请的这种实施方式的行驶状态检测计算设备2000。如图20的行驶状态检测计算设备2000仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图20所示,计算设备2000的子模型可以包括但不限于:上述至少一个处理器2001、上述至少一个存储器2002、连接不同系统子模型(包括存储器2002和处理器2001)的总线2003。
总线2003表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器2002可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)20021和/或高速缓存存储器20022,还可以进一步包括只读存储器(ROM)20023。
存储器2002还可以包括具有一组(至少一个)程序模块20024的程序/实用工具20025,这样的程序模块20024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备2000也可以与一个或多个外部设备2004(例如键盘、指向设备等)通信,还可与一个或者多个使得用户能与计算设备2000交互的设备通信,和/或与使得该计算设备2000能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口2005进行。并且,计算设备2000还可以通过网络适配器2006与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图20所示,网络适配器2006通过总线2003与用于计算设备2000的其它模块通信。应当理解,尽管图20中未示出,可以结合计算设备2000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在一些可能的实施方式中,本申请提供的行驶状态检测的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在计算机设备上运行时,程序代码用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的行驶状态检测的方法中的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的短信息的发送控制的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算装置上运行。
可读信号介质可以包括在基带中或者作为载波一子模型传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两种或更多单元的特征向量和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征向量和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种行驶状态检测方法,其特征在于,该方法包括:
针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;
基于所述至少一帧车道环境图像进行车道线识别,得到与所述目标车辆相邻的至少一条目标车道线;
对于所述至少一条目标车道线中的每条目标车道线:基于所述目标车辆在所述至少一帧车道环境图像中的目标车辆位置信息,以及所述目标车道线在所述至少一帧车道环境图像中的目标车道线位置信息,确定所述目标车辆和所述目标车道线在所述至少一帧车道环境图像中的截距,得到所述目标车道线对应的截距序列;
基于所述至少一条目标车道线对应的截距序列,确定所述目标车辆的行驶状态。
2.如权利要求1所述的方法,其特征在于,所述目标车道线位置信息是通过如下方式确定的:
对所述目标车道线进行逆透视变换,得到所述目标车道线在图像坐标系下对应的车道线像素坐标集合,将得到的所述车道线像素坐标集合作为所述目标车道线在所述至少一帧车道环境图像中的目标车道线位置信息。
3.如权利要求2所述的方法,其特征在于,所述基于所述目标车辆在所述至少一帧车道环境图像中的目标车辆位置信息,以及所述目标车道线在所述至少一帧车道环境图像中的目标车道线位置信息,确定所述目标车辆和所述目标车道线在所述至少一帧车道环境图像中的截距,得到所述目标车道线对应的截距序列,具体包括:
针对所述至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于所述目标车道线的车道线位置信息对应的车道线像素坐标集合,选取出一个车道线像素坐标作为参考车道线像素坐标;
基于所述参考车道线像素坐标,在所述当前帧车道环境图像中,确定与移动中线垂直的标准线,并将所述标准线与所述移动中线的交点坐标作为参考移动中线像素坐标,所述移动中线是基于所述当前帧车道环境图像中的目标车辆位置信息确定的,且在所述当前帧车道环境图像中表征所述目标车辆的当前移动方向;
基于所述参考车道线像素坐标和所述参考移动中线像素坐标,确定所述目标车辆和所述目标车道线在所述当前帧车道环境图像中的截距;
基于针对所述至少一帧车道环境图像对应的截距,得到所述目标车道线对应的截距序列。
4.如权利要求3所述的方法,其特征在于,基于所述参考车道线像素坐标和所述参考移动中线像素坐标,确定所述目标车辆和所述目标车道线在所述当前帧车道环境图像中的截距,包括:
确定所述参考车道线像素坐标和所述参考移动中线像素坐标之间像素点的数量,并将所述像素点的数量按照扩充系数进行扩充,以及将扩充后得到的目标数据作为所述目标车辆和所述目标车道线的截距,其中,所述扩充系数是基于摄像装置的内外参数确定的;或
基于所述摄像装置的内外参数,将所述参考车道线像素坐标和所述参考移动中线像素坐标,分别转换为车辆坐标系下相应的目标车道线像素坐标和目标参考移动中线像素坐标,并基于所述目标车道线像素坐标和所述目标参考移动中线像素坐标,确定所述目标车辆和所述目标车道线的截距;
其中,所述摄像装置为采集所述至少一帧车道环境图像的采集装置。
5.如权利要求2所述的方法,其特征在于,所述基于所述目标车辆在所述至少一帧车道环境图像中的目标车辆位置信息,以及所述目标车道线在所述至少一帧车道环境图像中的目标车道线位置信息,确定所述目标车辆和所述目标车道线在所述至少一帧车道环境图像中的截距,得到所述目标车道线对应的截距序列,具体包括:
针对所述至少一帧车道环境图像中的每帧图像,分别执行以下操作:
在当前帧车道环境图像中,基于摄像装置的内外参数,将所述目标车道线的车道线位置信息对应的车道线像素坐标集合中的至少一条车道线像素坐标,转换到车辆坐标系下,得到相应的目标车道线坐标集合,以及将所述目标车辆位置信息转换到所述车辆坐标系下,得到相应的目标车辆坐标;
基于所述目标车道线坐标集合对所述目标车道线进行拟合重建,确定所述车辆坐标系下,用于表征所述当前帧车道环境图像中的所述目标车道线的车道线方程;
基于所述车道线方程以及所述目标车辆坐标,确定所述目标车辆和所述目标车道线的截距;
基于针对所述至少一帧车道环境图像对应的截距,得到所述目标车道线对应的截距序列。
6.如权利要求1-5任一所述的方法,其特征在于,所述基于所述至少一条目标车道线对应的截距序列,确定所述目标车辆的行驶状态,包括:
在所述至少一条截距序列中,选取至少一条目标截距序列;
对于所述至少一条目标截距序列中的一个目标截距序列:若基于所述一个目标截距序列中包含的连续多个截距的取值,确定所述目标车辆与所述一个目标截距序列对应的目标车道线之间的距离为递增,则判定所述目标车辆远离所述一个目标截距序列对应的目标车道线;或
对于所述至少一条目标截距序列中的一个目标截距序列:若基于所述一个目标截距序列中包含的连续多个截距的取值,确定所述目标车辆与所述一个目标截距序列对应的目标车道线之间的距离为递减,则判定所述目标车辆靠近所述一个目标截距序列对应的目标车道线。
7.如权利要求1-5任一所述的方法,其特征在于,所述基于所述至少一条目标车道线对应的截距序列,确定所述目标车辆的行驶状态,包括:
基于所述至少一条目标车道线对应的截距序列,确定所述至少一条目标车道线对应的横向位移序列,其中,每个所述横向位移序列包含的每个横向位移,表征所述目标车辆的横向移动方向和移动距离;
基于确定的所述至少一条目标车道线对应的横向位移序列,确定所述目标车辆的行驶状态。
8.如权利要求7所述的方法,其特征在于,所述基于所述至少一条目标车道线对应的截距序列,确定所述至少一条目标车道线对应的横向位移序列之前,还包括:
基于目标窗系数对所述至少一条目标车道线对应的截距序列进行滤波处理,其中所述目标窗系数是对预设窗函数的窗系数进行归一化处理后确定的。
9.如权利要求7所述的方法,其特征在于,所述基于所述至少一条目标车道线对应的截距序列,确定所述至少一条目标车道线对应的横向位移序列之前,还包括:
基于缩放系数,对所述至少一条目标车道线对应的截距序列进行缩放处理,其中,所述缩放系数是,基于与所述目标车辆相邻的至少一条目标车道线中,位于所述目标车辆两侧的相邻的目标车道线各自对应的截距序列,以及所述目标车辆当前所在车道的车道宽度确定的。
10.如权利要求7所述的方法,其特征在于,所述基于所述至少一条目标车道线对应的截距序列,确定所述至少一条目标车道线对应的横向位移序列,包括:
将所述至少一条目标车道线对应的截距序列进行一阶差分处理,得到所述至少一条目标车道线对应的横向位移序列。
11.如权利要求7所述的方法,其特征在于,所述基于确定的所述至少一条目标车道线对应的横向位移序列,确定所述目标车辆的行驶状态,具体包括:
在所述至少一条目标车道线对应的横向位移序列中,选取至少一条横向位移序列作为目标横向位移序列;
对于所述至少一条目标横向位移序列中的一个目标横向位移序列:若所述一个目标横向位移序列中包含的连续多个横向位移,表征所述目标车辆的横向移动方向一致,且所述连续多个横向位移中的一个横向位移的位移值达到第一阈值,则确定所述目标车辆跨越与所述横向移动方向同侧的一条相邻的目标车道线;
对于所述至少一条目标横向位移序列中的一个目标横向位移序列:若所述一个目标横向位移序列中包含的连续多个横向位移,表征所述目标车辆的横向移动方向一致,且所述连续多个横向位移的位移总值达到第二阈值,则确定所述目标车辆跨越与所述横向移动方向同侧的一条相邻的目标车道线。
12.一种行驶状态检测装置,其特征在于,该装置包括:
获取单元,用于针对移动中的目标车辆,获取设定时间段内采集的至少一帧车道环境图像;
识别单元,用于基于所述至少一帧车道环境图像进行车道线识别,得到与所述目标车辆相邻的至少一条目标车道线;
第一确定单元,对于所述至少一条目标车道线中的每条目标车道线:基于所述目标车辆在所述至少一帧车道环境图像中的目标车辆位置信息,以及所述目标车道线在所述至少一帧车道环境图像中的目标车道线位置信息,确定所述目标车辆和所述目标车道线在所述至少一帧车道环境图像中的截距,得到所述目标车道线对应的截距序列;
第二确定单元,用于基于所述至少一条目标车道线对应的截距序列,确定所述目标车辆的行驶状态。
13.如权利要求12所述的装置,其特征在于,所述确定单元,具体用于:
基于所述至少一条目标车道线对应的截距序列,确定所述至少一条目标车道线对应的横向位移序列,其中,每个所述横向位移序列包含的每个横向位移,表征所述目标车辆的横向移动方向和移动距离;
基于确定的所述至少一条目标车道线对应的横向位移序列,确定所述目标车辆的行驶状态。
14.一种行驶状态检测设备,其特征在于,该设备包括:存储器和处理器,其中,存储器,用于存储计算机指令;处理器,用于执行计算机指令以实现如权利要求1-11任一所述的方法。
15.一种计算机可读存储介质,其特征在于,计算机可读存储介质存储有计算机指令,计算机指令被处理器执行时实现如权利要求1-11任一所述的方法。
CN202110409001.1A 2021-04-16 2021-04-16 一种行驶状态检测方法、装置及存储介质 Active CN112819864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110409001.1A CN112819864B (zh) 2021-04-16 2021-04-16 一种行驶状态检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110409001.1A CN112819864B (zh) 2021-04-16 2021-04-16 一种行驶状态检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112819864A true CN112819864A (zh) 2021-05-18
CN112819864B CN112819864B (zh) 2021-08-17

Family

ID=75863617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110409001.1A Active CN112819864B (zh) 2021-04-16 2021-04-16 一种行驶状态检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112819864B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113895462A (zh) * 2021-11-19 2022-01-07 天津天瞳威势电子科技有限公司 预测车辆换道的方法、装置、计算设备及存储介质
CN115240426A (zh) * 2022-07-26 2022-10-25 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN116238524A (zh) * 2023-03-27 2023-06-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308056A (zh) * 2013-05-23 2013-09-18 中国科学院自动化研究所 一种道路标线检测方法
CN109131325A (zh) * 2018-08-15 2019-01-04 江苏大学 智能驾驶汽车的三维可拓预瞄切换的车道保持控制方法
CN110163039A (zh) * 2018-03-15 2019-08-23 北京航空航天大学 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN111605555A (zh) * 2020-05-15 2020-09-01 腾讯科技(深圳)有限公司 车辆驾驶策略的推荐方法、装置、介质及电子设备
CN112406884A (zh) * 2019-08-20 2021-02-26 北京地平线机器人技术研发有限公司 车辆行驶状态的识别方法和装置、存储介质、电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103308056A (zh) * 2013-05-23 2013-09-18 中国科学院自动化研究所 一种道路标线检测方法
CN110163039A (zh) * 2018-03-15 2019-08-23 北京航空航天大学 判定车辆行驶状态的方法、设备、存储介质以及处理器
CN109131325A (zh) * 2018-08-15 2019-01-04 江苏大学 智能驾驶汽车的三维可拓预瞄切换的车道保持控制方法
CN112406884A (zh) * 2019-08-20 2021-02-26 北京地平线机器人技术研发有限公司 车辆行驶状态的识别方法和装置、存储介质、电子设备
CN111605555A (zh) * 2020-05-15 2020-09-01 腾讯科技(深圳)有限公司 车辆驾驶策略的推荐方法、装置、介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张宇 等: "一种基于国家统一坐标成果进行边长缩放建立独立坐标系的方法", 《陕西水利》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113895462A (zh) * 2021-11-19 2022-01-07 天津天瞳威势电子科技有限公司 预测车辆换道的方法、装置、计算设备及存储介质
CN115240426A (zh) * 2022-07-26 2022-10-25 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN115240426B (zh) * 2022-07-26 2024-03-26 东软睿驰汽车技术(沈阳)有限公司 一种变道数据的自动定位方法、装置、设备及存储介质
CN116238524A (zh) * 2023-03-27 2023-06-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统
CN116238524B (zh) * 2023-03-27 2024-02-09 宁波斯年智驾科技有限公司 基于高精地图与车辆历史轨迹的驾驶行为判别方法及系统

Also Published As

Publication number Publication date
CN112819864B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN112819864B (zh) 一种行驶状态检测方法、装置及存储介质
KR102335389B1 (ko) 자율 주행 차량의 lidar 위치 추정을 위한 심층 학습 기반 특징 추출
JP7245275B2 (ja) 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
KR102350181B1 (ko) 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
US20210373161A1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
EP4152204A1 (en) Lane line detection method, and related apparatus
CN112560580B (zh) 障碍物识别方法、装置、系统、存储介质和电子设备
CN111582189A (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN112528807B (zh) 行驶轨迹的预测方法、装置、电子设备及存储介质
CN115342796A (zh) 基于视觉激光融合的地图构建方法、系统、装置及介质
CN114882457A (zh) 一种模型的训练方法、车道线的检测方法及设备
Kumar et al. Vision-based outdoor navigation of self-driving car using lane detection
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN112654998B (zh) 一种车道线检测方法和装置
Wang et al. Lane detection algorithm based on temporal–spatial information matching and fusion
Manoharan et al. Survey on various lane and driver detection techniques based on image processing for hilly terrain
CN116189150A (zh) 基于融合输出的单目3d目标检测方法、装置、设备和介质
US20220237402A1 (en) Static occupancy tracking
CN109683613A (zh) 一种用于确定车辆的辅助控制信息的方法与设备
US20220245831A1 (en) Speed estimation systems and methods without camera calibration
CN107452230A (zh) 一种障碍物检测方法、装置、终端设备及存储介质
CN109657628A (zh) 一种用于确定车辆的可行驶区域的方法与设备
CN113581168B (zh) 一种基于人工智能的不良视距弯道会车安全方法及系统
CN117437306B (zh) 一种摄像头的标定方法、装置、设备及介质
EP4224361A1 (en) Lane line detection method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40044411

Country of ref document: HK