CN111174796A - 一种基于单灭点的导航方法、电子设备和存储介质 - Google Patents
一种基于单灭点的导航方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111174796A CN111174796A CN201911424859.4A CN201911424859A CN111174796A CN 111174796 A CN111174796 A CN 111174796A CN 201911424859 A CN201911424859 A CN 201911424859A CN 111174796 A CN111174796 A CN 111174796A
- Authority
- CN
- China
- Prior art keywords
- vanishing point
- image
- vehicle
- control information
- vehicle control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本公开实施例涉及一种基于单灭点的导航方法、电子设备和存储介质,其中,导航方法包括:获取图像;检测所述图像中的灭点位置;基于所述灭点位置确定车辆控制信息;基于所述车辆控制信息控制车辆行驶。本公开实施例中,通过检测图像中的灭点位置,进而确定车辆控制信息,从而控制车辆行驶,无需依赖高精度地图、道路信息和车道线信息,适应更多场景。
Description
技术领域
本公开实施例涉及智能驾驶技术领域,具体涉及一种基于单灭点的导航方法、电子设备和存储介质。
背景技术
目前,智能驾驶领域中,导航方式主要分为两类:一类是基于高精度地图(HD-Map)的导航;另一类是相对导航(relativenavigation)。其中,基于高精度地图的导航至少存在如下问题:1、建图成本高,无法规模化扩大,并且当环境发生变化时,需要补图,造成资源浪费;2、定位时依赖视觉传感器和雷达的融合数据的准确性,对视觉传感器和雷达的标定和校准要求较高。3、对于特殊场景,例如机场、隧道等特征点少的场景,定位准确性较低。而相对导航主要采用车道线定位、模仿学习、追踪等方式导航,虽然不依赖高精度地图,但至少存在如下问题:1、对于特殊场景,例如堵车等车流量较高的场景,车道线定位易失效,且纵向里程难以计算。2、模仿学习需要专家行驶的先验信息,仅适用于园区、固定线路等场景,适用场景受限,无法用于未知道路。3、追踪导航在当前道路无前车时无法使用。
上述对问题的发现过程的描述,仅用于辅助理解本公开的技术方案,并不代表承认上述内容是现有技术。
发明内容
为了解决现有技术存在的至少一个问题,本公开的至少一个实施例提供了一种基于单灭点的导航方法、电子设备和存储介质。
第一方面,本公开实施例提出一种基于单灭点的导航方法,所述方法包括:
获取图像;
检测所述图像中的灭点位置;
基于所述灭点位置确定车辆控制信息;
基于所述车辆控制信息控制车辆行驶。
第二方面,本公开实施例还提出一种电子设备,包括:处理器和存储器;所述处理器通过调用所述存储器存储的程序或指令,用于执行如第一方面所述方法的步骤。
第三方面,本公开实施例还提出一种非暂态计算机可读存储介质,用于存储程序或指令,所述程序或指令使计算机执行如第一方面所述方法的步骤。
可见,本公开的至少一个实施例中,通过检测图像中的灭点位置,进而确定车辆控制信息,从而控制车辆行驶,无需依赖高精度地图、道路信息和车道线信息,适应更多场景。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种智能驾驶车辆的示例性架构图;
图2是本公开实施例提供的一种智能驾驶系统的示例性框图;
图3是本公开实施例提供的一种导航模块的示例性框图;
图4是本公开实施例提供的一种电子设备的示例性框图;
图5是本公开实施例提供的一种基于单灭点的导航方法的示例性流程图;
图6本公开实施例提供的一种分割网络的示例性结构图;
图7是本公开实施例提供的一种多层图像分割结果的示意图;
图8是本公开实施例提供的一种图像中灭点检测的流程示例图;
图9A是本公开实施例提供的一种消失点X轴坐标的变化示意图;
图9B是本公开实施例提供的一种方向盘转角的变化示意图;
图10是本公开实施例提供的一种灭点X轴坐标与方向盘转角的对应关系示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。基于所描述的本公开的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本公开实施例提供了一种基于单灭点的导航方法、电子设备或存储介质,通过检测图像中的灭点位置,进而确定车辆控制信息,从而控制车辆行驶,无需依赖高精度地图、道路信息和车道线信息,适应更多场景,可以应用于智能驾驶车辆,还可以应用于电子设备。所述智能驾驶车辆为搭载不同等级智能驾驶系统的车辆,智能驾驶系统例如包括:无人驾驶系统、辅助驾驶系统、驾驶辅助系统、高度自动驾驶系统、完全自动驾驶车辆等等。所述电子设备安装有智能驾驶系统,例如电子设备可用于测试智能驾驶算法,又例如电子设备可以为车载设备,在一些实施例中,电子设备还可以应用到其他领域。应当理解的是,本申请的方法的应用场景仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以将本申请应用于其他类似情景。以下为了能够更清楚无误的阐述,本公开实施例以智能驾驶车辆为例对所述基于单灭点的导航方法、电子设备和存储介质进行说明。
图1为本公开实施例提供的一种智能驾驶车辆的示例性整体架构图。如图1所示,智能驾驶车辆包括:传感器组、智能驾驶系统100、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件,例如制动踏板、方向盘和油门踏板。
传感器组,用于采集车辆外界环境的数据和探测车辆的位置数据。传感器组例如包括但不限于摄像头、激光雷达、毫米波雷达、超声波雷达、GPS(Global PositioningSystem,全球定位系统)和IMU(Inertial Measurement Unit,惯性测量单元)中的至少一个。
在一些实施例中,传感器组,还用于采集车辆的动力学数据,传感器组例如还包括但不限于车轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器中的至少一个。
智能驾驶系统100,用于获取传感器组的传感数据,其中,所述传感数据包括但不限于图像、视频、激光点云、毫米波、GPS信息、车辆状态等。在一些实施例中,智能驾驶系统100基于所述传感数据进行环境感知和车辆定位,生成感知信息和车辆位姿;智能驾驶系统100基于所述感知信息和车辆位姿进行规划和决策,生成规划和决策信息;智能驾驶系统100基于规划和决策信息生成车辆控制指令,并下发给车辆底层执行系统。
在一些实施例中,智能驾驶系统100可以为软件系统、硬件系统或者软硬件结合的系统。例如,智能驾驶系统100是运行在操作系统上的软件系统,车载硬件系统是支持操作系统运行的硬件系统。
在一些实施例中,智能驾驶系统100可以与云端服务器进行交互。在一些实施例中,智能驾驶系统100与云端服务器通过无线通讯网络(例如包括但不限于GPRS网络、Zigbee网络、Wifi网络、3G网络、4G网络、5G网络等无线通讯网络)进行交互。
在一些实施例中,云端服务器用于与车辆进行交互。其中,所述云端服务器可以向车辆发送环境信息、定位信息、控制信息及车辆智能驾驶过程中需要的其他信息。在一些实施例中,所述云端服务器可以接收来自车端的传感数据、车辆状态信息、车辆行驶信息以及车辆请求的相关信息。在一些实施例中,云端服务器可以基于用户设置或车辆请求对所述车辆进行远程控制。在一些实施例中,云端服务器可以是一个服务器,也可以是一个服务器群组。服务器群组可以是集中式的,也可以是分布式的。在一些实施例中,云端服务器可以是本地的或远程的。
车辆底层执行系统,用于接收车辆控制指令,并基于所述车辆控制指令控制车辆行驶。在一些实施例中,车辆底层执行系统包括但不限于:转向系统、制动系统和驱动系统。在一些实施例中,所述车辆底层执行系统还可包括底层控制器,用于可以解析车辆控制指令,并将其分别下发至转向系统、制动系统和驱动系统等对应系统。
在一些实施例中,智能驾驶车辆还可包括图1中未示出的车辆CAN总线,车辆CAN总线连接车辆底层执行系统。智能驾驶系统100与车辆底层执行系统之间的信息交互通过车辆CAN总线进行传递。
图2为本公开实施例提供的一种智能驾驶系统200的示例性框图。在一些实施例中,智能驾驶系统200可以实现为图1中的智能驾驶系统100或者智能驾驶系统100的一部分,用于控制车辆行驶。
如图2所示,智能驾驶系统200可划分为多个模块,例如可包括:感知模块201、规划模块202、控制模块203、导航模块204以及其他一些可用于智能驾驶的模块。
感知模块201用于进行环境感知与定位。在一些实施例中,感知模块201用于获取传感器数据、V2X(Vehicle to X,车用无线通信)数据、高精度地图等数据并基于以上至少一种数据进行环境感知与定位,生成感知信息和定位信息。其中,感知信息可包括但不限于以下至少一个:障碍物信息、道路标志/标记、行人/车辆信息、可行驶区域。定位信息包括车辆位姿。
规划模块202用于进行路径规划和决策。在一些实施例中,规划模块202基于感知模块201生成的感知信息和定位信息,生成规划和决策信息。在一些实施例中,规划模块202还可以结合V2X数据、高精度地图等数据中的至少一种,生成规划和决策信息。其中,规划信息可包括但不限于规划路径等;决策信息可包括但不限于以下至少一种:行为(例如包括但不限于跟车、超车、停车、绕行等)、车辆航向、车辆速度、车辆的期望加速度、期望的方向盘转角等。
控制模块203用于基于规划和决策信息生成车辆底层执行系统的控制指令,并下发控制指令,以使车辆底层执行系统控制车辆行驶。其中,控制指令可包括但不限于:方向盘转向、横向控制指令、纵向控制指令等。
导航模块204用于基于灭点位置控制车辆行驶。在一些实施例中,导航模块204可获取图像,并检测图像中的灭点位置。在一些实施例中,导航模块204可基于灭点位置确定车辆控制信息。在一些实施例中,导航模块204可基于车辆控制信息控制车辆行驶。
在一些实施例中,导航模块204的功能可集成到感知模块201、规划模块202或控制模块203中,也可配置为与智能驾驶系统200相独立的模块,导航模块204可以为软件模块、硬件模块或者软硬件结合的模块。例如,导航模块204是运行在操作系统上的软件模块,车载硬件系统是支持操作系统运行的硬件系统。
图3为本公开实施例提供的一种导航模块300的示例性框图。在一些实施例中,导航模块300可以实现为图2中的导航模块204或者导航模块204的一部分。
如图3所示,导航模块300可包括但不限于以下单元:获取单元301、检测单元302、确定单元303和控制单元304。
获取单元301用于获取图像。其中,所述图像可以是视觉传感器采集的图像,并由视觉传感器发送。所述图像也可以是仿真场景中的图像,其中,仿真场景用于测试智能驾驶系统的算法或其他功能算法,所述仿真场景例如为智能驾驶仿真场景,所述仿真场景例如为仿真引擎生成的仿真场景。在一些实施例中,仿真引擎可包括但不限于:虚幻引擎(Unreal Engine)、Unity等。在一些实施例中,获取单元301获取的图像可以为320×240的RGB图像,该尺寸的图像可以较好地平衡运行速度与运行精度。
检测单元302用于检测图像中的灭点位置。在一些实施例中,检测单元302可对图像进行预处理,得到预处理图像,提高后续对图像处理的效率。在一些实施例中,预处理可包括固定尺寸裁剪和归一化。其中,固定尺寸裁剪便于图像尺寸适配检测单元302的输入尺寸,加快图像处理速度;归一化使图像对平移、旋转、缩放等仿射变换具有不变特性,提高后续图像处理的效率。
在一些实施例中,检测单元302可基于分割检测网络对所述预处理图像进行分割,得到多层图像分割结果。在一些实施例中,分割检测网络为神经网络,可预先训练得到。在一些实施例中,分割检测网络包括特征提取网络和分割网络,其中,特征提取网络用于提取预处理图像的特征;分割网络用语基于特征提取网络提取的特征分割所述预处理图像,得到多层图像分割结果。在一些实施例中,特征提取网络可采用ResNet101,分割网络可采用编码-解码结构,在编码部分使用空洞卷积,在扩大感受野的同时不引入额外的尺寸开销,同时关注图像中的细节与大尺度宏观信息,分割网络的示例性结构如图6所示。在一些实施例中,分割网络包括聚焦损失(focalloss)函数、交叉熵损失(cross entropy loss)函数和距离损失(distanceloss)函数。其中,聚焦损失函数用于平衡正负样本的偏差;交叉熵损失函数用于评估分割误差;距离损失函数用于增强分割图像时层与层之间的关联性。
在一些实施例中,多层图像分割结果中“层”可以理解为图层(Layer),属于目前图像处理软件中常用的概念;“层”也可以理解为区域,每一层表示图像中的一个区域。在一些实施例中,多层图像分割结果包括至少三层图像分割结果,所述至少三层图像分割结果包括天空层、左下层和右下层。在一些实施例中,天空层可基于天地线分割图像得到,其中,天地线可理解为天际线,也即城市轮廓线。例如,基于天地线可将图像分割为天空层和非天空层。在一些实施例中,左下层和右下层基于结构线分割图像得到,例如,基于结构线可将非天空层分割为左下层和右下层。所述结构线可以理解为图像中的边界线,所述边界线例如为车道线,所述边界线又例如为图像中车道的边线。在一些实施例中,多层图像分割结果如图7所示,天空层(Sky)、左下层(Left Bottom)和右下层(Right Bottom)在没有距离损失函数的作用下,如图7中的low所示;在有距离损失函数的作用下,如图7中的High所示,可见,距离损失函数增强了分割图像时层与层之间的关联性,避免分割时过于分散,难以进行后续处理。
在一些实施例中,检测单元302可基于预处理图像的多层图像分割结果,对预处理图像进行投影。在一些实施例中,检测单元302可基于多层图像分割结果,对所述预处理图像分别进行二值化处理,得到多层二值化图像。其中,二值化处理将图像上的像素点的灰度值设置为0或255,二值化处理的具体方式可以采用阈值法、动态阈值法等二值化常用的方式。在一些实施例中,检测单元302可将多层二值化图像分别进行水平投影和垂直投影。
在一些实施例中,检测单元302可基于投影极值确定灭点位置。在一些实施例中,检测单元302可分别确定水平投影和垂直投影的极值。在一些实施例中,检测单元302确定水平投影和垂直投影的极值的交点为灭点位置。
确定单元303用于基于灭点位置确定车辆控制信息。在一些实施例中,确定单元303可获取灭点位置与车辆控制信息的关联函数。其中,关联函数基于道路弯度不同采用不同函数,车辆控制信息例如为方向盘转角或前轮偏角。在一些实施例中,确定单元303基于道路弯度小于弯度阈值,确定关联函数为一次函数。在一些实施例中,确定单元303基于道路弯度大于所述弯度阈值,确定关联函数为二次函数。例如,在检测单元302检测图像中的灭点位置后,确定单元303首先确定图像中的道路弯度,然后基于道路弯度与弯度阈值的大小关系,选择关联函数为一次函数还是二次函数。在一些实施例中,确定单元303可基于关联函数和灭点位置,确定车辆控制信息。
在一些实施例中,关联函数可预先建立,例如,对于道路弯度小于弯度阈值,采集一段时间内的灭点位置数据以及方向盘转角数据,在摄像机外参固定的情况下,灭点Y轴坐标可表示道路的坡度,灭点X轴坐标的变化如图9A所示,图9A中,比较平滑的曲线为灭点位置进行检测滤波后的灭点Y轴坐标曲线,可见,检测滤波可以避免外界因素的干扰,在一些实施例中,检测滤波可以为卡尔曼滤波,减小高频噪声。方向盘转角的变化如图9B所示,因此,灭点X轴坐标与方向盘转角的对应关系如图10所示,图10中,横坐标为灭点X轴坐标,纵坐标为方向盘转角,可见,灭点X轴坐标与方向盘转角之间为一次函数,也即关联函数为一次函数,因此,基于灭点位置数据以及方向盘转角数据进行一次函数拟合,可得到关联函数。又例如,对于道路弯度大于弯度阈值,基于灭点位置数据以及方向盘转角数据进行二次函数拟合,可得到关联函数为二次函数。
控制单元304用于基于车辆控制信息控制车辆行驶。在一些实施例中,若车辆为真实智能驾驶车辆,则控制单元304将车辆控制信息下发给车辆底层执行系统;若车辆为虚拟智能驾驶车辆,则基于车辆控制信息实时计算车辆位置并控制车辆在虚拟场景中行驶。在一些实施例中,控制单元304可对车辆控制信息进行控制滤波,减小对车辆控制的抖动,防止车辆Z字形左右摇晃。在一些实施例中,控制滤波可以为PID比例微分积分,抑制车辆抖动。
在一些实施例中,导航模块300中各单元的划分仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如获取单元301、检测单元302、确定单元303和控制单元304中的至少两个单元可以实现为一个单元;获取单元301、检测单元302、确定单元303或控制单元304也可以划分为多个子单元。可以理解的是,各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
图4是本公开实施例提供的一种电子设备的结构示意图。所述电子设备安装有智能驾驶系统,例如电子设备可用于测试智能驾驶算法,又例如电子设备可以为车载设备,所述车载设备可支持智能驾驶系统的运行。在一些实施例中,电子设备还可以应用到其他领域。
如图4所示,电子设备包括:至少一个处理器401、至少一个存储器402和至少一个通信接口403。车载设备中的各个组件通过总线系统404耦合在一起。通信接口403,用于与外部设备之间的信息传输。可理解地,总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见,在图4中将各种总线都标为总线系统404。
可以理解,本实施例中的存储器402可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。
在一些实施方式中,存储器402存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作系统和应用程序。
其中,操作系统,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本公开实施例提供的基于单灭点的导航方法的程序可以包含在应用程序中。
在本公开实施例中,处理器401通过调用存储器402存储的程序或指令,具体的,可以是应用程序中存储的程序或指令,处理器401用于执行本公开实施例提供的基于单灭点的导航方法各实施例的步骤。
本公开实施例提供的基于单灭点的导航方法可以应用于处理器401中,或者由处理器401实现。处理器401可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的基于单灭点的导航方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402,处理器401读取存储器402中的信息,结合其硬件完成方法的步骤。
图5为本公开实施例提供的一种基于单灭点的导航方法的示例性流程图。该方法的执行主体为电子设备,所述电子设备安装有智能驾驶系统。在一些实施例中,所述电子设备用于测试智能驾驶算法。在一些实施例中,电子设备可以为车载设备,所述车载设备可支持智能驾驶系统的运行。为便于描述,以下实施例中以电子设备为执行主体说明基于单灭点的导航方法的流程。
如图5所示,在步骤501中,电子设备获取图像。在一些实施例中,电子设备可获取视觉传感器发送的图像,电子设备也可获取仿真引擎生成的仿真场景中的图像。
在步骤502中,电子设备检测图像中的灭点位置。在一些实施例中,电子设备对图像进行预处理,得到预处理图像。在一些实施例中,电子设备对待检测图像进行固定尺寸裁剪和归一化,得到预处理图像。在一些实施例中,电子设备基于分割检测网络对预处理图像进行分割,得到多层图像分割结果。在一些实施例中,电子设备基于分割检测网络中的特征提取网络提取预处理图像的特征,进而基于分割检测网络中的分割网络利用提取的特征分割预处理图像,得到多层图像分割结果。在一些实施例中,电子设备基于分割网络确定至少三层图像分割结果,其中,所述至少三层图像分割结果包括天空层、左下层和右下层。在一些实施例中,电子设备基于天地线分割预处理图像得到天空层和非天空层,并基于结构线可将非天空层分割为左下层和右下层。在一些实施例中,电子设备基于多层图像分割结果,对预处理图像进行投影。在一些实施例中。电子设备基于多层图像分割结果,对预处理图像分别进行二值化处理,得到多层二值化图像;进而将多层二值化图像分别进行水平投影和垂直投影。在一些实施例中,电子设备基于投影的极值确定灭点位置。在一些实施例中,电子设备分别确定水平投影和垂直投影的极值;进而确定极值的交点为灭点位置。在一些实施例中,电子设备对检测的灭点位置进行滤波,减小高频噪声。
图8提供了一种图像中灭点检测的流程示例图,图8中,电子设备获取图像(RawImage),基于分割网络(Segmentation Network)分割得到天空层、左下层和右下层的分割结果,分别进行二值化处理后进行水平投影和垂直投影,进而预测(Projection)水平投影和垂直投影的极值的交点为灭点位置,输出的图像(Output Image)中标注灭点位置。
在步骤503中,电子设备基于灭点位置确定车辆控制信息。在一些实施例中,电子设备可获取灭点位置与车辆控制信息的关联函数。其中,关联函数基于道路弯度不同采用不同函数,车辆控制信息例如为方向盘转角或前轮偏角。在一些实施例中,电子设备基于道路弯度小于弯度阈值,确定关联函数为一次函数。在一些实施例中,电子设备基于道路弯度大于所述弯度阈值,确定关联函数为二次函数。在一些实施例中,电子设备可基于关联函数和灭点位置,确定车辆控制信息。
在步骤504中,电子设备基于车辆控制信息控制车辆行驶。在一些实施例中,若车辆为真实智能驾驶车辆,则电子设备将车辆控制信息下发给车辆底层执行系统;若车辆为虚拟智能驾驶车辆,则电子设备基于车辆控制信息实时计算车辆位置并控制车辆在虚拟场景中行驶。在一些实施例中,电子设备可对车辆控制信息进行控制滤波,减小对车辆控制的抖动,防止车辆Z字形左右摇晃。在一些实施例中,控制滤波可以为PID比例微分积分,抑制车辆抖动。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员能够理解,本公开实施例并不受所描述的动作顺序的限制,因为依据本公开实施例,某些步骤可以采用其他顺序或者同时进行。另外,本领域技术人员能够理解,说明书中所描述的实施例均属于可选实施例。
本公开实施例还提出一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如基于单灭点的导航方法各实施例的步骤,为避免重复描述,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
本领域的技术人员能够理解,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
虽然结合附图描述了本公开的实施方式,但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (8)
1.一种基于单灭点的导航方法,其特征在于,所述方法包括:
获取图像;
检测所述图像中的灭点位置;
基于所述灭点位置确定车辆控制信息;
基于所述车辆控制信息控制车辆行驶。
2.根据权利要求1所述的方法,其特征在于,检测所述图像中的灭点位置,包括:
对所述图像进行预处理,得到预处理图像;
基于分割检测网络对所述预处理图像进行分割,得到多层图像分割结果;
基于所述多层图像分割结果,对所述预处理图像进行投影;
基于所述投影的极值确定灭点位置。
3.根据权利要求2所述的方法,其特征在于,所述分割检测网络包括:
特征提取网络,用于提取所述预处理图像的特征;
分割网络,用于基于所述特征分割所述预处理图像,得到多层图像分割结果。
4.根据权利要求1所述的方法,其特征在于,基于所述灭点位置确定车辆控制信息,包括:
获取灭点位置与车辆控制信息的关联函数;
基于所述关联函数和所述灭点位置确定车辆控制信息。
5.根据权利要求1所述的方法,其特征在于,所述车辆控制信息包括:方向盘转角或前轮偏角。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测滤波,用于对所述灭点位置进行滤波;
控制滤波,用于对所述车辆控制信息进行滤波。
7.一种电子设备,其特征在于,包括:处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至6任一项所述方法的步骤。
8.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至6任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911424859.4A CN111174796B (zh) | 2019-12-31 | 2019-12-31 | 一种基于单灭点的导航方法、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911424859.4A CN111174796B (zh) | 2019-12-31 | 2019-12-31 | 一种基于单灭点的导航方法、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111174796A true CN111174796A (zh) | 2020-05-19 |
CN111174796B CN111174796B (zh) | 2022-04-29 |
Family
ID=70650737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911424859.4A Active CN111174796B (zh) | 2019-12-31 | 2019-12-31 | 一种基于单灭点的导航方法、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111174796B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199999A (zh) * | 2020-09-09 | 2021-01-08 | 浙江大华技术股份有限公司 | 道路检测方法、装置、存储介质和电子设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5245422A (en) * | 1991-06-28 | 1993-09-14 | Zexel Corporation | System and method for automatically steering a vehicle within a lane in a road |
CN103827635A (zh) * | 2011-11-02 | 2014-05-28 | 爱信艾达株式会社 | 车道引导显示系统、车道引导显示方法及车道引导显示程序 |
CN103991449A (zh) * | 2014-06-12 | 2014-08-20 | 北京联合大学 | 一种车辆行进控制方法及系统 |
KR20160066474A (ko) * | 2014-12-02 | 2016-06-10 | (주)이에스브이 | 차선 이탈 감지 기능을 갖는 차량용 영상기록장치의 차선 이탈 인식 감도 유지 방법 |
CN106228531A (zh) * | 2016-06-27 | 2016-12-14 | 开易(北京)科技有限公司 | 基于地平线搜索的自动灭点标定方法及系统 |
US20170129535A1 (en) * | 2015-11-11 | 2017-05-11 | Hyundai Motor Company | Apparatus and method for automatic steering control in vehicle |
CN106682563A (zh) * | 2015-11-05 | 2017-05-17 | 腾讯科技(深圳)有限公司 | 一种车道线检测自适应调整方法及装置 |
CN107209930A (zh) * | 2015-02-16 | 2017-09-26 | 应用解决方案(电子及视频)有限公司 | 环视图像稳定方法和装置 |
CN107316331A (zh) * | 2017-08-02 | 2017-11-03 | 浙江工商大学 | 针对道路图像的灭点自动标定方法 |
CN107918775A (zh) * | 2017-12-28 | 2018-04-17 | 聊城大学 | 一种辅助车辆安全驾驶的斑马线检测方法及系统 |
CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
US20190217889A1 (en) * | 2016-07-22 | 2019-07-18 | Robert Bosch Gmbh | Driving assistance method, driving assistance system and vehicle |
CN110222658A (zh) * | 2019-06-11 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 道路灭点位置的获取方法及装置 |
CN110415298A (zh) * | 2019-07-22 | 2019-11-05 | 昆山伟宇慧创智能科技有限公司 | 一种用于车道偏离的计算方法 |
-
2019
- 2019-12-31 CN CN201911424859.4A patent/CN111174796B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5245422A (en) * | 1991-06-28 | 1993-09-14 | Zexel Corporation | System and method for automatically steering a vehicle within a lane in a road |
CN103827635A (zh) * | 2011-11-02 | 2014-05-28 | 爱信艾达株式会社 | 车道引导显示系统、车道引导显示方法及车道引导显示程序 |
CN103991449A (zh) * | 2014-06-12 | 2014-08-20 | 北京联合大学 | 一种车辆行进控制方法及系统 |
KR20160066474A (ko) * | 2014-12-02 | 2016-06-10 | (주)이에스브이 | 차선 이탈 감지 기능을 갖는 차량용 영상기록장치의 차선 이탈 인식 감도 유지 방법 |
CN107209930A (zh) * | 2015-02-16 | 2017-09-26 | 应用解决方案(电子及视频)有限公司 | 环视图像稳定方法和装置 |
CN106682563A (zh) * | 2015-11-05 | 2017-05-17 | 腾讯科技(深圳)有限公司 | 一种车道线检测自适应调整方法及装置 |
US20170129535A1 (en) * | 2015-11-11 | 2017-05-11 | Hyundai Motor Company | Apparatus and method for automatic steering control in vehicle |
CN106228531A (zh) * | 2016-06-27 | 2016-12-14 | 开易(北京)科技有限公司 | 基于地平线搜索的自动灭点标定方法及系统 |
US20190217889A1 (en) * | 2016-07-22 | 2019-07-18 | Robert Bosch Gmbh | Driving assistance method, driving assistance system and vehicle |
CN107316331A (zh) * | 2017-08-02 | 2017-11-03 | 浙江工商大学 | 针对道路图像的灭点自动标定方法 |
CN108230254A (zh) * | 2017-08-31 | 2018-06-29 | 北京同方软件股份有限公司 | 一种自适应场景切换的高速交通全车道线自动检测方法 |
CN107918775A (zh) * | 2017-12-28 | 2018-04-17 | 聊城大学 | 一种辅助车辆安全驾驶的斑马线检测方法及系统 |
CN110222658A (zh) * | 2019-06-11 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 道路灭点位置的获取方法及装置 |
CN110415298A (zh) * | 2019-07-22 | 2019-11-05 | 昆山伟宇慧创智能科技有限公司 | 一种用于车道偏离的计算方法 |
Non-Patent Citations (2)
Title |
---|
MARCOS NIETO 等: "Stabilization of Inverse Perspective Mapping Images based on Robust Vanishing Point Estimation", 《2007 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 * |
刘叹: "基于单目视觉的车辆行驶辅助技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112199999A (zh) * | 2020-09-09 | 2021-01-08 | 浙江大华技术股份有限公司 | 道路检测方法、装置、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111174796B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111095291B (zh) | 由自动驾驶车辆实时检测车道和边界 | |
CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
CN109949594B (zh) | 实时的交通灯识别方法 | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
US8751154B2 (en) | Enhanced clear path detection in the presence of traffic infrastructure indicator | |
US11453410B2 (en) | Reducing processing requirements for vehicle control | |
CN110807412B (zh) | 一种车辆激光定位的方法、车载设备和存储介质 | |
CN112567439B (zh) | 一种交通流信息的确定方法、装置、电子设备和存储介质 | |
CN113734203B (zh) | 一种智能驾驶的控制方法、装置、系统及存储介质 | |
CN114693540A (zh) | 一种图像处理方法、装置以及智能汽车 | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN111210411B (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
CN110765224A (zh) | 电子地图的处理方法、车辆视觉重定位的方法和车载设备 | |
US20210405651A1 (en) | Adaptive sensor control | |
CN111174796B (zh) | 一种基于单灭点的导航方法、电子设备和存储介质 | |
CN111077893B (zh) | 一种基于多灭点的导航方法、电子设备和存储介质 | |
US20210056321A1 (en) | System and method for detecting errors and improving reliability of perception systems using logical scaffolds | |
CN114341939A (zh) | 作为数据增强方法的真实世界图像道路曲率生成 | |
Chunmei et al. | Obstacles detection based on millimetre-wave radar and image fusion techniques | |
CN115205311A (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
JP7454685B2 (ja) | 車両走行路内のデブリの検出 | |
CN110446106B (zh) | 一种前置摄像头文件的识别方法、电子设备及存储介质 | |
US10916026B2 (en) | Systems and methods of determining stereo depth of an object using object class information | |
CN111469841B (zh) | 一种弯道目标选择方法、车载设备和存储介质 | |
US11628859B1 (en) | Vehicle placement on aerial views for vehicle control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211009 Address after: 314113 plant 1, No. 299, Hongye Road, Dayun Town, Jiashan County, Jiaxing City, Zhejiang Province Applicant after: Yushi Technology (Zhejiang) Co., Ltd Address before: 211100 floor 2, building B4, Jiulong lake international enterprise headquarters park, No. 19, Suyuan Avenue, Jiangning Development Zone, Nanjing, Jiangsu Province (Jiangning Development Zone) Applicant before: Yushi Technology (Nanjing) Co., Ltd |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |