CN111077893B - 一种基于多灭点的导航方法、电子设备和存储介质 - Google Patents
一种基于多灭点的导航方法、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111077893B CN111077893B CN201911419161.3A CN201911419161A CN111077893B CN 111077893 B CN111077893 B CN 111077893B CN 201911419161 A CN201911419161 A CN 201911419161A CN 111077893 B CN111077893 B CN 111077893B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- vanishing points
- control information
- vanishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 238000003709 image segmentation Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005314 correlation function Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 9
- 230000001276 controlling effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 208000033748 Device issues Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本公开实施例涉及一种基于多灭点的导航方法、电子设备和存储介质，其中，导航方法包括：获取图像；检测所述图像中多个灭点的位置；基于多个灭点的位置确定车辆控制信息；基于所述车辆控制信息控制车辆行驶。本公开实施例中，通过检测图像中多个灭点的位置，进而确定车辆控制信息，从而控制车辆行驶，无需依赖高精度地图、道路信息和车道线信息，适应更多场景，并且对于复杂的弯道场景，基于多个灭点的位置可以更精细地控制车辆，模仿人类在遇到弯道时过弯的策略，避免跨过路牙等情况。
Description
技术领域
本公开实施例涉及智能驾驶技术领域，具体涉及一种基于多灭点的导航方法、电子设备和存储介质。
背景技术
目前，智能驾驶领域中，导航方式主要分为两类：一类是基于高精度地图(HD-Map)的导航；另一类是相对导航(relative navigation)。其中，基于高精度地图的导航至少存在如下问题：1、建图成本高，无法规模化扩大，并且当环境发生变化时，需要补图，造成资源浪费；2、定位时依赖视觉传感器和雷达的融合数据的准确性，对视觉传感器和雷达的标定和校准要求较高。3、对于特殊场景，例如机场、隧道等特征点少的场景，定位准确性较低。而相对导航主要采用车道线定位、模仿学习、追踪等方式导航，虽然不依赖高精度地图，但至少存在如下问题：1、对于特殊场景，例如堵车等车流量较高的场景，车道线定位易失效，且纵向里程难以计算。2、模仿学习需要专家行驶的先验信息，仅适用于园区、固定线路等场景，适用场景受限，无法用于未知道路。3、追踪导航在当前道路无前车时无法使用。
上述对问题的发现过程的描述，仅用于辅助理解本公开的技术方案，并不代表承认上述内容是现有技术。
发明内容
为了解决现有技术存在的至少一个问题，本公开的至少一个实施例提供了一种基于多灭点的导航方法、电子设备和存储介质。
第一方面，本公开实施例提出一种基于多灭点的导航方法，所述方法包括：
获取图像；
检测所述图像中多个灭点的位置；
基于所述多个灭点的位置确定车辆控制信息；
基于所述车辆控制信息控制车辆行驶。
第二方面，本公开实施例还提出一种电子设备，包括：处理器和存储器；所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。
第三方面，本公开实施例还提出一种非暂态计算机可读存储介质，用于存储程序或指令，所述程序或指令使计算机执行如第一方面所述方法的步骤。
可见，本公开的至少一个实施例中，通过检测图像中多个灭点的位置，进而确定车辆控制信息，从而控制车辆行驶，无需依赖高精度地图、道路信息和车道线信息，适应更多场景，并且对于复杂的弯道场景，基于多个灭点的位置可以更精细地控制车辆，模仿人类在遇到弯道时过弯的策略，避免跨过路牙等情况。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种智能驾驶车辆的示例性架构图；
图2是本公开实施例提供的一种智能驾驶系统的示例性框图；
图3是本公开实施例提供的一种导航模块的示例性框图；
图4是本公开实施例提供的一种电子设备的示例性框图；
图5是本公开实施例提供的一种基于多灭点的导航方法的示例性流程图；
图6本公开实施例提供的一种分割网络的示例性结构图；
图7是本公开实施例提供的一种多层图像分割结果的示意图；
图8是本公开实施例提供的一种图像中灭点检测的流程示例图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用于解释本公开，而非对本公开的限定。基于所描述的本公开的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
本公开实施例提供了一种基于多灭点的导航方法、电子设备或存储介质，通过检测图像中多个灭点的位置，进而确定车辆控制信息，从而控制车辆行驶，无需依赖高精度地图、道路信息和车道线信息，适应更多场景，并且对于复杂的弯道场景，基于多个灭点的位置可以更精细地控制车辆，模仿人类在遇到弯道时过弯的策略，避免跨过路牙等情况。本公开实施例的方法可以应用于智能驾驶车辆，还可以应用于电子设备。所述智能驾驶车辆为搭载不同等级智能驾驶系统的车辆，智能驾驶系统例如包括：无人驾驶系统、辅助驾驶系统、驾驶辅助系统、高度自动驾驶系统、完全自动驾驶车辆等等。所述电子设备安装有智能驾驶系统，例如电子设备可用于测试智能驾驶算法，又例如电子设备可以为车载设备，在一些实施例中，电子设备还可以应用到其他领域。应当理解的是，本公开实施例的方法的应用场景仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本申请应用于其他类似情景。以下为了能够更清楚无误的阐述，本公开实施例以智能驾驶车辆为例对所述基于多灭点的导航方法、电子设备和存储介质进行说明。
图1为本公开实施例提供的一种智能驾驶车辆的示例性整体架构图。如图1所示，智能驾驶车辆包括：传感器组、智能驾驶系统100、车辆底层执行系统以及其他可用于驱动车辆和控制车辆运行的部件，例如制动踏板、方向盘和油门踏板。
传感器组，用于采集车辆外界环境的数据和探测车辆的位置数据。传感器组例如包括但不限于摄像头、激光雷达、毫米波雷达、超声波雷达、GPS(Global PositioningSystem，全球定位系统)和IMU(Inertial Measurement Unit，惯性测量单元)中的至少一个。
在一些实施例中，传感器组，还用于采集车辆的动力学数据，传感器组例如还包括但不限于车轮转速传感器、速度传感器、加速度传感器、方向盘转角传感器、前轮转角传感器中的至少一个。
智能驾驶系统100，用于获取传感器组的传感数据，其中，所述传感数据包括但不限于图像、视频、激光点云、毫米波、GPS信息、车辆状态等。在一些实施例中，智能驾驶系统100基于所述传感数据进行环境感知和车辆定位，生成感知信息和车辆位姿；智能驾驶系统100基于所述感知信息和车辆位姿进行规划和决策，生成规划和决策信息；智能驾驶系统100基于规划和决策信息生成车辆控制指令，并下发给车辆底层执行系统。
在一些实施例中，智能驾驶系统100可以为软件系统、硬件系统或者软硬件结合的系统。例如，智能驾驶系统100是运行在操作系统上的软件系统，车载硬件系统是支持操作系统运行的硬件系统。
在一些实施例中，智能驾驶系统100可以与云端服务器进行交互。在一些实施例中，智能驾驶系统100与云端服务器通过无线通讯网络(例如包括但不限于GPRS网络、Zigbee网络、Wifi网络、3G网络、4G网络、5G网络等无线通讯网络)进行交互。
在一些实施例中，云端服务器用于与车辆进行交互。其中，所述云端服务器可以向车辆发送环境信息、定位信息、控制信息及车辆智能驾驶过程中需要的其他信息。在一些实施例中，所述云端服务器可以接收来自车端的传感数据、车辆状态信息、车辆行驶信息以及车辆请求的相关信息。在一些实施例中，云端服务器可以基于用户设置或车辆请求对所述车辆进行远程控制。在一些实施例中，云端服务器可以是一个服务器，也可以是一个服务器群组。服务器群组可以是集中式的，也可以是分布式的。在一些实施例中，云端服务器可以是本地的或远程的。
车辆底层执行系统，用于接收车辆控制指令，并基于所述车辆控制指令控制车辆行驶。在一些实施例中，车辆底层执行系统包括但不限于：转向系统、制动系统和驱动系统。在一些实施例中，所述车辆底层执行系统还可包括底层控制器，用于可以解析车辆控制指令，并将其分别下发至转向系统、制动系统和驱动系统等对应系统。
在一些实施例中，智能驾驶车辆还可包括图1中未示出的车辆CAN总线，车辆CAN总线连接车辆底层执行系统。智能驾驶系统100与车辆底层执行系统之间的信息交互通过车辆CAN总线进行传递。
图2为本公开实施例提供的一种智能驾驶系统200的示例性框图。在一些实施例中，智能驾驶系统200可以实现为图1中的智能驾驶系统100或者智能驾驶系统100的一部分，用于控制车辆行驶。
如图2所示，智能驾驶系统200可划分为多个模块，例如可包括：感知模块201、规划模块202、控制模块203、导航模块204以及其他一些可用于智能驾驶的模块。
感知模块201用于进行环境感知与定位。在一些实施例中，感知模块201用于获取传感器数据、V2X(Vehicle to X，车用无线通信)数据、高精度地图等数据并基于以上至少一种数据进行环境感知与定位，生成感知信息和定位信息。其中，感知信息可包括但不限于以下至少一个：障碍物信息、道路标志/标记、行人/车辆信息、可行驶区域。定位信息包括车辆位姿。
规划模块202用于进行路径规划和决策。在一些实施例中，规划模块202基于感知模块201生成的感知信息和定位信息，生成规划和决策信息。在一些实施例中，规划模块202还可以结合V2X数据、高精度地图等数据中的至少一种，生成规划和决策信息。其中，规划信息可包括但不限于规划路径等；决策信息可包括但不限于以下至少一种：行为(例如包括但不限于跟车、超车、停车、绕行等)、车辆航向、车辆速度、车辆的期望加速度、期望的方向盘转角等。
控制模块203用于基于规划和决策信息生成车辆底层执行系统的控制指令，并下发控制指令，以使车辆底层执行系统控制车辆行驶。其中，控制指令可包括但不限于：方向盘转向、横向控制指令、纵向控制指令等。
导航模块204用于基于多个灭点的位置控制车辆行驶。在一些实施例中，导航模块204可获取图像，并检测图像中多个灭点的位置。在一些实施例中，导航模块204可基于多个灭点的位置确定车辆控制信息。在一些实施例中，导航模块204可基于车辆控制信息控制车辆行驶。
在一些实施例中，导航模块204的功能可集成到感知模块201、规划模块202或控制模块203中，也可配置为与智能驾驶系统200相独立的模块，导航模块204可以为软件模块、硬件模块或者软硬件结合的模块。例如，导航模块204是运行在操作系统上的软件模块，车载硬件系统是支持操作系统运行的硬件系统。
图3为本公开实施例提供的一种导航模块300的示例性框图。在一些实施例中，导航模块300可以实现为图2中的导航模块204或者导航模块204的一部分。
如图3所示，导航模块300可包括但不限于以下单元：获取单元301、检测单元302、确定单元303和控制单元304。
获取单元301用于获取图像。其中，所述图像可以是视觉传感器采集的图像，并由视觉传感器发送。所述图像也可以是仿真场景中的图像，其中，仿真场景用于测试智能驾驶系统的算法或其他功能算法，所述仿真场景例如为智能驾驶仿真场景，所述仿真场景例如为仿真引擎生成的仿真场景。在一些实施例中，仿真引擎可包括但不限于：虚幻引擎(Unreal Engine)、Unity等。在一些实施例中，获取单元301获取的图像可以为320×240的RGB图像，该尺寸的图像可以较好地平衡运行速度与运行精度。
检测单元302用于检测图像中多个灭点的位置。在一些实施例中，对于弯道场景，检测单元302可旋转图像，使得旋转图像中弯道可以用二次函数表示，便于描述弯道的车道线，避免车道线方程无法确定。其中，旋转图像的角度例如为90度。在一些实施例中，检测单元302可检测旋转图像中的车道线；进而基于检测的车道线约束灭点位置。在一些实施例中，检测单元302基于检测的车道线两两之间的交点，约束灭点位置。在一些实施例中，检测单元302可对图像进行预处理，得到预处理图像，提高后续对图像处理的效率。在一些实施例中，预处理可包括固定尺寸裁剪和归一化。其中，固定尺寸裁剪便于图像尺寸适配检测单元302的输入尺寸，加快图像处理速度；归一化使图像对平移、旋转、缩放等仿射变换具有不变特性，提高后续图像处理的效率。
在一些实施例中，检测单元302可基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果。在一些实施例中，分割检测网络为神经网络，可预先训练得到。在一些实施例中，分割检测网络包括特征提取网络和分割网络，其中，特征提取网络用于提取预处理图像的特征；分割网络用语基于特征提取网络提取的特征分割所述预处理图像，得到多层图像分割结果。在一些实施例中，特征提取网络可采用ResNet101，分割网络可采用编码-解码结构，在编码部分使用空洞卷积，在扩大感受野的同时不引入额外的尺寸开销，同时关注图像中的细节与大尺度宏观信息，分割网络的示例性结构如图6所示。在一些实施例中，分割网络包括聚焦损失(focal loss)函数、交叉熵损失(cross entropy loss)函数和距离损失(distance loss)函数。其中，聚焦损失函数用于平衡正负样本的偏差；交叉熵损失函数用于评估分割误差；距离损失函数用于增强分割图像时层与层之间的关联性。
在一些实施例中，多层图像分割结果中“层”可以理解为图层(Layer)，属于目前图像处理软件中常用的概念；“层”也可以理解为区域，每一层表示图像中的一个区域。在一些实施例中，多层图像分割结果包括至少三层图像分割结果，所述至少三层图像分割结果包括天空层、左下层和右下层。在一些实施例中，天空层可基于天地线分割图像得到，其中，天地线可理解为天际线，也即城市轮廓线，图像中多个灭点均落在天际线上。例如，基于天地线可将图像分割为天空层和非天空层。在一些实施例中，左下层和右下层基于结构线分割图像得到，例如，基于结构线可将非天空层分割为左下层和右下层。所述结构线可以理解为图像中的边界线，所述边界线例如为车道线，所述边界线又例如为图像中车道的边线。在一些实施例中，多层图像分割结果如图7所示，天空层(Sky)、左下层(Left Bottom)和右下层(Right Bottom)在没有距离损失函数的作用下，如图7中的low所示；在有距离损失函数的作用下，如图7中的High所示，可见，距离损失函数增强了分割图像时层与层之间的关联性，避免分割时过于分散，难以进行后续处理。在一些实施例中，多层图像分割结果的层数m与图像中灭点的数量n满足：m＝2n+1，其中，1可以理解为天空层，2n可以理解为非天空层分割的数量，例如图像中存在一个灭点，则非天空层分割为两层(左下层和右下层)。
在一些实施例中，检测单元302可基于预处理图像的多层图像分割结果，对预处理图像进行投影。在一些实施例中，检测单元302可基于多层图像分割结果，对所述预处理图像分别进行二值化处理，得到多层二值化图像。其中，二值化处理将图像上的像素点的灰度值设置为0或255，二值化处理的具体方式可以采用阈值法、动态阈值法等二值化常用的方式。在一些实施例中，检测单元302可将多层二值化图像分别进行水平投影和垂直投影。
在一些实施例中，检测单元302可基于投影极值确定多个灭点的位置。在一些实施例中，检测单元302可分别确定水平投影和垂直投影的极值。在一些实施例中，检测单元302确定水平投影和垂直投影的极值的交点为灭点位置。
确定单元303用于基于多个灭点的位置确定车辆控制信息。在一些实施例中，确定单元303可获取多个灭点的位置与车辆控制信息的关联函数。其中，车辆控制信息例如为方向盘转角或前轮偏角，车速。在一些实施例中，关联函数可预先建立，例如，由人工驾驶或智能驾驶系统控制车辆在道路中预先行驶，采集多个灭点发生变化的位置以及对应的方向盘角度，不同的过弯策略采集的数据不同，通过回归分析得到多个灭点的位置与方向盘转角、车速之间的关联关系。
在一些实施例中，确定单元303可基于多个灭点重合，确定当前道路为直行道路。确定单元303基于当前道路为直行道路，确定车辆控制信息为保持车辆直行的控制信息，例如方向盘转角为零。本领域技术人员可以理解，多个灭点重合与保持车辆直行的控制信息存在关联关系(关联函数)。
在一些实施例中，确定单元303可基于多个灭点重合且重合位置改变，确定车辆偏离车道线。确定单元303基于车辆偏离车道线，确定车辆控制信息为车道偏离的控车策略，可沿用现有策略，另外，可以进行车道偏离预警。本领域技术人员可以理解，多个灭点重合且重合位置改变与车道偏离的控车策略存在关联关系(关联函数)。
在一些实施例中，确定单元303基于多个灭点不重合，确定当前道路为弯道。确定单元303基于当前道路为弯道，基于距离最近的灭点获取当前车辆方向；基于距离最远的灭点获取车辆目的方向；基于距离居中的灭点获取车辆控制信息变化速率。本领域技术人员可以理解，多个灭点不重合与不同过弯策略存在关联关系(关联函数)。在一些实施例中，确定单元303基于当前车辆方向、车辆目的方向和车辆控制信息变化速率，针对不同过弯策略确定不同的车辆控制信息，使得过弯更加平稳。
在一些实施例中，确定单元303基于多个灭点的纵轴(Y轴)坐标发生变化，确定前方坡度发生变化。确定单元303基于前方坡度发生变化，生成车辆控制信息，保证车辆平稳通过前方斜坡。本领域技术人员可以理解，多个灭点的纵轴(Y轴)坐标发生变化与车辆平稳通过前方斜坡的控制信息存在关联关系(关联函数)。
控制单元304用于基于车辆控制信息控制车辆行驶。在一些实施例中，若车辆为真实智能驾驶车辆，则控制单元304将车辆控制信息下发给车辆底层执行系统；若车辆为虚拟智能驾驶车辆，则基于车辆控制信息实时计算车辆位置并控制车辆在虚拟场景中行驶。在一些实施例中，控制单元304可对车辆控制信息进行控制滤波，减小对车辆控制的抖动，防止车辆Z字形左右摇晃。在一些实施例中，控制滤波可以为PID比例微分积分，抑制车辆抖动。
在一些实施例中，导航模块300中各单元的划分仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如获取单元301、检测单元302、确定单元303和控制单元304中的至少两个单元可以实现为一个单元；获取单元301、检测单元302、确定单元303或控制单元304也可以划分为多个子单元。可以理解的是，各个单元或子单元能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能。
图4是本公开实施例提供的一种电子设备的结构示意图。所述电子设备安装有智能驾驶系统，例如电子设备可用于测试智能驾驶算法，又例如电子设备可以为车载设备，所述车载设备可支持智能驾驶系统的运行。在一些实施例中，电子设备还可以应用到其他领域。
如图4所示，电子设备包括：至少一个处理器401、至少一个存储器402和至少一个通信接口403。车载设备中的各个组件通过总线系统404耦合在一起。通信接口403，用于与外部设备之间的信息传输。可理解地，总线系统404用于实现这些组件之间的连接通信。总线系统404除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统404。
可以理解，本实施例中的存储器402可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
在一些实施方式中，存储器402存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例提供的基于多灭点的导航方法的程序可以包含在应用程序中。
在本公开实施例中，处理器401通过调用存储器402存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器401用于执行本公开实施例提供的基于多灭点的导航方法各实施例的步骤。
本公开实施例提供的基于多灭点的导航方法可以应用于处理器401中，或者由处理器401实现。处理器401可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开实施例提供的基于多灭点的导航方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成方法的步骤。
图5为本公开实施例提供的一种基于多灭点的导航方法的示例性流程图。该方法的执行主体为电子设备，所述电子设备安装有智能驾驶系统。在一些实施例中，所述电子设备用于测试智能驾驶算法。在一些实施例中，电子设备可以为车载设备，所述车载设备可支持智能驾驶系统的运行。为便于描述，以下实施例中以电子设备为执行主体说明基于多灭点的导航方法的流程。
如图5所示，在步骤501中，电子设备获取图像。在一些实施例中，电子设备可获取视觉传感器发送的图像，电子设备也可获取仿真引擎生成的仿真场景中的图像。
在步骤502中，电子设备检测图像中多个灭点的位置。在一些实施例中，对于弯道场景，电子设备可旋转图像，使得旋转图像中弯道可以用二次函数表示。在一些实施例中，电子设备可检测旋转图像中的车道线；进而基于检测的车道线约束灭点位置。在一些实施例中，电子设备基于检测的车道线两两之间的交点，约束灭点位置。在一些实施例中，电子设备对图像进行预处理，得到预处理图像。在一些实施例中，电子设备对待检测图像进行固定尺寸裁剪和归一化，得到预处理图像。在一些实施例中，电子设备基于分割检测网络对预处理图像进行分割，得到多层图像分割结果。在一些实施例中，电子设备基于分割检测网络中的特征提取网络提取预处理图像的特征，进而基于分割检测网络中的分割网络利用提取的特征分割预处理图像，得到多层图像分割结果。在一些实施例中，电子设备基于分割网络确定至少三层图像分割结果，其中，所述至少三层图像分割结果包括天空层、左下层和右下层。在一些实施例中，电子设备基于天地线分割预处理图像得到天空层和非天空层，并基于结构线可将非天空层分割为左下层和右下层。在一些实施例中，多层图像分割结果的层数m与图像中灭点的数量n满足m＝2n+1。在一些实施例中，电子设备基于多层图像分割结果，对预处理图像进行投影。在一些实施例中。电子设备基于多层图像分割结果，对预处理图像分别进行二值化处理，得到多层二值化图像；进而将多层二值化图像分别进行水平投影和垂直投影。在一些实施例中，电子设备基于投影的极值确定灭点位置。在一些实施例中，电子设备分别确定水平投影和垂直投影的极值；进而确定极值的交点为灭点位置。在一些实施例中，电子设备对检测的灭点位置进行滤波，减小高频噪声。
图8提供了一种图像中灭点检测的流程示例图，图8中，电子设备获取图像(RawImage)，基于分割网络(Segmentation Network)分割得到天空层、左下层和右下层的分割结果，分别进行二值化处理后进行水平投影和垂直投影，进而预测(Projection)水平投影和垂直投影的极值的交点为灭点位置，输出的图像(Output Image)中标注灭点位置。
在步骤503中，电子设备基于多个灭点的位置确定车辆控制信息。在一些实施例中，电子设备可获取多个灭点的位置与车辆控制信息的关联函数。其中，车辆控制信息例如为方向盘转角或前轮偏角，车速。在一些实施例中，关联函数可预先建立，例如，由人工驾驶或智能驾驶系统控制车辆在道路中预先行驶，采集多个灭点发生变化的位置以及对应的方向盘角度，不同的过弯策略采集的数据不同，通过回归分析得到多个灭点的位置与方向盘转角、车速之间的关联关系。
在一些实施例中，电子设备可基于多个灭点重合，确定当前道路为直行道路。电子设备基于当前道路为直行道路，确定车辆控制信息为保持车辆直行的控制信息，例如方向盘转角为零。本领域技术人员可以理解，多个灭点重合与保持车辆直行的控制信息存在关联关系(关联函数)。
在一些实施例中，电子设备可基于多个灭点重合且重合位置改变，确定车辆偏离车道线。电子设备基于车辆偏离车道线，确定车辆控制信息为车道偏离的控车策略，可沿用现有策略，另外，可以进行车道偏离预警。本领域技术人员可以理解，多个灭点重合且重合位置改变与车道偏离的控车策略存在关联关系(关联函数)。
在一些实施例中，电子设备基于多个灭点不重合，确定当前道路为弯道。电子设备基于当前道路为弯道，基于距离最近的灭点获取当前车辆方向；基于距离最远的灭点获取车辆目的方向；基于距离居中的灭点获取车辆控制信息变化速率。本领域技术人员可以理解，多个灭点不重合与不同过弯策略存在关联关系(关联函数)。在一些实施例中，电子设备基于当前车辆方向、车辆目的方向和车辆控制信息变化速率，针对不同过弯策略确定不同的车辆控制信息，使得过弯更加平稳。
在一些实施例中，电子设备基于多个灭点的纵轴(Y轴)坐标发生变化，确定前方坡度发生变化。电子设备基于前方坡度发生变化，生成车辆控制信息，保证车辆平稳通过前方斜坡。本领域技术人员可以理解，多个灭点的纵轴(Y轴)坐标发生变化与车辆平稳通过前方斜坡的控制信息存在关联关系(关联函数)。
在步骤504中，电子设备基于车辆控制信息控制车辆行驶。在一些实施例中，若车辆为真实智能驾驶车辆，则电子设备将车辆控制信息下发给车辆底层执行系统；若车辆为虚拟智能驾驶车辆，则电子设备基于车辆控制信息实时计算车辆位置并控制车辆在虚拟场景中行驶。在一些实施例中，电子设备可对车辆控制信息进行控制滤波，减小对车辆控制的抖动，防止车辆Z字形左右摇晃。在一些实施例中，控制滤波可以为PID比例微分积分，抑制车辆抖动。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员能够理解，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。另外，本领域技术人员能够理解，说明书中所描述的实施例均属于可选实施例。
本公开实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如基于多灭点的导航方法各实施例的步骤，为避免重复描述，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。
本领域的技术人员能够理解，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (7)
1.一种基于多灭点的导航方法，其特征在于，所述方法包括：
获取图像；
检测所述图像中多个灭点的位置，包括：对所述图像进行预处理，得到预处理图像；基于分割检测网络对所述预处理图像进行分割，得到多层图像分割结果，包括：基于天际线对所述预处理图像进行分割，得到天空层、非天空层，所述天际线为城市轮廓线；基于所述多层图像分割结果，对所述预处理图像进行水平投影和垂直投影，确定水平投影和垂直投影的极值；基于所述极值的交点确定多个灭点的位置，所述多个灭点都落在所述天际线上，所述多层图像分割结果的层数m与所述多个灭点的数量n满足：m=2n+1，其中，1为天空层，2n为非天空层分割的数量；
基于所述多个灭点的位置确定车辆控制信息包括：获取多个灭点的位置与车辆控制信息的关联函数；基于所述关联函数和所述多个灭点的位置确定车辆控制信息，所述关联函数为多个灭点的位置与方向盘转角、车速之间的关联关系；
基于所述车辆控制信息控制车辆行驶。
2.根据权利要求1所述的方法，其特征在于，所述分割检测网络包括：
特征提取网络，用于提取所述预处理图像的特征；
分割网络，用于基于所述特征分割所述预处理图像，得到多层图像分割结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述多个灭点重合，确定当前道路为直行道路；
基于所述多个灭点重合且重合位置改变，确定车辆偏离车道线；
基于所述多个灭点不重合，确定当前道路为弯道。
4.根据权利要求3所述的方法，其特征在于，基于所述多个灭点不重合，确定当前道路为弯道，包括：
基于距离最近的灭点获取当前车辆方向；
基于距离最远的灭点获取车辆目的方向；
基于距离居中的灭点获取车辆控制信息变化速率。
5.根据权利要求1所述的方法，其特征在于，所述车辆控制信息包括：方向盘转角或前轮偏角，车速。
6.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至5任一项所述方法的步骤。
7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911419161.3A CN111077893B (zh) | 2019-12-31 | 2019-12-31 | 一种基于多灭点的导航方法、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911419161.3A CN111077893B (zh) | 2019-12-31 | 2019-12-31 | 一种基于多灭点的导航方法、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111077893A CN111077893A (zh) | 2020-04-28 |
| CN111077893B true CN111077893B (zh) | 2023-06-23 |
Family
ID=70321224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911419161.3A Active CN111077893B (zh) | 2019-12-31 | 2019-12-31 | 一种基于多灭点的导航方法、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111077893B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199999A (zh) * | 2020-09-09 | 2021-01-08 | 浙江大华技术股份有限公司 | 道路检测方法、装置、存储介质和电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103991449B (zh) * | 2014-06-12 | 2017-01-18 | 北京联合大学 | 一种车辆行进控制方法及系统 |
| CN106228531B (zh) * | 2016-06-27 | 2020-03-20 | 开易（北京）科技有限公司 | 基于地平线搜索的自动灭点标定方法及系统 |
| CN107590438A (zh) * | 2017-08-16 | 2018-01-16 | 中国地质大学（武汉） | 一种智能辅助驾驶方法及系统 |
| CN109835337B (zh) * | 2019-02-27 | 2021-02-19 | 北京海纳川汽车部件股份有限公司 | 转弯控制方法、装置及自动驾驶车辆 |
| CN110044333A (zh) * | 2019-05-14 | 2019-07-23 | 芜湖汽车前瞻技术研究院有限公司 | 一种基于单目视觉的坡度检测方法和装置 |
-
2019
- 2019-12-31 CN CN201911419161.3A patent/CN111077893B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111077893A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11657604B2 (en) | Systems and methods for estimating future paths | |
| CN111095291B (zh) | 由自动驾驶车辆实时检测车道和边界 | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| CN110562258B (zh) | 一种车辆自动换道决策的方法、车载设备和存储介质 | |
| CN114667437A (zh) | 用于自主驾驶应用的地图创建和定位 | |
| CN112650220B (zh) | 一种车辆自动驾驶方法、车载控制器及系统 | |
| CN112740268B (zh) | 目标检测方法和装置 | |
| US20180031384A1 (en) | Augmented road line detection and display system | |
| CN114207381A (zh) | 用于车辆导航的系统和方法 | |
| CN114402377A (zh) | 用于监测交通车道拥塞的系统和方法 | |
| EP3674971B1 (en) | Method and system for training machine learning algorithm to detect objects at distance | |
| US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
| CN113544467A (zh) | 对齐用于导航的道路信息 | |
| WO2022142839A1 (zh) | 一种图像处理方法、装置以及智能汽车 | |
| CN116670610A (zh) | 用于公共速度映射和导航的系统和方法 | |
| CN111210411B (zh) | 图像中灭点的检测方法、检测模型训练方法和电子设备 | |
| US20210405651A1 (en) | Adaptive sensor control | |
| CN115035494A (zh) | 图像处理方法、装置、车辆、存储介质及芯片 | |
| CN110765224A (zh) | 电子地图的处理方法、车辆视觉重定位的方法和车载设备 | |
| CN111077893B (zh) | 一种基于多灭点的导航方法、电子设备和存储介质 | |
| US11157756B2 (en) | System and method for detecting errors and improving reliability of perception systems using logical scaffolds | |
| CN111174796B (zh) | 一种基于单灭点的导航方法、电子设备和存储介质 | |
| CN114341939A (zh) | 作为数据增强方法的真实世界图像道路曲率生成 | |
| CN115205311A (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| US20220053124A1 (en) | System and method for processing information from a rotatable camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210929 Address after: No.1 Factory building, no.299, Hongye Road, Dayun Town, Jiashan County, Jiaxing City, Zhejiang Province Applicant after: UISEE TECHNOLOGY (ZHEJIANG) Co.,Ltd. Address before: 211100 2nd floor, block B4, Jiulonghu international enterprise headquarters park, 19 Suyuan Avenue, Jiangning Development Zone, Nanjing City, Jiangsu Province (Jiangning Development Zone) Applicant before: Yushi Technology (Nanjing) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |