CN112109717A - 一种智能驾驶控制方法及装置、电子设备 - Google Patents

一种智能驾驶控制方法及装置、电子设备 Download PDF

Info

Publication number
CN112109717A
CN112109717A CN201910531192.1A CN201910531192A CN112109717A CN 112109717 A CN112109717 A CN 112109717A CN 201910531192 A CN201910531192 A CN 201910531192A CN 112109717 A CN112109717 A CN 112109717A
Authority
CN
China
Prior art keywords
road surface
scene
surface image
category
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910531192.1A
Other languages
English (en)
Inventor
程光亮
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime Group Ltd
Original Assignee
Sensetime Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime Group Ltd filed Critical Sensetime Group Ltd
Priority to CN201910531192.1A priority Critical patent/CN112109717A/zh
Priority to SG11202011767QA priority patent/SG11202011767QA/en
Priority to KR1020207036588A priority patent/KR20210013599A/ko
Priority to JP2020568236A priority patent/JP2021531545A/ja
Priority to PCT/CN2019/108282 priority patent/WO2020252971A1/zh
Priority to US17/101,918 priority patent/US20210070318A1/en
Publication of CN112109717A publication Critical patent/CN112109717A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种智能驾驶控制方法及装置、电子设备,所述方法包括:获得车辆所在路面的路面图像;根据获得的路面图像,确定所述路面图像中的路面场景的类别;根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。

Description

一种智能驾驶控制方法及装置、电子设备
技术领域
本申请涉及计算机视觉技术,尤其涉及一种智能驾驶控制方法及装置、电子设备。
背景技术
近年来,计算机视觉技术发展迅速,人们可以使用训练好的神经网络完成各种视觉任务,如图像分类、物体追踪、人脸识别等。另一方面,随着辅助驾驶和自动驾驶技术的提升,越来越多的与辅助驾驶和自动驾驶相关的需求被提出。
发明内容
本申请实施例提供了一种智能驾驶控制方法及装置、电子设备、计算机程序、计算机存储介质。
本申请实施例提供的智能驾驶控制方法,包括:
获得车辆所在路面的路面图像;
根据获得的路面图像,确定所述路面图像中的路面场景的类别;
根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;
基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,所述根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制,包括:
根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;
根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,所述根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制,包括:
根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,在根据获得的路面图像确定所述路面图像中的路面场景的类别之前,所述方法还包括:
对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
本申请实施例提供的智能驾驶控制装置,包括:
获取单元,用于获得车辆所在路面的路面图像;
确定单元,用于根据获得的路面图像,确定所述路面图像中的路面场景的类别;
控制单元,用于根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,所述确定单元,用于根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,所述控制单元,用于根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,所述控制单元,用于根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,所述确定单元,用于将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,所述装置还包括:
剪裁单元,用于在根据获得的路面图像确定所述路面图像中的路面场景的类别之前,对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述确定单元,用于根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
本申请实施例提供的电子设备包括:
存储器,用于存储可执行指令;以及
处理器,用于执行所述可执行指令从而完成上述的智能驾驶控制方法。
本申请实施例提供的计算机程序,包括计算机可读代码,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现上述的智能驾驶控制方法。本申请实施例提供的计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现以下步骤:
获得车辆所在路面的路面图像;
根据获得的路面图像,确定所述路面图像中的路面场景的类别;
根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,所述指令被执行实现根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;
基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,所述指令被执行实现根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;
根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,所述指令被执行实现根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,所述指令被执行实现根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,在执行根据获得的路面图像确定所述路面图像中的路面场景的类别的步骤之前,所述指令被执行时实现以下步骤:
对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述指令被执行实现根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
基于本申请上述实施例提供的智能驾驶控制方法及装置、电子设备、计算机程序及计算机存储介质,获得车辆所在路面的路面图像,对获得的路面图像中的路面场景进行识别,从而确定所述路面图像中的路面场景的类别,基于确定出的路面场景的类别实现对车辆的智能驾驶控制。
附图说明
图1为本申请实施例提供的智能驾驶控制方法的流程示意图一;
图2为本申请实施例提供的多种路面场景的类别的示意图;
图3为本申请实施例提供的智能驾驶控制方法的流程示意图二;
图4-1为本申请实施例提供的识别路面场景的类别的原理图一;
图4-2为本申请实施例提供的识别路面场景的类别的原理图二;
图4-3为本申请实施例提供的神经网络的结构图;
图5为本申请实施例提供的智能驾驶控制装置的结构组成示意图;
图6为本申请实施例的电子设备的结构组成示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本申请实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
在实现本申请实施例技术方案的过程中,申请人至少发现如下问题:驾驶员在开车时,需要根据不同的路面场景来决定自己的行驶速度和刹车强度。例如,在正常路面上,即使驾驶员以较高的速度进行行驶,在遇到紧急情况时可以比较容易的做出刹车动作,且比较平稳的将车停住。然而,当下雨天时,驾驶员的行驶速度则不能太快,由于地面湿滑,摩擦系数比较小,在刹车时容易出现侧翻等事故,有时由于刹车不及时而出现追尾。更严重的情况下,如在雪天结冰路面上,驾驶员开车时需要非常慢,当然在刹车时也需要格外小心。上述情况,对于一个技术较好的驾驶员来说可能都会遇到一些困难。为了解决上述问题,提出了本申请实施例的技术方案,本申请实施例的技术方案旨在区分不同的路面场景,对当前路面进行准确的识别,可以为辅助驾驶和自动驾驶提供准确的驾驶策略,保障车辆行驶过程中的安全。
图1为本申请实施例提供的智能驾驶控制方法的流程示意图一,如图1所示,所述智能驾驶控制方法包括以下步骤:
步骤101:获得车辆所在路面的路面图像。
本申请实施例中,所述路面图像可以是从图像采集设备直接获取的图像,例如:图像采集设备为摄像机等,也可以是从其他设备获取的图像,本实施例对路面图像的获取方式不作限定。
在一些可选实施方式中,通过设置于车辆上的图像采集设备采集车辆所在路面的路面图像。
步骤102:根据获得的路面图像,确定所述路面图像中的路面场景的类别。
本申请实施例中,路面场景的类别可以包括两种不同情况,第一种情况是不同的道路,即道路所在的地理位置不同,道路上的覆盖物不同,例如:沥青路面、水泥路面、沙漠路面、泥土路面等;第二种情况是相同的道路,但是道路所处的环境发生变化,导致道路上的覆盖物不同,例如:湿滑路面、结冰路面、雪天路面等。
步骤103:根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
本申请实施例定义了一种新型的分类任务,即路面场景的分类任务。针对路面场景的分类任务,参照图2,本申请实施例明确了如下至少一种路面场景的类别:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面,当然,路面场景还可以包括其他的情况,本申请不对此做出限定。
本申请实施例中,通过上述步骤101至步骤102获得了路面图像中路面场景的类别后,可以根据所述路面场景的类别,对所述车辆进行智能驾驶控制。这里,对所述车辆进行智能驾驶控制可以应用于自动驾驶场景,也可以应用于辅助驾驶场景。
例如,在自动驾驶场景中,根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件,从而根据路面场景控制车辆的行驶速度,以提高驾驶安全性。
例如,在辅助驾驶场景中,根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:所述车辆的速度控制参数、刹车力度控制参数、告警信息。
从而使得驾驶员可以通过提示信息,来做出正确的驾驶决策,提高驾驶安全性。例如,参考提示的车辆的速度控制参数和/或刹车力度控制参数来调整车辆的行驶速度,或者当车辆在危险路面(如湿滑路面、结冰路面、或者雪天路面等)上快速行驶时,向驾驶员提示参考提示的车辆的速度控制参数和/或刹车力度控制参数,或者直接发出告警信息提示驾驶员降低车速。这里,提示信息可以是语音信息、文字信息、动画信息、图像信息中的至少之一,本申请实施例对提示信息的实现方式不做限定。优选地,所述提示信息为语音信息,从而可以避免驾驶员分神去关注提示信息。
表1给出了7种不同路面场景的类别分别对应的速度控制参数和刹车力度控制参数,其中,速度控制参数用于指示车辆建议的最高运行速度,刹车力度控制参数用于指示车辆可使用的刹车力度。
路面场景的类别 速度控制参数(km/h) 刹车力度控制参数
沥青路面(干燥) 100 高或中
水泥路面(干燥) 80 高或中
沙漠路面 80
泥土路面 80
湿滑路面 60 中或低
结冰路面 40
雪天路面 60 中或低
表1
本申请实施例的技术方案,对获得的车辆所在路面的路面图像中的路面场景进行识别,从而确定所述路面图像中的路面场景的类别,基于确定出的路面场景的类别实现对车辆的智能驾驶控制。
图3为本申请实施例提供的智能驾驶控制方法的流程示意图二,如图3所示,所述智能驾驶控制方法包括以下步骤:
步骤301:获得车辆所在路面的路面图像。
本申请实施例中,所述路面图像可以是从图像采集设备直接获取的图像,例如:图像采集设备为摄像机等,也可以是从其他设备获取的图像,本实施例对路面图像的获取方式不作限定。
步骤302:根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面。
步骤303:基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在确定所述路面图像中的路面属于不同路面场景的类别的概率后;基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。在本申请一些可选实施方式中,将概率最大的路面场景的类别作为所述路面图像中的路面所属的路面场景的类别。
在本申请一些可选实施方式中,利用神经网络来确定所述路面图像中的路面场景的类别,这里,任意一种用于分类任务的神经网络都可以用来确定所述路面图像中的路面场景的类别,本申请实施例对神经网络的网络结构没有任何限制,例如神经网络采用残差网络结构,或者VGG16网络结构等。
本申请实施例的技术方案不局限于利用神经来确定所述路面图像中的路面场景的类别,还可以利用非神经网络的分类器来确定所述路面图像中的路面场景的类别,其中,非神经网络的分类器例如是支持向量机(Support Vector Machine,SVM)分类器,随机森林(Random Forest)分类器等等。
本申请实施例中,利用神经网络来确定所述路面图像中的路面场景的类别,可以有如下实现方式:
方式一:将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
具体地,在用神经网络来确定路面图像中的路面场景的类别之前,先采用图像集对该神经网络进行监督训练,该图像集中的路面图像已经标注了路面图像中的路面场景的类别。在一些可选实施方式中,通过以下方式对神经网络进行监督训练:将图像集中的路面图像作为样本图像输入神经网络,所述样本图像标注有路面场景的类别;利用所述神经网络确定所述样本图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;基于所述样本图像中的路面所属的各个路面场景的类别的概率,预测所述样本图像中的路面场景的类别;基于预测的所述样本图像中的路面场景的类别和标注的所述样本图像的路面场景的类别,计算损失函数的值;识别所述损失函数的值是否满足预设条件;响应于所述损失函数的值不满足预设条件,基于所述损失函数的值对所述神经网络的参数进行调整,然后迭代执行利用预测所述样本图像中的路面场景的类别的操作,直至所述损失函数的值满足预设条件,所述神经网络训练完成。
在对神经网络训练完成后,利用训练完成的神经网络来确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;训练完成的神经网络基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别,例如,将概率最大的路面场景的类别作为路面图像中的路面所属的路面场景的类别。
参照图4-1所示,神经网络整体上包括特征提取模块和分类模块,在一可选实施方式中,特征提取模块由卷积层组成,分类模块由全连接层组成。其中,特征提取模块用于提取路面图像中的特征,产生一定维度的特征向量。分类模块用于对上述特征向量进行分类,即将上述特征向量映射到N种路面场景的类别对应的概率,图4-1中以N=7为例,最终得到路面图像中的路面分别属于沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面以及雪天路面的概率。而后,神经网络将概率最大的路面场景的类别作为所述路面图像中的路面所属的路面场景的类别,如图4-1所示,路面图像中的路面属于湿滑路面的概率最大,因而神经网络将路面图像中的路面识别为湿滑路面。
方式二:在根据获得的路面图像确定所述路面图像中的路面场景的类别之前,对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例。然后根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别,具体地,将所述裁剪后的路面图像输入所述神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
具体地,对获得的路面图像进行剪裁,得到剪裁后的路面图像,将所述裁剪后的路面图像输入所述神经网络,利用所述神经网络确定剪裁后的路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;神经网络基于剪裁后的路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
参照图4-2所示,图4-2相对于图4-1而言,增加了裁剪步骤,这是由于路面图像的有些区域与路面无关(例如路面图像的上半部分为大片天空),在对路面图像进行分类时会产生一些误分类,因此,在对路面图像进行识别之前,先对路面图像进行剪裁,剪裁后得到的路面图像中的路面占据的比例增大。在一实施方式中,可以将路面图像从底边以上的40%区域裁剪出来作为神经网络的输入。方式二中的神经网络可以采用与方式一中的神经网络相同的结构,具体的,方式二中的神经网络对裁剪后的路面图像进行处理的过程可以参见方式一中的神经网络对路面图像进行处理的过程,此处不再赘述。
上述图4-1和图4-2中,神经网络的结构总体上包括特征提取模块和分类模块。其中,特征提取模块包括卷积层和池化层,进一步,除了卷积层和池化层以外,特征提取模块还有其它一些层穿插在卷积层和池化层之间,其作用是减少过拟合,提高学习率,缓解梯度消失等问题。例如,特征提取模块还可以包括dropout层,dropout层可以防止神经网络出现过拟合。再例如,特征提取模块还可以包括激励层(如ReLU层),在每个卷积层之后连接一个激励层,激励层的作用是加入非线性因素。分类模块包括全连接层,全连接层的输入是特征提取模块的输出,其作用是将路面图像的特征数据映射到各个路面场景,从而得到路面图像中的路面属于各个路面场景的类别的概率。图4-3给出了一种可选地神经网络的结构图,需要说明的是,神经网络中包括的各个层的数目本申请不做限制,任何用于分类任务的神经网络的结构都可以用于实现对路面图像中的路面场景的分类。
步骤304:根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
本申请实施例中,通过上述步骤301至步骤303获得了路面图像中路面场景的类别后,可以根据所述路面场景的类别,对所述车辆进行智能驾驶控制。这里,对所述车辆进行智能驾驶控制可以应用于自动驾驶场景,也可以应用于辅助驾驶场景。应用于自动驾驶场景中的方式可以参照图1所示的实施例中的自动驾驶场景,应用于辅助驾驶场景中的方式可以参照图1所示的实施例中的辅助驾驶场景,在此不再赘述。
本申请实施例的技术方案,对获得的车辆所在路面的路面图像中的路面场景进行识别,从而确定所述路面图像中的路面场景的类别,基于确定出的路面场景的类别实现对车辆的智能驾驶控制。
图5为本申请实施例提供的智能驾驶控制装置的结构组成示意图,如图5所示,所述智能驾驶控制装置包括:
获取单元501,用于获得车辆所在路面的路面图像;
确定单元502,用于根据获得的路面图像,确定所述路面图像中的路面场景的类别;
控制单元503,用于根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,所述确定单元502,用于根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,所述控制单元503,用于根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,所述控制单元503,用于根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,所述确定单元502,用于将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,所述装置还包括:
剪裁单元504,用于在根据获得的路面图像确定所述路面图像中的路面场景的类别之前,对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述确定单元502,用于根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
本领域技术人员应当理解,图5所示的智能驾驶控制装置中的各单元的实现功能可参照前述智能驾驶控制方法的相关描述而理解。图5所示的智能驾驶控制装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
本申请实施例上述的智能驾驶控制装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
相应地,本申请实施例还提供一种计算机程序产品,其中存储有计算机可读代码,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行以下步骤:
获得车辆所在路面的路面图像;
根据获得的路面图像,确定所述路面图像中的路面场景的类别;
根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;
基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;
根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,当所述计算机可读代码在设备上运行时,所述设备中的处理器在执行根据获得的路面图像确定所述路面图像中的路面场景的类别的步骤之前,还执行:
对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
当所述计算机可读代码在设备上运行时,所述设备中的处理器执行根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
图6为本申请实施例的电子设备的结构组成示意图,如图6所示,电子设备600可以包括一个或多个(图中仅示出一个)处理器6002(处理器6002可以包括但不限于微处理器(MCU,Micro Controller Unit)或可编程逻辑器件(FPGA,Field Programmable GateArray)等的处理装置)、用于存储数据的存储器6004,可选地,还可以包括用于通信功能的传输装置6006。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备600还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
存储器6004可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器6004可进一步包括相对于处理器6002远程设置的存储器,这些远程存储器可以通过网络连接至电子设备600。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置6006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备600的通信供应商提供的无线网络。在一个实例中,传输装置6006包括一个网络适配器(NIC,Network Interface Controller),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置6006可以为射频(RF,Radio Frequency)模块,其用于通过无线方式与互联网进行通讯。
存储器6004可用于存储可执行指令(也可以称为软件程序以及模块),处理器6002通过运行存储在存储器6004内的可执行指令从而完成以下步骤:
获得车辆所在路面的路面图像;
根据获得的路面图像,确定所述路面图像中的路面场景的类别;
根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
在本申请一些可选实施方式中,所述处理器6002,用于执行所述可执行指令从而完成根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;
基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
在本申请一些可选实施方式中,所述处理器6002,用于执行所述可执行指令从而完成根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;
根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
在本申请一些可选实施方式中,所述处理器6002,用于执行所述可执行指令从而完成根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制的步骤,包括:
根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
在本申请一些可选实施方式中,所述处理器6002,用于执行所述可执行指令从而完成根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
在本申请一些可选实施方式中,所述处理器6002,用于在执行根据获得的路面图像确定所述路面图像中的路面场景的类别的步骤之前,执行所述可执行指令从而完成以下步骤:
对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述处理器6002用于执行所述可执行指令从而完成根据获得的路面图像,确定所述路面图像中的路面场景的类别的步骤,包括:
根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种智能驾驶控制方法,其特征在于,所述方法包括:
获得车辆所在路面的路面图像;
根据获得的路面图像,确定所述路面图像中的路面场景的类别;
根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
2.根据权利要求1所述的方法,其特征在于,所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
根据获得的路面图像,确定所述路面图像中的路面属于以下至少一种路面场景的类别的概率:沥青路面、水泥路面、沙漠路面、泥土路面、湿滑路面、结冰路面、雪天路面;
基于所述路面图像中的路面所属的各个路面场景的类别的概率,确定所述路面图像中的路面场景的类别。
3.根据权利要求1或2所述的方法,其特征在于,所述根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制,包括:
根据确定的所述路面场景的类别,确定车辆的速度控制参数和/或刹车力度控制参数;
根据确定的车辆的速度控制参数和/或刹车力度控制参数,控制所述车辆的驱动部件和/或制动部件。
4.根据权利要求1或2所述的方法,其特征在于,所述根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制,包括:
根据确定的所述路面场景的类别,输出提示信息;所述提示信息包括以下信息中的至少一种:
所述车辆的速度控制参数、刹车力度控制参数、告警信息。
5.根据权利要求1-4任一所述的方法,其特征在于,所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
将所述获得的路面图像输入神经网络,利用所述神经网络确定所述路面图像中的路面场景的类别,其中,所述神经网络是采用标注了路面场景的类别的路面图像构成的图像集训练得到的。
6.根据权利要求1-5任一项所述的方法,其特征在于,在根据获得的路面图像确定所述路面图像中的路面场景的类别之前,所述方法还包括:
对获得的路面图像进行剪裁,得到剪裁后的路面图像;其中,所述车辆所在路面占据所述剪裁后的路面图像的比例大于所述车辆所在路面占据所述获得的路面图像的比例;
所述根据获得的路面图像,确定所述路面图像中的路面场景的类别,包括:
根据所述裁剪后的路面图像,确定所述路面图像中的路面场景的类别。
7.一种智能驾驶控制装置,其特征在于,所述装置包括:
获取单元,用于获得车辆所在路面的路面图像;
确定单元,用于根据获得的路面图像,确定所述路面图像中的路面场景的类别;
控制单元,用于根据确定的所述路面场景的类别,对所述车辆进行智能驾驶控制。
8.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及
处理器,用于执行所述可执行指令从而完成权利要求1至6中任意一项所述的方法。
9.一种计算机程序,包括计算机可读代码,其特征在于,当所述计算机可读代码在设备上运行时,所述设备中的处理器执行用于实现权利要求1至6中任意一项所述方法的指令。
10.一种计算机存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时实现权利要求1至6中任意一项所述的方法。
CN201910531192.1A 2019-06-19 2019-06-19 一种智能驾驶控制方法及装置、电子设备 Pending CN112109717A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910531192.1A CN112109717A (zh) 2019-06-19 2019-06-19 一种智能驾驶控制方法及装置、电子设备
SG11202011767QA SG11202011767QA (en) 2019-06-19 2019-09-26 Intelligent driving control method and apparatus, and electronic device
KR1020207036588A KR20210013599A (ko) 2019-06-19 2019-09-26 지능형 주행 제어 방법 및 장치, 전자 기기
JP2020568236A JP2021531545A (ja) 2019-06-19 2019-09-26 インテリジェント運転制御方法及び装置、電子機器
PCT/CN2019/108282 WO2020252971A1 (zh) 2019-06-19 2019-09-26 一种智能驾驶控制方法及装置、电子设备
US17/101,918 US20210070318A1 (en) 2019-06-19 2020-11-23 Intelligent driving contrl method and apparatus, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910531192.1A CN112109717A (zh) 2019-06-19 2019-06-19 一种智能驾驶控制方法及装置、电子设备

Publications (1)

Publication Number Publication Date
CN112109717A true CN112109717A (zh) 2020-12-22

Family

ID=73795532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531192.1A Pending CN112109717A (zh) 2019-06-19 2019-06-19 一种智能驾驶控制方法及装置、电子设备

Country Status (6)

Country Link
US (1) US20210070318A1 (zh)
JP (1) JP2021531545A (zh)
KR (1) KR20210013599A (zh)
CN (1) CN112109717A (zh)
SG (1) SG11202011767QA (zh)
WO (1) WO2020252971A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758103A (zh) * 2021-01-26 2021-05-07 北京罗克维尔斯科技有限公司 一种车辆控制方法及装置
CN113239901A (zh) * 2021-06-17 2021-08-10 北京三快在线科技有限公司 场景识别方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3118747A1 (fr) * 2021-01-11 2022-07-15 Psa Automobiles Sa Procédé et dispositif de détermination d’information représentative d’adhérence entre un véhicule et un revêtement d’une route
CN113096517B (zh) * 2021-04-13 2022-09-30 北京工业大学 基于5g和自动驾驶的路面病害智能检测小车及沙盘展示系统
US20240199049A1 (en) * 2022-12-19 2024-06-20 Lytx, Inc. Inclement weather detection
CN117437608A (zh) * 2023-11-16 2024-01-23 元橡科技(北京)有限公司 一种全地形路面类型识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090047249A (ko) * 2007-11-07 2009-05-12 현대자동차주식회사 노면 상태 검출을 통한 차량 안전제어방법
CN107554420A (zh) * 2017-09-11 2018-01-09 安徽实运信息科技有限责任公司 一种基于道路环境的安全车距报警系统
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
CN108072406A (zh) * 2017-11-17 2018-05-25 南京视莱尔汽车电子有限公司 一种自动驾驶汽车车速与路面转台综合评估方法
CN108074409A (zh) * 2016-11-11 2018-05-25 大陆汽车投资(上海)有限公司 道路安全驾驶辅助系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
EP3392800A1 (en) * 2017-04-21 2018-10-24 Continental Automotive GmbH Device for determining a weather state
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
CN111095291B (zh) * 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
CN108508895A (zh) * 2018-04-12 2018-09-07 鄂尔多斯市普渡科技有限公司 一种无人驾驶汽车路面探测装置及探测方法
US10837793B2 (en) * 2018-06-12 2020-11-17 Volvo Car Corporation System and method for utilizing aggregated weather data for road surface condition and road friction estimates
CN109460738B (zh) * 2018-11-14 2019-09-27 吉林大学 一种基于无损失函数的深度卷积神经网络的路面类型估算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090047249A (ko) * 2007-11-07 2009-05-12 현대자동차주식회사 노면 상태 검출을 통한 차량 안전제어방법
CN108074409A (zh) * 2016-11-11 2018-05-25 大陆汽车投资(上海)有限公司 道路安全驾驶辅助系统
CN107554420A (zh) * 2017-09-11 2018-01-09 安徽实运信息科技有限责任公司 一种基于道路环境的安全车距报警系统
CN108072406A (zh) * 2017-11-17 2018-05-25 南京视莱尔汽车电子有限公司 一种自动驾驶汽车车速与路面转台综合评估方法
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112758103A (zh) * 2021-01-26 2021-05-07 北京罗克维尔斯科技有限公司 一种车辆控制方法及装置
CN112758103B (zh) * 2021-01-26 2022-06-17 北京罗克维尔斯科技有限公司 一种车辆控制方法及装置
CN113239901A (zh) * 2021-06-17 2021-08-10 北京三快在线科技有限公司 场景识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2021531545A (ja) 2021-11-18
US20210070318A1 (en) 2021-03-11
KR20210013599A (ko) 2021-02-04
WO2020252971A1 (zh) 2020-12-24
SG11202011767QA (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN112109717A (zh) 一种智能驾驶控制方法及装置、电子设备
US20200164891A1 (en) Intelligent vehicle action decisions
KR102373430B1 (ko) 자율 주행 차량의 사용자에게 캘리브레이션된 맞춤형 및 적응형 딥러닝 모델을 제공하는 방법 및 장치
GB2552052A (en) Vehicle mode scheduling with learned user preferences
CN110390314B (zh) 一种视觉感知方法及设备
Zakaria et al. Lane detection in autonomous vehicles: A systematic review
CN112307978B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN117157678A (zh) 用于基于图的全景分割的方法和系统
CN116680601A (zh) 边缘交通对象预测方法、装置、设备和存储介质
CN112560714A (zh) 基于人工智能的酒驾检测方法、装置、服务器及存储介质
Thomas et al. Pothole and speed bump classification using a five-layer simple convolutional neural network
CN115631482B (zh) 驾驶感知信息采集方法、装置、电子设备和可读介质
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
CN113920166B (zh) 一种选择物体运动模型方法、装置、交通工具及存储介质
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
Boisclair et al. Attention transfer from human to neural networks for road object detection in winter
Song et al. Remote estimation of free-flow speeds
EP3989031A1 (en) Systems and methods for fusing road friction data to enhance vehicle maneuvering
CN114267021A (zh) 对象识别方法和装置、存储介质及电子设备
CN113609956A (zh) 训练方法、识别方法、装置、电子设备以及存储介质
CN113593256A (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
CN113537087A (zh) 一种智慧交通信息处理方法、装置及服务器
CN111813823A (zh) 保险服务策略调整系统、车载记录设备和服务器
Kumar et al. Lane Detection for Autonomous Vehicle in Hazy Environment with Optimized Deep Learning Techniques
Kang et al. Inception network-based weather image classification with pre-filtering process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication