CN114194196A - 使用基于深度学习的道路情况判断模型控制地形模式的方法和装置 - Google Patents

使用基于深度学习的道路情况判断模型控制地形模式的方法和装置 Download PDF

Info

Publication number
CN114194196A
CN114194196A CN202110990294.7A CN202110990294A CN114194196A CN 114194196 A CN114194196 A CN 114194196A CN 202110990294 A CN202110990294 A CN 202110990294A CN 114194196 A CN114194196 A CN 114194196A
Authority
CN
China
Prior art keywords
vehicle
road surface
friction coefficient
road
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110990294.7A
Other languages
English (en)
Other versions
CN114194196B (zh
Inventor
朴信基
李权熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN114194196A publication Critical patent/CN114194196A/zh
Application granted granted Critical
Publication of CN114194196B publication Critical patent/CN114194196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10—Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/0002—Type of accident
    • B60R2021/0004—Frontal collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/28—Wheel speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/30—Wheel torque
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/10—Change speed gearings
    • B60W2710/1005—Transmission ratio engaged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/182—Selecting between different operative modes, e.g. comfort and performance modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开在一些实施例中提供了一种方法和装置，使用基于深度学习的学习模型使车辆能够通过使用基于深度学习的学习模型自主估计路面情况，确定针对车辆正行驶的路面而优化的地形模式，并且控制相应车载模块，从而自动控制地形模式。通过使得车辆能够自动确定路面情况，并向驾驶员提供与路面情况相对应的地形模式信息，这使驾驶员不必用肉眼人工检查路面情况，以提高驾驶员的便利性。

Description

使用基于深度学习的道路情况判断模型控制地形模式的方法 和装置
相关申请的交叉引用
本申请基于2020年8月26日提交的申请号为10-2020-0107699的韩国专利申请，并要求其优先权，其公开内容通过引用全部纳入本文。
技术领域
本公开在一些实施例中涉及一种用于通过使用基于深度学习的道路情况判断模型控制地形模式的方法和装置。更具体地，本公开涉及一种通过使用基于深度学习的预先训练的道路情况判断模型和从相机获得的路面数据控制地形模式的方法和装置。
背景技术
本节中的陈述只是提供与本公开有关的背景信息，并不一定构成现有技术。
车辆的驾驶性能会随着路面的各种情况(如湿润的道路、未铺设或越野的道路、含沙并含泥的道路和被雪覆盖的道路)而改变。机动车制造商已经对安装在车辆中的电子控制单元进行了研究和开发，使得车辆对各种路面情况能够积极地响应，并提高驾驶性能。
结果得到一种可商业化的地形模式控制技术，其允许车辆驾驶员选择与正行驶的道路的当前表面情况相对应的特定地形模式，从而控制驱动系统、用于使传动齿轮换挡的换挡时间和车辆的制动系统。
地形模式控制技术是通过以下过程执行的，包括由驾驶员使用肉眼确定路面情况，通过使用操控梭调节器(jog-shuttle dial)选择特定地形模式，并根据选择的地形模式改变相应车载模块的操作状态。操控梭调节器指各种类型的车载物理按钮之一，其可以在车辆制造过程中附接，但可切换为另一种类型的按钮。
然而，常规的地形模式控制技术需要驾驶员通过使用肉眼来人工确定路面情况，需要驾驶员的附加操纵来改变地形模式，并且需要在车辆中提供专用设备，如物理按钮或软件按钮，这导致了一系列限制。
目前，机动车相关技术正朝着实现自动车辆的方向发展，该自动车辆执行自主驾驶，当常规的地形模式控制技术在执行的各个阶段采取人为干预时，与实现先进的自动驾驶技术背道而驰，这是不利的。
因此，作为用于实现4级或更高的先进自动驾驶的基础技术，需要一种技术，其中车辆可以更积极地参与控制地形模式，并且可以控制自动驾驶辅助功能。
发明内容
根据至少一个实施例，本公开提供了一种在针对路面而优化的地形模式下自动控制车辆的驾驶状态的方法，包括：通过车辆正行驶的路面的捕获图像，从安装在车辆上的一个或更多个相机获得路面数据；通过将路面数据输入至预先训练的基于深度学习的学习模型，估计与路面相对应的道路摩擦系数；通过使用道路摩擦系数确定针对车辆正行驶的路面而优化的地形模式，并且生成最佳地形模式信息；并且基于最佳地形模式信息控制一个或更多个车载模块。
根据另一实施例，本公开提供了一种辅助车辆控制地形模式的方法，包括：通过车辆正行驶的路面的捕获图像，从安装在车辆上的一个或更多个相机获得路面数据；通过将路面数据输入至预先训练的基于深度学习的学习模型，估计与路面对应的道路摩擦系数；通过使用道路摩擦系数确定针对车辆正行驶的路面而优化的地形模式，并且提供优化地形模式的最佳地形模式信息。
根据又一实施例，本公开提供了一种辅助车辆控制自动驾驶的方法，包括：通过车辆正行驶的路面的捕获图像，从安装在车辆上的一个或更多个相机获得路面数据；通过将路面数据输入至预先训练的基于深度学习的学习模型，估计与路面对应的道路摩擦系数；并通过使用道路摩擦系数确定车辆的驾驶阈值，并且基于驾驶阈值控制一个或更多个车载模块。
根据又一实施例，本公开提供了一种用于自动控制车辆的地形模式的装置，包括估计单元、地形模式确定单元和地形模式控制单元。估计单元估计路面情况，其包括预先训练的基于深度学习的学习模型，并被配置为：通过车辆正行驶的路面的捕获图像，从安装在车辆上的一个或更多个相机获得路面数据；通过将路面数据输入至基于深度学习的学习模型，估计与路面对应的道路摩擦系数。地形模式确定单元被配置为通过使用道路摩擦系数确定针对车辆正行驶的路面而优化的地形模式。地形模式控制单元被配置为通过使用关于地形模式的信息控制一个或更多个车载模块。
根据又一实施例，本公开提供了一种计算机程序，其存储在计算机可读介质中，用于执行分别包括在以下方法中的步骤，该方法是在针对路面而优化的地形模式下自动控制车辆的驾驶状态的方法。
附图说明
图1A是根据本公开至少一个实施例的自动地形模式控制装置的框图。
图1B是示出了根据本公开至少一个实施例的与辅助车辆自动驾驶控制的方法有关的部件的图。
图2是根据本公开至少一个实施例的基于深度学习的学习单元的框图。
图3是根据本公开至少一个实施例的用于基于深度学习的学习模型的训练方法的流程图。
图4A是根据本公开至少一个实施例的自动控制地形模式的方法的流程图。
图4B是根据本公开至少一个实施例的辅助自动驾驶控制的方法的流程图。
具体实施方式
本公开在至少一个实施例中寻求提供一种技术，用于允许车辆通过使用提前训练的基于深度学习的学习模型，在没有驾驶员干预的情况下，自动确定路面情况，并响应于各种路面情况改变车辆的驾驶状态。
本发明在另一实施例中寻求通过以下方式辅助车辆执行地形模式控制：确定即使在不构成电子稳定性控制(electronic stability control，ESC)干预的寻常和非关键的驾驶情况下的路面情况，并且确定针对路面而优化的地形模式，然后将地形模式信息提供给驾驶员。
本公开在另一个实施例中寻求提供一种用于控制地形模式的装置，以使车辆制造免去在车辆上安装单独的物理按钮来辅助驾驶员操纵车辆的需要，从而降低车辆制造成本，并保证车辆内部的自由空间，以向驾驶员提供更多便利。
以下参照附图描述本公开的一些示例性实施例。在以下描述中，类似的参考数字优选指定类似的元件，尽管这些元件在不同的图中示出。此外，在一些实施例的以下描述中，为了清楚和简洁的目的，将省略纳入本文的已知功能和配置的详细描述。
此外，在对部件进行编号时，诸如第一、第二、i)、ii)、a)、b)等字母数字代码，仅用于区分一个部件与另一个部件的目的，而非暗示或显示部件的实质、次序或顺序。在本说明书中，当组件“包括”或“包含”一种部件时，它们意味着还包括其他部件，而非排除其他部件，除非有与之相反的特别描述。诸如“单元”、“模块”等术语指用于处理至少一个功能或操作的单元，它们可以由硬件、软件或其组合来实现。
最近在基于深度学习技术从图像数据估计物理信息上有了功能改进。本公开在一些实施例中提供了一种新方案，即使用这种信息估计功能作为基础，以使车辆自主确定道路情况并自动控制驾驶状态。
更详细地，本公开在一些实施例中提供了一种装置和一种方法，其包括通过使用基于深度学习的学习模型，由估计单元为路面情况计算路面摩擦系数信息，并且控制引擎输出、车辆驾驶方向、制动速度、制动时机和不涉及驾驶员干预的其他因素。进一步提供了本公开的建议用途。
另一方面，尽管本公开的一些实施例为了描述方便，描述了自动驾驶或半自动驾驶车辆中的驾驶状态控制方法，但这些实施例适用于配备有相机和电子控制单元(electronic control unit，ECU)的各种运输工具。
通过参考附图给出的本公开的以下描述旨在描述本公开的示例性实施例，而非代表本公开可以实施的唯一实施例。
图1A是根据本公开至少一个实施例的自动地形模式控制装置100的框图。
根据本实施例的自动地形模式控制装置100包括路面情况估计单元102、地形模式确定单元114和地形模式控制单元116中的所有或一些，路面情况估计单元102通常由数据收集单元(data collection unit，DCU)106、道路摩擦系数估计单元110和学习单元112三个单元组成。
图1A中示出的自动地形模式控制装置100是根据本公开至少一个实施例的，并且图1A中示出的所有框都不是必要的部件。在另一实施例中，包括在自动地形模式控制装置100中的一些框可以被添加、改变或删除。例如，假如在地形模式确定单元114和地形模式控制单元116之间添加能够与驾驶员通信的通信单元(未示出)，则自动地形模式控制装置100可以作为用于辅助地形模式控制的装置来操作，以向驾驶员提供针对正行驶道路的表面情况而优化的地形模式的地形模式信息，并根据由驾驶员响应地选择的地形模式来控制相应的车载模块。
自动地形模式控制装置100获得路面数据，估计道路摩擦系数，确定适于路面的地形模式，并响应于各种地形进行驾驶状态改变。地形模式是指，由机动车制造商在计算出针对不同路面而优化的参考值后并使用计算出的用于预设驾驶状态的参考值，在相应的车载地形模式控制器中预设的驾驶状态。当驾驶员或系统在各种地形模式中选择了特定的地形模式时，每个车载地形模式控制器可以将驾驶状态改变为预设的参考值。以下描述了包括在自动地形模式控制装置100中的相应部件。
路面情况估计单元102向地形模式确定单元114传输道路摩擦系数信息，道路摩擦系数信息通过使用从相机104获得的路面数据和基于深度学习的学习模型来估计。路面情况估计单元102可以是训练基于深度学习的学习模型的电子控制单元。
相机104安装在车辆的一侧，以提供路面数据，如车辆周边区域的图像或视频捕获。数据收集单元106可以从相机104获得路面数据，并包括数据存储单元108，用于存储获得的路面数据。在另一实施例中，关于收集相机104的路面数据，数据收集单元106可以从雷达或激光雷达(均未示出)获得并存储路面数据，该雷达或激光雷达安装在车辆一侧，以向车辆周围的物体发射信号并分析从该物体反射的信号。
道路摩擦系数估计单元110通过使用与道路情况相关的特征相对应的路面数据来估计道路摩擦系数信息，将估计的道路摩擦系数信息暂时存储在存储器例如随机存取存储器(random access memory，RAM)中，然后通过控制器区域网络(controller areanetwork，CAN)总线将道路摩擦系数传输到地形模式确定单元114。
学习单元112从相机、雷达或激光雷达获得路面数据，并通过在路面数据上标记道路摩擦系数来生成标记数据。此后，学习单元112通过使用标记数据来训练基于深度学习的学习模型。在本公开的至少一个实施例中，学习单元112被实现为单独的独立设备，该独立设备与路面情况估计单元102联锁。
地形模式确定单元114根据从路面条件估计单元102接收的道路摩擦系数确定针对正行驶的道路的表面而优化的地形模式。例如，当地形模式确定单元114，作为比较从道路摩擦系数估计单元提供的道路摩擦系数与为不同路面预设的道路摩擦系数的结果，确定正行驶的道路的表面是湿润的道路时，其可以将地形模式信息传输给地形模式控制器116，以将驾驶状态改变至预设的低引擎功率。
地形模式控制单元116使用地形模式作为用于控制驱动系统和制动系统中相应部件如未示出的引擎控制单元(engine control unit，ECU)、电子稳定性控制(ESC)和传动控制单元(transmission control unit，TCU)的基础。例如，ECU可以根据地形模式确定单元114选择的地形模式，将引擎输出改变至预设的引擎映射值。ESC根据地形模式确定单元114选择的地形模式操作预设的牵引控制系统(traction control system，TCS)控制器。TCU可以根据地形模式确定单元114选择的地形模式，在预设的换挡时间控制车辆传动齿轮。
图1B是示出了根据本公开至少一个实施例的与辅助车辆自动驾驶控制的方法有关的部件的图。
配备有自动驾驶控制单元120的车辆118通过使用从相机104获得的路面数据估计道路摩擦系数，并使用自动驾驶控制单元120控制相应的车载模块。以下将以图4B描述配备自动驾驶控制单元的车辆118的操作。
图2是根据本公开至少一个实施例的基于深度学习的学习单元的框图。
以下通过参考图2，描述根据本公开至少一个实施例的学习单元112。
根据至少一个实施例的学习单元112包括数据采集单元202、标记数据生成器204和训练单元206中的所有或一些。
数据采集单元202收集学习数据，用于训练基于深度学习的学习模型。
数据采集单元202从道路摩擦系数估计单元110获得针对正行驶的路面收集的道路摩擦系数。在另一实施例中，数据采集单元202从ESC获得基于安装在车辆上的车轮的车轮速度和车轮扭矩值计算的道路摩擦系数。
数据采集单元202收集相机104的路面数据，该路面数据对应于在道路摩擦系数采集阶段中从道路摩擦系数估计单元110获得的道路摩擦系数，该道路摩擦系数采集阶段作为用于训练基于深度学习的学习模型的学习数据收集过程的一部分而执行。
在此，来自相机104的路面数据是位于车辆前方的路面区域的捕获图像，其中，图像中的路面区域与车辆之间存在一定距离。基于该事实，根据至少一个实施例的数据采集单元202在收集相机104的路面数据时，考虑了图像中的路面区域与车辆例如车辆的轮胎之间的距离，以实现对应于相关道路摩擦系数的准确路面数据的收集。
另一方面，在本公开的至少一个实施例中，仅当从道路摩擦系数估计单元110收集事件信息时，数据采集单元202选择性地与道路摩擦系数一起收集对应于相关道路摩擦系数的路面数据。换言之，当从道路摩擦系数估计单元110传输的数据中检测到的用于确定道路摩擦系数的事件信息为高度可靠时，数据采集单元202可以对该事件信息作出响应，相应地提取道路摩擦系数，并收集与提取的道路摩擦系数相对应的路面数据。此时，数据采集单元202可以指定并获得数据中20ms至1s之间的值作为道路摩擦系数，以准确提取道路摩擦系数。数据采集单元202可以跳过最初1秒和最后1秒的数据，该数据可能包括事件信息。
另一方面，在本公开的至少一个实施例中，仅当与道路摩擦系数学习相关的预设事件情况发生时，由道路摩擦系数估计单元110生成事件信息。在这种情况下，预设事件情况可以根据在对应事件情况发生时道路摩擦系数估计单元110计算的道路摩擦系数的预测准确度来确定。例如，道路摩擦系数估计单元110可以从预测准确度的预设阈值等于或超过计算出的道路摩擦系数的预测准确度的情况中设置事件情况。
数据采集单元202可以对收集的路面数据执行数据预处理。例如，数据采集单元202可以在收集的路面数据中检测路面区域，并且可以提取并提供仅对应于检测到的路面区域的图像数据。通过减少待计算的像素区域，这具有简化以后待执行的训练过程中的操作的效果。
标记数据生成器204用于从数据采集单元202获得路面数据和道路摩擦系数，并将其用作生成用于训练学习模型的学习数据的基础。
在本公开的至少一个实施例中，标记数据生成器204基于从数据采集单元202获得的路面数据和道路摩擦系数生成标记数据，并将生成的标记数据作为学习数据提供。
例如，标记数据生成器204可以通过在收集的路面数据上标记道路摩擦系数来生成标记数据。
训练单元206使用从标记数据生成器204获得的标记数据作为训练数据来训练基于深度学习的学习模型。同时，由训练单元206基于学习数据训练学习模型的具体方法在相关技术领域是常见的，其详细描述将被省略。
根据本实施例的训练单元206这样操作，使得学习模型被训练成仅用来自相机104的图像来估计道路摩擦系数信息。特别地，学习模型学习并存储由道路摩擦系数估计单元110为每个具有不同特征信息的路面数据所测量的道路摩擦系数。
道路摩擦系数估计单元110包括学习模型，该学习模型已经根据学习单元112的操作被提前训练过，道路摩擦系数估计单元110使用其预先训练的学习模型经历学习过程，以估计对应于车辆正行驶的道路的道路摩擦系数。
道路摩擦系数估计单元110通过将从数据收集单元106接收的路面数据应用于学习模型来估计对应于路面的道路摩擦系数。
道路摩擦系数估计单元110将路面数据应用于学习模型，以提取具有与路面数据相同或相似特征信息的路面数据的匹配学习数据，并基于提取的学习数据，估计道路摩擦系数。道路摩擦系数估计单元110可以从关于以前的道路摩擦系数的信息中估计当前的道路摩擦系数信息，该以前的道路摩擦系数的信息标注在以前的路面数据上且该以前的路面数据具有与当前时间收集的路面数据相同或相似的特征信息。
图3是根据本公开至少一个实施例的用于估计道路摩擦系数的学习方法的流程图。
数据采集单元202从道路摩擦系数估计单元110获得针对车辆正行驶的路面收集的道路摩擦系数(S300)。
数据采集单元202检查事件信息是否与道路摩擦系数一起被收集(S302)。在步骤S302中，仅当与道路摩擦系数学习相关联的预设事件情况发生时，数据采集单元202可以接收从道路摩擦系数估计单元110计算的事件信息。该事件信息表明，收集的道路摩擦系数对于学习是有意义的数据。
在步骤S302中确认事件信息的收集后，数据采集单元202从相机104收集与步骤S300中获得的道路摩擦系数相对应的路面数据(S304)。在步骤S304中，数据采集单元202考虑了图像中的路面区域与车辆之间的实际距离，提供与实际道路摩擦系数相对应的待收集的准确路面数据。
数据采集单元202可以从收集的路面数据中检测路面区域，并提取仅对应于检测的路面区域的路面数据。
标记数据生成器204将步骤S300的道路摩擦系数标记在步骤S304中收集的路面数据上，以生成标记数据(S306)。
训练单元206通过使用步骤S306中生成的标记数据作为训练数据来训练基于深度学习的学习模型(S308)。
图4A是根据本公开至少一个实施例的自动控制地形模式的方法的流程图。
数据收集单元106从车辆安装的相机中自车辆正行驶的路面的捕获图像中收集路面数据(S410)。
道路摩擦系数估计单元110通过将数据收集单元106收集的路面数据输入至预先训练的学习模型来估计道路摩擦系数信息(S412)。
道路摩擦系数估计单元110通过CAN总线将步骤S412中估计的道路摩擦系数传输给地形模式确定单元114。
地形模式确定单元114将道路摩擦系数与为各道路情况预设的道路摩擦系数进行比较，并确定车辆正行驶的道路的路面情况和针对该路面而优化的地形模式(S414)。
地形模式确定单元114将针对车辆正行驶的路面而优化的地形模式信息传输给地形模式控制单元116。
基于地形模式信息，地形模式控制单元116将驾驶状态改变至为各地形模式预设的参考值之一(S416)。
在此，改变驾驶状态的步骤是以下过程，其中电子控制单元，如ESC、ECU或TCU，控制相应的车载模块，如TCS控制器、引擎和传动装置。
图4B是根据本公开至少一个实施例的辅助自动驾驶控制的方法的流程图。
数据收集单元106从车辆安装的相机中自车辆正行驶的路面的捕获图像中获得路面数据(S420)。
道路摩擦系数估计单元110通过将数据收集单元106获得的路面数据输入至预先训练的学习模型来估计道路摩擦系数信息(S422)。
道路摩擦系数估计单元110通过CAN总线将步骤S422中估计的道路摩擦系数传输给自动驾驶控制单元。
自动驾驶控制单元120将道路摩擦系数信息与为各道路情况预设的道路摩擦系数信息进行比较，以确定车辆正行驶的道路的路面情况，并确定车辆的驾驶阈值(S424)。在此，驾驶阈值指，基于车辆正行驶的道路的表面情况，为提高燃油效率或确保驾驶安全所需的阈值，例如引擎功率、用于使传动齿轮换挡的换挡时间、制动时间等。例如，在积雪达20毫米或更多的路面上，引擎功率的驾驶阈值可能是车辆可实现的最大速度的50个百分点。
自动驾驶控制单元120基于车辆正行驶的路面的驾驶阈值来控制相应车载模块(S426)。
另一方面，自动驾驶控制单元120可以通过使用道路摩擦系数在没有驾驶员干预的情况下自动改变车辆的驾驶状态来提高自动驾驶性能。例如，自动驾驶控制单元120可以是包括智能巡航控制系统的换挡模式控制装置或包括向前防撞系统的制动控制装置。
智能巡航控制系统是指以下控制系统，即响应于驾驶员设置驾驶速度，用于通过根据驾驶员设置的驾驶速度保持恒定驾驶速度，及根据在相关路面上行驶的车辆的交通情况使车辆加速或减速，来调整车辆的驾驶状态。
换挡模式控制装置，通过引擎控制单元和传动控制单元改变引擎输出和传动齿轮的换挡模式以响应交通量和路面情况，来改变车辆的驾驶速度。
向前防撞系统是指对车辆与前方车辆碰撞的风险的存在做出响应的系统，即当车辆与车辆之间的距离被测量为小于预设阈值时，用于通知驾驶员危险或使车辆自动控制制动系统，从而防止车辆碰撞。
制动控制装置通过控制制动初始速度和制动时间来降低车辆的驾驶速度，以防止主体行驶车辆与前方车辆之间的碰撞。
尽管图3、图4A和图4B中的步骤被描述为按顺序执行，但其仅体现了本公开的一些实施例的技术构思。因此，相关技术领域的普通技术人员可以通过改变图3、图4A和图4B描述的顺序，或通过平行地执行图3、图4A和图4B中的一个或更多个步骤，在实施本公开时加入各种修改、添加和替换，而不偏离本公开至少一个实施例的要点和本质，因此图3、图4A和图4B中的步骤不限于所说明的时间顺序。
自动地形模式控制装置100的操作可以被实现为计算机程序并被记录在计算机可读记录介质上。存储用于实现自动地形模式控制装置100的操作的计算机程序的计算机可读记录介质包括任何类型的记录设备，其上可记录能够由计算机系统读取的数据。计算机可读记录介质可以包括非暂时性介质，如ROM、RAM、CD-ROM、磁带、软盘、存储卡、硬盘、光盘/磁盘、光学数据存储设备等，以及暂时性介质，如载波(例如通过互联网传输)和数据传输介质。此外，计算机可读记录介质可以分布在经由网络连接的计算机系统中，其中计算机可读代码能够以分布式模式存储和执行。
本文描述的系统和技术的各种实施可以通过数字电子电路、集成电路、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application-specific integrated circuit，ASIC)、计算机硬件、固件、软件和/或其组合来实现。这些各种实施可包括那些在可编程系统上可执行的一个或更多个计算机程序中实现的实施。可编程系统包括：至少一个可编程处理器，被耦合以接收来自数据存储系统(包括易失性存储器、非易失性存储器或任何其他类型的存储系统或其组合)的数据和指令，和将数据和指令传输到数据存储系统(包括易失性存储器、非易失性存储器或任何其他类型的存储系统或其组合)；至少一个输入设备；以及至少一个输出设备，其中可编程处理器可以是专用处理器或通用处理器。例如，可编程系统可以是服务器、网络设备、机顶盒、嵌入式设备、计算机扩展模块、个人计算机、笔记本电脑、个人数据助理(personal data assistant，PDA)、云计算系统和移动设备之一。计算机程序，也被称为程序、软件、软件应用程序或代码，包含用于可编程处理器的指令，并被存储在“计算机可读记录介质”中。
如上所述，根据本公开，安装在车辆上的一个或更多个相机获得路面数据，针对路面情况的估计单元通过将路面数据输入到预先训练的基于深度学习的学习模型中来估计与路面相对应的道路摩擦系数的信息。通过使得车辆能够自动确定路面情况，并向驾驶员提供与路面情况相对应的地形模式信息，这使驾驶员不必用肉眼人工检查路面情况，以提高驾驶员的便利性。
根据本公开，地形模式确定单元从路面情况估计单元接收道路摩擦系数信息，并自动确定针对车辆正行驶的路面而优化的地形模式。此外，用于控制一个或更多个车载模块(包括ESC、引擎控制单元(ECU)和传动控制单元(TCU))的地形模式控制单元自动控制驾驶状态，以便基于优化的地形模式信息在地形模式之间切换时解放驾驶员的额外操纵。
此外，本公开避免了安装物理按钮以辅助驾驶员操纵车辆的需要，从而降低了车辆生产成本，并释放了车辆内部的安全空间，以提高车辆内部设计的自由度。
尽管已经为了说明的目的描述了本公开的示例性实施例，但本领域的技术人员将理解，在不偏离要求保护的本发明的构思和范围的情况下，各种修改、添加和替换是可能的。因此，为了简洁和清楚起见，已经描述了本公开的示例性实施例。本实施例的技术构思的范围不受该说明的限制。因此，普通技术人员将理解，要求保护的本发明的范围不受以上明确描述的实施例的限制，而是受权利要求及其等同的限制。

Claims (17)

1.一种在针对车辆行驶的路面而优化的地形模式下自动控制所述车辆的驾驶状态的方法，所述方法包括：
从相机获得路面数据，所述相机被安装在所述车辆上并且被配置为捕获所述路面的图像；
将所述路面数据输入至预先训练的基于深度学习的学习模型，所述基于深度学习的学习模型被配置为估计与所述路面相对应的道路摩擦系数；
基于估计的道路摩擦系数，确定针对所述路面而优化的地形模式，并且生成最佳地形模式信息；和
基于所述最佳地形模式信息，控制车载模块。
2.根据权利要求1所述的方法，其中获得所述路面数据包括：使用安装在所述车辆上的雷达或激光雷达单元，获得额外的路面数据。
3.根据权利要求1所述的方法，还包括：
基于所述路面数据和所述估计的道路摩擦系数生成标记数据；和
使用所述标记数据作为训练数据，训练所述基于深度学习的学习模型。
4.根据权利要求1所述的方法，其中估计所述道路摩擦系数包括：
使用电子稳定性控制ESC，测量安装在所述车辆上的车轮的车轮速度和车轮扭矩值；和
基于测量的车轮速度和车轮扭矩值，估计所述道路摩擦系数。
5.根据权利要求1所述的方法，其中：
所述车载模块包括电子稳定性控制ESC；和
控制所述车载模块包括使所述ESC操作牵引控制系统TCS控制器，所述牵引控制系统控制器针对所述地形模式而预设。
6.根据权利要求1所述的方法，其中：
所述车载模块包括引擎控制单元ECU；和
控制所述车载模块包括使所述ECU改变用于所述地形模式的预设引擎映射值。
7.根据权利要求1所述的方法，其中：
所述车载模块包括传动控制单元TCU；和
控制所述车载模块包括使所述TCU改变用于所述地形模式的使传动齿轮换挡的预设换档时间。
8.一种辅助车辆控制地形模式的方法，所述方法包括：
从相机获得路面数据，所述相机被安装在所述车辆上并且被配置为捕获所述车辆行驶的路面的图像；
将所述路面数据输入至预先训练的基于深度学习的学习模型，所述基于深度学习的学习模型被配置为估计与所述路面相对应的道路摩擦系数；
基于估计的道路摩擦系数，确定针对所述路面而优化的地形模式；和
基于优化的地形模式，提供最佳地形模式信息。
9.根据权利要求8所述的方法，其中获得所述路面数据包括：使用安装在所述车辆上的雷达或激光雷达单元，获得额外的路面数据。
10.根据权利要求8所述的方法，其中提供所述最佳地形模式信息包括经由安装在所述车辆上的显示器以可视的方式，或经由安装在所述车辆上的扬声器以可听的方式，提供所述最佳地形模式信息。
11.根据权利要求8所述的方法，还包括：
基于所述路面数据和所述估计的道路摩擦系数生成标记数据；和
使用所述标记数据作为训练数据，训练所述基于深度学习的学习模型。
12.根据权利要求8所述的方法，其中估计所述道路摩擦系数包括：
使用电子稳定性控制ESC，测量安装在所述车辆上的车轮的车轮速度和车轮扭矩值；和
基于测量的车轮速度和车轮扭矩值，估计所述道路摩擦系数。
13.一种辅助车辆控制自主驾驶的方法，所述方法包括：
从相机获得路面数据，所述相机被安装在所述车辆上并且被配置为捕获所述车辆行驶的路面的图像；
将所述路面数据输入至预先训练的基于深度学习的学习模型，所述基于深度学习的学习模型被配置为估计与所述路面相对应的道路摩擦系数；和
基于所述道路摩擦系数，确定所述车辆的驾驶阈值，并且基于所述驾驶阈值，控制车载模块。
14.根据权利要求13所述的方法，其中对所述车载模块的控制包括：基于所述驾驶阈值，改变所述车辆的传动齿轮的换档模式。
15.根据权利要求13所述的方法，其中对所述车载模块的控制包括：基于所述驾驶阈值，改变所述车辆的制动系统的制动初始速度和制动时间。
16.一种用于自动控制车辆的地形模式的装置，所述装置包括：
估计单元，被配置为：
从相机获得路面数据，所述相机被安装在所述车辆上并且被配置为捕获所述车辆行驶的路面的图像；和
将所述路面数据输入至预先训练的基于深度学习的学习模型，所述基于深度学习的学习模型被配置为估计与所述路面相对应的道路摩擦系数；
地形模式确定单元，被配置为基于估计的道路摩擦系数，确定针对所述路面而优化的地形模式；和
地形模式控制单元，被配置为基于确定的地形模式，控制车载模块。
17.一种非暂时性计算机可读介质，包括指令，当所述指令由处理器执行时，使所述处理器控制系统执行根据权利要求1所述的方法。
CN202110990294.7A 2020-08-26 2021-08-26 使用基于深度学习的道路情况判断模型控制地形模式的方法和装置 Active CN114194196B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0107699 2020-08-26
KR1020200107699A KR20220027327A (ko) 2020-08-26 2020-08-26 딥러닝 기반 노면판단 모델을 이용한 터레인모드 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
CN114194196A true CN114194196A (zh) 2022-03-18
CN114194196B CN114194196B (zh) 2023-11-28

Family

ID=80221758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990294.7A Active CN114194196B (zh) 2020-08-26 2021-08-26 使用基于深度学习的道路情况判断模型控制地形模式的方法和装置

Country Status (5)

Country Link
US (1) US11565706B2 (zh)
JP (1) JP2022040023A (zh)
KR (1) KR20220027327A (zh)
CN (1) CN114194196B (zh)
DE (1) DE102021121807A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822036A (zh) * 2022-05-16 2022-07-29 山东衡昊信息技术有限公司 一种多路况防追尾的车辆智能化调控方法
CN118494457A (zh) * 2024-07-17 2024-08-16 格陆博科技有限公司 一种基于深度学习和车辆动力学的esc智能控制系统及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022127825A (ja) * 2021-02-22 2022-09-01 トヨタ自動車株式会社 走行路判定制御装置
US11772641B2 (en) * 2021-05-26 2023-10-03 GM Global Technology Operations LLC Vehicle lateral motion management with preview road surface information
US20220412756A1 (en) * 2021-06-25 2022-12-29 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2023180521A (ja) * 2022-06-09 2023-12-21 株式会社アイシン 車両制御装置
CN115097827B (zh) * 2022-06-21 2023-02-10 智能网联汽车(山东)协同创新研究院有限公司 一种无人驾驶汽车的道路学习方法
WO2024132145A1 (en) * 2022-12-22 2024-06-27 Volvo Truck Corporation Wheel speed measurement
GB2628182A (en) * 2023-03-17 2024-09-18 Jaguar Land Rover Ltd Method and apparatus for selecting a driving mode of a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051898A1 (de) * 2005-10-29 2007-05-03 Daimlerchrysler Ag Verfahren und Vorrichtung zur reibwertabhängigen Antriebsmomentbegrenzung
CN101920704A (zh) * 2010-07-27 2010-12-22 中国科学院深圳先进技术研究院 一种电动汽车路面自适应转矩控制系统
US20150251659A1 (en) * 2012-12-20 2015-09-10 Continental Teves Ag & Co. Ohg Friction Coefficient Estimation from Camera and Wheel Speed Data
CN109552402A (zh) * 2017-09-27 2019-04-02 现代摩比斯株式会社 用于在电动助力转向中检测路面状态的设备及其控制方法
US10275662B1 (en) * 2016-09-30 2019-04-30 Zoox, Inc. Estimating friction based on image data
CN110614991A (zh) * 2018-06-18 2019-12-27 通用汽车环球科技运作有限责任公司 具有低摩擦系数的表面上的动力系操作的自动优化

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200107699A (ko) 2019-03-08 2020-09-16 김철호 에어 환기 필터 창문
KR20210080032A (ko) * 2019-12-20 2021-06-30 주식회사 만도 운전자 보조 장치 및 운전자 보조 방법
MX2022010293A (es) * 2020-02-21 2023-01-04 Bluespace Ai Inc Metodo para evitar objetos durante la navegacion autonoma.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051898A1 (de) * 2005-10-29 2007-05-03 Daimlerchrysler Ag Verfahren und Vorrichtung zur reibwertabhängigen Antriebsmomentbegrenzung
CN101920704A (zh) * 2010-07-27 2010-12-22 中国科学院深圳先进技术研究院 一种电动汽车路面自适应转矩控制系统
US20150251659A1 (en) * 2012-12-20 2015-09-10 Continental Teves Ag & Co. Ohg Friction Coefficient Estimation from Camera and Wheel Speed Data
US10275662B1 (en) * 2016-09-30 2019-04-30 Zoox, Inc. Estimating friction based on image data
CN109552402A (zh) * 2017-09-27 2019-04-02 现代摩比斯株式会社 用于在电动助力转向中检测路面状态的设备及其控制方法
CN110614991A (zh) * 2018-06-18 2019-12-27 通用汽车环球科技运作有限责任公司 具有低摩擦系数的表面上的动力系操作的自动优化

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114822036A (zh) * 2022-05-16 2022-07-29 山东衡昊信息技术有限公司 一种多路况防追尾的车辆智能化调控方法
CN118494457A (zh) * 2024-07-17 2024-08-16 格陆博科技有限公司 一种基于深度学习和车辆动力学的esc智能控制系统及方法

Also Published As

Publication number Publication date
US11565706B2 (en) 2023-01-31
DE102021121807A1 (de) 2022-03-03
KR20220027327A (ko) 2022-03-08
US20220063630A1 (en) 2022-03-03
CN114194196B (zh) 2023-11-28
JP2022040023A (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
CN114194196B (zh) 使用基于深度学习的道路情况判断模型控制地形模式的方法和装置
EP3002172B1 (en) Apparatus and method for controlling driving mode of vehicle
CN109426261B (zh) 自动驾驶装置
US10703363B2 (en) In-vehicle traffic assist
US10229599B2 (en) Vehicle lane changing
CN107415945A (zh) 用于评估车道换道的自动驱动系统及其使用方法
US20220306113A1 (en) Customization of autonomous-driving lane changes of motor vehicles based on drivers' driving behaviours
EP3657461A1 (en) Information processing system and server
JP6941178B2 (ja) 自動運転制御装置及び方法
US11577761B2 (en) Vehicle control system using reliability of input signal for autonomous vehicle
CN110626344A (zh) 车辆的控制装置
US11892574B2 (en) Dynamic lidar to camera alignment
US10839678B2 (en) Vehicle identifying device
WO2018179910A1 (ja) 自動運転制御装置
CN109955851A (zh) 变换车道决策与轨迹规划方法
CN111599166B (zh) 用于解释交通信号和协商信号化的交叉路口的方法和系统
CN113147766A (zh) 目标车辆的换道预测方法及设备
CN107719373B (zh) 用于估计路面摩擦的方法和系统
CN112829752A (zh) 车辆的最小超车速度的估计
CN113353084A (zh) 用于车辆控制的方法及设备
JP6306429B2 (ja) 操舵制御システム
CN114248795A (zh) 路径内对象检测的可变阈值
CN116588078B (zh) 车辆控制方法、装置、电子设备及计算机可读存储介质
US20230009606A1 (en) Automated driving method, automated driving system, and storage medium
US11144067B2 (en) Electronic device and method for monitoring a set of autonomous motor vehicles, associated transport system and computer program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant