CN113734203B - 一种智能驾驶的控制方法、装置、系统及存储介质 - Google Patents

一种智能驾驶的控制方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN113734203B
CN113734203B CN202111115885.6A CN202111115885A CN113734203B CN 113734203 B CN113734203 B CN 113734203B CN 202111115885 A CN202111115885 A CN 202111115885A CN 113734203 B CN113734203 B CN 113734203B
Authority
CN
China
Prior art keywords
vehicle
data processing
scene
processing module
speed driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111115885.6A
Other languages
English (en)
Other versions
CN113734203A (zh
Inventor
李丰军
周剑光
孙旭旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Co Ltd
Original Assignee
China Automotive Innovation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Co Ltd filed Critical China Automotive Innovation Co Ltd
Priority to CN202111115885.6A priority Critical patent/CN113734203B/zh
Publication of CN113734203A publication Critical patent/CN113734203A/zh
Application granted granted Critical
Publication of CN113734203B publication Critical patent/CN113734203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain

Abstract

本发明涉及智能驾驶技术领域,特别涉及一种智能驾驶的控制方法、装置、系统及存储介质。该智能驾驶的控制方法包括以下步骤:获取车辆状态信息;基于该车辆状态信息确定场景类型;根据该场景类型确定感知数据处理模块;获取车辆环境状态信息;利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;基于该处理结果对车辆进行控制。该控制方法具有降低了对处理器的运行内存的消耗和功耗小的特点。

Description

一种智能驾驶的控制方法、装置、系统及存储介质
技术领域
本发明涉及智能驾驶技术领域,特别涉及一种智能驾驶的控制方法、装置、系统及存储介质。
背景技术
随着汽车技术的不断发展,智能驾驶已经处于路测阶段,智能驾驶主要包括以下三个过程:感知、决策和执行,从而实现对车辆的辅助驾驶或者主控驾驶。
智能驾驶中需要先先获取传感器的数据信息,基于获取的传感器的数据信息从而进行相应的数据处理,但由于智能驾驶中涉及到的传感器数据较多,采用现有的数据处理方式必然使得处理平台的资源消耗大,需要长期占用处理平台的运行内存,存在的功耗大和资源浪费的缺陷。
发明内容
本发明要解决的是智能驾驶数据处理功耗大的技术问题。
为解决上述技术问题,本申请在一方面公开了一种智能驾驶的控制方法,其包括以下步骤:
获取车辆状态信息;
基于该车辆状态信息确定场景类型;
根据该场景类型确定感知数据处理模块;
获取车辆环境状态信息;
利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;
基于该处理结果对车辆进行控制。
可选的,该车辆状态信息包括车速和执行器启动状态;
该车辆环境状态信息包括车辆位置信息和道路物体信息。
可选的,该获取车辆环境状态信息,包括:
利用采集装置获取该车辆环境状态信息;
利用接口从该采集装置获取该车辆环境状态信息。
可选的,该采集装置包括摄像头、激光雷达、超声波雷达和定位采集装置;
接口包括总线接口、以太网接口、移动产业处理器接口和串行外设接口;
该道路物体信息包括车辆前方的障碍物信息、车辆后方的障碍物信息和车道线信息;
该利用采集装置获取该车辆环境状态信息;利用接口从该采集装置获取该车辆环境状态信息,包括:
利用该超声波雷达采集该车辆前方的障碍物信息;
利用该摄像头采集该车道线信息;
利用该激光雷达采集该车辆后方的障碍物信息;
利用该定位采集装置采集该车辆位置信息;
基于该总线接口从而该超声波雷达获取该车辆前方的障碍物信息;
基于该移动产业处理器接口从该摄像头获取该车道线信息;
基于该以太网接口从该激光雷达获取该车辆后方的障碍物信息;
基于该串行外设接口从该定位采集装置获取该车辆位置信息。
可选的,该场景类型包括行车前认证场景、低速行驶场景和高速行驶场景;
该感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;该行车认证处理模块与该行车前认证场景对应,该低速行驶数据处理模块与该低速行驶场景对应,该高速行驶数据处理模块与该高速行驶场景对应。
可选的,该低速行驶数据处理模块包括超声波雷达处理子模块和摄像头数据处理子模块;
当该场景类型为该低速行驶场景时,该根据该场景类型确定感知数据处理模块,包括:
利用该低速行驶场景从多个感知数据处理模块确定出该低速行驶数据处理模块;
该利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果,包括:
利用该超声波雷达处理子模块对该车辆前方的障碍物信息进行处理,得到第一处理结果;
利用该摄像头数据处理子模块对该车道线信息进行处理,得到第二处理结果;
根据该第一处理结果和该第二处理结果确定该处理结果。
本申请在另一方面还公开了一种智能驾驶的控制装置,其包括:
获取模块,用于获取车辆状态信息和车辆环境状态信息;
第一确定模块,用于基于该车辆状态信息确定场景类型;
第二确定模块,用于根据该场景类型确定感知数据处理模块;
处理模块,用于利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;
控制模块,用于基于该处理结果对车辆进行控制。
本申请在另一方面公开了一种智能驾驶的控制系统,其包括处理单元和多个感知数据处理模块;
该处理单元用于获取车辆状态信息;基于该车辆状态信息确定场景类型;根据该场景类型确定感知数据处理模块;获取车辆环境状态信息;利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;基于该处理结果对车辆进行控制。
本申请在另一方面还公开了一种电子设备,该电子设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述智能驾驶的控制方法。
本申请在另一方面还公开了一种计算机存储介质,该计算机存储介质中存储有至少一条指令或至少一段程序,该至少一条指令或至少一段程序由处理器加载并执行以实现上述智能驾驶的控制方法。
采用上述技术方案,本申请提供的智能驾驶的控制方法具有如下有益效果:
该控制方法通过先获取车辆状态信息;基于该车辆状态信息确定场景类型;从而可以基于该场景类型确定感知数据处理模块,该感知数据处理模块由于可以包括多个子处理模块,从而对对应的数据进行处理,而使用不到的感知数据处理模块中的子处理模块处于关闭状态,降低了对处理器运行内存的消耗,基于本申请提供的该种控制方法对车辆进行智能驾驶控制,具有功耗小的优点,也避免了资源的浪费。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种应用场景图;
图2为本申请实施例提供的一种可选的控制方法的流程示意图;
图3为本申请一种可选的中央计算平台的结构示意图;
图4为本申请可选的场景类型与采集装置的关系示意图;
图5为本申请一种可选地智能驾驶的控制装置的结构示意图;
图6为本申请实施例提供的一种智能驾驶的控制方法的服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示,图1为本申请提供的一种应用场景图。该场景包括车辆10和应用于该车辆中的智能驾驶控制系统20;该智能驾驶控制系统20包括连接的处理单元201和多个感知数据处理模块202;该多个感知数据处理模块用于对获取到的车辆环境状态信息进行处理,得到处理结果,并将该处理结果发送给处理单元201,该处理单元201用于获取车辆状态信息;基于该车辆状态信息确定场景类型;根据该场景类型确定感知数据处理模块,获取车辆环境状态信息,并将该车辆环境状态信息发送给对应的感知数据处理模块,使得后续可以基于接收到的处理结果对车辆进行控制。
可选的,在本实施例中,本申请可以是基于场景可编程门阵列(FieldProgrammable Gate Array,FPGA)的方案来实现的;而无论是现有技术中的FPGA使用方案还是专用集成电路(Application Specific Integrated Circuit,ASIC)的方案均相对局限,其需要在一个版本中包含所有可能的应用场景,尤其ASIC方案,若自动驾驶的算法更新升级,或者传感器的类型种类进行大规模调整时,可能面临更新换代,这需要投入相对长的开发周期去全新设计;再把FPGA当作一个完整固定的芯片使用的话,也是一样的,需要将各个使用场景在一个版本中全部包括,相当于对可编程逻辑(programming logic,PL)相关的资源进行了长期的占用,造成了较多的功耗以及浪费。
然而随着技术的不断更新迭代,所需的智能驾驶芯片的算力和资源越来越高,同样的,传感器的精度和数量也都在同等提高,这对芯片的算力和资源提出了更高的要求,而基于本申请的上述系统以及下文涉及到的控制方法,能够有效降低芯片的运行内存,降低了资源消耗和功耗,能够提高智能驾驶过程的控制效率和用户体验感。
以下介绍本申请一种控制方法的具体实施例,图2为本申请实施例提供的一种可选的控制方法的流程示意图,本说明书提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,该方法可以包括:
S201:获取车辆状态信息。
可选的,本申请的执行主语可以是处理单元;可选的,该处理单元可以是芯片中的中央计算平台中的可编程系统(programming system,PS)单元,即下文涉及的PS单元。
可选的,参阅图3所示,图3为本申请一种可选的中央计算平台的结构示意图。该控制系统包括上述中央计算平台;该中央计算平台包括接口、PS单元和PL单元;该PL单元即为下文中的感知数据处理模块的集合;该接口可以包括总线接口、以太网接口、移动产业处理器接口(Mobile Industry Processor Interface,MIPI)和串行外设接口(SerialPeripheral Interface,SPI),当然,根据需要还可以包括直接存储器访问接口(DirectMemory Access,DMA),用于通过其将数据存储于处理单元的存储区域。可选的,该PS单元还包括储存器单元,可选的,该存储器可以是双倍速率同步动态随机存储器(Double DataRate,DDR)。
需要说明的是,本申请的执行主语还可以是PL单元,或者是PL单元和PS单元的集合,或者是部分PL单元与PS单元的集合。
于一种可选的实施方式中,该车辆状态信息包括车速和执行器启动状态。可选的,该执行器包括发动机、电动机、油门踏板、刹车板和驻车装置等;可选的执行器启动状态可以是开或者关,如果是油门踏板启动状态,可以是具体地开度值(例如20%,50%等),这可以表征车辆的车速和牵引力;后续可以基于上述PS单元和PL单元协同确定的处理结果来对上述执行器进行控制,从而可以实现对车辆的驾驶控制,例如智能泊车、智能高速行驶或者低速行驶等。
为了提高该控制方法的适用范围和灵活性;可选的,步骤S201可以具体阐述为:利用控制器获取车辆的状态信息。在另一种实施例中,还可以直接从执行器或者对应的传感器获取车辆的状态信息。
S202:基于该车辆状态信息确定场景类型。
于一种可选的实施方式中,该场景类型包括行车前认证场景、低速行驶场景和高速行驶场景。该感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;该行车认证处理模块与该行车前认证场景对应,该低速行驶数据处理模块与该低速行驶场景对应,该高速行驶数据处理模块与该高速行驶场景对应。可选的,该场景类型还可以是驻车场景,对应地,该感知数据处理模块还包括驻车数据处理模块。本申请可以基于上述步骤S201获取到的车辆状态从而可以得知该车辆当前所处的场景,以便后续可以开启对应的感知数据处理模块,这使得该芯片中仅运行部分的处理模块,从而有效降低了运行内存以及资源消耗。
可选的,可以基于上述获取的车速的数值来确定当前场景类型是低速行驶场景还是高速行驶场景;可选的,可以是设置一个阈值,当车速大于等于该阈值,则确定当前场景类型为高速行驶场景,且当车速大于零小于阈值时,则确定该场景类型为低速场景类型;而基于车辆油门踏板状态、驻车装置和车速等数据可以确定出行车前认证场景和驻车场景。
S203:根据该场景类型确定感知数据处理模块。
在本申请中,该感知数据处理模块可以是与下文步骤S204中的采集装置对应,于一种可选的实施方式中,采集装置包括摄像头、激光雷达、超声波雷达和定位采集装置;可选的,该采集装置还可以包括车联网数据获取模块,可以是V2X(Vihicle to everything)数据,该V2X包括车与车(vechile to vechile,V2V),车与基础设施(vechile toinfrainstructure,V2I),车与人(vehicle to people,V2P),车与云(vehicle tonetwork,V2N),该技术可以实现车辆与其周边的人、物进行通讯交流,从而可以收集所需的数据信息。
可选的,该定位采集装置可以是惯性传感器(Inertial Measurement Unit,IMU),也可以是全球导航卫星系统(Global Navigation Satellite System,GNSS),还可以是二者的集合。
需要说明的是,上述采集装置可以根据需要还可以是其他传感器,上述摄像头可以是设于车舱内的摄像头,可称为车内摄像头,用于监控驾驶员状态;该摄像头还可以是设于车身周围的环视摄像头,可称为环视摄像头,亦或者是位于车身前方的摄像头,可称为前视摄像头;同理,其他的采集装置可以根据需要设置在车身的预设位置,以采集到所需的感知数据。
为了实现对低速行驶场景的智能驾驶进行控制,且降低控制过程中的资源消耗;于一种可选的实施方式中,该低速行驶数据处理模块包括超声波雷达处理子模块和摄像头数据处理子模块;当该场景类型为该低速行驶场景时,该步骤S203可以具体阐述为:利用该低速行驶场景从多个感知数据处理模块确定出该低速行驶数据处理模块。可选的,该低速行驶数据处理模块还包括V2X数据处理子模块,以便实现倒车预警、行人监控、车位寻找和占用等功能。
为了降低系统运行内存和资源消耗,可以基于确定的场景类型调用或者开启对应的感知数据处理模块;可选的,当场景类型确定为行车前认证场景时,对应的感知数据处理模块为行车前认证数据处理模块,其可以包括指纹识别子模块、车与人通信数据处理子模块和摄像头数据处理子模块,以便可以后续实现闭环的身份认证和启动。
可选的,当场景类型确定为高速行驶场景时,对应的感知数据处理模块为高速行驶数据处理模块,其可以包括毫米波雷达数据处理子模块、激光雷达数据处理子模块、V2X通信数据处理子模块和摄像头数据处理子模块,基于上述毫米波雷达数据处理子模块、激光雷达数据处理子模块和摄像头数据处理子模块以便可以后续实现车道保持、行车跟随、超车和无保护左转等功能;基于上述V2X通信数据处理子模块可以实现碰撞预警、失控预警和交叉路口辅助等功能。
可选的,当场景类型确定为驻车场景时,对应的感知数据处理模块为驻车数据处理模块,其可以包括超声波雷达数据处理子模块、车与人通信数据处理子模块和摄像头数据处理子模块,以实现对车辆的驻车控制。
可选的,该摄像头数据处理子模块包括车内摄像头数据处理子模块,环视摄像头数据处理子模块和前视摄像头数据处理子模块,从而可以有效提高图像或者视屏数据处理效率,即当接收到两种摄像头的数据时,可以基于对应的子模块并行数据数据;同理,为了提高数据数据效率,上述子模块均可以并行处理数据。
可选的,行车前认证场景中的摄像头数据处理子模块可以是包括车内摄像头数据处理子模块和环视摄像头数据处理子模块;低速行驶和驻车场景中的摄像头数据处理子模块可以是包括环视摄像头数据处理子模块;高速行驶场景中的摄像头数据处理子模块可以是包括车内摄像头数据处理子模块和前视摄像头数据处理子模块,从而可以在保证实现车辆有效控制的同时,还能够进一步降低运行内存和资源消耗。
S204:获取车辆环境状态信息。
可选的,该车辆环境状态信息包括车辆位置信息和道路物体信息。可选的,该道路物体可以是车道线、栏杆、路侧协同设备、当前车辆的周围车辆或者其他障碍物等。
为了提高该控制方法的适用范围和灵活性,于一种可选的实施方式中,步骤S204可以具体阐述为:利用采集装置获取该车辆环境状态信息;利用接口从该采集装置获取该车辆环境状态信息。
可选的,该采集装置包括上述中的摄像头、激光雷达、超声波雷达、车联网数据获取模块和定位采集装置;接口包括上文中涉及到的总线接口、以太网接口、移动产业处理器接口和串行外设接口。
可选的,按车辆的方向信息和路面信息进行综合分类,该道路物体信息包括车辆前方的障碍物信息、车辆后方的障碍物信息和车道线信息;上述步骤S204还可以具体阐述为:利用该超声波雷达采集该车辆前方的障碍物信息;利用该摄像头采集该车道线信息;利用该激光雷达采集该车辆后方的障碍物信息;利用该定位采集装置采集该车辆位置信息;基于该总线接口从而该超声波雷达获取该车辆前方的障碍物信息;基于该移动产业处理器接口从该摄像头获取该车道线信息;基于该以太网接口从该激光雷达获取该车辆后方的障碍物信息;基于该串行外设接口从该定位采集装置获取该车辆位置信息;可选的,如果按照采集装置的类型进行分类,该道路信息可以分为摄像头采集的路况信息和雷达采集的路况信息。
需要说明的是,根据需要,该超声波雷达、毫米波雷达也可以采集车辆周围的障碍物信息,可以用作环视摄像头的补充,例如在昏暗光线下或者摄像头故障情况;基于上述示例,由于摄像头还可以是车内摄像头,该车内摄像头可以是用来采用驾驶员状态信息或者对驾驶员进行面部识别,以实现身份认证;摄像头还包括环视摄像头时,还可以对车身周围的道路物体进行检测、识别,以实现后续的智能驾驶控制。
可选的,参阅图4,图4为本申请可选的场景类型与采集装置的关系示意图。基于图4以及上述示例可知,当场景类型不同时,感知数据处理模块也是不同的,对应的,其涉及到的不同的子数据处理模块以及采集模块也是不同的,当场景类型为行车前认证场景时,其对应的采集装置包括指纹采集装置、车与人通信数据获取装置、车内摄像头和环视摄像头;当场景类型为低速行驶场景或者驻车场景时,其对应的采集装置包括超声波雷达、环视摄像头和车辆网数据获取模块;当场景类型为高速行驶场景时,其对应的采集装置包括毫米波雷达、激光雷达、车内摄像头、前视摄像头和车辆网数据获取模块。
可选的,参阅图3,为了便于数据的存储和调用,上述PS单元包括存储器单元,用于存储由接口传输的感知数据,该存储器单元对应的接口为直接存储器访问接口,上述总线接口、以太网接口、移动产业处理器接口获取到的数据需要经由直接存储器访问接口传输到存储器单元中。
S205:利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果。
于一种可选的实施方式中,当场景类型为低速行驶场景时,步骤S205可以具体阐述为:利用该超声波雷达处理子模块对该车辆前方的障碍物信息进行处理,得到第一处理结果;利用该摄像头数据处理子模块对该车道线信息进行处理,得到第二处理结果;根据该第一处理结果和该第二处理结果确定该处理结果。
可选的,不同的处理子模块会对应得到一个处理结果,当场景类型为高速行驶场景、行车前认证场景或者驻车场景时,基于其对应的处理子模块或得到对应的处理结果,从而基于这些处理结果可以实现后续步骤S206。
为了进一步提高该控制方法的灵活性;可选的,上述摄像头数据处理子模块按功能还可以分为视频数据处理子模块和图像处理子模块;其中,视频数据处理子模块用于对获取到的视频进行图像处理、像素调整、视频缩放、输出和叠加等;图像处理子模块用于对目标检测、分类;运动检测;生物特征识别(例如指纹、面部和虹膜等);车道、车辆、车距、行人和信号灯等识别;以及驾驶员状态识别等;可选的,上述V2X数据处理子模块可以是设置与融合数据处理子模块中,该融合数据处理子模块可以将上述雷达数据和摄像头数据融合从而可以形成更为准确的数据信息,例如倒车影像,当车辆倒车过程中车尾与障碍物存在的距离小于预设距离时,会在倒车影像中标识出车辆的目标点,该目标点即为与障碍物存在的距离小于预设距离。为了提高数据处理效率,上述图像处理子模块和视频处理子模块可以并行处理数据。
S206:基于该处理结果对车辆进行控制。
为了在降低在对感知数据进行处理的资源消耗的同时,保证车辆的控制系统的稳定性;可选的,步骤S206可以具体阐述为:将该处理结果发送给车辆的控制器;利用控制器将该处理结果转换为控制信号;基于该控制信号对车辆的执行器进行控制。
可选的,当车辆处于行车前认证场景时,基于上述环视摄像头和车联网数据获取模块采集到数据传输给处理单元,从而使得该处理单元可以直接从存储器单元中调取到该数据,从而可以基于该数据进行运动检测和目标检测,以使车辆进入预启动状态,再通过指纹识别、面部特征识别等进行身份认证,当认证通过,则可以将其显示在人机交互界面上,且启动车辆。
当场景类型为低速行驶场景或者驻车场景时,涉及到的环视摄像头可以实现获取车身周围的图像信息,超声波雷达可以获取车与周围物体的距离信息,后续通过摄像头数据处理子模块、超声波雷达数据处理子模块和融合数据处理子模块可以将图像信息和距离信息进行融合,得到三维的动画,并将其发送至人机交互界面进行显示,通过再配合车联网数据获取模块、V2X数据处理子模块可以实现倒车预警、行人监测以及车位寻找和占用等功能;该三维动画可以是包含车身以及四周的实景建模图,在座舱内可以实时的看到周边障碍物的形状以及与车身之间的间隔等。
当场景类型为高速行驶场景时,可以通过前视摄像头、毫米波雷达、激光雷达获取当前车道前后方和车道两侧物体的高度、速度、距离、颜色等信息,从而实现车道保持、行车跟随、超车、无保护左转等功能;同时依托V2V/V2I/V2N通信实现前碰撞预警、失控预警、交叉路口辅助等功能。在高速行驶过程中通过车内摄像头,实现驾驶员状态监测,预防疲劳驾驶等危险因素。
为了更好地体现本申请的有益效果,以下以驻车场景为例进行具体阐述:
利用总线接口和直接存储器访问接口将超声波雷达获取的距离信息传输到存储器单元中;利用移动产业处理器接口和直接存储器访问接口将环视摄像头获取的图像数据传输到存储器单元中,利用以太网接口和直接存储器访问接口将车联网数据获取模块获取的车联网信息传输到存储器单元中;利用PL单元中的图像处理子模块、视频数据处理子模块和融合数据处理子模块调取存储器单元中的上述数据信息,并对其进行对应处理,会得到处理后的感知数据;可选的,处理过程可以是对图像的缩放和同步等预处理,将处理后的感知数据存放至存储器单元中;PS单元基于接收到的感知数据进行决策、路线规划和运动规划,并将获取的三维动画发送至人机交互界面显示,便于驾驶员对车辆进行控制,并将决策发送至控制器,从而实现传动、发动机、电机、制动等部分控制的执行。上述控制方法能够有效降低运行内存和资源消耗;且为了提高处理效率,当PS单元在进行决策和规划过程中,还可以利用PL单元中的图像处理单元协助处理,可以用来实现目标的检测和分离。
需要说明的是,本申请主要是基于场景类型对感知数据处理模块进行划分,实际上根据需要,还可以基于车辆型号对其进行划分,或者基于车辆型号和车辆状态综合结果对其进行划分,下面以车辆型号和车辆状态对场景类型进行划分来阐述,步骤S201-S206还可以表示为:获取车辆状态信息和车辆型号;基于该车辆状态信息和所述型号确定场景类型;根据该场景类型确定感知数据处理模块;获取车辆环境状态信息;利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;基于该处理结果对车辆进行控制。该种控制方式能够有效降低成本,且当用户不需用到一些传感器或者功能时,可以基于车辆型号来使其不运作,从而可以在不修改处理单元功能模块的基础上,可以限制部分功能模块的运行状态,提高了用户体验,且降低了车辆配置复杂性,提高了生产效率。
如图5所示,图5为本申请一种可选地智能驾驶的控制装置的结构示意图。本申请在另一方面还公开了一种智能驾驶的控制装置,其包括:
获取模块501,用于获取车辆状态信息和车辆环境状态信息;
第一确定模块502,用于基于该车辆状态信息确定场景类型;
第二确定模块503,用于根据该场景类型确定感知数据处理模块;
处理模块504,用于利用该感知数据处理模块对该车辆环境状态信息进行处理,得到处理结果;
控制模块505,用于基于该处理结果对车辆进行控制。
于一种可选的实施方式中,该车辆状态信息包括车速和执行器启动状态;该车辆环境状态信息包括车辆位置信息和道路物体信息。
于一种可选的实施方式中,该装置包括:
获取模块,用于利用采集装置获取该车辆环境状态信息;利用接口从该采集装置获取该车辆环境状态信息。
于一种可选的实施方式中,该采集装置包括摄像头、激光雷达、超声波雷达和定位采集装置;接口包括总线接口、以太网接口、移动产业处理器接口和串行外设接口;该道路物体信息包括车辆前方的障碍物信息、车辆后方的障碍物信息和车道线信息;
该装置包括:
获取模块,用于利用该超声波雷达采集该车辆前方的障碍物信息;利用该摄像头采集该车道线信息;利用该激光雷达采集该车辆后方的障碍物信息;利用该定位采集装置采集该车辆位置信息;基于该总线接口从而该超声波雷达获取该车辆前方的障碍物信息;基于该移动产业处理器接口从该摄像头获取该车道线信息;基于该以太网接口从该激光雷达获取该车辆后方的障碍物信息;基于该串行外设接口从该定位采集装置获取该车辆位置信息。
于一种可选的实施方式中,该场景类型包括行车前认证场景、低速行驶场景和高速行驶场景;该感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;该行车认证处理模块与该行车前认证场景对应,该低速行驶数据处理模块与该低速行驶场景对应,该高速行驶数据处理模块与该高速行驶场景对应。
于一种可选的实施方式中,该低速行驶数据处理模块包括超声波雷达处理子模块和摄像头数据处理子模块;当该场景类型为该低速行驶场景时,该装置包括:
第二确定模块,用于利用该低速行驶场景从多个感知数据处理模块确定出该低速行驶数据处理模块;
处理模块,用于利用该超声波雷达处理子模块对该车辆前方的障碍物信息进行处理,得到第一处理结果;利用该摄像头数据处理子模块对该车道线信息进行处理,得到第二处理结果;根据该第一处理结果和该第二处理结果确定该处理结果。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图6是本申请实施例提供的一种智能驾驶的控制方法的服务器的硬件结构框图。如图6所示,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)610(中央处理器610可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器630,一个或一个以上存储应用程序623或数据622的存储介质620(例如一个或一个以上海量存储设备)。其中,存储器630和存储介质620可以是短暂存储或持久存储。存储在存储介质620的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器610可以设置为与存储介质620通信,在服务器600上执行存储介质620中的一系列指令操作。服务器600还可以包括一个或一个以上电源660,一个或一个以上有线或无线网络接口650,一个或一个以上输入输出接口640,和/或,一个或一个以上操作系统821,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口640可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器600的通信供应商提供的无线网络。在一个实例中,输入输出接口640包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口640可以为射频(RadioFrequency,RF)模块,其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器600还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
本申请的实施例还提供了一种电子设备,该电子设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的控制方法。
本申请的实施例还提供了一种存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种控制方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述控制方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的智能驾驶的控制方法、装置、系统及存储介质的实施例可见,本申请中通过先获取车辆状态信息;基于该车辆状态信息确定场景类型;从而可以基于该场景类型确定感知数据处理模块,该感知数据处理模块由于可以包括多个子处理模块,从而对对应的数据进行处理,而使用不到的感知数据处理模块中子处理模块处于关闭状态,降低了对处理器的运行内存的消耗,基于本申请提供的该种控制方法对车辆进行智能驾驶控制,具有功耗小的优点,也避免了资源的浪费。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种智能驾驶的控制方法,其特征在于,包括以下步骤:
获取车辆状态信息;
基于所述车辆状态信息确定场景类型;
根据所述场景类型确定感知数据处理模块;
获取车辆环境状态信息;
利用所述感知数据处理模块对所述车辆环境状态信息进行处理,得到处理结果;
基于所述处理结果对车辆进行控制;
所述场景类型包括行车前认证场景、低速行驶场景和高速行驶场景;
所述感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;所述行车认证处理模块与所述行车前认证场景对应,所述低速行驶数据处理模块与所述低速行驶场景对应,所述高速行驶数据处理模块与所述高速行驶场景对应。
2.根据权利要求1所述的控制方法,其特征在于,所述车辆状态信息包括车速和执行器启动状态;
所述车辆环境状态信息包括车辆位置信息和道路物体信息。
3.根据权利要求2所述的控制方法,其特征在于,所述获取车辆环境状态信息,包括:
利用采集装置获取所述车辆环境状态信息;
利用接口从所述采集装置获取所述车辆环境状态信息。
4.根据权利要求3所述的控制方法,其特征在于,所述采集装置包括摄像头、激光雷达、超声波雷达和定位采集装置;
接口包括总线接口、以太网接口、移动产业处理器接口和串行外设接口;
所述道路物体信息包括车辆前方的障碍物信息、车辆后方的障碍物信息和车道线信息;
所述利用采集装置获取所述车辆环境状态信息;利用接口从所述采集装置获取所述车辆环境状态信息,包括:
利用所述超声波雷达采集所述车辆前方的障碍物信息;
利用所述摄像头采集所述车道线信息;
利用所述激光雷达采集所述车辆后方的障碍物信息;
利用所述定位采集装置采集所述车辆位置信息;
基于所述总线接口从而所述超声波雷达获取所述车辆前方的障碍物信息;
基于所述移动产业处理器接口从所述摄像头获取所述车道线信息;
基于所述以太网接口从所述激光雷达获取所述车辆后方的障碍物信息;
基于所述串行外设接口从所述定位采集装置获取所述车辆位置信息。
5.根据权利要求4所述的控制方法,其特征在于,所述低速行驶数据处理模块包括超声波雷达处理子模块和摄像头数据处理子模块;
当所述场景类型为所述低速行驶场景时,所述根据所述场景类型确定感知数据处理模块,包括:
利用所述低速行驶场景从多个感知数据处理模块确定出所述低速行驶数据处理模块;
所述利用所述感知数据处理模块对所述车辆环境状态信息进行处理,得到处理结果,包括:
利用所述超声波雷达处理子模块对所述车辆前方的障碍物信息进行处理,得到第一处理结果;
利用所述摄像头数据处理子模块对所述车道线信息进行处理,得到第二处理结果;
根据所述第一处理结果和所述第二处理结果确定所述处理结果。
6.一种智能驾驶的控制装置,其特征在于,包括:
获取模块,用于获取车辆状态信息和车辆环境状态信息;
第一确定模块,用于基于所述车辆状态信息确定场景类型;
第二确定模块,用于根据所述场景类型确定感知数据处理模块;
处理模块,用于利用所述感知数据处理模块对所述车辆环境状态信息进行处理,得到处理结果;
控制模块,用于基于所述处理结果对车辆进行控制;
所述场景类型包括行车前认证场景、低速行驶场景和高速行驶场景;
所述感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;所述行车认证处理模块与所述行车前认证场景对应,所述低速行驶数据处理模块与所述低速行驶场景对应,所述高速行驶数据处理模块与所述高速行驶场景对应。
7.一种智能驾驶的控制系统,其特征在于,包括处理单元和多个感知数据处理模块;
所述处理单元用于获取车辆状态信息;基于所述车辆状态信息确定场景类型;根据所述场景类型确定感知数据处理模块;获取车辆环境状态信息;利用所述感知数据处理模块对所述车辆环境状态信息进行处理,得到处理结果;基于所述处理结果对车辆进行控制;
所述场景类型包括行车前认证场景、低速行驶场景和高速行驶场景;
所述感知数据处理模块包括行车认证处理模块、低速行驶数据处理模块和高速行驶数据处理模块;所述行车认证处理模块与所述行车前认证场景对应,所述低速行驶数据处理模块与所述低速行驶场景对应,所述高速行驶数据处理模块与所述高速行驶场景对应。
8.一种电子设备,所述电子设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一所述的智能驾驶的控制方法。
9.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-5任一项所述的智能驾驶的控制方法。
CN202111115885.6A 2021-09-23 2021-09-23 一种智能驾驶的控制方法、装置、系统及存储介质 Active CN113734203B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111115885.6A CN113734203B (zh) 2021-09-23 2021-09-23 一种智能驾驶的控制方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111115885.6A CN113734203B (zh) 2021-09-23 2021-09-23 一种智能驾驶的控制方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113734203A CN113734203A (zh) 2021-12-03
CN113734203B true CN113734203B (zh) 2023-02-28

Family

ID=78740682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111115885.6A Active CN113734203B (zh) 2021-09-23 2021-09-23 一种智能驾驶的控制方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113734203B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475479A (zh) * 2022-01-20 2022-05-13 奇瑞汽车股份有限公司 汽车的控制方法、装置及计算机存储介质
CN115393980A (zh) * 2022-08-25 2022-11-25 长城汽车股份有限公司 行车记录仪录制方法、装置、车辆及存储介质
CN115379408B (zh) * 2022-10-26 2023-01-13 斯润天朗(北京)科技有限公司 基于场景感知的v2x多传感器融合方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266132A (zh) * 2008-04-30 2008-09-17 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
CN107585124A (zh) * 2017-07-21 2018-01-16 深圳市沃特玛电池有限公司 泊车系统及泊车方法
CN110579360A (zh) * 2019-10-22 2019-12-17 东北林业大学 一种汽车操控行为参数采集设备及方法
CN110745130A (zh) * 2019-11-26 2020-02-04 南京智能仿真技术研究院有限公司 一种基于人工智能的驾驶辅助系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11328219B2 (en) * 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101266132A (zh) * 2008-04-30 2008-09-17 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
CN107585124A (zh) * 2017-07-21 2018-01-16 深圳市沃特玛电池有限公司 泊车系统及泊车方法
CN110579360A (zh) * 2019-10-22 2019-12-17 东北林业大学 一种汽车操控行为参数采集设备及方法
CN110745130A (zh) * 2019-11-26 2020-02-04 南京智能仿真技术研究院有限公司 一种基于人工智能的驾驶辅助系统

Also Published As

Publication number Publication date
CN113734203A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
US20230418299A1 (en) Controlling autonomous vehicles using safe arrival times
CN113734203B (zh) 一种智能驾驶的控制方法、装置、系统及存储介质
CN108571974B (zh) 使用摄像机的车辆定位
US20240116538A1 (en) Lane change planning and control in autonomous machine applications
CN110001643B (zh) 车辆控制装置、车辆控制方法、存储介质、以及信息获取装置
CN113632095A (zh) 使用适合停车位检测的倾斜多边形进行对象检测
WO2019178548A1 (en) Determining drivable free-space for autonomous vehicles
CN113950702A (zh) 在视频分析应用中使用相关滤波器的多对象跟踪
JP6757442B2 (ja) 自動運転車における車線後処理
US10803307B2 (en) Vehicle control apparatus, vehicle, vehicle control method, and storage medium
US11308357B2 (en) Training data generation apparatus
JP2022091936A (ja) 車路協同自動運転の制御方法、装置、電子機器及び車両
US20200377087A1 (en) Lane keep control of autonomous vehicle
EP3407249A2 (en) A method and system for generating and using a perception scene graph in motor vehicle applications
CN105684039B (zh) 用于驾驶员辅助系统的状况分析
EP3419001A1 (en) Method of using a perception information and system for generating a perception scene graph having a focus region for a motor vehicle
WO2018220851A1 (ja) 自動運転車の制御のための車両制御装置及び方法
CN113033684A (zh) 一种车辆预警方法、装置、设备及存储介质
CN116438583A (zh) 可用泊车位识别装置、可用泊车位识别方法和程序
CN111615477B (zh) 自动驾驶车辆中的非避开规划系统的障碍物过滤的方法
US11741718B2 (en) Light interference detection during vehicle navigation
CN111174796B (zh) 一种基于单灭点的导航方法、电子设备和存储介质
US11577760B2 (en) Vehicle control apparatus, vehicle control method, vehicle, and storage medium
CN111077893B (zh) 一种基于多灭点的导航方法、电子设备和存储介质
CN111655561B (zh) 无需地图和定位的自动驾驶车辆的拐角协商方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant