CN110785718A - 一种车载自动驾驶测试系统及测试方法 - Google Patents
一种车载自动驾驶测试系统及测试方法 Download PDFInfo
- Publication number
- CN110785718A CN110785718A CN201980002545.7A CN201980002545A CN110785718A CN 110785718 A CN110785718 A CN 110785718A CN 201980002545 A CN201980002545 A CN 201980002545A CN 110785718 A CN110785718 A CN 110785718A
- Authority
- CN
- China
- Prior art keywords
- data
- virtual
- vehicle
- autonomous vehicle
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
- G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
- G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/24—Pc safety
- G05B2219/24065—Real time diagnostics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提出一种车载自动驾驶测试装置,包括:虚拟场景叠加装置,在工作状态下,所述虚拟场景叠加装置:获取自动驾驶车辆的行驶数据;获取所述自动驾驶车辆的外部环境数据;根据所述自动驾驶车辆的行驶数据,在所述外部环境数据中加入额外数据,生成修改后的外部环境数据;将所述修改后的外部环境数据传送给自动驾驶车辆的车载控制模块。本申请中的自动驾驶测试装置可以应用在4G网络环境,但自动驾驶测试装置对网络时延和数据的传输速度要求较高,更适合5G网络环境。
Description
技术领域
本申请涉及汽车电子技术领域,尤其涉及一种车载自动驾驶测试系统及方法。
技术背景
随着科技的发展,自动驾驶车辆成为未来汽车的重要发展方向。自动驾驶车辆不仅能保障人们的安全出行和舒适体验,还能极大提升人们出行的效率。自动驾驶系统相关的控制器越来越多的配置于量产车型,对于提高驾驶安全性和降低交通事故有重大意义。
信息感知系统、决策系统、汽车执行系统之间需要非常完美的配合才能完成整个自动驾驶的过程。自动驾驶车辆测试过程中,需要不断地改变环境的变化去验证自动驾驶车辆是否正确的感知并在感知的基础上判断自动驾驶系统是否做出正确的决策和执行。但若让自动驾驶车辆直接在实际道路上行驶,不仅会带来安全隐患,而且为了模拟不同的环境,还需要准备各种道具和场景,如假人、假车和假动物等。
因此,需要一种可以叠加虚拟场景的车载自动驾驶测试系统及方法以解决上述技术问题。
发明内容
本申请披露了一种用于一种车载自动驾驶测试系统,包括:虚拟场景叠加模块,在工作状态下,所述虚拟场景叠加模块获取自动驾驶车辆的行驶数据;获取所述自动驾驶车辆的外部环境数据;根据所述自动驾驶车辆的行驶数据,在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据;将所述修改后的外部环境数据传送给自动驾驶车辆的车载控制模块。
本申请一方面提供一种一种自动驾驶车辆测试方法,应用于自动驾驶车辆的测试装置,所述自动驾驶车辆测试方法包括:获取自动驾驶车辆的行驶数据;获取所述自动驾驶车辆的外部环境数据;根据所述自动驾驶车辆的行驶数据,在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据;将所述修改后的外部环境数据传送给自动驾驶车辆的车载控制模块。
本申请中的发明对网络时延和数据的传输速度要求较高。比如,本发明中披露的技术可以应用在4G网络环境,但是更适合5G网络环境。
附图说明
以下附图详细描述了本申请中披露的示例性实施例。其中相同的附图标记在附图的若干视图中表示类似的结构。本领域的一般技术人员将理解这些实施例是非限制性的、示例性的实施例,附图仅用于说明和描述的目的,并不旨在限制本申请的范围,其他方式的实施例也可能同样的完成本申请中的发明意图。其中:
图1是本申请中的一种具有自动驾驶能力的示例性车辆的框图;
图2A-2D是本申请中的一种虚拟场景叠加模块与视觉传感器耦合方式的示意图;
图3是本申请中的一种车载自动驾驶测试系统的示例性流程图;
图4是本申请中的一种应用修改后的外部环境数据场景的示意图。
具体实施方式
本申请披露了一种用于车载自动驾驶测试系统及方法,可以通过虚拟场景叠加模块将虚拟场景加入外部环境数据生成修改后的外部环境数据,用于测试和验证自动驾驶车辆在道路上行驶的安全性,为自动驾驶车辆的技术研发、上路测试许可和产品准入认证提供指导。
由于本申请涉及自动驾驶,本申请中涉及的技术对网络时延和数据的传输速度要求较高。比如,本申请中披露的技术可以应用在4G网络环境,但是更适合5G网络环境。4G的数据传输速率是100Mbps量级,时延是30-50ms,每平方千米的最大连接数1万量级,移动性350KM/h左右,而5G的传输速率是10Gbps量级,时延是1ms,每平方千米的最大连接数是百万量级,移动性是500km/h左右。5G具有更高的传输速率,更短的时延,更多的平方千米连接数,以及更高的速度容忍度。5G还有一个变化,就是传输路径的变化。以往我们打电话或者传照片,信号都要通过基站进行中转,但是5G之后,设备和设备之间就可以直接进行传输,不需要再通过基站。因此,本发明虽然也适用于4G环境,但是5G环境下运行会得到更好的技术表现,体现更高的商业价值。
为了给本领域普通技术人员提供相关披露的透彻理解,在以下详细描述中通过示例阐述了本申请的具体细节。然而本申请披露的内容应该理解为与权利要求的保护范围一致,而不限于该具体发明细节。比如,对于本领域普通技术人员来说,对本申请中披露的实施例进行各种修改是显而易见的;并且在不脱离本申请的精神和范围的情况下,本领域的普通技术人员可以将这里定义的一般原理应用于其他实施例和应用。再比如,这些细节如果没有以下披露,对本领域普通技术人员来说也可以在不知道这些细节的情况下实践本申请。另一方面,为了避免不必要地模糊本申请的内容,本申请对公知的方法,过程,系统,组件和/或电路做了一般性概括而没有详细描述。因此,本申请披露的内容不限于所示的实施例,而是与权利要求的范围一致。
本申请中使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如除非上下文另有明确说明,本申请中如果对某要件使用了单数形式的描述(比如,“一”、“一个”和/或等同性的说明)也可以包括多个该要件。在本申请中使用的术语“包括”和/或“包含”是指开放性的概念。比如A包括/包含B仅仅表示A中有B特征的存在,但并不排除其他要件(比如C)在A中存在或添加的可能性。
应当理解的是,本申请中使用的术语,比如“系统”,“单元”,“模块”和/或“块”,是用于区分不同级别的不同组件,元件,部件,部分或组件的一种方法。但是,如果其他术语可以达到同样的目的,本申请中也可能使用该其他术语来替代上述术语。
本申请中描述的模块(或单元,块,单元)可以实现为软件和/或硬件模块。除非上下文另有明确说明,当某单元或模块被描述为“接通”、“连接到”或“耦合到”另一个单元或模块时,该表达可能是指该单元或模块直接接通、链接或耦合到该另一个单元或模块上,也可能是指该单元或模块间接的以某种形式接通、连接或耦合到该另一个单元或模块上。在本申请中,术语“和/或”包括一个或多个相关所列项目的任何和所有组合。
在本申请中,术语“自动驾驶车辆”、“自动驾驶汽车”可以指能够感知其环境并且在没有人(例如,驾驶员,飞行员等)输入和/或干预的情况下对外界环境自动进行感知、判断并进而做出决策的车辆。术语“自动驾驶车辆”、“自动驾驶汽车”和“车辆”可以互换使用。术语“自动驾驶”可以指没有人(例如,驾驶员,飞行员等)输入的对周边环境进行智能判断并进行导航的能力。
考虑到以下描述,本申请的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本申请的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本申请的范围。应理解,附图未按比例绘制。
本申请中使用的流程图示出了根据本申请中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
此外,尽管本申请中的电路和方法主要描述了关于车载自动驾驶测试系统及方法,但是应该理解,这仅是示例性实施例。本申请的装置及方法也可以应用于其他类型的系统。例如,本申请的系统或方法可以应用于不同环境的运输系统的驾驶测试,包括陆地,海洋,航空航天等,或其任何组合。运输系统的自动驾驶车辆可包括出租车,私家车,挂车,公共汽车,火车,子弹列车,高速铁路,地铁,船只,飞机,宇宙飞船,热气球,无人驾驶车辆等,或其任何组合。在一些实施例中,该系统或方法可以在例如物流仓库,军事事务(比如飞行员的模拟飞行或者无人机的自动飞行测试)中找到应用。
图1是根据一些实施例披露的自动驾驶测试系统的框图。所述系统包括具有自动驾驶能力以及自动驾驶测试能力的示例性车辆200的整体或者任意一部分。所述具有自动驾驶能力的车辆200可包括控制模块160、传感器模块150、存储器140、指令模块130和控制器区域网络(CAN)120、执行机构110、通讯模块180、自动驾驶测试装置190、测试模块192、规划控制模块以及虚拟场景叠加模块100。自动驾驶车辆的控制模块160和虚拟场景叠加模块100均通过通讯模块180同网络170相连。其中所述虚拟场景叠加模块100可以是独立的硬件模块,也可以是从属于控制模块160的硬件或者软件模块。
在一些实施例中,所述控制模块160可以包括一个或多个中央处理器(例如,单核处理器或多核处理器)。仅作为示例,控制模块可以包括中央处理单元(centralprocessing unit,CPU),专用集成电路(application-specific integrated circuit,ASIC),专用指令集处理器(application-specific instruction-set processor,ASIP),图形处理单元(graphics processing unit,GPU),物理处理单元(physics processingunit,PPU),数字信号处理器(digital signal processor,DSP),场可编程门阵列(fieldprogrammable gate array,FPGA),可编程逻辑器件(programmable logic device,PLD),控制器,微控制器单元,精简指令集计算机(reduced instruction-set computer,RISC),微处理器(microprocessor)等,或其任何组合。
所述存储器140(本地存储器、远程存储器)可以存储数据和/或指令。在一些实施例中,所述存储器140可以存储从自动驾驶车辆传感器获得的数据。在一些实施例中,所述存储器可以存储控制模块可以执行或使用的数据和/或指令,以执行本公开中描述的示例性方法。比如,所述指令可以包括虚拟场景叠加模块100等等。当然,所述虚拟场景叠加模块100也可以是独立的硬件模块。在一些实施例中,所述存储器可以包括大容量存储器,可移动存储器,易失性读写存储器(volatile read-and-write memory),只读存储器(ROM)等,或其任何组合。作为示例,比如大容量存储器可以包括磁盘,光盘,固态驱动器等;比如可移动存储器可以包括闪存驱动器,软盘,光盘,存储卡,拉链盘,磁带;比如易失性读写存储器可以包括随机存取存储器(RAM);比如RAM可以包括动态RAM(DRAM),双倍数据速率同步动态RAM(DDR SDRAM),静态RAM(SRAM),可控硅RAM(T-RAM)和零电容器RAM(Z-RAM);比如ROM可以包括掩模ROM(MROM),可编程ROM(PROM),可擦除可编程ROM(EPROM),电可擦除可编程ROM(EEPROM),光盘ROM(CD-ROM),以及数字通用磁盘ROM等。在一些实施例中,存储可以在云平台上实现。仅作为示例,云平台可以包括私有云,公共云,混合云,社区云,分布式云,云间云,多云等,或其任何组合。
在一些实施例中,所述存储器140可以为本地存储器,即所述存储器140可以是自动驾驶车辆200的一部分。在一些实施例中,所述存储器140也可以是远程存储器。所述中央处理器可以通过网络170连接所述远程存储器以与自动驾驶车辆200的一个或多个组件(例如,传感器模块150和虚拟场景叠加模块100)通信。自动驾驶车辆200中的一个或多个组件可以经由网络170访问远程存储在远程存储器中的数据或指令。在一些实施例中,存储器140可以直接连接到自动驾驶车辆200中的一个或多个组件或与其通信(例如,控制模块160,传感器模块150)。
所述虚拟场景叠加模块100负责接收传感器模块150传来的数据,并根据自动驾驶车辆测试的需要将虚拟场景部分或者全部的嵌入到传感器模块150传来到数据中,然后将所述传感器模块150传来的数据发送给规划控制模块进行自动驾驶的规划控制。
所述规划控制模块根据所述外部环境图像数据,并结合地图以及其他自动驾驶车辆100感知和接收到的信息进行自动驾驶的规划决策信息和车辆控制信息。比如所述规划决策信息和控制信息可以包括车辆形式路径、变道信息、加减速信息、转弯信息等规划控制信息。然后所述规划控制模块再将所述控制信息发送给指令模块130。所述规划控制模块还可以将所述规划决策信息通过通讯数据处理模块分享给其他车辆。
所述网络170可以促进信息和/或数据的交换。在一些实施例中,所述自动驾驶车辆200中的一个或多个组件(例如,控制模块160,传感器150)可以经由所述网络170将信息和/或数据发送到所述自动驾驶车辆200中的其他组件。例如。所述控制模块160可以经由所述网络170获得/获取车辆的动态情况和/或车辆周围的环境信息。在一些实施例中,所述网络170可以是任何类型的有线或无线网络,或其组合。仅作为示例,所述网络170可以包括有线网络,有线网络,光纤网络,远程通信网络,内联网,因特网,局域网(LAN),广域网(WAN),无线局域网(WLAN),城域网(MAN),广域网(WAN),公共电话交换网(PSTN),蓝牙网络,ZigBee网络,近场通信(NFC)网络,3G/4G/5G网络等,或其任何组合。在一些实施例中,所述网络170可以包括一个或多个网络接入点。例如,所述网络170可以包括有线或无线网络接入点。通过所述自动驾驶车辆200的一个或多个部件可以连接到所述网络170以交换数据和/或信息。
所述执行机构110可以包括,但不限于,油门、引擎、制动和转向系统(包括轮胎的转向和/或转向灯的操作)的驱动执行。所述转向系统可以操纵所述自动驾驶车辆200。在一些实施例中,所述转向系统可以基于从所述控制模块发送的控制信号来操纵所述自动驾驶车辆200。控制信号可以包括与转弯方向,转弯位置,转弯角度,转向灯等有关的信息,或其任何组合。例如,当控制模块发送的控制信号是将自动驾驶车辆的前轮逆时针转45°,所述转向系统可以基于从所述控制模块发送的控制信号来引导所述自动驾驶车辆200向左转,且前轮转弯角度为45°。
所述制动系统可以控制所述自动驾驶车辆200的运动状态。例如,所述制动系统可以使所述自动驾驶车辆200减速。在一些实施例中,所述制动系统可以在一个或多个道路状况(例如,下坡)下使所述自动驾驶车辆200停止前行。在一些实施例中,所述制动系统可以在下坡上行驶时使所述自动驾驶车辆200保持恒定速度。所述制动系统可包括机械控制部件,液压单元,动力单元(例如,真空泵),执行单元等,或其任何组合。机械控制部件可包括踏板,手制动器等。液压单元可包括液压油,液压软管,制动泵等。执行单元可包括制动钳,制动衬块,制动盘,等等。
所述引擎系统可以确定所述自动驾驶车辆200的引擎性能。在一些实施例中,所述引擎系统可以基于来自所述控制模块的控制信号确定自动驾驶车辆200的引擎性能。例如。所述引擎系统可以基于与来自所述控制模块的加速度相关联的控制信号来确定自动驾驶车辆200的引擎性能。所述引擎系统可以包括多个传感器和至少一个微处理器。多个传感器可以被配置为检测一个或多个物理信号并将一个或多个物理信号转换为电信号以进行处理。在一些实施例中,所述多个传感器可包括各种温度传感器,空气流量传感器,节气门位置传感器,泵压力传感器,速度传感器,氧传感器,负载传感器,爆震传感器等,或其任何组合。所述一个或多个物理信号可包括但不限于引擎温度,引擎进气量,冷却水温度,发动机速度等,或其任何组合。所述微处理器可以基于多个引擎控制参数确定引擎性能。所述微处理器可以基于多个电信号确定多个发动机控制参数,可以确定多个引擎控制参数以优化引擎性能。所述多个发动机控制参数可包括点火时机,燃料输送,空转气流等,或其任何组合。
所述油门系统可以改变所述自动驾驶车辆200的行驶速度。在一些实施例中,所述油门系统可以在一个或多个道路状况下使所述自动驾驶车辆200保持行驶速度。在一些实施例中,所述油门系统可以在需要加速时使所述自动驾驶车辆200的行驶速度提高。例如,所述自动驾驶车辆200在条件允许情况下超过前面行驶的车辆,所述油门系统可以使所述自动驾驶车辆200加速。
所述指令模块130接收控制模块160传来的信息,并将之转换成驱动执行机构的指令传给控制器区域网络(Controller Area Network,CAN)总线120。比如,所述控制模块160向所述指令模块130发送自动驾驶车辆200的行驶策略(加速、减速、转弯等等),所述指令模块130接收所述行驶策略,并将之转换成对执行机构的驱动指令(对油门、制动机构、转向机构的驱动指令)。同时,所述指令模块130再将所述指通过CAN总线120下发到所述执行机构去。执行机构110对所述指令的执行情况再由车辆部件传感器检测并反馈到所述控制模块16,从而完成对所述自动驾驶车辆200到闭环控制和驱动。
所述CAN总线120是个可靠的车辆总线标准(例如,基于消息的协议message-basedprotocol),其允许微控制器(例如,控制模块150)和设备(例如,引擎系统,制动系统,转向系统和/或油门系统等)在没有主计算机的应用程序中彼此通信。所述CAN总线120可以被配置为将所述控制模块150与多个ECU(例如,引擎系统,制动系统,转向系统,油门系统)连接。
所述传感器模块150可以包括一个或多个传感器。所述多个传感器可以包括向自动驾驶车辆200提供数据的各种内部和外部传感器。比如图1中所示,所述多个传感器可以包括车辆部件传感器和环境传感器。车辆部件传感器连接着车辆200的执行机构,可以检测到所述执行机构各个部件的运行状态和参数。
所述环境传感器允许车辆理解并潜在地响应其环境,以便帮助自动驾驶车辆200进行导航、路径规划以及保障乘客以及周围环境中的人或财产的安全。所述环境传感器还可用于识别,跟踪和预测物体的运动,例如行人和其他车辆。所述环境传感器可以包括位置传感器和外部对象传感器。
所述位置传感器可以包括GPS接收器、加速度计和/或陀螺仪,接收器。所述位置传感器可以感知和/或确定自动驾驶车辆200的地理位置和方位。例如,确定车辆的纬度,经度和高度。
所述外部对象传感器可以检测自动驾驶车辆200外部的物体,例如其他车辆,道路中的障碍物,交通信号,标志,树木等。外部对象传感器可以包括视觉传感器,激光雷达,声纳传感器,气候传感器,加速度传感器,和/或其他检测装置,和/或其任何组合。
所述激光雷达可以位于自动驾驶车辆200的顶部、前部和后部以及前保险杠的任一侧。激光雷达可以包括但不限于,单线激光雷达,4线激光雷达,16线激光雷达,32线激光雷达,64线激光雷达等,或其任何组合。在一些实施例中,所述激光雷达采集被不同方向环境中的物体反射回来的激光束,形成周边环境的点阵。
除了使用激光雷达来确定外部物体的相对位置之外,其他类型的雷达也可以用于其他目的,例如传统的速度检测器。短波雷达可用于确定道路上的积雪深度并确定路面的位置和状况。
所述激光雷达采集到的数据,可以进一步加入虚拟数据。在一些实施例中,基于图2A-2C同样的道理,虚拟图像叠加模块也可以接入所述激光雷达或其他类型的雷达,从而将虚拟物体的信号加入到所述雷达的探测信号中。
所述声纳传感器可以探测自动驾驶车辆200同周围障碍物到距离。例如,所述声纳可以是超声波测距仪。所述超声波测距仪安装在自动驾驶车辆200的两侧和后面,在泊车的时候开启来探测泊车位周围的障碍物以及自动驾驶车辆200同所述障碍物的距离。所述声纳传感器探测到的数据,可以进一步加入虚拟数据(例如,虚拟障碍物)。在一些实施例中,基于图2A-2C同样的道理,虚拟图像叠加模块也可以接入到所述声纳传感器,从而将虚拟物体的数据加入到所述声纳传感器的探测数据中。
所述气候传感器可以探测自动驾驶车辆200外部的天气信息。所述天气信息包括但不限于,风,霜,雨,雪,温度,光照等,或其任何组合。例如,所述气候传感器探测到所述自动驾驶车辆200外部是夜晚。所述气候传感器探测到的数据,可以进一步加入虚拟数据(例如,下雪,下雨)。在一些实施例中,基于图2A-2C同样的道理,虚拟图像叠加模块也可以接入所述气候传感器中,从而将虚拟天气数据加入到真实测量到的天气数据中。
所述加速度传感器可以探测自动驾驶车辆200外部对象的加速度。所述外部对象可以是静止的,也可以是活动的。所述加速度传感器探测到的数据,可以进一步加入虚拟数据。在一些实施例中,所述虚拟数据由虚拟场景叠加模块100加入。
所述视觉传感器可以捕获自动驾驶车辆200周围的视觉图像并从中提取内容。所述视觉传感器可以包括但不限于,单目或者双目普通摄像头、单目或者双目广角摄像头(比如鱼眼摄像头)、激光扫描器,线阵CCD摄像头,面阵CCD摄像头,TV摄像头[MOU1],数字摄像头等,或其任何组合。例如,视觉传感器可以拍摄道路两边的路牌标识,并通过控制模块160识别这些标识的意义。比如利用所述视觉传感器来判断道路的限速。自动驾驶车辆200还可以通过多个视觉传感器拍摄的不同图像的视差计算周围物体离自动驾驶车辆200的距离。在一些实施例中,还可以利用所述视觉传感器捕获的视觉图像判断障碍物、行人、车辆、天气等周围环境。例如,捕获的视觉图像显示前方有乌云,通过控制模块160分析前方可能有雷阵雨。在一些实施例中,捕获的视觉图像还可以与虚拟场景叠加模块100输出的虚拟数据进行叠加,叠加后的数据可以发送给控制模块160。
在一些实施例中,所述视觉传感器可以是单目或者双目普通摄像头、单目或者双目广角摄像头(比如鱼眼摄像头)、线阵CCD摄像头,面阵CCD摄像头,TV摄像头,数字摄像头等任意一种摄像头,或其任何组合。如图2A所示,所述摄像头可以包括镜头212,图像传感器214,输出模块216等,或其任何组合。在工作状态下,摄像头镜头212摄取外界景色的光线,将光线投射到图像传感器214(比如成像器)成像表面上使光敏阵列曝光。该光敏阵列将曝光转换为电荷,在定时曝光结束时,图像传感器214将光将累积的电荷转换为成连续模拟信号输出或者数字化后输出。转换完成后,所述摄像头会重置以开始下一个视频帧的曝光。从图像传感器214输出的电信号被输入到输出模块216,并在输出模块中进行扫描后成为一帧图像输出。
在一些实施例中,针对不同的传感器,所述虚拟数据的表现形式可以不同,例如在给激光雷达添加虚拟数据时,虚拟数据可以是点云信息或点云序列;在给视觉传感器添加信息时,虚拟数据可以包括像素信息,通过像素信息去表达不同的障碍物。针对不同的传感器,虚拟数据以不同的形式表现出需要添加的内容,例如虚拟障碍物,虚拟车辆,虚拟行人,虚拟道路,不同的虚拟天气等中一种或多种。
所述自动驾驶测试装置190可以是车载的硬件装置,也可以同测试模块192合并,成为从属于控制模块160的软件模块。例如,当自动驾驶车辆200需要进行自动驾驶测试时,可以将所述自动驾驶测试装置与所述自动驾驶车辆200的传感器模块150和/或控制模块160连接使用。在一些实施例中,所述自动驾驶测试装置可以包括测试模块192。所述测试模块192可以是硬件模块,并同自动驾驶车辆200的传感器模块150和/或控制模块160连接,来测量当虚拟场景叠加模块100向自动驾驶车辆200输入虚拟数据产生部分或者全部虚拟驾驶环境的时候,自动驾驶车辆200的相应反应。从而测试自动驾驶车辆200的自动驾驶系统的表现(算法的反应速度、精确度等等)。
在一些实施例中,所述自动驾驶测试装置190可以包括安装结构。所述安装结构可以是机械结构,用来将所述虚拟场景叠加模块100固定在所述自动驾驶车辆上。比如所诉安装结构可以包括螺钉,基座等等。所述自动驾驶测试装置190会被固定在所述基座上,然后用螺钉固定在自动驾驶车辆200上。
在一些实施例中,所示自动驾驶测试装置190可以包括自动驾驶车辆200。也就是说,在一些实施例中,所述自动驾驶车辆200可以为包括了虚拟场景叠加模块100和测试模块192的用于测试的自动驾驶车辆200。
在一些实施例中,所示自动驾驶测试装置190也可以位于云端服务器。其中所述云端服务器用于对所述自动驾驶车辆进行统一调度和监控。在一些实施例中,在进行车辆测试时,云端服务器可以通过自动驾驶测试装置190向所述自动驾驶车辆200的传感器模块150或控制模块160发送虚拟数据以产生部分或全部虚拟驾驶环境,从而获取所述自动驾驶车辆200的测试结果。
仅仅为了说明问题,在本申请中所述控制模块160中仅描述了一个处理器。然而,应当注意,本申请中的所述控制模块160还可以包括多个处理器,因此,本申请中披露的操作和/或方法步骤可以如本申请所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本申请中所述控制模块160的中央处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由信息处理中的两个不同处理器联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图2A-2D是本申请中的一种虚拟场景叠加模块与所述外部对象传感器耦合方式的示意图。需要指出的是,所述虚拟场景叠加模块100可以是独立的硬件模块,也可以是从属于控制模块160的硬件或者软件模块。所述外部对象传感器可以是上述自动驾驶车辆中外部对象传感器的任何一种或者多种。为了方便说明,在下文中主要以视觉传感器为例阐述本公开的技术点。然而,本领域的技术人员可以很容易理解,本技术点可以直接应用在其他形式的外部对象传感器中。比如本技术可以直接应用在激光雷达上。
如图2A所示,所述虚拟场景叠加模块100连接在所述输出模块216的输出端。所述虚拟场景叠加模块100将虚拟数据加入到摄像头输出模块216输出的数据上,生成修改后的数据。具体地,所述虚拟数据为虚拟图像对应的数据。所述虚拟场景叠加模块100连接到输出模块216的输出端,接收输出模块输出端真实图像。然后,虚拟场景叠加模块100将所述虚拟图像的像素叠加到所述真实图像对应的位置。比如,假设真实图像为自动驾驶车辆200行驶时的前方道路图像,则所述虚拟数据可以为道路前方的虚拟红绿灯图像、行驶在道路上的其他虚拟车辆图像和/或横穿道路的虚拟行人形象。根据预先设定,上述虚拟图像会出现在自动驾驶车辆200前方的预定位置。相应的,上述虚拟图像在所述真实图像中会出现在对应的预定位置上。因此,虚拟场景叠加模块100可以讲所述虚拟图像的像素叠加在所述真实图像的预定位置上。该预定位置以及所述虚拟图像的大小、视角等都会随着所述自动驾驶车辆200的向前行驶而变化,其产生的效果等同于真实世界中相应位置和移动下的物体经过摄像头拍摄后出现在所述真实图像中的状态。
所述虚拟场景叠加模块100将所述虚拟图像的像素叠加到所述真实图像可以是将所述虚拟图像的像素值和所述真实图像中的像素值分别进行加权后叠加,得到所述修改后的图像数据;也可以是先将输出图像中计划加入虚拟图像的像素点删除,并加上所述虚拟图像的像素。这样输出的图像数据也就包括了真实景象的图像数据以及人工加入的虚拟数据的图像数据,从而在真实图像中加入了所述虚拟图像。
基于相同的道理,所述虚拟场景叠加模块100也可以连接在所述激光雷达的输出端。通过将虚拟物体的激光雷达点阵数据嵌入到激光雷达采集到的真实周围环境点阵当中,所述虚拟场景叠加模块100可以产生激光雷达的修改数据。
类似的,所述所述虚拟场景叠加模块100也可以连接在所述声纳和/或者气候传感器上,通过修改所述声纳和/或气候传感器的数据而修改所述控制模块160对行驶环境的“认知”。
在一些实施例中,所述虚拟场景叠加模块100可以与摄像头进行其他方式的耦合。例如,如图2B所示,虚拟场景叠加模块100可以接入到在摄像头镜头212和摄像头图像传感器214之间。从而在图像信息(或者景色的光线)经过摄像头镜头212但是还没有达到摄像头图像传感器214之前,所述虚拟场景叠加模块100便可以将表示虚拟图像的虚拟数据加入到由摄像头镜头212采集的数据上,生成修改后的数据。
比如,虚拟场景叠加模块100可以是控制模块160中的一组指令,通过软件的方式接收并修改摄像头212传来的信号并将修改后的信号传回所述摄像头继续进行处理;也可以是一种投影装置或者等效的投影装置。该投影装置一方面向图像传感器214成像表面上投射一个虚拟物体的影像,一方面挡住镜头212传来的与影像相应部分的光。这样,从入射光的阶段,摄像头所摄取的景象便被修改。然后,所述修改后的数据再被摄像头图像传感器214所采集,并在输出模块216生成图像数据。该图像数据包括真实景象的图像数据以及人工加入的虚拟数据的图像数据,从而在真实图像中加入了所述虚拟图像。
再例如,如图2C所示,虚拟场景叠加模块100可以接入到摄像头图像传感器214和摄像头输出模块216之间。从而在图像信息(或者景色的光线)经过摄像头镜头212达到摄像头图像传感器214成像表面并以电信号输出之后,但是在输入摄像头输出模块216之前,这部分电信号输入虚拟场景叠加模块100。然后,虚拟场景叠加模块100可以截断部分电信号而加入对应于虚拟物体的电信号,再将该修改之后的电信号输入输出模块216,扫描生成图像数据。该图像数据也就包括了真实景象的图像数据以及人工加入的虚拟数据的图像数据,从而在真实图像中加入了所述虚拟图像。所述虚拟场景叠加模块100可以是控制模块160中的一组指令,通过软件的方式接收并修改图像传感器214传来的信号,并将修改后的信号传给输出模块216继续进行处理;也可以是一个硬件模块,嵌入到所述摄像头的图像传感器214和输出模块216之间。
又例如,如图2D所示,所述虚拟场景叠加模块100将虚拟数据加入到摄像头输出模块216输出的数据上,生成修改后的数据。具体地,所述虚拟场景叠加模块100同输出模块216电连接并控制输出模块对来自摄像头图像传感器214信号的扫描。在输出图像中计划加入虚拟图像的像素点上,虚拟场景叠加模块100可以阻断输出模块的正常扫描并用所述虚拟图像的像素来替代。这样输出的图像数据也就包括了真实景象的图像数据以及人工加入的虚拟数据的图像数据,从而在真实图像中加入了所述虚拟图像。所述虚拟场景叠加模块100可以是控制模块160中的一组指令,通过软件的方式接收并修改输出模块216扫描时获取的信号并将修改后的信号传回所述摄像头继续进行处理;也可以是一个硬件模块,嵌入到所述摄像头的输出模块216中。
所述虚拟数据可以是虚拟物体的图像数据,也可以是虚拟的其他数据,比如温度,风速等等。所述虚拟数据可以是虚拟场景叠加模块100内部存储的数据,也可以是通过网络170实时接收的数据。所述数据对应的物体可以是实际拍摄的物体,也可以是电脑合成的物体。向真实传感器探测的数据加入虚拟数据的时间可以是根据场景预先定好的,也可以是随机的。
所述控制模块160接收所述多个传感器感知的信息后,可以处理与车辆驾驶(例如,自动驾驶)有关的信息和/或数据,以执行本公开中描述的一个或多个功能。在一些实施例中,控制模块160可以配置成自主地驱动车辆。例如,控制模块160可以输出多个控制信号。多个控制信号可以被配置为由一个或者多个电子控制模块(electronic controlunits,ECU)接收,以控制车辆的驱动。在一些实施例中,控制模块可基于车辆的外部环境信息和叠加的虚拟场景输出控制信号。
本发明中披露的技术可以应用在4G网络环境。不过,由于本申请中的发明对网络时延和数据的传输速度要求较高,5G网络环境更加适合。4G的数据传输速率是100Mbps量级,时延是30-50ms,每平方千米的最大连接数1万量级,移动性350KM/h左右,而5G的传输速率是10Gbps量级,时延是1ms,每平方千米的最大连接数是百万量级,移动性是500km/h左右。5G具有更高的传输速率,更短的时延,更多的平方千米连接数,以及更高的速度容忍度。因此,本发明虽然也适用于4G环境,但是5G环境下运行会得到更好的技术表现,体现更高的商业价值。
如上所述,所述虚拟场景叠加模块100可以修改自动驾驶车辆200的外部环境数据。所述自动驾驶车辆200的外部环境数据可以通过传感器模块150获取。所述外部环境数据可以包括,但不限于,位置信息,天气信息,交通标识信息,行人信息,车辆信息,行驶车道信息,障碍物信息,信号灯信息,光照信息等。
在一些实施例中,所述外部环境数据可以通过环境传感器采集。例如,所述外部环境数据可以通过外部对象传感器采集自动驾驶车辆200的行驶道路中的障碍物(例如,石块,坠物等)。又例如,所述外部环境数据可以通过位置传感器采集自动驾驶车辆200的经度,纬度等地理位置信息。
在一些实施例中,所述自动驾驶车辆200的传感器模块150可以获取空值数据,也可以不获取数据,外部环境数据可以部分地,也可以全部由所述虚拟场景叠加模块100提供。例如,所述自动驾驶车辆200进行自动驾驶路测,当所述自动驾驶车辆200处于停止状态时,外部对象传感器采集的数据可以不获取数据,所述虚拟场景叠加模块100将提供模拟路测的相关外部环境数据。又例如,所述自动驾驶车辆200进行室内的自动驾驶测试,所述外部对象传感器采集的数据可以室内的环境数据,所述虚拟场景叠加模块100将提供模拟路测的相关外部环境数据代替采集到的室内环境数据。在一些实施例中,所述虚拟场景叠加模块100可以提供校准执行机构110对应的相关外部环境。例如,当所述自动驾驶车辆200进行自动驾驶路测时,所述虚拟场景叠加模块100可以提供执行机构初始校准,为了校准转向系统的右转转向灯,虚拟场景叠加模块100提供需要右转的十字路口。
在一些实施例中,所述虚拟场景叠加模块100可以与传感器模块150中的一个或多个传感器连接。例如,所述虚拟场景叠加模块100可以与外部对象传感器(例如,视觉传感器,气候传感器,声纳传感器等)连接,并接收所述外部对象传感器实时采集的外部环境数据。又例如,所述虚拟场景叠加模块100可以与位置传感器连接,并接收所述视觉传感器实时采集的位置数据。
在一些实施例中,所述虚拟场景叠加模块100可以与所述传感器模块150中的一个或多个传感器的输入端连接。在一些实施例中,所述虚拟场景叠加模块100可以将虚拟数据发送到所述传感器模块150中的一个或多个传感器。所述虚拟数据可以是出现在所述自动驾驶车辆200行驶路径上的静止物体,也可以是运动的物体,比如行人、行驶中的其他车辆等等。例如,在实时采集的外部环境中,所述自动驾驶车辆200行驶的道路上没有交通信号灯,所述虚拟场景叠加模块100可以在所述自动驾驶车辆200行驶的道路图像上加入虚拟的交通信号灯。比如,所述虚拟场景叠加模块100可以在所述自动驾驶车200的前方100米处加入交通信号灯。再比如,在自动驾驶车辆行驶的路径上,虚拟的加入一个过马路的行人或者换车道的车辆等等。所述虚拟加入的物体时虚拟数据。
所述虚拟数据可以是与所述传感器模块150采集的真实环境的环境差。所述环境差可以包括但不限于,行人,车辆,障碍物,天气因素(例如,风,霜,雨,雪,温度,光照)等,或其任何组合。所述行人可以是正常速度行走过马路的,也可以是奔跑冲入马路的。例如,所述自动驾驶车辆200正常行驶在测试的道路上,真实环境中没有行人,为了测试行人突然进入马路时的所述自动驾驶车辆200,虚拟数据对应的突然冲入马路的行人将被加入外部环境数据中。所述车辆包括但不限于,机动车辆,非机动车辆等,或其任何组合。所述机动车辆可以包括但不限于,汽车,电动汽车,摩托车,电动摩托车等,或其任何组合。所述非机动车辆可以包括但不限于,自行车,三轮车,老年代步车,电动单车等,或其任何组合。在一些实施例中,所述障碍物可以是动态的(例如,动物)。在一些实施例中,所述障碍物可以是静态的(例如,道路路面有凹陷的坑,道路路面有凸起的大石块)。在一些实施例中,天气因素可以使传感器得信号同测试正常天气的效果不同。例如,雨天可能会造成视觉传感器出现模糊的情况,采集的数据会有偏差。在一些实施例中,所述环境差可以是地理位置的环境差。例如,测试时的所述自动驾驶车辆200行驶的道路是笔直的,测试的目标场景可以是海拔不断变化的盘山公路,所述环境差是海拔高度的变化。
在一些实施例中,所述虚拟数据可以是根据场景预设的。例如,所述虚拟数据可以包括一个和/或多个不同的场景,所述一个和/或多个不同的场景可以储存在存储器中。在一些实施例中,所述虚拟数据也可以是通过自主学习有人和/或无人驾驶的车辆遇到的场景。例如,有人驾驶车辆的车尾盲区处,有小朋友蹲下玩耍,驾驶员可能没有发现并倒车,则会撞到小朋友;所述虚拟数据可以是车尾蹲下玩耍的小朋友,当测试自动驾驶车辆200倒车时,所述虚拟数据则会加入到所述自动驾驶车辆200的外部环境数据中。
在一些实施例中,当所述虚拟场景叠加模块100为独立硬件结构时,其可以与控制模块160连接。例如,所述虚拟场景叠加模块100与所述控制模块160的输入/输出端连接,所述虚拟场景叠加模块100可以从所述控制模块160获得/获取所述虚拟数据。又例如,所述虚拟场景叠加模块100可以储存所述虚拟数据,从所述控制模块160接收控制信号,所述控制信号可以用于选取当前测试对应的虚拟数据。在一些实施例中,所述虚拟场景叠加模块100在外部环境数据中加入虚拟数据后,可以生成修改后的外部环境数据,所述修改后的外部环境数据发送给所述自动驾驶车辆的车载控制模块。
所述虚拟场景叠加模块100可以包括计时器。所述计时器可以在所述虚拟场景叠加模块100内部,也可以在所述虚拟场景叠加模块100外部(例如,控制模块160,传感器模块150)。在一些实施例中,所述计时器可以用于倒计时发出加入虚拟数据的指令。所述倒计时的时钟周期可以是预先设定的,也可以是随机生成的。例如,当所述倒计时的时钟周期预设30s时,虚拟数据会在30s后加入到外部环境数据中。又例如,当所述倒计时的时钟周期是随机生成的,虚拟数据会在随机生成的时钟周期后加入到外部环境数据中。
图3是本申请中的一种车载自动驾驶测试装置的示例性流程图。如图3所示,应用车载自动驾驶测试装置,所述车载自动驾驶测试装置包括虚拟场景叠加模块100,方法包括如下步骤:
在步骤310中,所述虚拟场景叠加模块100获取自动驾驶车辆200的行驶数据。在一些实施例中,所述自动驾驶车辆的行驶数据可以包括但不限于,车速,加速度,天气参数,转向等,或其任何组合。在一些实施例中,当天气是下雪天时,虚拟场景叠加模块100获取的所述自动驾驶车辆200的行驶数据与下雪天有关。例如,与下雪天有关的行驶数据可以是自动驾驶车辆200行驶速度较慢,也可以是制动能力较弱,或其组合。
在步骤320中,所述虚拟场景叠加模块100获取所述自动驾驶车辆200的实时行驶数据。所述实时行驶数据可以包括自动驾驶车辆200的行驶状态数据和/或外部环境数据。在一些实施例中,所述外部环境数据可以是通过外部对象传感器实时采集获得的,所述行驶状态数据可以是通过车辆部件传感器获得。在一些实施例中,所述外部对象传感器连接在所述虚拟场景叠加模块100上。比如,虚拟场景叠加模块100可以获得自动驾驶车辆200的行驶速度、加速度、方向等行驶状态数据,和/或自动驾驶车辆200周围的气温、光照、风速等外部环境数据。
在步骤330中,根据所述自动驾驶车辆200的实时行驶数据,在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据。所述自动驾驶车辆的行驶数据包括车速,所述虚拟数据随时间变化,所述变化同所述车速相关。比如在一些实施例中,如图4所示,当自动驾驶车辆200的测试地点是城市道路上,所述实时行驶数据可以包括行驶速度。若虚拟数据可以是自动驾驶车辆200行驶的前方道路上的斑马线以及正在过马路的行人。所述虚拟场景叠加模块100将虚拟数据加入外部环境数据时,可以根据行驶的速度,将虚拟数据做相应调整后加入场景中,生成对应的修改后的外部环境数据。比如自动驾驶车辆在缓慢驶向斑马线处的行人时,行人在摄像头传来的图片中相应的越来越大,行人大小变大的速度应该同自动驾驶车辆的速度相匹配,造成自动驾驶车辆不断接近行人的透视效果。在一些实施例中,当自动驾驶车辆200的测试时,行驶的加速度较大,外部环境是晴天,虚拟数据是雷阵雨。所述虚拟场景叠加模块100将虚拟数据加入外部环境数据时,可以根据行驶的加速度,将雷阵雨的雨量大小场景做相应调整相应加入晴天中,生成对应的修改后的外部环境数据,造成车辆200因为车速较快而产生的雨量放大的效果。
在步骤340中,将所述修改后的外部环境数据传送给自动驾驶车辆200的车载控制模块。在一些实施例中,所述修改后的外部环境数据可以由所述虚拟场景叠加模块100传送给控制模块160。在一些实施例中,所述修改后的外部环境数据可以所述虚拟场景叠加模块100发送到传感器模块150,再通过所述传感器模块150传送给控制模块160。
在步骤350中,驾驶测试模块192收集自动驾驶车辆200对修改后的外部环境数据做出的响应,根据所述响应评估自动驾驶车辆200的自动驾驶系统的表现。所述响应是指因为虚拟数据的加入而引起自动驾驶车辆200行驶状态的改变,比如车速、制动、灯光、转弯、雨刷等参数的改变。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本申请意图囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本申请提出,并且在本申请的示例性实施例的精神和范围内。
此外,本申请中的某些术语已被用于描述本申请的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本申请的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本申请的一个或多个实施例中适当地组合。
应当理解,在本申请的实施例的前述描述中,为了帮助理解一个特征,出于简化本申请的目的,本申请有时将各种特征组合在单个实施例、附图或其描述中。或者,本申请又是将各种特征分散在多个本申请的实施例中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本申请的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说,本申请中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
在一些实施方案中,表达用于描述和要求保护本申请的某些实施方案的数量或性质的数字应理解为在某些情况下通过术语“约”,“近似”或“基本上”修饰。例如,除非另有说明,否则“约”,“近似”或“基本上”可表示其描述的值的±20%变化。因此,在一些实施方案中,书面描述和所附权利要求书中列出的数值参数是近似值,其可以根据特定实施方案试图获得的所需性质而变化。在一些实施方案中,数值参数应根据报告的有效数字的数量并通过应用普通的舍入技术来解释。尽管阐述本申请的一些实施方案列出了广泛范围的数值范围和参数是近似值,但具体实施例中都列出了尽可能精确的数值。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章,书籍,说明书,出版物,文件,物品等,可以通过引用结合于此。用于所有目的的全部内容,除了与其相关的任何起诉文件历史,可能与本文件不一致或相冲突的任何相同的,或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本申请的实施方案的原理的说明。其他修改后的实施例也在本申请的范围内。因此,本申请披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本申请中的实施例采取替代配置来实现本申请中的发明。因此,本申请的实施例不限于申请中被精确地描述过的哪些实施例。
Claims (18)
1.一种车载自动驾驶测试系统,包括:虚拟场景叠加模块,在工作状态下,所述虚拟场景叠加模块:
获取自动驾驶车辆的行驶数据;
获取所述自动驾驶车辆的外部环境数据;
根据所述自动驾驶车辆的行驶数据,在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据;
将所述修改后的外部环境数据传送给自动驾驶车辆的车载控制模块。
2.如权利要求1中所述车载自动驾驶车辆测试系统,还包括:
测试模块,所述测试模块在工作状态下,收集所述自动驾驶车辆对修改后的外部环境数据做出的响应,所述响应包括因为所述虚拟数据的加入而引起的所述自动驾驶车辆的所述行驶状态的改变。
3.如权利要求1中所述车载自动驾驶车辆测试系统,其中,所述自动驾驶车辆的行驶数据包括车速,所述虚拟数据随时间变化,所述变化同所述车速相关。
4.如权利要求1中所述车载自动驾驶车辆的测试系统,其中,所述虚拟场景叠加模块通过5G网络获得所述虚拟数据;
所述在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据在时间上为随机生成。
5.如权利要求1中所述车载自动驾驶车辆测试系统,还包括:
自动驾驶车辆外部对象传感器,连接在所述虚拟场景叠加模块上,并实时采集所述外部环境数据。
6.如权利要求5中所述车载自动驾驶车辆的测试系统,其中,所述自动驾驶车辆外部对象传感器包括视觉传感器、激光雷达、声纳传感器、气候传感器、加速度传感器、超声波传感器。
7.如权利要求1中所述车载自动驾驶车辆测试系统,其特征在于,所述虚拟数据至少包括虚拟车辆、虚拟障碍物、虚拟行人、虚拟车道、虚拟天气等虚拟数据中的一种;其中,基于不同类型的传感器,所述虚拟数据的表现形式不同。
8.如权利要求1所述车载自动驾驶车辆的测试系统,其中,
所述自动驾驶车辆的外部对象传感器包括视觉传感器,所述视觉传感器包括:
镜头,摄取环境光线,
图像传感器,包括光敏阵列,所述光敏阵列接收镜头传来的环境光线并将所述环境光线转换为电信号,
输出模块,接收所述电信号,并将所述电信号转化成外部数据;
所述虚拟场景叠加模块同所述图像传感器连接;
所述在所述外部环境数据中加入虚拟数据包括:所述虚拟场景叠加模块将虚拟数据加入到所述电信号中。
9.如权利要求1所述车载自动驾驶车辆的测试系统,其中,
所述自动驾驶车辆的外部对象传感器包括视觉传感器,所述视觉传感器包括
镜头,摄取环境光线,
图像传感器,包括光敏阵列,所述光敏阵列接收镜头传来的环境光线并将所述环境光线转换为电信号,
输出模块,接收所述电信号,并将所述电信号转化成外部数据;
所述虚拟场景叠加模块连接到所述输出模块;
所述在所述外部环境数据中加入虚拟数据包括:在所述将所述电信号转化成图像的时候将虚拟数据加入到所述外部数据。
10.如权利要求1所述车载自动驾驶车辆的测试系统,其中,
所述自动驾驶车辆的外部对象传感器包括视觉传感器;
所述虚拟场景叠加模块连接到所述视觉传感器的输出端;
所述在所述外部环境数据中加入虚拟数据包括:将所述将虚拟数据加入到所述世界传感器输出的数据中。
11.一种自动驾驶车辆测试方法,应用于自动驾驶车辆的测试系统,所述自动驾驶车辆测试方法包括:
获取自动驾驶车辆的行驶数据;
获取所述自动驾驶车辆的外部环境数据;
根据所述自动驾驶车辆的行驶数据,在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据;
将所述修改后的外部环境数据传送给自动驾驶车辆的车载控制模块。
12.如权利要求11中所述自动驾驶车辆测试方法,还包括:
收集所述自动驾驶车辆对修改后的外部环境数据做出的响应,所述响应包括因为所述虚拟数据的加入而引起的所述自动驾驶车辆的所述行驶状态的改变。
13.如权利要求11中所述自动驾驶车辆测试方法,其中,所述自动驾驶车辆的行驶数据包括车速,所述虚拟数据随时间变化,所述变化同所述车速相关。
14.如权利要求11中所述自动驾驶车辆测试方法,其中,所述虚拟数据为通过5G网络获得;
所述在所述外部环境数据中加入虚拟数据,生成修改后的外部环境数据在时间上为随机生成。
15.如权利要求11中所述自动驾驶车辆测试方法,其特征在于,所述虚拟数据至少包括虚拟车辆、虚拟障碍物、虚拟行人、虚拟车道、虚拟天气等虚拟数据中的一种;其中,基于不同类型的传感器,所述虚拟数据的表现形式不同。。
16.如权利要求11所述自动驾驶车辆测试方法,其中,
所述自动驾驶车辆包括外部对象传感器,所述外部对象传感器包括视觉传感器,所述视觉传感器包括:
镜头,摄取环境光线,
图像传感器,包括光敏阵列,所述光敏阵列接收镜头传来的环境光线并将所述环境光线转换为电信号,
输出模块,接收所述电信号,并将所述电信号转化成外部数据;
所述虚拟场景叠加模块同所述图像传感器连接;
所述在所述外部环境数据中加入虚拟数据包括:将虚拟数据加入到所述电信号中。
17.如权利要求11所述自动驾驶车辆测试方法,其中,
所述自动驾驶车辆包括外部对象传感器,所述外部对象传感器包括视觉传感器,所述视觉传感器包括:
镜头,摄取环境光线,
图像传感器,包括光敏阵列,所述光敏阵列接收镜头传来的环境光线并将所述环境光线转换为电信号,
输出模块,接收所述电信号,并将所述电信号转化成外部数据;
所述虚拟场景叠加模块连接到所述输出模块;
所述在所述外部环境数据中加入虚拟数据包括:在所述将所述电信号转化成图像的时候将虚拟数据加入到所述外部数据。
18.如权利要求11所述自动驾驶车辆测试方法,其中,
所述自动驾驶车辆的外部对象传感器包括视觉传感器;
所述虚拟场景叠加模块连接到所述视觉传感器的输出端;
所述在所述外部环境数据中加入虚拟数据包括:将所述将虚拟数据加入到所述世界传感器输出的数据中。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/109155 WO2021056556A1 (zh) | 2019-09-29 | 2019-09-29 | 一种车载自动驾驶测试系统及测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110785718A true CN110785718A (zh) | 2020-02-11 |
CN110785718B CN110785718B (zh) | 2021-11-02 |
Family
ID=69394850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980002545.7A Active CN110785718B (zh) | 2019-09-29 | 2019-09-29 | 一种车载自动驾驶测试系统及测试方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110785718B (zh) |
WO (1) | WO2021056556A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111458157A (zh) * | 2020-04-14 | 2020-07-28 | 上汽依维柯红岩商用车有限公司 | 获取制动系统制动性能参数的测试系统及方法 |
CN112557058A (zh) * | 2020-12-10 | 2021-03-26 | 清华大学苏州汽车研究院(吴江) | 一种自动驾驶测试系统 |
WO2021056556A1 (zh) * | 2019-09-29 | 2021-04-01 | 驭势科技(北京)有限公司 | 一种车载自动驾驶测试系统及测试方法 |
CN112834244A (zh) * | 2021-01-22 | 2021-05-25 | 中汽创智科技有限公司 | 一种车辆测试方法、系统和装置 |
CN112835382A (zh) * | 2020-12-31 | 2021-05-25 | 南京安麦森电子科技有限公司 | 一种基于无人机的5g基站测试系统 |
WO2021159357A1 (zh) * | 2020-02-12 | 2021-08-19 | 深圳元戎启行科技有限公司 | 行驶场景信息处理方法、装置、电子设备和可读存储介质 |
CN113301531A (zh) * | 2021-05-25 | 2021-08-24 | 上海商汤临港智能科技有限公司 | 用于车辆自动驾驶测试的网络接入系统、方法和装置 |
CN113325261A (zh) * | 2021-07-15 | 2021-08-31 | 北京智能车联产业创新中心有限公司 | 自动驾驶车辆工控硬件的温湿度适应性测试方法及系统 |
CN113567778A (zh) * | 2021-06-30 | 2021-10-29 | 南京富士通南大软件技术有限公司 | 一种基于场景的车载信息娱乐系统实车自动化测试方法 |
CN113589930A (zh) * | 2021-07-30 | 2021-11-02 | 广州市旗鱼软件科技有限公司 | 一种混合现实模拟驾驶环境生成方法及系统 |
CN113781471A (zh) * | 2021-09-28 | 2021-12-10 | 中国科学技术大学先进技术研究院 | 一种自动驾驶测试场系统及方法 |
CN114179823A (zh) * | 2021-11-18 | 2022-03-15 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶车辆的速度控制方法 |
CN114414257A (zh) * | 2021-12-22 | 2022-04-29 | 奇瑞汽车股份有限公司 | 汽车的测试系统、方法、设备和存储介质 |
CN114755035A (zh) * | 2022-06-15 | 2022-07-15 | 中汽信息科技(天津)有限公司 | 一种基于车载终端的智能驾驶多维度测试方法 |
CN115855519A (zh) * | 2022-11-10 | 2023-03-28 | 中国汽车工程研究院股份有限公司 | 新能源汽车坡道辅助测试工作方法 |
CN117864133A (zh) * | 2023-03-17 | 2024-04-12 | 成都鑫动源乐信息技术有限公司 | 基于大数据的安全控制系统 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113325734B (zh) * | 2021-06-10 | 2023-02-21 | 中国第一汽车股份有限公司 | 自动雨刮的仿真测试系统、方法、装置、设备和存储介质 |
CN113640010A (zh) * | 2021-08-02 | 2021-11-12 | 上海和夏新能源科技有限公司 | 基于实时同步数据采集的车辆姿态模拟方法和模拟系统 |
CN113838293A (zh) * | 2021-10-11 | 2021-12-24 | 特路(北京)科技有限公司 | 一种适用于智能汽车的雨雾环境测试场及测试方法 |
CN114297827A (zh) * | 2021-12-06 | 2022-04-08 | 江苏航天大为科技股份有限公司 | 一种软件联合自动驾驶系统仿真方法 |
CN114625637A (zh) * | 2022-02-23 | 2022-06-14 | 浙江吉利控股集团有限公司 | 一种基于动态虚拟场景的测试方法及评价方法 |
CN115202321B (zh) * | 2022-06-10 | 2024-09-17 | 重庆长安汽车股份有限公司 | 一种用于自动驾驶路试的数据采集系统及方法 |
CN118654900A (zh) * | 2024-08-19 | 2024-09-17 | 中汽研汽车检验中心(昆明)有限公司 | 高原环境下多维度新能源汽车性能测试评价方法及系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294842A (ja) * | 1994-04-26 | 1995-11-10 | Toyota Motor Corp | 自動車用情報表示装置 |
JP2015177404A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US20160334623A1 (en) * | 2014-01-28 | 2016-11-17 | JVC Kenwood Corporation | Display device, display method, and non-transitory computer readable medium storing display program |
CN108109210A (zh) * | 2017-12-15 | 2018-06-01 | 广州德科投资咨询有限公司 | 一种用于自动驾驶车辆的场景生成方法及智能眼镜 |
CN108241352A (zh) * | 2016-12-25 | 2018-07-03 | 青岛祥智电子技术有限公司 | 一种无人驾驶机动车的远程控制方法 |
CN207624060U (zh) * | 2017-08-08 | 2018-07-17 | 中国汽车工程研究院股份有限公司 | 一种自动驾驶系统场景工况数据采集系统 |
CN108762226A (zh) * | 2018-05-14 | 2018-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种自动驾驶车辆测试方法、装置及系统 |
CN109032103A (zh) * | 2017-06-09 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆的测试方法、装置、设备及存储介质 |
CN109270923A (zh) * | 2018-11-05 | 2019-01-25 | 安徽江淮汽车集团股份有限公司 | Ldw控制器的实车在环测试方法及系统 |
CN109557904A (zh) * | 2018-12-06 | 2019-04-02 | 百度在线网络技术(北京)有限公司 | 一种测试方法、装置、设备和介质 |
CN109752968A (zh) * | 2017-11-07 | 2019-05-14 | 瑞萨电子株式会社 | 仿真装置和计算机可读存储介质 |
CN109765060A (zh) * | 2018-12-29 | 2019-05-17 | 同济大学 | 一种自动驾驶车辆交通协调性虚拟测试系统及方法 |
CN110083163A (zh) * | 2019-05-20 | 2019-08-02 | 三亚学院 | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 |
CN110209146A (zh) * | 2019-05-23 | 2019-09-06 | 杭州飞步科技有限公司 | 自动驾驶车辆的测试方法、装置、设备及可读存储介质 |
CN110264586A (zh) * | 2019-05-28 | 2019-09-20 | 浙江零跑科技有限公司 | L3级自动驾驶系统道路驾驶数据采集、分析及上传方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110785718B (zh) * | 2019-09-29 | 2021-11-02 | 驭势科技(北京)有限公司 | 一种车载自动驾驶测试系统及测试方法 |
-
2019
- 2019-09-29 CN CN201980002545.7A patent/CN110785718B/zh active Active
- 2019-09-29 WO PCT/CN2019/109155 patent/WO2021056556A1/zh active Application Filing
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07294842A (ja) * | 1994-04-26 | 1995-11-10 | Toyota Motor Corp | 自動車用情報表示装置 |
US20160334623A1 (en) * | 2014-01-28 | 2016-11-17 | JVC Kenwood Corporation | Display device, display method, and non-transitory computer readable medium storing display program |
JP2015177404A (ja) * | 2014-03-17 | 2015-10-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN108241352A (zh) * | 2016-12-25 | 2018-07-03 | 青岛祥智电子技术有限公司 | 一种无人驾驶机动车的远程控制方法 |
CN109032103A (zh) * | 2017-06-09 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 无人驾驶车辆的测试方法、装置、设备及存储介质 |
CN207624060U (zh) * | 2017-08-08 | 2018-07-17 | 中国汽车工程研究院股份有限公司 | 一种自动驾驶系统场景工况数据采集系统 |
CN109752968A (zh) * | 2017-11-07 | 2019-05-14 | 瑞萨电子株式会社 | 仿真装置和计算机可读存储介质 |
CN108109210A (zh) * | 2017-12-15 | 2018-06-01 | 广州德科投资咨询有限公司 | 一种用于自动驾驶车辆的场景生成方法及智能眼镜 |
CN108762226A (zh) * | 2018-05-14 | 2018-11-06 | 济南浪潮高新科技投资发展有限公司 | 一种自动驾驶车辆测试方法、装置及系统 |
CN109270923A (zh) * | 2018-11-05 | 2019-01-25 | 安徽江淮汽车集团股份有限公司 | Ldw控制器的实车在环测试方法及系统 |
CN109557904A (zh) * | 2018-12-06 | 2019-04-02 | 百度在线网络技术(北京)有限公司 | 一种测试方法、装置、设备和介质 |
CN109765060A (zh) * | 2018-12-29 | 2019-05-17 | 同济大学 | 一种自动驾驶车辆交通协调性虚拟测试系统及方法 |
CN110083163A (zh) * | 2019-05-20 | 2019-08-02 | 三亚学院 | 一种用于自动驾驶汽车的5g c-v2x车路云协同感知方法及系统 |
CN110209146A (zh) * | 2019-05-23 | 2019-09-06 | 杭州飞步科技有限公司 | 自动驾驶车辆的测试方法、装置、设备及可读存储介质 |
CN110264586A (zh) * | 2019-05-28 | 2019-09-20 | 浙江零跑科技有限公司 | L3级自动驾驶系统道路驾驶数据采集、分析及上传方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021056556A1 (zh) * | 2019-09-29 | 2021-04-01 | 驭势科技(北京)有限公司 | 一种车载自动驾驶测试系统及测试方法 |
WO2021159357A1 (zh) * | 2020-02-12 | 2021-08-19 | 深圳元戎启行科技有限公司 | 行驶场景信息处理方法、装置、电子设备和可读存储介质 |
CN111458157A (zh) * | 2020-04-14 | 2020-07-28 | 上汽依维柯红岩商用车有限公司 | 获取制动系统制动性能参数的测试系统及方法 |
CN112557058B (zh) * | 2020-12-10 | 2023-12-05 | 清华大学苏州汽车研究院(吴江) | 一种自动驾驶测试系统 |
CN112557058A (zh) * | 2020-12-10 | 2021-03-26 | 清华大学苏州汽车研究院(吴江) | 一种自动驾驶测试系统 |
CN112835382A (zh) * | 2020-12-31 | 2021-05-25 | 南京安麦森电子科技有限公司 | 一种基于无人机的5g基站测试系统 |
CN112834244A (zh) * | 2021-01-22 | 2021-05-25 | 中汽创智科技有限公司 | 一种车辆测试方法、系统和装置 |
CN112834244B (zh) * | 2021-01-22 | 2024-05-24 | 中汽创智科技有限公司 | 一种车辆测试方法、系统和装置 |
CN113301531A (zh) * | 2021-05-25 | 2021-08-24 | 上海商汤临港智能科技有限公司 | 用于车辆自动驾驶测试的网络接入系统、方法和装置 |
CN113301531B (zh) * | 2021-05-25 | 2024-06-07 | 上海商汤临港智能科技有限公司 | 用于车辆自动驾驶测试的网络接入系统、方法和装置 |
CN113567778A (zh) * | 2021-06-30 | 2021-10-29 | 南京富士通南大软件技术有限公司 | 一种基于场景的车载信息娱乐系统实车自动化测试方法 |
CN113567778B (zh) * | 2021-06-30 | 2023-12-29 | 南京富士通南大软件技术有限公司 | 一种基于场景的车载信息娱乐系统实车自动化测试方法 |
CN113325261B (zh) * | 2021-07-15 | 2023-03-14 | 北京智能车联产业创新中心有限公司 | 自动驾驶车辆工控硬件的温湿度适应性测试方法及系统 |
CN113325261A (zh) * | 2021-07-15 | 2021-08-31 | 北京智能车联产业创新中心有限公司 | 自动驾驶车辆工控硬件的温湿度适应性测试方法及系统 |
CN113589930A (zh) * | 2021-07-30 | 2021-11-02 | 广州市旗鱼软件科技有限公司 | 一种混合现实模拟驾驶环境生成方法及系统 |
CN113589930B (zh) * | 2021-07-30 | 2024-02-23 | 广州市旗鱼软件科技有限公司 | 一种混合现实模拟驾驶环境生成方法及系统 |
CN113781471B (zh) * | 2021-09-28 | 2023-10-27 | 中国科学技术大学先进技术研究院 | 一种自动驾驶测试场系统及方法 |
CN113781471A (zh) * | 2021-09-28 | 2021-12-10 | 中国科学技术大学先进技术研究院 | 一种自动驾驶测试场系统及方法 |
CN114179823A (zh) * | 2021-11-18 | 2022-03-15 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶车辆的速度控制方法 |
CN114414257A (zh) * | 2021-12-22 | 2022-04-29 | 奇瑞汽车股份有限公司 | 汽车的测试系统、方法、设备和存储介质 |
CN114755035A (zh) * | 2022-06-15 | 2022-07-15 | 中汽信息科技(天津)有限公司 | 一种基于车载终端的智能驾驶多维度测试方法 |
CN114755035B (zh) * | 2022-06-15 | 2022-09-09 | 中汽信息科技(天津)有限公司 | 一种基于车载终端的智能驾驶多维度测试方法 |
CN115855519A (zh) * | 2022-11-10 | 2023-03-28 | 中国汽车工程研究院股份有限公司 | 新能源汽车坡道辅助测试工作方法 |
CN117864133A (zh) * | 2023-03-17 | 2024-04-12 | 成都鑫动源乐信息技术有限公司 | 基于大数据的安全控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110785718B (zh) | 2021-11-02 |
WO2021056556A1 (zh) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110785718B (zh) | 一种车载自动驾驶测试系统及测试方法 | |
US11868133B1 (en) | Avoiding blind spots of other vehicles | |
US10210408B2 (en) | Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation | |
JP7341864B2 (ja) | 3dデータを2d画像データに登録するためのシステム及び方法 | |
US10762650B1 (en) | System and method for estimating depth using a monocular camera | |
CN114402377A (zh) | 用于监测交通车道拥塞的系统和方法 | |
US11414093B2 (en) | System and method for transitioning a vehicle from an autonomous mode in response to a handover event | |
CN112650212A (zh) | 远程自动驾驶车辆及车辆远程指示系统 | |
CN112055806A (zh) | 在困难驾驶条件下利用地标增强导航指令 | |
US11222215B1 (en) | Identifying a specific object in a two-dimensional image of objects | |
US12061477B2 (en) | External environment sensor data prioritization for autonomous vehicle | |
CN116829919A (zh) | 基于航测数据的自动驾驶系统测试方法、测试系统及存储介质 | |
CN115205311B (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
CN116670610A (zh) | 用于公共速度映射和导航的系统和方法 | |
CN115100377A (zh) | 地图构建方法、装置、车辆、可读存储介质及芯片 | |
CN115035494A (zh) | 图像处理方法、装置、车辆、存储介质及芯片 | |
CN114842075A (zh) | 数据标注方法、装置、存储介质及车辆 | |
US20230154024A1 (en) | Producing a depth map from a monocular two-dimensional image | |
CN115042814A (zh) | 交通灯状态识别方法、装置、车辆及存储介质 | |
CN115205461A (zh) | 场景重建方法、装置、可读存储介质及车辆 | |
CN115116161A (zh) | 车辆数据采集方法、装置、存储介质以及车辆 | |
CN114822216B (zh) | 生成车位地图的方法、装置、车辆、存储介质及芯片 | |
CN115115707B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
CN115139946B (zh) | 车辆落水检测方法、车辆、计算机可读存储介质及芯片 | |
US11708049B2 (en) | Systems and methods for preventing an operation of a car application that reduces a quality of service of a computer system of a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |