CN111178735B - 一种自动驾驶功能的测试评价方法、装置及系统 - Google Patents

一种自动驾驶功能的测试评价方法、装置及系统 Download PDF

Info

Publication number
CN111178735B
CN111178735B CN201911348720.6A CN201911348720A CN111178735B CN 111178735 B CN111178735 B CN 111178735B CN 201911348720 A CN201911348720 A CN 201911348720A CN 111178735 B CN111178735 B CN 111178735B
Authority
CN
China
Prior art keywords
function
tested
tested function
condition
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911348720.6A
Other languages
English (en)
Other versions
CN111178735A (zh
Inventor
万爽
李素雯
方达龙
褚文博
林志杰
黄冠富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Original Assignee
Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd filed Critical Guoqi Beijing Intelligent Network Association Automotive Research Institute Co ltd
Priority to CN201911348720.6A priority Critical patent/CN111178735B/zh
Publication of CN111178735A publication Critical patent/CN111178735A/zh
Application granted granted Critical
Publication of CN111178735B publication Critical patent/CN111178735B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种自动驾驶功能的测试评价方法、装置及系统，其中，该方法包括：获取自动驾驶技术的被测功能；根据自动驾驶技术的被测功能确定被测功能的至少一个影响参数；根据影响参数确定被测功能的启用情况和禁用情况；分别获取被测功能在启用情况下的第一运行参数以及在禁用情况下的第二运行参数；根据第一运行参数确定被测功能在启用情况下的第一评价分数；根据第二运行参数确定被测功能在禁用情况下的第二评价分数；根据第一评价分数和第二评价分数得到被测功能的评价结果。解决了现有的自动驾驶功能评价内容较片面导致的自动驾驶系统在全工况下的运行危险系数高的问题，进一步确保了自动驾驶功能的运行安全。

Description

一种自动驾驶功能的测试评价方法、装置及系统
技术领域
本发明涉及智能交通测评领域，具体涉及一种自动驾驶功能的测试评价方法、装置及系统。
背景技术
随着5G技术的普及，万物互联时代即将到来，通信技术的高速发展使汽车行业的全面电动化、智能化、网联化成为可能，自动驾驶汽车应运而生。
在此背景下，国内外政府、汽车制造厂商及汽车零件供应商都在增加对自动驾驶技术开发的投入。自动驾驶系统采用先进的通信、计算机、网络和控制技术，可以对车辆实现实时、连续控制。而自动驾驶汽车在行驶过程中需要应对各种复杂的交通场景及天气情况，但是现有的自动驾驶技术没有覆盖全部的驾驶工况，所以自动驾驶功能在开发过程划定了设计运行范围，包括道路类型、地理特征、速度范围、天气等其他相关因素，而自动驾驶技术缺乏符合车规级标准的研发体系和硬件平台，所以有必要对自动驾驶系统的设计的运行区域进行测试及评价。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的自动驾驶功能评价内容片面，导致自动驾驶系统在全工况下的运行危险系数高的问题，从而提供一种自动驾驶功能的测试评价方法、装置及系统。
根据第一方面，本发明实施例公开了一种自动驾驶功能的测试评价方法，该方法包括：获取自动驾驶技术的被测功能；根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数；根据所述影响参数确定所述被测功能的启用情况和禁用情况；分别获取所述被测功能在所述启用情况下的第一运行参数以及在所述禁用情况下的第二运行参数；根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数；根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数；根据所述第一评价分数和所述第二评价分数得到所述被测功能的评价结果。
结合第一方面，在第一方面第一实施方式中，所述根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数，包括：根据所述被测功能，与预设的影响参数库中的影响参数匹配，得到所述被测功能对应的至少一个影响参数。
结合第一方面，在第一方面第二实施方式中，所述根据所述影响参数确定所述被测功能的启用情况和禁用情况，包括：根据所述影响参数确定所述影响参数的可使用阈值；判断所述影响参数是否大于所述影响参数的可使用阈值；当所述影响参数大于所述影响参数的可使用阈值时，被测功能启用；当所述影响参数小于或等于所述影响参数的可使用阈值时，被测功能禁用。
结合第一方面，在第一方面第三实施方式中，所述根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数，包括：根据所述第一运行参数确定所述被测功能的实现系数以及至少一个实现精度指标；通过下述公式，根据所述实现精度指标确定所述被测功能在所述启用情况下的第一评价分数：
其中，K1a表示所述被测功能在所述启用情况下的第一评价分数，KA1表示所述被测功能的实现系数；KA2.1…KA2.m表示所述被测功能的实现精度指标的实现精度系数，表示所述被测功能有m个实现精度指标。
结合第一方面，在第一方面第四实施方式中，所述根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数，包括：根据所述第二运行参数确定所述被测功能的激活状态系数以及切换系数；通过下述公式，根据所述被测功能的激活状态系数以及切换系数确定在所述禁用情况下的第二评价分数：
K1b＝KB1×KB2×100，
其中，K1b表示所述被测功能在所述禁用情况下的第二评价分数，KB1表示所述激活状态系数，KB2表示所述切换系数。
结合第一方面，在第一方面第五实施方式中，通过下述公式，根据所述第一评价分数和所述第二评价分数得到所述被测功能在可运行区域内的第三评价分数：
其中，K1表示所述被测功能在可运行区域内的第三评价分数。
结合第一方面，在第一方面第六实施方式中，该自动驾驶功能的测试评价方法，还包括：根据多个所述被测功能的评价结果，得到所述自动驾驶技术的总评价结果。
结合第一方面第六实施方式，在第一方面第七实施方式中，所述根据多个所述被测功能的评价结果，得到所述自动驾驶技术的总评价结果，包括：根据所述被测功能，确定所述被测功能的运行时间；根据所述被测功能的运行时间，确定所述被测功能的权重系数，所述权重系数是根据所述被测功能的运行时间占总运行时间的百分比来确定的；通过下述公式，根据多个被测功能的评价结果及其权重系数，计算得到所述自动驾驶技术的总评价结果：
K＝K1f1+K2f2+…+Knfn，
其中，K表示所述自动驾驶技术在可运行区域的第四评价分数，K1…Kn表示自动驾驶技术各个被测功能的评价结果，f1…fn为自动驾驶技术各个被测功能的权重系数，满足f1+f2+…+fn＝1。
根据第二方面，本发明实施例公开了一种自动驾驶功能的测试评价装置，包括：功能获取模块，用于获取自动驾驶技术的被测功能；第一确定模块，用于根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数；第二确定模块，用于根据所述影响参数确定所述被测功能的启用情况和禁用情况；运行参数获取模块，用于分别获取所述被测功能在所述启用情况下的第一运行参数以及在所述禁用情况下的第二运行参数；第三确定模块，用于根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数；第四确定模块，用于根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数；评价结果获取模块，用于根据所述第一评价分数和所述第二评价分数得到所述被测功能的评价结果。
根据第三方面，本发明实施例公开了一种自动驾驶功能的测试评价系统，包括：获取设备，用于获取自动驾驶技术的被测功能信息；控制器，用于包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第一方面任一实施方式中任一项所述的自动驾驶功能的测试评价方法的步骤。
根据第四方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一实施方式中任一项所述的自动驾驶功能的测试评价方法的步骤。
本发明技术方案，具有如下优点：
1.本发明实施例提供的一种自动驾驶功能的测试评价方法，其中，该方法包括：获取自动驾驶技术的被测功能；根据自动驾驶技术的被测功能确定被测功能的至少一个影响参数；根据影响参数确定被测功能的启用情况和禁用情况；分别获取被测功能在启用情况下的第一运行参数以及在禁用情况下的第二运行参数；根据第一运行参数确定被测功能在启用情况下的第一评价分数；根据第二运行参数确定被测功能在禁用情况下的第二评价分数；根据第一评价分数和第二评价分数得到被测功能的评价结果。解决了现有的自动驾驶功能评价内容较片面导致的自动驾驶系统在全工况下的运行危险系数高的问题，进一步提升了自动驾驶功能的安全性能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中一种自动驾驶功能的测试评价方法的一个具体示例的流程框图；
图2为本发明实施例1中一种自动驾驶功能的测试评价方法中根据影响参数确定被测功能的启用情况和禁用情况的流程框图；
图3为本发明实施例1中一种自动驾驶功能的测试评价方法中得到自动驾驶技术的总评价结果的流程框图；
图4为本发明实施例2中一种自动驾驶功能的测试评价装置的一个具体示例的结构框图；
图5为本发明实施例3中一种自动驾驶功能的测试评价系统的一个具体示例的结构框图；
图6为本发明实施例3中一种自动驾驶功能的测试评价系统中控制器的结构框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种自动驾驶功能的测试评价方法，可应用于自动驾驶汽车行业中对自动驾驶汽车技术进行测试评价的具体应用场景中，由于自动驾驶功能的测试场景复杂且随机性强，因此，可以是在自动驾驶测试环境进行的自动驾驶功能测试。在自动驾驶汽车可运行区域内，采用模拟仿真测试的方式，通过建立道路交通环境模型、车辆动力学模型、电流传感器等各种传感器模型，并按照真实的通讯方式建立自动驾驶技术中的控制器与车辆和多个传感器的通讯。例如，激光雷达可以通过以太网向自动驾驶技术中的控制器发送激光信号，激光雷达模型可以通过以太网与控制器实现双向通信，控制器通过控制器局域网络(Controller Area Network,CAN)，向自动驾驶车辆发送控制指令，自动驾驶车辆模型可以通过控制器局域网络与控制器实现双向通信，在此自动驾驶功能的测试环境中，所有通信连接的数据发送格式与实际场景中自动驾驶车辆保持一致，具体地，在自动驾驶汽车功能的测试评价中，还会考虑实现对自动驾驶功能的具体应用场景的复现，例如，在交通信号灯识别及响应功能中，由于此功能的实际应用场景为十字路口，在模拟仿真测试中，会模拟十字路口场景，同时十字路口场景中布置交通信号灯，交通信号灯应设置一定的时序变化规则，被测车辆的模拟行驶路线就是通过十字路口。在模拟仿真测试中，还可以建立驾驶员接管模型，当自动驾驶系统根据传感器获取到的参数，认为此时的模拟场景因素不满足自动驾驶条件时，无法开启自动驾驶功能时，应提示驾驶员进行接管，当自动驾驶系统发出驾驶员接管指令时，可以切换到预先设计的人工驾驶模式。
如图1所示，本实施例中自动驾驶功能的测试评价方法，包括：
步骤S11：获取自动驾驶技术的被测功能。自动驾驶技术是应用于无人汽车领域的主要技术，采用先进的通信、计算机和控制网络，对车辆进行实时的、连续的控制，在本实施例中，自动驾驶技术会涉及到多种功能，具体地，可以例如是通过交通信号灯识别及响应功能、车道线识别及响应功能以及行人横穿马路识别及响应功能等多种功能来评价自动驾驶技术。
步骤S12：根据自动驾驶技术的被测功能确定被测功能的至少一个影响参数。
示例性的，根据自动驾驶技术的被测功能，与预设的影响参数库中的影响参数匹配，得到被测功能对应的至少一个影响参数，预设的影响参数库中存储多种自动驾驶功能和相对应的功能影响参数，确定被测功能后，通过在该影响参数库中查询，就可以获得与之相对应的影响参数，具体地，被测功能可以是车道线识别及响应功能，通过在影响参数库中查询，可以获得对自动驾驶技术中的车道线识别及响应功能有影响的参数是：车道线清晰度和能见度，也就是说，在识别交通道路中车道线的情景下，自动驾驶汽车能否看到车道线，首先，要有一定的能见度，自动驾驶汽车才可以探知路况信息，车道线足够显眼，自动驾驶汽车才能感应到车道线的具体位置，两者缺一不可，在能见度较低的情况下，对应的真实情况可以是雾霾、雨雪或沙尘，在车道线不清晰的情况下，对应的真实情况可以是车道线被积雪等障碍物覆盖，或者也可以是车道线磨损。
示例性的，被测功能也可以是交通信号灯识别及响应功能，通过在影响参数库中查询，可以获得对自动驾驶技术中的交通信号灯识别及响应功能有影响的参数，分别是：网络通讯强度和能见度，也就是说，在识别交通信号灯是绿灯-可以通行、黄灯-停车等待、红灯-禁止通行的情景下，首先自动驾驶汽车要能感应到交通信号灯的颜色变化，也就是能见度；当感应到信号灯的颜色变化时，要能把感知到的颜色信息传输给自动驾驶系统中的控制器，在网络顺畅的情况下，才可以顺利传输信息，所以网络通讯强度会影响交通信号灯识别及响应功能。
示例性的，被测功能还可以是行人横穿马路识别及响应功能，此时，对此功能有影响的参数可以是自动驾驶汽车的感应范围、行人轮廓清晰度以及能见度。
步骤S13：根据影响参数确定被测功能的启用情况和禁用情况；在本实施例中，在满足被测功能的使用条件下，被测功能才可以被正常使用，具体地，使用条件可以是，自动驾驶汽车的驾驶环境满足被测功能的影响参数的可使用阈值范围。不满足使用条件时，也就是说，自动驾驶汽车的驾驶环境中的影响参数不在可使用阈值范围内的，该被测功能会被禁用。
步骤S14：分别获取被测功能在启用情况下的第一运行参数以及在禁用情况下的第二运行参数；
在本实施例中，根据不同的自动驾驶条件，也就是不同的被测功能的使用情况，可以是启用情况下，也可以是禁用情况下，获取相应的驾驶情况中的运行参数，具体地，运行参数可以是自动驾驶系统的行驶特征量，例如，在被测功能是交通信号灯识别及响应功能时，行驶特征量可以是能见度状态、网络通讯状态、驾驶员接管指令的发送情况，还可以是车辆遇到交通信号灯的停车时间、停车距离、停车减速度、起步时间、起步加速度等；在被测功能是车道线识别及响应功能时，行驶特征量可以是车辆运行过程中车辆边缘与车道线之间的距离、车辆的侧向加速度、驾驶员状态；在被测功能是行人横穿马路识别及响应功能时，行驶特征量可以是车辆运行过程中车辆的停车距离、停车时间、减速度、驾驶员状态。上述特征量都可以通过自动驾驶测试环境中的场景模型以及车辆动力学模型获得。
步骤S15：根据第一运行参数确定被测功能在启用情况下的第一评价分数；在本实施例中，当被测功能是交通信号灯识别及响应功能时，对应的影响参数是能见度与网络通讯强度，此时，可以根据此功能是否实现以及此功能的实现精度确定第一评价分数，此功能的实现精度的相关指标可以是：从感知到执行此功能的响应时间、停车位置、停车时间、加速度、减速度、转弯横摆角速度、轨迹跟踪精度。
步骤S16：根据第二运行参数确定被测功能在禁用情况下的第二评价分数；在本实施例中，当被测功能被禁用时，也就是此时的自动驾驶测试环境不满足上述被测功能的使用条件，此时，第二评价分数可以根据自动驾驶功能是否被禁用、自动驾驶功能是否被降级以及自动驾驶状态与驾驶员驾驶状态切换是否平顺来确定，具体地，禁用情况根据被测功能的影响参数的实际取值的不同，可以存在多种禁用情况，例如，在被测功能是自动驾驶交通信号灯识别及响应功能时，禁用情况可以是，网络通讯强度不满足使用条件，能见度满足使用条件；禁用情况也可以是网络通讯强度满足使用条件，能见度不满足使用条件；禁用情况还可以是网络通讯强度不满足使用条件，能见度也不满足使用条件。此时，需要分别确定不同的禁用情况下的评价分数，此时的第二评价分数为所有禁用情况的评价分数的平均值。
步骤S17：根据第一评价分数和第二评价分数得到被测功能的评价结果。
在本实施例中，第一评价分数表示该被测功能在启用情况下的评价分数，第二评价分数表示该被测功能在禁用情况下的评价分数，被测功能的评价结果可以是启用情况下的第一评价分数与禁用情况下的第二评价分数的平均值。
本发明实施例提供了一种自动驾驶功能的测试评价方法，其中，该方法包括：根据被测功能信息确定影响被测功能的参数信息，影响参数可以是一个，也可以是多个，根据被测功能的影响参数信息，分别确定被测功能的启用情况和禁用情况，获取被测功能的启用情况与被测情况下自动驾驶汽车的运行参数，根据分别运行参数分别确定被测功能在启用情况下的第一评价分数以及在禁用情况下的第二评价分数；根据第一评价分数和第二评价分数的平均值，就可以得到被测功能的测试评价结果。解决了现有的自动驾驶功能评价内容较片面而导致自动驾驶系统在全工况下的运行危险系数高的问题，此方法可以全面的评价自动驾驶功能在各个条件下的使用情况与评价结果，提升了自动驾驶功能的安全性能。
作为本申请一个可选实施方式，上述的步骤S13，根据影响参数确定被测功能的启用情况和禁用情况，如图2所示，包括：
步骤S131：根据影响参数确定影响参数的可使用阈值；在本实施例中，不同的被测功能对应不同的影响参数，在影响参数满足被测功能可以正常使用的条件时，被测功能启用，具体地，可以正常使用的条件可以是影响参数的实际值满足影响参数的可使用阈值范围，例如，当被测功能是车道线识别及响应功能，对应的影响参数是能见度和车道线清晰度，能见度的可使用阈值可以是M，车道线清晰度的可使用阈值，也就是可使用条件是车道线清晰。
步骤S132：判断影响参数是否大于影响参数的可使用阈值；在本实施例中，影响参数可以是一个，也可以是多个，当所有的影响参数都满足可使用阈值时，该被测功能启用，执行步骤S133；当存在有一个影响参数不满足可使用阈值时，该被测功能禁用，执行步骤S134。
具体的，当被测功能是车道线识别及响应功能时，影响因素分别是能见度、车道线清晰度，能见度的可使用阈值是M，车道线清晰度的可使用条件是车道线清晰，那么，车辆预期禁用情况如下表1所示：
表1
由上表可知，当被测功能具备多个影响因素时，只有在所有的影响因素都在可使用阈值范围内时，也就是能见度大于M，且车道线没有被污损，标记清晰的情况下，该被测功能启用；其余情况，例如，任意一个因素不在可使用范围内，均为禁用。
具体地，被测功能还可以是行人横穿马路识别及响应功能，影响因素分别是能见度、自动驾驶汽车的探测范围以及行人轮廓清晰度，能见度的可使用阈值是M，行人需在自动驾驶汽车的探测范围内，行人轮廓清晰度的可使用条件是行人轮廓清晰，那么，车辆预期禁用情况如下表2所示：
表2
具体地，被测功能还可以是交通信号灯识别及响应功能，影响因素分别是能见度、网络通讯强度，能见度的可使用阈值是M，网络通讯强度的可使用阈值是N，那么，车辆预期禁用情况如下表3所示：
表3
示例性的，将交通信号灯识别及响应功能对应可运行区域的影响参数实际化，当通信号灯识别及响应功能的影响参数是能见度和网络通讯强度时，其中，能见度低于M对应于真实场景情况可以是雾霾、雨雪或者沙尘，当能见度低于M时，也就是禁用情况产生的原因可以是，摄像设备识别的准确率降低；网络通讯强度对应于真实场景情况比较复杂，可以是基站分布不均匀、天气情况恶劣，网络通讯强度较低时，影响高精度地图信息的实时传输，从而会导致高精度地图中的交通标志信息无法与摄像设备识别到的交通标志信息实现相互校验，降低交通信号灯识别精度，从而导致交通信号灯识别及响应功能禁用。
步骤S133：当影响参数大于影响参数的可使用阈值时，被测功能启用；
步骤S134：当影响参数小于或等于影响参数的可使用阈值时，被测功能禁用。
本发明实施例提供的一种自动驾驶功能的测试评价方法，通过判断被测功能的影响参数与影响参数的可使用阈值范围的关系，判断了在自动驾驶测试环境中，自动驾驶技术的各个功能的启用情况和禁用情况，解决了现有的自动驾驶功能评价内容较片面，无法测试自动驾驶系统在全工况的条件下运行的问题，准确的测试了自动驾驶技术涉及到的功能，进一步确保了自动驾驶功能的运行安全。
作为本申请一个可选实施方式，上述的步骤S15，根据第一运行参数确定被测功能在启用情况下的第一评价分数，具体包括：
根据第一运行参数确定被测功能的实现系数以及至少一个实现精度指标；
具体地，通过下述公式，根据实现精度指标确定被测功能在启用情况下的第一评价分数：
其中，K1a表示被测功能在启用情况下的第一评价分数，KA1表示被测功能的实现系数；KA2.1…KA2.m表示被测功能的实现精度指标的实现精度系数，表示被测功能有m个实现精度指标。当功能实现时，功能的实现系数设置为1，当功能不实现时，功能的实现系数设置为0；实现精度指标满足预设的阈值要求时，实现精度系数设置为1，实现精度指标不满足预设的阈值要求时，实现精度系数设置为0。
具体地，当被测功能是交通信号灯识别及响应功能时，该功能的实现精度指标可以是：从感知到执行的响应时间、停车位置、停车时间、加速度、减速度、转弯横摆角速度、轨迹跟踪精度等。
作为本申请一个可选实施方式，上述的步骤S16，根据第二运行参数确定被测功能在禁用情况下的第二评价分数，包括：
根据第二运行参数确定被测功能的激活状态系数以及切换系数；
具体地，通过下述公式，根据被测功能的激活状态系数以及切换系数确定在禁用情况下的第二评价分数：
K1b＝KB1×KB2×100，
其中，K1b表示被测功能在禁用情况下的第二评价分数，KB1表示激活状态系数，KB2表示切换系数。当自动驾驶功能激活时，该激活状态系数可以置为1，当没有激活自动驾驶功能时，该激活状态系数可以置为0；当自动驾驶汽车从自动驾驶系统降级转换为低等级自动驾驶模式时，汽车的加减速度应该小于预设值，满足小于预设值条件时，该切换系数置为1；不满足小于预设值条件时，该切换系数置为0。
通过上述功能，结合被测功能的各种测试情况，包括启用情况与多种禁用情况，获取测试环境中汽车驾驶过程的特征量，结合功能实现精度相关指标，分别计算得到被测功能在启用情况下和禁用情况下的测试分数，相比于现有技术更准确的得到了被测功能的评价结果，提高了被测功能评价的准确性。
作为本申请一个可选实施方式，上述的步骤S16，根据第一评价分数和第二评价分数得到被测功能的评价结果，具体包括：
通过下述公式，计算被测功能的评价结果：
其中，K1表示被测功能在可运行区域内的第三评价分数。
通过上述功能，结合被测功能的各种测试情况，包括启用情况与多种禁用情况，获取测试环境中汽车驾驶过程的特征量，结合功能实现精度相关指标，与计算得到的被测功能在启用情况下和禁用情况下的测试分数，计算得到了该被测功能的评价分数，相比于现有技术更准确的得到了被测功能的评价结果，提高了被测功能评价的准确性。
作为本申请一个可选实施方式，该自动驾驶功能的测试评价方法，还包括：根据多个被测功能的评价结果，得到自动驾驶技术的总评价结果，如图3所示，具体包括：
步骤S21：根据被测功能，确定被测功能的运行时间；
步骤S22：根据被测功能的运行时间，确定被测功能的权重系数，权重系数是根据被测功能的运行时间占总运行时间的百分比来确定的；
步骤S23：通过下述公式，根据多个被测功能的评价结果及其权重系数，计算得到自动驾驶技术的总评价结果：
K＝K1f1+K2f2+…+Knfn，
其中，K表示自动驾驶技术在可运行区域的第四评价分数，K1…Kn表示自动驾驶技术各个被测功能的评价结果，f1…fn为自动驾驶技术各个被测功能的权重系数，满足f1+f2+…+fn＝1。
具体地，根据自动驾驶技术的总评价结果，判断自动驾驶技术的总评价结果与预设的第一阈值、第二阈值的关系，特别的，第一阈值大于第二阈值；
当自动驾驶技术的总评价结果大于第一阈值时，评价自动驾驶技术的可运行区域设计优秀，具备量产条件；
当自动驾驶技术的总评价结果小于等于第一阈值且大于第二阈值时，评价自动驾驶技术的可运行区域设计有改进的空间，但不具备量产条件；
当自动驾驶技术的总评价结果小于第二阈值时，评价自动驾驶技术的可运行区域设计需重新定义，不具备量产条件。
实施例2
本发明实施例提供一种自动驾驶功能的测试评价装置，可应用于自动驾驶汽车行业中对自动驾驶汽车技术进行测试评价的具体应用场景中，本实施例中自动驾驶功能的测试评价装置，如图4所示，包括：
功能获取模块31，用于获取自动驾驶技术的被测功能，详细实施内容可参见上述方法实施例的步骤S11的相关描述。
第一确定模块32，用于根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数，详细实施内容可参见上述方法实施例的步骤S12的相关描述。
第二确定模块33，用于根据所述影响参数确定所述被测功能的启用情况和禁用情况，详细实施内容可参见上述方法实施例的步骤S13的相关描述。
运行参数获取模块34，用于分别获取所述被测功能在所述启用情况下的第一运行参数以及在所述禁用情况下的第二运行参数，详细实施内容可参见上述方法实施例的步骤S14的相关描述。
第三确定模块35，用于根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数，详细实施内容可参见上述方法实施例的步骤S15的相关描述。
第四确定模块36，用于根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数，详细实施内容可参见上述方法实施例的步骤S16的相关描述。
评价结果获取模块37，用于根据所述第一评价分数和所述第二评价分数得到所述被测功能的评价结果，详细实施内容可参见上述方法实施例的步骤S17的相关描述。
本发明实施例公开了一种自动驾驶功能的测试评价装置，其中，该装置包括：通过功能获取模块，获取自动驾驶技术的被测功能；根据第一确定模块确定被测功能的至少一个影响参数；根据第二确定模块确定被测功能的启用情况和禁用情况；通过运行参数获取模块，分别获取被测功能在启用情况下的第一运行参数以及在禁用情况下的第二运行参数；根据第三确定模块确定被测功能在启用情况下的第一评价分数；根据第四确定模块确定被测功能在禁用情况下的第二评价分数；根据评价结果获取模块得到被测功能的评价结果。解决了现有的自动驾驶功能评价内容较片面而导致自动驾驶系统在全工况下的运行危险系数高的问题，进一步确保了自动驾驶功能的运行安全。
实施例3
本发明实施例提供一种自动驾驶功能的测试评价系统，如图5所示，包括：
获取设备41，用于获取自动驾驶技术的被测功能信息。
示例性地，该获取设备可以包括感应器、移动终端等，本申请实施例对该获取设备的类别不作限定，本领域技术人员可以根据实际需要确定。
控制器42，包括处理器51和存储器52及存储在存储器52上并可在处理器51上运行的计算机程序，处理器51执行所述程序时实现上述实施例所述的自动驾驶功能的测试评价方法的步骤，其中处理器51、存储器52、获取设备41可以通过总线50或者其他方式连接，如图6所示，可以通过总线50连接。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的自动驾驶功能的测试评价方法对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的自动驾驶功能的测试评价方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器52中，当被一个或者多个处理器51执行时，执行上述实施例任意一项描述的方法。
本发明实施例还提供了一种非暂态计算机可读介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行如上述实施例中任意一项描述的自动驾驶功能的测试评价方法，其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种自动驾驶功能的测试评价方法，其特征在于，包括：
获取自动驾驶技术的被测功能；
根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数；
根据所述影响参数确定所述被测功能的启用情况和禁用情况；
分别获取所述被测功能在所述启用情况下的第一运行参数以及在所述禁用情况下的第二运行参数；
根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数；
根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数；
根据所述第一评价分数和所述第二评价分数得到所述被测功能的评价结果；
其中，所述根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数，包括：
根据所述被测功能，与预设的影响参数库中的影响参数匹配，得到所述被测功能对应的至少一个影响参数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述影响参数确定所述被测功能的启用情况和禁用情况，包括：
根据所述影响参数确定所述影响参数的可使用阈值；
判断所述影响参数是否大于所述影响参数的可使用阈值；
当所述影响参数大于所述影响参数的可使用阈值时，被测功能启用；
当所述影响参数小于或等于所述影响参数的可使用阈值时，被测功能禁用。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数，包括：
根据所述第一运行参数确定所述被测功能的实现系数以及至少一个实现精度指标；
通过下述公式，根据所述实现精度指标确定所述被测功能在所述启用情况下的第一评价分数：
其中，K1a表示所述被测功能在所述启用情况下的第一评价分数，KA1表示所述被测功能的实现系数；KA2.1…KA2.m表示所述被测功能的实现精度指标的实现精度系数，表示所述被测功能有m个实现精度指标。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数，包括：
根据所述第二运行参数确定所述被测功能的激活状态系数以及切换系数；
通过下述公式，根据所述被测功能的激活状态系数以及切换系数确定在所述禁用情况下的第二评价分数：
K1b＝KB1×KB2×100，
其中，K1b表示所述被测功能在所述禁用情况下的第二评价分数，KB1表示所述激活状态系数，KB2表示所述切换系数。
5.根据权利要求1所述的方法，其特征在于，通过下述公式，根据所述第一评价分数和所述第二评价分数得到所述被测功能在可运行区域内的第三评价分数：
其中，K1表示所述被测功能在可运行区域内的第三评价分数。
6.根据权利要求1所述的方法，其特征在于，还包括：根据多个所述被测功能的评价结果，得到所述自动驾驶技术的总评价结果。
7.根据权利要求6所述的方法，其特征在于，所述根据多个所述被测功能的评价结果，得到自动驾驶技术的总评价结果，包括：
根据所述被测功能，确定所述被测功能的运行时间；
根据所述被测功能的运行时间，确定所述被测功能的权重系数，所述权重系数是根据所述被测功能的运行时间占总运行时间的百分比来确定的；
通过下述公式，根据多个被测功能的评价结果及其权重系数，计算得到自动驾驶技术的总评价结果：
K＝K1f1+K2f2+…+Knfn，
其中，K表示自动驾驶技术的总评价结果，K1…Kn表示自动驾驶技术各个被测功能的评价结果，f1…fn为自动驾驶技术各个被测功能的权重系数，满足f1+f2+…+fn＝1。
8.一种自动驾驶功能的测试评价装置，其特征在于，包括：
功能获取模块，用于获取自动驾驶技术的被测功能；
第一确定模块，用于根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数；其中，所述根据所述自动驾驶技术的被测功能确定所述被测功能的至少一个影响参数，包括：根据所述被测功能，与预设的影响参数库中的影响参数匹配，得到所述被测功能对应的至少一个影响参数；
第二确定模块，用于根据所述影响参数确定所述被测功能的启用情况和禁用情况；
运行参数获取模块，用于分别获取所述被测功能在所述启用情况下的第一运行参数以及在所述禁用情况下的第二运行参数；
第三确定模块，用于根据所述第一运行参数确定所述被测功能在所述启用情况下的第一评价分数；
第四确定模块，用于根据所述第二运行参数确定所述被测功能在所述禁用情况下的第二评价分数；
评价结果获取模块，用于根据所述第一评价分数和所述第二评价分数得到所述被测功能的评价结果。
9.一种自动驾驶功能的测试评价系统，其特征在于，包括：
获取设备，用于获取自动驾驶技术的被测功能信息；
控制器，用于包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-7中任一项所述的自动驾驶功能的测试评价方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的自动驾驶功能的测试评价方法的步骤。
CN201911348720.6A 2019-12-24 2019-12-24 一种自动驾驶功能的测试评价方法、装置及系统 Active CN111178735B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348720.6A CN111178735B (zh) 2019-12-24 2019-12-24 一种自动驾驶功能的测试评价方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348720.6A CN111178735B (zh) 2019-12-24 2019-12-24 一种自动驾驶功能的测试评价方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111178735A CN111178735A (zh) 2020-05-19
CN111178735B true CN111178735B (zh) 2024-02-02

Family

ID=70657922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348720.6A Active CN111178735B (zh) 2019-12-24 2019-12-24 一种自动驾驶功能的测试评价方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111178735B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814904B (zh) * 2020-07-22 2021-05-28 同济大学 一种自动驾驶道路测试驾驶模式辨别方法及系统
CN112835341B (zh) * 2020-12-31 2022-02-01 北京国家新能源汽车技术创新中心有限公司 一种自动驾驶域控制器的实车测试评估方法
CN113704132A (zh) * 2021-09-08 2021-11-26 中汽创智科技有限公司 一种车辆功能系统的测试方法、装置、设备及介质
CN115267378A (zh) * 2022-06-30 2022-11-01 中国第一汽车股份有限公司 高压安全检测操作的处理方法、车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法
CN107782564A (zh) * 2017-10-30 2018-03-09 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评系统及方法
CN108304986A (zh) * 2017-12-15 2018-07-20 工业和信息化部计算机与微电子发展研究中心（中国软件评测中心） 一种自动驾驶车辆行为安全的测评方法
CN109697169A (zh) * 2019-03-25 2019-04-30 深兰人工智能芯片研究院（江苏）有限公司 一种自动驾驶系统的测试方法和装置
CN110020471A (zh) * 2019-03-28 2019-07-16 上海工程技术大学 一种自动驾驶汽车的功能仿真检测系统
WO2019166084A1 (en) * 2018-02-28 2019-09-06 Toyota Motor Europe Automated driving system and method of autonomously driving a vehicle
CN110531740A (zh) * 2019-09-06 2019-12-03 清华大学 一种智能车智能化程度量化测评方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107727411A (zh) * 2017-10-30 2018-02-23 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评场景生成系统及方法
CN107782564A (zh) * 2017-10-30 2018-03-09 青岛慧拓智能机器有限公司 一种自动驾驶车辆测评系统及方法
CN108304986A (zh) * 2017-12-15 2018-07-20 工业和信息化部计算机与微电子发展研究中心（中国软件评测中心） 一种自动驾驶车辆行为安全的测评方法
WO2019166084A1 (en) * 2018-02-28 2019-09-06 Toyota Motor Europe Automated driving system and method of autonomously driving a vehicle
CN109697169A (zh) * 2019-03-25 2019-04-30 深兰人工智能芯片研究院（江苏）有限公司 一种自动驾驶系统的测试方法和装置
CN110020471A (zh) * 2019-03-28 2019-07-16 上海工程技术大学 一种自动驾驶汽车的功能仿真检测系统
CN110531740A (zh) * 2019-09-06 2019-12-03 清华大学 一种智能车智能化程度量化测评方法

Also Published As

Publication number Publication date
CN111178735A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111178735B (zh) 一种自动驾驶功能的测试评价方法、装置及系统
CN108428343B (zh) 一种多车驾驶行为分析和危险预警方法及系统
CN110333730B (zh) 自动驾驶算法预期功能安全的验证方法、平台及存储介质
CN111795832B (zh) 一种智能驾驶车辆测试方法、装置及设备
CN109760675B (zh) 预测车辆轨迹的方法、装置、存储介质和终端设备
US11727799B2 (en) Automatically perceiving travel signals
CN111123735A (zh) 自动驾驶仿真运行方法和装置
CN110796007B (zh) 场景识别的方法与计算设备
US10650256B2 (en) Automatically perceiving travel signals
CN110335484B (zh) 控制车辆行驶的方法及装置
US20180299893A1 (en) Automatically perceiving travel signals
WO2020079698A1 (en) Adas systems functionality testing
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN110843775B (zh) 一种基于压力传感器的障碍物识别方法
US20220383736A1 (en) Method for estimating coverage of the area of traffic scenarios
US20220414917A1 (en) Method and apparatus for obtaining 3d information of vehicle
US20180300566A1 (en) Automatically perceiving travel signals
CN110550041B (zh) 一种基于云端数据共享的路面附着系数估计方法
CN117008574A (zh) 一种智能网联汽车高级辅助驾驶系统和自动驾驶系统测试平台
CN115140029A (zh) 一种自动驾驶汽车的安全能力检测方法和装置
CN111661054B (zh) 车辆控制方法、装置、电子设备及存储介质
CN115966100B (zh) 一种行车安全控制方法及系统
CN113793523B (zh) 一种指挥交通的方法、装置、车载设备及车辆
CN114120651B (zh) 用于测试感知目标数的方法、装置、设备、介质和产品
WO2022219917A1 (ja) 情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant