CN114743076A - 一种自动驾驶图像处理评价方法、相关设备、介质及产品 - Google Patents
一种自动驾驶图像处理评价方法、相关设备、介质及产品 Download PDFInfo
- Publication number
- CN114743076A CN114743076A CN202210429094.9A CN202210429094A CN114743076A CN 114743076 A CN114743076 A CN 114743076A CN 202210429094 A CN202210429094 A CN 202210429094A CN 114743076 A CN114743076 A CN 114743076A
- Authority
- CN
- China
- Prior art keywords
- test
- isp
- automatic driving
- scenes
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012360 testing method Methods 0.000 claims abstract description 391
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 53
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 11
- 230000008447 perception Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013278 delphi method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种自动驾驶图像处理评价方法、相关设备、介质及产品。方法应用于自动驾驶设备，自动驾驶设备包括ISP；方法包括：控制ISP分别对m个测试场景的数据集合进行处理，得到与m个测试场景一一对应的m个处理结果；得到与m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；根据m个测试结果集合，确定与m个测试场景一一对应的m个第二测试结果；根据m个第二测试结果，对ISP进行评价。本申请提供了对ISP进行评价的评价指标。这样，在ISP评价通过才将自动驾驶设备投入使用，从而可以提高自动驾驶安全性。
Description
技术领域
本申请属于自动驾驶领域，尤其涉及一种自动驾驶图像处理评价方法、相关设备、介质及产品。
背景技术
自动驾驶技术是目前机动车领域的一个重要的技术，也是目前各大厂商着重研究的方向。
自动驾驶系统的感知模块作为自动驾驶系统的“眼睛”，其能否稳定、可靠工作直接影响到道路交通安全。自动驾驶系统配备的摄像机以及激光雷达传感器采集到的原始图像信号，需要经过图像信号处理器(Image Singal Process，ISP)处理后，才能输入至感知模块进行图像算法识别预测。
ISP作为图像信号的前处理环节具有非同一般的作用，一个良好的ISP能够极大地提升系统识别的准确性，进而保障系统的安全运行。然而，如何评价ISP的图像信号处理效果，目前并没有相关的解决方案。
发明内容
本申请实施例提供一种自动驾驶图像处理评价方法、相关设备、介质及产品，能够针对ISP的图像信号处理效果的评价提出解决方案，提高自动驾驶的安全性。
第一方面，本申请实施例提供一种自动驾驶图像处理评价方法，应用于自动驾驶设备，所述自动驾驶设备包括图像信号处理器ISP；所述方法包括：
控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数；
将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，
得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；
根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果；
根据所述m个第二测试结果，对所述ISP进行评价。
第二方面，本申请实施例提供了一种自动驾驶图像处理评价装置，
所述自动驾驶图像处理评价装置包括图像信号处理器ISP；所述装置包括：
控制模块，用于控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数；
第一获取模块，用于将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，
得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；
第一确定模块，用于根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果；
评价模块，用于根据所述m个第二测试结果，对所述ISP进行评价。
第三方面，本申请实施例提供了一种自动驾驶图像处理评价设备，设备包括：处理器以及存储有程序指令的存储器；所述处理器执行所述程序指令时实现如第一方面所述的在自动驾驶图像处理评价方法。
第四方面，本申请实施例提供了一种存储介质，所述可读存储介质上存储有程序指令，所述程序指令被处理器执行时实现如第一方面所述的自动驾驶图像处理评价方法。
第五方面，本申请实施例提供了一种程序产品，其特征在于，所述程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面所述的自动驾驶图像处理评价方法。
在本申请实施例中，可以构建自动驾驶的m个测试场景，以及与m个测试场景一一对应的m个测试模型集合。针对各测试场景，可以控制自动驾驶设备的ISP对其数据集合进行处理，得到ISP对于各测试场景的处理结果；之后，将ISP对于各测试场景的处理结果分别输入各测试场景对应的测试模型集合中，得到各测试场景的测试结果集合；基于各测试场景的测试结果集合，得到各测试场景的第二测试结果，即m个第二测试结果。然后，通过该m个第二测试结果，对ISP进行评价。可见，本申请实施例提供了对ISP进行评价的评价指标，即第二测试结果。这样，在ISP评价未通过的情况下，可以继续调试ISP，直到ISP评价通过才将自动驾驶设备投入使用，从而可以提高自动驾驶安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的自动驾驶图像处理评价方法的流程图之一；
图2a是本申请实施例提供的图像处理的架构图；
图2b是本申请实施例提供的自动驾驶图像处理评价方法的流程图之二；
图3是本申请实施例提供的自动驾驶图像处理评价装置的结构图；
图4是本申请实施例提供的自动驾驶图像处理评价设备的结构图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了方便理解，以下对本申请实施例涉及的一些内容进行说明：
配备自动驾驶系统的汽车能够极大的缓解驾驶员的驾驶疲劳，减少交通事故的发生。
相比于其他无人系统(如无人仓库、无人超市等)，自动驾驶系统所涉及到的自然环境更为多变，社会环境更为复杂。天气、交通、行人、车辆、车道线、道路标牌、红绿灯……等多种因素构成的复杂场景均可能对自动驾驶的安全性能提出挑战。
自动驾驶的感知模块作为自动驾驶系统的“眼睛”，其能否稳定、可靠工作直接影响到道路交通安全。自动驾驶通常配备多个高清摄像机以及激光雷达传感器，这两类硬件提取到的数据在输入至感知模块前，往往还需要经过ISP进行处理。ISP的功能比较复杂，内部包含3A(自动白平衡，自动对焦，自动曝光)，锐化，去噪，色彩空间转换，颜色增强，肤色增强等多种算法。一张原始图像需要经过ISP内部的所有处理后才能输入至感知模块进行图像算法识别预测。
目前，自动驾驶系统的感知模块还存在大量难以识别判断的特殊情况(CornerCase)，ISP作为图像信号的前处理环节具有非同一般的作用，一个良好的ISP图像信号处理机制能够极大地提升系统识别的准确性，进而保障系统的安全运行。但是如何去评价ISP的图像信号处理效果的客观指标尚未建立，目前还存在大量的主观评价。
基于此，本申请实施例提供一种自动驾驶图像处理评价方法，可建立一套能够准确客观反映图像信号处理效果的客观指标。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的自动驾驶图像处理评价方法进行详细地说明。
本申请实施例的自动驾驶图像处理评价方法可应用于自动驾驶设备，如自动驾驶车辆、自动驾驶飞机或无人机等。所述自动驾驶设备包括ISP。本申请实施例的自动驾驶图像处理评价方法旨在评价自动驾驶设备中ISP的图像处理效果。
参见图1，图1是本申请实施例提供的自动驾驶图像处理评价方法的流程图之一。如图1所示，本申请实施例的自动驾驶图像处理评价方法可以包括以下步骤：
步骤101、控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数。
具体实施时，自动驾驶设备可以预先获取测试场景集合Fig＝{Im1,Im2…Imm}，其中，Imi表示测试场景i的数据集合。之后，可以控制所述ISP对各测试场景的数据集合进行处理，得ISP对各测试场景的处理结果。为方便理解，请参见图2a。在图2a中，m个测试场景分别为：场景1、场景2、…场景m-1和场景m；m个处理结果分别为：场景1’、场景2’、…场景m-1’和场景m’。
在实际应用中，测试场景集合的获取的方式可以是构建获取，也可以是接收获取，具体可根据实际情况决定，本申请实施例对此不做限定。
为方便理解，以下以构建获取的方式进行示例说明：
步骤一、确定所述m个测试场景。
具体实现时，所述m个测试场景可以基于自动驾驶设备的驾驶环境(自然驾驶环境和/或社会驾驶环境)预先确定，如：所述m个测试场景可以包括以下至少一项：正常天气测试场景、极端天气(如雨、雾、雪等天气)测试场景、交叉路口测试场景、红绿灯路口测试场景、人行道路口测试场景等。
步骤二、获取各测试场景的数据集合。
具体实现时，各测试场景的数据集合可以从训练样本数据库中获取。在所述训练样本数据库中，各测试场景的数据集合可以分类存储。进一步地，所述训练样本数据库中还可存储有各测试场景的数据集合的标注结果。
步骤102、将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果。
可以理解地是，所述m个测试模型集合中各测试模型集合包括至少一个测试模型，且不同测试模型集合包括的测试模型数量可以相同或不同。另外，不同测试模型集合可以包括相同的测试模型。如在图2a中，场景1对应的测试模型集合可以包括：模型a、模型b和模型c；场景m对应的测试模型结合可以包括：模型b、模型f和模型g。
具体实施时，将某测试场景对应的处理结果输入：该测试场景对应的测试模型集合中的各测试模型，各测试模型的分别输出一个第一测试结果，得到该测试场景对应的测试结果集合。
为方便理解，以下以所述m个测试场景中的第i测试场景进行示例说明。假设第i测试场景对应的测试模型集合包括n个测试模型，i为小于或等于m的正整数，n为正整数。
将所述第i测试场景对应的处理结果输入所述n个测试模型中，得到与所述第i测试场景对应的n个第一测试结果。可以理解地是，所述第i测试场景对应的测试结果集合包括所述n个第一测试结果。
所述n个测试模型中各测试模型的输入包括：所述第i测试场景对应的处理结果，进一步地，第i个测试场景对应的测试模型集合中各测试模型的输入还可以包括：所述第i测试场景的数据集合的标注结果。所述n个测试模型中各测试模型的输出为：所述第i测试场景对应的第一测试结果。在实际应用中，测试结果可以表现为测试通过率、测试通过度或测试值，具体可根据实际情况决定，本申请实施例对此不做限定。
在本申请实施例中，一个测试场景对应的各测试模型，可以从不同维度上，评价ISP处理该测试场景的数据的可靠性。因此，可以理解地是，所述n个第一测试结果中的每个第一测试结果，可以从一个维度上表征ISP处理第i测试场景的数据的可靠性。
步骤103、根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果。
为从整体上确定ISP处理第i测试场景的数据的可靠性，可以根据所述n个第一测试结果，确定第i测试场景对应的第二测试结果。即，第i测试场景对应的第二测试结果，可以从整体上表征ISP处理第i测试场景的数据的可靠性。
具体实施时，一种实施方式中，可以将所述n个第一测试结果的平均测试结果，确定为第i测试场景对应的第二测试结果。
另一种实施方式中，可以对所述n个第一测试结果进行加权平均，得到第i测试场景对应的第二测试结果。如图2a所示，所述m个第二测试结果表现为：加权结果1、……加权结果m。
步骤103、根据所述m个第二测试结果，对所述ISP进行评价。
由前述内容可知，每个测试场景对应的第二测试结果，可以用于表征：ISP处理该测试场景的数据的可靠性。因此，自动驾驶设备可以依据所述m个第二测试结果，评价所述ISP的处理可靠性。
一种实施方式中，针对各测试场景，可以设置一个阈值。各测试场景的阈值为：用于表征ISP处理该测试场景的数据合格的最低值。在某个测试场景的第二测试结果大于或等于该测试场景的阈值的情况下，表示ISP处理该测试场景的数据可靠或合格，否则表示ISP处理该测试场景的数据不可靠或不合格。在该实施方式中，在所述m个第二测试结果中存在预设个第二测试结果小于相应阈值的情况下，可以将所述ISP的评价结果设置为：不合格；否则，可以将所述ISP的评价结果设置为：合格。
另一种实施方式中，所述根据所述m个第二测试结果，对所述ISP进行评价，可以包括：
根据所述m个第二测试结果，确定目标测试结果；
在所述目标测试结果验证通过的情况下，输出指示信息，所述指示信息用于指示所述ISP合格。
在本实施方式中，可以先根据所述m个第二测试结果，确定目标测试结果，所述目标测试结果可以用于表征：ISP的可靠性。针对所述目标测试结果设置一个阈值，该阈值为用于表征ISP合格的最低值。在该实施方式中，在所述目标测试结果大于或等于该阈值的情况下，可以将所述ISP的评价结果设置为：合格；否则，可以所述ISP的评价结果设置为：不合格。这样，相比于上述实施方式，可以简化ISP验证的操作，从而可以降低自动驾驶设备的运行负担。
在ISP的评价结果为合格的情况下，自动驾驶设备可以投入使用。在ISP的评价结果为不合格的情况下，可以调整所述ISP或更换自动驾驶设备的ISP，直至自动驾驶设备的ISP的评价结果为合格，自动驾驶设备才投入使用，这样，可以提高自动驾驶的安全性。
本实施例的自动驾驶图像处理评价方法，可以构建自动驾驶的m个测试场景，以及与m个测试场景一一对应的m个测试模型集合。针对各测试场景，可以控制自动驾驶设备的ISP对其数据集合进行处理，得到ISP对于各测试场景的处理结果；之后，将ISP对于各测试场景的处理结果分别输入各测试场景对应的测试模型集合中，得到各测试场景的测试结果集合；基于各测试场景的测试结果集合，得到各测试场景的第二测试结果，即m个第二测试结果。然后，通过该m个第二测试结果，对ISP进行评价。可见，本申请实施例提供了对ISP进行评价的评价指标，即第二测试结果。这样，在ISP评价未通过的情况下，可以继续调试ISP，直到ISP评价通过才将自动驾驶设备投入使用，从而可以提高自动驾驶安全性。
在本申请的一些实施例中，所述根据所述m个第二测试结果，对所述ISP进行评价，可以包括：
根据所述m个第二测试结果，以及与所述m个测试场景一一对应的m个权重值，对所述ISP进行评价。
在本实施例中，考虑到不同测试场景对于自动驾驶设备的感知模块的影响程度不同，可以为每个测试场景设置一个权重值，以根据每个测试场景对应的第二测试结果和权重值，对ISP进行评价，从而提高ISP评价的可靠性。
具体实施时，可以利用如下公式计算所述ISP的评价分值P：
其中，
表示第i测试场景对应的权重值，Pi表示第i测试场景对应的第二测试结果。即可以利用所述m个权重值，对所述m个第二测试结果进行加权平均计算，得到所述ISP的评价分值P。
在本申请的一些实施例中，第i测试场景对应的测试模型集合包括n个测试模型，第i测试场景对应的测试模型集合包括n个测试模型，第i测试场景对应的测试结果集合包括n个第一测试结果，其中，所述n个第一测试结果为所述n个测试模型的输出，i为小于或等于m的正整数，n为正整数；
所述根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果，包括：
根据所述n个第一测试结果，以及与所述n个测试模型一一对应的n个权重值，确定与所述第i个测试模型对应的第二测试结果。
在本实施例中，由前述内容可知，一个测试场景对应的不同测试模型从不同维度上评价ISP处理该测试数据的可靠性，而不同维度对于ISP处理该测试数据的可靠性的影响程度不同，因此，可以为每个测试模型设置一个权重值，以根据所述n个第一测试结果，以及与所述n个测试模型一一对应的n个权重值，确定与所述第i个测试模型对应的第二测试结果，从而提高ISP评价的可靠性。
为方便理解，以第i测试场景进行示例说明。
一种实施方式中，可以利用所述n个权重值，对所述n个第一测试结果进行加权平均计算，得到与所述第i个测试模型对应的第二测试结果Pi。
另一种实施方式中，记第i测试场景对应的测试模型集合所对应的权重集合为
包括与所述n个测试模型一一对应的n个权重值。自动即使设备在获取到测试模型的权重集合
之后，可以通过以下公式对
进行归一化操作，得到
之后，利用归一化后的
对所述n个第一测试结果进行加权平均计算，得到与所述第i个测试模型对应的第二测试结果Pi。这样，可以提高计算速度。
在本申请实施例中，不限定权重值的确定方式，如：可以是人为经验设定，或，采用类层次分析法确定，具体可根据实际需求决定，本申请实施例对此不做限定。
在一些实施例中，所述方法还可以包括：
获取与q个对象对应的判断矩阵，其中，所述判断矩阵包括q×q元素，位于第r行和第j列的元素表示对象r相对于对象j的重要度，r和j均为小于或等于q的正整数；所述q个对象为所述m个测试场景，或，n个测试模型；
根据所述判断矩阵，对所述q个对象进行一致性检验，得到一致性检验结果；
在所述一致性检验结果验证通过的情况下，根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值。
具体实施时，可以使用德尔菲法(Delphi)构建与q个对象对应的判断矩阵。判断矩阵包括q×q元素，即判断矩阵的尺寸为q×q。判断矩阵可以表示为：
其中，crj表示对象r相对于对象j的重要度，且满足
之后，对所述q个对象进行一次性检验。具体来说，一个完美的判断矩阵C需要满足
且矩阵各行线性相关，矩阵各列线性相关。定义一致性指标
其中λmax是判断矩阵的最大特征值。
在对所述q个对象进行一致性检验时，可以获取所述判断矩阵中的最大特征值，之后，计算所述q个对象的一致性指标值CI。
一种实施方式中，可以直接将一致性指标值CI作为一致性检验结果。
另一种实施方式中，进一步引入随机一致性指标RI。随机一致性指标RI的取值与q的取值相关，可以参见如表1。
表1：RI与q的关系
| q | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| RI | 0 | 0 | 0.58 | 0.9 | 1.12 | 1.24 | 1.32 | 1.41 | 1.45 | 1.49 | 1.51 |
在该实施方式中，可以定义一致性比率
将一致性比例作为一致性检验结果。
可以设置一与一致性校验结果比较的阈值，该阈值为用于表征一致性检验通过的最低值。在一致性校验结果大于或等于该阈值的情况下，确定所述一致性检验结果验证通过，否则确定所述一致性检验结果验证不通过。
在所述一致性检验结果验证通过的情况下，根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值。
在所述一致性检验结果验证不通过的情况下，可以更新与q个对象对应的判断矩阵，重新执行上述步骤，直至一致性检验结果验证通过，才确定与所述q个对象一一对应的q个权重值。
这样，可以使得测试场景对应的权重值，以及测试模型对应的权重值更客观，进而可以提高ISP评价的客观性。
一种可选实施方式中，所述根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值，可以包括：
分别对所述判断矩阵的各列元素进行归一化处理；
根据归一化处理后的所述判断矩阵的第r行元素，确定与对象r对应的权重值。
具体实现时，可以对归一化处理后的所述判断矩阵的第r行元素进行算术平均值计算，得到与对象r对应的权重值，但不仅限于此。
一种实现方式中，可以通过以下公式计算对象r对应的权重值：
通过上述方式，先对所述判断矩阵的各列元素进行归一化处理，之后，再根据归一化处理后的所述判断矩阵的第r行元素，确定与对象r对应的权重值。这样，可以避免判断矩阵的各列元素之和不为1的情况，从而提高各对象权重值计算的可靠性。
当然，在其他实施方式中，也可以直接对所述判断矩阵的第r行元素进行算术平均值计算，得到与对象r对应的权重值，但不仅限于此。
需要说明的是，本申请实施例中介绍的多种可选的实施方式，在彼此不冲突的情况下可以相互结合实现，也可以单独实现，对此本申请实施例不作限定。
为方便理解，示例说明如下：
为了有效、客观、定量地评估自动驾驶系统感知模块的图像信号处理效果，本申请设计了一种自动驾驶系统感知模块图像信号处理算法评价指标。具体而言，本申请提出的指标设计可以充分利用测试模型进行综合性的图像信号处理效果评价。
为了实现上述目的，本申请采用的具体技术方案如下：
一种自动驾驶系统感知模块图像信号处理评价指标设计,包括以下步骤：
步骤1：构建测试场景集合Fig＝{Im1,Im2…Imm}。为了客观、定量评价图像信号处理效果，可以准备多个测试场景集合，测试场景可以从训练样本数据库中选取，对于所有选取的场景集合进行分类存储。Fig集合中的每一个元素Imi均代表了一类场景的数据集合。
步骤2:构建测试模型集合Model＝{M1,M2,…Mn}。目前感知模块的图像数据将会被多个深度学习模型调用，例如一张路口红绿灯的图像将会被红绿灯识别模型Mi,车道线检测模型Mj,车辆跟踪模型Mk等多个模型调用。对被测场景集合Fig,针对其中的每一类场景构建测试模型集合
Modeli中包含了所有调用场景i的深度学习模型，该集合是感知模块全部模型集合的子集。
步骤3：设计测试场景的权重指标
考虑到测试场景不唯一，且不同场景对于自动驾驶感知模块的影响程度不同，因此需要对不同测试场景进行权重指标设计。本申请对场景权重可以采用类层次分析法进行设计。
步骤4：设计测试模型的权重指标
考虑到具有多个模型会调用测试场景，且不同测试场景的调用的模型不同。本申请在设计之处便对所有模型进行权重设计，在调用模型时可以直接引用。本申请对模型权重可以采用类层次分析法进行设计。
步骤5：使用图像信号处理算法处理场景i，针对该测试场景i计算测试通过度Pi。
步骤6：将所有被测场景依次输入图像信号处理，计算总体测试通过度为
若该通过度P≥Pt则该图像信号处理通过验证，否则不通过。Pt是模型通过度阈值，根据系统特性，需要专家提前给定。
本申请实施例的有益效果包括：针对自动驾驶感知模块图像信号处理场景，所采用的测试模型，测试场景均为已有数据模型，能够极大的降低测试模型重开发，测试场景重采集的人力物力以及时间损耗。同时本申请采用了两重类层次分析权重确定法，分别针对测试场景，测试模型进行了权重设计，对于测试模型权重本申请还对其做了归一化处理，保证结果的合理性。本申请设计的指标评价方法可以客观、定量评价图像信号处理算法的效果。与现有技术相比，本申请能够更加有效地评价图像信号处理算法，且数据兼具主观感受及客观效果，权重指标可重复使用，计算速度快，评价效果好，具有较好的实用性和优越性，是一种高效实用的自动驾驶系统感知模块图像处理算法评价指标设计。
本申请提供的自动驾驶图像处理评价方法，能够准确、客观地评价图像处理算法的效果，为自动驾驶系统感知模块的稳定可靠运行提供了技术支撑。为了更好的理解上述技术方案，可以参见图2b辅助理解：
本申请实施例的自动驾驶图像处理评价方法可以包括：
步骤1：构建测试场景集合，具体包含以下步骤：
步骤1.1：确定所有场景类别总数为m。
步骤1.2：根据确定的场景类别总数，对场景数据库进行场景数据划分，构成场景集合Fig＝{Im1,Im2…Imm}，其中Imi表示类别为i的场景集合。
步骤2：构建测试模型集合，具体包含以下步骤：
步骤2.1：针对第i个测试场景集合Imi,筛选调用Imi的模型
构成第i个测试模型集合Modeli。
步骤2.2：针对所有测试场景集合，分别构建Modeli，最终形成Model＝{Modeli,i＝1,2,…,m}。
步骤3：设计测试场景的权重指标
考虑到测试场景不唯一，且不同场景对于自动驾驶感知模块的影响程度不同，因此需要对不同测试场景进行权重指标设计。
步骤3.1：开展Delphi专家调查法，获得测试场景的判断矩阵A＝{aij}。矩阵A尺寸为m×m.
矩阵A中元素aij表示场景i相对于场景j的重要度，且满足
步骤3.2：对测试场景进行一致性检验。具体来说，一个完美的判断矩阵A需要满足
且矩阵各行线性相关，矩阵各列线性相关。定义一致性指标
其中λmax是判断矩阵的最大特征值，m为影响因素数量。
步骤3.3：判断一致性检验是否通过。CI＝0,矩阵有完全一致性，CI→0有较满意的一致性，CI越大不一致越严重。为了客观定量判断，引入随机一致性指标RI。定义一致性比率
若CR<0.1则认为A的不一致程度在容许范围之内，继续步骤3.4，否则返回步骤3.1.
步骤3.4：计算测试场景权重。对于第i场景，给出其权重计算公式为
该公式对判断矩阵每列均做了归一化，之后对于归一化后的向量进行算术平均值计算。
步骤4：设计测试模型的权重指标
考虑到具有多个模型会调用测试场景，且不同测试场景的调用的模型不同。本申请在设计之处便对所有模型进行权重设计，在调用模型时可以直接调用，避免了多次计算。步骤4所进行的计算方式同步骤3类似。
步骤4.1：开展Delphi专家调查法，获得测试模型的判断矩阵B＝{bij}。矩阵B尺寸为n×n.
矩阵B中元素bij表示模型i相对于模型j的重要度，且满足
步骤4.2：对测试场景进行一致性检验。具体来说，一个完美的判断矩阵B需要满足
且矩阵各行线性相关，矩阵各列线性相关。定义一致性指标
其中λmax是判断矩阵的最大特征值，n为影响因素数量。
步骤4.3：判断一致性检验是否通过。CI＝0,矩阵有完全一致性，CI→0有较满意的一致性，CI越大不一致越严重。为了客观定量判断，引入随机一致性指标RI。定义一致性比率
若CR<0.1则认为A的不一致程度在容许范围之内，继续步骤4.4，否则返回步骤4.1。
步骤4.4：计算测试模型权重。对于第i场景，给出其权重计算公式为
该公式对判断矩阵每列均做了归一化，之后对于归一化后的向量进行算术平均值计算。
步骤5：使用图像信号处理算法处理场景i，针对该测试场景i计算测试通过度Pi.
步骤5.1：提取场景i,使用图像处理算法对其进行处理
步骤5.2：提取场景i所涉及到的测试模型权重指标集合
对
进行归一化操作，得到
可以通过下列计算表达式得到
步骤5.3：计算经过图像处理后测试场景i的测试通过度,Oij为模型j在场景i输入下的测试通过率,Oij∈[0,1]。
步骤6：将所有被测场景依次输入图像信号处理，计算总体测试通过度为：
若该通过度P≥Pt则该图像信号处理通过验证，否则不通过。Pt是模型通过度阈值，根据系统特性，专家提前给定。
基于上述实施例提供的自动驾驶图像处理评价方法，相应地，本申请还提供了自动驾驶图像处理评价装置的具体实现方式。请参见以下实施例。
参见图3，本申请实施例提供的自动驾驶图像处理评价装置可以包括：
控制模块301，用于控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数；
第一获取模块302，用于将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，
得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；
第一确定模块303，用于根据所述m个测试结果集合，确与所述m个测试场景一一对应的m个第二测试结果；
评价模块304，用于根据所述m个第二测试结果，对所述ISP进行评价。
在一些实施例中，所述评价模块303，具体用于：
根据所述m个第二测试结果，以及与所述m个测试场景一一对应的m个权重值，对所述ISP进行评价。
在一些实施例中，第i测试场景对应的测试模型集合包括n个测试模型，第i测试场景对应的测试结果集合包括n个第一测试结果，其中，所述n个第一测试结果为所述n个测试模型的输出，i为小于或等于m的正整数，n为正整数；
所述第一确定模块303，包括：
第一确定单元，用于根据所述n个第一测试结果，以及与所述n个测试模型一一对应的n个权重值，确定与所述第i个测试模型对应的第二测试结果。
在一些实施例中，所述装置还包括：
第二获取模块，用于获取与q个对象对应的判断矩阵，其中，所述判断矩阵包括q×q元素，位于第r行和第j列的元素表示对象r相对于对象j的重要度，r和j均为小于或等于q的正整数；所述q个对象为所述m个测试场景，或，n个测试模型；
校验模块，用于根据所述判断矩阵，对所述q个对象进行一致性检验，得到一致性检验结果；
第二确定模块，用于在所述一致性检验结果验证通过的情况下，根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值。
在一些实施例中，所述第二确定模块，包括：
归一化单元，用于分别对所述判断矩阵的各列元素进行归一化处理；
第二确定单元，用于根据归一化处理后的所述判断矩阵的第r行元素，确定与对象r对应的权重值。
在一些实施例中，所述评价模块303，包括：
第三确定单元，用于根据所述m个第二测试结果，确定目标测试结果；
输出单元，用于在所述目标测试结果验证通过的情况下，输出指示信息，所述指示信息用于指示所述ISP合格。
本申请实施例提供的自动驾驶图像处理评价装置能够实现图1的方法实施例中自动驾驶图像处理评价装置实现的各个过程，为避免重复，这里不再赘述。
图4示出了本申请实施例提供的图像处理评价的硬件结构图。
在自动驾驶图像处理评价设备可以包括处理器401以及存储有程序指令的存储器402。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在综合网关容灾设备的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。
存储器可包括只读存储器(Read-Only Memory，ROM)，随机存取存储器(RandomAccess Memory，RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括可执行指令的软件的有形(非暂态)可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器401通过读取并执行存储器402中存储的程序指令，以实现上述实施例中的任意一种自动驾驶图像处理评价方法。
在一个示例中，自动驾驶图像处理评价设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将自动驾驶图像处理评价设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中的自动驾驶图像处理评价方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有程序指令；该程序指令被处理器执行时实现上述实施例中的任一种自动驾驶图像处理评价方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由程序指令实现。这些程序指令可被提供给通用、专用、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种自动驾驶图像处理评价方法，应用于自动驾驶设备，其特征在于，所述自动驾驶设备包括图像信号处理器ISP；所述方法包括：
控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数；
将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；
根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果；
根据所述m个第二测试结果，对所述ISP进行评价。
2.根据权利要求1所述的方法，其特征在于，所述根据所述m个第二测试结果，对所述ISP进行评价，包括：
根据所述m个第二测试结果，以及与所述m个测试场景一一对应的m个权重值，对所述ISP进行评价。
3.根据权利要求2所述的方法，其特征在于，第i测试场景对应的测试模型集合包括n个测试模型，第i测试场景对应的测试结果集合包括n个第一测试结果，其中，所述n个第一测试结果为所述n个测试模型的输出，i为小于或等于m的正整数，n为正整数；
所述根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果，包括：
根据所述n个第一测试结果，以及与所述n个测试模型一一对应的n个权重值，确定与所述第i个测试模型对应的第二测试结果。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
获取与q个对象对应的判断矩阵，其中，所述判断矩阵包括q×q元素，位于第r行和第j列的元素表示对象r相对于对象j的重要度，r和j均为小于或等于q的正整数；所述q个对象为所述m个测试场景，或，n个测试模型；
根据所述判断矩阵，对所述q个对象进行一致性检验，得到一致性检验结果；
在所述一致性检验结果验证通过的情况下，根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述判断矩阵，确定与所述q个对象一一对应的q个权重值，包括：
分别对所述判断矩阵的各列元素进行归一化处理；
根据归一化处理后的所述判断矩阵的第r行元素，确定与对象r对应的权重值。
6.根据权利要求1所述的方法，其特征在于，所述根据所述m个第二测试结果，对所述ISP进行评价，包括：
根据所述m个第二测试结果，确定目标测试结果；
在所述目标测试结果验证通过的情况下，输出指示信息，所述指示信息用于指示所述ISP合格。
7.一种自动驾驶图像处理评价装置，其特征在于，所述自动驾驶图像处理评价装置包括图像信号处理器ISP；所述装置包括：
控制模块，用于控制所述ISP分别对m个测试场景的数据集合进行处理，得到与所述m个测试场景一一对应的m个处理结果，m为正整数；
第一获取模块，用于将所述m个处理结果分别输入与所述m个测试场景一一对应的m个测试模型集合中，得到与所述m个测试场景一一对应的m个测试结果集合，其中，每个测试模型集合包括至少一个测试模型，每个所述测试结果集合包括至少一个第一测试结果，一个测试模型输出一个第一测试结果；
第一确定模块，用于根据所述m个测试结果集合，确定与所述m个测试场景一一对应的m个第二测试结果；
评价模块，用于根据所述m个第二测试结果，对所述ISP进行评价。
8.一种自动驾驶图像处理评价设备，其特征在于，所述设备包括：处理器以及存储有程序指令的存储器；所述处理器执行所述程序指令时实现如权利要求1至7中任意一项所述的在自动驾驶图像处理评价方法。
9.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序指令，所述程序指令被处理器执行时实现如权利要求1至7中任意一项所述的在自动驾驶图像处理评价方法。
10.一种程序产品，其特征在于，所述程序产品中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1至7中任意一项所述的在自动驾驶图像处理评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210429094.9A CN114743076A (zh) | 2022-04-22 | 2022-04-22 | 一种自动驾驶图像处理评价方法、相关设备、介质及产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210429094.9A CN114743076A (zh) | 2022-04-22 | 2022-04-22 | 一种自动驾驶图像处理评价方法、相关设备、介质及产品 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114743076A true CN114743076A (zh) | 2022-07-12 |
Family
ID=82282795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210429094.9A Pending CN114743076A (zh) | 2022-04-22 | 2022-04-22 | 一种自动驾驶图像处理评价方法、相关设备、介质及产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114743076A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113366531A (zh) * | 2021-03-31 | 2021-09-07 | 华为技术有限公司 | 图像处理方式的确定方法及装置 |
| CN113468670A (zh) * | 2021-07-20 | 2021-10-01 | 合肥工业大学 | 一种自动驾驶车辆整车级别的性能评价方法 |
| US20210357692A1 (en) * | 2020-05-15 | 2021-11-18 | Microsoft Technology Licensing, Llc | Multi-fidelity simulated data for machine learning |
| CN113761306A (zh) * | 2020-09-30 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种车端数据处理方法及装置 |
| CN114297048A (zh) * | 2021-11-18 | 2022-04-08 | 武汉光庭信息技术股份有限公司 | 一种自动驾驶仿真测试方法、系统、电子设备及存储介质 |
-
2022
- 2022-04-22 CN CN202210429094.9A patent/CN114743076A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210357692A1 (en) * | 2020-05-15 | 2021-11-18 | Microsoft Technology Licensing, Llc | Multi-fidelity simulated data for machine learning |
| CN113761306A (zh) * | 2020-09-30 | 2021-12-07 | 北京京东乾石科技有限公司 | 一种车端数据处理方法及装置 |
| CN113366531A (zh) * | 2021-03-31 | 2021-09-07 | 华为技术有限公司 | 图像处理方式的确定方法及装置 |
| CN113468670A (zh) * | 2021-07-20 | 2021-10-01 | 合肥工业大学 | 一种自动驾驶车辆整车级别的性能评价方法 |
| CN114297048A (zh) * | 2021-11-18 | 2022-04-08 | 武汉光庭信息技术股份有限公司 | 一种自动驾驶仿真测试方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| KELI HUANG等: "Multi-modal Sensor Fusion for Auto Driving Perception: A Survey", HTTPS://ARXIV.ORG/ABS/2202.02703, 27 February 2022 (2022-02-27) * |
| 王荣等: "自动驾驶车辆道路测试场景评价方法与试验验证", 汽车工程, 30 April 2021 (2021-04-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113642633B (zh) | 用于对驾驶场景数据进行分类的方法、装置、设备和介质 | |
| CN108229267B (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN111507370B (zh) | 获得自动标注图像中检查标签的样本图像的方法和装置 | |
| CN110020797B (zh) | 基于感知缺陷的自动驾驶测试场景的评价方法 | |
| CN113033604B (zh) | 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质 | |
| CN109034086B (zh) | 车辆重识别方法、装置及系统 | |
| CN111340144A (zh) | 风险样本检测方法、装置、电子设备及存储介质 | |
| CN111753873A (zh) | 一种图像检测方法和装置 | |
| US20200265304A1 (en) | System and method for identifying misclassifications by a neural network | |
| CN113723216A (zh) | 一种车道线检测方法、装置、车辆及存储介质 | |
| CN114529890A (zh) | 状态检测方法、装置、电子设备及存储介质 | |
| CN116052061B (zh) | 事件监测方法、装置、电子设备及存储介质 | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
| CN114743076A (zh) | 一种自动驾驶图像处理评价方法、相关设备、介质及产品 | |
| CN115563020B (zh) | 危险测试场景的生成方法及系统、电子设备、存储介质 | |
| CN112085001A (zh) | 一种基于多尺度边缘特征检测的隧道识别模型及方法 | |
| CN111860623A (zh) | 基于改进ssd神经网络的统计树木数量的方法及系统 | |
| CN115690752A (zh) | 一种驾驶员行为检测方法及装置 | |
| CN115222691A (zh) | 图像缺陷检测方法、系统及相关装置 | |
| CN114973173A (zh) | 驾驶场景数据的分类方法、装置、电子设备及存储介质 | |
| CN113159640A (zh) | 一种评价指标权重的确定方法、装置、设备及介质 | |
| CN110705695A (zh) | 搜索模型结构的方法、装置、设备和存储介质 | |
| Tian | Detect and repair errors for DNN-based software | |
| CN115758888B (zh) | 一种基于多机器学习算法融合的农产品安全风险评估方法 | |
| CN116861261B (zh) | 自动驾驶模型的训练方法、部署方法、系统、介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |