CN111983935A - 一种性能评测方法和装置 - Google Patents
一种性能评测方法和装置 Download PDFInfo
- Publication number
- CN111983935A CN111983935A CN202010835649.0A CN202010835649A CN111983935A CN 111983935 A CN111983935 A CN 111983935A CN 202010835649 A CN202010835649 A CN 202010835649A CN 111983935 A CN111983935 A CN 111983935A
- Authority
- CN
- China
- Prior art keywords
- detection
- fusion tracking
- result
- value
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 113
- 230000004927 fusion Effects 0.000 claims abstract description 172
- 238000004088 simulation Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000008447 perception Effects 0.000 claims abstract description 48
- 238000002372 labelling Methods 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 137
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 abstract description 11
- 230000001737 promoting effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000002184 metal Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Abstract
本申请提供了一种性能评测方法和装置，所述方法包括：获取仿真场景数据；对所述仿真场景数据进行真值标注；运行感知融合追踪模型，获取所述仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果。该方法能够大大缩短开发周期，并降低测试成本；促进感知融合追踪模型性能的提升。
Description
技术领域
本发明涉及信息处理技术领域，特别涉及一种性能评测方法和装置。
背景技术
目前自动驾驶技术作为未来汽车的发展方向，在全球范围内快速发展并不断提升。在自动驾驶技术开发的过程中，需要通过实际路测、测试场地测试、各类测试系统等方式对自动驾驶各类算法模块的性能进行不断的评估和测试。
在实现本申请的过程中，发明人发现采用实际车辆在真实交通环境中对自动驾驶各类算法模块进行测试的方式成本高昂，效率低，容易受到交通环境等的限制，在一些危险场景下对无人驾驶算法进行测试，具有很大的危险性；在测试场地对自动驾驶技术进行测试的方式覆盖度小、考察指标少、测试项目和路线程序化，对复杂环境的泛化能力弱。
发明内容
有鉴于此，本申请提供一种性能评测方法和装置，该方法能够大大缩短开发周期，并降低测试成本；促进感知融合追踪模型性能的提升。
为解决上述技术问题，本申请的技术方案是这样实现的：
在一个实施例中，提供了一种性能评测方法，所述方法包括：
获取仿真场景数据；
对所述仿真场景数据进行真值标注；
运行感知融合追踪模型，获取所述仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；
根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果。
在另一个实施例中，提供了一种性能评测装置，所述装置包括：第一获取单元、标注单元、第二获取单元、评测单元和输出单元；
所述第一获取单元，用于获取仿真场景数据；
所述标注单元，用于对所述第一获取单元获取的仿真场景数据进行真值标注；
所述第二获取单元，用于运行感知融合追踪模型，获取所述第一获取单元获取的仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；
所述评测单元，用于根据所述第二获取单元获取的融合追踪结果和所述标注单元标注的真值对所述感知融合追踪模型进行性能评测；
所述输出单元，用于根据所述评测单元进行的性能评测输出评测结果。
在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述性能评测方法的步骤。
在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述性能评测方法的步骤。
由上面的技术方案可见，上述实施例中通过对测试场景数据进行真值标注，并通过感知追踪模型获取融合追踪结果，使用标注的真值和融合追踪结果计算、比较对所述感知追踪模型进行性能评测，并显示评测结果。该方法无需实车路测，大大缩短开发周期，并降低测试成本；并且测评结果为感知融合追踪模型的开发和优化提供依据，可促进感知融合追踪模型性能的提升。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中性能评测流程示意图；
图2为本申请实施例二中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图；
图3为本申请实施例三中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图；
图4为本申请实施例四中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图；
图5为本申请实施例中应用于上述技术的装置结构示意图；
图6为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
本申请实施例中提供一种性能评测方法，利用仿真平台及其丰富的场景数据对感知算法进行高覆盖度的仿真运算，针对感知融合追踪算法对应的感知融合追踪模型，制定评测规则对其性能进行评价分析，形成性能评测报告。实施该方法无需实车路测，在开发机本地或云端即可实行，大大缩短开发周期，降低测试成本；同时性能评测报告为算法的开发或优化提供依据，可促进算法的快速迭代，加速自动驾驶技术的实施。
本申请实施例中实现性能测评方法的装置为性能测评装置，可以是一台PC，服务器等。
下面结合附图，详细说明本申请实施例中实现对感知融合追踪模型进行性能评测的过程。
实施例一
参见图1，图1为本申请实施例中性能评测流程示意图。具体步骤为：
步骤101，获取仿真场景数据。
获取仿真场景数据从自动驾驶车辆历史日志数据中清洗挖掘，提取出测试所需场景对应的仿真场景数据；
还可以进行实际场景数据采集，通过预处理获取仿真场景数据。
步骤102，对所述仿真场景数据进行真值标注。
本申请实施例中对仿真场景数据进行真值标注的内容包括下述内容之一或任意组合：
仿真结果帧数、检测框、目标物体的TrackID。
其中，所述仿真结果帧数用于FT丢帧率检测；所述检测框用于FT精度检测；所述目标物体的TrackID用于TrackID切换率检测。
对仿真场景数据进行真值标注的结果进行存储，以便与融合追踪结果组合进行性能评测。
步骤103，运行待评测的感知融合追踪模型，获取所述仿真场景数据对应的融合追踪结果。
融合追踪结果包括标注的真值对应的内容，如标注仿真结果帧数，则融合追踪结果中包括融合追踪帧数；如标注检测框，则融合追踪结果中包括融合追踪检测出的检测框；如标注目标物体的TrackID，则融合追踪结果中包括检测到的目标物体的TrackID。
其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知。
感知融合追踪模型作为一个功能模块，安装在无人驾驶车辆上，用于感知车辆周围的环境，如其他车辆、人、树、障碍物等。
步骤104，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果。
对于评测的性能根据需要设定，并且在进行真值标注时进行对应内容的标注，进行评测的性能可以为下述之一或任意组合：
FT丢帧率、FT精度、TrackID切换率。
本申请实施例中通过对测试场景数据进行真值标注，并通过感知追踪模型获取融合追踪结果，使用标注的真值和融合追踪结果计算、比较对所述感知追踪模型进行性能评测，并显示评测结果。该方法无需实车路测，大大缩短开发周期，并降低测试成本；并且测评结果为感知融合追踪模型的开发和优化提供依据，可促进感知融合追踪模型性能的提升。
实施例二
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括仿真结果帧数时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程。
在具体实现时，当对所述仿真场景数据进行的真值标注包括仿真结果帧数时，需设置如下评价规则和阈值参数：
规则：FT(Fusion Tracker)丢帧率检测；
规则描述：检测一个record包中Fusion Tracker的丢帧率
检测方法：检测一个record包中Fusion Tracker的丢帧率，丢帧率＝(真值帧数-融合追踪结果的帧数)/真值帧数。设置FT丢帧率阈值，不大于设定阈值即通过，否则不通过。
上述规则仅是一种设置形式，可以不限于上述的设置形式。
这里的一个record包可以根据实际需要设置，本申请实施例中可以将获取的仿真场景数据看作为一个record。
阈值参数：第一预设阈值；
第一预设阈值的设置可以根基实际应用情况设置，本申请实施例中对此不进行限制，如可以设置为0.2。
参见图2，图2为本申请实施例二中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图。具体步骤为：
步骤201，根据所述融合追踪结果的帧数和标注的仿真结果帧数计算FT丢帧率。
本步骤中根据所述融合追踪结果的帧数和标注的仿真结果帧数计算FT丢帧率，包括：
计算标注的仿真结果帧数与融合追踪结果的帧数的差值；
计算所述差值与标注的仿真结果帧数的比值；
将所述比值作为FT丢帧率。
步骤202，确定所述FT丢帧率小于第一预设阈值，如果是，执行步骤203；否则，执行步骤204。
步骤203，确定针对所述感知融合追踪模型的FT丢帧率检测通过，结束本流程。
步骤204，确定针对所述感知融合追踪模型的FT丢帧率检测不通过。
输出测评结果的方式不进行限制，如可以以测评报告的方式给出。
参见表1，表1为FT丢帧率对应的测评报告包含的内容。
表1
表1所述测评报告所给出的信息条目可以根据实际需要进行增加或删减，上述仅是一种举例，不限于上述实现方式。
本实施例中详细给出了测评FT丢帧率的过程以及输出测评报告，测评报告详细给出的标注的帧数、融合追踪到的帧数、丢失的帧数，丢帧率，以及FT丢帧率的评价结果，能够是获取所述测评报告的用户详细了解关于丢帧率这一性能的情况，以便对融合追踪模型进行FT丢帧率这一性能进行优化。
实施例三
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括检测边框时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程。
在具体实现时，当对所述仿真场景数据进行的真值标注包括检测边框时，需设置如下评价规则和阈值参数：
规则：FT精度检测
规则描述：检测一个record包中Fusion Tracker的精度；
检测方法：
检测项一，平均(Intersection Over Union，IOU)：真值和融合追踪结果按时间戳同步后，逐帧匹配检测结果，对匹配到的检测框计算平均IOU，取值范围[0，1]；
检测项二，平均中心点距离：对真值和融合追踪结果逐帧匹配到的检测框计算中心点之间距离的平均值；
检测项三，漏检率：漏检，即真值中有但融合追踪未检测出；漏检率＝(真值检测框个数-真值检测框∩融合追踪检测框的个数)/真值检测框个数；
检测项四，误检率：误检，即真值中没有但融合追踪检出；误检率＝(融合追踪检测框个数-真值检测框∩融合追踪检测框的个数)/融合追踪检测框个数；
设置各项阈值：针对检测项一设置第二预设阈值，针对检测项二设置第三阈值，针对检测项三设置第四预设阈值，针对检测项四设置第五预设阈值，当检测项一大于第二预设阈值，检测项二小于第三预设阈值，且检测项三小于第四预设阈值时即通过，否则不通过。
这里对预设阈值的设置不进行限制，可以根据实际应用需求进行设置，如第二预设阈值可以设置为0.4；第三预设阈值可以设置为：0.5；第四预设阈值可以设置为0.3；第五预设阈值可以设置为0.3。
参见图3，图3为本申请实施例三中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图。具体步骤为：
步骤301，将标注的真值和融合追踪结果按时间戳同步。
每帧数据中包含数据生成的时间，用该时间对应的时间戳同步，相当于进行帧同步，进而进行标注的真值和融合追踪结果同步。
步骤302，对融合追踪结果和真值标注的检测框进行逐帧匹配。
步骤303，根据匹配结果计算平均交并比IOU、平均中心距离、检测框漏检率和误检率。
本步骤中所述根据匹配结果计算平均IOU、平均中心距离、检测框漏检率和误检率，包括：
计算匹配到的帧的检测框的IOU，并计算匹配到的所有帧的检测框的IOU的平均IOU；
计算匹配到的帧的检测框的中心点之间的距离，并计算匹配到的所有帧的检测框中心点之间的距离的平均值，作为平均中心距离；
通过下式计算检测框漏检率：(N-M)/N；其中，N为融合追踪结果中的检测框个数，M为将真值标注的检测框检测出的个数；
通过下式计算检测框误检率：(N-X)/N；其中，X为融合追踪结果中检测出的，且在真值标注中不存在的检测框的个数。
步骤304，确定所述平均IOU的值是否大于第二预设阈值，所述平均中心距离的值是否小于第三预设阈值，所述检测框漏检率的值是否小于第四预设阈值，且所述检测框的误检率是否小于第五预设阈值，如果是，执行步骤305；否则，执行步骤306。
步骤305，确定针对所述感知融合追踪模型的FT精度检测通过。结束本流程。
步骤306，确定针对所述感知融合追踪模型的FT精度检测不通过。
输出测评结果的方式不进行限制，如可以以测评报告的方式给出。
参见表2，表2为FT精度对应的测评报告包含的内容。
| 统计项 | 评价结果 | 计算值 | 预设阈值 |
| 平均IOU | 通过 | 0.45 | 0.4 |
| 平均中心距离 | 通过 | 0.45 | 0.5 |
| 漏检率 | 通过 | 0.28 | 0.3 |
| 误检率 | 通过 | 0.2 | 0.3 |
表2
表2所述测评报告所给出的信息条目可以根据实际需要进行增加或删减，上述仅是一种举例，不限于上述实现方式。
本实施例中详细给出了测评FT精度的过程以及输出测评报告，测评报告详细给出各测评项的计算值(测试值)，以及对应的阈值和测评结果，能够是获取所述测评报告的用户详细了解关于FT精度这一性能的情况，以便对融合追踪模型进行FT精度这一性能进行优化。
实施例四
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括目标物体的TrackID框时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程。
在具体实现时，当对所述仿真场景数据进行的真值标注包括标物体的TrackID时，需设置如下评价规则和阈值参数：
规则TrackID切换率；
规则描述：检测一个record包中Fusion Tracker目标物体TrackID的切换率；
检测方法：
检测项一，切换率：切换率＝(真值检测目标物体∩融合追踪检测目标物体)中切换过TrackID的目标物个数/(真值检测目标物体∩融合追踪检测目标物体)的个数；
检测项二，平均切换次数：平均切换次数＝(真值检测目标物体∩融合追踪检测目标物体)中切换TrackID的次数之和/(真值检测目标物体∩融合追踪检测目标物体)的个数；
设置各检测项阈值，针对检测项一设置的阈值为第六预设阈值，针对检测项二设置的阈值为第七预设阈值。各项均不小于设定阈值即通过，否则不通过。
这里对预设阈值的设置不进行限制，可以根据实际应用需求进行设置，如第六预设阈值可以设置为0.8；第七预设阈值可以设置为：8。
参见图4，图4为本申请实施例四中根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测流程示意图。具体步骤为：
步骤401，对融合追踪结果和真值标注的目标物体的TrackID进行逐帧匹配。
步骤402，根据匹配结果计算TrackID切换率和TrackID平均切换次数。
本步骤中根据匹配结果计算TrackID切换率和TrackID平均切换次数，包括：
通过下式计算TrackID切换率：
A/S；
其中，A为真值标注的，且通过融合追踪检测出的目标物体中切换过TrackIDd的目标物体的个数；S为真值标注的，且通过融合追踪检测出的目标物体的个数；
通过下式计算TrackID平均切换次数：
B/S；
其中，B为真值标注的，且通过融合追踪检测出的目标物体中切换TrackIDd的次数之和；S为真值标注的，且通过融合追踪检测出的目标物体的个数。
步骤403，确定所述TrackID切换率的值是否小于第六预设阈值，且所述TrackID平均切换次数是否小于第七预设阈值，如果是，执行步骤404；否则，执行步骤405。
步骤404，确定针对所述感知融合追踪模型的TrackID切换率检测通过。结束本流程。
步骤405，确定针对所述感知融合追踪模型的TrackID切换率检测不通过。
输出测评结果的方式不进行限制，如可以以测评报告的方式给出。
参见表3，表3为TrackID切换率对应的测评报告包含的内容。
| 统计项 | 评价结果 | 计算值 | 预设阈值 |
| 切换率 | 通过 | 0.38 | 0.8 |
| 平均切换次数 | 未通过 | 9 | 8 |
表3
表3所述测评报告所给出的信息条目可以根据实际需要进行增加或删减，上述仅是一种举例，不限于上述实现方式。
本实施例中详细给出了测评TrackID切换率的过程以及输出测评报告，测评报告详细给出各测评项的计算值(测试值)，以及对应的阈值和测评结果，能够是获取所述测评报告的用户详细了解关于TrackID切换率这一性能的情况，以便对融合追踪模型进行TrackID切换率这一性能进行优化。
实施例五
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括真值帧数、检测框、目标物体的TrackID时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程如下：
既可以串行，也可以并行确定FT丢帧率、FT精度、TrackID切换率的检测是否通过，并输出测评结果，针对每一项性能的相关实现可以如实施例二、实施例三和实施例四所给出的详细过程。
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括真值帧数和检测框时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程如下：
既可以串行，也可以并行确定FT丢帧率和FT精度的检测是否通过，并输出测评结果，针对FT丢帧率的实现可以如实施例二所给出的详细过程，针对FT精度可以如实施例三所给出的详细过程，这里不再一一赘述。
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括真值帧数和TrackID切换率时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程如下：
既可以串行，也可以并行确定FT丢帧率和TrackID切换率的检测是否通过，并输出测评结果，针对FT丢帧率的实现可以如实施例二所给出的详细过程，针对TrackID切换率可以如实施例四所给出的详细过程，这里不再一一赘述。
本实施例中用于给出当对所述仿真场景数据进行的真值标注包括检测框和TrackID切换率时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果的实现过程如下：
既可以串行，也可以并行确定检测框和TrackID切换率的检测是否通过，并输出测评结果，针对检测框的实现可以如实施例三所给出的详细过程，针对TrackID切换率可以如实施例四所给出的详细过程，这里不再一一赘述。
本申请实施例利用仿真运算引擎，通过运行感知融合追踪模型对原始传感器数据、摄像头等数据重新进行处理，对产生的结果数据进行评测分析，可快速发现、定位问题，促进算法的迭代效率。
基于同样的发明构思，本申请实施例中还提供一种性能测试装置。参见图5，图5为本申请实施例中应用于上述技术的装置结构示意图。所述装置包括：第一获取单元501、标注单元502、第二获取单元503、评测单元504和输出单元505；
第一获取单元501，用于获取仿真场景数据；
标注单元502，用于对第一获取单元501获取的仿真场景数据进行真值标注；
第二获取单元503，用于运行感知融合追踪模型，获取第一获取单元501获取的仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；
评测单元504，用于根据第二获取单元503获取的融合追踪结果和标注单元502标注的真值对所述感知融合追踪模型进行性能评测；
输出单元505，用于根据评测单元504进行的性能评测输出评测结果。
优选地，
标注单元502，具体进行的真值标注包括下述之一或任意组合：
仿真结果帧数、检测框、目标物体的追踪标识TrackID。
优选地，
评测单元504，，具体用于当标注单元502对所述仿真场景数据进行的真值标注包括仿真结果帧数时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：根据所述融合追踪结果的帧数和标注的仿真结果帧数计算融合追踪FT丢帧率；若所述FT丢帧率小于第一预设阈值，则确定针对所述感知融合追踪模型的FT丢帧率检测通过；否则，确定针对所述感知融合追踪模型的FT丢帧率检测不通过。
优选地，
评测单元504，具体用于根据所述融合追踪结果的帧数和标注的仿真结果帧数计算FT丢帧率时，包括：计算标注的仿真结果帧数与融合追踪结果的帧数的差值；计算所述差值与标注的仿真结果帧数的比值；将所述比值作为FT丢帧率。
优选地，
评测单元504，具体用于当标注单元502对所述仿真场景数据进行的真值标注包括检测框时，所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：将标注的真值和融合追踪结果按时间戳同步；对融合追踪结果和真值标注的检测框进行逐帧匹配；根据匹配结果计算平均交并比IOU、平均中心距离、检测框漏检率和误检率；若所述平均IOU的值大于第二预设阈值、所述平均中心距离的值小于第三预设阈值、所述检测框漏检率的值小于第四预设阈值，且所述检测框的误检率小于第五预设阈值，则确定针对所述感知融合追踪模型的FT精度检测通过；否则，确定针对所述感知融合追踪模型的FT精度检测不通过。
优选地，
评测单元504，具体用于所述根据匹配结果计算平均IOU、平均中心距离、检测框漏检率和误检率时，包括：
计算匹配到的帧的检测框的IOU，并计算匹配到的所有帧的检测框的IOU的平均IOU；
计算匹配到的帧的检测框的中心点之间的距离，并计算匹配到的所有帧的检测框中心点之间的距离的平均值，作为平均中心距离；
通过下式计算检测框漏检率：(N-M)/N；其中，N为融合追踪结果中的检测框个数，M为将真值标注的检测框检测出的个数；
通过下式计算检测框误检率：(N-X)/N；其中，X为融合追踪结果中检测出的，且在真值标注中不存在的检测框的个数。
优选地，
评测单元504，具体用于当标注单元502对所述仿真场景数据进行的真值标注包括目标物体的TrackID时，根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：对融合追踪结果和真值标注的目标物体的TrackID进行逐帧匹配；根据匹配结果计算TrackID切换率和TrackID平均切换次数；若所述TrackID切换率的值小于第六预设阈值，且所述TrackID平均切换次数小于第七预设阈值，则确定针对所述感知融合追踪模型的TrackID切换率检测通过；否则，确定针对所述感知融合追踪模型的TrackID切换率检测不通过。
优选地，
评测单元504，具体用于所述根据匹配结果计算TrackID切换率和TrackID平均切换次数时，包括：
通过下式计算TrackID切换率：
A/S；
其中，A为真值标注的，且通过融合追踪检测出的目标物体中切换过TrackIDd的目标物体的个数；S为真值标注的，且通过融合追踪检测出的目标物体的个数；
通过下式计算TrackID平均切换次数：
B/S；
其中，B为真值标注的，且通过融合追踪检测出的目标物体中切换TrackIDd的次数之和；S为真值标注的，且通过融合追踪检测出的目标物体的个数。
上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。
在另一个实施例中，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。
在另一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现所述方法中的步骤。
图6为本发明实施例提供的电子设备的实体结构示意图。如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：
获取仿真场景数据；
对所述仿真场景数据进行真值标注；
运行感知融合追踪模型，获取所述仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；
根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (11)
1.一种性能评测方法，其特征在于，所述方法包括：
获取仿真场景数据；
对所述仿真场景数据进行真值标注；
运行感知融合追踪模型，获取所述仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶车辆周围环境进行感知；
根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，并输出评测结果。
2.根据权利要求1所述的方法，其特征在于，所述真值标注包括下述之一或任意组合：
仿真结果帧数、检测框、目标物体的追踪标识TrackID。
3.根据权利要求2所述的方法，其特征在于，当对所述仿真场景数据进行的真值标注包括仿真结果帧数时，所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：
根据所述融合追踪结果的帧数和标注的仿真结果帧数计算融合追踪FT丢帧率；
若所述FT丢帧率小于第一预设阈值，则确定针对所述感知融合追踪模型的FT丢帧率检测通过；否则，确定针对所述感知融合追踪模型的FT丢帧率检测不通过。
4.根据权利要求3所述的方法，其特征在于，所述根据所述融合追踪结果的帧数和标注的仿真结果帧数计算FT丢帧率，包括：
计算标注的仿真结果帧数与融合追踪结果的帧数的差值；
计算所述差值与标注的仿真结果帧数的比值；
将所述比值作为FT丢帧率。
5.根据权利要求2所述的方法，其特征在于，当对所述仿真场景数据进行的真值标注包括检测框时，所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：
将标注的真值和融合追踪结果按时间戳同步；
对融合追踪结果和真值标注的检测框进行逐帧匹配；
根据匹配结果计算平均交并比IOU、平均中心距离、检测框漏检率和误检率；
若所述平均IOU的值大于第二预设阈值、所述平均中心距离的值小于第三预设阈值、所述检测框漏检率的值小于第四预设阈值，且所述检测框的误检率小于第五预设阈值，则确定针对所述感知融合追踪模型的FT精度检测通过；否则，确定针对所述感知融合追踪模型的FT精度检测不通过。
6.根据权利要求5所述的方法，其特征在于，所述根据匹配结果计算平均IOU、平均中心距离、检测框漏检率和误检率，包括：
计算匹配到的帧的检测框的IOU，并计算匹配到的所有帧的检测框的IOU的平均IOU；
计算匹配到的帧的检测框的中心点之间的距离，并计算匹配到的所有帧的检测框中心点之间的距离的平均值，作为平均中心距离；
通过下式计算检测框漏检率：(N-M)/N；其中，N为融合追踪结果中的检测框个数，M为将真值标注的检测框检测出的个数；
通过下式计算检测框误检率：(N-X)/N；其中，X为融合追踪结果中检测出的，且在真值标注中不存在的检测框的个数。
7.根据权利要求2所述的方法，其特征在于，当对所述仿真场景数据进行的真值标注包括目标物体的TrackID时，所述根据所述融合追踪结果和标注的真值对所述感知融合追踪模型进行性能评测，包括：
对融合追踪结果和真值标注的目标物体的TrackID进行逐帧匹配；
根据匹配结果计算TrackID切换率和TrackID平均切换次数；
若所述TrackID切换率的值小于第六预设阈值，且所述TrackID平均切换次数小于第七预设阈值，则确定针对所述感知融合追踪模型的TrackID切换率检测通过；否则，确定针对所述感知融合追踪模型的TrackID切换率检测不通过。
8.根据权利要求7所述的方法，其特征在于，所述根据匹配结果计算TrackID切换率和TrackID平均切换次数，包括：
通过下式计算TrackID切换率：
A/S；
其中，A为真值标注的，且通过融合追踪检测出的目标物体中切换过TrackIDd的目标物体的个数；S为真值标注的，且通过融合追踪检测出的目标物体的个数；
通过下式计算TrackID平均切换次数：
B/S；
其中，B为真值标注的，且通过融合追踪检测出的目标物体中切换TrackID的次数之和；S为真值标注的，且通过融合追踪检测出的目标物体的个数。
9.一种性能评测装置，其特征在于，所述装置包括：第一获取单元、标注单元、第二获取单元、评测单元和输出单元；
所述第一获取单元，用于获取仿真场景数据；
所述标注单元，用于对所述第一获取单元获取的仿真场景数据进行真值标注；
所述第二获取单元，用于运行感知融合追踪模型，获取所述第一获取单元获取的仿真场景数据对应的融合追踪结果；其中，所述感知融合追踪模型用于对无人驾驶场景进行仿真测试；
所述评测单元，用于根据所述第二获取单元获取的融合追踪结果和所述标注单元标注的真值对所述感知融合追踪模型进行性能评测；
所述输出单元，用于根据所述评测单元进行的性能评测输出评测结果。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010835649.0A CN111983935B (zh) | 2020-08-19 | 2020-08-19 | 一种性能评测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010835649.0A CN111983935B (zh) | 2020-08-19 | 2020-08-19 | 一种性能评测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111983935A true CN111983935A (zh) | 2020-11-24 |
| CN111983935B CN111983935B (zh) | 2024-04-05 |
Family
ID=73434122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010835649.0A Active CN111983935B (zh) | 2020-08-19 | 2020-08-19 | 一种性能评测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111983935B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112816954A (zh) * | 2021-02-09 | 2021-05-18 | 中国信息通信研究院 | 一种基于真值的路侧感知系统评测方法和系统 |
| CN113074959A (zh) * | 2021-04-06 | 2021-07-06 | 北京理工大学 | 一种自动驾驶系统测试分析方法 |
| CN113155173A (zh) * | 2021-06-02 | 2021-07-23 | 福瑞泰克智能系统有限公司 | 感知性能评测方法、装置、电子装置和存储介质 |
| CN113296489A (zh) * | 2021-04-23 | 2021-08-24 | 东风汽车集团股份有限公司 | 驾驶控制器硬件开环测试方法、装置、设备及存储介质 |
| CN113469020A (zh) * | 2021-06-29 | 2021-10-01 | 苏州一径科技有限公司 | 一种基于聚类的目标检测模型的评估方法 |
| CN114141018A (zh) * | 2021-12-15 | 2022-03-04 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114323693A (zh) * | 2021-12-31 | 2022-04-12 | 中国第一汽车股份有限公司 | 车路云感知系统的测试方法、装置、设备及存储介质 |
| CN114707909A (zh) * | 2022-05-23 | 2022-07-05 | 北京宏景智驾科技有限公司 | 场景评价方法和装置、电子设备和存储介质 |
| CN115774680A (zh) * | 2023-01-16 | 2023-03-10 | 小米汽车科技有限公司 | 自动驾驶软件的版本测试方法、装置、设备及存储介质 |
| CN115907566A (zh) * | 2023-02-17 | 2023-04-04 | 小米汽车科技有限公司 | 自动驾驶感知检测能力的评测方法、装置及电子设备 |
| CN116030551A (zh) * | 2023-03-29 | 2023-04-28 | 小米汽车科技有限公司 | 车辆自动驾驶软件的测试方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017084082A (ja) * | 2015-10-27 | 2017-05-18 | 富士電機株式会社 | シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法 |
| CN108319249A (zh) * | 2017-12-15 | 2018-07-24 | 天津大学 | 基于驾驶模拟器的无人驾驶算法综合测评系统及方法 |
| CN109064755A (zh) * | 2018-07-24 | 2018-12-21 | 河北德冠隆电子科技有限公司 | 基于四维实景交通仿真路况感知管理系统的路径识别方法 |
| US20190064810A1 (en) * | 2017-08-28 | 2019-02-28 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
| CN109643125A (zh) * | 2016-06-28 | 2019-04-16 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
| US20190394427A1 (en) * | 2018-06-20 | 2019-12-26 | Chang'an University | System for perceiving and co-processing intelligent connected vehicle-oriented scene image data |
| CN110765661A (zh) * | 2019-11-22 | 2020-02-07 | 北京京东乾石科技有限公司 | 自动驾驶仿真场景生成方法及装置、电子设备、存储介质 |
| CN111090915A (zh) * | 2018-10-19 | 2020-05-01 | 百度在线网络技术（北京）有限公司 | 自动驾驶仿真方法、装置和存储介质 |
| CN111505965A (zh) * | 2020-06-17 | 2020-08-07 | 深圳裹动智驾科技有限公司 | 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质 |
-
2020
- 2020-08-19 CN CN202010835649.0A patent/CN111983935B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017084082A (ja) * | 2015-10-27 | 2017-05-18 | 富士電機株式会社 | シミュレーション装置、試験シナリオファイル作成方法、及び試験シナリオファイルを用いた試験方法 |
| CN109643125A (zh) * | 2016-06-28 | 2019-04-16 | 柯尼亚塔有限公司 | 用于训练自动驾驶系统的逼真的3d虚拟世界创造与模拟 |
| US20190064810A1 (en) * | 2017-08-28 | 2019-02-28 | GM Global Technology Operations LLC | Method and apparatus for monitoring of an autonomous vehicle |
| CN108319249A (zh) * | 2017-12-15 | 2018-07-24 | 天津大学 | 基于驾驶模拟器的无人驾驶算法综合测评系统及方法 |
| US20190394427A1 (en) * | 2018-06-20 | 2019-12-26 | Chang'an University | System for perceiving and co-processing intelligent connected vehicle-oriented scene image data |
| CN109064755A (zh) * | 2018-07-24 | 2018-12-21 | 河北德冠隆电子科技有限公司 | 基于四维实景交通仿真路况感知管理系统的路径识别方法 |
| CN111090915A (zh) * | 2018-10-19 | 2020-05-01 | 百度在线网络技术（北京）有限公司 | 自动驾驶仿真方法、装置和存储介质 |
| CN110765661A (zh) * | 2019-11-22 | 2020-02-07 | 北京京东乾石科技有限公司 | 自动驾驶仿真场景生成方法及装置、电子设备、存储介质 |
| CN111505965A (zh) * | 2020-06-17 | 2020-08-07 | 深圳裹动智驾科技有限公司 | 自动驾驶车辆仿真测试的方法、装置、计算机设备及存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112816954A (zh) * | 2021-02-09 | 2021-05-18 | 中国信息通信研究院 | 一种基于真值的路侧感知系统评测方法和系统 |
| CN112816954B (zh) * | 2021-02-09 | 2024-03-26 | 中国信息通信研究院 | 一种基于真值的路侧感知系统评测方法和系统 |
| CN113074959A (zh) * | 2021-04-06 | 2021-07-06 | 北京理工大学 | 一种自动驾驶系统测试分析方法 |
| CN113074959B (zh) * | 2021-04-06 | 2022-03-25 | 北京理工大学 | 一种自动驾驶系统测试分析方法 |
| CN113296489A (zh) * | 2021-04-23 | 2021-08-24 | 东风汽车集团股份有限公司 | 驾驶控制器硬件开环测试方法、装置、设备及存储介质 |
| CN113155173A (zh) * | 2021-06-02 | 2021-07-23 | 福瑞泰克智能系统有限公司 | 感知性能评测方法、装置、电子装置和存储介质 |
| CN113155173B (zh) * | 2021-06-02 | 2022-08-30 | 福瑞泰克智能系统有限公司 | 感知性能评测方法、装置、电子装置和存储介质 |
| CN113469020A (zh) * | 2021-06-29 | 2021-10-01 | 苏州一径科技有限公司 | 一种基于聚类的目标检测模型的评估方法 |
| CN114141018B (zh) * | 2021-12-15 | 2023-02-28 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114141018A (zh) * | 2021-12-15 | 2022-03-04 | 阿波罗智联(北京)科技有限公司 | 用于生成测试结果的方法、装置 |
| CN114323693A (zh) * | 2021-12-31 | 2022-04-12 | 中国第一汽车股份有限公司 | 车路云感知系统的测试方法、装置、设备及存储介质 |
| CN114707909A (zh) * | 2022-05-23 | 2022-07-05 | 北京宏景智驾科技有限公司 | 场景评价方法和装置、电子设备和存储介质 |
| CN114707909B (zh) * | 2022-05-23 | 2022-10-21 | 北京宏景智驾科技有限公司 | 场景评价方法和装置、电子设备和存储介质 |
| CN115774680A (zh) * | 2023-01-16 | 2023-03-10 | 小米汽车科技有限公司 | 自动驾驶软件的版本测试方法、装置、设备及存储介质 |
| CN115774680B (zh) * | 2023-01-16 | 2023-04-11 | 小米汽车科技有限公司 | 自动驾驶软件的版本测试方法、装置、设备及存储介质 |
| CN115907566A (zh) * | 2023-02-17 | 2023-04-04 | 小米汽车科技有限公司 | 自动驾驶感知检测能力的评测方法、装置及电子设备 |
| CN115907566B (zh) * | 2023-02-17 | 2023-05-30 | 小米汽车科技有限公司 | 自动驾驶感知检测能力的评测方法、装置及电子设备 |
| CN116030551A (zh) * | 2023-03-29 | 2023-04-28 | 小米汽车科技有限公司 | 车辆自动驾驶软件的测试方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111983935B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111983935A (zh) | 一种性能评测方法和装置 | |
| US11004234B2 (en) | Method and apparatus for annotating point cloud data | |
| TWI425454B (zh) | 行車路徑重建方法、系統及電腦程式產品 | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN110969166A (zh) | 一种巡检场景下小目标识别方法和系统 | |
| Fernandes et al. | Pavement pathologies classification using graph-based features | |
| CN108229456A (zh) | 目标跟踪方法和装置、电子设备、计算机存储介质 | |
| KR20190120489A (ko) | 영상 인식 장치 및 방법 | |
| CN111310737A (zh) | 一种车道线检测方法及装置 | |
| CN113641906A (zh) | 基于资金交易关系数据实现相似目标人员识别处理的系统、方法、装置、处理器及其介质 | |
| CN115063762A (zh) | 车道线的检测方法、装置、设备及存储介质 | |
| CN111009136A (zh) | 一种高速公路行驶速度异常车辆检测方法、装置及系统 | |
| CN117114420B (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
| CN113469137A (zh) | 异常行为的识别方法、装置、存储介质及电子装置 | |
| CN113065447A (zh) | 一种图像集中自动识别商品的方法和设备 | |
| US10438066B2 (en) | Evaluation of models generated from objects in video | |
| JP5637157B2 (ja) | 無線局データベース作成装置、電波監視装置、方法およびプログラム | |
| KR20150137698A (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
| Torabi et al. | Joint detection and activity recognition of construction workers using convolutional neural networks | |
| KR20160128044A (ko) | 선박 대표 궤적 추출을 통한 이상궤적 판별 방법 | |
| CN117292338B (zh) | 基于视频流解析的车辆事故识别和分析方法 | |
| Zacarkim et al. | Evaluation of IGFTT keypoints detector in indoor visual SLAM | |
| EP4102452A1 (en) | Re-identification device, re-identification program, and re-identification method | |
| Lai et al. | Active Data Acquisition in Autonomous Driving Simulation | |
| CN117930167A (zh) | 异常数据的确定方法、装置、存储介质和车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |