CN109558769B - 真值标注系统 - Google Patents

Abstract

本发明提供一种真值标注系统，包括视频或图像上传和处理模块，用于将原始路测视频上传到真值标注系统，并根据视频或图像描述文件设置相应的视频属性、新建系统处理任务；真值标注模块，用于将视频或图像上传和处理模块新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段处理后的新建系统处理任务。本发明可以批量处理原始路测视频，运行待检测算法并比较运行结果的统计分析数据。

Description

真值标注系统

技术领域

本发明涉及车载路测领域，特别是涉及一种真值标注系统。

背景技术

首先，在城市车辆日渐增多的智能驾驶车辆中，越来越多的车型使用到ADAS辅助驾驶泊车的系统。目前ADAS辅助驾驶系统的功能还不够完善，多数图像识别算法需要更新。而图像识别算法需要大量的具有特定场景属性、特定视频属性的视频去验证该图像识别算法的准确率。而检验各种场景、各种视频属性的图像识别算法更新效果并记录、保存、对比的系统还在开发过程中。

发明内容

为了解决上述的以及其他潜在的技术问题，本发明提供了一种真值标注系统，可以筛选原始路测视频的标定准确率、将原始路测视频根据待检测的图像识别算法类别来分别建立新建系统任务，并将较长的新建系统任务分割成若干个子任务，分别分配给不同的工作用户，工作用户通过人工识别并标注出算法应该识别出的真值，审查工作用户标注的准确性后，将标注真值的子任务整合成整段的新建系统处理任务之后通过数据回放模块生成待检测算法监测该原始路测视频的检测结果与真值标注系统标注的检测结果之间对比的统计信息，本发明可以批量处理原始路测视频，运行待检测算法并比较运行结果的统计分析数据。

真值标注系统，包括：

视频或图像上传和处理模块，用于将原始路测视频上传到真值标注系统，并根据视频或图像描述文件设置相应的视频属性、新建系统处理任务；

真值标注模块，用于将视频或图像上传和处理模块新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段处理后的新建系统处理任务。

进一步地，还包括视频或图像分类模块，是在上传之前将录制的原始路测视频或捕获图像根据特定条件分类截取的工具，系统将分类截取的分类视频上传。

进一步地，所述视频或图像分类模块按照特定条件进行分类截取时，原始路测视频分类截取的工具配合脚本执行的截取选择条件包括无速度信号段、无标定数据段、速度区间截取段、生成全景俯视视频段、检查帧率段。

进一步地，所述视频或图像分类模块包括视频属性分类，所述视频属性包括传感器属性和录制车型属性(录制地点属性，路线属性)。

进一步地，还包括原始路测视频检测模块，在原始路测视频上传之前，检测原始路测视频的标定准确性，若标定准确性高于标定数据误差阈值，则数据回放模块弃用该原始路测视频；若标定准确性低于标定数据误差阈值，则该原始路测视频被上传。

进一步地，还包括标注属性设置模块，当真值标注模块的工作用户标注子任务真值前，先设置该子任务的标注属性，所述标注属性包括车道线属性、标注框属性；所述车道线属性包括车道线的颜色属性和车道线类型属性；所述标注框属性包括真值标注的标注类型属性和标注框颜色属性(车道线属性是标注属性的一种，每种算法的标注属性都不一样，可以设置多个)。

进一步地，还包括真值标注审查模块，所述真值标注审查模块用于检测真值标注模块分配给不同工作用户子任务标注的准确性；当真值标注模块的工作用户把子任务标注真值，工作用户完成任务之后，先经过真值标注审查模块审查工作用户标注子任务的准确性，若工作用户标注子任务的准确性符合准确性阈值之后，真值标注模块再将子任务整合成整段的新建系统处理任务。

进一步地，所述真值标注审查模块还包括描述文件审查模块，所述描述文件审查模块用于工作用户发现描述文件中的场景属性与子任务中真实的场景属性是否相符，真值标注模块给予工作用户修改该子任务视频或图像描述文件的权限，工作用户修改子任务视频或图像的描述文件后系统保存该描述文件。

进一步地，还包括数据回放模块，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果，利用真值标注模块处理单一新建系统处理任务得出处理结果，以待测试的算法处理该单一新建系统处理任务得出的结果与真值标注模块处理该单一新建系统处理任务得出的结果比较，得到比较结果并评估该比较结果进而生成评估表单(此处理可批量)。

进一步地，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果时，数据回放模块获取系统在真值标注前录入的视频属性、真值标注时录入的子任务场景属性以及真值标注时工作用户标注生成的标注信息，并将视频属性、场景属性和工作用户标注生成的标注信息整合生真值标注文档；所述真值标注文档内包含原始路测视频的编号、原始路测视频的ID、视频属性类型、标注类型、标注框的坐标信息、标注框所在帧数信息、图像识别算法的功能类型、项目类型、车辆摄像头型号参数、车辆镜头型号参数、车辆摄像头数量以及摄像头位置参数、时间段信息、路况信息中的一种或几种。

进一步地，还包括数据统计模块，所述数据统计模块统计数据回放模块得出的评估表单，进而得到统计信息。

进一步地，还包括工作训练模块，所述工作训练模块包括训练文档列表和训练文档的添加和删除操作栏，所述工作训练模块用于给新进入该系统的工作用户以工作训练示范。

进一步地，还包括算法设置模块，所述算法设置模块包括目前系统可以检测的算法列表以及修改该算法列表的添加和删除栏。

进一步地，所述统计信息包括按照原始路测视频统计的视频特性表、按照不同算法版本号逐一检测统计得到的准确率报警表和评估总表。

进一步地，所述视频特性表包括序列号、Datalog名称、视频属性、视频类型、视频时间、标注总框数、总报警数统计、总丢失次数、总错误次数、左侧报警次数、左侧丢失次数、右侧报警次数、右侧丢失次数、说明文档中的一种或几种。

真值标注方法，其特征在于，包括以下步骤：

S01：将新建系统处理任务上传到真值标注系统，并根据视频或图像及其描述文件设置相应的场景属性；

S02：再将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段的新建系统处理任务。

在步骤S01之前还包括将录制的原始路测视频或捕获图像设置视频属性或图像属性，并根据特定条件将视频或图像分类并截取成新建系统处理任务的步骤。

进一步地，所述步骤S01中录制的原始路测视频按照特定条件进行分类截取，原始路测视频分类截取的工具配合脚本执行的截取选择条件包括无速度信号段、无标定数据段、速度区间截取段、生成全景俯视视频段、检查帧率段中的一种或几种。

进一步地，所述步骤S01中原始路测视频分类截取前，由原始路测视频中提取或人工填写视频属性，所述视频属性包括传感器属性和录制车型属性。

进一步地，所述步骤S02中将新建系统处理任务上传到真值标注系统中时，包括以下步骤：

S021：创建真值标注系统上传记录；

S022：上传视频或者图像以及Datalog等信息到文件传输协议；

S023：压缩文件传输协议中的视频或者图像信息并上传。

进一步地，所述步骤S02中根据视频或图像及其描述文件设置相应的场景属性，所述场景属性包括天气属性、时间段属性、行驶路况属性中的一种或几种(各个属性可自主设置，不仅包含这几种)。

进一步地，所述步骤S03中，当真值标注模块的工作用户标注子任务真值前，先设置该子任务的标注属性，所述标注属性包括车道线属性、标注框属性；所述车道线属性包括车道线的颜色属性和车道线类型属性；所述标注框属性包括真值标注的标注类型属性和标注框颜色属性。

进一步地，所述同一新建系统处理任务的标注框属性一致，工作用户设置标注类型属性和标注框颜色属性时，具有同一的标注类型模板和标注框颜色模板。

例如：当一新建系统处理任务视频中录入了小轿车、卡车、运输车、拖拉机、跑车、行人、自行车、三轮车时，这一个新建系统处理任务视频在分割成子任务并分配给工作用户之后，工作用户设置标注属性时，同一标注类型(比如同一辆小轿车)给予一致性的标注框且该标注框的颜色应当一致(不是标注属性，是颜色属性，只设置标注属性的话，要求同一画面中，颜色不能重复)。

进一步地，还包括真值标注审查步骤，所述真值标注审查步骤用于检测真值标注模块分配给不同工作用户子任务标注的准确性；当真值标注模块的工作用户把子任务标注真值，工作用户完成任务之后，先经过真值标注审查模块审查工作用户标注子任务的准确性，若工作用户标注子任务的准确性符合准确性阈值之后，真值标注模块再将子任务整合成整段的新建系统处理任务；若工作用户标注子任务的准确性不符合准确性阈值，则由真值标注审查模块将不符合准确性阈值的子任务返回至工作用户，真值标注审查模块给予该工作用户修改期限和/或错误标注描述。

进一步地，所述真值标注审查模块对真值标注模块子任务的检测方式为逐一检测模式或者抽查模式；当所述真值标注审查模块对真值标注模块的检测方式为抽查模式的情况下，所述抽查子任务个数为至少两个。

进一步地，所述步骤S03中，当工作用户将子任务标注真值时，可以同时查看子任务视频或图像的描述文件，当工作用户发现描述文件中的场景属性与子任务中真实的场景属性或算法属性不符时，真值标注模块给予工作用户修改该子任务视频或图像的描述文件的权限，工作用户修改子任务视频或图像的描述文件后系统保存该描述文件。

进一步地，所述步骤S03中将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务可由抽取视频中的若干帧图像代替，在抽取视频中的图像时，需要保存抽取图像的时间戳和抽取图像所属的摄像头编码。

进一步地，所述步骤S03中，将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务时，相邻时间段的子任务之间会有1～10秒(10帧)的视频交叠区；所述分割的子任务整合成整段的新建系统处理任务时，真值标注模块将相邻时间段的子任务的视频交叠区中相同时间戳处捕获的图像中标注出的标注属性相对比，若标注属性一致，则将两个子任务以该相同时间戳捕获图像为接缝拟合；若标注属性不一致，则不拟合这两个子任务，并将两个子任务返回真值标注审查模块审查标注的准确性。

进一步地，还包括步骤S04：利用待测试的算法处理步骤S01得到的新建系统处理任务得出处理结果，利用真值标注模块处理步骤S01(S03)得到的新建系统处理任务得出处理结果，以将两者结果比较，得到比较结果并评估该比较结果进而生成评估表单。

进一步地，所述评估表单为视频特性表，视频特性表包括序列号、Datalog名称、视频属性、视频类型、视频时间、标注总框数、总报警数统计、总丢失次数、总错误次数、左侧报警次数、左侧丢失次数、右侧报警次数、右侧丢失次数、说明文档中的一种或几种。

进一步地，还包括步骤S05：收集并筛选步骤S01获得的新建系统处理任务，得到带有特定条件视频属性的视频集合，通过真值标注模块生成的标注文档与运行待测试的算法得到处理结果对比信息综合视频属性信息和场景属性信息得到统计信息。

进一步地，所述统计信息包括按照原始路测视频统计的视频特性表、按照不同算法版本号逐一检测统计得到的准确率报警表和评估总表。

进一步地，所述准确率报警表包括序列号、Datalog名称、视频属性、视频类型和系统版本号，所述系统版本号包括系统架构版本号和算法版本号，所述系统版本号内包括子任务序列号栏、子任务场景属性栏、说明文档栏。

进一步地，所述评估总表包括车型分类统计表、天气分类统计表、道路类型分类统计表、车辆类别分类统计表、时间段分类统计表、相对速度分类统计表中的一种或几种，所述评估总表的纵列包括总报警栏、丢失报警栏、错误报警栏、漏报率栏、误报率栏、比重、总时间栏中的一种或几种(可根据设置的场景属性增加和调整表信息和栏信息)。

进一步地，所述车型分类统计表包括B60X系列车型、Cowin系列车型、吉利博越系列车型、猎豹系列车型、Camry系列车型、E55系列车型、GS4系列车型等等一种或几种；所述天气分类统计表包括白天栏、夜晚栏、黄昏栏和总计栏；所述天气分类统计表包括晴天栏、阴天栏、雨天栏、雾天栏和雪天栏；所述道路类型分类统计表包括高速栏、城市道路栏；所述车辆类别分类统计表包括轿车栏、SUV栏、MPV栏、货车栏、卡车栏、巴士栏；所述时间段分类统计表以时间段分类视频；所述相对速度分类统计表以相对速度值的大小分段视频。

如上所述，本发明的具有以下有益效果：

可以筛选原始路测视频的标定准确率、将原始路测视频根据待检测的图像识别算法类别来分别建立新建系统任务，并将较长的新建系统任务分割成若干个子任务，分别分配给不同的工作用户，工作用户通过人工识别并标注出算法应该识别出的真值，审查工作用户标注的准确性后，将标注真值的子任务整合成整段的新建系统处理任务之后通过数据回放模块生成待检测算法监测该原始路测视频的检测结果与真值标注系统标注的检测结果之间对比的统计信息，本发明可以批量处理原始路测视频，运行待检测算法并比较运行结果的统计分析数据。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明真值标注系统的设置页面的示例图。

图2为本发明真值标注系统中原因设置的示例图。

图3为本发明真值标注系统中算法设置的示例图。

图4为本发明真值标注系统中训练设置的示例图。

图5为本发明真值标注系统中用户列表页面的示例图。

图6为本发明车载略数据处理系统中我的任务页面的示例图。

图7为本发明任务大厅页面的示例图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

参见图1～图7，真值标注系统，包括：

视频或图像上传和处理模块，用于将原始路测视频上传到真值标注系统，并根据视频或图像描述文件设置相应的视频属性、新建系统处理任务；

真值标注模块，用于将视频或图像上传和处理模块新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段处理后的新建系统处理任务。

作为优选实施例，还包括视频或图像分类模块，是在上传之前将录制的原始路测视频或捕获图像根据特定条件分类截取的工具，系统将分类截取的分类视频上传。

作为优选实施例，所述视频或图像分类模块按照特定条件进行分类截取时，原始路测视频分类截取的工具配合脚本执行的截取选择条件包括无速度信号段、无标定数据段、速度区间截取段、生成全景俯视视频段、检查帧率段。

作为优选实施例，所述视频或图像分类模块包括视频属性分类，所述视频属性包括传感器属性和录制车型属性。

作为优选实施例，还包括原始路测视频检测模块，在原始路测视频上传之前，检测原始路测视频的标定准确性，若标定准确性高于标定数据误差阈值，则数据回放模块弃用该原始路测视频；若标定准确性低于标定数据误差阈值，则该原始路测视频被上传。

例如：系统会在原始路测视频文件夹内生成一个Datalog文件夹，并生成一个topview文件夹，在原始路测视频文件夹中会生成真值标注文档和数据回放生成文档。在topview文件夹中会生成至少一组全景拼接图像，根据全景拼接图像的拼接接缝的误差值是否符合误差阈值来判断该段原始路测视频文件是否该被丢弃。

作为优选实施例，还包括标注属性设置模块，当真值标注模块的工作用户标注子任务真值前，先设置该子任务的标注属性，所述标注属性包括车道线属性、标注框属性；所述车道线属性包括车道线的颜色属性和车道线类型属性；所述标注框属性包括真值标注的标注类型属性和标注框颜色属性。

例如：下面一个例子就可以说明在子任务中标注应检测出来的车辆时，将需要标注出来的车辆所在的帧数标注出来标注框，在标注标注框时，将看到车辆的起始帧中该车辆的标注框标记为：

其中记录有该车辆标注框的左上起点坐标、右下终止点坐标、以及该图像的帧数值，其中geometryType为0表示起始标注框。

将看到车辆的结束帧中该车辆的标注框标记为：

其中记录有该车辆标注框的左上起点坐标、右下终止点坐标、以及该图像的帧数值，其中geometryType为2表示终止标注框。

如果车辆在该起始帧至结束帧中没有变速运动，则不在起始标注框和结束标注框中间增加中间标注框。如果车辆在该起始帧至结束帧中间有变速运动，则在变速运动的节点处增加中间标注框，例如，在下列实施例中，就是一个中间标注框的例子：

其中记录有该车辆标注框的左上起点坐标、右下终止点坐标、以及该图像的帧数值，其中geometryType为1表示中间标注框。

作为优选实施例，还包括真值标注审查模块，所述真值标注审查模块用于检测真值标注模块分配给不同工作用户子任务标注的准确性；当真值标注模块的工作用户把子任务标注真值，工作用户完成任务之后，先经过真值标注审查模块审查工作用户标注子任务的准确性，若工作用户标注子任务的准确性符合准确性阈值之后，真值标注模块再将子任务整合成整段的新建系统处理任务。

作为优选实施例，所述真值标注审查模块还包括描述文件审查模块，所述描述文件审查模块用于工作用户发现描述文件中的场景属性与子任务中真实的场景属性是否相符，真值标注模块给予工作用户修改该子任务视频或图像描述文件的权限，工作用户修改子任务视频或图像的描述文件后系统保存该描述文件。

作为优选实施例，还包括数据回放模块，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果，利用真值标注模块处理单一新建系统处理任务得出处理结果，以待测试的算法处理该单一新建系统处理任务得出的结果与真值标注模块处理该单一新建系统处理任务得出的结果比较，得到比较结果并评估该比较结果进而生成评估表单。

作为优选实施例，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果时，数据回放模块获取系统在真值标注前录入的视频属性、真值标注时录入的子任务场景属性以及真值标注时工作用户标注生成的标注信息，并将视频属性、场景属性和工作用户标注生成的标注信息整合生真值标注文档；所述真值标注文档内包含原始路测视频的编号、原始路测视频的ID、视频属性类型、标注类型、标注框的坐标信息、标注框所在帧数信息、图像识别算法的功能类型、项目类型、车辆摄像头型号参数、车辆镜头型号参数、车辆摄像头数量以及摄像头位置参数、时间段信息、路况信息中的一种或几种。

作为优选实施例，还包括数据统计模块，所述数据统计模块统计数据回放模块得出的评估表单，进而得到统计信息。

作为优选实施例，还包括工作训练模块，所述工作训练模块包括训练文档列表和训练文档的添加和删除操作栏，所述工作训练模块用于给新进入该系统的工作用户以工作训练示范。

作为优选实施例，还包括算法设置模块，所述算法设置模块包括目前系统可以检测的算法列表以及修改该算法列表的添加和删除栏。

作为优选实施例，所述统计信息包括按照原始路测视频统计的视频特性表、按照不同算法版本号逐一检测统计得到的准确率报警表和评估总表。

作为优选实施例，所述视频特性表包括序列号、Datalog名称、视频属性、视频类型、视频时间、标注总框数、总报警数统计、总丢失次数、总错误次数、左侧报警次数、左侧丢失次数、右侧报警次数、右侧丢失次数、说明文档中的一种或几种。

真值标注方法，其特征在于，包括以下步骤：

S01：将新建系统处理任务上传到真值标注系统，并根据视频或图像及其描述文件设置相应的场景属性；

S02：再将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段的新建系统处理任务。

在步骤S01之前还包括将录制的原始路测视频或捕获图像设置视频属性或图像属性，并根据特定条件将视频或图像分类并截取成新建系统处理任务的步骤。

作为优选实施例，所述步骤S01中录制的原始路测视频按照特定条件进行分类截取，原始路测视频分类截取的工具配合脚本执行的截取选择条件包括无速度信号段、无标定数据段、速度区间截取段、生成全景俯视视频段、检查帧率段中的一种或几种。

作为优选实施例，所述步骤S01中原始路测视频分类截取前，由原始路测视频中提取或人工填写视频属性，所述视频属性包括传感器属性和录制车型属性。

作为优选实施例，所述步骤S02中将新建系统处理任务上传到真值标注系统中时，包括以下步骤：

S021：创建真值标注系统上传记录；

S022：上传视频或者图像以及Datalog等信息到文件传输协议；

S023：压缩文件传输协议中的视频或者图像信息并上传。

作为优选实施例，所述步骤S02中根据视频或图像及其描述文件设置相应的场景属性，所述场景属性包括天气属性、时间段属性、行驶路况属性中的一种或几种。

作为优选实施例，所述步骤S03中，当真值标注模块的工作用户标注子任务真值前，先设置该子任务的标注属性，所述标注属性包括车道线属性、标注框属性；所述车道线属性包括车道线的颜色属性和车道线类型属性；所述标注框属性包括真值标注的标注类型属性和标注框颜色属性。

作为优选实施例，所述同一新建系统处理任务的标注框属性一致，工作用户设置标注类型属性和标注框颜色属性时，具有同一的标注类型模板和标注框颜色模板。

例如：当一新建系统处理任务视频中录入了小轿车、卡车、运输车、拖拉机、跑车、行人、自行车、三轮车时，这一个新建系统处理任务视频在分割成子任务并分配给工作用户之后，工作用户设置标注属性时，同一标注类型(比如同一辆小轿车)给予一致性的标注框且该标注框的颜色应当一致。

作为优选实施例，还包括真值标注审查步骤，所述真值标注审查步骤用于检测真值标注模块分配给不同工作用户子任务标注的准确性；当真值标注模块的工作用户把子任务标注真值，工作用户完成任务之后，先经过真值标注审查模块审查工作用户标注子任务的准确性，若工作用户标注子任务的准确性符合准确性阈值之后，真值标注模块再将子任务整合成整段的新建系统处理任务；若工作用户标注子任务的准确性不符合准确性阈值，则由真值标注审查模块将不符合准确性阈值的子任务返回至工作用户，真值标注审查模块给予该工作用户修改期限和/或错误标注描述。

作为优选实施例，所述真值标注审查模块对真值标注模块子任务的检测方式为逐一检测模式或者抽查模式；当所述真值标注审查模块对真值标注模块的检测方式为抽查模式的情况下，所述抽查子任务个数为至少两个。

作为优选实施例，所述步骤S03中，当工作用户将子任务标注真值时，可以同时查看子任务视频或图像的描述文件，当工作用户发现描述文件中的场景属性与子任务中真实的场景属性或算法属性不符时，真值标注模块给予工作用户修改该子任务视频或图像的描述文件的权限，工作用户修改子任务视频或图像的描述文件后系统保存该描述文件。

作为优选实施例，所述步骤S03中将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务可由抽取视频中的若干帧图像代替，在抽取视频中的图像时，需要保存抽取图像的时间戳和抽取图像所属的摄像头编码。

作为优选实施例，所述步骤S03中，将设置了场景属性的新建系统处理任务按照视频时间长短分割成若干子任务时，相邻时间段的子任务之间会有1～10秒的视频交叠区；所述分割的子任务整合成整段的新建系统处理任务时，真值标注模块将相邻时间段的子任务的视频交叠区中相同时间戳处捕获的图像中标注出的标注属性相对比，若标注属性一致，则将两个子任务以该相同时间戳捕获图像为接缝拟合；若标注属性不一致，则不拟合这两个子任务，并将两个子任务返回真值标注审查模块审查标注的准确性。

作为优选实施例，还包括步骤S04：利用待测试的算法处理步骤S01得到的新建系统处理任务得出处理结果，利用真值标注模块处理步骤S01得到的新建系统处理任务得出处理结果，以将两者结果比较，得到比较结果并评估该比较结果进而生成评估表单。

作为优选实施例，所述评估表单为视频特性表，视频特性表包括序列号、Datalog名称、视频属性、视频类型、视频时间、标注总框数、总报警数统计、总丢失次数、总错误次数、左侧报警次数、左侧丢失次数、右侧报警次数、右侧丢失次数、说明文档中的一种或几种。

作为优选实施例，还包括步骤S05：收集并筛选步骤S01获得的新建系统处理任务，得到带有特定条件视频属性的视频集合，通过真值标注模块生成的标注文档与运行待测试的算法得到处理结果对比信息综合视频属性信息和场景属性信息得到统计信息。

作为优选实施例，所述统计信息包括按照原始路测视频统计的视频特性表、按照不同算法版本号逐一检测统计得到的准确率报警表和评估总表。

作为优选实施例，所述准确率报警表包括序列号、Datalog名称、视频属性、视频类型和系统版本号，所述系统版本号包括系统架构版本号和算法版本号，所述系统版本号内包括子任务序列号栏、子任务场景属性栏、说明文档栏。

作为优选实施例，所述评估总表包括车型分类统计表、天气分类统计表、道路类型分类统计表、车辆类别分类统计表、时间段分类统计表、相对速度分类统计表中的一种或几种，所述评估总表的纵列包括总报警栏、丢失报警栏、错误报警栏、漏报率栏、误报率栏、比重、总时间栏中的一种或几种。

作为优选实施例，所述车型分类统计表包括B60X系列车型、Cowin系列车型、吉利博越系列车型、猎豹系列车型、Camry系列车型、E55系列车型、GS4系列车型等等一种或几种；所述天气分类统计表包括白天栏、夜晚栏、黄昏栏和总计栏；所述天气分类统计表包括晴天栏、阴天栏、雨天栏、雾天栏和雪天栏；所述道路类型分类统计表包括高速栏、城市道路栏；所述车辆类别分类统计表包括轿车栏、SUV栏、MPV栏、货车栏、卡车栏、巴士栏；所述时间段分类统计表以时间段分类视频；所述相对速度分类统计表以相对速度值的大小分段视频。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.真值标注系统，其特征在于，包括：

视频或图像上传和处理模块，用于将原始路测视频上传到真值标注系统，并根据视频或图像描述文件设置相应的视频属性、新建系统处理任务；

真值标注模块，用于将视频或图像上传和处理模块新建系统处理任务按照视频时间长短分割成若干子任务，并将子任务分配给不同工作用户，由工作用户将子任务标注真值，工作用户完成任务之后，再将子任务整合成整段处理后的新建系统处理任务；

真值标注审查模块，所述真值标注审查模块用于检测真值标注模块分配给不同工作用户子任务标注的准确性；当真值标注模块的工作用户把子任务标注真值，工作用户完成任务之后，先经过真值标注审查模块审查工作用户标注子任务的准确性，若工作用户标注子任务的准确性符合准确性阈值之后，真值标注模块再将子任务整合成整段的新建系统处理任务。

2.根据权利要求1所述的真值标注系统，其特征在于，所述真值标注模块设置场景属性的新建系统处理任务按照视频时间长短分割成若干子任务时，相邻时间段的子任务之间会有1～10秒的视频交叠区；所述分割的子任务整合成整段的新建系统处理任务时，真值标注模块将相邻时间段的子任务的视频交叠区中相同时间戳处捕获的图像中标注出的标注属性相对比判断是否拼接。

3.根据权利要求2所述的真值标注系统，其特征在于，所述真值标注模块按照视频时间长短分割的子任务可由抽取视频中的若干帧图像代替，在抽取视频中的图像时，需要保存抽取图像的时间戳和抽取图像所属的摄像头编码。

4.根据权利要求3所述的真值标注系统，其特征在于，还包括标注属性设置模块，当真值标注模块的工作用户标注子任务真值前，先设置该子任务的标注属性，所述标注属性包括车道线属性、标注框属性；所述车道线属性包括车道线的颜色属性和车道线类型属性；所述标注框属性包括真值标注的标注类型属性和标注框颜色属性。

5.根据权利要求1所述的真值标注系统，其特征在于，所述真值标注审查模块还包括描述文件审查模块，所述描述文件审查模块用于工作用户发现描述文件中的场景属性与子任务中真实的场景属性是否相符，真值标注模块给予工作用户修改该子任务视频或图像描述文件的权限，工作用户修改子任务视频或图像的描述文件后系统保存该描述文件。

6.根据权利要求5所述的真值标注系统，其特征在于，还包括数据回放模块，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果，利用真值标注模块处理单一新建系统处理任务得出处理结果，以待测试的算法处理该单一新建系统处理任务得出的结果与真值标注模块处理该单一新建系统处理任务得出的结果比较，得到比较结果并评估该比较结果进而生成评估表单。

7.根据权利要求6所述的真值标注系统，其特征在于，所述数据回放模块利用待测试的算法处理单一新建系统处理任务得出处理结果时，数据回放模块获取系统在真值标注前录入的视频属性、真值标注时录入的子任务场景属性以及真值标注时工作用户标注生成的标注信息，并将视频属性、场景属性和工作用户标注生成的标注信息整合生真值标注文档；所述真值标注文档内包含原始路测视频的编号、原始路测视频的ID、视频属性类型、标注类型、标注框的坐标信息、标注框所在帧数信息、图像识别算法的功能类型、项目类型、车辆摄像头型号参数、车辆镜头型号参数、车辆摄像头数量以及摄像头位置参数、时间段信息、路况信息中的一种或几种。

8.根据权利要求7所述的真值标注系统，其特征在于，还包括工作训练模块，所述工作训练模块包括训练文档列表和训练文档的添加和删除操作栏，所述工作训练模块用于给新进入该系统的工作用户以工作训练示范。

9.根据权利要求7所述的真值标注系统，其特征在于，还包括算法设置模块，所述算法设置模块包括目前系统可以检测的算法列表以及修改该算法列表的添加和删除栏。