CN106023622B - 一种确定红绿灯识别系统识别性能的方法和装置 - Google Patents

Abstract

本发明公开了一种确定红绿灯识别系统识别性能的方法和装置，该方法包括：接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。本方案实现了对红绿灯识别系统快速、准确和高效的评测，极大的降低了测试成本。

Description

一种确定红绿灯识别系统识别性能的方法和装置

技术领域

本发明实施例涉及计算机技术，尤其涉及一种评测红绿灯识别系统的方法和装置。

背景技术

随着人工智能的发展，智能汽车逐渐走进了大众的视野。智能汽车也称无人车，其通过车载传感器来感知车辆周围环境，车辆的中央控制系统根据传感器感知的道路和障碍物等信息综合控制车辆的转向和速度从而使车辆安全、可靠的在道路上行驶。

无人车在道路行驶过程中需要对红绿灯进行有效识别，具体的识别过程为：利用长焦摄像机采集红绿灯的视频图像，通过定位系统确定车辆当前的位置和姿态(朝向、旋转角等)，再通过查询高精地图以获取与当前路段和车辆姿态相关的红绿灯信息，最后再通过车辆的图像处理模块确定红绿灯的形状和开关状态并提供至车载控制系统。

无人车在行驶过程中能否正确识别红绿灯对行驶的安全性影响重大，故需要一套完备的测试方法和装置来测试无人车的红绿灯识别系统是否能够准确识别路口的红绿灯，有前述内容可知，无人车在进行红绿灯识别时需要借助于长焦摄像机、基于GPS(GlobalPositioning System，全球定位系统)/IMU(Inertial measurement unit，惯性测量单元)和雷达等设备的定位系统及高精地图数据，在测试过程中面临测试环境部署复杂且测试成本高昂和测试周期过长的问题。

发明内容

本发明提供了一种评测红绿灯识别系统的方法和装置，实现了对红绿灯识别系统快速、准确和高效的评测，极大的降低了测试成本。

第一方面，本发明实施例提供了一种确定红绿灯识别系统识别性能的方法，包括：

接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；

根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；

获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；

依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

第二方面，本发明实施例还提供了一种确定红绿灯识别系统识别性能的装置，包括：

视频信息处理模块，用于接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；

模拟生成模块，用于根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；

识别内容获取模块，用于获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；

识别性能确定模块，用于依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

本发明通过接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据，根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图，获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容，依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能，解决了测试过程中面临的测试环境部署复杂且测试成本高昂和测试周期过长的问题，实现了对红绿灯识别系统快速、准确和高效的评测，极大的降低了测试成本。

附图说明

图1为本发明实施例一提供的确定红绿灯识别系统识别性能的方法的流程图；

图2为本发明实施例二提供的确定红绿灯识别系统识别性能的方法的流程图；

图3为本发明实施例三提供的确定红绿灯识别系统识别性能的装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的确定红绿灯识别系统识别性能的方法的流程图，本实施例可适用于对红绿灯识别系统识别性能进行测试的情况，该方法可以由计算设备如服务器、智能终端或定制车载系统来执行。示例性的，该红绿灯识别系统可应用在无人车中，当无人车行驶在道路上时，需要通过红绿灯识别系统准确识别道路上的红绿灯，并根据红绿灯的指示确定是否行驶通过路口。

如图1所示具体包括如下步骤：

步骤101、接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据。

红绿灯识别系统用于识别出道路上的红绿灯及其指示状态，通常红绿灯设置在道路的十字路口、丁字路口或人行横道处，故为测试出红绿灯识别系统能否对道路上的红绿灯进行有效识别首先需要得到包含红绿灯的视频信息。本步骤中，接收采集的包含有红绿灯的视频信息，示例性的，该视频信息还包括红绿灯周围的环境信息，如红绿灯后方的房屋，红绿灯下方的道路和车辆等。

当接收到采集的包含有红绿灯的视频信息后，对该视频信息中的真值数据进行确定。其中，真值数据表示需要识别出的内容数据，由前述内容可知，该视频信息还包含有非红绿灯的视频内容，为了测试红绿灯系统的识别性能，需要预先确定出视频信息中的真值数据，再将该真值数据和红绿灯识别系统识别出的内容进行比对以判断红绿灯识别系统的识别性能。

步骤102、根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图。

车辆定位系统通常由GPS(Global Positioning System，全球定位系统)单元、IMU(Inertial Measurement Unit，惯性测量单元)和雷达等设备组成，通过获取GPS单元、IMU单元和雷达的参数即可得到车辆当前的行驶状态。高精地图中包含有大量的道路信息及道路周边的建筑物信息，和车辆配套使用的高精地图所包含的信息更为详尽，其中就包括详细的红绿灯信息，在高精地图中除了标注有红绿灯的具体位置外还标注了红绿的其它设施信息，如高度、形状和布局组合等。

当车辆在道路上行驶时，其搭载的红绿灯识别系统需要对道路上的红绿灯进行有效识别，在识别过程中其需要通过定位系统和高精地图来确定当前车辆是否行驶到路口，并采集到了包含有红绿灯信息的视频信息，当确定采集到包含红绿灯的视频信息后，红绿灯识别系统对该视频信息进行识别以得到当前红绿灯的指示信息，车辆根据该指示信息决策是否通过该路口。

可选的，根据车辆状态信息生成模拟定位系统包括：根据车辆的当前位置、朝向和旋转角模拟生成模拟定位系统。红绿灯识别系统在对红绿灯进行识别时，需要借助于定位系统来确定车辆的状态信息，如车辆的当前位置、朝向和旋转角，再配合高精地图查询红绿灯设施信息来确定当前采集的画面中存在红绿灯信息。本步骤中，由于车辆的状态信息在特定场景下为固定的静止信息，即在某一时刻车辆的位置、朝向和旋转角是固定的，此时根据该固定的位置、朝向和旋转角得到模拟定位系统，该模拟定位系统仅需要简单的代码脚本即可实现，极大的简化了对红绿灯识别系统的测试过程。

可选的，根据所述红绿灯的设施信息生成模拟高精地图包括：根据所述红绿灯的位置、形状、布局组合和开关状态模拟生成模拟高精地图。由于红绿灯处于不同的路段上，且各个路段的红绿灯设施信息并不一定相同，如红绿灯的高度、形状和空间位置均可能出现差异，故红绿灯识别系统在对红绿灯进行识别时，需要借助于高精地图来确定当前红绿灯的设施信息，再配合定位系统来确定当前采集的画面中存在红绿灯信息。故本步骤中，根据红绿灯的位置、形状、布局组合和开关状态模拟生成模拟高精地图供红绿灯识别系统读取，无需设置其它复杂内容，该模拟高精地图仅需要简单的代码脚本即可实现，极大的简化了对红绿灯识别系统的测试过程。

本方案中，在对红绿灯识别系统进行测试时，需要确定红绿灯识别系统是否能够识别出红绿灯信息，如前所述，该红绿灯识别系统需要定位系统和高精地图的信息输入，而定位系统和高精地图过于复杂，使得实际测试过程中效率低下，同时定位系统和高精地图的具体实现过程并不会影响到红绿灯系统对红绿灯本身的识别，故本步骤中根据车辆状态信息和红绿灯设施信息生成模拟定位系统和模拟高精地图供红绿灯识别系统使用。由于模拟定位系统和模拟高精地图仅用于红绿灯识别系统的测试，无需多余的复杂数据，在制作过程中仅涉及到单一车辆和红绿灯设施信息，故时间成本和经济成本都得以节省。

步骤103、获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容。

红绿灯识别系统对步骤101中的视频信息进行识别，示例性的，该视频信息可在步骤101中接收完毕后，发送至红绿灯识别系统以对同样的视频信息进行识别，识别过程中借助于步骤102中生成的模拟定位系统和模拟高精地图。本步骤中，获取红绿灯识别系统的识别内容，以用于后续比对处理。

步骤104、依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

本步骤中，依据步骤101中确定的真值数据和步骤103中获取的红绿灯识别系统的识别内容来确定所述红绿灯识别系统的识别性能，该识别性能表征了红绿灯识别系统对红绿灯进行识别的能力。

示例性的，可将识别内容中的具体数据和真值数据进行单独对比以得到红绿灯系统的识别性能。具体的，如识别内容包括红绿灯的形状为圆形，红绿灯的组合为横向组合，红绿灯的高度为6米，而真实数据中该红绿灯的形状记录为圆形，组合记录为横向组合，高度记录为6米，则可认定红绿灯识别系统识别出了该红绿灯。

本实施例的技术方案，解决了测试过程中面临的测试环境部署复杂且测试成本高昂和测试周期过长的问题，实现了对红绿灯识别系统快速、准确和高效的评测，极大的降低了测试成本。

在上述技术方案的基础上，确定所述视频信息的真值数据包括：接收用户在所述视频信息中的标注信息，将所述标注信息作为真值数据。示例性的，用户可在视频信息中进行标注，并相应的录入标注内容所对应的标注信息。举例而言，对视频信息中的红绿灯进行标注，并录入该红绿灯的形状、布局组合和高度位置等作为真值数据。该方式确定的真值数据准确度较高，由于需要人工标注，当测试红绿灯识别系统性能时采集的视频信息量不是十分庞大时，该方式的效率相对较高。可选的，该确定视频信息的真值数据的方式还可以是利用机器学习算法，对获取的视频信息进行特征提取，通过对大量视频信息的机器学习以得到真值数据，该方式可适用于视频信息量非常庞大的情况。

实施例二

图2为本发明实施例二提供的确定红绿灯识别系统识别性能的方法的流程图，本实施例在实施例一的基础上，给出了一种具体的对红绿灯视频图像进行采集并对红绿灯识别系统识别性能进行测试得到识别性能的方法。如图2所示，具体包括：

步骤201、接收通过摄像装置在指定场景采集的包含有红绿灯的视频信息，并对所述视频信息进行虚拟化处理得到预设场景下的红绿灯视频信息。

示例性的，该摄像装置固定在指定场景中以采集视频信息，同时用于模拟真实车辆在行驶过程中对视频信息的采集过程，该指定场景根据实际的评测需求而定。该评测需求包括但不限于红绿灯设施位置、形状、大小、高度和数量，车辆距离红绿灯设施的距离，天气信息，光照强度和光照方向等。其中，通过虚拟化处理可得到预设场景下的红绿灯视频信息。示例性的，通过对采集的视频信息进行下雨天模拟的虚拟化处理以得到下雨天的红绿灯视频信息。本步骤中将摄像装置放置于不同场景下采集视频信息，并对视频信息进行虚拟化处理以得到多维度的包含红绿灯的视频信息用于红绿灯识别系统识别，提高了在确定红绿灯识别系统识别性能时的准确性和稳定性。

步骤202、根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图。

本步骤中，在根据车辆状态信息生成模拟定位系统时，可根据步骤101中的摄像装置的具体位置和拍摄角度来模拟车辆状态信息，示例性的，该拍摄装置距离红绿灯设施为20米，则车辆状态信息中距离红绿灯的位置相应设置为20米，该摄像装置朝向的方向相应的为车辆状态信息中朝向的方向，由此可通过摄像装置的参量信息代替车辆状态信息来生成模拟定位系统。

该摄像装置处于静止状态，其采集到的红绿灯设施也是固定的，在生成模拟定位系统和模拟高精地图时十分简便，使得确定红绿灯识别系统识别性能的流程大幅简化。

步骤203、获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容。

步骤204、依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

本实施例的技术方案，解决了确定红绿灯识别系统识别性能方式单一的问题，同时进一步简化了确定红绿灯识别系统识别性能的流程。

在上述各个实施例的基础上，所述真值数据和所述识别内容包括所述红绿灯的位置、大小、高度、形状、数量、颜色和亮灭状态中的至少一种。本领域技术人员可知，还可根据实际测试需求相应的添加其它和红绿灯有关的参数信息。

在上述各个实施例的基础上，所述识别性能包括识别准确率、召回率和抗干扰率中的至少一种。其中，识别准确率表征红绿灯识别系统识别出的红绿灯识别内容和真值数据是否一致，示例性的，若红绿灯的形状为圆形，其相应的识别内容中识别出的形状也为圆形，则认为识别准确，将各个参数逐一对比，根据比对是否一致来得到识别准确率。召回率表征了红绿灯识别系统中识别内容的种类是否完全，示例性的，该红绿灯的真值数据包括6中类别，而通过红绿灯识别系统识别出的识别内容中仅包含3中类别，则可认定其召回率为50％。抗干扰率表征了红绿灯识别系统在不同环境(如雨天、大雪或大雾)下对红绿灯进行识别时的抗干扰能力。本步骤通过多个参数表征确定出的红绿灯识别系统的识别性能，评测结果更加全面。

实施例三

图3为本发明实施例三提供的确定红绿灯识别系统识别性能的装置的结构图，具体包括：

视频信息处理模块1，用于接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；

模拟生成模块2，用于根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；

识别内容获取模块3，用于获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；

识别性能确定模块4，用于依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

本实施例的技术方案，通过接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据，根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图，获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容，依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能，解决了测试过程中面临的测试环境部署复杂且测试成本高昂和测试周期过长的问题，实现了对红绿灯识别系统快速、准确和高效的评测，极大的降低了测试成本。

在上述技术方案的基础上，所述视频信息处理模块1具体用于：接收通过摄像装置在指定场景采集的包含有红绿灯的视频信息，并对所述视频信息进行虚拟化处理得到预设场景下的红绿灯视频信息。

在上述技术方案的基础上，所述模拟生成模块2具体用于：根据车辆的当前位置、朝向和旋转角模拟生成模拟定位系统。

在上述技术方案的基础上，所述模拟生成模块2具体用于：根据所述红绿灯的位置、形状、布局组合和开关状态模拟生成模拟高精地图。

在上述技术方案的基础上，所述视频信息处理模块1具体用于：接收用户在所述视频信息中的标注信息，将所述标注信息作为真值数据。

在上述技术方案的基础上，所述真值数据和所述识别内容包括所述红绿灯的位置、大小、高度、形状、数量、颜色和亮灭状态中的至少一种。

在上述技术方案的基础上，所述识别性能包括识别准确率、召回率和抗干扰率中的至少一种。

上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种确定红绿灯识别系统识别性能的方法，其特征在于，包括：

接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；

根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；

获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；

依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

2.根据权利要求1所述的方法，其特征在于，接收采集的包含有红绿灯的视频信息包括：

接收通过摄像装置在指定场景采集的包含有红绿灯的视频信息，并对所述视频信息进行虚拟化处理得到预设场景下的红绿灯视频信息。

3.根据权利要求1所述的方法，其特征在于，根据车辆状态信息生成模拟定位系统包括：

根据车辆的当前位置、朝向和旋转角模拟生成模拟定位系统。

4.根据权利要求1所述的方法，其特征在于，根据所述红绿灯的设施信息生成模拟高精地图包括：

根据所述红绿灯的位置、形状、布局组合和开关状态模拟生成模拟高精地图。

5.根据权利要求1所述的方法，其特征在于，确定所述视频信息的真值数据包括：

接收用户在所述视频信息中的标注信息，将所述标注信息作为真值数据。

6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述真值数据和所述识别内容包括所述红绿灯的位置、大小、高度、形状、数量、颜色和亮灭状态中的至少一种。

7.根据权利要求1-5中任意一项所述的方法，其特征在于，所述识别性能包括识别准确率、召回率和抗干扰率中的至少一种。

8.一种确定红绿灯识别系统识别性能的装置，其特征在于，包括：

视频信息处理模块，用于接收采集的包含有红绿灯的视频信息，确定所述视频信息的真值数据；

模拟生成模块，用于根据车辆状态信息生成模拟定位系统，根据所述红绿灯的设施信息生成模拟高精地图；

识别内容获取模块，用于获取红绿灯识别系统根据所述视频信息、所述模拟定位系统和所述模拟高精地图得到的识别内容；

识别性能确定模块，用于依据所述真值数据和所述识别内容确定所述红绿灯识别系统的识别性能。

9.根据权利要求8所述的装置，其特征在于，所述视频信息处理模块具体用于：

接收通过摄像装置在指定场景采集的包含有红绿灯的视频信息，并对所述视频信息进行虚拟化处理得到预设场景下的红绿灯视频信息。

10.根据权利要求8所述的装置，其特征在于，所述模拟生成模块具体用于：

根据车辆的当前位置、朝向和旋转角模拟生成模拟定位系统。

11.根据权利要求8所述的装置，其特征在于，所述模拟生成模块具体用于：

根据所述红绿灯的位置、形状、布局组合和开关状态模拟生成模拟高精地图。

12.根据权利要求8所述的装置，其特征在于，所述视频信息处理模块具体用于：

接收用户在所述视频信息中的标注信息，将所述标注信息作为真值数据。

13.根据权利要求8-12中任意一项所述的装置，其特征在于，所述真值数据和所述识别内容包括所述红绿灯的位置、大小、高度、形状、数量、颜色和亮灭状态中的至少一种。

14.根据权利要求8-12中任意一项所述的装置，其特征在于，所述识别性能包括识别准确率、召回率和抗干扰率中的至少一种。