CN110580808A - 一种信息处理方法、装置、电子设备及智能交通系统 - Google Patents

Abstract

本申请提供一种信息处理方法、装置、电子设备及智能交通系统，该方法包括：基于视频检测方式识别视频图像中的人行信号灯的状态；基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；若存在，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。该方法可以提高闯红灯行为检测的检出率和有效率，扩展方案的应用场景。

Description

一种信息处理方法、装置、电子设备及智能交通系统

技术领域

本申请涉及智能交通技术，尤其涉及一种信息处理方法、装置、电子设备及智能交通系统。

背景技术

视频分析技术在各行各业都得到了广泛的应用，基于视频分析的智能交通系统也得到了飞速的发展。智能交通系统通过前端视频设备采集交通场景的视频图像，通过前端或后端视频分析系统对交通场景的视频图像进行分析，获取交通场景中车辆、行人、非机动车的行进轨迹和状态，并根据相关的交通事件规则对交通违法事件进行抓拍和取证，为交通管理部门优化管理提供数据支撑。

路口场景因交通参与者众多、类型复杂，交通参与者行进的规范与否，对整体交通顺畅影响越来越明显，针对行人和非机动车闯红灯违法行为进行抓拍和取证，对于规范行人和非机动车出行也显得越来越重要了。

发明内容

有鉴于此，本申请提供一种信息处理方法、装置、电子设备及智能交通系统。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种信息处理方法，包括：

基于视频检测方式识别视频图像中的人行信号灯的状态；

基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；

若存在，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。

可选的，所述基于视频检测方式识别视频图像中的人行信号灯的状态，以及所述基于深度学习算法对视频图像进行目标检测之前，还包括：

对视频图像进行预处理；

所述基于视频检测方式识别视频图像中的人行信号灯的状态，包括：

基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

所述基于深度学习算法对视频图像进行目标检测，包括：

基于深度学习算法对预处理后的视频图像进行目标检测。

可选的，所述对视频图像进行预处理包括以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

可选的，所述根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，包括：

对于视频图像中任一目标，根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息；

根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为。

可选的，所述根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为，包括：

若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

可选的，所述根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为，还包括：

若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势，并进行预警提示。

可选的，所述将存在闯红灯行为的目标的人脸图像发送至后端服务器，包括：

对于任一存在闯红灯行为的目标，分别从包括该目标的预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；

基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

基于深度学习算法对各人脸图像进行图像质量评分，并将评分最高的人脸图像发送至后端服务器。

可选的，所述基于深度学习算法对各人脸图像进行图像质量评分，包括：

根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

根据本申请实施例的第二方面，提供一种信息处理装置，应用于智能交通系统中的前端视频采集设备，其特征在于，所述装置包括：

信号灯状态检测单元，用于基于视频检测方式识别视频图像中的人行信号灯的状态；

目标检测单元，用于基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

行为判定单元，用于根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；

通信单元，用于若存在目标闯红灯行为，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。

可选的，所述装置还包括：

预处理单元，用于对视频图像进行预处理；

所述信号灯状态检测单元，基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

所述目标检测单元，基于深度学习算法对预处理后的视频图像进行目标检测。

可选的，所述预处理单元，具体用于对视频图像进行以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

可选的，所述目标检测单元，还用于对于视频图像中任一目标，根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息；

所述行为判定单元，具体用于根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为。

可选的，所述行为判定单元，具体用于若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

可选的，所述行为判定单元，若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势；

所述装置还包括：

预警提示单元，用于当确定目标存在闯红灯趋势时，进行预警提示。

可选的，所述装置还包括：

人脸检测单元，用于对于任一存在闯红灯行为的目标，分别从包括该目标的预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

人脸图像评分单元，用于基于深度学习算法对各人脸图像进行图像质量评分；

所述通信单元，具体用于将评分最高的人脸图像发送至后端服务器。

可选的，所述人脸图像评分单元，具体用于根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述信息处理方法。

根据本申请实施例的第四方面，提供一种智能交通系统，包括前端视频采集设备和后端服务器；其中：

所述视频采集设备，用于基于视频检测方式识别视频图像中的人行信号灯的状态；

所述视频采集设备，还用于基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

所述视频采集设备，还用于根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；若存在，则将存在闯红灯行为的目标的人脸图像发送至所述后端服务器；

所述后端服务器，用于当接收到所述视频采集设备发送的所述存在闯红灯行为的目标的人脸图像时，生成针对该目标的闯红灯取证信息。

本申请实施例的信息处理方法，通过基于视频检测方式识别视频图像中的人行信号灯的状态，并基于深度学习算法对视频图像进行目标检测，进而，根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，若存在，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由后端服务器生成针对该目标的闯红灯取证信息，提高了闯红灯行为检测的检出率和有效率，扩展了方案的应用场景。

附图说明

图1是本申请一示例性实施例示出的一种智能交通系统的架构示意图；

图2是本申请一示例性实施例示出的一种信息处理方法的流程图；

图3是本申请一示例性实施例示出的一种具体应用场景的示意图；

图4A是本申请一示例性实施例示出的一种智能摄像机的结构示意图；

图4B是本申请一示例性实施例示出的一种GPU的结构示意图；

图4C是本申请一示例性实施例示出的一种CPU的结构示意图；

图5是本申请一示例性实施例示出的一种信息处理装置的结构示意图；

图6是本申请又一示例性实施例示出的一种信息处理装置的结构示意图；

图7是本申请又一示例性实施例示出的一种信息处理装置的结构示意图；

图8是本申请又一示例性实施例示出的一种信息处理装置的结构示意图；

图9是本申请一示例性实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面先对本申请适用的系统架构进行简单说明。

请参见图1，为本申请实施例提供的一种智能交通系统的架构示意图，如图1所示，该智能交通系统包括通过网络连接的前端视频采集设备和后端服务器，其中：

前端视频采集设备可以采集人行横道区域的视频图像，其中，该前端视频采集设备的视场内可以包括经过人行横道区域的行人、非机动车以及机动车等，以及人行横道区域内部署的人行信号灯。

一方面，前端视频采集设备可以基于视频检测方式识别所采集的视频图像中的人行信号灯的状态；其中，人行信号灯的状态可以包括红灯状态、绿灯状态或黄灯状态。

另一方面，前端视频采集设备可以基于深度学习算法对所采集的视频图像进行目标检测，得到目标检测数据；其中，该目标可以包括行人或非机动车。

前端设备可以根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，并当存在时，将存在闯红灯行为的目标的人脸图像发送至后端服务器，由后端服务器生成针对该目标的闯红灯取证数据。

需要说明的是，图1仅示出了前端视频采集设备与后端服务器的连接关系，但二者之间的具体连接方式并未示出，例如，前端视频采集设备与后端服务器之间可以通过网络交换机、网线等实现连接。

为了使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图2，为本申请实施例提供的一种信息处理方法的流程示意图，其中，该信息处理方法可以应用于智能交通系统中的前端视频采集设备(下文中以智能摄像机为例)，如图2所示，该方法可以包括以下步骤：

步骤S200、基于视频检测方式识别视频图像中的人行信号灯的状态。

本申请实施例中，对于智能摄像机所采集的每一帧视频图像，智能摄像机均可以基于视频检测方式识别该视频图像中的人行信号灯的状态，以确定当前人行信号灯为红灯状态、绿灯状态或黄灯状态。

步骤S210、基于深度学习算法对视频图像进行目标检测，得到目标检测数据；其中，该目标包括行人或非机动车。

本申请实施例中，对于智能摄像机所采集的每一帧视频图像，智能摄像机可以基于深度学习算法对视频图像进行目标检测，以检测该视频图像中存在的行人或非机动车。

需要说明的是，智能摄像机基于深度学习算法对视频图像进行目标检测时，可以采用头肩模型进行检测，其具体实现在此不做赘述。

需要说明的是，在本申请实施例中，步骤S200和步骤S210之间并不存在必然的时序关系，即可以按照上述方法流程中所描述的先执行步骤S200中的操作，后执行步骤S210中的操作；或者，也可以先执行步骤S210中的操作，后执行步骤S200中的操作；或者，还可以并发执行步骤S200和步骤S210中的操作。

在一个示例中，为了降低智能摄像机的负荷，智能摄像机可以在检测到人行信号灯的状态为红灯状态时，再进行目标检测，其具体实现在此不做赘述。

在本申请其中一个实施例中，上述基于深度学习算法对视频图像进行目标检测，以及所述基于深度学习算法对视频图像进行目标检测之前，还可以包括：

对视频图像进行预处理；

相应地，上述基于视频检测方式识别视频图像中的人行信号灯的状态，可以包括：

基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

上述基于深度学习算法对视频图像进行目标检测，可以包括：

基于深度学习算法对预处理后的视频图像进行目标检测。

在该实施例中，对于智能摄像机所采集的每一帧视频图像，智能摄像机在进行目标检测以及人行信号灯状态识别之前，可以对该视频图像进行预处理。

例如，智能摄像机可以对该视频图像进行以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

具体地，为了提高人行信号灯状态识别以及目标检测的准确率，并降低人行信号灯状态识别以及目标检测的性能需求，智能摄像机采集到视频图像之后，在进行人行信号灯状态识别以及目标检测之前，一方面可以通过降噪和滤波处理减少噪声干扰，以提高目标检测的准确率；另一方面，可以通过格式转换处理将视频图像转换为智能摄像机进行目标检测时能够处理的格式，进而，通过降采样处理降低视频图像的分辨率，减小视频图像的大小，以降低目标检测对智能摄像机的性能需求。

在该实施例中，智能摄像机对视频图像进行预处理之后，可以基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态，并基于深度学习算法对预处理后的视频图像进行目标检测。

步骤S220、根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为。若是，转至步骤S230；否则，结束当前流程。

本申请实施例中，智能摄像机可以根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，即是否存在行人或非机动车闯红灯。

在本申请其中一个实施例中，上述根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，包括：

对于视频图像中任一目标，根据包括该目标的连续预设数量视频图像的目标检测数据确定该目标的行动轨迹信息；

根据该目标的行动轨迹信息以及人行信号灯的状态确定该目标是否存在闯红灯行为。

在该实施例中，对于智能摄像机所采集的任一帧视频图像中的任一目标，智能摄像机可以根据包括该目标的视频图像的目标检测数据确定该目标在该视频图像中的位置变化情况，进而，确定该目标的行动轨迹信息。

智能摄像机确定了目标的行动轨迹信息之后，可以根据该目标的行动轨迹信息以及人行信号灯的状态确定目标是否存在闯红灯行为。

在该实施例的一种实施方式中，上述根据该目标的行动轨迹信息以及人行信号灯的状态确定该目标是否存在闯红灯行为，包括：

若人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道区域的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

在该实施方式中，对于任一目标，智能摄像机确定了该目标的行动轨迹信息之后，可以根据该目标的行动轨迹信息以及人行信号灯的实时状态，确定该目标是否在红灯状态进入人行横道区域，且与人行横道的起始位置的距离是否大于预设距离阈值(可以根据实际场景设定，如人行横道区域的总长的一半)；若是，即目标在红灯状态进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

其中，目标在红灯状态下进入人行横道区域是指目标在人行信号灯由黄灯状态切换为红灯状态之后，才从人行横道区域之外进入人行横道区域；智能摄像机确定目标与人行横道的起始位置的距离是否大于预设距离阈值时，可以将所检测到的该目标在红灯状态下进入人行横道区域之后，与人行横道的起始位置的最大距离与预设距离阈值进行比较，若该最大距离大于预设距离阈值，则确定目标与人行横道的起始位置的距离大于预设举例阈值。

进一步地，在该实施方式中，考虑到目标在红灯状态下进入人行横道区域的情况会目标未注意到红灯或未意识到正要闯红灯的情况，因此，智能摄像机可以自动检测目标是否存在闯红灯趋势，并对存在闯红灯趋势的目标进行预警提示。

相应地，在该实施方式中，上述根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息之后，还可以包括：

若人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势，并进行预警提示。

具体地，当智能摄像机检测到目标在红灯状态下进入人行横道区域，但其与人行横道的起始位置的距离小于等于预设距离阈值时，智能摄像机可以确定该目标存在闯红灯趋势，此时，智能摄像机可以进行预警提示。例如，智能摄像机可以通过语音喇叭或/显示屏输出预警提示消息，如“请不要闯红灯”。

其中，当存在预警提示显示屏时，智能摄像机还可以将存在闯红灯趋势的目标的图像显示在显示屏中。

需要说明的是，在本申请实施例中，上述确定目标是否存在闯红灯行为的实现方式仅仅是智能摄像机确定目标是否存在闯红灯行为的一种具体示例，而不是对本申请保护范围的限定，在本申请实施例中，智能摄像机也可以通过其它方式确定目标是否存在闯红灯行为，例如，智能摄像机可以在检测到目标在红灯状态下进入人行横道区域就确定目标存在闯红灯行为，其具体实现在此不做赘述。

步骤S230、将存在闯红灯行为的目标的人脸图像发送至后端服务器，由后端服务器生成针对该目标的闯红灯取证信息。

本申请实施例中，智能摄像机确定存在目标闯红灯行为之后，可以获取存在闯红灯行为的目标的人脸图像(如人脸特写图)，并将该人脸图像发送至后端服务器。

其中，当目标为非机动车时，目标的人脸图像可以指非机动车驾驶员的人脸图像。

例如，智能摄像机可以向后端服务器发送携带该人脸图像的闯红灯通知消息。

后端服务器接收到智能摄像机发送的存在闯红灯行为的目标的人脸图像之后，可以根据将该人脸图像在第三方人脸数据库(例如，交通系统人脸数据库、公安系统人脸数据库)进行匹配，以确定目标的身份信息(如与人脸图像匹配的驾驶证信息或身份证信息中包括的目标的身份信息)，并生成闯红灯取证信息。

其中，该闯红灯取证信息可以包括但不限于目标的姓名、身份证号、闯红灯时间(可以为接收到智能摄像机发送的人脸图像的时间)、闯红灯位置(可以为发送该人脸图像的智能摄像机的部署位置)、闯红灯过程中的预设数量的视频图像或视频等。

本申请实施例中，考虑到人脸图像中人脸的角度、尺度对于人脸匹配算法准确率的影响，智能摄像机确定目标存在闯红灯行为之后，可以分别对多帧包括该目标的视频图像进行针对该目标的人脸检测，以得到多张该目标的人脸图像，并对该多张人脸图像进行图像质量评分，进而，将评分最高的人脸图像作为用于进行人脸匹配的人脸图像，并将其发送给后端服务器。

相应地，在本申请其中一个实施例中，上述将存在闯红灯行为的目标的人脸图像发送至后端服务器，可以包括：

对于任一存在闯红灯行为的目标，分别从包括该目标的连续预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；

基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

基于深度学习算法对各人脸图像进行图像质量评分，并将评分最高的人脸图像发送至后端服务器。

在该实施例中，智能摄像机确定存在闯红灯行为的目标之后，对于任一存在闯红灯行为的目标，智能摄像机可以分别从包括该目标的预设数量(可以根据实际场景设定，如5帧、10帧等)视频图像中截取该目标的小图，并对所截取的小图进行拼接，以得到该目标的拼接图。

其中，小图是指从一帧视频图像中截取的包括指定目标的区域的图像。

在得到目标的拼接图之后，智能摄像机可以基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像，并基于深度学习算法对各人脸图像进行图像质量评分。

在一个示例中，智能摄像机可以根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

在该实施例中，智能摄像机得到各人脸图像的评分之后，可以将评分最高的人脸图像发送至后端服务器，由后端服务器根据该评分最高的人脸图像进行人脸匹配，以提高人脸匹配的准确率，进而，提高闯红灯取证数据的可靠性。

需要说明的是，在该实施例中，为了实现人脸图像评分，可以预先采用上述人脸评分参数进行深度学习的样本标定和人脸图像评分模型训练，并利用训练好的人脸评分模型对上述人脸图像进行图像质量评分，其具体实现在此不做赘述。

可见，在图2所示的方法流程中，通过基于深度学习算法对视频图像进行目标检测，提高了目标检测的检出率和有效率，进而提高了闯红灯行为检测的检出率和有效率；此外，通过基于视频检测方式识别视频图像中的人行信号灯的状态，不需要外接信号灯信号机提供红绿灯信号，减少硬件设备，降低了方案应用成本，扩展了方案的应用场景；再者，通过引入人脸评分机制，提高了人脸匹配的准确率，相应地提高了身份识别的准确性，进而，提高了闯红灯取证数据的可靠性。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体应用场景对本申请实施例提供的技术方案进行说明。

请参见图3，为本申请实施例提供的一种应用场景的架构示意图，如图3所示，该应用场景中包括后端服务器、智能摄像机(微型摄像机)以及语音喇叭或/和显示屏。

智能摄像机实时采集路口人行横道区域的视频图像，并利用自身嵌入的处理器对视频图像进行实时分析、处理；对视场中存在行人闯红灯嫌疑的目标，智能摄像机发出预警信号通过网络传出去；对于预警后仍继续闯红灯的目标，缓存闯红灯的过程图片或视频片断，并提取最合适的人脸图像，通过网络传输至后端服务器。

后端服务器接收前端摄像机传输过来的违章图片和视频片断，并将人脸特写图与第三方人脸数据库进行比对，确定闯红灯目标行人的身份，形成完整的违法取证数据，并进行保存。

语音提示喇叭或显示屏接收智能摄像机传过来的提示信号，循环播报安全过街提示信息。

其中，图3所示应用场景中智能摄像机的结构示意图可以如图4A所示，该智能摄像机包括GPU(Graphics Processing Unit，图像处理器)、CPU(Central Processing Unit，中央处理器)、CCD(Charge-coupled Device，电荷耦合元件)、DDR(Double Data Rate，双倍速率)存储模块和通信模块；其中，GPU、CPU、CCD、DDR存储模块以及通信模块之间可以通过系统总线通信。

CCD采集路口场景图像，输出所采集的图像数据至DDR存储模块。

GPU从DDR中读取场景的实时图像，进行图像预处理并缓存至DDR中，包括图像格式转换、降采样处理等；采用深度学习算法进行行人检测，将行人检测数据传输至DDR存储模块。

CPU从DDR中读取实时的图像和行人检测数据，结合历史行人检测数据建立相应的行人目标，并对行人目标进行跟踪；并利用跟踪形成的目标轨迹信息，结合视频信号灯检测获取的信号灯状态信息，分析是否存在行人闯红灯趋势或违法行为；对于存在闯红灯趋势的嫌疑目标，给出预警提示信号标志传输至DDR中；对于存在闯红灯违法行为的目标，给出确认违章信号和违章目标相关信息，并缓存相应的过程图片和时间点至DDR中。

GPU从DDR中读取行人闯红灯违章确认信号，在确认违章的情况下，利用违章目标位置信息从实时图像中截取若干帧对应行人目标小图进行拼接，对拼截图像进行深度学习的人脸检测和人脸评分，挑选出最合适的人脸图像传输至DDR存储模块。

请参见图4B和图4C，在该实施例中，GPU可以包括图像预处理模块、行人目标检测模块、人脸检测模块以及人脸评分模块；CPU可以包括行人目标跟踪模块、信号灯检测模块以及事件分析模块。

在该实施例中，以行人闯红灯检测为例，其具体实现流程如下：

智能摄像机可以通过CCD采集路口场景的实时图像，并将所采集的实时图像数据保存至DDR存储模块。

GPU的图像预处理模块可以从DDR存储模块中读取场景的实时图像，进行图像预处理并保存至DDR中，其中，该图像预处理可以包括降噪、滤波、图像格式转换、降采样处理等。

GPU的行人目标检测模块可以从DDR存储模块中读取预处理后的实时图像，采用深度学习算法进行行人检测，获取行人检测数据，包括行人位置、行人类别(正常行走、非机动车、机动车内行人或车身印刷的行人等)，并将行人检测数据保存至DDR存储模块。

CPU的行人目标跟踪模块可以从DDR存储模块中读取实时图像和行人检测数据，结合历史行人检测数据建立相应的行人目标，并对行人目标进行跟踪，确定行人目标轨迹信息，并将行人目标轨迹信息保存至DDR存储模块。

CPU的信号灯检测模块可以从DDR存储模块中读取预处理后的实时图像，进行信号灯检测、分类，确定人行信号灯的状态，并将人行信号灯状态信息保存至DDR存储模块。

CPU的事件分析模块可以从DDR存储模块中读取行人目标轨迹信息和信号灯状态信息，结合行人闯红灯事件规则，分析当前行人目标是否存在闯红灯趋势或闯红灯行为。

其中，对于存在闯红灯趋势的行人目标，输出预警提示信号标志至DDR存储模块中；对于存在闯红灯行为的行人目标，给出确认违章确认信号和违章目标相关信息，并保存相应的过程图片和时间点至DDR存储模块。

GPU的人脸检测模块可以从DDR存储模块中读取违章确认信号，针对确认闯红灯的行人目标进行行人目标小图截取；连续收集若干帧目标行人小图后，对小图进行拼接，并对拼接图进行人脸检测和位置关联，获取每张小图对应行人目标的人脸图像，将人脸图像和相关序列信息保存至DDR存储模块。

GPU的人脸评分模块可以从DDR存储模块中读取序列人脸图像，依据人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度等参数，对各人脸图像进行图像质量评分，选取评分最高的人脸图像作为人脸特写图保存至DDR存储模块。

通信模块可以从DDR存储模块中读取人脸特写图，并传输至后端服务器，由后端服务器进行人脸匹配，以确定存在闯红灯行为的行人目标的身份信息。

其中，通信模块还可以将存在闯红灯行为的行人目标的闯红灯的过程图片或/和视频片断传输至后端服务器，由后端服务器根据该过程图片或/和视频片段，以及上述身份信息，生成闯红灯取证信息。

通信模块还可以从DDR存储模块中读取预警提示信号标志，并传输至语音喇叭或/和显示屏，由语音喇叭或/和显示屏循环播报安全过街提示信息。

本申请实施例中，通过基于视频检测方式识别视频图像中的人行信号灯的状态，并基于深度学习算法对视频图像进行目标检测，进而，根据目标检测数据以及人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，若存在，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由后端服务器生成针对该目标的闯红灯取证信息，提高了闯红灯行为检测的检出率和有效率，扩展了方案的应用场景。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图5，为本申请实施例提供的一种信息处理装置的结构示意图，其中，该信息处理装置可以应用于图1所示智能交通系统中的前端视频采集设备，如图5所示，该信息处理装置可以包括：

信号灯状态检测单元510，用于基于视频检测方式识别视频图像中的人行信号灯的状态；

目标检测单元520，用于基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

行为判定单元530，用于根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；

通信单元540，用于若存在目标闯红灯行为，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。

在一种可选的实施方式中，如图6所示，所述装置还包括：

预处理单元550，用于对视频图像进行预处理；

所述信号灯状态检测单元510，基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

所述目标检测单元520，基于深度学习算法对预处理后的视频图像进行目标检测。

在一种可选的实施方式中，所述预处理单元550，具体用于对视频图像进行以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

在一种可选的实施方式中，所述目标检测单元520，还用于对于视频图像中任一目标，根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息；

所述行为判定单元530，具体用于根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为。

在一种可选的实施方式中，所述行为判定单元530，具体用于若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

在一种可选的实施方式中，所述行为判定单元530，若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势；

如图7所示，所述装置还包括：

预警提示单元560，用于当确定目标存在闯红灯趋势时，进行预警提示。

在一种可选的实施方式中，如图8所示，所述装置还包括：

人脸检测单元570，用于对于任一存在闯红灯行为的目标，分别从包括该目标的预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

人脸图像评分单元580，用于基于深度学习算法对各人脸图像进行图像质量评分；

所述通信单元540，具体用于将评分最高的人脸图像发送至后端服务器。

在一种可选的实施方式中，所述人脸图像评分单元580，具体用于根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

请参见图9，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器901、通信接口902、存储器903和通信总线904。处理器901、通信接口902以及存储器903通过通信总线904完成相互间的通信。其中，存储器903上存放有计算机程序；处理器901可以通过执行存储器903上所存放的程序，执行上文描述的信息处理方法。

本文中提到的存储器903可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器902可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

本申请实施例还提供了一种存储有计算机程序的机器可读存储介质，例如图9中的存储器903，所述计算机程序可由图9所示电子设备中的处理器901执行以实现上文描述的信息处理方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (18)

1.一种信息处理方法，应用于智能交通系统中的前端视频采集设备，其特征在于，所述方法包括：

基于视频检测方式识别视频图像中的人行信号灯的状态；

基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；

若存在，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。

2.根据权利要求1所述的方法，其特征在于，所述基于视频检测方式识别视频图像中的人行信号灯的状态，以及所述基于深度学习算法对视频图像进行目标检测之前，还包括：

对视频图像进行预处理；

所述基于视频检测方式识别视频图像中的人行信号灯的状态，包括：

基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

所述基于深度学习算法对视频图像进行目标检测，包括：

基于深度学习算法对预处理后的视频图像进行目标检测。

3.根据权利要求2所述的方法，其特征在于，所述对视频图像进行预处理包括以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为，包括：

对于视频图像中任一目标，根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息；

根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为。

5.根据权利要求4所述的方法，其特征在于，所述根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为，包括：

若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

6.根据权利要求5所述的方法，其特征在于，所述根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为，还包括：

若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势，并进行预警提示。

7.根据权利要求1所述的方法，其特征在于，所述将存在闯红灯行为的目标的人脸图像发送至后端服务器，包括：

对于任一存在闯红灯行为的目标，分别从包括该目标的预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；

基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

基于深度学习算法对各人脸图像进行图像质量评分，并将评分最高的人脸图像发送至后端服务器。

8.根据权利要求7所述的方法，其特征在于，所述基于深度学习算法对各人脸图像进行图像质量评分，包括：

根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

9.一种信息处理装置，应用于智能交通系统中的前端视频采集设备，其特征在于，所述装置包括：

信号灯状态检测单元，用于基于视频检测方式识别视频图像中的人行信号灯的状态；

目标检测单元，用于基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

行为判定单元，用于根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；

通信单元，用于若存在目标闯红灯行为，则将存在闯红灯行为的目标的人脸图像发送至后端服务器，由所述后端服务器生成针对该目标的闯红灯取证信息。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

预处理单元，用于对视频图像进行预处理；

所述信号灯状态检测单元，基于视频检测方式识别预处理后的视频图像中的人行信号灯的状态；

所述目标检测单元，基于深度学习算法对预处理后的视频图像进行目标检测。

11.根据权利要求10所述的装置，其特征在于，

所述预处理单元，具体用于对视频图像进行以下处理之一或多个：

降噪、滤波、格式转换以及降采样。

12.根据权利要求9所述的装置，其特征在于，

所述目标检测单元，还用于对于视频图像中任一目标，根据包括该目标的视频图像的目标检测数据确定该目标的行动轨迹信息；

所述行为判定单元，具体用于根据该目标的行动轨迹信息以及所述人行信号灯的状态确定该目标是否存在闯红灯行为。

13.根据权利要求12所述的装置，其特征在于，

所述行为判定单元，具体用于若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离大于预设距离阈值，则确定该目标存在闯红灯行为。

14.根据权利要求13所述的装置，其特征在于，

所述行为判定单元，若所述人行信号灯的状态为红灯状态时，该目标进入人行横道区域，且与人行横道的起始位置的距离小于等于所述预设距离阈值，则确定该目标存在闯红灯趋势；

所述装置还包括：

预警提示单元，用于当确定目标存在闯红灯趋势时，进行预警提示。

15.根据权利要求8所述的装置，其特征在于，所述装置还包括：

人脸检测单元，用于对于任一存在闯红灯行为的目标，分别从包括该目标的预设数量视频图像中截取包括该目标的小图，并对所截取的小图进行拼接，以得到拼接图；基于深度学习算法对该拼接图进行人脸检测，以得到每张小图对应的人脸图像；

人脸图像评分单元，用于基于深度学习算法对各人脸图像进行图像质量评分；

所述通信单元，具体用于将评分最高的人脸图像发送至后端服务器。

16.根据权利要求15所述的装置，其特征在于，

所述人脸图像评分单元，具体用于根据以下参数中的一个或多个对人脸图像进行图像质量评分：

人脸尺寸、人脸清晰度、正负脸属性、遮挡比例、人脸水平角度及人脸俯仰角度。

17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法。

18.一种智能交通系统，其特征在于，包括前端视频采集设备和后端服务器；其中：

所述视频采集设备，用于基于视频检测方式识别视频图像中的人行信号灯的状态；

所述视频采集设备，还用于基于深度学习算法对视频图像进行目标检测，得到目标检测数据；所述目标包括行人或非机动车；

所述视频采集设备，还用于根据所述目标检测数据以及所述人行信号灯的状态确定视频图像中是否存在目标闯红灯行为；若存在，则将存在闯红灯行为的目标的人脸图像发送至所述后端服务器；

所述后端服务器，用于当接收到所述视频采集设备发送的所述存在闯红灯行为的目标的人脸图像时，生成针对该目标的闯红灯取证信息。