CN111325133A - 一种基于人工智能识别的影像处理系统 - Google Patents

Abstract

本发明公开了一种基于人工智能识别的影像处理系统，其包括以下设备：影像监测设备，用于记录影像监测画面；目标物监测设备，用于监测在警示区域内存在的人体目标物，并发出目标物监测信息；智能监测设备，用于实时接收所述目标物监测信息；从所述影像监测设备调取在t时间内的影像监测画面，并利用人工智能识别模型对该影像监测画面进行识别，判定该影像监测画面中是否存在人体目标物；人脸识别设备，用于当从所述智能监测设备获取到所述人脸识别信号后，将所述待测人脸图像与后台数据库中的安全人脸图像进行相似度比较。本技术方案可以达到加强在复杂监控环境中对目标物的识别效果，提高监控准确度。

Description

一种基于人工智能识别的影像处理系统

技术领域

本发明涉及视频监控技术领域，尤其涉及一种基于人工智能识别的影像处理系统。

背景技术

目前，对于监控区域内开展视频影像监控，是众多有关视频监控的技术人员仍在不断开发和研究的一项重要技术领域。因为如果完全依赖于人工监控，会有一是效率低下，二是成本增加，三是监控失误率或遗漏率高的现实缺陷。为解决这些缺陷，众多相关技术领域的人员也进行了深入的研发和探索。

而在现阶段，在视频监控中加入人脸识别进行实时监控是被广泛使用的技术手段，但是在一定距离下捕捉人脸又是一项重要的技术问题。由于人脸会在一定近的距离下才会被呈现和捕捉，此时可能目标物距离需防备的被保护物已非常接近，常见的常见如文物保护、展览保护场景等。而在这些场景下，由于灯光等因素，影像监控对于人体的捕捉亦未必非常及时，也就导致了后续人脸捕捉延迟的问题，这对于在这些场景下的被保护物的实际保护效果会产生较大的风险和负面影响。

为此，如何在这些场景下加强对影响处理前的识别，成为了相关技术领域的技术人员需要解决的技术问题之一。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是一种基于人工智能识别的影像处理系统。

为解决上述技术问题，本发明所采用的技术方案内容具体如下：

一种基于人工智能识别的影像处理系统，其包括以下设备：

影像监测设备，用于记录警示区域内的影像监测画面；

目标物监测设备，用于监测在警示区域内存在的人体目标物，并发出目标物监测信息；

智能监测设备，用于实时接收所述目标物监测信息；当一段时间t内所述目标物监测信息显示未监测到人体目标物时，从所述影像监测设备调取在t时间内的影像监测画面，并利用已训练的人工智能识别模型对该影像监测画面进行识别，判定该影像监测画面中是否存在人体目标物；若判定存在，则发送人脸识别信号；所述人工智能识别模型是基于在ImageNet上预训练好的AlexNet神经网络模型，使用具有大于1000张的人体样本图片所训练得到的；

人脸识别设备，用于当从所述目标物监测设备获取到所述目标物监测信息，或者从所述智能监测设备获取到所述人脸识别信号后，对所述人体目标物进行人脸识别，并得到待测人脸图像；将所述待测人脸图像与后台数据库中的安全人脸图像进行相似度比较，若所述待测人脸图像与所述安全人脸图像相似度小于预设阈值，则触发提醒信号。

为实现上述发明目的，发明人在本技术方案中，结合了影像监测设备、目标物监测设备、智能监测设备以及人脸识别设备各自的功能以达到对目标物实现人工智能识别以及相关图像处理的技术手段，从而达到了对复杂环境中监测人体目标物的技术效果。

更具体来说，利用影像监测设备对一定时间内的现场环境进行实时地影像记录，为后续的人工智能识别提供依据和基础；而目标物监测设备则对警示区域内的人体目标物进行初步筛查，若判断出存在人体目标物时，则向所述智能监测设备以及人脸识别设备同时发出目标物监测信息；而此时，智能监测设备在收到所述目标物监测信息后，仅记录相关信息作为是否触发后续人工智能识别模型进行识别的条件，不进行其他进一步的操作；而相对地，所述人脸识别设备在收到所述目标物监测信息后，则触发人脸识别的具体步骤，即对所述人体目标物开始进行人脸识别。在这种情况下，相关的视频影像监测环境良好，无需触发人工智能识别模块。

但若在一段时间内，所述目标物监测设备持续未向所述智能监测设备发送目标物监测信息，则可能是因为监测环境复杂，例如灯光、亮度等问题无法实时准确全面地识别相关人体目标物，因此需要智能监测设备调取出在一定时间内影像监测设备所记录的影像监测画面。在更具体的实施方式中，这段时间可以是10s、20s、30s、1min等，视乎监测环境中的人流、空间大小而具体设定。在调取到相应的影像监测画面后利用已训练的人工智能识别模型对该影像监测画面进行识别，判定该影像监测画面中是否存在人体目标物。该人工智能识别模块是利用基于在ImageNet上预训练好的AlexNet神经网络模型，使用具有大于1000张的人体样本图片所训练得到的。使用上述神经网络模型，可以达到更好的训练效果，并能综合人体的许多特征信息，实现人体多特征信息的融合，能够为后续的人体识别以及其识别的成功率提供有效的正向支持。

在上述情况下，当人工智能识别模型对影像监测画面进行识别后，若判定存在人体目标物，则向所述人脸识别设备发送人脸识别信号。当所述人脸识别设备收到从智能监测设备发出的人脸识别信号后，亦触发对人体目标物的人脸识别步骤。需要说明的是，后台数据库中的安全人脸图像指的是无需触发后续提醒信号的安全人脸图像；所述安全人脸图像可由管理员采集并事先录入到相关的后台数据库进行存储。

另外，衡量所述待测人脸图像与所述安全人脸图像相似度的预设阈值可以根据实际需要进行设定，例如是75%、85%、95%等等，在此不作具体的限制和设定。

通过上述技术方案，可以有效地应对不同监测环境下的人体目标物，提高在各种复杂监测环境下监测效果的可靠性和有效性。

优选地，训练所述人工智能识别模型的具体方法包括：

对每一张所述人体样本图片进行提取特征，每一张所述人体样本图片得到一组特征向量，并将全部特征向量组输入到所述神经网络模型进行训练，得到所述人工智能识别模型。需要说明的是，作为本发明技术方案的另一个创新点，在本方案中的人工智能识别模型进行训练时，对于数据库中的每一张人体样本图片均进行特征提取，而每一张图片的特征提取后行走一组特征向量，即极大地丰富了神经网络模型中对于人体特征的组合的学习训练，使得所述人工智能模型对人体目标物的识别更具敏感性和准确性。更优选地，所述特征包括人体躯干、人体衣物、人体穿戴设备中的一种或多种。

进一步地，所述人体穿戴设备包括手表、耳环、戒指、眼镜、帽子、围巾中的一种或多种。

需要说明的是，对于人体的特征，可以采用包括人体躯干、人体衣物、人体穿戴设备中的一种或多种，优先采用三种同时提取，后续对于这些分组，也可以形成特征向量，即人体躯干特征向量，人体衣物特征向量，人体穿戴设备特征向量等，代入到神经网络进行训练。而人体穿戴设备是本技术方案其中一创新的发明点之一，人体穿戴设备包括但不限于手表、耳环、戒指、眼镜、帽子、围巾等，利用这些信息亦能够辅助形成人体特征的信息，从而增加人工智能识别模型的有效性和可靠性。优选地，判定该影像监测画面中是否存在人体目标物时具体执行以下步骤：

执行初步识别步骤，所述初步识别步骤具体方法包括：利用目标物监测设备对所述影像监测画面进行初步识别，判断所述影像监测画面中是否存在疑似人体目标物，若是，定格形成第一疑似待测图像；

对所述第一疑似待测图像进行背景处理，得到第二疑似待测图像；

利用已训练的人工智能识别模型对所述第二疑似待测图像进行识别，判定所述第二疑似待测图像中是否存在人体目标物。

需要说明的是，为提高人工智能识别模块识别的准确性，以及全面性，会存在一些当目标物监测设备以及人工智能识别模块无法准确判断到的人体目标物，也就是说可能出现疑似人体目标物的情况，这种情况通常是由于在监控视频画面中疑似人体目标物附近的背景环境与人体目标物图像呈现较为解决，导致识别模块无法一次性准确识别目标物是否为人体目标物，仅能判断为疑似人体目标物。而为了进一步提高人工智能识别模块识别的全面性和准确性，在本技术方案的优选实施方式中，还具体加入了初步识别步骤，即对存在疑似人体目标物时进行识别。进一步地，对该疑似人体目标物的视频定格形成第一疑似待测图像。

然后，针对该第一疑似待测图像对其进行背景处理，主要是消除背景中的影响因素。消除后得到第二疑似待测图像，此时再利用已训练的人工智能识别模型对所述第二疑似待测图像进行识别，判定所述第二疑似待测图像中是否存在人体目标物，这样可以更大程度地提高识别的全面性的准确性。更优选地，定格形成第一疑似待测图像时，将所述疑似人体目标物及其一定距离内的周缘环境同时定格。

需要说明的是，结合上述实施方式，在一个更优选的方面，对所述疑似人体目标物进行定格并形成第一疑似待测图像时，将所述疑似人体目标物及其一定距离内的周缘环境同时定格，这样可以防止在人体目标物与周边环境接近度高的情况下，对疑似人体目标物截取的遗漏，从而防止后续影响对人体识别的准确性。所述距离，可以根据实际图像进行选择，可以是3cm、5cm或10cm等等，在此不作具体的限制和设定。

更优选地，对所述第一疑似待测图像进行背景处理的具体方法包括：

将所述第一疑似待测图像划分成目标区域和背景区域；消除背景区域的影响因素，将所述目标区域与背景区域在所述第一疑似待测图像进行区分；

所述影响因素包括对比度、色彩饱和度、亮度中的一种或多种。

需要说明的是，在具体的对所述第一疑似待测图像进行背景处理方法中，可以将所述第一疑似待测图像划分成目标区域和背景区域，而消除背景影响因素可以通过调整背景区域的括对比度、色彩饱和度、亮度中的一种或多种来具体实现。

优选地，人脸识别设备的工作包括利用人脸识别模块对所述人体目标物进行人脸识别，其具体方法为：

训练人脸识别模块；

获得所述待测人脸图像，利用训练得到的所述人脸识别模块对所述待测人脸图像进行检测，得到所述待测人脸图像中的人脸区域rl，在所述人脸区域rl中进行五官定位，得到所述待测人脸图像的第一五官数据；

确定安全人脸图像，对所述安全人脸图像进行五官检测，得到安全人脸图像的第二五官数据；

基于所述第一五官数据和第二五官数据，计算两者全脸及局部五官相似度；

计算待测人脸图像和安全人脸图像的概率融合相似度，得到判断结果。

需要说明的是，基于上述对人体目标物的人工智能识别的基础上，实现更好地人脸识别是本系统的进一步优化的方向，有利于对本系统最终的人脸识别效果。作为本技术方案的一个优选的改进方向，可利用五官定位并利用五官检测实现。作为更具体的技术方案，在计算第一五官数据和第二五官数据两者全脸及局部五官相似度时具体可以采用以下实施方式；首先可以将上面的眉部、眼部、鼻子、嘴唇等作为四个关键区域，此外还可以加上脸的整体作为共五个图像，对这五个图像分别训练对应的CNN进行特征提取和分类。然后对四个关键区域中的每个类别根据卷积神经网络计算其概率，对脸的整体输出其两人脸被判定为同一人的概率。本技术方案的有益效果包括，采用局部特征相较于整体特征更为细致和稳定，不会受整体表情影响，提高识别的准确度；结合局部和整体特征的判断，使得判断更为全面准确；此外，在计算融合概率的时候，可以对各个CNN的输出结果进行融合，充分利用人脸的特征，可实现基于概率融合的多CNN人脸相似度计算，能有效提高计算的准确性。

更优选地，所述确定安全人脸图像的具体方法为：

根据获得的所述待测人脸图像在所述后台数据库中的安全人脸图像进行遍历地相似度比较判断，得到相似度最高的若干待判断安全人脸图像；

对所得到的所述若干待判断安全人脸图像的每一个待判断安全人脸图像进行五官检测，得到每一个待判断安全人脸图像各自的第二五官数据。

需要说明的是，结合上述优选实施方式，在一个优选的方面，可首先根据获得的所述待测人脸图像在所述后台数据库中的安全人脸图像进行遍历地相似度比较判断，得到相似度最高的若干待判断安全人脸图像；

再利用得到的待判断安全人脸图像进行五官检测，这样可以提高识别的效率。由于五官检测所需时间要比人脸相似度识别判断要长，效率相对较低，因此在本优选实施方式中先将待测人脸图像在所述后台数据库中的安全人脸图像进行初步地判断，得到相似度较高的若干待判断安全人脸图像再进行五官检测，这样整个系统的运行效率和识别工作效率会大大提高。

与现有技术相比，本发明的有益效果在于：

1、本发明的基于人工智能识别的影像处理系统，结合了影像监测设备、目标物监测设备、智能监测设备以及人脸识别设备各自的功能以达到对目标物实现人工智能识别以及相关图像处理的技术手段，从而达到了对复杂环境中监测人体目标物的技术效果；

2、本发明的基于人工智能识别的影像处理系统，人工智能识别模型进行训练时极大地丰富了神经网络模型中对于人体特征的组合的学习训练，使得所述人工智能模型对人体目标物的识别更具敏感性和准确性；

3、本发明的基于人工智能识别的影像处理系统，利用人体穿戴设备进行人工智能识别模型的训练，利用这些人体穿戴设备的信息亦能够辅助形成人体特征的信息，从而增加人工智能识别模型的有效性和可靠性；

4、本发明的基于人工智能识别的影像处理系统，还具体加入了初步识别步骤，即对存在疑似人体目标物时进行识别，可以进一步提高人工智能识别模块识别的全面性和准确性；

5、本发明的基于人工智能识别的影像处理系统，将所述疑似人体目标物及其一定距离内的周缘环境同时定格，这样可以防止在人体目标物与周边环境接近度高的情况下，对疑似人体目标物截取的遗漏，进一步提高人工智能识别模块识别的全面性和准确性；

6、本发明的基于人工智能识别的影像处理系统，在人脸识别步骤中，可利用五官定位并利用五官检测实现，更加有利于对本系统最终的人脸识别效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明的基于人工智能识别的影像处理系统一种优选实施方式的工作流程示意图；

图2为本发明的基于人工智能识别的影像处理系统另一种优选实施方式的设备连接关系图；

图3为本发明的基于人工智能识别的影像处理系统判定该影像监测画面中是否存在人体目标物时一种优选实施方式的工作流程示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下：

实施例1

一种基于人工智能识别的影像处理系统，其工作过程请参照图1。所述系统其包括以下设备：

作为影像监测设备的摄像头，用于记录警示区域内的影像监测画面；

集成于一计算机的目标物监测设备、智能监测设备和人脸识别设备。

其中，所述目标物监测设备，用于监测在警示区域内存在的人体目标物，并发出目标物监测信息；

智能监测设备，用于实时接收所述目标物监测信息；

当20s内所述目标物监测信息显示未监测到人体目标物时，从所述摄像头数据调取在上述20s内的影像监测画面，并利用已训练的人工智能识别模型对该影像监测画面进行识别，判定该影像监测画面中是否存在人体目标物；若判定存在，则向人脸识别设备发送人脸识别信号；

人脸识别设备，用于当从所述目标物监测设备获取到所述目标物监测信息，或者从所述智能监测设备获取到所述人脸识别信号后，对所述人体目标物进行人脸识别，并得到待测人脸图像；将所述待测人脸图像与后台数据库中的安全人脸图像进行相似度比较，若所述待测人脸图像与所述安全人脸图像相似度小于预设阈值90%，则触发提醒信号。

在本实施例中，所述人工智能识别模型是基于在ImageNet上预训练好的AlexNet神经网络模型，使用具有大于1000张的人体样本图片所训练得到的。在进一步优选的实施方式中，应使用大于2000张，更优选使用大于5000张人体样本图片训练得到。该人工智能识别模块是利用基于在ImageNet上预训练好的AlexNet神经网络模型，使用具有大于1000张的人体样本图片所训练得到的。使用上述神经网络模型，可以达到更好的训练效果，并能综合人体的许多特征信息，实现人体多特征信息的融合，能够为后续的人体识别以及其识别的成功率提供有效的正向支持。

在本实施例中，所述影像监测设备可以采用普通的摄像头，在进一步优选的实施方式中，可以采用双目摄像头等其他摄像设备。这些摄像设备应具备数据存储功能。利用影像监测设备对一定时间内的现场环境进行实时地影像记录，为后续的人工智能识别提供依据和基础；而目标物监测设备则对警示区域内的人体目标物进行初步筛查，若判断出存在人体目标物时，则向所述智能监测设备以及人脸识别设备同时发出目标物监测信息。

在本实施例中，终端设备还设有结果返回模块，对于根据人脸识别设备的相似度比较判断结果触发提醒信号。结果返回模块可扩展地与监控人员的手机、监控器，或报警系统进行连接，以实现监控后续的报警效果，具体看参照图2。

在本实施例中，对于所述目标物监测信息显示未监测到人体目标物的时间范围设定在20s。在其他的一些优选实施方式中，这段时间可以是10s、30s、1min等，视乎监测环境中的人流、空间大小而具体设定。

在本实施例中，衡量所述待测人脸图像与所述安全人脸图像相似度的预设阈值是90%。在其他的一些优选实施方式中，该预设阈值可以根据实际需要进行设定，例如是75%、85%、95%等等，在此不作具体的限制和设定。

通过上述技术方案，发明人在本技术方案中，结合了影像监测设备、目标物监测设备、智能监测设备以及人脸识别设备各自的功能以达到对目标物实现人工智能识别以及相关图像处理的技术手段，从而达到了对复杂环境中监测人体目标物的技术效果。尤其是可以应对不同条件的监控环境，相关的视频影像监测环境良好，无需触发人工智能识别模块，智能监测设备在收到所述目标物监测信息后，仅记录相关信息作为是否触发后续人工智能识别模型进行识别的条件，不进行其他进一步的操作；而在相关的视频影像监测环境不良时，例如灯光、亮度等问题无法实时准确全面地识别相关人体目标物，则触发人工智能识别模块进行运行识别，即对所述人体目标物开始进行人脸识别。

另外，后台数据库中的安全人脸图像指的是无需触发后续提醒信号的安全人脸图像；所述安全人脸图像可由管理员采集并事先录入到相关的后台数据库进行存储。

实施例2

本实施例介绍的是本发明基于人工智能识别的影像处理系统的另一种优选实施方式。与上述实施例1相比，本实施例的特点在于：

训练所述人工智能识别模型的具体方法包括：

对每一张所述人体样本图片进行提取特征，每一张所述人体样本图片得到一组特征向量，并将全部特征向量组输入到所述神经网络模型进行训练，得到所述人工智能识别模型。在本方案中的人工智能识别模型进行训练时，对于数据库中的每一张人体样本图片均进行特征提取，而每一张图片的特征提取后行走一组特征向量，即极大地丰富了神经网络模型中对于人体特征的组合的学习训练，使得所述人工智能模型对人体目标物的识别更具敏感性和准确性。更优选地，所述特征包括人体躯干、人体衣物、人体穿戴设备中的一种或多种。

结合上述实施例，在另一种优选的实施方式中，所述人体穿戴设备包括手表、耳环、戒指、眼镜、帽子、围巾中的一种或多种。对于人体的特征，可以采用包括人体躯干、人体衣物、人体穿戴设备中的一种或多种，优先采用三种同时提取，后续对于这些分组，也可以形成特征向量，即人体躯干特征向量，人体衣物特征向量，人体穿戴设备特征向量等，代入到神经网络进行训练。而人体穿戴设备是本技术方案其中一创新的发明点之一，人体穿戴设备包括但不限于手表、耳环、戒指、眼镜、帽子、围巾等，利用这些信息亦能够辅助形成人体特征的信息，从而增加人工智能识别模型的有效性和可靠性。需要指出的是，识别人体特征和形成特征向量的具体技术如现有技术所示，不作为本发明的创新点，因此不在此赘述。

本实施例的其余优选实施方式参照上述实施例1，在此不再赘述。

实施例3

结合上述实施例2，在又一种优选的实施方式中，请参照图3，判定该影像监测画面中是否存在人体目标物时具体执行以下步骤：

执行初步识别步骤，所述初步识别步骤具体方法包括：利用目标物监测设备对所述影像监测画面进行初步识别，判断所述影像监测画面中是否存在疑似人体目标物，若是，定格形成第一疑似待测图像；对所述疑似人体目标物进行定格并形成第一疑似待测图像时，将所述疑似人体目标物及其一定距离内的周缘环境同时定格；对所述疑似人体目标物进行定格并形成第一疑似待测图像时，将所述疑似人体目标物及其一定距离内的周缘环境同时定格，这样可以防止在人体目标物与周边环境接近度高的情况下，对疑似人体目标物截取的遗漏，从而防止后续影响对人体识别的准确性。所述距离，可以根据实际图像进行选择，可以是3cm、5cm或10cm等等，在此不作具体的限制和设定。

对所述第一疑似待测图像进行背景处理，得到第二疑似待测图像；对所述第一疑似待测图像进行背景处理的具体方法包括：

将所述第一疑似待测图像划分成目标区域和背景区域；消除背景区域的影响因素，将所述目标区域与背景区域在所述第一疑似待测图像进行区分；所述影响因素包括对比度、色彩饱和度、亮度中的一种或多种。

利用已训练的人工智能识别模型对所述第二疑似待测图像进行识别，判定所述第二疑似待测图像中是否存在人体目标物。针对该第一疑似待测图像对其进行背景处理，主要是消除背景中的影响因素。消除后得到第二疑似待测图像，此时再利用已训练的人工智能识别模型对所述第二疑似待测图像进行识别，判定所述第二疑似待测图像中是否存在人体目标物，这样可以更大程度地提高识别的全面性的准确性。

本实施例主要所解决的技术问题是提高人工智能识别模块识别的准确性，以及全面性。在实际的监测环境中，会存在一些当目标物监测设备以及人工智能识别模块无法准确判断到的人体目标物，也就是说可能出现疑似人体目标物的情况，这种情况通常是由于在监控视频画面中疑似人体目标物附近的背景环境与人体目标物图像呈现较为解决，导致识别模块无法一次性准确识别目标物是否为人体目标物，仅能判断为疑似人体目标物。而为了进一步提高人工智能识别模块识别的全面性和准确性，在本技术方案的优选实施方式中，还具体加入了初步识别步骤，即对存在疑似人体目标物时进行识别。

本实施例的其余优选实施方式参照上述实施例，在此不再赘述。

实施例4

本实施例介绍的是本发明基于视觉距离的智能监控系统的另外一种优选实施方式。与上述实施例相比，本实施例的特点在于：

人脸识别设备的工作包括利用人脸识别模块对所述人体目标物进行人脸识别，其具体方法为：

训练人脸识别模块；

获得所述待测人脸图像，利用训练得到的所述人脸识别模块对所述待测人脸图像进行检测，得到所述待测人脸图像中的人脸区域rl，在所述人脸区域rl中进行五官定位，得到所述待测人脸图像的第一五官数据；

确定安全人脸图像，对所述安全人脸图像进行五官检测，得到安全人脸图像的第二五官数据；

基于所述第一五官数据和第二五官数据，计算两者全脸及局部五官相似度；

计算待测人脸图像和安全人脸图像的概率融合相似度，得到判断结果。

在一些更具体的实施方式中，训练人脸识别模块所利用的数据集可以是上述后台数据库的数据集，也可以是其他。该数据集内的图片数量可以是以千为单位的数量，而且相同的人物其可以采用不同角度、光照形式的人脸照片，这样可以更好更准确地进行学习。在学习训练的过程中，可以建立检验集合，用于检验所训练的模型的泛化水平。在训练的过程中，可以采用Yolo，SSD这类one-stage算法，其优点在于仅仅使用一个CNN网络直接预测不同目标的类别与位置这类算法是速度快，可以提高训练和检测的速度和效率，而且相较于其他的训练算法，这类one-stage算法特别适用于人脸的识别。

结合上述实施方式，在其他一些更具体的实施方式中，可以采用使用ASM检测方法；在此基础上，还可以结合采用非监督学习，即采用CNN模型去检测人脸关键点位置，然后使用光流（flow tracking）跟踪该组待判断图像的下一帧图片人脸关键点位置作为融合信息给CNN检测器去作为人脸关键点的辅助信息，以检测人脸区域rl的第一五官数据。采用ASM检测方法可以作为比较传统的，分散的图片的人脸检测，而对于CNN模型可以检测在该组待判断图像的连续几个帧的图片进行人脸检测，适配的本技术方案。而具体的ASM或CNN模型的训练方法为本领域技术人员已知悉的内容，不作为本专利发明点，但其应用在本技术方案的智能监控系统上，则为本发明的创新点之一。

采用ASM检测方法时，人脸关键点可以分别在全脸轮廓以及眉部、眼部、鼻子、嘴唇等人脸五官关键点，得到全脸五官关键点分布图像；并根据得到的全脸五官关键点分布图像裁剪出人脸区域rl中的眉部、眼部、鼻子、嘴唇等局部图像。

在计算第一五官数据和第二五官数据两者全脸及局部五官相似度时具体可以采用以下实施方式；首先可以将上面的眉部、眼部、鼻子、嘴唇等作为四个关键区域，此外还可以加上脸的整体作为共五个图像，对这五个图像分别训练对应的CNN进行特征提取和分类。然后对四个关键区域中的每个类别根据卷积神经网络计算其概率，对脸的整体输出其两人脸被判定为同一人的概率。本技术方案的有益效果包括，采用局部特征相较于整体特征更为细致和稳定，不会受整体表情影响，提高识别的准确度；结合局部和整体特征的判断，使得判断更为全面准确；此外，在计算融合概率的时候，可以对各个CNN的输出结果进行融合，充分利用人脸的特征，可实现基于概率融合的多CNN人脸相似度计算，能有效提高计算的准确性。

本实施例的其余优选实施方式参照上述实施例，在此不再赘述。

实施例5

结合上述实施例4，在又一种优选的实施方式中，所述确定安全人脸图像的具体方法为：

根据获得的所述待测人脸图像在所述后台数据库中的安全人脸图像进行遍历地相似度比较判断，得到相似度最高的若干待判断安全人脸图像；

对所得到的所述若干待判断安全人脸图像的每一个待判断安全人脸图像进行五官检测，得到每一个待判断安全人脸图像各自的第二五官数据。

需要说明的是，结合上述优选实施方式，在另一个方面，可首先根据获得的所述待测人脸图像在所述后台数据库中的安全人脸图像进行遍历地相似度比较判断，得到相似度最高的若干待判断安全人脸图像；

再利用得到的待判断安全人脸图像进行五官检测，这样可以提高识别的效率。由于五官检测所需时间要比人脸相似度识别判断要长，效率相对较低，因此在本优选实施方式中先将待测人脸图像在所述后台数据库中的安全人脸图像进行初步地判断，得到相似度较高的若干待判断安全人脸图像再进行五官检测，这样整个系统的运行效率和识别工作效率会大大提高。

本实施例的其余优选实施方式参照上述实施例，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、装置（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (9)

1.一种基于人工智能识别的影像处理系统，其特征在于，其包括以下设备：

影像监测设备，用于记录警示区域内的影像监测画面；

目标物监测设备，用于监测在警示区域内存在的人体目标物，并发出目标物监测信息；

智能监测设备，用于实时接收所述目标物监测信息；当一段时间t内所述目标物监测信息显示未监测到人体目标物时，从所述影像监测设备调取在t时间内的影像监测画面，并利用已训练的人工智能识别模型对该影像监测画面进行识别，判定该影像监测画面中是否存在人体目标物；若判定存在，则发送人脸识别信号；所述人工智能识别模型是基于在ImageNet上预训练好的AlexNet神经网络模型，使用具有大于1000张的人体样本图片所训练得到的；

人脸识别设备，用于当从所述目标物监测设备获取到所述目标物监测信息，或者从所述智能监测设备获取到所述人脸识别信号后，对所述人体目标物进行人脸识别，并得到待测人脸图像；将所述待测人脸图像与后台数据库中的安全人脸图像进行相似度比较，若所述待测人脸图像与所述安全人脸图像相似度小于预设阈值，则触发提醒信号。

2.如权利要求1所述的基于人工智能识别的影像处理系统，其特征在于，训练所述人工智能识别模型的具体方法包括：

对每一张所述人体样本图片进行提取特征，每一张所述人体样本图片得到一组特征向量，并将全部特征向量组输入到所述神经网络模型进行训练，得到所述人工智能识别模型。

3.如权利要求2所述的基于人工智能识别的影像处理系统，其特征在于，所述特征包括人体躯干、人体衣物、人体穿戴设备中的一种或多种。

4.如权利要求3所述的基于人工智能识别的影像处理系统，其特征在于，所述人体穿戴设备包括手表、耳环、戒指、眼镜、帽子、围巾中的一种或多种。

5.如权利要求1所述的基于人工智能识别的影像处理系统，其特征在于，判定该影像监测画面中是否存在人体目标物时具体执行以下步骤：

执行初步识别步骤，所述初步识别步骤具体方法包括：利用目标物监测设备对所述影像监测画面进行初步识别，判断所述影像监测画面中是否存在疑似人体目标物，若是，定格形成第一疑似待测图像；

对所述第一疑似待测图像进行背景处理，得到第二疑似待测图像；

利用已训练的人工智能识别模型对所述第二疑似待测图像进行识别，判定所述第二疑似待测图像中是否存在人体目标物。

6.如权利要求5所述的基于人工智能识别的影像处理系统，其特征在于，定格形成第一疑似待测图像时，将所述疑似人体目标物及其一定距离内的周缘环境同时定格。

7.如权利要求5所述的基于人工智能识别的影像处理系统，其特征在于，对所述第一疑似待测图像进行背景处理的具体方法包括：

将所述第一疑似待测图像划分成目标区域和背景区域；消除背景区域的影响因素，将所述目标区域与背景区域在所述第一疑似待测图像进行区分；

所述影响因素包括对比度、色彩饱和度、亮度中的一种或多种。

8.如权利要求1所述的基于人工智能识别的影像处理系统，其特征在于，人脸识别设备的工作包括利用人脸识别模块对所述人体目标物进行人脸识别，其具体方法为：

训练人脸识别模块；

获得所述待测人脸图像，利用训练得到的所述人脸识别模块对所述待测人脸图像进行检测，得到所述待测人脸图像中的人脸区域rl，在所述人脸区域rl中进行五官定位，得到所述待测人脸图像的第一五官数据；

确定安全人脸图像，对所述安全人脸图像进行五官检测，得到安全人脸图像的第二五官数据；

基于所述第一五官数据和第二五官数据，计算两者全脸及局部五官相似度；

计算待测人脸图像和安全人脸图像的概率融合相似度，得到判断结果。

9.如权利要求8所述的基于人工智能识别的影像处理系统，其特征在于，所述确定安全人脸图像的具体方法为：

根据获得的所述待测人脸图像在所述后台数据库中的安全人脸图像进行遍历地相似度比较判断，得到相似度最高的若干待判断安全人脸图像；

对所得到的所述若干待判断安全人脸图像的每一个待判断安全人脸图像进行五官检测，得到每一个待判断安全人脸图像各自的第二五官数据。

Images