发明内容
基于此,有必要针对上述技术问题,提供一种能够提高异常图像的识别准确性的风险识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种异常图像识别方法。所述方法包括:
获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
第二方面,本申请还提供了一种异常图像识别装置。所述装置包括:
人脸识别模块,用于获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
场景识别模块,用于提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
物体识别模块,用于对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
计算模块,用于基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
判断模块,用于当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
上述异常图像识别方法、装置、计算机设备、存储介质和计算机程序产品,通过提取待检测图像中的人脸区域计算异常人脸可能性,通过提取待检测图像中的背景区域计算异常场景可能性,然后对待检测图像中的物体区域进行异常物体检测,得到异常物体可能性。然后计算人脸区域、背景区域和物体区域分别对应的注意力权重,通过注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性,并将目标异常可能性与异常可能性阈值进行判断,确定待检测图像是否为异常图像。通过待检测图像中人脸区域、背景区域和物体区域进行联合判断,计算得到目标异常可能性更准确,对待检测图像的异常图像检测更准确,从而提高了异常图像的识别准确性。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的异常图像识别方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104获取终端102上传的待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;服务器104提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;服务器104对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;服务器104基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到目标异常可能性;当目标异常可能性满足预设异常可能性阈值时,服务器104确定待检测图像为异常图像。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种异常图像识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取待检测图像,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性。
其中,待检测图像是指待进行异常图像检测的图像。人脸区域是指待检测图像中人脸图像的区域。异常人脸可能性是指待检测图像中的人脸为异常人脸的确定程度。异常人脸是指预先存储的标记为异常的人脸。
具体地,服务器获取用户终端上传的待检测图像,待检测图像中包括用户终端对应的用户人脸图像。服务器可以将待检测图像输入到预先设置好的人脸检测模型进行人脸识别,输出待检测图像中的人脸图像。然后对输出的人脸图像进行识别,通过获取预先存储的多个异常人脸,将待检测图像中的人脸图像与预先存储的多个异常人脸分别进行比对,得到待检测图像中人脸图像属于异常人脸的异常人脸可能性。
服务器通过人脸检测模型检测到待检测图像未存在人脸图像时,判断待检测图像为无效图像,并生成人脸图像获取请求,将人脸图像获取请求返回到用户终端以重新获取包括用户人脸图像的待检测图像。
步骤204,提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性。
其中,背景区域是指待检测图像中非人像区域的图像。异常场景可能性是指待检测图像中的背景区域为异常场景区域的确定程度。异常场景是指预先存储的标记为异常的背景。
具体地,服务器对待检测图像进行人体检测,根据人体检测结果在待检测图像中确定背景区域,并提取待检测图像中的背景区域,得到背景图像。服务器可以获取预先存储的多个异常场景图像,将待检测图像中的背景图像与多个异常场景分别进行比对,得到待检测图像中背景图像属于异常场景图像的异常场景可能性。
步骤206,对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性。
其中,物体区域是指待检测图像中的物体图像。异常物体可能性是指待检测图像中的物体为异常物体的确定程度。异常物体是指预先标记为异常的物体。
具体地,服务器可以使用预先设置好的物体检测算法对待检测图像进行物体检测,得到待检测图像中的各个物体。然后服务器根据预先设置好的异常物体判断待检测图像中是否存在异常物体,异常物体可以是危险物体,得到待检测图像对应的异常物体可能性。
步骤208,基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到目标异常可能性。
其中,注意力权重是指人脸区域、背景区域和物体区域对应的重要程度。目标异常可能性是指待检测图像为异常图像的确定程度。
具体地,服务器获取待检测图像中人脸区域、背景区域和物体区域分别对应的特征数据,使用人脸区域、背景区域和物体区域分别对应的特征数据进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重。然后服务器根据人脸区域、背景区域和物体区域分别对应的注意力权重分别对异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到目标异常可能性。
步骤210,当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
其中,预设异常可能性阈值是预先设置好的判断目标异常可能性对应的阈值,用于判断待检测图像是否为异常图像。异常图像是指人脸区域、背景区域和物体区域存在异常的图像。
具体地,服务器获取预先存储的异常可能性阈值,将待检测图像对应的目标异常可能性与异常可能性阈值进行比较,当目标异常可能性满足异常可能性阈值时,判断待检测图像为异常图像。
上述异常图像识别方法中,通过提取待检测图像中的人脸区域计算异常人脸可能性,通过提取待检测图像中的背景区域计算异常场景可能性,然后对待检测图像中的物体区域进行异常物体检测,得到异常物体可能性。然后计算人脸区域、背景区域和物体区域分别对应的注意力权重,通过注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性,并将目标异常可能性与异常可能性阈值进行判断,确定待检测图像是否为异常图像。通过待检测图像中人脸区域、背景区域和物体区域进行联合判断,计算得到目标异常可能性更准确,对待检测图像的异常图像检测更准确,从而提高了异常图像的识别准确性。
在一个实施例中,步骤202,提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性,包括:
对人脸区域进行人脸特征提取,得到人脸特征信息;
获取预设异常人脸图像库中的各个异常人脸图像对应的异常人脸特征信息;
基于人脸特征信息和各个异常人脸图像对应的异常人脸特征信息进行相似度计算,得到各个异常人脸图像对应的人脸相似度结果;
基于各个异常人脸图像对应的人脸相似度结果确定人脸区域对应的异常人脸可能性。
其中,人脸特征信息是指人脸区域中的特征向量。预设异常人脸图像库是指预先设置的人脸图像库,用于存储标记为异常的人脸图像。异常人脸特征信息是指标记为异常的人脸图像对应的特征向量。人脸相似度结果是指待检测图像的人脸区域与异常人脸图像库中的异常人脸的相似程度。
具体地,服务器使用人脸检测算法对待检测图像进行人脸检测,输出待检测图像中的人脸框,根据人脸框确定待检测图像中的人脸区域,并提取人脸区域中的人脸图像。服务器获取预先设置好的特征提取网络,将人脸图像输入到特征提取网络,截取全连接层前的输出向量作为特征输出,得到人脸特征信息,即人脸图像对应的特征向量。
特征提取网络可以是卷积神经网络,向量维度可以是(1,512),卷积神经网络将人脸特征进行编码及降维,比如,一张人脸图中可能含有人的五官及轮廓,肤色等特征,假设人脸图的分辨率为256*256,经过卷积运算后将人脸特征编码成(1,512)的特征向量。
服务器获取预设异常人脸图像库中的各个异常人脸图像,并提取各个异常人脸图像对应的异常人脸特征信息,即各个异常人脸图像对应的特征向量。服务器分别计算待检测图像中人脸区域的人脸特征信息与各个异常人脸特征信息的相似度,服务器可以使用余弦相似度算法计算人脸特征信息和异常人脸特征信息的相似度,得到各个异常人脸图像对应的人脸相似度结果。然后服务器选取数值最大的人脸相似度结果作为人脸区域对应的异常人脸可能性。
在一个具体实施例中,如图3所示,提高一种人脸区域示意图;服务器使用retinaface(人脸检测网络)对待检测图像进行人脸检测,输出带人脸框的待检测图像。提取人脸框中的人脸图像,将人脸图像输入到moblienet(轻量级神经网络)进行特征提取,输出人脸图像对应的人脸向量特征,向量维度为(1,512)。服务器获取预设异常人脸图像库中的异常人脸图像,异常人脸图像库可以是黑名单人脸图像数据库,存储的各个异常人脸图像可以是黑名单用户的人脸图像。
服务器提取各个异常人脸图像对应的特征向量,向量维度为(1,512),并使用余弦相似度计算待检测图像中人脸区域的特征向量与各个异常人脸图像的特征向量的人脸相似度结果,将数值最大的人脸相似度结果作为异常人脸置信度,可以通过face_c表示,并且face_c∈(0,1),表示两个人脸的特征向量通过余弦相似度计算,若两向量计算的结果距离越近,则两张人脸越像,值域为(0,1),即人脸越像则值越接近1,反之值越接近0。服务器可以设置异常人脸图像为100,则异常人脸可能性的表达式如公式1所示:
F_score=face_c*100 公式1;
其中,F_score表示异常人脸可能性。
本实施例中,通过提取待检测图像的人脸特征信息,并根据人脸特征信息计算待检测图像中的人脸图像与异常人脸图像的相似度,得到异常人脸可能性。以使后续使用异常人脸可能性进行目标异常可能性计算,增加异常人脸识别的识别角度,从而实现多角度检测异常图像,提高异常图像的识别准确性。
在一个实施例中,步骤204,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性,包括:
对背景区域进行场景特征提取,得到场景特征信息;
获取预设异常场景图像库中的各个异常场景图像对应的异常场景特征信息;
基于场景特征信息和各个异常场景图像对应的异常场景特征信息进行相似度计算,得到各个异常场景图像对应的场景相似度结果;
基于各个异常场景图像对应的场景相似度结果确定背景区域对应的异常场景可能性。
其中,场景特征信息是指待检测图像中背景区域对应的特征向量。预设异常场景图像库是指预先设置的场景图像库,用于存储标记为异常的背景图像。场景相似度是指待检测图像的背景区域与异常场景图像库中的异常场景图像的相似程度。
具体地,服务器对待检测图像进行图像语义分割,比如u-net(图像分割算法),将非背景像素置为0,服务器提取像素值非0的区域,得到待检测图像中背景区域对应的背景图像,将背景图像输入到预先设置好的特征提取网络进行场景特征提取,截取全连接层前的输出向量作为特征输出,得到场景特征信息,即背景图像对应的特征向量,向量维度可以是(1,512)。
服务器获取预设异常场景图像库中的各个异常场景图像,并提取各个异常场景图像对应的异常场景特征信息,即各个异常场景图像对应的特征向量。服务器分别计算待检测图像中背景区域的场景特征信息与各个异常场景特征信息的相似度,服务器可以使用余弦相似度算法计算场景特征信息和异常场景特征信息的相似度,得到各个异常场景图像对应的场景相似度结果。然后服务器选取数值最大的场景相似度结果作为背景区域对应的异常场景可能性。
在一个具体实施例中,如图4所示,提供一种背景区域示意图;服务器使用u-net(语义分割神经网络)进行图像语义分割,得到待检测图像对应的背景图像。将背景图像输入到moblienet(轻量级神经网络)进行特征提取,输出背景图像对应的场景向量特征,向量维度为(1,512)。服务器获取预设异常场景图像库中的异常场景图像,异常人脸图像库可以是黑名单场景图像数据库,存储的各个异常场景图像可以是执行非法业务的场所背景图像。
服务器提取各个异常场所图像对应的特征向量,向量维度为(1,512),并使用余弦相似度计算待检测图像中背景图像的特征向量与各个异常场景图像的特征向量的场景相似度结果,将数值最大的人脸相似度结果作为异常场景置信度,可以通过background_c表示,并且background_c∈(0,1),表示两个场景图像的特征向量通过余弦相似度计算,若两向量计算的结果距离越近,则两个场景越像,值域为(0,1),即场景越像则值越接近1,反之值越接近0。服务器可以设置异常场景图像为100,则异常人脸可能性的表达式如公式2所示:
B_score=background_c*100 公式2;
其中,B_score表示异常场景可能性。
在一个具体实施例中,服务器可以获取预先设置的重要场景物体标记,重要场景物体可以是预先存储的多个异常场景图像中的重要物体,该重要物体是预先设置的多个物体在各个异常场景图像中出现率达到预设阈值的场景物体。重要物体可以是实体也可以是非实体,比如座机、非法宣传口号、非法公司图标等,重要物体可以是一个也可以是多个。
服务器对待检测图像中的背景图像进行物体检测,根据重要场景物体标记判断待检测图像的背景图像中是否存在重要场景物体,检测到待检测图像的背景图像中存在重要场景物体时,确定背景图像中重要场景物体所在的区域。然后服务器根据预设尺寸对背景图像中重要场景物体所在区域进行切割,得到背景图像中重要场景物体所在区域的局部背景图像,将局部背景图像输入到特征提取网络,得到局部背景图像对应的特征向量,向量维度为(1,512)。
服务器根据预设尺寸获取预先存储的多个异常场景图像中对应位置的异常局部背景图像,并提取各个异常场景图像中异常局部背景图像对应的特征向量,向量维度为(1,512)。使用余弦相似度计算待检测图像中的局部背景图像与各个异常局部背景图像的相似度,得到各个异常局部背景图像对应的相似度结果,根据各个异常局部背景图像对应的相似度结果得到待检测图像对应的异常场景可能性。
本实施例中,通过提取待检测图像的场景特征信息,并根据场景特征信息计算待检测图像中的背景图像与异常场景图像的相似度,得到异常场景可能性。以使后续使用场景人脸可能性进行目标异常可能性计算,增加异常场景识别的识别角度,从而实现多角度检测异常图像,提高异常图像的识别准确性。
在一个实施例中,步骤206,对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性,包括:
对待检测图像中的物体区域进行目标物体检测,得到目标物体信息;
基于目标物体信息和预设异常物体信息进行表征向量转换,得到异常物体表征向量;
获取预设异常物体信息对应的异常权重向量,基于异常权重向量和异常物体表征向量进行合并计算,得到异常物体可能性。
其中,目标物体是指待检测图像中存在的所有物体。目标物体信息是指待检测图像中存在的所有物体的信息,包括待检测图像中物体的类别、属性。表征向量转换是指将待检测图像中的存在的物体转换成向量形式表示。预设异常物体信息是指预先设置好的包括异常物体的各种物体的信息,包括各个预先设置的物体的类别。异常物体表征向量是指待检测图像中各个物体的表征向量。异常权重向量是指预先设置好的各个物体对应的权重向量。
具体地,服务器使用预设目标检测算法对待检测图像进行物体检测,比如刀具、枪支、违禁品等危险物品或大量座机,目标检测算法可以是yolov5(目标检测算法),得到待检测图像中含有的各个物体的类别。如图5所示,提供一种目标物体示意图。服务器获取预设异常物体信息中的各个预设物体的类别,根据待检测图像中的物体类别和各个预设物体的类别进行表征向量转换,得到异常物体表征向量,异常物体表征向量对应的向量维度可以用(n,N)表示,其中n表示待检测图像中识别出的物体类别的数量,N表示预设物体的类别的数量。然后服务器获取预设异常物体信息对应的异常权重向量,基于异常权重向量和异常物体表征向量进行合并计算,得到异常物体可能性。合并计算的表达式如公式3所示:
其中,O_score表示异常物体可能性;ni表示待检测图像中各个物体的向量;m表示异常权重向量。
比如,预先设置有5种物品类别:电话、刀具、水果、时钟、显示屏,并预先设置5个物品对应的权重,如表1所示,则异常权重向量的维度为(5,1),其对应的异常权重向量m为(10,20,0,0,5)。服务器对待检测图像进行目标检测,检测出待检测图像中存在的物体类别有刀具、电话和时钟3种物体,即n=3,则待检测图像中异常物体表征向量对应的向量维度为(3,5),各个物体对应的向量:刀具n1为(0,1,0,0,0)、电话n2为(1,0,0,0,0)、时钟n3为(0,0,0,1,0)。
表1
预设物品 |
电话 |
刀具 |
水果 |
时钟 |
显示屏 |
权重 |
10 |
20 |
0 |
0 |
5 |
本实施例中,通过使用异常权重向量和异常物体表征向量计算异常物体可能性,以使后续使用异常物体可能性进行目标异常可能性计算,增加异常场景识别的识别角度,从而实现多角度检测异常图像,提高异常图像的识别准确性。
在一个实施例中,步骤208,基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,包括:
获取人脸区域对应的人脸特征信息、背景区域对应的场景特征信息和物体区域对应的异常物体表征向量;
将人脸特征信息、场景特征信息和异常物体表征向量输入到预设注意力网络进行池化计算和全连接层计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重。
具体地,服务器根据人脸特征信息和场景特征信息对应的维度,可以将异常物体表征向量输入到卷积网络中进行维度转换,完成维度统一。然后将维度统一的人脸特征信息、场景特征信息和异常物体表征向量输入到预设注意力网络进行池化计算和全连接层计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重。
在一个具体实施例中,服务器将维度统一的人脸特征信息、场景特征信息和异常物体表征向量输入到SE注意力模块(通道注意力模块),得到人脸区域、物体区域、背景区域分别对应的注意力权重:α、β、γ。
根据人脸区域、物体区域、背景区域分别对应的注意力权重、人脸可能性、异常场景可能性和异常物体可能性进行加权计算,计算公式如公式4所示,
S=α*F_score+β*O_score+γ*B_score 公式4;
其中,S表示目标异常可能性。
本实施例中,通过对人脸特征信息、场景特征信息和物体区域对应的异常物体表征向量进行维度统一,然后使用维度统一后的脸特征信息、场景特征信息和物体区域对应的异常物体表征向量进行权重计算,得到的人脸区域、背景区域和物体区域分别对应的注意力权重更精确,从而对待检测图像的异常图像检测更准确。
在一个实施例中,异常图像识别方法,还包括:
将待检测图像输入到异常图像识别模型中,通过异常图像识别模型提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;
通过异常图像识别模型提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
通过异常图像识别模型对待检测图像进行异常物体检测,得到待检测图像对应的异常物体可能性;
通过异常图像识别模型基于异常人脸可能性、异常场景可能性和异常物体可能性进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到目标异常可能性。
具体地,如图6所示,提供一种异常图像检测的流程示意图。服务器获取异常图像识别模型,包括特征提取模块、目标检测模块、相似度计算模块、多注意力模块和判别模块。服务器获取用户终端上传的待检测图像,将待检测图像输入到异常图像识别模型进行异常图像识别。异常图像识别模型中的特征提取模块对提取待检测图像中的人脸区域,通过相似度计算模块对人脸区域进行异常人脸识别,并从异常人脸图像库中获取预先存储的异常人脸图像进行相似度计算,得到人脸区域对应的风险人脸特征向量结果,即异常人脸可能性。
特征提取模块提取待检测图像中的背景区域,通过相似度计算模块对背景区域进行异常场景识别,并从异常场景图像库中获取预先存储的异常场景图像进行相似度计算得到背景区域对应的背景特征向量结果,即异常场景可能性。
异常图像识别模型中的目标检测模块对待检测图像进行异常物体检测,得到待检测图像对应的目标检测向量结果,即异常物体可能性。
然后异常图像识别模型将异常人脸可能性、异常场景可能性和异常物体可能性输入到多注意力模块进行权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,并对异常人脸可能性、异常场景可能性、异常物体可能性和注意力权重进行加权计算,得到目标异常可能性。
异常图像识别模型中的判别模块对目标异常可能性进行异常图像判别,输出待检测图像对应的判别结果,服务器根据检测结果确定待检测图像是否为异常图像。如果是异常图像则将该异常图像进行数据入库,存储到异常图像数据库中,异常图像数据库可以是高危诈骗场景库。
本实施例中,通过构建异常图像识别模型,通过异常图像识别模型对用户上传的待检测图像进行异常图像识别,使用人脸、背景和目标物体联合识别,能够提高异常图像识别的准确性,并能够增加异常图像样本的多样性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的异常图像识别方法的异常图像识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个异常图像识别装置实施例中的具体限定可以参见上文中对于异常图像识别方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种异常图像识别装置700,包括:人脸识别模块702、场景识别模块704、物体识别模块706、计算模块708和判断模块710,其中:
人脸识别模块702,用于获取待检测图像,提取所述待检测图像中的人脸区域,对所述人脸区域进行异常人脸识别,得到所述人脸区域对应的异常人脸可能性;
场景识别模块704,用于提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;
物体识别模块706,用于对待检测图像中的物体区域进行异常物体检测,得到待检测图像对应的异常物体可能性;
计算模块708,用于基于人脸区域、背景区域和物体区域进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性;
判断模块710,用于当目标异常可能性满足预设异常可能性阈值时,确定待检测图像为异常图像。
在一个实施例中,人脸识别模块702,包括:
人脸提取单元,用于对人脸区域进行人脸特征提取,得到人脸特征信息;获取预设异常人脸图像库中的各个异常人脸图像对应的异常人脸特征信息;基于人脸特征信息和各个异常人脸图像对应的异常人脸特征信息进行相似度计算,得到各个异常人脸图像对应的人脸相似度结果;基于各个异常人脸图像对应的人脸相似度结果确定人脸区域对应的异常人脸可能性。
在一个实施例中,场景识别模块,包括:
场景提取单元,用于对背景区域进行场景特征提取,得到场景特征信息;获取预设异常场景图像库中的各个异常场景图像对应的异常场景特征信息;基于场景特征信息和各个异常场景图像对应的异常场景特征信息进行相似度计算,得到各个异常场景图像对应的场景相似度结果;基于各个异常场景图像对应的场景相似度结果确定背景区域对应的异常场景可能性。
在一个实施例中,物体识别模块,包括:
物体提取单元,用于对待检测图像中的物体区域进行目标物体检测,得到目标物体信息;基于目标物体信息和预设异常物体信息进行表征向量转换,得到异常物体表征向量;获取预设异常物体信息对应的异常权重向量,基于异常权重向量和异常物体表征向量进行合并计算,得到异常物体可能性。
在一个实施例中,计算模块,包括:
权重计算单元,用于获取人脸区域对应的人脸特征信息、背景区域对应的场景特征信息和物体区域对应的异常物体表征向量;将人脸特征信息、场景特征信息和异常物体表征向量输入到预设注意力网络进行池化计算和全连接层计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重。
在一个实施例中,异常图像识别装置700,还包括:
异常图像识别模型单元,用于将待检测图像输入到异常图像识别模型中,通过异常图像识别模型提取待检测图像中的人脸区域,对人脸区域进行异常人脸识别,得到人脸区域对应的异常人脸可能性;通过异常图像识别模型提取待检测图像中的背景区域,对背景区域进行异常场景识别,得到背景区域对应的异常场景可能性;通过异常图像识别模型对待检测图像进行异常物体检测,得到待检测图像对应的异常物体可能性;通过异常图像识别模型基于异常人脸可能性、异常场景可能性和异常物体可能性进行注意力权重计算,得到人脸区域、背景区域和物体区域分别对应的注意力权重,基于注意力权重、异常人脸可能性、异常场景可能性和异常物体可能性进行加权计算,得到待检测图像对应的目标异常可能性。
上述异常图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储异常人脸图像、异常场景图像等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常图像识别方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种异常图像识别方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8-9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。在一个实施例中,处理器执行计算机程序时还实现以下步骤:
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。