CN115223022B - 一种图像处理方法、装置、存储介质及设备 - Google Patents

一种图像处理方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN115223022B
CN115223022B CN202211118431.9A CN202211118431A CN115223022B CN 115223022 B CN115223022 B CN 115223022B CN 202211118431 A CN202211118431 A CN 202211118431A CN 115223022 B CN115223022 B CN 115223022B
Authority
CN
China
Prior art keywords
image
face recognition
background
face
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211118431.9A
Other languages
English (en)
Other versions
CN115223022A (zh
Inventor
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202211118431.9A priority Critical patent/CN115223022B/zh
Publication of CN115223022A publication Critical patent/CN115223022A/zh
Application granted granted Critical
Publication of CN115223022B publication Critical patent/CN115223022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像处理方法、装置、存储介质及设备,该方法中,针对获取的人脸识别图像,对其背景图像进行特征提取,得到图像背景特征,并将该图像背景特征和表征该人脸识别图像对应的拍摄参数的指定特征进行融合,再将所有融合后的特征进行聚类,得到聚类结果。这样,在背景相似度中融入了拍摄参数,使得聚类更为准确,从而实现在海量数据中快速挖掘出基于欺诈行为产生的人脸识别图像,提升审核的效率。

Description

一种图像处理方法、装置、存储介质及设备
技术领域
本申请涉及金融科技及图像处理技术领域,具体而言,涉及一种图像处理方法、装置、存储介质及设备。
背景技术
目前,很多行业的业务开启了线上办理通道,以节约办理者的时间。线上业务,尤其是银行的线上业务,在提升便捷度的同时,也存在着一定的风险隐患。在银行的线上业务中,通常会对办理者进行人脸识别,以对办理者进行身份验证,但是,可能存在某些不法分子通过诈骗的方式来躲避这一规则检测,例如将用户骗到某一场所进行人脸识别操作。
对于这种欺诈行为,人工审核时存在一定难度,特别是随着待审核的照片数量的增加,人工审核的难度大幅度上升。
发明内容
本申请实施例的目的在于提供一种图像处理方法、装置、存储介质及设备,旨在解决相关技术中存在的对于不法分子躲避基于人脸识别操作的检测的欺诈行为,审核难度高的问题。
第一方面,本申请实施例提供的一种图像处理方法,包括:
获取多张人脸识别图像和对应的拍摄参数;
针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
将所有融合后的特征进行聚类,得到聚类结果。
在上述实现过程中,针对获取的人脸识别图像,对其背景图像进行特征提取,得到图像背景特征,并将该图像背景特征和表征该人脸识别图像对应的拍摄参数的指定特征进行融合,再将所有融合后的特征进行聚类,得到聚类结果。这样,在背景相似度中融入了拍摄参数,使得聚类更为准确,从而实现在海量数据中快速挖掘出基于欺诈行为产生的人脸识别图像,提升审核的效率。
进一步地,在一些实施例中,所述拍摄参数包括以下至少一项:
拍摄设备型号、拍摄时间、拍摄地理位置。
在上述实现过程中,提供可用于提升聚类准确率的拍摄参数类型。
进一步地,在一些实施例中,所述人脸识别图像的背景图像基于以下方式获取得到:
通过对所述人脸识别图像进行人脸检测,获取人脸框矩形;
对所述人脸框矩形进行放大,得到扩展人脸框矩形;
根据所述扩展人脸框矩形对所述人脸识别图像进行裁剪,输出背景图像。
在上述实现过程中,基于人脸检测进行背景提取,相较于训练用于前景背景分割的神经网络模型的方式来说,可以有效地节约算力开销。
进一步地,在一些实施例中,所述根据所述扩展人脸框矩形对所述人脸识别图像进行裁剪,包括:
根据所述扩展人脸框矩形的下方线条,将所述人脸识别图像划分为上半部分图像和下半部分图像,并裁剪掉所述下半部分图像;
从所述上半部分图像中裁剪掉所述扩展人脸框矩形对应的图像区域。
在上述实现过程中,扩展人脸框矩形对应的图像区域以及其下方线条以下的图像区域,均从原图中裁剪掉,从而使得提取出的背景图像完全不涉及人物部分,有效避免人物部分对后续聚类的影响。
进一步地,在一些实施例中,所述背景图像是基于初始背景图像的颜色特征与HOG特征进行叠加而得到的;所述初始背景图像是从所述上半部分图像中裁剪掉所述扩展人脸框矩形对应的图像区域后的图像。
在上述实现过程中,在背景相似度计算中引入HOG特征,可以有效提升聚类效果,从而为挖掘出基于欺诈行为产生的人脸识别图像提供良好的数据基础。
进一步地,在一些实施例中,所述将所有融合后的特征进行聚类,包括:
对所有融合后的特征进行DBSCAN聚类,其中,使用余弦相似度计算两个对象之间的距离,每个对象对应一个融合后的特征。
在上述实现过程中,提供一种将融合后的特征进行聚类的解决方案。
进一步地,在一些实施例中,还包括:
从每一个类别中提取出其中一个特征对应的人脸识别图像;
将提取出的人脸识别图像传递至后台进行审核;
基于审核结果为可疑背景的人脸识别图像对应的类别,建立黑名单库。
在上述实现过程中,通过提取代表图像、后台审核、建立黑名单库,后续在用户进行人脸识别操作时,可以利用该黑名单库对用户上传的照片进行检测,从而快速排查出欺诈行为。
第二方面,本申请实施例提供的一种图像处理装置,包括:
获取模块,用于获取多张人脸识别图像和对应的拍摄参数;
融合模块,用于针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
聚类模块,用于将所有融合后的特征进行聚类,得到聚类结果。
第三方面,本申请实施例提供的一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
第四方面,本申请实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如第一方面任一项所述的方法。
第五方面,本申请实施例提供的一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一项所述的方法。
本申请公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本申请公开的上述技术即可得知。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像处理方法的流程图;
图2为本申请实施例提供的一种在海量数据中挖掘潜在“黑背景”的方案的工作流程的示意图;
图3为本申请实施例提供的一种基于人脸检测的背景分割方案的示意图,其中,图3(a)是分割展示图,图3(b)是提取的背景图;
图4为本申请实施例提供的一种叠加背景图与HOG特征的方案的示意图;
图5为本申请实施例提供的一种图像处理装置的框图;
图6为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
如背景技术记载,相关技术存在着对于不法分子躲避基于人脸识别操作的检测的欺诈行为,审核难度高的问题。基于此,本申请实施例提供一种图像处理方案,以解决上述问题。
接下来对本申请实施例进行介绍:
如图1所示,图1是本申请实施例提供的一种图像处理方法的流程图,所述方法可以应用于终端或服务器,该终端可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等;该服务器可以是单个服务器,也可以是多个服务器组成的分布式服务器集群。该终端或服务器提供图像处理的环境,这一环境包括软件部分和硬件部分,其中,软件部分主要包括操作系统,如Windows、Linux等,硬件部分主要包括计算资源、存储资源等,如CPU(Central Processing Unit,中央处理器)、内存、硬盘等。需要说明的是,该终端/服务器也可以实现成多个软件或软件模块,或者还可以实现成单个软件或软件模块,本申请对此不作限制。
所述方法包括:
在步骤101、获取多张人脸识别图像和对应的拍摄参数;
本步骤中提到的人脸识别图像可以是指用户在进行人脸识别操作时的图像。该人脸识别图像可以是单独的一张照片,也可以是视频中的一帧图像。其中,不同的人脸识别图像可以对应不同的用户,也就是说,本实施例所获取的多张人脸识别图像可以是指多个用户各自在进行人脸识别操作时的图像。
该人脸识别图像可以是通过用户终端实时采集的,也可以是通过其他拍摄设备采集后,由用户终端上传的。而人脸识别图像对应的拍摄参数即是采集该人脸识别图像的设备的拍摄参数。在一些实施例中,该拍摄参数可以包括以下至少一种:拍摄设备型号、拍摄时间、拍摄地理位置。以人脸识别图像是通过用户的手机实时采集为例,拍摄设备型号即是该手机的型号,拍摄时间即是用户进行人脸识别操作的时间,拍摄地理位置即是用户所在的地理位置。这些拍摄参数一般是附加在图像信息中的,通过查看人脸识别图像的图像信息,即可获取到对应的拍摄参数。当然,在他实施例中,该拍摄参数还可以包括其他的参数,如拍摄环境、拍摄设备的ID标识、拍摄设备厂商、场景码、曝光值、感光度等;这些拍摄参数也可以通过其他渠道获取得到,如通过预先训练好的神经网络模型对人脸识别图像中的用户环境、用户场景进行判定,以此获取该人脸识别图像的拍摄环境、场景码。
为了提升后续聚类的准确性,可以获取大量的人脸识别图像并且记录对应的机型、地理位置等信息,这些人脸识别图像及信息可以是从历史业务记录中获取得到的,例如,系统可以获取前一个季度内办理过的所有历史业务,并从中提取出人脸识别图像以及对应的拍摄参数,用以挖掘基于欺诈行为的人脸识别图像。
在步骤102、针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
本步骤是指:对每张人脸识别图像进行特征提取以及特征融合。具体地,在特征提取时,需要先获取人脸识别图像的背景图像,这里的背景图像可以是指除去人物部分后的图像。
相关技术中提取背景图像的方式一般是训练一个用于前景背景分割的神经网络模型,基于该神经网络模型将背景从图像中剥离出来。然而,这种方式在实际应用中往往效果不理想。考虑到人脸识别图像的前景一般为人脸,背景的场景也相对单一,因此在一些实施例中,该人脸识别图像的背景图像可以基于以下方式获取得到:通过对人脸识别图像进行人脸检测,获取人脸框矩形;对该人脸框矩形进行放大,得到扩展人脸框矩形;根据该扩展人脸框矩形对该人脸识别图像进行裁剪,输出背景图像。
这里的人脸检测是一种广泛应用的计算机技术,可以识别数字图像中的人脸,以人脸检测较为常用的一种深度学习网络模型MTCNN(Multi-task Cascaded ConvolutionalNetworks,多任务卷积神经网络)为例,其主要采用了三个级联的网络,分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net,利用候选框加分类器的思想进行快速高效的人脸检测,从而输出用于框选人脸所在图像区域的人脸框矩形。该人脸框矩形通常没有包括整个人脸区域,这是因为人脸框矩形一般只是框选出人脸面部的关键区域,包括眉毛、眼睛、鼻子等,而并未框选出头发、耳朵等区域,因此,获取到人脸框矩形后,对其进行放大,得到扩展人脸框矩形,这里的扩展人脸框矩形可以认为包括了整个人脸区域,因人脸识别本身的特殊性,在已知人脸位置的情况下,将人脸区域提取出来的值相对来说是比较固定的,可选地,对人脸框矩形进行放大可以是按照横向往左右各放大10%,以及纵向往上放大50%的方式来进行的,如此,可以在一定程度上保障扩展人脸框矩形包括整个人脸区域。之后,根据该扩展人脸框矩形,可以从人脸识别图像中裁剪出人物部分,从而准确提取出背景图像。这样,相较于训练用于前景背景分割的神经网络模型的方式来说,可以有效地节约算力开销。
进一步地,由于一些场景中,人脸识别图像是半身照,即图像中的人物部分不仅包括人脸区域,还包括人物肩部、上身服装等,因此,在一些实施例中,根据扩展人脸框矩形对人脸识别图像进行裁剪可以包括:根据扩展人脸框矩形的下方线条,将人脸识别图像划分为上半部分图像和下半部分图像,并裁减掉该下半部分图像;从该上半部分图像中裁剪掉该扩展人脸框矩形对应的图像区域。也就是说,扩展人脸框矩形对应的图像区域以及其下方线条以下的图像区域,均从原图中裁剪掉。如此,使得提取出的背景图像完全不涉及人物部分,有效避免人物部分对后续聚类的影响。
在获取人脸识别图像的背景图像后,可以对该背景图像进行特征提取。可选地,图像背景特征可以是通过训练好的神经网络模型,如CNN(Convolutional Neural Network,卷积神经网络)模型对背景图像进行处理而得到的。具体的特征提取过程可以参见相关技术中的描述,本申请对此不作赘述。当然,该图像背景特征也可以采取其他特征提取方法获得,如PCA(Principal Component Analysis,主成分分析)法、傅里叶特征算子法等,本申请对此不作限制。
与图像背景特征相融合的指定特征是表征拍摄参数的特征,也就是说,在特征融合前,还需要对步骤201中获取的拍摄参数进行处理,以得到指定特征。可选地,该指定特征可以是使用BERT(Bidirectional Encoder Representation from Transformers,基于Transformers的双向编码器表示)模型对拍摄参数进行Embedding(嵌入,指用一个低维的表示一个物体)而得到的。BERT模型拥有强大的语言表达能力和特征提取能力,以拍摄参数包括拍摄设备型号为例,BERT模型可以将拍摄设备型号对应的词送入token embedding层,从而将这个词转换成768维的向量。当然,对于拍摄时间和以经纬度表示的拍摄地理位置这类拍摄参数,也可以直接按照预设编码规则来获取对应的指定特征,例如,将拍摄参数进行归一化处理,即拍摄参数中所有元素统一映射到[0,1]区间上,从而得到拍摄参数对应的特征表示。
图像背景特征和指定特征之间的融合可以是直接将两个特征进行连接,也可以是采取并行策略将两个特征组合成复向量。本申请对此不作限制。
在步骤103、将所有融合后的特征进行聚类,得到聚类结果。
本实施例之所以融合图像背景特征和指定特征,并以此对人脸识别图像进行聚类,是因为在实际应用中发现,欺诈团队上传的照片存在类似的背景,而且照片属性非常一致。基于此发现,本步骤中将所有融合后的特征进行聚类,可以将欺诈团队上传的人脸识别图像归为一类,从而实现在海量数据中快速挖掘出基于欺诈行为产生的人脸识别图像,提升审核的效率。
具体地,本步骤中提到的聚类可以是基于DBSCAN(Density-Based SpatialClustering of Applications with Noise,基于密度的聚类算法)而实现的。DBSCAN是一种聚类算法,它将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇,并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN主要涉及两个参数,分别是扫描半径(Eps)和最小包含点数(MinPts),可选地,该扫描半径可以是2,最小包含点数可以是8。经试验发现,采用上述数值的设置,可以取得较为良好的聚类效果。当然,在其他实施例中,也可以根据具体场景的需求设置其他数值,本申请对此不作限制。另外,在进行DBSCAN聚类时,可以使用余弦相似度计算两个对象之间的距离,即利用两个融合后的特征之间的夹角余弦来衡量它们间的相似程度。当然,在其他实施例中,也可以采取其他计算方式,如欧氏距离、曼哈顿距离等来计算两个对象之间的距离,本申请对此不作限制。
此外,为了进一步提升背景相似度计算的准确率,在一些实施例中,前面提到的背景图像可以是基于初始背景图像的颜色特征与HOG特征进行叠加而得到的,该初始背景图像是从上半部分图像中裁剪掉扩展人脸框矩形对应的图像区域后的图像。HOG(Histogramof Oriented Gradient,方向梯度直方图)特征是一种计算机视觉和图像处理中用来进行物体检测的特征描述子,其提取过程通常包括色彩和伽马归一化、计算图像梯度、构建方向的直方图、将细胞单元(Cell)组合成大的区间、收集HOG特征这几个步骤。初始背景图像的颜色特征与HOG特征的叠加,可以认为是初始背景图像的RGB图像和HOG图像的叠加,其叠加方式可以是分别对初始背景图像的RGB图像和HOG图像进行归一化,然后直接进行通道地叠加,从而得到背景图像。由于HOG特征表示的是边缘的结构特征,可以描述局部的形状信息,因此,引入HOG特征后可以有效提升聚类效果,从而为挖掘出基于欺诈行为产生的人脸识别图像提供良好的数据基础。
还有,针对聚类结果,可以从每一个类别中提取出其中一个特征对应的人脸识别图像;将提取出人脸识别图像传递至后台进行审核;基于审核结果为可疑背景的人脸识别图像对应的类别,建立黑名单库。例如,聚类结果一共有N个类别,则可以针对每个类别提取一张人脸识别图像作为该类别的代表图像,之后将提取出的这N张代表图像传递至后台,由后台的管理员进行人工审核,若审核到某一张代表图像为可疑背景,则将该代表图像对应的类别中的所有人脸识别图像均视为可疑背景图像,进而基于这些可疑背景图像建立黑名单库。如此,后续在用户进行人脸识别操作时,可以利用该黑名单库对用户上传的照片进行检测,从而快速排查出欺诈行为。
本申请实施例,针对获取的人脸识别图像,对其背景图像进行特征提取,得到图像背景特征,并将该图像背景特征和表征该人脸识别图像对应的拍摄参数的指定特征进行融合,再将所有融合后的特征进行聚类,得到聚类结果。这样,在背景相似度中融入了拍摄参数,使得聚类更为准确,从而实现在海量数据中快速挖掘出基于欺诈行为产生的人脸识别图像,提升审核的效率。
为了对本申请的方案做更为详细的说明,接下来介绍一具体实施例:
在银行的业务中,办理时会对办理者进行人脸识别来核身。可能存在某些不法分子通过诈骗的方式来躲避这一规则检测,例如将用户骗到某一场所进行人脸识别操作。通常将这一类黑产在进行人脸识别的背景称为“黑背景”。而本实施例提供一种在事先不知道“黑背景”的情况下,通过大数据聚类的方法在海量数据中挖掘潜在“黑背景”的方案,该方案可以应用于银行系统的服务器。
本实施例方案的工作流程如图2所示,该工作流程包括:
S201、获取大量的人脸识别图像并且记录人脸识别的机型、地理位置等信息;
S202、针对每张人脸识别图像,进行基于人脸检测的背景提取;
如图3所示,图3是本申请实施例提供的一种基于人脸检测的背景分割方案的示意图,其中图3(a)是分割展示图,虚线框31为人脸检测的人脸框,实线框32为基于人脸框扩展出来的框。因人脸识别本身的特殊性,如果在已知人脸位置的情况下,将人脸区域提取出来的值相对来说比较固定,因而提出此方法,通过开源软件MediaPipe实现,实线框32是虚线框31横向往左右各放大10%,以及纵向往上放大50%后得到的;图3(b)是提取的背景图,基于实线框32的下方线条将图3(a)分割为上半部分图像和下半部分图像,下半部分图像直接从原图中裁剪掉,不进入下一级特征提取计算,上半部分图像中实线框32的图像值被赋为0,从而得到图3(b);
S203、对提取到的背景计算额外的HOG特征;
HOG计算通过开源的工具包skimage.feature.hog实现,其中,关于参数设置,使用orientations方向箱选用12个方向维度,每个Cell设置为7*7,每个Cell里面的Block设置为3*3,Block里面的归一化方法使用L2正则;
S204、将背景图与HOG特征进行叠加,得到RGBH图像;
背景图HOG叠加方式如图4所示,分别对背景图RGB图像43、HOG图像44进行归一化,然后直接进行通道叠加,得到背景RGBH图像45,其中:背景RGB图像43归一化方式为先除以255,然后减均值除方差,RGB通道对应均值为(0.485,0.456,0.406),方差为(0.229,0.224,0.225);HOG图像44归一化方式为除以255,然后减去0.5;
S205、利用CNN模型对RGBH图像进行图像特征提取,得到图像背景特征;
该CNN模型使用ResNet101进行训练,并且针对ResNet101添加SE(Squeeze-and-Excitation)模块,提升模型的准确率。一般来说,由深度卷积神经网络得到的特征图(h*w*c)中,每一个通道c(channel)是等权重的,而SE模块就是为每一个通道设定不同的权重参数,计算公式如下:
Figure P_220901184903951_951823001
式中,
Figure F_220901184903003_003099001
表示总共有多少个通道,
Figure F_220901184903065_065601002
表示第i个通道,
Figure F_220901184903130_130053003
表示对应通道
Figure F_220901184903192_192562004
的权重,Total表示对所有的通道取加权之后的总和;
提取的特征为对于训练后的模型取最后一层的feature map(特征图),接一个maxpooling(最大池化),提取2048维度的特征;
S206、融合图像背景特征以及已知额外的机型、地址位置信息、时间等;
特征融合时,除了2038维度的图像背景特征之外,基于银行场景添加的额外的特征以及处理方法如下所示:
机型,即拍摄设备的型号,处理方法为使用BERT模型对词进行Embedding,输出的维度为768,权重为1(权重用于数值化对应特征之后,在融合特征时,特征的数值再乘以权重的系数,权重越大表示该特征越重要,图像背景特征的权重为1);
时间,即用户进行人脸识别的操作时间,处理方法为归一化到[0,1],包括年除以3000,月除以12,日除以31,时间8时至18时为1,其余为0,权重为2;
地理位置信息,即获取到的用户位置信息(经纬度),处理方法为经度除以180,纬度除以90,权重为8;
室内/室外,即对用户环境判定的结果,处理方法为0表示室外,1表示室内,权重为4;
操作系统,即拍摄设备采取的操作系统,处理方法为0表示安卓系统,1表示iOS系统,权重为2;
设备ID,即拍摄设备的ID标识,处理方法为使用BERT模型对词进行Embedding,输出的维度为768,权重为1;
场景码,即银行侧对用户场景区分的识别码(通常用数字0~300表示),处理方法为数值除以300,权重为8;
人脸识别结果,即当次人脸识别的结果,处理方法为0表示通过,1表示不通过,权重为2;
S207、对融合之后的特征数据进行聚类;
采用DBSCAN聚类算法,其中,扫描半径设置为2,密度阈值设置为8,相似度距离计算使用余弦相似度计算两个对象之间的距离;
S208、对聚类之后得到的可疑背景进行白名单过滤,进而得到最终挖掘到的“黑背景”。
本实施例中,无需训练背景分割模型,仅通过大数据找到的经验参数即可进行简单的背景分割,这极大的节约了背景分割的算力开销;在计算背景相似度的时候引入了HOG特征,进一步提升了背景相似度计算的准确率;融入了机型、地理位置等其他信息,克服了单纯依赖图像的局限性,使得聚类更为准确。通过上述工作流程,提升了挖掘“黑背景”的效率及准确率。
与前述方法的实施例相对应,本申请还提供图像处理装置及其应用的终端的实施例:
如图5所示,图5是本申请实施例提供的一种图像处理装置的框图,所述装置包括:
获取模块51,用于获取多张人脸识别图像和对应的拍摄参数;
融合模块52,用于针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
聚类模块53,用于将所有融合后的特征进行聚类,得到聚类结果。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本申请还提供一种电子设备,请参见图6,图6为本申请实施例提供的一种电子设备的结构框图。电子设备可以包括处理器610、通信接口620、存储器630和至少一个通信总线640。其中,通信总线640用于实现这些组件直接的连接通信。其中,本申请实施例中电子设备的通信接口620用于与其他节点设备进行信令或数据的通信。处理器610可以是一种集成电路芯片,具有信号的处理能力。
上述的处理器610可以是通用处理器,包括中央处理器(CPU,Central ProcessingUnit)、网络处理器(NP,Network Processor)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器610也可以是任何常规的处理器等。
存储器630可以是,但不限于,随机存取存储器(RAM,Random Access Memory),只读存储器(ROM,Read Only Memory),可编程只读存储器(PROM ,Programmable Read-OnlyMemory),可擦除只读存储器(EPROM ,Erasable Programmable Read-Only Memory),电可擦除只读存储器(EEPROM ,Electric Erasable Programmable Read-Only Memory)等。存储器630中存储有计算机可读取指令,当所述计算机可读取指令由所述处理器610执行时,电子设备可以执行上述图1方法实施例涉及的各个步骤。
可选地,电子设备还可以包括存储控制器、输入输出单元。
所述存储器630、存储控制器、处理器610、外设接口、输入输出单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线640实现电性连接。所述处理器610用于执行存储器630中存储的可执行模块,例如电子设备包括的软件功能模块或计算机程序。
输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。所述输入输出单元可以是,但不限于,鼠标和键盘等。
可以理解,图6所示的结构仅为示意,所述电子设备还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。
本申请实施例还提供一种存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,所述计算机程序被处理器执行时实现方法实施例所述的方法,为避免重复,此处不再赘述。
本申请还提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种图像处理方法,其特征在于,包括:
获取多张人脸识别图像和对应的拍摄参数;
针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
将所有融合后的特征进行聚类,得到聚类结果;
其中,所述人脸识别图像的背景图像基于以下方式获取得到:
通过对所述人脸识别图像进行人脸检测,获取人脸框矩形;
对所述人脸框矩形进行放大,得到扩展人脸框矩形;
根据所述扩展人脸框矩形的下方线条,将所述人脸识别图像划分为上半部分图像和下半部分图像,并裁剪掉所述下半部分图像;
从所述上半部分图像中裁剪掉所述扩展人脸框矩形对应的图像区域,输出背景图像。
2.根据权利要求1所述的方法,其特征在于,所述拍摄参数包括以下至少一项:
拍摄设备型号、拍摄时间、拍摄地理位置。
3.根据权利要求1所述的方法,其特征在于,所述背景图像是基于初始背景图像的颜色特征与HOG特征进行叠加而得到的;所述初始背景图像是从所述上半部分图像中裁剪掉所述扩展人脸框矩形对应的图像区域后的图像。
4.根据权利要求1所述的方法,其特征在于,所述将所有融合后的特征进行聚类,包括:
对所有融合后的特征进行DBSCAN聚类,其中,使用余弦相似度计算两个对象之间的距离,每个对象对应一个融合后的特征。
5.根据权利要求1所述的方法,其特征在于,还包括:
从每一个类别中提取出其中一个特征对应的人脸识别图像;
将提取出的人脸识别图像传递至后台进行审核;
基于审核结果为可疑背景的人脸识别图像对应的类别,建立黑名单库。
6.一种图像处理装置,其特征在于,包括:
获取模块,用于获取多张人脸识别图像和对应的拍摄参数;
融合模块,用于针对每张人脸识别图像,对所述人脸识别图像的背景图像进行特征提取,得到图像背景特征,并将所述图像背景特征和指定特征进行融合,所述指定特征是表征所述人脸识别图像对应的拍摄参数的特征;
聚类模块,用于将所有融合后的特征进行聚类,得到聚类结果;
其中,所述融合模块具体用于:
通过对所述人脸识别图像进行人脸检测,获取人脸框矩形;
对所述人脸框矩形进行放大,得到扩展人脸框矩形;
根据所述扩展人脸框矩形的下方线条,将所述人脸识别图像划分为上半部分图像和下半部分图像,并裁剪掉所述下半部分图像;
从所述上半部分图像中裁剪掉所述扩展人脸框矩形对应的图像区域,输出背景图像。
7.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
8.一种电子设备,其特征在于,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
CN202211118431.9A 2022-09-15 2022-09-15 一种图像处理方法、装置、存储介质及设备 Active CN115223022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211118431.9A CN115223022B (zh) 2022-09-15 2022-09-15 一种图像处理方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211118431.9A CN115223022B (zh) 2022-09-15 2022-09-15 一种图像处理方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN115223022A CN115223022A (zh) 2022-10-21
CN115223022B true CN115223022B (zh) 2022-12-09

Family

ID=83617650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211118431.9A Active CN115223022B (zh) 2022-09-15 2022-09-15 一种图像处理方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN115223022B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071089B (zh) * 2023-02-10 2023-12-05 成都新希望金融信息有限公司 一种欺诈识别方法、装置、电子设备及存储介质
CN118069870B (zh) * 2024-01-25 2024-07-23 飞虎互动科技(北京)有限公司 基于信息融合特征建立环境信息档案的方法、系统及设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2549431A1 (de) * 2011-07-21 2013-01-23 Sick Ag Bildfusion zur Überwachung eines Gefahrenbereichs
CN103605960A (zh) * 2013-11-15 2014-02-26 长安大学 一种基于不同焦距视频图像融合的交通状态识别方法
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
WO2019096029A1 (zh) * 2017-11-20 2019-05-23 腾讯科技(深圳)有限公司 活体识别方法、存储介质和计算机设备
CN111539912A (zh) * 2020-03-23 2020-08-14 中国科学院自动化研究所 基于人脸结构定位的健康指标评估方法、设备和存储介质
CN112348937A (zh) * 2019-08-09 2021-02-09 华为技术有限公司 人脸图像处理方法及电子设备
WO2021134311A1 (zh) * 2019-12-30 2021-07-08 苏州臻迪智能科技有限公司 拍摄对象切换方法及装置、图像处理方法及装置
WO2021169134A1 (zh) * 2020-02-28 2021-09-02 北京百度网讯科技有限公司 表情包生成方法、装置、设备和介质
CN113436734A (zh) * 2020-03-23 2021-09-24 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
CN113673474A (zh) * 2021-08-31 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022143398A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 三维模型生成方法及装置
CN114972634A (zh) * 2022-05-06 2022-08-30 清华大学 基于特征体素融合的多视角三维可变形人脸重建方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
CN110139033B (zh) * 2019-05-13 2020-09-22 Oppo广东移动通信有限公司 拍照控制方法及相关产品
US11521340B2 (en) * 2020-02-28 2022-12-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Emoticon package generation method and apparatus, device and medium
CN112330709A (zh) * 2020-10-29 2021-02-05 奥比中光科技集团股份有限公司 一种前景图像提取方法、装置、可读存储介质及终端设备
CN114429484A (zh) * 2022-01-21 2022-05-03 惠州Tcl移动通信有限公司 一种图像处理方法、装置、智能设备及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2549431A1 (de) * 2011-07-21 2013-01-23 Sick Ag Bildfusion zur Überwachung eines Gefahrenbereichs
CN103605960A (zh) * 2013-11-15 2014-02-26 长安大学 一种基于不同焦距视频图像融合的交通状态识别方法
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CN105894702A (zh) * 2016-06-21 2016-08-24 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法
WO2019096029A1 (zh) * 2017-11-20 2019-05-23 腾讯科技(深圳)有限公司 活体识别方法、存储介质和计算机设备
CN112348937A (zh) * 2019-08-09 2021-02-09 华为技术有限公司 人脸图像处理方法及电子设备
WO2021134311A1 (zh) * 2019-12-30 2021-07-08 苏州臻迪智能科技有限公司 拍摄对象切换方法及装置、图像处理方法及装置
WO2021169134A1 (zh) * 2020-02-28 2021-09-02 北京百度网讯科技有限公司 表情包生成方法、装置、设备和介质
CN111539912A (zh) * 2020-03-23 2020-08-14 中国科学院自动化研究所 基于人脸结构定位的健康指标评估方法、设备和存储介质
CN113436734A (zh) * 2020-03-23 2021-09-24 北京好啦科技有限公司 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
WO2022143398A1 (zh) * 2020-12-29 2022-07-07 华为技术有限公司 三维模型生成方法及装置
CN113673474A (zh) * 2021-08-31 2021-11-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114972634A (zh) * 2022-05-06 2022-08-30 清华大学 基于特征体素融合的多视角三维可变形人脸重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Clothing Image Retrieval Method Combining Convolutional Neural Network Multi-layer Feature Fusion and K-Means Clustering;Hou,Y.Y等;《Computer Science》;20190630;第46卷(第6期);第215-221页 *
基于卷积神经网络的行人重识别技术研究;房攀攀;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210815(第8期);第I138-525页 *

Also Published As

Publication number Publication date
CN115223022A (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN109697416B (zh) 一种视频数据处理方法和相关装置
CN109255352B (zh) 目标检测方法、装置及系统
CN110569721B (zh) 识别模型训练方法、图像识别方法、装置、设备及介质
WO2022161286A1 (zh) 图像检测方法、模型训练方法、设备、介质及程序产品
CN115223022B (zh) 一种图像处理方法、装置、存储介质及设备
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN111191568B (zh) 翻拍图像识别方法、装置、设备及介质
US11126827B2 (en) Method and system for image identification
CN110688893A (zh) 佩戴安全帽的检测方法、模型训练方法及相关装置
CN106056083B (zh) 一种信息处理方法及终端
CN110688878B (zh) 活体识别检测方法、装置、介质及电子设备
Do et al. Automatic license plate recognition using mobile device
CN112819611A (zh) 欺诈识别方法、装置、电子设备和计算机可读存储介质
US20230410220A1 (en) Information processing apparatus, control method, and program
CN111753642B (zh) 一种确定关键帧的方法及装置
CN115035347A (zh) 图片识别方法、装置及电子设备
CN110895811A (zh) 一种图像篡改检测方法和装置
CN114022699A (zh) 图像分类方法、装置、计算机设备和存储介质
US11087121B2 (en) High accuracy and volume facial recognition on mobile platforms
CN111400764B (zh) 个人信息保护的风控模型训练方法、风险识别方法及硬件
CN111382628B (zh) 同行判定方法及装置
CN108694347B (zh) 图像处理方法和装置
Nandalal et al. Smart system for women safety in cyberspace by fake profile detection
CN113792789B (zh) 基于类激活热力图的图像篡改检测与定位的方法及系统
CN116416569A (zh) 行为识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant