CN114067431A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114067431A
CN114067431A CN202111303771.4A CN202111303771A CN114067431A CN 114067431 A CN114067431 A CN 114067431A CN 202111303771 A CN202111303771 A CN 202111303771A CN 114067431 A CN114067431 A CN 114067431A
Authority
CN
China
Prior art keywords
image
processed
illegal
classification value
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111303771.4A
Other languages
English (en)
Inventor
叶俊科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangyou Digital Technology Guangdong Co Ltd
Original Assignee
Chuangyou Digital Technology Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangyou Digital Technology Guangdong Co Ltd filed Critical Chuangyou Digital Technology Guangdong Co Ltd
Priority to CN202111303771.4A priority Critical patent/CN114067431A/zh
Publication of CN114067431A publication Critical patent/CN114067431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待处理图像；将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值；在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。采用本方法能够减少了工作人员的工作量，增加了监控力度，避免出现部分违规图像漏掉监控的情况发生。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
利用计算机系统和相关的硬件设备进行员工考勤是当前大多数企业较为热衷的一种考勤方式，目前市面上出售的考勤机可谓品种繁多，例如指纹式的，摄像图式的，红外线感应式的等，目前都是通过考勤机采集图像，将采集到的图像传递到服务器上，通过人工肉眼来判断采集到的图像是否是违规图像来完成考勤监控，但是，在对电商门店的考勤记录进行考察时，由于一般情况下，一个工作人员往往需要监控多个店面的考勤情况，通过这种人工检查的方式，不仅工作量大，导致效率低下，而且往往还会漏掉部分违规图像。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质，通过网络模型能够自动识别出疑似违规图像，将疑似违规图像自动推送给目标设备，通过目标设备对疑似违规图像进一步确认，不仅减少了工作人员的工作量，而且增加了监控力度，避免出现部分违规图像漏掉监控的情况发生。
一种图像处理方法，该方法包括：
获取待处理图像；
将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值；
在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
在其中一个实施例中，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，包括：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
在其中一个实施例中，将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，包括：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图，违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
在其中一个实施例中，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，包括：通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，包括：通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图，通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图，通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
在其中一个实施例中，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值，包括：通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图，通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值，通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
在其中一个实施例中，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，包括：检测图像分类值是否为目标分类值，在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备，在图像分类值不是目标分类值时，确定待处理图像为正常图像。
在其中一个实施例中，目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒，包括：目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
一种图像处理装置，该装置包括：
图像获取模块，用于获取待处理图像；
模型处理模块，用于将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值；
图像推送模块，用于在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理图像；
将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值；
在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理图像；
将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值；
在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
上述图像处理方法、装置、计算机设备和存储介质，获取待处理图像，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
其中，先通过违法行为识别模型对获取到的待处理图像进行初步识别，并输出与每个待处理图像对应的图像分类值，该图像分类值可以作为判定待处理图像是否为疑似违规图像的量化标准，以保证能够从大量的待处理图像中较为准确地筛选出少量的疑似违规图像，降低了后期基于疑似违规图像对违规行为进行二次判定的图像数据量，且疑似违规图像可以由违法行为识别模型自动检测得到，无需耗费人工成本，进一步的，将所有的疑似违规图像推送至稽查人员所在的目标设备，由稽查人员对疑似违规图像是否真正违规进行进一步地精准确定，上述由粗到精的违规图像的筛选过程，既能大幅度地减少人工检阅违规图像的工作量，提高时效，节约人力成本，又可以避免出现部分违规图像漏掉监控的情况发生。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中违规行为识别模型识别步骤的流程示意图；
图4为一个实施例中违规行为识别模型识别步骤的流程示意图；
图5为一个实施例中违规行为识别模型的网络结构示意图；
图6为一个实施例中第一背景图像的示意图；
图7为一个实施例中图像分类值判定步骤的流程示意图；
图8为一个实施例中图像处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信，服务器104与目标设备106进行网络通信。其中，终端102或目标设备106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
具体地，终端102采集到待处理图像，将待处理图像发送至服务器104，服务器104接收到待处理图像后，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备106，最后，目标设备106对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取待处理图像。
其中，待处理图像为目前等待处理的图像，图像可以是各种图片和影像的总称，所谓图像是人类视觉的基础，是自然景物的客观反映，是人类认识世界和人类本身的重要源泉。“图”是物体反射或透射光的分布，“像”是人的视觉系统所接受的图在人脑中所形成的印象或认识，照片、绘画、剪贴画、地图、书法作品、手写汉学、传真、卫星云图、影视画面、X光片、脑电图、心电图等都可以是图像。
具体地，可以通过执行主体服务器自身携带的摄像头采集得到待处理图像，也可以通过相关的终端设备采集到待处理图像，将待处理图像发送至服务器，其中，终端设备可以是手机终端，例如，通过手机终端的摄像头采集到待处理图像，其中，终端设备还可以是考勤设备，例如，通过携带摄像头的考勤机采集到待处理图像。
步骤204，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值。
其中，违规行为识别模型是用来对输入的图像进行违规行为识别的模型，可以通过违规行为识别模型去判断输入的待处理图像进行违规行为的识别，输出相应的图像分类值，可以通过图像分类值确定输入的待处理图像是否是疑似违规图像。其中，违规行为表示输入的待处理图像中出现不符合预设的规定或规范的行为，属于无效行为，违规行为的具体确定可以根据实际业务需求、实际产品需求或实际应用场景进行确定得到，例如，当实际应用场景为用户考勤打卡时，可以将用户人脸信息的完整录入设置为考勤的规范，若待处理图像中未包括人脸，则可将该待处理图像视为出现违规行为的图像，又例如，若待处理图像中包括人脸，但人脸区域被遮挡，则也可以将该待处理图像视为出现违规行为的图像。
其中，图像分类值是违规行为识别模型的输出值，可以通过图像分类值来确定输入的待处理图像是疑似违规图像或正常图像，而图像分类值与疑似违规图像或正常图像之间的映射关系可以预先根据实际业务需求、实际产品需求或实际应用场景进行设置得到。其中，所谓疑似违规图像是怀疑输入的待处理图像中出现违规行为，而正常图像是指输入的待处理图像中未出现违规行为，属于合法的图像。例如，图像分类值设为“0”可以代表输入的待处理图像是正常图像，图像分类值设为“1”可以代表输入的待处理图像是疑似违规图像。又例如，设定图像分类阈值，图像分类值超过图像分类阈值，可以代表输入的待处理图像是疑似违规图像，图像分类值未超过图像分类与之，可以代表输入的待处理图像是正常图像，图像分类阈值的具体确定可根据实际业务需求、实际应用场景提前设置得到。
在一个具体的实现方式中，违规行为识别模型可以是基于预设的一个分类网络训练得到的，该分类网络可以是神经网络Unet、残差网络ResNet、NasNet等网络中的任意一个，可以通过大量携带预设的图像分类值的图像对未训练的分类网络进行有监督训练，根据该分类网络的输出结果与自身携带的图像分类值计算训练损失值，再根据训练损失值不断地调整未训练好的分类网络的模型参数，直至其满足收敛条件，得到已训练好的分类网络作为违规行为识别模型。
在一个实施例中，如图3所示，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，可以包括如下具体步骤：
步骤302，将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图。
具体地，将待处理图像输入至违规行为识别模型中，违规行为识别模型会对待处理图像进行特征提取，特征提取是违规行为识别模型的初始步骤，特征提取可以是，对待处理图像进行数据降维，会通过对待处理图像进行特征转换或特征映射得到一个新的特征空间，即新的特征空间为第一特征图。
步骤304，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像。
具体地，在得到第一特征图后，违规行为识别模型可以对第一特征图进行背景提取，得到输入的待处理图像对应的第一背景图像，所谓背景提取是指在输入的待处理图像中提取出背景，背景就是场景中静止不动的景物。因为获取待处理图像的摄像头可以视为在某个时刻是静止不动，因此该待处理图像中的每个像素点都有一个对应的背景值，在一段时间内，这个背景值是比较固定的，而背景提取的目标就是根据输入的待处理图像，找出图像中每一点的背景值。而提取出来的第一背景图像就只包括待处理图像中的背景，也可以理解为第一背景图像是由待处理图像中的所有背景值构成，对于待处理图像中的非背景区域可以进行分割。步骤306，违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像。
步骤308，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图。
具体地，在得到第一背景图像后，违规行为识别模型可以对第一背景图进行全局平均池化操作，得到第二背景图像，所谓全局平均池化(Global Average Pooling)不以窗口的形式取均值，而是以整个特征图为单位进行均值化，即一个特征图输出一个值，这里的全局平均池化是以整个第一背景图像进行均值化处理，输出第二背景图像。经过全局平均池化的第二背景图像相对于第一背景图像，减少了参数数量，减少了计算量以及减少过拟合。
其中，在得到第一背景图像和第一特征图后，违规行为识别模型可以对第一背景图像和第一特征图进行拼接，也就是将第一背景图像和第一特征图进行特征融合，得到新的特征图，即第二特征图。
其中，通过违规行为识别模型将第一特征图中的背景单独提取出来，对背景单独进行特征处理，得到第二背景图像，然后再与第一特征图进行拼接，得到第二特征图，第二特征图中背景相关的特征相对于第一特征图更加丰富，而且，因为融入单独的背景特征，所以第二特征图的特征层次更加分明，这样使得违规行为识别模型对图像中的背景的识别能力更加强，在一些应用场景中，违规行为识别模型的识别准确率更高了，例如，在用户考勤打卡这个应用场景中，违规行为识别模型能够通过识别图像中的背景是否在固定考勤地方判断是否是疑似违规图像。
步骤310，违规行为识别模型对第二特征图进行特征提取，得到第三特征图。
步骤312，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
具体地，在得到第二特征图后，可以再对第二特征图进行特征提取，得到第三特征图，这里的特征提取可以对第二特征图进行数据降维，对第二特征图进行特征转换或特征映射得到一个新的特征空间，即新的特征空间为第三特征图。其中，数据降维的具体操作可以是重心法、空间栅格法等，本实施例对此不作限定。可以理解的是，基于第二特征图的降维操作，可以将第二特征图中所包含的多个特征做进一步聚合提取，能够提取出在各特征维度上更具有代表性的特征，生成第三特征图，能够减少冗余特征，避免特征过拟合，同时极大的减少了参与后续计算的特征数量，因此，第三特征图相比第二特征图，特征的总数据量虽极大减少了，但各维度上的数据特征依旧存留，既保证了数据特征参与后续计算的数据精度，也提高了对第三特征图做进一步操作的计算速度。并且，由于数据量的减少，在图像尺寸上，第三特征图相比第二特征图，第三特征图的尺寸小于第二特征图的尺寸，便于降低后续特征图拼接所需的计算量，进一步提高了计算速度。
其中，在得到第三特征图后，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。拼接可以是将第三特征图和第二背景图像进行特征融合，根据特征融合后的新特征图对应的特征，对新特征图进行分类，输出最后的图像分类值。
在一个实施例中，如图4所示，将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，包括：
步骤402，将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图。
步骤404，违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图。
步骤406，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
其中，违规行为识别模型中可以包括多个网络，不同的网络可以对应不同的功能，违规行为识别模型可以包括第一特征提取网络，第一特征提取网络是用来对输入的待处理图像进行特征提取的网络，第一特征提取网络可以包括多个网络层，通过每个网络层依次对输入的待处理图像进行特征提取，得到最后的第一特征图。
具体地，将待处理图像输入至违规行为识别模型中，违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算，得到第一特征子图，具体可以是，通过第一特征提取网络中的网络层对待处理图像进行卷积运算，得到第一特征子图，其中，卷积运算是指从待处理图像的左上角开始，设置一个与预设的卷积核同样大小的活动窗口，该活动窗口所对应的图像区域中的像素与卷积核对应起来相乘再相加得到计算结果，并用该计算结果代替该活动窗口的窗口中心的像元亮度值，即完成当前活动窗口的卷积运算。然后，下一个活动窗口的设置相较于上一个活动窗口的位置而言，在待处理图像中向右移动一列，并作上述同样的运算。以此类推，在当前待处理图像中，从左到右、从上到下，进行卷积运算，即可得到一幅新图像。
进一步地，在得到第一特征子图后，可以再通过第一特征提取网络中的网络层对第一特征子图进行池化操作，得到第二特征子图，其中，池化操作就是在完成特征提取之后，对于每一个隐藏单元，它都提取到多个特征，把它看作一个矩阵，并在这个矩阵上划分出几个不重合的区域，然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练的过程，其中在卷积特征提取后进行池化操作可以有效地防止过拟合现象。
最后，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图，即第一特征提取网络最后输出第一特征图。
在本实施例的一个示例中，违规行为识别模型的第一特征提取网络可以是全卷积神经网络UNet，UNet包括特征提取网络模块和特征融合网络模块，其中，特征提取网络模块包括多个可执行卷积计算、池化操作、激活处理的网络层，特征融合网络模块包括多个可执行上采样操作、卷积计算、激活处理的网络层，在该示例中，将待处理图像输入至全卷积神经网络Unet时，特征提取网络模块会对待处理图像进行逐层的卷积和池化，最终输出第一特征子图，具体操作可以是利用执行卷积计算、激活处理的网络层对待处理图像进行卷积与激活，利用执行池化操作的网络层对卷积且激活后的待处理图像进行池化，输出第一候选特征子图，若当前第一候选特征子图不满足特征迭代的预设要求，则继续对当前第一候选特征子图执行卷积计算、激活处理与池化操作，直到满足预设要求，确认当前第一候选特征子图为特征提取网络模块最终输出的第一特征子图；将该第一特征子图输入特征融合网络模块中，可以对第一特征子图进行逐层的上采样操作，最终输出第二特征子图，具体操作可以是利用执行上采样操作的网络层对第一特征子图进行上采样，再利用执行卷积计算、激活处理的网络层对上采样后的第一特征子图进行卷积与激活，输出第二候选特征子图，若当前第二候选特征子图不满足特征迭代的预设要求，则继续对当前第二候选特征子图执行上采样操作、卷积计算和激活处理，直到满足预设要求，确认当前第二候选特征子图为特征提取网络模块最终输出的第二特征子图；同时，特征融合网络模块可以对第一特征子图和第二特征子图进行拼接，若第一特征子图与第二特征子图均符合预设要求，则直接将第一特征子图与第二特征子图按照通道数进行拼接，得到第一候选特征图，并使用两个预设的卷积核对初步拼接的第一候选特征图进行卷积，输出得到第一特征图；在实际拼接的过程中，为了丰富特征信息，进一步提高网络精度，第二特征子图的生成过程可以与拼接过程同步进行，具体操作还可以是，将特征融合网络模块的每一个网络层均与特征提取网络模块中的每一个网络层进行连接，以实现双方网络层的数据交互，可以将特征提取网络模块中的每一个网络层输出的第一候选特征子图与特征融合网络模块中的每一个网络层输出的第二候选特征子图进行拼接，输出拼接后的第一候选特征图，将所有网络层输出的第一候选特征图进行融合，最终输出第一特征图。
例如，如图5所示，图5示出一个实施例中违规行为识别模型的网络结构示意图，图5中的1-7网络层组成第一特征提取网络，网络层1-3是收缩路径遵循典型的卷积网络结构，其由两个重复的3×3卷积核(无填充卷积，unpadded convolution)组成，且均使用修正线性单元(rectified linear unit，ReLU)激活函数和一个用于下采样(downsample)的步长为2的2×2最大池化操作，以及在每一个下采样的步骤中，特征通道数量都加倍，而网络层5-7是在扩张路径中，每一步都包含对特征图进行上采样(upsample)；然后用2×2的卷积核进行卷积运算(上卷积，up-convolution)，用于减少一半的特征通道数量；紧接着级联收缩路径中相应的裁剪后的特征图；再用两个3×3的卷积核进行卷积运算，且均使用ReLU激活函数，最后得到网络层7输出第一特征图。
在一个实施例中，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，包括：通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像。
其中，违规行为识别模型中可以包括多个网络，第一特征提取网络是用来对输入的待处理图像进行特征提取的，与第一特征提取网络连接的掩膜网络是用来对第一特征图进行二值化掩膜处理的，所谓掩膜处理是用选定的图像、图形或物体，对待处理图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程，用于覆盖的特定图像或物体称为掩膜或模板，而二值化掩膜处理是指掩膜是由0和1组成的一个二进制图像，当第一特征图进行二值化掩膜处理时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。
具体地，通过违规行为识别模型的第一特征提取网络对输入的待处理图像进行特征提取，得到第一特征图后，将第一特征图输入至与第一特征提取网络连接的掩膜网络，通过掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像。例如，第一背景图像可以如图6所示，图6示出一个实施例中第一背景图像的示意图，图6中的黑色部分为被屏蔽区域，不列入后续计算过程中，而背景属于没有被屏蔽区域，需要进行进一步计算。
例如，如图5所示，网络层7输出的第一特征图，经过掩膜网络进行二值化掩膜处理，得到第一背景图像9，即图5中的9代表的是第一背景图像，第一背景图像又可以如图6所示。
在一个实施例中，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，包括：通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图，通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图，通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
其中，违规行为识别模型还可以包括第二特征提取网络，第二特征提取网络也是与第二特征提取网络连接，在违规行为识别模型中第二特征提取网络与掩膜网络是并行的，因此，可以将第一特征提取网络输出的第一特征图和掩膜网络输出的第一背景图像输入至第二特征提取网络中，第二特征提取网络对输入的第一背景图像和第一特征图进行特征融合，得到第二特征图，第二特征提取网络可以包括多个网络层，通过相应的网络层对第二特征图进行卷积计算，得到卷积计算后的第三特征子图，进一步地，通过第二特征提取网络的网络层对第三特征子图进行池化操作，得到最终的第三特征图。
例如，如图5所示，第二特征提取网络包括网络层8-14，网络层8对第一背景图像和第一特征图进行拼接，得到第二特征图，网络层9-14对第二特征图进行卷积计算以及池化操作，得到第三特征图。其中，网络层11、12、13可以均由5*5卷积核进行卷积，且均使用修正线性单元(rectified linear unit，ReLU)激活函数和一个用于下采样(downsample)的步长为2的2×2最大池化操作，最后网络层14输出第三特征子图，再通过池化操作，输出第三特征图。
在一个实施例中，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值，包括：通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图，通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值，通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值
其中，违规行为识别模型还可以包括全连接网络和归一化网络，全连接网络在整个违规行为识别模型中起到“分类器”的作用，通过全连接网络能够输出分类信息，再通过归一化网络对分类信息进行分类，得到最终的预测值。具体地，违规行为识别模型第二特征提取网络输出的第三特征图以及掩膜网络输出的第二背景图像进行拼接，拼接可以是对第三特征图和第二背景图像进行特征融合，得到新特征图(第四特征图)。再输入至违规行为识别模型的全连接网络中，通过全连接网络对第四特征图进行计算，得到中间图像分类值，中间图像分类值是全连接网络输出的一个分类信息，而全连接网络中计算可以是将第四特征图中的特征表示转化为向量，再通过转化后向量映射到样本标记空间。
最后，再将全连接网络输出的中间图像分类值输入至归一化网络，通过归一化网络根据中间图像分类值进行分类，得到最终的图像分类值。即归一化网络就是算出待处理图像属于疑似违规图像的概率和属于正常图像的概率，这两者概率加起来等于1，而归一化网络输出的图像分类值就是这两者概率中的最大值。因此，可以通过图像分类值确定待处理图像是疑似违规图像还是正常图像。
例如，如图5所示，图5中的网络层16对第三特征图和第二背景图像进行拼接，得到第四特征图，将第四特征图输入至全连接网络，全连接网络对第四特征图进行计算，得到中间图像分类值，最后通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
步骤206，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
具体地，在得到违规行为识别模型输出的图像分类值后，由于不同的图像分类值对应不同的含义，因此，可以根据图像分类值判定待处理图像是否是疑似违规图像，图像分类值是违规行为识别模型进行分类处理得到的，其中，图像分类值可以代表两种情况，一种图像分类值代表待处理图像是疑似违规图像，另一种图像分类值代表待处理图像是正常图像。进一步地，当根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备。
其中，目标设备可以是审查人员所使用的设备，审查人员可以是稽查人员，专门负责对疑似违规图像进行是否是真正违规图像的进一步确定，目标设备接收到待处理图像和图像分类值后，可以通过目标设备的相关应用的界面展示该待处理图像以及图像分类值，审查人员根据界面展示的待处理图像以及图像分类值检查疑似违规图像是否是真正违规图像，如果是，则对违规图像所在的用户设备进行提醒。如果不是，则可以将待处理图像的图像分类值进行修改，作为待处理图像携带的标签，后续可以作为违法行为识别模型的训练数据。
在一个实施例中，如图7所示，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，包括：
步骤702，检测图像分类值是否为目标分类值。
步骤704，在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备。
步骤706，在图像分类值不是目标分类值时，确定待处理图像为正常图像。
其中，目标分类值是用来划定待处理图像为疑似违规图像的，通过预先根据实际业务需求、实际产品需求或实际应用场景进行设置，目标分类值可以是1或0，具体可根据实际情况自定义设置。具体地，得到违规行为识别模型输出的图像分类值后，检测输出的图像分类值与目标分类值是否相同，如果相同，可以确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备。如果不同，可以确定待处理图像为正常图像。例如，目标分类值为1，图像分类值为0，检测到目标分类值与图像分类值不同，则确定待处理图像为正常图像。
在一个实施例中，目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒，包括：目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
其中，目标设备接收到待处理图像和图像分类值后，可以通过相关的应用的界面展示待处理图像和图像分类值给审查人员看，审查人员根据界面展示的待处理图像以及图像分类值检查疑似违规图像是否是真正违规图像，如果是，则将违规图像进行记录，可以是将违规图像记录在告警日志中，告警日志是一种追踪文件，记录了需要告警的数据等。进一步地，可以对违规图像对应的用户设备进行异常提醒，具体可以是，向用户设备发送违规行为的异常提醒，例如在用户设备的屏幕上显示违规行为告警、或向用户设备发送异常提醒信息等。
其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。其中，固定场景可以根据实际业务需求、实际产品需求或实际应用场景进行设置得到，例如，企业打卡这个应用场景中，固定场景可以是企业员工的固定办公地点，违规图像可以是企业员工人脸出现在非固定办公地点的图像。
其中，用户人脸被遮挡可以是用户人脸被用户手遮挡、或者还可以是用户人脸被其他物体遮挡等。例如，企业打卡这个应用场景中，固定场景可以是企业员工的固定办公地点，违规图像可以是企业员工人脸出现在固定办公地点中但企业员工人脸被其他物体遮挡的图像。
其中，未出现用户人脸可以是图像中只包括固定场景，并没有任何人脸，或还可以是用户人脸大部分区域都未出现等。例如，企业打卡这个应用场景中，固定场景可以是企业员工的固定办公地点，违规图像可以是图像中出现了固定办公地点但图像中并未出现企业员工人脸。
上述图像处理方法中，获取待处理图像，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。其中，先通过违法行为识别模型对待处理图像进行初步识别，识别出疑似违规图像，再将疑似违规图像推送至稽查人员所在的目标设备，由稽查人员对疑似违规图像是否真正违规进行进一步地确定。因此，通过违法行为识别模型的自动识别，可以减少工作人员的工作量，而且稽查人员还需对疑似违规图像进行进一步地识别，增加了监控力度，避免出现部分违规图像漏掉监控的情况发生。
在一个企业员工打卡的应用场景中，图像处理方法具体可以是：企业员工使用手机设备或考勤机提供的摄像头采集到人脸打卡图像，使用已训练好的违规行为识别模型对采集到的人脸打卡图像进行全图检测，检测出门店外打卡的图像，作为疑似违规图像，将疑似违规图像推送至稽查人员所在的设备，由稽查人员进一步判定企业员工打卡是否违规，并对违规行为进行提示。
在一个具体的实施例中，提供了一种图像处理方法，具体包括以下步骤：
1、获取待处理图像。
2、将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值。
2-1、将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图。
2-1-1、将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图。
2-1-2、违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图。
2-1-3、违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
2-2、违规行为识别模型对第一特征图进行背景提取，得到第一背景图像。
2-2-1、通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像。
2-3、违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像。
2-4、违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图。
2-4-1、通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图。
2-4-2、通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图。
2-4-3、通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
2-5、违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
2-5-1、通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图。
2-5-2、通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值。
2-5-3、通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
3、在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
3-1、检测图像分类值是否为目标分类值。
3-2、在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备。
3-3、在图像分类值不是目标分类值时，确定待处理图像为正常图像。
3-4、目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种图像处理装置800，包括：图像获取模块802、模型处理模块804和图像推送模块806，其中：
图像获取模块802，用于获取待处理图像。
模型处理模块804，用于将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值。
图像推送模块806，用于在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
在一个实施例中，模型处理模块804将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
在一个实施例中，模型处理模块804将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图，违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
在一个实施例中，通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像，通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图，通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图，通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
在一个实施例中，通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图，通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值，通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
在一个实施例中，图像推送模块806检测图像分类值是否为目标分类值，在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备，在图像分类值不是目标分类值时，确定待处理图像为正常图像。
在一个实施例中，目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储违规行为识别模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待处理图像，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图，违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，包括：通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图，通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图，通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图，通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值，通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测图像分类值是否为目标分类值，在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备，在图像分类值不是目标分类值时，确定待处理图像为正常图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理图像，将待处理图像输入至违规行为识别模型中，通过违规行为识别模型对待处理图像进行违规行为识别，得到待处理图像对应的图像分类值，在根据图像分类值判定待处理图像为疑似违规图像时，将待处理图像和图像分类值推送至目标设备，以使目标设备对待处理图像和图像分类值进行处理，在确定待处理图像为违规图像时，对违规图像对应的用户设备进行提醒。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型对待处理图像进行特征提取，得到第一特征图，违规行为识别模型对第一特征图进行背景提取，得到第一背景图像，违规行为识别模型对第一背景图像进行全局平均池化，得到第二背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，违规行为识别模型对第三特征图和第二背景图像进行拼接，得到待处理图像对应的图像分类值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将待处理图像输入至违规行为识别模型中，使得违规行为识别模型的第一特征提取网络对待处理图像进行卷积计算与池化操作，得到第一特征子图，违规行为识别模型的第一特征提取网络对第一特征子图进行上采样操作，得到第二特征子图，违规行为识别模型的第一特征提取网络将第一特征子图和第二特征子图进行拼接，得到第一特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过违规行为识别模型的掩膜网络对第一特征图进行二值化掩膜处理，得到第一背景图像，违规行为识别模型对第一背景图像和第一特征图进行拼接，得到第二特征图，违规行为识别模型对第二特征图进行特征提取，得到第三特征图，包括：通过违规行为识别模型的第二特征提取网络对第一背景图像和第一特征图进行拼接，得到第二特征图，通过第二特征提取网络对第二特征图进行卷积计算，得到第三特征子图，通过第二特征提取网络对第三特征子图进行池化操作，得到第三特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过违规行为识别模型对第三特征图和第二背景图像进行拼接，得到第四特征图，通过违规行为识别模型的全连接网络对第四特征图进行计算，得到中间图像分类值，通过违规行为识别模型的归一化网络对中间图像分类值进行分类处理，得到图像分类值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测图像分类值是否为目标分类值，在图像分类值是目标分类值时，确定待处理图像为疑似违规图像，将待处理图像和图像分类值推送至目标设备，在图像分类值不是目标分类值时，确定待处理图像为正常图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：目标设备根据图像分类值检测待处理图像是否是违规图像，在确定待处理图像是违规图像时，将违规图像进行记录，并对违规图像对应的用户设备进行异常提醒，其中，违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但用户人脸被遮挡的图像、固定场景中未出现用户人脸的图像中的其中一种。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，所述方法包括：
获取待处理图像；
将所述待处理图像输入至违规行为识别模型中，通过所述违规行为识别模型对所述待处理图像进行违规行为识别，得到所述待处理图像对应的图像分类值；
在根据所述图像分类值判定所述待处理图像为疑似违规图像时，将所述待处理图像和所述图像分类值推送至目标设备，以使所述目标设备对所述待处理图像和所述图像分类值进行处理，在确定所述待处理图像为违规图像时，对所述违规图像对应的用户设备进行提醒。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入至违规行为识别模型中，通过所述违规行为识别模型对所述待处理图像进行违规行为识别，得到所述待处理图像对应的图像分类值，包括：
将所述待处理图像输入至违规行为识别模型中，使得所述违规行为识别模型对所述待处理图像进行特征提取，得到第一特征图；
所述违规行为识别模型对所述第一特征图进行背景提取，得到第一背景图像；
所述违规行为识别模型对所述第一背景图像进行全局平均池化，得到第二背景图像；
所述违规行为识别模型对所述第一背景图像和所述第一特征图进行拼接，得到第二特征图；
所述违规行为识别模型对所述第二特征图进行特征提取，得到第三特征图；
所述违规行为识别模型对所述第三特征图和所述第二背景图像进行拼接，得到所述待处理图像对应的图像分类值。
3.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像输入至违规行为识别模型中，使得所述违规行为识别模型对所述待处理图像进行特征提取，得到第一特征图，包括：
将所述待处理图像输入至违规行为识别模型中，使得所述违规行为识别模型的第一特征提取网络对所述待处理图像进行卷积计算与池化操作，得到第一特征子图；
所述违规行为识别模型的第一特征提取网络对所述第一特征子图进行上采样操作，得到第二特征子图；
所述违规行为识别模型的第一特征提取网络将所述第一特征子图和所述第二特征子图进行拼接，得到第一特征图。
4.根据权利要求2所述的方法，其特征在于，所述违规行为识别模型对所述第一特征图进行背景提取，得到第一背景图像，包括：
通过所述违规行为识别模型的掩膜网络对所述第一特征图进行二值化掩膜处理，得到第一背景图像；
所述违规行为识别模型对所述第一背景图像和所述第一特征图进行拼接，得到第二特征图，所述违规行为识别模型对所述第二特征图进行特征提取，得到第三特征图，包括：
通过所述违规行为识别模型的第二特征提取网络对所述第一背景图像和所述第一特征图进行拼接，得到第二特征图；
通过所述第二特征提取网络对所述第二特征图进行卷积计算，得到第三特征子图；
通过第二特征提取网络对所述第三特征子图进行池化操作，得到第三特征图。
5.根据权利要求2所述的方法，其特征在于，所述违规行为识别模型对所述第三特征图和所述第二背景图像进行拼接，得到所述待处理图像对应的图像分类值，包括：
通过所述违规行为识别模型对所述第三特征图和所述第二背景图像进行拼接，得到第四特征图；
通过所述违规行为识别模型的全连接网络对所述第四特征图进行计算，得到中间图像分类值；
通过所述违规行为识别模型的归一化网络对所述中间图像分类值进行分类处理，得到图像分类值。
6.根据权利要求1所述的方法，其特征在于，所述在根据所述图像分类值判定所述待处理图像为疑似违规图像时，将所述待处理图像和所述图像分类值推送至目标设备，包括：
检测所述图像分类值是否为目标分类值；
在所述图像分类值是所述目标分类值时，确定所述待处理图像为疑似违规图像，将所述待处理图像和所述图像分类值推送至目标设备；
在所述图像分类值不是所述目标分类值时，确定所述待处理图像为正常图像。
7.根据权利要求1所述的方法，其特征在于，所述目标设备对所述待处理图像和所述图像分类值进行处理，在确定所述待处理图像为违规图像时，对所述违规图像对应的用户设备进行提醒，包括：
所述目标设备根据所述图像分类值检测所述待处理图像是否是违规图像，在确定所述待处理图像是违规图像时，将所述违规图像进行记录，并对所述违规图像对应的用户设备进行异常提醒；
其中，所述违规图像为用户人脸出现在非固定场景中的图像、用户人脸出现在固定场景中但所述用户人脸被遮挡的图像、所述固定场景中未出现用户人脸的图像中的其中一种。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取待处理图像；
模型处理模块，用于将所述待处理图像输入至违规行为识别模型中，通过所述违规行为识别模型对所述待处理图像进行违规行为识别，得到所述待处理图像对应的图像分类值；
图像推送模块，用于在根据所述图像分类值判定所述待处理图像为疑似违规图像时，将所述待处理图像和所述图像分类值推送至目标设备，以使所述目标设备对所述待处理图像和所述图像分类值进行处理，在确定所述待处理图像为违规图像时，对所述违规图像对应的用户设备进行提醒。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111303771.4A 2021-11-05 2021-11-05 图像处理方法、装置、计算机设备和存储介质 Pending CN114067431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111303771.4A CN114067431A (zh) 2021-11-05 2021-11-05 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111303771.4A CN114067431A (zh) 2021-11-05 2021-11-05 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114067431A true CN114067431A (zh) 2022-02-18

Family

ID=80274292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111303771.4A Pending CN114067431A (zh) 2021-11-05 2021-11-05 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114067431A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115228092A (zh) * 2022-09-22 2022-10-25 腾讯科技（深圳）有限公司 游戏战力评估方法、装置以及计算机可读存储介质
CN116300770A (zh) * 2023-05-18 2023-06-23 台昌树脂(佛山)有限公司 丙烯酸树脂生产控制系统的异常报警分析方法及系统
CN116562824A (zh) * 2023-05-25 2023-08-08 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及系统
CN116866666A (zh) * 2023-09-05 2023-10-10 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115228092A (zh) * 2022-09-22 2022-10-25 腾讯科技（深圳）有限公司 游戏战力评估方法、装置以及计算机可读存储介质
CN115228092B (zh) * 2022-09-22 2022-12-23 腾讯科技（深圳）有限公司 游戏战力评估方法、装置以及计算机可读存储介质
CN116300770A (zh) * 2023-05-18 2023-06-23 台昌树脂(佛山)有限公司 丙烯酸树脂生产控制系统的异常报警分析方法及系统
CN116300770B (zh) * 2023-05-18 2023-08-15 台昌树脂(佛山)有限公司 丙烯酸树脂生产控制系统的异常报警分析方法及系统
CN116562824A (zh) * 2023-05-25 2023-08-08 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及系统
CN116562824B (zh) * 2023-05-25 2023-11-24 闽通数智安全顾问(杭州)有限公司 一种公路工程全生命周期项目管理方法及系统
CN116866666A (zh) * 2023-09-05 2023-10-10 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置
CN116866666B (zh) * 2023-09-05 2023-12-08 天津市北海通信技术有限公司 轨道交通环境下的视频流画面处理方法及装置

Similar Documents

Publication Publication Date Title
CN114067431A (zh) 图像处理方法、装置、计算机设备和存储介质
US9104914B1 (en) Object detection with false positive filtering
Marciniak et al. Influence of low resolution of images on reliability of face detection and recognition
WO2018166116A1 (zh) 车损识别方法、电子装置及计算机可读存储介质
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
WO2019033572A1 (zh) 人脸遮挡检测方法、装置及存储介质
CN111191532B (zh) 基于施工区域的人脸识别方法、装置、计算机设备
US20140044348A1 (en) Image quality assessment
US20110142299A1 (en) Recognition of faces using prior behavior
CN111753643B (zh) 人物姿态识别方法、装置、计算机设备和存储介质
WO2021051547A1 (zh) 暴力行为检测方法及系统
Yimyam et al. Face detection criminals through CCTV cameras
US20190236738A1 (en) System and method for detection of identity fraud
CN111275685A (zh) 身份证件的翻拍图像识别方法、装置、设备及介质
JP7419080B2 (ja) コンピュータシステムおよびプログラム
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN112085094B (zh) 单证图像翻拍检测方法、装置、计算机设备和存储介质
US20210295155A1 (en) Method and system for transfer learning based object detection
CN110766007A (zh) 证件遮挡检测方法、装置、设备及可读存储介质
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN115829915A (zh) 图像质量检测方法、电子设备、存储介质及程序产品
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
CN114724258A (zh) 活体检测方法、装置、存储介质及计算机设备
CN110807463A (zh) 图像分割方法、装置、计算机设备和存储介质
CN114708291A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination