CN113159214A - 图像处理方法和系统 - Google Patents

图像处理方法和系统 Download PDF

Info

Publication number
CN113159214A
CN113159214A CN202110504397.8A CN202110504397A CN113159214A CN 113159214 A CN113159214 A CN 113159214A CN 202110504397 A CN202110504397 A CN 202110504397A CN 113159214 A CN113159214 A CN 113159214A
Authority
CN
China
Prior art keywords
image
loss function
feature maps
image data
function value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110504397.8A
Other languages
English (en)
Inventor
王莹桂
王力
张本宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110504397.8A priority Critical patent/CN113159214A/zh
Publication of CN113159214A publication Critical patent/CN113159214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G06V40/53—Measures to keep reference information secret, e.g. cancellable biometrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例公开了一种图像处理方法和系统。其中，该图像处理方法包括：获取待处理图像数据对应的多个特征图；基于与多个特征图一一对应的能量系数从多个特征图中筛选出一个或多个目标特征图，将一个或多个目标特征图作为表征待处理图像数据的脱敏图像数据，其中，能量系数经过模型训练获得。

Description

图像处理方法和系统
技术领域
本说明书涉及信息技术领域，特别涉及一种图像处理方法和系统。
背景技术
目前，图像识别技术广泛地应用于各种领域。在相关技术中，图像识别技术已成为认证用户身份的主要手段之一。例如，可以采集人脸图像，利用图像识别技术识别人脸对应的用户身份。
然而，用于身份识别的图像中通常包含用户个人的敏感信息。如何对图像的敏感信息进行隐私保护，是当前亟需解决的问题。
因此，有必要提出一种图像处理、机器学习模型的训练、图像识别方法和系统，以更好的对图像的敏感信息进行隐私保护。
发明内容
本说明书实施例的一个方面提供一种图像处理方法。该方法包括：获取待处理图像数据对应的多个特征图；基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据，其中，所述能量系数经过模型训练获得。
本说明书实施例的另一个方面提供一种图像处理系统。该系统包括：特征图获取模块，可以用于获取待处理图像数据对应的多个特征图。特征图筛选模块，可以用于基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据，其中，所述能量系数经过模型训练获得。
本说明书实施例的另一个方面提供一种机器学习模型系统，包括：输入层，包括能量系数，可以用于接收待处理图像对应的多个特征图，并将多个特征图与多个能量系数对应相乘后输出相乘的结果；处理层，可以用于对所述相乘的结果进行处理得到模型的预测结果。
本说明书实施例的另一个方面提供一种机器学习模型的训练方法，该方法包括：获取多个样本图像，并获取样本图像的多个特征图；将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
本说明书实施例的另一个方面提供一种机器学习模型的训练系统，该系统包括：样本图像获取模块，用于获取多个样本图像，并获取样本图像的多个特征图；将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；第一损失函数值确定模块，用于确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；第二损失函数值确定模块，用于确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；参数调整模块，用于调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
本说明书实施例的另一个方面提供一种图像识别方法，该方法包括：获得待识别图像的脱敏图像数据；所述脱敏图像数据包括一个或多个目标特征图；利用图像识别模型处理所述脱敏图像数据，得到预测向量；所述图像识别模型包括输入层以及处理层，其中输入层包括多个能量系数，用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果；所述处理层用于对所述相乘的结果进行处理以得到所述预测向量；将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。
本说明书实施例的另一个方面提供一种图像识别系统，该系统包括：数据获得模块，可以用于获得待识别图像的脱敏图像数据；所述脱敏图像数据包括一个或多个目标特征图；数据处理模块，可以用于利用图像识别模型处理所述脱敏图像数据，得到预测向量；所述图像识别模型包括输入层以及处理层，其中输入层包括多个能量系数，可以用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果；所述处理层用于对所述相乘的结果进行处理以得到所述预测向量；比较确定模块，可以用于将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。
本说明书实施例的另一个方面提供一种图像处理装置包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现图像处理方法。
本说明书实施例的另一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行图像处理方法。
本说明书实施例的另一个方面提供一种机器学习模型的训练装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如上所述的机器学习模型的训练方法。
本说明书实施例的另一个方面提供一种图像识别装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如上所述的图像识别方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图；
图2是根据本说明书一些实施例所示的图像处理方法的示例性流程图；
图3是根据本说明书一些实施例所示的获取能量系数的方法的示例性流程图；
图4是根据本说明书一些实施例所示的机器学习模型系统的示例性结构图；
图5是根据本说明书一些实施例所示的图像识别方法示例性流程图；
图6是根据本说明书一些实施例所示的图像处理系统的示例性模块图；
图7是根据本说明书一些实施例所示的机器学习模型的训练系统的示例性模块图；
图8是根据本说明书一些实施例所示的图像识别系统的示例性模块图；
图9是根据本说明书一些实施例所示的局部离散余弦变换的示例性示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
随着计算机技术的发展，图像识别越来越深入人们生活的各个领域。例如，人脸识别，人脸识别已经在很多场景中广泛使用，比如，人脸识别的智能开锁、终端应用登录、刷脸支付等。但是，人脸图像中可能包含一些敏感信息(例如，可视化人脸肖像)或个人隐私信息，为避免这些信息泄漏造成不必要的损失，有必要对图像中的隐私信息进行脱敏处理。
人脸图像是身份识别的重要依据，人脸识别的过程中包括对人脸图像进行处理。人脸识别处理的一种方式是将人脸图像输入人脸识别模型进行处理，基于人脸识别模型的处理结果(例如，人脸特征数据)来进行身份验证。但是，人脸原始图像数据或者利用人脸识别模型对原始人脸进行处理后得到的人脸特征数据存在被恶意盗取的可能性。不法分子可能会基于被盗取的人脸特征数据，通过反推等方式还原出原始人脸图像数据，进而基于原始人脸图像数据非法获取人脸数据对应的人的操作权限，比如，开锁、盗刷等，这对安全支付、开锁等造成了很大的威胁。随着对个人隐私保护的日益重视，如何对用于人脸识别的人脸图像进行隐私保护，防止逆向得到原始人脸数据，危害用户人身财产安全是亟待解决的问题。
因此，本说明书一些实施例提出了一种图像处理、机器学习模型的训练、图像识别的方法和系统，基于对机器学习模型的训练结果，实现对图像的敏感信息的脱敏处理，可以更加安全有效地保护图像的隐私安全。
上述中的例子仅作为示例，不应理解为对本方案限制。虽然在本说明书中主要以人脸图像为例进行说明，但应当理解，本说明书所披露的技术方案可以应用于任何类型的需要隐私保护的图像数据，例如，指纹图像数据等。以下通过对附图的描述阐述本说明书披露的技术方案。
图1是根据本说明书一些实施例所示的图像处理系统的示例性应用场景示意图。
如图1所示，在应用场景中可以包括服务器110、网络120、终端设备130以及存储设备140。
图像处理系统100可以广泛应用于各种图像识别的场景，例如，人脸开锁、人脸支付、人脸终端应用登录等。在一些实施例中，也可以应用于其他任何需要进行图像隐私保护的场景，比如，敏感图像数据的传输、存储等。通过实施本说明书所披露的方法对图像进行处理后，可以基于处理后的图像数据正常完成后续的图像识别工作，且基于处理后的图像数据难以反推出原始图像数据，可以有效地保护图像中的隐私信息不被泄漏。
在一个典型的应用场景中，终端设备130可以通过图像采集设备(如摄像头)采集待识别图像(例如，人脸图像)，终端设备130可以通过实施本说明书提出的图像处理方法对采集的待识别图像进行脱敏处理，得到脱敏图像数据，然后将脱敏图像数据通过网络120发送至服务器110。服务器110可以用于处理与数据服务请求和/或图像处理、图像识别有关的信息和/或数据。例如，服务器110可以响应于来自终端设备130的数据服务请求，接收终端设备130发送的脱敏图像数据，完成脱敏图像数据识别后(例如确定脱敏图像数据来自合法人脸图像时)，向终端设备130反馈识别结果或者向终端设备130提供相应的数据服务。在一些实施例中，服务器110可以通过预先训练的图像识别模型对其进行处理，并得到预测向量。服务器110可以在得到预测向量之后，进一步执行后续操作，例如与已在系统成功注册并存储的待识别图像的特征向量进行对比并将对比结果(例如，身份识别结果)反馈给终端设备130，完成人脸支付、开锁等。
在一些实施例中，服务器110可以是本地的或远程的。例如，服务器110可以在终端设备130本地连接终端设备130以获取其发送的信息和/或数据。又例如，服务器110可以经由网络120远程接收终端设备130发送的信息和/数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110包括处理设备112。
网络120可以促进信息和/或数据的交换。在一些实施例中，图像处理系统100的一个或者多个组件(例如服务器110、终端设备130、存储设备140)可以通过网络120传送信息至图像处理系统100的其他组件。例如，终端设备130可以通过网络120向服务器110发送待识别图像的图像脱敏数据。又例如，服务器110可以将对识别图像的图像脱敏数据进行处理得到的预测向量发送至存储设备进行存储，以及将预测向量与特征向量的比较结果返回给终端设备130等。在一些实施例中，网络120可以是任意形式的有线或者无线网络，或其任意组合。仅作为范例，网络120可以是有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、城域网(MAN)、广域网(WAN)、公共交换电话网络(PSTN)、蓝牙网络等中的一种或多种组合。
终端设备130可用于处理与图像处理、图像识别相关联的信息和/或数据来执行在本说明书中披露的一个或者多个功能。在一些实施例中，终端设备130可以是向公众提供图像采集和/或数据处理服务的公共设备，如物联网设备(IoT设备)130-1。示例性的IoT设备130-1可以包括但不限于人脸售货机、人脸支付设备、银行个人业务设备等或其任意组合。用户在终端设备130上完成人脸识别后，便可使用该设备提供的数据服务。在一些实施例中，终端设备130可以用于获取由于设备图像采集装置被触发而采集的待处理图像数据。在一些实施例中，终端设备130可以获取待处理图像数据对应的多个特征图；终端设备130可以基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据。在一些实施例中，终端设备130上可以部署有可信执行环境，并在可信执行环境中进行图像采集以及图像处理。在一些实施例中，终端设备130可以包括一个或多个处理引擎(例如，单核心处理引擎或多核心处理器)。仅作为示例，处理引擎可以包括中央处理器(中央处理器)、特定应用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理器(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等中的一种或多种组合。
在一些实施例中，终端设备130还可以是带有数据获取、存储和/或发送功能的便携式设备，例如，平板电脑130-2、笔记本电脑130-3、智能手机130-4、摄像头、智能支付终端等或其任意组合。在一些实施例中，终端设备130可以通过网络与服务器110进行数据交互，例如，终端设备130可以将对待处理图像数据的进行处理后的脱敏图像数据传输至服务器110。在一些实施例中，终端设备130获取到的数据可以是设备的摄像头采集到的人脸图像数据，对应的，服务器110可以接收来自终端设备130的人脸图像数据，对其进行脱敏处理以及后续的识别。此时，服务器110可以与终端设备130集成在一起。
存储设备140可以存储与图像处理相关的数据和/或指令，例如，存储已在系统成功注册的用户的图像的特征矢量、图像数据、身份信息等。在一些实施例中，存储设备140可以存储终端设备130和/或服务器110获得/获取的数据。在一些实施例中，存储设备140可以存储服务器110用于执行或使用来完成本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备140可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性的挥发性只读存储器可以包括随机存取内存(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、闸流体RAM(T-RAM)和零电容RAM(Z-RAM)等。示例性的ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电子可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用磁盘ROM等。在一些实施例中，所述存储设备140可以在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储设备140可以连接到网络120以与图像处理系统100中的一个或以上组件(例如，服务器110、终端设备130)通信。图像处理系统100中的一个或以上组件可以通过网络120访问存储设备140中存储的数据或指令。在一些实施例中，存储设备140可以与图像处理系统100中的一个或以上组件(例如，服务器110、终端设备130等)直接连接或通信。在一些实施例中，存储设备140可以是服务器110的一部分。
图2是根据本说明书一些实施例所示的图像处理方法的示例性流程图。在一些实施例中，流程200可以由处理设备(例如，终端设备130或服务器110)执行。例如，流程200可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中，所述程序或指令在被执行时，可以实现流程200。流程200可以包括以下操作。
步骤202，获取待处理图像数据对应的多个特征图。在一些实施例中，步骤202可以由特征图获取模块610执行。
待处理图像数据是指未进行脱敏处理的图像数据。待处理图像数据可以包括人脸图像数据。在一些实施例中，待处理图像数据可以是原始人脸图像数据，也可以是对原始人脸图像数据进行人脸检测或人脸对齐后的图像数据。原始人脸图像数据可以是指直接由图像采集设备(例如，摄像头等)采集到的未进行任何处理的图像数据。人脸检测是指对人脸在图像中的位置进行检测，待处理图像数据可以是基于人脸在图像中的位置进行裁剪后的图像，例如，剪去图像中除人脸以外的多余部分。人脸对齐是指对人脸在图像中的角度进行校正，原始人脸图像中的人脸可能会以一定角度倾斜，通过人脸对齐，可以使人脸在图像上摆正，以便于后续对于图像的识别处理等。
在一些实施例中，处理设备可以通过设备的摄像头采集得到待处理图像数据，也可以以从数据库、存储设备读取，或调用数据接口等方式获取得到待处理图像数据。
需要说明的是，获取待处理图像数据的程序/代码可以运行在处理设备中部署的可信执行环境中，利用可行执行环境的安全特性可以保证处理设备获取的图像数据不会被盗取。同时，本说明实施例所披露的方法和/或过程，也可以在可信执行环境中执行，以确保从图像数据获取的源头到图像数据处理的整个过程都是安全可信的，提高对待处理图像数据的隐私保护的安全性。
特征图是指采用一定的图像处理手段，从待处理图像数据中提取的多个子图，每个子图携带有待处理图像数据的部分特征。所述子图可以与待处理图像一样大小，如像素点一一对应，也可以不同于待处理图像的大小。
在一些实施例中，处理设备可以通过如采用离散余弦变换、小波变换、正交基变换等方式获取得到待处理图像数据对应的多个特征图，也可以从待处理图像的图像文件中提取得到，例如，对jpeg格式的图像数据，可以直接从其图像文件中提取得到特征图。
示例性地，处理设备可以采用下文实施例所描述的方法，通过离散余弦变换获取得到待处理数据对应的多个特征图。
处理设备可以对所述待处理图像数据进行局部离散余弦变换，获得多个变换结果。离散余弦变换可以将待处理图像数据从空间域转换至频域。空间域和频域转换后的特征点的数量可以一致，例如，空间域中一个点可以代表一个像素位置，频域中一个点可以代表一个频率位置。在一些实施例中，通过局部离散余弦变换可以选取到比待处理图像数据小的图像块，如待处理图像数据大小为256×256，选取的图像块大小为8×8，利用图像块在待处理图像数据上以一定步长移动采样，并对图像块每次采样得到的待处理图像数据的局部数据(即8×8大小)基于离散余弦变换的公式进行变换，得到多个变换结果，每个变换结果可以是8×8大小。离散余弦变换时图像块的移动步长越小，得到的变换结果特征越多，可以有利于提高后续图像识别的准确率。
处理设备可以将各变换结果中相同频率位置的值组合得到一个特征图，进而得到对应变换结果中不同频率位置的多个特征图。在变换结果中，每一个特征点(元素)的位置对应一个频率位置。不难理解，特征图的个数与变换过程中用于采样的图像块的像素点数量一致。组合方式可以是按照一定的规律分别从多个变换结果中取出一部分值进行重组。例如，可以将各变换结果中相同频率位置的值进行组合得到一个特征图，进而得到对应变换结果中不同频率位置的多个特征图。得到的特征图的个数可以与变换过程中用于采用的图像块的像素点数量一致。
以图9作为示例，以步长为2，2*2大小的图像块对4*4大小的待处理图像数据910进行采样，实现局部离散余弦变换进行说明。容易得知，通过局部离散余弦变换可以得到4个变换结果，分别用s1、s2、s3、s4表示，每个变换结果中的各个频率位置的值分别用fi1、fi2、fi3、fi4表示，其中i表示第i个变换结果，fi1表示第i个变换结果中第一频率位置的值。每个变换结果都拥有4个对应的频率位置，将各个变换结果中的相同频率位置的值放在一起，即可得到多个特征图，比如，s1的f11、s2的f21、s3的f31和s4的f41放在一起组成特征图t1。以此类推，得到特征图t2、特征图t3以及特征图t4。在一些实施例中，在读取相同频率的部分对变换结果进行重组时，可以按照“Z”字形顺序进行读取。
通过上述处理过程可知，不同的特征图代表待处理图像中的不同频率分量。可选的，处理设备可以基于SEnet网络或基于预设选择规则，舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。在一些实施例中，处理设备可以对重组得到的多个特征图进行筛选，保留其中一部分特征图得到所述多个特征图。例如，按照特征图所包含的特征信息的丰富程度进行筛选，保留其中包含特征信息较多部分的特征图，舍弃包含特征信息较少部分的特征图。
在一些实施例中，处理设备可以将多个变换结果输入经过训练的SEnet网络，由SEnet网络给出各个特征图的重要性(如与重要性正相关的分值)。SEnet网络可以随着图像处理模型(如图像识别模型)一起训练得到，例如，在图像处理模型中添加SEnet网络，在对模型的训练过程中对SEnet网络的参数进行调整，得到用于确定特征图的重要性的SEnet网络。
在一些实施例中，预设选择规则可以是选择保留预设比例的包含特征信息较多的部分特征图。例如，在通过离散余弦变换并重组后得到的多个特征图中，可以选择保留预设比例的低频部分特征图，舍弃部分高频特征图。例如，可以保留50％、60％、70％比例的低频特征图，舍弃掉其余部分的高频特征图。
在一些实施例中，也可以将变换得到的全部特征图作为所述待处理图像对应的多个特征图。
步骤204，基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据。在一些实施例中，步骤204可以由特征图筛选模块620执行。
能量系数是指可以用于表征其对应的特征图对后续图像处理或图像识别贡献多少的参数。能量系数与多个特征图之间具有的一一对应是指，每个特征图都有与其对应的一个能量系数。即，能量系数与特征图或待处理图像的频率分量相关。作为示例，能量系数越小，反映只需要对应的特征图的较少的能量参与到后续的图像处理或图像识别中，反之，则需要对应的特征图较多的能量参与到后续的图像处理或图像识别中。
在一些实施例中，能量系数与多个特征图可以通过频率位置实现对应。例如，一共有z1-z4四个特征图，其与第一频率位置、第二频率位置、…、第四频率位置分别对应。有a1-a4四个能量系数，a1表示第一个频率位置对应的能量系数，a2表示第二个频率位置或特征图对应的能量系数，以此类推。因此，则有z1对应a1，z2对应a2、z3对应a3、z4对应a4。
在一些实施例中，能量系数可以从经过训练的机器学习模型中获得。关于获得能量系数的更多细节，可以参见图3及其相关描述，此处不再赘述。
在一些实施例中，处理设备可以根据特征图对应的能量系数的大小，从多个特征图像中筛选出一个或多个目标特征图。目标特征图是指可以作为表征所述待处理图像数据的脱敏图像数据的特征图。
在一些实施例中，处理设备可以判断能量系数是否小于阈值。例如，可以将能量系数与阈值进行比较，以判断能量系数是否小于阈值。阈值可以预先设定，例如，0.3、0.5、1、2、10、30等。阈值的设定可以与能量系数的整体大小相关。能量系数的值可以为任意值，例如，(0-1)、(-100-100)等。示例性地，假若以能量系数取值为0-1为例，则阈值可以为0.3。本说明书实施例对能量系数的取值不作限定。
在一些实施例中，为了更加直观的反映能量系数的大小，可以将能量系数的值取值到0-1之间。例如，可以通过sigmoid函数将能量系数的大小约束在0-1之间。示例性的，用于约束的sigmoid函数可以如公式(1)所示。
Figure BDA0003057738480000091
其中，ai表示约束大小后的能量系数，x表示约束前取值为任意值的能量系数，i表示第i个能量系数。
若是，则处理设备可以舍弃该能量系数所对应的特征图。舍弃可以是指使得该能量系数所对应的特征图不参与后续处理。例如，不参与后续的模型处理等。舍弃的方式可以是直接丢弃该能量系数所对应的特征图，也可以是将该能量系数对应的特征图的元素值设置为零。
丢弃掉部分特征图后所剩下的特征图，或将元素值设置为零后的特征图与其他未修改元素值的特征图，即可以作为所述目标特征图。
在本说明书实施例中，通过引入能量系数对特征图进行筛选，可以将对图像可视化信息很重要，但是对特定任务，例如图像识别，不重要的图像信息舍弃掉，在确保特定任务精度的同时保证了对原始图像的隐私保护，能够很好的抵御白盒攻击和黑盒攻击。另外，特征图筛选过程简单，筛选可以参数化，并可以通过模型的端到端的训练完成，保证模型处理时的速度快，花费时间少。
图3是根据本说明书一些实施例所示的获取能量系数的方法的示例性流程图。在一些实施例中，流程300可以由处理设备执行。例如，流程300可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中，所述程序或指令在被执行时，可以实现流程300。流程300可以包括以下操作。
步骤302，获取多个样本图像，并获取样本图像的多个特征图。
样本图像可以是指用于模型训练的图像。样本图像可以包括人脸图像。
在一些实施例中，样本图像的多个特征图可以采用多种方式得到。例如，采用局部离散余弦变换、小波变换、正交基变换，以及直接从样本图像的图像文件中提取等。关于获取样本图像的多个特征图的更多细节，可以参见步骤202的相关描述，此处不再赘述。
在一些实施例中，处理设备可以通过对样本图像进行处理、从数据库读取、调用相关数据接口等方式获取得到所述多个样本图像以及其对应的多个特征图。
步骤304，将样本图像的多个特征图输入机器学习模型，得到预测结果。
预测结果是指机器学习模型对样本图像的特征图进行处理后得到的结果，其根据机器学习模型的预测任务的不同而不同。例如，可以是代表样本图像的向量表示或称为预测向量，或者是对样本图像的分类结果，或者是对样本图像中的目标对象的身份的识别结果，例如，身份信息等。
所述机器学习模型可以是神经网络模型、SVM、树模型等。所述机器学习模型的参数可以包括与所述多个特征图一一对应的能量系数。
在一些实施例中，处理设备可以将所述样本图像的多个特征图输入至机器学习模型，由机器学习模型在模型内部对多个特征图进行处理，例如，可以在所述机器学习模型中，将各特征图所对应的能量系数与输入的多个特征图对应相乘，相乘的结果输出给模型的其他部分以进一步处理，得到预测结果。关于模型处理过程的更多细节，可以参见图5的相关描述，此处不再赘述。
步骤306，确定第一损失函数值。
在一些实施例中，处理设备可以基于模型的预测结果与样本图像的标签构建第一损失函数，并基于构建的第一损失函数确定第一损失函数值。第一损失函数值可以反映预测结果与样本图像的标签之间的差异。
标签可以是表征样本图像的向量表示或者与图像中的人脸对应的身份信息，例如，人物姓名等。在一些实施例中，标签可以通过人工标注或其他方式标注得到，本实施例对此不作限定。在一些实施例中，标签可以在处理设备获取多个样本图像的同时获取得到。
示例性地，第一损失函数可以如公式(2)所示。
Figure BDA0003057738480000111
其中，L表示第一损失函数，pj表示模型的预测结果，yj表示标签，j表示第j个训练样本，T为训练样本总数。
需要说明的是，以上所示的第一损失函数仅出于示例的目的，在本说明书中，能够反映模型的预测结果与样本图像的标签的差异的损失函数均可，例如，Arcface损失函数、预测向量与样本图像的向量表示间的距离等。
在一些实施例中，处理设备可以将模型的预测结果和标签代入第一损失函数确定第一损失函数值。
步骤308，确定第二损失函数值。
在一些实施例中，处理设备可以基于能量系数与多个特征图之间的一一对应关系构建第二损失函数。例如，可以基于所述多个特征图的信息与所述多个特征图对应的能量系数构造第二损失函数。在一些实施例中，特征图的信息可以是特征图的能量值，其中，特征图的能量值可以反映特征图中各像素(或元素)值的整体大小水平，具体可以基于特征图中各元素值的计算值表征。相应的，第二损失函数值可以反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值。
示例性地，第二损失函数可以如公式(3)所示。
Losspri＝a1f1+a2f2+…anfn(i＝1，2，…，n) (3)
其中，Losspri表示第二损失函数，an表示能量系数，不妨设为(0，1)范围内的数值，fn表示特征图中的各元素值的计算值(或表示特征图的能量值)，例如，对应特征图中各元素值的绝对值和、各元素值的绝对值和的均值、各元素值的绝对值的方差、各元素值的绝对值的最大值等，n为特征图的数量。
能量系数在一定程度上可以理解为各个特征图的能量值的权重系数。
将各个特征图代入第二损失函数中的对应位置后，即可计算得到第二损失函数值。
步骤310，调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
最小化第一损失函数值可以减小模型的预测结果和标签之间的差异，提高模型在识别图像中的人脸的身份信息时的识别精度。
最小化第二损失函数值可以使得模型在训练过程中更加关注能量值较小的特征图。由于图像的可视化信息主要集中在低频部分和中低频部分，该部分的特征图对图像的可视化重要，但是对图像的识别却影响不大，而通过最小化第二损失函数值，可以使得这部分特征图对应的能量系数更小，模型所关注到的更多的是能量系数较大部分所对应的特征图，该部分特征图对图像的可视化的贡献较少，对图像的识别贡献较大，因此，对该较小的能量系数所对应的特征图进行舍弃后，即可以有效地破坏图像的可视化信息，提升对图像的隐私保护，又不会对图像的识别产生较大的影响。
在一些实施例中，可以确定总损失函数，其中包括所述第一损失函数以及所述第二损失函数。训练时，可以调整所述机器学习模的参数，以最小化总损失函数值。示例性的，总损失函数＝第一损失函数+第二损失函数。
步骤312，从经过训练的机器学习模型中获取所述能量系数。
可以理解，通过训练得到的能量系数可以反映其对应的特征图对模型预测的贡献大小，进而基于能量系数对待处理图像对应的多个特征图进行筛选得到脱敏图像数据。在一些实施例中，处理设备可以从训练好的机器学习模型的参数提取出所述能量系数。
图4是根据本说明书一些实施例所示的机器学习模型系统的示例性结构图。系统400可以包括输入层410和处理层420。
输入层410包括能量系数，用于接收待处理图像对应的多个特征图，并将多个特征图与多个能量系数对应相乘后输出相乘的结果。
输入层410可以具有多个输入通道，多个输入通道的数量可以与待处理图像的多个特征图的数量相同，每个通道对应一个特征图。自然的，每个通道也对应一个能量系数或频率位置。
输入层的能量系数可以用于对输入至模型的特征图进行加权，使得输入到模型的特征图的能量值被重新分配或筛选。具体的，在输入层中，各特征图的各元素值被乘以对应的能量系数，以进行加权。
在搭建初始机器学习模型时，可以对输入通道的数量进行调整，将输入通道的数量与待处理图像的特征图的数量一致。而待处理图像的特征图的数量可以预先设置好。例如，调整输入通道为8个、24个、或64个等。在一些实施例中，机器学习模型可以是神经网络模型，输入层可以包含多个通道，每个通道对应若干神经元，如每个通道的神经元数量与对应特征图的元素个数相同，而同一通道中每个神经元对应的权重同为该通道对应的能量系数。关于待处理图像的特征图的获取方法的更多内容，可以参见步骤202的相关描述，此处不再赘述。
在一些实施例中，所述机器学习模型可以是能够用于图像识别的图像识别模型。
处理层420可以用于对所述相乘的结果进行处理得到模型的预测结果。
在一些实施例中，所述机器学习模型可以是深度神经网络，如CNN、RNN等网络等。其处理层可以包括卷积层、池化层等，对各个特征图进行处理(如卷积、池化等)，获得更加抽象的特征向量表示，如预测向量。
处理层还可以包括MLP、全连接层等，以将特征向量转换为具体的预测结果，如对脱敏图像数据对应的目标对象的身份识别结果、分类结果等。例如，处理层可以对脱敏图像数据的特征向量进行变换得到一个预测值，该预测值可以指示图像中的人物的身份信息，即目标对象的身份识别结果。
目标对象可以是指图像中的生物体、物体或其一部分。例如，人物、人脸、动物或某个建筑等。
身份识别结果可以是指该图像中的目标对象的对应身份，例如，人物的身份标识、动物的类别、建筑的名称等。
在一些实施例中，本说明书实施例还提供一种机器学习模型的训练方法，包括：取多个样本图像，并获取样本图像的多个特征图；将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
关于机器学习模型的训练方法的更多说明，可以参见图3的相关描述，此处不再赘述。
图5是根据本说明书一些实施例所示的图像识别方法示例性流程图。在一些实施例中，流程500可以由处理设备执行。例如，流程500可以以程序或指令的形式存储在存储装置(如处理设备的自带存储单元或外接存储设备)中，所述程序或指令在被执行时，可以实现流程500。流程500可以包括以下操作。
步骤502，获得待识别图像的脱敏图像数据。在一些实施例中，步骤502可以由数据获取模块810执行。
所述脱敏图像数据包括一个或多个目标特征图。目标特征图的个数可以小于步骤202所述的待处理图像对应的特征图个数；或者目标特征图的个数可以等于待处理图像对应的特征图个数，但是部分目标特征图的元素值为0。
待识别图像是指需要对图像中的目标对象进行识别的图像。例如，人脸图像、指纹图像等。
在一些实施例中，目标对象包括某身份信息对应的人脸。例如，刷脸支付时支付账号的身份信息对应的人脸、人脸解锁时具有开锁权限的身份信息对应的人脸，以及登录终端账号时，具有登录权限的身份信息对应的人脸等。
在一些实施例中，处理设备可以通过终端设备的摄像头获取待识别图像，也可以从存储设备、数据库读取，或调用数据接口等方式获取待识别图像。
在获取到待识别图像后，处理设备可以按照本说明书实施例中所描述的图像处理方法，例如，图2及其相关描述所阐述的方法对待识别图像进行处理，得到待识别图像的脱敏图像数据。更多细节可以参见图2及其相关描述，此处不再赘述。
步骤504，利用图像识别模型处理所述脱敏图像数据，得到预测向量。在一些实施例中，步骤504可以由数据处理模块820执行。
所述图像识别模型可以包括输入层以及处理层。
例如，可以将一个或目标特征图按照其对应的频率位置对应输入到输入层的各个通道中。不难理解，经过图2所示的图像处理方法后的目标特征图个数可以与图像识别模型输入层的通道个数相同或者小于所述通道个数。当目标特征图的个数小于图像识别模型的输入通道时，可以将目标特征图基于其对应的频率位置输入到对应的通道中，而剩余通道的输入值设为0。
输入层包括多个能量系数，用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果。输入层所包括的各能量系数可以用于与输入的多个特征图对应相乘，相乘的结果用于输出给模型的其他部分以进一步处理。例如，将相乘的结果输出给模型的处理层以进一步处理。
所述处理层于对所述相乘的结果进行处理以得到所述预测向量。
在一些实施例中，处理设备可以将所述脱敏图像数据输入至图像识别模型，由图像识别模型对脱敏图像数据进行处理后得到预测向量。
在一些实施例中，图像识别模型可以是如本说明书图4所描述的机器学习模型和其训练方法训练得到的模型，关于图像识别模型的更多说明可以参见图4及其相关描述，此处不再赘述。
步骤506，将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。在一些实施例中，步骤506可以由比较确定模块830执行。
目标对象的特征向量可以预先存储在存储设备中。在一些实施例中，可以预先将目标对象的人脸图像进行图2所描述的方式进行处理，得到脱敏图像数据，再利用图像识别模型处理所述脱敏图像数据，将模型输出的预测向量作为所述目标对象的特征向量并存入存储设备中。
在一些实施例中，目标对象的特征向量可以通过从数据库、存储设备中读取或调用数据接口等方式获得。
在一些实施例中，将预测向量与目标对象的特征向量进行比较，可以是计算两个向量之间的距离，例如，余弦距离、欧式距离等，用两个向量之间的距离来表示两个向量的相似度，相似度大于预设值(例如，99％、99.5％等)时，则可以确定待识别图像中包含目标对象。
在一些实施例中，上述步骤可以在可信执行环境中进行，以确保从图像的获取到图像的识别整个过程都处于安全可信的环境中，避免图像和脱敏图像数据泄露。
应当注意的是，上述有关各流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，对本说明书有关流程步骤的改变，如添加预处理步骤和存储步骤等。
图6是根据本说明书一些实施例所示图像处理系统的示例性模块图。如图6所示，系统600可以包括特征图获取模块610和特征图筛选模块620。
特征图获取模块610可以用于获取待处理图像数据对应的多个特征图。
在一些实施例中，特征图获取模块610可以首先通过设备的摄像头采集得到待处理图像数据，也可以从数据库、存储设备读取，或调用数据接口等方式获取得到待处理图像数据。再通过采用离散余弦变换的方式获取得到待处理图像数据对应的多个特征图，也可以从待处理图像的图像文件中提取得到，例如，对jpeg格式的图像数据，可以直接从其图像文件中提取得到特征图。
在一些实施例中，特征图获取模块610可以对所述待处理图像数据进行局部离散余弦变换，获得多个变换结果；将各变换结果中相同频率位置的值组合得到一个特征图，进而得到对应变换结果中不同频率位置的多个特征图；基于SEnet网络或基于预设选择规则，舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。
特征图筛选模块620可以用于基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据，其中，所述能量系数经过模型训练获得。
在一些实施例中，特征图筛选模块620可以根据所述特征图对应的能量系数的大小，从多个特征图像中筛选出一个或多个目标特征图。
在一些实施例中，特征图筛选模块620可以获取多个样本图像，并获取样本图像的多个特征图；将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化；从经过训练的机器学习模型中获取所述能量系数。
在所述机器学习模型中，各能量系数用于与输入的多个特征图对应相乘，相乘的结果用于输出给模型的其他部分以进一步处理。
图7是根据本说明书一些实施例所示的机器学习模型的训练系统的示例性模块图。如图7所示，系统700可以包括样本图像获取模块710、处理模块720、第一损失函数值确定模块730、第二损失函数值确定模块740、参数调整模块750和能量系数获取模块760。
样本图像获取模块710可以用于获取多个样本图像，并获取样本图像的多个特征图。
在一些实施例中，样本图像获取模块710可以通过对样本图像进行处理、从数据库读取、调用相关数据接口等方式获取得到所述多个样本图像以及其对应的多个特征图。
处理模块720可以用于将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数。
在一些实施例中，处理模块720可以将所述样本图像的多个特征如输入至机器学习模型，由机器学习模型对多个特征图进行处理，得到所述预测结果。
第一损失函数值确定模块730可以用于确定第一损失函数值。
所述第一损失函数值反映预测结果与样本图像的标签之间的差异。
在一些实施例中，第一损失函数值确定模块730可以基于第一损失函数确定所述第一损失函数值。
第二损失函数值确定模块740可以用于确定第二损失函数值。
所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值。
在一些实施例中，第二损失函数值确定模块740可以基于第二损失函数确定所述第二损失函数值。
参数调整模块750可以用于调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
图8是根据本说明书一些实施例所示图像识别系统的示例性模块图。如图8所示，系统800可以包括数据获取模块810、数据处理模块820和比较确定模块830。
数据获取模块810可以用于获得待识别图像的脱敏图像数据。
所述脱敏图像数据包括一个或多个目标特征图。
在一些实施例中，数据获取模块810可以通过终端设备的摄像头获取待识别图像，也可以从存储设备、数据库读取，或调用数据接口等方式获取待识别图像。
数据处理模块820可以用于利用图像识别模型处理所述脱敏图像数据，得到预测向量。
所述图像识别模型包括输入层以及处理层，其中输入层包括多个能量系数，用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果；所述处理层于对所述相乘的结果进行处理以得到所述预测向量。
在一些实施例中，数据处理模块820可以将所述脱敏图像数据输入至图像识别模型，由图像识别模型对脱敏图像数据进行处理后得到预测向量。
比较确定模块830可以用于将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。
在一些实施例中，比较确定模块830可以将预测向量与目标对象的特征向量进行比较，计算两个向量之间的距离，例如，余弦距离、欧式距离等，用两个向量之间的距离来表示两个向量的相似度，相似度大于预设值(例如，99％、99.5％等)时，则可以确定待识别图像中包含目标对象。
关于以上各系统的各模块的具体描述，可以参考本说明书流程图部分，例如，图2至图5的相关说明。
应当理解，图6-图8所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于基于多方安全计算的相关系数计算系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，特征图获取模块610和特征图筛选模块620可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于：(1)通过引入能量系数在确保特定任务精度的同时保证了对原始图像的隐私保护，能够很好的抵御白盒攻击和黑盒攻击。(2)特征图筛选过程简单，筛选过程可以参数化，并可以通过模型的端到端的训练完成，后续模型识别时的速度快。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (18)

1.一种图像处理方法，所述方法包括：
获取待处理图像数据对应的多个特征图；
基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据，其中，所述能量系数经过模型训练获得。
2.根据权利要求1所述的方法，所述获取待处理图像数据对应的多个特征图，包括：
对所述待处理图像数据进行局部离散余弦变换，获得多个变换结果；
将各变换结果中相同频率位置的值组合得到一个特征图，进而得到对应变换结果中不同频率位置的多个特征图；
基于SEnet网络或基于预设选择规则，舍弃所述不同频率位置的多个特征图中的部分得到所述多个特征图。
3.根据权利要求1所述的方法，所述与所述多个特征图一一对应的能量系数通过以下步骤获得：
获取多个样本图像，并获取样本图像的多个特征图；
将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；
确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；
确定第二损失函数值；所述第二损失函数值基于所述多个特征图的信息与所述多个特征图对应的能量系数构造；
调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化；
从经过训练的机器学习模型中获取所述能量系数。
4.根据权利要求3所述的方法，在所述机器学习模型中，各能量系数用于与输入的多个特征图对应相乘，相乘的结果用于输出给模型的其他部分以进一步处理。
5.根据权利要求1所述的方法，所述基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，包括：
判断所述能量系数是否小于阈值；
若是，则舍弃所述能量系数所对应的特征图。
6.根据权利要求5所述的方法，舍弃所述能量系数所对应的特征图，包括：
将所述能量系数对应的特征图的元素值设置为零。
7.一种图像处理系统，所述系统包括：
特征图获取模块，用于获取待处理图像数据对应的多个特征图；
特征图筛选模块，用于基于与所述多个特征图一一对应的能量系数从所述多个特征图中筛选出一个或多个目标特征图，将所述一个或多个目标特征图作为表征所述待处理图像数据的脱敏图像数据，其中，所述能量系数经过模型训练获得。
8.一种机器学习模型系统，包括：
输入层，包括能量系数，用于接收待处理图像对应的多个特征图，并将多个特征图与多个能量系数对应相乘后输出相乘的结果；
处理层，用于对所述相乘的结果进行处理得到模型的预测结果。
9.一种机器学习模型的训练方法，所述方法包括：
获取多个样本图像，并获取样本图像的多个特征图；
将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应的能量系数；
确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；
确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；
调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
10.一种机器学习模型的训练系统，所述系统包括：
样本图像获取模块，用于获取多个样本图像，并获取样本图像的多个特征图；
处理模块，用于将样本图像的多个特征图输入机器学习模型，得到预测结果；所述机器学习模型的参数包括与所述多个特征图一一对应能量系数；
第一损失函数值确定模块，用于确定第一损失函数值；所述第一损失函数值反映预测结果与样本图像的标签之间的差异；
第二损失函数值确定模块，用于确定第二损失函数值；所述第二损失函数值反映所述多个特征图的能量值与所述多个特征图对应的能量系数的加权和值；
参数调整模块，用于调整所述机器学习模型的参数，以使得第一损失函数值与第二损失函数值最小化。
11.一种图像识别方法，所述方法包括：
获得待识别图像的脱敏图像数据；所述脱敏图像数据包括一个或多个目标特征图；
利用图像识别模型处理所述脱敏图像数据，得到预测向量；所述图像识别模型包括输入层以及处理层，其中输入层包括多个能量系数，用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果；所述处理层用于对所述相乘的结果进行处理以得到所述预测向量；
将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。
12.如权利要求11所述的方法，所述目标对象包括某身份信息对应的人脸。
13.如权利要求11所述的方法，所述图像识别模型通过权利要求9所述的训练方法训练得到。
14.如权利要求11所述的方法，所述待识别图像的脱敏图像数据通过权利要求1～6任一项所述的方法得到。
15.一种图像识别系统，所述系统包括：
数据获得模块，用于获得待识别图像的脱敏图像数据；所述脱敏图像数据包括一个或多个目标特征图；
数据处理模块，用于利用图像识别模型处理所述脱敏图像数据，得到预测向量；所述图像识别模型包括输入层以及处理层，其中输入层包括多个能量系数，用于将所述一个或多个目标特征图与对应的能量系数相乘并输出相乘的结果；所述处理层用于对所述相乘的结果进行处理以得到所述预测向量；
比较确定模块，用于将所述预测向量与目标对象的特征向量进行比较，当相似度大于预设值时，确定所述待识别图像中包含所述目标对象。
16.一种图像处理装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1-6任一项所述的方法。
17.一种机器学习模型的训练装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求9所述的方法。
18.一种图像识别装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求11-14任一项所述的方法。
CN202110504397.8A 2021-05-10 2021-05-10 图像处理方法和系统 Pending CN113159214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110504397.8A CN113159214A (zh) 2021-05-10 2021-05-10 图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110504397.8A CN113159214A (zh) 2021-05-10 2021-05-10 图像处理方法和系统

Publications (1)

Publication Number Publication Date
CN113159214A true CN113159214A (zh) 2021-07-23

Family

ID=76874084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110504397.8A Pending CN113159214A (zh) 2021-05-10 2021-05-10 图像处理方法和系统

Country Status (1)

Country Link
CN (1) CN113159214A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257697A (zh) * 2020-12-23 2021-01-22 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257697A (zh) * 2020-12-23 2021-01-22 支付宝(杭州)信息技术有限公司 图像处理、图像识别模型的训练、图像识别的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIE HU ET AL: "Squeeze-and-Excitation Networks", 《CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Similar Documents

Publication Publication Date Title
CN111373403B (zh) 一种用于隐藏原始数据以保护个人信息的混淆网络的学习方法和测试方法，以及其学习装置和测试装置
CN109948408B (zh) 活性测试方法和设备
EP3812988A1 (en) Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
EP3812970A1 (en) Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
CN110851835A (zh) 图像模型检测方法、装置、电子设备及存储介质
CN110222573B (zh) 人脸识别方法、装置、计算机设备及存储介质
US20230034040A1 (en) Face liveness detection method, system, and apparatus, computer device, and storage medium
CN112257697A (zh) 图像处理、图像识别模型的训练、图像识别的方法和系统
CN112966737A (zh) 图像处理、图像识别模型的训练、图像识别的方法和系统
EP3471060B1 (en) Apparatus and methods for determining and providing anonymized content within images
CN111931153B (zh) 基于人工智能的身份验证方法、装置和计算机设备
KR20230169104A (ko) 기계 학습 및 등록 데이터를 사용한 개인화된 생체인식 안티-스푸핑 보호
CN111461979A (zh) 验证码图像去噪识别方法、电子装置及存储介质
CN113919497A (zh) 针对连续学习能力系统的基于特征操纵的攻击和防御方法
CN117349899B (zh) 基于遗忘模型的敏感数据处理方法、系统及存储介质
CN112712468B (zh) 虹膜图像超分辨率重建方法及计算设备
CN113378982A (zh) 一种图像处理模型的训练方法和系统
CN116383814B (zh) 一种神经网络模型后门检测方法和系统
Kuznetsov et al. Biometric authentication using convolutional neural networks
CN113159214A (zh) 图像处理方法和系统
CN115758337A (zh) 基于时序图卷积网络的后门实时监测方法、电子设备、介质
CN116152542A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN111401348B (zh) 一种目标对象的活体检测方法及系统
CN114612989A (zh) 人脸识别数据集的生成方法及装置、电子设备及存储介质
CN112287830A (zh) 一种图像的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723

RJ01 Rejection of invention patent application after publication