CN111401320B - 保护隐私的生物特征图像处理方法、装置、介质及设备 - Google Patents

保护隐私的生物特征图像处理方法、装置、介质及设备 Download PDF

Info

Publication number
CN111401320B
CN111401320B CN202010296594.0A CN202010296594A CN111401320B CN 111401320 B CN111401320 B CN 111401320B CN 202010296594 A CN202010296594 A CN 202010296594A CN 111401320 B CN111401320 B CN 111401320B
Authority
CN
China
Prior art keywords
image
sequence
neural network
network model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010296594.0A
Other languages
English (en)
Other versions
CN111401320A (zh
Inventor
郭明宇
陈继东
陈弢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010296594.0A priority Critical patent/CN111401320B/zh
Publication of CN111401320A publication Critical patent/CN111401320A/zh
Application granted granted Critical
Publication of CN111401320B publication Critical patent/CN111401320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种生物特征图像处理方法及装置，该方法首先获取待编码的第一图像，将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；运行于服务端的神经网络模型对第二图像进行生物特征识别；神经网络模型为采用指定训练样本预先训练而得到，指定训练样本中的每一个训练样本均按照第一序列进行乱序排布。该方法可有效提升用户隐私数据安全性。

Description

保护隐私的生物特征图像处理方法、装置、介质及设备
技术领域
本说明书实施例涉及隐私数据保护技术领域，具体地，涉及保护隐私的生物特征图像处理方法及装置。
背景技术
生物特征识别技术(Biometric Identification Technology)利用人体所固有的生理特征或行为特征来进行个人身份鉴定。生物特征不易伪造和丢失，相比于传统的密码、U盾等身份认证方式，基于生物特征的身份认证更为便捷，具有非常广阔的应用前景。其中，生物特征作为一种可用于标识用户身份的隐私性数据，需要更高级别的安全防护，以防泄露。
目前，很多基于生物特征的身份认证方案中，采用神经网络模型对生物特征进行识别。这些方案一般会在网络传输和存储环节对采集到的生物特征信息进行加密保护，但在神经网络模型识别环节，需要向神经网络输入非加密状态的原始生物特征信息，此时原始生物特征信息被盗取的难度相对较低，存在泄露风险，用户隐私数据安全性有待进一步提升。
发明内容
本说明书描述了一种保护隐私的生物特征图像处理方法，用以解决采用神经网络模型进行特征识别时会暴露原始生物特征信息的技术问题，该方法中，采用神经网络模型进行识别的环节无需输入原始生物特征信息也能准确识别用户身份，提升了用户隐私数据的安全性。
根据第一方面，提供一种保护隐私的生物特征图像处理方法，基于支持采集生物特征的终端设备执行，该方法包括：
获取待编码的第一图像，第一图像基于采集的生物特征而得到；将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；将第二图像发送至服务端，以使运行于服务端的神经网络模型对第二图像进行生物特征识别；神经网络模型为采用指定训练样本预先训练而得到，指定训练样本中的每一个训练样本均按照第一序列进行乱序排布。
在一个实施例中，生物特征包括以下各项中的任意一种：人脸、人耳、指纹、掌纹、虹膜、手掌静脉、签名。
在一个实施例中，在按照预设的第一序列中的编号顺序，打乱多个第一图块的排列之前，还包括：读取第一序列。
在一个实施例中，该方法还包括：
接收服务端下发的采用预设加密算法加密后的最新的第一序列，以与服务端同步更新第一序列。
在一个实施例中，终端设备包括图像编码器，第一序列预先编译在图像编码器中。
在一个实施例中，获取待编码的第一图像包括：
通过采集生物特征得到原始图像；将原始图像切分为第二数目的多个第二图块，且为多个第二图块顺序编号；按照预设的第二序列中的编号顺序，打乱多个第二图块的排列，得到第一图像；其中，第二序列包含第二数目的多个编号，且第二数目的多个编号乱序排列。
在一个实施例中，终端设备包括图像编码器；第二序列存储于图像编码器对应的存储空间或者预先编译在图像编码器中。
在一个实施例中，多个第二图块中至少一个第二图块的大小为第一图块的整数倍；
将第一图像切分为第一数目的多个第一图块，具体包括：
将待编码的第一图像中的至少一个第二图块作为目标图块，对目标图块进行切分，得到多个第一图块；将待编码的第一图像中除目标图块以外的其他第二图块，直接作为第一图块。
在一个实施例中，指定训练样本中的每一个训练样本均按照第二序列进行乱序排布后，再按照第一序列进行乱序排布。
在一个实施例中，将第一图像切分为第一数目的多个第一图块，具体包括：将第一图像切分为多个相同大小的宏块，每个宏块为方形图块。
在一个实施例中，方法还包括：将第二图像进一步压缩编码为目标格式文件；将第二图像发送至服务端包括，将目标格式文件发送至服务端。
根据第二方面，还提供一种生物特征图像识别方法，执行主体为服务器，该方法包括：
接收终端设备发送的第二图像；第二图像为第一图像切分出的多个第一图块按照第一序列进行乱序排布得到，第一图像基于采集的生物特征而得；基于预先训练的神经网络模型，对第二图像进行生物特征识别；神经网络模型为采用指定训练样本预先训练而得，指定训练样本中每一个训练样本均按照第一序列进行乱序排布。
在一个实施例中，接收终端设备发送的第二图像，包括：
接收终端设备发送的目标格式文件，目标格式文件为第二图像进一步压缩编码得到；对目标格式文件进行解码，得到第二图像。
在一个实施例中，该方法还包括：
更新第一序列，并采用预设加密算法对最新的第一序列进行加密运算；
向终端设备下发加密后的最新的第一序列，以使终端设备同步更新第一序列。
根据第三方面，还提供一种保护隐私的生物特征图像处理方法，基于支持采集生物特征的终端设备执行，该方法包括：
获取待编码的第一图像，第一图像基于采集的生物特征而得到；将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；将第二图像发送至服务端，以使服务端将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
根据第四方面，还提供一种神经网络模型训练方法，基于服务端执行，该方法包括：
获取待编码的第一图像，第一图像基于采集的生物特征而得到；将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
在一个实施例中，获取待编码的第一图像，包括：从指定数据库中获取预存的多张第一图像。
在一个实施例中，获取待编码的第一图像，包括：接收终端设备上传的针对第一图像进行加密的加密文件，进行解密后得到第一图像。
在一个实施例中，神经网络模型的输入层具有三个通道；将第一图像切分为第一数目的多个第一图块，具体包括：将第一图像拆分为R、G、B三原色图像；将各通道对应的一张原色图像分别切分为多个第一图块；
按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像，具体包括：按照第一序列，分别打乱各通道对应的多个第一图块的排列，得到乱序排布的R原色第二图像、G原色第二图像和B原色第二图像。
在一个实施例中，将第一图像样本拆分为R、G、B三原色图像之后，还包括：
根据R原色第二图像、G原色第二图像和B原色第二图像，进行RGB格式到YUV格式或者HSV格式的转换，得到YUV格式或者HSV格式的三张图像，分别输入三个通道。
在一个实施例中，该方法还包括：
根据终端设备的设备属性，确定与设备属性对应的第一序列；其中设备属性包括以下各项中的任意一种或多种：终端设备所处的地理区域、终端设备类型、同一类型终端设备的型号、终端设备对应的账户类型。
在一个实施例中，第一序列选自备选序列集；该方法还包括：对于备选序列集中每个备选序列，训练对应的神经网络模型。
根据第五方面，还提供一种保护隐私的生物特征图像处理装置，装置基于支持采集生物特征的终端设备运行，装置包括：
第一获取单元，被配置为获取待编码的第一图像，第一图像基于采集的生物特征而得到；第一切分单元，被配置为将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；第一打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；第一发送单元，被配置为将第二图像发送至服务端，以使运行于服务端的神经网络模型对第二图像进行生物特征识别；神经网络模型为采用指定训练样本预先训练而得到，指定训练样本中的每一个训练样本均按照第一序列进行乱序排布。
根据第六方面，还提供一种生物特征图像识别装置，装置运行于服务端，装置包括：
第一接收单元，被配置为接收终端设备发送的第二图像；第二图像为第一图像切分出的多个第一图块按照第一序列进行乱序排布得到，第一图像基于采集的生物特征而得；识别单元，被配置为基于预先训练的神经网络模型，对第二图像进行生物特征识别；神经网络模型为采用指定训练样本预先训练而得，指定训练样本中每一个训练样本均按照第一序列进行乱序排布。
根据第七方面，还提供一种保护隐私的生物特征图像处理装置，装置基于支持采集生物特征的终端设备运行，装置包括：
第二获取单元，被配置为获取待编码的第一图像，第一图像基于采集的生物特征而得到；第二切分单元，被配置为将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；第二打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；第一训练单元，被配置为将第二图像发送至服务端，以使服务端将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
根据第八方面，还提供一种神经网络模型训练装置，装置运行于服务端，装置包括：
第三获取单元，被配置为获取待编码的第一图像，第一图像基于采集的生物特征而得到；第三切分单元，被配置为将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；第三打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；第二训练单元，被配置为将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
根据第九方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当计算机程序在计算机中执行时，令计算机执行第一至第四方面的方法。
根据第十方面，提供了一种计算设备，包括存储器和处理器，存储器中存储有可执行代码，处理器执行可执行代码时，实现第一至第四方面的方法。
采用本说明书实施例提供的保护隐私的生物特征图像处理方法，将携带有用户生物特征信息的图像切分为多个图块后，按照预设的序列进行乱序排布，将该乱序排布的图像也就是第二图像作为神经网络模型的待识别对象，神经网络模型为预先按照同样序列进行乱序排布的图像样本训练得到，这样在神经网络模型进行特征提取和比对的环节中，不需要输入原始生物特征信息，减少了用户原始生物特征信息暴露的机会，保护了用户隐私安全；且神经网络模型的识别性能几乎不受影响，仍然具有较高的识别准确度。而乱序排布的第二图像被还原为顺序排布的原始图像的难度，将随切分出的图块数量的增加，呈几何级增长，无疑大幅降低了用户原始生物特征信息被盗用的风险。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本说明书提供的一种保护隐私的生物特征图像处理方法的一个应用场景示例图；
图2示出了本说明书提供的保护隐私的生物特征图像处理方法的一个实施例的流程图；
图3a-图3c分别示出了本说明书实施例中代替真实人脸图像的笑脸图像、笑脸图像被切分为多个第一图块示意图、多个第一图块乱序排布示意图；
图4示出了本说明书实施例中一个真实用户图像对应得到的第二图像示例图；
图5示出了本说明书一个实施例中进行压缩编码的执行过程示意图；
图6示出了本说明书实施例中一张指纹图像切分示意图；
图7示出了本说明书提供的一种生物特征图像识别方法的一个实施例的流程图；
图8示出了本说明书提供的一种保护隐私的生物特征图像处理方法的一个实施例的流程图；
图9示出了本说明书提供的一种神经网络模型训练方法的一个实施例的流程图；
图10示出一种在终端设备中运行的保护隐私的生物特征图像处理装置；
图11示出一种运行于服务端的生物特征图像识别装置；
图12示出一种在终端设备中运行的保护隐私的生物特征图像处理装置；
图13示出一种运行于服务端的神经网络模型训练装置。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
生物特征信息作为用户隐私性数据，在采集、传输、存储等各个环节中均存在泄露风险，需要加以防护。一种已有方案中，采用神经网络模型对生物特征进行识别，一般是通过终端设备采集用户的原始生物特征信息，例如人脸图像，然后对其进行压缩编码以及加密等处理后，通过网络链路上传至服务端，在服务端通过解码、解密等操作得到人脸图像，将其输入预先训练的神经网络模型，进行特征提取和比对，比对时将提取出的特征与预存的特征模板(或留底特征)进行比对，从而得到识别结果。
该种方案下，在神经网络模型的输入环节，将用户的非加密状态下的人脸图像作为输入数据，无疑增加了用户人脸图像被盗取的风险；此外，在特征比对时，神经网络模型需要以模板特征或留底特征作为参考与提取出的特征进行比对，其中模板特征或者留底特征被获取后，可计算反推出近似的原始人脸图像，即已有的基于神经网络进行生物特征识别的方案，在输入、输出等环节均存在安全防护漏洞。
鉴于此，本说明书实施例披露一种生物特征图像处理方法，该方法至少可适用于以图像格式进行存储或传输的各种生物特征，例如人脸、人耳、指纹、掌纹、虹膜、手掌静脉、签名等等，即能够以图像格式进行采集并存储的生物特征，都可采用本说明书披露的方案。
本说明书实施例披露的处理方法的一个典型应用场景参阅图1所示。在用户端，终端设备100将采集到的完整的生物特征图像切分为多个图块后按照预设的第一序列打乱，得到多个图块乱序排布的第二图像，然后将第二图像上传至服务端。在服务端，服务器200中运行的神经网络模型为预先采用同样的第一序列乱序排布的样本图像作为输入训练得到，使得该神经网络模型能够支持以第二图像直接作为输入进行特征识别，无需输入原始图像，减少了携带有生物特征信息的原始图像被盗取的机会。其中，终端设备可以为支持生物特征采集的各种设备，不仅限于图1所示的刷脸支付设备。
具体地，根据第一方面实施例，本说明书提供的保护隐私的生物特征图像处理方法，从支持采集生物特征的终端设备的角度描述，参阅图2所示，该方法可以包括如下流程：
S201，获取待编码的第一图像；S202，将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；S203，按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；S204：将第二图像发送至服务端，以使运行于服务端的神经网络模型对第二图像进行生物特征识别。
在S201中，待编码的第一图像基于终端设备采集的生物特征得到。在一部分实施例中，将终端设备采集到的生物特征图像直接作为第一图像。该部分实施例中，第一图像包括终端设备生成的携带有生物特征信息的各种格式的图像，例如，第一图像可以是支持刷脸的终端设备采集到的人脸图像、手机等支持指纹识别的终端设备采集到的指纹图像、自动贩卖机等支持掌纹识别的终端设备采集到的掌纹图像等等。并且，第一图像可以是终端设备成像原件生成的原始图像，也可以是成像原件生成的原始图像进行降噪等基本处理后的图像。
之后，根据S202，将第一图像切分为多个图块，且各个第一图块顺序编号，且切分出的第一图块的数目为第一数目。
例如，参阅图3a所示，为保护真实用户的人脸图像信息，本说明书实施例以一张笑脸图像代替真实用户的人脸图像，该笑脸图像被切分为16个第一图块，依次顺序编号，得到如图3b所示的切分后的各个带有编号的第一图块。
需要说明的是，本说明书实施例提供的切分方式包括多种，可以均等切分，例如图3b所示的切分方式，即切分出的多个第一图块大小相同；也可以非均等切分，切分出的第一图块可以是方形图块，也可以是矩形图块，具体应根据实际的图像格式具体确定相应的切分方式。例如，当第二图像编码为 jpg格式上传至服务端时，则针对第一图像可采用均等切分的方式，具体可以切分为多个8*8大小的宏块(即第一图块)。而采用H.264或H.265视频编码格式进行图像编码时，则针对第一图像的切分方式为非均等切分方式，在图像变换复杂的区域，切分为多个较小的宏块(即第一图块)，在图像变换平缓的区域则切分为一个或多个较大的宏块(即第一图块)。具体还可根据其他图像编码技术采用其他切分方式，本说明书实施例不逐一赘述。
接下来，根据S203，按照预设的第一序列中的编号顺序，打乱16个第一图块的排列，得到乱序排布的第二图像，例如，当第一序列为15 01 09 14 03 07 02 04 16 10 1108 05 06 12 13时，则得到的乱序排布的第二图像参见图3c所示。
上述示例中的16个图块仅为便于说明如何执行打乱操作，而实际应用中的第一数目，也就是针对第一图像切分出的第一图块的数目，一般为取值在几十到几千之间的正整数。切分出的第一图块数量越少，即第一数目取值越小，则乱序排布后被还原为顺序排布的原始图像的难度越低，安全性也就越低，例如切分为16个图块时，通过人工方式即可还原为原始图像，因此第一数目的取值一般不能低于人工可还原的数值；而切分出的第一图块数量越大，即第一数目越大时，则乱序排布后被还原为顺序排布的原始图像的难度也就越高，但此种情形下对神经网络模型的识别性能影响也越大，例如一张人脸图像被切分9000-10000个图块时，服务端的神经网络模型的识别准确度将难以达到预期，识别性能会明显下降。因此需要在数据安全性和识别准确度之间寻找平衡。
第一数目用M1表示，在本说明书一些实施例中，当50≤M1≤5000时，能够保证第二图像被难以还原，同时对于神经网络模型的识别性能影响相对较低。在更具体的实施例中，256≤M1≤4096时，对于神经网络模型的识别准确度影响更小，识别性能更加，同时得到的第二图像被还原的难度也较高。例如，一张真实用户的人脸图像按照上述方法被切分为256个第一图块，并且按照预设的第一序列进打乱后，得到的乱序排布的第二图像参阅图4所示。
本说明书实施例中，第一序列包含第一数目的多个编号，且多个编号乱序排列。即第一序列中包含与第一数目对应的多个编号。其中，编号乱序排列指除编号数值从小到大或从大到小顺序排列以外的任意一种排列顺序。具体地，一般而言，第一序列可以通过计算机随机生成。为防止计算机随机生成的序列中，大部分数值仍按照原有顺序排列，导致乱序排布的第二图像中大部分第一图块仍按照原始位置排布，在一些实施例中，设置第一序列中各个图块对应的编号应有50％以上不会排列在原有顺序位置。例如，10个图块对应的顺序编号序列为：01020304050607080910，随机生成的序列中，有可能出现10020304050607010809这种乱序排列，其中仅有01、08、09和10四个编号排列位置发生了变化，而另外的6个编号并未发生位置变化，有60％仍排列在原有顺序位置，应避免这种情况。
在一部分实施例中，第一序列从服务端获取。第一序列有多种形式，在一些实施例中，第一序列中不同第一图块对应的编号可以用空格等分隔符分隔开，以防止各个第一图块所对应的编号混淆，例如切分为256个第一图块时，相应的第一序列可以为222.001.005.080.130……009.115.248……，其中“.”即为分隔符，分隔符可以是除数字以外的任一符号，能够起到分隔标识作用即可，具体本说明书实施例不逐一赘述。
在另一部分实施例中，第一序列也可以纯数字形式紧凑排列，例如222001005080130……009115248……，此时，服务端还应一并下发与第一序列对应的第一数目信息，即终端设备在确定第一序列的同时还应确定相应的第一数目信息，例如，切分出的第一图块的数量为256、512等，数量级为“百”，则该序列中的数值每三位对应于一个第一图块，从该第一序列的首位开始依次每三位为一个编号，分别是“222”“001”“005”“080”……“009”“115”“248”……；当切分出的第一图块的数量为64时，则数量级为“十”，则从该第一序列的首位开始依次每两位为一个编号。
在一部分实施例中，服务端与终端设备的第一序列应同步更新。具体地，服务端定时或者不定时向终端设备下发第一序列，终端设备定时或者不定时接收服务端下发的采用预设加密算法加密后的最新的第一序列，覆盖原有的第一序列，以采用最新的第一序列对第一图像进行打乱。
接下来，在得到乱序排布的第二图像之后，将第二图像发送至服务端，以使运行于服务端的神经网络模型对第二图像进行生物特征识别。其中，运行于服务端的神经网络模型为采用指定训练样本预先训练而得到，而指定训练样本中的每一个训练样本均按照第一序列进行乱序排布。
在一个实施例中，得到第二图像后，进一步将第二图像压缩编码为目标格式文件，然后将目标格式文件发送至服务端。例如，可以压缩为jpg格式文件后上传至服务端。
在一个实施例中，终端设备包括图像编码器，第一序列可以预先编译在图像编码器中，上述S202和S203的步骤可以在图像编码器中执行。即，第一序列作为图像编码器源代码的一部分被直接编译在图像编码进程中。
例如，当第二图像压缩为jpg格式上传至服务端时，基于图像编码器执行的编码过程参阅图5所示，以JPEG图像编码技术为基础，首先将待编码的第一图像切分为多个8*8的宏块(即第一图块)，然后执行上述S202和S203 限定的打乱操作，得到乱序排布的第二图像，然后进行DCT (DiscreteCosineTransform,离散余弦变换)、量化、熵编码等操作后，得到jpg格式的压缩数据，即目标格式文件。
在一个更具体的实施例中，将第一序列编译到图像编码器时，采用混淆工具保护第一序列对应的源代码部分，具体可根据代码语言类型，具体采用相应的混淆工具，例如Python混淆工具、Closure Compiler、JScrambler等 JavaScript混淆工具等等。
在将第一序列编译在图像编码器的实施例中，第一序列也可与服务端同步更新，可以预先设置相应的时钟，定期或者不定期地调用相应的程序接口读取最新的第一序列，以覆盖原有的第一序列。
在另外的实施例中，第一序列也可加密存储于图像编码器的外部存储空间，此时图像编码器在执行编码时，需要到指定存储地址读取第一序列。
上述实施例中，S202-S203阐述了针对第一图像执行打乱操作而得到第二图像的过程，该过程包含一次打乱操作，即上述实施例中，仅执行一次打乱操作。
而在另一部分实施例中，为进一步防止第二图像被获取后，盗取者基于第二图像还原得到原始的生物特征图像，在执行上述一次打乱操作之前，先进行一次初级的打乱操作。
具体地，在另一部分实施例中，初级打乱操作可以包括：终端设备采集的携带有生物特征信息的原始图像并不直接作为第一图像，而是将终端设备采集的原始图像切分为第二数目的多个第二图块，且为多个第二图块顺序编号，然后按照预设的第二序列中的编号顺序，打乱多个第二图块的排列，得到待编码的第一图像。其中，第二序列包含第二数目的多个编号，且第二数目的多个编号乱序排列。具体的初级打乱操作可参照上述S202和S203的相关阐述，此处不再赘述。
这样，在该部分实施例中，第一图像本身为已经初级打乱操作的乱序排布图像，这样即使第二图像以及第一序列均被破译，将第二图像还原后得到的仍然是乱序排布的第一图像，仍需要获取第二序列将其进一步还原，而此种情形下，需要同时获取第一序列和第二序列的难度相比于获取第一序列的难度大幅提升，给盗取者制造了更多的困难，进一步保证了用户隐私数据的安全性。
具体地，第二序列可与第一序列分别加密存储于不同的存储地址。根据上述实施例阐述，第一序列可预先编译在图像编码器中，图像编码器在编码过程中直接将基于第一序列的打乱操作作为编码进程的一部分来执行，此种情形下，在一个实施例中，第二序列可加密存储于图像编码器外部相应的存储空间中。或者，在另一个实施例中，第二序列也可预先编译在图像编码器中，但要通过混淆工具防止盗取者采用同样的反编译手段同时得到第一序列和第二序列。
在一部分实施例中，初级打乱操作中针对原始图像的切分方式为非均等切分时，可以将待编码的第一图像中的相比于其他第二图块更大的至少一个第二图块，作为目标图块，对确定出的目标图块进行切分，得到多个第一图块；然后将待编码的第一图像中除目标图块以外的其他第二图块，直接作为第一图块。该实施例中，切分出的多个第二图块中，至少有一个第二图块的大小应为切分出的第一图块的整数倍。
例如，参阅图6所示，终端设备采集到的原始图像为一指纹图像(该指纹图像在网络中已公开，为公众可获取的状态)，初级打乱操作时，将该原始切分为6个较大的第二图块a、b、c、d、e、f和多个大小相同的较小的第二图块g。将切分后的第二图块按照预设的第二序列进行打乱，得到乱序排布的第一图像；接下来，在采用图像编码器执行二次打乱操作时，针对较大的第二图块a、b、c、d、e、f再次切分，分别切分为多个与g同等大小的多个第一图块，并将多个第二图块g直接作为第一图块，然后将得到的多个第一图块按照预设的第一序列进行乱序排布，得到第二图像。
需要说明的是，当终端设备执行两次打乱操作时，对应地，服务端用于识别第二图像的神经网络模型应为采用指定训练样本训练而得，其中指定训练样本中的每一个训练样本均按照第二序列进行乱序排布后，再按照第一序列进行乱序排布，即应保证终端设备最终得到的第二图像与训练神经网络模型的训练样本，按照完全一致的序列乱序排布。
如此，当最终切分出的第一图块的数量与一次打乱操作切分出的第一图块的数量属于同一数量级时，例如经过两次打乱操作，得到256个第一图块乱序排布的第二图像，与直接切分为256个第一图块执行一次打乱操作的得到的第二图像，对于神经网络模型的识别性能的影响几乎无差别。
根据第二方面的实施例，本说明书还提供一种生物特征图像识别方法，与第一方面对应，该方法从服务器角度描述，参阅图7所示，包括：
S701，接收终端设备发送的第二图像；S702,基于预先训练的神经网络模型，对第二图像进行生物特征识别。
其中，第二图像为基于第一图像切分出的多个第一图块按照第一序列进行乱序排布得到；神经网络模型为采用指定训练样本预先训练而得，指定训练样本中每一个训练样本均按照第一序列进行乱序排布。
在一个实施例中，当终端设备针对第二图像进一步进行压缩编码得到目标格式文件后上传时，则服务端接收终端设备发送的目标格式文件，对其进行解码，以得到第二图像。
在一部分实施例中，服务端与终端设备同步更新第一序列，并采用预设加密算法对最新的第一序列进行加密运算。具体地，服务器定期或者不定期向终端设备下发加密后的最新的第一序列，以使终端设备同步更新第一序列。
上述第一方面和第二方面的实施例分别阐述了在模型训练阶段，终端设备和服务器分别作为执行主体而执行的图像处理方法。
根据第三方面的实施例，本说明书还提供一种保护隐私的生物特征图像处理方法，基于支持采集生物特征的终端设备执行，阐述了模型训练阶段，一部分实施例中，终端设备执行的操作流程，参阅图8所示，该方法包括：
S801，获取待编码的第一图像；S802，将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；S803，按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；S804，将第二图像发送至服务端，以使服务端将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
该方法与第一方面和第二方面所提供的实施例区别之处在于，该方法基于模型训练阶段进行阐述，终端设备执行打乱操作后将得到的第二图像上传至服务端。
对应地，该第三方面的实施例中，服务端接收终端设备上传的第二图像，将其作为训练样本，对神经网络模型进行训练。
根据第四方面的实施例，本说明书还提供一种神经网络模型训练方法，该方法的执行主体为服务器，用于阐述在模型训练阶段，另一部分实施例中，服务端执行的操作流程，参阅图9所示，该方法包括：
S901，获取待编码的第一图像，第一图像基于采集的生物特征而得到； S902，将第一图像切分为第一数目的多个第一图块，且为多个第一图块顺序编号；S903，按照预设的第一序列中的编号顺序，打乱多个第一图块的排列，得到乱序排布的第二图像；其中，第一序列包含第一数目的多个编号，且多个编号乱序排列；S904，将多张第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
第四方面的实施例与第三方面的实施例均用于阐述模型训练阶段，不同的是，第四方面的实施例中，针对原始图像的打乱操作由服务端来执行，而在上述第三方面的实施例中，打乱操作由终端设备来执行。
关于S901，在一部分实施例中，获取待编码的第一图像，可以是从指定数据库中获取预存的多张第一图像。例如，第一图像可以为终端设备采集的携带有生物特征信息的原始图像，当数据库中已存储有相应的加密后的原始图像时，则进行解密即可获得第一图像。
在另外的实施例中，第一图像也可以通过接收终端设备上传的原始图像而获得，具体地，可以接收终端设备上传的针对第一图像进行加密的加密文件，进行解密后得到第一图像。此时处于模型训练阶段，终端设备还未采用上述实施例所阐述的图像处理方法，因此上传的图像为未经打乱操作的第一图像。在模型应用阶段，终端设备则可以上传打乱后的第二图像。
当得到多张第一图像后，针对第一图像执行打乱操作，以获得多张第二图像，并作为训练样本，对神经网络模型进行训练。
具体地，在一个实施例中，神经网络模型的输入层具有三个通道，可按照如下方式实施模型训练阶段服务端的打乱操作：
将第一图像拆分为R、G、B三原色图像；将各通道对应的一张原色图像分别切分为多个第一图块；按照第一序列，分别打乱各通道对应的多个第一图块的排列，得到乱序排布的R原色第二图像、G原色第二图像和B原色第二图像。
接下来，以R原色第二图像、G原色第二图像和B原色第二图像作为训练样本，分别输入神经网络模型。
在一部分实施例中，也可以将R原色第二图像、G原色第二图像和B原色第二图像，转换为YUV(Y表示明亮度，Luminance或Luma，U和V表示的则是色度Chrominance或Chroma)格式或者HSV(Hue,Saturation,Value) 格式，得到YUV格式或者HSV格式的三张图像后分别输入三个通道。
在本说明书实施例中，可以在模型训练阶段，按照需要切分出的图块数目也就是第一数目或者第二数目，由服务端随机生成多个第一序列或者多个第二序列。
在一个具体实施例中，可根据终端设备的设备属性，确定与设备属性对应的第一序列。其中，设备属性包括以下各项中的任意一种或多种：终端设备所处的地理区域、终端设备类型、同一类型终端设备的型号、终端设备对应的账户类型。例如，可以设置北京地区采用一组备选序列集，而上海地区采用另一组备选序列集；或者根据被采集的用户的账户属性，分别针对不同类别的用户，设置不同组的备选序列集。其中，一组备选序列集中可包括多个第一序列，或者还可以包括多个第二序列，第一序列与固定的一个第一序列绑定。
并且，在模型训练阶段，对应于备选序列集中的多个第一序列，或者对应于多组具有绑定关系的第一序列和第二序列的组合，预先训练出相应数目的多个神经网络模型。例如，依次根据备选序列集中的多个第一序列，分别执行打乱操作得到的多组训练样本，一组训练样本对应训练一个神经网络模型。
例如，针对北京地区设置的一组备选序列集S中，包括20个第一序列S1， S2，S3……S20，则可预先训练出20个神经网络模型N1，N2，……N20，其中 S1对应于N1，S2对应于N2……，在模型应用阶段，服务端定期或不定期向终端依次下发备选序列集中的备选序列作为第一序列，并在服务端选择与当前的第一序列对应的模型进行识别，例如，服务端与终端设备每隔半个月更新一次第一序列，当前下发的第一序列为S5，则服务端应设置当前运行的神经网络模型为N5，以此类推，一组备选序列集中的多个第一序列可循环使用。当一组备选序列集中的任一序列被破解后，则放弃该组备选序列集，生成新的备选序列集。
或者，在另外的实施例中，也可以边训练边应用，即在模型应用阶段，在当前在使用的第一序列的使用周期内，根据下一周期的第一序列，对下一周期所需要的神经网络模型进行训练，保证在更新周期之前完成训练即可。如此得到多个第一序列与神经网络模型的组合后，也可以循环使用。
本说明书实施例中，在模型训练阶段，采用按照第一序列进行乱序排布的训练样本对神经网络模型进行训练；在模型应用阶段，终端设备执行打乱操作，得到按照同一第一序列进行乱序排布的第二图像，并上传至服务端，运行于服务端的预先训练的神经网络模型针对当前第二图像进行特征提取和比对，从而输出识别结果。
根据本说明书第五方面的实施例，参阅图10所示，本说明书还提供一种保护隐私的生物特征图像处理装置100，该装置基于支持采集生物特征的终端设备运行，该装置包括：
第一获取单元1001，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到。
第一切分单元1002，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号。
第一打乱单元1003，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像。其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列。
第一发送单元1004，被配置为将所述第二图像发送至服务端，以使运行于所述服务端的神经网络模型对所述第二图像进行生物特征识别。所述神经网络模型为采用指定训练样本预先训练而得到，所述指定训练样本中的每一个训练样本均按照所述第一序列进行乱序排布。
在一个实施例中，所述第一打乱单元1003，还被配置为：在按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像之前，读取所述第一序列。
在一个实施例中，该装置100还包括第一更新单元1005，被配置为：
接收所述服务端下发的采用预设加密算法加密后的最新的第一序列，以与所述服务端同步更新所述第一序列。
在一个更具体的实施例中，所述终端设备包括图像编码器，所述第一序列预先编译在图像编码器中。
在一个更具体的实施例中，所述第一获取单元1001被具体配置为：
通过采集生物特征得到原始图像；将所述原始图像切分为第二数目的多个第二图块，且为所述多个第二图块顺序编号；按照预设的第二序列中的编号顺序，打乱所述多个第二图块的排列，得到所述第一图像；其中，所述第二序列包含所述第二数目的多个编号，且所述第二数目的多个编号乱序排列。
在一个更具体的实施例中，所述终端设备包括图像编码器；所述第二序列存储于所述图像编码器对应的存储空间或者预先编译在所述图像编码器中。
在一个更具体的实施例中，所述多个第二图块中至少一个第二图块的大小为所述第一图块的整数倍；所述第一切分单元1002，被具体配置为：将待编码的第一图像中的所述至少一个第二图块作为目标图块，对所述目标图块进行切分，得到多个第一图块；将待编码的第一图像中除所述目标图块以外的其他第二图块，直接作为第一图块。
对应地，所述指定训练样本中的每一个训练样本均按照所述第二序列进行乱序排布后，再按照所述第一序列进行乱序排布。
在一个更具体的实施例中，所述第一切分单元1002，被具体配置为：
将所述第一图像切分为多个相同大小的宏块，每个宏块为方形图块。
在一个更具体的实施例中，所述装置还包括编码单元1006，被配置为：将所述第二图像进一步压缩编码为目标格式文件；所述第一发送单元1004，被具体配置为：将所述目标格式文件发送至服务端。
根据本说明书第六方面的实施例，参阅图11所示，本说明书还提供一种生物特征图像识别装置110，该装置运行于服务端，该装置包括：
第一接收单元1101，被配置为接收终端设备发送的第二图像；所述第二图像为第一图像切分出的多个第一图块按照第一序列进行乱序排布得到，所述第一图像基于采集的生物特征而得。
识别单元1102，被配置为基于预先训练的神经网络模型，对所述第二图像进行生物特征识别；所述神经网络模型为采用指定训练样本预先训练而得，所述指定训练样本中每一个训练样本均按照所述第一序列进行乱序排布。
在一个实施例中，第一接收单元1101，被具体配置为：
接收终端设备发送的目标格式文件，所述目标格式文件为第二图像进一步压缩编码得到；对所述目标格式文件进行解码，得到第二图像。
在一个更具体的实施例中，该装置还包括第二更新单元1103，被配置为：
更新第一序列，并采用预设加密算法对最新的第一序列进行加密运算；向终端设备下发加密后的最新的第一序列，以使所述终端设备同步更新所述第一序列。
根据本说明书第七方面的实施例，参阅图12所示，本说明书还提供一种保护隐私的生物特征图像处理装置120，所述装置基于支持采集生物特征的终端设备运行，所述装置包括：
第二获取单元1201，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到。
第二切分单元1202，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号。
第二打乱单元1203，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列。
第一训练单元1204，被配置为将所述第二图像发送至服务端，以使所述服务端将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
根据本说明书第八方面的实施例，参阅图13所示，本说明书还提供一种神经网络模型训练装置130，该装置运行于服务端，该装置包括：
第三获取单元1301，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到。
第三切分单元1302，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号。
第三打乱单元1303，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列。
第二训练单元1304，被配置为将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
在一个实施例中，所述第三获取单元1301，被具体配置为：从指定数据库中获取预存的多张第一图像。
在一个实施例中，所述第三获取单元1301，被具体配置为：接收终端设备上传的针对第一图像进行加密的加密文件，进行解密后得到第一图像。
在一个实施例中，所述神经网络模型的输入层具有三个通道。所述第三切分单元1302，被具体配置为：将所述第一图像拆分为R、G、B三原色图像；将各通道对应的一张原色图像分别切分为多个第一图块。所述第三打乱单元 1303，被具体配置为：按照所述第一序列，分别打乱各通道对应的多个第一图块的排列，得到乱序排布的R原色第二图像、G原色第二图像和B原色第二图像。
在一个更具体的实施例中，该装置还包括转换单元1305，被配置为：
将所述第一图像样本拆分为R、G、B三原色图像之后，根据所述R原色第二图像、G原色第二图像和B原色第二图像，进行RGB格式到YUV格式或者 HSV格式的转换，得到YUV格式或者HSV格式的三张图像，分别输入所述三个通道。
在一个更具体的实施例中，该装置还包括确定单元1306，被配置为：
根据终端设备的设备属性，确定与其设备属性对应的所述第一序列；其中所述设备属性包括以下各项中的任意一种或多种：终端设备所处的地理区域、终端设备类型、同一类型终端设备的型号、终端设备对应的账户类型。
在一个更具体的实施例中，所述第一序列选自备选序列集，所述第二训练单元1304，还被配置为：对于所述备选序列集中每个备选序列，训练对应的神经网络模型。
如上，根据再一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一实施例所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一实施例所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (28)

1.一种保护隐私的生物特征图像处理方法，所述方法基于支持采集生物特征的终端设备执行，所述方法包括：
获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
将所述第二图像发送至服务端，以使运行于所述服务端的神经网络模型对所述第二图像进行生物特征识别；所述神经网络模型为采用指定训练样本预先训练而得到，所述指定训练样本中的每一个训练样本均按照所述第一序列进行乱序排布。
2.根据权利要求1所述的方法，其中，所述生物特征包括以下各项中的任意一种：人脸、人耳、指纹、掌纹、虹膜、手掌静脉、签名。
3.根据权利要求1所述的方法，其中，在按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列之前，还包括：读取所述第一序列。
4.根据权利要求1或3所述的方法，其中，该方法还包括：
接收所述服务端下发的采用预设加密算法加密后的最新的第一序列，以与所述服务端同步更新所述第一序列。
5.根据权利要求1所述的方法，其中，所述终端设备包括图像编码器，所述第一序列预先编译在图像编码器中。
6.根据权利要求1所述的方法，其中，获取待编码的第一图像包括：
通过采集生物特征得到原始图像；
将所述原始图像切分为第二数目的多个第二图块，且为所述多个第二图块顺序编号；
按照预设的第二序列中的编号顺序，打乱所述多个第二图块的排列，得到所述第一图像；其中，所述第二序列包含所述第二数目的多个编号，且所述第二数目的多个编号乱序排列。
7.根据权利要求6所述的方法，其中，所述终端设备包括图像编码器；所述第二序列存储于所述图像编码器对应的存储空间或者预先编译在所述图像编码器中。
8.根据权利要求6所述的方法，其中，所述多个第二图块中至少一个第二图块的大小为所述第一图块的整数倍；
将所述第一图像切分为第一数目的多个第一图块，具体包括：
将待编码的第一图像中的所述至少一个第二图块作为目标图块，对所述目标图块进行切分，得到多个第一图块；
将待编码的第一图像中除所述目标图块以外的其他第二图块，直接作为第一图块。
9.根据权利要求6所述的方法，其中，所述指定训练样本中的每一个训练样本均按照所述第二序列进行乱序排布后，再按照所述第一序列进行乱序排布。
10.根据权利要求1-3、5中任一项所述的方法，其中，将所述第一图像切分为第一数目的多个第一图块，具体包括：
将所述第一图像切分为多个相同大小的宏块，每个宏块为方形图块。
11.根据权利要求1-3、5-9任一项所述的方法，其中，所述方法还包括：将所述第二图像进一步压缩编码为目标格式文件；
将所述第二图像发送至服务端包括，将所述目标格式文件发送至服务端。
12.一种生物特征图像识别方法，所述方法的执行主体为服务器，所述方法包括：
接收终端设备发送的第二图像；所述第二图像为第一图像切分出的多个第一图块按照第一序列进行乱序排布得到，所述第一图像基于采集的生物特征而得；
基于预先训练的神经网络模型，对所述第二图像进行生物特征识别；所述神经网络模型为采用指定训练样本预先训练而得，所述指定训练样本中每一个训练样本均按照所述第一序列进行乱序排布。
13.根据权利要求12所述的方法，其中，接收终端设备发送的第二图像，包括：
接收终端设备发送的目标格式文件，所述目标格式文件为第二图像进一步压缩编码得到；
对所述目标格式文件进行解码，得到第二图像。
14.根据权利要求12所述的方法，其中，所述方法还包括：
更新第一序列，并采用预设加密算法对最新的第一序列进行加密运算；
向终端设备下发加密后的最新的第一序列，以使所述终端设备同步更新所述第一序列。
15.一种保护隐私的生物特征图像处理方法，所述方法基于支持采集生物特征的终端设备执行，所述方法包括：
获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
将所述第二图像发送至服务端，以使所述服务端将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
16.一种神经网络模型训练方法，所述方法基于服务端执行，所述方法包括：
获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
17.根据权利要求16所述的方法，其中，所述获取待编码的第一图像，包括：从指定数据库中获取预存的多张第一图像。
18.根据权利要求16所述的方法，其中，所述获取待编码的第一图像，包括：接收终端设备上传的针对第一图像进行加密的加密文件，进行解密后得到第一图像。
19.根据权利要求16所述的方法，其中，所述神经网络模型的输入层具有三个通道；
将所述第一图像切分为第一数目的多个第一图块，具体包括：
将所述第一图像拆分为R、G、B三原色图像；将各通道对应的一张原色图像分别切分为多个第一图块；
按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像，具体包括：
按照所述第一序列，分别打乱各通道对应的多个第一图块的排列，得到乱序排布的R原色第二图像、G原色第二图像和B原色第二图像。
20.根据权利要求19所述的方法，其中，将所述第一图像样本拆分为R、G、B三原色图像之后，还包括：
根据所述R原色第二图像、G原色第二图像和B原色第二图像，进行RGB格式到YUV格式或者HSV格式的转换，得到YUV格式或者HSV格式的三张图像，分别输入所述三个通道。
21.根据权利要求18所述的方法，其中，所述方法还包括：
根据终端设备的设备属性，确定与所述设备属性对应的所述第一序列；其中所述设备属性包括以下各项中的任意一种或多种：
终端设备所处的地理区域、终端设备类型、同一类型终端设备的型号、终端设备对应的账户类型。
22.根据权利要求16-21任一项所述的方法，其中，所述第一序列选自备选序列集；
所述方法还包括：
对于所述备选序列集中每个备选序列，训练对应的神经网络模型。
23.一种保护隐私的生物特征图像处理装置，所述装置基于支持采集生物特征的终端设备运行，所述装置包括：
第一获取单元，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
第一切分单元，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
第一打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
第一发送单元，被配置为将所述第二图像发送至服务端，以使运行于所述服务端的神经网络模型对所述第二图像进行生物特征识别；所述神经网络模型为采用指定训练样本预先训练而得到，所述指定训练样本中的每一个训练样本均按照所述第一序列进行乱序排布。
24.一种生物特征图像识别装置，所述装置运行于服务端，所述装置包括：
第一接收单元，被配置为接收终端设备发送的第二图像；所述第二图像为第一图像切分出的多个第一图块按照第一序列进行乱序排布得到，所述第一图像基于采集的生物特征而得；
识别单元，被配置为基于预先训练的神经网络模型，对所述第二图像进行生物特征识别；所述神经网络模型为采用指定训练样本预先训练而得，所述指定训练样本中每一个训练样本均按照所述第一序列进行乱序排布。
25.一种保护隐私的生物特征图像处理装置，所述装置基于支持采集生物特征的终端设备运行，所述装置包括：
第二获取单元，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
第二切分单元，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
第二打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
第一训练单元，被配置为将所述第二图像发送至服务端，以使所述服务端将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
26.一种神经网络模型训练装置，所述装置运行于服务端，所述装置包括：
第三获取单元，被配置为获取待编码的第一图像，所述第一图像基于采集的生物特征而得到；
第三切分单元，被配置为将所述第一图像切分为第一数目的多个第一图块，且为所述多个第一图块顺序编号；
第三打乱单元，被配置为按照预设的第一序列中的编号顺序，打乱所述多个第一图块的排列，得到乱序排布的第二图像；其中，所述第一序列包含所述第一数目的多个编号，且多个编号乱序排列；
第二训练单元，被配置为将多张所述第二图像作为训练样本，训练用于生物特征识别的神经网络模型。
27.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-22中任一项的所述的方法。
28.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-22中任一项所述的方法。
CN202010296594.0A 2020-04-15 2020-04-15 保护隐私的生物特征图像处理方法、装置、介质及设备 Active CN111401320B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010296594.0A CN111401320B (zh) 2020-04-15 2020-04-15 保护隐私的生物特征图像处理方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010296594.0A CN111401320B (zh) 2020-04-15 2020-04-15 保护隐私的生物特征图像处理方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN111401320A CN111401320A (zh) 2020-07-10
CN111401320B true CN111401320B (zh) 2022-04-12

Family

ID=71435195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010296594.0A Active CN111401320B (zh) 2020-04-15 2020-04-15 保护隐私的生物特征图像处理方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN111401320B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738900A (zh) 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 图像的隐私保护方法、装置及设备
CN113159223A (zh) * 2021-05-17 2021-07-23 湖北工业大学 一种基于自监督学习的颈动脉超声图像识别方法
CN113378226A (zh) * 2021-06-24 2021-09-10 平安普惠企业管理有限公司 生物数据处理方法、装置、设备及计算机可读存储介质
CN114218318B (zh) * 2022-02-21 2022-05-17 国网山东省电力公司乳山市供电公司 一种用于电力大数据的数据处理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851147A (zh) * 2015-05-27 2018-03-27 利森提亚集团有限公司 认证方法和系统
CN108377319A (zh) * 2018-03-15 2018-08-07 北京顶象技术有限公司 图片传输方法及装置
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN110913092A (zh) * 2019-11-26 2020-03-24 西南交通大学 一种加密图像可逆信息隐藏方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356056B2 (en) * 2017-03-13 2019-07-16 Palo Alto Research Center Incorporated Method and system for privacy-preserving order statistics in a star network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851147A (zh) * 2015-05-27 2018-03-27 利森提亚集团有限公司 认证方法和系统
CA3033014A1 (en) * 2018-02-07 2019-08-07 Royal Bank Of Canada Robust pruned neural networks via adversarial training
CN108377319A (zh) * 2018-03-15 2018-08-07 北京顶象技术有限公司 图片传输方法及装置
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN110913092A (zh) * 2019-11-26 2020-03-24 西南交通大学 一种加密图像可逆信息隐藏方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于智能手机传感器的用户隐私安全研究;董启宏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190515;全文 *

Also Published As

Publication number Publication date
CN111401320A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111401320B (zh) 保护隐私的生物特征图像处理方法、装置、介质及设备
Chai et al. A visually secure image encryption scheme based on compressive sensing
Cao et al. High capacity reversible data hiding in encrypted images by patch-level sparse representation
Lee et al. A new secure image transmission technique via secret-fragment-visible mosaic images by nearly reversible color transformations
Pandey et al. Iris based secure NROI multiple eye image watermarking for teleophthalmology
EP2791855B1 (en) Preserving image privacy when manipulated by cloud services
Aparna et al. An efficient medical image watermarking technique in E-healthcare application using hybridization of compression and cryptography algorithm
CN108810555B (zh) 基于图像压缩与弹性分辨率的缩略图图像隐私保护方法
Ong et al. Beyond format-compliant encryption for JPEG image
Sun et al. Privacy-aware image encryption based on logistic map and data hiding
CN112788195A (zh) 图像处理方法、装置和设备
Mainberger et al. Diffusion-based image compression in steganography
CN110634096B (zh) 一种自适应多模态的信息隐藏方法及装置
Chang et al. A steganographic method for hiding secret data using side match vector quantization
Xu et al. Reversible data hiding with hierarchical block variable length coding for cloud security
Awadh et al. Hybrid information security system via combination of compression, cryptography, and image steganography
CN109672804B (zh) 一种图像的加密、解密方法及其系统
CN112929669B (zh) 图像编码及解码方法、装置
Ruchaud et al. JPEG‐based scalable privacy protection and image data utility preservation
CN113206926B (zh) 一种基于三像素点加密以平衡图像隐私性和可用性的方法
Ghadi et al. Enhancing digital image integrity by exploiting JPEG bitstream attributes
US20210073396A1 (en) System and Method for Secure Image Embeddings
Iida et al. Robust image identification with secure features for jpeg images
Nikishova et al. Steganographic embedding in containers-images
Liu et al. Research on covert communication security based on screen content coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033179

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant