CN115443466A - 边缘处理数据去识别 - Google Patents

边缘处理数据去识别 Download PDF

Info

Publication number
CN115443466A
CN115443466A CN202080100159.4A CN202080100159A CN115443466A CN 115443466 A CN115443466 A CN 115443466A CN 202080100159 A CN202080100159 A CN 202080100159A CN 115443466 A CN115443466 A CN 115443466A
Authority
CN
China
Prior art keywords
features
data
feature
identifying
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100159.4A
Other languages
English (en)
Inventor
陈颖
赵昱程
李扬彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of CN115443466A publication Critical patent/CN115443466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioethics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

方法和系统在云计算系统处收集所采集的数据之前，实现对从边缘设备处的采集的数据提取的特征的替换。基于包括一个或多个学习模型的识别系统的操作，可以确定与用户记录的匹配特征不同的特征。可以基于随机、合成和/或通用数据来训练特征合成模型，以生成不识别用户的合成特征。在通过一个或多个学习模型将所采集的数据跨隐私边界传送到用于支持IoT服务的后端计算的云计算系统之前，可以用这些合成特征替换来自所采集的数据的识别特征。以这种方式，可以收集和存储数据，并避免个体用户被检查而暴露，同时仍然保持在允许识别模型起作用和用户简档被更新方面的实用性。

Description

边缘处理数据去识别
背景技术
现代云计算服务通常依赖于深度学习计算，其形式是在连接到许多终端设备以收集和处理数据的云计算系统处的后端计算。这种技术可以为诸如智能家居、智能家电和家庭安全之类的物联网(“IoT”)服务提供后端计算。通常是通过计算从终端设备接收的多种格式的复杂数据来提供深度学习云服务。而云计算系统可能具有较高的处理能力，包括诸如部署在数据中心的服务器上的分布式计算框架之类的示例，其可以包括诸如神经处理单元(“NPU”)之类的强微处理器，计算系统边缘的服务器和其他网络节点通常在规格上是低功耗的。这些边缘节点可能具有有限的处理能力以及本地存储器和内存。同样的，终端设备本身在规格上可能类似的是低功耗的。此外，深度学习计算可以部署在本质上功率较低的计算系统上。
IoT服务采集单个终端设备处的单个终端用户的数据，并且IoT服务的提供者希望将该采集的数据存储和聚合作为机器学习的组成部分，以改进IoT服务的后端技术。然而，可以检查、分析或以其他方式利用采集的数据来识别单个最终用户。从概念上讲，可以在采集的数据的计算系统和存储采集的数据的计算系统之间划定隐私边界。虽然所采集的数据没有越过这个概念边界，但是就所采集的数据可以用于识别单个终端用户的程度而言，对所采集的数据的访问仍然有限。但是，在采集的数据越过了这个概念边界之后，对采集的数据的访问就不在单个最终用户的控制范围之内。出于这样的原因，个体终端用户可能不信任在隐私边界的相对站点上的计算系统(诸如云计算系统)处的采集的数据的收集。
因此，希望通过在采集的数据越过概念隐私边界之前更改采集的数据，以在各个最终用户中产生对IoT服务的信任，使得在隐私边界的另一侧收集的采集的数据不能用于识别各个最终用户。
附图说明
下面参照附图详细描述。在附图中，参考编号的最左边的数字标识参考编号首先出现的图形。在不同的图中使用相同的参考编号表示相似或相同的项目或特征。
图1示出了本领域技术人员已知的面部特征提取的示例。
图2示出了本领域技术人员已知的面部识别的示例。
图3示出了示例特征嵌入。
图4A、4B、4C、4D和4E示出了本领域技术人员已知的图像采集传感器。
图5示出了根据本公开的示例性实施例的识别系统的架构。
图6示出了根据本公开的示例实施例的计算系统的架构图。
图7示出了根据本公开的示例性实施例的特征合成模型。
图8示出了根据本公开的示例性实施例的去识别方法的流程图。
图9示出了用于实现上述的实现采集的数据的去识别的过程和方法的示例系统。
具体实施方式
本文所讨论的系统和方法涉及实现数据去识别，并且更具体地，在云计算系统处收集所采集的数据之前，替换从边缘设备处的所采集的数据提取的特征。
根据本公开的示例实施例，学习模型可以是可由计算系统的一个或多个处理器执行,以执行包括处理具有各种参数的采集的数据和输出结果的任务的定义的计算算法。学习模型可以是例如诸如深度神经网络之类的分层模型，其可以具有完全连接的结构，可以具有诸如卷积神经网络(“CNN”)之类的前馈结构。可以具有例如递归神经网络(“RNN”)反向传播结构，或者可以具有适合于特定任务的计算的其他架构。任务可以包括例如分类、聚类、匹配、回归等。
任务可以为执行功能提供输出，例如识别图像和/或视频中的实体；实时跟踪视频中的实体的移动；将图像和/或视频中的识别的实体与其他图像和/或视频匹配；识别音频，例如口语或噪音；实时提供图像、视频和/或音频的注释或转录,等等。学习模型可以将计算系统配置为对如上所述的例如任何或几种类型的所采集的数据执行任务的计算，其中，在计算系统对所提取的特征执行计算之前，所采集的数据通常被压缩并从中提取特征。
可以训练学习模型以配置计算系统以从采集的数据中提取生物特征。根据本公开的示例实施例，生物特征识别通常是指可以识别特定人员的特征；生物特征识别还可以在技术系统中用作认证标识符以实现访问控制，从而限制对特定个体的某些特定安全信息、资源、系统等的访问。生物特征标识符的常见示例包括不可变的物理标识符，例如面部及其特征；视网膜和/或虹膜及其特征；DNA及其特征；手及其特征，例如手形或血管特征；等等。这样的示例还包括行为标识符，诸如语音及其特征；打字节奏及其特征；步态及其特征；等等。
可以从采集的数据中提取这种生物特征标识符的特征。例如，可以训练学习模型以配置计算系统，以将采集的面部图像作为输入来计算任务，这样的任务为包括面部识别或面部匹配的功能提供输出。关于面部图像输入，从中提取的特征(本文称为“面部特征”)可以包括例如眼睛特征、鼻子特征和嘴特征。
关于面部特征，为了理解本公开的示例实施例，应当注意的是，诸如“眼睛特征”、“鼻子特征”和“嘴巴特征”之类的概念通常是直觉的高级描述，在输入面部图像的某个地方，可以提取对应于眼睛、鼻子、嘴和人脸的其他此类熟悉部分的图像特征(诸如上述图像特征的类型)。然而，诸如“眼睛特征”、“鼻子特征”或“嘴部特征”等的标签通常不被本领域技术人员理解为暗示或限于用于识别面部图像中对应于眼睛、鼻子、嘴巴等的特征的任何特定的规则、原则、规范、指导、标准、或其他的技术或解决方案。相反，根据输入面部图像的性质和采集输入面部图像的环境，本领域技术人员可以认为用于眼睛、鼻子、嘴巴等的对应图像特征的任何技术是有效的。
面部特征具有可以便于诸如面部识别或面部匹配之类的任务的各种特征。面部特征通常独立于其他面部特征；例如，眼睛、鼻子和嘴巴的形状通常彼此独立。此外，可以允许面部特征确定可间接导致或缩小对个体的识别的特征，例如年龄和性别。此外，可以允许面部特征确定行为特征而不仅仅是身体特征，例如情绪，从而实现识别个体的不同途径。
图1示出了本领域技术人员已知的面部特征提取的示例。如图1所示的多任务级联卷积神经网络100(“MTCNN”)示出了建立三级级联网络，包括第一阶段建议网络(“P-Net102”)；第二阶段优化网络(“R-Net 104”)；以及第三级输出网络106(“O-Net 106”)。在输入到P网102之前，可以通过模糊和二次采样来变换样本图像数据，以生成形成图像金字塔108的样本图像数据的多个副本。在将图像金字塔108输入到P-Net 102时，P-Net 102的卷积层114对图像金字塔108执行边界框回归。P-Net 102输出由回归向量描述的边界框，所述边界框是图像金字塔108的样本图像数据中的面部特征的可能边界框。基于边界框，通过非最大抑制(“NMS”)来识别样本图像数据中寻求通过分类来识别的面部特征110的候选区域，使得边界框在它们重叠的地方被合并以生成新的回归向量；每个候选区域110可以接收分类112为可能是特定类型的面部特征。
然后将候选区域110输入到R-Net 104中，其中R-Net 104的卷积层116通过进一步NMS执行候选区域110的回归向量的细化。
然后将候选区域110输入到O-Net 106中，其中O-Net 106的卷积层118执行候选区域110的回归向量的进一步监督细化。O-Net 106可以输出候选区域110、它们的分类112以及一些数量的面部界标118的位置，这可以有助于确定由面部区域识别的面部的正确对准和定向。
可以训练学习模型以配置计算系统以计算将采集的图像或视频作为输入的任务，例如为诸如图像分类、计算机视觉、视频跟踪、视频注释的功能提供输出的任务。关于图像输入，从中提取的特征(本文称为“图像特征”)可以包括例如本领域技术人员已知的边缘特征、拐角特征和斑点特征。关于视频输入，从中提取的特征(本文称为“视频特征”)可以包括例如本领域技术人员已知的运动特征。
云计算系统可以提供托管计算资源的服务器的集合，以提供分布式计算、并行计算、物理或虚拟计算资源的改进的可用性以及这样的益处。云计算系统可以托管学习模型，以使用学习模型为计算的应用提供这些益处。然而，为了减轻在云计算系统上执行学习模型时的计算开销，可以预先训练学习模型以提供现成的参数和权重，这些参数和权重可以存储在云计算系统的存储器上，并且在执行时，作为“骨干”学习模型加载到云计算系统的内存中。例如，关于与图像识别的功能有关的任务，通常可用的预训练图像分类器学习模型包括ResNet、GoogLeNet、VGGNet、Inception、Xception等。
例如，可以训练骨干学习模型以计算将图像作为输入的任务的输入，这样的任务为包括图像分类或计算机视觉的功能提供输出。关于图像输入，特征可以包括例如本领域技术人员已知的边缘特征、角特征和斑点特征。
例如，可以训练骨干学习模型以计算将面部图像作为输入的任务的输入，这样的任务为包括面部识别或面部匹配的功能提供输出。关于面部图像输入，特征可以包括例如本领域技术人员已知的眼睛特征、鼻子特征和嘴特征。
例如，可以训练骨干学习模型以计算将视频作为输入的任务的输入，例如为诸如视频跟踪或视频注释之类的功能提供输出的任务。关于视频输入，特征可以包括例如本领域技术人员已知的运动特征。
例如，可以训练骨干学习模型以计算将音频作为输入的任务的输入，例如为诸如音频识别、源分离或音频注释的功能提供输出的任务。关于音频输入，特征可以包括例如过零率特征、能量特征、诸如频谱质心特征、频谱扩展特征等的频谱形状特征，以及本领域技术人员已知的这些特征。
例如，学习模型的中央网络可以被训练为以文本作为输入的任务计算函数，例如为诸如图像搜索功能的功能提供输出的任务。关于文本输入，与非文本输入的特征(本文称为“文本特征”)异构的特征可以包括例如字数特征、词向量以及本领域技术人员已知的这样的特征。
图2示出了本领域技术人员已知的面部识别的示例。如图2所示的FaceNet卷积神经网络200示出了可先将提取的面部特征输入到主干202，由此主干202执行如上所述的性质的计算。然后可以将面部特征输入到归一化层204中，由此归一化层204可以计算面部特征的特征嵌入206。
特征嵌入通常是指将数据集转换为降维的维空间，以增加或最大化在计算特定功能的任务时需要区分的数据点(例如单个图像)之间的距离，并减少或最小化在计算特定功能的任务时需要匹配、聚类或以其他方式找到的数据点之间的距离。例如，用于表示两个数据点之间的距离的函数可以是表示欧几里得距离的任何函数，例如L2-norm；曼哈顿距离；表示余弦距离的任何函数，例如余弦相似度的负值；或本领域技术人员已知的任何其他合适的距离函数。
特别地，FaceNet被实现为通过L2-norm将面部特征的维度降低到相对紧凑的128维度集。
可以部分地执行学习模型的训练以在损失函数上训练学习模型，以学习所提取的特征嵌入。所述损失函数可以是具有第一距离和第二距离作为参数的任何函数，所述参数可以针对所述第一距离的最小值和所述第二距离的最大值同时被优化。例如，第二损失函数可以是三重损失函数，其通常是将锚数据点a、关于特征与锚数据点匹配的正数据点p、以及关于特征与锚数据点不匹配的负数据点n。所述三重损失函数可以计算所述锚数据点a与所述正数据点p之间的第一距离，计算所述锚数据点a与所述负数据点n之间的第二距离，并计算所述第一距离与所述第二距离之间的差值；所述第一距离与所述第二距离之间的差可惩罚所述学习模型。因此，在三重态损失函数上训练学习模型可以生成学习的特征嵌入，其优化以最小化第一距离和第二距离之间的插值。
特别地，输入到损失函数中的三重态可被选择为包括半困难负数据(semi-hardnegatives)。困难负数据点(Hard negative data point)是指最接近锚数据点的那些负数据点，其中“最难负”是指最接近锚数据点且比正数据点更近的负数据点，因此一般最难以与正数据点区分，并且“半难负”是指最接近锚数据点而不比正数据点更接近的负数据点，因此难以与正数据点区分，但不比最难负数据点差更难区分。因此，在三重态损失函数上训练学习模型可以生成学习特征嵌入，其同时优化更靠近目标数据点的难正数据点和更远离目标点的难负数据点。
在208，可获得参考数据集以用于训练神经网络。
参考数据通常可以是指示其中的数据点对于特定结果是正的还是负的任何标记的数据集。例如，数据集可以被标记为指示特定数据点对于特定结果是正的或负的。可替代地，数据集可以被标记为指示数据点的类、簇、拟合或其他特征，使得标签可以指示特定数据点属于或不属于特定的类、簇、拟合等。
可以在一定数量的时期(epoch)上训练神经网络，其中时期是指整个数据集(上述参考数据集)由学习模型计算一次并且基于其更新权重集的时间段。
一个时期被分成多个批次；在每个批次期间，参考数据的子集由学习模型计算。参考数据集可以被分割成多个子集，每个子集用于在一个批次期间的输入。对于其中获得数据点的损失函数如三重态损失函数，为了避免从整个数据集获得数据点的多余计算开销，在批次期间获得的数据点可以从该批期间的用于输入的子集获得。
然后基于由学习模型学习的特征嵌入来更新权重集。可以根据梯度下降(“GD”)(即，在计算完成一个时期之后更新)、随机梯度下降(“SGD”)、小批量随机梯度下降(“MB-SGD”)(即，在计算每批之后更新)、反向传播(“BP”)或本领域技术人员已知的更新权重集的任何合适的其他方式。
然后，在210处神经网络可以生成测试数据的特征嵌入。
图3示出了示例特征嵌入300，其中相对于彼此示出了锚数据点302、正数据点304、半难数据点306以及相反地，易负数据308的相对位置。
云计算系统可以连接到各种终端设备，这些终端设备采集要输入到学习模型中的数据，以训练学习模型和/或与各种任务相关联，用于计算和输出执行这些任务所需的结果。终端设备可以通过云计算系统的边缘节点连接到云计算系统。边缘节点可以是提供从到云计算系统的其他节点的连接的出站连接的任何服务器，并且因此可以划分云计算系统的网络的逻辑边缘，而不一定是物理边缘。此外，边缘节点可以是部署云计算系统的非集中式计算资源的基于边缘的逻辑节点，诸如cloudlets、fog节点等。
终端设备可以负责涉及多种类型的采集的数据的多种类型的任务。例如，终端设备可以是相机，其采集静态图像、视频、音频、面部图像数据以及可能源自诸如云安全服务、监控服务、智能家居服务等IoT服务的用户的其他类型的数据；通过对终端设备周围的位置执行实时监控，连接到托管IoT服务的云计算系统的边缘节点；并将这些类型的数据中的每一种实时发送到云计算系统，以执行支持IoT服务的各种后端任务。
图4A、4B、4C、4D和4E示出了本领域技术人员已知的图像采集传感器。图像采集传感器可以包括如图4A所示的腔阵列400，腔阵列400的腔可以是以数百万或数十亿的数量排列的感光单元。如图4B所示，单个腔402可以通过快门机构的操作而被打开，从而将空腔阵列400暴露于光的光子总。每个腔402可以测量撞击至相应腔402的光子的数量，并将该数量量化为数字信号。图像采集传感器的位深度可以确定数字信号的可能值的范围；该范围可以被增强以输出处于例如高动态范围(“HDR”)的采集图像。
如图4C所示，腔阵列400可以是滤色器阵列，使得图像采集传感器可操作以采集彩色图像，其中每个单独的腔402被一红色、绿色或蓝色的彩色滤色器覆盖。例如，如图所示的空腔阵列400可以是拜耳阵列，其中腔402的行交替包括红色和绿色过滤器或蓝色和绿色过滤器。图像采集设备可以利用这样的阵列来实现图像采集传感器。如图4D所示，各个腔402可以各自仅被与其相应的滤光器相同颜色的光子撞击。因此，在每个感光单元处，可以量化表示过滤颜色的信号，并且可以近似表示其他颜色的信号。
如图4E所示，图像采集装置还包括腔间微透镜404，其将光子重定向到腔402中。微透镜404的结合可以使得能够实现在没有覆盖传感器的整个表面的腔阵列400的情况的图像采集传感器；相反，将撞击到没有腔的位点的光子被引导到相邻的腔402。
根据本公开的示例实施例的图像采集设备还包括图像信号处理器(“ISP”)。由图像采集传感器输出的数字信号可以由ISP处理以生成采集的图像。根据本公开的示例性实施例的ISP可以包括前端处理模块和后处理模块。
前端处理模块可以对数字信号执行黑电平校正，以便在不暴露于任何光子时补偿通过图像采集传感器的基线信号电平。黑电平校正可以通过从数字信号值中减去基线值，或者通过从数字信号值中减去由基于温度和增益的线性函数建模的漂移曲线来执行。
前端处理模块可以对数字信号执行镜头阴影校正，以补偿在将光子聚焦到图像采集传感器上的图像采集设备的镜头边缘处发生的光衰减。
前端处理模块可以对数字信号进行去马赛克处理，以便根据由如上所述的腔阵列的不同腔采集的不同滤波的光子重建全色信息。
前端处理模块可以基于数字信号执行自动曝光、自动对焦和自动白平衡操作，以控制图像采集设备的操作。
自动曝光操作可以检测数字信号的亮度水平，并利用曝光计量，例如中心加权计量、点曝光计量和区域曝光计量，来控制图像采集设备的光阑、增益水平和快门速度，并保持近似恒定的亮度水平。
自动聚焦操作可以检测数字信号的对比度水平，并且基于此来定义图像采集设备的聚焦距离和聚焦位置以最小化噪声。
自动白平衡操作可以对数字信号执行颜色校正，以使所采集图像上的平均颜色近似为灰色。此外，自动白平衡操作可以估计所采集的图像上的真实颜色，以进一步校正数字信号，使其更接近所估计的真实颜色。
前端处理模块可以对数字信号执行全局色调映射，其中通过诸如指数函数、sigmoid函数等的映射函数，具有相同红色、绿色和蓝色强度的数字信号输入被映射到相同的输出像素值。映射功能可以实现为查找表以减少计算时间。
后处理模块可以对由前端处理模块输出的采集图像执行操作。
后处理模块可以对所采集的图像执行去噪，例如通过对其应用低通滤波器和双边滤波器。
后处理模块可以对采集图像进行边缘锐化，例如通过获取采集图像的高频信号，并将高频信号或加权高频信号添加到采集图像。
前端处理模块或后处理模块可以对本领域技术人员已知的数字信号或采集的图像进行进一步的操作，例如局部色调映射、直方图均衡等。
以如上所述的方式采集的数据可能需要通过学习模型和/或权重集进行计算。根据本公开的示例实施例，边缘设备(其可以指如上所述的任何或所有边缘节点和终端设备)可以具有一定程度的计算能力、本地存储和内存，利用其执行这种计算。
ISP可以将采集的图像输出到视频编解码器，该视频编解码器可以对采集的图像序列进行编码，从而在该过程中压缩采集的图像的大小。在编码过程中，可以对从源采集的图像进行编码以生成重建帧，并且可以在诸如缓冲区的目的地处输出重建帧。可以将该帧输入到编码循环中并作为重建帧输出。可以根据所建立的标准(例如H.264/AVC(高级视频编码)和H.265/HEVC(高效视频编码)标准)执行编码。可以根据当前正在开发的标准，例如所提出的通用视频编码(“VVC”)规范来执行编码。
在边缘设备处，编码可能在每个采集图像的编码与在远程计算系统处的采集图像的输出之间产生延迟，这将在随后进行描述。对于某些IoT服务，可接受的延迟可能大于或小于其他IoT服务。例如，对于安全或监视服务，可接受的延迟可以在秒的范围内；对于视频会议服务，可接受的延迟可以被限制在毫秒的范围内。
根据编码的固有计算开销，可以根据这种可接受的延迟在不同的边缘设备之间分配计算工作量；例如，由于边缘节点可能比终端设备具有更多的计算能力，可以将采集的图像传输到边缘节点进行编码，以便利用增加的计算能力。
在连接到云计算系统的IoT网络中，大量采集的数据可以从边缘设备传送到云计算系统进行处理。IoT网络的边缘设备可以在地理上与云计算系统的计算资源隔离，也可以在逻辑上与云计算系统隔离。因此，逻辑上，在边缘设备处采集的数据可以通过一个或多个数据平面与云计算系统分离，所述一个或多个数据平面例如定义在边缘设备和云计算系统之间传送数据的一个或多个网络的数据平面。
在某种程度上，学习模型可以配置边缘设备来计算如上所述的后端任务。然而，与云计算系统相比，边缘设备的相对较低的计算资源规范(包括处理能力、存储和内存)导致它们之间的计算能力的相对差异。因此，在边缘设备上运行的学习模型可能不会在那些相同的边缘设备处训练，而是可以在诸如云计算系统的更高功率的计算系统处训练。通过以下架构考虑，可以将学习模型的某些计算卸载到边缘设备的局部计算中。
原始采集的数据，例如静止图像、视频、面部图像数据和音频信号，这些数据的文件大小大，可以在通过一个或多个网络传输之前在边缘设备处压缩或以其他方式预处理，和/或边缘设备可以被配置为使用采集的数据执行如上所述的后端任务的边缘处理。边缘处理可能在计算能力和范围上受到限制。
此后，采集的数据可以通过在云计算系统中托管的接口通过一个或多个网络从边缘设备传递到一个或多个远程计算主机。作为跨越这些一个或多个网络和接口的结果，所采集的数据在概念上可能跨越参考根据本公开的实施例的学习模型的架构所定义的隐私边界。
图5示出了根据本公开的示例实施例的识别系统500的架构。系统500包括注册模块502和查询模块504。注册模块502和查询模块504各自可以将所采集的数据(诸如所采集的静止图像或来自视频的图像)作为输入。注册模块502可以采用标记有个体用户身份的采集的数据作为输入；特征(诸如面部特征)可以由特征提取模块506从采集的图像中提取。特征提取模块506可以以如上参考图1所述的方式操作。注册模块502可以将由特征提取模块506输出的提取的特征与它们各自的标记的个体用户身份相关联地注册在数据库508中。
查询模块504可以将未标记有个体用户身份的采集的数据作为输入，例如如上所述在IoT服务操作期间实时采集的图像；特征提取模块506可以从采集的图像中提取特征。特征提取模块506可以以上文参考图1所述的方式操作。匹配模块510可以将提取的特征与在数据库508中注册的标记特征进行匹配。基于与标记特征具有最小距离的匹配，匹配模块510可以输出与未标记特征最接近地匹配的用户标识。
识别系统500的上述特征可以托管在如上所述的远程云计算系统上。因此，一旦采集的数据经过一个或多个数据平面并且被存储在与采集的数据的边缘设备分离的远程云计算系统上，则可以执行上述操作以便使用采集的数据来识别各个用户。因此，概念隐私边界可以被定义为具有第一侧和第二侧，所述第一侧包括如上所述的识别系统在其中采集的数据但不由识别系统计算的计算系统，所述第二侧包括其他计算系统，其中采集的数据由如上所述的识别系统计算。
根据以上描述应当理解，根据本公开的示例实施例的识别系统仅需要从采集的数据提取的特征的相对紧凑的集合，以便将提取的特征与记录在其数据库中的标记的特征相匹配。所提取的特征的紧凑集合可以是可以从所采集的数据中提取的所有特征的一小部分。此外，应当理解，采集的数据可以由人检查以识别其身体或行为特征存在于采集的数据中的单个用户，或者可以由提取要与标记的特征相匹配的特征的识别系统来计算。检查采集的数据的人可以主要通过公开可见的物理特征来识别单个用户，例如通过查看采集的图像中的个体面孔。然而，识别系统可以通过更细微和更少明显的物理特征以及对人类检查采集的数据不太明显的行为特征来识别单个用户。
因此，根据本公开的示例实施例，所采集的数据可以在其中具有被非识别特征替换的相当数量的特征，以便阻碍人通过检查所采集的数据来识别单个用户的能力。然而，特征的紧凑子集可以保留在数据中，以便不妨碍根据本公开的示例实施例的识别系统通过从采集的数据中提取特征来识别单个用户的能力。出于本公开的目的，这种替换过程应被称为“去识别”。
根据本公开的示例实施例，希望向个体用户证明所采集的数据可能不会被人检查以识别那些用户，以便在如上所述的IoT服务的使用中产生用户的信任。在采集的数据穿过如上所述的概念隐私边界之前，通过在边缘设备上执行如上所述的去识别过程，可以使该演示令人信服。
图6示出了根据本公开的示例实施例的计算系统600的架构图。计算系统600可以通过由物理或虚拟网络连接连接的物理或虚拟服务器节点604(1)、604(2)、…、604(N)(其中任何未指定的服务器节点可以被称为服务器节点604)组成的云网络602来实现。此外，在物理或虚拟边缘节点606(1)、606(2)、…、606(N)(其中任何未指定的边缘节点可被称为边缘节点606)的网络602终端位于云网络602的物理和/或逻辑边缘。边缘节点606(1)至606(N)可以连接到任何数量的终端设备608(1)、608(2)、…、608(N)(其中任何未指定的终端设备可以被称为终端设备608)。终端设备608(例如，终端设备608(1))可以从任意数量的传感器610(1)、610(2)、…、610(N)(其中任何未指定的传感器610可以被称为传感器610)采集的数据，其中不同的传感器可以操作以收集一种或多种类型的数据(诸如图像、视频、文本、语音音频等)。
预训练学习模型可以在专用处理器612上实现，该专用处理器可以托管在数据中心614。数据中心614可以是云网络602的一部分或通过网络连接与云网络602通信。专用处理器612可以是具有便于神经网络计算任务(例如训练和推理计算)的计算的硬件或软件元件的计算设备。例如，专用处理器612可以是加速器，诸如神经网络处理单元(“NPU”)、图形处理单元(“GPU”)、张量处理单元(“TPU”)、使用现场可编程门阵列(“FPGA”)和专用集成电路(“ASIC”)等的实现。为了便于诸如训练和分类之类的任务的计算，专用处理器612可以例如实现用于计算诸如矩阵运算和向量运算之类的数学运算的引擎。
学习模型可以包括识别模型616和任何数量的去识别模型618(1)、618(2)、…、618(N)(其中任何未指定的去识别模型可以被称为去识别模型618)。识别模型616可以存储在数据中心614的物理或虚拟存储器(“数据中心存储620”)上。并且可以与经训练的权重集624一起被加载到数据中心614的物理或虚拟存储器(“数据中心内存622”)(其可以是专用处理器612的专用内存)，以便专用处理器612执行识别模型616以从采集的数据中提取特征，并基于这些提取的特征识别单个用户。
去识别模型618可以存储在任何数量的边缘节点606和/或终端设备608的物理或虚拟边缘存储(“边缘存储626”)上，并且可以与经训练的权重集630一起被加载到任何数量的边缘节点606或终端设备608的物理或虚拟边缘存储器(“边缘存储器628”)，以便用于边缘节点606或终端设备608的一个或多个物理或虚拟边缘处理器(“边缘处理器632”)以执行学习模型的子网络618以计算与一个或多个任务相关的输入。出于本公开的目的，为了简洁起见，可以将边缘节点606或终端设备608中的任何一个称为“边缘设备”。
在边缘设备处执行去识别模型618可使边缘设备将去识别模型618加载到边缘存储器628中，并计算从终端设备608的传感器610采集的输入数据。数据可以由终端设备608采集，用于计算支持IoT服务的后端任务，如上所述。然而，为了向各个用户保证所采集的数据不能用于通过检查来识别那些用户，去识别模型618可以对所采集的数据执行去识别操作，这将在随后描述。
如果边缘设备是终端设备608，则可以直接从边缘设备获得输入，或者如果边缘设备是边缘节点606，则可以通过网络连接从终端设备608传送到边缘设备。去识别模型618可以替换所采集的数据的特征，并且通过云网络602将该去识别的数据传送到中央网络616。
识别网络616的执行因而可使专用处理器612将识别网络616加载到数据中心存储器622中，并提取由去识别模型618去识别的所采集的数据中剩余的特征。识别网络616可以输出IoT服务的性能所需的结果，包括用户身份。
本公开的示例实施例提供了用于通过生成以替换可以从采集的数据中提取的一些生物特征的合成特征，并且用合成特征替换那些特征而不通过隐私边界传递采集的数据来对采集的数据进行去识别的方法。为了说明的目的，概念性隐私边界634在本文中被描绘为水平虚线，应当理解隐私边界不一定对应于图6中描绘的任何物理或虚拟元素。
图7示出了根据本公开的示例实施例的特征合成模型700。
基于所提取的特征702(其可以从如以上诸如参考图1的示例中描述的所采集的数据中提取)，特征合成模型700可以执行生成对抗网络(“GAN”)的操作。例如，特征合成模型702可以包括生成器704，其可以是第一卷积神经网络，以及鉴别器706，其可以是第二卷积神经网络。
可以基于采集的数据和提取的特征来训练生成器704，以生成包含合成生物特征的合成数据。例如，基于所采集的面部图像和从中提取的面部特征，生成器704可以生成利用面部特征的上下文(诸如与身体特征相关的特征、与诸如表情的行为特征相关的特征、诸如布光、肤色、皱纹等的上下文信息以及标记的身份)的合成数据来生成合成的面部图像。基于诸如视网膜数据、指纹数据、笔迹数据、运动数据等的其它类型的采集的数据，生成器704可以生成合成数据，其利用视网膜数据的上下文(诸如视网膜和虹膜模式)来生成合成视网膜和/或虹膜图像；利用指纹数据的上下文(如弓型(arch)、箕型(loop)和斗型(whorl))来生成合成指纹；利用笔迹的上下文(如形状、大小、间距、重复和倾斜)来生成合成签名；利用运动的上下文(如步长、步幅、节奏、速度等)以生成合成步态数据。通常，非识别特征可以是不能通过结合由根据本公开的示例实施例的识别系统与任何个体用户的记录相匹配的特征。
可以基于真实数据708和合成数据710来训练鉴别器706，以学习将合成数据与真实数据区分开来。基于此，鉴别器706可以将输出反馈到生成器704以训练生成器704以改进图像的合成。
基于特征合成模型700，边缘设备可以生成非识别特征以替换从终端设备采集的数据中提取的特征。然而，根据本公开的示例性实施例，不一定需要生成特征。相反，边缘设备可以存储通用特征，并用通常的通用特征替换从采集的数据中提取的特征。通用特征可以是关于本公开的示例实施例的不是IoT服务的任何个体用户的一个特定个体的特征；例如，通用特征可以是已经同意以这种方式使用其识别特征的“占位符”人的特征。随后参考去识别方法更详细地描述该过程。
此外，应当理解，生成器704可以合成采集的数据序列的特征，例如以包含许多单独帧的视频形式的采集的数据。在这些情况下，生成器704不必为每个单独的帧合成特征，因为这样的合成在计算成本上是显著的。相反，生成器704可以合成用于视频的交替帧或用于由一些数量的预定步骤分开的视频的帧的特征。替代地，生成器704可以根据如上所述的编码标准的规范来合成帧序列的关键帧的特征；通过将这种合成机制合并到编码规范中，可以通过诸如运动预测的机制将那些合成特征携带到相同序列的其它帧。因此，根据本公开的示例实施例，特征合成模型的至少部分可以被合并到所提出的编码标准规范中，诸如VVC规范。
根据本公开的示例实施例，为了防止数据在识别特征被替换之前越过隐私边界，可以在如上参考图6所述的边缘设备(边缘节点或终端设备)上存储并执行特征合成模型700。然而，还期望使用随机数据、合成数据和/或通用数据来周期性地训练特征合成模型700，所述随机数据、合成数据和/或通用数据被不断更新以改进对由生成器704合成的特征的去识别，并且通过改进鉴别器706的鉴别操作来改进GAN功能。因此，如参考图6所述，可以在云网络602处周期性地训练特征合成模型700的副本，并且可以利用来自云网络602的训练权重、特征嵌入等周期性地更新存储在边缘设备处的特征合成模型700。这样的更新应该是单向跨越隐私边界，这样就不会有数据从边缘设备传输到云网络。
图8示出了根据本公开的示例实施例的去识别方法800的流程图。
在步骤802，终端设备采集包含一个或多个个体用户的生物特征的数据。
终端设备可以通过一个或多个传感器采集的数据，上面参考图4A到4E和图6给出了这些传感器的示例。生物特征可以是描述如上所述的物理和/或行为特征的特征，其中一些可以是物理和/或行为识别特征。尽管特定生物特征是否识别仅仅是识别技术发展阶段的结果，但并非所有生物特征都需要识别单个用户。在不久的将来，随着机器学习技术的进步，本领域技术人员目前无法利用的识别个体用户的生物特征可以被用来识别个体用户。因此，本公开不应限制任何特定的生物特征是否为识别特征。
根据本公开的示例实施例的IoT服务的用户可以在一些时候允许包含他们自己的生物特征的数据以他们自己的身份被标记，并且存储在如上参考识别系统的数据库描述的云计算系统中。这可以是用户注册过程的一部分，以便建立和丰富特定IoT服务的用户的简档。因此，在同意的情况下，可以在不替换特征的情况下以公开和透明的方式用用户身份标记所采集的数据；然而，在根据本公开的示例实施例的知情身份共享的这种情况之外，应该向用户保证，物联网服务后端不会在被动或持续的基础上收集采集的数据，这些数据可能会被检查以识别这些用户。
在步骤804，边缘设备从采集的数据中提取特征。
如上文参考图6所述，边缘设备可以是如在步骤802中提到的终端设备，或者可以是被采集的数据被传送到的云计算系统的边缘节点。因此，步骤802的终端设备可以是边缘设备，也可以不是边缘设备。然而，如本文参考图8所述的边缘设备也可能是终端设备的部件，诸如采集数据的传感器的部件(在这种情况下，传感器本身可以是构成计算系统的采集设备的一部分，如随后参考图9所述)。在任何一种情况下，只要采集的数据保留在边缘设备上，它就不会越过概念隐私边界。
可以从如上参考图1和参考图5的示例描述的采集的数据中提取特征。
在步骤806，边缘设备确定提取的特征的识别特征。
边缘设备可以通过执行如上参考图5所述的识别系统来确定所提取的特征的识别特征，以便确定哪些提取的特征与识别系统的数据库相匹配。然而，边缘设备不一定足够的强大或拥有足够的存储来存储或执行识别系统。因此，边缘设备还可以通过从图6的云网络接收信息来确定所提取的特征的识别特征，该识别特征是有关一组紧集的提取特征，该提取特征可操作以使得图5的识别系统来识别个体。因此，边缘设备可以获知特定特征是识别特征，而无需实际识别使用该特定特征的任何个体。
此外，随着机器学习技术的进步，识别系统可能依赖于不同的特征集合来识别个体。因此，随着时间的推移，由边缘设备在步骤806中确定的识别特征可以改变。
在步骤808，边缘设备通过特征合成模型生成合成特征。
上面参考图7描述了特征合成模型的操作。例如，合成特征可以是非识别特征或通用特征。
在步骤810，边缘设备用合成特征替换采集的数据的识别特征。
根据所采集的数据的性质，可以地执行不同的替换。例如，在所采集的数据是任何形式的图像数据(包括视频数据)的情况下，替换可以包括用合成特征的像素替换所采集的图像数据的一些数量的像素(诸如，如上参考图1所述的由回归向量描绘的那些像素)。在所采集的数据是字符串的情况下，替换可以包括用合成特征的字符串替换采集的数据的一些字符数。在所采集的数据是音频的情况下，替换可以包括用合成特征的音频数据在一段时间内替换所采集的数据的某个部分。在所采集的数据是量化数据的情况下，替换可以包括用合成特征的量化来替换量化的数字。
在所采集的数据是任何形式的图像数据的情况下，可以进一步在所替换的区域周围应用过滤器以将替换数据与原始数据混合。
在用合成特征替换一些数量的识别特征之后，或者用合成特征替换所有识别特征之后，掺杂的采集的数据可以自由地跨越隐私边界传送。在此之前，可以给予个体用户在一个或多个终端设备上审查掺杂采集的数据的机会，以便获得保证，即掺杂的采集的数据不能用于通过人工检查来识别个体用户。然而，在被传送到云网络时，掺杂的采集的数据仍可被识别模型利用以识别单个用户并将信息贡献给存储在数据中心的用户简档。掺杂采集的数据可以进一步存储在数据中心，从而降低了由于安全漏洞和数据盗窃而可能损害用户身份的机会。
图9示出了用于实现上述用于实现采集的数据的去识别的过程和方法的示例系统900。
本文描述的技术和机制可以由系统900的多个实例以及任何其他计算设备、系统和/或环境来实现。系统900可以是如本领域技术人员已知的单个计算系统或者提供物理或虚拟计算资源的边缘主机。其示例包括如上参考图6所述的边缘设备，诸如终端设备和边缘节点。然而，系统900不应该包括如图6所示的云网络的计算资源。图6所示的系统900仅是系统的一个示例，并且不旨在建议对用于执行上述过程和/或步骤的任何计算设备的使用范围或功能的任何限制。可以适于与实施例一起使用的其他公知的计算设备、系统、环境和/或配置包括但不限于个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、游戏控制台、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述系统或设备中的任一个的分布式计算环境、使用现场可编程门阵列(“FPGA”)和专用集成电路(“ASIC”)的实现等。
系统900可以包括一个或多个处理器902和通信地耦合到所述一个或多个处理器902的系统存储器904。所述一个或多个处理器902和系统存储器904可以是物理的或者可以是虚拟化的和/或分布式的。所述一个或多个处理器902可以执行一个或多个模块和/或过程以使所述一个或多个处理器902执行各种功能。在实施例中，所述一个或多个处理器902可以包括中央处理单元(“CPU”)、图形处理单元(“GPU”)、或两者都包括、或包括本领域已知的其他处理单元或组件。另外，所述一个或多个处理器902中的每一个可以拥有其自己的本地存储器，其还可以存储程序模块、程序数据和/或一个或多个操作系统。
根据系统900的确切配置和类型，系统存储器904可以是易失性的，例如RAM，也可以是非易失性的，例如ROM、闪存、微型硬盘驱动器、存储卡等，或其某种组合。系统存储器904可以包括可由处理器902执行的一个或多个计算机可执行模块906。
模块906可以包括但不限于数据采集模块908、特征提取模块910、识别特征确定模块912、特征合成模块914和特征替换模块916。特征合成模块914还可以包括生成器子模块918和鉴别器子模块920。
数据采集模块908可以被配置为采集包含一个或多个个体用户的生物特征的数据，如上参考图8所述。
特征提取模块910可以被配置为从所述的采集的数据中提取特征，如上参考图8所述。
识别特征确定模块912可以被配置为确定所述的提取的特征的识别特征，如上参考图8所述。
特征合成模块914可以被配置为通过特征合成模型生成合成特征，如上参考图8所述。其中，生成器子模块918和鉴别器子模块920可以被配置为执行所述的生成器704和鉴别器706的功能，如上参考图8所述。
特征替换模块916可以被配置为用所述的合成特征替换采集的数据的识别特征，如上参考图8所述。
系统900可以另外包括输入/输出(I/O)接口940和通信模块950，以允许系统900通过网络(例如云网络)与其他系统和设备通信，诸如上参考图6所述。网络可以包括因特网、诸如有线网络或直接有线连接的有线媒体、以及诸如声学、射频(“RF”)、红外和其他无线媒体的无线媒体。
此外，根据本公开的一些示例实施例，系统900的特征可以分布在终端设备和边缘节点上，如上参考图6所述。可以在终端设备上存储和执行上述模块中的一些模块，也可以在边缘节点上存储和执行上述模块中的一些模块，且不局限于此。
此外，系统900可以是终端设备的组件，而不是整个终端设备。根据本公开的示例实施例，系统900可以是如上参考4A到4E所述的采集的数据的图像采集设备。在这样的示例中，一个或多个处理器902可以是如上参考图4A到4E所描述的ISP。因此，如上所述的模块906可以在采集的数据被传送到终端设备以用于进一步计算之前，执行如上参考图8所述的步骤，进而隐私边界可以被转移到图像采集设备和终端设备之间，从而扩展提供给用户识别特征的保护程度。
上述方法的一些或所有操作可以通过执行存储在计算机可读存储介质上的如下定义的计算机可读指令来执行。在说明书和权利要求中使用的术语“计算机可读指令”包括例程、应用程序、应用模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持式计算设备、基于微处理器的可编程消费电子产品、其组合等。
计算机可读存储介质可以包括易失性存储器(诸如随机存取存储器(“RAM”))和/或非易失性存储器(诸如只读存储器(“ROM”)、闪存等)。计算机可读存储介质还可以包括附加的可移动存储和/或不可移动存储，包括但不限于闪存、磁存储、光存储和/或可以提供计算机可读指令、数据结构、程序模块的非易失性存储的磁带存储，等等。
非暂时性计算机可读存储介质是计算机可读介质的示例。计算机可读介质包括至少两种类型的计算机可读介质，即计算机可读存储介质和通信介质。计算机可读存储介质包括在用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何过程或技术中实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于相变存储器(“PRAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、其它类型的随机存取存储器(“RAM”)、只读存储器(“ROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存或其他存储器技术、光盘只读存储器(“CD-ROM”)、数字多功能磁盘(“DVD”)或其他光学存储器、磁带盒，磁带、磁盘存储器或其他磁存储设备，或可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以在调制数据信号(例如载波)中体现计算机可读指令、数据结构、程序模块或其他数据，或其他传输机制。如本文所定义的，计算机可读存储介质不包括通信介质。
存储在一个或多个非暂时性计算机可读存储介质上的计算机可读指令，当由一个或多个处理器执行时，该计算机可读指令可以执行如上参考图1至图8描述的操作。通常，计算机可读指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且可以以任何顺序和/或并行地组合任何数量的所描述的操作以实现过程。
通过上述技术方案，本公开提供了在云计算系统处采集到的数据之前，在边缘设备处从采集到的数据中提取的替换特征。在通过学习模型从所采集的数据中提取的一些特征中，一些特征可以包括个体用户的生物特征，其是进一步的识别特征。基于包括一个或多个学习模型的识别系统的操作，可以确定与用户记录的匹配特征不同的特征。可以基于随机、合成和/或通用数据来训练特征合成模型，以生成不识别用户的合成特征。在通过一个或多个学习模型将所采集的数据跨隐私边界传送到用于支持IoT服务的后端计算的云计算系统之前，可以用这些合成特征替换来自所采集的数据的识别特征。以这种方式，可以收集和存储数据并避免个别用户被检查而暴露，同时仍然保持在允许识别模型起作用和用户简档被更新方面的实用性。
示例子句
A、一种方法，包括:由终端设备采集包含一个或多个个体用户的生物特征的数据；由边缘设备从所采集的数据中提取多个特征；由边缘设备确定所提取的特征的一个或多个识别特征；由所述边缘设备通过特征合成模型生成一个或多个合成特征；以及通过所述边缘设备，用所述一个或多个合成特征替换所采集的数据的所述一个或多个识别特征。
B、如段落A所述的方法，其中，所采集的数据包括图像数据，并且所述边缘设备包括图像采集设备。
C、如段落A所述的方法，其中所述边缘设备包括云网络的边缘主机。
D、如段落C所述的方法，其中，在通过云网络传输所采集的数据之前，执行替换所采集的数据的识别特征的步骤。
E、如段落A所述的方法，其中所采集的数据包括面部图像，并且所述一个或多个识别特征包括128维特征集合。
F、如段落A所述的方法，其中，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
G、如段落A所述的方法，其中，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
H、一种系统，包括:一个或多个处理器；以及可通信地耦合到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，所述计算机可执行模块在由所述一个或多个处理器执行时执行相关联的操作，所述计算机可执行模块包括:数据采集设备，其被配置为采集一个或多个个体用户的生物特征；特征提取模块，其被配置为从所采集的数据提取多个特征；识别特征确定模块，其被配置为确定所提取的特征的一个或多个识别特征；特征合成模块，被配置为通过特征合成模型生成一个或多个合成特征；以及特征替换模块，被配置为用所述一个或多个合成特征替换所采集的数据的所述一个或多个识别特征。
I、如段落H所述的系统，其中，所采集的数据包括图像数据，并且所述系统包括终端设备的图像采集设备。
J、如段落H所述的系统，其中，所述系统包括云网络的边缘主机。
K、如段落J所述的系统，其中，所述特征替换模块被配置为在所述采集的数据通过所述云网络传输之前执行替换所采集的数据的所述识别特征。
L、如段落H所述的系统，其中所采集的数据包括面部图像，并且所述一个或多个识别特征包括128维特征集。
M、如段落H所述的系统，其中，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
N、如段落H所述的系统，其中，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
O、一种存储可由一个或多个处理器执行的计算机可读指令的计算机可读存储介质，所述计算机可读指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括:由终端设备采集包含一个或多个个体用户的生物特征的数据；通过边缘设备提取来自所采集的数据的特征；通过边缘设备确定所提取的特征的识别特征；通过边缘设备由特征合成模型生成合成特征；以及通过边缘设备替换具有合成特征的采集的数据的识别特征。
P、如段落O所述的计算机可读存储介质，其中，所采集的数据包括图像数据，并且所述边缘设备包括图像采集设备。
问如段落O所述的计算机可读存储介质，其中，所述边缘设备包括云网络的边缘主机。
R、如段落Q所述的计算机可读存储介质，其中，在通过云网络传输所采集的数据之前，执行替换所采集的数据的识别特征的步骤。
S、如段落0所述的计算机可读存储介质，其中，所采集的数据包括面部图像，并且所述一个或多个识别特征包括128维特征集。
T、如段落O所述的计算机可读存储介质，其中，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
U、如段落O所述的计算机可读存储介质，其中，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
尽管已经以特定于结构特征和/或方法行为的语言描述了主题，但是应当理解，在所附权利要求中定义的主题不一定限于所描述的特定特征或行为。相反，具体特征和动作被公开为实施权利要求的示例性形式。

Claims (20)

1.一种方法，包括:
由终端设备采集包含一个或多个个体用户的生物特征的数据；
由边缘设备从所采集的数据中提取多个特征；
由所述边缘设备确定所提取的特征的一个或多个识别特征；
由所述边缘设备通过特征合成模型生成一个或多个合成特征；以及
由所述边缘设备用所述一个或多个合成特征替换所述采集的数据的所述一个或多个识别特征。
2.根据权利要求1所述的方法，其中，所采集的数据包括图像数据，并且所述边缘设备包括图像采集设备。
3.如权利要求1所述的方法，其特征在于，所述边缘设备包括云网络的边缘主机。
4.根据权利要求3所述的方法，其中，在通过所述云网络传输所述采集的数据之前，执行所述采集的数据的所述识别特征的替换。
5.根据权利要求1所述的方法，其中，所采集的数据包括面部图像，并且所述一个或多个识别特征包括128维特征集合。
6.根据权利要求1所述的方法，其中，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
7.如权利要求1所述的方法，其特征在于，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
8.一种系统，包括:
一个或多个处理器；以及
存储器，所述存储器通信地耦合到所述一个或多个处理器的存储器，所述存储器存储可由所述一个或多个处理器执行的计算机可执行模块，所述计算机可执行模块在由所述一个或多个处理器执行时执行相关联的操作，所述计算机可执行模块包括:
数据采集设备，其被配置为采集一个或多个个体用户的生物特征；
特征提取模块，其被配置为从所采集的数据中提取多个特征；
识别特征确定模块，其被配置为确定所提取的特征的一个或多个识别特征；
特征合成模块，其被配置为通过特征合成模型生成一个或多个合成特征；以及
特征替换模块，其被配置为用所述一个或多个合成特征替换所述采集的数据的所述一个或多个识别特征。
9.根据权利要求8所述的系统，其中，所述采集的数据包括图像数据，并且所述系统包括终端设备的图像采集设备。
10.如权利要求8所述的系统，其特征在于，所述系统包括云网络的边缘主机。
11.根据权利要求10所述的系统，其中，所述特征替换模块被配置为在通过所述云网络传输所述采集的数据之前，执行所述采集的数据的所述识别特征的替换。
12.根据权利要求8所述的系统，其中，所述采集的数据包括面部图像，并且所述一个或多个识别特征包括128维特征集合。
13.根据权利要求8所述的系统，其中，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
14.如权利要求8所述的系统，其特征在于，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
15.一种计算机可读存储介质，其存储有可由一个或多个处理器执行的计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下各项的操作:
由终端设备采集包含一个或多个个体用户的生物特征的数据；
由边缘设备从所采集的数据中提取特征；
由所述边缘设备确定所提取的特征的识别特征；
由所述边缘设备通过特征合成模型生成合成特征；以及
由所述边缘设备将所述采集的数据的所述识别特征替换为所述合成特征。
16.如权利要求15所述的计算机可读存储介质，其特征在于，所采集的数据包括图像数据，并且所述边缘设备包括图像采集设备。
17.如权利要求15所述的计算机可读存储介质，其特征在于，所述边缘设备包括云网络的边缘主机。
18.根据权利要求17所述的计算机可读存储介质，其中，在通过所述云网络传送所采集的数据之前，执行所述采集的数据的所述识别特征的替换。
19.如权利要求15所述的计算机可读存储介质，其特征在于，所述特征合成模型包括生成对抗网络，所述生成对抗网络还包括生成器和鉴别器。
20.如权利要求15所述的计算机可读存储介质，其特征在于，所述一个或多个合成特征包括至少一个非识别特征或通用特征。
CN202080100159.4A 2020-06-23 2020-06-23 边缘处理数据去识别 Pending CN115443466A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/097708 WO2021258284A1 (en) 2020-06-23 2020-06-23 Edge processing data de-identification

Publications (1)

Publication Number Publication Date
CN115443466A true CN115443466A (zh) 2022-12-06

Family

ID=79282663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100159.4A Pending CN115443466A (zh) 2020-06-23 2020-06-23 边缘处理数据去识别

Country Status (2)

Country Link
CN (1) CN115443466A (zh)
WO (1) WO2021258284A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405635A (zh) * 2023-06-02 2023-07-07 山东正中信息技术股份有限公司 一种基于边缘计算的多模态会议记录方法及系统
CN117787349A (zh) * 2024-02-23 2024-03-29 天津普智芯网络测控技术有限公司 一种适用边缘设备的图片识别架构和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI459310B (zh) * 2011-12-30 2014-11-01 Altek Corp 可簡化影像特徵值組之影像擷取裝置及其控制方法
CN111274602B (zh) * 2020-01-15 2022-11-18 腾讯科技（深圳）有限公司 一种图像特征信息替换方法、装置、设备及介质
CN111310734A (zh) * 2020-03-19 2020-06-19 支付宝(杭州)信息技术有限公司 保护用户隐私的人脸识别方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405635A (zh) * 2023-06-02 2023-07-07 山东正中信息技术股份有限公司 一种基于边缘计算的多模态会议记录方法及系统
CN117787349A (zh) * 2024-02-23 2024-03-29 天津普智芯网络测控技术有限公司 一种适用边缘设备的图片识别架构和设备

Also Published As

Publication number Publication date
WO2021258284A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
Song et al. Discriminative representation combinations for accurate face spoofing detection
Bazzani et al. Recurrent mixture density network for spatiotemporal visual attention
CN110383288B (zh) 人脸识别的方法、装置和电子设备
Rattani et al. A survey of mobile face biometrics
WO2022042049A1 (zh) 图像融合方法、图像融合模型的训练方法和装置
Raghavendra et al. Learning deeply coupled autoencoders for smartphone based robust periocular verification
Daouk et al. Iris recognition
de Souza et al. On the learning of deep local features for robust face spoofing detection
WO2021137946A1 (en) Forgery detection of face image
Parashar et al. Deep learning pipelines for recognition of gait biometrics with covariates: a comprehensive review
Malgheet et al. Iris recognition development techniques: a comprehensive review
CN115443466A (zh) 边缘处理数据去识别
KR20150088157A (ko) 행동 인식을 위한 특징 벡터 생성 방법, 히스토그램 생성 방법, 및 분류기 학습 방법
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN114187221A (zh) 基于自适应权重学习的红外与可见光图像融合方法
Peng et al. Presentation attack detection based on two-stream vision transformers with self-attention fusion
Singh et al. Face recognition system based on SURF and LDA technique
Einy et al. IoT Cloud‐Based Framework for Face Spoofing Detection with Deep Multicolor Feature Learning Model
Jameel et al. Gait recognition based on deep learning
Yin et al. Deep learning for iris recognition: a review
Agarwal et al. Boosting face presentation attack detection in multi-spectral videos through score fusion of wavelet partition images
Reddy et al. Robust subject-invariant feature learning for ocular biometrics in visible spectrum
Shihabudeen et al. Euclidian norm based fusion strategy for multi focus images
Majeed et al. A novel method to enhance color spatial feature extraction using evolutionary time-frequency decomposition for presentation-attack detection
Neagoe et al. Subject independent drunkenness detection using pulse-coupled neural network segmentation of thermal infrared facial imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230117

Address after: Room 554, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Applicant before: ALIBABA GROUP HOLDING Ltd.