CN111344712A - 用于图像去标识的系统和方法 - Google Patents
用于图像去标识的系统和方法 Download PDFInfo
- Publication number
- CN111344712A CN111344712A CN201880050058.3A CN201880050058A CN111344712A CN 111344712 A CN111344712 A CN 111344712A CN 201880050058 A CN201880050058 A CN 201880050058A CN 111344712 A CN111344712 A CN 111344712A
- Authority
- CN
- China
- Prior art keywords
- media file
- face
- similarity
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 223
- 238000013503 de-identification Methods 0.000 title claims description 133
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000010801 machine learning Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 14
- 230000001815 facial effect Effects 0.000 claims description 156
- 210000001508 eye Anatomy 0.000 claims description 108
- 238000012545 processing Methods 0.000 claims description 91
- 230000008569 process Effects 0.000 claims description 74
- 230000008859 change Effects 0.000 claims description 72
- 238000003860 storage Methods 0.000 claims description 35
- 210000000887 face Anatomy 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 26
- 239000002131 composite material Substances 0.000 claims description 14
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 210000001331 nose Anatomy 0.000 claims description 10
- 238000011524 similarity measure Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 210000005069 ears Anatomy 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 5
- 210000001061 forehead Anatomy 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 208000032544 Cicatrix Diseases 0.000 claims description 2
- 210000003467 cheek Anatomy 0.000 claims description 2
- 210000004209 hair Anatomy 0.000 claims description 2
- 231100000241 scar Toxicity 0.000 claims description 2
- 230000037387 scars Effects 0.000 claims description 2
- 210000003491 skin Anatomy 0.000 claims description 2
- 230000002087 whitening effect Effects 0.000 claims description 2
- 230000037331 wrinkle reduction Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 17
- 238000012795 verification Methods 0.000 description 16
- 238000005457 optimization Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000003623 enhancer Substances 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000001568 sexual effect Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Ophthalmology & Optometry (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
用于训练人类感知预测器以确定数据样本之间的被感知的相似性程度的系统和方法,该方法包括:接收至少一个媒体文件,为每个媒体文件确定至少一个识别区域,对每个媒体文件的每个识别区域应用至少一种变换,直到创建了至少一个修改的媒体文件,接收关于每个修改的媒体文件和相应的所接收的媒体文件之间的相似性的输入,以及用目标函数训练机器学习模型,该目标函数被配置成根据接收的输入来预测被人类观察者感知的媒体文件之间的相似性。
Description
发明领域
本发明大体上涉及计算机视觉和图像处理的领域。更具体地,本发明涉及用于合成和/或修改图像中特征以限制分类器算法识别的系统和方法。
发明背景
近年来,互联网通信和社交媒体的使用有所增长。许多图片和视频被上传到公共服务器并允许公众访问,无论是否被有意发布。同时,图像处理和分析技术提供简单的面部识别和标识,从而使得能够使用这种公共媒体(例如,图片和视频)来识别并通常有可能跟踪任何期望的个体。
此外,个人属性(诸如年龄、健康状况和性偏好)被广泛认为是应该受到保护的私人信息,然而随着机器学习算法的最近进展,已经证明通过机器从肖像图像估计这种个人信息是可能的。随着面部图像在社交网络和互联网通信中的扩散,这些个人细节已经变得在人们没有分享意图的情况下可获得。
已知有各种技术用于实现图像的发布,同时限制在发布的图像中识别个人的能力。这些技术使公司能够在保护偶然出现在画面中的人的隐私的同时发布图像,或者允许个人隐私地发布他们的图片。
US 2011/0123118描述了用于在图像中交换面部的方法、系统和介质。接收对应于输入图像的检测的面部和面部数据。然后基于面部数据来识别与检测到的面部相关联的姿态仓(pose bin)。接下来,检测到的面部与同姿态仓相关联的通用面部对齐。选择与姿态仓相关联的候选面部的至少一部分。然后,候选面部的至少一部分被复制到与通用图像对齐的输入图像的副本,以形成面部交换的图像。接下来,面部交换的图像与输入图像对齐以形成输出图像,然后输出图像被输出到显示器。
WO 2016/107651涉及一种用于保护由智能眼镜的照相机检测到的个人隐私的方法和系统。该系统包括用于借助智能眼镜的照相机拍摄面部的至少一个图像的照相机模块和用于在照相机拍摄的图像中检测面部的检测模块。状态模块被提供用于在图像中检测到面部时生成状态信号。跟踪模块被提供用于在生成状态信号的情形下跟踪被检测到的面部的特征。
US 2007/0236513公开了一种用于图像混合的方法和系统。接收目标图像(destination image),该目标图像包括要被替换并且具有与识别的图像部分相关联的特征的图像部分。还接收源图像。识别源图像中要插入目标图像的图像部分。必要时,要插入的图像部分的参数被变换以匹配要被替换的图像部分的参数。然后,根据要替换的图像部分及其相关特征,将要插入的图像部分混合到目标图像中。
US 8,270,718描述了一种用于操纵图像的方法,该方法包括:捕获表示包括文本字符的图像的图像的图像信息,通过应用光学字符识别来识别文本字符,识别图像的布局,以及对感兴趣的文本字符应用至少一种去标识(de-identification)过程以提供去标识过程结果。
US 9,105,119描述了一种通过面部图像的分布式匿名化来促进自动面部表情识别系统的训练的方法,从而允许人们提交他们自己的面部图像而不泄露他们的身份。原始面部图像被访问和扰乱以生成合成的面部图像。原始面部图像中包含的个人身份不再能从合成的面部图像中辨别出来。同时,每个合成的面部图像保留包含在相应原始面部图像中的至少一部分情感表达。
这些公布文献都不允许对图像(或视频数据)中的面部进行去标识,去标识消除或者至少显著降低了面部识别和/或识别算法确定经处理的图像中个人身份的能力,同时保持人类用户对图像的相似性和/或人类用户对图像的识别。
发明概述
本发明的实施例利用选择性图像处理技术,该技术被配置用于最大化和/或保持图像与相应个人的相似度(resemblance),同时防止和/或显著限制被计算机化算法识别。
一些实施例利用关于多个面部模型的预先提供的数据,以用于对一个或更多个数字图像中一个或更多个选定面部进行去标识处理。为此,面部模型可用于在与选定面部相关联的图像数据上应用一组选定变化,以根据一个或更多个选定的面部模型来改变几何外观和/或一个或更多个选定的面部特征。通过对选定的面部应用有限的改变,一些实施例可以被配置成最大化和/或保持经处理的图像与原始个人面部之间的一定相似度。这使得用户能够在上传图像时保护他们的身份,同时对于看到经处理的图像的朋友和其他人是至少部分可识别的。在一些实施例中,公司和组织可以保护身份(例如,面部)数据库,同时保持它们的可用性。通常,一些实施例可以涉及影响图像数据,用于改变形状、颜色和/或纹理、几何结构和面部特征,使得所得到的图像与输入图像数据相似,使得认识图像中个人的人在看到去标识的输出图像时通过它本身不会看出差异,会识别出输出图像中的个人,并且不会注意到输出图像被修改过(例如,图像看起来自然)。
本发明的实施例可以在一个或更多个专用服务器系统上操作,其被配置用于经由通信网络接收包括选定图像或图像流的图像数据,并且用于处理所接收的图像数据以对出现在图像数据中的一个或更多个面部去标识,并将所得到的图像数据传输回发送器或任何其他选定的通信端口以供进一步使用。附加地或者可替代地,一些实施例可以部分或全部在本地计算系统或电子设备上操作,使得能够选择性地或自动对接收到的和/或捕获的图像数据中的面部去标识。
因此,根据广泛的方面,本发明提供了一种用于处理图像数据的方法。该方法包括:接收与包括一个或更多个面部区域的一个或更多个图像相关联的输入图像数据;选择与选定面部相关联的图像区域,并对所选定的区域应用去标识处理,所述去标识处理包括以下至少一种:i)几何结构去标识处理,包括:从包含预先存储数据的存储单元获得与一个或更多个几何结构面部模型相关联的数据,确定一个或更多个几何结构面部模型,该一个或更多个几何结构面部模型相对于选定面部具有高于选定几何结构阈值的几何相似性度量,选择选定面部的一个或更多个几何特征,并处理所述图像区域,以用于根据一个或更多个所获得的几何结构面部模型的相应特征来按照预定的几何结构变化程度对所述选定的一个或更多个几何特征应用变化,ii)特征去标识处理,包括:选择选定面部的一个或更多个面部特征,并且从包含预先存储的一组特征面部模型的存储单元中获得一个或更多个特征面部模型,该一个或更多个特征面部模型与选定面部具有高于选定特征相似性阈值的面部相似性度量,以及处理图像区域,用于使用所述选定的一个或更多个特征面部模型的相应面部特征来按照预定的特征变化程度对所述一个或更多个选定面部特征应用变化,iii)优化的去标识处理,包括:从面部图像的数据集预先训练(或预先计算)低维度参数模型(如自动编码器、PCA、或其他线性或非线性低维度基础)以在给定一组参数的情况下重建面部图像,获得表示如输入图像中所描绘的选定面部的参数,并且在优化过程(如梯度下降)中修改参数以表示面部图像的改变的版本,该图像以如下目标进行优化:最大化和/或保持与原始面部的相似度,同时将一个或更多个面部识别系统的识别分数降低至某个阈值以下,生成输出图像数据,其中所述选定的图像区域呈现所述选定面部的改变的版本。
根据一些实施例,该方法还包括接收与所述一个或更多个图像相关联的所述输入图像数据,并处理所述一个或更多个图像,以确定与所述一个或更多个图像中的人类面部相关联的一个或更多个区域。
在一些实施例中,与一个或更多个几何结构面部模型相关联的数据可以包括编码指令,用于根据选定面部的几何度量生成一个或更多个几何结构面部模型。
根据一些实施例,与一个或更多个几何结构面部模型相关联的所述数据可以包括指示一个或更多个预先存储的几何结构面部模型的几何结构的坐标数据。可替代地或附加地,面部模型可以包括图像和/或坐标数据。
根据一些实施例,所述去标识处理还可以包括距离变化,该距离变化包括:选择选定面部的一个或更多个面部特征对,确定针对选定的面部特征对的合适的距离变化,以及应用选定的距离变化来改变选定面部的一个或更多个选定的比率。
所述确定合适的距离可以包括影响选定的比率,以在黄金比率φ≈1.618的预定范围内,并且还可以包括将所述距离变化应用于两个或更多个选定特征以及它们之间的距离比率。
根据一些实施例,所述去标识处理还可以包括检测选定面部的右眼和左眼,并处理图像区域,以对所述左眼和右眼之间的距离应用选定值的变化。
所述对所述左眼和右眼之间的距离应用变化可以包括:确定所述左眼和右眼之间的距离度量,根据美学参数选择改变的距离,以及应用图像处理技术来改变所述左眼和右眼之间的所述距离。
根据一些实施例,所述去标识处理可以包括使用相似性函数来确定相似度估计,该相似性函数基于包含标记对的数据集来预先训练(和/或由人类操作员在监督过程中选择)。在一些实施例中,所述去标识处理可以提供绝对答案(相同或不相同)和/或提供分数(例如,在1-10尺度上的相似性分数)面部图像,其中每个对包含原始版本和使用所述低维度参数模型生成的修改版本,其中标签可以由人类分配以反映他们对这些对的相似性的感知。
根据一些实施例,所述去标识处理还可以包括检测选定面部的右眼和左眼,并处理所述图像区域,以将所述左眼和右眼增强或旋转到选定的程度。
所述增强或旋转可以包括将一个或更多个选定的滤光器应用于所述左眼和右眼,所述一个或更多个滤光器根据以下项进行选择:白化眼睛区域、瞳孔亮度增强、瞳孔闪光增强、增强对称性、改变阴影程度、和减少皱纹。
根据一些实施例,所述去标识处理还可以包括(例如,使用对抗性(adversarial)机器学习)将不可见噪声层应用于所述选定的图像区域,所述不可见层包括具有选定结构的一种或更多种颜色变化图案。
根据一些实施例,该方法还可以包括对所述生成的输出图像数据应用面部识别处理,并且在确定所述面部识别成功超过预定阈值时,选择调整的几何结构变化程度和特征变化程度,并且用选定的变化程度重复所述去标识处理。
根据一些实施例,所述选择所述一个或更多个面部特征可以包括选择与一个或更多个面部特征相关联的一个或更多个图像区域,这些面部特征包括鼻子、耳朵、眼睛、嘴巴、下巴、脸颊和前额、眉毛、头发、皮肤、纹理、疤痕、和标记。选择所述一个或更多个面部特征还可以包括选择至少两个所述面部特征,并且从包含预先存储的一组特征面部模型的所述存储单元获得对应于所述至少两个选定面部特征的至少两个不同的特征面部模型。
根据一些实施例,所述处理图像区域以对所述一个或更多个选定面部特征应用变化可以包括使用两个或更多个特征面部模型,并且根据所述两个或更多个特征面部模型的特征应用所述变化。
根据一些实施例,所述几何相似性度量可以包括关于选定面部与几何结构面部模型之间的点到点距离比率的相似性的数据。
根据一些实施例,所述处理所述图像区域以对所述选定的一个或更多个几何特征应用变化包括:根据所述选定面部的位置对齐一个或更多个选定的候选几何结构面部模型的位置,以及应用图像处理以根据选定的一个或更多个选定的候选几何结构面部模型改变选定面部特征之间的距离。
根据一些实施例,该方法还可以包括处理所述输出图像数据,以确定所述输出图像数据与所述输入数据中的选定面部之间的一个或更多个通用相似性度量,在确定所述一个或更多个通用相似性度量超过预定视觉相似性阈值时,以降低的几何结构变化程度和特征变化程度操作所述去标识处理。
一个或更多个通用相似性度量可以包括以下项中的一个或更多个:峰值信噪比(PSNR)相似性度量、直方图比较和距离向量集度量、在预测相似性分数的人类视觉排名上训练的深度神经网络、以及相关的机器学习模型和/或回归器。
根据本发明的另一个广泛的方面,本发明提供了一种嵌入在计算机可读介质中的软件产品,该软件产品包括计算机可执行指令,当由处理器执行时,该指令使得处理器执行用于面部去标识处理的方法,该方法包括:接收与一个或更多个图像相关联的输入图像数据,并处理所述一个或更多个图像,以确定与所述一个或更多个图像中的人类面部相关联的一个或更多个区域,选择与选定面部相关联的图像区域并对所述选定区域进行去标识处理,所述去标识处理包括以下至少一种:i)几何结构去标识处理,包括:从包含预先存储数据的存储单元获得与一个或更多个几何结构面部模型相关联的数据,确定一个或更多个几何结构面部模型,该一个或更多个几何结构面部模型相对于选定面部具有高于选定几何结构阈值的几何相似性度量,选择选定面部的一个或更多个几何特征,并处理所述图像区域,以根据一个或更多个所获得的几何结构面部模型的相应特征来按照预定的几何结构变化程度对所述选定的一个或更多个几何特征应用变化,ii)特征去标识处理,包括:选择选定面部的一个或更多个面部特征,并且从包含预先存储的一组特征面部模型的存储单元中获得一个或更多个特征面部模型,该一个或更多个特征面部模型与选定面部具有高于选定特征相似性阈值的面部相似性度量,以及处理图像区域,用于使用所述选定的一个或更多个特征面部模型的相应面部特征来按照预定的特征变化程度对所述一个或更多个选定面部特征应用变化,iii)优化的去标识处理,包括:从面部图像的数据集预先训练(或预先计算)低维度参数模型(如自动编码器、PCA、或其他线性或非线性低维度基础)以在给定一组参数的情况下重建面部图像,获得表示如输入图像中所描绘的选定面部的参数,并且在优化过程(如梯度下降)中修改参数以表示面部图像的改变的版本,其按照如下目标进行优化:最大化和/或保持与原始面部的相似度,同时将一个或更多个面部识别系统的识别分数降低至某个阈值以下,生成输出图像数据,其中所述选定的图像区域呈现所述选定面部的改变的版本。在一些实施例中,最大化和/或保持与原始图像的相似度的操作可以由人类用户在监督过程中执行。
根据又一个广泛的方面,本发明提供了一种用于图像处理的系统,该系统包括至少一个处理实用程序(utility),并且被配置用于接收输入图像数据并处理所述输入图像数据,以改变与一个或更多个选定面部相对应的一个或更多个图像区域,从而限制识别该一个或更多个面部的身份,该处理实用程序包括去标识模块,该去标识模块包括以下中的一个或更多个:几何结构去标识器,其被配置用于获得与一个或更多个几何结构面部模型相关联的预先存储的数据,并且根据该一个或更多个面部模型的几何结构将选定面部的一个或更多个几何特征改变至选定程度;特征去标识器,其被配置并可操作用于获得一个或更多个预先存储的特征面部模型,并根据该一个或更多个面部模型的相应特征改变选定面部的一个或更多个选定的面部特征;距离变化模块,其被配置并可操作用于选择两个或更多个面部特征以及它们之间的相应距离比率,确定合适的距离变化并将选定的距离变化应用于选定面部的选定的面部特征;眼睛增强器(enhancer),其被配置并可操作用于确定与选定面部中的右眼和左眼相关联的图像区域,并根据选定的美学参数来以选定的程度对眼睛之间的距离、眼睛的定向、眼睛着色和眼睛周围阴影化中的一个或更多个应用选定的变化;以及噪声添加模块,其被配置并可操作用于生成噪声层并在与选定面部相关联的图像区域上以选定的程度应用噪声层。
系统可以被配置为服务器系统,并且与存储实用程序相关联,该存储实用程序存储指示所述预先提供的几何结构面部模型和特征面部模型的数据。附加地或可替代地,系统可以被配置为便携式或手持式计算单元,该计算单元被配置用于对输入图像数据应用去标识处理。例如,系统可以与照相机单元(例如,智能手机或独立的“智能”照相机)相关联,该照相机单元被配置用于对选定的采集图像应用去标识处理。
根据一些实施例,去标识方法可以包括通过显著降低将给定面部图像与对象的真实个人属性相关联的能力来保护个人属性不被估计。这些属性可以是身体的和/或精神的、永久的和/或暂时的。这些包括年龄、健康和精神状况、性别、性取向、种族、体重、身高、怀孕、情绪/感觉、IQ和社会经济变量。
附图简述
关于本发明的主题在说明书的结束部分被特别指出并被清楚地要求保护。然而,本发明关于操作的组织和方法以及其目的、特征和优点,在参照附图一起阅读时,通过参考以下详细描述可得到最好的理解,在附图中:
图1A示出了根据本发明的一些实施例的示例计算设备的示意性框图;
图1B示意性地示出了根据本发明的一些实施例的用于对图像数据去标识的技术;
图2示意性地示出了根据本发明的一些实施例的几何结构去标识技术;
图3示意性地示出了根据本发明的一些实施例的特征去标识技术;
图4示意性地示出了根据本发明的一些实施例的距离变化技术;
图5示意性地示出了根据本发明的一些实施例的眼睛增强技术;
图6示意性地示出了根据本发明的一些实施例的用于对输入图像数据去标识的系统;
图7示意性地举例说明了根据本发明的一些实施例的去标识模块;
图8示出了根据本发明的一些实施例的训练人类感知预测器以确定数据样本之间的被感知的相似性程度的方法的流程图;以及
图9示出了根据本发明的一些实施例的合成媒体文件的方法的流程图。
将认识到,为了说明的简单和清楚,图中所示的元素不一定按比例绘制。例如,为了清楚起见,一些元素的尺寸可以相对于其他元素被放大。此外,在认为适当的情况下,参考数字可在多个图中重复以指示对应的或类似的元素。
发明的具体实施方式
在以下详细描述中,阐述了许多具体细节以便提供对本发明的透彻理解。然而,本领域技术人员将理解,可以在没有这些具体细节的情况下实践本发明。在其它实例中,公知的方法、程序以及部件、模块、单元和/或电路没有详细描述,以免模糊本发明。关于一个实施例描述的一些特征或元素可以与关于其它实施例描述的特征或元素组合。为了清楚起见,可以不重复讨论相同或相似的特征或元素。
虽然本发明的实施例在这方面不受限制,但是使用诸如例如“处理”、“计算(computing)”、“运算(calculating)”、“确定”、“建立”、“分析”、“检查”等的术语的讨论可以指计算机、计算平台、计算系统或其它电子计算设备的操作和/或过程,该计算机、计算平台、计算系统或其它电子计算设备将表示为计算机的寄存器和/或存储器内的物理(例如,电子)量的数据操纵和/或转换为类似地表示为计算机的寄存器和/或存储器或者可存储用于执行操作和/或过程的指令的其它信息非暂时性存储介质内的物理量的其它数据。虽然本发明的实施例在这方面不受限制,但是如本文所使用的术语“多个(plurality)”和“多个(a plurality)”可以包括例如“多个(multiple)”或“两个或更多个”。在整个说明书中可以使用术语“多个(plurality)”或“多个(a plurality)”来描述两个或更多个部件、设备、元素、单元、参数等。术语集当在本文中使用时可以包括一个或更多个项目。除非另有明确指示,本文描述的方法实施例不限于特定的顺序或序列。另外,所描述的方法实施例或其元素中的一些可以同步、在同一时间点或同时地发生或执行。
参考图1A,其是根据本发明的一些实施例的示例计算设备的示意性框图。计算设备100可以包括控制器或处理器105(例如,中央处理单元处理器(CPU)、芯片或任何合适的计算或计算性设备)、操作系统115、存储器120、可执行代码125、存储装置130、输入设备135(例如,键盘或触摸屏)、以及输出设备140(例如,显示器)、用于经由通信网络(诸如例如,互联网)与远程设备通信的通信单元145(例如,蜂窝发射器或调制解调器、Wi-Fi通信单元等)。控制器105可以被配置成执行程序代码来执行本文描述的操作。本文描述的系统可以包括一个或更多个计算设备100。
操作系统115可以是或可以包括被设计和/或配置为执行涉及协调、调度、仲裁、监督、控制或以其它方式管理计算设备100的操作(例如,调度软件程序的执行或者启用软件程序或其他模块或单元进行通信)的任务的任何代码段(如,类似于本文所述的可执行代码125的代码段)。
存储器120可以是或可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、动态RAM(DRAM)、同步DRAM(SD-RAM)、双数据速率(DDR)存储器芯片、闪存、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或者其它合适的存储器单元或存储装置单元。存储器120可以是或可以包括多个可能不同的存储器单元。存储器120可以是计算机或处理器的非暂时性可读介质、或者计算机的非暂时性存储介质,例如RAM。
可执行代码125可以是任何可执行代码,例如应用、程序、进程、任务或脚本。可执行代码125可在操作系统115的控制下可以由控制器105执行。例如,可执行代码125可以是执行本文进一步描述的方法的软件应用。尽管为了清楚起见,图1A中示出单个项目的可执行代码125,但是根据本发明的实施例的系统可以包括与可执行代码125类似的多个可执行代码段,可执行代码段可以存储到存储器120中并使控制器105执行本文所述的方法。
存储装置130可以是或可以包括例如硬盘驱动器、通用串行总线(USB)设备或其它合适的可移动和/或固定的存储单元。在一些实施例中,在图1A中示出的部件中的一些可以被省略。例如,存储器120可以是具有存储装置130的存储容量的非易失性存储器。因此,虽然示出为单独的部件,但是存储装置130可以被嵌入或包括在存储器120中。
输入设备135可以是或可以包括键盘、触摸屏或触摸板、一个或更多个传感器或者任何其他或附加的合适的输入设备。任何合适数量的输入设备135可以可操作地连接到计算设备100。输出设备140可以包括一个或更多个显示器或监控器和/或任何其它合适的输出设备。任何合适数量的输出设备140可以可操作地连接到计算设备100。如块135和140所示,任何适用的输入/输出(I/O)设备可以连接到计算设备100。例如,可以在输入设备135和/或输出设备140中包括有线或无线网络接口卡(NIC)、通用串行总线(USB)设备或外部硬盘驱动器。
本发明的实施例可以包括物品,诸如计算机或处理器的非暂时性可读介质或计算机或处理器的非暂时性存储介质,诸如例如,编码、包括或存储指令(例如,计算机可执行指令)的存储器、磁盘驱动器或USB闪存,该指令在由处理器或控制器执行时执行本文公开的方法。例如,物品可以包括诸如存储器120的存储介质、诸如可执行代码125的计算机可执行指令以及诸如控制器105的控制器。这种非暂时性计算机可读介质可以是,例如,编码、包括或存储指令(例如,计算机可执行指令)的存储器、磁盘驱动器或USB闪存,该指令在由处理器或控制器执行时执行本文公开的方法。存储介质可以包括但不限于任何类型的盘,包括半导体设备,如只读存储器(ROM)和/或随机存取存储器(RAM)、闪存、电可擦除可编程只读存储器(EEPROM)或适于存储电子指令的任何类型的介质,包括可编程存储设备。例如,在一些实施例中,存储器120是非暂时性机器可读介质。
根据本发明的实施例的系统可以包括部件,诸如但不限于,多个中央处理单元(CPU)或任何其它合适的多用途或特定的处理器或控制器(例如,类似于控制器105的控制器)、多个输入单元、多个输出单元、多个存储器单元和多个存储单元。系统可以另外包括其它合适的硬件部件和/或软件部件。在一些实施例中,系统可以包括或者可以是,例如,个人计算机、台式计算机、膝上型计算机、工作站、服务器计算机、网络设备或任何其它合适的计算设备。例如,本文描述的系统可以包括一个或更多个设施计算设备100以及一个或更多个远程服务器计算机,远程服务器计算机与一个或更多个设施计算设备100(如计算设备100)主动通信,并且与一个或更多个便携式或移动设备(如智能手机、平板电脑等)主动通信。
现在参考图1B,其示意性地示出了根据本发明的一些实施例的用于对图像数据去标识的方法或者技术。如上所述,一些实施例可以提供一种方法,该方法用于处理图像数据,并且被配置用于消除或者至少显著降低面部识别算法从经处理的图像数据中识别面部参数的能力。参考以流程图形式举例说明本技术的图1B和举例说明根据本方法或技术的不同的去标识元素的图2-图4,这些元素包括几何结构去标识(图2)、特征去标识(图3)和眼睛增强(图4)。
如图1B所示,本方法或技术能够处理大体上从任何源接收1010的图像数据,用于通过检测1020图像数据内的一个或更多个面部区域并使用一种或更多种(通常两种或更多种)去标识变化(variation)来应用去标识处理1030,来处理图像数据。在一些实施例中,一个或更多个面部区域可以被自动对齐和/或被处理,以实现中性(neutral)面部表情。被举例说明为几何结构(和/或形态学)去标识1040和/或特征去标识1050和/或距离变化1060(例如,关于面部特征的距离变化)和/或眼睛增强的去标识变化包括为改变图像数据的选定面部区域而选择的某种处理,以防止或至少限制使用计算机化图像处理尤其是面部识别技术来识别图像数据中的人的身份的能力。一些实施例还可以执行去标识验证1080以在去标识处理之后验证处理的有效性,修改的输出图像可被生成1090并提供用于使用。在一些实施例中,去标识变化也可以包括生成性对抗网络(GAN)攻击,以防止基于所识别数据的未来的恶意攻击。根据一些实施例,可以提供至少一个面部识别参数作为去标识处理1030的输入。在一些实施例中,可以提供至少一个人类视觉相似性参数(例如,通过训练机器学习模型获得的参数)作为去标识处理1030的输入。
除了一个或更多个选择的面部区域,输出图像数据大体上可以与输入图像数据相同,这些选定的面部区域可被修改以防止或至少显著地限制计算机化的方法或技术确定与图像数据中的一个或更多个被修改的面部相关联的身份的能力。因此,本文使用的术语“去标识”是与图像处理相关的通用术语,这种图像处理被配置用于防止计算机化的面部识别和/或识别技术识别在适当处理的图像数据中的面部并确定图像数据中人的身份。一些实施例可以应用去标识处理,同时保持尽可能多的相似性,以保持图像数据和一个或更多个选定面部的外观,使得其可以至少部分地是人眼可识别的,并且优选地看起来相似。
一些实施例可以由计算机化的系统来操作,该系统利用一个或更多个处理实用程序和存储器/存储实用程序。通常,这种系统可以访问面部模型存储实用程序,其可以本地存储或通过通信网络访问,面部模型存储实用程序包括具有各种参数的多个预先提供的面部模型。例如,一些实施例可以通过被配置用于经由有线或无线通信网络接收1010输入图像数据的一个或更多个服务器系统来应用,或者通过被配置用于根据用户偏好对图像应用去标识处理的本地处理单元(例如,与照相机单元相关联的本地处理单元)来应用。
接收的输入图像数据可以是单个图像、图像的集合或者图像流(如形成视频的图像流),图像的集合可以通过一个或更多个参数而在图像之间进行关连(connected),这些参数如位置、出现在图像中人的身份和/或采集时间。一些实施例可以被配置成根据用户偏好对多个图像(通过某些参数关连的图像或形成视频的图像)应用去标识处理,使得不同图像中的相似面部可以被相似地处理以保持图像组的连续性。可替代地,可以单独处理每个图像,从而以降低图像之间的关连性为代价进一步限制对身份的识别能力。
一些实施例可以利用任何已知的面部检测技术来检测1020与面部相关联的一个或更多个图像区域。一些实施例可以利用被预先训练用于检测与人类面部相关联的对象的一个或更多个对象类检测。这种面部检测技术通常可以被配置用于聚焦面部特征(如识别人眼),并匹配面部区域以确定与面部相关联的图像区域。如下文进一步描述的,一些实施例可用于确定一个或更多个面部特征。
一些实施例可以提供用户界面,使得用户或操作者能够选择一个或更多个面部进行去标识。例如,当接收到1010输入图像数据并且可以确定1020一个或更多个面部区域时,可以对图像数据进行预处理以便向用户呈现,其中面部区域上带有标记。因此,用户可以选择一个或更多个要进行去标识的面部或者不需要处理的面部。
一旦选择了与人类面部相关联的一个或更多个图像区域,一些实施例可以操作用于对选择的图像区域进行去标识处理1030。去标识处理利用选择的图像处理技术来在与面部识别技术相关联的一个或更多个(通常两个或更多个)方面(field)中应用变化,从而防止或至少显著地限制使用计算机化的面部识别技术来对人进行识别。去标识处理可以包括一种或更多种类型的图像变化,并且优选地包括两种或更多种图像变化,提供选定面部的几何结构变化、面部特征变化和/或眼睛变化。图2-图5举例说明了根据一些实施例的与(图2中的)几何结构去标识、(图3中的)特征去标识、(图4中的)面部特征距离变化和(图5中的)眼睛增强相关联的技术。
另外,根据一些实施例,去标识还可以包括将噪声层应用到图像区域上1035。噪声层可以以图像区域颜色强度的百分之几的噪声幅度应用,并且包括随机噪声或对抗性噪声模式或与选定的形状/结构相关联的模式,该选定的形状/结构是面部(例如,选定的面部模型)或任何其他对象。
在去标识处理之后,一些实施例通常可以验证1080去标识并生成1090输出图像数据,在输出图像数据中,选定的面部可以以最大化和/或保持与人的外观的某种相似度但是使得无法被面部识别技术识别的方式改变。如果去标识验证1080因经处理的图像可以被识别来确定出现在图像中的人的身份而是不充分的,或者如果图像被过度处理而没有保持与人面部的足够的相似性(例如在人类视觉/心理方面),图像区域可以在对预定阈值进行相应变化的情况下进行再次处理,如下面更详细描述的。
几何结构和特征去标识处理(1040和1050,在图2和图3中更详细地举例说明)通常利用存储在一个或更多个存储实用程序/数据库中的预先提供的数据,该存储实用程序/数据库可以直接连接到操作本方法或技术的处理实用程序和/或可通过合适的通信网络访问。预先提供的数据可以包括关于具有不同参数的多个面部模型的数据,并且在一些实施例中可以包括适于利用一组几何参数和色调数据来生成面部模型的数据(例如,编码指令)。预先存储的数据可以包括用于几何结构变化的几何结构面部模型和用于特征变化的特征面部模型。以图像形式提供的面部模型可以根据被选定用于去标识的面部的参数而被用于几何结构变化或特征变化。然而,在一些实施例中,几何结构面部模型可以包括例如在标记/指示特定标记点的向量位置的坐标列表中的关于面部坐标的数据,而不包括实际图像数据。
面部模型特别是特征面部模型通常可以包括与不同性别(男性模型和女性模型)、肤色变化、年龄变化(基于年龄近似技术)、不同种族以及面部形状和结构相关联的面部模型。面部模型可以从图像提供,和/或从合成模型提取(rendered),该合成模型是计算机生成的面部模型。此外,在一些实施例中,面部模型可以包括某种三维表示,使得面部模型能够在各个位置和定向上相对于选定面部对齐。
参考图2,其举例说明几何结构去标识处理。如所示,几何结构去标识技术涉及对与待去标识的面部相关联的选定图像区域的处理。一些实施例包括:提供用于几何结构去标识的图像区域2010(该图像区域可以是原始图像区域,或者是已经经过特征去标识或眼睛增强处理的图像区域,如下文进一步描述的),确定选定面部的几何度量2020,获得一个或更多个几何结构面部模型2030,以及根据所获得的一个或更多个几何结构面部模型对选定的面部的几何结构应用变化2040。
选定面部的几何度量2020通常可以包括与面部结构相关联的一个或更多个参数。这些参数可以被确定为绝对测量值,例如,面部宽度、眼睛之间的距离、面部高度等,或者优选地被确定为相关测量值之间的比率,如面部宽度-高度比率、眼睛距离与眼睛宽度之间的比率、前额与面部高度的比率等。
根据所确定的几何度量,可以从预先存储的几何结构面部模型中选择并获得2030一个或更多个几何结构面部模型。选定的几何结构面部模型可以优选地被选择为具有尽可能接近待去标识的面部的几何度量的几何度量。因此,面部模型的其他参数(如颜色、年龄、性别等)可能被忽略。
附加地或可替代地,一些实施例可以利用预先存储的数据/指令来生成合适的面部模型(以进行几何结构和/或特征的变化)。合适的面部模型可以使用一个或更多个几何参数和色调参数来生成,如面部尺寸、选定距离(例如,眼睛、耳朵、嘴到鼻子之间的距离等)、特征的尺寸和形状、以及颜色变化和色调,并使用一种或更多种已知技术(例如,如“FaceGen.com”)和/或各种机器/深度学习技术来生成。在这些配置中,一些实施例可以利用获得对预先存储的编码指令的访问,并且结合编码指令使用选定面部的所确定的几何度量和通用(例如,色调)度量,以生成适合于对选定面部的几何结构去标识和/或特征去标识的面部模型。应当注意,在这样生成的面部模型可以用于进行几何结构变化的一些实施例中,面部模型可以被生成以仅提供坐标,同时省略肤色等的生成。
一些实施例还可以利用图像处理技术,例如使用仿射变换(affinetransformation)技术,来根据一个或更多个获得的几何结构面部模型改变或扭曲选定面部的几何结构2040。尽管通常是计算机化处理,但是为了简单起见,这可以在下文中解释为对图像元素的动作。为此,所获得的面部模型可以作为一层放置在选定面部图像区域之上,并且被对齐或重新调整尺寸以尽可能地适合选定面部。选定面部的线条/边可以被改变/扭曲,以在某个选定的几何结构阈值上配合面部模型的线条/边。例如,鼻子宽度、眼睛距离、眼睛宽度或高度、面部宽度、前额高度、发际线、下巴线或确定面部几何结构的任何其他线条可以根据选定面部模型被改变/扭曲到选定的阈值。这可以使用附加的几何结构面部模型来应用,使得不同的面部模型提供选定面部的几何结构的稍微不同的变化。应当注意,可以使用选定的面部模型而不是简单的几何结构变化来保持去标识的面部的自然外观,同时变化的选定阈值和面部模型的几何相似度的选择提供了经处理的面部与原始图像数据的某种相似性的保持。几何结构变化阈值可以被选择为预定的初始阈值(例如10%、15%、20%或25%),并且根据去标识验证而变化,如果仍然可以检测到人的身份,则增加该阈值,或者如果相似度没有充分保持,则减小该阈值。
与去标识处理相关联的附加变化涉及特征去标识,这在图3中举例说明。所提供3010的用于处理的图像区域可以是被选择用于去标识的图像区域或者是已经被处理用于几何结构去标识和/或眼睛增强的图像区域。特征去标识(和/或图像变形(morphing)技术)可以应用于面部的一个或更多个选定特征3020,如眼睛、耳朵、鼻子、下巴、嘴、发际线、眉毛、脸颊或任何其他选定的面部特征。通常,特征去标识在本文中被描述为应用于单个选定特征,并且可以一个接一个地独立应用于几个特征。被改变的特征的数量可以基于预定的初始参数来选择,并且可以基于去标识验证而改变,如果仍然可以识别人,则数量增加,或者如果没有充分保持相似度,则数量减小。
对于每个选定特征,可以从预先提供的特征面部模型中选择3030一个或更多个特征面部模型,或者如上所述生成一个或更多个特征面部模型(例如,基于预先存储的编码指令、使用机器/深度学习技术并根据选定面部的参数和度量)。特征面部模型可以被选择为包括与被选择用于处理的特征具有高度相似性的相应特征。因此,可以根据以下参数中的一个或更多个来选择特征面部模型:年龄相似性、肤色相似性、特征形状相似性,以及根据面部和面部模型的估计的性别来选择特征面部模型。应当注意,每个选定的特征可以使用一个或更多个特征面部模型(如上所述,预先存储的和获得和/或生成的特征面部模型)来以相似或不同的变化程度(阈值)处理和改变。此外,可以使用相同或不同的一个或更多个特征面部模型来改变选定面部的不同特征。
选定的特征面部模型或其面部特征可以被应用到面部区域的选定特征上进行处理,并且可以被用于按照选定的特征阈值应用合适的变化/变形3040。因此,选定图像区域的“原始”特征可以通过一种或更多种图像处理/变化技术根据选定的特征面部模型的相应特征进行变形。例如,这可以使用选定面部模型特征到选定的“原始”特征上的泊松混合(Poisson blending)、无缝克隆(seamless cloning)和/或α(alpha)混合来进行应用。更具体地,可以通过拉伸或窄化来改变特征几何结构,可以改变色调,可以在图像层(原始特征层到面部模型特征层)之间应用某一程度的渐隐(fading),直到选定的阈值(例如,直到20%、50%或60%),该阈值可以根据去标识验证而改变。
除了几何结构去标识和特征去标识,根据一些实施例,去标识处理还可以包括面部特征的附加变化。这包括图4中举例说明的通用距离变化和/或图5中举例说明的眼睛增强处理。图5以流程图的方式举例说明了用于对图像数据中面部去标识的技术。一些实施例可以包括接收或提供与用于处理的图像区域相关联的数据4010,图像区域通常包括至少一个要进行去标识处理的面部图像。一些实施例还可以包括面部特征(典型地面部特征对或它们之间的距离)的选择4020,选定的特征和距离可以被处理以确定关于合适变化比率的数据4030,例如,根据所确定的变化比率,距离变化(和/或比例和/或旋转变化)可以被确定4040并且可以被应用4050于图像区域。
距离变化技术大体上可涉及根据各种美学和心理学方面,例如被认为与美学相关联的黄金比率φ≈1.618,来改变面部特征之间的距离或距离比率。距离变化技术可以根据该技术的选定的偏好而在选定的面部上操作一次或几次。在每次运行时,该技术可以基于面部特征或特征之间距离的选择4020,并且操作用于确定选定距离之间的比率以及合适的变化选项4030。如所指示的,可以确定合适的变化选项,以向得到的图像提供增加的美学特征,如改变一些距离比率以更接近黄金比率φ、从而提供增加的对称性等。例如,选定的特征/距离可以包括嘴巴宽度、嘴唇的厚度、鼻子长度、鼻子宽度、耳朵长度/高度、眉毛长度和厚度、眼睛之间的颧骨高度距离、眼睛的宽度等。基于合适的变化选项,一些实施例可以包括确定要应用的变化4040。这种变化通常可以根据选定的去标识程度来选择,并且可以包括某种随机变化。例如,选定的变化可以与选定的面部特征(例如嘴到鼻子等)之间的距离增加5%到10%相关联,选定的变化可以是合适范围内的选定数字。根据所确定的面部几何结构,一些实施例可以选择在合适变化的范围内被随机选择的距离变化,或者对于一些几何结构,适当的选择可以在合适变化的边界处,例如最大距离变化,或者根本没有变化。此外,可以例如利用仿射变换技术来变换4050图像数据区域,以便根据选定的变化程度来改变选定的距离比率。
距离变化技术典型地包括与眼睛以及其他面部特征相关联的距离变化。然而,由于眼睛典型地在面部识别技术中得到(receive)更大的权重,专门的眼睛变换可以提高图像数据中面部的去标识。为此,图5以流程图的方式举例说明了适用于该技术的眼睛增强技术。通常,各种面部识别技术在相对于其他面部特征可能更大的程度上利用与眼睛相关联的参数,以确定图像中的人的身份。为此,一些实施例可以提供附加的眼睛变化/增强,以进一步防止或至少显著限制识别能力。眼睛增强处理通常包括提供图像区域用于处理5010、确定面部的眼睛区域5020、确定眼睛距离变化5030、应用眼睛旋转5040、应用选定的眼睛着色变化5050并应用眼睛阴影变化5060。
通常,眼睛增强技术可以利用图像处理技术来确定5020选定图像区域内右眼和左眼的位置和参数。这些参数通常可以包括物理尺寸(以像素为单位)、眼睛之间的距离、眼睛的定向、瞳孔和巩膜(sclera)区域的色调、眼睛区域下方或上方的阴影等。眼睛增强可以基于这样的假设,即比起其他面部特征,面部识别技术更大程度地利用与眼睛相关联的图像数据来确定人的身份。附加地,除了图像数据的去标识,一些实施例还可以针对考虑所得到的输出图像数据的美学性。为此,眼睛增强技术可以优选地涉及在考虑一个或更多个美学参数的同时改变眼睛的参数。例如,在确定眼睛距离变化时5030,一些实施例可以操作用于确定眼睛之间距离的可接受的变化。可接受的变化可以根据眼睛之间的当前(或原始)距离及其与同被处理面部相关联的图像区域中的其他距离度量的关系来确定。这种附加的度量可以包括耳朵之间的距离、鼻子宽度、眼睛宽度、嘴巴宽度和其他宽度相关的特征。通常,一些实施例可以确定正距离变化,即确定相对于原始眼睛距离更大的新眼睛距离。典型地,眼睛距离变化可以在给定眼睛距离的百分之几的选定阈值内确定。选定的阈值也可以根据被处理的面部的宽度特征来确定。
除了改变眼睛之间的距离,眼睛增强技术可以操作用于选择性地旋转眼睛区域5040。通常,一些实施例可以利用图像处理和分析技术来确定右眼和左眼关于估计的水平面的角度定向,并确定眼睛定向的角度变化的程度。一些实施例可以(基于处理的图像数据)将眼睛的定向与估计的水平面对齐和/或改变眼睛的定向以增加眼睛之间的对称性。
眼睛增强技术还可以包括眼睛着色变化5050和眼睛阴影变化5060。眼睛着色变化5050涉及确定右眼和左眼的巩膜区域的颜色,并且通常应用影响颜色朝向白色的选定的眼睛着色。眼睛着色5050还可以包括影响瞳孔区域的颜色,但是选定的颜色变化。眼睛阴影变化5060包括确定眼睛上面和下面阴影区域的颜色分布,并确定相应的阴影色调(tone)变化。典型地,出于美学考虑,一些实施例可以为女性选择较暗的阴影,为男性面部图像选择较亮的阴影。选定的阴影色调或颜色典型地可以被选择为颜色的小变化,同时根据眼睛周围面部区域的色调和被处理的图像数据内的光照来确定。
通常,如上所指示的,去标识处理可以包括上述实施例中的一个、两个或全部三个,上述实施例包括几何结构去标识1040、特征去标识1050和眼睛增强1060。这些图像变化/处理技术可以涉及与被选择用于去标识处理的图像区域(例如,选定的面部区域)相关联的选定特征的变化。一些实施例还可以包括在如此处理的图像区域(面部区域)上增加噪声层1035。这种噪声层可以包括对应于选定形状/结构的像素颜色变化的某种图案,其可以与面部相关联,也可以不与面部相关联。例如,噪声层可以包括具有大约1%-80%不透明度的图案,并且与(随机)选择的面部模型、选定的动物或任何其他形状结构的图像相关联。在一些实施例中,噪声层可以与通用随机噪声和/或对抗性噪声(adversarial noise)相关联。这种噪声层可以用于引导面部识别算法将选定的处理图像区域错误地识别为不是面部的事物和/或错误地识别选定面部的身份。
一些实施例可以包括图1B中的去标识验证处理1070。验证处理可以在去标识处理之后被应用于每个图像数据片段,周期性地或随机地应用于选定的处理图像,以确定和/或更新选定阈值,或者在作为校准状态操作时应用,从而监控去标识处理能力。去标识验证处理1070可以包括:提供原始的和经处理的图像数据片段,用于由一个或更多个现有的面部识别程序进行面部识别处理,接收面部识别处理的输出,并将得到的置信度值分数与预定的成功阈值进行比较。附加地,去标识验证处理可以包括确定原始选定面部与在去标识处理后得到的面部之间的相似性度量。相似性度量可以根据通用相似性来确定,而不考虑可用于面部标识/识别的参数。这可以被执行以实现面部去标识,同时保持原始图像数据与经处理的图像数据之间的一定相似度。例如,相似性度量可以通过确定以下参数中的一个或更多个来确定,这些参数包括峰值信噪比(PSNR)、直方图比较、结构相似性(SSIM)、距离向量集(例如,使用主动外观模型(AAM)或主动形状模型(ASM)特征提取技术)、深度学习分类器、姿态估计器以及使用机器学习或深度学习技术的人类视觉方面的其他相似性预测。相似性度量可以涉及测量经处理的图像与原始输入图像数据有多大不同。相似性度量可用于观察整个图像区域,而不限于与面部身份相关联的面部特征,以提供去标识图像的美学相似性。
去标识验证处理可以提供关于面部识别程序/技术基于图像数据中出现的面部来识别个人的能力的数据以及关于原始图像数据与经处理的图像数据(或者图像数据中选定的一个或更多个面部)之间的通用/美学和/或人类视觉相似性的数据。可以提供这种验证处理来确定和/或更新选定的阈值,以及用于选择不同的去标识技术并操作几何结构去标识、特征去标识、眼睛增强,其中两种或三种处理技术用来提供对经处理的图像数据的面部识别的有效限制。
如上所指示的,一些实施例可以由去标识系统来实现,该系统具有至少一个处理实用程序并且至少可连接到预先存储有上述面部模型的存储实用程序。这种系统可以与一个或更多个服务器系统相关联,该一个或更多个服务器系统被配置用于与一个或更多个用户通信,以通过通信网络接收输入图像数据流并传输包括一个或更多个选定去标识的面部区域的相应输出图像数据。附加地或可替代地,该系统可以是本地系统,其被配置用于通过通信端口和/或直接从与其相关联的照相机单元接收输入图像数据流。参考图6和图7,其示意性地示出了根据本发明的系统100(图6)和被配置用于在输入图像数据流上实现上述实施例的去标识模块520(图7)。
图6示意性地示出了系统100,其包括处理实用程序500、输入/输出通信端口120和存储实用程序600,并且可以被配置用于接收输入图像流,并且用于处理输入图像流以对输入图像流的一个或更多个图像中的选定的面部去标识。处理实用程序500可以被配置用于接收输入图像流,并使用一个或更多个软件和/或硬件模块向其提供选定的处理,用于对选定的面部去标识。处理实用程序500可以包括面部识别模块510、去标识模块520、验证模块580和图像生成器590。存储实用程序600——可以直接连接到处理实用程序或是通过通信网络可连接的——通常包括面部模型数据库,如几何结构面部模型620和特征面部模型640,并且还可以包括用于典型处理数据、阈值函数数据等的通用/临时存储部分。
处理实用程序500可以被配置用于接收输入图像流进行处理,图像流可以包括一个或更多个图像,这些图像可以在它们之间相关联或者可以是独立的,意味着每个图片涉及不同的场景和/或包括不同人的面部。面部识别模块510分析输入图像数据,以确定与适于去标识处理的面部相关联的图像区域。典型地,这样的图像区域包括可以使用面部检测技术识别的面部,例如,面向照相机并且足够大(像素数量)的面部。选择用于去标识的图像区域或面部可以包括从用户接收指示要去标识的面部的输入选择数据。
去标识模块520可以被配置用于接收用于去标识处理的选定的图像区域,并且使用预先存储在存储实用程序600中的一个或更多个选定的面部模型来应用上述去标识技术。如上所述,去标识模块510可操作用于对选定图像区域中的面部进行去标识处理,并且在某些情形中,如上所述,将如此处理的图像数据传输到验证模块580用于去标识验证。应当注意,去标识验证可以作为一个选项来提供,可以选择性地应用和/或用于阈值参数的校准。例如,当系统可以被配置为包括去标识处理实用程序500的照相机单元时,验证模块可以不是处理实用程序的一部分,并且可以作为外部模块用于质量保证。最后,图像生成器590可以接收经处理的图像区域并通过拼接经处理的图像区域并将它们打包成选定格式的图像数据(如视频数据、一个或更多个图像或任何其他选定格式)来生成输出图像流。
图7示意性地示出了去标识模块520及其相应的软件和/或硬件模块。去标识模块520可以包括几何结构去标识器530、特征去标识器540、距离变化模块550、眼睛增强器和/或噪声添加层560中的一个或更多个。根据上述实施例,模块530-560中的每一个可以被配置用于处理选定的图像区域,以改变图像区域的选定元素。
几何结构去标识器530可以被配置和操作用于确定图像区域中选定面部的几何结构度量,向存储实用程序600传输对一个或更多个合适的几何结构面部模型的请求,并将几何变化应用到选定的面部。特征去标识器540可以被配置用于,例如,根据用户指令选择一个或更多个面部特征进行处理,从存储实用程序600获得相应的特征面部模型,并根据如上所述的面部模型的特征对选定的特征应用合适的变化。距离变化模块550可以被配置用于影响图像区域,以确定面部特征之间选定距离的通用变化,通常是为了增加面部的对称性和/或美学性(例如,通过影响选定的比率以更接近φ≈1.618或进一步获得所述比率)。如上所述,眼睛增强器可以被配置用于确定对眼睛的距离、定向、着色和/或阴影化的变化并向其应用变化。通常,如上所示,去标识模块520也可以包括噪声添加模块560,如上所述,噪声添加模块560被配置用于在选定的图像区域之上生成并应用噪声层。通常,去标识模块520可以操作去标识器中的选定的一个或更多个,以及根据预先提供的和/或用户与输入图像流一起提供的输入操作偏好来确定操作顺序。
如上所述,一些实施例可以通过使用计算机面部识别技术处理图像数据来提供消除或至少显著降低识别个人身份的能力。这可以在保持输出处理图像数据与输入图像数据中的外观之间的至少一定的相似度的同时被实施。一些实施例可以提供各种去标识程度和技术,使得一些变化技术可以按照选定的阈值应用。这可以在增加的(和/或优化的)去标识可利用附加的或所有上述实施例来获得优化结果的同时被实施,代价是原始图像数据的更大的变化。
通常,一些实施例可以由主协议或深度学习模块控制,被配置用于根据期望的隐私程度(去标识程度)选择要应用的过程(几何结构去标识、特征去标识、距离变化、眼睛增强、噪声层等)和变化程度/阈值。如上所示,可以通过确定面部识别技术识别图像数据中人的身份的能力和/或在人类视觉方面测量的相似性来验证图像数据片段的处理,以用于确定去标识是充分的、过度的还是不充分的,并相应地更新处理协议。更新的处理协议可以包括附加的去标识技术,如果不是所有上述实施例都可以使用的话,和/或更新变化程度和阈值。
因此,一些实施例可以向使用实体提供使用图像的能力,同时保护其身份不会基于所发布的图像被确定,同时通过在人类视觉方面保持所得到的输出图像与原始图像中个人外观之间的相似性来保持熟悉的外观。
应当认识到,虽然上述实施例可以涉及面部识别,但是去标识的相似实施例也可以在对过程进行相应的改动,例如修改指纹图像而不是面部图像的情况下,应用于其他类型的图像处理以用于识别(例如,扫描图像以进行识别、指纹、视网膜扫描、来自视频剪辑的门(gate)等)。此外,虽然上面讨论了图像的修改,但是去标识的相似实施例也可以应用于其他类型的媒体数据,例如修改文本、音频等。例如,在文本文件中,可以为媒体文本文件的特定部分定义标识区域,并且在去标识过程中,可以修改该标识区域,直到可以生成相似的文本文件,该文本文件可能不再被文本识别算法(类似于上面讨论的面部识别算法)识别,同时仍然可以被人类理解和/或读取。
现在参考图8,其示出了根据一些实施例的训练人类感知预测器以确定数据样本之间的被感知的相似性程度的方法的流程图。如上所述,计算机化设备可以(例如,利用机器学习或深度学习)被训练以创建“人类视觉”预测器,该预测器被配置成以类似于真实人类感知的方式来识别媒体文件之间的相似性,例如,识别两个图像显示相似的面部或者两个音频文件包括相似的音乐。
根据一些实施例,可以通过接收8010至少一个媒体文件(例如,图像、音频等)并为每个媒体文件确定8020至少一个识别区域(例如,面部或音轨)来训练这种人类感知预测器。在一些实施例中,可以对每个媒体文件的每个识别区域应用8030至少一种变换(例如,图像文件的几何变换或音频文件的音高变换),直到可以创建至少一个修改的媒体文件。
在一些实施例中,可以接收8040关于每个修改的媒体文件与相应的所接收的媒体文件之间的相似性的输入。例如,输入可以从专用数据库和/或从标记或回答关于媒体文件(例如,图像、文本、音频等)之间相似性的问题的用户焦点组接收8040。在回答关于媒体文件之间相似性的问题的用户焦点组的情形中,可以向用户焦点组呈现两个(或更多个)媒体文件和关于相似性的一些问题,例如,哪个图像(例如,或者音频文件)可能与原始图像(例如,或者音频文件)最相似(例如,在从1到10的尺度上),从而为每个媒体文件创建人类相似性参数。在一些实施例中,呈现给用户焦点组的修改的媒体文件可以是针对每种类型的变换及其组合的媒体文件,以便接收与原始媒体文件最合适的相似性。在一些实施例中,所应用的变换可能导致至少一个分类器针对相应的所接收的媒体文件的置信度值的降低(和/或误识别),并且呈现给用户焦点组的修改的媒体文件可以是在由特定算法确定的尺度(例如,1-10)上未通过分类器算法(例如,被面部识别算法错误识别)的修改的媒体文件,使得可为每个媒体文件创建分类器参数。
在一些实施例中,机器学习模型(例如,浅层/深度神经网络)可以用目标函数来训练8050,目标函数被配置成根据接收的输入来预测被人类观察者感知的媒体文件之间的相似性。
在一些实施例中,媒体文件可以包括具有多个像素的图像,并且其中可以在平衡媒体文件中每个像素的修改与相邻像素的相应修改的同时保持识别区域的有效性。在一些实施例中,当在人类视觉机器可能被训练好之后接收到新的媒体文件时,可以确定新媒体文件的至少一个新的识别区域(例如,面部),并且可以将新的识别区域转换成特征向量,其中根据训练的机器学习模型将至少一种变换应用于特征向量,以便通过重建变换的特征向量来生成合成媒体文件。
根据一些实施例中,可以在识别区域的数据集上训练参数模型,以在给定一组参数的情况下合成媒体文件,并且可以获得如所接收的至少一个媒体文件中所描绘的表示选定识别区域的参数,其中参数的修改用来表示识别区域的修改版本,从而最大化和/或保持与所接收的至少一个媒体文件的识别区域的相似度,同时将至少一个分类器的识别分数降低到预定义的阈值以下。
现在参考图9,其示出了根据一些实施例的合成媒体文件的方法的流程图。在一些实施例中,可以接收9010至少一个媒体文件,并且可以为接收的媒体文件(例如,图像、视频、音频、文本等)确定9020至少一个识别区域(例如,面部)。
在一些实施例中,至少一个识别区域可以被修改9030(例如,在例如图像文件中的每个像素处被转换和/或修改)为特征向量,其中至少一种变换(例如,几何变换)被应用9040在特征向量上,例如,应用在图像文件中的每个像素上,同时考虑对相邻像素的影响。在一些实施例中,合成媒体文件可以通过变换的特征向量的重建来生成9050,使得生成的文件可以被去标识。在一些实施例中,变换的特征向量的重建可以包括缺失部分的至少部分预测。在一些实施例中,所应用的变换可以导致至少一个分类器针对相应的所接收的媒体文件的置信度值的降低(和/或误识别),并且其中生成的合成媒体文件可以被人类感知的模拟器确定为类似于接收的图像文件。
根据一些实施例,人类感知的模拟器可以包括机器学习模型,该机器学习模型通过以下方式进行训练:接收至少一个媒体文件、确定每个媒体文件的至少一个识别区域、对每个媒体文件的每个识别区域应用至少一种变换直到创建至少一个修改的媒体文件、接收关于每个修改的媒体文件和相应的所接收的媒体文件之间的相似性的输入、以及用目标函数训练机器学习模型,目标函数被配置成根据接收的输入预测被人类观察者感知的媒体文件之间的相似性。在一些实施例中,目标函数可以用于具有相似性和/或误识别(和/或置信度值降低)的输入项的优化方案,其中优化过程可以用于生成修改的媒体文件以愚弄分类器(例如,面部识别算法)或被分类器错误识别,同时实现最高相似性(例如基于人类感知的模拟器的结果)。
在一些实施例中,合成媒体文件可以根据置信度值降低和/或误识别(例如,在1-10的尺度上)的至少一个参数以及与相应的所接收的媒体文件的相似性(例如,在1-10的尺度上)的至少一个参数来生成,使得它们的平均值(例如,也在1-10的尺度上)可以确定用于过滤掉未来结果的去标识阈值。例如,去标识阈值可以被确定为0.7,并且任何生成的具有较低分数的合成媒体文件都无法通过去标识阈值。
在一些实施例中,可以在识别区域的数据集上训练和/或优化参数模型,以在给定一组参数的情况下合成媒体文件,其中获得表示如所接收的至少一个媒体文件中所描绘的选定的识别区域的参数,并且参数的修改用来表示识别区域的修改版本,从而最大化和/或保持与所接收的至少一个媒体文件的识别区域的相似度,同时将至少一个分类器的识别分数降低到预定义的阈值以下。
根据一些实施例,当接收到新的媒体文件时,该媒体文件(例如,图像)可以例如由编码器转换成特征向量,并且在至少一种变换之后,可以在用于原始图像和修改图像的人类模拟器机器和(例如,用于面部识别的)分类器算法之间进行平衡的情况下,将损失函数应用到修改图像上。因此,随着编码器的更新,损失函数可以迭代地最小化,直到可以生成合成图像以在“愚弄”分类器算法的同时被人类模拟器机器识别。
根据一些实施例,用于训练上述人类感知预测器以确定数据样本之间相似性程度的系统可以包括:识别区域的数据集和耦合到该识别区域的数据集的至少一个处理器,其中至少一个处理器可以被配置成:接收至少一个媒体文件,为每个媒体文件确定至少一个识别区域,将每个识别区域转换成特征向量,对每个特征向量应用至少一种变换,将变换的特征向量重建为重建的媒体文件,(例如,从焦点组)接收关于每个重建的媒体文件与相应的所接收的媒体文件之间的相似性的输入,并且用目标函数训练机器学习模型,目标函数被配置成根据接收的输入来预测被人类观察者感知的媒体文件之间的相似性。在一些实施例中,所应用的变换可以导致至少一个分类器针对相应的所接收的媒体文件的置信度值的降低(和/或误识别),并且其中所训练的机器学习模型可以被配置成预测被人类观察者感知的媒体文件之间的相似性。
在一些实施例中,可以在平衡图像中每个像素的修改与相邻像素的相应修改的同时保持识别区域的有效性。
在一些实施例中,处理器还可以配置成:接收新的媒体文件,为新的媒体文件确定至少一个新的识别区域,将新的识别区域转换为特征向量,根据训练的机器学习模型对特征向量应用变换,以及通过重建变换的特征向量来生成合成媒体文件。
根据一些实施例,去标识方法可以通过显著降低将给定面部图像与对象的真实个人属性相关联的能力而允许保护个人属性不被估计。这样的属性可以是身体的和/或精神的、永久的和/或暂时的。这些属性包括年龄、健康和精神状况、性别、性取向、种族、体重、身高、怀孕、情绪/感觉、IQ和社会经济变量。
给定面部输入图像,可以修改输入面部图像(和/或其他媒体文件)的几何结构、颜色和纹理中的至少一个。变换可以被优化以(尽可能多地)保持与输入图像的相似性,同时降低所描绘的面部与其要保护的真实属性之间的统计相关性。最终,相关性可以显著降低到足以消除将真实属性与所描绘的面部相关联的可能性。因此,可以通过降低上述属性中的一个或更多个将被估计的可能性来保护个人隐私。
在一些实施例中,以下变换中的至少一种可以用于面部图像的去标识(同时相似的方法可以通过必要的调整应用于其他媒体类型):应用面部特征的受控变形、改变面部特征之间的距离、嵌入面部特征的纹理和/或颜色、以及添加以特定图案生成的噪声层。
在一些实施例中,可以接收描绘一个或更多个面部的输入图像,并且可以对一个或更多个选择的面部应用属性保护处理。属性保护过程可以包括上述变换中的至少一种。
在一些实施例中,应用面部特征的受控变形可以包括使用来自预存数据的一个或更多个面部模型,通过使用模型的几何结构的加权平均生成新模型,以及扭曲原始图像以匹配新模型的几何结构。扭曲可以在一个或更多个面部特征和/或它们之间的距离上完成。模型的选择可以考虑到与输入面部几何结构的感知相似性、模型和/或结果的吸引力以及降低与被保护的真实属性的统计相关性的可能性。可替代地或附加地,变形可以使用优化过程通过最大化人类的感知相似性来执行,同时降低面部图像与所描绘面部的真实属性之间的统计相关性。可替代地或附加地,变形可以使用预先训练的生成性模型(例如,深度神经网络)来执行,该生成性模型被训练为最大化人类的感知相似性,同时降低面部图像与所描绘面部的真实属性之间的统计相关性。
在一些实施例中,改变面部特征之间的距离可以包括选择选定面部的一个或更多个面部特征对,确定选定面部特征对的合适的距离变化,以及应用选定的距离变化来改变选定面部的一个或更多个选定比率。
在一些实施例中,嵌入面部特征的纹理和/或颜色可以包括选择选定面部的一个或更多个面部特征,并且从包含预先存储的一组特征面部模型的存储单元中获得一个或更多个特征面部模型,该一个或更多个特征面部模型与选定的面部具有高于选定特征相似性阈值的面部相似性度量,以及处理该图像区域,用于使用所述选定的一个或更多个特征面部模型的相应面部特征对所述一个或更多个选定面部特征应用变化至预定的特征变化程度,生成输出图像数据,在输出图像数据中所述选定的图像区域呈现所述选定面部的变化的版本。选择面部特征可以是其中所述一个或更多个通用相似性度量包括L2、峰值信噪比(PSNR)相似性度量、直方图比较、距离向量集度量和使用深度神经网络(使用“Siamese”架构训练)提取的特征向量中的一个或更多个。
可替代地或附加地,替代特征可以使用合成过程来实现,该合成过程被优化以最大化人类的感知相似性,同时降低面部图像与所描绘面部的真实属性之间的统计相关性。(i)一组小区块(patch)(例如,8×8像素)的预先计算,这些区块描述面部特征的不同的“构建块(building block)”(例如,常见类型的边缘、角和纹理)。(ii)优化过程,其最大化合成图像的每个小块与预先计算的区块之一的相似性以及与原始面部特征的相似性。
可替代地或附加地,纹理合成方法可以使用生成性神经网络,该生成性神经网络可以被预先训练以在最大化与原始面部特征的相似性的意义上生成良好的结果,同时仅将原始数据的一部分作为输入(例如,通过一些降级变换,如:下采样、投影到较低维度线性基础(例如,使用PCA或ICA)、和/或边缘检测)。纹理合成还可以包括混合部件,该混合部件降低了图像的混合部分与原始部分之间接缝的可见性。
在一些实施例中,添加以特定图案生成的噪声层可以包括使用优化过程来生成可对肉眼不可见或几乎不可见的特定结构中的噪声,同时迭代地修改噪声层,直到选择的属性估计算法关于要保护的属性产生错误结果。可替代地,生成噪声层可以包括运行预先训练的生成性模型(例如,深度神经网络)的一个或更多个前向通路(forward pass),该模型被训练为生成对人眼的可见性最小、同时降低属性估计算法产生正确结果可能性的噪声层。目标函数的这两项之间的平衡可以手动或自动确定。
根据一些实施例,可以在给定特定输入图像(或其他媒体文件)的情况下优化执行上述变换的顺序以及它们的参数,和/或可以根据预先学习的模型使用机器学习算法来确定执行上述变换的顺序以及它们的参数。在任一情形中,优化的目标函数(机器学习算法可以在训练阶段针对目标函数进行优化)可以最小化图像对象容易与其真正受保护的属性相关联的可能性,同时最大化与原始面部的感知相似性。
优化过程可以是迭代的或非迭代的。在迭代的情形中,它可以包括针对一个或更多个属性估计算法的验证步骤,并且修改变换的参数及它们的顺序,以便提供更好的结果。
可替代地或附加地,变换的参数和顺序可以由训练的机器学习模型(例如,深度神经网络)预先确定,以在保持相似性同时降低属性估计算法提供正确估计可能性的意义上获得良好的结果。
应当注意,面部特征可以指自然特征(例如,眼睛、鼻子、嘴唇等)和/或通过人工特征(例如,面部中的任意点)来确定,以最大化方法的灵活性。
除非另有明确说明,本文描述的方法实施例不限于特定的时间次序或时间顺序。此外,在方法的操作顺序期间,可以跳过所描述的方法元素中的一些,或者可以重复它们。
已经提出了各种实施例。当然,这些实施例中的每一个可以包括所呈现的其它实施例的特征,并且未具体描述的实施例可以包括本文所述的各种特征。
Claims (39)
1.一种训练人类感知预测器以确定数据样本之间的被感知的相似性程度的方法,所述方法包括:
接收至少一个媒体文件;
为每个媒体文件确定至少一个识别区域;
对每个媒体文件的每个识别区域应用至少一种变换,直到创建了至少一个修改的媒体文件;
接收关于每个修改的媒体文件与相应的所接收的媒体文件之间的相似性的输入;以及
用目标函数来训练机器学习模型,所述目标函数被配置成根据所接收的输入来预测被人类观察者感知的媒体文件之间的相似性。
2.根据权利要求1所述的方法,其中,所应用的变换导致至少一个分类器针对相应的所接收的媒体文件的置信度值的降低。
3.根据权利要求1所述的方法,其中,所述媒体文件包括图像。
4.根据权利要求1所述的方法,还包括:
接收新的媒体文件;
为所述新的媒体文件确定至少一个新的识别区域;
将所述新的识别区域转换成特征向量;
根据训练的机器学习模型来在所述特征向量上应用至少一种变换;以及
通过重建变换的特征向量来生成合成媒体文件。
5.根据权利要求4所述的方法,还包括:
在识别区域的数据集上训练参数模型,以在给定一组参数的情况下合成媒体文件;
获得表示所接收的至少一个媒体文件中描绘的选定的识别区域的参数;以及
修改所述参数以表示所述识别区域的修改版本,从而保持与所接收的至少一个媒体文件的识别区域的相似度,同时将所述至少一个分类器的识别分数降低至预定义的阈值以下。
6.根据权利要求1所述的方法,其中,所述媒体文件包括具有多个像素的图像,并且其中在平衡所述媒体文件中每个像素的修改与相邻像素的相应修改的同时保持识别区域的有效性。
7.根据权利要求1所述的方法,其中,根据几何结构相似性、纹理相似性和身份相似性中的至少一个来确定媒体文件的相似性。
8.根据权利要求1所述的方法,还包括向一组用户显示每个合成的媒体文件,其中所接收的输入是从该组用户接收的。
9.一种合成媒体文件的方法,所述方法包括:
接收媒体文件;
为接收的媒体文件确定至少一个识别区域;
修改所述至少一个识别区域;
在修改的识别区域上应用至少一种变换;以及
通过重建变换的识别区域来生成合成媒体文件,
其中所应用的变换导致至少一个分类器针对相应的接收的媒体文件的置信度值的降低,并且其中所生成的合成媒体文件被人类感知的模拟器确定为与接收的图像文件相似。
10.根据权利要求9所述的方法,还包括将所述至少一个识别区域转换成特征向量。
11.根据权利要求9所述的方法,其中,修改所述至少一个识别区域包括将所述至少一个识别区域转换成特征向量,其中从所述特征向量重建所述合成媒体文件。
12.根据权利要求9所述的方法,其中,所述合成媒体文件是根据置信度值降低的至少一个参数和与相应的接收的媒体文件的相似性的至少一个参数生成的。
13.根据权利要求9所述的方法,还包括:
在识别区域的数据集上训练参数模型,以在给定一组参数的情况下合成媒体文件;
获得表示所接收的至少一个媒体文件中描绘的选定的识别区域的参数;以及
修改所述参数以表示识别区域的修改版本,从而保持与所接收的至少一个媒体文件的识别区域的相似度,同时将所述至少一个分类器的识别分数降低至预定义的阈值以下。
14.根据权利要求9所述的方法,还包括:
在识别区域的数据集上优化参数模型,以在给定一组参数的情况下合成媒体文件;
获得表示所接收的至少一个媒体文件中描绘的选定的识别区域的参数;以及
修改所述参数以表示识别区域的修改版本,从而保持与所接收的至少一个媒体文件的识别区域的相似度,同时将所述至少一个分类器的识别分数降低至预定义的阈值以下。
15.根据权利要求9所述的方法,其中,所述人类感知的模拟器包括通过以下方式训练的机器学习模型:
接收至少一个媒体文件;
为每个媒体文件确定至少一个识别区域;
对每个媒体文件的每个识别区域应用至少一种变换,直到创建了至少一个修改的媒体文件;
接收关于每个修改的媒体文件与相应的接收的媒体文件之间的相似性的输入;以及
用目标函数来训练机器学习模型,所述目标函数被配置成根据接收的输入来预测被人类观察者感知的媒体文件之间的相似性。
16.一种用于训练人类感知预测器以确定数据样本之间相似性的程度的系统,所述系统包括:
识别区域的数据集;
至少一个处理器,其耦合到所述识别区域的数据集,其中所述处理器被配置成:
接收至少一个媒体文件;
为每个媒体文件确定至少一个识别区域;
对每个媒体文件的每个识别区域应用至少一种变换,直到创建了至少一个修改的媒体文件;
接收关于每个修改的媒体文件与相应的所接收的媒体文件之间的相似性的输入;以及
用目标函数来训练机器学习模型,所述目标函数被配置成根据接收的输入来预测被人类观察者感知的媒体文件之间的相似性,
其中所应用的变换导致至少一个分类器针对相应的所接收的媒体文件的置信度值的降低,并且其中所训练的机器学习模型被配置成预测被人类观察者感知的媒体文件之间的相似性。
17.根据权利要求16所述的系统,其中,所述处理器还被配置成:
接收新的媒体文件;
为所述新的媒体文件确定至少一个新的识别区域;
修改所述新的识别区域;
根据训练的机器学习模型来在修改的识别区域上应用变换;以及
通过重建变换的特征向量来生成合成媒体文件。
18.根据权利要求16所述的系统,其中,在平衡图像文件中每个像素的修改与所述图像中相邻像素的相应修改的同时保持所述识别区域的有效性。
19.根据权利要求16所述的系统,其中,根据几何结构相似性、纹理相似性和身份相似性中的至少一个来确定图像的相似性。
20.一种用于处理图像数据的方法,所述方法包括:
接收与包括一个或更多个面部区域的一个或更多个图像相关联的输入图像数据;选择与选定面部相关联的图像区域,并对所选定的区域应用去标识处理,所述去标识处理包括以下至少一种:
i.几何结构去标识处理,其包括:
从包含预先存储的数据的存储单元获得与一个或更多个几何结构面部模型相关联的数据,确定一个或更多个几何结构面部模型,所述一个或更多个几何结构面部模型相对于所述选定面部具有高于选定几何结构阈值的几何相似性度量;选择所述选定面部的一个或更多个几何特征,并处理所述图像区域,以便根据一个或更多个所获得的几何结构面部模型的相应特征来按照预定的几何结构变化程度对所述选定的一个或更多个几何特征应用变化;
ii.特征去标识处理,其包括:
选择所述选定面部的一个或更多个面部特征,并且从包含预先存储的一组特征面部模型的存储单元中获得一个或更多个特征面部模型,所述一个或更多个特征面部模型与所述选定面部具有高于选定特征相似性阈值的面部相似性度量,以及处理所述图像区域,用于使用所述选定的一个或更多个特征面部模型的相应的面部特征来按照预定的特征变化程度对所述一个或更多个选定面部特征应用变化;以及
生成输出图像数据,在所述输出图像数据中所述选定的图像区域呈现所述选定面部的变化的版本。
21.根据权利要求20所述的方法,包括接收与所述一个或更多个图像相关联的所述输入图像数据,并处理所述一个或更多个图像,以确定与所述一个或更多个图像中人类面部相关联的一个或更多个区域。
22.根据权利要求20所述的方法,其中,与一个或更多个几何结构面部模型相关联的所述数据包括编码指令,用于根据所述选定面部的几何度量生成一个或更多个几何结构面部模型。
23.根据权利要求20所述的方法,其中,与一个或更多个几何结构面部模型相关联的所述数据包括指示一个或更多个预先存储的几何结构面部模型的几何结构的坐标数据。
24.根据权利要求20所述的方法,其中,所述去标识处理还包括距离变化,所述距离变化包括:选择所述选定面部的一个或更多个面部特征对,确定选定的面部特征对的合适的距离变化,以及应用选定的距离变化来改变所述选定面部的一个或更多个选定的比率。
25.根据权利要求24所述的方法,其中,所述确定合适的距离包括影响选定的比率,以在黄金比率φ≈1.618的预定范围内。
26.根据权利要求24所述的方法,还包括将所述距离变化应用于两个或更多个选定的特征以及它们之间的距离比率。
27.根据权利要求20所述的方法,其中,所述去标识处理还包括检测所述选定面部的右眼和左眼,并处理所述图像区域,以对所述左眼和所述右眼之间的距离应用选定值的变化。
28.根据权利要求27所述的方法,其中,所述对所述左眼和所述右眼之间的距离应用变化包括:确定所述左眼和所述右眼之间的距离度量,根据美学参数选择改变的距离,以及应用图像处理技术来改变所述左眼和所述右眼之间的所述距离。
29.根据权利要求20所述的方法,其中,所述去标识处理还包括检测所述选定面部的右眼和左眼,并处理所述图像区域,以将所述左眼和所述右眼增强或旋转到选定的程度。
30.根据权利要求20所述的方法,其中,所述增强或旋转包括将一个或更多个选定的滤光器应用于所述左眼和所述右眼,所述一个或更多个滤光器根据以下项进行选择:白化眼睛区域、瞳孔亮度增强、瞳孔闪光增强、增强对称性、改变阴影程度、减少皱纹。
31.根据权利要求20所述的方法,其中,所述去标识处理还包括将不可见的噪声层应用于所选定的图像区域,所述不可见的层包括具有选定结构的一种或更多种颜色变化图案。
32.根据权利要求20所述的方法,还包括对所述生成的输出图像数据应用面部识别处理,并且在确定所述面部识别成功超过预定阈值时,选择调整的几何结构变化程度和特征变化程度,并且用选定的变化程度重复所述去标识处理。
33.根据权利要求20所述的方法,其中,选择所述一个或更多个面部特征包括选择与一个或更多个面部特征相关联的一个或更多个图像区域,所述面部特征包括鼻子、耳朵、眼睛、嘴巴、下巴、脸颊和前额、眉毛、头发、皮肤、纹理、疤痕、标记。
34.根据权利要求33所述的方法,其中,选择所述一个或更多个面部特征包括选择至少两个所述面部特征,并且从包含预先存储的一组特征面部模型的所述存储单元获得对应于所述至少两个选定面部特征的至少两个不同的特征面部模型。
35.根据权利要求20所述的方法,其中,所述处理所述图像区域以对所述一个或更多个选定面部特征应用变化包括使用两个或更多个特征面部模型,并且根据所述两个或更多个特征面部模型的特征应用所述变化。
36.根据权利要求20所述的方法,其中,所述几何相似性度量包括关于所述选定面部与几何结构面部模型之间的点到点距离比率的相似性的数据。
37.根据权利要求20所述的方法,其中,所述处理所述图像区域以对所述选定的一个或更多个几何特征应用变化包括:根据所述选定面部的位置对齐一个或更多个选定的候选几何结构面部模型的位置,以及应用图像处理以根据选定的一个或更多个选定的候选几何结构面部模型改变选定面部特征之间的距离。
38.根据权利要求20所述的方法,还包括处理所述输出图像数据,以确定所述输出图像数据与所述输入数据中的选定面部之间的一个或更多个通用相似性度量,在确定所述一个或更多个通用相似性度量超过预定的视觉相似性阈值时,以降低的几何结构变化程度和特征变化程度操作所述去标识处理。
39.根据权利要求38所述的方法,其中,所述一个或更多个通用相似性度量包括以下项中的一个或更多个:峰值信噪比相似性度量、直方图比较和距离向量集度量。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL252657A IL252657A0 (en) | 2017-06-04 | 2017-06-04 | System and method for preventing image recognition |
IL252657 | 2017-06-04 | ||
US201862621723P | 2018-01-25 | 2018-01-25 | |
US62/621,723 | 2018-01-25 | ||
PCT/IL2018/050607 WO2018225061A1 (en) | 2017-06-04 | 2018-06-04 | System and method for image de-identification |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111344712A true CN111344712A (zh) | 2020-06-26 |
CN111344712B CN111344712B (zh) | 2024-07-16 |
Family
ID=62452812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880050058.3A Active CN111344712B (zh) | 2017-06-04 | 2018-06-04 | 用于图像去标识的系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11893828B2 (zh) |
EP (1) | EP3635621A4 (zh) |
JP (1) | JP7520713B2 (zh) |
KR (1) | KR102669014B1 (zh) |
CN (1) | CN111344712B (zh) |
IL (2) | IL252657A0 (zh) |
WO (1) | WO2018225061A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131415A (zh) * | 2020-09-18 | 2020-12-25 | 北京影谱科技股份有限公司 | 基于深度学习提高数据采集质量的方法和装置 |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL252657A0 (en) | 2017-06-04 | 2017-08-31 | De Identification Ltd | System and method for preventing image recognition |
CN110012210B (zh) * | 2018-01-05 | 2020-09-22 | Oppo广东移动通信有限公司 | 拍照方法、装置、存储介质及电子设备 |
CN109754357B (zh) * | 2018-01-26 | 2021-09-21 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置以及处理设备 |
US10762337B2 (en) * | 2018-04-27 | 2020-09-01 | Apple Inc. | Face synthesis using generative adversarial networks |
EP3815050B1 (en) * | 2018-05-24 | 2024-01-24 | Warner Bros. Entertainment Inc. | Matching mouth shape and movement in digital video to alternative audio |
US11615208B2 (en) * | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
CN109087239B (zh) * | 2018-07-25 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法、装置及存储介质 |
CN109191507B (zh) * | 2018-08-24 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 三维人脸图像重建方法、装置和计算机可读存储介质 |
JP7434291B2 (ja) | 2018-09-05 | 2024-02-20 | デ-アイデンティフィケーション リミテッド | 非特定化されたデータに基づいてアイデンティティ認証を実行するためのシステムおよび方法 |
US11068745B2 (en) * | 2018-09-14 | 2021-07-20 | De-Identification Ltd. | Disruption of face detection |
CA3060144A1 (en) * | 2018-10-26 | 2020-04-26 | Royal Bank Of Canada | System and method for max-margin adversarial training |
US11568324B2 (en) * | 2018-12-20 | 2023-01-31 | Samsung Display Co., Ltd. | Adversarial training method for noisy labels |
JP7272626B2 (ja) * | 2019-01-09 | 2023-05-12 | i-PRO株式会社 | 照合システム、照合方法およびカメラ装置 |
US11280883B2 (en) | 2019-01-25 | 2022-03-22 | Veoneer Us, Inc. | Apparatus and method for detecting radar sensor blockage using machine learning |
US10963675B2 (en) | 2019-01-30 | 2021-03-30 | Realnetworks, Inc. | Method for selecting images in video of faces in the wild |
CN109933193A (zh) * | 2019-03-01 | 2019-06-25 | 北京体育大学 | 基于运动员眼动信息实时捕捉的智能辅助训练系统 |
CN109948584A (zh) * | 2019-03-28 | 2019-06-28 | 北京深醒科技有限公司 | 一种基于对抗神经网络的微小人脸检测方法和装置 |
CN110097103A (zh) * | 2019-04-22 | 2019-08-06 | 西安电子科技大学 | 基于生成对抗网络的半监督图像分类方法 |
CN110245612A (zh) * | 2019-06-14 | 2019-09-17 | 百度在线网络技术(北京)有限公司 | 人脸图像的检测方法和装置 |
JP2021005320A (ja) * | 2019-06-27 | 2021-01-14 | 東芝映像ソリューション株式会社 | 画像処理装置及び画像処理方法 |
DE102019122119A1 (de) * | 2019-08-16 | 2021-02-18 | Bundesdruckerei Gmbh | Verfahren zum Identifizieren einer Person mittels Gesichtserkennung, Identifizierungsvorrichtung sowie Computerprogrammprodukt |
WO2021033183A1 (en) * | 2019-08-19 | 2021-02-25 | De-Identification Ltd. | System and method for anonymization of a face in an image |
US10990807B2 (en) * | 2019-09-06 | 2021-04-27 | Adobe, Inc. | Selecting representative recent digital portraits as cover images |
IL270116A (en) | 2019-10-23 | 2021-04-29 | De Identification Ltd | A system and method for identifying and protecting against cyber attacks against classification systems |
EP3816864A1 (en) * | 2019-10-28 | 2021-05-05 | Robert Bosch GmbH | Device and method for the generation of synthetic data in generative networks |
US20210133493A1 (en) * | 2019-10-30 | 2021-05-06 | safeXai, Inc. | Disrupting object recognition functionality |
US20230027309A1 (en) * | 2019-12-16 | 2023-01-26 | De-Identification Ltd. | System and method for image de-identification to humans while remaining recognizable by machines |
US20230027783A1 (en) * | 2019-12-16 | 2023-01-26 | De-Identification Ltd. | System and method for reconstruction of faces from anonymized media using neural network based steganography |
JP7208940B2 (ja) * | 2020-02-19 | 2023-01-19 | Kddi株式会社 | 画像処理装置、サーバ、画像処理方法、姿勢推定方法、及びプログラム |
WO2021207378A1 (en) * | 2020-04-10 | 2021-10-14 | Realnetworks, Inc. | Synthetic masked biometric signatures |
US11468587B2 (en) | 2020-05-12 | 2022-10-11 | Samsung Electronics Co., Ltd. | System and method for depth map recovery |
CN111753275B (zh) * | 2020-06-04 | 2024-03-26 | 支付宝(杭州)信息技术有限公司 | 基于图像的用户隐私保护方法、装置、设备和存储介质 |
CN111860133A (zh) * | 2020-06-08 | 2020-10-30 | 华南师范大学 | 无种族偏见的识别人类的人工智能伦理方法和机器人 |
US10839268B1 (en) * | 2020-06-22 | 2020-11-17 | Calypso Ai Corp | Artificial intelligence adversarial vulnerability audit tool |
US11526626B2 (en) | 2020-07-10 | 2022-12-13 | De-Identification Ltd. | Facial anonymization with consistent facial attribute preservation in video |
US11276214B2 (en) | 2020-07-15 | 2022-03-15 | De-Ideniification Ltd. | System and a method for artificial neural-network based animation |
US11461948B2 (en) | 2020-07-15 | 2022-10-04 | De-Identification Ltd. | System and method for voice driven lip syncing and head reenactment |
US11436781B2 (en) | 2020-07-15 | 2022-09-06 | De-Identification Ltd. | System and method for artificial neural-network based animation with three-dimensional rendering |
CN112101087B (zh) * | 2020-07-24 | 2024-02-02 | 西安电子科技大学 | 一种面部图像身份去识别方法、装置及电子设备 |
CN112749614B (zh) * | 2020-09-03 | 2023-02-07 | 腾讯科技(深圳)有限公司 | 一种多媒体内容的识别方法、装置、电子设备和存储介质 |
US11200494B1 (en) * | 2020-10-21 | 2021-12-14 | Deeping Source Inc. | Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same |
KR102645698B1 (ko) | 2020-10-28 | 2024-03-11 | 한국전자통신연구원 | 얼굴의 정렬 형태에 강인한 얼굴 인식 방법 및 그 장치 |
KR102531287B1 (ko) * | 2020-12-23 | 2023-05-12 | 한국과학기술연구원 | 자세 인식 기반의 영상 초상권 보호 방법 및 장치 |
TWI768625B (zh) * | 2020-12-28 | 2022-06-21 | 財團法人工業技術研究院 | 嬰兒照護影像分析的方法及系統 |
CN112613445B (zh) * | 2020-12-29 | 2024-04-30 | 深圳威富优房客科技有限公司 | 人脸图像生成方法、装置、计算机设备和存储介质 |
CN112329752B (zh) * | 2021-01-06 | 2021-04-06 | 腾讯科技(深圳)有限公司 | 人眼图像处理模型的训练方法、图像处理方法及装置 |
CN113379713B (zh) * | 2021-06-23 | 2024-02-09 | 京东科技信息技术有限公司 | 证件图像的检测方法及其装置 |
US20230060942A1 (en) * | 2021-08-26 | 2023-03-02 | Hypatia Group, Inc. | Health Monitoring System with Precision Eye-Blocking Filter |
US11308359B1 (en) * | 2021-10-27 | 2022-04-19 | Deeping Source Inc. | Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same |
CN114266977B (zh) * | 2021-12-27 | 2023-04-07 | 青岛澎湃海洋探索技术有限公司 | 基于超分辨可选择网络的多auv的水下目标识别方法 |
KR102420890B1 (ko) * | 2022-01-11 | 2022-07-14 | 장경애 | 영상에 포함된 객체의 비식별화를 위한 서비스 제공 장치 및 방법 |
WO2023215363A1 (en) * | 2022-05-03 | 2023-11-09 | Quantivly Inc. | Identifying medical imaging protocols based on radiology data and metadata |
KR20240030644A (ko) * | 2022-08-31 | 2024-03-07 | 주식회사 마블러스 | 식별 이미지 내 얼굴을 비식별화 처리하는 장치 및 방법 |
CN118043870A (zh) | 2022-09-11 | 2024-05-14 | 株式会社斯巴鲁 | 车辆服务提供系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026781A1 (en) * | 2009-07-02 | 2011-02-03 | Carmel-Haifa University Economic Corporation Ltd. | System for secure face identification (scifi) and methods useful in conjunction therewith |
US20120177248A1 (en) * | 2011-01-12 | 2012-07-12 | Shuster Gary S | Graphic data alteration to enhance online privacy |
US20120288166A1 (en) * | 2011-05-13 | 2012-11-15 | Microsoft Corporation | Association and prediction in facial recognition |
US20140328547A1 (en) * | 2013-05-02 | 2014-11-06 | Machine Perception Technologies Inc. | Anonymization of facial expressions |
US20150324633A1 (en) * | 2013-05-02 | 2015-11-12 | Emotient, Inc. | Anonymization of facial images |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6278791B1 (en) | 1998-05-07 | 2001-08-21 | Eastman Kodak Company | Lossless recovery of an original image containing embedded data |
GB0606977D0 (en) | 2006-04-06 | 2006-05-17 | Freemantle Media Ltd | Interactive video medium |
KR100836671B1 (ko) * | 2006-05-15 | 2008-06-10 | 조상일 | 영상 데이터 암호화 방법 및 장치 |
WO2009094661A1 (en) | 2008-01-24 | 2009-07-30 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for swapping faces in images |
US8270718B2 (en) | 2008-09-23 | 2012-09-18 | International Business Machines Corporation | Manipulating an image by applying a de-identification process |
JP6140976B2 (ja) * | 2012-11-02 | 2017-06-07 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム |
US9384383B2 (en) * | 2013-09-12 | 2016-07-05 | J. Stephen Hudgins | Stymieing of facial recognition systems |
US8965066B1 (en) | 2013-09-16 | 2015-02-24 | Eye Verify LLC | Biometric template security and key generation |
AR097666A1 (es) | 2013-09-16 | 2016-04-06 | Intercontinental Great Brands Llc | Golosina apilable |
MX354612B (es) | 2014-12-15 | 2018-03-13 | Inst Politecnico Nacional | Sistema para la autenticacion y recuperacion de la region del rostro en imagenes. |
ES2813876T3 (es) * | 2014-12-30 | 2021-03-25 | Deutsche Telekom Ag | Estructura de privacidad en un dispositivo para gafas inteligentes y relojes inteligentes |
US9894063B2 (en) | 2016-04-17 | 2018-02-13 | International Business Machines Corporation | Anonymizing biometric data for use in a security system |
IL252657A0 (en) | 2017-06-04 | 2017-08-31 | De Identification Ltd | System and method for preventing image recognition |
US11526601B2 (en) | 2017-07-12 | 2022-12-13 | The Regents Of The University Of California | Detection and prevention of adversarial deep learning |
EP3451209B1 (en) | 2017-08-31 | 2020-08-12 | Nokia Technologies Oy | Apparatus and method for anonymizing image content |
US11443178B2 (en) | 2017-12-15 | 2022-09-13 | Interntional Business Machines Corporation | Deep neural network hardening framework |
US10944767B2 (en) | 2018-02-01 | 2021-03-09 | International Business Machines Corporation | Identifying artificial artifacts in input data to detect adversarial attacks |
US10762337B2 (en) | 2018-04-27 | 2020-09-01 | Apple Inc. | Face synthesis using generative adversarial networks |
KR102123248B1 (ko) | 2020-01-30 | 2020-06-16 | 김선진 | 프라이버시 보호를 위한 얼굴인식 기반 실시간 영상처리 시스템 |
-
2017
- 2017-06-04 IL IL252657A patent/IL252657A0/en unknown
-
2018
- 2018-06-04 WO PCT/IL2018/050607 patent/WO2018225061A1/en unknown
- 2018-06-04 US US16/619,106 patent/US11893828B2/en active Active
- 2018-06-04 JP JP2020516974A patent/JP7520713B2/ja active Active
- 2018-06-04 EP EP18813726.9A patent/EP3635621A4/en active Pending
- 2018-06-04 CN CN201880050058.3A patent/CN111344712B/zh active Active
- 2018-06-04 KR KR1020207000230A patent/KR102669014B1/ko active IP Right Grant
-
2019
- 2019-12-04 IL IL271165A patent/IL271165A/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110026781A1 (en) * | 2009-07-02 | 2011-02-03 | Carmel-Haifa University Economic Corporation Ltd. | System for secure face identification (scifi) and methods useful in conjunction therewith |
US20120177248A1 (en) * | 2011-01-12 | 2012-07-12 | Shuster Gary S | Graphic data alteration to enhance online privacy |
US20120288166A1 (en) * | 2011-05-13 | 2012-11-15 | Microsoft Corporation | Association and prediction in facial recognition |
US20140328547A1 (en) * | 2013-05-02 | 2014-11-06 | Machine Perception Technologies Inc. | Anonymization of facial expressions |
US20150324633A1 (en) * | 2013-05-02 | 2015-11-12 | Emotient, Inc. | Anonymization of facial images |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112131415A (zh) * | 2020-09-18 | 2020-12-25 | 北京影谱科技股份有限公司 | 基于深度学习提高数据采集质量的方法和装置 |
CN112131415B (zh) * | 2020-09-18 | 2024-05-10 | 北京影谱科技股份有限公司 | 基于深度学习提高数据采集质量的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3635621A1 (en) | 2020-04-15 |
IL271165A (en) | 2020-01-30 |
EP3635621A4 (en) | 2021-03-10 |
CN111344712B (zh) | 2024-07-16 |
IL252657A0 (en) | 2017-08-31 |
KR20200014889A (ko) | 2020-02-11 |
WO2018225061A1 (en) | 2018-12-13 |
JP2020522829A (ja) | 2020-07-30 |
KR102669014B1 (ko) | 2024-05-24 |
US11893828B2 (en) | 2024-02-06 |
US20200097767A1 (en) | 2020-03-26 |
JP7520713B2 (ja) | 2024-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111344712B (zh) | 用于图像去标识的系统和方法 | |
Rathgeb et al. | Impact and detection of facial beautification in face recognition: An overview | |
CN111066060B (zh) | 虚拟面部化妆去除和模拟、快速面部检测和地标跟踪 | |
CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
CN112651348B (zh) | 身份认证方法和装置及存储介质 | |
CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN106682632B (zh) | 用于处理人脸图像的方法和装置 | |
US10911695B2 (en) | Information processing apparatus, information processing method, and computer program product | |
WO2019142127A1 (en) | Method and system of creating multiple expression emoticons | |
US11354844B2 (en) | Digital character blending and generation system and method | |
CN111325252B (zh) | 图像处理方法、装置、设备、介质 | |
US12039675B2 (en) | High quality AR cosmetics simulation via image filtering techniques | |
JP2020098422A (ja) | 画像処理装置、方法及びプログラム | |
CN113673378A (zh) | 基于双目摄像头的人脸识别方法、装置和存储介质 | |
Tandon et al. | An efficient age-invariant face recognition | |
WO2011152842A1 (en) | Face morphing based on learning | |
CN113421197B (zh) | 一种美颜图像的处理方法及其处理系统 | |
Gulhane et al. | A review on surgically altered face images recognition using multimodal bio-metric features | |
Zhao | 3D Human Face Reconstruction and 2D Appearance Synthesis | |
CN116629872A (zh) | 人脸认证方法、装置、计算机设备和存储介质 | |
WO2023156315A1 (en) | Face authentication including material data extracted from image | |
Deepika et al. | Automated Student Attendance Using Facial Recognition Based On DRLBP &DRLDP | |
WO2023156319A1 (en) | Image manipulation for material information determination | |
WO2023156317A1 (en) | Face authentication including occlusion detection based on material data extracted from an image | |
Menaga et al. | Identification of Facial Retouching Using Supervised Deep Learning Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |