CN109684853B - 用于确定和提供图像内的匿名内容的装置和方法 - Google Patents

用于确定和提供图像内的匿名内容的装置和方法 Download PDF

Info

Publication number
CN109684853B
CN109684853B CN201811199214.0A CN201811199214A CN109684853B CN 109684853 B CN109684853 B CN 109684853B CN 201811199214 A CN201811199214 A CN 201811199214A CN 109684853 B CN109684853 B CN 109684853B
Authority
CN
China
Prior art keywords
image
anonymous
scene
anonymization
scene category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811199214.0A
Other languages
English (en)
Other versions
CN109684853A (zh
Inventor
M·埃迪
D·奎西亚
L·M·艾洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN109684853A publication Critical patent/CN109684853A/zh
Application granted granted Critical
Publication of CN109684853B publication Critical patent/CN109684853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/4446—Hiding of documents or document information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本公开涉及用于确定和提供图像内的匿名内容的装置和方法。一种方法，包括：分析图像以确定图像场景类别；以及通过将变形模型应用于作为整体的图像，来基于所确定的图像场景类别生成匿名图像，使得匿名图像在图像与关联于所标识的场景类别的通用图像之间。

Description

用于确定和提供图像内的匿名内容的装置和方法
技术领域
本申请涉及用于确定和提供图像(诸如匿名私人空间图像)内的匿名内容的装置和方法。
背景技术
在社交网络中，共享图像是最重要的方面之一。然而，选择性共享、仔细决定隐藏什么和公开什么需要花费大量的工作。公司期望通过为用户提供有效工具而最大化对隐私的控制来减轻该工作。对于可视内容，这些工具包括匿名化图像的方式。
在线图像共享是一种日常习惯。在共享其照片时，用户(通常是在不知不觉中)提供有关自己及其位置的信息，从而将其潜在敏感的信息暴露给公司和个人，这些公司和个人可能将其用于对数据所有者、或者对于其身份可以通过分析图像内容而与被链接到图像本身的任何人而言可能不期望的目的。
为了减轻这个问题，计算机科学家已经设计了能够自动隐藏图片特定元素的技术。最常被采用的解决方案操纵图像以隐藏经由面部匿名而描绘的对象的身份或掩盖可以被链接到特定身份的任何可清楚辨认的对象或标记(例如，汽车牌照或纹身)。在这两种情况下，这些技术通过以下来工作：(1)手动建立被认为是敏感的对象的先验列表，(2)检测图像中敏感对象被描绘的区域，以及(3)通过模糊或其他技术来使它们不可辨认。
例如，谷歌街景视图通过使其模糊来匿名化包含面部或车辆登记牌照的图像。
发明内容
在第一方面中提供了：一种装置，其包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中至少一个存储器和计算机程序代码与至少一个处理器一起被配置为：分析图像以确定图像场景类别；以及通过将变形(morphing)模型应用于作为整体的图像，来基于所确定的图像场景类别生成匿名图像，使得匿名图像在图像与关联于所标识的场景类别的通用图像之间。
该至少一个处理器还可以被配置为基于所确定的图像场景类别来选择变形模型。
被配置为分析图像以确定图像场景类别的处理器可以被配置为应用场景检测器以确定图像场景类别。
场景检测器可以是用于图像的场景分类的深度神经网络。
变形模型可以是用于激活最大化的深度生成器。
被配置为基于将变形模型应用于作为整体的图像来生成匿名图像的处理器还可以被配置为，进一步基于匿名化参数来生成匿名图像。
匿名化参数可以被配置以使得：匿名化参数的第一值使所选择的变形模型生成与图像相同的匿名图像；以及匿名化参数的第二值使所选择的变形模型生成与关联于所标识的图像场景类别的通用图像相同的匿名图像。
匿名化参数的第一值可以是最小值，并且匿名化参数的第二值可以是最大值。
匿名化参数的第一值可以是最大值，并且匿名化参数的第二值可以是最小值。
匿名化参数的第一值可以是0，并且匿名化参数的第二值可以是1。
匿名化参数的第一值可以是-1，并且匿名化参数的第二值可以是1。
处理器还可以被配置为确定匿名化参数。
被配置为确定匿名化参数的处理器可以被配置为执行以下中的至少一项：从用户输入确定匿名化参数值；通过确定与图像相关联的应用来确定匿名化参数值。
装置还可以被配置为评估相对于图像的匿名图像以确定匿名图像的质量。
被配置为评估相对于图像的匿名图像以确定匿名图像的质量的处理器可以被配置为评估以下中的至少一项：所确定的图像场景类别在匿名图像中的保留的程度；与图像相关联的情绪(sentiment)在匿名图像中的保留的程度；以及利用匿名图像对图像的所有者的识别的程度。
被配置为评估对匿名图像中的所确定的图像场景类别的保留的程度的处理器可以被配置为将场景检测器应用于匿名图像以确定匿名图像场景类别。
被应用于匿名图像的场景检测器可以是被应用于图像的场景检测器。
被配置为评估对匿名图像中与图像相关联的情绪的保留的程度的处理器可以被配置为：应用情绪检测器深度神经网络来确定匿名图像情绪值和图像情绪值；以及比较匿名图像情绪值和图像情绪值，以确定与图像相关联的情绪在匿名图像中是否被保留。
被配置为评估利用匿名图像对图像的所有者的识别的程度的处理器可以被配置为：将经训练的所有权检测器分类器应用于图像以生成所有权标识符；将经训练的所有权检测器分类器应用于匿名图像以生成另外的所有权标识符；以及将另外的所有权标识符与所有权标识符进行比较，以确定利用匿名图像对图像的所有者的识别的程度。
根据第二方面，提供了一种方法，包括：分析图像以确定图像场景类别；以及通过将变形模型应用于作为整体的图像，来基于所确定的图像场景类别生成匿名图像，使得匿名图像在图像与关联于所标识的场景类别的通用图像之间。
方法还可以包括基于所确定的图像场景类别来选择变形模型。
确定图像场景类别可以包括应用场景检测器来确定图像场景类别。
场景检测器可以是用于图像的场景分类的深度神经网络。
变形模型可以是用于激活最大化的深度生成器。
基于将变形模型应用于作为整体的图像来生成匿名图像还可以包括：进一步基于匿名化参数来生成匿名图像。
匿名化参数被配置以使得：匿名化参数的第一值使所选择的变形模型生成与图像相同的匿名图像；以及匿名化参数的第二值使所选择的变形模型生成与关联于所标识的图像场景类别的通用图像相同的匿名图像。
匿名化参数的第一值可以是最小值，并且匿名化参数的第二值可以是最大值。
匿名化参数的第一值可以是最大值，并且匿名化参数的第二值可以是最小值。
匿名化参数的第一值可以是0，并且匿名化参数的第二值可以是1。
匿名化参数的第一值可以是-1，并且匿名化参数的第二值可以是1。
方法还可以包括确定匿名化参数。
确定匿名化参数可以包括以下中的至少一项：从用户输入确定匿名化参数值；以及通过确定与图像相关联的应用来确定匿名化参数值。
方法还可以包括评估相对于图像的匿名图像以确定匿名图像的质量。
评估相对于图像的匿名图像以确定匿名图像的质量可以包括评估以下中的至少一项：对匿名图像中的所确定的图像场景类别的保留的程度；对匿名图像中与图像相关联的情绪的保留的程度；以及利用匿名图像对图像的所有者的识别的程度。
评估对匿名图像中的所确定的图像场景类别的保留的程度可以包括将场景检测器应用于匿名图像以确定匿名图像场景类别。
被应用于匿名图像的场景检测器可以是被应用于图像的场景检测器。
评估对匿名图像中与图像相关联的情绪的保留的程度可以包括：应用情绪检测器深度神经网络来确定匿名图像情绪值和图像情绪值；以及比较匿名图像情绪值和图像情绪值，以确定与图像相关联的情绪在匿名图像中是否被保留。
评估利用匿名图像对图像的所有者的识别的程度可以包括：将经训练的所有权检测器分类器应用于图像以生成所有权标识符；将经训练的所有权检测器分类器应用于匿名图像以生成另外的所有权标识符；将另外的所有权标识符与所有权标识符进行比较，以确定利用匿名图像对图像的所有者的识别的程度。
根据第三方面，提供了一种计算机程序，其包括适于当程序在数据处理装置上运行时执行第二方面的步骤的程序代码部件。
根据第四方面，提供了一种计算机存储介质，其被配置为存储适合于由至少一个处理器执行的第二方面的步骤。
附图说明
为了帮助理解本公开并且为了示出实施例可以如何被实施，通过示例的方式来参考附图，其中：
图1示意性地示出了适合于实现一些实施例的装置；
图2示意性地示出了根据一些实施例的示例系统的匿名器和评估器组件；
图3示意性地更详细示出了根据一些实施例的如图2中所示的示例匿名器；
图4示意性地示出了根据一些实施例的在图2中所示的评估器内被实现的示例效用(utility)评估模块；
图5示意性地示出了根据一些实施例的在图2中所示的评估器内被实现的示例安全性评估模块；
图6示出了由示例匿名器匿名化的示例图像；
图7示出了根据一些实施例的流程图，其示出了示例匿名器的操作；以及
图8示出了根据一些实施例的流程图，其示出了示例评估器的操作。
具体实施方式
本申请中公开的示例适用于用于分析图像以便标识图像内的特征以进行匿名化的装置、方法和适合于存储这种方法的计算机存储介质，其中匿名化被配置为生成通用特征以代替所标识的特征。此外，该装置、方法和计算机程序被配置为标识图像内所示的要被准确保留的其他特征和/或条件。
因此，在下文中进一步详细描述的概念是这样的概念，其中方法或装置被配置为匿名化私人空间(诸如卧室、起居室的室内个人空间)的图像并且自动评估匿名化的质量。在匿名化后，图像中所描绘的私人空间的身份所有者不能被识别。同时，私人空间的一些基本特性(例如情绪，氛围)在匿名化之后被保留。
用于图像匿名化的方法应该指定匿名化的对象和被用于匿名化的方法。关于匿名化的对象，图像中用户的身份可以通过3种不同的线索而被公开：
i)生物特征线索：对每个人而言唯一的个人生理特性(例如指纹)
ii)软生物特征线索：非独特的物理特性，诸如纹身或眼睛颜色
iii)非生物特征线索：上下文标识符，诸如图像上的文本、牌照、私人环境。
现有方法关注于生物特征和软生物特征线索的图像去标识化(例如，面部匿名化)。一小组技术还被开发来匿名化特定类型的非生物特征线索，即牌照。虽然个人环境的图像可以公开关于用户身份和位置的非常私密的信息，但是还没有明确地设想技术来解决该问题。因此，在下文中进一步详细讨论的概念中，公开了基于计算机视觉来处理和匿名化私人空间的图像的技术。
关于用于匿名化的方法，匿名化技术的目标是对私人空间的图像进行去标识化，即，在目标是以既保护拥有空间的个人的隐私(数据安全性)又同时保留图像的信息属性(数据效用)的方式来移除标识信息的情况下操纵图像。图像操纵应该充分修改图像以掩盖所有者的身份。然而，所引入的变化不应过于具有破坏性，否则图像的原始含义将会丢失。因此，如下文中进一步详细的实施例中所讨论的概念公开了用于私人空间匿名化的技术，其修改整个图像以便去除使其与同一类别的其他图像区分开来的细节。
关于图1，示出了适合于实现一些实施例的装置100或系统的示例。该系统可以基于计算机视觉，其通过安全地对图像进行匿名化来鼓励私人空间图像(例如卧室、起居室的照片)的使用，从而允许人们共享他们个人空间的图像，而不会向算法和非法用户透露他们的身份。在这样的系统中，私人空间的原始图像被操纵，并且原始场景的合成版本被生成。此操作掩盖了私人空间所有者的身份(并确保数据安全性)，同时保留了空间的一些原始特征，诸如场景类别、情绪和氛围(保留数据效用)。在一些实施例中，系统的用户可以通过评估模型来验证被执行的匿名化的质量，该评估模型计算匿名图像的数据安全性和数据效用。
例如，如图1另外所示，不同于标识要被混淆的对象然后移除/混合/模糊它们的传统的图像匿名化系统，该系统通过使用针对深度神经网络可视化的工具来变形整个场景布局而整体修改图像。在变形时，该方法移除使私人空间与同一类的其他空间可区分的所有细节，并输出输入私人空间的“通用化”版本。
装置100包括存储器102和处理器104。装置100还包括106处的收发器/接收器，以用于从其他装置或设备接收诸如图像信息之类的信息。装置100的收发器106可以使得装置100还能够向其他设备和/或远程显示器发送信息(例如图像信息)。收发器106可以被配置为使用任何合适的协议和编码系统以用于信息的发送和/或接收。此外，尽管收发器106被示出为连接到用于与另外的装置或设备进行无线通信的无线天线107，但是在一些实施例中，收发器106被配置为至少部分地通过有线连接来与另外的装置或设备通信。
在一些实施例中，装置100还包括显示器108，或者与显示器108通信，显示器108使得装置100能够以视觉方式提供输出，使得它可以由观看者解释。例如，装置100可以使得视觉信息被提供在可以由用户查看的显示器108上。此外在一些实施例中，该装置可以包括适合于生成要被处理的图像信息的图像源，诸如相机或成像装置。
在一些示例中，装置100以及处理器104和存储器102可以被配置为执行代码或程序，以便使得下文所描述的功能和模型能够操作。
尽管在上面的示例中，装置100被示出为单个设备，并且因此作为单个或集中化装置来操作，但是在一些实施例中，下文所描述的功能可以由彼此之间通信的装置的分布式系统来支持。例如，该功能可以在基于云的系统中被支持，其中装置或服务器在物理上或逻辑上彼此分离。
在一些实施例中，处理器104被配置为实现深度神经网络实现和其他功能，如下文所进一步详细讨论的。
在下文的示例中，该概念关于在图像信息中标识房间或场景的具体示例而被解释。然而，应当理解，如下文所描述的相同过程可以更一般地被应用于包括通过用通用内容来代替而被匿名化的内容的图像数据。此外，在一些实施例中，要被匿名化的内容可以包括或可以关联于图像内将不以这种方式被处理或匿名化以便保持其特定信息内容的内容、特征或条件。
图2示意性地示出了在图1中所示的系统中实现的示例组件。在一些实施例中，该系统包括匿名器201或匿名化模块，其被配置为接收图像i 200作为输入并产生图像I 200的匿名i*202版本。如下文所描述的实施例中的匿名器201替代如当前的匿名化技术那样检测对象然后使它们模糊，而获取每个图像并作为整体使其“变形”，而不需要标识场景中的隐私敏感部分。此外，该系统包括评估器203或评估模块，其被配置为接收图像i 200和匿名图像i*202并且被配置为评估匿名化的质量(其可以在数据安全性和数据效用评估方面被执行)。
图3更详细地示出了根据一些实施例的匿名器201。如先前所讨论的，匿名器201被配置为获取每个输入图像并作为整体来使其“变形”，而不需要如当前技术中所执行的那样标识场景中的隐私敏感部分。
匿名器201接收原始图像i 200作为输入。
匿名器201可以包括场景检测器301。原始图像i 200首先由场景检测器S 301处理。场景检测器301被配置为标识图像中所描绘的场景或对图像中所描绘的场景进行分类。例如，在图像实际上是建筑的情况下，场景检测器可以被配置为标识图像是否是花园、厨房、卧室等中的一个。在一些实施例中，场景检测器301由深度神经网络φ场景分类实现。深度神经网络在图3中被示出，其包括网络场景输出层神经元φ1 3031、φh 303h、φn 303n。因此，网络处理原始图像i 200并根据图像表示特定于每个神经元的场景类别的概率来激活输出神经元。与具有最高激活的神经元相对应的场景类别被选择。场景检测器301的输出可以被传递给分类器305。
在一些实施例中，匿名器201可以包括分类器305。分类器305可以被配置为从深度神经网络场景检测器301接收输出神经元，并且被配置为给出场景类别h的输出和相应的分类器φ_h。这些输出可以被传递给变形模块307。
在一些实施例中，场景检测器和分类器可以由在MIT Places数据集上训练的AlexNet实现。关于MIT Places数据集的更多信息可以从B.Zhou,A.Lapedriza,J.Xiao,A.Torralba,和A.Oliva.Learning Deep Features for Scene Recognition UsingPlaces Database.In Advances in Neural Information Processing Systems(NIPS)2014中找到。在一些实施例中使用这样的实现时，可以识别205个场景类别。这种专门的训练集用于侧重于空间的分类而不是对象的分类。因此，在图像是对象的一些实施例中，这些对象本身可以作为整体被分类和匿名化，而不是对对象的部分的选择。
在一些实施例中，匿名器201可以包括匿名化参数α输入309。匿名化参数α输入309可以通过任何合适的方式来提供或确定。例如，匿名化参数α输入309可以通过被配置为控制图像的匿名化程度的用户输入来提供。在一些实施例中，匿名化参数基于与图像相关联的应用和/或所确定的图像类别来确定。因此，例如，在匿名化操作与社交媒体应用相关联的情况下(用户正在将图像上载到社交媒体平台)，则匿名化参数值高，而在匿名化操作与电子邮件或直接文件共享应用相关联的情况下(用户正在经由电子邮件共享图像)，则匿名化参数低。类似地，在图像具有潜在敏感位置(例如卧室)的情况下，与“卧室”的图像类别相关联的匿名化参数值是高级别的，并且图像被显著地匿名化。然而，在图像不是潜在敏感位置(例如棚屋(shed)或车库)的情况下，则与“棚屋”的图像类别相关联的匿名化参数是低级别的，并且图像不被显著地匿名化。在一些实施例中，匿名化参数α输入309可以作为关于来自评估器203的评估过程的反馈环的一部分而被控制或提供。因此，匿名化参数α输入309可以是如下的值，诸如使得所选择的变形模型生成与图像相同的匿名图像的匿名化参数的第一值，以及使得所选择的变形模型生成与关联于所标识的图像场景类别的通用图像相同的匿名图像的匿名化参数的第二值。
在一些实施例中，匿名化参数的第一值可以是值范围上的最小值，并且匿名化参数的第二值可以是值范围上的最大值。换言之，“较小”或“更负”值生成更接近输入图像的输出图像，并且“较大”或“更正”值生成更接近与所标识的图像类别相关联的通用图像的输出图像。
因此，例如，在值的范围是0到1的情况下，因此匿名化参数的第一值可以是0，并且匿名化参数的第二值可以是1。然而，可以使用任何合适的范围，例如[-1,1]、[0,100]、[0,11]。
在一些实施例中，匿名化参数的第一值可以是在值的范围上的最大值，并且匿名化参数的第二值可以是在值的范围上的最小值。换言之，“较大”或“更正”的值生成更接近输入图像的输出图像，并且“较小”或“更负”的值生成更接近与所标识的图像类别相关联的通用图像的输出图像。
在一些实施例中，输入匿名化参数被定义为值的第一范围，然后在0与1之间被归一化并应用于变形模型，或者可以直接从0与1之间的值范围中选择。在一些实施例中，匿名化参数α的归一化可以在变形处理期间在变形模块307中被执行。匿名化参数α输入309被配置为被输入给变形模块307。
在一些实施例中，匿名器201可以包括变形模块307。变形模块307可以被配置为接收原始图像i 200、匿名化参数309、场景类别h和相应的分类器φ_h。
变形模块307可以是从预先训练模型的池中选择的场景特定变形模块M。变形模块307接收图像i 200和用于选择需要被应用于图片的期望的匿名化级别的匿名化参数∈[0,1]。变形模块307被配置为然后处理输入的原始图像i 200并输出匿名图片i*202，其是i的“通用化”版本。换言之，图像i 200以如下的方式被修改：使图像i可与类别h的其他图像区分开的所有细节被移除。在一些实施例中，变形模块307利用用于激活最大化深度的生成器(DG-AM)来实现。给定输入图像i，DG-AM以这样的方式迭代地重新计算i的像素的颜色，以使得输出图像i*既最大化神经元h的激活又看起来具有照片真实感。在一些实施例中，这是通过将最大化调节到先前的图像来执行的。这等同于找到最大化以下表达式的特征向量f：
i*＝G(f)|ar gmax(φh(G(f))-λ‖f‖)
其中G(f)是从候选特征向量f合成地被生成的图像；φh(G(f))是场景分类器φh中神经元h的激活值(要被最大化的值)，并且λ是L2正则化项。
f的初始化对匿名化过程很重要。如果f是用随机噪声来初始化的，则所得到的G(f)将是(例如，花园的)类别h的平均表示。相反，由于f是用i来初始化的，则所得到的G(f)是i的变形版本。也就是说，使i可与类别h的其他图像区分开的细节被移除(例如，使i可与花园的图像区分开的细节被移除)。总的来说，迭代的结果是图像G(f)，其外观接近于类别h的平均表示。
在一些实施例中，函数G由Yosinski等人的合成图像生成器提供，该合成图像生成器在“Understanding Neural Networks through Deep Visualization”，ArXiv PreprintarXiv：1506.06579,2015中被进一步详细解释。此外，合成图像生成器可以在ImageNet上被训练，ImageNet的进一步细节可以从A.Krizhevsky,I.Sutskever和G.E.Hinton.ImagenetClassification with Deep Convolutional Neural Networks.In Advances in NeuralInformation Processing Systems(NIPS),2012中找到。
在这样的实施例中，超参数可以被选择为30次迭代，并且λ＝0.005。α被用作初始学习率超参数以控制原始图像被变形的程度。低变形(例如，学习率0.01)生成在颜色和结构方面仍然与初始图像i非常相似的变形图像i*。实现中间变形(例如，学习率0.5)，所生成的变形图像i*具有类别h的平均图像与原始图像i之间的外观。高变形(例如，接近1的学习率)产生与类别h的平均图像类似的变形图像i*。
关于图4和图5，示出了如在评估器203内被实现的数据效用评估模块和数据安全性评估模块的示例。如前所讨论的，评估器203被配置为在数据效用和数据安全性方面提供对匿名化的质量的评估。评估器将原始图像i和匿名图像i*作为输入，并且可以包括数据效用评估器和安全性评估器，数据效用评估器被配置为评估在匿名化之后原始图像的含义被保留的程度，安全性评估器被配置为评估在匿名化之后原始图像不能被识别的程度。
图4示出了数据效用评估模块400的一个示例。
在一些实施例中，数据效用评估模块400包括场景检测器401(场景效用评估器)，其被配置为测试验证在匿名化之后场景的语义类别(例如，卧室、起居室)被保留。一些实施例中的场景检测器401由场景检测器模块S实现(诸如在匿名器201内被实现的)，并且被配置为接收匿名图像i*并输出匿名图像的场景分类类别h*。匿名图像i*的场景类别h*可以被传递给比较器405。在一些实施例中，原始图像i进一步通过场景检测器401被传递以再现原始图像i的场景类别h，其也被传递给比较器405。在一些实施例中，原始图像场景类别h被存储，并且因此，所存储的原始图像场景类别h被检索并传递给比较器405(并且因此场景检测器401仅处理匿名图像i*)。数据效用评估模块可以包括效用比较器405。效用比较器405可以被配置为接收原始图像场景类别h和匿名图像场景类别h*并且比较它们以确定是否存在匹配。效用比较器405的输出可以用于确定对匿名化的最终评估。
在一些实施例中，数据效用评估模块400包括情绪检测器SN 403。情绪检测器403被配置为接收原始图像i和匿名图像i*，并验证由原始图像引起的情绪在匿名化之后被保留。在一些实施例中，情绪检测器是用于情绪分类的深度神经网络合适的实现的一个示例可以从Campos,Victor,Brendan Jou和Xavier Giro-i-Nieto."From pixels tosentiment:Fine-tuning cnns for visual sentiment prediction."Image and VisionComputing(2017)中找到。情绪检测器的输出是相对于原始图像i的值s和相对于匿名图像i*的值s*，其可以被输出到情绪比较器407。值s和s*反映了图像的情绪的积极程度。数据效用评估模块还可以包括情绪比较器407。情绪比较器407可以被配置为接收原始图像情绪值s和匿名图像情绪值s*，并比较它们以确定它们之间的距离。在一些实施例中，该距离与阈值进行比较，以确定在原始图像与匿名图像之间情绪是否被保持。
图5示出了安全性评估模块或评估器500的一个示例。在一些实施例中，安全性评估评估器500可以包括所有权检测器OD 501。所有权检测器501被配置为接收原始图像i和匿名图像i*并试图识别私人空间的图像的所有者。在学习阶段，OD 501分类器利用来自不同所有者的私人空间(例如，卧室)的图像而被训练：每个图像用所有者ID来标记，并且每个所有者ID的多个图像被包含在训练集中。在给定图像特征的情况下，分类器学习如何自动检测私人空间图像的所有者IDο。匿名化技术的目标是击败这个分类器。因此，如果由所有权分类器分配给匿名图像i*的所有者id o*与未修改图像i的原始所有者idο不匹配，则数据安全性测试是正的(positive)。因此，在一些实施例中，所有权检测器被配置为输出关于原始图像i的所有权ID o，以及输出关于可以被输出到安全性比较器503的匿名图像i*的所有权ID o。数据安全性评估模块500还可以包括安全性比较器503。安全性比较器503可以被配置为接收原始图像所有权ID o和匿名图像所有权ID o*并比较它们以确定它们之间的距离，并且从而确定匿名化过程是否已移除匿名图像与原始图像所有者之间的关联。换言之，如果由所有权分类器分配给匿名图像i*的所有者id o*与未修改图像i的原始所有者id o不匹配，则数据安全性测试是正的。
关于图6，示出了利用我们的技术而被匿名化的卧室图像的三个示例，它们都共享相同的视觉样式。通过本文所描述的方法而被匿名化的图像将由任何非专家马上就能容易地识别。匿名图像中的对象因此看起来略微失真，并且被描绘为具有特征在于更平滑的角度和褪色的颜色和阴影的典型风格特征，如图6所示。
关于图7，示出了概括图2中所示的示例匿名器201的操作的示例流程图。
在一些实施例中，原始图像被接收。
接收原始图像的操作在图7中由步骤701示出。
然后，场景检测器可以被应用于所接收的图像，以便标识和分类场景。
应用场景检测以标识图像中的场景的操作在图7中由步骤703示出。
然后，场景特定的变形模型可以基于所标识的场景而被选择。
选择场景特定变形模型的操作在图7中由步骤705示出。
此外，匿名化参数被确定和/或接收。
接收和/或确定匿名化参数的操作在图7中由步骤707示出。
然后，所选择的场景特定变形模型基于匿名化参数而被应用于图像以生成匿名图像。
基于匿名化参数将场景特定变形模型应用于图像以生成匿名图像在图7中由步骤709示出。
然后，匿名图像i*可以被输出到例如评估模块以被评估。
输出匿名图像i*的操作在图7中由步骤711示出。
关于图8，示出了概括图2中所示的示例评估器203的操作的示例流程图。
在一些实施例中，原始图像i和匿名图像i*被接收。
接收原始图像i和匿名图像i*的操作在图8中由步骤801示出。
然后，评估可以执行评估操作以确定原始图像的含义在匿名图像中被保留的程度。
评估原始图像的含义在匿名图像中被保留的程度的操作在图8中由步骤803示出。
该操作又可以被分为两个进一步的评估。首先是对图像内场景的语义类别的保留的验证。对图像的语义类别保留的验证在图8中由(子)步骤805示出。其次是对图像内所观察到的情绪的保留的验证。对图像的所观察到的情绪保留的验证在图8中由(子)步骤807示出。
在原始图像的含义在匿名图像内未被保留的情况下，则匿名化操作可以转到失败状态。换言之，当输入是原始图像和匿名图像时，来自场景检测器的输出中缺少匹配，或者基于原始图像和匿名图像而输出的情绪值显著不同(并且高于所确定的阈值)。
失败状态在图8中由步骤813表示，并且可以反映其中匿名化模型被检查或者进一步的训练被应用于模型并且原始图像被输入到新训练或检查的模型的操作。
在原始图像的含义在匿名图像内被保留的情况下(场景检测器输出相同，并且情绪相似)，则可能存在对原始图像的所有者在匿名化之后不能被识别的程度的评估。
评估原始图像的所有者在匿名化之后不能被识别的程度的操作在图8中由步骤809示出。
在评估确定原始图像所有者能够从匿名图像中被识别的情况下(对于原始图像和匿名图像两者而言，所有者ID相同)，则匿名化操作可以转到失败状态。
在评估确定原始图像所有者不能从匿名图像中被识别的情况下(对于原始图像和匿名图像两者而言，所有者ID不同)，则匿名化操作可以转到OK状态。
OK状态在图8中由步骤811表示，并且可以是输出对匿名化的评估以指示匿名化是可接受的一个状态。
因此，使用这样的实施例的实现允许以提供实际上与真实数据无法区分的一致输出的方式对图像进行匿名化。输出可以被存储在数据库中，并且甚至可以用于进一步的机器学习系统，而不损害人的身份。此外，通过变形整个图像具有提高处理效率的技术益处，因为在试图以现有技术中执行的方式来对这些所标识的个体对象进行匿名化之前不需要识别图像中的个体对象。
通常，各种实施例可以用硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以用硬件来实现，而其他方面可以用固件或软件来实现，固件或软件可以由控制器、微处理器或其他计算设备来执行，然而本发明不限于此。虽然本发明的各个方面可以被图示和描述为框图、流程图或使用一些其他图形表示，但是很好理解的是，本文所描述的这些块、装置、系统、技术或方法可以作为非限制性示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合中被实现。
本发明的实施例可以通过可由移动设备的数据处理器(诸如在处理器实体)、由硬件、或由软件和硬件的组合执行的计算机软件来实现。包括软件例程、小应用程序和/或宏的计算机软件或程序(也被称为程序产品)可以被存储在任何装置可读数据存储介质中，并且它们包括用来执行特定任务的程序指令。计算机程序产品可以包括一个或多个计算机可执行组件，当程序运行时，这些组件被配置为执行实施例。一个或多个计算机可执行组件可以是至少一个软件代码或其部分。
此外，在这方面，应该注意，如附图中的逻辑流程的任何框可以表示程序步骤，或互连的逻辑电路、块和功能，或程序步骤以及逻辑电路、块和功能的组合。软件可以被存储在物理介质上，诸如在存储器芯片上、或者在处理器内被实现的存储器块上、在诸如硬盘或软盘之类的磁介质上、以及在诸如例如DVD及其数据变体CD之类的光学介质上。物理介质是非暂态介质。
存储器可以具有适合于本地技术环境的任何类型，并且可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移除存储器。数据处理器可以具有适合于本地技术环境的任何类型，并且作为非限制性示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、FPGA、门级电路和基于多核处理器架构的处理器中的一个或多个。
本发明的实施例可以在诸如集成电路模块的各种组件中被实践。集成电路的设计基本上是高度自动化的工艺。复杂且功能强大的软件工具可用于将逻辑级设计转换为准备在半导体衬底上被蚀刻和形成的半导体电路设计。
前面的描述已经通过非限制性示例提供了对本发明的示例性实施例的完整且信息丰富的描述。然而，当结合附图和所附权利要求阅读时，鉴于前面的描述，各种修改和调整对于相关领域的技术人员来说可以变得显而易见。然而，对本发明的教导的所有这些和类似的修改仍将落入如所附权利要求中所限定的本发明的范围内。实际上，存在另外的实施例，其包括一个或多个实施例与先前所讨论的任何其他实施例的组合。

Claims (18)

1.一种确定和提供图像内的匿名内容的方法，包括：
分析图像以确定图像场景类别；以及
通过将变形模型应用于作为整体的所述图像，基于所确定的所述图像场景类别来生成匿名图像，使得所述匿名图像在所述图像与关联于所确定的所述图像场景类别的通用图像之间，
其中基于将所述变形模型应用于作为整体的所述图像来生成所述匿名图像还包括：基于匿名化参数来生成所述匿名图像，其中所述匿名化参数被配置以使得：
所述匿名化参数的第一值使得所选择的所述变形模型生成与所述图像相同的匿名图像；以及
所述匿名化参数的第二值使得所选择的所述变形模型生成与关联于所确定的所述图像场景类别的所述通用图像相同的匿名图像。
2.根据权利要求1所述的方法，还包括基于所确定的所述图像场景类别来选择所述变形模型。
3.根据权利要求1所述的方法，其中确定所述图像场景类别包括应用场景检测器以确定所述图像场景类别。
4.根据权利要求3所述的方法，其中所述场景检测器是用于图像的场景分类的深度神经网络。
5.根据权利要求1所述的方法，其中所述变形模型是用于激活最大化的深度生成器。
6.根据权利要求1所述的方法，还包括确定所述匿名化参数。
7.根据权利要求6所述的方法，其中确定所述匿名化参数包括以下中的至少一项：
从用户输入确定所述匿名化参数值；
通过确定与所述图像相关联的应用来确定所述匿名化参数值。
8.根据权利要求1所述的方法，还包括评估相对于所述图像的所述匿名图像以确定所述匿名图像的质量。
9.根据权利要求8所述的方法，其中评估相对于所述图像的所述匿名图像以确定所述匿名图像的质量还包括评估以下中的至少一项：
所确定的所述图像场景类别在所述匿名图像中的保留的程度；
与所述图像相关联的情绪在所述匿名图像中的保留的程度；以及
利用所述匿名图像对所述图像的所有者的识别的程度。
10.根据权利要求9所述的方法，其中评估所确定的所述图像场景类别在所述匿名图像中的保留的所述程度还包括：将场景检测器应用于所述匿名图像以确定匿名图像场景类别。
11.根据权利要求10所述的方法，其中确定所述图像场景类别包括将场景检测器应用于所述图像以确定所述图像场景类别，并且其中被应用于所述匿名图像的所述场景检测器是被应用于所述图像的所述场景检测器。
12.根据权利要求9所述的方法，其中评估与所述图像相关联的所述情绪在所述匿名图像中的所述保留的所述程度包括：
应用情绪检测器深度神经网络来确定匿名图像情绪值和图像情绪值；
比较所述匿名图像情绪值和所述图像情绪值，以确定与所述图像相关联的所述情绪在所述匿名图像中是否被保留。
13.根据权利要求9所述的方法，其中评估利用所述匿名图像对所述图像的所有者的所述识别的所述程度包括：
将经训练的所有权检测器分类器应用于所述图像以生成所有权标识符；
将所述经训练的所有权检测器分类器应用于所述匿名图像以生成另外的所有权标识符；
将所述另外的所有权标识符与所述所有权标识符进行比较，以确定利用所述匿名图像对所述图像的所有者的识别的所述程度。
14.一种用于确定和提供图像内的匿名内容的装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码与所述至少一个处理器一起被配置为：
分析图像以确定图像场景类别；以及
通过将变形模型应用于作为整体的所述图像，基于所确定的图像场景类别来生成匿名图像，使得所述匿名图像在所述图像与关联于所确定的所述场景类别的通用图像之间，
其中基于将所述变形模型应用于作为整体的所述图像来生成所述匿名图像还被配置为：基于匿名化参数来生成所述匿名图像，其中所述匿名化参数被配置以使得：
所述匿名化参数的第一值使得所选择的所述变形模型生成与所述图像相同的匿名图像；以及
所述匿名化参数的第二值使得所选择的所述变形模型生成与关联于所标识的所述图像场景类别的所述通用图像相同的匿名图像。
15.根据权利要求14所述的装置，还被配置为基于所确定的所述图像场景类别来选择所述变形模型。
16.根据权利要求14所述的装置，其中所述图像场景类别的所述确定还被配置为应用场景检测器以确定所述图像场景类别。
17.根据权利要求16所述的装置，其中所述场景检测器是用于图像的场景分类的深度神经网络。
18.根据权利要求14所述的装置，还被配置为评估相对于所述图像的所述匿名图像以确定所述匿名图像的质量。
CN201811199214.0A 2017-10-16 2018-10-15 用于确定和提供图像内的匿名内容的装置和方法 Active CN109684853B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17196507.2 2017-10-16
EP17196507.2A EP3471060B1 (en) 2017-10-16 2017-10-16 Apparatus and methods for determining and providing anonymized content within images

Publications (2)

Publication Number Publication Date
CN109684853A CN109684853A (zh) 2019-04-26
CN109684853B true CN109684853B (zh) 2023-12-29

Family

ID=60161943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811199214.0A Active CN109684853B (zh) 2017-10-16 2018-10-15 用于确定和提供图像内的匿名内容的装置和方法

Country Status (3)

Country Link
US (1) US10924632B2 (zh)
EP (1) EP3471060B1 (zh)
CN (1) CN109684853B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
CN112686278B (zh) * 2019-10-18 2023-10-20 杭州海康威视数字技术股份有限公司 模型获取方法、装置及存储介质
WO2022107582A1 (ja) * 2020-11-18 2022-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータが読み取り可能な記録媒体、及びモデルの生成方法
TWI768625B (zh) * 2020-12-28 2022-06-21 財團法人工業技術研究院 嬰兒照護影像分析的方法及系統
WO2023060918A1 (zh) * 2021-10-14 2023-04-20 天翼数字生活科技有限公司 一种基于语义和姿态图引导的图片匿名化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447392A (zh) * 2014-08-22 2016-03-30 国际商业机器公司 用于保护特定信息的方法和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126190B2 (en) * 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US7860342B2 (en) * 2005-07-01 2010-12-28 The Invention Science Fund I, Llc Modifying restricted images
US8660319B2 (en) * 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
US8744119B2 (en) * 2011-01-12 2014-06-03 Gary S. Shuster Graphic data alteration to enhance online privacy
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
WO2017129804A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US20190019225A1 (en) * 2017-07-11 2019-01-17 Accurate Group, LLC Systems and methods for remote real estate inspections and valuations

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447392A (zh) * 2014-08-22 2016-03-30 国际商业机器公司 用于保护特定信息的方法和系统

Also Published As

Publication number Publication date
EP3471060A1 (en) 2019-04-17
US20190116290A1 (en) 2019-04-18
US10924632B2 (en) 2021-02-16
EP3471060B1 (en) 2020-07-08
CN109684853A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109684853B (zh) 用于确定和提供图像内的匿名内容的装置和方法
Ribaric et al. De-identification for privacy protection in multimedia content: A survey
US10621379B1 (en) Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
US10621378B1 (en) Method for learning and testing user learning network to be used for recognizing obfuscated data created by concealing original data to protect personal information and learning device and testing device using the same
US20200034520A1 (en) Method for training and testing obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same
US11762998B2 (en) System and method for protection and detection of adversarial attacks against a classifier
Gu et al. Password-conditioned anonymization and deanonymization with face identity transformers
KR102395452B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
KR20220052838A (ko) 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
CN111382666A (zh) 具有用户验证的设备和方法
Rafique et al. Deep fake detection and classification using error-level analysis and deep learning
US11335128B2 (en) Methods and systems for evaluating a face recognition system using a face mountable device
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
Hu et al. On digital image trustworthiness
Anwar et al. Perceptual judgments to detect computer generated forged faces in social media
US11388330B1 (en) Method for tracking target objects in a specific space, and device using the same
US20220172416A1 (en) System and method for performing facial image anonymization
JP2023010582A (ja) 空間内でオブジェクトを匿名化して追跡する方法及びこれを利用した匿名化追跡装置
Zhong et al. Steganographer detection via multi-scale embedding probability estimation
Lim et al. Metamorphic testing-based adversarial attack to fool deepfake detectors
CN112668401A (zh) 一种基于特征解耦合的人脸隐私保护方法和装置
Grinchuk et al. Training a multimodal neural network to determine the authenticity of images
Maity et al. Preserving Privacy in Video Analytics: A Comprehensive Review of Face De-Identification and Background Blurring Techniques
Wang et al. Privacy protection based on mask template
Tyagi et al. A New Face Recognition System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant