CN104660975B - 在计算机系统中实施的用于产生屏蔽图像的方法 - Google Patents

在计算机系统中实施的用于产生屏蔽图像的方法 Download PDF

Info

Publication number
CN104660975B
CN104660975B CN201410643411.2A CN201410643411A CN104660975B CN 104660975 B CN104660975 B CN 104660975B CN 201410643411 A CN201410643411 A CN 201410643411A CN 104660975 B CN104660975 B CN 104660975B
Authority
CN
China
Prior art keywords
image
shielding
area
pixel
hiding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410643411.2A
Other languages
English (en)
Other versions
CN104660975A (zh
Inventor
古斯塔·特雷夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN104660975A publication Critical patent/CN104660975A/zh
Application granted granted Critical
Publication of CN104660975B publication Critical patent/CN104660975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种梯度隐私屏蔽,具体涉及在计算机系统中实施的用于隐藏由多个像素组成的图像的第一区域的方法。所述方法包括获取屏蔽,所述屏蔽针对所述图像的第一区域中的每个像素限定隐藏水平;并且根据所述屏蔽中针对每个像素的隐藏水平隐藏所述图像的第一区域中的像素。

Description

在计算机系统中实施的用于产生屏蔽图像的方法
技术领域
本发明涉及数字视频监控系统,并且具体来说,涉及由数字视频监控系统监控的场景中视图的部分屏蔽。
背景技术
相机被用于室内和室外的许多不同应用中,以监控各种环境。在某些情况下,例如,因为隐私的原因,可能需要将捕获图像的一个部分处理为不同于另一个部分。在这种情况下,隐私屏蔽可以由操作者在监视设备的设置期间限定。隐私屏蔽可以被用于使图像的某些部分失真或完全遮挡图像的某些部分。例如,在需要监视相机,但是例如为了保护被监控的人的隐私,一些部分应当对监视系统操作者隐藏的情况下,这是有用的。
通常,隐私屏蔽由操作者在系统的设置期间通过使用图形用户接口手动地标记图像中要被屏蔽的区域而创建。被屏蔽的区域通常是多边形或圆形,并且通常可以容易地区别于相机所捕获的图像的剩余部分。在某些情况下,多边形或圆形内的区域被“马赛克”或“变模糊”,同时在其他情况下,多边形或圆形具有均匀的颜色(例如黑色)以屏蔽图像的该区域。不论哪种情况,屏蔽都是非常均匀的,并且这对图像的影响会很大,其将注意力吸引到屏蔽本身,而不是图像中实际感兴趣的信息。
发明内容
本发明的目标是完全或部分地消除上面的问题。
根据第一方面,本发明涉及一种在计算机系统中用于隐藏由多个像素组成的图像的第一区域的方法。所述方法包括以下步骤:获取屏蔽,所述屏蔽针对所述图像的第一区域中的每个像素限定隐藏水平,其中所述屏蔽中的两个单个像素具有不同的隐藏水平;并且基于所述屏蔽中针对每个像素的隐藏水平隐藏所述图像的第一区域中的像素。
这提供了一种屏蔽图像的一些部分的方法,这种方法不会对图像产生显著影响,并且避免将注意力吸引至屏蔽本身而不是图像中实际感兴趣的信息。此外,因为屏蔽中的单个像素具有不同的隐藏水平,这允许屏蔽的一些部分覆盖需要比屏蔽的另一个部分更失真的东西。
在一个实施例中,图像的内容被分析,并且通过将一个或多个规则施加至所述分析的结果来创建屏蔽,所述规则相对于图像内容限定隐藏水平。这使得用户能够配置用于限定图像的各个对象或区域应当被隐藏到何种程度的规则。
在一个实施例中,隐藏像素包括将像素模糊(blurring)到基于屏蔽中针对每个像素的隐藏水平的程度。在许多情况下,与简单地改变像素的“透明度”相比,通过使用例如高斯模糊或盒模糊而进行的模糊可以提供隐藏像素的更好方法,有时这可能仍旧允许图像中的细节可识别。
在一个实施例中,表示所述图像中靠近捕获所述图像的相机的对象的像素具有高于表示所述图像中远离捕获所述图像的相机的对象的像素的隐藏水平。这使得可以将对象靠近因此需要更多失真的区域模糊到更高的程度,同时较轻的模糊可以被施加至所述图像中示出对象远离因此需要较轻的模糊的区域。
在一个实施例中,所述屏蔽覆盖整个图像,并且所述隐藏水平处于0%至100%的范围内。这使得可以控制所述图像中每个单个像素的隐藏,并且可以实现非常细粒度的屏蔽,其可以被限定为使得能够以极高的细节水平屏蔽期望屏蔽的特征。
在一个实施例中,所述第一区域表示使用施加至连续的捕获图像的对象追踪算法而识别的对象。这允许传统的对象检测和对象追踪算法被用于检测或识别例如人或动物、面部、牌照、文本或视觉信息。一旦对象被识别,就可以如上所描述的基于一个或多个预定规则向这些对象自动施加适应性隐私屏蔽,而不需要任何用户输入。然后,被识别的对象可以贯穿一些连续的捕获图像被自动地跟随并屏蔽。
在一个实施例中,所述第一区域表示通过确定对象和对象的环境之间的温度差而识别的对象。这使用户能够设定指定例如当对象和其周围环境之间存在某个温度差时屏蔽应当被施加的规则。隐藏的程度可以基于温度差而改变。例如,个人的四肢和衣服经常低于37摄氏度,并且因此被模糊的程度轻于人的面部,这是可接受的,因为面部通常是由于隐私原因需要更多保护的个人特征。
在一个实施例中,所述第一区域表示所述图像的背景,并且所述图像的第二区域作为隐藏所述图像的背景的结果而被强调。通过屏蔽“背景”而不是图像中的“对象”,具体是如果与各种对象和/或运动检测技术相结合,则这些隐私屏蔽可以被用于对照那些仅仅经过的人或动物而“高亮”例如在相机描述的场景中“闲逛”的人或动物。类似地,屏蔽可以被用于“高亮”人群中与人群中的其他人相比具有更高体温的人。
在一个实施例中,图像的内容被分析,并且通过将一个或多个规则施加至所述分析的结果来创建屏蔽,所述规则限定在所述图像的第一区域的边缘周围的梯度过渡,以在图像的屏蔽区域和未屏蔽区域之间创建平滑过渡。这在图像的屏蔽和未屏蔽区域之间创建更平滑的过渡,这进一步避免了将注意力吸引至屏蔽本身而不是图像中实际感兴趣的信息。
在一个实施例中,屏蔽是隐私屏蔽。即,例如在需要监视相机,但是例如为了保护被监控的人的隐私,一些部分应当对监视系统操作者隐藏的情况下,这里描述的屏蔽技术是有用的。
根据第二方面,本发明涉及一种计算机可读记录介质,其上记录有当在具有处理能力的设备上执行时用于实施上面的方法的程序。
计算机可读记录介质包括与方法的优点相对应的优点,并且可以类似地变化。
本发明一个或多个实施例的细节被阐明在附图和以下描述中。从描述和附图,以及从权利要求,本发明的其他特征和优点将会显而易见。
要指出的是,本发明涉及权利要求中列举的特征的所有可能组合。
除非明确陈述,否则这里公开的任意方法的步骤不必以所公开的确切顺序执行。
附图说明
现在将参考示出本发明实施例的附图更详细地描述本发明的以上方面和其它方面。
图1示出根据一个实施例的用于捕获或调查一场景的摄像机100的示意图。
图2A示出根据一个实施例的由图1的相机捕获的图像的示意性示例。
图2B示出被施加至图2A的图像的传统隐私屏蔽的示意性示例。
图3示出被施加至图2A的图像的根据一个实施例的隐私屏蔽的示意性示例。
图4A是将图2B中隐私屏蔽的“屏蔽不透明度”示出为沿着穿过图2A所示图像中四个窗口的像素水平线的函数的示意图。
图4B是示出根据一个实施例的将图3中隐私屏蔽的“屏蔽不透明度”示出为沿着穿过图2A所示图像中四个窗口的像素水平线的函数的示意图。
图5是示出根据一个实施例的将隐私屏蔽施加至所捕获的图像的过程500的流程图。
各附图中相同的附图标记指代相同的元件。
具体实施方式
概述
如上面所讨论,无论使用哪种类型的屏蔽(多边形、马赛克、模糊等),当前的隐私屏蔽通常非常均匀。这对于观看图像的人来说,很明显图像的某个部分已被屏蔽。即,图像的屏蔽和未屏蔽部分之间存在清晰的可视过渡。这里所描述的各个实施例通过提供新型的隐私屏蔽解决了这个问题,该新型的隐私屏蔽在图像的屏蔽和未屏蔽部分之间创建更平滑的过渡,因此获得了对于正看图片的人来说更“正常”样子的图像,其中屏蔽和未屏蔽区域之间的明显过渡不存在。
各个实施例还提供通过以逐个像素为基础改变屏蔽的程度仅部分隐藏隐私屏蔽之下的部分的隐私屏蔽。如以下进一步详细描述,在一些实施例中,这可以通过使用不同的模糊水平或针对隐私屏蔽的不同区域使用不同的“隐藏水平”而实现。例如,隐私屏蔽的各个像素可以具有不同的屏蔽水平,以允许隐私屏蔽的一些部分覆盖需要比隐私屏蔽的另一个部分更失真的东西。例如,可能期望将其中的一些对象靠近并且因此需要更多失真的区域模糊到更高的程度,同时较轻的模糊可以被施加至图像中示出对象较远并且因此需要较轻模糊的区域。如以下也将描述,屏蔽的不同部分的强度可以根据与图像内容有关的参数而动态地设定。在一个实施例中,屏蔽覆盖整个图像并且从0%屏蔽改变至100%屏蔽。
本领域技术人员将理解,本发明的多个方面可以体现为系统、方法或计算机程序产品。因此,本发明的多个方面可以采用完全硬件实施例的形式、完全软件实施例(包括固件、常驻软件、微代码等)的形式、或者结合这里通常可能被称为是“电路”、“模块”或“系统”的软件方面和硬件方面的实施例的形式。此外,本发明的多个方面可以采用被体现为其上嵌入有计算机可读程序代码的一个或多个计算机可读介质的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是,例如,但不限于,电子、磁、光、电磁、红外或半导体系统、装置或设备、或上述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷尽列表)将包括以下:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备,或者上述的任何合适的组合。在本文件中,计算机可读存储介质可以是可包含或存储通过或结合指令执行系统、装置或设备而使用的程序的任何有形介质。
计算机可读信号介质可以包括其中例如在基带中或作为载波的一部分嵌入有计算机可读程序代码的传播数据信号。这种传播信号可以采用多种形式的任一种,包括但不限于,电磁的、光学的、或其任意适合的组合。计算机可读信号介质可以是任意计算机介质,其不是计算机可读存储介质,并且其可以通信、传播或传输通过或结合指令执行系统、装置或设备使用的程序。
在计算机可读介质上嵌入的程序代码可以使用任意适合的介质发送,包括但不限于无线、电话线、光缆、RF等、或上述的任意适当组合。实施本发明的多个方面的操作的计算机程序代码可以通过一个或多个编程语言的任意组合来书写,包括诸如Java、Smalltalk、C++等的面向对象的编程语言,以及诸如“C”编程语言或类似编程语言的传统程序化编程语言。程序代码可以作为独立运行的软件包完全在用户的计算机上、部分在用户的计算机上执行,可以部分在用户的计算机上且部分在远程计算机上执行,或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可以通过任意类型的网络连接至用户的计算机,任意类型的网络包括局域网(LAN)或广域网(WAN),或者该连接可以去往外部计算机(例如,通过使用因特网服务提供商的因特网)。
以下结合根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。可以理解的是,流程图和/或框图的每个框以及流程图和/或框图中的框的组合,可以由计算机程序指令实施。这些计算机程序指令可以被提供至通用计算机、专用计算机或其他可编程数据处理装置的处理器,以产生一机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建创建用于实施流程图和/或框图或框中所指定的功能/行为的设备。
这些计算机程序指令还可以被存储在计算机可读介质中,该计算机可读介质可以指引计算机、其他可编程数据处理装置或其他设备以特定的方式运作,使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图或框中所指定的功能/行为的指令的制品。
计算机程序指令还可以被下载到计算机、其他可编程数据处理装置或其他设备上,以使在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实施的进程,使得在计算机或其他可编程装置上执行的指令提供用于实施流程图和/或框图或框中所指定的功能/行为的进程。
因此,本发明涉及实施和使用用于隐藏由一些像素组成的图像的第一区域的技术的方法和装置,包括计算机程序产品。屏蔽被获取。屏蔽针对图像的第一区域中的每个像素限定隐藏水平。基于针对每个像素的屏蔽隐藏水平,图像的第一区域中的像素被隐藏。
图像的捕获
图1示出用于捕获或调查一场景的摄像机100的示意图。目标是使相机100尽可能好地捕获场景的图像。相机100包括用于收集入射光的镜头系统120、用于记录入射光的图像传感器以及本领域中熟知的电路,图像传感器例如是电荷耦合设备的形式、CCD、CMOS传感器或类似的传感器。例如,电路通常包括:包括图像/视频编码器(以硬件、软件或其任意组合实现)的图像处理模块108、管理例如视频分析的处理单元104、存储器106、以及用于连接至网络和诸如计算机的另外的处理设备的网络接口110。包括图像/视频编码器的图像处理模块108被布置为将捕获的数字图像数据编码为用于连续视频序列、受限视频序列、静态图像或流图像/视频的几种已知格式中的任一种。例如,图像信息可以被编码为MPEG1、MPEG2、MPEG4、H.264、JPEG、M-JPEG、位图等。
适应性隐私屏蔽
图2A示出由相机100捕获的图像200的示意性示例。图像200示出具有一组窗户202的房屋。传统上,由于隐私等原因,图像中可能存在不应该被看到的区域。如上面所描述,在这种情况下,常见的是创建隐私屏蔽来遮挡这种区域。图2B示出以四个不透明方形的形式施加到房屋200的每个窗户202的传统隐私屏蔽204的示意性示例。从图2中可以看到,图像200的观察者可以清楚地看到隐私屏蔽204已经被用于遮挡图像200的某些部分。
图3示出图像200的施加了根据一个实施例的隐私屏蔽302的示意性示例。图3中可以看出,与图2的隐私屏蔽204形成对照,隐私屏蔽302具有变化的隐藏程度。例如,在这种情况下,中心的两个窗户分别不如右边和左边的窗户遮挡程度重。也就是说,隐私屏蔽302具有可以以逐个像素为基础为图像设定的变化的隐藏程度。下面将更详细的描述,隐藏水平通常根据图像200的内容动态设定。
此外,可以从图3中看出,与传统的隐私屏蔽相比,隐私屏蔽302的边缘和背景之间的过渡可以被设定为较平滑。最终,与图2中使用现有隐私屏蔽204的图像200相比,使用根据本发明各个实施例的隐私屏蔽302的图像200具有更“自然”的外观。
为了进一步描述在一个实施例中可以怎样实施图3的隐私屏蔽302,请参见图4A和4B,图4A和4B将“屏蔽不透明度”示出为沿着穿过图像200中四个窗户的像素水平线的函数。图4A示出在使用图2B的传统隐私屏蔽204时“屏蔽不透明度”看起来的样子。图4A中“1”的“屏蔽不透明度值”表示“完全屏蔽”(即,图2B中的黑色),而“0”的屏蔽不透明度值意味着“未屏蔽”(即,图2B中的透明)。可以从图4A中看出,存在被屏蔽(即,具有屏蔽不透明度值1)的四个区域。在这些区域周围,存在未屏蔽区域(即,具有屏蔽不透明度值0)。从图4A中可以进一步看出,屏蔽和未屏蔽的区域之间的过渡是陡峭的(即,垂直线),因此在屏蔽和未屏蔽区域之间创建出非常清晰的区别。
图4B中的示意图示出在使用根据一个实施例的隐私屏蔽302时,“屏蔽不透明度”看起来的样子。在本实施例中,屏蔽不透明度值的范围为从0至255,而不是0至1。然而,应当认识到的是,这些值仅表示一个实施例,并且根据其中要使用屏蔽的特定情况,其他屏蔽不透明度值的范围可以被分别用于实现较高或较低的分辨率。图4B中“255”的“屏蔽不透明度值”意味着“完全屏蔽”(即,图3中的黑色),而“0”的屏蔽不透明度值意味着“未屏蔽”(即,图3中的透明)。隐私屏蔽302可以具有这些值之间的任意值。
可以从图4B中看出,存在被屏蔽(由图表中的“峰”表示)的四个区域。在这些区域的周围,存在未屏蔽区域(由图表中的“谷”表示)。屏蔽和未屏蔽区域之间的过渡不是陡峭的(即,不存在垂直线,而存在斜坡线),而是存在峰和谷之间的梯度过渡,因此与传统技术相比,在图3中创建了屏蔽和未屏蔽区域之间较平滑的过渡,并模糊了屏蔽和未屏蔽区域之间的区别。从图4B中的图表还可以看出,中间的两个峰(表示图像中的两个中间窗户)具有较低的屏蔽不透明度峰值。即,代替具有255的峰值,它们仅具有120的峰值,这意味着屏蔽的这些区域比边缘的部分更透明,这从图3中可以看出。
存在许多可以以逐个像素为基础设定“不透明度值”的方法。例如,许多图形系统使用像素的RGBA(红绿蓝阿尔法)颜色模型,其中阿尔法通道被用作不透明度通道。通常,如果一像素在其阿尔法通道具有0%的值,则该像素是完全透明的(并且因此不可视),而阿尔法通道100%的值给出完全不透明的像素。因此,通过针对隐私屏蔽中的单个像素选择适当的阿尔法通道值,屏蔽可以与所捕获的图像合成并可以获得可变的隐私屏蔽。然而,可能存在改变透明度可能不是隐藏图像中的细节的最佳方法的情况,因为半透明对象并不总是一定会变得不容易识别。因此,将在以下进一步详细解释的诸如模糊(blurring)的其他替代例有时可能是较佳选项。
因此,虽然上面的描述集中于具有可变“屏蔽不透明度”的屏蔽,但是相同的概念可以被应用于因为隐私原因而操作图像的其他方法上。例如,在一些实施例中,模糊可以被代替使用,其可以在整个图像上以逐个像素为基础而改变。例如通过将图像与高斯(Gaussian)函数进行卷积的模糊对于本领域技术人员是熟知的。本质上,高斯模糊(也被称为高斯平滑)产生类似于通过半透明屏观看图像的平滑模糊。数学上,将高斯模糊施加至图像与将图像与高斯函数进行卷积相同,其具有减小图像的高频分量的效果。因此,高斯模糊是低通滤波器。当对图像执行高斯模糊时,每个像素的新值被设定为该像素的邻域的加权平均数。初始像素的值接收最大权重(具有最高高斯值),并且邻近像素随着它们到初始像素的距离增加而接收较小的权重。这导致比其他更均匀的模糊滤波器更好地保留边界和边缘的模糊。通常,当对图像执行高斯模糊时,模糊处理被分为两个分立的步骤。在第一步骤中,一维内核(one-dimensional kernel)被用于仅在水平或垂直方向上模糊图像。在第二步骤中,另一个一维内核被用于剩余方向上的模糊。最终的效果与在单个步骤中使用二维内核进行卷积的效果相同,但需要较少的计算。
经常用于近似高斯模糊的替代模糊方法被称为盒模糊(box blurring)。盒模糊是图像滤波器,其中最终图像中每个像素的值等于输入图像中该像素的邻近像素的平均值。因此,盒模糊是形式稍微不同的低通滤波器。如果盒模糊在同一图像上施加三次,则盒模糊接近高斯内核约3%之内,因此产生出本质上与二次高斯卷积内核相同的结果。
可以被用于创建隐私屏蔽的另一个熟知的技术是马赛克,即故意以明显低于初始图像的分辨率显示图像的某些部分。隐私屏蔽可以根据单独或以各种组合使用这些技术中的任一个的不同实施例来创建。
屏蔽边缘的平滑
在某些实施例中,隐私屏蔽边缘的平滑可以以类似于怎样执行模糊的方式执行,即通过将合成图像与使用高斯函数或模糊盒的隐私屏蔽进行卷积来执行。例如,描述由应当被屏蔽的对象所占据的区域的多边形通常可以在所有方向上扩展一点,以允许从没有隐藏到屏蔽所限定的隐藏水平的过渡。如本领域技术人员所认识到的,在具有覆盖整个图像的屏蔽的情况下,明显不需要扩展屏蔽来使其边缘平滑。
基于动态规则的隐私屏蔽
通常,图像的屏蔽通过将规则施加到从相机100接收的图像而动态地执行。相机通常以每秒大约5-60帧的速率捕获图像,并且规则可以根据图像和/或其他输入的内容来限定,使得上面所描述的各种类型的隐私屏蔽被施加至图像。
例如,在一个实施例中,任一种传统对象检测算法可以被用于检测或识别例如人或动物、面部、牌照、文本或可视信息。一旦对象被识别,就可以根据一个或多个预限定规则,如上面所述的那样被自动地不需要任何用户输入地向这些对象施加适应性隐私屏蔽。
在另一个实施例中,相机100可以包括替代视觉图像传感器(或除了视觉图像传感器之外)的热图像传感器。在本文中的热图像传感器应该被理解为对远红外光谱的辐射敏感的图像传感器,诸如微测热辐射计,并且其产生示出不同对象所辐射的热的热图像或热谱图。用户可以设定指定例如当对象和其周围之间存在某一温度差时隐私屏蔽应当被施加的规则。例如,人面部通常具有37摄氏度的温度,而室内环境经常接近于20摄氏度。因此,规则可以被构建为指定在温度差大于例如12摄氏度时应当施加隐私屏蔽以模糊人的面部。在一些实施例中,模糊的程度可以根据温度差而改变。例如,个人的四肢和衣服经常低于37摄氏度,并且因此被模糊的程度轻于人的面部,这是可接受的,因为面部通常是由于隐私原因需要更多保护的个人特征。此外,平滑过渡可以被施加在隐私屏蔽的边缘周围,如上所描述,由此创建不会从图像的重要部分吸引太多用户注意的隐私屏蔽。
在又一个实施例中,由相机100记录的视觉图像可以与从距离传感器获取的信息相结合,并且规则可以被规定为,例如与图像的离相机较远的区域相比,图像的较靠近相机的区域被模糊的程度较重或者具有较高的屏蔽不透明度。
如本领域技术人员所认识到的,这些仅是在确定隐私屏蔽看起来的样子时可以使用的输入和规则的一些示例,并且对于本领域技术人员来说,许多变形和组合可以轻易的获得。不论使用什么类型的输入,最后的结果是提供了适应性隐私屏蔽,其强度和/或模糊和/或马赛克可以以逐个像素为基础而改变,并且可以获得屏蔽和未屏蔽区域之间的平滑过渡。
图5示出根据一个实施例的适应性图像隐私屏蔽的过程500。从图5中可以看出,过程500通过在步骤502中接收输入数据开始。如上面所讨论,输入数据通常包括由相机100捕获的图像200,和/或其他输入数据,诸如热图像或来自距离传感器的信息等。接下来,在步骤504中,一个或多个规则被施加至接收到的输入数据,以便确定用于接收到的图像100的适应性隐私屏蔽。上面已经结合距离差和温度差讨论了规则的一些示例,但是如本领域技术人员所认识到的,实际上可以施加允许创建隐私屏蔽的任意类型的规则,其中不透明度/模糊/马赛克等以逐个像素为基础而改变。一旦隐私屏蔽被创建,就在步骤506中将该隐私屏蔽施加至图像。然后,步骤508中,在隐私屏蔽的边缘的周围,施加有隐私屏蔽的图像被平滑,如以上所讨论,以在图像100的屏蔽和未屏蔽部分之间创建梯度过渡。最终,在步骤510中,隐私屏蔽图像被显示给用户,步骤510结束过程500。
在上面的过程中,施加规则以确定隐私屏蔽和执行隐私屏蔽的边缘平滑已经被描述为两个分立的步骤(步骤504和508)。然而,应当注意的是,这仅仅是一个示例性实施例。在其他实施例中,这些步骤可以被执行为单个步骤,其中确定隐私屏蔽的规则还包括将梯度过渡添加至隐私屏蔽的边缘。
还应当指出的是,虽然在这里的示例中描述的隐私屏蔽使用了可变的不透明度、马赛克、和/或模糊,但这当然不是必须的。隐私屏蔽可以像现有技术中的隐私屏蔽一样仅具有均匀的不透明度、马赛克、和/或模糊,但是与图像的屏蔽和未屏蔽部分之间的平滑过渡相结合,如以上所述。
在一些实施例中,基于由屏蔽设定的隐藏水平,隐私屏蔽的各种不透明水平可以通过改变每个像素的视频压缩来实现。例如,较高的视频压缩可以被用于期望较高隐藏水平的像素,并且较低的视频压缩可以被用于期望较低隐藏水平的像素。这可以在屏蔽的隐藏水平最高的地方使用非常高的压缩来创建“模糊效果”。
应该进一步指出的是,虽然这里在对图像的某些区域中出现的信息进行隐藏的背景下描述了隐私屏蔽,但是相同的技术可以被用于增强图像的多个部分,例如通过屏蔽“背景”而不是图像中的“对象”。这种应用可能在很多情况下是有用的。例如,如果与各种对象和/或运动检测技术相结合,则这些隐私屏蔽可以被用于对照那些仅仅经过的人或动物而“高亮”例如在相机描述的场景中“闲逛”的人或动物,以尽可能地识别可疑的行为。类似地,隐私屏蔽可以被用于“高亮”人群中与人群中的其他人相比具有更高体温(或许是由于某些疾病)的人。因此,许多变形是可能的,这可以被本领域技术人员预想到。
附图中的流程图和框图示出根据本发明各个实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这一点上,流程图或框图中的每个框可以表示包括用于实施指定逻辑功能的一个或多个可执行指令的代码的模块、片段或部分。还应该注意的是,在一些替代实施方式中,框中指出的功能可以不按照附图中指出的顺序出现。例如,根据所涉及的功能,连续示出的两个框实际上可以被基本同时执行,或者这些框有时可以以相反的顺序执行。还要指出的是,框图和/或流程图中的每个框以及框图和/或流程图中的框的组合,可以由执行指定功能或行为的基于硬件的专用系统或者专用硬件和计算机指令的组合来实施。
这里使用的术语仅仅是为了描述特定实施例的目的,并不旨在限制本发明。如这里使用,单数形式“一”、“该”意在也包括复数形式,除非上下文清晰地给出其他指示。进一步理解的是,当被用于本说明书时,词语“包括”指明存在所陈述的特征、整体、步骤、操作、元件和/或部件,但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。
所附权利要求中的对应特征、材料、行为和所有手段或步骤加功能的元件的等效旨在包括用于结合特别要求的其他要求的元件而执行功能的任意结构、材料或行为。本发明的描述呈现的目的是说明和描述,而不旨在以所公开的形式穷尽或限制本发明。许多修改和变形对于本领域技术人员来说是显而易见的,而且不会偏离本发明的范围和精神。选择并描述实施例是为了最好地解释本发明的原理和实际应用,并且使其他的本领域技术人员针对适合于预期的特定使用的具有各种修改的各种实施例来理解本发明。

Claims (10)

1.一种在计算机系统中实施的用于产生具有隐藏的第一区域的屏蔽图像(200)的方法,所述方法包括:
通过相机(100)捕获由多个像素组成的图像,所述相机包括视觉图像传感器和热图像传感器,
分析所述图像的内容,确定所述第一区域中的对象与所述对象的环境之间的温度差,
通过向所述分析的结果施加以下三个规则来创建隐私屏蔽(302),一个规则限定所述图像(200)的第一区域的边缘周围的梯度过渡,以在所述图像(200)的屏蔽区域和未屏蔽区域之间创建平滑过渡,并且由此获得以逐个像素为基础在所述图像(200)的所述第一区域中针对每个像素限定隐藏水平的隐私屏蔽(302),所述规则中的另一个指定所述隐私屏蔽在所述对象与所述对象的环境之间存在特定温度差时施加,并且另一规则指定所述隐私屏蔽的隐藏水平基于所述温度差而变化,以及
将所述隐私屏蔽(302)施加至所述图像,由此基于所述隐私屏蔽(302)中针对每个像素的隐藏水平而产生在所述第一区域中具有隐藏的像素的屏蔽图像(200)。
2.根据权利要求1所述的方法,进一步包括在创建所述隐私屏蔽时,施加相对于图像内容限定隐藏水平的规则。
3.根据权利要求1所述的方法,其中所述隐藏水平包括模糊水平,并且将所述隐私屏蔽(302)施加至所述图像产生在所述屏蔽图像(200)的所述第一区域中具有基于所述屏蔽(302)的针对每个像素的模糊水平而被模糊的像素的所述屏蔽图像(200)。
4.根据权利要求1所述的方法,其中表示所述图像中靠近捕获所述图像的所述相机的对象的像素具有高于表示所述图像中远离捕获所述图像的所述相机的对象的像素的隐藏水平。
5.根据权利要求1所述的方法,其中所述第一区域中的所述对象使用施加至连续的捕获图像的对象追踪算法而识别。
6.根据权利要求1所述的方法,其中所述第一区域中的所述对象通过确定所述对象和所述对象的环境之间的温度差而识别。
7.根据权利要求1所述的方法,其中所述第一区域表示所述图像的背景,并且所述图像的第二区域作为隐藏所述图像的背景的结果而被强调。
8.根据权利要求1所述的方法,其中所述对象是人。
9.根据权利要求8所述的方法,其中指定所述对象的隐藏水平基于所述温度差而变化的规则被设置为使得所述人的四肢和衣服被隐藏的程度轻于所述人的面部。
10.一种计算机可读记录介质,其上记录有当在计算机上执行时用于实施根据权利要求1的方法的程序。
CN201410643411.2A 2013-11-22 2014-11-07 在计算机系统中实施的用于产生屏蔽图像的方法 Active CN104660975B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13194047.0 2013-11-22
EP13194047.0A EP2876605B1 (en) 2013-11-22 2013-11-22 Gradient privacy masks

Publications (2)

Publication Number Publication Date
CN104660975A CN104660975A (zh) 2015-05-27
CN104660975B true CN104660975B (zh) 2018-10-26

Family

ID=49667004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410643411.2A Active CN104660975B (zh) 2013-11-22 2014-11-07 在计算机系统中实施的用于产生屏蔽图像的方法

Country Status (3)

Country Link
US (1) US9875530B2 (zh)
EP (1) EP2876605B1 (zh)
CN (1) CN104660975B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US9571785B2 (en) * 2014-04-11 2017-02-14 International Business Machines Corporation System and method for fine-grained control of privacy from image and video recording devices
WO2016004595A1 (en) * 2014-07-09 2016-01-14 Splunk Inc. Minimizing blur operations for creating a blur effect for an image
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US9530231B2 (en) * 2015-03-05 2016-12-27 Novatek Microelectronics Corp. Method for generating masking image using general polygonal mask
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US10776971B2 (en) * 2015-04-28 2020-09-15 Signify Holding B.V. Metadata in multi image scenes
CN105513027A (zh) * 2016-01-06 2016-04-20 天脉聚源(北京)科技有限公司 一种模糊处理方法及装置
US10565395B2 (en) * 2016-01-29 2020-02-18 Kiwi Security Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
JP6697307B2 (ja) * 2016-03-31 2020-05-20 株式会社メガチップス 暗号化装置、プログラム、及び暗号化方法
CN106341664B (zh) * 2016-09-29 2019-12-13 浙江宇视科技有限公司 一种数据处理方法及装置
US20180180883A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented reality eyewear
US20180180882A1 (en) * 2016-12-23 2018-06-28 Raja Singh Tuli Augmented Reality Eyewear
GB2560393B (en) * 2017-07-31 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
US11436839B2 (en) * 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles
US11871157B2 (en) * 2019-01-30 2024-01-09 Pixart Imaging Inc. Optical sensor device and calibration method capable of avoiding false motion alarm
DE102019204602B4 (de) * 2019-04-01 2020-10-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Maskierung von in einem Bild enthaltenen Objekten
CN113906765B (zh) * 2019-05-29 2024-05-31 苹果公司 对与物理环境相关联的位置特定数据进行模糊处理的方法和设备
US20230070384A1 (en) * 2019-06-18 2023-03-09 Nightride Thermal Llc Thermal Radiation Vehicle Night Vision System
EP3987438A4 (en) * 2019-06-24 2022-08-10 Alarm.com Incorporated DYNAMIC VIDEO EXCLUSION ZONES FOR PRIVACY
US11381710B2 (en) * 2019-09-13 2022-07-05 International Business Machines Corporation Contextual masking of objects in social photographs
US11277557B1 (en) 2020-04-06 2022-03-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Privacy-aware capture and device
CN111654700B (zh) * 2020-06-19 2022-12-06 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN113284032A (zh) * 2021-04-28 2021-08-20 武汉光庭信息技术股份有限公司 一种图片隐私处理方法及系统
CN114857853A (zh) * 2021-08-05 2022-08-05 青岛海尔电冰箱有限公司 制冷设备、图像处理方法和装置
US11695819B2 (en) * 2021-11-30 2023-07-04 Plantronics, Inc. Securing image data from unintended disclosure at a videoconferencing endpoint
EP4246465B1 (en) * 2022-03-16 2024-01-03 Axis AB Improved masking of objects in an image stream
WO2024089950A1 (ja) * 2022-10-27 2024-05-02 住友電気工業株式会社 画像圧縮装置および画像圧縮方法
CN116644476B (zh) * 2023-07-21 2024-06-14 太平金融科技服务(上海)有限公司深圳分公司 一种图像遮挡方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1603937A (zh) * 2003-09-29 2005-04-06 索尼株式会社 图像拾取设备
CN1767638A (zh) * 2005-11-30 2006-05-03 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382378B2 (en) * 2003-10-30 2008-06-03 Sensable Technologies, Inc. Apparatus and methods for stenciling an image
JP4573158B2 (ja) * 2004-02-26 2010-11-04 日本ビクター株式会社 監視画像の生成方法、監視画像生成装置
US7366359B1 (en) * 2004-07-08 2008-04-29 Grandeye, Ltd. Image processing of regions in a wide angle video camera
US7940302B2 (en) * 2004-09-15 2011-05-10 The Regents Of The University Of California Apparatus and method for privacy protection of data collection in pervasive environments
JP4450206B2 (ja) * 2004-12-24 2010-04-14 株式会社デンソー プローブシステム
JP5088161B2 (ja) * 2008-02-15 2012-12-05 ソニー株式会社 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
JP5269033B2 (ja) * 2009-12-18 2013-08-21 韓國電子通信研究院 映像のプライバシーマスキング方法及び装置
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
JP5408156B2 (ja) * 2011-02-24 2014-02-05 三菱電機株式会社 監視用画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1603937A (zh) * 2003-09-29 2005-04-06 索尼株式会社 图像拾取设备
CN1767638A (zh) * 2005-11-30 2006-05-03 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统

Also Published As

Publication number Publication date
EP2876605A1 (en) 2015-05-27
US20150145992A1 (en) 2015-05-28
US9875530B2 (en) 2018-01-23
CN104660975A (zh) 2015-05-27
EP2876605B1 (en) 2016-04-06

Similar Documents

Publication Publication Date Title
CN104660975B (zh) 在计算机系统中实施的用于产生屏蔽图像的方法
Jung et al. Unsupervised deep image fusion with structure tensor representations
Benoit et al. Using human visual system modeling for bio-inspired low level image processing
Zhou et al. Image restoration for under-display camera
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
US8300890B1 (en) Person/object image and screening
US9098901B2 (en) Device and method for processing data derivable from remotely detected electromagnetic radiation
Rao et al. A Survey of Video Enhancement Techniques.
CN104145276B (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
WO2021096668A1 (en) Image restoration for through-display imaging
CN108702485A (zh) 在视频监视系统中保护隐私
Rao et al. Image-based fusion for video enhancement of night-time surveillance
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
Singh et al. A Novel Approach for Detail‐Enhanced Exposure Fusion Using Guided Filter
Rao et al. An Efficient Contourlet-Transform-Based Algorithm for Video Enhancement.
Shah et al. Context enhancement to reveal a camouflaged target and to assist target localization by fusion of multispectral surveillance videos
Thampi Nighttime visual refinement techniques for surveillance video: a review
Han et al. Single image reflection removal using non-linearly synthesized glass images and semantic context
Rossi et al. Dynamic range reduction and contrast adjustment of infrared images in surveillance scenarios
Lin et al. Attention-based high dynamic range imaging
Wang et al. Raw infrared image enhancement via an inverted framework based on infrared basic prior
Christian Analysis of contrast enhancement methods for infrared images
KR20130065567A (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
Madmad et al. CNN-based morphological decomposition of X-ray images for details and defects contrast enhancement
Kwok et al. Locally-equalized image contrast enhancement using pso-tuned sectorized equalization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant