CN111383168A - 隐私保护摄影机 - Google Patents

隐私保护摄影机 Download PDF

Info

Publication number
CN111383168A
CN111383168A CN201911303238.0A CN201911303238A CN111383168A CN 111383168 A CN111383168 A CN 111383168A CN 201911303238 A CN201911303238 A CN 201911303238A CN 111383168 A CN111383168 A CN 111383168A
Authority
CN
China
Prior art keywords
video stream
privacy
moving object
mobile object
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911303238.0A
Other languages
English (en)
Other versions
CN111383168B (zh
Inventor
汪灏泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Research America Inc
Original Assignee
TCL Research America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Research America Inc filed Critical TCL Research America Inc
Publication of CN111383168A publication Critical patent/CN111383168A/zh
Application granted granted Critical
Publication of CN111383168B publication Critical patent/CN111383168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种隐私保护摄影机，包括帧缓冲区，对象检测及跟踪模块，对象识别模块，实例分割模块和对象移除和修复模块。所述帧缓冲区用于储存视频流的帧，所述视频流通过所述隐私保护摄影机捕获。所述对象检测和跟踪模块用于检测所述视频流中的移动对象。所述对象识别模块用于确定所述移动对象是否为隐私保护对象。所述实例分割模块用于解析所述视频流中的所述移动对象。所述对象移除和修复模块用于从所述视频流中移除所述移动对象的至少一部分，用所述视频流的现有帧的背景或相邻帧作为补偿补丁来填充所述视频流中所述被移除的移动对象所在的区域，并输出修改后的视频流，所述修改后的视频流中所述补偿补丁替换了至少一部分所述移动对象。

Description

隐私保护摄影机
技术领域
本发明涉及涉及视频记录和处理技术领域，特别涉及用于隐私保护摄影机系统技术和使用摄影机系统的隐私保护方法。
背景技术
在智能家居中应用室内摄影机是消费者的普遍选择。这些摄影机用于监视婴儿，保护门口的安全，保护炉灶/烤架的安全，协助老年人，以及用于许多其他功能应用和使用场景中。然而，对室内摄影机应用的一个主要担心是隐私保护，因为输出视频包括的详细视觉数据可能包含私人信息(例如裸体)。显然，要提供更高的安全性，应用程序需要从视频数据中获取更详细的信息；而要保护隐私，同一应用程序需要屏蔽视频数据中的某些信息。因此，视频监视系统需要在安全需求和隐私需求之间取得平衡。
现有几种方式来平衡这种冲突需求。例如，采用由极低分辨率彩色传感器组成的小型网络来代替高分辨率摄影机。在另一个示例中，仅使用极端低分辨率的视频来保存隐私，这些隐私适用于某些活动类别。然而，在系统设计要求高度隐私保护的系统中，详细信息的丢失使得许多安保应用不可行。
发明内容
本发明一个方面提供了一种隐私保护摄影机，其包括帧缓冲区，对象检测和跟踪模块，对象识别模块，实例分割模块以及对象移除和修复模块。所述帧缓冲区存储由隐私保护摄影机捕获的视频流的帧；所述对象检测跟踪模块检测视频流中的移动对象。所述对象识别模块确定移动对象是否为隐私保护对象，其中当确定移动对象不是隐私保护对象时，视频流输出给用户；当所述对象识别模块将移动对象确定为隐私保护对象时，所述实例分割模块解析视频流中的移动对象；所述对象移除和修复模块从所述视频流中移除移动对象的至少一部分，用所述视频的现有帧的背景或相邻帧作为补偿补丁来填充视频流中所述移除移动对象所在的区域。并输出修改后的视频流，所述修改后的视频流中所述补偿补丁替换了至少一部分移动对象。
本发明的另一方面提供了一种用于隐私保护的方法。获得由摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中。检测视频流中的移动对象，然后确定所述移动对象是否是隐私保护对象。当确定所述移动对象不是隐私保护对象时，输出所述视频流。当将所述移动对象确定为隐私保护对象时，所述方法还包括以下步骤：对所述移动对象进行皮肤区域检测以确定所述移动对象的裸露度，分析视频流中的移动对象，从所述视频流中至少移除所述移动对象的一部分，用所述视频流当前帧的背景或相邻帧作为补偿补丁填充在所述视频流中所述移除移动对象所在的区域，以及输出修改后的所述视频流，所述修改后的视频流中补偿补丁代替了至少一部分移动对象。
本发明另一方面提供一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储了用于隐私保护的可执行计算机程序指令。获得由摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中。检测所述视频流中的移动对象，然后确定所述移动对象是否是隐私保护对象。当确定移动对象不是隐私保护对象时，输出视频流。当确定所述移动对象为隐私保护对象时，所述方法还包括以下步骤：对所述移动对象进行皮肤区域检测以确定移动对象的裸露度，分析视频流中的移动对象，从所述视频流中至少移除所述移动对象的一部分，用所述视频流当前帧的背景或相邻帧作为补偿补丁填充在所述视频流中所述移除移动对象所在的区域，以及输出修改后的所述视频流，所述修改后的视频流中补偿补丁代替了至少一部分移动对象。
本发明的其他方面，所属技术领域技术人员依据本发明的权利要求书，说明书，以及附图能够理解。
根据本发明公开的各种不同实施例，以下附图仅仅是用于说明目的的实例，不限制本发明的范围。
附图说明
图1为本发明具体实施例的示例性系统架构；
图2为本发明具体实施例的检测和跟踪的移动对象的示例；
图3为本发明具体实施例的在视频中识别不同人物的示例
图4与本发明具体实施例的实例分割的示例。
图5与本发明具体实施例的对象移除和修复的示例
图6与本发明具体实施例的用于隐私保护的示例性方法的流程图。
具体实施方式
现在将详细参考在附图中示出的本发明的示例性实施例。在下文中，将参考附图描述与本发明相符的实施例。在所有附图中，将尽可能使用相同的附图标记表示相同或相似的部件。显然，所描述的是本发明的部分实施例而不是全部实施例。基于所公开的实施例，本领域普通技术人员可以得出与本发明相符的其他实施例，所有这些实施例均在本发明的范围内。
本发明提供了实现隐私保护的摄影机应用，这对于室内使用场景特别有用，在室内使用场景中，隐私对于房主而言非常关键。认识到在室内摄影机应用中安全性和隐私性是需要权衡的两个因素很重要，其中安全性考虑需要公开尽可能多的信息以检测可能的入侵者，而隐私性考虑则要求隐藏敏感信息以免泄露，就可能导致安全角度上的有用提示被忽略。
本发明提出了一种同时支持视频监视系统的安全性和隐私性的解决方案。通过使用可定制的延迟输出，系统能够检查所有移动对象并删除违反隐私策略的对象，同时保留可能对安全监控有用的对象(或部分对象)。在本发明中，在图像处理管道输出之后，在系统中使用对象可见性决策机制以隐藏对隐私敏感的对象，并保留对于安全/监视目标重要的对象。
图1示出了与本发明具体实施例的示例性系统架构。如图1所示，本发明提供了一种隐私保护摄影机系统，其包括帧缓冲区102，对象检测和跟踪模块104，对象识别模块106，皮肤区域检测模块108，实例分割模块110，对象移除和修复模块114和对象可见引擎112。
在本发明中，模块是指用于提供指定功能的计算机程序逻辑。因此，可以用硬件，固件和/或软件来实现模块。在一些实施例中，程序模块可以存储在存储设备上，加载至存储器中，并由处理器执行。当由一个或多个处理器执行时，功能模块实现在本发明的实施例中描述的功能。
在本发明中，所述系统专门为隐私保护目的而设计。如图1所示，在图像处理管道之后，由摄影机捕获的输入视频流可以进入所述帧缓冲区102，所述帧缓冲区102能够根据不超过缓冲区大小的历史帧处理视频帧，并可以通过图1所示的模块进行内部处理来实现延迟的输出视频流。所述帧缓冲区102可以启用等待时间L，这允许系统使用此等待时间L对每个移动对象进行决策并确定分类处理。视频输入和视频输出之间的所述等待时间L以秒为单位。当以帧为单位表示帧缓冲区102的大小为B，并且每秒的帧速率为f时，我们可能会发现：
B>＝L*f，(1)
其中B是系统约束，而L是用户设置的可自定义变量。将B和L都控制在一个合理的较小值内，但是，较大的L可以实现更好的系统精度，因为所述对象检测和跟踪模块104和对象识别模块106具有更长的滑动窗口用来处理潜在的所述移动对象。
如图1所示，所述输入帧用Ft+Lf表示，其中t是一个用于表示视频帧索引的变量。所述输出帧用F′t表示，因此已经考虑了L的处理时间的延迟。所述滑动窗口的长度(以帧为单位)为L*f。当L设置为L＝0时，这意味着需要实时处理，因此输入和输出之间不存在等待时间。
如图1所示，所述帧缓冲区102中的视频帧通过两条途径同时处理。首先，通过所述对象检测和跟踪模块104检测视频中的所述移动对象，然后在所述对象识别模块106中对检测到的对象进行面部识别过程，以确定所述对象是家庭成员，是请求隐私的成员，或是入侵者。同时，所述对象经过皮肤区域检测模块108以确定对象的裸露度。此后，所述对象可见引擎112确定将在最终视频输出中显示多少对象。
第二条途径，如图1所示，所述实例分割模块110首先对视频进行实例分割处理，以解析出所有移动对象。然后，根据所述对象可见引擎112对每个对象的可见性推荐，所述对象移除和修复模块114可以移除一些对象，并通过修复技术，使用背景或相邻视频帧的补偿补丁来填充移除了对象的空间。
所述视频输出的对象可能属于以下三类。首先，所述对象可见引擎112可以推荐完整的外貌，因此原始对象将出现，并且可以跳过对象移除和修复模块114。其次，所述对象可见引擎112可以推荐完全不可见的外貌，因此将对象从视频中移除，并且将应用修复技术来填充空间。第三，对象可见引擎112可以推荐为部分不可见外貌，因此将从视频中移除部分对象，并且将应用修复技术来填充空间。
在一些实施例中，可以根据隐私保护处理的隐私保护等级或安全等级来设计或选择所述等待时间L的长度。例如，当需要高级别隐私保护时，可能需要对视频流进行复杂的计算，因此可能需要较长的等待时间L才能完成计算。对于另一个示例，当需要高安全级别时，这意味着大部分输入视频可以输出给用户，因此可以简化对视频流的计算，因此只需较短的等待时间L即可完成计算。
在一些实施例中，所述帧缓冲区102是等待时间机制，其允许视频输出具有预定等待时间的延迟，所述延迟是相对于视频输入的延迟，从而使系统在对每个移动对象的对象识别和隐私敏感性决策方面具有前瞻性。在本发明中利用所述帧缓冲区102，使滑动窗口方法可以用于对象级处理，所述对象级处理是基于存储在帧缓冲区102中的过去的帧。所述帧缓冲区102可以启用所述等待时间L，且允许所述系统使用所述等待时间L以对每个移动对象做出决策并确定其处理分类，这将在下面的对象可见引擎112中进行详细说明。
在一些实施例中，在隐私保留摄影机中包括了所述对象检测和跟踪模块104和所述对象识别模块106，以将摄影机处理从原始帧级转换为对象级。
图2示出了与本发明具体实施例的检测和跟踪的移动对象的示例。在一些实施例中，所述对象检测和跟踪模块104可以检测移动对象并通过视频剪辑跟踪所述移动对象。所述视频输入通常可以是几个连续的视频帧，而所述视频输出可以是多个对象的边界框和对象的类别(例如，人脸，人体，狗等)。如图2所示，通过视频剪辑跟踪了人脸和人体。
对象识别模块106可以接收对象的所述边界框并输出已识别出的身份。图3示出了根据本发明具体实施例的识别视频中的不同人物的示例。如图3所示，有几种方法可以实现此功能。在一些实施例中，在系统设置的初始阶段，可以要求所述用户输入家庭成员的照片，并指定谁是对隐私敏感的和谁不是。当检测到入侵者面部时，系统可以允许用户指定此人的类别：是对隐私敏感的家庭成员或普通家庭成员，否则，就是系统不需要存储的入侵者。因此，在所述对象识别过程中，所述对象识别模块106将检测到的对象与预先标记对象的小型数据库进行比较，并确定其身份。
例如，在图3中，通过面部识别过程识别出的不同用户面部的四个图像。可以在数据库中输入并存储这些用户的身份。当执行所述面部识别过程时，可以将识别出的面部与数据库中存储的信息进行比较以确定识别出的面部身份。在将流视频中的已识别面部的身份确认为家庭成员，对隐私敏感成员或入侵者之后，所述对象可见引擎112可以在以下所述的逻辑中平衡安全性和隐私问题。举个例子。在图3的第一帧中，识别出用户A的面部。可以确认用户的身份是演员。然后所述对象可见引擎112可以根据与用户A相关联的隐私设置来确定如何处理A的图像。作为另一个示例。在图3的第二帧中，识别出用户B的面部。可以确认用户的身份是家庭成员。所述对象可见引擎112然后可以根据与用户B相关联的隐私设置来确定如何处理B的图像。作为另一示例。在图3的第三帧中，识别出用户C的面部。可以确认用户的身份是隐私保护成员。所述对象可见引擎112然后可以根据与用户C相关联的隐私设置来确定如何处理C的图像。作为另一个示例。在图3的第四帧中，识别出用户D的面部。可以确认用户的身份是入侵者。所述对象可见引擎112然后可以根据与用户D相关联的隐私设置来确定如何处理D的图像。
所述皮肤区域检测模块108可以用于发现家庭成员没有穿衣服(或半裸)的场景，该场景对摄影机的输出很敏感。所述皮肤区域检测模块108对移动对象执行皮肤区域检测以确定移动对象的裸露度。在一些实施例中，肤色检测过程可以用于确定图像的皮肤区域。通过简单地测量对象边界框内的皮肤区域的百分比，所述系统可以对所述对象的皮肤显露值进行粗略估计。当该值太高时，所述对象可见引擎112可能需要采取某些动作。
本系统还包括所述实例分割模块110以及所述对象移除和修复模块114，以根据所述对象可见性判定机制引起的所述隐私保护关注来隐藏对象。图4示出了与本发明具体实施例的实例分割的示例。所述实例分割模块110可以为每个对象生成分割掩模，如图4所示。在图4中，每个对象所在的区域涂有彩色掩模，因此移除对象的过程可以简单地切割相关区域，并用修补技术填充空间。
如图4所示，在识别出对象之后，可以用边界掩模来标记对象。当多个对象同时显示在流视频中时，可以利用和使用多个掩模同时标记这些对象。在一些实施例中，所述掩模可以部分地解析和标记所述对象。在其他实施例中，通过掩模可以完全解析和标记所述对象。在一些实施例中，可以利用不同的颜色或不同的阴影实现的不同的掩模，用这些不同掩模来标记属于不同隐私保护类别的对象。在一些实施例中，由所述皮肤区域检测模块108检测到的具有不同裸露度的对象，可以使用不同的颜色的不同的掩模来标记上述对象。在一些实施例中，一个视频流或一个图像帧可以包括具有不同隐私设置的用户。在应用掩模之后，已处理的图像帧中包括一个或多个外貌完整用户，部分外貌(使用掩模)或从框架中删除图像。
图5示出了本发明具体实施例的对象移除和修复的示例。一旦所述实例分割模块110完成了实例分割，就已经指定了覆盖对象的区域。然后，所述对象移除和修补模块114可以负责从图像中移除对象或对象的一部分(如果指定的话)，然后在用利用修补技术生成的像素切割对象或对象部分之后填充该空间。图5示出了示例，该示例演示如何可以将对象从图像中移除而不被注意。图5所示的对象边界仅是为了帮助显示被删除的对象，在实际应用中可能会也可能不会显示该对象边界。重要的是要认识到，通过不显示边界(相当琐碎的边界)，被删除的对象可能会完全消失，而最终用户不会注意到。
在移除所述对象之后，所述视频流中的移除区域可以通过补偿补丁来填充。在一些实施例中，可以通过从相邻帧获得相同区域来生成所述补偿补丁。在一些实施例中，可以通过获得视频流的当前帧的背景来生成所述补偿补丁。
所述对象可见引擎112可以使用前瞻机制以及所述滑动窗口中的对象标识和对象裸露度来决定是否允许所述对象出现或部分出现。
所述对象可见引擎112可以用于平衡安全和隐私问题，所述问题包括在逻辑上确定摄影机最终输出时要暴露什么和隐藏什么。在处理帧Ft时，我们的优势是可以前瞻性看到帧Ft+1，Ft+2，…，Ft+Lf，其中帧存储在帧缓冲区中，因此可以在所述对象检测和跟踪模块104和对象识别模块106中利用已知的将来帧。当在滑动窗口帧(m＝1，2，…M)中跟踪的对象的索引由m表示时，这些对象在视频序列中的开始时间和结束时间可能不同。
当用P(Om，Ft)表示是否检测到Ft中的Om的指示符，以及是否将Om识别为对隐私敏感的家庭成员时，我们可以获得：
Figure BDA0002322403180000091
当用N(Om，Ft)来表示是否在Ft中检测到Om的指示符，并且所述对象中皮肤区域的百分比是否高于预设阈值时，即将该对象视为过度裸露，因此我们可以获得：
Figure BDA0002322403180000092
因此，通过检测每个被跟踪对象，可以如下确定对象的可见性：
如果
Figure BDA0002322403180000093
则这个对象在输出帧F’t中是不可见的；
如果
Figure BDA0002322403180000101
则这个对象在输出帧F’t中是部分可见的(仅脸部区域可见)；
否则，这个对象在输出帧F’t中是全部可见。
所述对象移除和修复模块114可以按照上述条件做出的决定，以期望的方式输出对象。
本发明还提供了一种用于隐私保护的方法。图6示出了本发明具体实施例的用于隐私保护的示例性方法的流程图。如图6所示，该隐私保护方法包括：获取摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中(步骤602)；在视频流中检测移动对象(步骤604)；确定移动对象是否是预定的隐私保护对象(步骤606)；解析所述视频流中的移动对象(步骤608)；从所述视频流中移除移动对象的至少一部分(步骤610)；用来自视频流的相邻帧的补偿补丁填充所述视频流中的已移除的移动对象所在的区域(步骤612)；输出修改后的所述视频流，所述视频流具有至少一部分移动对象被移除并填充有补偿补丁的步骤(步骤614)。
在图像处理管道之后，由摄影机捕获的输入视频流进入帧缓冲区，根据历史帧处理所述视频帧，并延迟输出视频流，所述历史帧取决于所述帧缓冲区的大小。所述帧缓冲区可以启用等待时间L，这允许系统使用此等待时间L对每个移动对象进行决策并确定分类处理。视频输入和视频输出之间的等待时间L以秒为单位。当以帧为单位表示帧缓冲区102的大小为B，并且每秒的帧速率为f时，我们可能会发现：
B>＝L*f，(1)
其中，B是系统约束，L是用户设置的可定制变量。所述系统可以将B和L都控制在一个合理的较小值，但是，较大的L可以使系统具有更好的精度，因为所述对象检测和跟踪过程以及所述对象识别过程具有更长的滑动窗口用来处理潜在的移动对象。
输入帧由Ft+Lf表示，其中t是视频帧索引的变量，所述输出帧由F′t表示，因此已经考虑了L的处理时间的延迟，所述滑动窗口的长度(以帧为单位)为L*f。当L设置为L＝0时，这意味着需要实时处理，因此不允许输入和输出之间的等待时间。
帧缓冲区中的视频帧通过两条途径同时处理。首先，通过对象检测和跟踪过程检测视频中的所述移动对象，然后对检测到的对象进行对象识别过程606或面部识别过程，以确定该对象是普通家庭成员，是请求隐私的成员，或者是入侵者。同时，所述对象经过皮肤区域检测过程以确定对象的裸露程度。此后，所述对象可见引擎确定在最终视频输出中显示多少对象。
第二条途径是首先对视频执行实例分割过程608，以解析出所有移动对象。然后，根据对象可见引擎对每个对象的可见性推荐，所述对象移除和修复过程610可以移除一些对象，并通过修复过程612，使用背景或相邻视频帧的补偿补丁来填充移除了对象的空间。
所述视频输出的对象可能属于以下三类。首先，所述对象可见引擎可以推荐完整外貌，因此原始对象将出现，并且可以跳过对象移除和修复过程610和612。其次，所述对象可见引擎可以推荐完全不可见的外貌，因此在步骤610中将对象从视频中移除，并且应用修复过程612来填充空间。第三，所述对象可见引擎可以推荐部分不可见的外貌，因此将部分对象从视频中移除，并且将应用修复过程612来填充空间。
在一些实施例中，所述帧缓冲区是等待时间机制，其允许视频输出具有预定等待时间的延迟，所述延迟是相对于视频输入的延迟，从而使系统在对每个移动对象的对象识别和隐私敏感性决策方面具有前瞻性。在本发明中利用帧缓冲区，使滑动窗口方法可以用于对象级处理，所述对象级处理是基于存储在帧缓冲区102中的过去的帧。所述帧缓冲区可以启用所述等待时间L，且允许系统使用此等待时间L来决定每个移动对象并确定其处理分类。
在一些实施例中，在用于隐私保护的方法中包括了所述对象检测和跟踪过程604和所述对象识别过程606，以将摄影机处理从原始帧级转换为对象级。
所述对象检测和跟踪过程604可以包括检测视频流中的移动对象。在一些实施例中，对象检测和跟踪过程604可以检测移动对象并通过视频剪辑跟踪该移动对象。所述视频输入通常可以是几个连续的视频帧，而视频输出可以是多个对象的边界框和对象的类别(例如，人脸，人体，狗等)。
所述对象识别过程606包括确定移动对象是否是预定义的隐私保护对象。当确定所述移动对象不是预定义的隐私保护对象时，可以输出视频流。当确定所述移动对象为预定义的隐私保护对象时，此后可以应用实例分割过程608。
所述对象识别过程606可以接收对象的边界框并输出识别出的身份。有几种方法可以实现此功能。在一些实施例中，在系统设置的初始阶段，可以要求用户输入家庭成员的照片，并指定谁是对隐私敏感的和谁不是。当检测到入侵者面部时，系统可以允许用户指定此人的类别：是对隐私敏感的家庭成员或普通家庭成员，否则，就是系统不需要存储的入侵者。因此，在对象识别过程中，将检测到的对象与预先标记的对象的数据库进行比较，并确定其身份。
可以应用皮肤区域检测过程来发现家庭成员没有穿衣服(或半裸)的场景，该场景对摄影机输出敏感。在一些实施例中，肤色检测过程可以用于确定图像的皮肤区域。通过简单地测量对象边界框内的皮肤区域的百分比，所述系统可以对所述对象的皮肤显露值进行粗略估计。当该值太高时，所述对象可见引擎可能需要采取某些措施。
所述系统中还包括实例分割过程608，对象移除过程610和修复过程612，以根据对象可见性判定机制引起的隐私保护关注来隐藏对象。实例分割过程608包括分割视频流中的移动对象。实例分割过程608可以为每个对象生成分割掩模。例如，每个对象所在的区域都涂有颜色遮罩，因此移除对象的过程可以简单地切割相关区域，并用修复技术填充空间。
一旦完成实例分割，就已经指定了覆盖对象的区域。然后，对象移除过程610可以负责从图像中移除对象或对象的部分(如果指定的话)，然后在用利用修复技术生成的像素切割对象或对象部分之后，修复过程612可以填充空间。所述对象移除过程610包括从视频流中移除移动对象的至少一部分，并且所述修复过程612包括用来自视频流的相邻帧的补偿补丁填充视频流中移除的移动对象所在的区域。
对象可见引擎可以使用前瞻机制以及滑动窗口中的对象标识和对象裸露度来决定是否允许对象出现或部分出现。
对象可见引擎可用于用于平衡安全和隐私问题，所述问题包括在逻辑上确定摄影机最终输出时要暴露什么和隐藏什么。在处理帧Ft时，我们的优势是可以前瞻性看到帧Ft+1，Ft+2，…，Ft+Lf，其中帧存储在帧缓冲区中，因此可以在所述对象检测和跟踪过程604和对象识别过程606中利用已知的将来帧。当在滑动窗口帧(m＝1，2，…M)中跟踪的对象的索引由m表示时，这些对象在视频序列中的开始时间和结束时间可能不同。
当通过P(Om，Ft)来表示是否在Ft中检测到Om的指示符，以及是否将Om识别为对隐私敏感的家庭成员时，我们可以获得：
Figure BDA0002322403180000131
当通过P(Om，Ft)来表示是否在Ft中检测到Om的指示符，以及是否将Om识别为对隐私敏感的家庭成员时，我们可以获得：
Figure BDA0002322403180000141
因此，通过检查每个被跟踪对象，可以如下确定对象的可见性：
如果为
Figure BDA0002322403180000142
则该对象在输出帧F′t中不可见；
如果为
Figure BDA0002322403180000143
则该对象在输出帧F′t中是部分可见的(仅使面部区域可见)；
否则，该对象将在输出帧F’t中完全可见。
对象移除过程610和修复过程612可以遵循上述条件做出的决定，以期望的方式输出对象。
本发明进一步提供了一种非暂时性计算机可读介质，其存储了用于隐私保护的可执行计算机程序指令。该计算机程序指令包括用于应用上述隐私保护方法的指令，如：获得由摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中；以及检测所述视频流中的移动对象；确定移动对象是否为预定义的隐私保护对象；解析视频流中的移动对象；从视频流中移除移动对象的至少一部分；用补偿补丁填充视频流中被移除的移动对象所在的区域，所述补偿补丁来自所述视频流的相邻帧；并输出修改后的视频流，所述视频流中至少有一部分移动对象已被删除并填充有补偿补丁(例如，掩模)。
本发明提出了一种隐私保护摄影机和隐私保护方法。所述用户可以指定哪些家庭成员对隐私敏感，这样他/她就不会被记录在最终的视频输出中。在此应用下，这些成员的隐私受到保护。另一方面，其他成员和入侵者仍记录在最终视频输出中，因此仍保持了安全性。
本发明的实施例可用于智能家居中以监视人的运动和活动，用于安全监视的公共场所以及诸如办公室空间的半公共空间。例如，在高安全性建筑物中，隐私保护摄影机系统可以用作安全监视摄影机。保存摄影机系统可用于部分掩模或完全掩模某些不应被跟踪的人的视频流。在另一个示例中，所述隐私保护摄影机系统可以与没有隐私设置的摄影机系统结合使用。隐私保护摄影机系统可以部分屏蔽或完全屏蔽某些人的视频流。当需要追踪某些活动时，可以检查未处理的视频流以进一步识别视频流中的相关人员动作。出于安全性考虑，具有隐私保护设置的视频流和/或未处理的视频流可能会被存储以供将来使用。
根据本发明的说明书和实例，本发明的其他实施方式对于本领域技术人员将是显而易见的。说明书和实施例仅被认为是示例性的，本发明的真实范围和精神由权利要求书所述。

Claims (20)

1.一种隐私保护摄影机，其特征在于，包括：
帧缓冲区，用于储存视频流的帧，所述视频流通过所述隐私保护摄影机捕获；
对象检测和跟踪模块，用于检测所述视频流中的移动对象；
对象识别模块，用于确定所述移动对象是否为隐私保护对象，当确定所述移动对象不是所述隐私保护对象时，输出所述视频流；
实例分割模块，用于当所述对象识别模块将所述移动对象确定为所述隐私保护对象时，解析所述移动对象；
对象移除和修复模块，用于从所述视频流中移除所述移动对象的至少一部分，用所述视频流的现有帧的背景或相邻帧作为补偿补丁来填充所述视频流中被移除的移动对象所在的区域，并输出修改后的视频流，所述修改后的视频流中所述补偿补丁替换了至少一部分所述移动对象。
2.根据权利要求1所述的隐私保护摄影机，其特征在于，所述对象检测和跟踪模块用于检测所述视频流中的所述移动对象，还包括：
通过视频剪辑检测并跟踪所述移动对象；以及
输出所述移动对象的多个对象边界框和所述移动对象的类别。
3.根据权利要求1所述的隐私保护摄影机，其特征在于，所述对象识别模块用于确定所述移动对象是否是隐私保护对象，还包括：
通过面部识别过程确定所述移动对象是家庭成员，是请求隐私成员，或者是入侵者。
4.根据权利要求3所述的隐私保护摄影机，其特征在于，所述对象识别模块用于确定所述移动对象是否是隐私保护对象，还包括：
在初始阶段输入所述家庭成员和所述请求隐私成员的照片；
将检测到的所述移动对象与数据库对比，以确认所述移动对象的身份，所述数据库由所述家庭成员和所述请求隐私成员的照片形成。
5.根据权利要求1所述的隐私保护摄影机，其特征在于，所述实例分割模块用于分析所述视频流中的所述移动对象，还包括：
为所述移动对象生成分割掩模；以及
在所述生成的分割掩模的区域涂有彩色掩模。
6.根据权利要求1所述的隐私保护摄影机，其特征在于，还包括：
皮肤区域检测模块，用于对所述移动对象进行皮肤区域检测，以确定所述移动对象的裸露度。
7.根据权利要求6所述的隐私保护摄影机，其特征在于，还包括：
对象可见引擎，从所述对象检测模块接收所述移动对象的对象标识，从所述皮肤区域检测模块接收所述移动对象的裸露度，以决定是否允许所述移动对象出现。
8.根据权利要求7所述的隐私保护摄影机，其特征在于，所述对象可见引擎根据来自于所述对象检测模块的所述对象标识以及来自于所述皮肤区域检测模块的所述裸露度决定是否允许所述移动对象的帧Ft出现，所述对象标识为所述移动对象的之后至少一帧Ft+1的对象标识，所述裸露度为所述移动对象的之后至少一帧Ft+1的裸露度。
9.一种用于隐私保护的方法，其特征在于，包括：
获得由摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中；
检测所述视频流中的移动对象；
确定所述移动对象是否是隐私保护对象；
当确定所述移动对象不是所述隐私保护对象时，输出所述视频流；
当确定所述移动对象是所述隐私保护对象时：
解析所述视频流中的所述移动对象；
从所述视频流中至少移除所述移动对象的一部分；
用所述视频流当前帧的背景或相邻帧作为补偿补丁填充所述视频流中被移除的移动对象所在的区域；以及
输出修改后的视频流，所述修改后的视频流中所述补偿补丁代替了至少一部分所述移动对象。
10.根据权利要求9所述的用于隐私保护的方法，其特征在于，所述检测所述视频流中的移动对象还包括：
通过视频剪辑检测并跟踪所述移动对象；以及
输出所述移动对象的多个对象边界框和所述移动对象的类别。
11.根据权利要求9所述的用于隐私保护的方法，其特征在于，所述确定所述移动对象是否是隐私保护对象，还包括：
通过面部识别过程确定所述移动对象是家庭成员，是请求隐私成员，或者是入侵者。
12.根据权利要求11所述的用于隐私保护的方法，其特征在于，所述确定所述移动对象是否是隐私保护对象，还包括：
在初始阶段输入所述家庭成员和所述请求隐私成员的照片；
将检测到的所述移动对象与数据库对比，以确认所述移动对象的身份，所述数据库由所述家庭成员和所述请求隐私成员的照片形成。
13.根据权利要求9所述的用于隐私保护的方法，其特征在于，在所述分析所述视频流中的所述移动对象之前，还包括：
对所述移动对象执行皮肤区域检测以确定所述移动对象的裸露度，其中，通过肤色检测过程确定图像的皮肤区域，所述图像是所述移动对象的图像。
14.根据权利要求9所述的用于隐私保护的方法，其特征在于，所述分析所述视频流中的所述移动对象，还包括：
为所述移动对象生成分割掩模；以及
在所述生成的分割掩模的区域涂有彩色掩模。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储了用于隐私保护的可执行计算机程序指令，所述计算机程序指令包括：
获得由摄影机捕获的视频流，并将所述视频流的帧存储在帧缓冲区中；
检测所述视频流中的移动对象；
确定所述移动对象是否是隐私保护对象；
当确定所述移动对象不是所述隐私保护对象时，输出视频流；
当确定所述移动对象为所述隐私保护对象时：
解析所述视频流中的所述移动对象；
从所述视频流中至少移除所述移动对象的一部分；
用所述视频流当前帧的背景或相邻帧作为补偿补丁填充在所述视频流中被移除的移动对象所在的区域；以及
输出修改后的视频流，所述修改后的视频流中所述补偿补丁代替了至少一部分所述移动对象。
16.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，所述检测所述视频流中的移动对象，还包括：
通过视频剪辑检测并跟踪所述移动对象；以及
输出所述移动对象的多个对象边界框和所述移动对象的类别。
17.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，所述确定所述移动对象是否是隐私保护对象，还包括：
通过面部识别过程确定所述移动对象是家庭成员，是请求隐私成员，或者是入侵者。
18.根据权利要求17所述的非暂时性计算机可读介质，其特征在于，所述确定所述移动对象是否是隐私保护对象，还包括：
在初始阶段输入所述家庭成员和所述请求隐私成员的照片；
将检测到的所述移动对象与数据库对比，以确认所述移动对象的身份，所述数据库由所述家庭成员和所述请求隐私成员的照片形成。
19.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，在所述分析所述视频流中的所述移动对象之前，还包括：
对所述移动对象执行皮肤区域检测以确定所述移动对象的裸露度，其中，通过肤色检测过程确定图像的皮肤区域，所述图像是所述移动对象的图像。
20.根据权利要求15所述的非暂时性计算机可读介质，其特征在于，所述分析所述视频流中的所述移动对象，还包括：
为所述移动对象生成分割掩模；以及
在所述生成的分割掩模的区域涂有彩色掩模。
CN201911303238.0A 2018-12-31 2019-12-17 隐私保护摄影机 Active CN111383168B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/236,987 US10769915B2 (en) 2018-12-31 2018-12-31 Privacy preserving camera
US16/236,987 2018-12-31

Publications (2)

Publication Number Publication Date
CN111383168A true CN111383168A (zh) 2020-07-07
CN111383168B CN111383168B (zh) 2024-06-04

Family

ID=

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744048A (zh) * 2004-09-02 2006-03-08 英特尔公司 摄像机共享
CN1819656A (zh) * 2002-10-11 2006-08-16 株式会社Ntt都科摩 视频编码、解码方法和装置
CN101510999A (zh) * 2009-02-24 2009-08-19 山东大学 用于实时视频监控的客户端实现方法
US20140023248A1 (en) * 2012-07-20 2014-01-23 Electronics And Telecommunications Research Institute Apparatus and method for protecting privacy information based on face recognition
CN104217417A (zh) * 2013-05-31 2014-12-17 张伟伟 一种视频多目标跟踪的方法及装置
CN104951773A (zh) * 2015-07-12 2015-09-30 上海微桥电子科技有限公司 一种实时人脸识别监视系统
CN106803943A (zh) * 2016-03-31 2017-06-06 小蚁科技（香港）有限公司 视频监控系统和设备
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN108702485A (zh) * 2015-11-18 2018-10-23 乔治·蒂金 在视频监视系统中保护隐私

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1819656A (zh) * 2002-10-11 2006-08-16 株式会社Ntt都科摩 视频编码、解码方法和装置
CN1744048A (zh) * 2004-09-02 2006-03-08 英特尔公司 摄像机共享
CN101510999A (zh) * 2009-02-24 2009-08-19 山东大学 用于实时视频监控的客户端实现方法
US20140023248A1 (en) * 2012-07-20 2014-01-23 Electronics And Telecommunications Research Institute Apparatus and method for protecting privacy information based on face recognition
CN104217417A (zh) * 2013-05-31 2014-12-17 张伟伟 一种视频多目标跟踪的方法及装置
CN104951773A (zh) * 2015-07-12 2015-09-30 上海微桥电子科技有限公司 一种实时人脸识别监视系统
CN108702485A (zh) * 2015-11-18 2018-10-23 乔治·蒂金 在视频监视系统中保护隐私
CN106803943A (zh) * 2016-03-31 2017-06-06 小蚁科技（香港）有限公司 视频监控系统和设备
CN107273822A (zh) * 2017-05-26 2017-10-20 西安电子科技大学 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法

Also Published As

Publication number Publication date
US20200211348A1 (en) 2020-07-02
US10769915B2 (en) 2020-09-08

Similar Documents

Publication Publication Date Title
US10769915B2 (en) Privacy preserving camera
US9648285B2 (en) Monitoring method and camera
WO2018006834A1 (en) Systems, processes and devices for occlusion detection for video-based object tracking
Singh et al. Modified gain intervention filter based dehazing technique
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
US8634601B2 (en) Surveillance-based high-resolution facial recognition
US20130162867A1 (en) Method and system for robust scene modelling in an image sequence
EP3319045B1 (en) Image processing apparatus, image processing method, and storage medium
US20170004629A1 (en) Low-complexity motion detection based on image edges
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
JP6789601B2 (ja) 所定画像領域をマスクした撮影映像を学習映像として選択する学習映像選択装置、プログラム及び方法
JP7419080B2 (ja) コンピュータシステムおよびプログラム
US10841642B2 (en) System and method for masking objects in a video archive upon the demand of users
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
KR20180001356A (ko) 지능형 영상 보안 시스템
JP7039208B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112084832B (zh) 突出显示图像或视频中的感兴趣对象的方法
CN111383168B (zh) 隐私保护摄影机
CN111460944A (zh) 一种基于热成像的活体识别方法、装置、设备及存储介质
KR101288248B1 (ko) 프라이버시 마스킹용 휴먼 추적 시스템 및 방법
CN114724077A (zh) 安全检测方法、安全检测系统和存储介质
CN110909579A (zh) 一种视频图像处理方法、装置、电子设备及存储介质
JP2006295251A (ja) 監視用撮像装置及びその制御方法
Rabha Background modelling by codebook technique for automated video surveillance with shadow removal
US20240144795A1 (en) Object in-painting in a video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL Corp.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant