CN108537860B - 图像生成装置、控制方法和计算机可读存储介质 - Google Patents

图像生成装置、控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN108537860B
CN108537860B CN201810176032.5A CN201810176032A CN108537860B CN 108537860 B CN108537860 B CN 108537860B CN 201810176032 A CN201810176032 A CN 201810176032A CN 108537860 B CN108537860 B CN 108537860B
Authority
CN
China
Prior art keywords
image
background
region
partial
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810176032.5A
Other languages
English (en)
Other versions
CN108537860A (zh
Inventor
大矢崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108537860A publication Critical patent/CN108537860A/zh
Application granted granted Critical
Publication of CN108537860B publication Critical patent/CN108537860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像生成装置、控制方法和计算机可读存储介质。图像生成装置包括:生成单元,其生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的;更新单元,其基于输入图像执行用于更新背景图像内的至少部分区域的更新处理;以及限制单元,其在与其他区域相比的限制区域中限制更新处理的反映,限制区域是输出图像中的至少部分区域。

Description

图像生成装置、控制方法和计算机可读存储介质
技术领域
本发明涉及一种图像生成装置、控制方法和计算机可读存储介质,并尤其涉及一种生成隐私保护图像的技术。
背景技术
随着监控摄像机的普遍安装,保护监控摄像机的影像上显示的个人隐私正变得越来越重要。日本特开第2009-225398号公报记载了通过从输入图像生成分别表示人像的前景图像和不显示人的背景图像,并使由于对前景图像应用掩模处理和滤波处理得到的图像与背景图像重叠,从而保护隐私的技术。
日本特开第2009-225398号公报是基于背景图像是在不存在作为保护目标的人的状态下生成的前提。如果在存在人的状态下从监控摄像机的影像生成背景图像,那么背景图像将包括此人的图像。即,将此人的图像识别成了背景,而没有生成为前景图像。因此,此人的隐私可能不会保护。此外,如果人从例如坐在椅子上起长时间保持静止,那么随着时间流逝,人的区域可能会反映在背景图像中。同样,在这种情况下,并没有将此人的区域视作保护目标区域,从而此人的隐私不能受到保护。
发明内容
本发明的一个实施例减少了由于人像在背景图像中的反映而使得不能保护隐私的情况。
根据本发明的一方面的图像生成装置,提供一种图像生成装置,所述图像生成装置包括:生成单元,其生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的;更新单元,其基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理;以及限制单元,其在与其他区域相比的限制区域中限制所述更新处理的反映,所述限制区域是所述输出图像中的至少部分区域。
根据本发明的另一方面,提供一种图像生成装置的控制方法,所述控制方法包括:生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的;基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理;以及在与其他区域相比的限制区域中限制所述更新处理的反映,所述限制区域是所述输出图像中的至少部分区域。
根据本发明的另一方面,提供一种计算机可读存储介质,其存储了用于使计算机执行图像生成装置的控制方法的程序,所述控制方法包括:生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的;基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理;以及在与其他区域相比的限制区域中限制所述更新处理的反映,所述限制区域是所述输出图像中的至少部分区域。
根据以下参照附图对示例性实施例的详细描述,本发明的其他特征将变得清楚。
附图说明
图1是描述隐私保护图像的生成原理的图。
图2是描述根据第一实施例的隐私保护图像的生成方法的图。
图3是示出根据第一实施例的影像生成装置的示例性功能配置的框图。
图4是示出通过根据第一实施例的影像生成装置执行的处理步骤的流程图。
图5是示出用于隐私保护区域的设置画面的示例图。
图6是示出隐私保护区域的设置操作的流程图。
图7是示出根据第二实施例的隐私保护区域的设置画面的示例图。
图8是示出根据第二实施例的影像生成装置的示例性功能配置的框图。
图9是示出基于人体检测的初始掩模区域的注册处理的流程图。
图10是基于每个掩模区域的背景图像中的反映速度控制处理的流程图。
图11是示出影像生成装置的示例性硬件配置的框图。
具体实施方式
以下参照附图详细描述实施例。请注意,通过以下实施例呈现的配置仅是示例,并且本发明并不限于通过实施例呈现的配置。
<第一实施例>
根据本实施例,在剪影检测到的运动体区域,并使其与背景图像重叠的隐私保护图像生成方法中,提前指定运动体检测困难的区域。通过模糊化此区域中的初始背景图像而提前准备保护图像,并在生成隐私保护图像时将保护图像与背景图像重叠放置。其后,通过透明重叠放置剪影图像来生成隐私保护图像。
图1是示出隐私保护图像的生成原理的示意图。11a,11b,11c和11d分别表示时间t1处的输入图像110,背景图像130,前景掩模图像150和用作输出图像的隐私保护图像170。同理,12a,12b,12c和12d分别表示时间t2处的输入图像120,背景图像140,前景掩模图像160和用作输出图像的隐私保护图像180。
人111和人112存在于时间t1处的输入图像110和时间t2处的输入图像120中。人111在输入图像110(时间t1)和输入图像120(时间t2)之间移动。另一方面,人112是静止的,并且他/她的位置和姿势在输入图像110和输入图像120中大体保持一致。
基于输入图像从使用公知方法生成的背景模板生成背景图像130、140。人111在时间t1和时间t2之间的位置中移动,并被识别为运动体。因此,人111的图像在背景图像130、140中都不会出现。另一方面,由于人112从时间t1到时间t2保持静止,在时间t2处将他/她识别为背景142。即,在预定时间段内保持静止的被摄体(不移动的被摄体)被视作背景的一部分,并且此被摄体的图像出现在背景图像中。换言之,此被摄体的图像反映在背景图像中,并确定为背景。将在背景图像中进行反映之前的预定时间段称作背景化时间。
基于输入图像110和背景图像130生成时间t1处的前景掩模图像150。例如,通过输入图像110和背景图像130之间的对比来提取运动体区域,从而获得包括前景掩模151、152的前景掩模图像150,并将提取的运动体区域转化为预定的图案。在时间t2处的前景掩模图像160中,通过输入图像120和背景图像140之间的对比生成前景掩模161。在前景掩模图像160中,因为人112是作为背景142的背景图像140的一部分,所以与人112对应的前景掩模并不存在。
通过前景掩模图像150在背景图像130上的透明重叠来生成时间t1处的隐私保护图像170。因此,在时间t1处的隐私保护图像170中,将人111和人112显示为剪影图像171和172,并且保护他们的隐私。另一方面,通过前景掩模图像160在背景图像140上的透明重叠来生成时间t2处的隐私保护图像180。因此,尽管由于将人111显示为剪影图像181而在隐私方面受到保护,但人112在隐私方面没有受到保护,并且将其显示为背景142。
图2是示出根据用于解决前述问题(不能保护人112的隐私)的本实施例的隐私保护图像的生成原理的示意图。与图1类似,21a,21b,21c和21d分别表示输入图像210、背景图像220、前景掩模图像230和隐私保护图像240。输入图像210中的人211移动,并且不会出现在背景图像220中。因此,在背景掩模图像230中,生成与人211对应的前景掩模231。因此,在隐私保护图像240中,将人211显示为剪影图像241,并且保护其隐私。
另一方面,假定输入图像210中的人212从例如坐在椅子上起的长时间(超过背景化时间的时间段)内处于静止状态。请注意,静止状态指的是区域中的变化量小于预定阈值。在这种情况下,在背景图像中反映输入图像210中的人212的图像,并且人212的图像221出现在背景图像220中。在前景掩模图像230中没有生成人212的前景掩模,从而人212的隐私不能受到保护。
在本实施例中,为了实现人212的隐私保护,通过从作为部分图像213的输入图像210中删除包括人212的部分区域来生成背景掩模图像214。背景掩模图像214由于模糊化或马赛克处理的应用而处于隐私受保护的状态。通过使背景掩模图像214在背景图像220上重叠,而后与前景掩模图像230的透明重叠来生成隐私保护图像240。由此,人211显示为剪影图像241,并且人212包含在马赛克的图像242中。从而,人211和人212都在隐私方面受到了保护。
如上所述,在隐私保护图像240中与部分图像213对应的部分区域中,背景图像的更新结果(出现在背景图像220中的图像221)的反映受到限制。由此限制了背景图像的更新反映的区域被称作限制区域。
图3是示出作为根据第一实施例的图像生成装置的影像生成装置300的示例性功能配置的框图。影像生成装置300包括图像获得单元301、背景模板更新单元302、前景背景识别单元303、掩模图像生成单元304、背景图像生成单元305、图像合成单元306、输出单元307和参数设置单元308。
图像获得单元301获得通过摄像装置拍摄的摄像图像作为输入图像210。并不特别限制获得输入图像的格式和方法。例如,可以以诸如静止图像文件、运动图像文件和流图像等的任何格式获得输入图像,输入图像的获得方法可以是使用网络、存储卡或其他记录介质等的任何形式。请注意,在流图像的获得中,获得通过摄像装置当前拍摄的摄像图像。在静止图像文件和运动图像文件的情况中,输入图像是过去通过摄像装置拍摄并存储到存储装置中的图像。
背景模板更新单元302基于通过图像获得单元301获得的输入图像210执行用于更新背景模板的更新处理。前景背景识别单元303通过比较即刻前的输入图像和背景模板基于每部分区域来识别前景和背景。在此识别处理中,将输入图像的图像特征量和背景模板的图像特征量进行比较。要比较的图像特征量的示例包括每个像素的亮度值和每个块的频率分量,并且一些方法包含了多种图像特征量。此识别处理是所谓的背景差分处理,并且可以使用任何方法的背景差分。
掩模图像生成单元304基于通过前景背景识别单元303对前景和背景的识别结果来生成前景掩模图像230。即,例如,用于将运动体区域(前景)变为单色剪影的处理。背景图像生成单元305从背景模板生成背景图像220。此外,背景图像生成单元305通过使参数设置单元308从输入图像210生成的背景掩模图像214与从背景模板生成的背景图像220重叠来生成隐私受保护的背景图像。请注意,可以通过图像合成单元306来执行背景掩模图像214的合成。
图像合成单元306通过掩模图像生成单元304生成的前景掩模图像在与背景掩模图像重叠的背景图像上的透明重叠来生成隐私保护图像。可选地,模糊化与输入图像的前景掩模区域对应的部分,并将这部分通过透明重叠放置在背景上。输出单元307输出通过图像合成单元306生成的隐私保护图像。输出方法的示例包括呈现在显示器上,存储到文件以及网络分配。然而,通过输出单元307使用的输出方法并不限于特别的输出方法。请注意,如前述,图像合成单元306可以执行背景掩模图像的合成。在这种情况下,图像合成单元306通过前景掩模图像在背景图像(没有与背景掩模图像重叠)上的透明重叠以及通过背景掩模图像214在相应的位置处的重叠来生成隐私保护图像。
参数设置单元308设置背景模板更新单元302和背景图像生成单元305的参数。此外,参数设置单元308通过提供下文使用图5等描述的用户界面使用户能够设置限制区域。参数设置单元308通过从输入图像210获得与设置的限制区域对应的部分图像213,并向获得的部分图像应用模糊处理来准备背景掩模图像214。如上所述,背景图像生成单元305使背景掩模图像214与背景图像220重叠,或使用背景掩模图像214替换与背景图像220中的限制区域对应的部分区域。
图11是示出影像生成装置300的示例性硬件配置的图。影像生成装置300包括CPU11、ROM 12、RAM 13、显示装置14、输入装置15、外部存储16、通信I/F 17和系统总线18。
CPU 11整体地控制影像生成装置300的操作,并经由系统总线18控制各部件(12到17)。ROM 12是存储CPU 11执行处理所必需的控制处理等的非易失性存储。请注意,可以在外部存储16和可拆卸存储介质中存储这些程序。RAM 13用作例如CPU 11的主存储和工作区域。即,CPU 11通过在执行处理时从ROM 12或外部存储16向RAM 13加载必要的程序等,并执行这些程序等来实现例如之前使用图3描述的各种类型的功能单元。
显示装置14是例如液晶显示装置,并在CPU 11的控制下执行各种显示。例如,显示装置14显示下文使用图5描述的设置对话框画面。输入装置15向影像生成装置300输入用户操作。输入装置15包括诸如鼠标等定点设备。外部存储16存储例如CPU 11使用程序执行处理时所需的各种类型的数据和各种类型的信息。外部存储16还存储例如通过CPU 11使用程序等执行处理获得的各种类型的数据和各种类型的信息。
通信I/F 17是用于与外部装置进行通信的界面。通信I/F 17是例如LAN界面。在本实施例中,通信I/F 17与诸如LAN等的网络21连接,并从与网络21连接的摄像装置22和服务器23获得拍摄的图像。请注意,期望将例如网络摄像机用作摄像装置22。系统总线18可通信地连接CPU 11、ROM 12、RAM 13、显示装置14、输入装置15、外部存储16和通信I/F 17。
下文描述了通过上述方式配置的影像生成装置300的操作。
图4是示出用于生成根据第一实施例的隐私保护图像的流程图。现在将使用图4的流程图和图2示出的图像描述隐私保护图像的生成步骤。首先,在步骤S401中,图像获得单元301获得输入图像210。接着,在步骤S402中,背景模板更新单元302基于获得的输入图像210更新背景模板。随后,在步骤S403中,前景背景识别单元303通过比较背景模板的特征量与输入图像210的特征量来识别背景和前景。在步骤S404中,掩模图像生成单元304基于作为背景和前景之间的识别结果获得的前景图像生成前景掩模图像230。此外,参数设置单元308通过从输入图像210删除与限制区域对应的部分图像213并向部分图像应用模糊处理来生成背景掩模图像214。请注意,可以在步骤S401的图像获得和后述步骤S406(图像合成)之间的任何时间内执行背景掩模图像214的生成,并可以与步骤S402到S405并列执行。
随后,在步骤S405中,背景图像生成单元305从背景模板生成背景图像220。在步骤S406中,首先,背景图像生成单元305使背景掩模图像214与背景图像220重叠,然后图像合成单元306通过透明重叠将前景掩模图像230放置在背景图像220上。随后,在步骤S407中,输出单元307输出合成结果。接着,在步骤S408中,确定处理的结束;如果要结束处理,则通过YES分支结束软件处理。请注意,结束处理是例如用户的停止拍摄指示。如果没有要结束处理,则处理返回步骤S401,并重复前述处理。当然,前述处理并不依赖于特定的OS或平台。
图5示出了通过根据第一实施例的参数设置单元308提供的限制区域的设置画面的示例。设置对话框500包括图像显示部510和按钮配置部530。可以使用其他的设置对话框(未示出)指定诸如初始背景图像和输入图像等的任意图像作为在图像显示部510上显示的图像。请注意,初始背景图像是图像获得单元301从一系列图像的获得开始起最早生成的背景图像,并且可以是图像获得单元301最早获得的图像。
用户通过按下添加按钮531或532能够操作区域指定控制521。区域指定控制521由起始点522和多个顶点523构成,并且用户能够使用它们指定多边形的区域作为限制区域。能够使用诸如鼠标等的定点设备指定画面上的位置来移动并添加起始点和顶点。通过再次使用鼠标指针指定起始点522来确认多边形限制区域。其结果显示为例如限制区域520等。
在本实施例中,存在两种类型的限制区域的有利效果。通过添加按钮531带来的限制区域的有利效果是通过对指定限制区域应用模糊处理来限制指定限制区域中的背景图像的更新。这种方法是前述背景掩模图像214的生成方法,例如通过对与输入图像中的限制区域对应的部分图像应用模糊处理来生成背景掩模图像214。另一方面,通过添加按钮532带来的限制区域的有利效果是照旧使用指定限制区域的图像来限制背景图像的更新。例如,如果在初始背景图像上指定限制区域520,则使用初始背景图像中与限制区域520对应的部分图像作为背景掩模图像214。
按下删除按钮533将删除所选限制区域的设置。通过例如使用鼠标指针在限制区域内指定任意位置来选择限制区域。按下OK按钮541将存储限制区域的设置。按下取消按钮542将不存储限制区域的设置就结束设置对话框500。在这种情况下,维持设置对话框500启动前的设置状态。
图6是示出与设置对话框500相关的处理的流程图。在发出设置对话框500的启动指令后,参数设置单元308执行初始化(未示出),并显示设置对话框500。接着,在步骤S610中,参数设置单元308等待操作事件的输入。在输入操作事件后(在本实施例中,在执行按钮531到533、541和542中的一者的按下操作后),参数设置单元308对事件进行识别。
首先,在步骤S611中,如果确定事件是限制区域添加事件,则在步骤S612中,参数设置单元308执行用于添加限制区域的处理。这是通过添加按钮531、532的按下操作和后续在区域指定控制521上的操作来生成多边形区域的处理。这里,因为与掩模类型(模糊化、不进行处理)相关的处理相同,所以将一同进行例示。
如果事件不是限制区域添加事件,则在步骤S613中确定事件是否是限制区域删除事件。如果确定事件是限制区域删除事件,则在步骤S614中,参数设置单元308执行用于删除所选限制区域的处理。这是与删除按钮533的按下操作对应的处理。
如果事件不是限制区域删除事件,则在步骤S615中确定事件是否是限制区域选择事件。如果确定事件是限制区域选择事件,则在步骤S616中,参数设置单元308响应用户的指示编辑(移动)区域指定控制521的起始点522和顶点523。作为使用鼠标指针指定画面上存在的限制区域(例如,限制区域520)的结果产生限制区域选择事件。请注意,要在前述步骤S614中删除的限制区域是例如通过步骤S615的限制区域选择而选择的限制区域。
如果事件不是限制区域选择事件,则在步骤S617中确定事件是否是OK按钮按下事件(作为按下OK按钮541的结果产生的事件)。如果事件是OK按钮按下事件,则在步骤S618中,参数设置单元308确认设置对话框500上的当前设置。然后,参数设置单元308删除设置对话框500并结束对话框。如果事件不是OK按钮按下事件,则在步骤S621中确定事件是否是取消按钮按下事件(作为按下取消按钮542的结果产生的事件)。如果事件是取消按钮按下事件,则在步骤S619中,参数设置单元308结束对话框而不更新设置状态。如果在限制区域的添加处理(步骤S612)、限制区域的删除处理(步骤S614)和限制区域的选择处理(步骤S616)的完成后或执行期间输入操作事件,或者在步骤S621中确定事件是取消按钮按下事件,则重复步骤S610及后续步骤的处理。
根据上述第一实施例,在基于背景差分的隐私保护图像的生成中,将限制了基于输入图像的背景图像更新反映的限制区域指定为在显示时总是受保护的区域。通过这种方式,不论前景和背景间的识别结果如何,都能够通过隐私保护显示例如长时间静止的人。
<第二实施例>
尽管第一实施例描述了用户在设置对话框500上指定限制区域的配置,但限制区域的设置方法并不限于此。作为限制区域的设置方法的又一个实施例,第二实施例描述了自动添加人体区域作为限制区域的配置。
图7示出了根据第二实施例的设置对话框500的初始状态的示例。与第一实施例的不同在于自动添加按钮734的设定。如果按下自动添加按钮734,则针对图像显示部510上显示的图像执行人体检测处理,并将检测到的人体区域711、712作为候选区域。在这种状态下,如果按下OK按钮541,则参数设置单元308注册人体区域711和人体区域712作为限制区域。另外,用户能够删除不需要的候选区域。例如,通过指定人体区域712并按下删除按钮533能够仅设置人体区域711。用户不需要通过操作区域指定控制521指定限制区域;这样就简化了限制区域的设置操作。
图8是示出根据第二实施例的影像生成装置300的示例性功能配置的框图。与第一实施例的不同在于添加了人体检测单元810,并基于检测结果设置限制区域。
图9是示出通过人体检测单元810和参数设置单元308执行的限制区域自动设置处理的流程图。在通过按下自动添加按钮734启动本处理后,在步骤S901中,人体检测单元810获得图像。该图像是在图像显示部510上显示的图像;这里,它是通过图像获得单元301获得的输入图像。在步骤S902中,人体检测单元810从步骤S901中获得的图像检测人体。然后,在步骤S903中,人体检测单元810针对检测到的人体执行追踪处理。这里,人体检测能够包括使用人像的图案匹配方法、基于特征量的方法、基于机械学习的方法等,并不依赖于特定的人体检测方法。接着,为了防止错误检测,在步骤S904中,人体检测单元810提取在预定或更多帧数范围内执行了追踪的人体。在步骤S905中,参数设置单元308将提取的人体的区域注册为候选区域。
在候选区域的注册中,能够检查追踪结果,并且能够将注册限于运动量小于预定值的人体。因此,例如在图7中,能够将与静止的人对应的人体区域711的周围自动注册为掩模区域,并且能够从目标中排除与正在移动的人对应的人体区域712。
如上所述,根据第二实施例,要在隐私保护图像中显示的背景图像设置中,能够容易地将具有高隐私保护效果的区域设置为限制区域。
<第三实施例>
在第一和第二实施例中,通过使用对限制区域的图像应用模糊处理或马赛克处理获得的图像作为背景掩模图像,或通过使用与初始背景图像中的限制区域对应的部分图像作为背景掩模图像来保护隐私。在第三实施例中,通过针对限制区域比针对其他区域设置更长的背景化时间而在限制区域中保护隐私。
即,在第三实施例中,通过对不同的区域设置不同的背景化时间而继续隐私保护效果。例如,将诸如椅子周围的区域等在图像中当前不存在但可能将来会存在的静止的人的区域设置为掩模区域,并且针对掩模区域比针对周围区域设置更长的背景化时间。因为从人坐在椅上时到人在背景图像中作为背景反映时的时间段比在周围区域中长,因此隐私保护效果会持续很长时间。
根据第三实施例的功能配置与根据第一实施例的功能配置(图3)相似。此外,设置对话框与根据第一实施例的设置对话框(图5)相似。下文描述了用于被设置为限制区域的区域的处理。如上所述,鉴于第一和第二实施例通过处理用于显示的背景图像(通过背景掩模图像的重叠)来保护隐私,第三实施例通过基于每个区域改变背景模板的背景化时间来保护隐私。
现在将说明背景化时间。根据背景差分法,从输入图像提取特征量,并与背景模板来进行加权混合。此时,通过提高现存背景的贡献率能够延长在背景图像中进行反映前的时间段。因此,能够将背景化时间定义为针对背景模板的输入图像的贡献率。这里,通过使贡献率成为0来选择完全固定的背景。
图10是示出通过根据第三实施例的背景模板更新单元302执行的背景差分处理的流程图。在步骤S1001中,背景模板更新单元302获得输入图像。在下一步骤S1002的处理中,在图像内针对所有部分区域执行步骤S1003到S1006。在步骤S1003中,背景模板更新单元302应用(选择)预先规定的背景化时间作为初始值。接着,在步骤S1004中,背景模板更新单元302识别目标部分区域是否属于限制区域。例如,如果限制区域中包括50%或更多的部分区域,则确定此部分区域属于限制区域。如果目标部分区域属于限制区域,则步骤S1005中,背景模板更新单元302应用(选择)用于限制区域的背景化时间(比用于其他区域的背景化时间长)。在步骤S1006中,基于设置的背景化时间更新此部分区域的背景模板。通过这种方式,针对属于限制区域的部分区域,应用比用于其他区域的背景化时间长的背景化时间。
如上所述,根据第三实施例,能够针对以隐私保护为目标的限制区域设置长的背景化时间。这样就减缓了在限制区域中长时间静止的人的背景化,由此能够保护隐私。
<变型例>
尽管在第三实施例中针对用户设置的限制区域比针对其他区域设置了更长的背景化时间,但当然可以如在第二实施例中那样基于人体检测的结果设置限制区域。在这种情况下,将在比预定阈值长的时间段内检测到人体的区域用作限制区域,并针对此区域比针对其他区域设置更长的背景化时间。此外,尽管在第二实施例中从当前影像获得基于人体检测的背景掩模候选区域,但关于这点并无特别限制。可以通过从过去的录像中检测人体来设置限制区域。在这种情况下,在过去的录像中,可以将检测到人体的时间段的累计值超过预定阈值的区域设置为限制区域。此外,在第三实施例中,可以针对通过前述方式设置的限制区域比针对其他区域设置更长的背景化时间。通过这种方式,将背景图像中的人像的反映限制在过去频繁检测到人体的区域中,并且能够获得更精确的隐私保护。
其他实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明,但是应当理解,本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释,以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (8)

1.一种图像生成装置,所述图像生成装置包括:
生成单元,其生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的,并通过对所述输入图像的背景差分法而被检测;
更新单元,其通过基于所述输入图像更新所述背景图像内的至少部分区域的更新处理来执行背景化,使得在预定背景化时间内保持静止的部分区域被反映在背景图像中;
设置单元,其设置限制区域,在所述限制区域中限制背景化的反映;以及
应用单元,其将模糊处理和马赛克处理中的至少一种应用到在背景图像中设置的限制区域上,或将与限制区域对应的初始背景图像的部分图像应用为用于输出图像的背景图像的部分图像,使得即使对象在预定背景化时间内保持静止的情况下,也对限制区域中的对象进行掩模。
2.根据权利要求1所述的装置,其中,
设置单元,其基于用户操作设置所述限制区域。
3.根据权利要求1或2所述的装置,所述装置还包括:
检测单元,其检测所述输入图像中包括的人体区域,
其中,所述设置单元将通过所述检测单元检测的人体区域设置为所述限制区域。
4.根据权利要求1或2所述的装置,其中,
所述输入图像是正在通过摄像装置拍摄的流图像。
5.根据权利要求1或2所述的装置,其中,
所述输入图像是过去通过摄像装置拍摄并存储的图像。
6.根据权利要求1或2所述的装置,其中,
所述限制区域是比针对其他区域设置更长背景化时间的区域。
7.一种图像生成装置的控制方法,所述控制方法包括:
生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的,并通过对所述输入图像的背景差分法而被检测;
通过基于所述输入图像更新所述背景图像内的至少部分区域的更新处理来执行背景化,使得在预定背景化时间内保持静止的部分区域被反映在背景图像中;
设置限制区域,在所述限制区域中限制背景化的反映;以及
将模糊处理和马赛克处理中的至少一种应用到在背景图像中设置的限制区域上,或将与限制区域对应的初始背景图像的部分图像应用为用于输出图像的背景图像的部分图像,使得即使对象在预定背景化时间内保持静止的情况下,也对限制区域中的对象进行掩模。
8.一种计算机可读存储介质,其存储了用于使计算机执行图像生成装置的控制方法的程序,所述控制方法包括:
生成前景掩模图像与背景图像重叠的输出图像,前景掩模图像是基于输入图像中包含的运动体生成的,并通过对所述输入图像的背景差分法而被检测;
通过基于所述输入图像更新所述背景图像内的至少部分区域的更新处理来执行背景化,使得在预定背景化时间内保持静止的部分区域被反映在背景图像中;
设置限制区域,在所述限制区域中限制背景化的反映;以及
将模糊处理和马赛克处理中的至少一种应用到在背景图像中设置的限制区域上,或将与限制区域对应的初始背景图像的部分图像应用为用于输出图像的背景图像的部分图像,使得即使对象在预定背景化时间内保持静止的情况下,也对限制区域中的对象进行掩模。
CN201810176032.5A 2017-03-03 2018-03-02 图像生成装置、控制方法和计算机可读存储介质 Active CN108537860B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-040922 2017-03-03
JP2017040922A JP6931290B2 (ja) 2017-03-03 2017-03-03 画像生成装置およびその制御方法

Publications (2)

Publication Number Publication Date
CN108537860A CN108537860A (zh) 2018-09-14
CN108537860B true CN108537860B (zh) 2022-03-25

Family

ID=61282963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810176032.5A Active CN108537860B (zh) 2017-03-03 2018-03-02 图像生成装置、控制方法和计算机可读存储介质

Country Status (4)

Country Link
US (1) US10595060B2 (zh)
EP (1) EP3370417A1 (zh)
JP (1) JP6931290B2 (zh)
CN (1) CN108537860B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7071086B2 (ja) * 2017-10-13 2022-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP7030534B2 (ja) * 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法
JP7106282B2 (ja) * 2018-01-30 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11748926B2 (en) * 2018-03-09 2023-09-05 Hanwha Techwin Co., Ltd. Method and apparatus for performing privacy masking by reflecting characteristic information of objects
US11615208B2 (en) 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
JP7129843B2 (ja) * 2018-08-01 2022-09-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム
US10817733B2 (en) 2019-02-13 2020-10-27 Sap Se Blind spot implementation in neural networks
JP7370769B2 (ja) * 2019-08-30 2023-10-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7547080B2 (ja) 2020-05-18 2024-09-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN112468868A (zh) * 2020-11-27 2021-03-09 广州富港生活智能科技有限公司 自动拍摄设备的拍摄背景更换方法及装置
JP7524501B2 (ja) * 2022-06-28 2024-07-29 楽天グループ株式会社 動画に提供情報を重畳する動画配信
US20240236402A9 (en) * 2022-10-21 2024-07-11 Genetec Inc. Methods and systems for privacy protecting a live video stream with an archived video stream
KR20240077189A (ko) 2022-11-24 2024-05-31 (주)피플앤드테크놀러지 객체 검출 및 분할 모델을 이용한 인공지능기반 마스킹 방법 및 이를 위한 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012088136A1 (en) * 2010-12-22 2012-06-28 Pelco Inc Stopped object detection
CN105391973A (zh) * 2014-08-27 2016-03-09 松下知识产权经营株式会社 监控装置、监控系统及监控方法
CN105701756A (zh) * 2014-12-16 2016-06-22 佳能株式会社 图像处理装置和图像处理方法
WO2016136144A1 (ja) * 2015-02-25 2016-09-01 パナソニックIpマネジメント株式会社 モニタリング装置およびモニタリング方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470342B2 (ja) * 2001-05-29 2010-06-02 パナソニック電工株式会社 画像処理方法及びそれを用いた画像処理装置
JP2004056488A (ja) * 2002-07-19 2004-02-19 Sharp Corp 画像処理方法、画像処理装置および画像通信装置
JP4514185B2 (ja) * 2003-10-03 2010-07-28 キヤノン株式会社 カメラサーバ装置及びその制御方法、並びにコンピュータプログラム
JP5159381B2 (ja) 2008-03-19 2013-03-06 セコム株式会社 画像配信システム
JP5058887B2 (ja) * 2008-06-06 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5237055B2 (ja) * 2008-11-07 2013-07-17 キヤノン株式会社 映像送信装置、映像送信方法、およびコンピュータプログラム
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20130027549A1 (en) * 2011-07-29 2013-01-31 Technische Universitat Berlin Method and device for video surveillance
JP5639033B2 (ja) * 2011-11-09 2014-12-10 日本電信電話株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP5832910B2 (ja) * 2012-01-26 2015-12-16 セコム株式会社 画像監視装置
JP6045806B2 (ja) * 2012-03-30 2016-12-14 セコム株式会社 侵入監視装置
JP2014085796A (ja) * 2012-10-23 2014-05-12 Sony Corp 情報処理装置およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012088136A1 (en) * 2010-12-22 2012-06-28 Pelco Inc Stopped object detection
CN105391973A (zh) * 2014-08-27 2016-03-09 松下知识产权经营株式会社 监控装置、监控系统及监控方法
CN105701756A (zh) * 2014-12-16 2016-06-22 佳能株式会社 图像处理装置和图像处理方法
WO2016136144A1 (ja) * 2015-02-25 2016-09-01 パナソニックIpマネジメント株式会社 モニタリング装置およびモニタリング方法

Also Published As

Publication number Publication date
JP6931290B2 (ja) 2021-09-01
US10595060B2 (en) 2020-03-17
EP3370417A1 (en) 2018-09-05
CN108537860A (zh) 2018-09-14
US20180255326A1 (en) 2018-09-06
JP2018148368A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
CN108537860B (zh) 图像生成装置、控制方法和计算机可读存储介质
EP3588456B1 (en) Image processing apparatus, image processing method, and program
CN108024027B (zh) 图像处理设备、图像处理方法和存储介质
CN109218663B (zh) 图像处理设备、图像处理方法和存储介质
KR101984496B1 (ko) 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
JP7106282B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109565551A (zh) 对齐于参考帧合成图像
JP6910772B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
CN110798590B (zh) 图像处理设备及其控制方法和计算机可读存储介质
US9189865B2 (en) Image processing device, image processing method and computer readable storage medium
JP2012530994A (ja) 半顔面検出のための方法および装置
JP7187154B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11496661B2 (en) Image processing apparatus and image processing method
JP7084795B2 (ja) 画像処理装置、画像提供装置、それらの制御方法及びプログラム
CN105580050A (zh) 提供图像中的控制点
CN108537741B (zh) 图像处理装置及控制图像处理装置的控制方法
JP5499531B2 (ja) 電子カメラ
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
WO2018154827A1 (ja) 画像処理装置、画像処理システムおよびプログラム
CN111543047A (zh) 视频拍摄方法、装置及计算机可读存储介质
JP2021005798A (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11341701B1 (en) Method and apparatus for producing a composite image of a suspect
JP6598828B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant