CN109841024A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN109841024A
CN109841024A CN201910107576.0A CN201910107576A CN109841024A CN 109841024 A CN109841024 A CN 109841024A CN 201910107576 A CN201910107576 A CN 201910107576A CN 109841024 A CN109841024 A CN 109841024A
Authority
CN
China
Prior art keywords
image
unit
detection
area
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910107576.0A
Other languages
English (en)
Other versions
CN109841024B (zh
Inventor
川野敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201910107576.0A priority Critical patent/CN109841024B/zh
Publication of CN109841024A publication Critical patent/CN109841024A/zh
Application granted granted Critical
Publication of CN109841024B publication Critical patent/CN109841024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开一种图像处理装置和图像处理方法。图像处理装置包括：输入单元，用于输入图像；第一检测单元，用于基于所述输入单元输入的所述图像中的特征来检测第一区域；第二检测单元，用于基于所述输入单元输入的所述图像间的变化来检测第二区域；生成单元，用于利用所述第一检测单元的第一区域检测的结果和所述第二检测单元的第二区域检测的结果来生成背景图像；以及处理单元，用于执行图像处理，以降低通过所述生成单元生成所述背景图像之后所获取的处理目标图像和所述背景图像间的比较而识别的特定区域的可视性。

Description

图像处理装置和图像处理方法
本申请是在2015年12月15日提交的、申请号为2015109329292的发明创造名称为“图像处理装置和图像处理方法”的发明专利申请的分案申请。
技术领域
本发明涉及一种用于生成包含隐藏图像的图像的方法。
背景技术
当前，随着安装在各种地方的监视摄像机的数量越来越多，监视摄像机所拍摄的个体的隐私保护的重要性也在增加。日本JP特开2009-225398号公报讨论了一种基于输入图像来生成前景图像和不包含人的背景图像、以及根据用户权限控制是否要将前景图像叠加在背景图像上的技术。日本JP特开2009-225398号公报也讨论了不是将前景图像叠加在背景图像上，而是能够将通过对前景图像施加隐藏处理(掩模处理或滤波处理)所形成的保护图像(隐藏图像(concealed image))叠加在背景图像上。
然而，可能存在本应该隐藏的区域未被隐藏的情况。
例如，假定是这样的情况：执行用于从输入图像中检测人体区域的处理、基于人体区域之外的区域的图像来生成背景图像、以及在相关背景图像内将隐藏图像与基于背景图像和所拍摄图像间的比较所识别的保护区域合成。在此情况下，如果用于从输入图像中检测人体区域的处理失败，则可能会生成包含人体的背景图像。如果背景图像中包含人体，则本应该隐藏的区域可能未被隐藏。
如上文所述，当将隐藏图像与背景图像合成时，如果从背景图像生成的时间开始到摄像的时间为止出现照明变化，则在基于各个所拍摄图像和背景图像间的比较来识别保护区域时可能会出现错误。在此情况下，隐藏图像可能与不需要隐藏的区域合成。
发明内容
根据本发明的一方面，图像处理装置包括：输入单元，用于输入图像；第一检测单元，用于基于所述输入单元输入的所述图像中的特征来检测第一区域；第二检测单元，用于基于所述输入单元输入的所述图像间的变化来检测第二区域；生成单元，用于利用所述第一检测单元的第一区域检测的结果和所述第二检测单元的第二区域检测的结果来生成背景图像；以及处理单元，用于执行图像处理，以降低通过所述生成单元生成所述背景图像之后所获取的处理目标图像和所述背景图像间的比较而识别的特定区域的可视性。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是例示根据示例性实施例的图像处理装置的模块结构的框图。
图2A、2B、2C、2D、2E及2F例示了根据示例性实施例的处理。
图3A、3B、3C、3D、3E及3F例示了根据示例性实施例的处理2。
图4A、4B、4C、4D、4E及4F例示了根据示例性实施例的处理3。
图5A、5B、5C、5D、5E及5F例示了根据示例性实施例的处理4。
图6是例示根据示例性实施例的图像处理装置的操作的流程图。
图7是例示根据示例性实施例的图像处理装置的模块结构的框图。
图8是例示根据示例性实施例的图像处理装置的模块结构的框图。
图9是例示根据示例性实施例的图像处理装置的硬件结构的框图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。以下示例性实施方式中描述的结构应被认为是例示性的，本发明并不限于所例示的结构。
图1是例示图像处理装置100的结构的框图。图像处理装置100包括获取单元101、运动物体检测单元102、人体检测单元103、背景更新单元104、图像比较单元105、图像合成单元106、输出单元107以及参数设置单元108。
图像获取单元101以预定间隔顺次从包括透镜和传感器的摄像单元处获取图像，并向运动物体检测单元102、人体检测单元103、背景更新单元104以及图像比较单元105提供所获取的图像。尽管以下将以图像获取单元101作为摄像单元来操作这一情况为中心描述本示例性实施例，但可以从外部装置获取图像并可以从存储器中读取图像。
运动物体检测单元102执行用于从图像获取单元101所获取的图像中检测运动物体的运动物体检测处理。根据本示例性实施例的运动物体检测单元102通过将图像获取单元101获取的各个图像与背景模块比较(背景差分法)来检测运动物体。更具体地，基于图像获取单元101获取的各个图像与在和相关的所获取图像不同的时间拍摄的其他图像之间的比较，运动物体检测单元102检测运动物体区域。运动物体检测单元102通过追踪图像的变化来恰当更新背景模块。
运动物体检测单元102向背景更新单元104提供通过运动物体检测处理所获得的运动物体信息。根据本示例性实施例的运动物体信息包括关于从图像检测出的运动物体的中心坐标的信息(位置信息)和外接矩形的信息(形状信息)。运动物体检测单元102对图像获取单元101获取的多个图像中的各个执行运动物体检测处理，并向背景更新单元104提供作为该处理的结果所获取的运动物体信息。
人体检测单元103执行用于从图像获取单元101获取的图像中检测人体的人体检测处理。根据本示例性实施例的人体检测单元103通过将图像获取单元101获取的图像中的各个与预定图案图像比较来检测人体(图案匹配法)。然而，经由人体检测单元103检测人体的方法并不限于上述方法，也可以基于诸如图像颜色、亮度、浓度梯度(intensitygradient)、纹理(texture)以及机器学习等特征量。人体检测单元103向背景更新单元104提供通过人体检测处理所获取的人体信息。根据本示例性实施例的人体信息包括关于从图像中检测的人体的中心坐标的信息(位置信息)和外接矩形的信息(形状信息)。人体检测单元103对图像获取单元101获取的多个图像中的各个执行人体检测处理，并向背景更新单元104提供作为该处理的结果所获取的人体信息。
背景更新单元104基于图像获取单元101获取的图像、从运动物体检测单元102获取的运动物体信息、从人体检测单元103获取的人体信息以及从图像比较单元105获取的保护区域比例信息而生成背景图像。背景更新单元104向图像比较单元105和图像合成单元106提供所生成的背景图像。以下将详细描述通过背景更新单元104生成背景图像的处理。
通过将图像获取单元101获取的图像中的各个与从背景更新单元104获取的背景图像比较，图像比较单元105生成保护区域信息和保护区域比例信息。保护区域信息表示图像内的保护区域的位置和形状。图像比较单元105向图像合成单元106提供所生成的保护区域信息。
保护区域比例信息表示保护区域与图像区域的比例。图像比较单元105向背景更新单元104提供所生成的保护区域比例信息。以下将描述图像比较单元105生成保护区域信息和保护区域比例信息的方法。
在从背景更新单元104获取的背景图像内，图像合成单元106将预定图像与从图像比较单元105获取的保护区域信息所表示的保护区域合成以生成保护图像。以下将详细描述生成保护图像的方法。图像合成单元106向输出单元107提供所生成的保护图像。
输出单元107显示从图像合成单元106获取的保护图像。当图像处理装置100安装在网络照相机上时，输出单元107能够将保护图像发送给经由网络连接的监视装置。此外，当图像处理装置100安装在监视装置上时，图像处理装置100将预定图像与从网络照相机获得的背景图像合成以生成保护图像，并指示监视装置显示相关保护图像。
参数设置单元108获取时间阈值和权重值。参数设置单元108也能够基于来自用户的指定或是通过从存储器中读取其默认值来获取上述值。获取相关值的方法并不限于某种方法。参数设置单元108向背景更新单元104提供所获取的时间阈值和权重值。以下将详细描述各值。
图9例示了图像处理装置100的硬件结构的示例。图像处理装置100包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、外部存储器904、通信接口(I/F)905以及系统总线906。
CPU 901整体控制图像处理装置100的操作，即经由系统总线906控制构成单元902至905中的各个。
ROM 902是非易失性存储器，存储CPU 901执行处理所需要的控制程序。相关程序可以存储在外部存储器904或可拆卸地附装的存储介质中。
RAM 903用作CPU 901的主存储器和工作区域。更具体地，当执行处理时，CPU 901将所需要的程序从ROM 902加载到RAM 903中，然后执行相关程序，从而实施各种功能和操作。
外部存储器904存储例如CPU 901利用程序执行处理所需要的各种数据和各种信息。外部存储器904也存储例如当CPU 901基于程序执行处理时获取的各种数据和各种信息。
通信I/F 905是用于与外部装置通信的接口。通信I/F 905是例如局域网(LAN)接口。以下将以图像处理装置100安装在网络照相机上的情况为中心描述本示例性实施例。在此情况下，假定外部装置为经由网络连接到网络照相机的监视装置或记录装置。然而，图像处理装置100可以安装在监视装置或记录装置上。当图像处理装置100安装在监视装置上时，假定外部装置为经由网络连接到监视装置的网络照相机或记录装置。系统总线906连接CPU 901、ROM 902、RAM 903、外部存储器904以及通信I/F 905，使得它们能够彼此通信。
以下将描述经由背景更新单元104生成背景图像的方法。背景更新单元104针对通过以预定尺寸分割背景图像所形成的各个分割区域(块)来管理稳定背景时间。稳定背景时间对应于还未检测到基于运动物体信息和人体信息所识别的保护目标的时段。
以下基于三种不同的情况描述背景更新单元104生成背景图像的处理：(A)初始图像；(B)当保护区域比例小于阈值时；(C)当保护区域比例等于或大于阈值时。
(A)初始图像
该情况是没有生成背景图像的情况。在此情况下，背景更新单元104将图像获取单元101获取的图像作为背景图像来存储。背景更新单元104针对背景图像的所有块中的各个将稳定背景时间设置为0。
(B)当保护区域比例小于阈值时
该情况是保护区域占图像区域的比例小于阈值的情况。在此情况下，针对除通过运动物体信息识别的运动物体区域和通过人体信息识别的人体区域所属于的块之外的各个块，背景更新单元104更新(增加)稳定背景时间。然后，背景更新单元104识别更新后的稳定背景时间超过时间阈值的块，并用与所识别的块对应的图像更新背景图像。然后，背景更新单元104针对已用来更新背景图像的各个块将稳定背景时间设置为0。
(C)当保护区域比例等于或大于阈值时
该情况是保护区域占图像区域的比例等于或大于阈值的情况。当照明条件急速改变时或当通过摇摄(panning)、倾斜及变焦控制而改变摄像单元的摄像范围时，可能会出现以上情况。在此情况下，背景更新单元104利用人体信息而不利用运动物体信息来更新(增加)稳定背景时间。当存在稳定背景时间超过时间阈值的块时，背景更新单元104更新相关块的背景图像以生成背景图像。更具体地，背景更新单元104针对通过人体信息识别的人体区域所属于的各个块将稳定背景时间设置为0，并针对人体区域不属于的各个块更新(增加)稳定背景时间。然后，背景更新单元104用与稳定背景时间超过时间阈值的块对应的图像更新背景图像。此外，背景更新单元104重设用于运动物体检测的背景图像。
更具体地，图像比较单元105根据保护区域的面积和保护处理前所获取图像(处理目标图像)的面积控制背景更新单元104。在相关控制中，背景更新单元104利用人体检测单元103基于图像中的特征来检测人体区域的人体区域检测结果、而不利用运动物体检测单元102基于图像间的比较来检测运动物体区域的检测结果而生成(更新)背景图像。保护区域是指基于处理目标图像的亮度与各个区域的背景图像的亮度之间的比较、在亮度上有预定差异的区域。在本示例中，尽管CPU 901基于保护区域比例来确定是否使用运动物体检测单元102的检测结果来生成背景图像，但CPU 901可以不使用保护区域比例，而仅使用保护区域的尺寸或使用关于保护区域的其他信息来进行相关确定。更具体地，图像比较单元105控制背景更新单元104，以便当与保护区域(特定区域)的面积相关的评估值等于或大于阈值时，不使用运动物体信息就生成背景图像。
如上文所述，通过更新(生成)背景图像，即使出现诸如照明变化等环境变化时也能够显示以较高精度保护保护目标的图像。
以下将参照图2A至图5F详细描述情况(B)中的处理。图2A、图3A、图4A及图5A例示了从图像获取单元101获取的图像(获取的图像)。图2B、图3B、图4B及图5B例示了在与获取的图像具有相同尺寸的白色图像上描画运动物体信息和人体信息的结果(认识结果)。图2C、图3C、图4C及图5C例示了稳定背景时间。图2D、图3D、图4D及图5D例示了更新后的背景图像。
图2A、图2B、图2C、图2D、图2E及图2F例示了当开始根据本示例性实施例的图像处理的定时的状态，对应于上述情况(A)。典型地，情况(A)是指当图像处理装置100开始生成背景图像时的定时或是紧接在重设现有背景图像之后的定时。如上文所述，在情况(A)中，根据本示例性实施例的背景更新单元104将从图像获取单元101获取的图像原封不动地存储为背景图像。因此，图2A中例示的所获取图像与图2D中例示的背景图像相同。如图2B所示，既没有检测运动物体也没有检测人体。
图3A、图3B、图3C、图3D、图3E及图3F例示了从图2A、图2B、图2C、图2D、图2E及图2F例示的状态以来经过一定时段之后的状态。在图3A所示的获取图像中拍摄了人301和人302。图3B例示了通过运动物体检测处理检测运动物体303、通过人体检测处理检测人体304的状态。例如，如图3B所示，根据如何拍摄人、相机安装条件及环境条件，会出现这样的情形：人301能被运动物体检测处理检测但不能被人体检测处理所检测。
图3C例示了针对运动物体检测处理检测到的运动物体区域和人体检测处理检测到的人体区域所属于的各个块、将稳定背景时间设置为0的状态。如图3C所示，针对与既不是运动物体区域也不是人体区域的区域相对应的各个块，稳定背景时间已以预定间隔增加，并达到4。
图3D例示了根据图3C所示的稳定背景时间与时间阈值间的比较结果而更新的背景图像。在本示例性实施例中，由于将时间阈值设置为6，因此，在图3A、图3B、图3C、图3D、图3E及图3F中例示的阶段中，各个块的稳定背景时间没有超过时间阈值。因此，在所有块中都没有更新背景图像。
图4A、图4B、图4C、图4D、图4E及图4F例示了从图3A、图3B、图3C、图3D、图3E及图3F例示的状态以来经过一定时段之后的状态。在图4A所示的获取图像中拍摄了与人301相同的人401、与人302相同的人402以及人402放置的图片403。图4B例示了通过运动物体检测处理检测运动物体404、通过人体检测处理检测人体405的状态。图4B也例示了新出现图片403和人401的合成的区域被检测为运动物体404、人402被检测为人体405的状态。
图4C例示了针对运动物体检测处理检测到的运动物体区域和人体检测处理检测到的人体区域所属于的各个块、将稳定背景时间设置为0的状态。如图4C所示，针对与既不是运动物体区域也不是人体区域的区域相对应的各个块，稳定背景时间已以预定间隔增加，并达到7作为最大值。
图4D例示了根据图4C所示的稳定背景时间与时间阈值间的比较结果而更新的背景图像。基于图2D所示的背景图像之后所获得的图像来更新背景图像的块中稳定背景时间为7的各块。针对在图4A、图4B、图4C、图4D、图4E及图4F所示的阶段中已更新背景图像的各块，将稳定背景时间重设为0。背景更新单元104基于权重值、从稳定背景时间从0增加到7期间所获得的多个图像中生成权重平均图像，并利用生成的图像更新背景图像。通过参数设置单元108获得权重值。
图5A、图5B、图5C、图5D、图5E及图5F例示了从图4A、图4B、图4C、图4D、图4E及图4F例示的状态以来经过一定时段之后的状态。在图5A所示的获取图像中拍摄了与人402相同的人501及与图片403相同的图片502。图5A例示了人401已移出图像的状态。图5B例示了通过人体检测处理检测到人体503、而由于在图片502出现以来经过充足时间之后其已变为背景模块因此通过运动物体检测处理未检测到图片502的状态。
图5C例示了针对运动物体检测处理检测到的运动物体区域和人体检测处理检测到的人体区域所属于的各个块、将稳定背景时间设置为0的状态。如图5C所示，针对与既不是运动物体区域也不是人体区域的区域相对应的各个块，稳定背景时间已以预定间隔增加。特别是，通过运动物体检测处理不再检测到图片502，因此针对图片502所属于的各块，稳定背景时间已增加。
对于图5C中例示的稳定背景时间中高于时间阈值的稳定背景时间的块，背景更新单元104利用图5A中例示的图像来更新背景图像。背景更新单元104利用稳定背景时间从0增加到7期间所获得的多个图像来生成权重平均图像，并利用生成的图像更新背景图像。
以下将描述经由图像比较单元105生成保护区域信息的方法。保护区域信息表示图像中保护目标的位置和形状。在本示例性实施例中，应当特别保护隐私的区域被认为是保护区域。
图像比较单元105基于从图像获取单元101获取的所获取图像来生成亮度图像，同时基于从背景更新单元104获得的背景图像来生成亮度图像。然后，图像比较单元105生成由基于获取图像的亮度图像与基于背景图像的亮度图像之间在像素单元上的差分的绝对值所构成的差分图像。然后，图像比较单元105从相关差分图像的像素中确定差分值大于亮度阈值的像素作为保护目标像素。然后，图像比较单元105通过连接相邻保护目标像素来识别保护区域，并生成表示保护区域的位置和形状的保护区域信息。
图2E、图3E、图4E及图5E例示了与基于图2D、图3D、图4D及图5D所示的背景图像与基于图2A、图3A、图4A及图5A所示的获取图像而生成的保护区域信息相对应的各保护区域。通过将背景图像内保护区域信息表示的保护区域与预定图像合成，图像合成单元106生成保护图像。预定图像是与保护区域信息识别的位置和形状对应的模糊处理后的图像。通过例如对所拍摄图像执行低通滤波处理来实施模糊处理。然而，预定图像并不限于模糊处理后的图像，也可以是水印处理后的图像、马赛克图像或是单色调图像(例如，填充黑色的图像)。更具体地，基于生成(更新)背景图像之后获取的各处理目标图像与背景图像之间的比较，图像合成单元106执行用于将特定区域(保护区域)转换成隐藏图像的图像处理。
图2F、图3F、图4F及图5F例示了与基于图2D、图3D、图4D及图5D所示的背景图像与图2E、图3E、图4E及图5E所示的保护区域信息而生成的各保护图像。如图2F、图3F、图4F及图5F所示，人体区域和运动物体区域被隐藏。
以下将描述根据本示例性实施例的图像处理装置100的处理流程。图6是例示根据本示例性实施例的图像处理装置100的操作的流程。为了实施图6所示的处理，图像处理装置100的CPU 901读取并执行与图6所示的处理相关的程序。根据本示例性实施例的图像处理装置100响应于用户的开始隐私保护处理的指令而开始图6中所示的处理。然而，开始图6所示的处理的定时并不限于上述示例。
在步骤S101中，在开始图6所示的处理之后，图像获取单元101获取图像。根据本示例性实施例的图像获取单元101是用于通过摄像获取图像的摄像单元。然而，用于获取图像的方法并不限于摄像，因此图像处理装置100不是必须配设有摄像单元。在步骤S102中，基于图像获取单元101获取的图像，运动物体检测单元102利用背景差分法执行检测运动物体的处理，人体检测单元103利用图案匹配法执行检测人体的处理。更具体地，运动物体检测单元102基于图像间的变化检测运动物体区域，并向背景更新单元104提供通过相关检测所获取的运动物体信息(运动物体的中心坐标(位置信息)和外接矩形(形状信息))。人体检测单元103基于图像中的特征检测人体区域，并向背景更新单元104提供通过相关检测所获取的人体信息(人体的中心坐标(位置信息)和外接矩形(形状信息))。
在步骤S103中，背景更新单元104基于运动物体信息和人体信息执行用于更新(生成)背景图像的处理。更具体地，背景更新单元104以预定间隔增加已被检测为既不是运动物体区域也不是人体区域的各块的稳定背景时间的值。然后，对于稳定背景时间超过阈值的块，背景更新单元104利用相关块的图像更新背景图像的相关块。然后，背景更新单元104向图像比较单元105提供更新后的背景图像。尽管上文以基于块来管理稳定背景时间的情况为中心具体描述了本示例性实施例，但一个块可以具有任何尺寸和任何形状。
在步骤S104中，图像比较单元105基于从图像获取单元101获取的各获取图像与从背景更新单元104获取的背景图像间的比较而生成保护区域信息。保护区域信息包括关于保护区域的位置和形状的信息。图像比较单元105根据相对于所获取图像的面积的保护区域的面积而生成保护区域比例信息。尽管上文以在保护区域的面积占所获取图像的面积的比例等于或大于阈值时不使用运动物体信息来更新背景图像的情况为中心具体描述了本示例性实施例，但本发明并不限于该示例。例如，CPU 901可以在保护区域的尺寸(而不是面积比例)等于或大于阈值时确定出现照明变化，且不使用运动物体信息就执行生成背景图像的处理。图像比较单元105向图像合成单元106提供所生成的保护区域信息和保护区域比例信息。
在步骤S105中，图像合成单元106基于从背景更新单元104获取的背景图像和从图像比较单元105获取的保护区域信息来生成保护图像。更具体地，图像合成单元106对所获取图像(拍摄的图像)内与保护区域信息表示的保护区域对应的图像执行模糊处理(隐藏处理)。然后，图像合成单元106将模糊处理后的图像与背景图像合成以生成保护图像。图像合成单元106向输出单元107提供所生成的保护图像。
在步骤S106中，输出单元107显示保护图像。更具体地，输出单元107显示这样的保护图像：基于生成(更新)背景图像之后所获取的各个获取图像(处理目标图像)与背景图像间的比较的保护区域(特定区域)已变为隐藏图像。例如，在图像处理装置100安装在网络相机上的情况下，当将保护图像传输给经由网络连接的监视装置时，在相关监视装置上显示相关保护图像。此外，例如，当将保护图像传输给记录装置时，将在从相关记录装置获取保护图像的监视装置上显示相关保护图像。另一方面，在图像处理装置100安装在监视装置上的情况下，将通过监视装置生成保护图像，并将在监视装置的显示单元上显示相关保护图像。
尽管假定掩膜处理和滤波处理为模糊处理(隐藏处理)，但可以将例如预定图像(例如黑色图像)与保护区域合成，并可以执行马赛克处理作为隐藏处理。在步骤S107中，在完成步骤S106中的处理之后，CPU 901确定是继续还是结束图6中所示的处理。当CPU 901确定要继续相关处理时(步骤S107中为“否”)，处理返回至步骤S101。
如上文所述，图像处理装置100利用多个检测单元(运动物体检测单元102和人体检测单元103)生成背景图像。该结构能够相互补偿各检测单元的失败检测，使得保护目标图像更难被包含在背景图像中。然后，图像处理装置100从如上文所述那样生成的背景图像和所拍摄图像中识别保护区域，并显示其中保护区域已变为隐藏图像的保护图像。这样，在保护隐私的同时，使得用户能够意识到保护区域中人体和运动物体的存在。
尽管上文以多个检测单元为运动物体检测单元102和人体检测单元103的情况为中心具体描述了本示例性实施例，但检测单元并不限于上述单元。用于检测脸部的脸部检测单元、用于检测特定物体(例如汽车)的特定物体检测单元以及用于检测非运动物体的检测单元也可以用作为所述多个检测单元。此外，三个或更多个检测单元可以被用作为所述多个检测单元。使用较多数量的检测单元能够生成更难包含保护目标图像的背景图像。
当保护区域的面积等于或大于固定面积时，背景更新单元104能够降低经受环境变化对背景图像的更新的影响的检测单元的贡献率。例如，当使用诸如非运动物体检测单元等用于检测保护目标物体之外的物体的检测单元时，背景更新单元104将非运动物体检测单元已检测到非运动物体的区域的稳定背景时间设置为等于或大于时间阈值的值，使得能够立即更新背景图像。此外，例如当运动物体检测单元102被用作检测单元时，背景更新单元104可以将运动物体检测单元102未检测到运动物体的区域的稳定背景时间设置为等于或大于时间阈值的值，使得能够立即更新背景图像。
在背景更新单元104更新背景图像的处理中，诸如自动扶梯、自动门等周期性运动的物体的图像以及诸如门、窗户等不定期运动的物体的图像在基于权重平均数的处理中通过一系列动作被平均，可能会造成散焦图像。因此，背景更新单元104确定诸如周期性运动物体区域的周期性和不定期运动物体区域的动作模式等动作特征。然后，背景更新单元104能够采用以相关区域的准备好的静止图像来替换相关特征满足预定条件的区域的方法以及以特定颜色填充相关区域的方法。该结构能够提高显示画面的可视性。
尽管上文以图像合成单元106通过将隐藏处理后的保护区域与背景图像合成来生成保护图像的情况为中心具体描述了本示例性实施例，但处理并不限于上述处理。例如，通过将背景图像中的保护区域填充为黑色可以生成保护图像。此外，可以将在背景图像内以准备好的静止图像替换保护区域的图像生成为保护图像。
尽管上文以基于块管理稳定背景时间的情况为中心具体描述了本示例性实施例，但一个块可以具有任何尺寸和任何形状。此外，在图像内各个块可以具有不同的形状。此外，可以不基于块而是基于像素来管理稳定背景时间。
尽管在本示例性实施例中背景更新单元104在更新背景图像区域时使用权重平均图像，但方法并不限于上述。区域更新可以基于通过使用所获取图像来替换背景图像的方法，例如以背景图像替换所获取图像的相关区域的方法以及基于像素顺次替换相关区域的方法。
尽管上文以运动物体检测单元102基于各个所获取图像和背景模块之间的比较而检测运动物体区域的情况为中心具体描述了本示例性实施例，但用来代替运动物体检测单元102或者作为运动物体检测单元102的补充，其他单元也可以基于距离图像执行运动物体检测。
图7例示了图像处理装置100的结构，除了运动物体检测单元102之外，该图像处理装置100还包括用于基于距离图像来执行运动物体检测的距离图像差分检测单元202。单元101至108与图1中例示的单元类似。
距离图像获取单元201通过飞行时间(TOF，Time-of-Flight)法或使用红外线的方法来获取距离图像。然而，距离图像获取单元201获取距离图像的方法并不限于上述方法。距离图像获取单元201向距离图像差分检测单元202提供所获取距离图像。
距离图像差分检测单元202基于从距离图像获取单元201获取的多个距离图像间的差分来检测运动物体区域。更具体地，距离图像差分检测单元202检测出多个临时相邻距离图像中的各个的距离变化等于或大于阈值的区域作为运动物体区域。当物体在与摄像单元的摄像方向相同的方向上运动时，使用距离图像使得更容易检测相关物体的移动。
背景更新单元203针对运动物体检测单元102检测的运动物体区域、人体检测单元103检测的人体区域以及距离图像差分检测单元202检测的运动物体区域，将稳定背景时间设置为0。此外，背景更新单元203针对既不是运动物体检测单元102检测的运动物体区域、人体检测单元103检测的人体区域、也不是距离图像差分检测单元202检测的运动物体区域的各区域而增加稳定背景时间。然后，对于稳定背景时间超过时间阈值的块，背景更新单元203使用相关块的图像来更新背景图像的相关块。
当保护区域比例高于阈值时，可以基于距离图像差分检测单元202检测的运动物体区域、而不使用运动物体检测单元102及人体检测单元103的检测结果来更新稳定背景时间。通过这样，如果例如照明变化造成运动物体检测单元102或人体检测单元103的错误检测，则上述处理使得能够通过使用利用不可见光获取的距离图像来更新稳定背景时间，从而降低运动物体区域的错误检测的可能性。
以下将参照图6、以与不使用距离图像的操作的差别为中心来描述图像处理装置100利用距离图像执行运动物体检测时的操作。在步骤S101中，图像获取单元101获取图像，距离图像获取单元201获取距离图像。距离图像获取单元201向距离图像差分检测单元202提供所获取的距离图像。
在步骤S102中，距离图像差分检测单元202基于多个距离图像间的差分来检测运动物体区域。更具体地，距离图像差分检测单元202针对多个临时相邻距离图像的各个的区域识别距离上的差，并识别相关差分等于或大于阈值的区域。然而，距离图像差分检测单元202检测运动物体区域的方法并不限于上述方法。距离图像差分检测单元202向背景更新单元104提供关于所获取的运动物体区域的位置和形状的运动物体信息(中心坐标(位置信息)和外接矩形(形状信息))。
在步骤S103中，基于运动物体检测单元102、人体检测单元103及距离图像差分检测单元202的检测结果，背景更新单元104更新(增加或重设)稳定背景时间，并更新稳定背景时间超过阈值的各个区域的背景图像。
如上文所述，利用距离图像执行处理使得能够检测通过对拍摄图像执行普通图像处理所不能检测到的差分。利用相关检测结果更新背景图像使得能够实现较高的隐私保护性能。
尽管在以上描述的示例中使用了距离图像，但也可以使用诸如红外图像、热影像(thermal images)及利用立体照相机获得的距离图像等各种不可见图像。
上文以通过使用多个检测单元更新稳定背景时间来更新背景图像的情况为中心具体描述了上述示例性实施例。以下将描述仅利用运动物体检测单元102的运动物体检测处理的结果来更新背景图像的处理。在该情况下，图像处理装置100无需包括人体检测单元103。
当保护区域比例高于预定比例时，图像处理装置100的背景更新单元104改变设置，从而运动物体检测单元102在比保护区域比例低于预定比例的情况更早的定时更新背景模块。更具体地，当保护区域比例(保护区域的尺寸对所获得图像的尺寸的比率)等于或大于预定比例时，运动物体检测单元102在早的定时更新用来检测运动物体的背景模块。然后，运动物体检测单元102通过更新后的背景模块与所获取图像间的比较来检测运动物体，并向背景更新单元104提供表示所检测运动物体的位置和形状的运动物体信息。
如上文所述，当由图像比较单元105获取的保护区域比例等于或大于阈值时，在比相关保护区域比例小于阈值的情况更早的定时更新背景模块。这样进一步使得运动物体检测单元102更难错误地检测运动物体。
可以基于保护区域的面积(尺寸)而不是保护区域比例来控制更新背景模块的定时。更具体地，当图像比较单元105获取的保护区域的面积等于或大于阈值时，运动物体检测单元102能够控制更新背景模块的定时，从而在比相关区域小于阈值的情况更早的定时更新背景模块。
尽管在上述示例性实施例中图像处理装置100包括一个图像获取单元101，但图像处理装置100也可以包括多个图像获取单元101。图8是例示当图像处理装置100包括多个图像获取单元101时的结构的框图。图8中例示的图像获取和识别单元301将图1中例示的图像获取单元101、运动物体检测单元102及人体检测单元103组合。图像获取和识别单元301用作包括透镜和传感器的摄像单元，其以预定间隔获取图像。然后，图像获取和识别单元301向背景更新单元104和图像比较单元105提供所获取图像。图像获取和识别单元301对所获取图像执行运动物体检测处理和人体检测处理，并向背景更新单元304提供所获取的运动物体信息和人体信息。图像获取和识别单元301a和301b获取由不同摄像单元拍摄的各图像。图像获取和识别单元301a和301b各自以与图像获取和识别单元301类似的方式起作用，并向背景更新单元104提供图像、运动物体信息及人体信息。图像获取和识别单元301、301a及301b获取在不同摄像方向上拍摄的各图像。此外，与图像获取和识别单元301、301a及301b对应的各摄像范围彼此重叠。然而，摄像范围不需完全相同。
尽管在上述情况下存在三个图像获取和识别单元301，但相关单元的数量并不限于三个。尽管在以下描述的情况下图像获取和识别单元301可以是摄像单元、且图像获取和识别单元301a和301b利用与图像获取和识别单元301的摄像单元不同的相应摄像单元来获取所拍摄图像，但图像获取和识别单元301a和301b也可以是摄像单元。在此情况下，图像处理装置100包括从不同方向对被摄体拍摄图像的多个摄像单元。
背景更新单元304将从图像获取和识别单元301a和301b获取的运动物体信息所表示的运动物体的中心坐标和外接矩形以及人体信息所表示的人体的中心坐标和外接矩形转换成图像获取和识别单元301的视场角中的坐标。更具体地，基于与图像获取和识别单元301a对应的摄像单元的安装位置和摄像方向以及与图像获取和识别单元301对应的摄像单元的安装位置和摄像方向之间的关系，背景更新单元304转换来自图像获取和识别单元301a的运动物体信息和人体信息。此外，基于与图像获取和识别单元301b对应的摄像单元的安装位置和安装方向以及与图像获取和识别单元301对应的摄像单元的安装位置和安装方向之间的关系，背景更新单元304转换来自图像获取和识别单元301b的运动物体信息和人体信息。通过这种转换，能够在图像获取和识别单元301获取的所拍摄图像上表示与来自图像获取和识别单元301a的运动物体信息对应的运动物体区域以及与人体信息对应的人体区域。这同样适用于图像获取和识别单元301b。
然后，背景更新单元104利用来自图像获取和识别单元301的运动物体信息和人体信息、来自图像获取和识别单元301a的运动物体信息和人体信息的转换后的信息以及来自图像获取和识别单元301b的运动物体信息和人体信息的转换后的信息来生成背景图像。更具体地，背景更新单元104针对来自图像获取和识别单元301、301a及301b的运动物体信息和人体信息所识别的各区域将稳定背景时间重设为0，并针对各未被识别区域增加稳定背景时间。然后，对于稳定背景时间超过阈值的各区域，背景更新单元104利用相关区域的所获取图像来更新背景图像的相关区域。
上述结构使得图像处理装置100能够利用从多个不同方向拍摄的图像来检测运动物体区域和人体区域，并能够利用相关检测的结果来生成背景图像。因此，如果存在被某个摄像单元识别为死角的区域，则能够通过来自其他摄像单元的图像补偿相关死角，使得背景图像中更难包含运动物体和人体。因此，能够以更高的精度从所获取图像中检测到人体区域和运动物体区域，使得能够显示这样的保护图像：在该保护图像中，受到隐私保护的区域被隐藏。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (20)

1.一种图像处理装置，所述图像处理装置包括：
输入单元，用于输入图像；
第一检测单元，用于基于所述输入单元输入的所述图像中的特征来检测第一区域；
第二检测单元，用于基于所述输入单元输入的所述图像间的变化来检测第二区域；
生成单元，用于利用所述第一检测单元的第一区域检测的结果和所述第二检测单元的第二区域检测的结果来生成背景图像；以及
处理单元，用于执行图像处理，以降低通过所述生成单元生成所述背景图像之后所获取的处理目标图像和所述背景图像间的比较而识别的特定区域的可视性。
2.根据权利1所述的图像处理装置，其中，所述第一检测单元基于所述输入单元输入的所述图像中的各个与预定图案图像间的比较来检测所述第一区域。
3.根据权利1所述的图像处理装置，其中，所述第一检测单元利用关于所述输入单元输入的所述图像的颜色、亮度及浓度梯度中的至少任何一个的信息来检测所述第一区域。
4.根据权利1所述的图像处理装置，其中，所述第二检测单元基于在不同时间拍摄的、由所述输入单元输入的多个图像间的比较来检测所述第二区域。
5.根据权利4所述的图像处理装置，其中，用来检测所述第二区域的所述多个图像中的各个是基于不可见光所拍摄的不可视图像。
6.根据权利1所述的图像处理装置，其中，所述图像处理是用于将预定图像与所述特定区域合成的处理。
7.根据权利1所述的图像处理装置，所述图像处理装置还包括：获取单元，用于获取在不同摄像方向上拍摄的多个图像，
其中，所述第一检测单元从所述多个图像的各个中检测所述第一区域，
其中，所述第二检测单元从所述多个图像的各个中检测所述第二区域，以及，
其中，所述生成单元利用从所述多个图像的各个中检测的多个所述第一区域中的各个和从所述多个图像的各个中检测的所述第二区域来生成所述背景图像。
8.根据权利1所述的图像处理装置，所述图像处理装置还包括：控制单元，用于控制所述生成单元，以便于根据在所述处理目标图像和所述背景图像间具有预定差异的所述特定区域的面积和所述处理目标图像的面积、利用所述第一区域检测的结果而不利用所述第二区域检测的结果来生成所述背景图像。
9.根据权利1所述的图像处理装置，其中，利用所述第一检测单元的所述第一区域检测的结果和所述第二检测单元的所述第二区域检测的结果，所述生成单元更新过去的背景图像以生成所述背景图像。
10.一种图像处理装置，所述图像处理装置包括：
输入单元，用于输入图像；
检测单元，用于通过所述输入单元输入的多个所述图像间的比较来检测区域；
生成单元，用于基于所述检测单元的区域检测的结果来生成背景图像；
处理单元，用于执行图像处理，以根据所述生成单元生成所述背景图像之后所获得的处理目标图像和所述背景图像间的比较而降低特定区域的可视性；以及
控制单元，用于控制所述检测单元，以在与所述特定区域的面积相关的评估值等于或大于阈值的情况下，在比所述评估值小于所述阈值的情况更早的定时来更新所述检测单元在所述图像间进行比较所使用的图像。
11.根据权利要求10所述的图像处理装置，其中，基于所述特定区域的尺寸与所述输入单元输入的输入图像的尺寸的比率，来确定所述评估值。
12.根据权利要求10或11所述的图像处理装置，其中，与所述特定区域的尺寸小于预定尺寸的情况相比，在所述特定区域的尺寸大于所述预定尺寸的情况下，所述控制单元用于控制所述检测单元，以使所述检测单元在所述图像之间进行比较所使用的图像在更早的定时被更新。
13.根据权利要求10或11所述的图像处理装置，其中，所述检测单元，基于所述输入单元输入的多个所述图像之间的差异来检测所述区域。
14.根据权利要求13所述的图像处理装置，其中，所述检测单元，基于与等于或大于阈值的区域对应的差值来检测所述区域。
15.根据权利要求10或11所述的图像处理装置，其中，所述处理单元用于将预定图像与所述特定区域合成。
16.根据权利要求10或11所述的图像处理装置，其中，通过使用所述检测单元的区域检测的结果，所述生成单元更新过去的背景图像以生成所述背景图像。
17.一种图像处理方法，所述图像处理方法包括：
输入图像；
通过所述输入而输入的多个所述图像间的比较来检测区域；
基于所述检测的区域检测的结果来生成背景图像；
执行图像处理，以根据所述生成而生成所述背景图像之后所获得的处理目标图像和所述背景图像间的比较而降低特定区域的可视性；以及
控制所述检测，以在与所述特定区域的面积相关的评估值等于或大于阈值的情况下，在比所述评估值小于所述阈值的情况更早的定时来更新所述检测在所述图像间进行比较所使用的图像。
18.一种图像处理方法，所述图像处理方法包括：
输入图像；
基于通过所述输入而输入的所述图像中的特征来第一检测第一区域；
基于通过所述输入而输入的所述图像间的变化来第二检测第二区域；
利用所述第一检测的第一区域检测的结果和所述第二检测的第二区域检测的结果来生成背景图像；以及
执行图像处理，以降低通过所述生成而生成所述背景图像之后所获取的处理目标图像和所述背景图像间的比较而识别的特定区域的可视性。
19.根据权利18所述的图像处理方法，所述图像处理方法还包括：
获取在不同摄像方向上拍摄的多个图像，
其中，所述第一检测从所述多个图像的各个中检测所述第一区域，
其中，所述第二检测从所述多个图像的各个中检测所述第二区域，以及，
其中，所述生成利用从所述多个图像的各个中检测的多个所述第一区域中的各个和从所述多个图像的各个中检测的所述第二区域来生成所述背景图像。
20.根据权利18所述的图像处理方法，所述图像处理方法还包括：控制所述生成，以便于根据在所述处理目标图像和所述背景图像间具有预定差异的所述特定区域的面积和所述处理目标图像的面积、利用所述第一区域检测的结果而不利用所述第二区域检测的结果来生成所述背景图像。
CN201910107576.0A 2014-12-16 2015-12-15 图像处理装置和图像处理方法 Active CN109841024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910107576.0A CN109841024B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014254600A JP6602009B2 (ja) 2014-12-16 2014-12-16 画像処理装置、画像処理方法、及びプログラム
JP2014-254600 2014-12-16
CN201910107576.0A CN109841024B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法
CN201510932929.2A CN105701756B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201510932929.2A Division CN105701756B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN109841024A true CN109841024A (zh) 2019-06-04
CN109841024B CN109841024B (zh) 2024-01-26

Family

ID=55070690

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910107576.0A Active CN109841024B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法
CN201510932929.2A Active CN105701756B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510932929.2A Active CN105701756B (zh) 2014-12-16 2015-12-15 图像处理装置和图像处理方法

Country Status (5)

Country Link
US (2) US10467479B2 (zh)
EP (2) EP3588456B1 (zh)
JP (1) JP6602009B2 (zh)
KR (2) KR101945194B1 (zh)
CN (2) CN109841024B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598691A (zh) * 2019-10-02 2021-04-02 佳能株式会社 图像处理装置、图像处理方法和存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371847A1 (en) * 2014-07-24 2016-12-22 Bonanza.com, LLC Background profiles
JP6602009B2 (ja) 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CA3012889A1 (en) * 2016-01-29 2017-08-03 Kiwisecurity Software Gmbh Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN109313805A (zh) * 2016-06-22 2019-02-05 索尼公司 图像处理装置、图像处理系统、图像处理方法和程序
CN107612869A (zh) * 2016-07-11 2018-01-19 中兴通讯股份有限公司 图像处理方法及装置
JP6815806B2 (ja) * 2016-09-30 2021-01-20 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
US10970896B2 (en) * 2016-11-02 2021-04-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6931290B2 (ja) * 2017-03-03 2021-09-01 キヤノン株式会社 画像生成装置およびその制御方法
JP7002846B2 (ja) * 2017-03-03 2022-01-20 キヤノン株式会社 画像処理装置およびその制御方法
JP6944272B2 (ja) * 2017-04-25 2021-10-06 キヤノン株式会社 動体検出装置およびその制御方法
JP6935247B2 (ja) * 2017-07-04 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7122815B2 (ja) 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN108364316A (zh) * 2018-01-26 2018-08-03 阿里巴巴集团控股有限公司 交互行为检测方法、装置、系统及设备
JP7106282B2 (ja) 2018-01-30 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7187154B2 (ja) 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7091688B2 (ja) * 2018-02-13 2022-06-28 オムロン株式会社 オブジェクト検出装置、オブジェクト検出方法、及びオブジェクト検出プログラム
JP7169752B2 (ja) * 2018-03-22 2022-11-11 キヤノン株式会社 監視装置、監視システム、制御方法、及びプログラム
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
CN109697725B (zh) * 2018-12-03 2020-10-02 浙江大华技术股份有限公司 一种背景过滤方法、装置及计算机可读存储介质
CN109903261B (zh) * 2019-02-19 2021-04-09 北京奇艺世纪科技有限公司 一种图像处理方法、装置及电子设备
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
CN110375742A (zh) * 2019-07-25 2019-10-25 广州景瑞智能科技有限公司 一种动态路径智能规划方法及系统
CN110220531A (zh) * 2019-07-25 2019-09-10 广州景瑞智能科技有限公司 一种基于视觉网络的智能导航系统
KR102152319B1 (ko) * 2019-08-09 2020-09-04 주식회사 벡터시스 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템
JP7455545B2 (ja) * 2019-09-30 2024-03-26 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021163303A (ja) * 2020-04-01 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
KR20220029212A (ko) * 2020-09-01 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
US20100131442A1 (en) * 2008-11-21 2010-05-27 Ming-Hwa Sheu Intelligent monitoring system
CN102111549A (zh) * 2009-12-28 2011-06-29 佳能株式会社 图像处理装置及图像处理方法
US20120293662A1 (en) * 2010-01-25 2012-11-22 Kyocera Corporation Mobile electronic device and method for crime prevention
CN202795476U (zh) * 2010-10-19 2013-03-13 索尼公司 图像处理设备
CN103098093A (zh) * 2010-03-29 2013-05-08 索尼公司 图像处理设备、方法以及程序
US20140161312A1 (en) * 2012-12-12 2014-06-12 Canon Kabushiki Kaisha Setting apparatus, image processing apparatus, control method of setting apparatus, and storage medium

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JPH0944681A (ja) * 1995-08-01 1997-02-14 Matsushita Electric Ind Co Ltd 移動物体領域検出装置
JP2950267B2 (ja) * 1996-12-24 1999-09-20 日本電気株式会社 背景画像生成方法および背景画像生成装置
JP3134845B2 (ja) 1998-07-03 2001-02-13 日本電気株式会社 動画像中の物体抽出装置及び方法
JP2000090277A (ja) 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
JP2001186323A (ja) 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
JP2003123074A (ja) 2001-10-11 2003-04-25 Sanyo Electric Co Ltd 動物体検出装置、動物体検出方法及び動物体検出プログラム
US20110158470A1 (en) * 2008-08-11 2011-06-30 Karl Martin Method and system for secure coding of arbitrarily shaped visual objects
CN102028482B (zh) * 2009-09-30 2012-11-14 同方威视技术股份有限公司 人体检查图像处理方法和人体检查设备
JP2011182026A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 画像処理装置、画像表示システム、画像抽出装置
US8466980B2 (en) * 2010-04-06 2013-06-18 Alcatel Lucent Method and apparatus for providing picture privacy in video
JP5719141B2 (ja) 2010-10-28 2015-05-13 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP5639033B2 (ja) * 2011-11-09 2014-12-10 日本電信電話株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP5832910B2 (ja) * 2012-01-26 2015-12-16 セコム株式会社 画像監視装置
JP5633823B2 (ja) * 2012-02-06 2014-12-03 日本電信電話株式会社 チャプタ代表画像生成装置およびその動作方法
JP6095283B2 (ja) * 2012-06-07 2017-03-15 キヤノン株式会社 情報処理装置、およびその制御方法
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
US20100131442A1 (en) * 2008-11-21 2010-05-27 Ming-Hwa Sheu Intelligent monitoring system
CN102111549A (zh) * 2009-12-28 2011-06-29 佳能株式会社 图像处理装置及图像处理方法
US20120293662A1 (en) * 2010-01-25 2012-11-22 Kyocera Corporation Mobile electronic device and method for crime prevention
CN103098093A (zh) * 2010-03-29 2013-05-08 索尼公司 图像处理设备、方法以及程序
CN202795476U (zh) * 2010-10-19 2013-03-13 索尼公司 图像处理设备
US20140161312A1 (en) * 2012-12-12 2014-06-12 Canon Kabushiki Kaisha Setting apparatus, image processing apparatus, control method of setting apparatus, and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598691A (zh) * 2019-10-02 2021-04-02 佳能株式会社 图像处理装置、图像处理方法和存储介质

Also Published As

Publication number Publication date
US20200034631A1 (en) 2020-01-30
KR102010228B1 (ko) 2019-10-21
CN105701756B (zh) 2019-03-05
EP3043329A2 (en) 2016-07-13
KR20190014028A (ko) 2019-02-11
JP6602009B2 (ja) 2019-11-06
CN105701756A (zh) 2016-06-22
CN109841024B (zh) 2024-01-26
KR20160073330A (ko) 2016-06-24
US11501535B2 (en) 2022-11-15
JP2016115214A (ja) 2016-06-23
US10467479B2 (en) 2019-11-05
US20160171332A1 (en) 2016-06-16
KR101945194B1 (ko) 2019-02-07
EP3043329A3 (en) 2016-12-07
EP3043329B1 (en) 2019-08-28
EP3588456B1 (en) 2023-04-26
EP3588456A1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
CN105701756B (zh) 图像处理装置和图像处理方法
US8300890B1 (en) Person/object image and screening
Harville et al. Foreground segmentation using adaptive mixture models in color and depth
CN103383723B (zh) 用于生物特征验证的电子欺骗检测的方法和系统
US9648285B2 (en) Monitoring method and camera
US9129397B2 (en) Human tracking method and apparatus using color histogram
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN102024263B (zh) 用于检测运动的装置和方法
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
WO2011021128A2 (en) Method and system for image analysis
EA018349B1 (ru) Способ видеоанализа
CN106060419A (zh) 一种拍照方法及移动终端
KR20200014694A (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
JP6080572B2 (ja) 通行物体検出装置
JP2015064778A (ja) 検出対象識別装置、変換装置、監視システム、及びコンピュータプログラム
CN111898463B (zh) 烟火检测识别方法和装置、存储介质及电子装置
CN108537741A (zh) 图像处理装置及控制图像处理装置的控制方法
Tu et al. An intelligent video framework for homeland protection
JP6866450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112052739A (zh) 一种基于智能视频监控的审讯室人员近距离接触识别方法
Alhamazani et al. [Retracted] Using Depth Cameras for Recognition and Segmentation of Hand Gestures
JP6038643B2 (ja) 背景情報生成装置及び対象物検出装置
Keller et al. Automatic cuing of human-in-the-loop detection system
DominikRueß et al. LEAVE A TRACE–APeople TRACKING SYSTEM MEETS ANOMALY DETECTION
IL146076A (en) Method and system for improving the acquisition of objects in an image and identifications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant