CN106326832B - 基于物体区域处理图像的装置及方法 - Google Patents

基于物体区域处理图像的装置及方法 Download PDF

Info

Publication number
CN106326832B
CN106326832B CN201610481690.6A CN201610481690A CN106326832B CN 106326832 B CN106326832 B CN 106326832B CN 201610481690 A CN201610481690 A CN 201610481690A CN 106326832 B CN106326832 B CN 106326832B
Authority
CN
China
Prior art keywords
image
image processing
region
image data
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610481690.6A
Other languages
English (en)
Other versions
CN106326832A (zh
Inventor
矢野光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN106326832A publication Critical patent/CN106326832A/zh
Application granted granted Critical
Publication of CN106326832B publication Critical patent/CN106326832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于物体区域处理图像的装置及方法。所述图像处理装置包括：图像数据获取单元，其被构造为获取图像数据；距离信息获取单元，其被构造为获取与所述图像数据相对应的距离信息；检测单元，其被构造为基于所述距离信息，从所述图像数据中检测各自表示物体的一个或更多个物体区域；提取单元，其被构造为基于所述距离信息，从检测到的物体区域当中提取表示不与特定三维区域交叠的物体的物体区域；以及图像处理单元，其被构造为基于所提取出的物体区域，对所述图像数据进行图像处理。

Description

基于物体区域处理图像的装置及方法
技术领域
本发明涉及基于图像中的物体区域处理图像的装置及方法。
背景技术
近年来，监控照相机已变得流行。因此，通过公共场所中的监控照相机捕获的视频图像中包括的个人外表，能够被其他人容易地看到。从隐私的角度来看，这就变成了问题。因此，存在如下迫切需求：模糊监控照相机视频图像的人物部分，或者仅显示进入了禁止区域的人物而模糊其他人。还存在如下需求：例如，不仅在监控照相机视频图像中，而且在公共场所的广播视频图像中，仅显示播音员而模糊其他人。
作为保护照相机视频图像中的隐私的方法，日本特开2008-191884号公报讨论了如下方法：使用背景图像提取视频图像中的人物区域，并进行模糊处理。日本特开2004-62560号公报讨论了如下方法：通过面部检测处理来提取视频图像中的面部区域，并通过将提取出的面部区域与预先登记的面部图像进行对照，来仅显示特定人物。日本特开2011-130203号公报讨论了如下方法：识别视频图像中的人物的异常行为，并仅显示进行了该异常行为的人物。
然而，在日本特开2008-191884号公报中讨论的方法中，将背景图像与照相机视频图像相互进行比较以提取人物区域。因此，当视频图像中包括人物以外的动物体时，或者当背景被改变时，无法将人物与其他部分相互区分。在日本特开2004-62560号公报中讨论的方法中，当面部认证失败时，显示了期望被保护的部分。在日本特开2011-130203号公报中讨论的方法中，当不是异常的行为被错误地识别为异常行为时，也显示了期望被保护的部分。
发明内容
本发明旨在提供如下技术：提取特定区域中存在的物体区域，并显示提取出的物体区域。利用该技术，例如能够显示特定位置处的人物，同时保护其他人物的隐私。
根据本发明的一方面，图像处理装置包括：图像数据获取单元，其被构造为获取图像数据；距离信息获取单元，其被构造为获取与所述图像数据相对应的距离信息；检测单元，其被构造为基于所述距离信息，从所述图像数据中检测各自表示物体的一个或更多个物体区域；提取单元，其被构造为基于所述距离信息，从检测到的物体区域当中提取表示不与特定三维区域交叠的物体的物体区域；以及图像处理单元，其被构造为基于所提取出的物体区域，对所述图像数据进行图像处理。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1例示了图像处理装置的硬件构造的示例。
图2例示了图像处理装置的软件构造的示例。
图3是例示信息处理的示例的流程图。
图4例示了图像获取单元获取的图像数据的示例。
图5例示了深度图像的示例。
图6例示了与图像数据相对应的物体检测结果的示例。
图7例示了区域设置单元设置的特定区域的示例。
图8例示了背景图像的示例。
图9例示了合成图的示例。
图10例示了图像合成结果的示例。
具体实施方式
下面将参照附图描述本发明的示例性实施例。
图1例示了图像处理装置100的硬件构造的示例。在图1中，中央处理单元(CPU)101控制连接到系统总线104的各种设备。
只读存储器(ROM)102存储基本输入输出系统(BIOS)程序和引导程序。随机存取存储器(RAM)103用作CPU 101中的主存储设备。
键盘控制器(KBC)105进行与来自诸如鼠标的指示设备(PD)109和键盘(KB)110的信息的输入相关的处理。
显示控制单元(CRTC)106在其内部具有视频存储器，并根据来自CPU 101的指令在视频存储器上绘制图像数据，同时输出在视频存储器上绘制的图像数据，作为视频信号。尽管在图1中例示了阴极射线管(CRT)111作为显示设备，但是显示设备是什么类型并不重要。显示设备的示例为液晶显示设备。
盘控制器(DKC)107访问硬盘驱动器(HDD)112。
网络接口卡(NIC)108连接至网络，并经由网络进行信息通信。
硬盘驱动器(HDD)112是存储设备的示例。HDD 112存储操作系统(OS)的程序和在OS上运行的各种类型应用的各程序。
在前述构造中，当接通图像处理装置100的电源时，CPU 101根据存储在ROM 102中的引导程序，将OS的程序从HDD 112读取到RAM 103中，并进行处理以实现各设备的功能。
更具体地说，当图像处理装置100中的CPU 101基于程序进行处理时，实现图像处理装置100的软件构造、以及以下描述的流程图中的处理。
图2例示了图像处理装置100的软件构造的示例。
图像处理装置100包括图像获取单元210和图像获取单元220、深度图像获取单元200、区域设置单元300、物体检测单元400以及物体区域提取单元500，作为软件构造。图像处理装置100还包括背景图像存储单元600、合成图生成单元700、图像处理单元800以及结果输出单元900。
图像获取单元210和图像获取单元220分别获取通过不同照相机中的图像捕获单元捕获的图像数据。通过图像获取单元210和图像获取单元220中的各个获取的图像数据为红色(R)、绿色(G)和蓝色(B)图像数据。深度图像获取单元200获取与各像素相对应的距离信息，并获取使用距离信息作为像素值的深度图像，所述各像素构成从由图像获取单元210和图像获取单元220获取的图像数据当中的、由图像获取单元210获取的图像数据。
区域设置单元300设置由图像获取单元210获取的图像数据表示的图像中的特定区域。
物体检测单元400使用由深度图像获取单元200获取的深度图像，从由图像获取单元210获取的图像数据中检测物体位置。在本示例性实施例中，由物体检测单元400检测到的物体为人物。
物体区域提取单元500在由物体检测单元400检测到的物体当中，对存在于由区域设置单元300设置的特定区域内部的物体、以及存在于特定区域外部的物体进行区分，并且使用由深度图像获取单元200获取的深度图像，来提取物体区域。
背景图像存储单元600将仅表示背景而不包括人物的图像数据(下文中称为背景图像)，存储在RAM 103或HDD 112中，该图像数据已被图像获取单元210预先获取。
合成图生成单元700使用由物体区域提取单元500提取的物体区域，生成用于对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成的合成图。合成图是表示用于针对各像素合成两个图像数据的合成比率的图。
图像处理单元800使用由物体区域提取单元500提取的物体区域，对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成。
结果输出单元900将由图像处理单元800获得的合成图像数据显示在CRT 111上。
下面将参照图3的流程图来描述根据本示例性实施例的信息处理。
在步骤S100中，图像获取单元210和图像获取单元220获取捕获的图像数据。图像获取单元210和图像获取单元220中的各个将获取的图像数据存储在诸如RAM 103或HDD112等的存储器中。图4中例示了由图像获取单元210获取的图像数据的示例。调整图像获取单元210和图像获取单元220中的各个的视野，使得获取的图像数据的各图像捕获场景基本上相互交叠。步骤S100中的处理是用于获取图像数据的处理的示例。
在步骤S200中，深度图像获取单元200获取分别与构成由图像获取单元210和图像获取单元220获取的图像数据中的、由图像获取单元210获取的图像数据的像素相对应的深度图像。在本示例性实施例中，深度图像获取单元200基于立体三角测量法的原理来获取深度图像。更具体地说，深度图像获取单元200通过模式匹配来找到由图像获取单元220获取的图像数据的像素位置(该像素位置与构成由图像获取单元210获取的图像数据的各像素相对应)，并获取视差位移量的二维分布作为深度图像。
深度图像获取单元200籍以获取深度图像的方法不限于该方法。例如，可以使用投影结构光图案以基于光投影编码图案来获得深度图像的图案投影方法或者基于光的飞行时间来测量距离的飞行时间方式。深度图像获取单元200将获取的图像数据存储在诸如RAM103或HDD 112等的存储器中。图5中例示了由深度图像获取单元200获取的、与图4中例示的图像数据相对应的深度图像的示例。图5指示了像素的像素值越高，距离越近。
在步骤S300中，物体检测单元400从由图像获取单元210获取的图像数据中检测物体位置。物体检测单元400能够使用Dalal,N.,and Triggs B.,2005.Histograms ofOriented Gradients for Human Detection.IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR’05),Vol 1,886–893中讨论的方法，作为从图像中检测物体位置的方法。该方法用于从图像中提取像素值的梯度方向的直方图，并使用提取出的直方图作为特征量(方向梯度直方图(HOG)特征量)，来确定图像中的部分区域是否对应于人物。还可以使用类Haar特征量和SIFT特征量中的一者来替代HOG特征量。更具体地说，物体检测单元400能够使用像素值的梯度方向的特征量来表示人体的轮廓，并识别人物。
在本示例性实施例中，在步骤S200中获取深度图像。因此，物体检测单元400还从深度图像中提取用于识别人物的轮廓的特征量，并与HOG特征量结合使用该特征量来确定图像中的部分区域是否为人物。当从图像中检测物体位置时，物体检测单元400能够通过使用深度图像更加精确地捕捉人物的轮廓。尽管在本示例性实施例中使用人物作为对象来检测物体，但是也可以使用人物之外的物体作为检测对象。在这种情况下，物体检测单元400可以进行与用于识别充当检测对象的物体的特征量的对照。物体检测单元400输出检测到的物体的位置的坐标。图6中例示了与图4中例示的图像数据相对应的物体检测结果的示例。在图6中，分别通过矩形R1至R5来指示检测到的人物的位置。
在步骤S400中，物体区域提取单元500首先在由物体检测单元400检测到的物体当中，对存在于由区域设置单元300预先设置的特定区域内部的物体、以及存在于特定区域外部的物体进行区分，并提取物体区域。图7中例示了由区域设置单元300设置的特定区域。例如，在场景中放置占据如图7中的R所指示的三维区域的物体，通过图像获取单元210和图像获取单元220获取场景的图像数据，并且通过深度图像获取单元200使用场景的图像数据，来获取场景的深度图像。区域设置单元300将三维空间上与深度图像中的物体相对应的区域，设置为特定区域。
首先，物体区域提取单元500从深度图像中获取与由物体检测单元400检测到的各物体位置(图6中例示的示例中的R1至R5)相对应的距离数据，并根据各物体位置的三维坐标确定各物体位置是否在由区域设置单元300设置的特定区域内。
例如，在图6中例示的物体检测结果中，将由R1指示的物体位置确定为在图7中例示的区域R内。作为示例，我们假设在由图6中例示的R1指示的区域中检测到的人物后面存在其他人物。如果仅通过使用图像中的二维位置关系来将该其他人物确定为类似地在区域R内，则作为结果，无法将该其他人物与在由R1指示的区域中检测到的人物相区分。
然而，在本示例性实施例中，物体区域提取单元500使用深度图像，基于三维位置关系，来确定由R1指示的物体位置是否在特定区域内。因此，即使在由R1指示的区域中检测到的人物后面存在其他人物，也能够区分这两个人物。
物体区域提取单元500基于相应距离数据的边缘位置，从深度图像中的图像区域(图5中例示的虚线矩形)中分别提取人物的轮廓，这些图像区域对应于与特定区域外部的物体相对应的物体检测结果(即，图6中例示的R2至R5)。物体区域提取单元500从由图像获取单元210获取的图像数据的轮廓位置中提取物体区域，该轮廓位置对应于提取出的轮廓(从深度图像中提取的)。由物体区域提取单元500输出的物体区域可以是表示轮廓的图像上的坐标值，或者可以是坐标值的矢量表示。物体区域可以是由在区域内部为“1”或者在区域外部为“0”的各像素构成的二值图像。
在步骤S500中，图像处理单元800使用由物体区域提取单元500提取的物体区域，对由图像获取单元210获取的图像数据与存储在背景图像存储单元600中的背景图像进行合成。图8中例示了存储在背景图像存储单元600中的背景图像的示例。背景图像是由图像获取单元210事先获取的不存在人物(物体)的图像数据。
合成图生成单元700首先使用由物体区域提取单元500提取的物体区域，生成用于对由图像获取单元210获取的图像数据和存储在背景图像存储单元600中的背景图像进行合成的合成图。合成图是如下图，在该图中，针对在由物体区域提取单元500提取的物体区域内部为“1”或者在物体区域外部为“0”的各像素构成的二值图像，将实数k(其中，0≤k<1)分配给像素“1”，并将实数1分配给像素“0”。
图9中例示了合成图的示例。在图9中，白色区域中的值为1，灰色区域中的值为k。图形处理单元800使用由合成图生成单元700生成的合成图，对由图像获取单元210获取的图像数据和背景图像进行合成。当由图像获取单元210获取的图像数据中的像素(i，j)处的像素值为PA(i，j)、背景图像中的像素值为PB(i，j)、合成图中的值为α(i，j)时，通过以下等式(1)来表达合成之后的像素值P(i，j)：
P(i,j)＝α(i,j)×PA(i,j)+(1–α(i,j)×PB(i,j)…(1)
更具体地说，将由图像获取单元210获取的图像数据直接合成在由物体区域提取单元500提取的物体区域之外的区域中，并且以k：(1-k)的比率将获取的图像数据和背景图像合成在由物体区域提取单元500提取的物体区域中。在k＝0的情况下，利用背景图像来替换特定区域外部的人物。当k的值被设置为适当小的值(例如0.1)时，使特定区域外部的人物半透明显示。因此，通过显示的图像，虽然能够找到人物存在的场所，但是不能识别人物个体。图10中例示了与图4中例示的图像数据相对应的图像合成结果的示例。
虽然在本示例性实施例中，使特定区域外部的人物半透明，但是相反地可以仅使特定区域内部的人物半透明。在这种情况下，在步骤S400的处理中，物体区域提取单元500提取与检测结果(图6中例示的示例中的R1)相对应的物体区域，该检测结果与由区域设置单元300设置的特定区域内部的物体相对应。
图像处理单元800能够在不使特定区域外部的人物半透明而使人物模糊的情况下保护隐私。在这种情况下，图像处理单元800可以进行使用合成图中的值来模糊由图像获取单元210获取的图像数据的处理，以替代进行在步骤S500的处理中利用背景图像进行图像合成的处理。
在步骤S600中，结果输出单元900显示由图像合成单元800获得的合成图像数据。步骤S600中的处理是用于输出处理结果的处理的示例。
针对各获取的图像数据反复进行步骤S100至S600中的处理。
如上所述，在本示例性实施例中，从获取的图像中检测物体，使用深度图像在检测到的物体当中对存在于特定区域内部的物体和存在于特定区域外部的物体进行区分，并且提取物体区域。因此，对分别与输入图像中的特定物体和其他物体相对应的区域进行区分，使得能够针对这些区域分别进行不同的图像处理。
因此，能够提供如下技术：显示特定位置处的人物并保护其他人物的隐私。
其他实施例
另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多的功能、并且/或者包括用于执行上述实施例中的一个或更多的功能的一个或更多电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多的功能、并且/或者控制所述一个或更多电路执行上述实施例中的一个或更多的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存设备以及存储卡等中的一者或更多。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (15)

1.一种图像处理装置，所述图像处理装置包括：
图像数据获取单元，其被构造为获取图像数据；
距离信息获取单元，其被构造为获取与所述图像数据相对应的距离信息；
检测单元，其被构造为基于所述距离信息，从所述图像数据中检测一个或更多个物体；
提取单元，其被构造为在检测到的物体存在于特定三维区域外部的情况下，从图像数据中提取物体区域；以及
图像处理单元，其被构造为基于所提取出的物体区域，对所述图像数据进行图像处理，
其中，基于通过对位于对图像数据进行成像的空间中的物体进行成像而获得的距离信息来设置特定三维区域。
2.根据权利要求1所述的图像处理装置，其中，所述提取单元基于所述距离信息和所述图像数据的图像特征量，从所述图像数据中检测物体区域。
3.根据权利要求2所述的图像处理装置，
其中，所述图像特征量是表示物体的轮廓的图像特征量，并且
其中，所述提取单元从所述距离信息中提取用于识别物体的轮廓的标识特征量，并基于所述标识特征量和所述图像特征量，从所述图像数据中检测物体区域。
4.根据权利要求3所述的图像处理装置，
其中，所述距离信息是深度图像，并且
其中，所述提取单元从所述深度图像中提取边缘信息作为所述标识特征量。
5.根据权利要求1所述的图像处理装置，其中，所述图像处理单元基于所提取出的物体区域，进行用于合成所述图像数据与背景图像的图像处理。
6.根据权利要求5所述的图像处理装置，其中，所述图像处理单元进行用于以预定比率合成所述图像数据中的所提取出的物体区域、与所述背景图像中的相应区域的图像处理。
7.根据权利要求5所述的图像处理装置，其中，所述图像处理单元进行用于利用所述背景图像中的相应区域、替换所述图像数据中的所提取出的物体区域的图像处理。
8.根据权利要求3所述的图像处理装置，其中，所述图像数据获取单元获取不包括物体的图像数据，作为背景图像。
9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
输出单元，其被构造为输出由所述图像处理单元进行的图像处理的处理结果。
10.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：
设置单元，其被构造为设置所述特定三维区域。
11.根据权利要求10所述的图像处理装置，其中，所述设置单元布置与所述特定三维区域相对应的物体，经由所述距离信息获取单元获取与该物体相对应的距离信息，并基于所述距离信息设置所述特定三维区域。
12.根据权利要求1所述的图像处理装置，其中，所述图像处理单元在已通过所述检测单元检测到物体位置的物体当中，对存在于所述特定三维区域内部的物体的物体区域、与存在于所述特定三维区域外部的物体的物体区域进行区分，并进行所述图像处理。
13.根据权利要求12所述的图像处理装置，其中，所述图像处理单元进行，用于使存在于所述特定三维区域内部的物体的物体区域和存在于所述特定三维区域外部的物体的物体区域中的一者半透明的图像处理。
14.根据权利要求12所述的图像处理装置，其中，所述图像处理单元进行，用于使存在于所述特定三维区域内部的物体的物体区域和存在于所述特定三维区域外部的物体的物体区域中的一者模糊的图像处理。
15.一种图像处理方法，所述图像处理方法包括：
获取图像数据；
获取与所述图像数据相对应的距离信息；
检测一个或更多个物体；
在检测到的物体存在于特定三维区域外部的情况下，从图像数据中提取物体区域；以及
基于所提取出的物体区域，对所获取的图像数据进行处理，
其中，基于通过对位于对图像数据进行成像的空间中的物体进行成像而获得的距离信息来设置特定三维区域。
CN201610481690.6A 2015-06-29 2016-06-27 基于物体区域处理图像的装置及方法 Active CN106326832B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015130081A JP6587435B2 (ja) 2015-06-29 2015-06-29 画像処理装置、情報処理方法及びプログラム
JP2015-130081 2015-06-29

Publications (2)

Publication Number Publication Date
CN106326832A CN106326832A (zh) 2017-01-11
CN106326832B true CN106326832B (zh) 2020-05-19

Family

ID=56235674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610481690.6A Active CN106326832B (zh) 2015-06-29 2016-06-27 基于物体区域处理图像的装置及方法

Country Status (5)

Country Link
US (1) US10163027B2 (zh)
EP (1) EP3113112A1 (zh)
JP (1) JP6587435B2 (zh)
KR (1) KR101984496B1 (zh)
CN (1) CN106326832B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
JP7084795B2 (ja) * 2017-09-07 2022-06-15 キヤノン株式会社 画像処理装置、画像提供装置、それらの制御方法及びプログラム
JP6690622B2 (ja) * 2017-09-26 2020-04-28 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107941273B (zh) * 2017-11-15 2022-01-18 国网湖南省电力公司检修公司 一种带电作业安全预警方法和装置
CN110622215B (zh) * 2017-12-14 2021-07-23 佳能株式会社 三维模型的生成装置、生成方法和程序
JP6977667B2 (ja) * 2018-06-01 2021-12-08 日本電信電話株式会社 物体らしさ推定装置、方法、およびプログラム
KR102574895B1 (ko) * 2018-06-12 2023-09-05 한화비전 주식회사 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
WO2020255226A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 物体らしさ推定装置、物体らしさ推定方法、及び物体らしさ推定プログラム
CN114096999A (zh) * 2019-07-19 2022-02-25 三菱电机株式会社 显示处理装置、显示处理方法和程序
TWI749370B (zh) * 2019-09-16 2021-12-11 緯創資通股份有限公司 臉部辨識方法及其相關電腦系統
WO2022130849A1 (ja) * 2020-12-14 2022-06-23 日本電気株式会社 画像処理装置、画像処理方法および非一時的なコンピュータ可読媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933027A (zh) * 2008-02-01 2010-12-29 罗伯特·博世有限公司 用于视频监视系统的遮蔽模块、用于遮蔽被选择的物体的方法以及计算机程序
WO2013137534A1 (en) * 2012-03-12 2013-09-19 Samsung Techwin Co.,Ltd. System and method for processing image to protect privacy
CN104680525A (zh) * 2015-02-12 2015-06-03 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591504A (ja) * 1991-09-30 1993-04-09 Nippon Telegr & Teleph Corp <Ntt> 映像通信装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH07154777A (ja) * 1993-11-30 1995-06-16 Matsushita Electric Ind Co Ltd 画像処理装置およびテレビ電話装置
JP2842437B2 (ja) 1997-05-30 1999-01-06 日本電気株式会社 画像合成装置
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
CN100477745C (zh) * 2002-08-09 2009-04-08 夏普株式会社 图像合成装置和图象合成方法
JP2008056078A (ja) * 2006-08-31 2008-03-13 Denso Corp 車両用空調装置
JP4672680B2 (ja) 2007-02-05 2011-04-20 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
JP2010193227A (ja) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc 映像処理システム
JP5574692B2 (ja) 2009-12-17 2014-08-20 キヤノン株式会社 映像情報処理方法及びその装置
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101405410B1 (ko) 2010-10-20 2014-06-24 고려대학교 산학협력단 객체 검출 장치 및 시스템
JP2012175528A (ja) * 2011-02-23 2012-09-10 Panasonic Corp 映像端末装置、映像通信システム、及び映像通信方法
KR101237966B1 (ko) * 2011-03-16 2013-02-27 삼성테크윈 주식회사 피사체의 마스킹을 제어하는 감시 시스템 및 그 방법
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2013076829A1 (ja) * 2011-11-22 2013-05-30 株式会社日立製作所 自律移動システム
KR20130102743A (ko) * 2012-03-08 2013-09-23 엘지전자 주식회사 프라이버시 마스크 표시를 제어하는 감시 시스템 및 그 방법
KR101890589B1 (ko) 2012-03-12 2018-09-28 한화에어로스페이스 주식회사 사생활 보호 영상 처리 시스템 및 방법
US9665798B2 (en) * 2012-05-24 2017-05-30 Hitachi, Ltd. Device and method for detecting specified objects in images using metadata
KR101466374B1 (ko) * 2013-05-03 2014-12-01 딕스비전 주식회사 저비용으로 사생활 보호 및 관심 강조 기능을 구비하는 통합 관제 시스템 및 방법
US10229331B2 (en) * 2015-01-16 2019-03-12 Hitachi, Ltd. Three-dimensional information calculation device, three-dimensional information calculation method, and autonomous mobile device
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10445612B2 (en) * 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP6732522B2 (ja) * 2016-05-02 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6910772B2 (ja) * 2016-09-08 2021-07-28 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101933027A (zh) * 2008-02-01 2010-12-29 罗伯特·博世有限公司 用于视频监视系统的遮蔽模块、用于遮蔽被选择的物体的方法以及计算机程序
WO2013137534A1 (en) * 2012-03-12 2013-09-19 Samsung Techwin Co.,Ltd. System and method for processing image to protect privacy
CN104680525A (zh) * 2015-02-12 2015-06-03 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"PriSurv: Privacy Protected Video Surveillance System Using Adaptive Visual Abstraction";Chinomi K , Nitta N , Ito Y , et al.;《Advances in Multimedia Modeling, International Multimedia Modeling Conference》;20080131;Pages144-154 *
"Scene Segmentation and Pedestrian Classification from 3-D Range and Intensity Images";Xue W, Phung S L, Bouzerdoum A.;《IEEE Xplore Digital Library》;20120713;Pages103-108 *

Also Published As

Publication number Publication date
CN106326832A (zh) 2017-01-11
US20160379078A1 (en) 2016-12-29
EP3113112A1 (en) 2017-01-04
KR101984496B1 (ko) 2019-05-31
JP6587435B2 (ja) 2019-10-09
JP2017017431A (ja) 2017-01-19
KR20170002308A (ko) 2017-01-06
US10163027B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
CN106326832B (zh) 基于物体区域处理图像的装置及方法
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
US10839521B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
KR101971866B1 (ko) 동화상에 있어서 물체를 검출하는 방법 및 장치, 및 그 프로그램을 기억한 기억 매체
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
JP6371553B2 (ja) 映像表示装置および映像表示システム
US10079974B2 (en) Image processing apparatus, method, and medium for extracting feature amount of image
KR20160066380A (ko) 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치
KR20140013407A (ko) 객체 추적 장치 및 방법
US10181075B2 (en) Image analyzing apparatus,image analyzing, and storage medium
CN108416291B (zh) 人脸检测识别方法、装置和系统
JP2010140097A (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
CN112507767B (zh) 脸部辨识方法及其相关电脑系统
JP2008035301A (ja) 移動体追跡装置
US9773188B2 (en) Information processing apparatus, imaging apparatus, information processing system, information processing method, and program for removing unwanting objects from images
KR20210136092A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
KR101726692B1 (ko) 객체 추출 장치 및 방법
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
JP3962517B2 (ja) 顔面検出方法及びその装置、コンピュータ可読媒体
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
WO2022172430A1 (ja) 判定方法、判定プログラム、及び情報処理装置
CN112597466A (zh) 用户认证方法和系统
CN111783501A (zh) 活体检测方法和装置以及相应的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant