CN108024027B - 图像处理设备、图像处理方法和存储介质 - Google Patents

图像处理设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN108024027B
CN108024027B CN201711065343.6A CN201711065343A CN108024027B CN 108024027 B CN108024027 B CN 108024027B CN 201711065343 A CN201711065343 A CN 201711065343A CN 108024027 B CN108024027 B CN 108024027B
Authority
CN
China
Prior art keywords
image
subject
color information
mask
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711065343.6A
Other languages
English (en)
Other versions
CN108024027A (zh
Inventor
黛一子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017149980A external-priority patent/JP6598828B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108024027A publication Critical patent/CN108024027A/zh
Application granted granted Critical
Publication of CN108024027B publication Critical patent/CN108024027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32203—Spatial or amplitude domain methods
    • H04N1/32208—Spatial or amplitude domain methods involving changing the magnitude of selected pixels, e.g. overlay of information or super-imposition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种图像处理设备、图像处理方法和存储介质。用于提供隐私保护和监视的图像处理设备获取背景图像和所拍摄图像，从所述所拍摄图像中提取与预定被摄体相对应的被摄体区域，基于与所述背景图像有关的颜色信息来设置遮罩颜色，并且基于所述遮罩颜色来遮罩所提取的被摄体区域。

Description

图像处理设备、图像处理方法和存储介质
技术领域
本发明涉及用于保护隐私的图像处理设备、图像处理方法和存储介质。
背景技术
如今，通常安装监视照相机，同时在监视照相机的视频中所拍摄到的个人的隐私保护的重要性不断增加。日本专利5834193论述了如下的技术：使用人体检测的结果来生成人体区域被遮罩的视频。日本专利4578044论述了如下的技术：接收单元接收与监视模块所提取的各图像之间的差异区域有关的轮廓信息，生成该轮廓信息和背景图像的合成图像，并且显示该合成图像。
日本专利5834193中所论述的技术根据人的属性来改变人体区域的颜色和遮罩图案，并且改变后的颜色可以变为与背景图像类似的颜色。因此，没有将被遮罩的人与背景区分开，这可能导致遗漏掉实际存在的人。在日本特开4578044中所论述的技术的情况下，由于接收单元所接收到的轮廓信息与背景图像重叠，因此轮廓信息的颜色可以变得与背景的颜色类似。
发明内容
根据本发明的方面，一种图像处理设备，包括：获取单元，用于获取背景图像和所拍摄图像；提取单元，用于从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；以及处理单元，用于基于与所述背景图像有关的颜色信息来设置遮罩颜色，并且基于所述遮罩颜色来遮罩所提取的被摄体区域。
根据本发明的方面，一种图像处理方法，包括以下步骤：获取背景图像和所拍摄图像；从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；基于与所述背景图像有关的颜色信息来设置遮罩颜色；以及基于所述遮罩颜色来遮罩所提取的被摄体区域。
根据本发明的方面，一种存储介质，其存储程序，所述程序用于使计算机用作上述的图像处理设备。
通过以下参考附图对典型实施例的说明，其它特征将变得明显。
附图说明
图1是示出图像处理设备的硬件结构的图。
图2是示出图像处理设备的软件结构的图。
图3是示出图像处理设备的处理的流程图。
图4是示出所拍摄图像的示例的图。
图5是示出被摄体的遮罩区域的示例的图。
图6是示出合成图像的示例的图。
图7是详细示出步骤S103～步骤S105的信息处理的流程图。
图8是示出图像处理设备的软件结构的图。
图9是示出图像处理设备的处理的流程图。
图10A～10C是示出遮罩颜色基于被摄体的移动而动态地改变的状态的示意图。
具体实施方式
以下基于附图来说明典型实施例。
图1是示出图像处理设备100的硬件结构的示例的图。
中央处理单元(CPU)11控制连接至系统总线14的各种装置。
只读存储器(ROM)12存储基本输入/输出系统(BIOS)的程序以及引导程序。
随机存取存储器(RAM)13用作CPU 11的主存储装置。
键盘控制器(KBC)15进行与通过诸如鼠标等的指示装置(PD)19和键盘(KB)20输入信息等有关的处理。
显示控制器(CRTC)16在内部包括视频存储器，并且响应于来自CPU 11的指示来在视频存储器上进行描绘并将视频存储器中所描绘的图像数据作为视频信号输出至阴极射线管(CRT)21。注意，CRT 21是图1中的显示设备的一个示例。显示设备不限于该示例，并且可以是液晶显示设备或者将使得能够实践典型实施例的任何其它类型的显示设备。
盘控制器(DKC)17访问硬盘(HDD)22。
网络接口卡(NIC)18连接至网络，并且经由该网络进行信息通信。
HDD 22是存储区域的示例。将操作系统(OS)的程序和在该OS上工作的各种应用的程序存储在HDD 22中。
在上述结构中，在图像处理设备100接通的情况下，CPU 11基于ROM 12所存储的引导程序来将OS程序从HDD 22载入RAM 13，并且执行处理以实现各装置的功能。
在图像处理设备100的CPU 11基于ROM 12或HDD 22所存储的程序来执行处理的情况下，实现了以下所述的图2和图8中的图像处理设备100的软件结构、以及以下所述的图3、图7和图9中的流程图的处理。
图2是示出根据第一典型实施例的图像处理设备100的软件结构的示例的图。图像处理设备100包括图像获取单元101、遮罩区域提取单元102、图像信息设置单元103、图像合成单元104和输出单元105作为软件结构。图像获取单元101按预定间隔从包括透镜和传感器等的照相机的摄像单元顺次获取图像，并且将这些图像提供至遮罩区域提取单元102。该摄像单元可以包括在图像处理设备100中，或者可以经由网络等可通信地连接至图像处理设备100。
遮罩区域提取单元102进行用以提取作为隐私保护对象的被摄体的遮罩区域的处理。换句话说，遮罩区域提取单元102从图像中提取与诸如人等的预定被摄体相对应的被摄体区域，并且将该被摄体区域视为遮罩区域。遮罩区域提取单元102从图像获取单元101所获取到的图像与摄像设备100的摄像区域中的不存在被摄体的、提取遮罩区域所要使用的背景图像之间的差异中提取遮罩区域(被摄体区域)。提取方法不限于此，并且遮罩区域提取单元102可以使用其它方法来提取遮罩区域。遮罩区域提取单元102将所提取的遮罩区域和背景图像提供至图像信息设置单元103。此时，例如，假定遮罩区域提取单元102将不存在被摄体的仅背景的图像数据(以下称为背景图像)存储在RAM 13或HDD 22等中。该背景图像是预先由图像获取单元101获取到的。
图像信息设置单元103获取作为与背景图像有关的图像信息的颜色信息，并且将与利用该颜色信息表示的颜色不同的颜色(相对于背景图像的颜色可视性高且吸引性高的颜色)设置为遮罩区域的颜色(遮罩颜色)。
例如，在图10A中，被摄体110的遮罩颜色和被摄体的背景的颜色彼此不同。因此，容易掌握到被摄体的存在。之后，在被摄体110移动、并且如图10B所示被摄体的遮罩颜色与作为背景的墙壁120等的颜色类似的情况下，难以掌握被摄体110的存在或运动。因此，如图10C所示，提取相应的背景颜色以确定遮罩颜色，从而改变被摄体110的遮罩颜色并且便于掌握被摄体110的存在和运动。
作为为了确定颜色而获取到的颜色信息，从图像获取单元101获取到的视频信号中获取信号成分Y、Cr和Cb，并且将这些信号成分转换成RGB信号。将相对于从背景图像中所提取的颜色的反转颜色或互补颜色设置为遮罩区域的颜色，这使得容易将被摄体与背景区分开。例如，在RGB信号中的R的值是80的情况下，根据表达式255-80＝175来计算遮罩颜色的值，并且以相同方式计算其它颜色成分的值。可以使用如下的众所周知的方法：确定RGB值中的最大值和最小值的合计值，并且从该合计值中分别减去各构成成分的值以确定新的RGB值。另外，由于这种计算不要求严格的精度，因此可以使用列出具有特定精度的颜色信息的表等来进行确定。图像信息设置单元103生成遮罩区域被所设置的颜色信息的颜色遮罩的遮罩图像，并且将该遮罩图像连同背景图像一起提供至图像合成单元104。另外，图像信息设置单元103在获取与背景图像有关的图像信息时，可以代替与背景图像整体有关的图像信息而获取与同遮罩区域相对应的区域有关的图像信息。
图像合成单元104对背景图像和遮罩图像(遮罩处理所用的图像)进行合成以生成合成图像(以下称为隐私保护图像)。
输出单元105将图像合成单元104所生成的隐私保护图像经由线缆或无线连接输出至与图像处理设备100相连接的外部设备等。另外，输出单元105可以将隐私保护图像输出至HDD 22和CRT 21等。
接着，说明图像处理设备100的信息处理的流程。
图3是示出在连续提供的图像中在使人模糊的同时提高该人的形状的可视性、并且输出如此得到的图像的处理的流程图。
在该处理开始之后，在步骤S101中，图像获取单元101获取图像。图像获取单元101将所获取到的图像存储在诸如RAM 13和HDD 22等的存储器中。图4示出图像获取单元101所获取到的图像的示例。
在步骤S102中，遮罩区域提取单元102从图像获取单元101所获取到的图像中提取被摄体的遮罩区域。图5示出遮罩区域提取单元102所提取的被摄体的遮罩区域的示例。
在步骤S103中，图像信息设置单元103提取颜色信息作为与背景图像有关的图像信息。此时，图像信息设置单元103可以提取与背景图像整体有关的颜色信息，或者可以提取与同遮罩区域相对应的区域有关的颜色信息。另外，图像信息设置单元103可以选择取决于状态的区域。例如，图像信息设置单元103在图像处理设备100的处理开始时可以提取与背景图像整体有关的颜色信息，并且在该处理开始之后可以提取与同遮罩区域相对应的区域有关的颜色信息。
在步骤S104中，图像信息设置单元103选择与所提取的颜色不同且容易与背景颜色区分开的颜色，并且将所选择的颜色设置为与遮罩区域有关的颜色信息，由此生成遮罩图像。
在步骤S105中，图像合成单元104生成背景图像和遮罩图像的合成图像以生成隐私保护图像。图6示出图像合成单元104所生成的隐私保护图像的示例。
在步骤S106中，输出单元105将所生成的隐私保护图像输出至外部设备等。
在步骤S107中，输出单元105判断是否从PD 19或KB 20等接收到结束指示。在输出单元105判断为接收到了结束指示的情况下(步骤S107中为“是”)，图3所示的流程图的处理结束。在输出单元105判断为没有接收到结束指示的情况下(步骤S107中为“否”)，处理返回至步骤S101。
如上所述，图像处理设备提取遮罩区域，并且将容易与背景图像区分开的颜色(吸引性高且可视性高的颜色)设置为遮罩颜色，以提高人的形状和轮廓的可视性。遮罩图像是经过了模糊化(用以防止辨识出个人的图像处理)以保护被摄体的隐私的图像。由于进行替换被摄体区域的颜色的处理作为图像处理，因此被摄体图像被遮罩，但容易识别出被摄体的存在和运动。如上所述，需要容易地将遮罩图像与背景图像区分开，以使得能够容易地识别出被摄体并且使得能够掌握被摄体的运动。
在第一典型实施例中，将颜色作为在背景图像和遮罩图像之间有所不同的图像信息的示例进行了说明。图像信息不限于颜色信息，并且可以使用作为用于生成遮罩图像的图像信息的图像图案和线类型等。
在与同遮罩区域相对应的背景区域有关的图像信息包括多个颜色信息的情况下，图像信息设置单元103将与单色有关的颜色信息设置为遮罩区域的颜色。更具体地，图像信息设置单元103将与如下的单色有关的颜色信息设置为与遮罩区域的颜色有关的颜色信息，其中该单色不同于利用多个颜色信息表示的颜色中的、在与遮罩区域相对应的背景图像的最宽面积中所使用的颜色。这样使得能够设置针对各帧不同的遮罩颜色，并且基于不同的遮罩颜色来提取遮罩处理。
图像信息设置单元103可以基于与在先前帧中所选择的遮罩区域有关的图像信息和与当前帧中的背景图像有关的图像信息来选择与遮罩区域有关的图像信息。该方法防止了遮罩图像的颜色针对各帧而改变，并且使得用户能够容易地识别出被遮罩的被摄体。
图7是详细示出图3中的步骤S103～步骤S105的信息处理的流程图。
在步骤S103中，图像信息设置单元103提取颜色信息作为与背景图像有关的图像信息。
在步骤S110中，图像信息设置单元103将步骤S103中所提取的与背景图像有关的图像信息和与先前帧中所设置的遮罩区域有关的图像信息进行比较。
在步骤S111中，图像信息设置单元103判断作为比较的结果、这两个图像信息是否彼此不同。在图像信息设置单元103判断为这两个图像信息彼此不同的情况下(步骤S111中为“是”)，处理进入步骤S112。在图像信息设置单元103判断为这两个信息并非彼此不同的情况下(步骤S111中为“否”)，处理进入步骤S113。
在步骤S112中，图像信息设置单元103将作为与先前帧中所设置的遮罩区域有关的图像信息的颜色信息设置为与当前帧中的遮罩区域有关的颜色信息，并且生成遮罩图像。
这两个图像信息不是彼此不同的情况对应于难以进行区分的情况。因此，在步骤S113中，图像信息设置单元103新确定与相对于背景的颜色不同的颜色有关的颜色信息。
在步骤S114中，图像信息设置单元103保存新确定的与遮罩区域有关的颜色信息。
在步骤S115中，图像信息设置单元103基于新确定的与遮罩区域有关的颜色信息来生成遮罩图像。
在步骤S105中，图像合成单元104生成背景图像和遮罩图像的合成图像以生成隐私保护图像。
根据第一典型实施例的信息处理使得能够进行考虑到人等的隐私的监视，并且使得能够显示与状态相对应的遮罩图像。结果，容易识别出被遮罩的人，从而减轻了监视器的负担。
图8是示出根据第二典型实施例的图像处理设备100的软件结构的示例的图。图像处理设备100包括图像获取单元101、遮罩区域提取单元102、图像信息设置单元103、图像合成单元104、输出单元105、操作估计单元106和区域估计单元107作为软件结构。省略了针对与第一典型实施例相同的软件结构的组件的说明。
操作估计单元106从遮罩区域提取单元102接收到作为隐私保护对象的被摄体信息。操作估计单元106基于针对各帧的被摄体信息，来进行被摄体的追踪处理以估计后续帧中的被摄体的位置。操作估计单元106将所估计的被摄体位置发送至区域估计单元107。
区域估计单元107根据所估计的被摄体位置来估计要遮罩的区域，并且获取与同所估计的区域相对应的背景图像有关的图像信息。区域估计单元107将与所获取到的所估计的区域有关的图像信息发送至图像信息设置单元103。
图像信息设置单元103基于与同从遮罩区域提取单元102接收到的遮罩区域相对应的背景图像有关的图像信息和从区域估计单元107接收到的图像信息，来设置与遮罩区域有关的图像信息。
图9是示出根据第二典型实施例的图像处理设备100的信息处理的示例的流程图，其中该信息处理用于根据连续提供的图像生成隐私保护图像并且输出该隐私保护图像。省略了针对与第一典型实施例的处理相同的处理的说明。
通过直到步骤S103为止的处理来提取与当前帧中的遮罩区域相对应的图像信息。
在步骤S201中，操作估计单元106进行作为前景的被摄体的追踪处理，并且估计后续帧中的被摄体位置。
在步骤S202中，区域估计单元107估计与所估计的被摄体位置相对应的区域。
在步骤S203中，区域估计单元107提取与同所估计的区域相对应的背景区域有关的图像信息。
在步骤S204中，图像信息设置单元103设置相对于区域提取单元107所提取的图像信息以及与遮罩区域相对应的图像信息不同的、与遮罩区域有关的图像信息，并且生成遮罩图像。此时，在与先前帧中的遮罩区域有关的图像信息是相对于区域估计单元107所提取到的图像信息以及与遮罩区域相对应的图像信息不同的信息的情况下，图像信息设置单元103设置与先前帧中的遮罩区域有关的图像信息并且生成遮罩图像。
根据第二典型实施例的信息处理，基于与背景图像有关的颜色信息和与估计后续帧中的被摄体位置的遮罩区域有关的颜色信息来确定遮罩区域的颜色。这样消除了遮罩区域针对各帧的频繁颜色变化。因此，生成防止了要遮罩的被摄体被遗漏的隐私保护图像。
上述典型实施例的一个或多个功能可通过以下来实现：将程序经由网络或存储介质供给至系统或设备，并且使该系统或设备的计算机中的一个或多个处理器加载并执行这些程序。该一个或多个功能还可由电路(例如，专用集成电路(ASIC))来实现。
尽管以上详细说明了一些典型实施例，但这些特定典型实施例不应被视为限制性的。
例如，图像处理设备100的软件结构的一部分或全部可被视为图像处理设备100的硬件结构。另外，图像处理设备100的硬件结构是示例，并且PD 19、KB 20、CRT 21、HDD 22和其它组件可以位于图像处理设备100的外部。
在上述典型实施例的说明中，图像信息设置单元103设置图像信息并且生成遮罩图像。可选地，图像信息设置单元103可以设置图像信息，并且图像合成单元104可以基于所设置的图像信息等来生成遮罩图像，并且可以根据该遮罩图像和背景图像生成隐私保护图像。另外，图像合成单元104可以包括图像信息设置单元103的所有功能。换句话说，图像合成单元104可以设置图像信息，生成遮罩图像，并且根据该遮罩图像和背景图像生成隐私保护图像。
根据这些典型实施例的处理提供实现了隐私保护和监视这两者的监视视频。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经说明了典型实施例，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (13)

1.一种图像处理设备，其特征在于，包括：
获取单元，用于获取摄像单元所拍摄的视频中的对象图像和不包括预定的被摄体的背景图像；
提取单元，用于从所述对象图像中提取与所述预定的被摄体相对应的被摄体区域；
第一生成单元，用于针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像；以及
第二生成单元，用于通过合成由所述第一生成单元所生成的所述遮罩图像和由所述获取单元所获取的所述背景图像来生成合成图像，
其中，所述第一生成单元基于与所述背景图像有关的第一颜色信息和针对从所述视频中的所述对象图像的先前图像中提取的所述被摄体区域的隐私保护生成遮罩图像时所使用的第二颜色信息，针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像，以将所述遮罩图像与所述背景图像区分开。
2.根据权利要求1所述的图像处理设备，其中，
如果与所述背景图像有关的所述第一颜色信息不同于所述第二颜色信息，则所述第一生成单元通过使用所述第二颜色信息来针对从所述对象图像提取的所述被摄体区域的隐私保护生成所述遮罩图像，
如果所述第一颜色信息并非不同于所述第二颜色信息，则所述第一生成单元通过使用不同于与所述背景图像有关的第一颜色信息的第三颜色信息，来针对从所述对象图像提取的所述被摄体区域的隐私保护生成所述遮罩图像。
3.根据权利要求1所述的图像处理设备，还包括输出单元，所述输出单元用于输出所述合成图像。
4.根据权利要求1所述的图像处理设备，其中，与所述背景图像有关的所述第一颜色信息是与所述背景图像中的和所述对象图像中的所述被摄体区域相对应的区域有关的颜色信息。
5.一种图像处理设备，包括：
获取单元，用于获取摄像单元所拍摄的视频中的对象图像和不包括预定的被摄体的背景图像；
提取单元，用于从所述对象图像中提取与所述预定的被摄体相对应的被摄体区域；
第一生成单元，用于针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像；
第二生成单元，用于通过合成由所述第一生成单元所生成的所述遮罩图像和由所述获取单元所获取的所述背景图像来生成合成图像；以及
估计单元，用于估计与视频中的所述对象图像的后续图像中的所述预定的被摄体相对应的区域，
其中，所述第一生成单元基于与同所述被摄体区域相对应的背景图像有关的第一颜色信息以及与同所估计的区域相对应的背景图像有关的第二颜色信息，来生成针对所述被摄体区域的所述遮罩图像，以将所述遮罩图像与所述背景图像区分开。
6.根据权利要求5所述的图像处理设备，
所述第一生成单元基于与所述第一颜色信息和所述第二颜色信息不同的第三颜色信息生成所述遮罩图像。
7.根据权利要求5所述的图像处理设备，其中，与所述背景图像有关的所述第一颜色信息是与所述背景图像中的和所述对象图像中的所述被摄体区域相对应的区域有关的颜色信息。
8.根据权利要求5所述的图像处理设备，还包括输出单元，所述输出单元用于输出所述合成图像。
9.一种图像处理方法，其特征在于，包括以下步骤：
获取步骤，用于获取摄像单元所拍摄的视频中的对象图像和不包括预定的被摄体的背景图像；
提取步骤，用于从所述对象图像中提取与所述预定的被摄体相对应的被摄体区域；
第一生成步骤，用于针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像；以及
第二生成步骤，用于通过合成在所述第一生成步骤中生成的所述遮罩图像和在所述获取步骤中获取的所述背景图像来生成合成图像，
其中，在所述第一生成步骤中，基于与所述背景图像有关的第一颜色信息和针对从所述视频中的所述对象图像的先前图像中提取的所述被摄体区域的隐私保护生成遮罩图像时所使用的第二颜色信息，针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像，以将所述遮罩图像与所述背景图像区分开。
10.根据权利要求9所述的图像处理方法，
如果与所述背景图像有关的所述第一颜色信息不同于所述第二颜色信息，则在所述第一生成步骤中，通过使用所述第二颜色信息来针对从所述对象图像提取的所述被摄体区域的隐私保护生成所述遮罩图像，以及
如果所述第一颜色信息并非不同于所述第二颜色信息，则在所述第一生成步骤中，通过使用不同于与所述背景图像有关的第一颜色信息的第三颜色信息来针对从所述对象图像提取的所述被摄体区域的隐私保护生成所述遮罩图像。
11.一种图像处理方法，其特征在于，包括以下步骤：
获取步骤，用于获取摄像单元所拍摄的视频中的对象图像和不包括预定的被摄体的背景图像；
提取步骤，用于从所述对象图像中提取与所述预定的被摄体相对应的被摄体区域；
第一生成步骤，用于针对所述对象图像中的所述被摄体区域的隐私保护生成遮罩图像；
第二生成步骤，用于通过合成在所述第一生成步骤中生成的所述遮罩图像和在所述获取步骤中获取的所述背景图像来生成合成图像；以及
估计步骤，用于估计与视频中的所述对象图像的后续图像中的所述预定的被摄体相对应的区域，
其中，在所述第一生成步骤中，基于与同所述被摄体区域相对应的背景图像有关的第一颜色信息以及与同所估计的区域相对应的背景图像有关的第二颜色信息，生成针对所述被摄体区域的所述遮罩图像，以将所述遮罩图像与所述背景图像区分开。
12.根据权利要求11所述的图像处理方法，包括：
在所述第一生成步骤中基于与所述第一颜色信息和所述第二颜色信息不同的第三颜色信息生成所述遮罩图像。
13.一种计算机可读存储介质，其存储程序，其特征在于，所述程序用于使处理器执行根据权利要求9至12中任一项所述的图像处理方法。
CN201711065343.6A 2016-11-02 2017-11-02 图像处理设备、图像处理方法和存储介质 Active CN108024027B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016215301 2016-11-02
JP2016-215301 2016-11-02
JP2017149980A JP6598828B2 (ja) 2016-11-02 2017-08-02 画像処理装置、画像処理方法及びプログラム
JP2017-149980 2017-08-02

Publications (2)

Publication Number Publication Date
CN108024027A CN108024027A (zh) 2018-05-11
CN108024027B true CN108024027B (zh) 2021-02-09

Family

ID=60293702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711065343.6A Active CN108024027B (zh) 2016-11-02 2017-11-02 图像处理设备、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US10535113B2 (zh)
EP (1) EP3319041B1 (zh)
CN (1) CN108024027B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
DE112017008142A5 (de) * 2017-10-10 2020-09-10 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Maskierung eines Bildes einer Bildsequenz mit einer Maske, Computerprogramm, maschinenlesbares Speichermedium und elektronische Steuereinheit
JP7071086B2 (ja) * 2017-10-13 2022-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP7077093B2 (ja) * 2018-03-26 2022-05-30 三菱重工業株式会社 領域検出装置、領域検出方法及びそのプログラム
US11034357B2 (en) * 2018-09-14 2021-06-15 Honda Motor Co., Ltd. Scene classification prediction
US11195030B2 (en) 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
US10657584B1 (en) * 2019-01-31 2020-05-19 StradVision, Inc. Method and device for generating safe clothing patterns for rider of bike
CN110969642B (zh) * 2019-12-19 2023-10-10 深圳云天励飞技术有限公司 视频过滤方法、装置、电子设备及存储介质
CN112214773B (zh) * 2020-09-22 2022-07-05 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN113159074B (zh) * 2021-04-26 2024-02-09 京东科技信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007004974A1 (en) * 2005-07-01 2007-01-11 Daniel Forsgren Image enhancement in sport recordings
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
JP4578044B2 (ja) * 1999-12-23 2010-11-10 セクマナーゲメント ベスローテン フェンノートシャップ 画像データ処理
CN102708372A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别方法
CN104160690A (zh) * 2012-03-14 2014-11-19 欧姆龙株式会社 区域提取结果的显示方法和图像处理装置
CN104380704A (zh) * 2012-07-30 2015-02-25 英特尔公司 具有三维感知的视频通信
CN105100671A (zh) * 2014-05-20 2015-11-25 西安中兴新软件有限责任公司 一种基于视频通话的图像处理方法和装置
JP5834193B2 (ja) * 2014-02-05 2015-12-16 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN105306884A (zh) * 2014-07-28 2016-02-03 松下知识产权经营株式会社 监控装置、监控系统以及监控方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5834193B2 (ja) 1975-08-27 1983-07-25 昭和工事 （株） ホウフツ素化合物含有廃水の処理方法
EP0435167A3 (en) * 1989-12-20 1991-07-10 Dai Nippon Insatsu Kabushiki Kaisha Cut mask preparation method and apparatus
US8769395B2 (en) * 2002-12-13 2014-07-01 Ricoh Co., Ltd. Layout objects as image layers
US7783117B2 (en) * 2005-08-12 2010-08-24 Seiko Epson Corporation Systems and methods for generating background and foreground images for document compression
JP4420058B2 (ja) * 2007-04-24 2010-02-24 村田機械株式会社 画像処理装置及び画像処理方法
US8284249B2 (en) * 2008-03-25 2012-10-09 International Business Machines Corporation Real time processing of video frames for triggering an alert
JP4732488B2 (ja) * 2008-06-24 2011-07-27 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP4538514B2 (ja) * 2008-07-30 2010-09-08 シャープ株式会社 画像圧縮方法、画像圧縮装置、画像形成装置、コンピュータプログラム及び記録媒体
JP5014284B2 (ja) * 2008-08-08 2012-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5251646B2 (ja) 2009-03-18 2013-07-31 富士通株式会社 映像確認装置、その方法、及びプログラム
JP2012085137A (ja) 2010-10-13 2012-04-26 Seiko Epson Corp 画像入力装置、画像表示システム、及び画像入力装置の制御方法
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578044B2 (ja) * 1999-12-23 2010-11-10 セクマナーゲメント ベスローテン フェンノートシャップ 画像データ処理
WO2007004974A1 (en) * 2005-07-01 2007-01-11 Daniel Forsgren Image enhancement in sport recordings
JP2009225398A (ja) * 2008-03-19 2009-10-01 Secom Co Ltd 画像配信システム
CN102708372A (zh) * 2012-02-29 2012-10-03 北京无线电计量测试研究所 一种隐匿物品的自动检测和识别方法
CN104160690A (zh) * 2012-03-14 2014-11-19 欧姆龙株式会社 区域提取结果的显示方法和图像处理装置
CN104380704A (zh) * 2012-07-30 2015-02-25 英特尔公司 具有三维感知的视频通信
JP5834193B2 (ja) * 2014-02-05 2015-12-16 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN105100671A (zh) * 2014-05-20 2015-11-25 西安中兴新软件有限责任公司 一种基于视频通话的图像处理方法和装置
CN105306884A (zh) * 2014-07-28 2016-02-03 松下知识产权经营株式会社 监控装置、监控系统以及监控方法

Also Published As

Publication number Publication date
EP3319041A1 (en) 2018-05-09
US20180122033A1 (en) 2018-05-03
CN108024027A (zh) 2018-05-11
EP3319041B1 (en) 2022-06-22
US10535113B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108024027B (zh) 图像处理设备、图像处理方法和存储介质
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
CN109218663B (zh) 图像处理设备、图像处理方法和存储介质
US10917621B2 (en) Information processing apparatus, image generating apparatus, control methods therefor, and non-transitory computer-readable storage medium
US10595060B2 (en) Image generation apparatus, control method therefor, and computer-readable storage medium
EP3528206B1 (en) Image processing apparatus, image processing method, and storage medium
JP2022118201A (ja) 画像処理システム、画像処理方法及びプログラム
CN109167893B (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
JP6007523B2 (ja) 生成装置、生成プログラムおよび生成方法
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
CN107154046A (zh) 一种视频背景处理和隐私保护的方法
US20200250833A1 (en) Image processing apparatus, image processing method, and storage medium
EP3543902B1 (en) Image processing apparatus and method and storage medium storing instructions
CN109040604B (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
JP6598828B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3496390B1 (en) Information processing device, information processing method, and storage medium
JP7130375B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP7370769B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN114071016B (zh) 图像处理方法、装置、电子设备及存储介质
JP5337667B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN118447200A (zh) 信息处理设备、信息处理方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant