CN101510957B - 图像处理设备、方法、摄像机设备、通信系统 - Google Patents

图像处理设备、方法、摄像机设备、通信系统 Download PDF

Info

Publication number
CN101510957B
CN101510957B CN2009100063584A CN200910006358A CN101510957B CN 101510957 B CN101510957 B CN 101510957B CN 2009100063584 A CN2009100063584 A CN 2009100063584A CN 200910006358 A CN200910006358 A CN 200910006358A CN 101510957 B CN101510957 B CN 101510957B
Authority
CN
China
Prior art keywords
image
face
zone
background
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100063584A
Other languages
English (en)
Other versions
CN101510957A (zh
Inventor
依田光二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101510957A publication Critical patent/CN101510957A/zh
Application granted granted Critical
Publication of CN101510957B publication Critical patent/CN101510957B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理设备，包括：脸部检测器，被配置以基于拍摄的图像来检测脸部；以及输出处理器，被配置以具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。

Description

图像处理设备、方法、摄像机设备、通信系统
技术领域
本申请涉及具有从拍摄的图像中检测脸部的功能并且可应用于使用图像的通信的图像处理设备、摄像机设备、通信系统、图像处理方法和程序。 
背景技术
包括从成像元件(成像传感器)拍摄的图像中检测对象的脸部的脸部检测器的摄像机设备已经进入实际使用。 
对于使用图像的通信，诸如电视(下文中称为TV)电话、TV会议系统、视频邮件以及视频聊天的各种形式的应用已经进入实际使用。 
这些应用的每个被配置使得对象的脸部及其背景被拍摄并且所拍摄的图像被发送到通信对方。 
在日本专利No.3838506(下文中称为专利文件1)中，已经提出了用于经由公共网络在多个点之间交换视频数据的通信系统等。该通信系统具有存在于多个点的有限数量的通信设备、以及在有限数量的通信设备之间转发视频数据的交换的通信控制设备。在此系统中，以封闭的方式在有限数量的通信设备之间交换视频数据。 
发明内容
顺便提及，在TV电话、TV会议、视频聊天等中，如果成像对象是用户，则将通过捕获用户的脸部获得的图像数据在对该图像数据未做任何处理的情况下发送到通信对方，以便在通信对方的显示器上显示。 
这样对不希望其脸部被通信对方观看的用户施加了精神压力，因为其隐私不能被保护。 
另外，同样在这种设备用于房间内或者办公室而其用户不希望发送房间或办公室内样子的图像的情况下，出现的问题是，房间或办公室内的样子以及用户的姿态变得被通信对方所知，就隐私保护和保护办公室内的秘密方面而言这是错误的。 
在专利文件1公开的通信设备(图1等)中，如果图像输入单元是摄像机，则由区域提取器从拍摄图像中检测脸部。然而，需要首先捕获作为检测对象的图像，并且出现由于该捕获的延迟。 
此外，典型地，从图像检测脸部的功能的处理花费很长时间，并且因此也出现了由于该处理的延迟。 
此外，基于脸部检测的结果针对元数据处理图像，并且通过通信数据处理由通信单元将元数据与图像一起发送到通信路径。因此，由于到元数据的处理，出现了延迟时间。 
由于上述原因，在专利文件1公开的技术中，通信设备中由于处理导致的延迟时间相当长，并且通信设备上的负载相当重。 
另外，如果将上述处理应用于运动图像(例如30fp)和基于大量像素的图像，则伴随通信设备中的处理的延迟时间和负载将变得更显著。 
如果使用高性能通信设备以便降低负载，则尽管可以降低延迟时间和负载，但增加系统成本。 
此外，需要为上述处理准备对于延迟时间用于捕获图像的存储器，并且由于一般而言图像存储器具有高容量，因此系统成本增加。 
此外，鉴于上述情形，存在这样的可能性，在最坏的情况下，由于降低了运动图像的帧频和实时特性的恶化，图像的视觉识别变得不可能，因而系统变得不实用。 
此外，在由摄像机捕获后未被处理的图像(未经历所谓的隐私屏蔽处理的图像)至少被临时存储在通信设备或通信路径中的任何记录单元内。该图像可能被恶意用户窃取，或者由于来自网络的黑客(hack)行为而泄露。考虑到这一点，未实现真正意义的隐私保护。 
作为允许多个点处的多个用户使用图像彼此通信的通信方法，使用集中控制设备的TV会议系统是已知的。 
然而，在将隐私保护的技术应用于这种对于多个点的TV会议系统的情况下，如果移除背景，或者为了隐私保护而处理了脸部，则类似地从背景的移除或者脸部区域的处理得到的视频被发送到所有的会议参与者。 
此外，允许在多个点处的多个用户使用图像彼此通信的系统包含其中不特定的用户参与的形式，诸如网上的视频聊天。在此情况下，需要取决于通信对方而控制从背景的移除或脸部区域的处理得到的视频。例如，将存在这 样的情况，其中用户不介意将其脸部显示给特定图像通信端的用户，但是不希望将其脸部显示给其他用户。 
类似地，同样在商用的多个点之间的TV会议的系统中，如果会议的参与者包括公司的用户和公司以外的用户，可能允许向公司的用户示出包括背景的图像，而实行移除了背景的与公司以外的用户的通信。 
在专利文件1公开的通信系统(图16等)中，如果通信控制设备基于元数据执行隐私屏蔽处理，则需要首先接收被转换成分组并对应于一整个图像的所有图像数据，并且出现由于该接收的通信延迟。 
通常所获取的图像数据已经经过压缩(mpeg、jpeg等)，除非将压缩的数据重新恢复为原始数据，否则不能执行隐私屏蔽处理。此外，在隐私屏蔽处理之后，需要进行类似的图像压缩处理，并且出现由于该处理的延迟。 
另外，类似地需要将经历了隐私屏蔽处理和压缩处理的图像数据转换成分组，并且需要发送对应于一整个图像的所有图像数据。因此，出现相应的图像延迟。 
由于上述原因，通信控制设备中由于处理导致的延迟时间相当长，并且通信控制设备上的负载相当重。 
另外，如果将上述处理应用于运动图像(例如30fp)、基于大量像素的图像、以及来自多个用户的通信，则伴随通信控制设备中的处理的延迟时间以及负载变得更显著。 
如果使用高性能的通信控制设备以便降低负载，则尽管可以降低延迟时间和负载，但系统成本增加。 
此外，通常，存在各种图像数据压缩系统，并且可被覆盖的压缩系统取决于用户和网站。因此，在诸如维护的管理方面，支持包含这些系统的通信控制设备也导致成本的增加。 
另外，通信控制设备经常需要处理和发送在像素数量上等同于原始图像(在文件大小上几乎相等)的很多种图像数据，比如未经历隐私屏蔽处理的图像、脸部区域经历了隐私屏蔽处理的图像、以及背景经历了隐私屏蔽处理的图像。 
在此情况下，很显然，通信流量相当大。考虑到上述情况，存在这样的可能，在最坏的情况下，由于运动图像的帧频的降低以及实时特性的恶化，图像的视觉识别变得不可能，并且系统变得不实用。 
在专利文件1公开的通信系统(图18等)中，如果通信设备A经由通信控制设备连接到通信网络，则“通信控制设备”等效于所谓的通信服务器并且一般很昂贵。 
所有用户都购买这种昂贵的装置是极其困难的。 
另外，通常，需要先进的技术来安装通信服务器，并且对于一般用户而言安装和操作它是很困难的。 
每一定数量的用户安装该通信控制设备将是可能的。然而，如上所述，通信服务器通常很昂贵。因此，在诸如维护的管理方面，安装很多服务器导致成本增加，并且操作它们导致成本的进一步增加。 
本发明需要提供一种图像处理设备、摄像机设备、通信系统、图像处理方法和程序，其允许缩短由于处理和控制引起的延迟时间，以由此增强实时特性，并即使图像泄露也允许真正意义上的隐私保护，而不增加成本。 
根据本发明的第一实施例，提供了一种图像处理设备，包括：脸部检测器，被配置以基于拍摄的图像来检测脸部；以及输出处理器，被配置以具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。 
根据本发明的第二实施例，提供了一种摄像机设备，包括：成像元件；光学系统，被配置以在所述成像元件上形成对象图像；以及图像处理设备，被配置以对所述成像元件拍摄的图像执行图像处理。所述图像处理设备包括：脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。 
根据本发明的第三实施例，提供了一种通信系统，包括：发送系统，被配置以包括摄像机设备和发送由所述摄像机设备拍摄的图像数据的发送设备；以及接收系统，被配置以包括经由通信路径接收从所述发送系统发送的图像数据的接收设备。在所述系统中，所述摄像机设备包括：成像元件；光学系统，被配置以在所述成像元件上形成对象图像；以及图像处理设备，被 配置以对所述成像元件拍摄的图像执行图像处理。所述图像处理设备包括：脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能。所述输出处理器能够将拍摄的图像分离为每个都经历了或未经历隐私屏蔽处理的、通过剪切检测的脸部的区域而获得的图像和所述区域的背景的图像，并分离地输出从分离得到的图像。所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像。所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息，。所述发送设备至少发送在捕获脸部的同时捕获的、并且通过分离获得的背景图像。所述接收系统中的接收设备至少接收所发送的背景图像。 
根据本发明的第四实施例，提供了一种执行输出至少由脸部检测器检测的脸部的图像和所述脸部的背景的图像的处理的图像处理方法。所述方法包括步骤：由所述脸部检测器基于拍摄的图像检测脸部；对检测的脸部的图像和所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理；以及分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的背景的图像。 
根据本发明的第五实施例，提供了一种程序，用于致使计算机执行输出至少由脸部检测功能检测的脸部的图像和所述脸部的背景的图像的处理的图像处理。所述图像处理包括：基于拍摄的图像检测脸部的处理；对检测的脸部的图像和所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的处理；以及分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的背景的图像的处理。 
根据本发明的实施例，基于捕获的图像，由脸部检测器检测脸部，并且对检测的脸部的图像及其背景的图像执行诸如马赛克、模糊或填充的隐私屏蔽处理。 
随后，分离地输出检测的脸部的图像及其背景的图像，并输出相对于背景检测的脸部的区域信息。 
本发明的实施例允许缩短由于处理和控制引起的延迟时间，以由此提高实时特性而不增加成本。 
另外，即使图像泄露，本发明的实施例也允许真正意义上的隐私保护。 
附图说明
图1是示出了根据本发明的实施例的采用图像处理设备的摄像机设备的配置例子的方框图； 
图2A到2M是示出了原始图像和经历了隐私屏蔽处理的图像的例子的图； 
图3是示意性示出实施例的图像剪切单元的第一操作例子的图； 
图4是示意性示出实施例的图像剪切单元的第二操作例子的图； 
图5是示意性示出实施例的图像剪切单元的第三操作例子的图； 
图6是示出了与根据实施例的摄像机设备的第二使用形式有关的通信系统的配置例子的图； 
图7是示出了与根据实施例的摄像机设备的第三使用形式有关的通信系统的配置例子的图； 
图8是用于说明图像组合方法的第一图； 
图9是用于说明图像组合方法的第二图； 
图10是用于说明图像组合方法的第三图；以及 
图11是示出网服务器基于区域信息将形象(avatar)图像发送到接收设备的例子的图。 
具体实施方式
下面将结合附图描述本发明的实施例。 
图1是示出根据本发明的实施例的采用图像处理设备的摄像机设备的配置例子的方框图。 
如图1所示，根据本实施例的摄像机设备10具有光学系统11、成像元件(成像传感器)12、摄像机信号处理器13、图像存储器14、缩小电路15、脸部检测图像存储器16、脸部检测器17、输出处理器18以及作为控制器的微计算机19。 
根据本实施例的摄像机设备10被配置为具有以下功能的设备：在微计算机1 9的控制下，基于拍摄的图像由脸部检测器17检测脸部，并对于所检测的脸部的图像或者其背景的图像，由输出处理器18执行诸如马赛克、模糊或 填充的隐私屏蔽处理。另外，摄像机设备10被配置为这样的设备：其可以分离地输出检测的脸部的图像和其背景的图像，并且可以输出检测的脸部相对于背景的区域信息。 
摄像机设备10被如此配置以便能够将所拍摄的图像分离为通过剪切检测的脸部的区域而获得的图像和其背景的图像(在本实施例中，可以用任何单一颜色来填充移除图像的区域)，并分离输出这些图像。 
自然，不分离原始的拍摄图像也是可能的，并且因此不分离地输出两个图像。“分离输出”可以是经由不同的信道输出，或者以时分方式输出。 
摄像机设备10被如此配置以便能够输出通过剪切经历了诸如马赛克、模糊或填充的隐私屏蔽处理的区域而获得的图像和其背景的图像(在本实施例中，可以用任何单一颜色来填充移除图像的区域)，作为彼此不同的图像。 
自然，同样在此情况下，不分离原始的拍摄图像也是可能的，并且因此不分离地输出两个图像。“彼此不同的图像”可以经由不同的信道输出，或者以时分方式输出。 
摄像机设备10被如此配置以便能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息(在对背景执行隐私屏蔽处理的情况)、或者关于背景图像中的填充区域的信息。 
该“输出”可以是自外部从摄像机设备中的控制寄存器中读出，或者经由与图像输出的信道不同的信道输出。另外，在数字图像数据的情况下，区域信息可以作为元数据被埋入(bury)图像中。 
同样在此情况下，与以上描述类似，是否分离图像都没关系。 
下面将描述根据本实施例的摄像机设备10的具体配置和功能。 
光学系统11包括例如镜头111，并且通过镜头111在成像元件12的成像面上形成对象图像。 
成像元件12由例如作为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件的成像传感器形成。 
成像元件12通过以矩阵形式布置在半导体衬底上的光学传感器检测通过光学系统11形成的对象图像，并且生成信号电荷。成像元件12经由垂直信号线和水平信号线读出信号电荷，并将对象的数字图像信号输出到摄像机信号处理器13。 
摄像机信号处理器13将经历了诸如颜色插补、白平衡、YCbCr转换处理、压缩和填充的处理的图像(下文中称为原始图像)作为图像IMOR输出到图像存储器14和缩小电路15。 
原始图像被存储在图像存储器14中。 
存储在图像存储器14中的原始图像在输出处理器18中经历隐私屏蔽处理、图像剪切(分离)、格式转换等，以便被输出到外部。 
用于存储原始图像的图像存储器14被提供，以便以时分方式执行多次隐私屏蔽处理、图像剪切(分离)、格式转换等，并且不是必须需要的。 
在本描述中，仅作为例子示出图像存储器14。 
缩小电路15在脸部检测图像存储器16中存储通过以任意缩小率缩小原始图像IMOR(其全部区域或者从分离和剪切得到的区域)而获得的图像、以及通过在分离后仅剪切原始图像IMOR的部分而获得的图像。 
缩小电路15例如通过使用由微计算机19设置的关于设置图像划分和要剪切的区域的信息以及关于缩小率的信息来划分原始图像IMOR的整个图像区域(划分成例如4/9/16/25/36/段)。缩小电路15将从划分得到的图像供应至脸部检测器17。 
缩小后的图像尺寸是允许脸部检测器17执行处理的尺寸。 
脸部检测器17通过使用由微计算机19设置的关于要检测的脸部的大小、要检测的区域等的信息、基于图像存储器16中存储的图像来检测脸部。 
诸如检测位置和脸部大小的脸部检测器17的检测结果被供应至微计算机。 
可以通过软件或硬件实现脸部检测器17，并且其算法、电路配置等可以是公知的和已有的。 
输出处理器18对通过对从图像存储器14输出的原始图像执行失真校正、剪切、合成等获得的图像数据执行伽玛处理、屏蔽处理、格式转换等。输出处理器18将得到的图像数据输出到外部。 
图1的输出处理器18具有隐私屏蔽处理器181、图像剪切单元182和格式转换器183。 
隐私屏蔽处理器181基于脸部检测结果，在微计算机19的控制下，对从图像存储器14中存储的原始图像中检测的脸部的图像或其背景的图像执行诸如马赛克、模糊或填充的隐私屏蔽处理。 
图像剪切单元182在微计算机19的控制下剪切例如检测的脸部区域的图像、其背景的图像、经历了诸如马赛克、模糊或填充的隐私屏蔽处理的区域的图像、以及其背景的图像，并将剪切的图像输出到格式转换器183。 
格式转换器183对图像剪切单元182获得的剪切图像执行格式转换处理，并同步地输出得到的图像与区域信息。 
作为区域信息，输出以下种类的信息的任一种：关于在图像中检测到脸部的区域的信息；关于经历了隐私屏蔽处理的区域的信息；关于未经历隐私屏蔽处理的区域的信息(在对背景执行隐私屏蔽处理的情况下)；以及关于背景图像中的填充区域的信息。 
可以通过软件或硬件实现隐私屏蔽处理器181，并且其算法、电路配置等可以是公知的和现有的。 
在本例子中，隐私屏蔽处理器181的输出信道的数量是两个，并且剪切单元182和格式转换器183的输出信道的数量每个都是四个。然而，输出信道的数量可以是任意的。另外，允许以时分方式输出图像的配置和控制也是可能的。 
微计算机19具有以下功能：设置缩小电路15中的图像划分、要剪切的区域以及缩小率，并控制图像划分、剪切处理和缩小处理。 
微计算机19具有以下功能：设置脸部检测器17要检测的脸部的大小、脸部检测器17要检测的区域等等，并控制脸部检测处理。微计算机19获取诸如位置和脸部大小的检测结果 
微计算机19对脸部检测器17实行控制，并获取脸部检测结果，即在原始图像中检测到脸部的区域。基于该结果，微计算机19对隐私屏蔽处理器181实行控制，并且视情况而定，实行以下控制：允许图像剪切单元182剪切或移除(分离)图像，以由此经由不同的信道输出图像。 
在本实施例中，将在原始图像中检测到脸部的区域、经历了隐私屏蔽处理的区域、或者图像移除了的区域从外部接口(IF)输出到微计算机19。 
然而，本发明不限于此配置，而且也可以分别地提供输出，并且从其与图像数据同步地输出区域。可替换地，关于该区域的信息可以通过格式转换器作为元数据埋入图像数据中。 
下面将做出关于根据本实施例的拍摄的图像的隐私屏蔽处理、图像剪切/移除处理、区域信息、使用形式等的更具体地描述。 
最初，下面将结合图2描述隐私屏蔽处理。 
<隐私屏蔽处理> 
图2A到2M是示出原始图像和经历了隐私屏蔽处理的图像的例子的图。 
具体地，图2A示出了原始图像，从该原始图像中检测到脸部，并且其他图示出了对检测的脸部的区域和/或其背景的区域执行隐私屏蔽处理的例子。 
具体地，图2B示出了对脸部执行马赛克处理的例子。图2C示出了对脸部的背景执行马赛克处理的例子。图2D示出了对脸部和背景的全部执行马赛克处理的例子。图2E示出了对脸部执行模糊处理的例子。图2F示出了对脸部的背景执行模糊处理的例子。图2G示出了对脸部和背景的全部执行模糊处理的例子。图2H示出了对脸部执行用单一颜色填充的处理的例子。图2I示出了对脸部的背景执行用单一颜色填充的处理的例子。图2J示出了对脸部和背景的全部执行用单一颜色填充的处理的例子。图2K示出了对脸部执行混合(blend)处理的例子。图2L示出了对脸部的背景执行混合处理的例子。图2M示出了对脸部和背景的全部执行混合处理的例子。 
本实施例中的隐私屏蔽处理器181对在原始图像IMOR中检测到脸部的区域和/或其背景的区域执行用于隐私保护的图像处理(比如马赛克、模糊、填充和混合(透过(transmission))处理)，如图2A到2M所示。 
在图2A到2M的例子中，从原始图像中检测一个脸部，并且对脸部的区域执行隐私屏蔽处理。然而，执行隐私屏蔽处理的区域的数量可以是任意的(如果检测到多个脸部，则可以对多个区域执行隐私屏蔽处理)。不需要一定对这些区域执行隐私屏蔽处理。可以对整个原始图像IMOR执行隐私屏蔽处理。 
在图2A到2M中，采用具有大小几乎等于所检测的脸部大小的矩形作为执行隐私屏蔽处理的区域。然而，区域的形状可以是圆形、椭圆形或其他形状，并且其大小也可以是任意的。 
另外，马赛克宽度、模糊度、填充的颜色、混合的颜色和能见度可以是任意的，并且可以组合任意的这些方案。 
下面将结合图3到图5描述图像剪切/移除处理。 
<图像剪切/移除处理> 
图3是示意性示出本实施例中的图像剪切单元的第一操作例子的图。 
图4是示意性示出本实施例中的图像剪切单元的第二操作例子的图。 
图5是示意性示出本实施例中的图像剪切单元的第三操作例子的图。 
图像剪切单元从隐私屏蔽处理器输入的图像中剪切或移除(分离)任意区域。 
要剪切或移除的区域不需要一定是在原始图像中检测到脸部的区域或者经历了隐私屏蔽处理的区域，并且其大小可以是任意的。要剪切的区域的数量可以是任意的(可以剪切多个区域)，并且不需要一定剪切或移除区域。 
由于与图像处理有关的原因，希望区域的形状是矩形。然而，可以采用任何形状，只要处理是可能的。 
图3示出了隐私屏蔽处理器181对在原始图像IMOR中检测到脸部的区域执行马赛克处理并然后将得到的图像照原样输出而不在图像剪切单元182中进行任何处理的例子。 
在图4的例子中，从隐私屏蔽处理器181的输出OT1照原样输出未经历处理的原始图像IMOR，并且从输出OT2输出通过对原始图像IMOR的整个区域执行马赛克处理而获得的图像。其后，图像剪切单元182剪切并移除与在原始图像IMOR中检测到脸部的区域对应的图像，并然后输出得到的图像。 
用任意颜色填充图像移除的区域。 
在图5的例子中，隐私屏蔽处理器181不执行处理，并且图像剪切单元182移除在原始图像中检测到脸部的区域，然后输出得到的图像。 
用任意颜色填充图像移除的区域。 
<区域信息> 
区域信息指的是用于指示在原始图像中检测到脸部的区域、经历了隐私屏蔽处理的区域、或者图像移除了的区域的信息。该信息指示原始图像中的区域的水平开始位置、水平宽度、垂直开始位置和垂直宽度、或者原始图像中的区域的水平开始位置、水平结束位置、垂直开始位置和垂直结束位置。 
要输出的区域信息是取决于以下描述中的使用的任何信息。 
下面将描述具有上述配置的摄像机设备10的使用形式。 
<摄像机设备的使用形式> 
如果通过使用摄像机设备10的目标是TV电话、TV会议、视频聊天等中的隐私保护，则主要可以列出根据本实施例的摄像机设备10的三种使用形式。 
<第一使用形式> 
在第一使用形式中，针对所有接收设备保护发送者的隐私。 
在此形式中，如同图3的例子，从摄像机设备10本身输出经历了隐私屏蔽处理的图像，以便向各个接收设备发送，并且接收设备简单地接收和显示图像。 
此时，也可以同时发送区域信息。 
<第二使用形式> 
图6是示出与根据本发明的实施例的摄像机设备的第二使用形式有关的通信系统的配置例子的图。 
该通信系统100被配置为使得发送系统200和接收系统300可以经由网络400彼此通信。 
发送系统200包括根据本实施例的摄像机设备10、以及将摄像机设备10的输出发送到网络400的发送设备210。 
接收系统300具有接收设备310、320、330和340。接收设备310、320、330和340分别包括组合处理器311、321、331和341，每个组合处理器具有图像组合功能。 
发送系统200中的发送设备210向接收系统300中的接收设备310、320、330和340发送通过同时成像和分离而获得的背景图像IM2和IM4、图像IM2的区域信息和图像IM4的区域信息AI4、以及剪切图像IM1和IM3。 
在图6的例子中，剪切图像IM1是未经历隐私屏蔽处理的脸部的图像，并且剪切图像IM3是经历了作为隐私屏蔽处理的马赛克处理的脸部的图像。 
背景图像IM2是通过从原始图像中移除剪切图像IM1而获得的图像，并且背景图像IM4是通过从原始图像中移除剪切图像IM3而获得的图像。 
接收设备310、320、330和340接收背景图像IM2和IM4、其区域信息AR2和AR4、以及剪切图像IM1和IM3。基于区域信息，接收设备通过组合处理器311、321、331和341来组合剪切图像与背景图像，以由此创建每一个图像。 
在图6的例子中，接收设备310接收剪切图像IM1和背景图像IM2。组合处理器311执行组合处理以由此创建(复原(restore))未经历隐私屏蔽处理的图像。 
接收设备320接收剪切图像IM3和背景图像IM2。组合处理器321执行 组合处理以由此创建(复原)对脸部执行了马赛克处理的图像。 
接收设备330接收剪切图像IM1和背景图像IM4.组合处理器331执行组合处理以由此创建(复原)对背景执行了马赛克处理的图像。 
接收设备340接收剪切图像IM3和背景图像IM4。组合处理器341执行组合处理以由此创建(复原)对脸部和背景的全部执行了马赛克处理的图像。 
以此方式，通信系统100允许真正意义上的隐私保护。 
背景图像及其区域信息可以被作为元数据埋入图像数据中。 
在本实施例中，将背景图像、剪切图像、未经历隐私屏蔽处理的图像以及经历了隐私屏蔽处理的图像视作彼此不同的通信数据。 
本例子的“通信系统”还包括如图6所示的网络400。上述通信数据可以符合现有通信协议。所述图像数据的图像(压缩)格式可以是现有的格式。 
如上，在第二使用形式中，不对任何接收设备保护发送者的隐私，而针对其他的接收设备保护发送者的隐私。 
具体地，如图4所示，从摄像机设备10输出未经历隐私屏蔽处理的剪切图像、未经历隐私屏蔽处理的部分移除的图像、及其区域信息。另外，从摄像机输出经历了隐私屏蔽处理的剪切图像、经历了隐私屏蔽处理的部分移除的图像、及其区域信息。 
随后，如图6所示，这些图像和区域信息被发送到接收设备310到340。接收设备310到340接收部分移除的图像、其区域信息、以及剪切图像，并基于区域信息组合剪切图像与背景图像，以便显示图像。 
由于此操作，在接收系统300中，可以通过仅仅组合简单接收的剪切图像与简单接收的部分移除的图像而实现与任何接收设备的每个对应的、发送者想要的各种隐私保护。 
在图6中，作为例子，要发送的各种图像数据的数量是4个。然而，各种图像数据的数量可以是取决于使用目的的任意数量。 
例如，如果仅与接收设备310和320实行通信，则传输三种图像数据是足够的：图6的图像数据IM1、IM2和IM3。 
此外，不是顺序地将图像数据从发送设备发送到各个接收设备，而是一般可以通过使用通信控制设备(通信服务器)基于广播通信将图像数据发送到多个接收设备。因此，自然，对于发送设备，无论接收设备的数量，仅一次发送需要数量的图像数据的种类是足够的。 
<第三使用形式> 
图7是示出了与根据本实施例的摄像机设备的第三使用形式有关的通信系统的配置例子的图。 
在第三使用形式中，发送设备210将拍摄的背景图像(在此情况下，用任何单一颜色填充图像移除的区域)IM2发送到接收设备3210等。接收设备310等接收背景图像，并检测与从背景图像中剪切的图像对应的区域。基于检测结果，接收设备310等通过组合处理器311等来组合形象(动画人物)ANM与背景图像，以由此创建一个图像。 
在此例子中，不传送剪切的图像。 
类似于以上描述，该通信系统100A也包括网络400。上述通信数据可以符合现有通信协议。上述图像数据的图像(压缩)格式可以是现有的格式。 
使用形象ANM可以被认为是隐私保护，或者可以被认为是娱乐。 
以此方式，在第三使用形式中，对于所有接收设备以形象代表发送者，以由此保护发送者的隐私。 
具体地，如图5所示，从摄像机设备10输出被移除了检测到脸部的区域的图像以及该图像的区域信息。随后，如图7所示，图像和区域信息被发送到每个接收设备。接收设备基于所接收的部分移除的图像及其区域信息来组合形象ANM的图像与背景图像，并显示所创建的图像。 
以下方案也是可用的。具体地，仅从摄像机设备10输出被移除了检测到脸部的区域的图像(不使用区域信息)，并且仅将该图像发送到每个接收设备。接收设备通过抠像(chromakey)(用于检测特定颜色的技术)等在接收的部分移除的图像中检测图像移除的区域。基于检测结果，接收设备组合形象与背景图像，并显示创建的图像。 
用于通过抠像的图像移除的区域的检测的算法、电路配置等可以是任意的。 
<使用形式的应用> 
上述使用形式可以相互组合。 
例如，可能的是，在第一使用形式中，发送区域信息，并且某些接收设备照原样显示接收的图像，而其他一些接收设备基于区域信息显示包括了形象的图像。 
同样如上所述，要剪切的图像的数量和图像移除的区域的数量是任意的。 
在此情况下，要发送的图像的种类的数量和要发送的图像的数量经常变得很大，自然，要组合的图像的数量经常变得很大。 
接下来，下面将描述图像组合方法。 
<图像组合方法> 
图8是用于说明图像组合方法的第一图。 
图9是用于说明图像组合方法的第二图。 
图10是用于说明图像组合方法的第三图。 
作为用于在第二和第三使用形式中组合剪切图像与部分移除的图像的方法，基于从区域信息中获取的水平开始位置和垂直开始位置在部分移除的图像上写上剪切图像，如图8所示。 
然而，该方法包括这样的可能性，作为经过通信对这些图像的压缩和复原的结果，剪切图像和部分移除的图像之间的边界是不同(distinct)的。 
对于此情况，如图9所示，为要剪切的图像提供具有任意宽度的边距(空白)，并且在图像组合时该宽度的区域经历与部分移除的图像的混合(透过)处理。 
用于混合(透过)处理的算法、电路配置等可以是任意的。 
在图9的情况下，可以基于发送和接收设备都知道具有预定宽度的边距的供应的前提来处理区域信息。可替换地，可以从发送设备向接收设备单独地传输边距信息，或者可以将其作为元数据埋入图像数据中。 
作为用于在第三使用形式中组合形象图像与部分移除的图像的方法，如图10所示，以这样的方式基于从区域信息获取的水平开始位置、垂直开始位置等写上具有使得覆盖图像移除的区域的大小的形象图像：不写上(overwrite)形象图像的空白的区域，而写上形象图像的人物的区域。 
为形象图像定义α值(透过率)并执行混合(透过)处理也是可能的。例如，对于空白区域，将α设置为100％，并且对于人物区域，将α设置为0％。 
<图像组合的装置> 
在上述使用形式中，作为例子，采用接收设备作为组合图像的装置。然而，可以在通信路径上的任何装置(包括发送设备、个人计算机(PC)、通信控制设备(通信服务器)、网服务器等)中组合图像(在第三使用形式的情况下是形象)。 
<形象图像> 
图11是示出网服务器(web server)基于区域信息将形象图像发送到接收设备的例子的图。 
在上述第三使用形式中，作为例子，接收设备准备形象图像并将其组合。然而，通信路径上的任何装置(包括发送设备、个人计算机(PC)、通信控制设备(通信服务器)、网服务器等)可以基于区域信息AI将形象图像发送到接收设备，并且接收设备可以组合图像。 
具体地，例如如图11所示，还可能的是，网服务器500基于区域信息AI将形象ANM的图像发送到接收设备。 
如上所述，本实施例可以实现以下优点。 
摄像机设备本身输出隐私保护的图像。因此，甚至当记录设备存在于通信系统中时，即使由于图像数据被恶意用户盗用或来自网络的黑客行为而导致图像泄露，由于所存储的(至少临时地)图像已经经历了隐私保护，因此可以在真正意义上保护隐私。 
由于从摄像机设备本身输出各种图像及其区域信息，因此发送设备不需要具有脸部检测功能。因此，可以极大地降低系统成本，并且可以降低处理和控制的负载。另外，可以极大地缩短由于处理和控制引起的延迟时间，这提高了实时特性。 
在从发送设备发送从摄像机设备本身输出的剪切图像、部分移除的图像及其区域信息并且接收设备组合这些图像以由此显示经历了隐私屏蔽处理的图像时，通信控制设备(通信服务器)不需要具有执行隐私屏蔽处理的功能。另外，视情况而定，经历了隐私屏蔽处理的多种图像不需要被发送到每个接收设备。因此，可以极大地降低系统成本，并且可以降低处理和控制的负载。另外，可以极大地缩短由于处理和控制引起的延迟时间，这提高了实时特性。 
在上述配置中，对于通信控制设备(通信服务器)，仅实行仅仅分组的路由和广播通信是足够的。因此，负载及其延迟等同于现有技术中的通信控制设备的负载及其延迟。 
此外，由于不需要复原图像，因此，不需要支持各种压缩系统。 
在从摄像机设备本身输出各种图像及其区域信息并且从发送设备发送的情况下，各个接收设备可以仅通过组合接收的图像而容易地允许与接收者对应的发送者的各种隐私的保护。 
在从发送设备发送从摄像机设备本身输出的剪切图像和部分移除的图像的情况下，剪切图像中的像素数量很小，因此其图像数据大小很小。另外，压缩部分移除的图像导致小的图像数据，这是因为一般地图像中的单一颜色的纯色区(plain area)的出现提供了高压缩效率。 
因此，因此与从通信控制设备(通信服务器)向接收设备发送经历了隐私屏蔽处理的、具有几乎等同于原始图像的大小的图像数据的情况相比极大地降低了通信流量，且提高了实时特性。 
此外，如果从摄像机设备本身输出部分移除的图像及其区域信息并且显示包括形象的图像，则与以上描述类似地，极大地降低了通信流量，并且因此提高了实时特性。 
此外，可以容易地实现基于区域信息将形象图像从网服务器发送到接收设备的应用，而不牺牲实时特性。 
在此情况下，不需要在接收设备中准备形象图像。 
由于上述原因，隐私保护是可能的，并且对应于各个接收者，可以实现发送者意要的各种隐私保护。另外，能够容易地实现包括发送和接收设备、个人计算机(PC)、通信控制设备(通信服务器)、网服务器等并具有轻负载、小通信流量和高实时特性的通信系统。可以极大地降低通信系统的成本。 
基本上，与是否出现或不出现光学缩放、固定焦距等无关，本发明的实施例可以覆盖诸如典型数字照相机和摄像机的全部摄像机。 
还可能的是，以上详细描述的方法被实现为与上述过程对应的程序，并由诸如中央处理单元的计算机执行。 
这种程序可以被存储在诸如半导体存储器、磁盘、光盘、软盘(注册商标)等的记录介质中，并且可以通过在其中设置了这种记录介质的计算机的存取而执行。 
将理解，尽管已经结合具体实施例描述了本发明，但是很明显，根据在上的描述，很多替换、修改和变更对于本领域技术人员是可能的。因此，本发明意要包含落入所附权利要求的精神和范围内的所有这种替换、修改和变更。 
相关申请的交叉引用 
本发明包含与2008年2月15日在日本专利局提交的日本专利申请JP2008-034295有关的主题，通过引用将其全部内容合并于此。 

Claims (19)

1.一种图像处理设备，包括：
脸部检测器，被配置以基于拍摄的图像来检测脸部；以及
输出处理器，被配置以具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，其中
所述输出处理器包括
分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。
2.根据权利要求1的图像处理设备，其中
所述输出处理器能够将拍摄的图像分离为通过剪切所检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像。
3.根据权利要求1的图像处理设备，其中
所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像。
4.根据权利要求1的图像处理设备，其中
所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息。
5.根据权利要求2的图像处理设备，其中
所述输出处理器能够用任意颜色填充图像移除的区域，以及
所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息、或者关于背景图像中的填充区域的信息。
6.一种摄像机设备，包括：
成像元件；
光学系统，被配置以在所述成像元件上形成对象图像；以及
图像处理设备，被配置以对所述成像元件拍摄的图像执行图像处理，其中
所述图像处理设备包括
脸部检测器，基于拍摄的图像来检测脸部；以及
输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，其中
所述输出处理器包括
分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。
7.根据权利要求6的摄像机设备，其中
所述输出处理器能够将拍摄的图像分离为通过剪切所检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像。
8.根据权利要求6的摄像机设备，其中
所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像。
9.根据权利要求6的摄像机设备，其中
所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息。
10.根据权利要求7的摄像机设备，其中
所述输出处理器能够用任意颜色填充图像移除的区域，以及
所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息、或者关于背景图像中的填充区域的信息。
11.一种通信系统，包括：
发送系统，被配置以包括摄像机设备和发送由所述摄像机设备拍摄的图像数据的发送设备；以及
接收系统，被配置以包括经由通信路径接收从所述发送系统发送的图像数据的接收设备，其中
所述摄像机设备包括
成像元件；
光学系统，在所述成像元件上形成对象图像；以及
图像处理设备，对所述成像元件拍摄的图像执行图像处理，其中所述图像处理设备包括
脸部检测器，基于拍摄的图像来检测脸部；以及
输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，
所述输出处理器能够将拍摄的图像分离为每个经历了或未经历隐私屏蔽处理的、通过剪切检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像，
所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像，
所述输出处理器能够把下述信息与对应于该信息的图像同步地输出：关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息，
所述发送设备发送在捕获脸部的同时捕获的、并且通过分离获得的背景图像，以及
所述接收系统中的接收设备接收所发送的背景图像。
12.根据权利要求11的通信系统，其中
所述发送系统中的发送设备发送同时拍摄并通过分离获得的背景图像和脸部的剪切图像，并发送所述背景图像的区域信息，以及
所述接收系统中的接收设备接收所发送的背景图像、所述背景图像的区域信息、以及剪切的图像，并基于所述区域信息来组合所述剪切的图像与所述背景图像，以由此创建一个图像。
13.根据权利要求11的通信系统，其中
所述接收系统中的接收设备接收所发送的背景图像和所述背景图像的区域信息，并基于所述区域信息组合形象与所述背景图像，以由此创建一个图像。
14.根据权利要求11的通信系统，其中
所述摄像机设备中的输出处理器能够用任意颜色填充图像移除的区域，
所述发送设备发送所述背景图像，以及
所述接收系统中的接收设备接收所发送的背景图像，并基于检测的关于从所述背景图像中剪切的图像的区域信息来组合形象与所述背景图像，以由此创建一个图像。
15.根据权利要求11的通信系统，其中
所述通信路径上的预定装置组合预定图像与从所述发送系统中的发送设备发送的图像，并将得到的图像发送到所述接收设备，以及
所述接收系统中的接收设备接收由所述通信路径上的预定装置组合所得到的图像。
16.根据权利要求12的通信系统，其中
所述通信路径上的预定装置基于所述区域信息将用于隐私保护的图像发送到所述接收设备，以及
所述接收系统中的接收设备组合该用于隐私保护的图像与未经历隐私屏蔽处理的图像，或者对所述图像执行混合处理，以由此创建一个图像。
17.根据权利要求13的通信系统，其中
所述通信路径上的预定装置基于所述区域信息将所述形象的图像发送到所述接收设备。
18.根据权利要求14的通信系统，其中
所述通信路径上的预定装置检测从背景图像中剪切的图像的区域，并基于检测的结果将形象的图像发送到所述接收设备。
19.一种执行输出由脸部检测器检测的脸部的图像和所述脸部的背景的图像的处理的图像处理方法，所述方法包括步骤：
由所述脸部检测器基于拍摄的图像检测脸部；
对检测的脸部的图像或所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理；以及
分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的背景的图像。
CN2009100063584A 2008-02-15 2009-02-16 图像处理设备、方法、摄像机设备、通信系统 Expired - Fee Related CN101510957B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008034295A JP5088161B2 (ja) 2008-02-15 2008-02-15 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
JP034295/08 2008-02-15

Publications (2)

Publication Number Publication Date
CN101510957A CN101510957A (zh) 2009-08-19
CN101510957B true CN101510957B (zh) 2012-08-08

Family

ID=40954758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100063584A Expired - Fee Related CN101510957B (zh) 2008-02-15 2009-02-16 图像处理设备、方法、摄像机设备、通信系统

Country Status (3)

Country Link
US (1) US8305448B2 (zh)
JP (1) JP5088161B2 (zh)
CN (1) CN101510957B (zh)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5352150B2 (ja) * 2008-08-01 2013-11-27 パナソニック株式会社 撮像装置
JP4952739B2 (ja) * 2009-04-01 2012-06-13 株式会社ニコン 画像ファイル生成装置および画像再生装置
CN101668157B (zh) * 2009-09-24 2011-09-21 中兴通讯股份有限公司 用于视频通话中隐私保护的方法、应用服务器及系统
CN102028482B (zh) * 2009-09-30 2012-11-14 同方威视技术股份有限公司 人体检查图像处理方法和人体检查设备
CN102111491A (zh) * 2009-12-29 2011-06-29 比亚迪股份有限公司 具有照相功能的移动设备及其人脸识别处理方法
JP5489340B2 (ja) * 2010-03-12 2014-05-14 パナソニック株式会社 顔マスキング装置及び方法
JP4892071B2 (ja) * 2010-03-24 2012-03-07 株式会社コナミデジタルエンタテインメント 画像生成装置、画像加工方法、および、プログラム
JP5701007B2 (ja) * 2010-10-19 2015-04-15 キヤノン株式会社 監視カメラ装置及び監視カメラ装置の制御方法
CN102456232A (zh) * 2010-10-20 2012-05-16 鸿富锦精密工业（深圳）有限公司 人脸影像代换系统以及方法
TWI420405B (zh) * 2010-10-20 2013-12-21 Hon Hai Prec Ind Co Ltd 人臉影像代換系統及方法
JP5791256B2 (ja) * 2010-10-21 2015-10-07 キヤノン株式会社 表示制御装置、表示制御方法
JP5263989B2 (ja) * 2010-10-22 2013-08-14 Ｎｅｃシステムテクノロジー株式会社 画像配信システムおよび画像配信方法と画像配信プログラム
KR20120060549A (ko) * 2010-12-02 2012-06-12 전자부품연구원 사용자 단말 및 이를 이용한 영상 통화 방법
KR101760345B1 (ko) * 2010-12-23 2017-07-21 삼성전자주식회사 동영상 촬영 방법 및 동영상 촬영 장치
JP2012175136A (ja) * 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP5408156B2 (ja) * 2011-02-24 2014-02-05 三菱電機株式会社 監視用画像処理装置
JP5594282B2 (ja) 2011-03-31 2014-09-24 カシオ計算機株式会社 画像処理装置
WO2012170551A2 (en) 2011-06-06 2012-12-13 Stoplift, Inc. Notification system and methods for use in retail environments
US8867853B2 (en) * 2011-06-28 2014-10-21 Stoplift, Inc. Image processing to prevent access to private information
US10924668B2 (en) 2011-09-19 2021-02-16 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
JP5807489B2 (ja) * 2011-09-28 2015-11-10 カシオ計算機株式会社 画像処理装置及び画像処理方法、並びにプログラム
WO2013061505A1 (en) * 2011-10-25 2013-05-02 Sony Corporation Image processing apparatus, method and computer program product
JP2013092856A (ja) * 2011-10-25 2013-05-16 Sony Corp 画像処理装置およびプログラム
WO2013081624A1 (en) * 2011-12-02 2013-06-06 Hewlett-Packard Development Company, L.P. Video clone for a display matrix
CN102567733B (zh) * 2011-12-30 2014-05-07 北京华航无线电测量研究所 一种微波图像非合作情况下人体隐私部位检测与遮挡方法
JP2013143752A (ja) * 2012-01-12 2013-07-22 Nippon Telegr & Teleph Corp <Ntt> 映像送信制御装置、方法及びプログラム
WO2013114848A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 画像処理装置及び画像処理方法
JP5733769B2 (ja) * 2012-02-01 2015-06-10 日立マクセル株式会社 コンテンツ受信装置、コンテンツ受信方法、及び、デジタル放送送受信システム
DE112013001461B4 (de) * 2012-03-14 2023-03-23 Google LLC (n.d.Ges.d. Staates Delaware) Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz
US9582681B2 (en) 2012-04-27 2017-02-28 Nokia Technologies Oy Method and apparatus for privacy protection in images
US9892438B1 (en) 2012-05-03 2018-02-13 Stoplift, Inc. Notification system and methods for use in retail environments
JP2014021570A (ja) * 2012-07-12 2014-02-03 Sony Computer Entertainment Inc 動画像生成装置
JP6102111B2 (ja) * 2012-07-27 2017-03-29 富士通株式会社 送信装置、通信装置、データ送信プログラム及びデータ送信方法
KR101747219B1 (ko) * 2012-09-27 2017-06-15 한화테크윈 주식회사 프라이버시 마스크 생성하는 감시 카메라 및 감시 카메라의 제어 방법
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
JP2014182476A (ja) * 2013-03-18 2014-09-29 Fuji Xerox Co Ltd 操作履歴情報保存装置、画像処理装置、操作履歴情報保存制御プログラム
KR101443361B1 (ko) * 2013-04-08 2014-11-03 현대엠엔소프트 주식회사 네비게이션 장치의 사진지도 표시방법 및 네비게이션 장치
CN104239877B (zh) * 2013-06-19 2019-02-05 联想(北京)有限公司 图像处理的方法和图像采集设备
US9420168B2 (en) * 2013-09-20 2016-08-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN104469127B (zh) * 2013-09-22 2019-10-18 南京中兴软件有限责任公司 拍摄方法和装置
US9769368B1 (en) * 2013-09-25 2017-09-19 Looksytv, Inc. Remote video system
EP2876605B1 (en) 2013-11-22 2016-04-06 Axis AB Gradient privacy masks
CN104809417A (zh) * 2014-01-29 2015-07-29 北京三星通信技术研究有限公司 在显示屏上进行信息屏蔽的方法、装置及设备
JP6531341B2 (ja) * 2014-03-10 2019-06-19 ソニー株式会社 情報処理装置、サーバ、記憶媒体、および制御方法
JP2015210702A (ja) 2014-04-28 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
CN105100671A (zh) * 2014-05-20 2015-11-25 西安中兴新软件有限责任公司 一种基于视频通话的图像处理方法和装置
US9990513B2 (en) 2014-12-29 2018-06-05 Entefy Inc. System and method of applying adaptive privacy controls to lossy file types
US9253443B1 (en) 2015-03-03 2016-02-02 International Business Machines Corporation Filtering video for video telephony and video conferencing
CN106296559A (zh) * 2015-05-26 2017-01-04 中兴通讯股份有限公司 图像处理方法及装置
EP3110161B1 (en) * 2015-06-23 2019-10-09 Nokia Technologies Oy Method, apparatus and computer program product for controlling access to concurrently captured images
CN104966067B (zh) * 2015-06-29 2018-05-18 福建天晴数码有限公司 保护隐私的图像处理方法及系统
CN105550543B (zh) * 2015-06-30 2019-04-12 宇龙计算机通信科技(深圳)有限公司 一种虹膜信息处理方法及用户终端
US10284558B2 (en) 2015-08-12 2019-05-07 Google Llc Systems and methods for managing privacy settings of shared content
CN106484704A (zh) * 2015-08-25 2017-03-08 中兴通讯股份有限公司 一种图片处理方法及装置
US10846895B2 (en) * 2015-11-23 2020-11-24 Anantha Pradeep Image processing mechanism
CN106803877A (zh) * 2015-11-26 2017-06-06 西安中兴新软件有限责任公司 一种摄影摄像方法和装置
CN105513104A (zh) * 2015-12-01 2016-04-20 小米科技有限责任公司 图片拍摄方法、装置及系统
US10565395B2 (en) * 2016-01-29 2020-02-18 Kiwi Security Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN105681627B (zh) * 2016-03-03 2019-12-24 联想(北京)有限公司 拍摄图像方法及电子设备
CN107294915B (zh) * 2016-04-01 2020-11-10 宇龙计算机通信科技(深圳)有限公司 图像采集方法、系统及终端
CN105847728A (zh) * 2016-04-13 2016-08-10 腾讯科技（深圳）有限公司 一种信息处理方法及终端
CN105956022B (zh) * 2016-04-22 2021-04-16 腾讯科技（深圳）有限公司 电子镜图像处理方法和装置、图像处理方法和装置
EP3481005B1 (en) * 2016-06-29 2021-01-20 Prosper Creative Co., Ltd. Data masking system
TWI607410B (zh) * 2016-07-06 2017-12-01 虹光精密工業股份有限公司 具有分區影像處理功能的影像處理設備及影像處理方法
CN106201275A (zh) * 2016-07-29 2016-12-07 北京小米移动软件有限公司 截屏图像处理方法及装置
EP3504071A4 (en) * 2016-08-26 2020-01-15 Netradyne Inc. VIDEO RECORDING OF AN OPERATOR AND OF THE SURROUNDING FIELD OF VISION
WO2018068146A1 (en) 2016-10-14 2018-04-19 Genetec Inc. Masking in video stream
CN106550243A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 直播视频处理方法、装置及电子设备
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US10395047B2 (en) 2016-12-31 2019-08-27 Entefy Inc. System and method of applying multiple adaptive privacy control layers to single-layered media file types
US10037413B2 (en) * 2016-12-31 2018-07-31 Entefy Inc. System and method of applying multiple adaptive privacy control layers to encoded media file types
US10587585B2 (en) 2016-12-31 2020-03-10 Entefy Inc. System and method of presenting dynamically-rendered content in structured documents
US10169597B2 (en) * 2016-12-31 2019-01-01 Entefy Inc. System and method of applying adaptive privacy control layers to encoded media file types
JP7054492B2 (ja) 2017-01-23 2022-04-14 株式会社Revo 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置
US11076100B2 (en) * 2017-03-31 2021-07-27 Lenovo (Singapore) Pte. Ltd. Displaying images on a smartglasses device based on image data received from external camera
JPWO2018179555A1 (ja) * 2017-03-31 2020-02-06 パナソニックＩｐマネジメント株式会社 撮像装置
CN107292345A (zh) * 2017-07-03 2017-10-24 贵州大学 隐私情境检测方法
EP3454254B1 (en) * 2017-09-07 2023-11-08 Canon Kabushiki Kaisha Image processing apparatus, image providing apparatus, control methods thereof, and program
CN107623817B (zh) * 2017-09-11 2019-08-20 Oppo广东移动通信有限公司 视频背景处理方法、装置和移动终端
CN107493440A (zh) * 2017-09-14 2017-12-19 光锐恒宇（北京）科技有限公司 一种在应用中显示图像的方法和装置
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019106956A1 (ja) 2017-11-29 2019-06-06 京セラドキュメントソリューションズ株式会社 監視システムおよび画像処理装置
CN109886864B (zh) * 2017-12-06 2021-03-09 杭州海康威视数字技术股份有限公司 隐私遮蔽处理方法及装置
US10410000B1 (en) 2017-12-29 2019-09-10 Entefy Inc. System and method of applying adaptive privacy control regions to bitstream data
US10305683B1 (en) 2017-12-29 2019-05-28 Entefy Inc. System and method of applying multiple adaptive privacy control layers to multi-channel bitstream data
JP7030534B2 (ja) 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法
CN108366196B (zh) * 2018-01-25 2020-09-01 西安中科创达软件有限公司 一种保护图片隐私的方法
JP2019180027A (ja) * 2018-03-30 2019-10-17 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP6887132B2 (ja) * 2018-04-12 2021-06-16 パナソニックＩｐマネジメント株式会社 映像処理装置、映像処理システム及び映像処理方法
CN110390189A (zh) * 2018-04-19 2019-10-29 上海擎感智能科技有限公司 基于移动终端的隐私保护方法、操作系统、及车辆
EP3564900B1 (en) * 2018-05-03 2020-04-01 Axis AB Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
CN109035167B (zh) * 2018-07-17 2021-05-18 北京新唐思创教育科技有限公司 对图像中的多个人脸进行处理的方法、装置、设备和介质
JP2020022054A (ja) * 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮影装置、電子機器及び通知方法
CN112585605A (zh) 2018-09-06 2021-03-30 索尼公司 信息处理系统、信息处理方法、终端装置和信息处理装置
US20210392116A1 (en) * 2018-10-02 2021-12-16 Ncs Pte. Ltd. Privacy Protection Camera
CN111179299A (zh) * 2018-11-09 2020-05-19 珠海格力电器股份有限公司 一种图像处理方法及装置
EP3691277A1 (en) 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
US20200250401A1 (en) * 2019-02-05 2020-08-06 Zenrin Co., Ltd. Computer system and computer-readable storage medium
CN111614959B (zh) * 2019-02-26 2023-02-03 北京嘀嘀无限科技发展有限公司 一种视频打码方法、装置以及电子设备
JP6748793B1 (ja) * 2019-03-22 2020-09-02 Ｓｐｐテクノロジーズ株式会社 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法
CN110400315B (zh) * 2019-08-01 2020-05-05 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统
CN110719402B (zh) * 2019-09-24 2021-07-06 维沃移动通信（杭州）有限公司 图像处理方法及终端设备
JP2021050893A (ja) * 2019-09-26 2021-04-01 株式会社ノーリツ 浴室監視システム
CN110648382B (zh) * 2019-09-30 2023-02-24 北京百度网讯科技有限公司 图像生成方法和装置
JP7319172B2 (ja) 2019-11-13 2023-08-01 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理システム
EP3910545A1 (en) 2020-05-15 2021-11-17 Koninklijke Philips N.V. Ambient light suppression
EP3923587B1 (en) * 2020-06-09 2022-03-30 Axis AB Method and device for partially unmasking an object in a video stream
CN111866600B (zh) 2020-06-10 2021-10-15 北京沃东天骏信息技术有限公司 用于保护隐私的方法、装置和系统
WO2022014184A1 (ja) * 2020-07-14 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、およびシステム
US12013968B2 (en) 2020-10-22 2024-06-18 Robert Bosch Gmbh Data anonymization for data labeling and development purposes
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
JP7561008B2 (ja) 2020-11-11 2024-10-03 株式会社Ｎｔｔドコモ 学習支援装置
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
US11094042B1 (en) 2021-03-12 2021-08-17 Flyreel, Inc. Face detection and blurring methods and systems

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690446A (ja) * 1992-09-09 1994-03-29 Toshiba Corp テレビ電話装置
JP2002281486A (ja) * 2001-03-16 2002-09-27 Dd Marketing:Kk 画像取得システム
JP3838506B2 (ja) * 2001-11-13 2006-10-25 松下電器産業株式会社 画像を用いる通信方法及びその装置
EP1311124A1 (en) 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
JP2004172862A (ja) * 2002-11-19 2004-06-17 Megachips System Solutions Inc 画像合成方法および合成画像配信システム
JP2009239718A (ja) * 2008-03-27 2009-10-15 Toshiba Corp 動画像分離装置、動画像結合装置および動画像分離・結合システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2002-281486A 2002.09.27

Also Published As

Publication number Publication date
JP2009194687A (ja) 2009-08-27
CN101510957A (zh) 2009-08-19
US8305448B2 (en) 2012-11-06
JP5088161B2 (ja) 2012-12-05
US20090207269A1 (en) 2009-08-20

Similar Documents

Publication Publication Date Title
CN101510957B (zh) 图像处理设备、方法、摄像机设备、通信系统
US9635252B2 (en) Live panoramic image capture and distribution
CN111917988B (zh) 一种云手机的远程摄像头应用方法、系统及介质
CN111295884B (zh) 图像处理装置及图像处理方法
CN115150619A (zh) 编码装置及解码装置
JP5784631B2 (ja) 複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム
EP3298790A1 (en) Providing low&amp;high quality streams
WO2018040577A1 (zh) 图像采集过程中实现自适应屏幕旋转的方法及系统
CN100473149C (zh) 一种视频会议图像处理系统
WO2018021374A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
CN102369497A (zh) 用于在视频显示器中创建目标区域的方法和设备
CN105357498A (zh) 一种移动终端摄像头的共享方法及装置
US20100066806A1 (en) Internet video image producing method
KR101857716B1 (ko) 망 분리 장치 및 이를 구비하는 영상 감시 시스템
US8843980B1 (en) Network-based video source authentication
CN102685415A (zh) 一种视频画面处理方法、系统、设备及终端
JP2004200814A (ja) 立体映像生成方法及び立体映像生成装置
US20160142633A1 (en) Capture apparatuses of video images
KR101300873B1 (ko) 클라우드 컴퓨팅 기반의 영상 코딩 방법 및 장치
CN107483876A (zh) 视频数据处理方法、存储设备、直录播互动终端
CA2147164C (en) Method and apparatus including system architecture for multimedia communications
JP2000341668A5 (zh)
KR101857708B1 (ko) 망 분리 장치 및 이를 구비하는 영상 감시 시스템
JP2005229241A (ja) 映像処理装置
Firmansyah et al. Overlapped scheme for neighboring similarity method in video-based data hiding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120808

Termination date: 20160216

CF01 Termination of patent right due to non-payment of annual fee