CN111179299A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置，用于实现在保护用户隐私的同时，提升显示的图像的整洁度，以及真正反映被监控区域的真实背景，从而提升用户体验度，所述方法包括：获得针对监控区域拍摄的图像；从所述图像中确定待保护的隐私对象所在的像素坐标；从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除了所述监控区域中会动态变化的背景部分的图像；使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

Description

一种图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着智能家电、物联网、人工智能等技术的发展，很多公共场所或私人场所需要使用到摄像头作为一种外部输入来进行智能交互和监测，然而使用摄像头设备，就会拍摄到涉及隐私的图像内容，这样的隐私内容例如人形、外貌、衣着、动作等，这些隐私内容是不宜暴露且需要保护的内容。

现有技术中，为了解决摄像头暴露隐私的问题，主要采用的方案是对监控图像中的局部位置进行遮挡或模糊化处理的方法，然后将遮蔽后的图像发送给播放端，由播放端对遮蔽后的图像进行显示，然后该方案虽然保护用户隐私的目的，但却牺牲了图像的整洁度。

发明内容

本发明实施例提供一种图像处理方法及装置，用于在实现保护用户隐私的同时，提升显示的图像的整洁度，以及真正反映被监控区域的真实背景，从而提升用户体验度。

一方面，本发明实施例中提供了一种图像处理方法，所述方法包括：

获得针对监控区域拍摄的图像；

从所述图像中确定待保护的隐私对象所在的像素坐标；

从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除了所述监控区域中会动态变化的背景部分的图像；

使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

可选的，所述真实背景图像通过以下方式获得：

获取预设时间段内针对所述监控区域拍摄的多帧图像；

统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

可选的，所述从所述图像中确定待保护的隐私对象所在的像素坐标，具体包括：

对所述图像采用背景分析方法，分离出所述图像的前景以及背景，所述前景包括待保护的隐私对象；

确定所述前景在所述图像中的像素坐标，该像素坐标即为所述隐私对象所在的像素坐标。

可选的，所述生成新的图像之后，所述方法还包括：

将所述新的图像输入公有存储模块，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

可选的，所述方法还包括：

将所述图像保存在私有存储模块，该私有存储模块为认证用户访问的模块；以及

在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

另一方面，本发明实施例中提供了一种图像处理装置，包括：

获得单元，用于获得针对监控区域拍摄的图像；

确定单元，用于从所述图像中确定待保护的隐私对象所在的像素坐标；

获取单元，用于从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除了所述监控区域中会动态变化的背景部分的图像；

替换单元，用于使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

可选的，所述获取单元，还用于：

获取预设时间段内针对所述监控区域拍摄的多帧图像；

统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

可选的，所述确定单元，还用于：

对所述图像采用背景分析方法，分离出所述图像的前景以及背景，所述前景包括待保护的隐私对象；

确定所述前景在所述图像中的像素坐标，该像素坐标即为所述隐私对象所在的像素坐标。

可选的，还包括：

公有存储模块，用于存储将所述新的图像，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

可选的，还包括：

私有存储模块，用于存储所述图像块以及在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

本发明实施例中的图像数据处理方法，在获得针对监控区域拍摄的图像时，从图像中确定待保护的隐私对象所在的像素坐标，然后从监控区域的真实背景图像中，获取与像素坐标对应的图像数据，进而使用真实背景图像中对应的图像数据替换图像中的隐私对象，生成新的图像。所以，实现了用户隐私的同时还可提升显示的图像的整洁度，并能够真正反映被监控区域的真实背景，进而提升用户体验度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例提供的一种应用场景示意图；

图2为本发明实施例提供的一种图像处理方法流程图；

图3为本发明实施例提供的图像前景和背景示意图；

图4为本发明实施例提供的获取真实背景图像的流程图；

图5为本发明实施例提供的替换后生成的新图像示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明技术方案保护的范围。

在具体实践过程中，本发明的发明人发现，现有技术中，为了解决摄像头暴露隐私的问题，对监控图像中的局部位置进行遮挡如使用白色或黑色或其他颜色填充，或对监控图像中的局部位置模糊化处理如打马赛克等，然后将遮蔽后或打了马赛克的图像发送给显示屏进行显示，那么，显示的图像就会带有用于遮挡隐私的局部色块或马赛克，虽然保护用户隐私，但确牺牲了显示的图像的整洁度，继而降低了用户体验。

为此，本发明的发明人考虑，可使图像中隐私所在位置对应的监控区域的背景填充该隐私，且发明人进一步考虑到，监控区域所包括的背景应该是该区域中不会动态变化(或者说相当长时间不会动态变化)的部分，而该区域中会动态变化(或者说短时间内就会动态发送变化)的部分不应该归为该区域的背景，即该区域中不会动态变化的部分才是该区域的真实背景，而会动态变化的部分为该区域的假背景，例如监控区域为办公区域，那么，办公区四周的墙壁，照明灯，办公座椅等背景内容，通常在初期设定完成之后，就几乎不会变化，而办公区域中的如员工用于午休的折叠床，办工作上放置的员工的背包，会议中为开会而准备的笔记本等背景内容会经常变化或移动，所以，给背景内容即为监控区域的假背景。因此，应当使用图像中隐私所在位置对应的监控区域的真实背景填充该隐私，这样填充后的图像，在保护了用户隐私的同时，还可以提升显示的图像的整洁度，以及真正反映被监控区域的真实背景，进而提升用户体验度。

基于此，本发明提供了一种图像数据处理方法，该方法在获得针对监控区域拍摄的图像时，从图像中确定待保护的隐私对象所在的像素坐标，然后从监控区域的真实背景图像中，获取与像素坐标对应的图像数据，进而使用真实背景图像中对应的图像数据替换图像中的隐私对象，生成新的图像。所以，实现了用户隐私的同时还可提升显示的图像的整洁度，并能够真正反映被监控区域的真实背景，进而提升用户体验度。

本发明实施例中的图像数据处理方法可以应用于如图1所示的应用场景，该应用场景中包括摄像头10、图像处理装置11，显示器12以及监控区域，其中摄像头10、显示器12可作为图像处理装置11的部分集成在图像处理装置中，摄像头10、显示器12与图像处理装置11也可以各自作为独立部分而运行，此时，摄像头10、显示器12与图像处理装置11通过网络连接，网络可以为局域网、广域网或移动互联网等通信网络中的任意一种。

在该场景中，摄像头10对监控区域进行拍摄，拍摄的图像发送到图像处理装置中，按照本发明实施例中提供的图像处理方法进行处理，显示器12可以显示处理后的获得图像，下文将对此进行详细叙述。

需要注意的是，上文提及的应用场景仅是为了便于理解本发明的精神和原理而示出，本发明实施例在此方面不受任何限制。相反，本发明实施例可以应用于适用的任何场景。

下面结合图1所示的应用场景，对本发明实施例提供的图像处理方法进行说明。

如图2所示，为本发明实施例提供的一种图像处理方法，包括：

步骤101：获得针对监控区域拍摄的图像，将所述图像保存在私有存储模块。

其中，该私有存储模块为认证用户访问的模块。

在本发明实施例中，监控区域可为需要监控的公共区域，例如办公区域、车站等，也可以为需要监控的私人区域如家中房间等。在本发明实施例中，可设置私有存储模块，用于保存摄像头针对监控区域拍摄的图像，该图像又可称为针对监控区域拍摄的未经过处理的原始图像，该私有存储模块可设置不允许外部访问如外部MCU/GPU等，允许认证用户访问，以便利用该原始图像进行后续其他处理。

例如，在图1所示的摄像头为集成在图像处理装置中的结构时，可在摄像头的输出端设置私有存储模块，该私有存储模块可以具体为私有SRAM(tatic Random-AccessMemory，随机存取存储器)，以摄像图针对监控区域拍摄的原始图像可直接输入SRAM模块中。

步骤102：从所述图像中确定待保护的隐私对象所在的像素坐标。

在本发明实施例中，在获取到摄像头针对监控区域拍摄的图像之后，可从该图像中确定出待保护的隐私对象，待保护的隐私对象可以为图像中的人，也可以是其他涉及隐私的对象，如动物等，在此就不一一列举，并以待保护的隐私对象为人为例。

在具体实践过程中，可以先对图像采用背景分析方法，分离出所述图像的前景以及背景，然后再确定前景在图像中的像素坐标，该像素坐标即为隐私对象所在的像素坐标。

其中，图像的前景又可称为前景图层，该图层即为图像中待保护的隐私对象所在的图层，例如，待保护的隐私对象为人时，图像的前景就为图像中的人。图像的背景即为图像中除去前景后剩下的图像。

在本发明实施例中，采用背景分析方法可以具体为背景差分法，或为位帧差分法，或为光流场法等。例如图3所示，为摄像头针对监控区域拍摄的图像，那么，在该图像中人物1和人物2即为图像的前景，图像中除去人物1和人物2的图像内容即为图像的背景，那么，可采用背景分析方法对该图像进行处理，获得图3所示的前景图层和背景图层。然后，确定出前景图层所在图像所在的像素坐标，该像素坐标即为人物1和人物2在图像中的像素坐标。

步骤103：获取监控区域的真实背景图像。

在本发明实施例中，监控区域的真实背景图像是指去除了监控区域中位置会动态变化的背景部分的图像，监控区域的真实背景图像可通过图4所示的流程获得，图4所示的流程，包括：

步骤201：获取预设时间段内针对所述监控区域拍摄的多帧图像；

步骤202：统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

步骤203：将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

步骤204：并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

即在本发明实施例中，可以根据获取预设时间段内摄像头拍摄监控区域的多帧图像获得，其中预设时间段可以根据实际需要进行设置，例如5个小时，或1天，或半个月等。由于获得的多帧图像为同一个摄像头针对同一个监控区域拍摄的图像，因此，考虑到监控区域中的真实背景为长时间不会发生动态变化的部分，例如，对一个房间进行监控时，房间中的衣柜、墙、灯、床等通常不会随着时间发生动态变化，这样的背景属于该房间的真实背景，而像房间中放置或出现中的手机、电视机、清洁工具，笔记本电脑，水杯等具有随时间其所在位置会动态变化的背景可称为假背景。

因此，可通过获取预设时间段内拍摄的监控区域的多帧图像，利用该多帧图像，区别出监控区域中的真实背景和假背景，具体的，可以统计多帧图像针对同一个像素点的不同像素值出现的概率，即统计每帧图像中的各个像素点的像素值，然后统计针对同一个像素点不同像素值出现的概率，将概率最大的像素值作为对应像素点的真实像素值。

例如，预设时间段内针对监控区域拍摄了1千帧图像，每帧图像的大小为640*480，若第一帧图像中像素坐标为0*0的像素点的像素值为255，第二帧图像中像素坐标为0*0的像素点的像素值为255，第三帧图像至第一千帧图像中像素坐标为0*0的像素点的像素值也为255，即1千帧图像中像素坐标为0*0的像素点的像素值均为255，对应的，像素坐标为0*0的像素点的像素值255出现的概率就为100％，就可将像素值255作为像素坐标为0*0的像素点的真实像素值。

若第一帧图像至第20帧图像中像素坐标为0*1的像素点的像素值为255，第20帧图像至第一千帧图像中像素坐标为0*1的像素点的像素值为200，那么，针对像素坐标为0*1的像素点的像素值255出现的概率就为2％，像素坐标为0*1的像素点的像素值200出现的概率就为98％，像素值200的概率最大，所以，针对像素坐标为0*1的像素点，就可以将像素值200作为该像素点的真实像素值。依次类推，可以统计出像素坐标为0*2至像素坐标为640*480中每个像素点的真实像素值，进而可以由所有像素点的真实像素值构成监控区域的真实背景图像，该真实背景图像就为排除了监控区域中的假背景，仅保留的监控区域的真实背景的图像。

步骤104：获取真实背景图像中与像素坐标对应的图像数据。

在本发明实施例中，在根据步骤102获取到本次拍摄的图像中隐私对象所在的像素坐标，以及根据步骤103获得的监控区域的真实背景图像之后，可从真实背景图像中找到与本次拍摄的图像中隐私对象所在的像素坐标对应的图像数据，例如，本次拍摄的图像中隐私对象所在的像素坐标为像素坐标范围为30*50至100*50，那么，可以先从真实背景图像找到像素坐标范围为30*50至100*50的区域，然后获取该区域的图像数据。即从真实背景图像中获取到的图像数据就为本次拍摄的图像中被隐私对象覆盖的监控区域中的真实背景部分。

步骤105：使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

在本发明实施例中，在从真实背景图像中获取到的与本次拍摄的图像中隐私对象所在的像素坐标对应的图像数据之后，就可以使用该图像数据替换或填充本次拍摄的图像中的隐私对象，生成新的图像。该新的图像中就出去了隐私对象，还包括隐私对象所在位置的真实背景，所以不仅实现了从本次拍摄的图像中除去隐私对象，还使得除去隐私对象后的图像能够真实反映隐私对象所在的背景的目的。这里继续以图3所示的原始图像为例，那么使用图3所示的监控区域的真实背景图像与人物1和人物2对应像素坐标对应图像数据填充人物1和人物2，进而生成图5所示的新的图像。

作为一种可选的方式，在本法发明实施例中，还可以执行步骤106：将所述新的图像输入公有存储模块，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

即在本发明实施例中，还可以设置一个公用存储模块，该公用存储模块可以设置为允许被外部设备访问，该公用存储模块可以用于专门存储步骤105生成新的图像。在接收到显示监控区域的图像的指令时，可以调用该公用存储模块中存储的除去了隐私对象且使用被除去的隐私遮挡的真实背景填充除去隐私对象之后的区域的图像，并显示该图像。当然，也可设置在公用存储模块获得步骤105生成的新的图像时，可直接转发到显示器中进行显示。

作为一种可选的方式，在本发明实施例中，在步骤101将获得针对监控区域拍摄的图像保存在私有存储模块之后，还可以执行步骤107：在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

即在本发明实施例中，还可以使用保存在私有存储模块中的原始图像，控制监控区域中的智能设备的运行，例如控制监控区域中智能空调温度的调节，控制监控区域的智能电灯的开或关。

其中，认证用户的指令可以是根据私有存储模块中存储的图像所包括的隐私对象的特征主动触发的指令，也可以是可以访问私有存储模块的认证用户主动发送的。

所以，通过上述方法，在获得针对监控区域拍摄的图像时，从图像中确定待保护的隐私对象所在的像素坐标，然后从监控区域的真实背景图像中，获取与像素坐标对应的图像数据，进而使用真实背景图像中对应的图像数据替换图像中的隐私对象，生成新的图像。所以，实现了用户隐私的同时还可提升显示的图像的整洁度，并能够真正反映被监控区域的真实背景，进而提升用户体验度。

例如，当私有存储模块中存储的图像所包括的隐私对象为人，若根据存储的图像确定监控区域中的人数从20减少到1时，若预先设置的与监控区域中人数匹配的温度包括：人数20～10对应温度20度，人数9～1对应温度24度。那么，在根据私有存储模块中存储的图像，确定监控区域中的人数从20减少到1，当前监控区域中的智能空调运行温度为20度，那么，就可以主动触发控制该智能空调温度从20度调整到24度的指令，进而让智能空调温度运行到24度。

基于同一发明构思，本发明实施例中提供了一种图像处理装置，该装置的图像处理方法的具体实施可参见上述方法实施例部分的描述，重复之处不再赘述，该装置包括：

获得单元，用于获得针对监控区域拍摄的图像；

确定单元，用于从所述图像中确定待保护的隐私对象所在的像素坐标；

获取单元，用于从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除了所述监控区域中会动态变化的背景部分的图像；

替换单元，用于使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

可选的，所述获取单元，还用于：

获取预设时间段内针对所述监控区域拍摄的多帧图像；

统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

可选的，所述确定单元，还用于：

对所述图像采用背景分析方法，分离出所述图像的前景以及背景，所述前景包括待保护的隐私对象；

确定所述前景在所述图像中的像素坐标，该像素坐标即为所述隐私对象所在的像素坐标。

可选的，还包括：

公有存储模块，用于存储将所述新的图像，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

可选的，还包括：

私有存储模块，用于存储所述图像块以及在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获得针对监控区域拍摄的图像；

从所述图像中确定待保护的隐私对象所在的像素坐标；

从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除所述监控区域中会动态变化的背景部分的图像；

使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

2.如权利要求1所述的方法，其特征在于，所述真实背景图像通过以下方式获得：

获取预设时间段内针对所述监控区域拍摄的多帧图像；

统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

3.如权利要求2所述的方法，其特征在于，所述从所述图像中确定待保护的隐私对象所在的像素坐标，具体包括：

对所述图像采用背景分析方法，分离出所述图像的前景以及背景，所述前景包括待保护的隐私对象；

确定所述前景在所述图像中的像素坐标，该像素坐标即为所述隐私对象所在的像素坐标。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述生成新的图像之后，所述方法还包括：

将所述新的图像输入公有存储模块，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

5.如权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：

将所述图像保存在私有存储模块，该私有存储模块为认证用户访问的模块；以及

在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

6.一种图像处理装置，其特征在于，包括：

获得单元，用于获得针对监控区域拍摄的图像；

确定单元，用于从所述图像中确定待保护的隐私对象所在的像素坐标；

获取单元，用于从所述监控区域的真实背景图像中，获取与所述像素坐标对应的图像数据，所述真实背景图像为去除了所述监控区域中会动态变化的背景部分的图像；

替换单元，用于使用所述图像数据替换所述图像中的所述隐私对象，生成新的图像。

7.如权利要求6所述的装置，其特征在于，所述获取单元，还用于：

获取预设时间段内针对所述监控区域拍摄的多帧图像；

统计所述多帧图像针对同一个像素点的不同像素值出现的概率；

将概率最大的像素值作为对应像素点的真实像素值，从而获得每个像素点的真实像素值；

并由获得的所有像素点的真实像素值形成所述监控区域的真实背景图像。

8.如权利要求7所述的装置，其特征在于，所述确定单元，还用于：

对所述图像采用背景分析方法，分离出所述图像的前景以及背景，所述前景包括待保护的隐私对象；

确定所述前景在所述图像中的像素坐标，该像素坐标即为所述隐私对象所在的像素坐标。

9.如权利要求6-8中任一项所述的装置，其特征在于，还包括：

公有存储模块，用于存储将所述新的图像，并在获得显示图像指令时，显示所述公有存储单元中存储的图像。

10.如权利要求6-8中任一项所述的装置，其特征在于，还包括：

私有存储模块，用于存储所述图像块以及在获得所述认证用户的指令时，根据所述私有存储模块中存储的图像所包括的隐私对象的特征，控制所述监控区域中的智能设备按照与所述特征匹配的方式运行。

Images