CN105100671A - 一种基于视频通话的图像处理方法和装置 - Google Patents

Abstract

本发明提供了一种基于视频通话的图像处理方法，该方法包括：锁定待屏蔽区域并获取已锁定区域中的物体特征值；根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；发送经图像处理后的所述锁定区域对应的视频流。本发明还提供了一种基于视频通话的图像处理装置。

Description

一种基于视频通话的图像处理方法和装置

技术领域

本发明涉及移动通信领域的视频通话技术，尤其涉及一种基于视频通话的图像处理方法和装置。

背景技术

目前，通过智能终端进行视频通话已经成为用户通用的联系方式；不论是进行远程电视会议还是电话联系，都会涉及到智能终端的视频通话功能。

然而，随着摄像头像素的增高，视频通话的功能不断强大，无形中给用户带来一些保护隐私的问题。比如，用户在进行视频电话时，周围的某些物体或者区域不希望让对方看到；会议中有些动作或者表现不想让对方看到；亦或，不想让对方发现自己所处的地点等。

发明内容

有鉴于此，本发明实施例期望提供一种基于视频通话的图像处理方法和装置，能够对锁定区域进行适当的图像处理，进而有效地保护用户隐私。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于视频通话的图像处理方法，该方法包括：

锁定待屏蔽区域并获取已锁定区域中的物体特征值；

根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

发送经图像处理后的所述锁定区域对应的视频流。

上述方案中，所述锁定待屏蔽区域包括：

获取用户触点操作后，对图像进行模式识别分类并确定用户触点的物体特征值；锁定用户触点的物体特征值对应的待屏蔽区域。

上述方案中，所述锁定待屏蔽区域包括：

获取用户触摸界面操作后，锁定用户触摸界面的封闭圈；或，

获取用户按键操作后，锁定用户通过连线标识所确定的待屏蔽区域。

上述方案中，所述对所述锁定区域进行图像处理包括：

获取所述锁定区域的轮廓和位置信息；

根据所述轮廓和位置信息对预设图片进行适配处理；

将适配处理后的图片按像素依次覆盖所述锁定区域。

上述方案中，所述对所述锁定区域进行图像处理包括：

获取所述锁定区域的轮廓和位置信息；

根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；

根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；

按照所述平均色值对所述锁定区域进行颜色填充。

上述方案中，所述方法还包括：根据所述物体特征值判断确定所述锁定区域的位置已发生变化时，根据所述物体特征值进行模式识别分类并锁定位置变化后的待屏蔽区域。

上述方案中，所述方法还包括：在锁定待屏蔽区域前，预先设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式。

本发明实施例还提供一种基于视频通话的图像处理装置，该装置包括：第一区域锁定模块、位置监控模块、图像处理模块、发送模块；其中，

所述第一区域锁定模块，用于锁定待屏蔽区域并获取已锁定区域中的物体特征值；

所述位置监控模块，用于根据所述物体特征值判断确定所述锁定区域的位置是否发生变化，获得判断结果；

所述图像处理模块，用于当所述位置监控模块获得的判断结果为所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

所述发送模块，用于发送经图像处理后所述锁定区域对应的视频流。

上述方案中，所述第一区域锁定模块具体用于，获取用户触点操作后，对图像进行模式识别分类并确定用户触点的物体特征值；锁定用户触点的物体特征值对应的待屏蔽区域。

上述方案中，所述第一区域锁定模块具体用于，获取用户触摸界面操作后，锁定用户触摸界面的封闭圈；或，获取用户按键操作后，锁定用户通过连线标识所确定的待屏蔽区域。

上述方案中，所述图像处理模块具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对预设图片进行适配处理；将适配处理后的图片按像素依次覆盖所述锁定区域。

上述方案中，所述图像处理模块具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；按照所述平均色值对所述锁定区域进行颜色填充。

上述方案中，所述装置还包括：第二区域锁定模块；

所述第二区域锁定模块，用于当所述位置监控模块获得的判断结果为所述锁定区域的位置已发生变化时，根据所述物体特征值进行模块识别分类并锁定位置变化后的待屏蔽区域。

上述方案中，所述装置还包括设置模块；

所述设置模块，用于在第一区域锁定模块锁定待屏蔽区域前，预先设置所述锁定待屏蔽区域的方式和所述图像处理模块对所述锁定区域进行图像处理的方式。

本发明实施例提供的基于视频通话的图像处理方法和装置，锁定待屏蔽区域并获取已锁定区域中的物体特征值；根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；发送经图像处理后的所述锁定区域对应的视频流。如此，能够通过对锁定区域进行适当的图像处理来有效地保护用户隐私。

附图说明

图1为本发明实施例基于视频通话的图像处理方法的流程示意图；

图2为本发明实施例基于视频通话的图像处理方法中通过自动锁定方式锁定待屏蔽区域的流程示意图；

图3为本发明实施例基于视频通话的图像处理方法中通过手动锁定方式锁定待屏蔽区域的流程示意图；

图4为本发明实施例基于视频通话的图像处理方法中通过手动锁定方式锁定待屏蔽区域的另一流程示意图；

图5为本发明实施例基于视频通话的图像处理方法中根据预设图片对所述锁定区域进行覆盖的流程示意图；

图6为本发明实施例基于视频通话的图像处理方法中使用边缘色值对所述锁定区域进行颜色填充的流程示意图；

图7为本发明实施例基于视频通话的图像处理方法的另一流程示意图；

图8为本发明实施例基于视频通话的图像处理方法的再一流程示意图；

图9为本发明实施例基于视频通话的图像处理装置的结构示意图；

图10为本发明实施例基于视频通话的图像处理装置的另一结构示意图；

图11为本发明实施例基于视频通话的图像处理装置的再一结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明。

在本发明实施例中，锁定待屏蔽区域并获取已锁定区域中的物体特征值；根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；发送经图像处理后的所述锁定区域对应的视频流。如此，可有效保护用户隐私。

在本发明实施例执行之前，需要先开启视频通话所用终端的屏蔽功能。

图1为本发明实施例基于视频通话的图像处理方法的流程示意图，如图1所示，本发明实施例基于视频通话的图像处理方法包括：

步骤S10：锁定待屏蔽区域并获取已锁定区域中的物体特征值；

这里，所述锁定待屏蔽区域的方式包括：自动锁定方式和手动锁定方式。所述锁定待屏蔽区域的具体过程在后续图2和图3中详细说明。

所述获取已锁定区域中的物体特征值，可以通过对当前视频中的整个图像进行模式识别分类；根据所述模式识别分类时所采用的模式识别算法对已锁定区域中的物体进行特征抽取，获取已锁定区域中的物体特征值；需要说明的是，本发明实施例中对所采用的模式识别算法不作限定。

步骤S20：根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

具体地，判断所获取的物体特征值和当前帧图像中所述锁定区域的物体特征值是否相同，若相同，则可确定所述锁定区域的位置未发生变化；否则，可确定所述锁定区域的位置已发生变化。

这里，所述对所述锁定区域进行图像处理的方式包括：根据预设图片对所述锁定区域进行覆盖；或，使用边缘色值对所述锁定区域进行颜色填充。所述对锁定区域进行图像处理的具体过程在后续图4～6中详细说明。

步骤S30：发送经图像处理后的所述锁定区域对应的视频流。

在上述实施例执行之前，需要先开启视频通话所用终端的屏蔽功能。本发明实施例中，可以通过用户的触发操作，触发开启视频通话所用终端的屏蔽功能；具体的，可生成开启按键或选项，当获取到针对所述开启按键或选项的触发操作时，开启视频通话所用终端的屏蔽功能；其中，所述触发可以是点击或触摸等。另外，本发明实施例也可以将开启屏蔽功能设置为默认方式开启，如：在用户发起视频通话的同时默认开启视频通话所用终端的屏蔽功能。

另外，在实现本发明实施例基于视频通话的图像处理方法的过程中，可以通过用户的触发操作，随时触发关闭视频通话所用终端的屏蔽功能；具体的，可生成关闭按键或选项，当获取到针对所述关闭按键或选项的触发操作时，及时关闭视频通话所用终端的屏蔽功能。如此，在视频通话期间，用户可以随时撤销对锁定区域的屏蔽效果，恢复到原始视频。

参照图2，图2为本发明实施例基于视频通话的图像处理方法中通过自动锁定方式锁定待屏蔽区域的流程示意图。

在上述实施例中，当通过自动锁定方式锁定待屏蔽区域时，所述锁定待屏蔽区域的过程包括：

步骤S21：获取用户触点操作；

步骤S22：对图像进行模式识别分类并确定用户触点的物体特征值；

这里，步骤S21～S22的实现具体为：用户通过终端的触摸界面对需要屏蔽的物体进行触点操作，当终端获取到用户触点操作时，对当前视频中的整个图像进行模式识别分类。同时，通过模式识别分类时的模式识别算法对用户触点的物体进行特征抽取，确定出用户触点的物体特征值。

步骤S23：锁定用户触点的物体特征值对应的待屏蔽区域。

具体地，根据用户触点的物体特征值确定待屏蔽区域后，锁定所述待屏蔽区域。

参照图3，图3为本发明实施例基于视频通话的图像处理方法中通过手动锁定方式锁定待屏蔽区域的流程示意图。

在上述实施例中，当通过手动锁定方式锁定待屏蔽区域时，所述锁定待屏蔽区域的过程包括：

步骤S31：获取用户触摸界面操作；

步骤S32：锁定用户触摸界面的封闭圈；

具体地，用户通过终端的触摸界面的封闭圈对需要屏蔽的区域进行圈定，当终端获取用户触摸界面操作时，对用户触摸界面的封闭圈进行锁定。其中，对所述封闭圈的规则和形状不作具体限制，只要是封闭的即可。

这里，需要提醒的是，通过步骤S31和S32实现所述锁定待屏蔽区域时，终端应为可触摸终端。

通过步骤S31和S32完成待屏蔽区域的锁定后，进一步对当前视频中的整个图像进行模式识别分类；根据所述模式识别分类时所采用的模式识别算法对已锁定区域中的物体进行特征抽取，获取已锁定区域中的物体特征值。

参照图4，图4为本发明实施例基于视频通话的图像处理方法中通过手动锁定方式锁定待屏蔽区域的另一流程示意图。

在上述实施例中，当通过手动锁定方式锁定待屏蔽区域时，所述锁定待屏蔽区域的过程还可以包括：

步骤S41：获取用户按键操作；

步骤S42：锁定用户通过连线标识所确定的待屏蔽区域。

具体地，用户通过按键操作来连线标识待屏蔽的区域，当终端获取用户按键操作时，锁定用户通过连线标识所确定的待屏蔽区域。

这里，需要提醒的是，通过步骤S41和S42实现所述锁定待屏蔽区域时，对终端是否可触摸不作限制。

通过步骤S41和S42完成待屏蔽区域的锁定后，进一步对当前视频中的整个图像进行模式识别分类；根据所述模式识别分类时所采用的模式识别算法对已锁定区域中的物体进行特征抽取，获取已锁定区域中的物体特征值。

需要说明的是，在用户初次通过如图2至图4所示的任意一种方法流程完成图1所示流程中的锁定待屏蔽区域过程后，直接进行后续步骤S20的操作；在用户后续每次通过如图2至图4所示的任意一种方法流程完成图1所示流程中的锁定待屏蔽区域过程后，需要判断确定所述物体特征值与之前步骤S10中获取已锁定区域中的物体特征值是否一致，若一致，说明此次锁定的待屏蔽区域在本次操作流程之前已锁定，结束流程；若不一致，继续图1所示的后续操作流程。

参照图5，图5为本发明实施例基于视频通话的图像处理方法中根据预设图片对所述锁定区域进行覆盖的流程示意图。

在上述实施例中，当根据预设图片对所述锁定区域进行覆盖的方式对所述锁定区域进行图像处理时，所述对所述锁定区域进行图像处理包括：

步骤S51：获取所述锁定区域的轮廓和位置信息；

步骤S52：根据所述轮廓和位置信息对预设图片进行适配处理；

这里，对预设图片进行适配处理包括：

步骤A：将所述锁定区域和预设图片以各自的中心点为基准对齐；

步骤B：当预设图片的面积大于所述锁定区域时，对预设图片按所述锁定区域的大小进行裁剪；或，当预设图片的面积小于所述锁定区域时，先对预设图片进行放大处理，再按所述锁定区域的大小进行适当裁剪。

步骤S53：将适配处理后的图片按像素依次覆盖所述锁定区域。

需要说明的是，首先假设预设图片数为N，所述选定区域数为M。这样，在根据预设图片对所述锁定区域进行覆盖的方式对所述锁定区域进行图像处理过程中，当M＜N时，在执行步骤S52时，依次将M个锁定区域和用户选择的预设图片中的前M张进行适配处理；反之，在执行步骤S52时，由于预设图片数不足，可以对预设图片按顺序循环使用，完成预设图片与所属锁定区域的适配处理。

参照图6，图6为本发明实施例基于视频通话的图像处理方法中使用边缘色值对所述锁定区域进行颜色填充的流程示意图。

在上述实施例中，当使用边缘色值对所述锁定区域进行颜色填充的方式对所述锁定区域进行图像处理时，所述对所述锁定区域进行图像处理包括：

步骤S61：获取所述锁定区域的轮廓和位置信息；

步骤S62：根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；

步骤S63：根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；

步骤S64：按照所述平均色值对所述锁定区域进行颜色填充。

参照图7，图7为本发明实施例基于视频通话的图像处理方法的另一流程示意图。

基于上述实施例，在根据所述物体特征值判断确定所述锁定区域的位置已发生变化时，所述方法还包括：

步骤S40：根据所述物体特征值进行模式识别分类并锁定位置变化后的待屏蔽区域。

完成步骤S40后，继续执行对锁定区域的图像处理及图像处理后对应视频流的发送。

参照图8，图8为本发明实施例基于视频通话的图像处理方法的再一流程示意图。

基于上述实施例，在执行步骤S10之前，该方法还包括：步骤S11：预先设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式。

本实施例中，在所述锁定待屏蔽区域前，用户可以预先设置所述锁定待屏蔽区域的方式为自动锁定或手动锁定；同时，预先设置对所述锁定区域进行图像处理的方式为根据预设图片对所述锁定区域进行覆盖、或使用边缘色值对所述锁定区域进行颜色填充。

实际应用中，需要说明的是：

若在所述锁定待屏蔽区域之前未预先设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式，则用户可以在基于视频通话的图像处理方法的具体操作过程中，实时设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式。

若用户既未预先设置，也没有在具体操作过程中进行实时设置，则采用默认方式进行所述锁定待屏蔽区域和后续对所述锁定区域进行图像处理。

但是，考虑到操作的快捷和简便性，建议用户在所述锁定待屏蔽区域前，预先设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式；如果未预先设置，则在基于视频通话的图像处理方法的具体操作过程中，优先采用默认方式。

图9为本发明实施例基于视频通话的图像处理装置的结构示意图，如图9所示，本发明实施例基于视频通话的图像处理装置包括：第一区域锁定模块10、位置监控模块20、图像处理模块30、发送模块40；其中，

所述第一区域锁定模块10，用于锁定待屏蔽区域并获取已锁定区域中的物体特征值；

这里，所述第一区域锁定模块10用于锁定待屏蔽区域的方式包括：自动锁定方式和手动锁定方式。具体地，

当通过所述自动锁定方式锁定待屏蔽区域时，所述第一区域锁定模块10具体用于，获取用户触点操作后，对图像进行模式识别分类并确定用户触点的物体特征值；锁定用户触点的物体特征值对应的待屏蔽区域。

当通过所述手动锁定方式锁定待屏蔽区域时，所述第一区域锁定模块10具体用于，获取用户触摸界面操作后，锁定用户触摸界面的封闭圈；或，获取用户按键操作后，锁定用户通过连线标识所确定的待屏蔽区域。

所述位置监控模块20，用于根据第一区域锁定模块10所获取的所述物体特征值判断确定所述锁定区域的位置是否发生变化，获得判断结果；

具体地，判断所获取的物体特征值和当前帧图像中所述锁定区域的物体特征值是否相同，若相同，则可确定所述锁定区域的位置未发生变化；否则，可确定所述锁定区域的位置已发生变化。

所述图像处理模块30，用于当所述位置监控模块20获得的判断结果为所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

这里，所述图像处理模块30对所述锁定区域进行图像处理的方式包括：根据预设图片对所述锁定区域进行覆盖；或，使用边缘色值对所述锁定区域进行颜色填充。

当所述根据预设图片对所述锁定区域进行覆盖时，所述图像处理模块30具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对预设图片进行适配处理；将适配处理后的图片按像素依次覆盖所述锁定区域。

当所述使用边缘色值对所述锁定区域进行颜色填充时，所述图像处理模块30具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；按照所述平均色值对所述锁定区域进行颜色填充。

所述发送模块40，用于发送经图像处理后所述锁定区域对应的视频流。

参照图10，图10为本发明实施例基于视频通话的图像处理装置的另一结构示意图。

基于上述实施例，基于视频通话的图像处理装置还包括：第二区域锁定模块21；

所述第二区域锁定模块21，用于当所述位置监控模块20获得的判断结果为所述锁定区域的位置已发生变化时，根据所述物体特征值进行模块识别分类并锁定位置变化后的待屏蔽区域。

参照图11，图11为本发明实施例基于视频通话的图像处理装置的再一结构示意图。

基于上述实施例，基于视频通话的图像处理装置还包括：设置模块11；

所述设置模块11，用于在第一区域锁定模块10锁定待屏蔽区域前，预先设置所述第一区域锁定模块锁定待屏蔽区域的方式和所述图像处理模块对所述锁定区域进行图像处理的方式。

在实际应用中，所述第一区域锁定模块10、位置监控模块20、图像处理模块30、发送模块40、第二区域锁定模块21、以及设置模块11均可由终端设备中的CPU、DSP或FPGA实现；

以上所述仅是本发明实施例的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护范围。

Claims (14)

1.一种基于视频通话的图像处理方法，其特征在于，所述方法包括：

锁定待屏蔽区域并获取已锁定区域中的物体特征值；

根据所述物体特征值判断确定所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

发送经图像处理后的所述锁定区域对应的视频流。

2.根据权利要求1所述的方法，其特征在于，所述锁定待屏蔽区域包括：

获取用户触点操作后，对图像进行模式识别分类并确定用户触点的物体特征值；锁定用户触点的物体特征值对应的待屏蔽区域。

3.根据权利要求1所述的方法，其特征在于，所述锁定待屏蔽区域包括：

获取用户触摸界面操作后，锁定用户触摸界面的封闭圈；或，

获取用户按键操作后，锁定用户通过连线标识所确定的待屏蔽区域。

4.根据权利要求1所述的方法，其特征在于，所述对所述锁定区域进行图像处理包括：

获取所述锁定区域的轮廓和位置信息；

根据所述轮廓和位置信息对预设图片进行适配处理；

将适配处理后的图片按像素依次覆盖所述锁定区域。

5.根据权利要求1所述的方法，其特征在于，所述对所述锁定区域进行图像处理包括：

获取所述锁定区域的轮廓和位置信息；

根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；

根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；

按照所述平均色值对所述锁定区域进行颜色填充。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：根据所述物体特征值判断确定所述锁定区域的位置已发生变化时，根据所述物体特征值进行模式识别分类并锁定位置变化后的待屏蔽区域。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：在锁定待屏蔽区域前，预先设置所述锁定待屏蔽区域的方式和对所述锁定区域进行图像处理的方式。

8.一种基于视频通话的图像处理装置，其特征在于，所述装置包括：第一区域锁定模块、位置监控模块、图像处理模块、发送模块；其中，

所述第一区域锁定模块，用于锁定待屏蔽区域并获取已锁定区域中的物体特征值；

所述位置监控模块，用于根据所述物体特征值判断确定所述锁定区域的位置是否发生变化，获得判断结果；

所述图像处理模块，用于当所述位置监控模块获得的判断结果为所述锁定区域的位置未发生变化时，对所述锁定区域进行图像处理；

所述发送模块，用于发送经图像处理后所述锁定区域对应的视频流。

9.根据权利要求8所述的装置，其特征在于，所述第一区域锁定模块具体用于，获取用户触点操作后，对图像进行模式识别分类并确定用户触点的物体特征值；锁定用户触点的物体特征值对应的待屏蔽区域。

10.根据权利要求8所述的装置，其特征在于，所述第一区域锁定模块具体用于，获取用户触摸界面操作后，锁定用户触摸界面的封闭圈；或，获取用户按键操作后，锁定用户通过连线标识所确定的待屏蔽区域。

11.根据权利要求8所述的装置，其特征在于，所述图像处理模块具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对预设图片进行适配处理；将适配处理后的图片按像素依次覆盖所述锁定区域。

12.根据权利要求8所述的装置，其特征在于，所述图像处理模块具体用于，获取所述锁定区域的轮廓和位置信息；根据所述轮廓和位置信息对所述锁定区域进行边缘检测处理，提取边缘色值；根据所提取的边缘点色值对所有的边缘点色值取平均，获得平均色值；按照所述平均色值对所述锁定区域进行颜色填充。

13.根据权利要求8至12任一项所述的装置，其特征在于，所述装置还包括：第二区域锁定模块；

所述第二区域锁定模块，用于当所述位置监控模块获得的判断结果为所述锁定区域的位置已发生变化时，根据所述物体特征值进行模块识别分类并锁定位置变化后的待屏蔽区域。

14.根据权利要求8至12任一项所述的装置，其特征在于，所述装置还包括设置模块；

所述设置模块，用于在第一区域锁定模块锁定待屏蔽区域前，预先设置所述锁定待屏蔽区域的方式和所述图像处理模块对所述锁定区域进行图像处理的方式。