CN104836982B - 一种视频聊天的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频聊天的图像处理方法及装置。所述方法包括：实时获取视频聊天的图像数据，图像数据由至少一个帧画面组成；根据预设素描参数对当前帧画面进行素描处理，得到当前帧画面对应的素描图，预设素描参数与当前帧画面对应的素描图中的线条化简程度成正比；将当前帧画面对应的素描图发送至接收端。本发明在对帧画面进行素描处理得到帧画面对应的素描图。由于素描图的数据量低于帧画面的数据量，因此在将素描图发送至接收端时，所需要的网络速度低于帧画面所需要的网络速度。通过调节预设素描参数控制素描图的数据量，使得在该网络速度下能够及时的将具有较小数据量的素描图发送至接收端，进而使接收端能够接收和输出连贯的素描图像。

Description

一种视频聊天的图像处理方法及装置

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种视频聊天的图像处理方法及装置。

背景技术

随着智能终端(如智能手机、智能手表、平板电脑等)产品的不断发展，现有的智能终端能够提供视频聊天功能。

视频聊天时，作为发送端的智能终端通过前置摄像头获取图像数据，同时通过麦克风等音频输入设备获取与图像数据同步的音频数据；然后将图像数据以及音频数据通过发送端连接的移动蜂窝网络(如：第二代移动通信技术，2G网络或第三代移动通信技术，3G网络)或者无线网络(如无线保真Wi-Fi)发送至接收端，实现实时的视频聊天功能。

然而，移动蜂窝网络的网络速度会因终端位置的变化以及周围信号的波动而不稳定；无线网络会因下载数据或观看在线视频等原因导致视频聊天所使用的带宽下降。当网络速度低于某阈值时，摄像头获取的图像数据将无法实时的发送到接收端，导致接收端接收并输出的视频画面不连贯。

发明内容

本发明提供一种视频聊天的图像处理方法及装置，以实现在当前网速无法实时的传输摄像头获取的图像数据时，使视频画面能够连贯输出。

第一方面，本发明实施例提供了一种视频聊天的图像处理方法，所述方法应用于发送端，包括：

实时获取所述视频聊天的图像数据，所述图像数据由至少一个帧画面组成；

根据预设素描参数对当前帧画面进行素描处理，得到所述当前帧画面对应的素描图，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比；

将所述当前帧画面对应的素描图发送至接收端。

第二方面，本发明实施例还提供了一种视频聊天的图像处理装置，所述装置应用于发送端，包括：

获取单元，用于实时获取所述视频聊天的图像数据，所述图像数据由至少一个帧画面组成；

素描处理单元，用于根据预设素描参数对所述获取单元获取的所述当前帧画面进行素描处理，得到所述当前帧画面对应的素描图，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比；

发送单元，用于将所述素描处理单元得到的所述当前帧画面对应的素描图发送至接收端。

本发明在对帧画面进行素描处理时，随着预设素描参数的提高，素描图中的线条化程度随之提高，进而使得帧画面对应的素描图的数据量降低。由于素描图的数据量低于帧画面的数据量，因此在将素描图发送至接收端时，所需要的网络速度低于帧画面所需要的网络速度。当网络速度低于某阈值时，通过调节预设素描参数控制素描图的数据量，使得在该网络速度下能够及时的将具有较小数据量的素描图发送至接收端，进而使接收端能够接收和输出连贯的素描图像。

附图说明

图1是本发明实施例一中的一个视频聊天的图像处理方法的流程图；

图2是本发明实施例二中的一个视频聊天的图像处理方法的流程图；

图3是本发明实施例二中的另一个视频聊天的图像处理方法的流程图；

图4是本发明实施例三中的第一个视频聊天的图像处理装置的结构示意图；

图5是本发明实施例三中的第二个视频聊天的图像处理装置的结构示意图；

图6是本发明实施例三中的第三个视频聊天的图像处理装置的结构示意图；

图7是本发明实施例三中的第四个视频聊天的图像处理装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种视频聊天的图像处理方法的流程图，本实施例可适用于智能终端上的视频聊天，智能终端如智能手机、智能手表、平板电脑等，该方法可以由视频聊天中作为发送端的智能终端来执行，具体包括如下步骤：

步骤110、实时获取视频聊天的图像数据，图像数据由至少一个帧画面组成。

在进行实时获取时，可终端自带或外接的摄像头获取图像数据。视频聊天的图像数据为从启动视频聊天至结束视频聊天时，摄像头获取的图像数据。为了保证视频聊天画面的连贯性，每秒可获取预设数量个帧画面，例如每秒获取25个帧画面。每个帧画面的大小随着摄像头的分辨率的提高而增大，例如使用分辨率为640*480的摄像头。

步骤120、根据预设素描参数对当前帧画面进行素描处理，得到当前帧画面对应的素描图。

其中，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比。

帧画面是由摄像头获取到的彩色图片。将帧画面转换为素描图可参照现有技术中的相关方案。作为一种转换方式的举例：首先，对彩色图片进行去色，得到黑白图片；然后，获取黑白图片中的轮廓线；最后，根据轮廓线生成彩色图片对应的素描图。

在对彩色图片进行去色之后，彩色图片中的填充色会变为灰色。预设素描参数用于控制灰色部分的透明度。例如：预设素描参数越高灰色部分的透明度越高，直至变为白色。随着预设素描参数的提高，灰色区域(填充区域)的透明度即素描图的线条化简程度也随之提高，进而使得素描图向线条图变化。作为一个举例，预设素描参数与素描图中阴影部分的透明度的对应关系如表1所示：

表1

在上表中，预设素描参数与线条化简程度成正比。当预设素描参数为1时，线条化简程度为10％，当预设素描参数为1.5时，线条化简程度为15％。当预设素描参数取最大值时，灰色区域的透明度为100％，此时素描图中无填充色，素描图为仅具有轮廓线的线条图。

步骤130、将当前帧画面对应的素描图发送至接收端。

本发明实施例在对帧画面进行素描处理时，随着预设素描参数的提高，素描图中的线条化程度随之提高，进而使得帧画面对应的素描图的数据量降低。由于素描图的数据量低于帧画面的数据量，因此在将素描图发送至接收端时，所需要的网络速度低于帧画面所需要的网络速度。当网络速度低于某阈值时，通过调节预设素描参数控制素描图的数据量，使得在该网络速度下能够及时的将具有较小数据量的素描图发送至接收端，进而使接收端能够接收和输出连贯的素描图像。

此外，目前陌生人交友应用中，通常采用上传照片或者实时视频聊天的方式，然而照片存在与实际容貌不一致的问题，而实时视频聊天由于是陌生人之间进行视频，因此对于视频聊天的双方都有不自然突兀的感觉。采用本发明实施例所示的方法，能够将摄像头获取的真实的人物肖像图转化为素描图，素描图能够清楚的呈现人物面部轮廓以及表情，因此其承载的信息量介于照片与摄像头摄录的图片之间，使得接收端的用户能够知晓发送端的用户的大致面貌和表情。由此，在陌生人之间的通信的过程中，可以对视频聊天双方的容貌起到保护的作用。

实施例二

本发明实施例还提供了一种视频聊天的图像处理方法，作为对实施例一所示方法的进一步说明，在步骤120、根据预设素描参数对当前帧画面进行素描处理之前，所述方法还包括：

根据当前网络速度确定所述预设素描参数，所述当前网络速度越低所述预设素描参数越高。

当前网络速度为当前网络速度的绝对值。每个预设素描参数对应一个网络速度区间。不同的预设素描参数对应的网络速度区间的区间长度可以相同也可不同。下面给出一种预设素描参数与网络速度的对应关系，如表2所示，预设素描参数的取值为1-10的整数。

表2

预设素描参数	网络速度(kbps)
		1	大于200
2	200-150
		3	150-120
4	120-100
		5	100-80
6	80-60
		7	60-50
8	50-40
		9	40-30
10	30-0

本发明实施例提供的视频聊天的图像处理方法能够根据网速对预设素描参数进行调整，当网速较高时对当前帧画面进行较少的素描处理，当网速较低时对当前帧画面进行较多的素描处理，使得形成的素描图能够实时地发送至接收端，并由接收端进行输出。

此外，预设素描参数除了由终端根据当前网速确定，还可由用户手动调整。用户可根据通话对象的熟悉程度调整预设素描参数。用户也可以在通话过程中对预设素描参数进行调整。进而能够根据用户喜好对素描图进行调整。

本发明实施例还提供了一种视频聊天的图像处理方法，作为对上述实施例的进一步说明，如图2所示，步骤120、根据预设素描参数对当前帧画面进行素描处理，具体包括：

121、获取当前帧画面中的至少一个人脸区域。

对当前帧画面进行人脸识别，检测当前帧画面中是否具有人脸区域。如果有人脸区域，确定人脸区域的个数以及每个人脸区域所在坐标区域。人脸识别技术是现有技术，其具体实现方式可参照现有技术文献，此处不再赘述。

122、从至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域。

如果当前帧中含有一个人脸区域，则将该人脸区域确定为目标人脸区域。如果当前含有至少两个人脸区域，则可从中选择一个或多个人脸区域作为目标人脸区域。例如：视频聊天的背景中处理视频聊天的当事人，还有其他过路或者不相关的路人。如果将帧画面中的全部人脸区域均识别为目标人脸区域，则会存在识别多余的人脸的问题。目标人脸区域可由用户人工选择，也可由智能终端根据一定的筛选比例进行选定。

123、根据预设素描参数对至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图。

其中，所述预设素描参数与所述每个目标人脸区域对应的素描图中的线条化简程度成正比。

124、将其他区域中的图像渐变为预设颜色，其他区域为当前帧画面中除至少一个目标人脸区域以外的区域。

其他区域与目标人脸区域具有交线，从该交线开始至当前帧画面的边框，由深至浅逐渐变为预设颜色。预设颜色如白色或黑色。

本发明实施例提供的视频聊天的图像处理方法，能够在当前帧中找到人脸区域，并在识别出的人脸区域中确定目标人脸区域，然后仅对目标人脸区域进行素描处理，进而节省了素描处理的数据量，提高素描处理速度。

同时，在视频聊天时相对于背景，通话双方的关注点多在对方的表情和脸部上，因此将其他区域渐变为预设颜色可以在不影响视频有效信息的前提下，进一步减少图像数据的数据量，使得视频聊天可以在更低的网络速度下连贯运行，提高视频聊天的稳定性。

本发明实施例还提供了一种视频聊天的图像处理方法，作为对上述实施例的进一步说明，如图3所示，在步骤123、根据预设素描参数对至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图之后，所示方法还包括：

步骤131、将所述每个目标人脸区域对应的素描图进行放大。

放大时可进行等比放大以避免放大后的素描图失真。各目标人脸区域放大的比例可以相同也可不同。放大后的全部目标人脸区域的长度总和小于帧画面的长度、放大后的全部目标人脸区域的宽度总和小于帧画面的宽度，以保证放大后的全部目标人脸区域中的素描图能够在接收端的屏幕中显示。

如果只有一个目标人脸区域，则将该目标人脸区域放大至帧画面的预定比例。例如：将目标人脸区域的面积放大到帧画面的80％。如果有两个目标人脸区域，则可将每个目标人脸区域的面积放大到帧画面一半的预定比例，如果两个目标人脸区域的面积不同，则使用不同的放大比例进行放大。也可按照相同的放大比例对两个目标人脸区域进行放大。

步骤132、将所述放大后的素描图发送至接收端。

本发明实施例提供的视频聊天的图像处理方法，能够将目标人脸区域进行放大，进而在视频聊天过程中更加突出人物肖像的显示，进一步减少图像数据的数据量，使得视频聊天可以在更低的网络速度下连贯运行，提高视频聊天的稳定性。

本发明实施例还提供了一种视频聊天的图像处理方法，作为对上述实施例的进一步说明，当当前帧画面中包括至少两个人脸区域时，步骤122、从至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域，具体包括：

将人脸区域面积较大的至少一个人脸区域确定为所述目标人脸区域。

其中，被确定为目标人脸区域的人脸区域的面积，大于其余人脸区域的面积；其余人脸区域为帧画面中除目标人脸区域以外的人脸区域。

当帧画面中有两个以上人脸区域时，可根据人脸区域的面积与帧画面的总面积的比值，确定目标人脸区域数量。原因在于，当使用终端进行视频聊天时，通常使用手持智能终端的方式进行童话，因此人脸区域在帧画面中所占的面积最小不会超过某一阈值，例如30％或50％。也可将面积最大的人脸区域确定为目标人脸区域。还可将识别到的全部人脸区域均确定为目标人脸区域。除了由智能终端确定目标人脸区域，还可由用户在识别出的多个人脸区域中选择目标人脸区域。

本发明实施例提供的视频聊天的图像处理方法，能够对识别出的多个人脸区域进行筛选，使得目标人脸区域为当前正在进行视频聊天的用户的头像，而非路人的头像，进而提高图像数据的传输效率。

需要说明的是，实施例一和实施例二中发送端向接收端发送当前帧画面对应的素描图的同时，还向接收端发送当前帧画面对应的音频数据。由于音频数据的获取和发送过程与现有技术相同，此处不再赘述。

实施例三

本发明实施例还提供了一种视频聊天的图像处理装置，用于实现上述方法，所述装置应用于发送端，如图4所示，所示装置包括：

获取单元41，用于实时获取所述视频聊天的图像数据，所述图像数据由至少一个帧画面组成；

素描处理单元42，用于根据预设素描参数对所述获取单元41获取的所述当前帧画面进行素描处理，得到所述当前帧画面对应的素描图，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比；

发送单元43，用于将所述素描处理单元42得到的所述当前帧画面对应的素描图发送至接收端。

进一步的，如图5所示，所述装置还包括：

确定单元44，用于根据当前网络速度确定所述预设素描参数，所述当前网络速度越低所述预设素描参数越高。

进一步的，如图6所示，所述素描处理单元42具体包括：

人脸区域获取子单元421，用于获取所述当前帧画面中的至少一个人脸区域；

目标人脸区域确定子单元422，用于从所述人脸区域获取子单元421获取的所述至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域；

素描处理子单元423，用于根据所述预设素描参数对所述目标人脸区域确定子单元422确定的所述至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图，所述预设素描参数与所述每个目标人脸区域对应的素描图中的线条化简程度成正比；

其他区域处理子单元424，用于将其他区域中的图像渐变为预设颜色，所述其他区域为所述当前帧画面中除所述目标人脸区域确定子单元422确定的所述至少一个目标人脸区域以外的区域。

进一步的，如图7所示，所述素描处理单元42还包括：

放大单元425，用于将所述目标人脸区域确定子单元422确定的所述每个目标人脸区域对应的素描图进行放大，放大后的所述素描图的尺寸总和不大于所述当前帧画面的尺寸；

所述发送单元43还用于，将所述放大单元425得到的所述放大后的素描图发送至接收端。

进一步的，所述当前帧画面中包括至少两个人脸区域，所述目标人脸区域确定子单元422还用于：

将人脸区域面积较大的至少一个人脸区域确定为所述目标人脸区域。

上述装置可执行本发明任意实施例所提供的方法，具备执行方法所带来的相应有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种视频聊天的图像处理方法，所述方法应用于发送端，其特征在于，包括：

实时获取所述视频聊天的图像数据，所述图像数据由至少一个帧画面组成；

根据预设素描参数对当前帧画面进行素描处理，得到所述当前帧画面对应的素描图，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比；

将所述当前帧画面对应的素描图发送至接收端；

其中，在根据预设素描参数对当前帧画面进行素描处理之前，还包括：

根据当前网络速度确定所述预设素描参数，所述当前网络速度越低所述预设素描参数越高。

2.根据权利要求1所述的视频聊天的图像处理方法，其特征在于，所述根据预设素描参数对当前帧画面进行素描处理，具体包括：

获取所述当前帧画面中的至少一个人脸区域；

从所述至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域；

根据所述预设素描参数对所述至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图，所述预设素描参数与所述每个目标人脸区域对应的素描图中的线条化简程度成正比；

将其他区域中的图像渐变为预设颜色，所述其他区域为所述当前帧画面中除所述至少一个目标人脸区域以外的区域。

3.根据权利要求2所述的视频聊天的图像处理方法，其特征在于，在所述根据所述预设素描参数对所述至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图之后，所述方法还包括：

将所述每个目标人脸区域对应的素描图进行放大。

4.根据权利要求2所述的视频聊天的图像处理方法，其特征在于，所述当前帧画面中包括至少两个人脸区域，所述从所述至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域，具体包括：

将人脸区域面积较大的至少一个人脸区域确定为所述目标人脸区域。

5.一种视频聊天的图像处理装置，所述装置应用于发送端，其特征在于，包括：

获取单元，用于实时获取所述视频聊天的图像数据，所述图像数据由至少一个帧画面组成；

素描处理单元，用于根据预设素描参数对所述获取单元获取的当前帧画面进行素描处理，得到所述当前帧画面对应的素描图，所述预设素描参数与所述当前帧画面对应的素描图中的线条化简程度成正比；

发送单元，用于将所述素描处理单元得到的所述当前帧画面对应的素描图发送至接收端；

其中，所述装置还包括：

确定单元，用于根据当前网络速度确定所述预设素描参数，所述当前网络速度越低所述预设素描参数越高。

6.根据权利要求5所述的视频聊天的图像处理装置，其特征在于，所述素描处理单元具体包括：

人脸区域获取子单元，用于获取所述当前帧画面中的至少一个人脸区域；

目标人脸区域确定子单元，用于从所述人脸区域获取子单元获取的所述至少一个人脸区域中确定进行素描处理的至少一个目标人脸区域；

素描处理子单元，用于根据所述预设素描参数对所述目标人脸区域确定子单元确定的所述至少一个目标人脸区域进行素描处理，得到每个目标人脸区域对应的素描图，所述预设素描参数与所述每个目标人脸区域对应的素描图中的线条化简程度成正比；

其他区域处理子单元，用于将其他区域中的图像渐变为预设颜色，所述其他区域为所述当前帧画面中除所述目标人脸区域确定子单元确定的所述至少一个目标人脸区域以外的区域。

7.根据权利要求6所述的视频聊天的图像处理装置，其特征在于，所述素描处理单元还包括：

放大子单元，用于将所述目标人脸区域确定子单元确定的所述每个目标人脸区域对应的素描图进行放大，放大后的所述素描图的尺寸总和不大于所述当前帧画面的尺寸；

所述发送单元还用于，将所述放大子单元得到的所述放大后的素描图发送至接收端。

8.根据权利要求6所述的视频聊天的图像处理装置，其特征在于，所述当前帧画面中包括至少两个人脸区域，所述目标人脸区域确定子单元还用于：

将人脸区域面积较大的至少一个人脸区域确定为所述目标人脸区域。