CN106358004B - 视频通话方法及装置 - Google Patents
视频通话方法及装置 Download PDFInfo
- Publication number
- CN106358004B CN106358004B CN201510413662.6A CN201510413662A CN106358004B CN 106358004 B CN106358004 B CN 106358004B CN 201510413662 A CN201510413662 A CN 201510413662A CN 106358004 B CN106358004 B CN 106358004B
- Authority
- CN
- China
- Prior art keywords
- video
- affecting parameters
- coding
- image data
- calling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频通话方法，包括：获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。本发明还公开一种视频通话装置。本发明满足所有终端机型均能完成特效处理，且使得特效处理后的图像有明显的改善效果，使得各个不同机型之间的视频通话的图像效果均衡。
Description
技术领域
本发明涉及到计算机技术领域，特别涉及到视频通话方法及装置。
背景技术
随着终端技术的不断发展，越来越多的智能终端进入人们的日常生活和工作当中。人们可以使用终端完成视频通话、游戏等体验。例如，以视频通话为例，在使用终端的视频通话功能时，可以利用其它软件完成提高视频通话效果，例如，通过美图秀秀来完成视频通话过程中图像的效果，或者通过视频特效的方式来美化视频通话过程中的图像效果。传统的视频特效处理的方式仅仅是将摄像头采集的图像数据进行滤镜特效处理，而未能综合考虑摄像头采集帧率、分辨率、编码器参数、网络带宽、终端性能等因素的影响，进而影响到最终的用户体验，且在不同配置的终端上无法做到通过同样的特效处理方式达到相同的效果，即现有的视频通话中图像处理过程无法满足所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡。
发明内容
本发明实施例提供一种视频通话方法及装置，旨在解决现有的视频通话中图像处理过程无法满足所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡的问题。
为实现上述目的，本发明实施例提出一种视频通话方法，包括：
获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
为了实现上述目的，本发明实施例还进一步提出一种视频通话装置，包括：
获取模块，用于获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
提取模块，用于根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
处理模块，用于根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
编码模块，用于将处理后的视频图像数据编码压缩；
发送模块，用于编码压缩后的视频图像数据发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
本发明通过综合视频通话过程中的第一影响参数，所述第一影响因素包括机型、网络带宽等因素，并根据所述第一影响参数从提前建立的多维策略表中提取视频滤镜方案及视频滤镜参数，对视频通话中的视频图像按照提取的视频滤镜方案及视频滤镜参数进行处理，并编码压缩发送至视频通话的对端。满足所有终端机型均能完成特效处理，且使得特效处理后的图像有明显的改善效果，使得各个不同机型之间的视频通话的图像效果均衡。
附图说明
图1为本发明实施例视频通话装置所涉及的硬件架构示意图；
图2为本发明视频通话方法的第一实施例的流程示意图；
图3为本发明视频通话处理框架一实施例的框架示意图；
图4为本发明建立多维策略表一实施例的细化流程示意图；
图5为本发明视频通话一实施例的流程示意图；
图6为本发明视频通话另一实施例的流程示意图；
图7为本发明一实施例视频图像在视频聊天中的架构图；
图8为本发明视频通话体验效果一实施例的示意图；
图9为本发明视频通话体验效果另一实施例的示意图；
图10为本发明根据所述编码影响因子确定对应的编码器的编码参数一实施例的流程示意图；
图11为本发明视频通话方法的第二实施例的流程示意图；
图12为本发明视频通话装置的第一实施例的功能模块示意图；
图13为本发明视频通话装置的第二实施例的功能模块示意图；
图14为图12中编码模块一实施例的细化功能模块示意图；
图15为本发明视频通话装置的第三实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。通过综合视频通话过程中的第一影响参数，所述第一影响因素包括机型、网络带宽等因素，并根据所述第一影响参数从提前建立的多维策略表中提取视频滤镜方案及视频滤镜参数，对视频通话中的视频图像按照提取的视频滤镜方案及视频滤镜参数进行处理，并编码压缩发送至视频通话的对端。有效避免现有的视频通话中图像处理过程无法满足所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡的问题。满足所有终端机型均能完成特效处理，且使得特效处理后的图像有明显的改善效果，使得各个不同机型之间的视频通话的图像效果均衡。
由于所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡的问题。
本发明实施例架构一视频通话装置，该视频通话装置通过综合视频通话过程中的第一影响参数，所述第一影响因素包括机型、网络带宽等因素，并根据所述第一影响参数从提前建立的多维策略表中提取视频滤镜方案及视频滤镜参数，对视频通话中的视频图像按照提取的视频滤镜方案及视频滤镜参数进行处理，并编码压缩发送至视频通话的对端。有效避免现有的视频通话中图像处理过程无法满足所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡的问题。满足所有终端机型均能完成特效处理，且使得特效处理后的图像有明显的改善效果，使得各个不同机型之间的视频通话的图像效果均衡。
其中，本实施例视频通话装置可以承载于PC端，也可以承载于手机、平板电脑等可以使用游戏等网络通话应用的电子终端。该视频通话装置所涉及的硬件架构可以如图1所示。
图1示出了本发明实施例视频通话装置所涉及的硬件架构。如图1所示，所述视频通话装置所涉及的硬件包括：处理器301，例如CPU，网络接口304，用户接口303，存储器305，通信总线302。其中，通信总线302用于实现该信息推送平台中各组成部件之间的连接通信。用户接口303可以包括显示屏(Display)、键盘(Keyboard)、鼠标等组件，用于接收用户输入的信息，并将接收的信息发送至处理器305进行处理。显示屏可以为LCD显示屏、LED显示屏，也可以为触摸屏，用于显示视频通话装置需要显示的数据，例如显示视频图像处理、视频通话等操作界面。可选用户接口303还可以包括标准的有线接口、无线接口。网络接口304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器305可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器305可选的还可以是独立于前述处理器301的存储装置。如图1所示，作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及视频通话程序。
在图1所示的视频通话装置所涉及的硬件中，网络接口304主要用于连接应用平台，与应用平台进行数据通信；用户接口303主要用于连接客户端，与客户端进行数据通信，接收客户端输入的信息和指令；而处理器301可以用于调用存储器305中存储的视频通话程序，并执行以下操作：
获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。。
进一步地，在一个实施例中，处理器301调用存储器305中存储的视频通话程序可以执行以下操作：
确定视频通话过程中所有的影响参数作为第二影响参数；
从所述第二影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表；
从所述第二影响参数中未被选择的影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表，直至第二影响参数选择完毕；
将计算得到的所有二维策略表进行预设方式的测试，生成多维策略表。
进一步地，在一个实施例中，处理器301调用存储器305中存储的视频通话程序可以执行以下操作：
获取视频通话过程中的运行数据；
根据所述运行数据及影响参数更新所述多维策略表。
进一步地，在一个实施例中，处理器301调用存储器305中存储的视频通话程序可以执行以下操作：
确定当前视频通话的编码影响因子；
根据所述编码影响因子确定对应的编码器的编码参数，并按照所述编码参数将处理后的视频图像数据编码压缩发送至视频通话对端。
进一步地，在一个实施例中，处理器301调用存储器305中存储的视频通话程序可以执行以下操作：
确定网络带宽变化及当前视频编码的目标码率；
根据所述带宽变化和所述目标码率计算得到目标帧率，并确定视频通话摄像头的采集帧率；
在所述采集帧率大于所述目标帧率时，将所述采集帧率作为编码器的编码参数；
在所述采集帧率小于或等于目标帧率时，跳帧至所述目标帧率，将所述目标帧率作为编码器的编码参数。
本实施例根据上述方案，通过综合视频通话过程中的第一影响参数，所述第一影响因素包括机型、网络带宽等因素，并根据所述第一影响参数从提前建立的多维策略表中提取视频滤镜方案及视频滤镜参数，对视频通话中的视频图像按照提取的视频滤镜方案及视频滤镜参数进行处理，并编码压缩发送至视频通话的对端。有效避免现有的视频通话中图像处理过程无法满足所有终端机型均能完成特效处理，且无法使得特效处理后的图像有明显的改善效果，导致各个不同机型之间的视频通话的图像效果不均衡的问题。满足所有终端机型均能完成特效处理，且使得特效处理后的图像有明显的改善效果，使得各个不同机型之间的视频通话的图像效果均衡。
基于上述硬件架构，提出本发明视频通话方法实施例。
如图2所示，提出本发明一种视频通话方法的第一实施例，所述视频通话方法包括：
步骤S10，获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
本发明实施例提供一种视频通话处理框架，参考图3，所述框架包括发送客户端和接收客户端，发送客户端包括终端手机、摄像头采集、滤镜特效、缩放、前处理增强、编码器，通过网络到接收客户端，接收客户端包括解码器、后处理增强、缩放、滤波器和渲染呈现。
在本实施例中，所述第一影响参数包括但不限于摄像头采集(和摄像头相关的可调配参数)、视频前处理、滤镜特效、视频运动状态分析、编码各参数分析、编码帧率/分辨率、网络带宽、终端机型、终端配置等。在通过智能终端进行视频通话时，在通话过程中，视频通话数据的发送端作为本端，在通话时，发送端和接收端不断切换，例如，通过手机A和手机B完成视频通话，在手机A端的用户发起视频通话数据时，手机A端作为发送端，为本端，手机B端作为视频通话数据接收端，作为对端；在手机B端的用户发起视频通话数据时，手机B端作为发送端，为本端，手机A端作为视频通话数据接收端，作为对端。在视频通话过程中，需要对视频通话的图像进行图像特效处理，例如，进行滤镜处理等。在通话过程中，获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数。在本发明其他实施例中，为了节省系统资源，所述视频通话的影响参数作为第一影响参数的获取过程可以间隔预设时间(1分钟或2分钟等)后触发，也可以是在所述第一影响参数发生改变时，触发获取过程；或者在预设时间到达时，判断所述第一影响参数是否发生改变，若发生改变，则触发获取过程；若未发生改变，则不触发获取过程。
步骤S20，根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
在本实施例中，在视频通话之前，判断是否已建立多维策略表，若建立，则结束流程，在视频通话过程中，获取所述预先建立的多维策略表；若未建立，则建立多维策略表。具体的，参考图4，所述建立多维策略表的过程可以包括：
步骤S21，确定视频通话过程中所有的影响参数作为第二影响参数；
步骤S22，从所述第二影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表；
步骤S23，从所述第二影响参数中未被选择的影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表，直至第二影响参数选择完毕；
步骤S24，将计算得到的所有二维策略表进行预设方式的测试，生成多维策略表。
先列举视频滤镜特效实施后对视频编码影响的各个因素：
摄像头采集分辨率、摄像头采集帧率、摄像头曝光强度、摄像头Sensor感应增益等、视频编码帧、视频编码分辨率、视频编码QP、视频内容运动状况、网络带宽大小、网络带宽抖动预估、用户评估分数、视频客观度量、视频主观度量等因素。所述各个因素为所述第二影响参数。提前确定视频通话过程中所有的影响参数作为第二影响参数。所述预设次数可以是2次或3次等，在一实施例中，所述预设次数以2次为例，选择两个影响因素，如编码帧率、编码分辨率；对不同的视频序列、不同网络带宽、不同机型等进行测试，获得视频客观度量、主观度量数据，根据最佳用户体检建立二维评分表，进而可以获得最终的编码帧分段阈值、编码分辨率分度阈值分布图，最终生成在此二维表下的综合策略表，即为二维策略表；选择其他两个影响因素，同样生成一个综合策略表，即得到另一个二维策略表；通过不断的选择其他两个影响因素，即，不断选择未选择完的两个影响因素来生成不同的二维策略表，把生成的所有综合策略表放置在一起，进行视频通话上线下奇偶评估测试，生成最终的综合策略表，即得到一个多维的策略表。
在本实施例中，在生成多维策略表后，若执行视频通话过程，则执行步骤S10的过程，或者在执行本发明第一实施例的流程中，第二影响参数发生改变时，进行多维策略表的生成过程，以供下次视频通话时，通过最新的多维策略表完成视频通话过程。
在获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数，且在获取到预先建立的多维策略表后，根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜。视频滤镜参数包括但不限于使用某个滤镜的效果强度。参考表1，表1为第一影响参数与视频滤镜方案关系表：
表1
表1为依据不同分辨率和网络带宽下的滤镜和视频前处理增强实施细节选择方法之一，上表的含义是：
1)针对不同机型、不同编码分辨率、不同帧率、不同带宽下，实施不同的视频前处理增强技术，以及不同的视频滤镜。
例如，在iphone3或红米手机，在网络带宽低(比如80kps)情况下，可以使用比较简单的、不怎么耗手机性能的视频降噪方法和/或视频滤镜方法。
2)基于上述含义1)的情况下，当开启了某个前处理视频增强方法，以及某一到二个视频滤镜特效方法时，本发明需要实时更为细致的处理方式，如图5所示或图6所示，图5为综合各种影响因素，视频滤镜和视频前处理增强采取不同强度的一实施例流程图；图6为，综合各种影响因素，视频滤镜和视频前处理增强采取不同强度的另一实施例的流程图。
步骤S30，根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
在提取出视频滤镜方案及视频滤镜参数后，根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理。参考表2，为第一影响参数与视频滤镜参数的对应关系表：
表2
参考表3，为图像处理算法选择表之一：
表3
以上还可以加入维度：机型处理能力、QP等，或几个处理函数的综合。
参考表4，为图像处理算法选择表之一：
表4
以上还可以加入维度：机型处理能力、QP等，或几个处理函数的综合。
可组合：通过配置算法表，组合最优算法；可控制：运营时，可维护、可控制实现效果；可扩展：新算法可自由添加，根据不同帧率、不同码率、不同分辨率、不同机型选择不同的算法组合使得视频效果和性能最优化。
参考图7，为视频图像在视频聊天中的架构图，在此处，可把视频滤镜特效和视频前处理增强等改变视频图像帧数据内容的处理都归结到图像前处理控制模块中。也就是说，无论对于视频滤镜特效，还是对于视频前处理增强，我们都需要综合各种影响参数建立一个类似查找表的策略表，在不同条件下，采用不同的视频滤镜特效，不同的视频前处理增强技术，更进一步地，采用不同的视频滤镜特效的强度、不同视频前处理增强的强度。而不仅仅为了加强视频滤镜特效和视频前处理技术而增加，为了在有限资源(低端机型、低网络带宽)推送用户极致的视频通话体验，所达到的效果如图8和图9所示。
通过上述的视频滤镜特效处理和视频前处理增强后，得到处理后的视频图像数据。
步骤S40，将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
在本实施例中，将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。终端摄像头采集视频图像数据，经过各种视频图像处理(滤镜特效、缩放、前处理增强等)，经过各种综合影响参数分析，选配适合编码器编码的参数，送给编码器编译。
确定当前视频通话的编码影响因子；根据所述编码影响因子确定对应的编码器的编码参数，并按照所述编码参数将处理后的视频图像数据编码压缩发送至视频通话对端。
具体的，参考图10，根据所述编码影响因子确定对应的编码器的编码参数的过程包括：
步骤S41，确定网络带宽变化及当前视频编码的目标码率；
步骤S42，根据所述带宽变化和所述目标码率计算得到目标帧率，并确定视频通话摄像头的采集帧率；
步骤S42，在所述采集帧率大于所述目标帧率时，将所述采集帧率作为编码器的编码参数；
步骤S43，在所述采集帧率小于或等于目标帧率时，跳帧至所述目标帧率，将所述目标帧率作为编码器的编码参数。
在网络波动情况下，待编码的视频帧率、视频分辨率要和手机摄像头所采集的帧率、分辨率保持一致，使得缩放这个模块能够不启用。根据运行数据分析，有不少终端机型，只能指定2-3中摄像头采集分辨率(如480*360)，尤其在低带宽下，无法编码高分辨率(如480*360)的视频流，故需要缩放。
进一步地，基于上述视频通话方法的第一实施例，提出本发明的第二实施例。如图11所示，所述步骤S24之后，还可以包括：
步骤S25，获取视频通话过程中的运行数据；
步骤S26，根据所述运行数据及影响参数更新所述多维策略表。
根据运行数据和上述步骤S21至步骤S24进行多维策略表的更新操作。运行数据包括但不限于：用户反馈、终端类型、发送/接收码率、实际视频编码分辨率、视频帧率等。综合策略表生成后，不是固定不变的，随着通话过程中的运行数据不断更新。
如表5中几个统计数据(某个时间段视频通话运行数据)；
| 没有图像 | 2.7％ |
| 视频不流畅 | 22.97％ |
| 视频不清楚 | 21.62％ |
| 视频中的电脑卡 | 12.16％ |
表5
关注用户反馈，知道哪里滤镜特效技术或联调没有到位，在某时间段内侧重优化这个技术，提升视频通话效果，提升用户体检。
参考表6，为终端机型相关的统计表。
| Iphone4 | 18％ |
| Iphone4S | 30％ |
| Iphone5c | 17％ |
| Iphone5s | 25％ |
表6
关注用户终端机型，就能发现逐步被淘汰的机型，把精力和能力花费在尽可能覆盖使用最广机型的用户身上。
对应地，提出本发明视频通话装置的较佳实施例。参考图12，所述视频通话装置包括获取模块10、提取模块20、处理模块30、编码模块40及发送模块50。
所述获取模块10，用于获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
本发明实施例提供一种视频通话处理框架，参考图3，所述框架发送客户端和接收客户端，发送客户端包括终端手机、摄像头采集、滤镜特效、缩放、前处理增强、编码器，通过网络到接收客户端，接收客户端包括解码器、后处理增强、缩放、滤波器和渲染呈现。
在本实施例中，所述第一影响参数包括但不限于摄像头采集(和摄像头相关的可调配参数)、视频前处理、滤镜特效、视频运动状态分析、编码各参数分析、编码帧率/分辨率、网络带宽、终端机型、终端配置等。在通过智能终端进行视频通话时，在通话过程中，视频通话数据的发送端作为本端，在通话时，发送端和接收端不断切换，例如，通过手机A和手机B完成视频通话，在手机A端的用户发起视频通话数据时，手机A端作为发送端，为本端，手机B端作为视频通话数据接收端，作为对端；在手机B端的用户发起视频通话数据时，手机B端作为发送端，为本端，手机A端作为视频通话数据接收端，作为对端。在视频通话过程中，需要对视频通话的图像进行图像特效处理，例如，进行滤镜处理等。在通话过程中，获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数。在本发明其他实施例中，为了节省系统资源，所述视频通话的影响参数作为第一影响参数的获取过程可以间隔预设时间(1分钟或2分钟等)后触发，也可以是在所述第一影响参数发生改变时，触发获取过程；或者在预设时间到达时，判断所述第一影响参数是否发生改变，若发生改变，则触发获取过程；若未发生改变，则不触发获取过程。
所述提取模块20，用于根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
在本实施例中，在视频通话之前，判断是否已建立多维策略表，若建立，则结束流程，在视频通话过程中，获取所述预先建立的多维策略表；若未建立，则建立多维策略表。具体的，参考图13，所述装置还包括计算模块60及生成模块70，
所述获取模块10，还用于获取视频通话过程中所有的影响参数作为第二影响参数；
所述计算模块60，用于从所述第二影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表；还用于从所述第二影响参数中未被选择的影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表，直至第二影响参数选择完毕；
所述生成模块70，用于将计算得到的所有二维策略表进行预设方式的测试，生成多维策略表。
先列举视频滤镜特效实施后对视频编码影响的各个因素：
摄像头采集分辨率、摄像头采集帧率、摄像头曝光强度、摄像头Sensor感应增益等、视频编码帧、视频编码分辨率、视频编码QP、视频内容运动状况、网络带宽大小、网络带宽抖动预估、用户评估分数、视频客观度量、视频主观度量等因素。所述各个因素为所述第二影响参数。提前确定视频通话过程中所有的影响参数作为第二影响参数。所述预设次数可以是2次或3次等，在一实施例中，所述预设次数以2次为例，选择两个影响因素，如编码帧率、编码分辨率；对不同的视频序列、不同网络带宽、不同机型等进行测试，获得视频客观度量、主观度量数据，根据最佳用户体检建立二维评分表，进而可以获得最终的编码帧分段阈值、编码分辨率分度阈值分布图，最终生成在此二维表下的综合策略表，即为二维策略表；选择其他两个影响因素，同样生成一个综合策略表，即得到另一个二维策略表；通过不断的选择其他两个影响因素，即，不断选择未选择完的两个影响因素来生成不同的二维策略表，把生成的所有综合策略表放置在一起，进行视频通话上线下奇偶评估测试，生成最终的综合策略表，即得到一个多维的策略表。
在本实施例中，在生成多维策略表后，若执行视频通话过程，或者在执行本发明第一实施例的流程中，第二影响参数发生改变时，进行多维策略表的生成过程，以供下次视频通话时，通过最新的多维策略表完成视频通话过程。
在获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数，且在获取到预先建立的多维策略表后，根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数。视频滤镜参数包括但不限于使用某个滤镜的效果强度。
表1为依据不同分辨率和网络带宽下的滤镜和视频前处理增强实施细节选择方法之一，上表的含义是：
1)针对不同机型、不同编码分辨率、不同帧率、不同带宽下，实施不同的视频前处理增强技术，以及不同的视频滤镜。
例如，在iphone3或红米手机，在网络带宽低(比如80kps)情况下，可以使用比较简单的、不怎么耗手机性能的视频降噪方法和/或视频滤镜方法。
2)基于上述含义1)的情况下，当开启了某个前处理视频增强方法，以及某一到二个视频滤镜特效方法时，本发明需要实时更为细致的处理方式，如图5所示或图6所示，图5为综合各种影响因素，视频滤镜和视频前处理增强采取不同强度的一实施例流程图；图6为，综合各种影响因素，视频滤镜和视频前处理增强采取不同强度的另一实施例的流程图。
所述处理模块30，还用于根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
在提取出视频滤镜方案及视频滤镜参数后，根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理。
参考图7，为视频图像在视频聊天中的架构图，在此处，可吧视频滤镜特效和视频前处理增强等改变视频图像帧数据内容的处理都归结到图像前处理控制模块中。也就是说，无论对于视频滤镜特效，还是对于视频前处理增强，我们都需要综合各种影响参数建立一个类似查找表的策略表，在不同条件下，采用不同的视频滤镜特效，不同的视频前处理增强技术，更进一步地，采用不同的视频滤镜特效的强度、不同视频前处理增强的强度。而不仅仅为了加强视频滤镜特效和视频前处理技术而增加，为了在有限资源(低端机型、低网络带宽)推送用户极致的视频通话体验，所达到的效果如图8和图9所示。
通过上述的视频滤镜特效处理和视频前处理增强后，得到处理后的视频图像数据。
所述编码模块40，用于将处理后的视频图像数据编码压缩；
所述发送模块50，用于编码压缩后的视频图像数据发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
在本实施例中，将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。终端摄像头采集视频图像数据，经过各种视频图像处理(滤镜特效、缩放、前处理增强等)，经过各种综合影响参数分析，选配适合编码器编码的参数，送给编码器编译。
确定当前视频通话的编码影响因子；根据所述编码影响因子确定对应的编码器的编码参数，并按照所述编码参数将处理后的视频图像数据编码压缩发送至视频通话对端。
具体的，参考图14，所述编码模块40包括：确定单元41和编码单元42，
所述确定单元41，用于确定网络带宽变化及当前视频编码的目标码率；
所述编码单元42，用于根据所述带宽变化和所述目标码率计算得到目标帧率，所述确定单元41，还用于确定视频通话摄像头的采集帧率；还用于在所述采集帧率大于所述目标帧率时，将所述采集帧率作为编码器的编码参数；还用于在所述采集帧率小于或等于目标帧率时，跳帧至所述目标帧率，将所述目标帧率作为编码器的编码参数。
在网络波动情况下，待编码的视频帧率、视频分辨率要和手机摄像头所采集的帧率、分辨率保持一致，使得缩放这个模块能够不启用。根据运行数据分析，有不少终端机型，只能指定2-3中摄像头采集分辨率(如480*360)，尤其在低带宽下，无法编码高分辨率(如480*360)的视频流，故需要缩放。
进一步地，基于上述视频通话装置的第一和第二实施例，提出本发明装置的第三实施例。如图15所示，所述装置还包括更新模块80：
所述获取模块10，还用于获取视频通话过程中的运行数据；
所述更新模块80，还用于根据所述运行数据及影响参数更新所述多维策略表。
运行数据包括但不限于：用户反馈、终端类型、发送/接收码率、实际视频编码分辨率、视频帧率等。综合策略表生成后，不是固定不变的，随着通话过程中的运行数据不断更新。
关注用户反馈，知道哪里滤镜特效技术或联调没有到位，在某时间段内侧重优化这个技术，提升视频通话效果，提升用户体检。
关注用户终端机型，就能发现逐步被淘汰的机型，把精力和能力花费在尽可能覆盖使用最广机型的用户身上。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
Claims (10)
1.一种视频通话方法，其特征在于，包括：
获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
将处理后的视频图像数据编码压缩发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
2.如权利要求1所述的视频通话方法，其特征在于，所述获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数的步骤之前，还包括：
确定视频通话过程中所有的影响参数作为第二影响参数；
从所述第二影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表；
从所述第二影响参数中未被选择的影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表，直至第二影响参数选择完毕；
将计算得到的所有二维策略表进行预设方式的测试，生成多维策略表。
3.如权利要求2所述的视频通话方法，其特征在于，所述生成多维策略表的步骤之后，还包括：
获取视频通话过程中的运行数据；
根据所述运行数据及影响参数更新所述多维策略表。
4.如权利要求1至3任一项所述的视频通话方法，其特征在于，所述将处理后的视频图像数据编码压缩发送至视频通话对端的步骤包括：
确定当前视频通话的编码影响因子；
根据所述编码影响因子确定对应的编码器的编码参数，并按照所述编码参数将处理后的视频图像数据编码压缩发送至视频通话对端。
5.如权利要求4所述的视频通话方法，其特征在于，所述根据所述编码影响因子确定对应的编码器的编码参数的步骤包括：
确定网络带宽变化及当前视频编码的目标码率；
根据所述带宽变化和所述目标码率计算得到目标帧率，并确定视频通话摄像头的采集帧率；
在所述采集帧率大于所述目标帧率时，将所述采集帧率作为编码器的编码参数；
在所述采集帧率小于或等于目标帧率时，跳帧至所述目标帧率，将所述目标帧率作为编码器的编码参数。
6.一种视频通话装置，其特征在于，包括：
获取模块，用于获取视频通话中视频通话本端的视频图像数据及视频通话的影响参数作为第一影响参数；
提取模块，用于根据所述第一影响参数从预先建立的多维策略表中提取视频滤镜方案及视频滤镜参数；
处理模块，用于根据所提取的视频滤镜方案和视频滤镜参数对所述视频图像数据进行处理；
编码模块，用于将处理后的视频图像数据编码压缩；
发送模块，用于编码压缩后的视频图像数据发送至视频通话对端，以供所述对端对视频图像数据解码并显示解码后的视频图像数据对应的视频图像。
7.如权利要求6所述的视频通话装置，其特征在于，所述装置还包括：计算模块和生成模块，
所述获取模块，还用于获取视频通话过程中所有的影响参数作为第二影响参数；
所述计算模块，用于从所述第二影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表；还用于从所述第二影响参数中未被选择的影响参数中选择预设个数的影响参数进行预设方式的计算得到二维策略表，直至第二影响参数选择完毕；
所述生成模块，用于将计算得到的所有二维策略表进行预设方式的测试，生成多维策略表。
8.如权利要求7所述的视频通话装置，其特征在于，所述装置还包括更新模块，
所述获取模块，还用于获取视频通话过程中的运行数据；
所述更新模块，用于根据所述运行数据及影响参数更新所述多维策略表。
9.如权利要求6至8任一项所述的视频通话装置，其特征在于，所述编码模块包括：
确定单元，用于确定当前视频通话的编码影响因子；
编码单元，用于根据所述编码影响因子确定对应的编码器的编码参数，并按照所述编码参数将处理后的视频图像数据编码压缩发送至视频通话对端。
10.如权利要求9所述的视频通话装置，其特征在于，所述确定单元，还用于确定网络带宽变化及当前视频编码的目标码率；还用于根据所述带宽变化和所述目标码率计算得到目标帧率，并确定视频通话摄像头的采集帧率；还用于在所述采集帧率大于所述目标帧率时，将所述采集帧率作为编码器的编码参数；还用于在所述采集帧率小于或等于目标帧率时，跳帧至所述目标帧率，将所述目标帧率作为编码器的编码参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510413662.6A CN106358004B (zh) | 2015-07-14 | 2015-07-14 | 视频通话方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510413662.6A CN106358004B (zh) | 2015-07-14 | 2015-07-14 | 视频通话方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106358004A CN106358004A (zh) | 2017-01-25 |
| CN106358004B true CN106358004B (zh) | 2019-08-16 |
Family
ID=57842256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510413662.6A Active CN106358004B (zh) | 2015-07-14 | 2015-07-14 | 视频通话方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106358004B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108983306B (zh) * | 2018-06-06 | 2019-11-19 | 浙江大华技术股份有限公司 | 一种物品边框平滑显示的方法及安检设备 |
| CN110971943B (zh) * | 2018-09-30 | 2021-10-15 | 北京微播视界科技有限公司 | 视频码率调整方法、装置、终端及存储介质 |
| CN111432242B (zh) * | 2020-03-31 | 2022-05-27 | 广州市百果园信息技术有限公司 | 加密视频通话方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282762A (ja) * | 2003-03-13 | 2004-10-07 | Fr Telecom | 遠隔映像処理回路の制御方法およびそのシステム |
| CN101146204A (zh) * | 2006-09-12 | 2008-03-19 | 腾讯科技（深圳）有限公司 | 即时通信视频质量调节方法及装置 |
| CN101448157A (zh) * | 2008-12-30 | 2009-06-03 | 杭州华三通信技术有限公司 | 一种视频编码方法和视频编码器 |
| CN101605166A (zh) * | 2009-07-08 | 2009-12-16 | 中兴通讯股份有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
| CN103974060A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 视频质量调整方法和装置 |
| CN104219479A (zh) * | 2013-05-30 | 2014-12-17 | 中国电信股份有限公司 | 视频通信业务处理方法与系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070007998A (ko) * | 2005-07-12 | 2007-01-17 | 엘지전자 주식회사 | 이동 통신 단말기의 화상 통화 방법 및 장치 |
| KR20070058140A (ko) * | 2005-12-01 | 2007-06-07 | 주식회사 팬택 | 특수효과를 이용한 화상통화 기능을 제공하는 방법 및이동통신 단말기 |
| KR101390126B1 (ko) * | 2007-08-14 | 2014-04-28 | 엘지전자 주식회사 | 화상 통화시 프리뷰 이미지 제공 방법 및 이동통신단말기 |
| CN101287093B (zh) * | 2008-05-30 | 2010-06-09 | 北京中星微电子有限公司 | 在视频通信中添加特效的方法及视频客户端 |
| CN102055912B (zh) * | 2009-10-29 | 2014-10-29 | 北京中星微电子有限公司 | 一种视频应用系统、视频特效处理系统和方法 |
| CN104469253A (zh) * | 2015-01-05 | 2015-03-25 | 掌赢信息科技（上海）有限公司 | 一种即时视频中的人脸美化方法和电子设备 |
-
2015
- 2015-07-14 CN CN201510413662.6A patent/CN106358004B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282762A (ja) * | 2003-03-13 | 2004-10-07 | Fr Telecom | 遠隔映像処理回路の制御方法およびそのシステム |
| CN101146204A (zh) * | 2006-09-12 | 2008-03-19 | 腾讯科技（深圳）有限公司 | 即时通信视频质量调节方法及装置 |
| CN101448157A (zh) * | 2008-12-30 | 2009-06-03 | 杭州华三通信技术有限公司 | 一种视频编码方法和视频编码器 |
| CN101605166A (zh) * | 2009-07-08 | 2009-12-16 | 中兴通讯股份有限公司 | 一种基于移动终端的图像处理方法及移动终端 |
| CN103974060A (zh) * | 2013-01-31 | 2014-08-06 | 华为技术有限公司 | 视频质量调整方法和装置 |
| CN104219479A (zh) * | 2013-05-30 | 2014-12-17 | 中国电信股份有限公司 | 视频通信业务处理方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106358004A (zh) | 2017-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117793373A (zh) | 机器学习视频处理系统和方法 | |
| CN110166781B (zh) | 一种视频编码方法、装置、可读介质和电子设备 | |
| CN106358004B (zh) | 视频通话方法及装置 | |
| CN110176226A (zh) | 一种语音识别、及语音识别模型训练方法及装置 | |
| JP2020522153A (ja) | ニューラルネットワークを使用するタイル型画像圧縮 | |
| CN110267045A (zh) | 一种视频处理及编码的方法、装置及可读存储介质 | |
| CN103929576B (zh) | 压缩相机收集的图像数据的方法及支持该方法的电子装置 | |
| CN110536168A (zh) | 视频上传方法、装置、电子设备及存储介质 | |
| CN111464815A (zh) | 一种基于神经网络的视频编码方法及系统 | |
| CN107302700A (zh) | 自适应方向环路滤波器 | |
| US20220076380A1 (en) | Method of controlling encoding of display data | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110536087A (zh) | 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置 | |
| CN107493478A (zh) | 编码帧率设置方法及设备 | |
| Dar et al. | Optimized pre-compensating compression | |
| CN113225554A (zh) | 一种基于神经网络的图像编解码方法、装置、存储介质及终端 | |
| CN115228081A (zh) | 虚拟场景切换方法及装置 | |
| CN106254873B (zh) | 一种视频编码方法及视频编码装置 | |
| CN114821730A (zh) | 人脸识别方法、装置、设备及计算机可读存储介质 | |
| CN113596471B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN112183227A (zh) | 一种智能泛人脸区域的编码方法和设备 | |
| CN114531594B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| Kougioumtzidis et al. | Deep Learning-Aided QoE Prediction for Virtual Reality Applications Over Open Radio Access Networks | |
| CN110347246A (zh) | 人机交互方法、装置、存储介质及电子设备 | |
| WO2023051375A1 (zh) | 帧内预测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |