CN108304753A - 视频通信方法及视频通信装置 - Google Patents
视频通信方法及视频通信装置 Download PDFInfo
- Publication number
- CN108304753A CN108304753A CN201710060309.3A CN201710060309A CN108304753A CN 108304753 A CN108304753 A CN 108304753A CN 201710060309 A CN201710060309 A CN 201710060309A CN 108304753 A CN108304753 A CN 108304753A
- Authority
- CN
- China
- Prior art keywords
- video
- face
- pictures
- video pictures
- computational accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000000694 effects Effects 0.000 claims abstract description 139
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000009877 rendering Methods 0.000 claims description 51
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000007637 random forest analysis Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Abstract
本发明提供一种视频通信方法，其包括：使用视频分辨率采集视频画面；根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；使用视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；将视频帧数据实时发送至接收终端。本发明还提供一种视频通信装置，本发明的视频通信方法及视频通信装置通过对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率的设定，可有效的实现实时发送特效渲染视频画面。
Description
技术领域
本发明涉及互联网领域，特别是涉及一种视频通信方法及视频通信装置。
背景技术
随着科技的发展，人们之间的交互越来越多，如语音聊天以及视频聊天等，为了增加视频聊天时的趣味性，聊天用户会对视频聊天画面进行特效处理，如雪花画面或灯光画面等。
为了增加特效处理的个性化，用户希望可以对具有个性化的人脸进行特效处理，如对人脸进行二维穿戴、三维穿戴或设置人脸滤镜等。由于上述人脸特效的生成需要在视频采集过程中，通过人脸检测以及特征标记等技术对视频画面进行处理，上述操作对系统资源要求较高，一般无法做到实时生成。因此用户一般是选择将具有人脸特效的视频或图片保存在本地，再分享给其他用户。
发明内容
本发明实施例提供一种可实现实时发送特效渲染视频画面的视频通信方法及视频通信装置；以解决现有的视频通信方法及视频通信装置不能实时生成特效渲染视频画面，从而影响用户的视频画面分享效率的技术问题。
本发明实施例提供一种视频通信方法，其包括：
采集视频画面；
对所述视频画面中人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；
判断所述视频帧数据的实际编码帧率是否小于视频编码帧率；以及
如所述实际编码帧率小于所述视频编码帧率，则对画面采集参数以及画面渲染参数进行调整，以使得所述实际编码帧率大于等于所述视频编码帧率，从而将所述视频帧数据实时发送至接收终端。
本发明实施例还提供一种视频通信方法，其包括：
使用视频分辨率采集所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；以及
将所述视频帧数据、所述视频画面中的人脸特征点以及选定特效数据发送至接收终端，以便所述接收终端对视频画面中的人脸进行人脸特征处理；
其中所述接收终端对所述视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
本发明实施例还提供一种视频通信方法，其包括：
使用视频分辨率采集所述视频画面；
使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；
将所述视频帧数据以及选定特效数据发送至接收终端，以便所述接收终端对所述视频画面中的人脸进行人脸特效处理；
其中所述接收终端对所述视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
本发明实施例还提供一种视频通信装置，其包括：
视频画面采集模块，用于采集视频画面；
特征识别模块，用于对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
特效渲染模块，用于根据所述人脸特征点，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
编码模块，用于对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；以及
实时发送模块，用于将所述视频帧数据实时发送至接收终端；
所述编码模块包括：
编码帧率判断单元，用于判断实际编码帧率是否小于所述视频编码帧率；以及
参数调整单元，用于如所述实际编码帧率小于所述视频编码帧率，则对画面采集参数以及画面渲染参数进行调整，以使得所述实际编码帧率大于等于所述视频编码帧率，从而将所述视频帧数据实时发送至接收终端。
本发明实施例还提供一种视频通信装置，其包括：
视频画面采集模块，用于使用视频分辨率采集视频画面；
特征识别模块，用于根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
编码模块，用于使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；以及
实时发送模块，用于将所述视频帧数据、所述视频画面中的人脸特征点以及选定特效数据发送至接收终端，以便所述接收终端对视频画面中的人脸进行人脸特征处理；
其中所述接收终端对视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
本发明实施例还提供一种视频通信装置，其包括：
视频画面采集模块，用于使用视频分辨率采集视频画面；
编码模块，用于使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；
实时发送模块，用于将所述视频帧数据以及选定特效数据发送至接收终端，以便所述接收终端对所述视频画面中的人脸进行人脸特效处理；
其中所述接收终端对视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
相较于现有技术，本发明的视频通信方法及视频通信装置根据终端硬件资源对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率进行设定，可有效的实现实时发送特效渲染视频画面；解决了现有的视频通信方法以及视频通信装置中不能实时生成特效渲染视频画面，从而影响用户的视频画面分享效率的技术问题。
附图说明
图1A为本发明的视频通信方法的第一优选实施例的流程图之一；
图1B为本发明的视频通信方法的第一优选实施例的流程图之二；
图2为本发明的视频通信方法的第二优选实施例的流程图；
图3为本发明的视频通信方法的第二优选实施例的步骤S201的流程图；
图4为本发明的视频通信方法的第二优选实施例的步骤S205的流程图；
图5为本发明的视频通信装置的第一优选实施例的结构示意图；
图6为本发明的视频通信装置的第二优选实施例的结构示意图；
图7为本发明的视频通信装置的第二优选实施例的参数确定模块的结构示意图；
图8为本发明的视频通信装置的第二优选实施例的编码模块的结构示意图；
图9为本发明的视频通信方法及视频通信装置的具体实施例的工作流程图；
图10A、图10B为本发明的视频通信方法及视频通信装置的具体实施例的人脸特效示意图；
图11为本发明的视频通信装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的视频通信方法及视频通信装置设置在可用于进行视频通话的电子设备上，该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该电子设备通过对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率的设定，有效的实现了特效渲染视频画面的实时发送，提高了用户的视频画面分享效率。
请参照图1A，图1A为本发明的视频通信方法的第一优选实施例的流程图之一，本优选实施例的视频通信方法可使用上述的电子设备进行实施，该视频通信方法包括：
步骤S101A，采集视频画面；
步骤S102A，对视频画面中人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
步骤S103A，对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；
步骤S104A，判断视频帧数据的实际编码帧率是否小于视频编码帧率；
步骤S105A，如实际编码帧率小于视频编码帧率，则对画面采集参数以及画面渲染参数进行调整，以使得实际编码帧率大于等于视频编码帧率，从而将视频帧数据实时发送至接收终端。
下面详细说明本优选实施例的视频通信方法的各步骤的具体流程。
在步骤S101A中，视频通信装置通过设置在视频通信装置上的摄像头采集视频分辨率的视频画面，以便对视频画面进行人脸特效渲染。随后转到步骤S102。
在步骤S102A中，视频通信装置采集到视频画面后，对视频画面中人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。随后转到步骤S103A。
在步骤S103A中，视频通信装置获取在步骤S102A中进行人脸特效渲染后的视频画面。随后视频通信装置可根据该视频编码帧率对人脸特效传染后的视频画面进行编码处理，以生成相应的视频帧数据。
在步骤S104A中，视频通信装置判断视频帧数据的实际编码帧率是否小于视频编码帧率；如实际编码帧率小于视频编码帧率，转到步骤S105A，否则直接将视频帧数据实时发送至接收终端。
在步骤S105A中，视频通信装置对画面采集参数以及画面渲染参数进行调整，以使得实际编码帧率大于等于视频编码帧率，从而将视频帧数据实时发送至接收终端。
具体的，请参照图1B，图1B为本发明的视频通信方法的第一优选实施例的流程图之二，本优选实施例的视频通信方法可使用上述的电子设备进行实施，该视频通信方法包括：
步骤S101B，使用视频分辨率采集视频画面；
步骤S102B，根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；
步骤S103B，根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
步骤S104B，使用视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；
步骤S105B，将视频帧数据实时发送至接收终端。
下面详细说明本优选实施例的视频通信方法的各步骤的具体流程。
在步骤S101B中，视频通信装置通过设置在视频通信装置上的摄像头采集视频分辨率的视频画面，以便对视频画面进行人脸特效渲染。这里的视频分辨率可根据视频通信装置的具体硬件资源，如中央处理器资源以及内存资源等以及后续进行特征识别操作、特征渲染操作以及视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频分辨率设定的越高，视频画面采集操作占用的硬件资源也就越多。随后转到步骤S102B。
在步骤S102B中，视频通信装置采集到视频画面后，获取对应的视频特征识别计算精度，该视频特征识别计算精度为对人脸进行特征识别的特征标记算法的计算精度，该特征标记算法可为图像LBF特征(Regressing LocalBinary Features,稀疏二值化特征)算法等。视频通信装置可根据该视频特征识别计算精度，使用对应的特征标记算法对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点。
这里视频特征识别计算精度可根据视频通信装置的具体硬件资源以及后续进行特征渲染操作以及视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频特征识别计算精度设定的越高，人脸特征识别操作占用的硬件资源也就越多。随后转到步骤S103B。
在步骤S103B中，视频通信装置获取人脸特征点以及视频特效渲染计算精度，该视频特效渲染计算精度为对视频画面中的人脸进行人脸特效处理的特效渲染算法的计算精度，该视频特效渲染计算精度越高，则使用的特效数据越多，特效渲染结果越精细。视频通信装置可根据该人脸特征点以及视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这里视频特效渲染计算精度可根据视频通信装置的具体硬件资源以及后续的视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频特效渲染计算精度设定的越高，人脸特效处理操作占用的硬件资源也就越多。随后转到步骤S104B。
在步骤S104B中，视频通信装置获取在步骤S103B中进行人脸特效渲染后的视频画面以及视频编码帧率。该视频编码帧率为对人脸特效渲染后的视频画面进行编码压缩，以便满足数据传输要求的视频画面的最小画面帧率。随后视频通信装置可根据该视频编码帧率对人脸特效传染后的视频画面进行编码处理，以生成相应的视频帧数据。
这里视频编码帧率可根据当前视频通信装置的剩余硬件资源进行设定，以保证最终视频帧数据的实时发送。这里视频编码帧率设定的越高，编码处理占用的硬件资源也就越多。随后转到步骤S105B。
在步骤S105B中，视频通信装置将步骤S104B生成具有人脸特效渲染效果的视频帧数据实时发送至接收终端，实现了人脸特效视频的实时分享操作。
这样就完成了本优选实施例的视频通信方法的视频通信过程。
本优选实施例的视频通信方法根据终端硬件资源对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率进行设定，可有效的实现实时发送特效渲染视频画面。
请参照图2，图2为本发明的视频通信方法的第二优选实施例的流程图，本优选实施例的视频通信方法可使用上述的电子设备进行实施，该视频通信方法包括：
步骤S201，根据发送终端的硬件资源确定视频分辨率、视频特征识别计算精度、设定特效渲染计算精度以及视频编码帧率；
步骤S202，使用视频分辨率采集视频画面；
步骤S203，根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；
步骤S204，根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
步骤S205，使用视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；
步骤S206，将视频帧数据实时发送至接收终端；
步骤S207，将发送终端的硬件资源、实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器；
步骤S208，在发送终端的屏幕对人脸特效渲染后的视频画面进行展示。
下面详细说明本优选实施例的视频通信方法的各步骤的具体流程。
在步骤S201中，视频通信装置根据发送终端(即视频通信装置)的硬件资源确定视频分辨率、视频特征识别计算精度、设定特效渲染计算精度以及视频编码帧率；具体可参照图3，图3为本发明的视频通信方法的第二优选实施例的步骤S201的流程图，该步骤S201包括：
步骤S301，将发送终端的硬件资源发送至服务器，该服务器上存储有常见的硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系，以便保证在使用发送终端的硬件资源进行视频帧数据的实时发送的基础上，最大限度的提高视频画面的画面质量。
步骤S302，视频通信装置从服务器上获取其硬件资源对应的视频分辨率、视频特征识别计算精度、设定特效渲染计算精度以及视频编码帧率。随后转到步骤S202。
在步骤S202中，视频通信装置通过设置在视频通信装置上的摄像头采集视频分辨率的视频画面，以便对视频画面进行人脸特效渲染。这里视频分辨率设定的越高，视频画面采集操作占用的硬件资源也就越多。随后转到步骤S203。
在步骤S203中，视频通信装置采集到视频画面后，获取对应的视频特征识别计算精度，该特征标记算法可为图像LBF特征(Regressing LocalBinary Features,稀疏二值化特征)算法等。视频通信装置可根据该视频特征识别计算精度，使用对应的特征标记算法对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点。
视频通信装置使用图像LBF特征算法进行人脸特征识别的过程包括：
视频通信装置大量收集人脸特征的训练样本，如人脸图像以及手工标定的特征点位置等，然后根据每个特征点的稀疏二值化特征建立随机森林，并通过训练样本对随机森林进行机器训练，得到随机森林中的所有节点的具体参数值。
随后视频通信装置针对要标记的人脸图像，计算出图像的所有稀疏二值化特征，然后用机器训练的随机森林对上述稀疏二值化特征进行判别得到最终的人脸特征点。
这里视频特征识别计算精度设定的越高，人脸特征识别操作占用的硬件资源也就越多。随后转到步骤S204。
在步骤S204中，视频通信装置获取人脸特征点以及视频特效渲染计算精度，视频通信装置可根据该人脸特征点以及视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这里视频特效渲染计算精度设定的越高，人脸特效处理操作占用的硬件资源也就越多。随后转到步骤S205。
在步骤S205中，视频通信装置获取在步骤S204中进行人脸特效渲染后的视频画面以及视频编码帧率。随后视频通信装置可根据该视频编码帧率对人脸特效传染后的视频画面进行编码处理，以生成相应的视频帧数据。具体请参照图4，图4为本发明的视频通信方法的第二优选实施例的步骤S205的流程图，该步骤S205包括：
步骤S401，判断实际编码帧率是否小于视频编码帧率，如实际编码帧率小于视频编码帧率，则转到步骤S402；如实际编码帧率大于等于视频编码帧率，则转到步骤S403。
步骤S402，如实际编码帧率小于视频编码帧率，则对视频分辨率、视频特征识别计算精度以及设定特效渲染计算精度中的至少一个进行数值降低操作，以使得实际编码帧率大于等于视频编码帧率。
步骤S403，如实际编码帧率大于等于视频编码帧率，则使用该实际编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。
这里视频编码帧率设定的越高，编码处理占用的硬件资源也就越多。随后转到步骤S206。
在步骤S206中，视频通信装置将步骤S205生成具有人脸特效渲染效果的视频帧数据实时发送至接收终端，实现了人脸特效视频的实时分享操作。随后转到步骤S207。
在步骤S207中，由于视频通信装置已完成了视频帧数据的实时发送，因此视频通信装置可将视频通信装置的硬件资源、实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器进行保存，服务器可以根据上述信息对存储的硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系进行更新，以便其他视频通信终端进行下载参考。随后转到步骤S208。
在步骤S208中，在视频通信装置将视频帧数据实时发送至接收终端的同时，视频通信装置还在视频通信装置端的屏幕上对人脸特效渲染后的视频画面进行展示，以便用户在视频画面的发送端对人脸特效渲染后的视频画面进行查看。
这样即完成了本优选实施例的视频通信方法的视频通信过程。
在第一优选实施例的基础上，本优选实施例的视频通信方法通过云端服务器对硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系进行保存、分享以及及时更新；同时本优选实施例的视频通信方法还可根据实际编码帧率对视频分辨率、视频特征识别计算精度以及设定特效渲染计算精度进行实时调整，从而进一步提高了实时发送特效渲染视频画面的有效性。
优选的，为了进一步提高视频通信装置生成的视频画面的质量，这里可将步骤S204的人脸特效处理操作设置到接收终端进行操作。具体的，视频通信装置仅采集视频分辨率的视频画面；根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；使用视频编码帧率对视频画面进行编码处理，以生成视频帧数据；最后将视频帧数据、视频画面中的人脸特征点以及选定特效数据发送至接收终端。
接收终端接收到视频帧数据后，对视频帧数据进行解码操作，得到视频画面，随后接收终端在接收端根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这样可以同样可以达到实时发送特效渲染视频画面的效果，同时还可节省视频通信装置，即视频发送终端的硬件资源，进一步提高特效渲染视频画面的画面质量。
优选的，为了进一步提高视频通信装置生成的视频画面的指令，这里可将步骤S203的人脸特征识别操作以及步骤S204的人脸特效处理操作设置到接收终端进行操作。具体的，视频通信装置仅采集视频分辨率的视频画面；使用视频编码帧率对视频画面进行编码处理，以生成视频帧数据；最后将视频帧数据以及选定特效数据发送至接收终端。
接收终端接收到视频帧数据后，对视频帧数据进行解码操作，得到视频画面；随后接收终端根据设定特征识别结算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；然后接收终端根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这样可以同样可以达到实时发送特效渲染视频画面的效果，同时还可进一步节省视频通信装置，即视频发送终端的硬件资源，再次提高特效渲染视频画面的画面质量。
本发明还提供一种视频通信装置，请参照图5，图5为本发明的视频通信装置的第一优选实施例的结构示意图，本优选实施例的视频通信装置可使用上述的视频通信方法的第一优选实施例进行实施，本优选实施例的视频通信装置50包括视频画面采集模块51、特征识别模块52、特效渲染模块53、编码模块54以及实时发送模块55。
视频画面采集模块51用于使用视频分辨率采集视频画面；特征识别模块52用于根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；特效渲染模块53用于根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；编码模块54用于使用视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；实时发送模块55用于将视频帧数据实时发送至接收终端。
本优选实施例的视频通信装置50使用时，首先视频画面采集模块1通过设置在视频通信装置上的摄像头采集视频分辨率的视频画面，以便对视频画面进行人脸特效渲染。这里的视频分辨率可根据视频通信装置的具体硬件资源，如中央处理器资源以及内存资源等以及后续进行特征识别操作、特征渲染操作以及视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频分辨率设定的越高，视频画面采集操作占用的硬件资源也就越多。
随后特征识别模块采集52到视频画面后，获取对应的视频特征识别计算精度，该视频特征识别计算精度为对人脸进行特征识别的特征标记算法的计算精度，该特征标记算法可为图像LBF特征(Regressing LocalBinary Features,稀疏二值化特征)算法等。特征识别模块52可根据该视频特征识别计算精度，使用对应的特征标记算法对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点。
这里视频特征识别计算精度可根据视频通信装置的具体硬件资源以及后续进行特征渲染操作以及视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频特征识别计算精度设定的越高，人脸特征识别操作占用的硬件资源也就越多。
然后特效渲染模块53获取人脸特征点以及视频特效渲染计算精度，该视频特效渲染计算精度为对视频画面中的人脸进行人脸特效处理的特效渲染算法的计算精度，该视频特效渲染计算精度越高，则使用的特效数据越多，特效渲染结果越精细。特效渲染模块53可根据该人脸特征点以及视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这里视频特效渲染计算精度可根据视频通信装置的具体硬件资源以及后续的视频编码操作的硬件资源消耗进行设定，以保证最终视频帧数据的实时发送。这里视频特效渲染计算精度设定的越高，人脸特效处理操作占用的硬件资源也就越多。
随后编码模块54获取在特效渲染模块53进行人脸特效渲染后的视频画面以及视频编码帧率。该视频编码帧率为对人脸特效渲染后的视频画面进行编码压缩，以便满足数据传输要求的视频画面的最小画面帧率。随后编码模块54可根据该视频编码帧率对人脸特效传染后的视频画面进行编码处理，以生成相应的视频帧数据。
这里视频编码帧率可根据当前视频通信装置的剩余硬件资源进行设定，以保证最终视频帧数据的实时发送。这里视频编码帧率设定的越高，编码处理占用的硬件资源也就越多。
最后实时发送模块55将编码模块54生成具有人脸特效渲染效果的视频帧数据实时发送至接收终端，实现了人脸特效视频的实时分享操作。
这样就完成了本优选实施例的视频通信装置50的视频通信过程。
本优选实施例的视频通信装置根据终端硬件资源对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率进行设定，可有效的实现实时发送特效渲染视频画面。
请参照图6，图6为本发明的视频通信装置的第二优选实施例的结构示意图。本优选实施例的视频通信装置可使用上述的视频通信方法的第二优选实施例进行实施，本优选实施例的视频通信装置60包括参数确定模块61、视频画面采集模块62、特征识别模块63、特效渲染模块64、编码模块65、实时发送模块66、参数发送模块67以及视频画面展示模块68。
参数确定模块61用于根据发送终端的硬件资源确定视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率。视频画面采集模块62用于采集视频分辨率的视频画面。特征识别模块63用于根据视频特征识别计算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点。特效渲染模块64用于根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。编码模块65用于使用视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。实时发送模块66用于将视频帧数据实时发送至接收终端。参数发送模块67用于将发送终端的硬件资源、实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器。视频画面展示模块68用于在发送终端的屏幕对人脸特效渲染后的视频画面进行展示。
请参照图7，图7为本发明的视频通信装置的第二优选实施例的参数确定模块的结构示意图。该参数确定模块61包括资源发送单元71以及参数获取单元72。资源发送单元71用于将发送终端的硬件资源发送至服务器；参数获取单元72用于从服务器上获取视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率。
请参照图8，图8为本发明的视频通信装置的第二优选实施例的编码模块的结构示意图。该编码模块65包括编码帧率判断单元81以及参数调整单元82。编码帧率判断单元81用于判断实际编码帧率是否小于视频编码帧率；参数调整单元82用于如实际编码帧率小于所述视频编码帧率，则对视频分辨率、视频特征识别计算精度和设定特效渲染计算精度中的至少一个进行数值降低操作，以使得实际编码帧率大于等于视频编码帧率。
本优选实施例的视频通信装置60使用时，首先参数确定模块61根据发送终端(即视频通信装置)的硬件资源确定视频分辨率、视频特征识别计算精度、设定特效渲染计算精度以及视频编码帧率；具体为：
参数确定模块61的资源发送单元71将发送终端的硬件资源发送至服务器，该服务器上存储有常见的硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系，以便保证在使用发送终端的硬件资源进行视频帧数据的实时发送的基础上，最大限度的提高视频画面的画面质量。
参数确定模块61的参数获取单元72从服务器上获取其硬件资源对应的视频分辨率、视频特征识别计算精度、设定特效渲染计算精度以及视频编码帧率。
随后视频画面采集模块62通过设置在视频通信装置上的摄像头采集视频分辨率的视频画面，以便对视频画面进行人脸特效渲染。这里视频分辨率设定的越高，视频画面采集操作占用的硬件资源也就越多。
然后特征识别模块63采集到视频画面后，获取对应的视频特征识别计算精度，该特征标记算法可为图像LBF特征(Regressing LocalBinary Features,稀疏二值化特征)算法等。视频通信装置可根据该视频特征识别计算精度，使用对应的特征标记算法对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点。
特征识别模块63使用图像LBF特征算法进行人脸特征识别的过程包括：
特征识别模块63大量收集人脸特征的训练样本，如人脸图像以及手工标定的特征点位置等，然后根据每个特征点的稀疏二值化特征建立随机森林，并通过训练样本对随机森林进行机器训练，得到随机森林中的所有节点的具体参数值。
随后特征识别模块63针对要标记的人脸图像，计算出图像的所有稀疏二值化特征，然后用机器训练的随机森林对上述稀疏二值化特征进行判别得到最终的人脸特征点。
这里视频特征识别计算精度设定的越高，人脸特征识别操作占用的硬件资源也就越多。
随后特效渲染模块64获取人脸特征点以及视频特效渲染计算精度，特效渲染模块64可根据该人脸特征点以及视频特效渲染计算精度，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这里视频特效渲染计算精度设定的越高，人脸特效处理操作占用的硬件资源也就越多。
然后编码模块65获取在特效渲染模块中进行人脸特效渲染后的视频画面以及视频编码帧率。随后编码模块65可根据该视频编码帧率对人脸特效传染后的视频画面进行编码处理，以生成相应的视频帧数据。具体为：
编码模块65的编码帧率判断单元81判断实际编码帧率是否小于视频编码帧率，如实际编码帧率小于视频编码帧率，则编码模块65的参数调整单元82对视频分辨率、视频特征识别计算精度以及设定特效渲染计算精度中的至少一个进行数值降低操作，以使得实际编码帧率大于等于设定编码帧率。如实际编码帧率大于等于视频编码帧率，则编码模块65使用该实际编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。
这里视频编码帧率设定的越高，编码处理占用的硬件资源也就越多。
随后实时发送模块66将编码模块65生成具有人脸特效渲染效果的视频帧数据实时发送至接收终端，实现了人脸特效视频的实时分享操作。
然后由于视频通信装置60已完成了视频帧数据的实时发送，因此参数发送模块67可将视频通信装置的硬件资源、实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器进行保存，服务器可以根据上述信息对存储的硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系进行更新，以便其他视频通信终端进行下载参考。
最后在视频通信装置60将视频帧数据实时发送至接收终端的同时，视频画面展示模块68还在视频通信装置端的屏幕上对人脸特效渲染后的视频画面进行展示，以便用户在视频画面的发送端对人脸特效渲染后的视频画面进行查看。
这样即完成了本优选实施例的视频通信装置60的视频通信过程。
在第一优选实施例的基础上，本优选实施例的视频通信装置通过云端服务器对硬件资源与视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率的对应关系进行保存、分享以及及时更新；同时本优选实施例的视频通信装置还可根据实际编码帧率对视频分辨率、视频特征识别计算精度以及设定特效渲染计算精度进行实时调整，从而进一步提高了实时发送特效渲染视频画面的有效性。
优选的，为了进一步提高视频通信装置生成的视频画面的质量，这里可将特效渲染模块设置到接收终端进行操作。具体的，视频通信装置仅包括采集视频分辨率的视频画面的视频画面采集模块；根据视频特征识别计算精度，对视频画面中的人脸进行特征识别的，以得到视频画面中的人脸特征点的特征识别模块；使用视频编码帧率对视频画面进行编码处理，以生成视频帧数据的编码模块；以及将视频帧数据、视频画面中的人脸特征点以及选定特效数据发送至接收终端的实时发送模块。
接收终端接收到视频帧数据后，对视频帧数据进行解码操作，得到视频画面，随后接收终端在接收端根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这样可以同样可以达到实时发送特效渲染视频画面的效果，同时还可节省视频通信装置，即视频发送终端的硬件资源，进一步提高特效渲染视频画面的画面质量。
优选的，为了进一步提高视频通信装置生成的视频画面的指令，这里可将特征识别模块以及特效渲染模块设置到接收终端进行操作。具体的，视频通信装置仅包括采集视频分辨率的视频画面的视频画面采集模块；使用视频编码帧率对视频画面进行编码处理，以生成视频帧数据的编码模块；以及将视频帧数据以及选定特效数据发送至接收终端的实时发送模块。
接收终端接收到视频帧数据后，对视频帧数据进行解码操作，得到视频画面；随后接收终端根据设定特征识别结算精度，对视频画面中的人脸进行特征识别，以得到视频画面中的人脸特征点；然后接收终端根据人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
这样可以同样可以达到实时发送特效渲染视频画面的效果，同时还可进一步节省视频通信装置，即视频发送终端的硬件资源，再次提高特效渲染视频画面的画面质量。
下面通过一具体实施例说明本发明的视频通信方法及视频通信装置的具体工作原理，请参照图9和图10，图9为本发明的视频通信方法及视频通信装置的具体实施例的工作流程图；图10A、图10B为本发明的视频通信方法及视频通信装置的具体实施例的人脸特效示意图。本具体实施例中视频通信装置可设置在视频通信终端上。用户可通过该视频通信终端实现特效渲染视频画面的实时发送。该视频通信终端生成的特效渲染视频画面可直接发送至接收终端，也可通过云端服务器转发至接收终端。该视频通信流程包括：
步骤S901，视频通信终端读取本地的视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率；或根据自身的硬件资源从云端服务器上读取视频分辨率、视频特征识别计算精度、设定特效渲染计算精度和视频编码帧率。
步骤S902，当用户开始视频通话后，通过按钮点击、触摸或长按等交互方式来触发进行人脸特效渲染，触发人脸特效渲染后，视频通信终端使用步骤S901获取的视频分辨率采集视频画面。具体如图10A所示。
步骤S903，视频通信终端根据步骤S901获取的视频特征识别计算精度，对视频画面中的人脸进行特征识别，以获取视频画面中的人脸特征点。
步骤S904，视频通信终端根据步骤S901获取的设定渲染计算精度以及步骤S903获取的人脸特征点，使用选定特效数据对视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面，这里的选定特效数据可为人脸面具、人脸二维穿戴、人脸三维穿戴或人脸滤镜等。具体如图10B所示。
步骤S905，视频通信终端使用步骤S901获取的视频编码帧率对人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。
步骤S906，视频通信终端将步骤S905生成的视频帧数据直接实时发送至接收终端，或通过服务器实时转发至接收终端。同时视频通信终端的屏幕对人脸特效渲染后的视频画面进行展示操作。
这样即完成了本具体实施例的视频通信方法及视频通信装置的视频通信过程。
本发明的视频通信方法及视频通信装置通过对视频画面的分辨率、特征识别的特征识别计算精度、人脸特效处理的特效渲染计算精度以及编码处理的编码帧率的设定，可有效的实现实时发送特效渲染视频画面；解决了现有的视频通信方法以及视频通信装置中不能实时生成特效渲染视频画面，从而影响用户的视频画面分享效率的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和/或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或更多计算机之间。
图11和随后的讨论提供了对实现本发明所述的视频通信装置所在的电子设备的工作环境的简短、概括的描述。图11的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1112包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(PDA)、媒体播放器等等)、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布(下文讨论)。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(API)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图11图示了包括本发明的视频通信装置中的一个或多个实施例的电子设备1112的实例。在一种配置中，电子设备1112包括至少一个处理单元1116和存储器1118。根据电子设备的确切配置和类型，存储器1118可以是易失性的(比如RAM)、非易失性的(比如ROM、闪存等)或二者的某种组合。该配置在图11中由虚线1114图示。
在其他实施例中，电子设备1112可以包括附加特征和/或功能。例如，设备1112还可以包括附加的存储装置(例如可移除和/或不可移除的)，其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图11中由存储装置1120图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1120中。存储装置1120还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1118中由例如处理单元1116执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1118和存储装置1120是计算机存储介质的实例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1112访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1112的一部分。
电子设备1112还可以包括允许电子设备1112与其他设备通信的通信连接1126。通信连接1126可以包括但不限于调制解调器、网络接口卡(NIC)、集成网络接口、射频发射器/接收器、红外端口、USB连接或用于将电子设备1112连接到其他电子设备的其他接口。通信连接1126可以包括有线连接或无线连接。通信连接1126可以发射和/或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1112可以包括输入设备1124，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和/或任何其他输入设备。设备1112中也可以包括输出设备1122，比如一个或多个显示器、扬声器、打印机和/或任意其他输出设备。输入设备1124和输出设备1122可以经由有线连接、无线连接或其任意组合连接到电子设备1112。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1112的输入设备1124或输出设备1122。
电子设备1112的组件可以通过各种互连(比如总线)连接。这样的互连可以包括外围组件互连(PCI)(比如快速PCI)、通用串行总线(USB)、火线(IEEE1394)、光学总线结构等等。在另一个实施例中，电子设备1112的组件可以通过网络互连。例如，存储器1118可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1128访问的电子设备1130可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1112可以访问电子设备1130并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1112可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1112处执行并且一些指令可以在电子设备1130处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件、资源等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号，如“第一”、“第二”等仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
Claims (18)
1.一种视频通信方法，其特征在于，包括：
采集视频画面；
对所述视频画面中人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；
判断所述视频帧数据的实际编码帧率是否小于视频编码帧率；以及
如所述实际编码帧率小于所述视频编码帧率，则对画面采集参数以及画面渲染参数进行调整，以使得所述实际编码帧率大于等于所述视频编码帧率，从而将所述视频帧数据实时发送至接收终端。
2.根据权利要求1所述的视频通信方法，其特征在于，
所述采集视频画面的步骤包括：
使用视频分辨率采集所述视频画面；
所述对所述视频画面中人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面的步骤包括：
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；以及
根据所述人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
所述对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据的步骤包括：
使用所述视频编码帧率对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。
3.根据权利要求2所述的视频通信方法，其特征在于，所述视频通信方法包括：
根据发送终端的硬件资源确定所述视频分辨率、所述视频特征识别计算精度、所述设定特效渲染计算精度和所述视频编码帧率。
4.根据权利要求3所述的视频通信方法，其特征在于，所述根据发送终端的硬件资源确定所述视频分辨率、所述视频特征识别计算精度、所述设定特效渲染计算精度和所述视频编码帧率的步骤包括：
将所述发送终端的硬件资源发送至服务器；
从所述服务器上获取所述视频分辨率、所述视频特征识别计算精度、所述设定特效渲染计算精度和所述视频编码帧率。
5.根据权利要求1所述的视频通信方法，其特征在于，所述对画面采集参数以及画面渲染参数进行调整，以使得所述实际编码帧率大于等于所述视频编码帧率的步骤包括：
对所述视频分辨率、所述视频特征识别计算精度和所述设定特效渲染计算精度中的至少一个进行数值降低操作，以使得所述实际编码帧率大于等于所述视频编码帧率。
6.根据权利要求5所述的视频通信方法，其特征在于，所述视频通信方法包括：
将所述发送终端的硬件资源、所述实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器。
7.根据权利要求1所述的视频通信方法，其特征在于，所述视频通信方法还包括步骤：
在所述发送终端的屏幕对所述人脸特效渲染后的视频画面进行展示。
8.一种视频通信方法，其特征在于，包括：
使用视频分辨率采集所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；以及
将所述视频帧数据、所述视频画面中的人脸特征点以及选定特效数据发送至接收终端，以便所述接收终端对视频画面中的人脸进行人脸特征处理；
其中所述接收终端对所述视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
9.一种视频通信方法，其特征在于，包括：
使用视频分辨率采集所述视频画面；
使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；
将所述视频帧数据以及选定特效数据发送至接收终端，以便所述接收终端对所述视频画面中的人脸进行人脸特效处理；
其中所述接收终端对所述视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
10.一种视频通信装置，其特征在于，包括：
视频画面采集模块，用于采集视频画面；
特征识别模块，用于对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
特效渲染模块，用于根据所述人脸特征点，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；
编码模块，用于对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据；以及
实时发送模块，用于将所述视频帧数据实时发送至接收终端；
所述编码模块包括：
编码帧率判断单元，用于判断实际编码帧率是否小于所述视频编码帧率；以及
参数调整单元，用于如所述实际编码帧率小于所述视频编码帧率，则对画面采集参数以及画面渲染参数进行调整，以使得所述实际编码帧率大于等于所述视频编码帧率，从而将所述视频帧数据实时发送至接收终端。
11.根据权利要求10所述的视频通信装置，其特征在于，
所述视频画面采集模块用于使用视频分辨率采集所述视频画面；
所述特征识别模块用于根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
所述特效渲染模块用于根据所述人脸特征点和视频特效渲染计算精度，使用选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面；以及
所述编码模块用于使用所述视频编码帧率对所述人脸特效渲染后的视频画面进行编码处理，以生成视频帧数据。
12.根据权利要求11所述的视频通信装置，其特征在于，所述视频通信装置包括：
参数确定模块，用于根据发送终端的硬件资源确定所述视频分辨率、所述视频特征识别计算精度、所述设定特效渲染计算精度和所述视频编码帧率。
13.根据权利要求12所述的视频通信装置，其特征在于，所述参数确定模块包括：
资源发送单元，用于将所述发送终端的硬件资源发送至服务器；以及
参数获取单元，用于从所述服务器上获取所述视频分辨率、所述视频特征识别计算精度、所述设定特效渲染计算精度和所述视频编码帧率。
14.根据权利要求10所述的视频通信装置，其特征在于，所述参数调整单元用于如所述实际编码帧率小于所述视频编码帧率，则对所述视频分辨率、所述视频特征识别计算精度和所述设定特效渲染计算精度中的至少一个进行数值降低操作，以使得所述实际编码帧率大于等于所述视频编码帧率。
15.根据权利要求14所述的视频通信装置，其特征在于，所述视频通信装置还包括：
参数发送模块，用于将所述发送终端的硬件资源、所述实际编码帧率、实际分辨率、实际特征识别计算精度以及实际特征渲染计算精度发送至服务器。
16.根据权利要求10所述的视频通信装置，其特征在于，所述视频通信装置还包括：
视频画面展示模块，用于在所述发送终端的屏幕对所述人脸特效渲染后的视频画面进行展示。
17.一种视频通信装置，其特征在于，包括：
视频画面采集模块，用于使用视频分辨率采集视频画面；
特征识别模块，用于根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；
编码模块，用于使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；以及
实时发送模块，用于将所述视频帧数据、所述视频画面中的人脸特征点以及选定特效数据发送至接收终端，以便所述接收终端对视频画面中的人脸进行人脸特征处理；
其中所述接收终端对视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
18.一种视频通信装置，其特征在于，包括：
视频画面采集模块，用于使用视频分辨率采集视频画面；
编码模块，用于使用视频编码帧率对所述视频画面进行编码处理，以生成视频帧数据；
实时发送模块，用于将所述视频帧数据以及选定特效数据发送至接收终端，以便所述接收终端对所述视频画面中的人脸进行人脸特效处理
其中所述接收终端对视频画面中的人脸进行人脸特效处理的步骤包括：
对所述视频帧数据进行解码操作，得到所述视频画面；
根据视频特征识别计算精度，对所述视频画面中的人脸进行特征识别，以得到所述视频画面中的人脸特征点；以及
根据所述人脸特征点和视频特效渲染计算精度，使用所述选定特效数据对所述视频画面中的人脸进行人脸特效处理，以得到人脸特效渲染后的视频画面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710060309.3A CN108304753B (zh) | 2017-01-24 | 2017-01-24 | 视频通信方法及视频通信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710060309.3A CN108304753B (zh) | 2017-01-24 | 2017-01-24 | 视频通信方法及视频通信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108304753A true CN108304753A (zh) | 2018-07-20 |
| CN108304753B CN108304753B (zh) | 2020-05-19 |
Family
ID=62872392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710060309.3A Active CN108304753B (zh) | 2017-01-24 | 2017-01-24 | 视频通信方法及视频通信装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108304753B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109831636A (zh) * | 2019-01-28 | 2019-05-31 | 努比亚技术有限公司 | 互动视频控制方法、终端及计算机可读存储介质 |
| CN110139141A (zh) * | 2019-04-28 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 视频画面渲染方法、装置、存储介质及电子设备 |
| CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
| WO2020062743A1 (zh) * | 2018-09-30 | 2020-04-02 | 北京微播视界科技有限公司 | 视频码率调整方法以及装置、终端及存储介质 |
| WO2023213274A1 (zh) * | 2022-05-05 | 2023-11-09 | 维沃移动通信有限公司 | 数据处理方法、装置、终端、网络侧设备及介质 |
| WO2024012590A1 (zh) * | 2022-07-15 | 2024-01-18 | 中兴通讯股份有限公司 | 音视频呼叫方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567720A (zh) * | 2011-12-26 | 2012-07-11 | 广州市千钧网络科技有限公司 | Flash在线视频的人脸识别方法及人脸识别装置 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| CN104270649A (zh) * | 2014-10-28 | 2015-01-07 | 中怡(苏州)科技有限公司 | 影像编码装置及影像编码方法 |
| US20150042762A1 (en) * | 2013-08-12 | 2015-02-12 | Electronics And Telecommunications Research Institute | Apparatus and method for making special effects makeup mask |
| CN104683823A (zh) * | 2013-11-29 | 2015-06-03 | 红板凳科技股份有限公司 | 一种多屏联动音视频同步系统 |
| CN104853134A (zh) * | 2014-02-13 | 2015-08-19 | 腾讯科技（深圳）有限公司 | 一种视频通信方法及装置 |
| CN106210855A (zh) * | 2016-07-11 | 2016-12-07 | 网易（杭州）网络有限公司 | 对象显示方法和装置 |
| CN106231434A (zh) * | 2016-07-25 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 一种基于人脸检测的直播互动特效实现方法及系统 |
-
2017
- 2017-01-24 CN CN201710060309.3A patent/CN108304753B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102567720A (zh) * | 2011-12-26 | 2012-07-11 | 广州市千钧网络科技有限公司 | Flash在线视频的人脸识别方法及人脸识别装置 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| US20150042762A1 (en) * | 2013-08-12 | 2015-02-12 | Electronics And Telecommunications Research Institute | Apparatus and method for making special effects makeup mask |
| CN104683823A (zh) * | 2013-11-29 | 2015-06-03 | 红板凳科技股份有限公司 | 一种多屏联动音视频同步系统 |
| CN104853134A (zh) * | 2014-02-13 | 2015-08-19 | 腾讯科技（深圳）有限公司 | 一种视频通信方法及装置 |
| CN104270649A (zh) * | 2014-10-28 | 2015-01-07 | 中怡(苏州)科技有限公司 | 影像编码装置及影像编码方法 |
| CN106210855A (zh) * | 2016-07-11 | 2016-12-07 | 网易（杭州）网络有限公司 | 对象显示方法和装置 |
| CN106231434A (zh) * | 2016-07-25 | 2016-12-14 | 武汉斗鱼网络科技有限公司 | 一种基于人脸检测的直播互动特效实现方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020062743A1 (zh) * | 2018-09-30 | 2020-04-02 | 北京微播视界科技有限公司 | 视频码率调整方法以及装置、终端及存储介质 |
| CN109831636A (zh) * | 2019-01-28 | 2019-05-31 | 努比亚技术有限公司 | 互动视频控制方法、终端及计算机可读存储介质 |
| CN110139141A (zh) * | 2019-04-28 | 2019-08-16 | 腾讯科技（深圳）有限公司 | 视频画面渲染方法、装置、存储介质及电子设备 |
| CN110475065A (zh) * | 2019-08-19 | 2019-11-19 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
| WO2023213274A1 (zh) * | 2022-05-05 | 2023-11-09 | 维沃移动通信有限公司 | 数据处理方法、装置、终端、网络侧设备及介质 |
| WO2024012590A1 (zh) * | 2022-07-15 | 2024-01-18 | 中兴通讯股份有限公司 | 音视频呼叫方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108304753B (zh) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108304753A (zh) | 视频通信方法及视频通信装置 | |
| US10013724B2 (en) | Quick response (QR) secure shake | |
| CN109091861B (zh) | 游戏中的交互控制方法、电子设备及存储介质 | |
| CN111476871B (zh) | 用于生成视频的方法和装置 | |
| CN108683937A (zh) | 智能电视的语音交互反馈方法、系统及计算机可读介质 | |
| US20170192734A1 (en) | Multi-interface unified displaying system and method based on virtual reality | |
| US20180144557A1 (en) | Method and user terminal for providing hologram image-based message service, and hologram image display device | |
| CN108234659B (zh) | 数据处理方法、装置及系统 | |
| JP7384943B2 (ja) | 文字生成モデルのトレーニング方法、文字生成方法、装置、機器及び媒体 | |
| WO2019227429A1 (zh) | 多媒体内容生成方法、装置和设备/终端/服务器 | |
| CN111539897A (zh) | 用于生成图像转换模型的方法和装置 | |
| WO2020034981A1 (zh) | 编码信息的生成方法和识别方法 | |
| US20200219207A1 (en) | Focus-object-determined communities for augmented reality users | |
| CN106530377B (zh) | 用于操作三维动画角色的方法和装置 | |
| CN109388722A (zh) | 一种用于添加或查找社交联系人的方法与设备 | |
| JP2022091904A (ja) | ミニプログラムページのスキン切り替え方法、装置及び電子機器 | |
| Barboza et al. | A simple architecture for digital games on demand using low performance resources under a cloud computing paradigm | |
| CN114266937A (zh) | 模型训练、图像处理方法，装置，设备以及存储介质 | |
| CN109445573A (zh) | 一种用于虚拟化身形象互动的方法与装置 | |
| CN112488964A (zh) | 针对滑动列表的图像处理方法、相关装置、设备及介质 | |
| CN116798129A (zh) | 一种活体检测方法、装置、存储介质及电子设备 | |
| KR20150061470A (ko) | 데스크톱 가상화 서비스 제공 시스템 및 방법 | |
| CN107357481A (zh) | 消息展示方法及消息展示装置 | |
| WO2019100234A1 (zh) | 实现信息互动的方法和装置 | |
| CN108959393A (zh) | 动态图片处理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |