CN106303690A - 一种视频处理方法及装置 - Google Patents
一种视频处理方法及装置 Download PDFInfo
- Publication number
- CN106303690A CN106303690A CN201510280037.9A CN201510280037A CN106303690A CN 106303690 A CN106303690 A CN 106303690A CN 201510280037 A CN201510280037 A CN 201510280037A CN 106303690 A CN106303690 A CN 106303690A
- Authority
- CN
- China
- Prior art keywords
- virtual objects
- target video
- video
- face location
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000009877 rendering Methods 0.000 claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001215 vagina Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种视频处理方法及装置，其中的方法可包括：实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；在所述目标视频的所述添加位置实时绘制所述虚拟物品；当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。本发明可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种视频处理方法及装置。
背景技术
随着通信技术的发展，视频是人们生活中常接触的一个分支，例如，用户可以通过视频观看电视节目，通过视频与其他用户进行视频通话等等。现有的视频处理技术中仅仅是将原有的视频文件中的视频流进行播放，例如，在进行视频通话时，将发送端利用摄像头所采集的本地视频直接发送至接收端进行播放，这种视频播放方式比较呆板固定，用户也无法进行操作。
发明内容
本发明实施例提供一种视频处理方法及装置，可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
本发明第一方面提供一种视频处理方法，可包括：
实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
在所述目标视频的所述添加位置实时绘制所述虚拟物品；
当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
本发明第二方面提供一种视频处理装置，可包括：
第一获取模块，用于实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
第二获取模块，用于获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
绘制模块，用于在所述目标视频的所述添加位置实时绘制所述虚拟物品；
更新模块，用于当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
实施本发明实施例，具有如下有益效果：
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频处理方法的流程图；
图2为本发明实施例提供的另一种视频处理方法的流程图；
图3为本发明实施例提供的又一种视频处理方法的流程图；
图4为本发明实施例提供的一种虚拟物品添加的示意图；
图5为本发明实施例提供的一种对虚拟物品操作的示意图；
图6为本发明实施例提供的一种视频同步的示意图；
图7为本发明实施例提供的一种视频通话的示意图；
图8为本发明实施例提供的一种数据帧结构示意图；
图9为本发明实施例提供的一种视频通话流程示意图；
图10为本发明实施例提供的一种视频处理装置的结构示意图；
图11为本发明实施例提供的另一种视频处理装置的结构示意图；
图12为本发明实施例提供的又一种视频处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例的视频处理方法可以应用于利用智能手机、个人电脑、个人数字助手等终端的视频通话的应用场景中，也可以应用于利用终端观看视频的应用场景中。采用本发明的视频处理方法可以实现在视频中人物的人脸相应位置添加虚拟物品，视频处理方式丰富多样，提高了用户体验。
若本发明实施例的视频处理方法应用于视频通话应用场景中，则可以应用于发送端的视频处理过程中，也可以应用于接收端的视频处理过程中。
本发明实施例中的虚拟物品可以包括静态虚拟物品(例如虚拟饰品)，也可以包括动态虚拟物品(例如电子宠物)。
下面将结合附图1-附图9，对本发明实施例提供的视频处理方法进行详细介绍。
请参照图1，为本发明实施例提供的一种视频处理方法的流程图；该方法可包括以下步骤S100-步骤S103。
S100，实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
具体实施例中，待处理的目标视频可以是用户正在观看的视频，也可以是在即时通讯应用中通过调用系统组件打开本地摄像头采集的本地视频，或者为终端与通信对端进行视频通话时，通信对端传输的目标视频。实时获取待处理目标视频中的人脸位置信息的获取方式可以是，对目标视频中的视频数据进行人脸检测，人脸检测算法比较多，可以根据具体项目需求进行选择，例如在即时通讯应用中使用系统的图像检测方法，获得人脸特征数据，并将所获得的人脸特征数据进行相应的转换(如位置比例、图像方向处理)得到视频图像中真实人脸位置信息。
需要说明的是，当终端与通信对端进行视频通话时，所获取的目标视频为通信对端所发送的视频，由于目标视频在传输过程中由于压缩、网络等原因会造成目标视频的失真，因此若在终端对目标视频进行分析获得人脸位置信息是不准确的，因此通信对端在发送目标视频时，同时将所分析得到的人脸位置信息发送至终端，终端即可以获得目标视频中的人脸位置信息。
S101，获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
具体实施例中，虚拟物品可以是在人的脸部周围叠加的虚拟物体，可选的，虚拟物品可以是静态虚拟物品，例如帽子、眼镜、头饰等等，虚拟物品也可以是动态虚拟物品，例如电子宠物。进一步可选的，本发明中的虚拟物品可以是3D物体，所有的虚拟物品存储在虚拟物体模型库中，在虚拟物体模型库中每个虚拟物品均作为一个本地文件进行存储，且进行不同的编号标识，在显示时根据其标识来导入虚拟物品。虚拟物品的3D模型可以由第三方建模软件实现。在获取待添加的虚拟物品时，直接导出绘制该虚拟物品所需的位置模型信息、纹理贴图等等，该位置模型信息可以是对于人脸位置的相对位置(即是虚拟物品在视图的显示位置)，根据虚拟物品的位置模型信息和人脸位置信息可以计算出虚拟物品在人脸位置上的添加位置，该添加位置即是在目标视频的具体图像中的坐标信息。
S102，在所述目标视频的所述添加位置实时绘制所述虚拟物品；
具体实施例中，根据虚拟物品的显示形状样式、纹理贴图以及表面颜色在目标视频的添加位置实时绘制虚拟物品，如图4右边的图所示，即是在人脸上方绘制了一个帽子，如图4左边的图所示，为未绘制虚拟物品的人脸图像。由于是实时绘制，因此当用户的人脸移动或者是摆动时，虚拟物品仍然会随着人脸的变化而变化。如图5所示，当人脸位置向右移动时，帽子也会跟随人脸移动变化，当人脸位置摆动时，帽子也会跟随人脸摆动而倾斜。
S103，当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
具体实施例中，当虚拟物品在目标视频中正确显示后，用户可以对虚拟视频进行控制操作，例如用户可以点击、旋转、移动虚拟物品，具体的，监听用户在屏幕的滑动信息，根据该滑动信息对虚拟物体的位置矩阵进行变换实现对虚拟物体的平移、旋转、缩放等等，从而更新虚拟物品的位置状态。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
请参照图2，为本发明实施例提供的另一种视频处理方法的流程图；该方法可包括以下步骤S200-步骤S207。
S200，实时采集本地视频数据，并将所述本地视频数据确定为待处理的目标视频；
具体实施例中，当用户通过终端的即时通讯应用与通信对端进行视频通话时，通过调用系统组件打开本地摄像头采集本地视频数据，将所采集的本地视频数据确定为待处理的目标视频。将目标视频压缩组包通过即时通讯应用的特定通道传输至通信对端，通信对端再进行解包显示。本发明中在将目标视频传输至通信对端时，还需要对目标视频进行处理，在目标视频中的人脸位置周围叠加虚拟物品，例如帽子、眼镜、头饰、电子宠物等等。
S201，对所述目标视频进行分析，获得所述目标视频中的人脸位置信息。
具体实施例中，对目标视频进行人脸检测分析，获得目标视频中的人脸位置信息。人脸检测算法比较多，可根据具体项目需求进行选择。在即时通讯应用中使用系统的图像检测方法，获得人脸特征数据并将该人脸特征数据进行相应的转换(位置比例、图像方向处理)得到目标视频中图像的真实人脸位置。
S202，从虚拟物体模型库中获取待添加的虚拟物品，并从所述虚拟物体模型库中获取与所述虚拟物品对应的位置矩阵；
具体实施例中，所添加的虚拟物品可以是3D物体，获取方式为从虚拟物体模型库中获取待添加的虚拟物品。需要说明的是，获取之前需要对虚拟物体模型库进行初始化，在虚拟物体模型库中建立各个虚拟物品的3D模型，建立虚拟物品的3D模型可以由第三方建模软件实现，当需要获取某一个虚拟物品时，直接从虚拟物体模型库中导出绘制该虚拟物品的模型信息即可，模型信息可以包括该虚拟物品对应的位置矩阵、纹理贴图等等。在使用虚拟物体模型库中建立虚拟物品的3D模型时，由4个要素组成：
1.虚拟物品的显示模型，用来控制模型的形状样式。
2.虚拟物品的纹理贴图，决定模型的表面纹理，比如帽子的材质。
3.虚拟物品的表面颜色，用来控制模型的整体色调。
4.虚拟物品对应的位置矩阵，决定模型在视图的显示位置。
只要获得了人脸位置信息和建模软件导出的模型信息，即可完成在人脸的适当位置显示虚拟物品，并可随着人脸的移动和人脸的摆动发生相应的变化。
在本地所建立的虚拟物体模型库中，每个虚拟物品的模型信息作为一个本地文件进行存储，且进行不同的标识，在显示时根据其标识来导入虚拟物品的模型信息。在本发明实施例中，使用即时通讯应用的离线更新机制来管理虚拟物体模型库，并随时更新虚拟物品的样式，初始安装时将默认的几个虚拟物品的模型信息打包进去，之后在用户使用过程中，当后台完成一个新的虚拟物品发布给用户，即时通讯应用即根据检查更新机制来完成虚拟物体模型库的更新。
S203，根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
具体实施例中，虚拟物品对应的位置矩阵可以表明虚拟物品在人脸位置上的相对位置，人脸位置信息可以表明真实人脸在目标视频的坐标信息，因此根据虚拟物品对应的位置矩阵和人脸位置信息可以计算出虚拟物品在人脸位置上的添加位置，该添加位置即是虚拟物品在目标视频中的坐标信息。
S204，在所述目标视频的所述添加位置实时绘制所述虚拟物品；
本发明实施例步骤S204请参照图1的实施例步骤S102，在此不再赘述。
S205，当检测到通过终端触屏设备对所述虚拟物品进行控制操作时，将所述控制操作转换为模型位置改变信息；
具体实施例中，虚拟物品显示后，用户可以通过终端触屏设备对虚拟物品进行控制操作，例如点击、旋转以及移动等等。当在移动模式下，用户手指拖拽虚拟物品时，将在屏幕中的滑动信息转换为模型位置改变信息，来控制虚拟物品跟随手指移动方向调整虚拟物品的位置；在旋转模式下，将用户在屏幕不同的旋转角度信息转换为模型位置改变信息，并控制虚拟物品跟随用户的意愿进行不同角度的旋转。在所有模式下均可根据用户的双指缩放手势来控制饰品的展示大小，即是将缩放移动信息转换为模型位置改变信息。
S206，根据所述模型位置改变信息，更新所述虚拟物品的位置状态。
具体实施例中，根据所获得的模型位置改变信息，可以更新虚拟物品的位置状态，例如，根据模型位置改变信息对虚拟物品进行移动、旋转等等。
可选的，若所述终端与通信对端进行视频通话，本发明实施例还包括步骤S207：
S207，将所述目标视频、所述人脸位置信息、所述虚拟物品标识以及用于表示所述控制操作的交互数据同步至所述通信对端，以使所述通信对端重组添加虚拟物品后的所述目标视频。
具体实施例中，当终端与通信对端进行视频通话时，为了将本端用户添加了虚拟物品的目标视频传输至通信对端，使得通信对端可以实时同步显示，本发明实施例中所采用的方法是将目标视频、所检测出的人脸位置信息、虚拟物品标识以及用于表示控制操作的交互数据同步至通信对端，以使通信对端可以重组添加虚拟物品后的目标视频，即是重新在目标视频中的人脸的相应位置绘制虚拟物品，如图6所示，两个画面分别为在发送端的终端所显示的画面和接收端的通信对端所显示的画面。
具体的，如图8所示，即是需要传输的各个数据的帧结构图，传输通道中一帧数据结构中包括图像数据和饰品数据，图像数据即是目标视频数据。饰品数据字段包括：本地视频检测的人脸位置信息facePositon；本地视频用户对虚拟物品的移动数据localMoveData；本地视频用户对虚拟物品的旋转数据localRotatData；本地视频用户对虚拟物品的缩放数据localScalData；本地视频中虚拟物品标识localID。
在视频通话过程中，任何一端均可以作为发送端，如图7所示，当客户端A将本地发送画面中的人脸位置信息和交互数据发送至客户端B时，则本发明实施例适用于客户端A，当客户端B将本地发送画面中的人脸位置信息和交互数据发送至客户端A时，则本发明实施例适用于客户端B。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
请参照图3，为本发明实施例提供的又一种视频处理方法的流程图；该方法可包括以下步骤S300-步骤S304。
S300，当终端与通信对端进行视频通话时，获取所述通信对端同步的目标视频以及所述目标视频中的人脸位置信息。
具体实施例中，在目标视频中添加虚拟物品的视频处理方法既适用于进行视频通话的发送端，也适用于进行视频通话的接收端，若为接收端对目标视频进行处理时，则获取通信对端同步的目标视频以及目标视频中的人脸位置信息。如图8所示，获取通信对端同步的帧结构中图像数据以及饰品数据中的人脸位置信息。
S301，获取所述通信对端同步的待添加的虚拟物品标识，并从虚拟物体模型库中获取与所述虚拟物品标识对应的虚拟物品以及与所述虚拟物品对应的位置矩阵；
具体实施例中，为了能够减小数据传输量，在视频通话过程中，通信对端仅仅是将待添加的虚拟物品标识同步至本端，如图8所示，获取通信对端同步的帧结构中饰品数据中虚拟物品标识。本端与通信对端均建立了虚拟物体模型库，因此可以从虚拟物体模型库中获取与虚拟物品标识对应的虚拟物品以及位置矩阵。
S302，根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
具体实施例中，与图2的步骤S203相同的计算方式，根据虚拟物品对应的位置矩阵和人脸位置信息即可以计算虚拟物品在人脸位置上的添加位置，由于是相同的目标视频、相同的人脸位置信息、相同的虚拟物品以及相同的计算方式，因此本端可以达到和通信对端视频同步的效果。
S303，在所述目标视频的所述添加位置实时绘制所述虚拟物品；
本发明实施例步骤S303请参照图1的实施例步骤S102，在此不再赘述。
S304，当检测到所述通信对端同步用于表示对所述虚拟物品的控制操作的交互数据时，根据所述交互数据更新所述虚拟物品的位置状态。
具体实施例中，若通信对端对虚拟物品进行了控制操作，则会将用于表示对虚拟物品的控制操作的交互数据同步至本端，如图8所示，获取通信对端同步的帧结构中饰品数据中交互数据，该交互数据表明用户对虚拟物品的一些控制操作，例如移动、旋转等等。根据交互数据更新虚拟物品的位置状态，即可以达到与通信对端实时同步的效果。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
本发明实施例主要针对虚拟物品为动态虚拟物品进行举例说明，该方法可包括以下步骤S400-步骤S403；
S400，实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
本发明实施例步骤S400请参照图1的实施例步骤S100，在此不再赘述。
S401，获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
具体实施例中，待添加的虚拟物品可以为动态虚拟物品，例如，电子宠物。所有的动态虚拟物品存储在虚拟物体模型库中，在虚拟物体模型库中每个动态虚拟物品均作为一个本地文件进行存储，且进行不同的编号标识，在显示时根据其标识来导入动态虚拟物品。由于虚拟物品为动态物品，因此每个本地文件中存储了该动态虚拟物品对应的多帧数据，对于每一帧数据实际为一个静态虚拟物品图像。在一个本地文件中的每一帧数据包括该帧图像显示中虚拟物品的显示形状样式、纹理贴图、表面颜色以及位置模型信息，因此在建模导出动态虚拟物品的某一帧数据时与静态虚拟物品的建模导出方式一样，即是在对动态虚拟物品的每一帧数据建模时也需要4个要素组成：
1.动态虚拟物品的显示模型，用来控制模型的形状样式。
2.动态虚拟物品的纹理贴图，决定模型的表面纹理，比如帽子的材质。
3.动态虚拟物品的表面颜色，用来控制模型的整体色调。
4.动态虚拟物品对应的位置矩阵，决定模型在视图的显示位置。
根据动态虚拟物品的每一帧数据中位置模型信息和人脸位置信息可以计算出动态虚拟物品的每一帧数据对应在人脸位置上的添加位置。
S402，在所述目标视频的所述添加位置实时绘制所述虚拟物品；
具体实施例中，由于虚拟物品为动态虚拟物品，存在多帧数据，因此在目标视频中绘制动态虚拟物品时，需要根据每帧数据中的位置模型信息、显示形状样式、纹理贴图以及表面颜色进行实时绘制，每帧数据之间的绘制间隔可以和目标视频中每帧图像数据之间的间隔相同，也可以不同。通过根据动态虚拟物品的多帧数据进行实时绘制，给用户视觉可以产生动态效果。
S403，当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
具体实施例中，由于动态虚拟物品存在多帧数据之间间隔显示，因此当检测到控制操作时，目标视频中可能正在显示动态虚拟物品中的某一帧数据，则在根据控制操作更新虚拟物品的状态时，也需要对正在显示的动态虚拟物品的该帧数据进行位置矩阵变换，从而实现更新动态虚拟物品的位置状态。
需要说明的是，当终端与通信对端进行视频通话时，也需要将动态虚拟物品标识同步至通信对端，通信对端也可以通过从虚拟物体模型库中获取该动态虚拟物品标识所对应的多帧数据，并进行实时绘制，达到同步效果。
请参阅图9，为本发明实施例提供的一种视频通话流程示意图，本实施例的视频处理方法既可以适用于发送方终端，也可以适用于接收方终端，图2实施例中的视频处理方法可以适用于发送方终端，图3实施例中的视频处理方法可以适用于接收方终端，但是任何一个终端均可以作为发送方终端，也可以作为接收方终端；
如图9所示，发送方终端中获取本地视频后进行人脸检测获得人脸位置数据，根据人脸位置数据添加虚拟物品形成虚拟画面，用户可以对虚拟画面中的虚拟物品进行操作，则虚拟画面中的虚拟物品变化，形成显示的虚实画面。同时将用于表示对虚拟物品操作的交互数据以及人脸位置数据通过传输通道传输至接收方终端。发送方终端将目标视频也通过视频传输通道传输至接收方终端。
接收方终端从传输通道中的帧结构中获取人脸位置、交互数据以及目标视频，根据目标视频中的人脸位置添加虚拟物品，形成虚拟画面，再根据交互数据对虚拟画面中的虚拟物品进行相应的变化，形成虚实画面，与发送方终端达到同步效果。
下面将结合附图10-附图12，对本发明实施例提供的一种视频处理装置进行详细介绍。
请参阅图10，为本发明实施例提供的一种视频处理装置的结构示意图；该装置可包括：第一获取模块100、第二获取模块101、绘制模块102以及更新模块103；
第一获取模块100，用于实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
具体实施例中，待处理的目标视频可以是用户正在观看的视频，也可以是在即时通讯应用中通过调用系统组件打开本地摄像头采集的本地视频，或者为终端与通信对端进行视频通话时，通信对端传输的目标视频。第一获取模块100实时获取待处理目标视频中的人脸位置信息的获取方式可以是，对目标视频中的视频数据进行人脸检测，人脸检测算法比较多，可以根据具体项目需求进行选择，例如在即时通讯应用中使用系统的图像检测方法，获得人脸特征数据，并将所获得的人脸特征数据进行相应的转换(如位置比例、图像方向处理)得到视频图像中真实人脸位置信息。
需要说明的是，当终端与通信对端进行视频通话时，所获取的目标视频为通信对端所发送的视频，由于目标视频在传输过程中由于压缩、网络等原因会造成目标视频的失真，因此若在终端对目标视频进行分析获得人脸位置信息是不准确的，因此通信对端在发送目标视频时，同时将所分析得到的人脸位置信息发送至终端，终端即可以获得目标视频中的人脸位置信息。
第二获取模块101，用于获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
具体实施例中，虚拟物品可以是在人的脸部周围叠加的虚拟物体，可选的，虚拟物品可以是静态虚拟物品，例如帽子、眼镜、头饰等等，虚拟物品也可以是动态虚拟物品，例如电子宠物。进一步可选的，本发明中的虚拟物品可以是3D物体，所有的虚拟物品存储在虚拟物体模型库中，在虚拟物体模型库中每个虚拟物品均作为一个本地文件进行存储，且进行不同的编号标识，在显示时根据其标识来导入虚拟物品。虚拟物品的3D模型可以由第三方建模软件实现。第二获取模块101在获取待添加的虚拟物品时，直接导出绘制该虚拟物品所需的位置模型信息、纹理贴图等等，该位置模型信息可以是对于人脸位置的相对位置(即是虚拟物品在视图的显示位置)，根据虚拟物品的位置模型信息和人脸位置信息可以计算出虚拟物品在人脸位置上的添加位置，该添加位置即是在目标视频的具体图像中的坐标信息。
进一步可选的，待添加的虚拟物品可以为动态虚拟物品，例如，电子宠物。所有的动态虚拟物品存储在虚拟物体模型库中，在虚拟物体模型库中每个动态虚拟物品均作为一个本地文件进行存储，且进行不同的编号标识，在显示时根据其标识来导入动态虚拟物品。由于虚拟物品为动态物品，因此每个本地文件中存储了该动态虚拟物品对应的多帧数据，对于每一帧数据实际为一个静态虚拟物品图像。在一个本地文件中的每一帧数据包括该帧图像显示中虚拟物品的显示形状样式、纹理贴图、表面颜色以及位置模型信息，因此在建模导出动态虚拟物品的某一帧数据时与静态虚拟物品的建模导出方式一样，即是在对动态虚拟物品的每一帧数据建模时也需要4个要素组成：
1.动态虚拟物品的显示模型，用来控制模型的形状样式。
2.动态虚拟物品的纹理贴图，决定模型的表面纹理，比如帽子的材质。
3.动态虚拟物品的表面颜色，用来控制模型的整体色调。
4.动态虚拟物品对应的位置矩阵，决定模型在视图的显示位置。
根据动态虚拟物品的每一帧数据中位置模型信息和人脸位置信息可以计算出动态虚拟物品的每一帧数据对应在人脸位置上的添加位置。
绘制模块102，用于在所述目标视频的所述添加位置实时绘制所述虚拟物品；
具体实施例中，绘制模块102根据虚拟物品的显示形状样式、纹理贴图以及表面颜色在目标视频的添加位置实时绘制虚拟物品，如图4右边的图所示，即是在人脸上方绘制了一个帽子，如图4左边的图所示，为未绘制虚拟物品的人脸图像。由于是实时绘制，因此当用户的人脸移动或者是摆动时，虚拟物品仍然会随着人脸的变化而变化。如图5所示，当人脸位置向右移动时，帽子也会跟随人脸移动变化，当人脸位置摆动时，帽子也会跟随人脸摆动而倾斜。
进一步可选的，虚拟物品可以为动态虚拟物品，由于虚拟物品为动态虚拟物品，因此存在多帧数据，因此在目标视频中绘制动态虚拟物品时，需要根据每帧数据中的位置模型信息、显示形状样式、纹理贴图以及表面颜色进行实时绘制，每帧数据之间的绘制间隔可以和目标视频中每帧图像数据之间的间隔相同，也可以不同。通过根据动态虚拟物品的多帧数据进行实时绘制，给用户视觉可以产生动态效果。
更新模块103，用于当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
具体实施例中，当虚拟物品在目标视频中正确显示后，用户可以对虚拟视频进行控制操作，例如用户可以点击、旋转、移动虚拟物品，具体的，更新模块103监听用户在屏幕的滑动信息，根据该滑动信息对虚拟物体的位置矩阵进行变换实现对虚拟物体的平移、旋转、缩放等等，从而更新虚拟物品的位置状态。
进一步可选的，虚拟物品可以为动态虚拟物品，由于动态虚拟物品存在多帧数据之间间隔显示，因此当检测到控制操作时，目标视频中可能正在显示动态虚拟物品中的某一帧数据，则在根据控制操作更新虚拟物品的状态时，也需要对正在显示的动态虚拟物品的该帧数据进行位置矩阵变换，从而实现更新动态虚拟物品的位置状态。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
请参照图11，为本发明实施例提供的另一种视频处理装置的结构示意图；该装置是在图10的视频处理装置上进行优化得到，如图所示，本发明实施例的视频处理装置包括：
第一获取模块200，用于实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
可选的，如图所示，第一获取模块200可以包括采集单元2000和分析单元2001；
采集单元2000，用于实时采集本地视频数据，并将所述本地视频数据确定为待处理的目标视频；
具体实施例中，当用户通过终端的即时通讯应用与通信对端进行视频通话时，采集单元2000通过调用系统组件打开本地摄像头采集本地视频数据，将所采集的本地视频数据确定为待处理的目标视频。将目标视频压缩组包通过即时通讯应用的特定通道传输至通信对端，通信对端再进行解包显示。本发明中在将目标视频传输至通信对端时，还需要对目标视频进行处理，在目标视频中的人脸位置周围叠加虚拟物品，例如帽子、眼镜、头饰、电子宠物等等。
分析单元2001，用于对所述目标视频进行分析，获得所述目标视频中的人脸位置信息。
具体实施例中，分析单元2001对目标视频进行人脸检测分析，获得目标视频中的人脸位置信息。人脸检测算法比较多，可根据具体项目需求进行选择。在即时通讯应用中使用系统的图像检测方法，获得人脸特征数据并将该人脸特征数据进行相应的转换(位置比例、图像方向处理)得到目标视频中图像的真实人脸位置。
第二获取模块201，用于获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
可选的，如图所示，第二获取模块201包括第一获取单元2010和第一计算单元2011；
第一获取单元2010，用于从虚拟物体模型库中获取待添加的虚拟物品，并从所述虚拟物体模型库中获取与所述虚拟物品对应的位置矩阵；
具体实施例中，所添加的虚拟物品可以是3D物体，第一获取单元2010获取方式为从虚拟物体模型库中获取待添加的虚拟物品。需要说明的是，获取之前需要对虚拟物体模型库进行初始化，在虚拟物体模型库中建立各个虚拟物品的3D模型，建立虚拟物品的3D模型可以由第三方建模软件实现，当需要获取某一个虚拟物品时，直接从虚拟物体模型库中导出绘制该虚拟物品的模型信息即可，模型信息可以包括该虚拟物品对应的位置矩阵、纹理贴图等等。在使用虚拟物体模型库中建立虚拟物品的3D模型时，由4个要素组成：
1.虚拟物品的显示模型，用来控制模型的形状样式。
2.虚拟物品的纹理贴图，决定模型的表面纹理，比如帽子的材质。
3.虚拟物品的表面颜色，用来控制模型的整体色调。
4.虚拟物品对应的位置矩阵，决定模型在视图的显示位置。
只要获得了人脸位置信息和建模软件导出的模型信息，即可完成在人脸的适当位置显示虚拟物品，并可随着人脸的移动和人脸的摆动发生相应的变化。
在本地所建立的虚拟物体模型库中，每个虚拟物品的模型信息作为一个本地文件进行存储，且进行不同的标识，在显示时根据其标识来导入虚拟物品的模型信息。在本发明实施例中，使用即时通讯应用的离线更新机制来管理虚拟物体模型库，并随时更新虚拟物品的样式，初始安装时将默认的几个虚拟物品的模型信息打包进去，之后在用户使用过程中，当后台完成一个新的虚拟物品发布给用户，即时通讯应用即根据检查更新机制来完成虚拟物体模型库的更新。
第一计算单元2011，用于根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
具体实施例中，虚拟物品对应的位置矩阵可以表明虚拟物品在人脸位置上的相对位置，人脸位置信息可以表明真实人脸在目标视频的坐标信息，因此第一计算单元2011根据虚拟物品对应的位置矩阵和人脸位置信息可以计算出虚拟物品在人脸位置上的添加位置，该添加位置即是虚拟物品在目标视频中的坐标信息。
绘制模块202，用于在所述目标视频的所述添加位置实时绘制所述虚拟物品；
更新模块203，用于当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
可选的，如图所示，更新模块203可以包括转换单元2030和更新单元2031；
转换单元2030，用于当检测到通过终端触屏设备对所述虚拟物品进行控制操作时，将所述控制操作转换为模型位置改变信息；
具体实施例中，虚拟物品显示后，用户可以通过终端触屏设备对虚拟物品进行控制操作，例如点击、旋转以及移动等等。当在移动模式下，用户手指拖拽虚拟物品时，将在屏幕中的滑动信息转换为模型位置改变信息，来控制虚拟物品跟随手指移动方向调整虚拟物品的位置；在旋转模式下，将用户在屏幕不同的旋转角度信息转换为模型位置改变信息，并控制虚拟物品跟随用户的意愿进行不同角度的旋转。在所有模式下均可根据用户的双指缩放手势来控制饰品的展示大小，即是将缩放移动信息转换为模型位置改变信息。
更新单元2031，用于根据所述模型位置改变信息，更新所述虚拟物品的位置状态。
具体实施例中，更新单元2031根据所获得的模型位置改变信息，可以更新虚拟物品的位置状态，例如，根据模型位置改变信息对虚拟物品进行移动、旋转等等。
进一步可选的，本发明实施例的视频处理装置还可以包括同步模块204；
同步模块204，用于将所述目标视频、所述人脸位置信息、所述虚拟物品标识以及用于表示所述控制操作的交互数据同步至所述通信对端，以使所述通信对端重组添加虚拟物品后的所述目标视频。
具体实施例中，当终端与通信对端进行视频通话时，为了将本端用户添加了虚拟物品的目标视频传输至通信对端，使得通信对端可以实时同步显示，本发明实施例中所采用的方法是同步模块204将目标视频、所检测出的人脸位置信息、虚拟物品标识以及用于表示控制操作的交互数据同步至通信对端，以使通信对端可以重组添加虚拟物品后的目标视频，即是重新在目标视频中的人脸的相应位置绘制虚拟物品，如图6所示，两个画面分别为在发送端的终端所显示的画面和接收端的通信对端所显示的画面。
具体的，如图8所示，即是需要传输的各个数据的帧结构图，传输通道中一帧数据结构中包括图像数据和饰品数据，图像数据即是目标视频数据。饰品数据字段包括：本地视频检测的人脸位置信息facePositon；本地视频用户对虚拟物品的移动数据localMoveData；本地视频用户对虚拟物品的旋转数据localRotatData；本地视频用户对虚拟物品的缩放数据localScalData；本地视频中虚拟物品标识localID。
在视频通话过程中，任何一端均可以作为发送端，如图7所示，当客户端A将本地发送画面中的人脸位置信息和交互数据发送至客户端B时，则本发明实施例适用于客户端A，当客户端B将本地发送画面中的人脸位置信息和交互数据发送至客户端A时，则本发明实施例适用于客户端B。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
请参照图12，为本发明实施例提供的又一种视频处理装置的结构示意图；该装置是在图10的视频处理装置上进行优化得到，如图所示，本发明实施例的视频处理装置包括：
第一获取模块300，用于实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
可选的，第一获取模块300具体用于当终端与通信对端进行视频通话时，获取所述通信对端同步的目标视频以及所述目标视频中的人脸位置信息。
具体实施例中，在目标视频中添加虚拟物品的视频处理方法既适用于进行视频通话的发送端，也适用于进行视频通话的接收端，若为接收端对目标视频进行处理时，则第一获取模块300获取通信对端同步的目标视频以及目标视频中的人脸位置信息。如图8所示，获取通信对端同步的帧结构中图像数据以及饰品数据中的人脸位置信息。
第二获取模块301，用于获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
可选的，第二获取模块301包括第二获取单元3010和第二计算单元3011；
第二获取单元3010，用于获取所述通信对端同步的待添加的虚拟物品标识，并从虚拟物体模型库中获取与所述虚拟物品标识对应的虚拟物品以及与所述虚拟物品对应的位置矩阵；
具体实施例中，为了能够减小数据传输量，在视频通话过程中，通信对端仅仅是将待添加的虚拟物品标识同步至本端，如图8所示，第二获取单元3010获取通信对端同步的帧结构中饰品数据中虚拟物品标识。本端与通信对端均建立了虚拟物体模型库，因此可以从虚拟物体模型库中获取与虚拟物品标识对应的虚拟物品以及位置矩阵。
第二计算单元3011，用于根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
具体实施例中，与第一计算单元相同的计算方式，根据虚拟物品对应的位置矩阵和人脸位置信息即可以计算虚拟物品在人脸位置上的添加位置，由于是相同的目标视频、相同的人脸位置信息、相同的虚拟物品以及相同的计算方式，因此本端可以达到和通信对端视频同步的效果。
绘制模块302，用于在所述目标视频的所述添加位置实时绘制所述虚拟物品；
更新模块303，用于当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
可选的，所述更新模块303具体用于当检测到所述通信对端同步用于表示对所述虚拟物品的控制操作的交互数据时，根据所述交互数据更新所述虚拟物品的位置状态。
具体实施例中，若通信对端对虚拟物品进行了控制操作，则会将用于表示对虚拟物品的控制操作的交互数据同步至本端，如图8所示，获取通信对端同步的帧结构中饰品数据中交互数据，该交互数据表明用户对虚拟物品的一些控制操作，例如移动、旋转等等。更新模块303根据交互数据更新虚拟物品的位置状态，即可以达到与通信对端实时同步的效果。
本发明实施例，实时获取待处理的目标视频以及目标视频中的人脸位置信息，获取待添加的虚拟物品，并根据虚拟物品的位置模型信息和人脸位置信息计算虚拟物品在人脸位置上的添加位置，在目标视频的该添加位置实时绘制该虚拟物品，当检测到对虚拟物品的控制操作时，根据控制操作更新虚拟物品的位置状态。这种视频处理方式可在目标视频中的人脸位置上添加虚拟物品，并且用户可以对虚拟物品进行操作，视频处理方式丰富多样，提高了用户体验。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，附图10-附图12所示视频处理装置的模块对应的程序可存储在视频处理装置的可读存储介质内，并被该视频处理装置中的至少一个处理器执行，以实现上述视频处理方法，该方法包括图1至图9中各方法实施例所述的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (16)
1.一种视频处理方法，其特征在于，包括：
实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
在所述目标视频的所述添加位置实时绘制所述虚拟物品；
当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
2.如权利要求1所述的方法，其特征在于，所述实时获取待处理的目标视频以及所述目标视频中的人脸位置信息，包括：
实时采集本地视频数据，并将所述本地视频数据确定为待处理的目标视频；
对所述目标视频进行分析，获得所述目标视频中的人脸位置信息。
3.如权利要求2所述的方法，其特征在于，所述获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置，包括：
从虚拟物体模型库中获取待添加的虚拟物品，并从所述虚拟物体模型库中获取与所述虚拟物品对应的位置矩阵；
根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
4.如权利要求3所述的方法，其特征在于，所述当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态，包括：
当检测到通过终端触屏设备对所述虚拟物品进行控制操作时，将所述控制操作转换为模型位置改变信息；
根据所述模型位置改变信息，更新所述虚拟物品的位置状态。
5.如权利要求4所述的方法，其特征在于，若所述终端与通信对端进行视频通话，所述方法还包括：
将所述目标视频、所述人脸位置信息、所述虚拟物品标识以及用于表示所述控制操作的交互数据同步至所述通信对端，以使所述通信对端重组添加虚拟物品后的所述目标视频。
6.如权利要求1所述的方法，其特征在于，所述实时获取待处理的目标视频以及所述目标视频中的人脸位置信息，包括：
当终端与通信对端进行视频通话时，获取所述通信对端同步的目标视频以及所述目标视频中的人脸位置信息。
7.如权利要求6所述的方法，其特征在于，所述获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置，包括：
获取所述通信对端同步的待添加的虚拟物品标识，并从虚拟物体模型库中获取与所述虚拟物品标识对应的虚拟物品以及与所述虚拟物品对应的位置矩阵；
根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
8.如权利要求7所述的方法，其特征在于，所述当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态，包括：
当检测到所述通信对端同步用于表示对所述虚拟物品的控制操作的交互数据时，根据所述交互数据更新所述虚拟物品的位置状态。
9.一种视频处理装置，其特征在于，包括：
第一获取模块，用于实时获取待处理的目标视频以及所述目标视频中的人脸位置信息；
第二获取模块，用于获取待添加的虚拟物品，并根据所述虚拟物品的位置模型信息和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置；
绘制模块，用于在所述目标视频的所述添加位置实时绘制所述虚拟物品；
更新模块，用于当检测到对所述虚拟物品的控制操作时，根据所述控制操作更新所述虚拟物品的位置状态。
10.如权利要求9所述的装置，其特征在于，所述第一获取模块包括：
采集单元，用于实时采集本地视频数据，并将所述本地视频数据确定为待处理的目标视频；
分析单元，用于对所述目标视频进行分析，获得所述目标视频中的人脸位置信息。
11.如权利要求10所述的装置，其特征在于，所述第二获取模块包括：
第一获取单元，用于从虚拟物体模型库中获取待添加的虚拟物品，并从所述虚拟物体模型库中获取与所述虚拟物品对应的位置矩阵；
第一计算单元，用于根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
12.如权利要求11所述的装置，其特征在于，所述更新模块包括：
转换单元，用于当检测到通过终端触屏设备对所述虚拟物品进行控制操作时，将所述控制操作转换为模型位置改变信息；
更新单元，用于根据所述模型位置改变信息，更新所述虚拟物品的位置状态。
13.如权利要求12所述的装置，其特征在于，若所述终端与通信对端进行视频通话，所述装置还包括：
同步模块，用于将所述目标视频、所述人脸位置信息、所述虚拟物品标识以及用于表示所述控制操作的交互数据同步至所述通信对端，以使所述通信对端重组添加虚拟物品后的所述目标视频。
14.如权利要求9所述的装置，其特征在于，所述第一获取模块具体用于当终端与通信对端进行视频通话时，获取所述通信对端同步的目标视频以及所述目标视频中的人脸位置信息。
15.如权利要求14所述的装置，其特征在于，所述第二获取模块包括：
第二获取单元，用于获取所述通信对端同步的待添加的虚拟物品标识，并从虚拟物体模型库中获取与所述虚拟物品标识对应的虚拟物品以及与所述虚拟物品对应的位置矩阵；
第二计算单元，用于根据所述虚拟物品对应的位置矩阵和所述人脸位置信息计算所述虚拟物品在所述人脸位置上的添加位置。
16.如权利要求15所述的装置，其特征在于，所述更新模块具体用于当检测到所述通信对端同步用于表示对所述虚拟物品的控制操作的交互数据时，根据所述交互数据更新所述虚拟物品的位置状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510280037.9A CN106303690A (zh) | 2015-05-27 | 2015-05-27 | 一种视频处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510280037.9A CN106303690A (zh) | 2015-05-27 | 2015-05-27 | 一种视频处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106303690A true CN106303690A (zh) | 2017-01-04 |
Family
ID=57635407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510280037.9A Pending CN106303690A (zh) | 2015-05-27 | 2015-05-27 | 一种视频处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106303690A (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909223A (zh) * | 2017-02-28 | 2017-06-30 | 杭州乐见科技有限公司 | 基于3d场景的摄像头朝向修正方法及装置 |
| CN107277642A (zh) * | 2017-07-24 | 2017-10-20 | 硕诺科技（深圳）有限公司 | 一种基于视频通话数据流处理实现趣味贴图的方法 |
| CN107529091A (zh) * | 2017-09-08 | 2017-12-29 | 广州华多网络科技有限公司 | 视频剪辑方法及装置 |
| CN107613228A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 虚拟服饰的添加方法和终端设备 |
| CN107705278A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 动态效果的添加方法和终端设备 |
| CN108513090A (zh) * | 2017-02-24 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 群组视频会话的方法及装置 |
| CN109819316A (zh) * | 2018-12-28 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 处理视频中人脸贴纸的方法、装置、存储介质及电子设备 |
| CN111652987A (zh) * | 2020-06-12 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种ar合影图像生成的方法及装置 |
| CN112035041A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| EP3713220A4 (en) * | 2017-11-14 | 2021-01-06 | Tencent Technology (Shenzhen) Company Limited | VIDEO IMAGE PROCESSING PROCESS AND APPARATUS, AND TERMINAL |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| US11061372B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | User interfaces related to time |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11165949B2 (en) | 2016-06-12 | 2021-11-02 | Apple Inc. | User interface for capturing photos with different camera magnifications |
| US11178335B2 (en) * | 2018-05-07 | 2021-11-16 | Apple Inc. | Creative camera |
| US11204692B2 (en) | 2017-06-04 | 2021-12-21 | Apple Inc. | User interface camera effects |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11223771B2 (en) | 2019-05-06 | 2022-01-11 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11350026B1 (en) | 2021-04-30 | 2022-05-31 | Apple Inc. | User interfaces for altering visual media |
| US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
| US11481988B2 (en) | 2010-04-07 | 2022-10-25 | Apple Inc. | Avatar editing environment |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| CN118522061A (zh) * | 2024-07-24 | 2024-08-20 | 支付宝(杭州)信息技术有限公司 | 人脸识别控制方法及其效果监测方法、相关装置和系统 |
| US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101610421A (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
| CN102271241A (zh) * | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| CN103369289A (zh) * | 2012-03-29 | 2013-10-23 | 深圳市腾讯计算机系统有限公司 | 一种视频模拟形象的通信方法和装置 |
| CN103368929A (zh) * | 2012-04-11 | 2013-10-23 | 腾讯科技（深圳）有限公司 | 一种视频聊天方法及系统 |
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| WO2014036708A1 (en) * | 2012-09-06 | 2014-03-13 | Intel Corporation | System and method for avatar creation and synchronization |
| CN103702040A (zh) * | 2013-12-31 | 2014-04-02 | 广州华多网络科技有限公司 | 实时视频图饰叠加处理方法及系统 |
| CN103916621A (zh) * | 2013-01-06 | 2014-07-09 | 腾讯科技（深圳）有限公司 | 视频通信方法及装置 |
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
| CN104380701A (zh) * | 2012-06-28 | 2015-02-25 | 微软公司 | 通信系统 |
-
2015
- 2015-05-27 CN CN201510280037.9A patent/CN106303690A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101610421A (zh) * | 2008-06-17 | 2009-12-23 | 深圳华为通信技术有限公司 | 视频通讯方法、装置及系统 |
| CN102271241A (zh) * | 2011-09-02 | 2011-12-07 | 北京邮电大学 | 一种基于面部表情/动作识别的图像通信方法及系统 |
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| CN103369289A (zh) * | 2012-03-29 | 2013-10-23 | 深圳市腾讯计算机系统有限公司 | 一种视频模拟形象的通信方法和装置 |
| CN103368929A (zh) * | 2012-04-11 | 2013-10-23 | 腾讯科技（深圳）有限公司 | 一种视频聊天方法及系统 |
| CN104380701A (zh) * | 2012-06-28 | 2015-02-25 | 微软公司 | 通信系统 |
| WO2014036708A1 (en) * | 2012-09-06 | 2014-03-13 | Intel Corporation | System and method for avatar creation and synchronization |
| CN103916621A (zh) * | 2013-01-06 | 2014-07-09 | 腾讯科技（深圳）有限公司 | 视频通信方法及装置 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN103702040A (zh) * | 2013-12-31 | 2014-04-02 | 广州华多网络科技有限公司 | 实时视频图饰叠加处理方法及系统 |
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
Cited By (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11481988B2 (en) | 2010-04-07 | 2022-10-25 | Apple Inc. | Avatar editing environment |
| US11869165B2 (en) | 2010-04-07 | 2024-01-09 | Apple Inc. | Avatar editing environment |
| US11245837B2 (en) | 2016-06-12 | 2022-02-08 | Apple Inc. | User interface for camera effects |
| US11641517B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | User interface for camera effects |
| US11165949B2 (en) | 2016-06-12 | 2021-11-02 | Apple Inc. | User interface for capturing photos with different camera magnifications |
| US11962889B2 (en) | 2016-06-12 | 2024-04-16 | Apple Inc. | User interface for camera effects |
| CN108513090A (zh) * | 2017-02-24 | 2018-09-07 | 腾讯科技（深圳）有限公司 | 群组视频会话的方法及装置 |
| CN108513090B (zh) * | 2017-02-24 | 2021-01-01 | 腾讯科技（深圳）有限公司 | 群组视频会话的方法及装置 |
| CN106909223A (zh) * | 2017-02-28 | 2017-06-30 | 杭州乐见科技有限公司 | 基于3d场景的摄像头朝向修正方法及装置 |
| US11204692B2 (en) | 2017-06-04 | 2021-12-21 | Apple Inc. | User interface camera effects |
| US11687224B2 (en) | 2017-06-04 | 2023-06-27 | Apple Inc. | User interface camera effects |
| CN107277642B (zh) * | 2017-07-24 | 2020-09-15 | 硕诺科技（深圳）有限公司 | 一种基于视频通话数据流处理实现趣味贴图的方法 |
| CN107277642A (zh) * | 2017-07-24 | 2017-10-20 | 硕诺科技（深圳）有限公司 | 一种基于视频通话数据流处理实现趣味贴图的方法 |
| CN107529091A (zh) * | 2017-09-08 | 2017-12-29 | 广州华多网络科技有限公司 | 视频剪辑方法及装置 |
| CN107705278A (zh) * | 2017-09-11 | 2018-02-16 | 广东欧珀移动通信有限公司 | 动态效果的添加方法和终端设备 |
| CN107613228A (zh) * | 2017-09-11 | 2018-01-19 | 广东欧珀移动通信有限公司 | 虚拟服饰的添加方法和终端设备 |
| EP3713220A4 (en) * | 2017-11-14 | 2021-01-06 | Tencent Technology (Shenzhen) Company Limited | VIDEO IMAGE PROCESSING PROCESS AND APPARATUS, AND TERMINAL |
| US11140339B2 (en) | 2017-11-14 | 2021-10-05 | Tencent Technology (Shenzhen) Company Limited | Video image processing method, apparatus and terminal |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US11178335B2 (en) * | 2018-05-07 | 2021-11-16 | Apple Inc. | Creative camera |
| US11380077B2 (en) | 2018-05-07 | 2022-07-05 | Apple Inc. | Avatar creation user interface |
| US11682182B2 (en) | 2018-05-07 | 2023-06-20 | Apple Inc. | Avatar creation user interface |
| US12033296B2 (en) | 2018-05-07 | 2024-07-09 | Apple Inc. | Avatar creation user interface |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11669985B2 (en) | 2018-09-28 | 2023-06-06 | Apple Inc. | Displaying and editing images with depth information |
| CN109819316A (zh) * | 2018-12-28 | 2019-05-28 | 北京字节跳动网络技术有限公司 | 处理视频中人脸贴纸的方法、装置、存储介质及电子设备 |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11223771B2 (en) | 2019-05-06 | 2022-01-11 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11061372B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | User interfaces related to time |
| US12099713B2 (en) | 2020-05-11 | 2024-09-24 | Apple Inc. | User interfaces related to time |
| US12008230B2 (en) | 2020-05-11 | 2024-06-11 | Apple Inc. | User interfaces related to time with an editable background |
| US11442414B2 (en) | 2020-05-11 | 2022-09-13 | Apple Inc. | User interfaces related to time |
| US11822778B2 (en) | 2020-05-11 | 2023-11-21 | Apple Inc. | User interfaces related to time |
| US11617022B2 (en) | 2020-06-01 | 2023-03-28 | Apple Inc. | User interfaces for managing media |
| US12081862B2 (en) | 2020-06-01 | 2024-09-03 | Apple Inc. | User interfaces for managing media |
| US11330184B2 (en) | 2020-06-01 | 2022-05-10 | Apple Inc. | User interfaces for managing media |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| US11054973B1 (en) | 2020-06-01 | 2021-07-06 | Apple Inc. | User interfaces for managing media |
| CN111652987B (zh) * | 2020-06-12 | 2023-11-07 | 浙江商汤科技开发有限公司 | 一种ar合影图像生成的方法及装置 |
| CN111652987A (zh) * | 2020-06-12 | 2020-09-11 | 浙江商汤科技开发有限公司 | 一种ar合影图像生成的方法及装置 |
| CN112035041B (zh) * | 2020-08-31 | 2022-05-31 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| WO2022042291A1 (zh) * | 2020-08-31 | 2022-03-03 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| US11776209B2 (en) | 2020-08-31 | 2023-10-03 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method and apparatus, electronic device, and storage medium |
| CN112035041A (zh) * | 2020-08-31 | 2020-12-04 | 北京字节跳动网络技术有限公司 | 一种图像处理方法、装置、电子设备和存储介质 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11350026B1 (en) | 2021-04-30 | 2022-05-31 | Apple Inc. | User interfaces for altering visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11418699B1 (en) | 2021-04-30 | 2022-08-16 | Apple Inc. | User interfaces for altering visual media |
| US11416134B1 (en) | 2021-04-30 | 2022-08-16 | Apple Inc. | User interfaces for altering visual media |
| US12101567B2 (en) | 2021-04-30 | 2024-09-24 | Apple Inc. | User interfaces for altering visual media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| CN118522061A (zh) * | 2024-07-24 | 2024-08-20 | 支付宝(杭州)信息技术有限公司 | 人脸识别控制方法及其效果监测方法、相关装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106303690A (zh) | 一种视频处理方法及装置 | |
| CN110035321B (zh) | 一种在线实时视频的装饰方法与系统 | |
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及系统 | |
| CN107135193A (zh) | 无线装置 | |
| CN104219584A (zh) | 基于增强现实的全景视频交互方法和系统 | |
| CN104254001B (zh) | 远程分享方法、装置及终端 | |
| CN110209285B (zh) | 一种基于手势控制的沙盘展示系统 | |
| CN110138831A (zh) | 一种进行远程协助的方法与设备 | |
| CN113014960B (zh) | 一种在线制作视频的方法、装置及存储介质 | |
| CN106846495A (zh) | 实现增强现实的方法与装置 | |
| CN108182726A (zh) | 三维重建方法、云端服务器及计算机可读存储介质 | |
| US20220107704A1 (en) | Virtual paintbrush implementing method and apparatus, and computer readable storage medium | |
| US20230133416A1 (en) | Image processing method and apparatus, and device and medium | |
| CN108401463A (zh) | 一种虚拟显示装置、智能交互方法和云端服务器 | |
| CN110298306A (zh) | 目标对象运动信息的确定方法、装置及设备 | |
| CN107948724A (zh) | 视频传输控制方法、装置及存储介质和移动终端 | |
| CN111556337B (zh) | 一种媒体内容植入方法、模型训练方法以及相关装置 | |
| CN109068063A (zh) | 一种三维图像数据的处理、显示方法、装置及移动终端 | |
| CN108205822B (zh) | 贴图方法及装置 | |
| CN112967193A (zh) | 图像校准方法及装置、计算机可读介质和电子设备 | |
| CN114741015A (zh) | 远程控制的数据传输方法、装置、及电子设备 | |
| CN110944140A (zh) | 远程展示方法、远程展示系统、电子装置、存储介质 | |
| CN110096144A (zh) | 一种基于三维重建的交互全息投影方法及系统 | |
| CN111614925B (zh) | 人物图像处理方法、装置、相应终端及存储介质 | |
| CN104737526B (zh) | 用于记录视频序列的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170104 |
|
| RJ01 | Rejection of invention patent application after publication |