CN107888845A - 一种视频图像处理方法、装置及终端 - Google Patents

一种视频图像处理方法、装置及终端 Download PDF

Info

Publication number
CN107888845A
CN107888845A CN201711124135.9A CN201711124135A CN107888845A CN 107888845 A CN107888845 A CN 107888845A CN 201711124135 A CN201711124135 A CN 201711124135A CN 107888845 A CN107888845 A CN 107888845A
Authority
CN
China
Prior art keywords
coordinate
canvas
operating point
target
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711124135.9A
Other languages
English (en)
Other versions
CN107888845B (zh
Inventor
罗爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Cyber Tianjin Co Ltd
Original Assignee
Tencent Cyber Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Cyber Tianjin Co Ltd filed Critical Tencent Cyber Tianjin Co Ltd
Priority to CN201711124135.9A priority Critical patent/CN107888845B/zh
Publication of CN107888845A publication Critical patent/CN107888845A/zh
Priority to EP18879128.9A priority patent/EP3713220B1/en
Priority to PCT/CN2018/112304 priority patent/WO2019095979A1/zh
Priority to US16/854,807 priority patent/US11140339B2/en
Application granted granted Critical
Publication of CN107888845B publication Critical patent/CN107888845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种视频图像处理方法、装置及终端，该方法包括：在屏幕显示所采集的视频图像；根据用户操作进入涂鸦模式，为目标画布申请内存空间；检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；根据各操作点的目标画布坐标，在所述目标画布上绘制图形；将绘制有图形的目标画布叠加在所述视频图像上。本发明实施例可降低特效素材的使用局限，提升对视频图像添加特效的灵活性。

Description

一种视频图像处理方法、装置及终端
技术领域
本发明涉及图像处理技术领域，具体涉及一种视频图像处理方法、装置及终端。
背景技术
目前大多数支持视频录制的应用(如视频摄影类应用，支持视频通话的即时通讯应用，视频直播应用等)，为实现用户的个性化需求，一般都提供了对视频图像添加特效的功能；对视频图像添加特效需要使用到特效素材，特效素材如虚拟人脸挂件(如可在视频图像的人脸上叠加的胡子，动物耳朵等虚拟人脸挂件)，滤镜(滤镜可调整视频图像背景主题，如的卡通、漫画等效果的滤镜)等。
目前特效素材的来源主要是制作者制作特效素材后上传到网页，或者，由服务商将特效素材预置在应用中；终端在使用特效素材时，需要预先下载或现场下载特效素材。可见，终端在对视频图像添加特效时，可使用的特效素材存在一定的局限，如何降低特效素材的使用局限，更为灵活的对视频图像添加特效成为了本领域技术人员需要考虑的问题。
发明内容
有鉴于此，本发明实施例提供一种视频图像处理方法、装置及终端，以降低特效素材的使用局限，提升对视频图像添加特效的灵活性。
为实现上述目的，本发明实施例提供如下技术方案：
一种视频图像处理方法，包括：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
本发明实施例还提供一种视频图像处理装置，包括：
视频图像显示模块，用于在屏幕显示所采集的视频图像；
画布初始化模块，用于根据用户操作进入涂鸦模式，为目标画布申请内存空间；
坐标转换模块，用于检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
图形绘制模块，用于根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
叠加模块，用于将绘制有图形的目标画布叠加在所述视频图像上。
本发明实施例还提供一种终端，包括：存储器，处理器和图形处理器；所述存储器存储有可执行的程序，所述程序可被所述处理器或所述图形处理器执行，所述程序用于：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
基于上述技术方案，本发明实施例提供的视频图像处理方法包括：在屏幕显示所采集的视频图像后，若根据用户操作进入涂鸦模式，则可为目标画布申请内存空间，实现目标画布在内存中的缓存；进入涂鸦模式后，可检测用户在屏幕上进行涂鸦所涉及的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；进而可根据各操作点的目标画布坐标，在所述目标画布上绘制图形，将绘制有图形的目标画布叠加在所述视频图像上，实现在视频图像上添加用户所涂鸦的图形的特效的效果。
本发明实施例可根据用户在屏幕上进行涂鸦所涉及的各操作点，在内存的目标画布上进行相应图形的绘制，绘制有图形的目标画布可作为特效素材使用，因此特效素材的内容可随着用户在屏幕上的涂鸦操作的不同(即用户在屏幕上进行涂鸦所涉及的操作点的不同)而调整，使得特效素材的内容可由用户个性化的调整，使得在视频图像上添加的视频特效的内容更为丰富多变，降低了特效素材的使用局限，提升了对视频图像添加特效的灵活性。例如，在用户自拍、视频通话等场景下，可基于本发明实施例提供的视频图像处理方法，在自拍图像、视频通话图像等图像上实现用户绘制的特效素材的添加；进一步，将所绘制的特效素材以贴纸形式添加到视频图像中，则可在自拍、视频通话等场景下相应采集的动态视频图像中，实现所绘制的特效素材跟随动态视频图像中的人脸移动的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的视频图像处理方法的流程图；
图2为进入涂鸦模式的界面操作示意图；
图3为本发明实施例的应用示例图；
图4为将操作点的屏幕坐标转换为目标画布坐标的方法流程图；
图5为归一化后的虚拟画布的示意图；
图6为将操作点的屏幕坐标转换为目标画布坐标的另一方法流程图；
图7为将操作点的屏幕坐标转换为目标画布坐标的再一方法流程图；
图8为虚拟画布的示意图；
图9为加入画笔滤镜的应用程序框架示意图；
图10为本发明实施例提供的视频图像处理装置的结构框图；
图11为终端的硬件结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例可支持用户在视频图像上进行涂鸦操作，根据用户的涂鸦操作可在画布上绘制出相应的图形，从而将画布叠加到视频图像上，实现对视频图像添加特效的目的；本发明实施例可基于用户的涂鸦操作绘制出相应图形的画布，将该画布作为特效素材使用，可使得特效素材的内容可由用户不同的涂鸦操作灵活的改变，从而达到降低特效素材的使用局限，提升对视频图像添加特效的灵活性。
在此思路下，图1示出了本发明实施例提供的视频图像处理方法的流程图，该方法可应用于终端，终端可以如用户所使用的智能手机，平板电脑，笔记本电脑等用户设备；本发明实施例可通过在终端内装载所述视频图像处理方法相应的程序，由终端执行该程序实现本发明实施例提供的视频图像处理方法；
可选的，该程序可由终端的GPU(Graphics Processing Unit，图形处理器)执行；在一种可选实现上，本发明实施例可由GPU的OpenGL(Open Graphics Library，开放图形库)实现本发明实施例提供的视频图像处理方法，如通过GPU的OpenGL执行该程序，实现本发明实施例提供的视频图像处理方法。
参照图1，该视频图像处理方法可以包括：
步骤S100、在屏幕显示所采集的视频图像。
当用户在进行自拍、视频通话、视频直播等场景下，用户可启动终端内装载的支持视频录制的应用，用户可通过该应用调用终端的摄像头等图像采集装置，进行视频图像的采集，所采集的视频图像可回调给该应用，显示在终端的屏幕上。
可选的，支持视频录制的应用的形式可以根据实际情况而定；例如，在自拍场景下，可以是视频摄影类应用；在视频通话场景下，可以是即时通讯应用；在视频直播场景下，可以是视频直播应用。
步骤S110、根据用户操作进入涂鸦模式，为目标画布申请内存空间。
可选的，在将终端的图像采集装置所采集的视频图像在屏幕进行显示后，本发明实施例可基于用户操作进入涂鸦模式；进入涂鸦模式时，本发明实施例可在内存中为目标画布申请内存空间；目标画布的作用主要是基于用户在屏幕的操作在目标画布上绘制出相应的图形，以实现特效素材的获得；
值得注意的是，此处所指的目标画布是在内存中申请了内存空间的画布。
为目标画布申请的内存空间的大小可以根据预先设定的目标画布大小(此处的目标画布大小指目标画布的分辨率大小)，以及每像素所占内存确定，如可根据目标画布大小*每像素所占内存(*表示乘以)的数值，为目标画布申请内存空间；即为目标画布申请的内存空间的大小可以是目标画布大小*每像素所占内存；例如，预先设定的目标画布分辨率大小为512*512(仅是一种可选示例)，则为目标画布申请的内存空间的大小可以是512*512*每像素所占内存。
可选的，基于用户操作进入涂鸦模式的方式例如图2所示，可基于用户操作在屏幕展开显示特效素材面板，该特效素材面板可以显示有传统的虚拟人脸挂件、滤镜等特效素材，本发明实施例在该特效素材面板中加入了触发进入涂鸦模式的图标，当用户点击该图标则可触发进入涂鸦模式；进入涂鸦模式后，用户可在显示视频图像的屏幕上进行涂鸦操作；显然，触发进入涂鸦模式的图标并不一定加入到特效素材面板中，也可以在屏幕中单独显示；
进一步，当用户点击图标触发进入涂鸦模式后，屏幕可显示用户可进行涂鸦操作的提示信息，如屏幕可显示“可在屏幕上作画”的提示信息，以提示用户后续可进行涂鸦操作。
可选的，图2所示通过点击图标进入涂鸦模式的方式仅是可选的，本发明实施例也可在屏幕显示视频图像后，检测用户是否在屏幕进行长按操作等设定操作(长按操作等设定操作可以设定为是用户涂鸦的起始操作，该设定操作也可能是双击屏幕等，形式并不固体)，若是，则认为用户具有在屏幕上进行涂鸦的意图，可触发进入涂鸦模式。
步骤S120、检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标。
进入涂鸦模式后，用户可使用手指或触摸笔等作为画笔，在终端的屏幕上进行涂鸦；本发明实施例可检测用户在屏幕上的各操作点，基于操作点的操作先后顺序，记录各操作点的屏幕坐标，从而根据操作点的操作先后顺序，分别将各操作点的屏幕坐标转换为在所述目标画布上的目标画布坐标。
这里需要留意的是，目标画布坐标是指操作点的屏幕坐标在申请了内存空间的目标画布上映射的画布坐标；由于本发明实施例是为目标画布申请的内存空间，因此将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，可以认为是将各操作点映射到目标画布对应的内存空间。
步骤S130、根据各操作点的目标画布坐标，在所述目标画布上绘制图形。
在将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标后，本发明实施例可根据各操作点的目标画布坐标，确定出各操作点在目标画布上的映射点，从而可根据画笔算法(如直线画笔、纹理画笔等)，连接各操作点在目标画布上的映射点(如以各操作点的操作先后顺序进行连接)，绘制出相应的图形。
可见，本发明实施例所指的涂鸦可以认为是，用户可通过手指或触摸笔等作为画笔，在屏幕上进行作画操作。其中，通过作画操作涉及的各操作点在目标画布上的映射点，可在目标画布上实现图形绘制。本发明实施例所指的涂鸦模式，即认为是允许用户通过手指或触摸笔等在屏幕上进行作画操作的模式。
可以理解的是，用户通过手指或触摸笔等在屏幕上进行滑动等操作，可由屏幕上的各操作点形成至少一个操作轨迹，基于各操作点在目标画布上的映射点进行图形绘制，则可在目标画布上绘制出形似所述操作轨迹的图形。
步骤S140、将绘制有图形的目标画布叠加在所述视频图像上。
绘制有图形的目标画布可以作为是贴纸类型的特效素材，可基于贴纸叠加到视频图像的原理，将绘制有图形的目标画布叠加在所述视频图像上。
可选的，目标画布上绘制的图形可实时的叠加在视频图像上，使得用户可基于实时叠加在视频图像上的目标画布的图形，调整涂鸦操作，进行图形的修改和调整。
需要说明的是，本发明实施例提供的视频图像处理方法，支持用户在视频图像上进行涂鸦的方式，并不是将视频图像作为静态图片，以静态图片形式的视频图像作为画布，使得用户可在视频图像上进行涂鸦操作；本发明实施例是通过设置目标画布，在内存中为目标画布申请内存空间，通过检测用户在屏幕上进行涂鸦的各操作点，将各操作点的屏幕坐标转换为在目标画布的目标画布坐标后，以各操作点的目标画布坐标在目标画布上进行图形绘制，再将绘制有图形的目标画布作为特效素材叠加到视频图像上，实现在视频图像上进行涂鸦的效果。本发明实施例的这种视频图像处理方法，可使得基于动态视频图像的实时涂鸦成为可能，与传统的以静态图片形式的视频图像作为画布进行涂鸦的方式存在本质区别。
在一个可选应用示例中，如图3所示，用户打开终端的视频摄影类应用进行自拍，终端的前置摄像头可采集包含用户人脸的视频图像并显示到终端屏幕上；用户点击特效素材面板的“涂鸦”图标，可触发进入涂鸦模式，终端可初始化目标画布，为目标画布申请内存空间；并且，用户可参照屏幕显示的视频图像的用户人脸位置，使用手指在屏幕上进行涂鸦操作，如图3所示，通过用户手指在屏幕上的滑动来进行涂鸦操作，且手指在屏幕上的滑动轨迹形似“眼镜”；
在用户的手指在屏幕上滑动的过程中，终端可记录滑动过程中涉及的屏幕各操作点的屏幕坐标，将各操作点的屏幕坐标转换为在目标画布的目标画布坐标，得到各操作点在目标画布相应的映射点；从而根据各操作点的目标画布坐标，可将各操作点在目标画布相应的映射点进行连接，在目标画布上绘制出形似“眼镜”的图形；
绘制有形似“眼镜”的图形的目标画布可以贴纸的形式叠加到视频图像的用户人脸上，并实现目标画布上的形似“眼镜”的图形随视频图像的人脸移动的效果(该效果如虚拟人脸挂件等动效贴纸随视频图像的人脸移动)，达成在视频图像的用户人脸上进行涂鸦的目的；
需要说明的是，图3中用户手指实际上是在屏幕上进行移动涂鸦，屏幕所显示的视频图像添加图形的效果，实际上是基于用户手指在屏幕上的移动涂鸦，在目标画布进行图形绘制后，将目标画布叠加在视频图像上所呈现的效果。
图3相应部分内容所示的触发进入涂鸦模式的方式仅是可选的，可以认为是为便于理解的举例示意。
本发明实施例提供的视频图像处理方法包括：在屏幕显示所采集的视频图像后，若根据用户操作进入涂鸦模式，则可为目标画布申请内存空间，实现目标画布在内存中的缓存；进入涂鸦模式后，可检测用户在屏幕上进行涂鸦所涉及的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；进而可根据各操作点的目标画布坐标，在所述目标画布上绘制图形，将绘制有图形的目标画布叠加在所述视频图像上，实现在视频图像上添加用户所涂鸦的图形的特效的效果。
本发明实施例可根据用户在屏幕上进行涂鸦所涉及的各操作点，在内存的目标画布上进行相应图形的绘制，绘制有图形的目标画布可作为特效素材使用，因此特效素材的内容可随着用户在屏幕上的涂鸦操作的不同(即用户在屏幕上进行涂鸦所涉及的操作点的不同)而调整，使得特效素材的内容可由用户个性化的调整，使得在视频图像上添加的视频特效的内容更为丰富多变，降低了特效素材的使用局限，提升了对视频图像添加特效的灵活性。例如，在用户自拍、视频通话等场景下，可基于本发明实施例提供的视频图像处理方法，在自拍图像、视频通话图像等图像上实现用户绘制的特效素材的添加；进一步，将所绘制的特效素材以贴纸形式添加到视频图像中，则可在自拍、视频通话等场景相应采集的动态视频图像中，实现所绘制的特效素材跟随动态视频图像中的人脸移动的效果。
可选的，在一种将操作点的屏幕坐标转换为在目标画布的目标画布坐标的可选实现上，本发明实施例可先绘制虚拟画布(该虚拟画布与申请了内存空间的目标画布不同)，先将操作点的屏幕坐标转换为在虚拟画布上的坐标，再基于操作点在虚拟画布上的坐标转换为在目标画布上的目标画布坐标；
可选的，这种方式可适用于为视频图像上的人脸添加视频特效的场景，在目标画布申请的内存空间的大小是固定的情况下，目标画布的大小并不适用于人脸的多样性，因此可通过虚拟画布进行人脸的多样性的适用，通过虚拟画布作为操作点的屏幕坐标至目标画布坐标的坐标转换的中间态，可使得操作点的屏幕坐标至目标画布的目标画布坐标的转换更为准确。
可选的，图4示出了本发明实施例提供的将各操作点的屏幕坐标转换为目标画布坐标的方法流程图，该方法可应用于终端，如可由终端的GPU执行实现；参照图4，该方法可以包括：
步骤S200、绘制虚拟画布。
虚拟画布与上述所指的目标画布不同，在本发明实施例中，目标画布的分辨率大小是预先设定的，而虚拟画布的分辨率大小可根据视频图像中人脸的分辨率大小进行调整，即针对人脸的分辨率大小不同的视频图像，所相应绘制的虚拟画布的分辨率大小也可能是不同的。
即本发明实施例可根据视频图像中的人脸特征绘制虚拟画布。
在一种可选实现上，本发明实施例可通过人脸检测技术，检测视频图像中人脸第一特征点的坐标(第一特征点可以如人脸的某一设定的五官特征点，如人脸的鼻尖、眉心、鼻梁骨等，人脸第一特征点的形式可根据实际情况设定)，以人脸第一特征点的坐标为虚拟画布的中心点，人脸设定特征的宽度的设定倍数为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布。
可选的，人脸设定特征的宽度的设定倍数可以根据实际情况定义调节，具体数值可自行调节，以虚拟画布的宽度能覆盖到大部分屏幕为主。人脸设定特征的宽度如人脸宽度，人脸两眼间距宽度等。
可选的，视频图像中人脸的旋转角度可能是0(即视频图像中人脸相对于视频图像的中心不存在角度差，该角度差可认为是视频图像中人脸的旋转角度)，也可能不是0(即视频图像中人脸相对于视频图像的中心存在角度差)；如果视频图像中人脸的旋转角度为0，则所绘制的虚拟画布可以相对于屏幕的中心不存在角度差，而如果视频图像中人脸的旋转角度不为0，则所绘制的虚拟画布相对于屏幕的中心的角度差可以是视频图像中人脸的旋转角度。
可选的，视频图像中人脸的旋转角度可根据视频图像中人脸左右眼中心点连线确定，如可根据反正切函数求得，人脸左右眼中心点连线与视频图像中心线的角度差。
步骤S210、将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标。
可选的，在绘制好虚拟画布后，对于任一操作点，本发明实施例可根据操作点的屏幕坐标和虚拟画布的中心点的坐标(即视频图像中人脸第一特征点的坐标)，将操作点的屏幕坐标转换为虚拟画布的坐标，得到操作点在虚拟画布的坐标。
显然，上述将操作点的屏幕坐标转换为在虚拟画布的坐标的方式仅是可选的，本发明实施例也可通过记录屏幕的坐标系与虚拟画布的坐标系的映射关系，根据该映射关系确定操作点的屏幕坐标在虚拟画布中转换得到的坐标。
步骤S220、将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标。
可选的，本发明实施例可设定归一化后的虚拟画布的宽度，如虚拟画布归一化后，虚拟画布的x轴和y轴方向的范围均是-1到1，则可认为虚拟画布的宽度为2，如图5所示。可选的，归一化后的虚拟画布的宽度可以根据实际情况自定义调节，除如图5所示的可设定归一化后的虚拟画布的宽度为2外，还可设置归一化后的虚拟画布的宽度为4等(如虚拟画布的x轴和y轴方向的范围-2到2)。
在确定归一化后的虚拟画布的宽度后，本发明实施例可基于虚拟画布绘制时的宽度(如人脸设定特征的宽度的设定倍数)，确定第一坐标缩放比例；如将归一化后的虚拟画布的宽度，除以，虚拟画布绘制时的宽度，得到第一坐标缩放比例；
示例的，设归一化后的虚拟画布的宽度为2，虚拟画布绘制时的宽度为680，则第一坐标缩放比例为scale＝2/680。
在得到第一坐标缩放比例后，可根据操作点在虚拟画布的坐标与第一坐标缩放比例，确定操作点在虚拟画布的初始归一化坐标；如将操作点在虚拟画布的坐标乘以该第一坐标缩放比例，实现操作点在虚拟画布的初始归一化坐标的确定，得到操作点在虚拟画布的初始归一化坐标。
可选的，上述示出的确定操作点在虚拟画布的初始归一化坐标的方式是可选的，本发明实施例也可设定虚拟画布的坐标系与归一化后的虚拟画布的坐标系的映射关系，根据该映射关系，得到各操作点的初始归一化坐标。
在得到操作点在虚拟画布的初始归一化坐标后，可分视频图像中人脸的旋转角度为0和不为0的情况，进行后续得到各操作点的归一化坐标的处理；
具体的，若视频图像中人脸的旋转角度为0，则可直接将操作点在虚拟画布的初始归一化坐标，作为各操作点的归一化坐标，即得到操作点在虚拟画布的初始归一化坐标，则认为得到了各操作点的归一化坐标；
若视频图像中人脸的旋转角度不为0，则在得到各操作点的初始归一化坐标后，还需将各操作点的初始归一化坐标逆向旋转该旋转角度，得到各操作点的归一化坐标。
步骤S230、根据各操作点的归一化坐标，转换得到各操作点在目标画布上的目标画布坐标。
在得到各操作点的归一化坐标后，本发明实施例可根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例；如将目标画布的宽度，除以，归一化后的虚拟画布的宽度，得到第二坐标缩放比例；
从而对于任一操作点，根据操作点的归一化坐标和第二坐标缩放比例，得到操作点在目标画布上的目标画布坐标；如可将设定数值加上操作点的归一化x轴坐标后，乘以第二坐标缩放比例，得到操作点的x轴目标画布坐标，将设定数值减去操作点的归一化y轴坐标后，乘以第二坐标缩放比例，得到操作点的y轴目标画布坐标，结合操作点的x轴目标画布坐标和y轴目标画布坐标，得到操作点在目标画布上的目标画布坐标；
可选的，设定数值可根据实际情况自定义；示例的，假设设定数值为1，则对于操作点的归一化坐标(x’，y’)，第二坐标缩放比例为512/2(其中，512假设为目标画布的宽度，2假设为归一化后的虚拟画布的宽度)，则可通过如下方式得到操作点在目标画布上的目标画布坐标：(1+x’，1-y’)*512/2。
可选的，步骤S 220至步骤S230仅是将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标的一种可选方式，本发明实施例也可设置虚拟画布与目标画布的坐标映射关系，根据该坐标映射关系，实现各操作点在虚拟画布的坐标至在目标画布上的目标画布坐标的转换。
本发明实施例在对视频图像的人脸进行涂鸦时，可通过虚拟画布作为操作点的屏幕坐标至目标画布坐标的坐标转换的中间态，由基于视频图像的人脸绘制的虚拟画布进行人脸的多样性的适用，可使得操作点的屏幕坐标至目标画布的目标画布坐标的转换更为准确，提升后续绘制有图形的目标画布在视频图像的人脸上叠加的准确性。
可选的，在视频图像的人脸的旋转角度为0的情况下，图6示出了本发明实施例提供的将各操作点的屏幕坐标转换为目标画布坐标的另一方法流程图，参照图6，该方法可以包括：
步骤S300、检测视频图像中人脸第一特征点的坐标。
步骤S310、以人脸第一特征点的坐标为虚拟画布的中心点，人脸设定特征的宽度的设定倍数为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布。
可选的，步骤S300至步骤S310可以认为是图4所示步骤S200的一种可选实现，其中，视频图像中人脸的旋转角度为0。
步骤S320、对于各操作点，将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标，得到操作点在虚拟画布的坐标。
可选的，步骤S320可以认为是图4所示步骤S210根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标，得到操作点在虚拟画布的坐标的一种实现。
在一种可选实现上，假设虚拟画布的中心点的坐标(即视频图像中人脸第一特征点的坐标)为P1(360，500)，一操作点的屏幕坐标为P0(120，660)，则该操作点转换后的在虚拟画布的坐标可以为：P2＝(120-360，660-500)＝(-240,160)；即可采用操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，采用操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标，得到操作点转换后的在虚拟画布的坐标；
即假设虚拟画布的中心点的坐标P1(P1x，P1y)，操作点的屏幕坐标为P0(P0x,P0y)，则操作点转换后的在虚拟画布的坐标P2(P2x，P2y)＝(P0x-P1x，P0y-P1y)。
可选的，步骤S320是基于二维坐标系下的处理，在三维坐标系下，人脸检测还支持欧拉角检测时(三维空间里人脸旋转角度与x、y、z轴的夹角)，则将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标后，还需将所得结果乘以三维旋转矩阵，得到操作点在虚拟画布的坐标；
三维旋转矩阵的形式如下：
步骤S330、根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例。
可选的，如可将归一化后的虚拟画布的宽度，除以，虚拟画布绘制时的宽度，得到第一坐标缩放比例。
步骤S340、对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的归一化坐标。
可选的，如可将操作点在虚拟画布的坐标乘以该第一坐标缩放比例，得到操作点的归一化坐标。
可选的，本发明实施例可将操作点在虚拟画布的坐标P2乘以第一坐标缩放比例scale，得到操作点在虚拟画布的归一化坐标；示例的，设操作点在虚拟画布的坐标P2为(-240，160)，第一坐标缩放比例scale为2/680，则操作点在虚拟画布的归一化坐标为P2*scale＝(-240，160)*2/680＝(-0.706，0.471)，此处为便于说明以小数点后三位的四舍五入方式示出(-0.706，0.471)的结果，在实际情况下，具体的结果给出方式可自定义调整。
可选的，步骤S330至步骤S340可以认为是图4步骤S220的一种实现。
步骤S350、根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例。
可选的，可将目标画布的宽度，除以，归一化后的虚拟画布的宽度，得到第二坐标缩放比例。
步骤S360、对于各操作点，将设定数值加上操作点的归一化x轴坐标后，乘以第二坐标缩放比例，得到操作点的x轴目标画布坐标，将设定数值减去操作点的归一化y轴坐标后，乘以第二坐标缩放比例，得到操作点的y轴目标画布坐标，结合操作点的x轴目标画布坐标和y轴目标画布坐标，得到操作点在目标画布上的目标画布坐标。
可选的，在视频图像的人脸的旋转角度不为0的情况下，图7示出了本发明实施例提供的将各操作点的屏幕坐标转换为目标画布坐标的再一方法流程图，参照图7，该方法可以包括：
步骤S400、检测视频图像中人脸第一特征点的坐标。
步骤S410、以人脸第一特征点的坐标为虚拟画布的中心点，人脸设定特征的宽度的设定倍数为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布。
在一种示例中，虚拟画布可以为正方形，如图8所示，本发明实施例可以视频图像中人脸鼻梁骨的坐标为虚拟画布的中心点，以人脸宽度的两倍为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布，得到如图8所示虚拟部分所示的虚拟画布；
例如，假设屏幕的分辨率大小为720*1280，在确定视频图像中人脸鼻梁骨的坐标为(360，500)，人脸宽度的分辨率大小为340(可认为是人脸左右太阳穴坐标点之间的宽度距离)，人脸旋转角度为-30°；则可以人脸鼻梁骨的坐标(360，500)为虚拟画布的中心，得到人脸宽度的两倍(680*680分辨率大小)的虚拟画布，且虚拟画布旋转角度为-30°。旋转角度的正负旋转方向可以视频图像的中心线(如屏幕的中心线)为参照自定义设定。
可选的，步骤S400和步骤S410可以认为是图4所示步骤S200的一种可选实现，其中，视频图像中人脸的旋转角度不为0。
需要说明的是，图6所示步骤S300至步骤S310，和图7所示步骤S400和步骤S410的区别在于：图6的视频图像中人脸的旋转角度为0，相应的，基于图6所绘制的虚拟画布不存在如图8所示的旋转角度；而图7的视频图像中人脸的旋转角度不为0，所绘制的虚拟画布存在旋转角度。
步骤S420、对于各操作点，将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标，得到操作点在虚拟画布的坐标。
可选的，步骤S420可以认为是图4所示步骤S210的一种实现，可与图6所示步骤S320相参照。
可选的，如果人脸检测还支持欧拉角检测时(三维空间里人脸旋转角度与x、y、z轴的夹角)，则将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标后，还需乘以三维旋转矩阵，得到操作点在虚拟画布的坐标。
步骤S430、根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例。
可选的，如可将归一化后的虚拟画布的宽度，除以，虚拟画布绘制时的宽度，得到第一坐标缩放比例。
步骤S440、对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的初始归一化坐标。
可选的，如可将操作点在虚拟画布的坐标乘以该第一坐标缩放比例，得到操作点的初始归一化坐标。
步骤S450、将各操作点的初始归一化坐标分别逆向旋转该旋转角度，得到各操作点的归一化坐标。
可选的，本发明实施例可确定所述旋转角度相应的二维旋转矩阵，对于各操作点，可根据操作点的初始归一化坐标和该二维旋转矩阵，确定各操作点的归一化坐标；如可将操作点的初始归一化坐标乘以该二维旋转矩阵，得到操作点的归一化坐标。
设定视频图像中人脸的旋转角度为θ，M(θ)表示相应的二维旋转矩阵，则二维旋转矩阵的公式示例可如下：
示例的，设一操作点的初始归一化坐标为(-0.706，0.471)，则该操作点的归一化坐标的得到方式可以如下：
M(θ)*(-0.706，0.471)；如设定θ为30°，则归一化坐标的结果为(-0.376，0.761)。
可选的，步骤S430至步骤S450可以认为是图4步骤S220的一种实现，与图6所示步骤S330至步骤S340的区别在于，图7所示方法是基于视频图像的人脸旋转角度不为0的情况，图6步骤S340所得结果可以认为是图7所示方法的初始归一化坐标，在此基础上，图7所示方法还需基于所述旋转角度进行各操作点的初始归一化坐标的逆向旋转。
步骤S460、根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例。
可选的，可将目标画布的宽度，除以，归一化后的虚拟画布的宽度，得到第二坐标缩放比例。
步骤S470、对于各操作点，将设定数值加上操作点的归一化x轴坐标后，乘以第二坐标缩放比例，得到操作点的x轴目标画布坐标，将设定数值减去操作点的归一化y轴坐标后，乘以第二坐标缩放比例，得到操作点的y轴目标画布坐标，结合操作点的x轴目标画布坐标和y轴目标画布坐标，得到操作点在目标画布上的目标画布坐标。
这里需要说明的是，本发明实施例支持二维坐标系下的处理，也支持三维坐标系下的处理，两者的区别之一在于：相比于二维坐标系下，三维坐标系下进行操作点的屏幕坐标至虚拟画布的坐标的转换时，还需在二维坐标系下的处理基础上乘以三维旋转矩阵，如步骤S320、S420部分所示。
上文示出了在对视频图像的人脸进行涂鸦的场景下，由虚拟画布作为操作点的屏幕坐标至目标画布坐标的坐标转换的中间态，实现人脸的多样性的适用的目的；需要说明的是，通过虚拟画布进行操作点的屏幕坐标至目标画布坐标的坐标转换仅是一种可选方案，作为一种可选替换方案：如在不是对视频图像的人脸进行涂鸦等情况下，本发明实施例也可在屏幕显示与目标画布大小相应的涂鸦区域(可选的，进一步，该涂鸦区域的位置可受用户操作移动调整，但大小不变)，使得用户在该涂鸦区域内进行涂鸦，实现操作点的屏幕坐标至目标画布坐标的直接转换(此处的直接是相对于以虚拟画布作为中间态的间接方式而言)；相应的，绘制有图形的目标画布可根据涂鸦区域在视频图像中的位置，进行至视频图像的叠加。
进一步，在确定屏幕的各操作点的目标画布坐标，并在所述目标画布上绘制出相应图形后，可将绘制有图形的目标画布以贴纸形式，添加到动态的视频图像中，实现绘制有图形的目标画布跟随视频图像中的人脸移动的效果；
可选的，在根据各操作点的目标画布坐标，在目标画布上绘制图形后，绘制有图形的目标画布可作为贴纸类型的特效素材，叠加在视频图像上；如采用openGL为例，本发明实施例可将绘制有图形的目标画布的顶点坐标及旋转角度(与视频图像中人脸的旋转角度相应)传入顶点着色器，由顶点着色器根据旋转角度及绘制有图形的目标画布的顶点坐标，计算得到绘制有图形的目标画布在视频图像上叠加的顶点坐标，从而根据绘制有图形的目标画布在视频图像上叠加的顶点坐标，将绘制有图形的目标画布叠加到视频图像上；进一步，在将绘制有图形的目标画布添加到视频图像的人脸上时，若视频图像为动态视频图像，人脸存在移动情况，则可使得绘制有图形的目标画布跟随视频图像中的人脸移动。
可选的，若在三维坐标下绘制有图形的目标画布至视频图像的叠加，则可采用三维空间贴纸至视频图像的叠加原理，比如采用透视投影技术等。
可选的，本发明实施例提供的视频图像处理方法可以画笔滤镜(painter filter)的形式存在，可加入到支持视频录制的应用的滤镜链中，滤镜链中还存在的滤镜如磨皮滤镜，美白滤镜，人脸检测，形变滤镜等，本发明实施例提供的视频图像处理方法可以画笔滤镜的形式加入到滤镜链末尾，以滤镜的处理形式实现对视频图像的涂鸦，涂鸦后的叠加有绘制图形的目标画布的视频图像数据可输出到屏幕或者写入本地视频文件保存。加入画笔滤镜的应用程序框架可如图9所示，可参照。
本发明实施例提供的视频图像处理方法，可支持用户在视频图像上进行涂鸦，且将基于用户涂鸦得到的绘制有图形的目标画布可作为特效素材使用，特效素材的内容可随着用户在屏幕上的涂鸦操作的不同而调整，使得特效素材的内容可由用户个性化的调整，使得在视频图像上添加的视频特效的内容更为丰富多变，降低了特效素材的使用局限，提升了对视频图像添加特效的灵活性。
下面对本发明实施例提供的视频图像处理装置进行介绍，下文描述的视频图像处理装置可以认为是，终端为实现本发明实施例提供的视频图像处理方法所需设置的程序模块。下文描述的视频图像处理装置的内容可与上文描述的视频图像处理方法的内容相互对应参照。
图10为本发明实施例提供的视频图像处理装置的结构框图，该视频图像处理装置可应用于终端，具体可应用于终端的GPU，参照图10，该视频图像处理装置可以包括：
视频图像显示模块100，用于在屏幕显示所采集的视频图像；
画布初始化模块200，用于根据用户操作进入涂鸦模式，为目标画布申请内存空间；
坐标转换模块300，用于检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
图形绘制模块400，用于根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
叠加模块500，用于将绘制有图形的目标画布叠加在所述视频图像上。
可选的，坐标转换模块300，用于将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，具体包括：
根据视频图像中的人脸特征绘制虚拟画布；
将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标；
将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标。
可选的，坐标转换模块300，用于根据视频图像中的人脸特征绘制虚拟画布，具体包括：
检测视频图像中人脸第一特征点的坐标；
以人脸第一特征点的坐标为虚拟画布的中心点，人脸设定特征的宽度的设定倍数为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布。
可选的，坐标转换模块300，用于将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标，具体包括：
对于各操作点，根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标，得到操作点在虚拟画布的坐标。
可选的，在二维坐标系下，坐标转换模块300，用于根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标，具体包括：
对于各操作点，将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标，得到操作点在虚拟画布的坐标。
可选的，在三维坐标系下，坐标转换模块300，用于根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标，具体包括：
对于各操作点，将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标后，将所得到结果乘以三维旋转矩阵，得到操作点在虚拟画布的坐标。
可选的，坐标转换模块300，用于将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标，具体包括：
将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标；
根据各操作点的归一化坐标，转换得到各操作点在目标画布上的目标画布坐标。
可选的，若视频图像中人脸的旋转角度不为0，则坐标转换模块300，用于将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标，具体包括：
根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例；
对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的初始归一化坐标；
将各操作点的初始归一化坐标分别逆向旋转所述旋转角度，得到各操作点的归一化坐标。
可选的，坐标转换模块300在根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例时，具体可用于：将归一化后的虚拟画布的宽度，除以，虚拟画布绘制时的宽度，得到第一坐标缩放比例。
可选的，坐标转换模块300在根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的初始归一化坐标时，具体可用于：将操作点在虚拟画布的坐标乘以该第一坐标缩放比例，得到操作点的初始归一化坐标。
可选的，坐标转换模块300在将各操作点的初始归一化坐标分别逆向旋转所述旋转角度，得到各操作点的归一化坐标时，具体可用于：将操作点的初始归一化坐标乘以所述旋转角度相应的二维旋转矩阵，得到操作点的归一化坐标。
可选的，若视频图像中人脸的旋转角度为0，则坐标转换模块300，用于将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标，具体包括：
根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例；
对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的归一化坐标。
可选的，在视频图像中人脸的旋转角度为0的情况下，坐标转换模块300在根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的归一化坐标时，具体可用于：可将操作点在虚拟画布的坐标乘以该第一坐标缩放比例，得到操作点的归一化坐标。
可选的，坐标转换模块300，用于根据各操作点的归一化坐标，转换得到各操作点在目标画布上的目标画布坐标，具体包括：
根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例；
对于各操作点，根据操作点的归一化坐标和第二坐标缩放比例，得到操作点在目标画布上的目标画布坐标。
可选的，坐标转换模块300在根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例时，具体可用于：将目标画布的宽度，除以，归一化后的虚拟画布的宽度，得到第二坐标缩放比例。
可选的，坐标转换模块300在根据操作点的归一化坐标和第二坐标缩放比例，得到操作点在目标画布上的目标画布坐标时，具体可用于：
对于各操作点，将设定数值加上操作点的归一化x轴坐标后，乘以第二坐标缩放比例，得到操作点的x轴目标画布坐标；将设定数值减去操作点的归一化y轴坐标后，乘以第二坐标缩放比例，得到操作点的y轴目标画布坐标；结合操作点的x轴目标画布坐标和y轴目标画布坐标，得到操作点在目标画布上的目标画布坐标。
可选的，画布初始化模块200，用于根据用户操作进入涂鸦模式，具体包括：
若检测到用户点击特效素材面板中触发进入涂鸦模式的图标，则进入涂鸦模式；
或，若检测到用户在屏幕的长按操作，则进入涂鸦模式。
可选的，画布初始化模块200，用于为目标画布申请内存空间，具体包括：
根据设定的目标画布大小以及每像素所占内存确定申请的内存空间的大小，根据所述申请的内存空间的大小，为目标画布申请内存空间。
可选的，叠加模块500，用于将绘制有图形的目标画布叠加在所述视频图像上，具体包括：
将绘制有图形的目标画布的顶点坐标及视频图像中人脸的旋转角度传入顶点着色器，由顶点着色器根据所述旋转角度及绘制有图形的目标画布的顶点坐标，计算得到绘制有图形的目标画布在视频图像上叠加的顶点坐标；
根据绘制有图形的目标画布在视频图像上叠加的顶点坐标，将绘制有图形的目标画布叠加到视频图像上，且使绘制有图形的目标画布跟随视频图像中的人脸移动。
可选的，在另一种实现上，坐标转换模块300，用于检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，可具体包括：
检测用户在屏幕显示的与目标画布大小相应的涂鸦区域的操作点，将所述涂鸦区域的操作点的屏幕坐标转换为在所述目标画布的目标画布坐标。
可选的，在三维坐标系下，叠加模块500，可使用透视投影技术，将绘制有图形的目标画布叠加在所述视频图像上。
可选的，图11示出了终端的硬件结构框图，参照图11，该终端可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3，至少一个通信总线4和至少一个图形处理器5；
可选的，通信接口2可以为通信模块的接口，如GSM模块的接口；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，存储器3存储有可执行的程序，该程序可被处理器或图形处理器执行(在一些特殊情况下，本发明实施例提供的视频图像处理方法相应的程序也可由处理器执行实现)，该程序具体用于：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
可选的，该程序的细化功能和扩展功能可参照上文相应部分描述。
本发明实施例还可提供一种存储介质，该存储介质存储有适于处理器执行的程序，该程序用于：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种视频图像处理方法，其特征在于，包括：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
2.根据权利要求1所述的视频图像处理方法，其特征在于，所述将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标包括：
根据视频图像中的人脸特征绘制虚拟画布；
将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标；
将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标。
3.根据权利要求2所述的视频图像处理方法，其特征在于，所述根据视频图像中的人脸特征绘制虚拟画布包括：
检测视频图像中人脸第一特征点的坐标；
以人脸第一特征点的坐标为虚拟画布的中心点，人脸设定特征的宽度的设定倍数为虚拟画布的宽度，视频图像中人脸的旋转角度为虚拟画布的旋转角度绘制虚拟画布。
4.根据权利要求3所述的视频图像处理方法，其特征在于，所述将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标包括：
对于各操作点，根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标，得到操作点在虚拟画布的坐标。
5.根据权利要求4所述的视频图像处理方法，其特征在于，所述根据操作点的屏幕坐标和虚拟画布的中心点的坐标，将操作点的屏幕坐标转换为虚拟画布的坐标包括：
对于各操作点，将操作点的x轴屏幕坐标减去虚拟画布的中心点的x轴坐标，将操作点的y轴屏幕坐标减去虚拟画布的中心点的y轴坐标，得到操作点在虚拟画布的坐标。
6.根据权利要求3所述的视频图像处理方法，其特征在于，所述将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标包括：
将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标；
根据各操作点的归一化坐标，转换得到各操作点在目标画布上的目标画布坐标。
7.根据权利要求6所述的视频图像处理方法，其特征在于，所述将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标包括：
若视频图像中人脸的旋转角度不为0，根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例；
对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的初始归一化坐标；
将各操作点的初始归一化坐标分别逆向旋转所述旋转角度，得到各操作点的归一化坐标。
8.根据权利要求6所述的视频图像处理方法，其特征在于，所述将各操作点在虚拟画布的坐标进行归一化，得到各操作点的归一化坐标包括：
若视频图像中人脸的旋转角度为0，根据归一化后的虚拟画布的宽度和虚拟画布绘制时的宽度，确定第一坐标缩放比例；
对于各操作点，根据操作点在虚拟画布的坐标和第一坐标缩放比例，确定各操作点的归一化坐标。
9.根据权利要求6-8任一项所述的视频图像处理方法，其特征在于，所述根据各操作点的归一化坐标，转换得到各操作点在目标画布上的目标画布坐标包括：
根据目标画布的宽度，和归一化后的虚拟画布的宽度，确定第二坐标缩放比例；
对于各操作点，根据操作点的归一化坐标和第二坐标缩放比例，得到操作点在目标画布上的目标画布坐标。
10.根据权利要求1所述的视频图像处理方法，其特征在于，所述根据用户操作进入涂鸦模式包括：
若检测到用户点击特效素材面板中触发进入涂鸦模式的图标，则进入涂鸦模式；
或，若检测到用户在屏幕的长按操作，则进入涂鸦模式。
11.根据权利要求1所述的视频图像处理方法，其特征在于，所述为目标画布申请内存空间包括：
根据设定的目标画布大小以及每像素所占内存确定申请的内存空间的大小，根据所述申请的内存空间的大小，为目标画布申请内存空间。
12.根据权利要求1所述的视频图像处理方法，其特征在于，所述将绘制有图形的目标画布叠加在所述视频图像上包括：
将绘制有图形的目标画布的顶点坐标及视频图像中人脸的旋转角度传入顶点着色器，由顶点着色器根据所述旋转角度及绘制有图形的目标画布的顶点坐标，计算得到绘制有图形的目标画布在视频图像上叠加的顶点坐标；
根据绘制有图形的目标画布在视频图像上叠加的顶点坐标，将绘制有图形的目标画布叠加到视频图像上，且使绘制有图形的目标画布跟随视频图像中的人脸移动。
13.一种视频图像处理装置，其特征在于，包括：
视频图像显示模块，用于在屏幕显示所采集的视频图像；
画布初始化模块，用于根据用户操作进入涂鸦模式，为目标画布申请内存空间；
坐标转换模块，用于检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
图形绘制模块，用于根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
叠加模块，用于将绘制有图形的目标画布叠加在所述视频图像上。
14.根据权利要求13所述的视频图像处理装置，其特征在于，所述坐标转换模块用于将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，具体包括：
根据视频图像中的人脸特征绘制虚拟画布；
将各操作点的屏幕坐标转换为在所述虚拟画布的坐标，得到各操作点在虚拟画布的坐标；
将各操作点在虚拟画布的坐标转换为，各操作点在目标画布上的目标画布坐标。
15.一种终端，其特征在于，包括：存储器，处理器和图形处理器；所述存储器存储有可执行的程序，所述程序可被所述处理器或所述图形处理器执行，所述程序用于：
在屏幕显示所采集的视频图像；
根据用户操作进入涂鸦模式，为目标画布申请内存空间；
检测用户在屏幕的各操作点，将各操作点的屏幕坐标转换为在所述目标画布的目标画布坐标，得到各操作点的目标画布坐标；
根据各操作点的目标画布坐标，在所述目标画布上绘制图形；
将绘制有图形的目标画布叠加在所述视频图像上。
CN201711124135.9A 2017-11-14 2017-11-14 一种视频图像处理方法、装置及终端 Active CN107888845B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201711124135.9A CN107888845B (zh) 2017-11-14 2017-11-14 一种视频图像处理方法、装置及终端
EP18879128.9A EP3713220B1 (en) 2017-11-14 2018-10-29 Video image processing method and apparatus, and terminal
PCT/CN2018/112304 WO2019095979A1 (zh) 2017-11-14 2018-10-29 视频图像处理方法、装置及终端
US16/854,807 US11140339B2 (en) 2017-11-14 2020-04-21 Video image processing method, apparatus and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711124135.9A CN107888845B (zh) 2017-11-14 2017-11-14 一种视频图像处理方法、装置及终端

Publications (2)

Publication Number Publication Date
CN107888845A true CN107888845A (zh) 2018-04-06
CN107888845B CN107888845B (zh) 2022-10-21

Family

ID=61776653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711124135.9A Active CN107888845B (zh) 2017-11-14 2017-11-14 一种视频图像处理方法、装置及终端

Country Status (4)

Country Link
US (1) US11140339B2 (zh)
EP (1) EP3713220B1 (zh)
CN (1) CN107888845B (zh)
WO (1) WO2019095979A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618211A (zh) * 2018-12-04 2019-04-12 深圳市子瑜杰恩科技有限公司 短视频道具编辑方法及相关产品
WO2019095979A1 (zh) * 2017-11-14 2019-05-23 腾讯科技（深圳）有限公司 视频图像处理方法、装置及终端
CN110661985A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 图像数据录制方法、装置、审讯主机及存储介质
WO2020024580A1 (zh) * 2018-08-03 2020-02-06 浙江宇视科技有限公司 图形绘制方法及装置、设备及存储介质
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、系统、电子设备及存储介质
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN111798379A (zh) * 2020-07-20 2020-10-20 广州炫视智能科技有限公司 实现图形高速预览的方法及系统
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN113160031A (zh) * 2021-03-26 2021-07-23 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113709389A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 一种视频渲染方法、装置、电子设备及存储介质
CN113961067A (zh) * 2021-09-28 2022-01-21 广东新王牌智能信息技术有限公司 基于深度学习的非接触式涂鸦绘制方法与识别交互系统
CN113986407A (zh) * 2020-07-27 2022-01-28 华为技术有限公司 封面生成方法、装置及计算机存储介质
CN114071228A (zh) * 2021-09-28 2022-02-18 浙江预策科技有限公司 实时信息叠加方法、装置、电子装置和存储介质
US11354825B2 (en) 2018-07-27 2022-06-07 Beijing Microlive Vision Technology Co., Ltd Method, apparatus for generating special effect based on face, and electronic device
CN115185435A (zh) * 2021-09-30 2022-10-14 红科网安(武汉)科技有限公司 要图标绘特殊要素显示控制方法
CN115379250A (zh) * 2022-07-22 2022-11-22 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135683A (ko) 2020-05-06 2021-11-16 라인플러스 주식회사 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof
CN112929582A (zh) * 2021-02-04 2021-06-08 北京字跳网络技术有限公司 一种特效展示方法、装置、设备及介质
US11704626B2 (en) * 2021-07-09 2023-07-18 Prezi, Inc. Relocation of content item to motion picture sequences at multiple devices
CN113542872B (zh) * 2021-07-30 2023-03-24 联想(北京)有限公司 一种图像处理方法、装置及电子设备
US11995757B2 (en) * 2021-10-29 2024-05-28 Snap Inc. Customized animation from video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2394714A1 (en) * 2010-06-09 2011-12-14 Nintendo Co., Ltd. Image processing program, image processing apparatus, image processing system, and image processing method
WO2016069669A2 (en) * 2014-10-31 2016-05-06 Microsoft Technology Licensing, Llc Modifying video call data
CN105635519A (zh) * 2015-06-15 2016-06-01 广州市动景计算机科技有限公司 视频处理方法、装置及系统
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법
US9601086B1 (en) * 2009-09-11 2017-03-21 Hewlett-Packard Development Company, L.P. Defining a projector display region
JP2014123855A (ja) * 2012-12-20 2014-07-03 Panasonic Corp 合成画像生成装置、合成画像生成方法、および放送受信装置
US20140240343A1 (en) * 2013-02-22 2014-08-28 Corel Corporation Color adjustment control in a digital graphics system using a vision system
EP2988486B1 (en) * 2013-04-17 2020-03-11 Panasonic Intellectual Property Management Co., Ltd. Selection of a suitable image for receiving on-screen control
GB2524473A (en) * 2014-02-28 2015-09-30 Microsoft Technology Licensing Llc Controlling a computing-based device using gestures
US20150253974A1 (en) * 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
CN105677107B (zh) * 2016-01-11 2018-07-17 福州瑞芯微电子股份有限公司 屏幕手写跟随性的优化方法及系统
CN113407095A (zh) * 2016-04-12 2021-09-17 北京三星通信技术研究有限公司 终端设备的绘制内容处理方法、装置及终端设备
CN107888845B (zh) * 2017-11-14 2022-10-21 腾讯数码（天津）有限公司 一种视频图像处理方法、装置及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2394714A1 (en) * 2010-06-09 2011-12-14 Nintendo Co., Ltd. Image processing program, image processing apparatus, image processing system, and image processing method
WO2016069669A2 (en) * 2014-10-31 2016-05-06 Microsoft Technology Licensing, Llc Modifying video call data
CN107111427A (zh) * 2014-10-31 2017-08-29 微软技术许可有限责任公司 修改视频通话数据
CN105635519A (zh) * 2015-06-15 2016-06-01 广州市动景计算机科技有限公司 视频处理方法、装置及系统
CN106385591A (zh) * 2016-10-17 2017-02-08 腾讯科技（上海）有限公司 视频处理方法及视频处理装置

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095979A1 (zh) * 2017-11-14 2019-05-23 腾讯科技（深圳）有限公司 视频图像处理方法、装置及终端
US11140339B2 (en) 2017-11-14 2021-10-05 Tencent Technology (Shenzhen) Company Limited Video image processing method, apparatus and terminal
CN110661985B (zh) * 2018-06-28 2022-02-01 杭州海康威视数字技术股份有限公司 图像数据录制方法、装置、审讯主机及存储介质
CN110661985A (zh) * 2018-06-28 2020-01-07 杭州海康威视数字技术股份有限公司 图像数据录制方法、装置、审讯主机及存储介质
US11354825B2 (en) 2018-07-27 2022-06-07 Beijing Microlive Vision Technology Co., Ltd Method, apparatus for generating special effect based on face, and electronic device
US11551392B2 (en) 2018-08-03 2023-01-10 Zhejiang Uniview Technologies Co., Ltd. Graphic drawing method and apparatus, device, and storage medium
CN110795177B (zh) * 2018-08-03 2021-08-31 浙江宇视科技有限公司 图形绘制方法及装置
CN110795177A (zh) * 2018-08-03 2020-02-14 浙江宇视科技有限公司 图形绘制方法及装置
WO2020024580A1 (zh) * 2018-08-03 2020-02-06 浙江宇视科技有限公司 图形绘制方法及装置、设备及存储介质
EP3832459A4 (en) * 2018-08-03 2022-04-27 Zhejiang Uniview Technologies Co., Ltd. GRAPHIC DRAWING METHOD AND APPARATUS, DEVICE AND STORAGE MEDIA
CN109618211A (zh) * 2018-12-04 2019-04-12 深圳市子瑜杰恩科技有限公司 短视频道具编辑方法及相关产品
US11561651B2 (en) 2019-04-26 2023-01-24 Beijing Bytedance Network Technology Co., Ltd. Virtual paintbrush implementing method and apparatus, and computer readable storage medium
CN111862349A (zh) * 2019-04-26 2020-10-30 北京字节跳动网络技术有限公司 虚拟画笔实现方法、装置和计算机可读存储介质
CN111147880A (zh) * 2019-12-30 2020-05-12 广州华多网络科技有限公司 视频直播的互动方法、装置、系统、电子设备及存储介质
CN111476873A (zh) * 2020-03-12 2020-07-31 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN111476873B (zh) * 2020-03-12 2023-11-10 浙江工业大学 一种基于增强现实的手机虚拟涂鸦方法
CN113709389A (zh) * 2020-05-21 2021-11-26 北京达佳互联信息技术有限公司 一种视频渲染方法、装置、电子设备及存储介质
CN111798379A (zh) * 2020-07-20 2020-10-20 广州炫视智能科技有限公司 实现图形高速预览的方法及系统
CN113986407A (zh) * 2020-07-27 2022-01-28 华为技术有限公司 封面生成方法、装置及计算机存储介质
WO2022199102A1 (zh) * 2021-03-26 2022-09-29 北京达佳互联信息技术有限公司 图像处理方法及装置
CN113160031A (zh) * 2021-03-26 2021-07-23 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113160031B (zh) * 2021-03-26 2024-05-14 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114071228A (zh) * 2021-09-28 2022-02-18 浙江预策科技有限公司 实时信息叠加方法、装置、电子装置和存储介质
CN113961067A (zh) * 2021-09-28 2022-01-21 广东新王牌智能信息技术有限公司 基于深度学习的非接触式涂鸦绘制方法与识别交互系统
CN113961067B (zh) * 2021-09-28 2024-04-05 广东新王牌智能信息技术有限公司 基于深度学习的非接触式涂鸦绘制方法与识别交互系统
CN115185435A (zh) * 2021-09-30 2022-10-14 红科网安(武汉)科技有限公司 要图标绘特殊要素显示控制方法
CN115379250A (zh) * 2022-07-22 2022-11-22 广州博冠信息科技有限公司 视频处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
EP3713220B1 (en) 2023-02-22
EP3713220A4 (en) 2021-01-06
US20200252553A1 (en) 2020-08-06
CN107888845B (zh) 2022-10-21
US11140339B2 (en) 2021-10-05
WO2019095979A1 (zh) 2019-05-23
EP3713220A1 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
CN107888845A (zh) 一种视频图像处理方法、装置及终端
US9612710B2 (en) Storage medium having stored thereon image processing program and image processing apparatus
CN104718528B (zh) 确定界面控件的颜色的方法、装置以及终端设备
US8423914B2 (en) Selection user interface
CN107395958B (zh) 一种图像处理方法、装置、电子设备及存储介质
EP2696573A2 (en) Method for generating a panoramic image, user terminal device, and computer-readable recording medium
CN108304119A (zh) 物体测量方法、智能终端及计算机可读存储介质
CN109660783A (zh) 虚拟现实视差校正
US20070273706A1 (en) Texture mapping 2-D text properties to 3-D text
US11064784B2 (en) Printing method and system of a nail printing apparatus, and a medium thereof
CN107045729A (zh) 一种图像渲染方法及装置
CN108090908A (zh) 图像分割方法、装置、终端及存储介质
CN105453010A (zh) Ui控件背景设置方法、装置及终端
CN108764139A (zh) 一种人脸检测方法、移动终端及计算机可读存储介质
CN108198237A (zh) 动态壁纸生成方法、装置、设备及介质
KR20160046574A (ko) 그래픽 프로세싱 유닛, 이를 포함하는 그래픽 프로세싱 시스템, 및 이를 이용한 안티 에일리어싱 방법
CN114529657A (zh) 渲染图像的生成方法、装置、计算机设备及存储介质
CN113112617B (zh) 一种三维图像的处理方法、装置，电子设备及存储介质
CN111638851B (zh) 笔迹显示处理方法、相关装置及笔迹互操作系统
CN109859258B (zh) 界面处理方法及装置、电子设备
US7154511B2 (en) Fast rendering of ink
CN111640201A (zh) 虚拟沙盘展示的控制方法、装置、电子设备及存储介质
US10235798B2 (en) System and method for rendering shadows for a virtual environment
Li et al. Fast content-aware resizing of multi-layer information visualization via adaptive triangulation
CN107329654A (zh) 绘制元素浮层的方法、装置以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant