CN111510769A - 视频图像处理方法、装置及电子设备 - Google Patents
视频图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111510769A CN111510769A CN202010437984.5A CN202010437984A CN111510769A CN 111510769 A CN111510769 A CN 111510769A CN 202010437984 A CN202010437984 A CN 202010437984A CN 111510769 A CN111510769 A CN 111510769A
- Authority
- CN
- China
- Prior art keywords
- modeling
- hair style
- hair
- video image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 30
- 230000008859 change Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 33
- 230000000694 effects Effects 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 5
- 238000007493 shaping process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000238421 Arthropoda Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开一种视频图像处理方法、装置、电子设备及存储介质。该方法包括：获取待处理视频图像中的目标用户的头发造型对应的造型特征点；获取造型特征点的移动轨迹；获取目标头发造型对应的参考造型特征点；将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配；将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像；输出目标视频图像。实现了用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种视频图像处理方法、装置、电子设备以及存储介质。
背景技术
随着网络通信技术的进步，网络直播成为一种新兴的网络社交方式，网络直播平台也因其实时性、交互性等特点而为越来越多的观众所使用。然而，现有的直播平台提供的主播的虚拟形象较为单一，缺乏对主播用户的发型的造型功能，若主播用户需要某种特定的头发造型，还需要在现实生活中花费较多时间准备，造成了一定的物资以及时间的损耗，同时容易降低观众用户的观看体验。
发明内容
鉴于上述问题，本申请提出了一种视频图像处理方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种视频图像处理方法，该方法包括：获取待处理视频图像中的目标用户的头发造型对应的造型特征点；获取所述造型特征点的移动轨迹；获取目标头发造型对应的参考造型特征点；将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配；将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像；输出所述目标视频图像。
第二方面，本申请实施例提供了一种视频图像处理装置，该装置包括：第一获取模块，用于获取待处理视频图像中的目标用户的头发造型对应的造型特征点；第二获取模块，用于获取所述造型特征点的移动轨迹；第三获取模块，用于获取目标头发造型对应的参考造型特征点；处理模块，用于将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配；更新模块，用于将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像；输出模块，用于输出所述目标视频图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器以及一个或多个处理器；一个或多个程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有程序代码，其中，在程序代码由处理器运行时执行上述第一方面所述的方法。
本申请实施例提供的一种视频图像处理方法、装置、电子设备以及存储介质，通过获取待处理视频图像中的目标用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像，然后输出目标视频图像。从而通过上述方式实现了在获取了目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的一种应用环境示意图。
图2示出了本申请一实施例提供的一种视频图像处理方法的方法流程图。
图3示出了图2中的步骤S120的方法流程图。
图4示出了本申请实施例提供的目标头发造型的选取示例图。
图5示出了本申请实施例提供的头发造型的切换效果示例图。
图6示出了本申请另一实施例提供的一种视频图像处理方法的方法流程图。
图7示出了本申请又一实施例提供的一种视频图像处理方法的方法流程图。
图8示出了本申请再一实施例提供的一种视频图像处理方法的方法流程图。
图9示出了本申请再一实施例提供的一种视频图像处理方法的方法流程图。
图10示出了本申请一实施例提供的一种视频图像处理装置的结构框图。
图11示出了本申请实施例提供的一种电子设备的结构框图。
图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的视频图像处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
AR是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，随着AR技术的发展，其在网络直播平台得到了广泛应用。例如，在直播开播前或者是直播的过程中，可以利用AR技术对主播进行饰品的叠加以丰富主播的形象，例如，可以在主播的头像上叠加墨镜、面具或者是帽子等饰品。然而，发明人发现，现有的直播平台提供的主播的虚拟形象较为单一，缺乏对主播用户的发型的造型功能，若主播用户需要某种特定的头发造型，还需要在现实生活中花费较多时间准备，造成了一定的物资以及时间的损耗，同时容易降低观众用户的观看体验。
针对上述的问题，发明人经过长期的研究发现，可以通过获取目标用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型。实现了在获取了目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
为了便于详细说明本申请方案，下面先结合附图对本申请实施例中的一种应用环境进行介绍。
请参阅图1，为本申请实施例提供的一种视频图像处理方法的应用环境示意图，如图1所示，该应用环境可以理解为本申请实施例的提供的一种网络系统10，该网络系统10包括：服务器11以及客户端12。
其中，服务器11可以是一台服务器(网络接入服务器)，也可以是由若干台服务器组成的服务器集群(云服务器)，或者可以是一个云计算中心(数据库服务器)。客户端12可以是任何具备通信和存储功能的设备，包括但不限于PC(Personal Computer，个人计算机)、PDA(平板电脑)、智能电视、智能手机、智能可穿戴设备或其他具有网络连接功能的智能通信设备。
需要说明的是，本申请实施例中的方法可以应用于网络直播平台，作为一种方式，网络直播平台可以运行于如图1所示一台服务器11中，也可以是运行于若干台服务器11(图中仅示出一台)组成的服务器集群中。可选的，客户端12可以是即时通讯应用或社交网络应用的客户端，所述客户端可以是应用程序客户端(如手机APP中的视频播放应用程序)，也可以是网页客户端(例如网络直播平台)，在此不作限定。其中，服务器11可以通过网络与客户端12建立通信连接，作为一种方式，该网络可以是无线网络，也可以是有线网络。用户可以使用注册的用户帐号登录客户端12或者互联网，客户端12可以具有信息输入界面，用户在该界面内输入文本信息，并且该文本信息可以在客户端12的聊天界面内显示。
可选的，本实施例中的客户端12可以是网络直播平台的主播客户端，也可以是观看用户客户端。本实施例提供的视频图像处理方法可以适用于在主播在开播前或直播的过程中处理主播用户的头发造型，或者是处理观看用户的头发造型，具体可以不做限定。
下面将结合附图具体描述本申请的各实施例。
请参阅图2，示出了本申请一实施例提供的一种视频图像处理方法的流程图，本实施例提供一种视频图像处理方法，可应用于电子设备，该方法包括：
步骤S110：获取待处理视频图像中的目标用户的头发造型对应的造型特征点。
可选的，本实施例中的待处理视频图像可以是直播过程中的视频图像，或者可以是短视频、小视频等视频中的视频图像。在一些可能的实施方式中，待处理视频图像也可以是人工录制或拍摄的视频图像，具体可以不作限定。可选的，不同的场景可以对应有不同内容的待处理视频图像。
其中，本实施例中的目标用户可以是与当前场景对应的用户，不同的当前场景对应的目标用户可以不同，例如若当前场景为网络直播场景，对应的目标用户可以是网络主播用户；而若当前场景为理发店场景，对应的目标用户为理发的顾客。可选的，同一场景可以对应多种目标用户。例如，在网络直播场景中，目标用户可以是网络主播用户或者是观看网络直播的观看用户。
需要说明的是，本实施例中提供的视频图像处理方法的使用场景可以不作限定，例如，可以是网络直播场景、理发场景或者是发型设计场景等。
可选的，可以有多种方式确定目标用户。例如，可以将首次出现在相机的拍摄屏幕上的用户确定为目标用户，或者可以将最后出现在相机的拍摄屏幕上的用户确定为目标用户，或者是将在一段时间内出现在相机的拍摄屏幕上的频率最高的用户确定为目标用户，或者可以是将出现在相机的拍摄屏幕上的面积占比最大的用户确定为目标用户，可选的，确定目标用户的方式本实施例可以不作限定。
可以理解的是，不同的头发造型的外围轮廓不同，相同的头发造型也可能因为目标用户的脸部轮廓的不同而存在差异。可选的，本实施例中目标用户的头发造型对应的造型特征点可以包括目标用户的发型的关键点、耳朵的位置对应的关键点以及额头(或者是太阳穴等位置)的位置对应的关键点。作为一种方式，可以通过人脸识别获取目标用户的头发造型对应的造型特征点，其中，通过人脸识别获取目标用户的头发造型对应的造型特征点的具体实现原理以及实现过程可以参考相关技术，在此不再赘述。
步骤S120：获取所述造型特征点的移动轨迹。
可选的，随着目标用户的位姿的变化，其头发造型的位置会发生变化，例如，目标用户的正脸对应的头发造型的轮廓与目标用户的侧脸对应的头发造型的轮廓不同，在这种方式下，若仍将与目标用户的正脸对应的模特头发造型简单的叠加至目标用户的侧脸对应的头发造型上，将会遮盖目标用户的脸部或者露出目标用户自己的头发，带来不好的视觉效果。作为一种改善这一问题的方式，本实施例可以获取目标用户的头发造型的造型特征点的移动轨迹，以便可以根据该移动轨迹实时地调整模特头发造型，使得模特头发造型可以与位置变化后的目标用户的头发造型匹配，进而提升发型替换的效果，提升用户使用体验。其中，造型特征点的移动轨迹的具体获取过程描述如下：
请参阅图3，作为一种方式，步骤S120可以包括：
步骤S121：获取包括所述目标用户的人脸的背景图像。
作为一种方式，可以通过相机或摄像头连续拍摄多帧包括目标用户的人脸的背景图像，可选的，该背景图像中可以包括目标用户的人脸、以及拍摄背景。例如，若当前场景为直播场景，那么背景图像可以为包括目标用户的人脸以及直播间的背景的图像。可选的，可以从已经拍摄好的图像中选取包括目标用户的人脸的背景图像。
步骤S122：将所述造型特征点与当前帧的所述背景图像做特征匹配，得到所述造型特征点的位置变化参数。
作为一种方式，可以将目标用户的头发造型对应的造型特征点实时和背景图像中所包括的头发造型对应的特征点做特征匹配，以得到造型特征点的位置变化参数。可以理解的是，随着拍摄时间的变化，在前拍摄的图像中造型特征点的位置与在后拍摄的图像中造型特征点的位置可以发生变化，在这种方式下，可以将造型特征点与图像拍摄过程中的每一帧图像(即当前帧的背景图像)做特征匹配，进而可以得到造型特征点与不同的图像做特征匹配后得到的位置变化参数。可选的，该位置变化参数可以包括造型特征点的平移距离或者偏转(或旋转)角度等，也可以理解为造型特征点在上一幅图像中的位置坐标，与造型特征点在相邻下一幅图像中的位置坐标之间的差异。
作为一种方式，可以将造型特征点与当前帧的背景图像做FAST特征匹配，以得到造型特征点的位置变化参数，其中，关于FAST特征匹配的实现原理以及具体实现过程可以参考相关技术，在此不再赘述。
步骤S123：基于所述位置变化参数获取所述造型特征点的移动轨迹。
可选的，在获取了造型特征点的位置变化参数后，可以基于该位置变化参数获取造型特征点的移动轨迹。例如，假设目标用户在图像A中的造型特征点为a(可以包括多个关键点，在此用字母a代替进行示例性说明)，在图像B中的造型特征点为b，在图像C中的造型特征点为c，在图像D中的造型特征点为d，图像A、B、C以及D为沿时间顺序拍摄的包括目标用户的人脸的背景图像。在这种方式下，可以根据造型特征点a、b、c以及d之间的差异获取造型特征点的移动轨迹。
步骤S130：获取目标头发造型对应的参考造型特征点。
其中，目标头发造型为目标用户选中的发型造型，可选的，目标头发造型的选择形式可以有很多，例如，可以根据发型选择目标头发造型，在这种方式下，目标头发造型可以包括“中分”、“齐刘海”、“斜刘海”或者是“偏分”等；或者可以根据发型风格选择目标头发造型，在这种方式下，目标头发造型可以包括“公主风”、“女王范”、“萝莉风”或者是“可爱风”等。可选的，也可以按照卡通人物形象选择目标头发造型，在这种方式下，目标头发造型可以包括“超级赛亚人”或者是“阿童木”等动漫人物形象。
可选的，目标头发造型对应的参考造型特征点可以理解为目标头发造型上和头发造型相关的关键点，例如，可以包括目标头发造型的头发轮廓关键点、目标头发造型对应头型的耳朵所在位置的关键点以及目标头发造型对应人脸的太阳穴所在位置的关键点等。
步骤S140：将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
作为一种方式，可以将参考造型特征点与目标用户的头发造型对应的造型特征点进行关联，具体的，可以对参考造型特征点与造型特征点建立坐标映射关系，以使得参考造型特征点的位置可以与造型特征点的移动轨迹匹配。通过将参考造型特征点与造型特征点进行对应关联，使得参考造型特征点的位置可以实时与造型特征点的位置适配。
步骤S150：将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像。
作为一种方式，在将参考造型特征点与造型特征点进行对应关联后，可以将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，在这种方式下，若需要将用户头发造型替换为参考头发造型，可以在发型替换的过程中持续呈现出与用户的脸部轮廓以及头型和发型适配(即完美贴合)的参考头发造型。可选的，可以将用户头发造型替换为参考头发造型后对应的视频图像作为目标视频图像，在该种方式下，目标视频图像中呈现出的虚拟发型造型可以和目标用户的头型以及脸型无缝贴合，为视频观看用户带来良好的视觉体验。
例如，在一个具体的应用场景中，如图4所示，示出了目标头发造型的选取示例图。如图4所示，电子设备100的显示界面101显示有所拍摄的目标用户102的头像(显示界面101还显示有拍摄时的背景图像，图中未示出)可以通过左右滑动(或者是上下滑动)等方式选取目标头发造型103。如图4所示，若目标用户选择了“公主风”对应的头发造型作为目标头发造型，可以在选择目标头发造型时调节目标头发造型的颜色、皮肤等美颜功能(例如，如图4中104处所示的磨皮、美白、瘦脸、大眼等)，在确定了目标头发造型后，可以获取目标头发造型的参考造型特征点，继而可以将参考特征点与造型特征点进行对应关联，在这种方式下，“公主风”这个头发造型的头发轮廓可以随着目标用户的位置移动而移动，同时，若目标用户的位置发生变化，例如，由正脸变化为侧脸，那么“公主风”这个头发造型的发型轮廓也可以由“正脸”变化为“侧脸”，即将位置变化后的参考造型特征点对应的头发造型作为目标用户的当前头发造型，使得变化后的发型轮廓可以和目标用户的的脸部轮廓的位置变化轨迹适配。
可选的，若目标用户脸部由侧脸变化为正脸，那么“公主风”这个头发造型的发型轮廓也可以由“侧脸”变化为“正脸”，在这种方式下，如图5所示，示出了发型造型切换效果示例图，如图5所示，目标用户的当前头发造型为与“公主风”这个头发造型的正脸造型相对应的发型造型。
步骤S160：输出所述目标视频图像。
可选的，目标视频图像可以为与当前时刻或者时段对应的视频图像，可以理解的是，随着视频的播放，目标视频图像中目标用户的头发的虚拟造型可以不同。
可选的，可以将电子设备的显示屏幕划分为至少两个区域，在这种方式下，可以根据实际需要将目标用户的发型造型替换前的发型对应的视频图像，与目标用户的发型造型替换后的发型对应的视频图像进行分屏展示，其中，分屏展示时具体的位置以及展示方向以及展示的角度(旋转角度)可以不受限制。或者可以在检测到直播间处于开播状态时，将用于替换的多款发型造型替换后的效果进行分屏展示，可选的，该展示效果可以随着目标用户的头部位置的移动而同步变化，进而展示出与目标用户的位置变化后的发型适配的发型造型效果，以便于目标用户可以根据自己的喜好选择直播过程中用于替换的虚拟发型造型。其中，用于替换的多款发型造型的具体数量可以不做限制。
本实施例提供的视频图像处理方法，通过获取待处理视频图像中的目标用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像，然后输出目标视频图像。从而通过上述方式实现了在获取了目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
请参阅图6，示出了本申请另一实施例提供的一种视频图像处理方法的流程图，本实施例提供一种视频图像处理方法，可应用于电子设备，该方法包括：
步骤S210：获取待处理视频图像中的目标用户的头发造型对应的造型特征点。
步骤S220：获取包括所述目标用户的人脸的背景图像。
步骤S230：将所述造型特征点与当前帧的所述背景图像做特征匹配，得到所述造型特征点的位置变化参数。
步骤S240：建立与所述背景图像的位置变化对应的三维坐标系。
可选的，背景图像可以包括多帧图像，通过所获得的造型特征点的位置变化参数，可以根据该位置变化参数获取造型特征点的多个位置坐标，可选的，该多个位置坐标可以是二维坐标。为了便于直观地显示造型特征点的移动轨迹，作为一种方式，可以建立与背景图像的位置变化对应的三维坐标系，具体的，由于多帧图像中均包括目标用户的人脸图像，可选的，可以为多帧背景图像选取相同的参考点作为坐标原点，通过相应的特征匹配算法以及造型特征点的多个位置坐标可以构建与背景图像的位置变化对应的三维坐标系。可选的，该三维坐标系的具体构建原理以及构建过程可以参考相关技术，在此不再赘述。
步骤S250：基于所述位置变化参数获取所述造型特征点在所述三维坐标系下的移动轨迹。
作为一种方式，在建立了与背景图像的位置变化对应的三维坐标系后，可以基于该位置变化参数获取造型特征点在三维坐标系下的移动轨迹，以便于可以直观的获取造型特征点的位置变化轨迹，以使得后续可以更加准确的将参考造型特征点与造型特征点进行对应关联。
步骤S260：获取目标头发造型对应的参考造型特征点。
步骤S270：在所述三维坐标系下建立所述参考造型特征点与所述造型特征点之间的映射关系，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
作为一种方式，可以在三维坐标系下建立参考造型特征点与造型特征点之间的映射关系，具体的，可以将参考造型特征点对应的位置坐标与造型特征点对应的位置坐标在该三维坐标系下进行绑定，以使得参考造型特征点的位置变化与移动轨迹匹配。
步骤S280：将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像。
步骤S290：输出所述目标视频图像。
本实施例提供的视频图像处理方法，实现了在获取了待处理视频图像中的目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点在由根据背景图像的位置变化建立的三维坐标系下进行对应关联，以使得参考造型特征点的位置可以准确的随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
请参阅图7，示出了本申请又一实施例提供的一种视频图像处理方法的流程图，本实施例提供一种视频图像处理方法，可应用于电子设备，该方法包括：
步骤S310：获取待处理视频图像中的目标用户的头发造型对应的造型特征点。
步骤S320：获取所述造型特征点的移动轨迹。
步骤S330：获取目标头发造型对应的三维模型。
可选的，在获取了目标用户选取的目标头发造型后，为了便于准确的将参考造型特征点与造型特征点进行对应关联，可以获取目标头发造型对应的三维模型。具体的，可以采取相关技术生成与目标头发造型匹配的三维模型，其中，三维模型的具体生成过程可以参考相关技术，在此不再赘述。
步骤S340：以预设方式从所述三维模型中提取发型造型特征点作为与所述目标头发造型对应的参考造型特征点。
作为一种方式，可以根据预设方式(例如，可以根据实际情况设计需要提取的关键点的数量以及关键点所在的位置)从所构建的三维模型中提取发型造型特征点作为与目标头发造型对应的参考造型特征点。
步骤S350：将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
步骤S360：将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像。
步骤S370：输出所述目标视频图像。
本实施例提供的视频图像处理方法，实现了在获取了待处理视频图像中的目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
请参阅图8，示出了本申请再一实施例提供的一种视频图像处理方法的流程图，本实施例提供一种视频图像处理方法，可应用于电子设备，该方法包括：
步骤S410：获取与目标用户的头发造型对应的关键点，所述关键点包括发型轮廓关键点以及与所述发型轮廓关联的脸部轮廓关键点。
作为一种方式，可以通过人脸识别相关技术获取与目标用户的头发造型对应的关键点，可选的，该关键点可以包括发型轮廓关键点以及与发型轮廓关联的脸部轮廓关键点(包括目标用户的耳朵对应位置的关键点以及其太阳穴对应位置的关键点)。
步骤S420：基于预设规则将所述发型轮廓关键点与所述脸部轮廓关键点进行合成，得到与所述目标用户的头发造型对应的造型特征点。
作为一种方式，可以基于预设规则将发型轮廓关键点与脸部轮廓关键点进行合成，即合成完整的包括发型轮廓关键点以及脸部轮廓关键点的造型轮廓，继而可以将该完整的造型轮廓所包括的所有特征点作为与目标用户的头发造型对应的造型特征点。
其中，预设规则可以理解为预先设定的发型轮廓关键点与脸部轮廓关键点之间的间隔距离，可选的，不同的脸型对应的该间隔距离可以不同，例如，圆脸对应的该间隔距离相对于长脸对应的该间隔距离要小。作为一种方式，在获取了发型轮廓关键点以及脸部轮廓关键点后，可以根绝二者的坐标差异选取对应的间隔距离，以便于可以基于所获得的间隔距离将发型轮廓关键点与脸部轮廓关键点进行合成，得到与目标用户的头发造型对应的整体造型特征点。
步骤S430：获取所述造型特征点的移动轨迹。
步骤S440：获取目标头发造型对应的参考造型特征点。
步骤S450：将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
步骤S460：将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像。
步骤S470：输出所述目标视频图像。
本实施例提供的视频图像处理方法，实现了在获取了待处理视频图像中的目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
请参阅图9，示出了本申请再一实施例提供的一种视频图像处理方法的流程图，本实施例提供一种视频图像处理方法，可应用于电子设备，该方法包括：
步骤S510：当检测到直播间处于开播状态时，获取待处理视频图像中的主播用户的头发造型对应的造型特征点。
可选的，电子设备可以有多种方式检测直播间是否处于开播状态。例如，作为一种实现方式，可以将直播间处于开播状态的状态标识配置为“1”，将直播间处于未开播状态的状态标识配置为“0”，可选的，具体数值可以不作限定，在这种方式下，可以通过检测直播间的状态标识值检测直播间是否处于开播状态。作为另一种实现方式，可以在检测到直播功能按钮开启时判定直播间处于开播状态。
作为一种方式，当检测到直播间处于开播状态时，可以获取主播用户的头发造型对应的造型特征点。可选的，主播用户在直播的过程中可能会与观看用户或者其他主播用户互动，例如同屏互动，即主播与其他用户在同一屏幕下同时直播，在这种方式下，可以在获取主播用户的头发造型对应的造型特征点之后，获取其他用户(可以是观看用户或者是其他主播用户)的头发造型对应的造型特征点。
可选的，本申请实施例还可以在检测到开启发型替换功能按钮(可以是物理按钮或者是虚拟按钮)时，获取用户的头发造型对应的造型特征点。例如，假设某一用户去理发店剪头发，该头发想要请理发师帮忙设计一款适合自己的发型，在该种情况下，为了避免理发师的理解误差给用户带来的损失，可以开启客户端中配置的头发替换功能按钮，以便于用户可以预先查看自己在不同的目标头发造型下的造型效果，从而可以帮助用户选择更加适合自己的发型，也可以让理发师更好的理解用户的意图，进而提升用户使用体验。
步骤S520：获取所述造型特征点的移动轨迹。
步骤S530：获取目标头发造型对应的参考造型特征点。
步骤S540：将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
步骤S550：将所述主播用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像。
作为一种方式，可以将与参考造型特征点对应的图像与造型特征点对应的图像同时输入至OpenGL中的渲染管道中进行渲染，以实现将主播用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型可以由三维图像转换成二维图像，再将该二维图像与视频流进行编码，生成视频帧，继而可以经过流媒体SDK进行传输，将替换后的发型效果图直播给观众用户或其他主播用户。
步骤S560：输出所述目标视频图像。
本实施例提供的视频图像处理方法，通过在检测到直播间处于开播状态时，获取待处理视频图像中的主播用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将主播用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像，然后输出目标视频图像。从而通过上述方式实现了在获取了主播用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与主播用户的头发造型适配，进而提升发型替换的效果；同时通过将主播用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
请参阅图10，为本申请实施例提供的一种视频图像处理装置的结构框图，本实施例提供一种视频图像处理装置600，可以运行于电子设备，所述装置600包括：第一获取模块610、第二获取模块620、第三获取模块630、处理模块640、更新模块650以及输出模块660：
第一获取模块610，用于获取目标用户的头发造型对应的造型特征点。
作为一种实施方式，第一获取模块610可以用于获取与目标用户的头发造型对应的关键点，所述关键点包括发型轮廓关键点以及与所述发型轮廓关联的脸部轮廓关键点；基于预设规则将所述发型轮廓关键点与所述脸部轮廓关键点进行合成，得到与所述目标用户的头发造型对应的造型特征点。
作为又一种实施方式，第一获取模块610可以用于当检测到直播间处于开播状态时，获取主播用户的头发造型对应的造型特征点。
第二获取模块620，用于获取所述造型特征点的移动轨迹。
作为一种方式，第二获取模块620具体可以用于获取包括所述目标用户的人脸的背景图像；将所述造型特征点与当前帧的所述背景图像做特征匹配，得到所述造型特征点的位置变化参数；基于所述位置变化参数获取所述造型特征点的移动轨迹。
可选的，所述装置还可以包括三维坐标系建立模块，用于建立与所述背景图像的位置变化对应的三维坐标系。在这种方式下，第二获取模块620可以用于基于所述位置变化参数获取所述造型特征点在所述三维坐标系下的移动轨迹。
第三获取模块630，用于获取目标头发造型对应的参考造型特征点。
作为一种方式，第三获取模块630可以用于获取目标头发造型对应的三维模型；以预设方式从所述三维模型中提取发型造型特征点作为与所述目标头发造型对应的参考造型特征点。
处理模块640，用于将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配。
可选的，处理模块640可以用于在所述三维坐标系下建立所述参考造型特征点与所述造型特征点之间的映射关系。
更新模块650，用于将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型。
输出模块660，用于输出所述目标视频图像。
本实施例提供的视频图像处理装置，通过获取待处理视频图像中的目标用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像，然后输出目标视频图像。从而通过上述方式实现了在获取了目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图11，基于上述的视频图像处理方法及装置，本申请实施例还提供了一种可以执行前述视频图像处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1300包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
综上所述，本申请实施例提供的一种视频图像处理方法、装置、电子设备以及存储介质，通过获取待处理视频图像中的目标用户的头发造型对应的造型特征点，继而获取该造型特征点的移动轨迹，再获取目标头发造型对应的参考造型特征点，再将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置变化与移动轨迹匹配，然后将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，得到目标视频图像，然后输出目标视频图像。从而通过上述方式实现了在获取了目标用户的头发造型对应的造型特征点的移动轨迹的情况下，将参考造型特征点与造型特征点进行对应关联，以使得参考造型特征点的位置可以随着造型特征点的位置的变化而变化，从而可以实现用参考造型特征点实时替换移动过程中的造型特征点，使得参考造型特征点对应的头发造型可以与目标用户的头发造型适配，进而提升发型替换的效果；同时通过将目标用户的头发造型更新为位置变化后的参考造型特征点对应的头发造型，实现了通过发型的虚拟替换达到所需的发型效果，提升了直播过程中发型替换的便利性与发型造型的丰富程度，进而提升用户观看体验。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种视频图像处理方法，其特征在于，所述方法包括：
获取待处理视频图像中的目标用户的头发造型对应的造型特征点；
获取所述造型特征点的移动轨迹；
获取目标头发造型对应的参考造型特征点；
将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配；
将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像；
输出所述目标视频图像。
2.根据权利要求1所述的方法，其特征在于，所述获取所述造型特征点的移动轨迹，包括：
获取包括所述目标用户的人脸的背景图像；
将所述造型特征点与当前帧的所述背景图像做特征匹配，得到所述造型特征点的位置变化参数；
基于所述位置变化参数获取所述造型特征点的移动轨迹。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
建立与所述背景图像的位置变化对应的三维坐标系；
所述基于所述位置变化参数获取所述造型特征点的移动轨迹，包括：
基于所述位置变化参数获取所述造型特征点在所述三维坐标系下的移动轨迹。
4.根据权利要求3所述的方法，其特征在于，所述将所述参考造型特征点与所述造型特征点进行对应关联，包括：
在所述三维坐标系下建立所述参考造型特征点与所述造型特征点之间的映射关系。
5.根据权利要求1所述的方法，其特征在于，所述获取目标头发造型对应的参考造型特征点，包括：
获取目标头发造型对应的三维模型；
以预设方式从所述三维模型中提取发型造型特征点作为与所述目标头发造型对应的参考造型特征点。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述获取待处理视频图像中的目标用户的头发造型对应的造型特征点，包括：
获取与待处理视频图像中的目标用户的头发造型对应的关键点，所述关键点包括发型轮廓关键点以及与所述发型轮廓关联的脸部轮廓关键点；
基于预设规则将所述发型轮廓关键点与所述脸部轮廓关键点进行合成，得到与所述目标用户的头发造型对应的造型特征点。
7.根据权利要求1所述的方法，其特征在于，所述获取待处理视频图像中的目标用户的头发造型对应的造型特征点，包括：
当检测到直播间处于开播状态时，获取待处理视频图像中的主播用户的头发造型对应的造型特征点。
8.一种视频图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理视频图像中的目标用户的头发造型对应的造型特征点；
第二获取模块，用于获取所述造型特征点的移动轨迹；
第三获取模块，用于获取目标头发造型对应的参考造型特征点；
处理模块，用于将所述参考造型特征点与所述造型特征点进行对应关联，以使得所述参考造型特征点的位置变化与所述移动轨迹匹配；
更新模块，用于将所述目标用户的头发造型更新为位置变化后的所述参考造型特征点对应的头发造型，得到目标视频图像；
输出模块，用于输出所述目标视频图像。
9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010437984.5A CN111510769B (zh) | 2020-05-21 | 2020-05-21 | 视频图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010437984.5A CN111510769B (zh) | 2020-05-21 | 2020-05-21 | 视频图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111510769A true CN111510769A (zh) | 2020-08-07 |
| CN111510769B CN111510769B (zh) | 2022-07-26 |
Family
ID=71877019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010437984.5A Active CN111510769B (zh) | 2020-05-21 | 2020-05-21 | 视频图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111510769B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628350A (zh) * | 2021-09-10 | 2021-11-09 | 广州帕克西软件开发有限公司 | 一种智能染发试发的方法及装置 |
| CN114202597A (zh) * | 2021-12-07 | 2022-03-18 | 北京百度网讯科技有限公司 | 图像处理方法及装置、设备、介质和产品 |
| CN114880057A (zh) * | 2022-04-22 | 2022-08-09 | 北京三快在线科技有限公司 | 图像显示方法、装置、终端、服务器及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1246132A1 (en) * | 2000-04-13 | 2002-10-02 | Sony Corporation | Image processor and image processing method, and recorded medium |
| JP2011022939A (ja) * | 2009-07-17 | 2011-02-03 | Spill:Kk | ヘアスタイルカウンセリングシステム |
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及系统 |
| CN103489219A (zh) * | 2013-09-18 | 2014-01-01 | 华南理工大学 | 基于深度图像分析的3d发型效果仿真系统 |
| CN104217350A (zh) * | 2014-06-17 | 2014-12-17 | 北京京东尚科信息技术有限公司 | 实现虚拟试戴的方法和装置 |
| CN105045968A (zh) * | 2015-06-30 | 2015-11-11 | 青岛理工大学 | 一种发型设计方法及系统 |
| CN107851278A (zh) * | 2015-07-15 | 2018-03-27 | 华为技术有限公司 | 一种用于手机中基于视频增强现实的虚拟试衣系统和方法 |
| CN108463823A (zh) * | 2016-11-24 | 2018-08-28 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
| CN109427007A (zh) * | 2018-09-17 | 2019-03-05 | 叠境数字科技（上海）有限公司 | 基于多视角的虚拟试衣方法 |
| US20200066052A1 (en) * | 2018-08-23 | 2020-02-27 | CJ Technologies, LLC | System and method of superimposing a three-dimensional (3d) virtual garment on to a real-time video of a user |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
-
2020
- 2020-05-21 CN CN202010437984.5A patent/CN111510769B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1246132A1 (en) * | 2000-04-13 | 2002-10-02 | Sony Corporation | Image processor and image processing method, and recorded medium |
| JP2011022939A (ja) * | 2009-07-17 | 2011-02-03 | Spill:Kk | ヘアスタイルカウンセリングシステム |
| CN103065360A (zh) * | 2013-01-16 | 2013-04-24 | 重庆绿色智能技术研究院 | 一种发型效果图的生成方法及系统 |
| CN103489219A (zh) * | 2013-09-18 | 2014-01-01 | 华南理工大学 | 基于深度图像分析的3d发型效果仿真系统 |
| CN104217350A (zh) * | 2014-06-17 | 2014-12-17 | 北京京东尚科信息技术有限公司 | 实现虚拟试戴的方法和装置 |
| CN105045968A (zh) * | 2015-06-30 | 2015-11-11 | 青岛理工大学 | 一种发型设计方法及系统 |
| CN107851278A (zh) * | 2015-07-15 | 2018-03-27 | 华为技术有限公司 | 一种用于手机中基于视频增强现实的虚拟试衣系统和方法 |
| CN108463823A (zh) * | 2016-11-24 | 2018-08-28 | 华为技术有限公司 | 一种用户头发模型的重建方法、装置及终端 |
| US20200066052A1 (en) * | 2018-08-23 | 2020-02-27 | CJ Technologies, LLC | System and method of superimposing a three-dimensional (3d) virtual garment on to a real-time video of a user |
| CN110866864A (zh) * | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | 人脸姿态估计/三维人脸重构方法、装置及电子设备 |
| CN109427007A (zh) * | 2018-09-17 | 2019-03-05 | 叠境数字科技（上海）有限公司 | 基于多视角的虚拟试衣方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628350A (zh) * | 2021-09-10 | 2021-11-09 | 广州帕克西软件开发有限公司 | 一种智能染发试发的方法及装置 |
| CN114202597A (zh) * | 2021-12-07 | 2022-03-18 | 北京百度网讯科技有限公司 | 图像处理方法及装置、设备、介质和产品 |
| CN114880057A (zh) * | 2022-04-22 | 2022-08-09 | 北京三快在线科技有限公司 | 图像显示方法、装置、终端、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111510769B (zh) | 2022-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658960B1 (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| US9626788B2 (en) | Systems and methods for creating animations using human faces | |
| CN111641844B (zh) | 直播互动方法、装置、直播系统及电子设备 | |
| CN111510769B (zh) | 视频图像处理方法、装置及电子设备 | |
| CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
| CN108322832B (zh) | 评论方法、装置、及电子设备 | |
| CN110413108B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| CN106730815B (zh) | 一种易实现的体感互动方法及系统 | |
| CN113099298B (zh) | 虚拟形象的改变方法、装置和终端设备 | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| CN110688948B (zh) | 视频中人脸性别变换方法、装置、电子设备和存储介质 | |
| CN106303354B (zh) | 一种脸部特效推荐方法及电子设备 | |
| CN113240782A (zh) | 基于虚拟角色的流媒体生成方法及装置 | |
| WO2019114328A1 (zh) | 一种基于增强现实的视频处理方法及其装置 | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| CN111182350B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| CN110942501B (zh) | 虚拟形象切换方法、装置、电子设备及存储介质 | |
| CN111147880A (zh) | 视频直播的互动方法、装置、系统、电子设备及存储介质 | |
| CN111432267A (zh) | 视频调整方法、装置、电子设备及存储介质 | |
| CN113766168A (zh) | 一种互动处理方法、装置、终端及介质 | |
| CN113965773A (zh) | 直播展示方法和装置、存储介质及电子设备 | |
| CN115398884A (zh) | 自拍设置和库存视频创建 | |
| CN113408452A (zh) | 表情重定向训练方法、装置、电子设备和可读存储介质 | |
| US11983819B2 (en) | Methods and systems for deforming a 3D body model based on a 2D image of an adorned subject | |
| CN115426505B (zh) | 基于面部捕捉的预设表情特效触发方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210113 Address after: 511442 3108, 79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province Applicant after: GUANGZHOU CUBESILI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 511400 24th floor, building B-1, North District, Wanda Commercial Plaza, Wanbo business district, No.79 Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou, Guangdong Province Applicant before: GUANGZHOU HUADUO NETWORK TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |