CN110971924A - 一种直播过程中美颜的方法、设备、存储介质及系统 - Google Patents

一种直播过程中美颜的方法、设备、存储介质及系统 Download PDF

Info

Publication number
CN110971924A
CN110971924A CN201811161993.5A CN201811161993A CN110971924A CN 110971924 A CN110971924 A CN 110971924A CN 201811161993 A CN201811161993 A CN 201811161993A CN 110971924 A CN110971924 A CN 110971924A
Authority
CN
China
Prior art keywords
live broadcast
special effect
gesture
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811161993.5A
Other languages
English (en)
Other versions
CN110971924B (zh
Inventor
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201811161993.5A priority Critical patent/CN110971924B/zh
Publication of CN110971924A publication Critical patent/CN110971924A/zh
Application granted granted Critical
Publication of CN110971924B publication Critical patent/CN110971924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06T3/04—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种直播过程中美颜的方法、设备、存储介质及系统，涉及拍摄美颜领域，该方法包括获取多张含有第一预设手势的图像对直播客户端中预设的第一神经网络模型进行训练；获取含有第二预设手势的图像对直播服务器中预设的第二神经网络模型进行训练；直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。本发明能够实现滤镜特效的自动切换。

Description

一种直播过程中美颜的方法、设备、存储介质及系统
技术领域
本发明涉及拍摄美颜领域，具体涉及一种直播过程中美颜的方法、设备、存储介质及系统。
背景技术
当前人们在通过相机进行自拍或录像时，拍摄过程中，对画面中人物进行实时美颜的调整处理已然成为常态，美颜指的是通过算法改变画面中人物的肤色，例如消除人脸上的痘印、通过滤镜特效调整改变整个画面或画面中某一部分的色调等，美颜已然成为爱美人士的标配，滤镜特效包括白皙、胶片、海洋、水嫩、少女、自然、回忆、霓虹等。
在直播行业，主播在直播的过程中，为了给观众呈现较好的画面感以及给观众带来良好的观赏体验，通常会使用滤镜特效。主播在直播前的准备工作中或直播进行中，对于滤镜特效的选择和设置，且需通过手动的方式进行，较为费时，且影响主播的使用体验。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种直播过程中美颜的方法，能够实现滤镜特效的自动切换。相应地还提供设备、存储介质及系统。
本发明第一方面提供一种直播过程中美颜的方法，包括：
获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
结合第一方面，在第一种可能的实现方式中，
所述第二预设手势包括特效关闭手势、特效撤销手势和多种类型的特效手势，每种类型的特效手势对应一种滤镜特效；
当直播服务器检测到直播画面中的特效手势时，则调出特效手势对应的滤镜特效作为当前直播的滤镜特效；
当直播服务器检测到直播画面中出现特效撤销手势时，则撤销上一次的滤镜特效更换操作；
当直播服务器检测到直播画面中出现特效关闭手势时，则关闭当前直播的滤镜特效。
结合第一方面，在第二种可能的实现方式中，所述直播服务器中训练完成的第二神经网络模型对直播画面进行检测，具体包括：
当第二神经网络模型第一次检测到特效手势时，将当前特效手势对应的滤镜特效作为当前直播的滤镜特效；
当第二神经网络模型再次检测到特效手势时，则在直播画面中，一半画面显示为原滤镜特效，另一半画面显示当前特效手势对应的滤镜特效，并经预设定时时间后，将整个直播画面显示为当前特效手势对应的滤镜特效；
若处于预设定时时间内，第二神经网络模型检测到特效撤销手势，则撤销直播画面中另一半非原滤镜特效的画面，将整个直播画面显示为原滤镜特效。
当第二神经网络模型检测到特效关闭手势，则关闭直播画面的滤镜特效。
结合第一方面第一种可能的实现方式，在第三种可能的实现方式中，当第二神经网络模型检测到特效关闭手势，并关闭直播画面的滤镜特效之后，还包括：直播客户端停止对直播服务器直播画面的发送，当第一神经网络模型再次检测到第一预设手势时，则直播客户端继续对直播服务器进行直播画面的发送。
结合第一方面，在第四种可能的实现方式中，
所述直播服务器中还预设有人像识别系统，在直播服务器中，以主播为单位，对当前主播的第二预设手势对应的滤镜特效进行设置；
当直播服务器中的第二神经网络模型对直播画面进行检测时，同时人像识别系统对直播画面中所含主播人脸进行检测以识别当前主播身份，当第二神经网络模型检测到第二预设手势时，调出当前主播的第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
结合第一方面，在第五种可能的实现方式中，当直播画面被设置了滤镜特效之后，人像识别系统实时对直播画面进行检测，当检测到直播画面中不含有人脸时，则关闭直播画面的滤镜特效。
本发明第二方面提供一种直播客户端，包括：
识别单元，所述识别单元中设有神经网络模型；
第一训练单元，其用于使用多张含有第一预设手势的图像作为训练图像对识别单元中的神经网络模型进行训练；
采集单元，其用于实时对直播画面进行采集，并驱使识别单元对采集的直播画面进行检测；
发送单元，其用于当识别单元检测到直播画面中的第一预设手势时，将采集单元采集的直播画面发送至直播服务器。
本发明第三方面提供一种直播服务器，包括：
检测单元，所述检测单元中设有神经网络模型；
第二训练单元，其用于使用多张含有第二预设手势的图像作为训练图像对检测单元中的神经网络模型进行训练；
接收单元，其用于接收直播客户端发送的直播画面；
特效设置执行单元，其用于驱使检测单元对接收单元接收的直播画面进行检测，当检测到第二预设手势时，则调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
本发明第四方面提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
本发明第五方面提供一种直播过程中美颜的系统，包括：
第一训练模块，获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
第二训练模块，获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
检测模块，直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
发送模块，当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
滤镜特效执行模块，直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
与现有技术相比，本发明的优点在于：通过获取含有第一预设手势的图像和含有第二预设手势的图像，分别作为第一神经网络模型和第二神经网络模型的训练图像，通过训练以使神经网络模型具有识别特定手势的能力，当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器，此时第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效，实现滤镜特效的自动切换，极大地方便主播的直播操作。
附图说明
图1为本发明实施例中一种直播过程中美颜的方法的流程图；
图2为本发明实施例中一种直播客户端的结构示意图；
图3为本发明实施例中一种直播服务器的结构示意图。
具体实施方式
本发明实施例提供了一种直播过程中美颜的方法，通过对主播手势的识别，实现对当前直播滤镜特效的自动切换，优化主播美颜切换时的操作体验。本发明实施例还提供了相应的设备和存储介质。
以下结合附本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本发明实施例提供的一种直播过程中美颜的方法的一实施例包括：
S1：获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开。
本发明实施例中，第一预设手势相当于美颜唤醒手势，因此该预设手势在设定的过程中可以较为简单，第一神经网络模型的训练图像中，包括两只手，且两只手的十指均可见，两只手的朝向和角度不作限定，包括两只手且十指可见的图像均可作为第一神经网络模型的训练图像。
S2：获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效。
本发明实施例例中，因滤镜特效含有多种，如白皙、胶片、海洋、水嫩、少女、自然、回忆、霓虹等，滤镜特效在实现过程中具体呈现出的样式和效果可以参见当前各大美颜类APP，本发明实施例对此不再进行详细说明。每种类型手势对应一种滤镜特效，以便于通过识别手势以进行滤镜特效的切换，具体的，第二预设手势包括“竖大拇指”、“双手比心”、“胜利手势”、“拳头手势”等，如“竖大拇指”手势可以对应白皙滤镜特效，“双手比心”手势可以对应胶片滤镜特效，使用含有以上手势的图像作为训练图像对第二神经网络模型进行训练，以使第二神经网络模型具有识别上述手势的能力。
本发明实施例中，第一神经网络模型和第二神经网络模型为相同的神经网络模型，“第一”和“第二”仅是为了对两者进行区分，没有实际含义。且神经网络模型可以为传统的机器学习算法，如SVM(Support Vector Machine，支持向量机)、KNN(k-NearestNeighbo，邻近算法)等，也可以为深度学习算法，如CNN(Convolutional Neural Networks，卷积神经网络)模型，根据需要灵活进行选择。
S3：直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
S4：当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
S5：直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
本发明实施例中，直播画面有直播客户端传输给直播服务器，而观众观看直播画面是需要直播服务器对直播画面进行转发的，故相当于第一预设手势为直播开播手势，第一神经网络模型检测到第一预设手势，直播客户端将采集的直播画面发送至直播服务器，然后观众便可观看到直播。
本发明实施例的直播过程中美颜的方法，通过获取含有第一预设手势的图像和含有第二预设手势的图像，分别作为第一神经网络模型和第二神经网络模型的训练图像，通过训练以使神经网络模型具有识别特定手势的能力，当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器，此时第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效，通过直播服务器对直播画面中手势的实时检测，同时基于预先设定，当检测到不同的手势时，则将直播画面的滤镜特效调整为对应该手势的滤镜特效，相当于通过手势的判断来控制滤镜特效种类的切换，实现滤镜特效的自动切换过程，无需主播手动操作，极大地方便主播的直播操作。
可选地，在上述图1对应的实施例的基础上，本发明实施例提供的一种直播过程中美颜的方法的第一个可选实施例中，第二预设手势包括特效关闭手势、特效撤销手势和多种类型的特效手势，每种类型的特效手势对应一种滤镜特效。
本发明实施例中，特效关闭手势可以为胳膊交叉，特效撤销手势可以为手指向左指。
当直播服务器检测到直播画面中的特效手势时，则调出特效手势对应的滤镜特效作为当前直播的滤镜特效，特效手势用于进行滤镜特效的切换；
当直播服务器检测到直播画面中出现特效撤销手势时，则撤销上一次的滤镜特效更换操作；
当直播服务器检测到直播画面中出现特效关闭手势时，则关闭当前直播的滤镜特效。
可选地，在上述图1及图1对应的第一个可选实施例中任意一个的基础上，本发明实施例提供的一种直播过程中美颜的方法的第二个可选实施例中，直播服务器中训练完成的第二神经网络模型对直播画面进行检测，具体包括：
当第二神经网络模型第一次检测到特效手势时，将当前特效手势对应的滤镜特效作为当前直播的滤镜特效；
当第二神经网络模型再次检测到特效手势时，则在直播画面中，一半画面显示为原滤镜特效，另一半画面显示当前特效手势对应的滤镜特效，并经预设定时时间后，将整个直播画面显示为当前特效手势对应的滤镜特效，通过分屏显示的方式，方便主播在两种滤镜特效间进行对比。
若处于预设定时时间内，第二神经网络模型检测到特效撤销手势，则撤销直播画面中另一半非原滤镜特效的画面，将整个直播画面显示为原滤镜特效。例如，预设定时时间为15秒，在15秒的时间内，直播画面中，一半画面显示为原滤镜特效，另一半画面显示新滤镜特效，此时，若检测到特效撤销手势，则撤销新滤镜特效，将整个直播画面显示为原滤镜特效。
当第二神经网络模型检测到特效关闭手势，则关闭直播画面的滤镜特效。
可选地，在上述图1及图1对应的第一个可选实施例中任意一个的基础上，本发明实施例提供的一种直播过程中美颜的方法的第三个可选实施例中，当第二神经网络模型检测到特效关闭手势，并关闭直播画面的滤镜特效之后，还包括：直播客户端停止对直播服务器直播画面的发送，当第一神经网络模型再次检测到第一预设手势时，则直播客户端继续对直播服务器进行直播画面的发送。
可选地，在上述图1对应的实施例的基础上，本发明实施例提供的一种直播过程中美颜的方法的第四个可选实施例中，直播服务器中还预设有人像识别系统，在直播服务器中，以主播为单位，对当前主播的第二预设手势对应的滤镜特效进行设置。
当直播服务器中的第二神经网络模型对直播画面进行检测时，同时人像识别系统对直播画面中所含主播人脸进行检测以识别当前主播身份，当第二神经网络模型检测到第二预设手势时，调出当前主播的第二预设手势对应的滤镜特效作为当前直播的滤镜特效。即基于主播，定于不同手势所对应的滤镜特效。
可选地，在上述图1对应的实施例的基础上，本发明实施例提供的一种直播过程中美颜的方法的第五个可选实施例中，当直播画面被设置了滤镜特效之后，人像识别系统实时对直播画面进行检测，当检测到直播画面中不含有人脸时，则关闭直播画面的滤镜特效。主播在直播的过程中，可以进行表演类直播，也可以进行游戏直播，游戏直播时，整个直播画面显示的为游戏界面，如当主播从表演类直播跳转至游戏直播时，此时直播画面中不再显示主播的人脸，且游戏界面无需添加滤镜，故此时可以关闭直播画面的滤镜特效。
参见图2所示，本发明实施例提供的一种直播客户端的一实施例包括：
识别单元，所述识别单元中设有神经网络模型；
第一训练单元，其用于使用多张含有第一预设手势的图像作为训练图像对识别单元中的神经网络模型进行训练；
采集单元，其用于实时对直播画面进行采集，并驱使识别单元对采集的直播画面进行检测；
发送单元，其用于当识别单元检测到直播画面中的第一预设手势时，将采集单元采集的直播画面发送至直播服务器。
本发明实施例中，直播客户端运行于智能移动设备中，且智能移动设备含有用于录取直播画面的摄像头。
参见图3所示，在图2对应的实施例的基础上，本发明实施例提供的一种直播服务器的一实施例包括：
检测单元，所述检测单元中设有神经网络模型；
第二训练单元，其用于使用多张含有第二预设手势的图像作为训练图像对检测单元中的神经网络模型进行训练；
接收单元，其用于接收直播客户端发送的直播画面；
特效设置执行单元，其用于驱使检测单元对接收单元接收的直播画面进行检测，当检测到第二预设手势时，则调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
本发明实施例提供的一种存储介质的一实施例包括：存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
可选地，在上述存储介质实施例的基础上，本发明实施例提供的一种存储介质的第一个可选实施例中，存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可选地，在上述存储介质的实施例及第一个可选实施例的基础上，本发明实施例提供的一种存储介质的第二个可选实施例中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可选地，在上述存储介质的实施例及第一、第二个可选实施例的基础上，本发明实施例提供的一种存储介质的第三个可选实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的一种直播过程中美颜的系统的一实施例包括：
第一训练模块，获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
第二训练模块，获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
检测模块，直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
发送模块，当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
滤镜特效执行模块，直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种直播过程中美颜的方法，其特征在于：
获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
2.如权利要求1所述的一种直播过程中美颜的方法，其特征在于：
所述第二预设手势包括特效关闭手势、特效撤销手势和多种类型的特效手势，每种类型的特效手势对应一种滤镜特效；
当直播服务器检测到直播画面中的特效手势时，则调出特效手势对应的滤镜特效作为当前直播的滤镜特效；
当直播服务器检测到直播画面中出现特效撤销手势时，则撤销上一次的滤镜特效更换操作；
当直播服务器检测到直播画面中出现特效关闭手势时，则关闭当前直播的滤镜特效。
3.如权利要求2所述的一种直播过程中美颜的方法，其特征在于：所述直播服务器中训练完成的第二神经网络模型对直播画面进行检测，具体包括：
当第二神经网络模型第一次检测到特效手势时，将当前特效手势对应的滤镜特效作为当前直播的滤镜特效；
当第二神经网络模型再次检测到特效手势时，则在直播画面中，一半画面显示为原滤镜特效，另一半画面显示当前特效手势对应的滤镜特效，并经预设定时时间后，将整个直播画面显示为当前特效手势对应的滤镜特效；
若处于预设定时时间内，第二神经网络模型检测到特效撤销手势，则撤销直播画面中另一半非原滤镜特效的画面，将整个直播画面显示为原滤镜特效。
当第二神经网络模型检测到特效关闭手势，则关闭直播画面的滤镜特效。
4.如权利要求2所述的一种直播过程中美颜的方法，其特征在于：当第二神经网络模型检测到特效关闭手势，并关闭直播画面的滤镜特效之后，还包括：直播客户端停止对直播服务器直播画面的发送，当第一神经网络模型再次检测到第一预设手势时，则直播客户端继续对直播服务器进行直播画面的发送。
5.如权利要求1所述的一种直播过程中美颜的方法，其特征在于：
所述直播服务器中还预设有人像识别系统，在直播服务器中，以主播为单位，对当前主播的第二预设手势对应的滤镜特效进行设置；
当直播服务器中的第二神经网络模型对直播画面进行检测时，同时人像识别系统对直播画面中所含主播人脸进行检测以识别当前主播身份，当第二神经网络模型检测到第二预设手势时，调出当前主播的第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
6.如权利要求1所述的一种直播过程中美颜的方法，其特征在于：当直播画面被设置了滤镜特效之后，人像识别系统实时对直播画面进行检测，当检测到直播画面中不含有人脸时，则关闭直播画面的滤镜特效。
7.一种直播客户端，其特征在于，包括：
识别单元，所述识别单元中设有神经网络模型；
第一训练单元，其用于使用多张含有第一预设手势的图像作为训练图像对识别单元中的神经网络模型进行训练；
采集单元，其用于实时对直播画面进行采集，并驱使识别单元对采集的直播画面进行检测；
发送单元，其用于当识别单元检测到直播画面中的第一预设手势时，将采集单元采集的直播画面发送至直播服务器。
8.一种直播服务器，其特征在于，包括：
检测单元，所述检测单元中设有神经网络模型；
第二训练单元，其用于使用多张含有第二预设手势的图像作为训练图像对检测单元中的神经网络模型进行训练；
接收单元，其用于接收直播客户端发送的直播画面；
特效设置执行单元，其用于驱使检测单元对接收单元接收的直播画面进行检测，当检测到第二预设手势时，则调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
9.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
10.一种直播过程中美颜的系统，其特征在于，包括：
第一训练模块，获取多张含有第一预设手势的图像作为训练图像对直播客户端中预设的第一神经网络模型进行训练，所述第一预设手势中包括两只手，且双手十指均伸开；
第二训练模块，获取含有第二预设手势的图像作为训练图像对直播服务器中预设的第二神经网络模型进行训练，所述第二预设手势包括多种类型手势，每种类型手势对应一种滤镜特效；
检测模块，直播客户端实时对直播画面进行采集，并使用训练完成后的第一神经网络模型对采集的直播画面进行检测；
发送模块，当且仅当第一神经网络模型检测到第一预设手势时，直播客户端将采集的直播画面发送至直播服务器；
滤镜特效执行模块，直播服务器中训练完成的第二神经网络模型对直播画面进行检测，当检测到第二预设手势时，调出第二预设手势对应的滤镜特效作为当前直播的滤镜特效。
CN201811161993.5A 2018-09-30 2018-09-30 一种直播过程中美颜的方法、设备、存储介质及系统 Active CN110971924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811161993.5A CN110971924B (zh) 2018-09-30 2018-09-30 一种直播过程中美颜的方法、设备、存储介质及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811161993.5A CN110971924B (zh) 2018-09-30 2018-09-30 一种直播过程中美颜的方法、设备、存储介质及系统

Publications (2)

Publication Number Publication Date
CN110971924A true CN110971924A (zh) 2020-04-07
CN110971924B CN110971924B (zh) 2022-12-02

Family

ID=70029378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811161993.5A Active CN110971924B (zh) 2018-09-30 2018-09-30 一种直播过程中美颜的方法、设备、存储介质及系统

Country Status (1)

Country Link
CN (1) CN110971924B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462941A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 基于手势识别的教学互动方法、装置、系统及介质
CN112492211A (zh) * 2020-12-01 2021-03-12 咪咕文化科技有限公司 一种拍摄方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254764A (zh) * 2015-06-12 2016-12-21 三星电子株式会社 电子装置和用于在电子装置中显示图像的方法
CN106325520A (zh) * 2016-08-31 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法、装置及移动终端
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术（北京）有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107330450A (zh) * 2017-06-15 2017-11-07 珠海格力电器股份有限公司 一种终端设备控制方法和装置
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254764A (zh) * 2015-06-12 2016-12-21 三星电子株式会社 电子装置和用于在电子装置中显示图像的方法
CN107340852A (zh) * 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 手势控制方法、装置和终端设备
CN106325520A (zh) * 2016-08-31 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法、装置及移动终端
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术（北京）有限公司 一种网络直播中自动匹配特效的方法、系统及设备
CN107330450A (zh) * 2017-06-15 2017-11-07 珠海格力电器股份有限公司 一种终端设备控制方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112462941A (zh) * 2020-11-27 2021-03-09 深圳点猫科技有限公司 基于手势识别的教学互动方法、装置、系统及介质
CN112492211A (zh) * 2020-12-01 2021-03-12 咪咕文化科技有限公司 一种拍摄方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110971924B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN103763453B (zh) 一种图文采集识别装置
US20230360184A1 (en) Image processing method and apparatus, and electronic device and computer-readable storage medium
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
US11165955B2 (en) Album generation apparatus, album generation system, and album generation method
JP7209851B2 (ja) 画像変形の制御方法、装置およびハードウェア装置
US11232790B2 (en) Control method for human-computer interaction device, human-computer interaction device and human-computer interaction system
CN110969673B (zh) 一种直播换脸交互实现方法、存储介质、设备及系统
CN106790996A (zh) 手机虚拟现实交互系统及方法
EP4300431A1 (en) Action processing method and apparatus for virtual object, and storage medium
US20150244984A1 (en) Information processing method and device
CN110971924B (zh) 一种直播过程中美颜的方法、设备、存储介质及系统
US20230206093A1 (en) Music recommendation method and apparatus
CN112286364A (zh) 人机交互方法和装置
US20130308829A1 (en) Still image extraction apparatus
US9046921B2 (en) Display apparatus and control method thereof
US10645274B2 (en) Server apparatus, distribution system, distribution method, and program with a distributor of live content and a viewer terminal for the live content including a photographed image of a viewer taking a designated body pose
CN108986803B (zh) 场景控制方法及装置、电子设备、可读存储介质
US11810336B2 (en) Object display method and apparatus, electronic device, and computer readable storage medium
US20200250498A1 (en) Information processing apparatus, information processing method, and program
CN110941344B (zh) 获取注视点数据的方法及相关装置
CN112565888B (zh) 一种监播拍照方法、装置、计算机设备及存储介质
CN108805951B (zh) 一种投影图像处理方法、装置、终端和存储介质
CN112232287A (zh) 人脸识别方法和装置
CN111736692A (zh) 显示方法、显示装置、存储介质与头戴式设备
CN108600797B (zh) 一种信息处理法方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant