CN110809171A - 视频处理方法及相关设备 - Google Patents

视频处理方法及相关设备 Download PDF

Info

Publication number
CN110809171A
CN110809171A CN201911103309.2A CN201911103309A CN110809171A CN 110809171 A CN110809171 A CN 110809171A CN 201911103309 A CN201911103309 A CN 201911103309A CN 110809171 A CN110809171 A CN 110809171A
Authority
CN
China
Prior art keywords
user
video
dressing
information
cooperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911103309.2A
Other languages
English (en)
Other versions
CN110809171B (zh
Inventor
黄小凤
曹超利
高萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911103309.2A priority Critical patent/CN110809171B/zh
Publication of CN110809171A publication Critical patent/CN110809171A/zh
Application granted granted Critical
Publication of CN110809171B publication Critical patent/CN110809171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开一种视频处理方法及相关设备,本发明实施例中,通过接收至少一个协同用户发送的装扮方案调整指令,装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;再根据调整目标信息及对应的装扮信息,对视频发送用户发送的用户视频进行装扮处理,得到装扮视频;最后输出所述装扮视频。可见,本发明实施例可以依据至少一个协同用户的控制指令对用户视频进行装扮调整处理,实现视频协同装扮处理,提升对用户视频的处理效率。

Description

视频处理方法及相关设备
技术领域
本发明涉及互联网技术领域,具体涉及视频领域,尤其涉及一种视频处理方法、一种视频处理装置、一种终端设备及一种计算机存储介质。
背景技术
直播是一种在现场随着事件的发生、发展进程同步制作和发布信息,具有双向流通过程的信息网络发布方式。当前,网络直播作为一种新兴的娱乐方式正受到越来越多人的喜爱。通过网络直播平台,主播可以在自己的直播间向观众展示才艺,而观众也可以在主播的直播间内观看主播的表演。
现有技术中,直播平台提供美化功能,可以对视频中的人物进行美化,也即滤镜技术,可以在直播中,对人的脸型、嘴巴、耳朵、眉毛、眼睛、鼻子、头发、四肢、颈脖、腰等进行快速、准确、稳定的实时跟踪,并叠加修饰贴图,实现对人物的美化。然而,滤镜都是单个用户(例如主播)对自己使用,一定程度上,限制了直播的趣味性。
发明内容
本发明实施例提供了一种视频处理方法及相关设备,可以丰富视频处理方式,增强趣味性。
一方面,本发明实施例提供了一种视频处理方法,包括:
接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
输出所述装扮视频。
可选地,在接收至少一个所述协同用户发送的所述装扮方案调整指令之前,所述方法还包括:
接收所述协同用户发送的协同装扮请求;
将所述协同装扮请求发送给协同用户管理者;
接收所述协同用户管理者发送的授权结果,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,并向所述协同用户发送指示同意协同装扮的协同装扮响应。
可选地,所述调整目标信息包括所述用户视频中的人物的调整位置信息,所述人物的调整位置信息包括指定人体关键点信息;所述装扮信息包括人物装扮信息;
所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,包括:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
可选地,所述人物装扮信息包括装扮贴图、装扮贴图编号或关键点调整参数,所述装扮贴图包括饰品贴图、服饰贴图、美颜贴图、美体贴图和美妆贴图中的一种或多种。
可选地,所述调整目标信息包括所述用户视频的视频背景调整信息,所述装扮信息包括背景场景贴图;
所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,包括:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
可选地,所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;包括:
对于两个以上的所述协同用户发送的所述装扮方案调整指令,按照所述装扮方案调整指令的接收时间先后,确定所述装扮方案调整指令的处理顺序;
所述装扮方案调整指令的接收时间相同时,根据所述协同用户的用户类型、用户账户类型、用户等级和预设判断顺序确定判断顺序,并根据所述用户类型的预设用户优先级、所述用户账户类型的预设账户优先级、所述用户等级的预设等级优先级确定所述装扮方案调整指令的处理顺序,所述预设判断顺序用于指定所述用户类型、所述用户账户类型、所述用户等级的判断顺序;所述用户类型包括视频发送用户和非视频发送用户,所述用户账户类型包括会员用户和非会员用户。
另一方面,本发明实施例提供了一种视频处理方法,包括:
向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,以使所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
接收所述服务器发送的所述装扮视频。
可选地,在向所述服务器发送所述装扮方案调整指令之前,所述方法还包括:
向所述服务器发送协同装扮请求;
接收所述服务器发送的指示同意协同装扮的协同装扮响应;
其中,所述协同装扮请求用于指示所述服务器向协同用户管理者发送所述协同装扮请求,并接收所述协同用户管理者返回的授权结果,在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户加入协同装扮列表中,并向发送所述协同装扮请求的用户发送所述协同装扮响应。
另一方面,本发明实施例提供了一种视频处理装置,包括:
第一发送模块,用于向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,所述装扮方案调整指令用于指示所述服务器根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第一接收模块,用于接收所述服务器发送的所述装扮视频。
另一方面,本发明实施例提供了一种视频处理装置,包括:
第二接收模块,用于接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
处理模块,用于根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第二发送模块,用于输出所述装扮视频。
另一方面,本发明实施例提供了一种终端设备,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行所述的视频处理方法。
另一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行所述的视频处理方法。
本发明实施例中,通过接收至少一个协同用户发送的装扮方案调整指令,装扮方案调整指令包括用户视频的调整目标信息及对应的装扮信息;再根据调整目标信息及对应的装扮信息,对视频发送用户发送的用户视频进行装扮处理,得到装扮视频;最后输出所述装扮视频。可见,本发明实施例可以依据至少一个协同用户的控制指令对用户视频进行装扮调整处理,实现视频协同装扮处理,有效提升对用户视频的处理效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a-图1h是本发明实施例提供的一种视频处理方法的场景示意图;
图2是本发明实施例提供的一种视频处理方法的流程示意图;
图3是本发明实施例提供的一种视频处理方法中装扮处理的流程示意图;
图4是本发明实施例提供的一种视频处理方法中装扮处理的流程示意图;
图5是本发明实施例提供的一种视频处理方法的流程示意图;
图6是本发明实施例提供的一种视频处理方法的流程示意图;
图7是本发明实施例提供的一种视频处理装置的结构示意图;
图8是本发明实施例提供的一种视频处理装置的结构示意图;
图9是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参见图1a至图1h,图1a-图1h是本发明实施例提供的一种视频处理方法的场景示意图。以直播场景为例进行说明,如图1a所示,直播过程中,主播利用主播端101(即主播客户端)启动摄像头,采集视频图像,并将直播视频传输给服务器102,服务器102可以利用事先训练好的人体关键点检测模型,实时对直播视频进行分析,以检测并输出主播的主要人体关键点,人体关键点包括人脸关键点和/或肢体关键点,人脸关键点的信息包括头顶、五官等头部部分的尺寸信息及坐标信息,肢体关键点的信息包括四肢、脖颈等头部以下部位的尺寸信息及坐标信息。
如图1a所示,多个观众可以利用观众端(如手机客户端103或者电脑客户端104)访问服务器102以获取直播视频;另外,本发明实施例中,观众可以通过观众端发起协同装扮请求,在被直播管理员授权后,被授权的观众可以利用观众端发送装扮方案调整指令至服务器102,装扮方案调整指令包括被指定的主播的人体关键点及对应的人物装扮信息,则服务器可以实时根据多个被授权的观众端发送的装扮方案调整指令,对直播视频中的主播进行装扮处理,得到处理后的直播视频,服务器102再将处理后的直播视频发送给所有的客户端,包括主播客户端、被授权的观众的观众端以及未被授权的观众的观众端,丰富直播互动方式,增强直播趣味性,以及对主播的装扮效率。值得注意的是,协同装扮中,除了可以对主播进行装扮之外,还可以对直播视频里的背景进行背景场景贴图叠加,即装扮方案调整指令所携带的调整目标信息为用户视频的视频背景,装扮信息为背景场景贴图,被授权的观众可以利用观众端向服务器102发送背景场景贴图,则服务器102可以根据接收的背景场景贴图,改变直播视频中的每一帧图像的背景,实现直播视频的背景修改,进一步丰富直播互动方式,增强直播趣味性。
参考图1a至图1h,下面以人物装扮信息为例,从单个观众的角度对本发明实施例中的视频处理方法的互动过程进行说明:
参考图1a和图1b,观众在直播过程中,在自己的手机客户端103点击“申请加入协同装扮”按钮105,以向服务器102发送协同装扮请求,进入等待状态,等待直播管理员通过协同申请,在此过程中,观众可点击“取消”按钮106以退出申请;
服务器102将所有的协同装扮请求发送给直播管理员,参考图1c,直播管理员在自己的手机客户端接收到加入协同装扮的申请,可在申请列表界面对所有申请进行管理操作,点击“同意”按钮107,向服务器102发送授权给该用户的信息,则该用户即从申请列表消失,并出现在协同列表中,该用户成功加入协同装扮,例如用户“nana”,该用户即可与其他申请通过的用户一起对主播进行装扮,该用户可以向服务器102发送装扮方案调整指令。而直播管理员也可以点击“拒绝”按钮108,则对应的用户将从申请列表中消失;
参考图1d,被授权后,观众可以在自己的手机客户端界面点击“编辑”按钮110,即进入编辑装扮状态,也可以选择点击“退出”按钮111退出协同装扮。再结合参考图1e至图1h,可通过点击“美颜”、“美体”、“美妆”三个页面选择下属的多个修饰功能,例如脸型、一键瘦身、小头、长腿、瘦腿、瘦腰、口红、腮红、眉毛、修容、美瞳和染发等,选择对主播的任意人体关键点(包括四肢、脖颈、鼻子等部位)进行装扮、编辑生成装扮方案调整指令,手机客户端实时将该观众选择装扮的人体关键点和对应的人物装扮信息发送至服务器102,其中,人物装扮信息包括装扮贴图、装扮贴图编号和关键点调整参数中的一种,装扮贴图例如眼镜、耳钉等饰品贴图、以及服饰贴图等;而关键点调整参数为对人体关键点的调整参数,例如小头、长腿、瘦腿、瘦腰等功能,参考图1e,观众可以在客户端的页面上调整到合适的头围,以得到最后的头围调整参数,再将头围调整参数作为关键点调整参数发送至服务器102;
服务器102利用人体关键点检测模型实时获取主播的人体关键点后,再根据实时接收的装扮方案调整指令处理直播视频,得到处理后的直播视频,服务器102再将处理后的直播视频返回给所有客户端(包括主播端、被授权的观众端和未被授权的观众端),由于处理速度比较快,可以实现观众选择好需要编辑的关键点或者确定好关键点调整参数后,即在手机客户端上实时呈现装扮后的直播画面;具体地,可以是将装扮贴图和人体关键点进行叠加覆盖,直接将装扮贴图适应性地覆盖被指定的主播的人体关键点部分;而对于关键点调整参数,以头围调整参数为例,服务器102根据头围调整参数修改主播的头围;
当有多个被授权的用户进行协同装扮时;协同用户(被授权的用户)在自己进行装扮编辑或未进行装扮编辑的状态时,均可以看到其他协同用户进行装扮编辑的实时直播画面效果;其他非协同用户则在自己的手机客户端能看到所有协同用户进行装扮编辑的实时直播画面效果,但是不能进行装扮编辑操作。例如,同时有用户A、用户B和用户C对主播进行协同装扮,在同一时间,用户A改变了主播的发色为酒红色,用户B改变了主播的嘴唇为豆沙色,而用户C改变了主播的腰围(利用瘦腰功能),则在所有客户端中,主播的发色变成了酒红色,嘴唇变成了豆沙色,而且主播的腰围变小了;再例如,在前一时刻,用户A先给主播的嘴唇涂了红色的,则直播间先呈现红色的嘴唇,然后,在后一时刻,用户B把主播的嘴唇涂成了绿色,则直播间再将主播的嘴唇从红色变成绿色。特别地,主播也可以加入对自己进行协同装扮,增强主播与观众之间的互动性。
包括观众端和主播端在内,所有的客户端都将接收到服务器发送的处理后的直播视频,每个用户都可以看到装扮处理后的主播,以提升直播乐趣。让用户在直播过程中,对主播进行装扮的时候,能即时、便捷的看到其他用户对该主播的装扮效果,相互之间能激发更多装扮灵感,同时实现了多个人一起对主播进行实时的AI装扮,操作效率高,且增加了直播多人互动的乐趣,丰富了网络直播的互动方式。
另外,对直播背景的修改过程与上述对主播的装扮过程相似,不再赘述。
容易想到的,本发明实施例的视频处理方法也能应用在通信群里,例如微信群、QQ群等,下面以微信群为例进行说明:
A、B、C、D四个用户在同一微信群中,并且A、B、C、D在进行多人视频,任一群成员可以选择进入协同装扮,假设用户B发起协同装扮,微信服务器将向用户A、用户C、用户D发送提醒消息“用户B发起协同装扮”,用户A、用户C、用户D可以向微信服务器发送申请加入协同装扮的协同装扮请求,微信服务器将所有的协同装扮请求发送给用户B进行授权管理,用户B可以选择授权或者拒绝用户A、用户C、用户D的请求。
在得到用户B的授权后,微信服务器将响应被授权用户发送的装扮方案调整指令,并根据装扮方案调整指令对用户B的实时视频进行装扮处理;例如用户C、用户D得到用户B的授权,则用户C可以自己的手机等智能终端的显示页面上,选择对用户B的装扮位置和装扮信息以生成装扮方案调整指令,例如指定用户B的嘴唇作为指定人体关键点,并选择玫红色的口红颜色作为装扮信息;再将该装扮方案调整指令发送至微信服务器,微信服务器根据接收到的装扮方案调整指令对用户B的视频进行装扮处理,得到装扮视频,并将装扮视频返回给用户A、用户B、用户C、用户D。
由以上可知,本发明实施例的视频处理方法,可以依据至少一个协同用户的控制指令对用户视频进行装扮调整处理,实现视频协同装扮处理,提高视频处理效率,丰富视频处理方式,增强视频处理的趣味性。
进一步地,请参见图2,是本发明实施例提供的一种视频处理方法的流程示意图;本发明实施例中的视频处理方法涉及至少一个协同用户、视频发送用户和服务器,在协同用户这一端执行所述视频处理方法,所述视频处理方法包括:
步骤S201,向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,以使所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
具体地,所述至少一个协同用户可以为1个协同用户,或2个以上的协同用户;装扮方案调整指令用于限定用户视频具体的装扮位置,以及如何装扮,本发明实施例中,装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,调整目标包括用户视频的显示参数(如亮度、对比度)、用户视频中的目标(如人物)、用户视频的背景;所述装扮信息用于修改所述调整目标的显示结果,修改方式包括在所述调整目标上叠加一些显示元素(如贴图),或者改变所述调整目标的具体数值;所述装扮信息包括显示参数数值、目标装扮信息(例如人物装扮信息)、背景装扮信息;服务器在接收到至少一个协同用户发送的装扮方案调整指令后,根据装扮方案调整指令对视频发送用户发送的用户视频进行装扮处理,得到装扮视频。其中,至少一个协同用户中可以全部是非视频发送用户,也可以是由非视频发送用户和视频发送用户组成,例如直播场景下,仅由直播观众来进行协同装扮,以丰富直播互动方式,也可以是直播观众和主播一同进行协同装扮,以增强直播互动性和趣味性;而用户视频可以是实时视频,也可以是非实时视频。
步骤S202,接收所述服务器发送的所述装扮视频。
具体地,服务器将装扮视频下发给所有发送装扮方案调整指令的用户,以及视频发送用户,分享装扮处理后的装扮视频,增强视频处理的趣味性。
本发明实施例可以依据至少一个协同用户的控制指令对用户视频进行装扮调整处理,实现视频协同装扮处理,有效提升对用户视频的处理效率,丰富视频处理方式,增强视频处理的趣味性。
进一步地,在一个实施例中,所述调整目标信息包括所述用户视频中的人物的调整位置信息,即指定用户视频中要装扮的人物的具体装扮位置,以对人物进行装扮,调整位置信息可以是指定人体关键点信息,指定人体关键点信息包括人体关键点的位置信息和人体关键点的尺寸信息;而对应地,所述装扮信息包括人物装扮信息,所述人物装扮信息包括装扮贴图、装扮贴图编号或关键点调整参数。所述调整目标信息还可以包括用户视频的视频背景调整信息,即指定对用户视频的背景进行装扮,对应地,装扮信息包括背景装扮信息,所述背景装扮信息包括背景场景贴图、背景物品贴图,背景场景贴图用于改变用户视频的背景,背景物品贴图用于装扮用户视频的背景,可以将背景物品贴图叠加在原来的视频背景上作为装饰。
其中,所述装扮贴图包括饰品贴图、服饰贴图、美颜贴图、美体贴图和美妆贴图中的一种或多种。装扮贴图可以是固定的贴图和可调整的贴图;固定的贴图为参数不可调整的贴图,例如饰品贴图和服饰贴图,饰品贴图包括眼镜贴图、头部饰品贴图(簪子、耳钉等)或者颈部饰品贴图(项链等),服饰贴图包括帽子贴图、上衣贴图、下装贴图和裙装贴图;而对于美颜贴图、美体贴图和美妆贴图,也可以是参数固定不变的,美颜贴图为对头部的美容贴图,例如图1d中的脸型、皮肤状态(美白等)、大眼等功能;美体贴图为对肢体的美容贴图,如图1e中的头型、长腿、瘦腿、瘦腰、丰胸等功能,而美妆贴图为对妆发的美容贴图,如图1f至图1h中的口红、腮红、眉毛、修容、美瞳和染发等功能。以图1g为例,对于口红的调整,可以将每一种口红对应的颜色调整参数设置为固定的,即选中一种口红,则对应的颜色调整参数固定。另外,可调整的贴图为参数可调整的贴图,同样以图1g为例,其中,对于口红的调整,提供调节窗口,用户可以根据需要调整具体的参数,例如豆沙红口红中,可以在一定范围内调节颜色深浅,以满足不同用户的不同需求,以得到调整后的装扮贴图;同理,参考图1e至图1h,对于每一种贴图,都提供了调节窗口。在向服务器发送人物装扮信息时,可以直接将装扮贴图(包括调整后的装扮贴图)发送给服务器,以使服务器根据接收到的装扮贴图对指定的装扮位置进行叠加处理。
而装扮贴图编号为固定的贴图的编号,在向服务器发送贴图编号后,服务器可以根据贴图编号查找预存储的装扮贴图数据库,找到固定的贴图以对指定的装扮位置进行叠加处理,装扮贴图数据库中按照装扮贴图和装扮贴图编号的对应关系进行存储。
最后,关键点调整参数为人体关键点的调整参数,此时,所述人物的调整位置信息可以是指定人体关键点信息,可以从装扮贴图中获取人体关键点调整参数,并将人体关键点调整参数发送至服务器,则服务器可以直接根据人体关键点调整参数对指定的人体关键点进行装扮处理。
更进一步地,所述人物的调整位置信息为指定人体关键点信息,所述装扮信息为人物装扮信息时;参考图3,图3是本发明实施例提供的一种视频处理方法中装扮处理的流程示意图;所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,具体包括:
步骤S301,获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
步骤S302,根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
步骤S303,将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
对用户视频中的每一帧图像都按照图3的方法进行处理,以得到装扮视频,其中,实现了对用户视频中的人物进行装扮处理。
进一步地,在一个实施例中,所述调整目标信息为所述用户视频的视频背景调整信息,所述装扮信息为背景场景贴图时,即指定对用户视频的视频背景进行装扮处理,参考图4,图4是本发明实施例提供的一种视频处理方法中装扮处理的流程示意图;所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,具体包括:
步骤S401,获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
步骤S402,将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
步骤S403,将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
具体地,背景场景贴图包括背景颜色贴图、预设图片贴图和自定义图片等,背景颜色贴图和预设图片贴图为预设的贴图,预设图片贴图包括人物图片贴图和景观图片贴图等,而自定义图片为用户可以选择终端中存储的图片作为背景场景贴图。在服务器接收到背景调整指令后,根据背景场景贴图对用户视频中的背景进行替换处理,得到背景替换后的用户视频,即装扮视频。再将装扮视频发送给协同用户和视频发送用户。
进一步地,在一个实施例中,所述调整目标信息为所述用户视频的显示参数信息,所述装扮信息为显示参数数值,即协同用户可以指定对用户视频的某一或某一些显示参数进行调整,例如对用户视频的亮度和对比度进行调整,则调整目标信息为亮度和对比度,而装扮信息为亮度数值和对比度数值。例如亮度为80%,对比度为90%,则可以根据调整目标信息和装扮信息对用户视频的每一帧图像进行调整,得到装扮视频。
进一步地,在向所述服务器发送所述装扮方案调整指令之前,所述方法还包括:
向所述服务器发送协同装扮请求;
接收所述服务器发送的指示同意协同装扮的协同装扮响应;
其中,所述协同装扮请求用于指示所述服务器向协同用户管理者发送所述协同装扮请求,并接收所述协同用户管理者返回的授权结果,在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户加入协同装扮列表中,并向发送所述协同装扮请求的用户发送所述协同装扮响应。
具体地,本发明实施例的方法还涉及协同用户管理者,用于管理协同装扮请求的授权工作,给出针对某一协同装扮请求的授权结果;在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户从申请列表中删除,并将发送所述协同装扮请求的用户加入协同装扮列表中,向发送所述协同装扮请求的用户发送所述协同装扮响应,允许该用户向所述服务器发送所述装扮方案调整指令,即该用户成为所述协同用户。
而在所述授权结果为拒绝授权的情况下,所述服务器不向发送所述协同装扮请求的用户响应所述协同装扮请求,并将发送所述协同装扮请求的用户从申请列表中删除。
设置授权请求环节,便于管理协同装扮秩序,可以控制参加协同装扮的用户人数,把控协同装扮用户的质量,避免恶意装扮的情形出现。
进一步地,参考图5,图5是本发明实施例提供的一种视频处理方法的流程示意图;所述视频处理方法包括:
步骤S501,接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
具体地,所述至少一个协同用户可以为1个协同用户,或2个以上的协同用户;装扮方案调整指令用于限定用户视频具体的装扮位置,以及如何装扮,本发明实施例中,装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,调整目标包括用户视频的显示参数(如亮度、对比度)、用户视频中的目标(如人物)、用户视频的背景;所述装扮信息用于修改所述调整目标的显示结果,修改方式包括在所述调整目标上叠加一些显示元素(如贴图),或者改变所述调整目标的具体数值;所述装扮信息包括显示参数数值、目标装扮信息(例如人物装扮信息)、背景装扮信息。而至少一个协同用户中可以全部是非视频发送用户,也可以是由非视频发送用户和视频发送用户组成。
步骤S502,根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
具体地,根据至少一个协同用户发送的装扮方案调整指令,对用户视频进行装扮处理,以得到装扮视频。
步骤S503,输出所述装扮视频。
具体地,协同用户全部是非视频发送用户时,可以是向所有的协同用户输出所述装扮视频,也可以向所有的协同用户和视频发送用户输出所述装扮视频。
本发明实施例可以依据至少一个协同用户的控制指令对用户视频进行装扮调整处理,实现视频协同装扮处理,有效提升视频处理效率,丰富视频处理方式,增强视频处理的趣味性。
进一步地,所述调整目标信息包括所述用户视频中的人物的调整位置信息,调整位置信息可以是指定人体关键点信息,指定人体关键点信息包括人体关键点的位置信息和人体关键点的尺寸信息;而对应地,所述装扮信息包括人物装扮信息。所述调整目标信息还可以包括用户视频的视频背景调整信息,即指定对用户视频的背景进行装扮,对应地,装扮信息包括背景装扮信息,所述背景装扮信息包括背景场景贴图、背景物品贴图。
进一步地,在一个实施例中,所述人物的调整位置信息为指定人体关键点信息,所述装扮信息为人物装扮信息;参考图3,所述步骤S502具体包括:
步骤S301,获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
具体地,服务器利用预训练好的人体关键点检测模型对当前帧图像进行检测,以输出当前帧图像中的人物的人体关键点信息,用户视频中的人物可以为一个以上,其中,人体关键点信息包括人体关键点的位置信息和人体关键点的尺寸信息,所述人体关键点包括人脸关键点和/或肢体关键点,人脸关键点的信息包括头顶、五官等头部部分的尺寸信息及坐标信息,肢体关键点的信息包括四肢、脖颈等头部以下部位的尺寸信息及坐标信息。
步骤S302,根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
具体地,所述人物装扮信息包括装扮贴图、装扮贴图编号或关键点调整参数,装扮信息为装扮贴图时,服务器将装扮贴图和人物被指定的人体关键点进行叠加处理,其中,将装扮贴图在指定的人体关键点的位置按照人体关键点的尺寸进行叠加,得到处理后的帧图像;而对于装扮信息为装扮贴图编号时,由于服务器预存储有装扮贴图数据库,装扮贴图数据库中按照装扮贴图和装扮贴图编号的对应关系进行存储,因此,在服务器接收到装扮贴图编号后,可以根据装扮贴图编号查找装扮贴图数据库获取对应的装扮贴图,再将装扮贴图叠加在指定的人体关键点,以得到处理后的帧图像。另外,对于装扮信息为关键点调整参数时,服务器直接根据关键点调整参数处理当前帧图像以得到处理后的帧图像。
步骤S303,将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
由以上可知,对于用户视频的每一帧图像,都进行图3所示的处理流程,以实现根据装扮方案调整指令处理用户视频,实现对人物的装扮,丰富视频处理方式,提升视频处理的趣味性。
进一步地,在一个实施例中,所述调整目标信息为所述用户视频的视频背景调整信息,所述装扮信息为背景场景贴图;参考图4,所述步骤S502具体包括:
步骤S401,获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
具体地,获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;其中,可以利用背景静止和人物运动的特点,对当前帧图像进行处理以得到人体前景图像和背景图像;同理,也可以利用图像识别技术,对当前帧图像进行分割处理,得到人体前景图像和背景图像,具体地,利用人体的形状特征,对当前帧图像进行图像识别和分割。
步骤S402,将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
具体地,将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;其中,按照背景图像的尺寸对背景场景贴图进行裁切、缩放处理,以使背景场景贴图完全覆盖背景图像,得到处理帧图像。
步骤S403,将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
具体地,对用户视频中的每一帧图像均进行图4所示的处理流程,以实现对用户视频的背景替换,将背景替换后的用户视频即装扮视频发送给所有的协同用户或视频发送用户,增添视频处理过程中的互动乐趣。
另外,当所述背景装扮信息为背景物品贴图时,根据背景物品贴图对用户视频进行装扮处理,背景物品贴图的安放位置可以是固定的,背景物品贴图包括时钟、植物、沙发等物品贴图,例如沙发固定放置在显示屏幕的左下方,植物固定放在显示屏幕的右下方。
进一步地,在一个实施例中,所述调整目标信息为所述用户视频的显示参数信息,所述装扮信息为显示参数数值,即协同用户可以指定对用户视频的某一或某一些显示参数进行调整,例如对用户视频的亮度和对比度进行调整,则调整目标信息为亮度和对比度,而装扮信息为亮度数值和对比度数值。例如亮度为80%,对比度为90%,则可以根据调整目标信息和装扮信息对用户视频的每一帧图像进行调整,得到装扮视频。
更进一步地,所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;包括:
对于两个以上的所述协同用户发送的所述装扮方案调整指令,按照所述装扮方案调整指令的接收时间先后,确定所述装扮方案调整指令的处理顺序;
所述装扮方案调整指令的接收时间相同时,根据所述协同用户的用户类型、用户账户类型、用户等级和预设判断顺序确定判断顺序,并根据所述用户类型的预设用户优先级、所述用户账户类型的预设账户优先级、所述用户等级的预设等级优先级确定所述装扮方案调整指令的处理顺序,所述预设判断顺序用于指定所述用户类型、所述用户账户类型、所述用户等级的判断顺序;所述用户类型包括视频发送用户和非视频发送用户,所述用户账户类型包括会员用户和非会员用户。
具体地,预先设置用户类型、用户账户类型、用户等级的判断顺序作为预设判断顺序,并设置用户类型的预设用户优先级、用户账户类型的预设账户优先级、用户等级的预设等级优先级,例如按照用户类型、用户账户类型、用户等级的顺序来进行判断,视频发送用户的优先级高于非视频发送用户的优先级,会员用户的优先级高于非会员用户的优先级,用户等级越高,则对应的优先级的越高。会员用户还可以分为初级会员、中级会员、高级会员,则会员用户的等级越高,对应的优先级越高;而账户等级可以是根据在线时间等因素来确定,在线时间越长,账户等级越高。当多个协同用户在同一时间向服务器发送装扮方案调整指令,先处理视频发送用户的装扮方案调整指令,再处理非视频发送用户的装扮方案调整指令,对于非视频发送用户的装扮方案调整指令,先处理会员用户的装扮方案调整指令,其中,按照高级会员、中级会员、初级会员的顺序进行处理,再处理非会员用户的装扮方案调整指令;而在账户类型相同的情况下,按照账户等级的高低,从高到低的顺序进行处理。
进一步地,参考图6,图6是本发明实施例提供的一种视频处理方法的流程示意图;在接收至少一个所述协同用户发送的所述装扮方案调整指令之前,所述方法还包括:
步骤S601,接收所述协同用户发送的协同装扮请求;
步骤S602,将所述协同装扮请求发送给协同用户管理者;
步骤S603,接收所述协同用户管理者发送的授权结果,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,并向所述协同用户发送指示同意协同装扮的协同装扮响应。
具体地,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,允许所述协同用户发送所述装扮方案调整指令;在所述授权结果为拒绝授权的情况下,不向所述协同用户响应所述协同装扮请求。设置授权请求环节,便于管理协同装扮秩序,协同用户管理者可以控制参见协同装扮的人数,把控协同装扮人员的质量,避免恶意装扮的情形出现。
基于上述视频处理方法实施例的描述,本发明实施例还公开了一种视频处理装置,参考图7,图7是本发明实施例提供的一种视频处理装置的结构示意图;所述视频处理装置包括第一发送模块71和第一接收模块72,其中:
第一发送模块71,用于向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,所述装扮方案调整指令用于指示所述服务器根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第一接收模块72,用于接收所述服务器发送的所述装扮视频。
其中,第一发送模块71和第一接收模块72的具体功能实现方式可以参见上述图2、图3、图4对应实施例中步骤S201-步骤S202的具体描述,这里不再进行赘述。
再一种实施方式中,所述第一发送模块71还用于向所述服务器发送协同装扮请求;所述第一接收模块72还用于接收所述服务器发送的指示同意协同装扮的协同装扮响应。
其中,所述协同装扮请求用于指示所述服务器向协同用户管理者发送所述协同装扮请求,并接收所述协同用户管理者返回的授权结果,在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户加入协同装扮列表中,并向发送所述协同装扮请求的用户发送所述协同装扮响应。
而在所述授权结果为拒绝授权的情况下,则所述服务器不向所述协同装扮请求的用户响应所述协同装扮请求。
值得指出的是,图7所示的视频处理装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成,或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的,在实际应用中,一个单元(或模块)的功能也可以由多个单元(或模块)来实现,或者多个单元(或模块)的功能由一个单元(或模块)实现。
进一步地,基于上述视频处理方法的实施例,本发明实施例还公开了一种视频处理装置,参考图8,图8是本发明实施例提供的一种视频处理装置的结构示意图;所述视频处理装置包括第二接收模块81、处理模块82和第二发送模块83,其中:
第二接收模块81,用于接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
处理模块82,用于根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第二发送模块83,用于输出所述装扮视频。
其中,第二接收模块81、处理模块82和第二发送模块83的具体功能实现方式可以参见上述图5对应实施例中步骤S501-步骤S503的具体描述,这里不再进行赘述。
进一步地,第二接收模块81还用于接收所述协同用户发送的协同装扮请求,第二发送模块83还用于将所述协同装扮请求发送给协同用户管理者;第二接收模块81还用于接收所述协同用户管理者发送的授权结果,处理模块82还用于根据所述授权结果处理所述协同装扮请求,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,并向所述协同用户发送指示同意协同装扮的协同装扮响应;而在所述授权结果为拒绝授权的情况下,不向所述协同用户响应所述协同装扮请求。
在一个实施例中,处理模块82包括图像分割子模块、第一帧图像处理子模块、第一覆盖子模块,其中:
图像分割子模块,用于获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
第一帧图像处理子模块,用于将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
第一覆盖子模块,用于将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
在一个实施例中,处理模块82包括关键点检测子模块、第二帧图像处理子模块、第二覆盖子模块,其中:
关键点检测子模块,用于获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
第二帧图像处理子模块,用于根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
第二覆盖子模块,用于将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
在一个实施例中,处理模块82包括顺序确定子模块,其中:
顺序确定子模块,用于对两个以上的所述协同用户发送的所述装扮方案调整指令,按照所述装扮方案调整指令的接收时间先后,确定所述装扮方案调整指令的处理顺序;所述装扮方案调整指令的接收时间相同时,根据所述协同用户的用户类型、用户账户类型、用户等级和预设判断顺序确定判断顺序,并根据所述用户类型的预设用户优先级、所述用户账户类型的预设账户优先级、所述用户等级的预设等级优先级确定所述装扮方案调整指令的处理顺序,所述预设判断顺序用于指定所述用户类型、所述用户账户类型、所述用户等级的判断顺序;所述用户类型包括视频发送用户和非视频发送用户,所述用户账户类型包括会员用户和非会员用户。
值得指出的是,图8所示的视频处理装置中的各个单元或模块可以分别或全部合并为一个或若干个另外的单元或模块来构成,或者其中的某个(些)单元或模块还可以再拆分为功能上更小的多个单元或模块来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元或模块是基于逻辑功能划分的,在实际应用中,一个单元(或模块)的功能也可以由多个单元(或模块)来实现,或者多个单元(或模块)的功能由一个单元(或模块)实现。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种终端设备。
请参见图9,是本发明实施例提供的一种终端设备的结构示意图。如图9所示,上述图7中的视频处理装置可以应用于所述终端设备900,所述终端设备900可以包括:处理器901,网络接口904和存储器905,此外,所述终端设备900还可以包括:用户接口903,和至少一个通信总线902。其中,通信总线902用于实现这些组件之间的连接通信。其中,用户接口903可以包括显示屏(Display)、键盘(Keyboard),可选用户接口903还可以包括标准的有线接口、无线接口。网络接口904可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器905可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器905可选的还可以是至少一个位于远离前述处理器901的存储装置。如图9所示,作为一种计算机存储介质的存储器905中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的终端设备900中,网络接口904可提供网络通讯功能;而用户接口903主要用于为用户提供输入的接口;而处理器901可以用于调用存储器905中存储的设备控制应用程序,以实现:
向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,以使所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
接收所述服务器发送的所述装扮视频。
在一个实施例中,所述处理器901在执行向服务器发送装扮方案调整指令之前,还执行以下步骤:
向所述服务器发送协同装扮请求;
接收所述服务器发送的指示同意协同装扮的协同装扮响应;
其中,所述协同装扮请求用于指示所述服务器向协同用户管理者发送所述协同装扮请求,并接收所述协同用户管理者返回的授权结果,在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户加入协同装扮列表中,并向发送所述协同装扮请求的用户发送所述协同装扮响应。
而在所述授权结果为拒绝授权的情况下,所述服务器不向发送所述协同装扮请求的用户响应所述协同装扮请求。
应当理解,本发明实施例中所描述的终端设备900可执行前文图2到图4所对应实施例中对所述视频处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。另外,终端设备900可为手机、电脑等智能终端。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种终端设备。
请参见图9,是本发明实施例提供的一种终端设备的结构示意图。如图9所示,上述图8中的视频处理装置可以应用于所述终端设备900,所述终端设备900可以包括:处理器901,网络接口904和存储器905,此外,所述终端设备900还可以包括:用户接口903,和至少一个通信总线902。其中,通信总线902用于实现这些组件之间的连接通信。其中,用户接口903可以包括显示屏(Display)、键盘(Keyboard),可选用户接口903还可以包括标准的有线接口、无线接口。网络接口904可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器905可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器905可选的还可以是至少一个位于远离前述处理器901的存储装置。如图9所示,作为一种计算机存储介质的存储器905中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的终端设备900中,网络接口904可提供网络通讯功能;而用户接口903主要用于为用户提供输入的接口;而处理器901可以用于调用存储器905中存储的设备控制应用程序,以实现:
接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
输出所述装扮视频。
在一个实施例中,处理器901在接收至少一个所述协同用户发送的所述装扮方案调整指令之前,还执行以下步骤:
接收所述协同用户发送的协同装扮请求;
将所述协同装扮请求发送给协同用户管理者;
接收所述协同用户管理者发送的授权结果,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,并向所述协同用户发送指示同意协同装扮的协同装扮响应。
而在所述授权结果为拒绝授权的情况下,不向所述协同用户响应所述协同装扮请求。
在一个实施例中,所述人物的调整位置信息包括指定人体关键点信息,所述装扮信息包括人物装扮信息,处理器901在执行根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频时,具体执行以下步骤:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
在一个实施例中,所述调整目标信息包括所述用户视频的视频背景,所述装扮信息包括背景场景贴图;处理器901在执行根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频时,具体执行以下步骤:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
在一个实施例中,处理器901在执行根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频时,具体执行以下步骤:
对于两个以上的所述协同用户发送的所述装扮方案调整指令,按照所述装扮方案调整指令的接收时间先后,确定所述装扮方案调整指令的处理顺序;
所述装扮方案调整指令的接收时间相同时,根据所述协同用户的用户类型、用户账户类型、用户等级和预设判断顺序确定判断顺序,并根据所述用户类型的预设用户优先级、所述用户账户类型的预设账户优先级、所述用户等级的预设等级优先级确定所述装扮方案调整指令的处理顺序,所述预设判断顺序用于指定所述用户类型、所述用户账户类型、所述用户等级的判断顺序;所述用户类型包括视频发送用户和非视频发送用户,所述用户账户类型包括会员用户和非会员用户。
应当理解,本发明实施例中所描述的终端设备900还可执行前文图5到图6所对应实施例中对所述视频处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的视频处理装置所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2到图4所对应实施例中对所述视频处理方法的描述,或者能够执行前文图5到图6所对应实施例中对所述视频处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (12)

1.一种视频处理方法,其特征在于,包括:
接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
输出所述装扮视频。
2.根据权利要求1所述的方法,其特征在于,在接收至少一个所述协同用户发送的所述装扮方案调整指令之前,所述方法还包括:
接收所述协同用户发送的协同装扮请求;
将所述协同装扮请求发送给协同用户管理者;
接收所述协同用户管理者发送的授权结果,在所述授权结果为同意授权的情况下,将所述协同用户加入协同装扮列表中,并向所述协同用户发送指示同意协同装扮的协同装扮响应。
3.根据权利要求1或2所述的方法,其特征在于,所述调整目标信息包括所述用户视频中的人物的调整位置信息,所述人物的调整位置信息包括指定人体关键点信息;所述装扮信息包括人物装扮信息;
所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,包括:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行人体关键点识别,以获取当前帧图像中人物的人体关键点;
根据所述指定人体关键点信息及对应的所述人物装扮信息,对所述当前帧图像中人物被指定的人体关键点进行装扮处理,得到处理后的帧图像;
将所述处理后的帧图像覆盖所述当前帧图像得到所述装扮视频。
4.根据权利要求3所述的方法,其特征在于,所述人物装扮信息包括装扮贴图、装扮贴图编号或关键点调整参数,所述装扮贴图包括饰品贴图、服饰贴图、美颜贴图、美体贴图和美妆贴图中的一种或多种。
5.根据权利要求1、2或4所述的方法,其特征在于,所述调整目标信息包括所述用户视频的视频背景调整信息,所述装扮信息包括背景场景贴图;
所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频,包括:
获取所述用户视频的当前帧图像,并对所述当前帧图像进行图像分割处理得到人体前景图像和背景图像;
将所述背景场景贴图覆盖所述背景图像,以得到处理帧图像;
将所述处理帧图像覆盖所述当前帧图像得到所述装扮视频。
6.根据权利要求1、2或4所述的方法,其特征在于,所述根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;包括:
对于两个以上的所述协同用户发送的所述装扮方案调整指令,按照所述装扮方案调整指令的接收时间先后,确定所述装扮方案调整指令的处理顺序;
所述装扮方案调整指令的接收时间相同时,根据所述协同用户的用户类型、用户账户类型、用户等级和预设判断顺序确定判断顺序,并根据所述用户类型的预设用户优先级、所述用户账户类型的预设账户优先级、所述用户等级的预设等级优先级确定所述装扮方案调整指令的处理顺序,所述预设判断顺序用于指定所述用户类型、所述用户账户类型、所述用户等级的判断顺序;所述用户类型包括视频发送用户和非视频发送用户,所述用户账户类型包括会员用户和非会员用户。
7.一种视频处理方法,其特征在于,包括:
向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,以使所述服务器根据至少一个协同用户发送的所述装扮方案调整指令,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
接收所述服务器发送的所述装扮视频。
8.根据权利要求7所述的方法,其特征在于,在向所述服务器发送所述装扮方案调整指令之前,所述方法还包括:
向所述服务器发送协同装扮请求;
接收所述服务器发送的指示同意协同装扮的协同装扮响应;
其中,所述协同装扮请求用于指示所述服务器向协同用户管理者发送所述协同装扮请求,并接收所述协同用户管理者返回的授权结果,在所述授权结果为同意授权的情况下,所述服务器将发送所述协同装扮请求的用户加入协同装扮列表中,并向发送所述协同装扮请求的用户发送所述协同装扮响应。
9.一种视频处理装置,其特征在于,包括:
第一发送模块,用于向服务器发送装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果,所述装扮方案调整指令用于指示所述服务器根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第一接收模块,用于接收所述服务器发送的所述装扮视频。
10.一种视频处理装置,其特征在于,包括:
第二接收模块,用于接收至少一个协同用户发送的装扮方案调整指令,所述装扮方案调整指令包括调整目标信息及对应的装扮信息,所述调整目标信息用于指定用户视频的调整目标,所述装扮信息用于修改所述调整目标的显示结果;
处理模块,用于根据所述调整目标信息及对应的装扮信息,对视频发送用户发送的所述用户视频进行装扮处理,得到装扮视频;
第二发送模块,用于输出所述装扮视频。
11.一种终端设备,其特征在于,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-8任一项所述的视频处理方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-8任一项所述的视频处理方法。
CN201911103309.2A 2019-11-12 2019-11-12 视频处理方法及相关设备 Active CN110809171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103309.2A CN110809171B (zh) 2019-11-12 2019-11-12 视频处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103309.2A CN110809171B (zh) 2019-11-12 2019-11-12 视频处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN110809171A true CN110809171A (zh) 2020-02-18
CN110809171B CN110809171B (zh) 2022-08-12

Family

ID=69502334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103309.2A Active CN110809171B (zh) 2019-11-12 2019-11-12 视频处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN110809171B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263190A (zh) * 2020-02-27 2020-06-09 游艺星际(北京)科技有限公司 视频处理方法及装置、服务器、存储介质
CN111402352A (zh) * 2020-03-11 2020-07-10 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN112184722A (zh) * 2020-09-15 2021-01-05 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质
CN112423006A (zh) * 2020-11-09 2021-02-26 珠海格力电器股份有限公司 一种直播场景切换方法、装置、设备及介质
CN112465695A (zh) * 2020-12-01 2021-03-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112929683A (zh) * 2021-01-21 2021-06-08 广州虎牙科技有限公司 视频处理方法、装置、电子设备及存储介质
CN113963000A (zh) * 2021-10-21 2022-01-21 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及程序产品
CN114222191A (zh) * 2021-11-24 2022-03-22 星际互娱(北京)科技股份有限公司 一种聊天换装视频播放的系统
CN115002498A (zh) * 2022-06-01 2022-09-02 北京达佳互联信息技术有限公司 一种装饰信息的处理方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN107948667A (zh) * 2017-12-05 2018-04-20 广州酷狗计算机科技有限公司 在直播视频中添加显示特效的方法和装置
CN110312169A (zh) * 2019-07-30 2019-10-08 腾讯科技(深圳)有限公司 视频数据处理方法、装置、终端及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN107948667A (zh) * 2017-12-05 2018-04-20 广州酷狗计算机科技有限公司 在直播视频中添加显示特效的方法和装置
CN110312169A (zh) * 2019-07-30 2019-10-08 腾讯科技(深圳)有限公司 视频数据处理方法、装置、终端及服务器

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263190A (zh) * 2020-02-27 2020-06-09 游艺星际(北京)科技有限公司 视频处理方法及装置、服务器、存储介质
CN111402352A (zh) * 2020-03-11 2020-07-10 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN111402352B (zh) * 2020-03-11 2024-03-05 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
WO2021180114A1 (zh) * 2020-03-11 2021-09-16 广州虎牙科技有限公司 人脸重构方法、装置、计算机设备及存储介质
CN112184722A (zh) * 2020-09-15 2021-01-05 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质
CN112184722B (zh) * 2020-09-15 2024-05-03 上海传英信息技术有限公司 图像处理方法、终端及计算机存储介质
CN112423006A (zh) * 2020-11-09 2021-02-26 珠海格力电器股份有限公司 一种直播场景切换方法、装置、设备及介质
CN112465695B (zh) * 2020-12-01 2024-01-02 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112465695A (zh) * 2020-12-01 2021-03-09 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112929683A (zh) * 2021-01-21 2021-06-08 广州虎牙科技有限公司 视频处理方法、装置、电子设备及存储介质
CN113963000A (zh) * 2021-10-21 2022-01-21 北京字节跳动网络技术有限公司 图像分割方法、装置、电子设备及程序产品
CN113963000B (zh) * 2021-10-21 2024-03-15 抖音视界有限公司 图像分割方法、装置、电子设备及程序产品
CN114222191A (zh) * 2021-11-24 2022-03-22 星际互娱(北京)科技股份有限公司 一种聊天换装视频播放的系统
CN114222191B (zh) * 2021-11-24 2023-09-08 星际数科科技股份有限公司 一种聊天换装视频播放的系统
CN115002498A (zh) * 2022-06-01 2022-09-02 北京达佳互联信息技术有限公司 一种装饰信息的处理方法、装置、服务器及存储介质
CN115002498B (zh) * 2022-06-01 2023-09-26 北京达佳互联信息技术有限公司 一种装饰信息的处理方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN110809171B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN110809171B (zh) 视频处理方法及相关设备
CN110493630B (zh) 虚拟礼物特效的处理方法和装置、直播系统
CN108711180B (zh) 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置
CN105608715A (zh) 一种在线合影方法及系统
CN110012352A (zh) 图像特效处理方法、装置及视频直播终端
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
US20030062058A1 (en) Method of modifying facial images, makeup simulation method, makeup method, makeup support apparatus and foundation transfer film
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
CN113329252B (zh) 一种基于直播的人脸处理方法、装置、设备和存储介质
CN110377574B (zh) 图片的协作处理方法及装置、存储介质、电子装置
CN104461006A (zh) 一种基于自然用户界面的互联网智能镜
CN111583415B (zh) 信息处理方法、装置和电子设备
CN108665408A (zh) 肤色调整方法、装置和电子设备
DE112017005879T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN110121103A (zh) 视频自动剪辑合成的方法及装置
CN106649465A (zh) 一种美妆信息的推荐和获取方法及装置
CN110427227B (zh) 虚拟场景的生成方法、装置、电子设备及存储介质
CN116744820A (zh) 数字彩妆师
JP2021111102A (ja) 動画生成装置およびライブ通信システム
CN110933354B (zh) 一种可定制的多风格多媒体处理方法及其终端
CN108271058B (zh) 视频互动方法、用户客户端、服务器及存储介质
CN109685911A (zh) 一种可实现虚拟试衣的ar眼镜及其实现方法
CN115086693A (zh) 虚拟对象交互方法、装置、电子设备和存储介质
CN112235516B (zh) 视频生成方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021112

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant