CN111935491B - 直播的特效处理方法、装置以及服务器 - Google Patents

直播的特效处理方法、装置以及服务器 Download PDF

Info

Publication number
CN111935491B
CN111935491B CN202010594821.8A CN202010594821A CN111935491B CN 111935491 B CN111935491 B CN 111935491B CN 202010594821 A CN202010594821 A CN 202010594821A CN 111935491 B CN111935491 B CN 111935491B
Authority
CN
China
Prior art keywords
image
frame
target
live
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010594821.8A
Other languages
English (en)
Other versions
CN111935491A (zh
Inventor
李冰源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010594821.8A priority Critical patent/CN111935491B/zh
Publication of CN111935491A publication Critical patent/CN111935491A/zh
Priority to KR1020210082234A priority patent/KR102504459B1/ko
Priority to US17/357,968 priority patent/US11722727B2/en
Priority to JP2021104852A priority patent/JP7341189B2/ja
Priority to EP21181974.3A priority patent/EP3896980A1/en
Application granted granted Critical
Publication of CN111935491B publication Critical patent/CN111935491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请公开了一种直播的特效处理方法和装置，涉及信息流、云计算、图像识别技术领域。具体实现方案为：通过对获取到的直播客户端在直播时采集的视频流中各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流，将目标视频流发送至直播客户端和用户客户端以进行展示，相较于现有的直播展示效果较为单一的问题，将经过特效处理的目标视频流在直播客户端和用户客户端展示，丰富了直播的形式，有利于增加直播者和观众的互动性。

Description

直播的特效处理方法、装置以及服务器
技术领域
本申请涉及图像处理技术领域，具体涉及信息流、云计算、图像识别技术领域，尤其涉及一种直播的特效处理方法、装置、服务器以及存储介质。
背景技术
近年来，随着流媒体技术的进步，以及网络带宽的飞速增长，直播业务日趋火热，各种直播节目、视频类娱乐项目已从录播迁移到了直播。直播的类别也是多重多样：歌舞类、游戏类、教学类、带货直播等等。
然而，相较于直播类型的多样性，传统的直播模式均是直播者对着设备进行直播，存在直播样式单一、直播者和观众之间互动性较差等缺点。
发明内容
本申请提供了一种直播的特效处理方法、装置、服务器以及存储介质。
本申请第一方面实施例提供了一种直播的特效处理方法，包括：
获取直播客户端在进行直播时采集的视频流；
获取所述直播客户端对所述视频流中各帧图像进行人体识别，以得到在各帧图像中的人体关键点位置；
根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体；
将各帧图像对应的所述目标虚拟物体，融合至所述视频流中对应的各帧图像内，以得到经过特效处理的目标视频流；
向所述直播客户端，以及向观看直播的用户客户端发送所述目标视频流，以进行展示。
本申请第二方面实施例提供了一种直播的特效处理装置，包括：
第一获取模块，用于获取直播客户端在进行直播时采集的视频流；
第二获取模块，用于获取所述直播客户端对所述视频流中各帧图像进行人体识别，以得到在各帧图像中的人体关键点位置；
调整模块，用于根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体；
融合模块，用于将各帧图像对应的所述目标虚拟物体，融合至所述视频流中对应的各帧图像内，以得到经过特效处理的目标视频流；
发送模块，用于向所述直播客户端，以及向观看直播的用户客户端发送所述目标视频流，以进行展示。
本申请第三方面实施例提供了一种服务器，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所述的直播的特效处理方法。
本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所述的直播的特效处理方法。
本申请第五方面实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所述的直播的特效处理方法。
上述申请中的一个实施例具有如下优点或有益效果：通过将直播客户端在直播时采集的视频流中各帧图像对应的目标虚拟物体融合至对应的各帧图像内，得到经过特效处理的目标视频流，并将目标视频流发送至直播客户端和用户客户端进行展示，相较于现有的直播展示效果较为单一的问题，本申请中将经过特效处理的目标视频流在直播客户端和用户客户端进行展示，丰富了直播的形式，有利于增加直播者和观众的互动性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例一提供的直播的特效处理方法的流程示意图；
图2为本申请实施例二提供的直播的特效处理方法的流程示意图；
图3为本申请实施例三提供的用于生成虚拟物体模板的流程示意图；
图4为本申请实施例四提供的直播的特效处理方法的流程示意图；
图5为本申请实施例五提供的直播的特效处理方法的流程示意图；
图6为本申请实施例六提供的直播的特效处理装置的结构示意图；
图7是用来实现本申请实施例的直播的特效处理方法的服务器的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的直播的特效处理方法、装置、服务器以及存储介质。
图1为本申请实施例一提供的直播的特效处理方法的流程示意图。
本申请实施例以该直播的特效处理方法可以在服务器端执行，以使得服务器端完成直播的特效处理后，可以通过直播客户端，以及观看直播的用户客户端展示直播的特效。
其中，服务器，可以为云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
如图1所示，该直播的特效处理方法，由服务器端执行，可以包括以下步骤：
步骤101，获取直播客户端在进行直播时采集的视频流。
其中，直播客户端，是指直播者用于直播的设备，可以为个人电脑(PersonalComputer，简称PC)，也可以为移动设备，移动设备例如可以为手机、平板电脑、可穿戴设备等等。
需要说明的是，直播客户端可以为集摄像、录音、显示等多个功能于一体的设备，例如，PC、手机等；也可以是将摄像机、录音机、显示屏等多个设备组合在一起而组成的直播设备，在此不做限定。
可选地，本申请中的直播客户端还可以具有动作采集仪器，以用于采集直播者在直播过程中的直播动作。
本申请实施例中，直播者采用直播客户端进行直播的过程中，直播客户端可以实时采集直播时产生的视频流，并采用视频传输协议将采集得到的视频流上传至服务器，以使得服务器获取到直播客户端在进行直播时采集得到的视频流。其中，视频流，是指视频数据的传输。
作为一种示例，可以通过设置于直播客户端的用于录音录像的模块(例如MediaRecorder)在直播时采集视频流，视频流以H264格式编码，通过可传输协议(ReliableTransport Protocol，RTP)发送到服务器，以使得服务器获取到直播客户端在进行直播是采集的视频流。
步骤102，获取直播客户端对视频流中各帧图像进行人体识别，以得到在各帧图像中的人体关键点位置。
其中，人体关键点，可以指人体五官、关节点等处对应的关键点，如手腕、脖子、胳膊、肩部、膝盖、脚踝等处对应的关键点。
可选地，人体关键点位置，可以是直播时直播者及其助理的人体关键点位置。
本申请实施例中，直播客户端在直播者进行直播时采集得到视频流后，对视频流中的各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，直播客户端将各帧图像中人体关键点位置发送至服务器，以使得服务器获取到在各帧图像中的人体关键点位置。
需要解释的是，直播客户端对视频流中各帧图像进行人体识别，是指对各帧图像进行人体姿态识别，以得到在各帧图像中的人体关键点位置。
作为一种可能的实现方式，可以对视频流中各帧图像进行特征提取，以得到各帧图像对应的特征图，进而将各帧图像对应的特征图输入经过训练的人体关键点检测模型，根据人体关键点检测模型的输出可以确定在各帧图像中的人体关键点位置。
作为另一种可能的实现方式，还可以采用自上而下的人体关键点检测算法对视频流中各帧图像中的人体关键点进行检测。可选地，可以采用卷积式机器学习算法(Convolutional Pose Machines，CPM)识别得到视频流中各帧图像的人体区域，进而对视频流中各帧图像进行特征提取，将提取出的各帧图像的特征图以及各帧图像对应的人体区域作为CPM的输入，以提取得到各帧图像中的人体关键点，从而可以确定在各帧图像中的人体关键点的位置。
作为又一种可能的实现方式，还可以采用自下而上的人体关键点检测算法对视频流中各帧图像中的人体关键点进行检测。可选地，采用自下而上的人体关键点检测算法对人体关键点检测包括人体关键点检测和人体关键点聚类。也就是说，关键点检测需要将图像中所有类别的所有关键点全部检测出来，然后对这些关键点进行聚类处理，将不同人的不同关键点连接在一块，从而聚类产生不同的个体对应的人体关键点，进而确定在各帧图像中的人体关键点位置。
需要说明的是，上述确定各帧图像中人体关键点位置的方法仅作为示例性介绍，也可以采用其他方式确定各帧图像中的人体关键点位置，在此不再一一介绍。
步骤103，根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体。
其中，虚拟物体模板，是指预先设置的虚拟物体。其中，虚拟物体可以为虚拟人物，以及虚拟物品，例如，可以为虚拟卡通形象，虚拟卡通人物等等，在此不做限定。
本申请实施例中，服务器获取到各帧图像中的人体关键点位置后，可以根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，从而将调整后的各帧图像中的虚拟物体模板作为各帧图像对应的目标虚拟物体。
可以理解的是，在选定虚拟物体模板后，可以根据实际的直播场景，根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，进而得到与各帧图像对应的目标虚拟物体。
在一种可能的情况下，可以根据视频流中各帧图像中的直播者的人体关键点位置，确定各帧图像对应的目标虚拟物体的位置、大小或者虚拟物体动作幅度，进而对虚拟模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体。
在另一种可能的情况下，可以根据视频流中各帧图像中的直播者的人体关键点位置对应的可视区域的大小，确定各帧图像对应的目标虚拟物体的位置、大小或者虚拟物体动作幅度，进而对虚拟模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体。
在一种可能的场景下，假设直播者在直播跳舞，目标虚拟物体可以为虚拟舞伴，直播客户端可以实时采集直播者在直播时的视频流，并识别得到视频流中各帧图像中的人体关键点位置，在直播过程中，各种图像中的人体关键点位置随着直播者跳舞而改变，此时，可以对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的虚拟舞伴。
在另一种可能的场景下，假设直播者在直播带货，直播者选择展示一个烤箱，就会在特定位置生成虚拟烤箱，可以通过特定手势对应的关键点位置，对虚拟烤箱中的目标关键点进行位置调整，以得到各帧图像对应的虚拟烤箱，从而实现了虚拟烤箱随着特定手势进行在旋转、放大缩小、打开关闭等。
步骤104，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流。
其中，目标视频流，是指对直播客户端进行直播时采集的视频流增加虚拟物体后得到的视频流。
本申请实施例中，确定各帧图像对应的目标虚拟物体后，可以将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，进而得到经过特效处理的目标视频流。
作为一种可能的实现方式，可以将各帧图像作为背景，各帧图像对应的目标虚拟物体作为前景，根据目标虚拟物体在各帧图像中的位置进行融合，以得到融合后的经过特效处理的目标视频流对应的各帧图像。
作为另一种可能的实现方式，在获取到各帧图像对应的目标虚拟物体后，可以对各帧图像对应的目标虚拟物体进行特征提取，以对各帧图像对应的虚拟物体与对应的各帧图像进行特征级的融合。
需要说明的是，还可以采用其他可以融合方式，将各帧图像对应的目标虚拟物体融合至视频流中对应的各帧图像内，在此不再一一介绍。
步骤105，向直播客户端，以及向观看直播的用户客户端发送目标视频流，以进行展示。
本申请实施例中，服务器将各帧图像对应的目标虚拟物体融合至视频流中对应的各帧图像内，得到经过特效处理的目标视频流后，将目标视频流发送至直播客户端，以及观看直播的用户客户端，以在直播客户端和用户客户端进行展示。
本申请实施例的直播的特效处理方法，通过服务器对获取到的直播客户端在直播时采集的视频流中各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流，进而将目标视频流发送至直播客户端，以及观看直播的用户客户端进行展示。由此，通过将直播时各帧图像对应的目标虚拟物体融合至对应的各帧图像内，得到经过特效处理的目标视频流，相较于现有的直播展示效果较为单一的情况，本申请中将经过特效处理的目标视频流在直播客户端和用户客户端进行展示，丰富了直播的形式，有利于增加直播者和观众的互动性。
在一种可能的场景下，直播者可以采用直播客户端进行直播跳舞，但是，若直播者只有一人，则无法完成双人舞蹈的直播，此时，需要生成虚拟人物，以使得直播者与生成的虚拟人物共同完成双人舞蹈的直播。下面结合图2进行详细介绍，图2为本申请实施例二提供的直播的特效处理方法的流程示意图。
如图2所示，该直播的特效处理方法，可以包括以下步骤：
步骤201，获取直播客户端在进行直播时采集的视频流。
步骤202，获取直播客户端对视频流中各帧图像进行人体识别，以得到在各帧图像中的人体关键点位置。
本申请实施例中，步骤201和步骤202的实现过程，可以参见上述实施例中步骤101和步骤102的实现过程，在此不再赘述。
步骤203，对每一帧图像，根据人体关键点位置，查询关键点位置的映射关系，以得到目标位置。
其中，目标位置，是指虚拟物体模板中的目标关键点对应的位置。
本申请实施例中，在对直播客户端在进行直播时采集的视频流中各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，对每一帧图像，可以根据人体关键点位置，查询关键点位置的映射关系，以得到虚拟物体模板中的目标关键点对应的目标位置。
作为一种示例，假设直播者和虚拟舞伴一起跳双人舞蹈，舞蹈是预先编排好的，直播者和虚拟舞伴的舞步都是对应的，因此，直播者的人体关键点位置和虚拟舞伴的关键点位置之间存在映射关系。可见，本申请中，确定每一帧图像中直播者的人体关键点位置后，可以通过查询人体关键点位置与虚拟舞伴的关键点位置之间的映射关系，确定虚拟舞伴的目标关键点对应的目标位置。
步骤204，将虚拟物体模板中的目标关键点调整至目标位置，以得到目标虚拟物体。
本申请实施例中，对于视频流中每一帧图像，根据人体关键点位置，确定虚拟物体模板中的目标关键点需调整至的目标位置后，可以将虚拟物体模板中的目标关键点调整至目标位置，以得到目标虚拟物体。
可选地，可以根据每一帧图像中，直播者的人体关键点位置判断虚拟物体需对应的目标位置，也就是说，可以根据直播者的舞蹈动作判断虚拟物体跳到了某个节拍，然后展示该节拍的舞蹈动作。
作为一种示例，假设某一帧图像中，直播者的人体关键点位置向虚拟物体模板的方向移动，则虚拟物体模板中的目标关键点可以往后移动，从而确定虚拟物体模板中的目标关键点的目标位置，进而将虚拟物体模板中的目标关键点调整至目标位置，以得到目标虚拟物体。
步骤205，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流。
步骤206，向直播客户端，以及向观看直播的用户客户端发送目标视频流，以进行展示。
本申请实施例中，步骤205和步骤206的实现过程，可以参见上述实施例中步骤104和步骤105的实现过程，在此不再赘述。
本申请实施例的直播的特效处理方法，通过对直播客户端在进行直播时采集的视频流中的每一帧图像，根据人体关键点位置，查询关键点位置的映射关系，得到目标位置，将虚拟物体模板中的目标关键点调整至目标位置，以得到目标虚拟物体，将各帧图像对应的目标虚拟物体融合至视频流中对应的各帧图像内，得到经过特效处理的目标视频流，进而向直播客户端以及用户客户端发送目标视频流以进行展示。由此，通过在视频流中的各帧图像中融合目标虚拟物体，以增加直播中观众与直播者的互动。
在一种可能的情况下，虚拟物体为虚拟人物时，虚拟人物的头像还可以为观看直播的用户头像，从而增加了观众与直播者的互动。下面结合图3进行详细介绍，图3为本申请实施例三提供的用于生成虚拟物体模板的流程示意图。
如图3所示，该虚拟物体模板的生成方法，可以包括以下步骤：
步骤301，从直播客户端获取控制指令。
其中，控制指令是响应于在直播客户端执行的用户操作生成的。
可以理解的是，直播者采用直播客户端进行直播的过程中，需要加入虚拟物体时，直播者可以在直播客户端执行添加虚拟物体的用户操作，以使得直播客户端响应于在直播客户端执行的用户操作生成控制指令。
进一步地，直播客户端将生成的控制指令发送至服务器，以使得服务器从直播客户端获取到控制指令。
步骤302，根据控制指令，确定标准模板。
本申请实施例中，服务器获取到控制指令后，可以根据控制指令确定用户选定的标准模块。
可以理解的是，若标准模板为虚拟人物模板，不同的用户在直播过程中选定的虚拟人物模板可能并不相同。例如，假设直播者在直播中卖货，需要不同身高、身材的虚拟人物进行试穿衣服，则可能选定不同的标准模板。由此，实现了根据用户操作，确定满足用户需求的标准模板。
步骤303，获取用户图像。
其中，用户图像，可以为观看直播的观众对应的人脸图像，也可以为直播者的人脸图像。
可选地，在取得观众授权的情况下，用户客户端可以采集得到用户图像，并将用户图像上传至服务器，服务器将用户图像与标注目标关键点位置的标准模板融合，以得到虚拟物体模板。
在一种可能的情况下，用户客户端采集得到观看直播的观众的用户图像后，可以将用户图像上传至服务器，以使得服务器从用户客户端获取到用户图像。
在另一种可能的情况下，直播客户端采集得到直播者的用户图像后，可直播客户端可以将用户图像上传至服务器，以使得服务器可以从直播客户端获取到直播者的用户图像。
在又一种可能的情况下，用户客户端采集得到观看直播的观众的用户图像，以及直播客户端采集得到直播者的用户图像后，服务器可以同时从用户客户端和直播客户端获取到观众的用户图像和直播者的用户图像。
由此，服务器端可以获取到直播者和观众的用户图像，从而丰富了直播的展示效果，增强了直播者和观众的互动性。
步骤304，将用户图像与标注目标关键点位置的标准模板融合，以得到虚拟物体模板。
本申请实施例中，服务器获取到用户图像后，可以将用户图像与标注目标关键点位置的标准模板进行融合，以得到虚拟物体模板。
作为一种可能的实现方式，可以将用户图像作为前景，将标注目标关键点位置的标准模板作为背景，以将用户图像与标准模板进行融合，得到虚拟物体模板。
本申请实施例中，虚拟物体模板中可以包含有观看直播的用户的头像，可以采用包含有用户头像的虚拟物体与直播者一起做游戏、跳舞等等，从而增加了直播者和观众的互动。
由此，通过用户图像与标准模板融合得到的虚拟物体模板中包含有用户图像，增加了直播过程中直播者与观众的互动。
在一种可能的情况下，在得到各帧图像对应的目标虚拟物体后，还需要进一步确定目标虚拟物体在各帧图像中的融合位置，以根据目标虚拟物体在各帧图像中的融合位置，将各帧图像对应的目标虚拟物体融合至视频流中对应的各帧图像内。在一种可能的场景下，假设直播者在直播客户端中直播跳舞，目标虚拟物体在各帧图像中的位置，与直播者在各帧图像中的位置相关。下面结合图4进行详细介绍，图4为本申请实施例四提供的直播的特效处理方法的流程示意图。
如图4所示，在上述步骤104或步骤205之前，该直播的特效处理方法，还可以包括以下步骤：
步骤401，获取直播客户端对各帧图像识别得到的人体中心位置。
其中，人体中心位置，是指直播客户端在进行直播时各帧图像中直播者对应的中心位置。
本申请实施例中，直播客户端对直播时采集的视频流中各帧图像进行识别，以确定各帧图像中的人体中心位置，进而直播客户端将各帧图像识别得到的人体中心位置发送至服务器，以使得服务器获取到直播客户端对各帧图像识别得到的人体中心位置。
作为一种可能的实现方式，可以各帧图像进行图像识别，以得到各帧图像中的人体区域，进而对人体区域进行人体关键点提取，以提取得到各帧图像中的人体关键点，并确定人体关键点位置。进一步地，根据人体关键点位置确定人体中心位置。
作为一种示例，可以将各帧图像中的人体关键点位置的中心关键点对应的位置，确定为各帧图像中的人体中心位置。
步骤402，根据各帧图像的人体中心位置，确定目标虚拟物体在各帧图像中的融合位置。
在一种可能的场景下，直播客户端进行直播跳舞时，可以生成一个或多个虚拟舞伴，这种场景下，可以根据各帧图像中直播者的人体中心位置，确定虚拟舞伴在各帧图像中的融合位置，以根据虚拟舞伴在各帧图像中的融合位置，将各帧图像对应的目标虚拟舞伴融合至视频流中对应的各帧图像内。
可以理解的是，直播客户端进行直播跳舞时，直播者可以代替舞蹈中的某一角色，与其他虚拟舞伴一起跳舞，虚拟舞伴在各帧图像中的位置，可以根据直播者的位置确定。
本申请实施例中，通过获取直播客户端对各帧图像识别得到的人体中心位置，以根据各帧图像的人体中心位置，确定目标虚拟物体在各帧图像中的融合位置，进而根据融合位置将各帧图像对应的目标虚拟物体融合至视频流中对应的各帧图像内。由此，通过视频流中各帧图像的人体中心位置，确定目标虚拟物体在各帧图像中的融合位置，使得直播中融合目标虚拟物体后增加了趣味性，并且丰富了直播的形式。
在一种可能的场景下，假设直播者在直播客户端中直播跳舞或者直播试衣服，为了实现对各种身高、体重的展示效果，可以对目标虚拟物体的尺寸进行调整，以将尺寸调整后的各帧图像对应的目标虚拟物体融合至对应的各帧图像内。下面结合图5进行详细介绍，图5为本申请实施例五提供的直播的特效处理方法的流程示意图。
如图5所示，在上述步骤104或步骤205之前，该直播的特效处理方法，还可以包括以下步骤：
步骤501，获取直播客户端对各帧图像识别得到的人体尺寸。
可以理解的是，各帧图像中的人体尺寸，是指直播者的身高、身材等等。
本申请实施例中，直播客户端对直播时采集的视频流中各帧图像进行识别，以确定各帧图像中的人体尺寸，进而直播客户端将识别得到的人体尺寸上传至服务器，以使得服务器获取到直播客户端对各帧图像识别得到的人体尺寸。
步骤502，根据人体尺寸调整目标虚拟物体尺寸。
在一种可能的场景下，直播者在直播客户端直播卖亲子装时，需要多人配合进行展示衣物，且需要多种体型的人进行展示衣物，以提高直播效果。这种情况下，可以根据直播客户端对各帧图像识别得到的人体尺寸调整目标虚拟物体尺寸，以使得目标虚拟物体尺寸不同于人体尺寸，以对衣物进行多重效果的展示。
在另一种可能的场景下，直播者在直播客户端直播跳舞时，假设直播者缺少男舞伴，则可以根据对各帧图像识别得到的人体尺寸，调整目标虚拟物体尺寸，以得到与人体尺寸相配的男舞伴对应的目标虚拟物体的尺寸。
由此，服务器获取到直播客户端对各帧图像识别得到的人体尺寸后，根据人体尺寸调整目标虚拟物体尺寸，可以得到多种类型的目标虚拟物体，从而丰富了直播的形式，解决了现有技术中直播较为单一的问题。
为了实现上述实施例，本申请提出了一种直播的特效处理装置。
图6为本申请实施例六提供的直播的特效处理装置的结构示意图。
如图6所示，该直播的特效处理装置600，可以包括：第一获取模块610、第二获取模块620、调整模块630、融合模块640以及发送模块650。
其中，第一获取模块610，用于获取直播客户端在进行直播时采集的视频流。
第二获取模块620，用于获取直播客户端对视频流中各帧图像进行人体识别，以得到在各帧图像中的人体关键点位置。
调整模块630，用于根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体。
融合模块640，用于将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流。
发送模块650，用于向直播客户端，以及向观看直播的用户客户端发送目标视频流，以进行展示。
在一种可能的情况下，调整模块630，可以包括：
查询单元，用于对每一帧图像，根据人体关键点位置，查询关键点位置的映射关系，以得到目标位置；
调整单元，用于将虚拟物体模板中的目标关键点调整至目标位置，以得到目标虚拟物体。
在另一种可能的情况下，调整模块630，还可以包括：
获取单元，用于获取用户图像；
融合单元，用于将用户图像与标注目标关键点位置的标准模板融合，以得到虚拟物体模板。
在另一种可能的情况下，该直播的特效处理装置600，还可以包括：
第三获取模块，用于从直播客户端获取控制指令，其中，控制指令是响应于在直播客户端执行的用户操作生成的；
第一确定模块，用于根据控制指令，确定标准模板。
在另一种可能的情况下，获取单元，还可以用于：
从用户客户端和/或直播客户端获取用户图像。
在另一种可能的情况下，该直播的特效处理装置600，还可以包括：
第四获取模块，用于获取直播客户端对各帧图像识别得到的人体中心位置；
第二确定模块，用于根据各帧图像的人体中心位置，确定目标虚拟物体在各帧图像中的融合位置。
在另一种可能的情况下，该直播的特效处理装置600，还可以包括：
第四获取模块，用于获取直播客户端对各帧图像识别得到的人体尺寸；
尺寸调整模块，用于根据人体尺寸调整目标虚拟物体尺寸。
需要说明的是，前述对直播的特效处理方法实施例的解释说明也适用于该实施例的直播的特效处理装置，此处不再赘述。
本申请实施例的直播的特效处理装置，通过服务器对获取到的直播客户端在直播时采集的视频流中各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流，进而将目标视频流发送至直播客户端，以及观看直播的用户客户端进行展示。由此，通过将直播时各帧图像对应的目标虚拟物体融合至对应的各帧图像内，得到经过特效处理的目标视频流，相较于现有的直播展示效果较为单一的情况，本申请中将经过特效处理的目标视频流在直播客户端和用户客户端进行展示，丰富了直播的形式，有利于增加直播者和观众的互动性。
为了实现上述实施例，本申请提出了一种服务器，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例的直播的特效处理方法。
为了实现上述实施例，本申请提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述实施例的直播的特效处理方法。
为了实现上述实施例，本申请提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例所述的直播的特效处理方法。
根据本申请的实施例，本申请还提供了一种服务器和一种可读存储介质。
如图7所示，是根据本申请实施例的直播的特效处理方法的服务器的框图。服务器旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。服务器还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该服务器包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在服务器内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个服务器，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的直播的特效处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的直播的特效处理方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的直播的特效处理方法对应的程序指令/模块(例如，附图6所示的第一获取模块610、第二获取模块620、调整模块630、融合模块640以及发送模块650)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的直播的特效处理方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
服务器还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
根据本申请实施例的技术方案，通过服务器对获取到的直播客户端在直播时采集的视频流中各帧图像进行人体识别，得到在各帧图像中的人体关键点位置后，根据各帧图像中的人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，将各帧图像对应的目标虚拟物体，融合至视频流中对应的各帧图像内，以得到经过特效处理的目标视频流，进而将目标视频流发送至直播客户端，以及观看直播的用户客户端进行展示。由此，通过将直播时各帧图像对应的目标虚拟物体融合至对应的各帧图像内，得到经过特效处理的目标视频流，相较于现有的直播展示效果较为单一的情况，本申请中将经过特效处理的目标视频流在直播客户端和用户客户端进行展示，丰富了直播的形式，有利于增加直播者和观众的互动性。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (6)

1.一种直播的特效处理方法，包括：
获取直播客户端在进行直播时采集的视频流；
接收所述直播客户端发送的所述视频流中各帧图像对应的人体关键点位置，其中，通过下述方式确定所述人体关键点位置：对所述视频流中各帧图像进行特征提取，将提取的所述各帧图像对应的特征图输入经过训练的人体关键点检测模型，根据所述人体关键点检测模型的输出结果确定所述各帧图像中的人体关键点位置；
根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，其中，对每一帧图像，根据所述人体关键点位置查询关键点位置的映射关系，以得到目标位置，将所述虚拟物体模板中的目标关键点调整至所述目标位置，以得到所述目标虚拟物体；
获取所述直播客户端对各帧图像识别得到的人体尺寸和人体中心位置，根据所述人体尺寸调整所述目标虚拟物体尺寸，根据所述人体中心位置确定所述目标虚拟物体在各帧图像中的融合位置，将调整后的目标虚拟物体融合至所述视频流中对应的各帧图像中的融合位置，以得到经过特效处理的目标视频流；
向所述直播客户端，以及向观看直播的用户客户端发送所述目标视频流，以进行展示；
所述特效处理方法，还包括：
在所述对虚拟物体模板中的目标关键点进行位置调整之前，且在取得观众授权的情况下，从所述用户客户端获取所述观众的人脸图像；
将所述人脸图像与标注所述目标关键点位置的标准模板融合，以得到所述虚拟物体模板。
2.根据权利要求1所述的特效处理方法，其中，所述根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体之前，还包括：
从所述直播客户端获取控制指令，其中，所述控制指令是响应于在所述直播客户端执行的用户操作生成的；
根据所述控制指令，确定所述标准模板。
3.一种直播的特效处理装置，包括：
第一获取模块，用于获取直播客户端在进行直播时采集的视频流；
第二获取模块，用于接收所述直播客户端发送的所述视频流中各帧图像对应的人体关键点位置，其中，通过下述方式确定所述人体关键点位置：对所述视频流中各帧图像进行特征提取，将提取的所述各帧图像对应的特征图输入经过训练的人体关键点检测模型，根据所述人体关键点检测模型的输出结果确定所述各帧图像中的人体关键点位置；
调整模块，用于根据各帧图像中的所述人体关键点位置，对虚拟物体模板中的目标关键点进行位置调整，以得到各帧图像对应的目标虚拟物体，其中，对每一帧图像，根据所述人体关键点位置查询关键点位置的映射关系，以得到目标位置，将所述虚拟物体模板中的目标关键点调整至所述目标位置，以得到所述目标虚拟物体；
融合模块，用于获取所述直播客户端对各帧图像识别得到的人体尺寸和人体中心位置，根据所述人体尺寸调整所述目标虚拟物体尺寸，根据所述人体中心位置确定所述目标虚拟物体在各帧图像中的融合位置，将调整后的目标虚拟物体融合至所述视频流中对应的各帧图像中的融合位置，以得到经过特效处理的目标视频流；
发送模块，用于向所述直播客户端，以及向观看直播的用户客户端发送所述目标视频流，以进行展示；
所述特效处理装置的所述调整模块，还包括：
获取单元，用于在所述对虚拟物体模板中的目标关键点进行位置调整之前，且在取得观众授权的情况下，从所述用户客户端获取所述观众的人脸图像；
融合单元，用于将所述人脸图像与标注所述目标关键点位置的标准模板融合，以得到所述虚拟物体模板。
4.根据权利要求3所述的特效处理装置，其中，所述装置，还包括：
第三获取模块，用于从所述直播客户端获取控制指令，其中，所述控制指令是响应于在所述直播客户端执行的用户操作生成的；
第一确定模块，用于根据所述控制指令，确定所述标准模板。
5.一种服务器，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1或2所述的直播的特效处理方法。
6.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1或2所述的直播的特效处理方法。
CN202010594821.8A 2020-06-28 2020-06-28 直播的特效处理方法、装置以及服务器 Active CN111935491B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010594821.8A CN111935491B (zh) 2020-06-28 2020-06-28 直播的特效处理方法、装置以及服务器
KR1020210082234A KR102504459B1 (ko) 2020-06-28 2021-06-24 라이브 방송의 특수 효과 처리 방법, 장치 및 서버
US17/357,968 US11722727B2 (en) 2020-06-28 2021-06-24 Special effect processing method and apparatus for live broadcasting, and server
JP2021104852A JP7341189B2 (ja) 2020-06-28 2021-06-24 生放送の特殊効果処理方法、装置及びサーバ
EP21181974.3A EP3896980A1 (en) 2020-06-28 2021-06-28 Special effect processing method for live broadcasting, same apparatus, and related server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010594821.8A CN111935491B (zh) 2020-06-28 2020-06-28 直播的特效处理方法、装置以及服务器

Publications (2)

Publication Number Publication Date
CN111935491A CN111935491A (zh) 2020-11-13
CN111935491B true CN111935491B (zh) 2023-04-07

Family

ID=73317452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010594821.8A Active CN111935491B (zh) 2020-06-28 2020-06-28 直播的特效处理方法、装置以及服务器

Country Status (5)

Country Link
US (1) US11722727B2 (zh)
EP (1) EP3896980A1 (zh)
JP (1) JP7341189B2 (zh)
KR (1) KR102504459B1 (zh)
CN (1) CN111935491B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511849A (zh) * 2020-11-17 2021-03-16 北京达佳互联信息技术有限公司 一种游戏显示方法、装置、设备、系统及存储介质
CN112381928A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 图像显示的方法、装置、设备以及存储介质
CN112423022A (zh) * 2020-11-20 2021-02-26 北京字节跳动网络技术有限公司 视频生成及显示方法、装置、设备、介质
CN114640882A (zh) * 2020-12-15 2022-06-17 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN112714337A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和存储介质
CN113362472B (zh) * 2021-05-27 2022-11-01 百度在线网络技术（北京）有限公司 物品展示方法、装置、设备、存储介质及程序产品
CN113313839B (zh) * 2021-05-27 2022-11-15 百度在线网络技术（北京）有限公司 信息显示方法、装置、设备、存储介质及程序产品
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN113490009B (zh) * 2021-07-06 2023-04-21 广州虎牙科技有限公司 内容信息植入方法、装置、服务器和存储介质
CN113658213B (zh) * 2021-08-16 2023-08-18 百度在线网络技术（北京）有限公司 形象呈现方法、相关装置及计算机程序产品
CN113949834A (zh) * 2021-09-01 2022-01-18 北京新氧万维科技咨询有限公司 一种视频展示方法、装置、电子设备及存储介质
CN113822175B (zh) * 2021-09-03 2023-09-01 西安工程大学 一种基于关键点聚类驱动匹配的虚拟试衣图像生成方法
CN113744414B (zh) * 2021-09-06 2022-06-28 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN113850746A (zh) * 2021-09-29 2021-12-28 北京字跳网络技术有限公司 图像处理方法、装置、电子设备及存储介质
CN114007091A (zh) * 2021-10-27 2022-02-01 北京市商汤科技开发有限公司 一种视频处理方法、装置、电子设备及存储介质
CN114173142A (zh) * 2021-11-19 2022-03-11 广州繁星互娱信息科技有限公司 对象直播展示方法和装置、存储介质及电子设备
CN114327182B (zh) * 2021-12-21 2024-04-09 广州博冠信息科技有限公司 特效显示方法及装置、计算机存储介质、电子设备
WO2023139757A1 (en) * 2022-01-21 2023-07-27 Nec Corporation Pose estimation apparatus, pose estimation method, and non-transitory computer-readable storage medium
CN114844873A (zh) * 2022-04-11 2022-08-02 神马人工智能科技(深圳)有限公司 基于人工智能的物联网设备视听流实时处理系统
CN114845136B (zh) * 2022-06-28 2022-09-16 北京新唐思创教育科技有限公司 视频合成方法、装置、设备和存储介质
CN116030191B (zh) * 2022-12-21 2023-11-10 北京百度网讯科技有限公司 用于展示虚拟对象的方法、装置、设备及介质
CN116456131B (zh) * 2023-03-13 2023-12-19 北京达佳互联信息技术有限公司 特效渲染方法、装置、电子设备及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE535205C2 (sv) 2010-06-03 2012-05-22 Erik Eskilsson Studio och konferenssystem för videokonferens
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
US10089793B2 (en) 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN106803966B (zh) 2016-12-31 2020-06-23 北京星辰美豆文化传播有限公司 一种多人网络直播方法、装置及其电子设备
JP2018116537A (ja) 2017-01-19 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10628675B2 (en) * 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
JP6517255B2 (ja) 2017-02-27 2019-05-22 Kddi株式会社 キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム
CN106993195A (zh) * 2017-03-24 2017-07-28 广州创幻数码科技有限公司 虚拟人物角色直播方法及系统
JP6946724B2 (ja) 2017-05-09 2021-10-06 ソニーグループ株式会社 クライアント装置、クライアント装置の処理方法、サーバおよびサーバの処理方法
KR101894956B1 (ko) 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법
US10356341B2 (en) * 2017-10-13 2019-07-16 Fyusion, Inc. Skeleton-based effects and background replacement
WO2019087014A1 (ru) * 2017-10-30 2019-05-09 ГИОРГАДЗЕ, Анико Тенгизовна Взаимодействие пользователей посредством потокового вещания данных дополненной реальности
CN108712661B (zh) * 2018-05-28 2022-02-25 广州虎牙信息科技有限公司 一种直播视频处理方法、装置、设备及存储介质
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN108898118B (zh) * 2018-07-04 2023-04-18 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置和存储介质
CN109191548A (zh) * 2018-08-28 2019-01-11 百度在线网络技术（北京）有限公司 动画制作方法、装置、设备及存储介质
JP6718933B2 (ja) 2018-09-11 2020-07-08 株式会社コロプラ プログラム、情報処理装置、および方法
CN109614848B (zh) 2018-10-24 2021-07-20 百度在线网络技术（北京）有限公司 人体识别方法、装置、设备及计算机可读存储介质
CN111200747A (zh) 2018-10-31 2020-05-26 百度在线网络技术（北京）有限公司 基于虚拟形象的直播方法和装置
CN109660818A (zh) * 2018-12-30 2019-04-19 广东彼雍德云教育科技有限公司 一种虚拟互动直播系统
JP6609078B1 (ja) 2019-03-28 2019-11-20 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP6683864B1 (ja) 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ制御システム、コンテンツ制御方法、およびコンテンツ制御プログラム
CN110796721A (zh) * 2019-10-31 2020-02-14 北京字节跳动网络技术有限公司 虚拟形象的颜色渲染方法、装置、终端及存储介质
CN110766777B (zh) * 2019-10-31 2023-09-29 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质
CN111010589B (zh) 2019-12-19 2022-02-25 腾讯科技（深圳）有限公司 基于人工智能的直播方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晓锋."街都"3D智能门店，让你体验神奇的虚拟试衣间.《所见即所得》.2020, *

Also Published As

Publication number Publication date
JP2021157835A (ja) 2021-10-07
KR102504459B1 (ko) 2023-02-27
CN111935491A (zh) 2020-11-13
US20210321157A1 (en) 2021-10-14
JP7341189B2 (ja) 2023-09-08
EP3896980A1 (en) 2021-10-20
US11722727B2 (en) 2023-08-08
KR20210089114A (ko) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111935491B (zh) 直播的特效处理方法、装置以及服务器
CN109416931B (zh) 用于视线跟踪的装置和方法
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
CN107087224B (zh) 内容同步设备和方法
US20150193970A1 (en) Video playing method and system based on augmented reality technology and mobile terminal
CN107911736B (zh) 直播互动方法及系统
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
KR20140043070A (ko) 카메라-가용 장치를 사용하여 배경에 있는 비디오 디스플레이로부터 비디오 신호를 검출, 인덱싱, 및 비교하기 위한 장치, 시스템, 방법 및 매체
CN111726682B (zh) 视频片段生成方法、装置、设备和计算机存储介质
US20210174592A1 (en) Augmented reality method and device
CN103929669A (zh) 可交互视频生成器、播放器及其生成方法、播放方法
CN111491187A (zh) 视频的推荐方法、装置、设备及存储介质
CN111694983A (zh) 信息显示方法、装置、电子设备以及存储介质
CN112182297A (zh) 训练信息融合模型、生成集锦视频的方法和装置
KR20160021016A (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
CN111770388B (zh) 内容处理方法、装置、设备及存储介质
CN110287934B (zh) 一种对象检测方法、装置、客户端及服务器
EP2961182A1 (en) Method, system and device for navigating in ultra high resolution video content by a client device
Uribe et al. New access services in HbbTV based on a deep learning approach for media content analysis
US20230082197A1 (en) System and Method for Analyzing Videos in Real-Time
CN112423035A (zh) 一种在vr头显中观看全景视频自动提取用户视觉关注点的方法
JP2009519539A (ja) イベントデータを作成し、これをサービス提供可能な状態にするための方法及びシステム
CN111901668B (zh) 视频播放方法和装置
US11902603B2 (en) Methods and systems for utilizing live embedded tracking data within a live sports video stream
Huang et al. Virtual ads insertion in street building views for augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant