CN112218107A - 直播渲染方法和装置、电子设备及存储介质 - Google Patents
直播渲染方法和装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112218107A CN112218107A CN202010985760.8A CN202010985760A CN112218107A CN 112218107 A CN112218107 A CN 112218107A CN 202010985760 A CN202010985760 A CN 202010985760A CN 112218107 A CN112218107 A CN 112218107A
- Authority
- CN
- China
- Prior art keywords
- target
- video frame
- live
- special effect
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000000694 effects Effects 0.000 claims abstract description 171
- 239000002245 particle Substances 0.000 claims abstract description 153
- 238000012545 processing Methods 0.000 claims abstract description 68
- 230000008859 change Effects 0.000 claims description 43
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002310 elbow joint Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000000629 knee joint Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供的直播渲染方法和装置、电子设备及存储介质，涉及直播技术领域。在本申请中，首先，获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象。其次，对目标直播视频帧进行识别处理，得到目标对象的位置信息，其中，该位置信息用于表征目标对象的位置。然后，基于位置信息对特效粒子集合进行渲染处理。通过上述方法，可以改善现有技术中特效粒子的渲染效果较差的问题。
Description
技术领域
本申请涉及直播技术领域，具体而言，涉及一种直播渲染方法和装置、电子设备及存储介质。
背景技术
随着计算机仿真技术的发展，基于粒子进行特效渲染的技术得到了广泛的应用，例如，电视剧、电影的后期处理，以及游戏中的画面渲染等。经发明人研究发现，为了提高直播画面的丰富度，可以将粒子渲染的技术应用到直播中，但是，针对常规的粒子渲染技术，应用于直播时容易出现渲染效果较差的问题。
发明内容
有鉴于此，本申请的目的在于提供一种直播渲染方法和装置、电子设备及存储介质，以改善现有技术中特效粒子的渲染效果较差的问题。
为实现上述目的，本申请实施例采用如下技术方案：
一种直播渲染方法，包括：
获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象；
对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息，其中，该位置信息用于表征所述目标对象的位置；
基于所述位置信息对特效粒子集合进行直播渲染处理，其中，该特效粒子集合包括至少一个目标特效粒子。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息的步骤，包括：
对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息；
将所述少一个目标特征点的位置信息作为所述目标对象的位置信息。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
获得历史直播视频帧，其中，该历史直播视频帧为时序在该目标直播视频帧的时序之前的直播视频帧；
基于所述目标直播视频帧和所述历史直播视频帧，确定所述目标对象的第一对象区域包括的至少一个第一目标特征点的位置变化信息，其中，该第一对象区域不包括所述目标对象的头部区域，该位置变化信息作为所述目标对象包括的至少一个目标特征点的位置信息。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述基于所述目标直播视频帧和所述历史直播视频帧，确定所述目标对象的第一对象区域包括的至少一个第一目标特征点的位置变化信息的步骤，包括：
将所述目标直播视频帧与所述历史直播视频帧进行像素值比较处理；
基于比较处理的结果确定所述目标对象的第一对象区域包括的至少一个第一目标特征点，在所述目标直播视频帧与所述历史直播视频帧之间的位置变化信息，其中，该第一目标特征点为所述目标对象的四肢特征点。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述特效粒子集合包括至少一个第一目标特效粒子，所述基于所述位置信息对特效粒子集合进行直播渲染处理的步骤，包括：
基于所述至少一个第一目标特征点的位置变化信息，确定每一个所述第一目标特效粒子的运动属性信息；
基于所述运动属性信息控制对应的每一个第一目标特效粒子运动。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述第一目标特效粒子为多个，多个所述第一目标特效粒子的初始渲染位置基于所述目标对象的第一对象区域的轮廓确定；
所述基于所述至少一个第一目标特征点的位置变化信息，确定每一个所述第一目标特效粒子的运动属性信息的步骤，包括：
针对每一个所述第一目标特效粒子，获取该第一目标特效粒子的初始渲染位置与最近的至少一个所述第一目标特征点在该目标直播视频帧中的位置之间的距离信息；
针对每一个所述第一目标特效粒子，基于该第一目标特效粒子的所述距离信息和最近的至少一个所述第一目标特征点的位置变化信息，得到该第一目标特效粒子的运动属性信息。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
对所述目标直播视频帧进行特征点识别处理，确定所述目标对象的第二对象区域包括的至少一个第二目标特征点，其中，该第二对象区域为所述目标对象的头部区域；
获取所述至少一个第二目标特征点的位置信息，并基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述获取所述至少一个第二目标特征点的位置信息，并基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
以所述第二目标特征点为顶点，构成至少一个多边形，其中，该第二目标特征点为多个；
针对每一个所述多边形，在该多边形的至少一个边上确定至少一个新的特征点，得到至少一个新的第二目标特征点；
获取所述第二目标特征点和所述新的第二目标特征点的位置信息，得到所述目标对象包括的至少一个目标特征点的位置信息。
在本申请实施例较佳的选择中，在上述直播渲染方法中，所述基于所述位置信息对特效粒子集合进行直播渲染处理的步骤，包括：
针对每一个所述第二目标特征点，基于该第二目标特征点的位置信息将至少一个第二目标特效粒子进行直播渲染处理；
在预设时长之后停止对所述第二目标特效粒子进行直播渲染处理。
本申请实施例还提供了一种直播渲染装置，包括：
视频帧获得模块，用于获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象；
视频帧处理模块，用于对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息，其中，该位置信息用于表征所述目标对象的位置；
特效粒子渲染模块，用于基于所述位置信息对特效粒子集合进行直播渲染处理，其中，该特效粒子集合包括至少一个目标特效粒子。
在上述基础上，本申请实施例还提供了一种电子设备，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行该存储器存储的计算机程序，以实现上述的直播渲染方法。
在上述基础上，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被执行时，实现上述的直播渲染方法。
本申请提供的直播渲染方法和装置、电子设备及存储介质，通过获取目标直播视频帧中目标对象的位置信息，并基于该位置信息对特效粒子进行渲染处理，可以在直播的过程中实现特效粒子的渲染。如此，通过在直播过程中渲染特效粒子，使得可以在直播画面中形成特效，从而可以提高直播画面中内容的丰富程度。并且，由于特效粒子的渲染是基于直播视频帧中目标对象的位置信息而完成，因而，使得渲染的特效粒子可以跟随目标对象的位置变化而变化，从而使得渲染效果更佳，进而改善现有技术中特效粒子的渲染效果较差的问题，使得具有较高的使用价值，如能够有效提升直播观众对直播的粘性。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的直播渲染方法的流程示意图。
图3为本申请实施例提供的特效粒子的渲染效果示意图。
图4为图2中步骤S120包括的子步骤的流程示意图。
图5为图4中步骤S121包括的子步骤的流程示意图。
图6为本申请实施例提供的第一目标特征点的效果示意图。
图7为图4中步骤S121包括的其它子步骤的流程示意图。
图8为本申请实施例提供的第二目标特征点的效果示意图。
图9为本申请实施例提供的确定新的第二目标特征点的效果示意图。
图10为图2中步骤S130包括的子步骤的流程示意图。
图11为本申请实施例提供的确定距离信息的效果示意图。
图12为图10中步骤S130包括的其它子步骤的流程示意图。
图13为本申请实施例提供的直播渲染装置的方框示意图。
图标：10-电子设备；12-存储器；14-处理器；100-直播渲染装置；110-视频帧获得模块；120-视频帧处理模块；130-特效粒子渲染模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本申请的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示，本申请实施例提供了一种电子设备10，可以包括存储器12、处理器14和直播渲染装置100。
其中，所述存储器12和处理器14之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述直播渲染装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中的软件功能模块。所述处理器14用于执行所述存储器12中存储的可执行的计算机程序，例如，所述直播渲染装置100所包括的软件功能模块及计算机程序等，以实现本申请实施例提供的直播渲染方法。
可选地，所述存储器12可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。
并且，所述处理器14可以是一种通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)等。
可以理解，图1所示的结构仅为示意，所述电子设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置，例如，还可以包括用于与其它设备(如所述电子设备10为直播终端设备，该其它设备可以为直播服务器，以获取直播视频帧等)进行信息交互的通信单元。
结合图2，本申请实施例还提供一种可应用于上述电子设备10的直播渲染方法。其中。所述直播渲染方法有关的流程所定义的方法步骤可以由所述电子设备10实现。下面将对图2所示的具体流程，进行详细阐述。
步骤S110，获得目标直播视频帧。
在本实施例中，所述电子设备10可以先获得待处理的直播视频帧，如此，可以得到目标直播视频帧。
其中，所述目标直播视频帧中可以包括目标对象，即该目标直播视频帧中具有该目标对象的图像信息。
步骤S120，对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息。
在本实施例中，在基于步骤S110获得所述目标直播视频帧之后，所述电子设备10可以对该目标直播视频帧进行识别处理，如此，可以得到该目标直播视频帧中所述目标对象的位置信息。
其中，所述位置信息可以用于表征所述目标对象的位置。
步骤S130，基于所述位置信息对特效粒子集合进行直播渲染处理。
在本实施例中，在基于步骤S120得到所述目标对象的位置信息之后，所述电子设备10可以基于该位置信息对特效粒子集合进行直播渲染处理。
其中，所述特效粒子集合可以包括至少一个目标特效粒子，如此，可以在直播画面中形成包括至少一个目标特效粒子的特效。
基于上述方法，通过在直播过程中渲染特效粒子，使得可以在直播画面中形成特效(如图3所示)，从而可以提高直播画面中内容的丰富程度。并且，由于特效粒子的渲染是基于直播视频帧中目标对象的位置信息而完成，因而，使得渲染的特效粒子可以跟随目标对象的位置变化而变化，从而使得渲染效果更佳，能够有效提升直播观众对直播的粘性。
第一方面，对于步骤S110需要说明的是，获得所述目标直播视频帧的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，若所述电子设备10为直播发起终端(如主播端的设备)，可以通过该直播发起端的图像采集设备(如摄像头)拍摄所述目标对象，从而获得所述目标直播视频帧。
又例如，在另一种可以替代的示例中，若所述电子设备10为直播接收终端(如观终端的设备)，可以通过该直播接收终端获取通信连接的直播服务器发送的直播视频帧(也就是说，直播发起终端可以将所述目标直播视频帧发送给直播服务器，直播服务器可以将该目标直播视频帧发送给直播接收终端)，从而获得所述目标直播视频帧。
可以理解的是，获得所述目标直播视频帧既可以是指，获得直播过程中的每一帧直播视频帧，即将每一帧直播视频帧都作为所述目标直播视频帧。获得所述目标直播视频帧也可以是指，获得直播过程中的部分直播视频帧，即将部分的直播视频帧作为所述目标直播视频帧。
第二方面，对于步骤S120需要说明的是，对所述目标直播视频帧进行识别处理的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，为了能够准确的得到所述目标直播视频帧中目标对象的位置信息，可以对该目标对象进行整体的识别。
又例如，在另一种可以替代的示例中，为了能够提高对所述目标直播视频帧中目标对象的识别效率，可以对特征点进行识别。基于此，结合图4，步骤S120可以包括步骤S121和步骤S122，具体内容如下所述。
步骤S121，对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息。
在本实施例中，在基于步骤S110得到所述目标直播视频帧之后，可以对该目标直播视频帧进行特征点识别处理，如此，可以得到该目标对象包括的至少一个目标特征点的位置信息。
步骤S122，将所述少一个目标特征点的位置信息作为所述目标对象的位置信息。
在本实施例中，在基于步骤S121得到所述至少一个目标特征点的位置信息之后，可以将该至少一个目标特征点的位置信息，作为所述目标对象的位置信息，即以目标特征点的位置信息来代表目标对象的位置信息，如此，可以提高识别处理的效率，从而提高得到目标对象的位置信息的效率，实现高效的特效粒子渲染，使得渲染效果更佳。
可选地，执行步骤S121以对特征点进行识别处理的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以对所述目标直播视频帧中的目标对象的全部区域一并进行特征点识别处理，如此，可以得到通过至少一个目标特征点表征的该目标对象整体的位置信息。
又例如，在另一种可以替代的示例中，可以对所述目标直播视频帧中的目标对象进行分区域的特征点识别处理，如此，可以分别得到通过不同目标特征点表征的目标对象不同区域的位置信息。
可以理解的，在进行分区域的特征点识别处理时，不同区域的具体识别处理方式既可以相同，也可以不同。
在本实施例中，为了对进行分区域的特征点识别处理进行详细地说明，分别提高以下两种示例，即后文所描述的第一种示例和第二种示例。
在第一种示例中，结合图5，步骤S121可以包括步骤S121a和步骤S121b，以得到所述至少一个目标特征点的位置信息，具体内容如下所述。
步骤S121a，获得历史直播视频帧。
在本实施例中，在基于步骤S110获得所述目标直播视频帧之后，还可以获得该目标直播视频帧的历史直播视频帧。
其中，所述历史直播视频帧可以为时序在所述目标直播视频帧的时序之前的直播视频帧。
步骤S121b，基于所述目标直播视频帧和所述历史直播视频帧，确定目标对象的第一对象区域包括的至少一个第一目标特征点的位置变化信息。
在本实施例中，在基于步骤S121a获得所述历史直播视频帧之后，可以基于该历史直播视频帧和所述目标直播视频帧，对所述目标对象的第一对象区域包括的至少一个第一目标特征点进行位置变化的确认处理，从而得到该至少一个第一目标特征点的位置变化信息。并且，可以将该位置变化信息作为所述目标对象包括的至少一个目标特征点的位置信息，如此，可以得到所述目标对象的位置信息。
其中，所述第一对象区域可以不包括所述目标对象的头部区域。也就是说，所述至少一个第一目标特征点为所述目标对象的头部区域以外的其它区域的目标特征点。
可以理解的是，在上述示例中，执行步骤S121a以获得所述历史直播视频帧的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以将所述目标直播视频帧的前一帧直播视频帧，作为该目标直播视频的历史直播视频帧。
又例如，在另一种可以替代的示例中，也可以将所述目标直播视频帧的前N(N可以为大于1的整数)帧直播视频帧(如在前的第2帧、第3帧等)，作为该目标直播视频的历史直播视频帧。
并且，在上述示例中，执行步骤S121b以确定所述位置变化信息的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以在所述目标对象的第一对象区域中按照等间距的方式，确定多个第一目标特征点，如此，可以基于所述目标直播视频帧与所述历史直播视频帧，确定每一个所述第一目标特征点的位置变化信息。
又例如，在另一种可以替代的示例中，为了使得确定的位置变化信息可以充分表征所述目标对象的第一对象区域的位置变化，且兼顾处理的效率，可以基于所述目标对象的第一对象区域中可能会发生较大位移的部位确定至少一个第一目标特征点，然后，再基于所述目标直播视频帧与所述历史直播视频帧，确定每一个所述第一目标特征点的位置变化信息。
基于此，在一种具体的应用示例中，步骤S121b可以包括以下子步骤：
首先，可以将所述目标直播视频帧与所述历史直播视频帧进行像素值比较处理；其次，可以基于比较处理的结果确定所述目标对象的第一对象区域包括的至少一个第一目标特征点，在所述目标直播视频帧与所述历史直播视频帧之间的位置变化信息，其中，该第一目标特征点为所述目标对象的四肢特征点。
在上述子步骤中，进行像素值比较处理可以是指，将所述目标直播视频帧和所述历史直播视频帧分别转换为灰度图，且将目标对象所在的区域的像素点的像素值配置为255、将目标对象所在的区域(如背景区域)的像素点的像素值配置为0(区分是否属于目标对象区域可以基于预先训练的神经网络模型完成，在此不做具体限定)，从而得到目标直播视频帧对应的目标灰度图和历史直播视频帧对应的历史灰度图。然后，再将目标灰度图和历史灰度图中对应像素点的像素值进行比较，从而得到像素值是否发生变化的比较结果，如此，针对预设确定的第一目标特征点，可以确定出对应的位置变化信息。
并且，在上述子步骤中，四肢特征点可以是指，人体四肢中一个或多个肢体的特征点，如左手的特征点、右手的特征点、左脚的特征点和右脚的特征点。其中，一个肢体的特征点可以是一个，也可以是多个。
例如，在一种具体的应用示例中，如图6所示，所述第一目标特征点可以包括左手的一个特征点(如左手肘关节)、右手的一个特征点(如右手肘关节)、左脚的一个特征点(如左脚膝关节)和右脚的一个特征点(如右脚膝关节)。
在第二种示例中，结合图7，步骤S121可以包括步骤S121c和步骤S121d，以得到所述至少一个目标特征点的位置信息，具体内容如下所述。
步骤S121c，对所述目标直播视频帧进行特征点识别处理，确定所述目标对象的第二对象区域包括的至少一个第二目标特征点。
在本实施例中，在基于步骤S110获得所述目标直播视频帧之后，可以对该目标直播视频帧进行特征点识别处理，如此，可以得到在该目标直播视频帧中所述目标对象的第二对象区域包括的至少一个第二目标特征点。
其中，所述第二对象区域为所述目标对象的头部区域。
步骤S121d，获取所述至少一个第二目标特征点的位置信息，并基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息。
在本实施例中，在基于步骤S121c得到所述至少一个第二目标特征点的位置信息之后，即头部区域的位置信息，可以基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息。
可以理解的是，在上述示例中，考虑到在所述目标对象的第二对象区域中，比较具有代表性的特征点为脸部特征点，因而，基于步骤S121c确定的所述第二目标特征点，可以是基于人脸识别得到的人脸特征点(如图8所示)，如此，基于该人脸特征点的位置信息进行特效粒子的渲染时，可以得到较好的渲染效果。
并且，在上述示例中，基于步骤S121d得到所述至少一个目标特征点的位置信息的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以直接将获取的所述至少一个第二目标特征点的位置信息，作为所述至少一个目标特征点的位置信息。
又例如，在另一种可以替代的示例中，为了提高渲染的特效粒子的渲染效果，步骤S121d可以包括以下子步骤：
首先，可以以所述第二目标特征点为顶点，构成至少一个多边形，其中，该第二目标特征点为多个；其次，针对每一个所述多边形，可以在该多边形的至少一个边上确定至少一个新的特征点，得到至少一个新的第二目标特征点；然后，可以获取所述第二目标特征点和所述新的第二目标特征点的位置信息，得到所述目标对象包括的至少一个目标特征点的位置信息，如此，使得得到的目标特征点的位置信息更为丰富。
为了对上述子步骤的内容进行进一步的解释说明，结合图9，本实施例还提供一种具体的应用示例：
首先，可以在多个所述第二目标特征点中，针对每相邻的三个第二目标特征点，可以以该三个第二目标特征点为顶点构成一个三角形；其次，可以针对每一个三角形，在该三角形的每一条边上确定一个中点，从而形成新的第二目标特征点(可以理解的是，在形成新的第二目标特征点之后，还可以进一步基于第二目标特征点和新的第二目标特征点再次确定三角形，从而再次确定新的第二目标特征点，如此，可以形成多次迭代，确定出较多的新的第二目标特征点)；然后，获取所述第二目标特征点和所述新的第二目标特征点的位置信息。
第三方面，对于步骤S130需要说明的是，对所述特效粒子集合中的至少一个目标特效粒子进行直播渲染处理的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，基于步骤S120得到的位置信息是目标对象整体的位置信息，可以对所述特效粒子集合中的至少一个目标特效粒子进行同一的直播渲染处理，即渲染处理的规则可以相同。
又例如，在另一种可以替代的示例中，基于步骤S120得到的位置信息是目标对象不同区域的位置信息，可以对所述特效粒子集合中的不同目标特效粒子分别进行不同的直播渲染处理，即渲染处理的规则可以不相同。
基于此，在上述的第一种示例(将所述至少一个第一目标特征点的位置变化信息作为所述至少一个目标特征点的位置信息)的基础上，结合图10，步骤S130可以包括步骤S131和步骤S132，具体内容如下所述。
步骤S131，基于所述至少一个第一目标特征点的位置变化信息，确定每一个所述第一目标特效粒子的运动属性信息。
在本实施例中，所述特效粒子集合可以包括至少一个第一目标特效粒子，如此，在基于步骤S120得到每一个所述第一目标特征点的位置变化信息之后，可以基于该位置变化信息确定每一个所述第一目标特效粒子的运动属性信息。
步骤S132，基于所述运动属性信息控制对应的每一个第一目标特效粒子运动。
在本实施例中，在基于步骤S131得到每一个所述第一目标特效粒子的运动属性信息之后，可以基于该运动属性信息控制对应的第一目标特效粒子运动，如此，可以呈现出第一目标特效粒子的位置动态变化的效果，即跟随所述目标对象的第一对象区域运动而运动。
可选地，执行步骤S131以确定每一个所述第一目标特效粒子的运动属性信息的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以针对所述至少一个第一目标特征点的位置变化信息，得到平均位置变化信息，然后，基于该平均位置变化信息得到每一个所述第一目标特效粒子的运动属性信息，即每一个所述第二目标特效粒子的运动属性信息相同。
又例如，在另一种可以替代的示例中，为了使得基于所述运动属性信息控制所述第一目标特效粒子运动时，可以具有较好的粒子渲染效果，所述第一目标特效粒子可以为多个，且多个所述第一目标特效粒子的初始渲染位置基于所述目标对象的第一对象区域的轮廓确定(如所述第一目标特效粒子在所述第一对象区域的边缘位置渲染，且可以不覆盖该第一对象区域)，步骤S131可以包括以下子步骤：
首先，针对每一个所述第一目标特效粒子，获取该第一目标特效粒子的初始渲染位置与最近的至少一个所述第一目标特征点在该目标直播视频帧中的位置之间的距离信息；其次，针对每一个所述第一目标特效粒子，基于该第一目标特效粒子的所述距离信息和最近的至少一个所述第一目标特征点的位置变化信息，得到该第一目标特效粒子的运动属性信息。
其中，为了对上述的子步骤进行进一步的解释说明，本实施例还提供一种具体的应用示例，具体示例内容如下：
首先，所述第一目标特征点可以为四个，分别为左手的一个特征点(如左手肘关节)、右手的一个特征点(如右手肘关节)、左脚的一个特征点(如左脚膝关节)和右脚的一个特征点(如右脚膝关节)；其次，针对每一个所述第一目标特效粒子，可以获取该第一目标特效粒子的初始渲染位置与最近的两个所述第一目标特征点在该目标直播视频帧中的位置之间的距离信息(如图11中的第一距离信息L1和第二距离信息L2)；然后，针对每一个所述第一目标特效粒子，基于该第一目标特效粒子的所述距离信息和最近的至少一个所述第一目标特征点的位置变化信息，得到该第一目标特效粒子的运动属性信息(该运动属性信息可以包括初始速度矢量和加速度矢量等，其中，位置变化信息越大对应的初始速度矢量可以越大、加速度矢量也可以越大。并且，距离信息越大，表示对应的第一目标特征点的位置变化信息对第一目标特效粒子的运动属性信息的影响越小)。
可选地，执行步骤S132以基于所述运动属性信息控制第一目标特效粒子运动的具体方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，可以基于时间的变化，基于所述运动属性信息不断计算每一个时刻所述第一目标特效粒子的位移信息，然后，基于该位移信息确定出位置信息(可以包括坐标转换和光栅化等操作，如屏幕坐标和世界坐标的转换等，在此不做具体的限定)，再基于该位置信息对该第一目标特效粒子进行直播渲染处理(其中，第一目标特效粒子和直播视频帧的渲染，可以通过不同的图层完成，如第一目标特效粒子的图层可以位于直播视频帧的图层之上)。
其中，在一些示例中，还可以为每一个所述第一目标特效粒子设置不同的生命周期(如基于通过生成一系列的随机数，从而为不同的第一目标特效粒子赋予不同的生命周期)，如此，在生命周期到达之后，可以不再渲染对应的第一目标特效粒子。
并且，在上述示例的基础上，还可以对所述第一目标特效粒子的进行配置，即渲染的所述第一目标特效粒子的数量小于预设数量。如此，在一些第一目标特效粒子的生命周期达到之后，将导致当前渲染的第一目标特效粒子的数量小于预设数量，此时，可以作为一种触发条件，以获取所述目标直播视频帧(即执行步骤S110的触发条件)，即在此示例中，可以不用获取每一帧直播视频帧，以作为目标直播视频帧。
也就是说，获取一帧目标直播视频帧之后，可以进行一段时间的第一目标特效粒子的渲染处理，直到一些第一目标特效粒子生命周期到达之后，可以再次获取一帧目标直播视频帧。
可以理解的是，在一些示例中，在基于所述位移信息确定出位置信息之后，还可以与当前需要渲染的直播视频帧进行比较，以确定对应的第一目标特效粒子是否会覆盖所述目标对象，并在会覆盖该目标对象时，可以放弃对该第一目标特效粒子的渲染，或者进行透明化的渲染等。
并且，为了提高渲染的效率，在所述电子设备10包括中央处理器和图形处理器时，该中央处理器可以执行确定所述运动属性信息的步骤，该图形处理器可以执行基于所述运动属性信息不断计算每一个时刻的位移信息的步骤，如此，通过充分利用图形处理器的计算能力(高性能的并行浮点运算能力)，使得效率更高。
基于此，在上述的第二种示例(基于所述至少一个第二目标特征点的位置信息得到所述至少一个目标特征点的位置信息)的基础上，结合图12，步骤S130可以包括步骤S133和步骤S134，具体内容如下所述。
步骤S133，针对每一个所述第二目标特征点，基于该第二目标特征点的位置信息将至少一个第二目标特效粒子进行直播渲染处理。
在本实施例中，所述特效粒子集合可以包括至少一个第二目标特效粒子，且每一个所述第二目标特征点可以对应有至少一个第二目标特效粒子，如此，在基于步骤S120得到每一个所述第二目标特征点的位置信息之后，可以针对每一个所述第二目标特征点，基于该第二目标特征点的位置信息将至少一个第二目标特效粒子进行直播渲染处理。
步骤S134，在预设时长之后停止对所述第二目标特效粒子进行直播渲染处理。
在本实施例中，在基于步骤S133对所述第二目标特效粒子进行直播渲染处理(如在直播视频帧的图层之上的另一图层，渲染该第二目标特效粒子)之后，可以进行计时处理，以在达到预设时长之后，停止对所述第二目标特效粒子进行直播渲染处理。如此，可以避免第二目标特效粒子的长时间渲染，导致直播视频帧中目标对象的头部区域(特别是脸部区域)被长时间遮挡的问题。
可选地，在执行步骤S133以对所述第二目标特效粒子进行直播渲染处理时，具体的渲染方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，每一个所述第二目标特征点可以对应一个第二目标特效粒子，如此，可以在每一个所述第二目标特征点的位置渲染对应的第二目标特效粒子，即每一个所述第二目标特征点的位置与对应的第二目标特效粒子的位置相同。
可选地，在执行步骤S134以停止对所述第二目标特效粒子进行直播渲染处理时，具体的停止方式不受限制，可以根据实际应用需求进行选择。
例如，在一种可以替代的示例中，针对每一个所述第二目标特效粒子，可以采用逐渐透明化的方式，实现停止对所述第二目标特效粒子进行直播渲染处理的目的。
又例如，在另一种可以替代的示例中，针对每一个所述第二目标特效粒子，可以按照预先确定的顺序依次停止对每一个所述第二目标特效粒子的直播渲染处理。
结合图13，本申请实施例还提供一种可应用于上述电子设备10的直播渲染装置100。其中，所述直播渲染装置100可以包括视频帧获得模块110、视频帧处理模块120和特效粒子渲染模块130。
所述视频帧获得模块110，可以用于获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象。在本实施例中，所述视频帧获得模块110可用于执行图2所示的步骤S110，关于所述视频帧获得模块110的相关内容可以参照前文对步骤S110的描述。
所述视频帧处理模块120，可以用于对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息，其中，该位置信息用于表征所述目标对象的位置。在本实施例中，所述视频帧处理模块120可用于执行图2所示的步骤S120，关于所述视频帧处理模块120的相关内容可以参照前文对步骤S120的描述。
所述特效粒子渲染模块130，可以用于基于所述位置信息对特效粒子集合进行直播渲染处理，其中，该特效粒子集合包括至少一个目标特效粒子。在本实施例中，所述特效粒子渲染模块130可用于执行图2所示的步骤S130，关于所述特效粒子渲染模块130的相关内容可以参照前文对步骤S130的描述。
在本申请实施例中，对应于上述的直播渲染方法，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序运行时执行上述直播渲染方法的各个步骤。
其中，前述计算机程序运行时执行的各步骤，在此不再一一赘述，可参考前文对所述直播渲染方法的解释说明。
综上所述，本申请提供的直播渲染方法和装置、电子设备及存储介质，通过获取目标直播视频帧中目标对象的位置信息，并基于该位置信息对特效粒子进行渲染处理，可以在直播的过程中实现特效粒子的渲染。如此，通过在直播过程中渲染特效粒子，使得可以在直播画面中形成特效，从而可以提高直播画面中内容的丰富程度。并且，由于特效粒子的渲染是基于直播视频帧中目标对象的位置信息而完成，因而，使得渲染的特效粒子可以跟随目标对象的位置变化而变化，从而使得渲染效果更佳，进而改善现有技术中特效粒子的渲染效果较差的问题，使得具有较高的使用价值，如能够有效提升直播观众对直播的粘性。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种直播渲染方法，其特征在于，包括：
获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象；
对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息，其中，该位置信息用于表征所述目标对象的位置；
基于所述位置信息对特效粒子集合进行直播渲染处理，其中，该特效粒子集合包括至少一个目标特效粒子。
2.根据权利要求1所述的直播渲染方法，其特征在于，所述对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息的步骤，包括：
对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息；
将所述少一个目标特征点的位置信息作为所述目标对象的位置信息。
3.根据权利要求2所述的直播渲染方法，其特征在于，所述对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
获得历史直播视频帧，其中，该历史直播视频帧为时序在该目标直播视频帧的时序之前的直播视频帧；
基于所述目标直播视频帧和所述历史直播视频帧，确定所述目标对象的第一对象区域包括的至少一个第一目标特征点的位置变化信息，其中，该第一对象区域不包括所述目标对象的头部区域，该位置变化信息作为所述目标对象包括的至少一个目标特征点的位置信息。
4.根据权利要求3所述的直播渲染方法，其特征在于，所述基于所述目标直播视频帧和所述历史直播视频帧，确定所述目标对象的第一对象区域包括的至少一个第一目标特征点的位置变化信息的步骤，包括：
将所述目标直播视频帧与所述历史直播视频帧进行像素值比较处理；
基于比较处理的结果确定所述目标对象的第一对象区域包括的至少一个第一目标特征点，在所述目标直播视频帧与所述历史直播视频帧之间的位置变化信息，其中，该第一目标特征点为所述目标对象的四肢特征点。
5.根据权利要求3所述的直播渲染方法，其特征在于，所述特效粒子集合包括至少一个第一目标特效粒子，所述基于所述位置信息对特效粒子集合进行直播渲染处理的步骤，包括：
基于所述至少一个第一目标特征点的位置变化信息，确定每一个所述第一目标特效粒子的运动属性信息；
基于所述运动属性信息控制对应的每一个第一目标特效粒子运动。
6.根据权利要求5所述的直播渲染方法，其特征在于，所述第一目标特效粒子为多个，多个所述第一目标特效粒子的初始渲染位置基于所述目标对象的第一对象区域的轮廓确定；
所述基于所述至少一个第一目标特征点的位置变化信息，确定每一个所述第一目标特效粒子的运动属性信息的步骤，包括：
针对每一个所述第一目标特效粒子，获取该第一目标特效粒子的初始渲染位置与最近的至少一个所述第一目标特征点在该目标直播视频帧中的位置之间的距离信息；
针对每一个所述第一目标特效粒子，基于该第一目标特效粒子的所述距离信息和最近的至少一个所述第一目标特征点的位置变化信息，得到该第一目标特效粒子的运动属性信息。
7.根据权利要求2-6任意一项所述的直播渲染方法，其特征在于，所述对所述目标直播视频帧进行特征点识别处理，得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
对所述目标直播视频帧进行特征点识别处理，确定所述目标对象的第二对象区域包括的至少一个第二目标特征点，其中，该第二对象区域为所述目标对象的头部区域；
获取所述至少一个第二目标特征点的位置信息，并基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息。
8.根据权利要求7所述的直播渲染方法，其特征在于，所述获取所述至少一个第二目标特征点的位置信息，并基于该位置信息得到所述目标对象包括的至少一个目标特征点的位置信息的步骤，包括：
以所述第二目标特征点为顶点，构成至少一个多边形，其中，该第二目标特征点为多个；
针对每一个所述多边形，在该多边形的至少一个边上确定至少一个新的特征点，得到至少一个新的第二目标特征点；
获取所述第二目标特征点和所述新的第二目标特征点的位置信息，得到所述目标对象包括的至少一个目标特征点的位置信息。
9.根据权利要求7所述的直播渲染方法，其特征在于，所述基于所述位置信息对特效粒子集合进行直播渲染处理的步骤，包括：
针对每一个所述第二目标特征点，基于该第二目标特征点的位置信息将至少一个第二目标特效粒子进行直播渲染处理；
在预设时长之后停止对所述第二目标特效粒子进行直播渲染处理。
10.一种直播渲染装置，其特征在于，包括：
视频帧获得模块，用于获得目标直播视频帧，其中，该目标直播视频帧中包括目标对象；
视频帧处理模块，用于对所述目标直播视频帧进行识别处理，得到所述目标对象的位置信息，其中，该位置信息用于表征所述目标对象的位置；
特效粒子渲染模块，用于基于所述位置信息对特效粒子集合进行直播渲染处理，其中，该特效粒子集合包括至少一个目标特效粒子。
11.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
与所述存储器连接的处理器，用于执行该存储器存储的计算机程序，以实现权利要求1-9任意一项所述的直播渲染方法。
12.一种计算机可读存储介质，存储有计算机程序，其特征在于，该计算机程序被执行时，实现权利要求1-9任意一项所述的直播渲染方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985760.8A CN112218107B (zh) | 2020-09-18 | 2020-09-18 | 直播渲染方法和装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985760.8A CN112218107B (zh) | 2020-09-18 | 2020-09-18 | 直播渲染方法和装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112218107A true CN112218107A (zh) | 2021-01-12 |
| CN112218107B CN112218107B (zh) | 2022-07-08 |
Family
ID=74049675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010985760.8A Active CN112218107B (zh) | 2020-09-18 | 2020-09-18 | 直播渲染方法和装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112218107B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422980A (zh) * | 2021-06-21 | 2021-09-21 | 广州博冠信息科技有限公司 | 视频数据处理方法及装置、电子设备、存储介质 |
| CN113490009A (zh) * | 2021-07-06 | 2021-10-08 | 广州虎牙科技有限公司 | 内容信息植入方法、装置、服务器和存储介质 |
| CN113556481A (zh) * | 2021-07-30 | 2021-10-26 | 北京达佳互联信息技术有限公司 | 视频特效的生成方法、装置、电子设备及存储介质 |
| CN114567805A (zh) * | 2022-02-24 | 2022-05-31 | 北京字跳网络技术有限公司 | 确定特效视频的方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778546A (zh) * | 2016-11-29 | 2017-05-31 | 聚鑫智能科技（武汉）股份有限公司 | 一种基于可见光和非可见光的视觉识别方法及系统 |
| CN107592575A (zh) * | 2017-09-08 | 2018-01-16 | 广州华多网络科技有限公司 | 一种直播方法、装置、系统及电子设备 |
| WO2018106461A1 (en) * | 2016-12-06 | 2018-06-14 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
| CN109949398A (zh) * | 2019-04-18 | 2019-06-28 | 成都四方伟业软件股份有限公司 | 粒子渲染方法、装置及电子设备 |
| CN109963163A (zh) * | 2017-12-26 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 网络视频直播方法、装置及电子设备 |
| US20190221001A1 (en) * | 2018-01-18 | 2019-07-18 | Oath Inc. | Computer vision on broadcast video |
| CN110062210A (zh) * | 2019-04-28 | 2019-07-26 | 广东安居宝数码科技股份有限公司 | 对象的监控方法、装置、设备及存储介质 |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播系统 |
| CN110490828A (zh) * | 2019-09-10 | 2019-11-22 | 广州华多网络科技有限公司 | 视频直播中的图像处理方法和系统 |
| CN110992445A (zh) * | 2019-11-01 | 2020-04-10 | 深圳传音控股股份有限公司 | 一种图像处理方法、终端及计算机存储介质 |
| CN111464828A (zh) * | 2020-05-14 | 2020-07-28 | 广州酷狗计算机科技有限公司 | 虚拟特效显示方法、装置、终端及存储介质 |
| CN111540035A (zh) * | 2020-05-07 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 粒子渲染方法、装置及设备 |
| CN111641844A (zh) * | 2019-03-29 | 2020-09-08 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
-
2020
- 2020-09-18 CN CN202010985760.8A patent/CN112218107B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106778546A (zh) * | 2016-11-29 | 2017-05-31 | 聚鑫智能科技（武汉）股份有限公司 | 一种基于可见光和非可见光的视觉识别方法及系统 |
| WO2018106461A1 (en) * | 2016-12-06 | 2018-06-14 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
| CN107592575A (zh) * | 2017-09-08 | 2018-01-16 | 广州华多网络科技有限公司 | 一种直播方法、装置、系统及电子设备 |
| CN109963163A (zh) * | 2017-12-26 | 2019-07-02 | 阿里巴巴集团控股有限公司 | 网络视频直播方法、装置及电子设备 |
| US20190221001A1 (en) * | 2018-01-18 | 2019-07-18 | Oath Inc. | Computer vision on broadcast video |
| CN111641844A (zh) * | 2019-03-29 | 2020-09-08 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播系统及电子设备 |
| CN109949398A (zh) * | 2019-04-18 | 2019-06-28 | 成都四方伟业软件股份有限公司 | 粒子渲染方法、装置及电子设备 |
| CN110062210A (zh) * | 2019-04-28 | 2019-07-26 | 广东安居宝数码科技股份有限公司 | 对象的监控方法、装置、设备及存储介质 |
| CN110490828A (zh) * | 2019-09-10 | 2019-11-22 | 广州华多网络科技有限公司 | 视频直播中的图像处理方法和系统 |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播系统 |
| CN110992445A (zh) * | 2019-11-01 | 2020-04-10 | 深圳传音控股股份有限公司 | 一种图像处理方法、终端及计算机存储介质 |
| CN111540035A (zh) * | 2020-05-07 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 粒子渲染方法、装置及设备 |
| CN111464828A (zh) * | 2020-05-14 | 2020-07-28 | 广州酷狗计算机科技有限公司 | 虚拟特效显示方法、装置、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 张泽旭等: "一种运动目标多特征点的鲁棒跟踪方法研究", 《数据采集与处理》 * |
| 蔡贺等: "增强现实技术(AR)在电视节目中的应用与实践(下)", 《影视制作》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113422980A (zh) * | 2021-06-21 | 2021-09-21 | 广州博冠信息科技有限公司 | 视频数据处理方法及装置、电子设备、存储介质 |
| CN113490009A (zh) * | 2021-07-06 | 2021-10-08 | 广州虎牙科技有限公司 | 内容信息植入方法、装置、服务器和存储介质 |
| CN113556481A (zh) * | 2021-07-30 | 2021-10-26 | 北京达佳互联信息技术有限公司 | 视频特效的生成方法、装置、电子设备及存储介质 |
| CN114567805A (zh) * | 2022-02-24 | 2022-05-31 | 北京字跳网络技术有限公司 | 确定特效视频的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112218107B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112218107B (zh) | 直播渲染方法和装置、电子设备及存储介质 | |
| Kartynnik et al. | Real-time facial surface geometry from monocular video on mobile GPUs | |
| CN104380338B (zh) | 信息处理器以及信息处理方法 | |
| CN113706699B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
| JP2023548921A (ja) | 画像の視線補正方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム | |
| WO2018138582A1 (en) | Computer systems and computer-implemented methods specialized in processing electronic image data | |
| CN106530328B (zh) | 一种基于视频图像对运动目标检测和平滑跟随的方法 | |
| CN104969240B (zh) | 用于图像处理的方法和系统 | |
| CN113223130B (zh) | 一种路径漫游方法、终端设备以及计算机存储介质 | |
| CN107820019B (zh) | 虚化图像获取方法、装置及设备 | |
| CN108921070B (zh) | 图像处理方法、模型训练方法及对应装置 | |
| CN107656611A (zh) | 体感游戏实现方法及装置、终端设备 | |
| CN112541867A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| US20230024396A1 (en) | A method for capturing and displaying a video stream | |
| CN110262763B (zh) | 基于增强现实的显示方法和装置以及存储介质和电子设备 | |
| Qu et al. | Motion background modeling based on context-encoder | |
| JP7290546B2 (ja) | ３ｄモデル生成装置および方法 | |
| CN111105489A (zh) | 数据合成方法和装置、存储介质和电子装置 | |
| US10861174B2 (en) | Selective 3D registration | |
| CN115294493A (zh) | 视角路径获取方法、装置、电子设备及介质 | |
| CN111652023B (zh) | 嘴型的调整、直播方法、装置、电子设备和存储介质 | |
| CN108121963B (zh) | 视频数据的处理方法、装置及计算设备 | |
| CN106572314B (zh) | 背景图像的重建装置、方法以及监控设备 | |
| CN116112716B (zh) | 基于单指令流多数据流的虚拟人直播方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |