CN109302617B - 一种指定多元素的视频连麦方法、装置、设备及存储介质 - Google Patents
一种指定多元素的视频连麦方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109302617B CN109302617B CN201811219925.XA CN201811219925A CN109302617B CN 109302617 B CN109302617 B CN 109302617B CN 201811219925 A CN201811219925 A CN 201811219925A CN 109302617 B CN109302617 B CN 109302617B
- Authority
- CN
- China
- Prior art keywords
- video
- microphone
- rendering target
- callback function
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009877 rendering Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000001960 triggered effect Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 76
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 241000209140 Triticum Species 0.000 claims description 7
- 235000021307 Triticum Nutrition 0.000 claims description 7
- 240000000233 Melia azedarach Species 0.000 claims description 6
- 241000718541 Tetragastris balsamifera Species 0.000 claims 1
- 230000006855 networking Effects 0.000 claims 1
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提出一种指定多元素的视频连麦方法、装置、设备及存储介质，所述方法包括如下步骤：选定直播场景中的任意元素；创建连麦视频渲染目标；在当前直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数，在所有元素纹理都处理完成的位置增设第二回调函数；当第一回调函数触发时，判断所述单个元素是否需要共享到连麦视频中；若需要，则在连麦视频渲染目标绘制所述选定元素的纹理；当所有的选定元素都完成绘制，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象。本发明的方法可以自由指定本地元素共享给连麦对象，元素的图像处理等操作无需重复进行，可实现高效的多元素视频连麦。本发明属于网络直播技术领域。
Description
技术领域
本发明提出一种指定多元素的视频连麦方法、装置、设备及存储介质，属于网络直播技术领域。
背景技术
随着网络直播行业兴起，视频直播的内容更加丰富和多元化，视频连麦功能也受到很多用户欢迎，主播在直播的过程中可以与其他主播视频连麦，共享直播推流图像。
在直播行业中，视频主播可以选择将摄像头、文字等多种直播元素混合在一起推送给收看的观众，但在与其他主播视频连麦时双方只会共享对方的摄像头，共享内容较单一。因此在现有直播技术中，视频连麦时将直播推流图像共享给对方主播存在元素不可选不灵活的问题，而且在使用Direct3D(以下简称D3D)渲染连麦视频的过程中，需要将直播的图像渲染流程完全重复一遍得到指定元素的图像，性能消耗过多。
发明内容
本发明提出一种指定多元素视频连麦的方法、装置、设备及存储介质，以解决视频连麦过程中元素不可选不灵活的问题。
本发明实施例的第一方面，提供了一种指定多元素的视频连麦方法，所述包括：
S1、选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
S2、根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
S3、在当前直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
S4、当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入步骤S5；
S5、新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；
S6、调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；
S7、调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
S8、针对每个直播元素在所述第一回调函数中执行步骤S4至S7；
S9、当所有的选定元素完成绘制、触发所述第二回调函数时，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
在上述视频连麦方法中，步骤S1所述任意元素包括摄像头、桌面截屏、文字、图片。
在上述视频连麦方法中，所述步骤S3中，所述直播视频流一个场景内所有元素纹理都处理完成的位置即为调用D3D设备的EndScene函数来结束一帧的绘制的位置。
在上述视频连麦方法中，所述步骤S4中，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中的具体方式为：识别所述单个元素的ID，若所述单个元素ID在所述ID链表中，则所述单个元素需要共享到连麦视频中。
在上述视频连麦方法中，步骤S6中所述选定元素的纹理通过所述第一回调函数获取。
在上述视频连麦方法中，所述步骤S8的具体过程为：针对每个直播元素在所述第一回调函数中执行步骤S4，若所述直播元素为选定元素，则继续执行步骤S5、S6、S7。
在上述视频连麦方法中，所述步骤S9中，所述当所述第二回调函数触发时，所述第二回调函数通知连麦视频流所有元素纹理绘制完成的消息。
本发明实施例的第二方面，提供了一种指定多元素的视频连麦装置，所述装置包括：
选定模块：选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
创建模块：根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
设置模块：在直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
判断模块：当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入绘制模块；
绘制模块：用于新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
发送模块：用于当所有的元素完成绘制、触发所述第二回调函数时，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
本发明实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明的有益效果是：
本发明通过在D3D渲染过程中某些特定位置设置回调函数，可选定多种直播元素，复用直播视频流经过图像处理后的元素纹理以及D3D设备的各项设置，将连麦视频绘制到一个专属显存，最后共享给连麦对象，通过此方法，可以自由指定本地元素共享给连麦对象，元素的图像处理等操作无需重复进行，可实现高效的多元素视频连麦，丰富了交互体验。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频连麦方法的流程流程示意图；
图2为本发明实施例提供的视频连麦装置流程结构示意图；
图3为本发明实施例提供的计算机设备流程示意图；
具体实施方式
本发明实施例提供了一种指定多元素的视频连麦方法，实现高效的多元素连麦。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路、以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明提供的一种指定多元素的视频连麦方法的流程示意图，该方法包括：
S1、选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
参与连麦人员可选择当前直播视频中的任意元素以共享到连麦视频，首先记录下连麦人员所选元素的ID，存放至一个ID链表中备用。
可选的，步骤S1所述任意元素包括摄像头、桌面截屏、文字、图片；
S2、根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
利用当前直播视频的D3D设备对象为连麦视频创建一个专属的渲染目标，渲染目标是一个缓冲，显卡通过这个缓冲使用一个Effect类绘制场景的像素，渲染连麦视频。
S3、在当前直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数，在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
纹理是表示物体表面细节的一幅或几幅二维图形，单个元素纹理处理的过程即为该物体表面图像处理的过程。当前直播视频流本身就完成了各个元素纹理的绘制及美颜等图像处理，在渲染连麦视频的时候只需要调用直播视频流处理完的元素纹理即可，这种资源重复利用可有效提升性能。利用当前的直播视频流，在单个元素纹理绘制及图像处理完成的位置增加设置一个第一回调函数，在单个元素纹理图像处理完成后，所述第一回调函数返回该元素的图像信息，该图像信息可直接用于连麦视频绘制，无需在渲染连麦视频时重复处理该元素，可节省资源、提高效率。
可选的，所述步骤S3中，所述直播视频流一个场景内所有元素纹理都处理完成的位置即为调用D3D设备的EndScene函数来结束一帧的绘制的位置。通过所述第二回调函数，可通知连麦视频流所有元素纹理绘制完成的消息。
S4、当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入步骤S5；
可选的，所述步骤S4中，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中的具体方式为：识别所述单个元素的ID，若所述单个元素ID在所述ID链表中，则所述单个元素需要共享到连麦视频中。
S5、新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；
为了方便使用当前直播视频的D3D设备对象绘制连麦视频，需要新建一个对象指针将当前直播视频暂时缓存起来，待连麦视频渲染目标中的单个元素纹理绘制完成。
S6、调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；
可选的，步骤S6中所述选定元素的纹理通过所述第一回调函数获取。
具体的，所述连麦视频渲染目标为用于渲染连麦视频帧的渲染目标，每选定一个元素即在该帧的渲染目标中绘制选定元素的纹理，直到完成一个场景的绘制。
S7、调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
待当前D3D设备对象中连麦视频的一个元素纹理绘制完成，则将步骤S5中对象指针中缓存的直播视频渲染目标重新设置回到当前D3D设备对象中，继续渲染直播视频流。
S8、针对每个直播元素在所述第一回调函数中执行步骤S4至S7；
可选的，所述步骤S8的具体过程为：针对每个直播元素在所述第一回调函数中执行步骤S4，若所述直播元素为选定元素，则继续执行步骤S5、S6、S7。具体的，若所选元素的ID在步骤S1所述的ID链表中，则该元素属于选定到连麦视频中的元素，执行步骤S5、S6、S7来完成在连麦视频中绘制元素纹理，否则不做任何处理。重复上述过程可完成选定的所有元素纹理的绘制继而完成场景绘制，最终渲染出完整图像达到渲染连麦视频的目的。
S9、当所有的选定元素完成绘制、触发所述第二回调函数时，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
可选的，所述步骤S9中，所述当所述第二回调函数触发时，所述第二回调函数通知连麦视频流所有元素纹理绘制完成的消息。
请参阅图2，本发明提供的一种视频连麦装置结构示意图，所述装置包括：
选定模块210：选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
创建模块220：根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
设置模块230：在直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
判断模块240：当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入绘制模块；
绘制模块250：用于新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
发送模块260：用于当所有的元素完成绘制、触发所述第二回调函数时，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
请参见图3，本发明提供的一种计算机设备结构示意图，包括：存储器310、处理器320以及系统总线330，所述存储器310包括存储其上的可运行的程序3101，本领域技术人员可以理解，图3中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图3对终端设备的各个构成部件进行具体的介绍：
存储器310可用于存储软件程序以及模块，处理器320通过运行存储在存储器310的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在存储器310上包含数据同步方法的可运行程序3101，所述可运行程序3101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器310中，并由处理器320执行，以完成通知的传递并获取通知实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序3101在图3所述设备中的执行过程。例如，所述计算机程序3101可以被分割为选定模块、创建模块、设置模块、判断模块、绘制模块、发送模块等。
处理器320是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器310内的软件程序和/或模块，以及调用存储在存储器310内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器320可包括一个或多个处理单元；优选的，处理器320可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器320中。
系统总线330是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如PCI总线、ISA总线、VESA总线等。处理器320的指令通过总线传递至存储器310，存储器310反馈数据给处理器320，系统总线330负责处理器320与存储器310之间的数据、指令交互。当然系统总线330还可以接入其他设备，例如网络接口、显示设备等。
所述终端设备应至少包括CPU、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。
在本发明实施例中，该终端所包括的处理器320执行的可运行程序具体为：
S1、选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
S2、根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
S3、在当前直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
S4、当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入步骤S5；
S5、新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；
S6、调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；
S7、调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
S8、针对每个直播元素在所述第一回调函数中执行步骤S4至S7；
S9、当所有的选定元素完成绘制、触发所述第二回调函数时，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
进一步的，步骤S1所述任意元素包括摄像头、桌面截屏、文字、图片；
进一步的，所述步骤S3中，所述直播视频流一个场景内所有元素纹理都处理完成的位置即为调用D3D设备的EndScene函数来结束一帧的绘制的位置。
进一步的，所述步骤S4中，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中的具体方式为：识别所述单个元素的ID，若所述单个元素ID在所述ID链表中，则所述单个元素需要共享到连麦视频中。
进一步的，步骤S6中所述选定元素的纹理通过所述第一回调函数获取。
进一步的，所述步骤S8的具体过程为：针对每个直播元素在所述第一回调函数中执行步骤S4，若所述直播元素为选定元素，则继续执行步骤S5、S6、S7。
进一步的，所述步骤S9中，所述当所述第二回调函数触发时，所述第二回调函数通知连麦视频流所有元素纹理绘制完成的消息。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种指定多元素的视频连麦方法，其特征在于，所述方法包括：
S1、选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
S2、根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
S3、在当前直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
S4、当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入步骤S5；
S5、新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；
S6、调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；
S7、调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
S8、针对每个直播元素在所述第一回调函数中执行步骤S4至S7；
S9、当所有的选定元素完成绘制时，触发所述第二回调函数，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
2.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，步骤S1所述任意元素包括摄像头、桌面截屏、文字、图片。
3.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，所述步骤S3中，所述直播视频流一个场景内所有元素纹理都处理完成的位置即为调用D3D设备的EndScene函数来结束一帧的绘制的位置。
4.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，所述步骤S4中，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中的具体方式为：识别所述单个元素的ID，若所述单个元素ID在所述ID链表中，则所述单个元素需要共享到连麦视频中。
5.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，步骤S6中所述选定元素的纹理通过所述第一回调函数获取，并且获取的元素纹理为已经经过各种图像处理的纹理。
6.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，所述步骤S8的具体过程为：针对每个直播元素在所述第一回调函数中执行步骤S4，若所述直播元素为选定元素，则继续执行步骤S5、S6、S7。
7.根据权利要求1所述一种指定多元素的视频连麦方法，其特征在于，所述步骤S9中，所述当所述第二回调函数触发时，所述第二回调函数通知连麦视频流所有元素纹理绘制完成的消息。
8.一种指定多元素的视频连麦装置，其特征在于，所述装置包括：
选定模块：选定直播场景中的任意元素，记录所选元素ID，存放至一个ID链表；
创建模块：根据连麦视频指定的宽高，使用当前直播视频的D3D设备对象创建一个连麦视频渲染目标；
设置模块：在直播视频流的单个元素纹理绘制及图像处理完成的位置增设第一回调函数；在所述直播视频流一个场景内所有元素纹理都处理完成的位置增设第二回调函数；
判断模块：当所述第一回调函数触发时，根据所述ID链表判断所述单个元素是否需要共享到连麦视频中，若需要，则将所述单个元素作为选定元素并进入绘制模块；
绘制模块：用于新建一个局部渲染目标对象指针，用所述对象指针缓存所述直播视频的渲染目标地址；调用D3D设备的SetRenderTarget函数，将所述连麦视频渲染目标设置到当前D3D设备对象中，在所述连麦视频渲染目标中绘制所述选定元素的纹理；调用D3D设备的SetRenderTargets函数，将所述直播视频的渲染目标重新设置到当前D3D设备对象中；
发送模块：用于当所有的元素完成绘制时，触发所述第二回调函数，将所述连麦视频渲染目标中的最终纹理的图像数据发送至连麦对象，实现指定元素的视频连麦。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述指定多元素的视频连麦方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述指定多元素的视频连麦方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811219925.XA CN109302617B (zh) | 2018-10-19 | 2018-10-19 | 一种指定多元素的视频连麦方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811219925.XA CN109302617B (zh) | 2018-10-19 | 2018-10-19 | 一种指定多元素的视频连麦方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109302617A CN109302617A (zh) | 2019-02-01 |
| CN109302617B true CN109302617B (zh) | 2020-12-15 |
Family
ID=65158193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811219925.XA Active CN109302617B (zh) | 2018-10-19 | 2018-10-19 | 一种指定多元素的视频连麦方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109302617B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113840170B (zh) * | 2020-06-23 | 2023-06-16 | 武汉斗鱼网络科技有限公司 | 连麦直播的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635712A (zh) * | 2015-12-30 | 2016-06-01 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| CN105701854A (zh) * | 2016-01-06 | 2016-06-22 | 网易（杭州）网络有限公司 | 一种3d渲染方法、装置及引擎 |
| CN106331850A (zh) * | 2016-09-18 | 2017-01-11 | 上海幻电信息科技有限公司 | 浏览器直播客户端、浏览器直播系统及浏览器直播方法 |
| CN106713937A (zh) * | 2016-12-30 | 2017-05-24 | 广州虎牙信息科技有限公司 | 视频播放控制方法、装置及终端设备 |
| CN107680157A (zh) * | 2017-09-08 | 2018-02-09 | 广州华多网络科技有限公司 | 一种基于直播的互动方法及直播系统、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102196300A (zh) * | 2010-03-18 | 2011-09-21 | 国际商业机器公司 | 虚拟世界场景的图像的提供方法和设备及处理方法和设备 |
-
2018
- 2018-10-19 CN CN201811219925.XA patent/CN109302617B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105635712A (zh) * | 2015-12-30 | 2016-06-01 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| CN105701854A (zh) * | 2016-01-06 | 2016-06-22 | 网易（杭州）网络有限公司 | 一种3d渲染方法、装置及引擎 |
| CN106331850A (zh) * | 2016-09-18 | 2017-01-11 | 上海幻电信息科技有限公司 | 浏览器直播客户端、浏览器直播系统及浏览器直播方法 |
| CN106713937A (zh) * | 2016-12-30 | 2017-05-24 | 广州虎牙信息科技有限公司 | 视频播放控制方法、装置及终端设备 |
| CN107680157A (zh) * | 2017-09-08 | 2018-02-09 | 广州华多网络科技有限公司 | 一种基于直播的互动方法及直播系统、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109302617A (zh) | 2019-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021047429A1 (zh) | 一种图像渲染方法、装置、设备及存储介质 | |
| KR101980990B1 (ko) | 중간-분류 아키텍처에서 프레임 대 프레임 일관성의 활용 | |
| CN111698553B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN107333165A (zh) | 多画面位置调整的控制方法和装置 | |
| CN106162232A (zh) | 视频播放控制方法及装置 | |
| CN106791915B (zh) | 一种显示视频图像的方法和装置 | |
| CN112929678A (zh) | 直播方法、装置、服务端及计算机可读存储介质 | |
| US8983188B1 (en) | Edge-aware smoothing in images | |
| CN112884665A (zh) | 一种动画播放方法、装置、计算机设备及存储介质 | |
| CN109947973B (zh) | 展示区域的背景配置方法、装置、设备及可读介质 | |
| CN112929728A (zh) | 一种视频渲染方法、装置、系统、电子设备及存储介质 | |
| CN109302617B (zh) | 一种指定多元素的视频连麦方法、装置、设备及存储介质 | |
| CN109656463B (zh) | 个性表情的生成方法、装置及系统 | |
| CN106101806A (zh) | 一种分享直播视频时的视频处理方法及装置 | |
| WO2013183930A1 (en) | Continuous video capture during switch between video capture devices | |
| CN109309805B (zh) | 一种视频会议的多窗口显示方法、装置、设备和系统 | |
| CN115278355B (zh) | 视频剪辑方法、装置、设备、计算机可读存储介质及产品 | |
| CN114219729A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112118414B (zh) | 视频会话方法、电子设备以及计算机存储介质 | |
| CN110941413B (zh) | 显示画面的生成方法及相关装置 | |
| CN115731829B (zh) | 一种画质调节方法、存储介质及显示设备 | |
| CN105991959B (zh) | 一种图像处理方法及电子设备 | |
| CN106612464A (zh) | 一种建立直播连接的方法及装置 | |
| CN115278278B (zh) | 一种页面显示方法、装置、电子设备及存储介质 | |
| CN108156501A (zh) | 用于对视频数据进行动态合成的方法、系统以及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |