CN106331880A - 一种信息处理方法及系统 - Google Patents
一种信息处理方法及系统 Download PDFInfo
- Publication number
- CN106331880A CN106331880A CN201610816135.4A CN201610816135A CN106331880A CN 106331880 A CN106331880 A CN 106331880A CN 201610816135 A CN201610816135 A CN 201610816135A CN 106331880 A CN106331880 A CN 106331880A
- Authority
- CN
- China
- Prior art keywords
- live
- information
- session
- mutual
- mutual end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
本发明公开了一种信息处理方法及系统，其中，所述方法包括：直播交互的第一端向服务器发起创建会话的第一请求消息；服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识(ID)进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端；所述直播交互的第一端根据所述会话ID创建直播通道；当识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；通过所述直播通道发送所述直播合成信息。
Description
技术领域
本发明涉及通讯技术，尤其涉及一种信息处理方法及系统。
背景技术
随着互联网技术的发展，智能终端的大量普及，各种各样的信息都可以通过终端的联网功能实现各种信息交互。以直播场景为例，直播交互的第一端(如主播端)创建直播信息，发起在线直播，直播交互的第二端(如观众端)收看直播，从而在直播交互的第一端(如主播端)和直播交互的第二端(如观众端)之间对直播信息进行交互。为了达到更好的直播播放效果，需要在直播交互的第一端(如主播端)对信息进行预处理后再发送给直播交互的第二端(如观众端)，而直播是有实时性需求的，如何进行信息预处理，及对经预处理后得到的信息进行传输，才不会影响到直播的实时性，这是目前要解决的技术问题。然而，相关技术中，对于该问题，尚无有效解决方案。
发明内容
有鉴于此，本发明实施例提供了一种信息处理方法及系统，至少解决了现有技术存在的问题。
本发明实施例的技术方案是这样实现的：
本发明实施例的一种信息处理方法，所述方法包括：
直播交互的第一端向服务器发起创建会话的第一请求消息；
服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端；
所述直播交互的第一端解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道；
当所述直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；
所述直播交互的第一端获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；
所述直播交互的第一端通过所述直播通道发送所述直播合成信息。
上述方案中，所述当直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，包括：
所述直播交互的第一端对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息；
所述直播交互的第一端对所述第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息；
所述直播交互的第一端根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述方法还包括：
所述直播交互的第一端对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述方法还包括：
所述直播交互的第一端对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息，包括：
所述直播交互的第一端根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息；
所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。
上述方案中，所述方法还包括：
所述直播交互的第一端将所述会话ID通过服务器转发给直播交互的第二端；
所述直播交互的第二端根据所述会话ID接入所述直播通道，通过所述直播通道接收所述直播合成信息。
上述方案中，所述通过所述直播通道发送所述直播合成信息，还包括：
所述直播交互的第一端对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息；
所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略。
本发明实施例的一种信息处理系统，所述系统包括：直播交互的第一端和服务器；其中，
所述直播交互的第一端包括：
请求发起单元，用于向服务器发起创建会话的第一请求消息；
解析单元，用于解析出第一响应消息中的会话ID，根据所述会话ID创建直播通道；
参数生成单元，用于当识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；
信息合成单元，用于获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；
发送单元，用于通过所述直播通道发送所述直播合成信息；
所述服务器包括：
请求响应单元，用于对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。
上述方案中，所述参数生成单元，进一步用于：
对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息；
对所述第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息；
根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述直播交互的第一端还包括截图处理单元，用于：
对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述直播交互的第一端还包括修正处理单元，用于：
对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
上述方案中，所述信息合成单元，进一步用于：
根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息；
所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。
上述方案中，所述发送单元，进一步用于将所述会话ID通过服务器转发给直播交互的第二端；
所述系统还包括：直播交互的第一端：
所述直播交互的第一端包括：
接收单元，用于根据所述会话ID接入所述直播通道，通过所述直播通道接收所述直播合成信息。
上述方案中，所述发送单元，进一步用于：
对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息；
所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略。
本发明实施例的信息处理方法包括：直播交互的第一端向服务器发起创建会话的第一请求消息；服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识(ID)进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端；所述直播交互的第一端根据所述会话ID创建直播通道；当所述直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；所述直播交互的第一端获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；所述直播交互的第一端通过所述直播通道发送所述直播合成信息。
采用本发明实施例，服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识(ID)进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端；所述直播交互的第一端根据所述会话ID创建直播通道；当直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；直播交互的第一端获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；直播交互的第一端通过所述直播通道发送所述直播合成信息，由于直播合成信息是叠加了动态特效信息的结果，因此，能达到更好的播放效果，同时，考虑了时间因素，能满足直播的实时性需求。
附图说明
图1为本发明实施例中进行信息交互的各方硬件实体的示意图；
图2为本发明实施例一的终端与服务器交互的示意图；
图3为本发明实施例二的实现流程示意图；
图4为本发明实施例三的实现流程示意图；
图5-图6为应用本发明实施例的多个UI界面示意图；
图7为本发明实施例四的系统组成结构示意图；
图8为应用本发明实施例的一应用场景示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
在下面的详细说明中，陈述了众多的具体细节，以便彻底理解本发明。不过，对于本领域的普通技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细说明公开的公知方法、过程、组件、电路和网络，以避免不必要地使实施例的各个方面模糊不清。
另外，本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等，不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如，第一操作可以被称为第二操作，第二操作也可以被称为第一操作，而不脱离本发明的范围，第一操作和第二操作都是操作，只是二者并不是相同的操作而已。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本发明实施例中的步骤描述只是可选的顺序组合，并不代表本发明实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如，本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA，Personal Digital Assistant)、平板电脑(PAD)、便携式多媒体播放器(PMP，Portable Media Player)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
图1为本发明实施例中进行信息交互的各方硬件实体的示意图，图1中包括：直播交互的第一端1、服务器2和直播交互的第二端3；其中，直播交互的第一端(如主播端)可以采用手机、台式机、PC机、一体机等类型的终端设备，如终端设备11-14所示，终端设备11-14通过有线网络或者无线网络与服务器进行信息交互。直播交互的第二端(如观众端)也可以采用手机、台式机、PC机、一体机等类型的终端设备，本实施例中采用手机，如终端设备31-35所示。采用本发明实施例，直播交互的第一端(如主播端)向服务器发起创建会话的第一请求消息(如主播端发起的直播请求)，服务器对所述第一请求消息进行响应，为直播交互的第一端(如主播端)分配会话空间(如房间)，关于会话空间而言，一个具体实例为主播请求直播所需创建的房间或称主播空间，本发明实施例中，实际上是在服务器侧开辟一段存储空间，将该存储空间用于存储直播交互的第一端(如主播端)与服务器进行信息交互所传输的信息，比如会话ID，或者后续基于会话ID建立直播通道后在该存储空间存储直播信息(如经叠加动态特效后生成的直播合成信息)。在另一个具体实现中，该存储空间可以位于服务器侧，也可以位于直播交互的第一端侧。服务器侧将所述会话空间(如房间)以会话标识ID(如与房间对应的房间号)进行标识后，将所述会话ID(如房间号)通过第一响应消息返回给所述直播交互的第一端(如主播端)。直播交互的第一端(如主播端)解析出所述第一响应消息中的会话ID(如房间号)，根据所述会话ID(如房间号)创建直播通道，在本发明实施例中，该直播通道可以是直播交互的第一端与服务器间的专用通道，如直播通道10所示，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道进行信息交互。当直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，直播交互的第一端根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，直播交互的第一端获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息。直播交互的第一端通过直播通道发送直播合成信息。在本发明实施例中，直播交互的第一端可以是通过如直播通道10所示的专用通道发送该直播合成信息，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道发送该直播合成信息。在直播交互的第二端(如观众端)通过会话ID(如直播交互的第一端所在的房间号)接入直播通道，进入与房间号对应的房间，接收直播交互的第一端所发送的该直播合成信息。其中，直播交互的第二端(如观众端)可以通过如直播通道10所示的专用通道接收该直播合成信息，也可以通过借助已有的传输通道，如用于传输会话ID和反馈该直播合成信息的传输通道接收该直播合成信息，还可以通过如直播通道20所示的专用通道接收该直播合成信息，此时，相对于直播交互的第一端(如主播端)采用的直播通道10，该直播通道10可以称为直播上行通道，该直播交互的第二端(如观众端)采用的直播通道20可以称为直播下载通道，即：将上行信息和下行信息分别采用两个不同的专用通道进行信息传输。如果，直播交互的第二端(如观众端)直接采用接入直播通道10所示的专用通道接收该直播合成信息，则上行信息和下行信息采用同一个专用通道进行信息传输。
采用本发明实施例，在直播交互的第一端(如主播端)对视频信息进行动态特效叠加的预处理后再发送给直播交互的第二端(如观众端)，达到了更好的直播播放效果，在该预处理中，本发明实施例是根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，由于考虑了时间因素，因此，将与所述特征参数匹配的动态特效信息合成至所述人脸区域变化中所得到的直播合成信息是符合直播实时性需求的。采用已有传输通道或专用通道来传输直播合成信息的多种传输方式，可以在网络压力大的情况下选择网络带宽畅通的通道来进行传输，从而，即便直播合成信息添加了动态特效，使得信息量增加，仍然可以高速、快捷的传输该直播合成信息。进一步的，由于直播合成信息添加了动态特效，使得信息量增加，其传输会加大网络传输压力，而直播又有实时性的需求，还可以在传输该直播合成信息之前，在直播交互的第一端(如主播端)对该直播合成信息进行压缩编码，对应的，在直播交互的第二端(如观众端)对该直播合成信息进行解压缩的解码处理后再收看该未经压缩的直播合成信息，从而减少网络传输的压力，无时间延迟，不影响直播的实时性。
上述图1的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图1所述的系统结构，基于上述图1所述的系统架构，提出本发明方法各个实施例。
实施例一：
本发明实施例的一种信息处理方法，如图2所示，所述方法包括：
步骤101、直播交互的第一端向服务器发起创建会话的第一请求消息。
这里，在第一请求消息可以携带作为直播交互的第一端的某终端设备的标识，基于该终端设备的标识发起第一请求消息，如终端设备A发起直播请求，其终端设备标识为ID_A，向服务器请求创建会话，在一个实际应用中，是请求服务器为其创建房间，关于房间而言，主播请求直播所需创建的房间实际上是在服务器侧开辟一段存储空间，将该存储空间用于存储直播交互的第一端(如主播端)与服务器进行信息交互所传输的信息，比如会话ID，或者后续基于会话ID建立直播通道后在该存储空间存储直播信息(如经叠加动态特效后生成的直播合成信息)，服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤102、服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。
这里，服务器收到第一请求消息后，为其分配会话空间(或称主播空间，如具体为房间)，将所述会话空间以会话标识ID(如房间号)进行标识后，将所述会话ID(如房间号)通过第一响应消息返回给所述直播交互的第一端，一个实际应用中，服务器可以从第一请求消息中解析出终端设备A的标识：ID_A。服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤103、所述直播交互的第一端解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道。
这里，直播交互的第一端(如主播端)解析出所述第一响应消息中的会话ID(如房间号)，根据所述会话ID(如房间号)创建直播通道，在本发明实施例中，该直播通道可以是直播交互的第一端与服务器间的专用通道，如图1中直播通道10所示，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道进行信息交互。
步骤104、当识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数。
这里，在直播交互的第一端(如主播端)对视频信息进行动态特效叠加的预处理后再发送给直播交互的第二端(如观众端)，达到了更好的直播播放效果，在该预处理中，本发明实施例是根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，由于考虑了时间因素，因此，将与所述特征参数匹配的动态特效信息合成至所述人脸区域变化中所得到的直播合成信息是符合直播实时性需求的。
步骤105、获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息。
这里，针对动态特效信息而言，由于直播信息为视频信息，是动态的信息，因此，在进行叠加时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，特征参数即为用于识别该视频信息的特征识别参数，在直播过程中，依据主播端选中的动效特效信息或者自动匹配该特征识别参数得到的动效特效信息，进行图像叠加的合成处理。采用本发明实施例，针对图像上的各种特殊信息进行识别后，可以实时产生视频的装饰效果，使得观众端能实时看到主播端添加的各种动效特效，达到了更好的直播播放效果。
步骤106、通过所述直播通道发送所述直播合成信息。
这里，为了减少网络带宽的压力，直播通道有不只一种实现方式，即：本发明的直播通道有多种选择，可以是采用已有的传输通道，也可以是采用专用通道。其中，采用专用通道时，直播端和观众端可以基于会话ID接入同一个专用通道，此时，上行信息和下行信息采用同一个专用通道进行信息传输，即：单通道传输，还可以在直播端与服务器间建立一个专用通道，在服务器与观众端间建立另一个专用通道，此时，上行信息和下行信息分别采用两个不同的专用通道进行信息传输，即：双通道传输，分为直播上传通道和直播下载通道，观众端是通过会话ID建立另一个直播下载通道来拉取直播合成信息。
采用本发明实施例，在直播图像的动态特效叠加中考虑了时间因素，因此，除了基于该时间因素能够精准的识别及匹配之外，还能让观众端第一时间实时看到叠加了该动态特效的直播合成信息，符合直播的实时性需求。在传输该叠加了该动态特效的直播合成信息，给予多种传输方式的选择，在网络压力大的情况下可以选择网络带宽畅通的通道来进行传输，从而，即便直播合成信息添加了动态特效，使得信息量增加，仍然可以高速、快捷的传输该直播合成信息。
采用本发明实施例，在一个实际应用中，直播交互的第一端(如主播端)基于会话ID(如房间号)来创建房间，如在服务器侧或主播端开辟的一个存储空间，用于存储会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。基于该会话ID(如房间号)与服务器建立连接，形成直播通道。其中，针对会话ID而言，一个具体实现可以为“房间ID”，该“房间ID”两个作用：1)房间ID用于标识终端请求在服务器的存储区域开辟的一个存储空间或称主播空间，在实际应用中称为“服务器为终端创建的直播房间”；当然，这个直播空间不限于是在服务器存储的，也可以是在直播交互的第一端(如主播端)开辟的存储空间或称主播空间；2)以单通道为例，通过会话ID(具体实现为房间ID)，借助后台服务器的转发，在直播交互的第一端(如主播端)，后台服务器，及直播交互的第二端(如观众端)三方之间建立的一个基于该会话ID的数据传输通道，如基于房间ID创建一条直播数据上传通道，以便后续基于该直播数据上传通道或简称直播通道，直播交互的第一端(如主播端)根据该直播通道向直播交互的第二端(如观众端)上传所述直播合成结果。该直播合成结果为基于所述特征识别参数选取或自动匹配的动态特效进行叠加合成所得到的合成结果。直播交互的第二端(如观众端)后续还需要基于该会话ID(如房间ID)接入该直播通道来接收所述直播合成结果。
实施例二：
本发明实施例的一种信息处理方法，如图3所示，所述方法包括：
步骤201、直播交互的第一端向服务器发起创建会话的第一请求消息。
这里，在第一请求消息可以携带作为直播交互的第一端的某终端设备的标识，基于该终端设备的标识发起第一请求消息，如终端设备A发起直播请求，其终端设备标识为ID_A，向服务器请求创建会话，在一个实际应用中，是请求服务器为其创建房间，关于房间而言，主播请求直播所需创建的房间实际上是在服务器侧开辟一段存储空间，将该存储空间用于存储直播交互的第一端(如主播端)与服务器进行信息交互所传输的信息，比如会话ID，或者后续基于会话ID建立直播通道后在该存储空间存储直播信息(如经叠加动态特效后生成的直播合成信息)，服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤202、服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。
这里，服务器收到第一请求消息后，为其分配会话空间(或称主播空间，如具体为房间)，将所述会话空间以会话标识ID(如房间号)进行标识后，将所述会话ID(如房间号)通过第一响应消息返回给所述直播交互的第一端，一个实际应用中，服务器可以从第一请求消息中解析出终端设备A的标识：ID_A。服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤203、所述直播交互的第一端解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道。
这里，直播交互的第一端(如主播端)解析出所述第一响应消息中的会话ID(如房间号)，根据所述会话ID(如房间号)创建直播通道，在本发明实施例中，该直播通道可以是直播交互的第一端与服务器间的专用通道，如图1中直播通道10所示，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道进行信息交互。
步骤204、对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息。
步骤205、对第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息。
步骤206、根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
这里，第一直播信息为视频信息时，通过步骤204-206，每当识别出直播过程中符合预设条件的人脸区域变化时，将视频信息分解为多帧图像，及其对应的多个时间戳信息，根据多帧图像和多个时间戳信息分别生成对应的多个特征参数，以多帧图像中的第一帧图像为例，其对应的时间戳信息为T1，根据第一帧图像和T1生成第一特征参数，根据第一特征参数选取或自动匹配动态的特效信息，与第一帧图像进行叠加，得到一帧合成图像，依次类推，在对应的时间点，对相应的图像进行叠加，得到多帧合成图像，多帧合成图像就构成了动态的视频合成信息，将其用于在观众端进行播放。
在本发明实施例一实际应用中，还可以对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
在本发明实施例一实际应用中，还可以对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
这里，在直播交互的第一端(如主播端)对视频信息进行动态特效叠加的预处理后再发送给直播交互的第二端(如观众端)，达到了更好的直播播放效果，在该预处理中，本发明实施例是根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，由于考虑了时间因素，因此，将与所述特征参数匹配的动态特效信息合成至所述人脸区域变化中所得到的直播合成信息是符合直播实时性需求的。
步骤207、获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息。
这里，针对动态特效信息而言，由于直播信息为视频信息，是动态的信息，因此，在进行叠加时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，特征参数即为用于识别该视频信息的特征识别参数，在直播过程中，依据主播端选中的动效特效信息或者自动匹配该特征识别参数得到的动效特效信息，进行图像叠加的合成处理。采用本发明实施例，针对图像上的各种特殊信息进行识别后，可以实时产生视频的装饰效果，使得观众端能实时看到主播端添加的各种动效特效，达到了更好的直播播放效果。
步骤208、通过所述直播通道发送所述直播合成信息。
这里，为了减少网络带宽的压力，直播通道有不只一种实现方式，即：本发明的直播通道有多种选择，可以是采用已有的传输通道，也可以是采用专用通道。其中，采用专用通道时，直播端和观众端可以基于会话ID接入同一个专用通道，此时，上行信息和下行信息采用同一个专用通道进行信息传输，即：单通道传输，还可以在直播端与服务器间建立一个专用通道，在服务器与观众端间建立另一个专用通道，此时，上行信息和下行信息分别采用两个不同的专用通道进行信息传输，即：双通道传输，分为直播上传通道和直播下载通道，观众端是通过会话ID建立另一个直播下载通道来拉取直播合成信息。
采用本发明实施例，在直播图像的动态特效叠加中考虑了时间因素，因此，除了基于该时间因素能够精准的识别及匹配之外，还能让观众端第一时间实时看到叠加了该动态特效的直播合成信息，符合直播的实时性需求。在传输该叠加了该动态特效的直播合成信息，给予多种传输方式的选择，在网络压力大的情况下可以选择网络带宽畅通的通道来进行传输，从而，即便直播合成信息添加了动态特效，使得信息量增加，仍然可以高速、快捷的传输该直播合成信息。
采用本发明实施例，在一个实际应用中，直播交互的第一端(如主播端)基于会话ID(如房间号)来创建房间，如在服务器侧或主播端开辟的一个存储空间，用于存储会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。基于该会话ID(如房间号)与服务器建立连接，形成直播通道。其中，针对会话ID而言，一个具体实现可以为“房间ID”，该“房间ID”两个作用：1)房间ID用于标识终端请求在服务器的存储区域开辟的一个存储空间或称主播空间，在实际应用中称为“服务器为终端创建的直播房间”；当然，这个直播空间不限于是在服务器存储的，也可以是在直播交互的第一端(如主播端)开辟的存储空间或称主播空间；2)以单通道为例，通过会话ID(具体实现为房间ID)，借助后台服务器的转发，在直播交互的第一端(如主播端)，后台服务器，及直播交互的第二端(如观众端)三方之间建立的一个基于该会话ID的数据传输通道，如基于房间ID创建一条直播数据上传通道，以便后续基于该直播数据上传通道或简称直播通道，直播交互的第一端(如主播端)根据该直播通道向直播交互的第二端(如观众端)上传所述直播合成结果。该直播合成结果为基于所述特征识别参数选取或自动匹配的动态特效进行叠加合成所得到的合成结果。直播交互的第二端(如观众端)后续还需要基于该会话ID(如房间ID)接入该直播通道来接收所述直播合成结果。
实施例三：
本发明实施例的一种信息处理方法，如图4所示，所述方法包括：
步骤301、直播交互的第一端向服务器发起创建会话的第一请求消息。
这里，在第一请求消息可以携带作为直播交互的第一端的某终端设备的标识，基于该终端设备的标识发起第一请求消息，如终端设备A发起直播请求，其终端设备标识为ID_A，向服务器请求创建会话，在一个实际应用中，是请求服务器为其创建房间，关于房间而言，主播请求直播所需创建的房间实际上是在服务器侧开辟一段存储空间，将该存储空间用于存储直播交互的第一端(如主播端)与服务器进行信息交互所传输的信息，比如会话ID，或者后续基于会话ID建立直播通道后在该存储空间存储直播信息(如经叠加动态特效后生成的直播合成信息)，服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤302、服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。
这里，服务器收到第一请求消息后，为其分配会话空间(或称主播空间，如具体为房间)，将所述会话空间以会话标识ID(如房间号)进行标识后，将所述会话ID(如房间号)通过第一响应消息返回给所述直播交互的第一端，一个实际应用中，服务器可以从第一请求消息中解析出终端设备A的标识：ID_A。服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。
步骤303、所述直播交互的第一端解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道。
这里，直播交互的第一端(如主播端)解析出所述第一响应消息中的会话ID(如房间号)，根据所述会话ID(如房间号)创建直播通道，在本发明实施例中，该直播通道可以是直播交互的第一端与服务器间的专用通道，如图1中直播通道10所示，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道进行信息交互。
步骤304、对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息。
步骤305、对第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息。
步骤306、根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
这里，第一直播信息为视频信息时，通过步骤304-306，每当识别出直播过程中符合预设条件的人脸区域变化时，将视频信息分解为多帧图像，及其对应的多个时间戳信息，根据多帧图像和多个时间戳信息分别生成对应的多个特征参数，以多帧图像中的第一帧图像为例，其对应的时间戳信息为T1，根据第一帧图像和T1生成第一特征参数，根据第一特征参数选取或自动匹配动态的特效信息，与第一帧图像进行叠加，得到一帧合成图像，依次类推，在对应的时间点，对相应的图像进行叠加，得到多帧合成图像，多帧合成图像就构成了动态的视频合成信息，将其用于在观众端进行播放。
在本发明实施例一实际应用中，还可以对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
在本发明实施例一实际应用中，还可以对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
这里，在直播交互的第一端(如主播端)对视频信息进行动态特效叠加的预处理后再发送给直播交互的第二端(如观众端)，达到了更好的直播播放效果，在该预处理中，本发明实施例是根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，由于考虑了时间因素，因此，将与所述特征参数匹配的动态特效信息合成至所述人脸区域变化中所得到的直播合成信息是符合直播实时性需求的。
步骤307、根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息。
这里，通过至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，从而可以获取相匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息。其中，所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。该动态特效信息可以为用户事先指定的信息，也可以是根据特征参数自动匹配的信息，即根据识别时生成的所述特征参数实时匹配得到的动态特效信息，无需用户自行指定。具体的，该动态特效信息可以在每一帧图像上采用，或者在某几帧图像上采用。直播过程中，先进行人脸识别，图像叠加，除了动态特效，还可以添加滤镜效果和VR技术。动态特效是依据人脸，动作，场景等信息，对直播画面进行处理，增强趣味性的装饰效果，如直播中解析视频信息的多帧，对应人脸，动作，场景等信息在对应的帧进行动态叠加，在视频上显示一个贴纸的动画效果，如图5-6所示，其中，图5为添加用户指定的动态特效的示意图，图6为在图5基础上增加滤镜效果的示意图，图6中用户的皮肤更加光滑。
这里，针对动态特效信息而言，由于直播信息为视频信息，是动态的信息，因此，在进行叠加时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，特征参数即为用于识别该视频信息的特征识别参数，在直播过程中，依据主播端选中的动效特效信息或者自动匹配该特征识别参数得到的动效特效信息，进行图像叠加的合成处理。采用本发明实施例，针对图像上的各种特殊信息进行识别后，可以实时产生视频的装饰效果，使得观众端能实时看到主播端添加的各种动效特效，达到了更好的直播播放效果。
步骤308、直播交互的第一端对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息。
这里，所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略，从而，直播交互的第一端将所述会话ID通过服务器转发给直播交互的第二端，具体可以为以push消息进行转发，或者以feed形式进行转发。直播交互的第二端根据所述会话ID接入所述直播通道后，通过所述直播通道先对所述编码处理信息进行解压缩的解码处理，再接收未压缩的所述直播合成信息，即：在所述直播交互的第一端将所述会话ID通过服务器转发给直播交互的第二端，所述直播交互的第二端根据所述会话ID接入所述直播通道，通过所述直播通道接收所述编码处理信息后，由于所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略，因此，所述直播交互的第二端可以采用与该压缩策略对应的解压缩策略，对接收到的所述编码处理信息进行解码，得到所述直播合成信息。
这里，为了减少网络带宽的压力，直播通道有不只一种实现方式，即：本发明的直播通道有多种选择，可以是采用已有的传输通道，也可以是采用专用通道。其中，采用专用通道时，直播端和观众端可以基于会话ID接入同一个专用通道，此时，上行信息和下行信息采用同一个专用通道进行信息传输，即：单通道传输，还可以在直播端与服务器间建立一个专用通道，在服务器与观众端间建立另一个专用通道，此时，上行信息和下行信息分别采用两个不同的专用通道进行信息传输，即：双通道传输，分为直播上传通道和直播下载通道，观众端是通过会话ID建立另一个直播下载通道来拉取直播合成信息。
采用本发明实施例，在直播图像的动态特效叠加中考虑了时间因素，因此，除了基于该时间因素能够精准的识别及匹配之外，还能让观众端第一时间实时看到叠加了该动态特效的直播合成信息，符合直播的实时性需求。在传输该叠加了该动态特效的直播合成信息，给予多种传输方式的选择，在网络压力大的情况下可以选择网络带宽畅通的通道来进行传输，从而，即便直播合成信息添加了动态特效，使得信息量增加，仍然可以高速、快捷的传输该直播合成信息。
采用本发明实施例，在一个实际应用中，直播交互的第一端(如主播端)基于会话ID(如房间号)来创建房间，如在服务器侧或主播端开辟的一个存储空间，用于存储会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。基于该会话ID(如房间号)与服务器建立连接，形成直播通道。其中，针对会话ID而言，一个具体实现可以为“房间ID”，该“房间ID”两个作用：1)房间ID用于标识终端请求在服务器的存储区域开辟的一个存储空间或称主播空间，在实际应用中称为“服务器为终端创建的直播房间”；当然，这个直播空间不限于是在服务器存储的，也可以是在直播交互的第一端(如主播端)开辟的存储空间或称主播空间；2)以单通道为例，通过会话ID(具体实现为房间ID)，借助后台服务器的转发，在直播交互的第一端(如主播端)，后台服务器，及直播交互的第二端(如观众端)三方之间建立的一个基于该会话ID的数据传输通道，如基于房间ID创建一条直播数据上传通道，以便后续基于该直播数据上传通道或简称直播通道，直播交互的第一端(如主播端)根据该直播通道向直播交互的第二端(如观众端)上传所述直播合成结果。该直播合成结果为基于所述特征识别参数选取或自动匹配的动态特效进行叠加合成所得到的合成结果。直播交互的第二端(如观众端)后续还需要基于该会话ID(如房间ID)接入该直播通道来接收所述直播合成结果。
采用本发明实施例，在一个实际应用中，以feeds形式进行转发为例，主播端发起直播时，先到后台服务器创建一个房间号，该房间号用于创建房间使用，根据该房间号建立直播通道，拿到房间号后，利用房间号再到后台发一条直播feeds，后台服务器会对这条直播feeds进行推流(当然，也可以通过发push和消息来实现)，feeds到好友客户端。建立直播通道后，直播端采集视频，进行动态处理，如靠识别信息来定位动效的位置，再触发动态素材获取和图像叠加。直播过程中，依据主播端选中的动效效果，针对图像上的各种特殊信息进行识别，并实时产生视频的装饰效果，生成带有动态特效的直播合成信息，进行压缩编码，将所述编码处理信息通过所述直播通道发送给观众端，观众端先通过push和feeds中的房间号，进入主播端所创建的房间，通过所述直播通道拉取所述编码处理信息，进行解压缩的解码处理，得到带有动态特效的直播合成信息，观看直播。其中，编码和解码是压缩数据使用，以便于节约网络传输带宽的压力，提高传输速度。由于带有动态特效的直播合成信息，对其进行传输会加大网络传输压力，而直播又有实时性的需求，因此，通过压缩编码和对端的解压缩解码，能减少网络传输的压力，无时间延迟，不影响直播的实时性需求。
实施例四：
本发明实施例的一种信息处理系统，如图7所示，所述系统包括：直播交互的第一端(如主播端)31、服务器41、直播交互的第二端(如观众端)51。其中，直播交互的第一端(如主播端)31包括请求发起单元311，用于向服务器发起创建会话的第一请求消息；解析单元312，用于解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道；参数生成单元313，用于当识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；信息合成单元314，用于获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；发送单元315，用于通过所述直播通道发送所述直播合成信息。服务器41包括：请求响应单元411，用于对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。ID发送单元412，用于发送所述会话ID给所述直播交互的第二端。直播交互的第二端(如观众端)51包括：接入单元511，用于根据接收到的所述会话ID接入直播通道或创建直播通道；接收单元512，用于在直播通道上接收所述直播合成信息。
在一个实际应用中，在第一请求消息可以携带作为直播交互的第一端的某终端设备的标识，基于该终端设备的标识发起第一请求消息，如终端设备A发起直播请求，其终端设备标识为ID_A，向服务器请求创建会话，在一个实际应用中，是请求服务器为其创建房间，关于房间而言，主播请求直播所需创建的房间实际上是在服务器侧开辟一段存储空间，将该存储空间用于存储直播交互的第一端(如主播端)与服务器进行信息交互所传输的信息，比如会话ID，或者后续基于会话ID建立直播通道后在该存储空间存储直播信息(如经叠加动态特效后生成的直播合成信息)，服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息)。当然，在另一个具体实现中，该存储空间除了可以位于服务器侧，也可以位于直播交互的第一端侧，如位于终端设备A中。服务器收到第一请求消息后，从第一请求消息中解析出终端设备A的标识：ID_A，为其分配会话空间(或称主播空间，如具体为房间)，该会话空间(或称主播空间，如具体为房间)实际上为一个存储空间，则服务器为该终端设备A开辟的存储空间以ID_A标识，在存储空间中可以存储有会话ID和直播信息(如经叠加动态特效后生成的直播合成信息。之后，将所述会话空间以会话标识ID(如房间号)进行标识后，将所述会话ID(如房间号)通过第一响应消息返回给所述直播交互的第一端，返回给终端设备A。直播交互的第一端(如主播端)解析出所述第一响应消息中的会话ID(如房间号)，根据所述会话ID(如房间号)创建直播通道，在本发明实施例中，该直播通道可以是直播交互的第一端与服务器间的专用通道，如图1中直播通道10所示，也可以是借助已有的传输通道，如用于传输第一请求消息和反馈会话ID的传输通道进行信息交互。在直播交互的第一端(如主播端)对视频信息进行动态特效叠加的预处理后再发送给直播交互的第二端(如观众端)，达到了更好的直播播放效果，在该预处理中，本发明实施例是根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，由于考虑了时间因素，因此，将与所述特征参数匹配的动态特效信息合成至所述人脸区域变化中所得到的直播合成信息是符合直播实时性需求的。针对动态特效信息而言，由于直播信息为视频信息，是动态的信息，因此，在进行叠加时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，特征参数即为用于识别该视频信息的特征识别参数，在直播过程中，依据主播端选中的动效特效信息或者自动匹配该特征识别参数得到的动效特效信息，进行图像叠加的合成处理。
采用本发明实施例，针对图像上的各种特殊信息进行识别后，可以实时产生视频的装饰效果，使得观众端能实时看到主播端添加的各种动效特效，达到了更好的直播播放效果。为了减少网络带宽的压力，直播通道有不只一种实现方式，即：本发明的直播通道有多种选择，可以是采用已有的传输通道，也可以是采用专用通道。其中，采用专用通道时，直播端和观众端可以基于会话ID接入同一个专用通道，此时，上行信息和下行信息采用同一个专用通道进行信息传输，即：单通道传输，还可以在直播端与服务器间建立一个专用通道，在服务器与观众端间建立另一个专用通道，此时，上行信息和下行信息分别采用两个不同的专用通道进行信息传输，即：双通道传输，分为直播上传通道和直播下载通道，观众端是通过会话ID建立另一个直播下载通道来拉取直播合成信息。另外，在直播图像的动态特效叠加中考虑了时间因素，因此，除了基于该时间因素能够精准的识别及匹配之外，还能让观众端第一时间实时看到叠加了该动态特效的直播合成信息，符合直播的实时性需求。在传输该叠加了该动态特效的直播合成信息，给予多种传输方式的选择，在网络压力大的情况下可以选择网络带宽畅通的通道来进行传输，从而，即便直播合成信息添加了动态特效，使得信息量增加，仍然可以高速、快捷的传输该直播合成信息。
在一个实际应用中，动态信息叠加的一个实施例，可以是：按照选取的动态特效信息来绘制该直播合成信息，通过人脸检测算法，在绘制该直播合成信息时根据人脸检测的结果将动态特效信息绘制在恰当的位置，需要将动态特效信息与特征坐标相结合，之后再与从视频信息中分解出的多帧图像信息进行叠加合成，如，将特征检测和素材解析器发生关系，再与视频合成器发生关系，因为表情，动作，五官变化这种，坐标都是会变化的，具体的，终端通过应用(如相机应用)拍摄原始视频，在拍摄过程中，终端通过特征检测器来检测原始视频中每一帧图像中的人脸区域或者取景框内用户动作的特征，分析出具体的特征参数及其对应的特征坐标(初始坐标和形变后的目的坐标)，终端收到基于服务器匹配特征参数后发送选定或自动匹配的动态特效信息，通过素材解析器对动态特效信息进行解析，以得到动态特效信息及其属性和叠加位置和叠加时间点等信息，将动态特效信息按照特征坐标指示的叠加位置和叠加时间点等信息，通过视频合成器将动态特效信息与正在拍摄的原始视频进行视频合成，生成含有动态特效信息的视频处理结果。
在本发明实施例一实施方式中，所述参数生成单元，进一步用于：对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息；对所述第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息；根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
在本发明实施例一实施方式中，所述系统还包括截图处理单元，用于：对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
在本发明实施例一实施方式中，所述系统还包括修正处理单元，用于：对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
在本发明实施例一实施方式中，所述信息合成单元，进一步用于：根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息；所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。
在本发明实施例一实施方式中，所述发送单元，进一步用于将所述会话ID通过服务器转发给直播交互的第二端。
在本发明实施例一实施方式中，所述发送单元，进一步用于：对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息；所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略。
其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital SingnalProcessor)或可编程逻辑阵列(FPGA，Field－Programmable Gate Array)实现；对于存储介质来说，包含操作指令，该操作指令可以为计算机可执行代码，通过所述操作指令来实现上述本发明实施例信息处理方法流程中的各个步骤。
这里需要指出的是：以上涉及终端和服务器项的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。对于本发明终端和服务器实施例中未披露的技术细节，请参照本发明方法流程描述的实施例所描述内容。
以一个现实应用场景为例对本发明实施例阐述如下：
对于直播场景而言，大多数是针对于静态图片的处理，以便给图片增加装饰的效果。在应用到视频上时，通常也只是单一的叠加而没有利用当前图像上有各种信息来实时动态的添加效果。所谓动效是指：在视频上，叠加一个贴纸的动画效果，包括：1)氛围动效，如整屏的落雪或气泡类效果；2)行为动效，如嘟嘴，皱眉这样行为类的增强效果；3)人脸动效，如兔耳，如花，等主要针对人脸区域的装饰效果。
对于直播场景，采用本发明实施例，直播过程中，依据人脸，动作，场景等信息，依据主播选中的动效效果对直播画面进行处理，并实时产生视频的装饰效果，观众能实时看到主播添加的动效效果。在对直播画面进行处理时，可以采用动态贴纸、人脸识别处理、图像叠加、滤镜和VR等技术。具体的，主播端发起直播时，先到后台服务器创建一个房间号，得到直播通道。拿到房间号后，利用房间号再到后台发一条直播feeds。后台服务器会对这条直播feeds进行推流，发push和feeds到好友客户端。然后直播端就开始把采集的数据在进行动效的处理后编码，通过直播通道发送到后台服务器进行存储与转发，观众端，可以通过客户端用push或feeds里带下来的房间号，再进入到主播断的房间中，观看直播。
一，直播端的发起流程包括如下内容：
1)主播准备开始直播，首先打摄像头。
这里，会等待用户修改直播属性，是仅自己可见还是好友可风，还是所有人可见，还是指定人可见。可以指定封面，或直接在3，2，1倒数后进行截图
2)创建房间。
这里，主播向后台服务器发送一条创建直播房间的请求，后台服务器收到请求，创建一个直播房间，并返回一个房间ID。
3)开始直播。
这里，创建房间号成功后，拿房间ID创建一条直播数据上传通道，直播通道建立成功就可以往通道上传直播数据了。
4)旁路推流。
这里，往后台服务器发一条直播feeds，后台服务器收到直播feeds后，feeds落存储，并依据房间属性，给相关好友，发送push消息。
5)直播采集数据处理。
这里，以人脸动效举例，在一帧图像上，先进行人脸识别，识别人脸成功，就得到一个人脸区。人脸动效，就依据这个人脸的区域A，人脸角度B，以当前这帧的时间戳C，产生一个识别特征信息X，人脸动效就依据特征信息X来进行效果叠加。如果这个动效有10帧共5秒，就按时间戳来持续的往每一帧上进行叠加。动效的叠加可以有多个，如场景动效可与人脸动效同时应用。
6)直播数据编码。
这里，为节省带宽和后台存储压力，会把每一帧数据编码成h264/ac3的mp4流媒体格式。
7)把视频流发送到直播通道上。
后台服务器把主播端上传上来的流媒体直播落到存储里。
二，观看端的收看流程包括如下内容：
1)收到push消息或看到直播feeds。
2)通过push或feeds里所带的房间ID，拉取房间信息。
3)若房间为直播状态，则用房间号去建立，流媒体下载通道，拉取直播数据。
4)若房间为结束状态，也是房间号去建立，流媒体下载通道，拉取视频数据，只是送礼相关UI不一样了。
5)拉取到的直播数据，解码后，一帧帧的绘制到界面上。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种信息处理方法，其特征在于，所述方法包括：
直播交互的第一端向服务器发起创建会话的第一请求消息；
服务器对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端；
所述直播交互的第一端解析出所述第一响应消息中的会话ID，根据所述会话ID创建直播通道；
当所述直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；
所述直播交互的第一端获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；
所述直播交互的第一端通过所述直播通道发送所述直播合成信息。
2.根据权利要求1所述的方法，其特征在于，所述当直播交互的第一端识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数，包括：
所述直播交互的第一端对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息；
所述直播交互的第一端对所述第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息；
所述直播交互的第一端根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述直播交互的第一端对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述直播交互的第一端对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
5.根据权利要求2所述的方法，其特征在于，所述将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息，包括：
所述直播交互的第一端根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息；
所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：
所述直播交互的第一端将所述会话ID通过服务器转发给直播交互的第二端；
所述直播交互的第二端根据所述会话ID接入所述直播通道，通过所述直播通道接收所述直播合成信息。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述通过所述直播通道发送所述直播合成信息，还包括：
所述直播交互的第一端对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息；
所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略。
8.一种信息处理系统，其特征在于，所述系统包括：直播交互的第一端和服务器；其中，
所述直播交互的第一端包括：
请求发起单元，用于向服务器发起创建会话的第一请求消息；
解析单元，用于解析出第一响应消息中的会话ID，根据所述会话ID创建直播通道；
参数生成单元，用于当识别出直播过程中符合预设条件的人脸区域变化时，根据用于表征所述人脸区域变化的至少一个图像信息和对应的至少一个时间信息生成特征参数；
信息合成单元，用于获取与所述特征参数匹配的动态特效信息，将所述动态特效信息合成至所述人脸区域变化中，得到直播合成信息；
发送单元，用于通过所述直播通道发送所述直播合成信息；
所述服务器包括：
请求响应单元，用于对所述第一请求消息进行响应，分配会话空间，将所述会话空间以会话标识ID进行标识后，将所述会话ID通过第一响应消息返回给所述直播交互的第一端。
9.根据权利要求8所述的系统，其特征在于，所述参数生成单元，进一步用于：
对所述直播过程中的直播信息进行采集，识别出所述直播信息为符合预设条件的人脸区域变化时，得到对应所述人脸区域变化的第一直播信息；
对所述第一直播信息进行分解，得到至少一个图像信息帧和所述图像信息帧对应的至少一个时间戳信息；
根据所述至少一个图像信息帧和所述至少一个时间戳信息生成所述特征参数。
10.根据权利要求9所述的系统，其特征在于，所述直播交互的第一端还包括截图处理单元，用于：
对所述至少一个图像信息帧按照预设策略进行指定区域的截图处理，将截图处理结果和所述至少一个时间戳信息生成所述特征参数。
11.根据权利要求9所述的系统，其特征在于，所述直播交互的第一端还包括修正处理单元，用于：
对所述至少一个图像信息帧按照预设策略进行方向和/或角度的修正处理，将修正处理结果和所述至少一个时间戳信息生成所述特征参数。
12.根据权利要求9所述的系统，其特征在于，所述信息合成单元，进一步用于：
根据所述至少一个时间戳信息依次定位出所述至少一个图像信息帧的位置，为所述至少一个图像信息帧叠加所述动态特效信息，将得到的叠加结果确定为所述直播合成信息；
所述动态特效信息为：符合人脸、动作和/或场景需求的特效信息。
13.根据权利要求8至12任一项所述的系统，其特征在于，所述发送单元，进一步用于将所述会话ID通过服务器转发给直播交互的第二端；
所述系统还包括：直播交互的第一端：
所述直播交互的第一端包括：
接收单元，用于根据所述会话ID接入所述直播通道，通过所述直播通道接收所述直播合成信息。
14.根据权利要求8至12任一项所述的系统，其特征在于，所述发送单元，进一步用于：
对所述直播合成信息按照压缩策略进行压缩编码后，得到编码处理信息，通过所述直播通道发送所述编码处理信息；
所述压缩策略为所述直播交互的第一端与直播交互的第二端事先协商好的策略。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610816135.4A CN106331880B (zh) | 2016-09-09 | 2016-09-09 | 一种信息处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610816135.4A CN106331880B (zh) | 2016-09-09 | 2016-09-09 | 一种信息处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106331880A true CN106331880A (zh) | 2017-01-11 |
| CN106331880B CN106331880B (zh) | 2020-12-04 |
Family
ID=57787692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610816135.4A Active CN106331880B (zh) | 2016-09-09 | 2016-09-09 | 一种信息处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106331880B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107820114A (zh) * | 2017-09-28 | 2018-03-20 | 武汉斗鱼网络科技有限公司 | 特效展示方法及装置 |
| CN108024071A (zh) * | 2017-11-24 | 2018-05-11 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108632636A (zh) * | 2018-04-13 | 2018-10-09 | 上海翼得营销策划有限公司 | 一种应用于医药领域的视频直播方法及系统 |
| CN108848405A (zh) * | 2018-06-29 | 2018-11-20 | 广州酷狗计算机科技有限公司 | 图像处理方法和装置 |
| CN109040766A (zh) * | 2018-08-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 直播视频处理方法、装置及存储介质 |
| WO2019024750A1 (zh) * | 2017-08-03 | 2019-02-07 | 腾讯科技（深圳）有限公司 | 视频通信的方法、装置、终端及计算机可读存储介质 |
| CN109462776A (zh) * | 2018-11-29 | 2019-03-12 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN110784730A (zh) * | 2019-10-31 | 2020-02-11 | 广州华多网络科技有限公司 | 直播视频数据的传输方法、装置、设备和存储介质 |
| WO2021114845A1 (zh) * | 2019-12-13 | 2021-06-17 | 腾讯科技（深圳）有限公司 | 互动业务处理方法、系统、设备及存储介质 |
| CN113840152A (zh) * | 2021-07-15 | 2021-12-24 | 阿里巴巴达摩院(杭州)科技有限公司 | 直播关键点处理方法和装置 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040007921A (ko) * | 2002-07-12 | 2004-01-28 | (주)아이엠에이테크놀로지 | 얼굴표정 자동인식을 통한 애니메이션 방법 |
| US20060221084A1 (en) * | 2005-03-31 | 2006-10-05 | Minerva Yeung | Method and apparatus for animation |
| US20080259218A1 (en) * | 2007-04-20 | 2008-10-23 | Sony Corporation | Apparatus and method of processing image as well as apparatus and method of generating reproduction information |
| CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
| CN101500126A (zh) * | 2008-01-28 | 2009-08-05 | 德信智能手机技术（北京）有限公司 | 一种视频通话过程中发送特效场景的方法 |
| CN101626396A (zh) * | 2008-07-08 | 2010-01-13 | 华为技术有限公司 | 多用户业务建立和控制通道转移方法、装置及系统 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| CN103853562A (zh) * | 2014-03-26 | 2014-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧渲染方法及装置 |
| CN104320680A (zh) * | 2014-09-30 | 2015-01-28 | 广州华多网络科技有限公司 | 一种视频直播管理方法、开启方法、相关设备及系统 |
| CN104363519A (zh) * | 2014-11-21 | 2015-02-18 | 广州华多网络科技有限公司 | 一种基于在线直播的信息显示方法、相关装置及系统 |
| CN104394432A (zh) * | 2014-11-26 | 2015-03-04 | 广州华多网络科技有限公司 | 一种视频直播间的创建方法及服务设备 |
| CN104618797A (zh) * | 2015-02-06 | 2015-05-13 | 腾讯科技（北京）有限公司 | 信息处理方法、装置及客户端 |
| CN104703043A (zh) * | 2015-03-26 | 2015-06-10 | 努比亚技术有限公司 | 一种添加视频特效的方法和装置 |
| JP2015125636A (ja) * | 2013-12-26 | 2015-07-06 | Kddi株式会社 | 感情表現装置、感情表現方法およびコンピュータプログラム |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
| CN104994421A (zh) * | 2015-06-30 | 2015-10-21 | 广州华多网络科技有限公司 | 一种直播频道中虚拟物品的互动方法、装置和系统 |
| CN105141971A (zh) * | 2015-09-16 | 2015-12-09 | 深圳市前海智媒网络科技有限公司 | 一种基于会话初始化协议实现直播的方法及系统 |
| CN105335050A (zh) * | 2015-10-30 | 2016-02-17 | 广州华多网络科技有限公司 | 一种特效显示方法及装置 |
| CN105406975A (zh) * | 2015-12-15 | 2016-03-16 | 武汉斗鱼网络科技有限公司 | 一种聊天室中赠送虚拟礼物及特效触发方法与系统 |
-
2016
- 2016-09-09 CN CN201610816135.4A patent/CN106331880B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040007921A (ko) * | 2002-07-12 | 2004-01-28 | (주)아이엠에이테크놀로지 | 얼굴표정 자동인식을 통한 애니메이션 방법 |
| US20060221084A1 (en) * | 2005-03-31 | 2006-10-05 | Minerva Yeung | Method and apparatus for animation |
| US20080259218A1 (en) * | 2007-04-20 | 2008-10-23 | Sony Corporation | Apparatus and method of processing image as well as apparatus and method of generating reproduction information |
| CN101500126A (zh) * | 2008-01-28 | 2009-08-05 | 德信智能手机技术（北京）有限公司 | 一种视频通话过程中发送特效场景的方法 |
| CN101626396A (zh) * | 2008-07-08 | 2010-01-13 | 华为技术有限公司 | 多用户业务建立和控制通道转移方法、装置及系统 |
| CN101452582A (zh) * | 2008-12-18 | 2009-06-10 | 北京中星微电子有限公司 | 一种实现三维视频特效的方法和装置 |
| CN103220490A (zh) * | 2013-03-15 | 2013-07-24 | 广东欧珀移动通信有限公司 | 一种在视频通信中实现特效的方法及视频用户端 |
| JP2015125636A (ja) * | 2013-12-26 | 2015-07-06 | Kddi株式会社 | 感情表現装置、感情表現方法およびコンピュータプログラム |
| CN103853562A (zh) * | 2014-03-26 | 2014-06-11 | 北京奇艺世纪科技有限公司 | 一种视频帧渲染方法及装置 |
| CN104320680A (zh) * | 2014-09-30 | 2015-01-28 | 广州华多网络科技有限公司 | 一种视频直播管理方法、开启方法、相关设备及系统 |
| CN104363519A (zh) * | 2014-11-21 | 2015-02-18 | 广州华多网络科技有限公司 | 一种基于在线直播的信息显示方法、相关装置及系统 |
| CN104394432A (zh) * | 2014-11-26 | 2015-03-04 | 广州华多网络科技有限公司 | 一种视频直播间的创建方法及服务设备 |
| CN104618797A (zh) * | 2015-02-06 | 2015-05-13 | 腾讯科技（北京）有限公司 | 信息处理方法、装置及客户端 |
| CN104703043A (zh) * | 2015-03-26 | 2015-06-10 | 努比亚技术有限公司 | 一种添加视频特效的方法和装置 |
| CN104780339A (zh) * | 2015-04-16 | 2015-07-15 | 美国掌赢信息科技有限公司 | 一种即时视频中的表情特效动画加载方法和电子设备 |
| CN104902212A (zh) * | 2015-04-30 | 2015-09-09 | 努比亚技术有限公司 | 一种视频通信方法及装置 |
| CN104994421A (zh) * | 2015-06-30 | 2015-10-21 | 广州华多网络科技有限公司 | 一种直播频道中虚拟物品的互动方法、装置和系统 |
| CN105141971A (zh) * | 2015-09-16 | 2015-12-09 | 深圳市前海智媒网络科技有限公司 | 一种基于会话初始化协议实现直播的方法及系统 |
| CN105335050A (zh) * | 2015-10-30 | 2016-02-17 | 广州华多网络科技有限公司 | 一种特效显示方法及装置 |
| CN105406975A (zh) * | 2015-12-15 | 2016-03-16 | 武汉斗鱼网络科技有限公司 | 一种聊天室中赠送虚拟礼物及特效触发方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| 康凯: "数字直播演播室设计方案", 《通信设计与应用》 * |
| 薛英军，张兆安，李霄鹏主编: "《西部电视技术研究与探索》", 31 October 2014, 北京：中国传媒大学出版社 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019024750A1 (zh) * | 2017-08-03 | 2019-02-07 | 腾讯科技（深圳）有限公司 | 视频通信的方法、装置、终端及计算机可读存储介质 |
| US11425315B2 (en) | 2017-08-03 | 2022-08-23 | Tencent Technology (Shenzhen) Company Limited | Video communications method and apparatus, terminal, and computer-readable storage medium |
| CN107820114A (zh) * | 2017-09-28 | 2018-03-20 | 武汉斗鱼网络科技有限公司 | 特效展示方法及装置 |
| CN108024071A (zh) * | 2017-11-24 | 2018-05-11 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108024071B (zh) * | 2017-11-24 | 2022-03-08 | 腾讯数码（天津）有限公司 | 视频内容生成方法、视频内容生成装置及存储介质 |
| CN108632636A (zh) * | 2018-04-13 | 2018-10-09 | 上海翼得营销策划有限公司 | 一种应用于医药领域的视频直播方法及系统 |
| CN108848405A (zh) * | 2018-06-29 | 2018-11-20 | 广州酷狗计算机科技有限公司 | 图像处理方法和装置 |
| CN108848405B (zh) * | 2018-06-29 | 2020-10-09 | 广州酷狗计算机科技有限公司 | 图像处理方法和装置 |
| US11068720B2 (en) | 2018-08-27 | 2021-07-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for adding augmented reality data in live video, and storage medium |
| CN109040766A (zh) * | 2018-08-27 | 2018-12-18 | 百度在线网络技术（北京）有限公司 | 直播视频处理方法、装置及存储介质 |
| CN109462776A (zh) * | 2018-11-29 | 2019-03-12 | 北京字节跳动网络技术有限公司 | 一种视频特效添加方法、装置、终端设备及存储介质 |
| CN110784730A (zh) * | 2019-10-31 | 2020-02-11 | 广州华多网络科技有限公司 | 直播视频数据的传输方法、装置、设备和存储介质 |
| WO2021114845A1 (zh) * | 2019-12-13 | 2021-06-17 | 腾讯科技（深圳）有限公司 | 互动业务处理方法、系统、设备及存储介质 |
| US11736749B2 (en) | 2019-12-13 | 2023-08-22 | Tencent Technology (Shenzhen) Company Limited | Interactive service processing method and system, device, and storage medium |
| CN113840152A (zh) * | 2021-07-15 | 2021-12-24 | 阿里巴巴达摩院(杭州)科技有限公司 | 直播关键点处理方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106331880B (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106331880A (zh) | 一种信息处理方法及系统 | |
| CN110475150B (zh) | 虚拟礼物特效的渲染方法和装置、直播系统 | |
| CN106303555B (zh) | 一种基于混合现实的直播方法、装置和系统 | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及系统 | |
| CN106792246B (zh) | 一种融合式虚拟场景互动的方法及系统 | |
| CN110536151A (zh) | 虚拟礼物特效的合成方法和装置、直播系统 | |
| CN104754396A (zh) | 弹幕数据的显示方法及装置 | |
| CN109889855A (zh) | 基于移动app的智能全景视频直播网络购物系统及方法 | |
| CN103282962B (zh) | 内容排序 | |
| US20110066929A1 (en) | System and method for providing information of selectable objects in a still image file and/or data stream | |
| CN106792214A (zh) | 一种基于数字视听场所的直播互动方法和系统 | |
| CN109327741A (zh) | 游戏直播方法、装置和系统 | |
| CN106792228A (zh) | 一种直播互动方法和系统 | |
| KR20020064888A (ko) | 객체 지향형 비디오 시스템 | |
| KR102081214B1 (ko) | 멀티미디어 파일의 스티칭 방법 및 장치 | |
| CN108063820A (zh) | 一种云会议的投屏同步方法 | |
| CN106603503B (zh) | 直播数据的处理方法和装置 | |
| CN113473159A (zh) | 数字人直播方法、装置、直播管理设备及可读存储介质 | |
| CN103607578B (zh) | 基于视频编码的全视角图片浏览系统 | |
| CN104602127A (zh) | 导播视频同步播放方法和系统以及视频导播设备 | |
| CN111432284A (zh) | 一种多媒体终端的弹幕交互方法及多媒体终端 | |
| US20200413157A1 (en) | Enhanced Immersive Digital Media | |
| CN110012336A (zh) | 直播界面的图片配置方法、终端及装置 | |
| CN106412617B (zh) | 远程调试控制方法及装置 | |
| WO2017114821A1 (en) | Video streams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |