CN114513674A - 互动直播数据传输/处理方法、处理系统、介质及服务端 - Google Patents
互动直播数据传输/处理方法、处理系统、介质及服务端 Download PDFInfo
- Publication number
- CN114513674A CN114513674A CN202011279623.9A CN202011279623A CN114513674A CN 114513674 A CN114513674 A CN 114513674A CN 202011279623 A CN202011279623 A CN 202011279623A CN 114513674 A CN114513674 A CN 114513674A
- Authority
- CN
- China
- Prior art keywords
- video
- visual angle
- view
- switching instruction
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 174
- 230000007704 transition Effects 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种互动直播数据传输/处理方法、处理系统、介质及服务端，所述互动直播数据传输方法包括：服务端对待播放的当前视角视频解码，并传输至客户端；客户端在播放当前视角视频过程中，监测是否存在视角切换需求；若是，生成一视角切换指令，并将视角切换指令传输至服务端；服务端接收所述视角切换指令，解析视角切换指令；根据视角切换指令，生成转场视频及查找与视角切换指令匹配的目标视角视频，并将转场视频及目标视角视频传输至客户端；待客户端接收到转场视频及目标视角视频后，予以依次播放。本发明可以使视频流在传输过程中，节省传输带宽，从而实现高效的互动直播。
Description
技术领域
本发明属于通信技术领域，涉及一种传输/处理方法和系统，特别是涉及一种互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端。
背景技术
互动直播是一种新型的直播方式，其主要目的是为了在直播过程中，能够在客户端自由的切换视角，从而获得更好的直播效果。为此互动直播就需要传输不同视角的画面给客户端，由于视角的增多，因此码率会显著增多，对视频的直播造成较大地负面影响。
因此，如何提供一种互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端，以解决现有技术需要传输不同视角的画面给客户端时，由于视角的增多，导致码率会显著增多，对视频的直播造成较大地负面影响等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端，用于解决现有技术需要传输不同视角的画面给客户端时，由于视角的增多，导致码率会显著增多，对视频的直播造成较大地负面影响的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种互动直播数据传输方法，应用于包括服务端及与所述服务端通信连接的客户端的互动直播系统；所述互动直播数据传输方法包括：所述服务端对待播放的当前视角视频解码，并传输至所述客户端；所述客户端接收到所述当前视角视频后，对其解码并予以播放；在播放当前视角视频过程中，监测是否存在视角切换需求；若是，生成一视角切换指令，并将所述视角切换指令传输至所述服务端；所述服务端接收所述视角切换指令，解析所述视角切换指令；根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频，并将所述转场视频及所述目标视角视频传输至所述客户端；待所述客户端接收到所述转场视频及所述目标视角视频后，予以依次播放。
于本发明的一实施例中，若存在视角切换需求时，所述互动直播数据传输方法还包括：获取与所述视角切换需求对应的切换位置，根据所述切换位置，计算出所述目标视角视频的视角索引；将当前视角视频、目标视角视频及目标视角视频的视角索引编辑成所述视角切换指令。
本发明另一方面提供一种互动直播数据处理方法，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；所述互动直播数据处理方法包括：接收所述视角切换指令；解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；将所述转场视频及所述目标视角视频传输至所述客户端。
于本发明的一实施例中，所述视角切换指令包括当前视角视频的视角索引和切换后的目标视角视频的视角索引。
于本发明的一实施例中，解析所述视角切换指令后，所述互动直播的数据处理方法还包括计算当前视角和目前视角之间的视角差。
于本发明的一实施例中，所述根据所述视角切换指令，生成转场视频的步骤包括：根据所述视角差及所述转场视频的预先设定时长，计算所述转场视频中每一视角需发送视频的长度；根据所述转场视频中每一视角需发送视频的长度及所述当前视角视频的当前帧率，计算每一视角需传输的视频帧数。从所述当前视角视频及所述目标视角视频之间的视角中分别抽取与所述视频帧数对应的视频，生成所述转场视频；根据目标视角视频的视角索引，查找与所述目标视角视频的视角索引匹配的目标视角视频。
于本发明的一实施例中，在生成转场视频及查找与所述视角切换指令匹配的目标视角视频的步骤后，所述互动直播数据处理方法还包括：对所述转场视频和所述目标视角视频进行编码，并将编码后的所述转场视频和所述目标视角视频依次传输至所述客户端。
11.一种互动直播数据处理系统，其特征在于，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；
所述互动直播数据处理系统包括：
通信模块，用于接收所述视角切换指令；
处理模块，用于解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；
通过所述通信模块将所述转场视频及所述目标视角视频传输至所述客户端。
本发明又一方面提供一种介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述互动直播数据处理方法。
本发明最后一方面提供一种服务端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务端执行所述互动直播数据处理方法。
如上所述，本发明所述的互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端，具有以下有益效果：
本发明所述互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端可以使视频流在传输过程中，节省传输带宽，从而实现高效的互动直播。
附图说明
图1显示为本发明的应用场景示意图。
图2A显示为本发明的互动直播数据传输方法于一实施例中的流程示意图。
图2B显示为本发明的互动直播数据传输方法中S25的流程示意图。
图3显示为本发明的互动直播数据处理方法于一实施例中的流程示意图。
图4显示为本发明的互动直播数据处理系统于一实施例中的原理结构示意图。
元件标号说明
1 互动直接系统
11 服务端
12 客户端
4 互动直播数据处理系统
41 通信模块
42 处理模块
S21～S27 步骤
S31～S33 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种互动直播数据传输方法，应用于包括服务端及与所述服务端通信连接的客户端的互动直播系统；所述互动直播数据传输方法包括：
所述服务端对待播放的当前视角视频解码，并传输至所述客户端；
所述客户端接收到所述当前视角视频后，对其解码并予以播放；在播放当前视角视频过程中，监测是否存在视角切换需求；若是，生成一视角切换指令，并将所述视角切换指令传输至所述服务端；
所述服务端接收所述视角切换指令，解析所述视角切换指令；根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频，并将所述转场视频及所述目标视角视频传输至所述客户端；待所述客户端接收到所述转场视频及所述目标视角视频后，予以依次播放。
以下将结合图示对本实施例所提供的互动直播数据传输方法进行详细描述。本实施例所述互动直播数据传输方法应用于如图1所示的互动直播系统1中。所述互动直播系统1包括服务端11及与所述服务端11通信连接的客户端12。
请参阅图2A，显示为互动直播数据传输方法于一实施例中的流程示意图。如图2A所示，所述互动直播数据传输方法具体包括以下几个步骤：
S21，所述服务端对待播放前视角视频解码，并传输至所述客户端。
S22，所述客户端接收到所述当前视角视频后，对其解码并予以播放。
S23，所述客户端在播放当前视角视频过程中，监测是否存在视角切换需求；若是，执行S24。若否，则返回S23，继续监测是否存在视角切换需求。所述客户端12采用具有触摸显示屏的智能终端设备。
具体地，所述客户端通过监测所述触摸显示屏上是否发生触摸动作，若是，则表示存在视角切换需求；若否，则表示不存在视角切换需求。
若存在视角切换需求时，所述S23还包括：获取与所述视角切换需求对应的切换位置，根据所述切换位置，计算出所述目标视角视频的视角索引。在本实施例中，所述目标视角视频的视角索引可以但不限于为视角角度。
S24，所述客户端生成一视角切换指令，并将所述视角切换指令传输至所述服务端。在本实施例中，所述S24具体包括将当前视角视频、目标视角视频及目标视角视频的视角索引编辑成所述视角切换指令。因此，所述视角切换指令包括当前视角视频的视角索引和切换后的目标视角视频的视角索引等信息。
S25，所述服务端接收所述视角切换指令，解析所述视角切换指令；根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频，并将所述转场视频及所述目标视角视频传输至所述客户端。
请参阅图2B，显示为S25的流程示意图。如图2B所示，所述S25具体包括以下步骤：
S251，解析所述视角切换指令后，计算当前视角和目前视角之间的视角差。
具体地，根据当前视角视频的视角索引a和切换后的目标视角视频的视角索引b，计算当前视角和目前视角之间的视角差n＝abs(a-b)。其中，abs表示取绝对值。
S252，根据所述视角差及所述转场视频的预先设定时长，计算所述转场视频中每一视角需发送视频的长度。
具体地，所述转场视频中每一视角需发送视频的长度T等于目前待发送的转场视频的预先设定时长m除以当前视角和目前视角之间的视角差n，即T＝m/n秒。
S253，根据所述转场视频中每一视角需发送视频的长度及所述当前视角视频的当前帧率，计算每一视角需传输的视频帧数。
具体地，每一视角需传输的视频帧数等于所述转场视频中每一视角需发送视频的长度乘以所述当前视角视频的当前帧率，即M＝m/n×F，其中，M表示每一，视角需传输的视频帧数，F表示当前视角视频的当前帧率。
S254，从所述当前视角视频及所述目标视角视频之间的视角中分别抽取与所述视频帧数对应的视频，生成所述转场视频。
具体地，对于当前视角视频的视角索引a，此时直播的时间设为t。根据视频的时间同步信息，抓取t到t+T时刻的M帧。对于视角索引a+1，则抓取t+T到t+2T时刻的M帧图像，以此类推；得到一系列的图像，共M x n帧转场视频。
S255，根据目标视角视频的视角索引，查找与所述目标视角视频的视角索引匹配的目标视角。
S26，所述服务端对所述转场视频和所述目标视角视频进行编码，并将编码后的所述转场视频和所述目标视角视频依次传输至所述客户端。
S27，待所述客户端接收到所述转场视频及所述目标视角视频后，予以依次解码并播放所述转场视频及所述目标视角视频，并在播放过程中，返回S23，继续监测是否存在视角切换需求。
本实施例所述互动直播数据传输方法可以使视频流在传输过程中，节省传输带宽，从而实现高效的互动直播。
实施例二
本实施例提供一种互动直播数据处理方法，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；
所述互动直播数据处理方法包括：
接收所述视角切换指令；
解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；
将所述转场视频及所述目标视角视频传输至所述客户端。
以下将结合图示对本实施例所提供的互动直播数据处理方法进行详细描述。本实施例所述互动直播数据处理方法应用于服务端。所述服务端与若干客户端通信连接。
所述客户端接收到所述当前视角视频后，对其解码并予以播放。在播放当前视角视频过程中，监测是否存在视角切换需求；若是，生成一视角切换指令，并将所述视角切换指令传输至所述服务端。若否，则继续监测是否存在视角切换需求。在本实施例中，所述客户端采用具有触摸显示屏的智能终端设备。
具体地，所述客户端通过监测所述触摸显示屏上是否发生触摸动作，若是，则表示存在视角切换需求；若否，则表示不存在视角切换需求。
若存在视角切换需求时，所述客户端获取与所述视角切换需求对应的切换位置，根据所述切换位置，计算出所述目标视角视频的视角索引。在本实施例中，所述目标视角视频的视角索引可以但不限于为视角角度。
所述客户端将当前视角视频、目标视角视频及目标视角视频的视角索引编辑成所述视角切换指令。因此，所述视角切换指令包括当前视角视频的视角索引和切换后的目标视角视频的视角索引等信息。
请参阅图3，显示为互动直播数据处理方法于一实施例中的流程示意图。如图3所示，所述互动直播数据处理方法具体包括以下步骤：
S31，接收所述视角切换指令。在本实施例中，所述视角切换指令包括当前视角视频的视角索引和切换后的目标视角视频的视角索引等信息。
S32，解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频。
具体地，所述S32包括以下步骤：
计算当前视角和目前视角之间的视角差。
具体地，根据当前视角视频的视角索引a和切换后的目标视角视频的视角索引b，计算当前视角和目前视角之间的视角差n＝abs(a-b)。其中，abs表示取绝对值。
根据所述视角差及所述转场视频的预先设定时长，计算所述转场视频中每一视角需发送视频的长度。
具体地，所述转场视频中每一视角需发送视频的长度T等于目前待发送的转场视频的预先设定时长m除以当前视角和目前视角之间的视角差n，即T＝m/n秒。
根据所述转场视频中每一视角需发送视频的长度及所述当前视角视频的当前帧率，计算每一视角需传输的视频帧数。
具体地，每一视角需传输的视频帧数等于所述转场视频中每一视角需发送视频的长度乘以所述当前视角视频的当前帧率，即M＝m/n×F，其中，M表示每一，视角需传输的视频帧数，F表示当前视角视频的当前帧率。
从所述当前视角视频及所述目标视角视频之间的视角中分别抽取与所述视频帧数对应的视频，生成所述转场视频。
具体地，对于当前视角视频的视角索引a，此时直播的时间设为t。根据视频的时间同步信息，抓取t到t+T时刻的M帧。对于视角索引a+1，则抓取t+T到t+2T时刻的M帧图像，以此类推；得到一系列的图像，共M x n帧转场视频。
根据目标视角视频的视角索引，查找与所述目标视角视频的视角索引匹配的目标视角。
S33，对所述转场视频和所述目标视角视频进行编码，并将编码后的所述转场视频和所述目标视角视频依次传输至所述客户端。待所述客户端接收到所述转场视频及所述目标视角视频后，予以依次解码并播放所述转场视频及所述目标视角视频，并在播放过程中，继续监测是否存在视角切换需求。
本实施例还提供一种介质(亦称为计算机可读存储介质)，其上存储有计算机程序，该计算机程序被处理器执行时实现上述互动直播数据处理方法。
本领域普通技术人员可以理解计算机可读存储介质为：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例三
本实施例提供一种互动直播数据处理系统，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；
所述互动直播数据处理系统包括：
通信模块，用于接收所述视角切换指令；
处理模块，用于解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；
通过所述通信模块将所述转场视频及所述目标视角视频传输至所述客户端。
以下将结合图示对本实施例所提供的互动直播数据处理系统进行详细描述。请参阅图4，显示为互动直播数据处理系统于一实施例中的原理结构示意图。如图4所示，所述互动直播数据处理系统4包括通信模块41及处理模块42。
所述通信模块41用于接收所述客户端发送的所述视角切换指令。
与所述通信模块41连耦合的处理模块42用于解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频。
首先，所述处理模块42计算当前视角和目前视角之间的视角差。
具体地，所述处理模块42根据当前视角视频的视角索引a和切换后的目标视角视频的视角索引b，计算当前视角和目前视角之间的视角差n＝abs(a-b)。其中，abs表示取绝对值。
接着，所述处理模块42根据所述视角差及所述转场视频的预先设定时长，计算所述转场视频中每一视角需发送视频的长度。
具体地，所述转场视频中每一视角需发送视频的长度T等于目前待发送的转场视频的预先设定时长m除以当前视角和目前视角之间的视角差n，即T＝m/n秒。
然后，所述处理模块42根据所述转场视频中每一视角需发送视频的长度及所述当前视角视频的当前帧率，计算每一视角需传输的视频帧数。
具体地，每一视角需传输的视频帧数等于所述转场视频中每一视角需发送视频的长度乘以所述当前视角视频的当前帧率，即M＝m/n×F，其中，M表示每一，视角需传输的视频帧数，F表示当前视角视频的当前帧率。
再然后，所述处理模块42从所述当前视角视频及所述目标视角视频之间的视角中分别抽取与所述视频帧数对应的视频，生成所述转场视频。
具体地，对于当前视角视频的视角索引a，此时直播的时间设为t。根据视频的时间同步信息，抓取t到t+T时刻的M帧。对于视角索引a+1，则抓取t+T到t+2T时刻的M帧图像，以此类推；得到一系列的图像，共M x n帧转场视频。
再接着，根据目标视角视频的视角索引，查找与所述目标视角视频的视角索引匹配的目标视角。对所述转场视频和所述目标视角视频进行编码。
通过所述通信模块41将编码后的所述转场视频和所述目标视角视频依次传输至所述客户端。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例四
本申请提供一种服务端，所述服务端包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使服务端执行如上所述互动直播数据处理方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的处理方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种处理系统，所述处理系统可以实现本发明所述的处理方法，但本发明所述的处理方法的实现装置包括但不限于本实施例列举的处理系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述互动直播数据传输方法、互动直播数据处理方法、互动直播数据系统、介质及服务端可以使视频流在传输过程中，节省传输带宽，从而实现高效的互动直播。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种互动直播数据传输方法，其特征在于，应用于包括服务端及与所述服务端通信连接的客户端的互动直播系统；所述互动直播数据传输方法包括：
所述服务端对待播放的当前视角视频解码，并传输至所述客户端；
所述客户端接收到所述当前视角视频后，对其解码并予以播放；在播放当前视角视频过程中，监测是否存在视角切换需求；若是，生成一视角切换指令，并将所述视角切换指令传输至所述服务端；
所述服务端接收所述视角切换指令，解析所述视角切换指令；根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频，并将所述转场视频及所述目标视角视频传输至所述客户端；待所述客户端接收到所述转场视频及所述目标视角视频后，予以依次播放。
2.根据权利要求1所述的互动直播数据传输方法，其特征在于，若存在视角切换需求时，所述互动直播数据传输方法还包括：
获取与所述视角切换需求对应的切换位置，根据所述切换位置，计算出所述目标视角视频的视角索引；
将当前视角视频、目标视角视频及目标视角视频的视角索引编辑成所述视角切换指令。
3.一种互动直播数据处理方法，其特征在于，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；
所述互动直播数据处理方法包括：
接收所述视角切换指令；
解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；
将所述转场视频及所述目标视角视频传输至所述客户端。
4.根据权利要求3所述的互动直播数据处理方法，其特征在于，所述视角切换指令包括当前视角视频的视角索引和切换后的目标视角视频的视角索引。
5.根据权利要求4所述的互动直播数据处理方法，其特征在于，解析所述视角切换指令后，所述互动直播的数据处理方法还包括计算当前视角和目前视角之间的视角差。
6.根据权利要求5所述的互动直播数据处理方法，其特征在于，所述根据所述视角切换指令，生成转场视频的步骤包括：
根据所述视角差及所述转场视频的预先设定时长，计算所述转场视频中每一视角需发送视频的长度；
根据所述转场视频中每一视角需发送视频的长度及所述当前视角视频的当前帧率，计算每一视角需传输的视频帧数。
从所述当前视角视频及所述目标视角视频之间的视角中分别抽取与所述视频帧数对应的视频，生成所述转场视频；
根据目标视角视频的视角索引，查找与所述目标视角视频的视角索引匹配的目标视角视频。
7.根据权利要求6所述的互动直播数据处理方法，其特征在于，在生成转场视频及查找与所述视角切换指令匹配的目标视角视频的步骤后，所述互动直播数据处理方法还包括：
对所述转场视频和所述目标视角视频进行编码，并将编码后的所述转场视频和所述目标视角视频依次传输至所述客户端。
8.一种互动直播数据处理系统，其特征在于，应用于服务端，所述服务端与至少一客户端通信连接；若所述客户端监测到存在视角切换需求时，发送一视角切换指令至所述服务端；
所述互动直播数据处理系统包括：
通信模块，用于接收所述视角切换指令；
处理模块，用于解析所述视角切换指令，并根据所述视角切换指令，生成转场视频及查找与所述视角切换指令匹配的目标视角视频；
通过所述通信模块将所述转场视频及所述目标视角视频传输至所述客户端。
9.一种介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求2至7中任一项所述互动直播数据处理方法。
10.一种服务端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务端执行如权利要求2至7中任一项所述互动直播数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011279623.9A CN114513674A (zh) | 2020-11-16 | 2020-11-16 | 互动直播数据传输/处理方法、处理系统、介质及服务端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011279623.9A CN114513674A (zh) | 2020-11-16 | 2020-11-16 | 互动直播数据传输/处理方法、处理系统、介质及服务端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114513674A true CN114513674A (zh) | 2022-05-17 |
Family
ID=81547056
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011279623.9A Pending CN114513674A (zh) | 2020-11-16 | 2020-11-16 | 互动直播数据传输/处理方法、处理系统、介质及服务端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114513674A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114866787A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市必提教育科技有限公司 | 一种直播实现方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140101227A1 (en) * | 2012-10-09 | 2014-04-10 | Christoph Bieselt | Viewing angle switching for live broadcasts and on demand video playback |
| WO2018058993A1 (zh) * | 2016-09-30 | 2018-04-05 | 华为技术有限公司 | 一种视频数据的处理方法及装置 |
| CN110536164A (zh) * | 2019-08-16 | 2019-12-03 | 咪咕视讯科技有限公司 | 显示方法、视频数据处理方法及相关设备 |
| CN111263177A (zh) * | 2020-01-22 | 2020-06-09 | 杭州皮克皮克科技有限公司 | 一种视频互动直播方法及系统 |
| CN111355967A (zh) * | 2020-03-11 | 2020-06-30 | 叠境数字科技（上海）有限公司 | 基于自由视点的视频直播处理方法、系统、装置及介质 |
| CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
| CN111447461A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 多视角直播视频的同步切换方法、装置、设备和介质 |
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
-
2020
- 2020-11-16 CN CN202011279623.9A patent/CN114513674A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140101227A1 (en) * | 2012-10-09 | 2014-04-10 | Christoph Bieselt | Viewing angle switching for live broadcasts and on demand video playback |
| WO2018058993A1 (zh) * | 2016-09-30 | 2018-04-05 | 华为技术有限公司 | 一种视频数据的处理方法及装置 |
| CN110536164A (zh) * | 2019-08-16 | 2019-12-03 | 咪咕视讯科技有限公司 | 显示方法、视频数据处理方法及相关设备 |
| CN111263177A (zh) * | 2020-01-22 | 2020-06-09 | 杭州皮克皮克科技有限公司 | 一种视频互动直播方法及系统 |
| CN111355967A (zh) * | 2020-03-11 | 2020-06-30 | 叠境数字科技（上海）有限公司 | 基于自由视点的视频直播处理方法、系统、装置及介质 |
| CN111447462A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 基于视角切换的视频直播方法、系统、存储介质及终端 |
| CN111447461A (zh) * | 2020-05-20 | 2020-07-24 | 上海科技大学 | 多视角直播视频的同步切换方法、装置、设备和介质 |
| CN111866525A (zh) * | 2020-09-23 | 2020-10-30 | 腾讯科技（深圳）有限公司 | 多视点视频的播放控制方法及装置、电子设备、存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114866787A (zh) * | 2022-07-04 | 2022-08-05 | 深圳市必提教育科技有限公司 | 一种直播实现方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109547786B (zh) | 视频编码、以及视频解码的方法、装置 | |
| US20130022116A1 (en) | Camera tap transcoder architecture with feed forward encode data | |
| US20120057640A1 (en) | Video Analytics for Security Systems and Methods | |
| US9609338B2 (en) | Layered video encoding and decoding | |
| JP2009512316A (ja) | カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体 | |
| CN110662017B (zh) | 一种视频播放质量检测方法和装置 | |
| TWI786572B (zh) | 沉浸式媒體提供方法、獲取方法、裝置、設備及存儲介質 | |
| CN104284241A (zh) | 一种视频剪辑方法和装置 | |
| CN111327921A (zh) | 视频数据处理方法及设备 | |
| CN113965751A (zh) | 屏幕内容编码方法、装置、设备及存储介质 | |
| CN111031389A (zh) | 视频处理方法、电子装置和存储介质 | |
| KR20220077899A (ko) | 오디오 및 비디오 처리 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN114513674A (zh) | 互动直播数据传输/处理方法、处理系统、介质及服务端 | |
| KR20230122095A (ko) | 스핀 센서 헤드에 의해 캐치된 포인트 클라우드 지오메트리데이터를 엔트로피 부호화/복호화하는 방법 및 장치 | |
| CN106937127B (zh) | 一种智能搜索准备的显示方法及其系统 | |
| US20230061573A1 (en) | Point Cloud Encoding and Decoding Method and Apparatus, Computer-Readable Medium, and Electronic Device | |
| US20230025664A1 (en) | Data processing method and apparatus for immersive media, and computer-readable storage medium | |
| WO2022100645A1 (zh) | 一种数据编码方法、装置以及计算机可读存储介质 | |
| CN113766266A (zh) | 音视频处理方法、装置、设备以及存储介质 | |
| US12022088B2 (en) | Method and apparatus for constructing motion information list in video encoding and decoding and device | |
| CN217825155U (zh) | 一种视频编码控制电路及装置 | |
| Kim et al. | Real-time video-based point cloud encoding system on a distributed platform | |
| CN116760986B (zh) | 候选运动矢量生成方法、装置、计算机设备和存储介质 | |
| WO2024120325A1 (zh) | 点云编码方法、点云解码方法及终端 | |
| US20240244229A1 (en) | Systems and methods for predictive coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |