CN111131852B - 视频直播方法、系统及计算机可读存储介质 - Google Patents

视频直播方法、系统及计算机可读存储介质 Download PDF

Info

Publication number
CN111131852B
CN111131852B CN201911425526.3A CN201911425526A CN111131852B CN 111131852 B CN111131852 B CN 111131852B CN 201911425526 A CN201911425526 A CN 201911425526A CN 111131852 B CN111131852 B CN 111131852B
Authority
CN
China
Prior art keywords
video
image
server
image sequence
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911425526.3A
Other languages
English (en)
Other versions
CN111131852A (zh
Inventor
尹左水
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201911425526.3A priority Critical patent/CN111131852B/zh
Publication of CN111131852A publication Critical patent/CN111131852A/zh
Application granted granted Critical
Publication of CN111131852B publication Critical patent/CN111131852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频直播方法。该视频直播方法应用于视频直播系统，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备，所述视频直播方法包括：所述第一VR设备定时获取预设时间内采集的实时视频；对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列；将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播。本发明还公开了一种视频直播系统及计算机可读存储介质。本发明能够解决现有视频直播过程中容易出现卡顿现象的问题。

Description

视频直播方法、系统及计算机可读存储介质
技术领域
本发明涉及视频通信技术领域，尤其涉及一种视频直播方法、系统及计算机可读存储介质。
背景技术
随着网络技术和移动智能终端的发展，网络视频直播已成为一种新兴的高互动性的视频娱乐方式。这种直播通常是直播主播通过VR(Virtual Reality，虚拟显示)设备采集视频，然后将实时采集的视频数据上传至VR服务器，以使得用户通过自己的VR设备从VR服务器获取视频数据，以观看直播主播的唱歌、化妆、演出等直播视频。在视频直播过程中，由于视频数据的数据量通常较大，会占用较大的带宽，然而上传带宽是有限的，因此，容易导致向用户提供视频直播服务时出现卡顿现象，影响视频直播效果。
发明内容
本发明的主要目的在于提供一种视频直播方法、系统及计算机可读存储介质，旨在解决现有视频直播过程中容易出现卡顿现象的问题。
为实现上述目的，本发明提供一种视频直播方法，应用于视频直播系统，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备，所述视频直播方法包括：
所述第一VR设备定时获取预设时间内采集的实时视频；
对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列；
将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播。
可选地，所述对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列的步骤包括：
对所述实时视频进行分帧处理，得到视频图像序列；
将所述视频图像序列中的各视频图像之间进行比对，并根据比对结果得到目标变化区域；
从所述视频图像中提取除所述目标变化区域外的图像，作为基础图像，并从各视频图像中提取所述目标变化区域对应的图像，作为变化图像序列。
可选地，所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤之前，还包括：
将所述变化图像序列输入至预设图像分类模型，得到图像分类结果；
根据所述图像分类结果确定目标标记方式，并采用所述目标标记方式对所述变化图像序列进行标记；
所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤包括：
将所述基础图像和经标记的变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述经标记的变化图像序列进行视频直播。
可选地，所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤之前，还包括：
获取上一基础图像，并获取所述上一基础图像与所述基础图像之间的相似度值；
判断所述相似度值是否在预设阈值范围内；
若否，则执行步骤：将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播；
若是，则将所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述变化图像序列和所述上一基础图像进行视频直播。
可选地，所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤包括：
按视频图像顺序对所述变化图像序列进行编码，生成视频数据流；
将所述基础图像和所述视频数据流发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述视频数据流进行视频直播。
可选地，所述对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列的步骤之前，还包括：
检测所述实时视频中是否存在音频内容；
若不存在，则执行步骤：对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列。
可选地，所述检测所述实时视频中是否存在音频内容的步骤之后，还包括：
若存在，则从所述实时视频中提取出音频数据；
所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤包括：
将所述音频数据通过第一数据通道发送至所述VR服务器，并将所述基础图像和所述变化图像序列通过第二数据通道发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述音频数据、所述基础图像和所述变化图像序列进行视频直播。
此外，为实现上述目的，本发明还提供一种视频直播系统，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备；其中，
所述第一VR设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频直播程序，所述视频直播程序被所述处理器执行时实现如上所述的视频直播方法的步骤；
所述VR服务器，用于在接收到所述第一VR设备发送的视频数据时，将所述视频数据发送至所述第二VR设备；
所述第二VR设备，用于从所述VR服务器获取视频数据，并获取所述视频数据中的变化图像序列；
检测所述视频数据中是否包括基础图像；
若所述视频数据中包括基础图像，则获取所述基础图像，对所述基础图像和所述变化图像序列进行合成，得到第一合成视频，并播放所述第一合成视频，以进行视频直播。
可选地，所述第二VR设备还用于：
若所述视频数据中不包括基础图像，则获取上一基础图像，对所述上一基础图像和所述变化图像序列进行合成，得到第二合成视频，并播放所述第二合成视频，以进行视频直播。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频直播程序，所述视频直播程序被处理器执行时实现如上所述的视频直播方法的步骤。
本发明提供一种视频直播方法、系统及计算机可读存储介质，该视频直播方法应用于视频直播系统，该视频直播系统包括第一VR设备、VR服务器和第二VR设备，第一VR设备定时获取预设时间内采集的实时视频；然后，对该实时视频进行处理，得到实时视频对应的基础图像和变化图像序列；进而将基础图像和变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和变化图像序列进行视频直播。通过上述方式，通过第一VR设备智能识别实时视频中的基础图像和变化图像序列，进而上传至VR服务器，以供第二VR设备从VR服务器中获取基础图像和变化图像序列进行视频直播，其中，基础图像即为整段实时视频中一直固定不变的部分的图像，仅包括一帧图像，因此，相比于现有技术中直接将实时视频传输至VR服务器，本发明可大大减少数据传输量，从而可大大节省带宽资源，使得采集到的实时视频以基础图像和变化图像序列的形式较快地传输至VR服务器，进而传输至第二VR设备，减少第二VR设备在播放视频时的卡顿现象，可有效提升用户体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明视频直播方法第一实施例的流程示意图；
图3为本发明视频直播方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是VR(Virtual Reality，虚拟显示)设备，该VR设备具有视频采集功能和视频数据处理功能。
如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity，Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频直播程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的视频直播程序，并执行以下操作：
所述第一VR设备定时获取预设时间内采集的实时视频；
对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列；
将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
对所述实时视频进行分帧处理，得到视频图像序列；
将所述视频图像序列中的各视频图像之间进行比对，并根据比对结果得到目标变化区域；
从所述视频图像中提取除所述目标变化区域外的图像，作为基础图像，并从各视频图像中提取所述目标变化区域对应的图像，作为变化图像序列。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
将所述变化图像序列输入至预设图像分类模型，得到图像分类结果；
根据所述图像分类结果确定目标标记方式，并采用所述目标标记方式对所述变化图像序列进行标记；
所述将所述基础图像和所述变化图像序列发送至所述VR服务器包括：
将所述基础图像和经标记的变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述经标记的变化图像序列进行视频直播。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
获取上一基础图像，并获取所述上一基础图像与所述基础图像之间的相似度值；
判断所述相似度值是否在预设阈值范围内；
若否，则将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播；
若是，则将所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述变化图像序列和所述上一基础图像进行视频直播。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
按视频图像顺序对所述变化图像序列进行编码，生成视频数据流；
将所述基础图像和所述视频数据流发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述视频数据流进行视频直播。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
检测所述实时视频中是否存在音频内容；
若不存在，则对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列。
进一步地，处理器1001可以调用存储器1005中存储的视频直播程序，还执行以下操作：
若存在，则从所述实时视频中提取出音频数据；
将所述音频数据通过第一数据通道发送至所述VR服务器，并将所述基础图像和所述变化图像序列通过第二数据通道发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述音频数据、所述基础图像和所述变化图像序列进行视频直播。
基于上述硬件结构，提出本发明视频直播方法各个实施例。
本发明提供一种视频直播方法。
参照图2，图2为本发明视频直播方法第一实施例的流程示意图。
在本实施例中，所述视频直播方法应用于视频直播系统，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备，所述视频直播方法包括：
步骤S10，所述第一VR设备定时获取预设时间内采集的实时视频；
在本实施例中，该视频直播方法可用于应用视频直播系统，该视频直播系统包括第一VR设备、VR服务器和第二VR设备，其中，该第一VR设备具有视频采集功能和视频数据处理功能，用于采集视频，并对视频进行处理，得到对应的基础图像和变化图像序列，进而发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和变化图像序列，进而进行视频直播。VR服务器用于接收第一VR设备发送的视频数据，进而传输至第二VR设备；第二VR设备用于从VR服务器获取视频数据，进而合成得到合成视频，并进行播放。
在本实施例中，第一VR设备定时获取预设时间内采集的实时视频，可以理解，定时和预设时间是相对应的，例如，可以每隔10s获取10s内(即距当前时间10s内)采集的实时视频。
步骤S20，对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列；
然后，对实时视频进行处理，得到实时视频对应的基础图像和变化图像序列。其中，基础图像即指实时视频中固定不变的背景图像，仅包括一帧图像，而变化图像序列即指实时视频中发生变化的区域对应的图像，是由视频图像序列中每一帧视频图像的变化区域部分图像组合得到的。
具体的，步骤S20可以包括：
步骤a1，对所述实时视频进行分帧处理，得到视频图像序列；
步骤a2，将所述视频图像序列中的各视频图像之间进行比对，并根据比对结果得到目标变化区域；
步骤a3，从所述视频图像中提取除所述目标变化区域外的图像，作为基础图像，并从各视频图像中提取所述目标变化区域对应的图像，作为变化图像序列。
具体的，实时视频的具体处理过程如下：
先对实时视频进行分帧处理，得到视频图像序列，其中，视频图像序列包括多个视频图像、按采集时间依次排序。
然后，将视频图像序列中的各视频图像之间进行比对，并根据比对结果得到目标变化区域，目标变化区域即为这一系列视频图像中发生变化的区域。比对方法可以包括但不限于：1)对各视频图像按预设参数进行切分，将各视频图像切分成若干个部分，并进行标记，例如，各视频图像包括i个，分别为a1、a2、…、ai，将各视频图像切分成j份，可对应将各视频图像被切分的部分记为a11、a12、…、a1j，a21、a22、…、a2j，…，ai1、ai2、…、aij；然后，根据标记将不同视频图像的同一切分部分进行比对，比较检测其是否相同，如分别比较a11、a21、…、ai1是否相同，比较a12、a22、…、ai2是否相同，……，比较a1j、a2j、…、aij是否相同，进而根据比对结果可得到若干个切分区域中图像相同的区域和不同的区域，其中，不同的区域即为目标变化区域。当然，在得到不同的区域后，可对不同的区域进行合并处理，以合并连接得到一整个变化区域，即将合并后的区域作为目标变化区域，以便于后续提取出变化图像序列。2)先提取各视频图像的图像特征，进而将各视频图像帧对应的图像特征输入至预先训练好的卷积神经网络模型，输出各视频图像帧之间的不同区域，从而根据该输出结果得到目标变化区域。
在得到目标变化区域之后，从视频图像中提取除目标变化区域外的图像，作为基础图像，并从各视频图像中提取目标变化区域对应的图像，作为变化图像序列。
步骤S30，将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播。
在提取出实时视频中对应的基础图像和变化图像序列之后，将基础图像和变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取基于基础图像和变化图像序列进行视频直播。具体的，第二VR设备从VR服务器获取到基础图像和变化图像序列之后，将基础图像分别与变化图像序列中的各变化图像进行叠加合并，以得到对应的完整图像序列，进而转成合成视频，并进行播放，以进行视频直播。
具体的，步骤S30可以包括：
步骤b1，按视频图像顺序对所述变化图像序列进行编码，生成视频数据流；
步骤b2，将所述基础图像和所述视频数据流发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述视频数据流进行视频直播。
在本实施例中，在传输数据时，为进一步减小带宽、便于传输，可对变化图像序列进行编码后再传输，具体的，可按视频图像顺序对变化图像序列进行编码，生成视频数据流，其中，编码方式可选地选用H.264(一种数字视频压缩格式)，相比于其他视频编码方式，H.264这一编码方式可在相同的带宽下提供更加优秀的图象质量，当然，在具体实施时，也可以采用其他编码方式，如MPEG-2(视频和音频有损压缩标准之一)、H.263(低码率视频编码标准)等。然后，将基础图像和视频数据流发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和视频数据流，使得第二VR设备基于基础图像和视频数据流进行视频直播。对应的，第二VR设备在获取到基础图像和视频数据流之后，先对该视频数据流进行解码，得到变化图像序列，进而将基础图像分别与变化图像序列中的各变化图像进行叠加合并，以得到对应的完整图像序列，进而转成合成视频，并进行播放，以进行视频直播。
本发明实施例提供一种视频直播方法，应用于视频直播系统，该视频直播系统包括第一VR设备、VR服务器和第二VR设备，第一VR设备定时获取预设时间内采集的实时视频；然后，对该实时视频进行处理，得到实时视频对应的基础图像和变化图像序列；进而将基础图像和变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和变化图像序列进行视频直播。通过上述方式，通过第一VR设备智能识别实时视频中的基础图像和变化图像序列，进而上传至VR服务器，以供第二VR设备从VR服务器中获取基础图像和变化图像序列进行视频直播，其中，基础图像即为整段实时视频中一直固定不变的部分的图像，仅包括一帧图像，因此，相比于现有技术中直接将实时视频传输至VR服务器，本发明实施例可大大减少数据传输量，从而可大大节省带宽资源，使得采集到的实时视频以基础图像和变化图像序列的形式较快地传输至VR服务器，进而传输至第二VR设备，减少第二VR设备在播放视频时的卡顿现象，可有效提升用户体验。
进一步地，基于图2所示的第一实施例，提出本发明视频直播方法的第二实施例。参照图3，图3为本发明视频直播方法第二实施例的流程示意图。
在本实施例中，在步骤S30之前，该视频直播方法还包括：
步骤S40，将所述变化图像序列输入至预设图像分类模型，得到图像分类结果；
步骤S50，根据所述图像分类结果确定目标标记方式，并采用所述目标标记方式对所述变化图像序列进行标记；
在本实施例中，为便于用户查看直播视频中突出变化的部分，可在得到变化图像序列之后，对变化图像序列中的变化部分进行识别标记，以进行突出显示。具体的，将变化图像序列输入至预设图像分类模型，得到图像分类结果，其中预设图像分类模型是预先训练好的，用于识别图像中所包括的实物类型(如人、动物、物体)、动作类型等，然后，根据图像分类结果确定目标标记方式，并采用目标标记方式对变化图像序列进行标记。其中，目标标记方式，可以基于预先设定的图像类型和标记方式之间的映射关系和图像分类结果确定得到，其中，目标标记方式可以包括但不限于实务轮廓突出显示、实物整体突出显示等，突出显示方式包括但不限于轮廓线加粗、实务整体色彩加深等。
此时，步骤S30包括：
步骤S31，将所述基础图像和经标记的变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述经标记的变化图像序列进行视频直播。
在对变化图像序列进行标记之后，将基础图像和经标记的变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和经标记的变化图像序列，进而使得第二VR设备基于基础图像和经标记的变化图像序列进行视频直播。具体的，第二VR设备在接收到基础图像和经标记的变化图像序列之后，将基础图像分别与经标记的变化图像序列中的各变化图像进行叠加合并，以得到对应的完整图像序列，进而转成合成视频，并进行播放，以进行视频直播。
本实施例通过对变化图像序列中的变化部分进行识别和标记，以突出显示变化部分，从而可使得用户查看直播视频时容易关注到重点变化的部分，提升用户体验。
进一步地，基于图2所示的第一实施例，提出本发明视频直播方法的第三实施例。
在本实施例中，在步骤S30之前，该视频直播方法还包括：
步骤A，获取上一基础图像，并获取所述上一基础图像与所述基础图像之间的相似度值；
在本实施例中，获取上一基础图像，并获取上一基础图像与基础图像之间的相似度值，具体的，可以对上一基础图像和基础图像进行特征提取，分别得到对应的第一特征向量和第二特征向量，进而计算第一特征向量和第二特征向量之间的相似度值，即为上一基础图像与基础图像之间的相似度值。其中，对于相似度值的计算，可通过余弦相似度、或杰卡德Jaccard距离、欧式距离等来表征两者之间的相似度值。
步骤B，判断所述相似度值是否在预设阈值范围内；
若否，则执行步骤S30：将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播；
若是，则执行步骤C，将所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述变化图像序列和所述上一基础图像进行视频直播。
在获取到上一基础图像和基础图像之间的相似度值之后，判断相似度值是否在预设阈值范围内，其中，预设阈值范围是预先根据实际情况具体设定的，该预设阈值范围为相似范围；若判定相似度值不在预设阈值范围内，则说明该基础图像与上一基础图像相似度较低，此时则将基础图像和变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取基础图像和变化图像序列，进而使得第二VR设备基于基础图像和变化图像序列进行视频直播；若判定相似度值不在预设阈值范围内，则说明该基础图像与上一基础图像相似度较高，此时则无需发送基础图像，只需将变化图像序列发送至VR服务器，以供第二VR设备从VR服务器获取变化图像序列和上一基础图像进行视频直播。
本实施例中通过检测上一基础图像与基础图像之间的相似度值是否在预设阈值范围内，以判断基础图像与上一基础图像是否相似，进而判断是否更新基础图像，通过上述方式，可在基础图像与上一基础图像相似时，不传输该基础图像，以进一步减小数据传输量，节省带宽资源。
进一步地，基于图2所示的第一实施例，提出本发明视频直播方法的第四实施例。
在本实施例中，在步骤S20之前，该视频直播方法还包括：
步骤D，检测所述实时视频中是否存在音频内容；
在本实施例中，由于视频直播的类型有多种，有的直播视频包含音频内容，有的直播视频不包含音频内容，因此，在获取到预设时间内采集的实时视频之后，需检测该实时视频中是否存在音频内容。
若不存在，则执行步骤S20：对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列。
若该实时视频中不存在音频内容，则直接对实时视频进行处理，得到实时视频对应的基础图像和变化图像序列，进而执行后续步骤，具体的执行过程可参照上述实施例，此处不作赘述。
若存在，则执行步骤E：从所述实时视频中提取出音频数据；
此时，步骤S30包括：将所述音频数据通过第一数据通道发送至所述VR服务器，并将所述基础图像和所述变化图像序列通过第二数据通道发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述音频数据、所述基础图像和所述变化图像序列进行视频直播。
若实时视频中存在音频内容，则从实时视频中提取出音频数据，然后，对实时视频中的视频数据进行处理，得到对应的基础图像和变化图像序列，进而在传输时，可将音频数据通过第一数据通道发送至VR服务器，并将基础图像和变化图像序列通过第二数据通道发送至VR服务器，以供第二VR设备从VR服务器获取音频数据、基础图像和变化图像序列进行视频直播。可以理解，在音频数据传输前，也可以对音频数据进行编码传输，以便于音频数据的传输。
本实施例中，通过不同的数据通道来分别传输实时视频中的音频数据和视频数据中的基础图像和变化图像，可提高传输效率，使得音频数据和视频数据较快地传输至VR服务器，进而传输至第二VR设备，减少第二VR设备在播放视频时的卡顿现象，可有效提升用户体验。
本发明还提供一种视频直播系统，该视频直播系统包括第一VR设备、VR服务器和第二VR设备。
其中，所述第一VR设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频直播程序，所述视频直播程序被所述处理器执行时实现如以上任一项实施例所述的视频直播方法的步骤。
本发明视频直播装置的具体实施例与上述视频直播方法各实施例基本相同，在此不作赘述。
所述VR服务器，用于在接收到所述第一VR设备发送的视频数据时，将所述视频数据发送至所述第二VR设备。
所述第二VR设备，用于从所述VR服务器获取视频数据，并获取所述视频数据中的变化图像序列；
检测所述视频数据中是否包括基础图像；
若所述视频数据中包括基础图像，则获取所述基础图像，对所述基础图像和所述变化图像序列进行合成，得到第一合成视频，并播放所述第一合成视频，以进行视频直播。
进一步地，所述第二VR设备还用于：若所述视频数据中不包括基础图像，则获取上一基础图像，对所述上一基础图像和所述变化图像序列进行合成，得到第二合成视频，并播放所述第二合成视频，以进行视频直播。
在本实施例中，VR服务器用于接收第一VR设备发送的视频数据，进而传输至第二VR设备，以供第二VR设备基于该视频数据合成直播视频，并进行视频直播。具体的，第二VR设备在从VR服务器中获取到视频数据时，获取视频数据中的变化图像序列，并检测视频数据中是否包括基础图像，若视频数据中包括基础图像，则获取该基础图像，然后，对该基础图像和变化图像序列进行合成，得到第一合成视频，并播放第一合成视频，以进行视频直播。若视频数据中不包括基础图像，则说明基础图像未变，此时获取上一基础图像，对上一基础图像和变化图像序列进行合成，得到第二合成视频，并播放第二合成视频，以进行视频直播。其中，在视频合成过程中，是将基础图像分别(基础图像或上一基础图像)与变化图像序列中的各变化图像进行叠加合并，以得到对应的完整图像序列，进而转成视频。
进一步地，若视频数据中还包括音频数据，则将音频数据与上述合成视频同时进行播放，以进行直播。此外，需要说明的是，若接收到基础图像，可将上一基础图像替换为该基础图像，即删除上一基础图像，以节省第二VR设备的存储空间。
在本实施例中，构建了一视频直播系统，该视频直播系统包括第一VR设备、VR服务器和第二VR设备，其中，该第一VR设备用于定时获取预设时间内采集的实时视频，然后，对该实时视频进行处理，得到实时视频对应的基础图像和变化图像序列；进而将基础图像和变化图像序列发送至VR服务器，此时，VR服务器在接收到该基础图像和变化图像序列时，将基础图像和变化图像序列发送至第二VR设备；第二VR设备在从VR服务器获取到基础图像和变化图像序列之后，对基础图像和变化图像序列进行叠加合成，得到合成视频，并播放该合成视频，以进行视频直播。通过上述方式，可智能识别实时视频中的基础图像(即固定部分的图像)和变化图像序列，进而上传至VR服务器，以供第二VR设备从VR服务器获取基础图像和变化图像序列进行视频直播，相比于现有技术中直接将实时视频传输至VR服务器，本发明实施例可大大减少数据传输量，从而可大大节省带宽资源，使得采集到的实时视频以基础图像和变化图像序列的形式较快地传输至VR服务器，进而传输至第二VR设备，减少第二VR设备在播放视频时的卡顿现象，可有效提升用户体验。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有视频直播程序，所述视频直播程序被处理器执行时实现如以上任一项实施例所述的视频直播方法的步骤。
本发明计算机可读存储介质的具体实施例与上述视频直播方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视频直播方法，其特征在于，应用于视频直播系统，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备，所述视频直播方法包括以下步骤：
所述第一VR设备定时获取预设时间内采集的实时视频；
对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列；
将所述变化图像序列输入至预设图像分类模型，得到图像分类结果；
根据所述图像分类结果确定目标标记方式，并采用所述目标标记方式对所述变化图像序列进行标记；
将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播，其中，将所述基础图像和经标记的变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述经标记的变化图像序列进行视频直播。
2.如权利要求1所述的视频直播方法，其特征在于，所述对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列的步骤包括：
对所述实时视频进行分帧处理，得到视频图像序列；
将所述视频图像序列中的各视频图像之间进行比对，并根据比对结果得到目标变化区域；
从所述视频图像中提取除所述目标变化区域外的图像，作为基础图像，并从各视频图像中提取所述目标变化区域对应的图像，作为变化图像序列。
3.如权利要求1所述的视频直播方法，其特征在于，所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤之前，还包括：
获取上一基础图像，并获取所述上一基础图像与所述基础图像之间的相似度值；
判断所述相似度值是否在预设阈值范围内；
若否，则执行步骤：将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播；
若是，则将所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述变化图像序列和所述上一基础图像进行视频直播。
4.如权利要求1所述的视频直播方法，其特征在于，所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤包括：
按视频图像顺序对所述变化图像序列进行编码，生成视频数据流；
将所述基础图像和所述视频数据流发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述视频数据流进行视频直播。
5.如权利要求1至4中任一项所述的视频直播方法，其特征在于，所述对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列的步骤之前，还包括：
检测所述实时视频中是否存在音频内容；
若不存在，则执行步骤：对所述实时视频进行处理，得到所述实时视频对应的基础图像和变化图像序列。
6.如权利要求5所述的视频直播方法，其特征在于，所述检测所述实时视频中是否存在音频内容的步骤之后，还包括：
若存在，则从所述实时视频中提取出音频数据；
所述将所述基础图像和所述变化图像序列发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述基础图像和所述变化图像序列进行视频直播的步骤包括：
将所述音频数据通过第一数据通道发送至所述VR服务器，并将所述基础图像和所述变化图像序列通过第二数据通道发送至所述VR服务器，以供所述第二VR设备从所述VR服务器获取所述音频数据、所述基础图像和所述变化图像序列进行视频直播。
7.一种视频直播系统，其特征在于，所述视频直播系统包括第一VR设备、VR服务器和第二VR设备；其中，
所述第一VR设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频直播程序，所述视频直播程序被所述处理器执行时实现如权利要求1至6中任一项所述的视频直播方法的步骤；
所述VR服务器，用于在接收到所述第一VR设备发送的视频数据时，将所述视频数据发送至所述第二VR设备，其中，所述VR服务器，用于接收所述第一VR设备将所述变化图像序列输入至预设图像分类模型，得到图像分类结果；根据所述图像分类结果确定目标标记方式，并采用所述目标标记方式对所述变化图像序列进行标记后发送的所述基础图像和经标记的变化图像序列；
所述第二VR设备，用于从所述VR服务器获取视频数据，并获取所述视频数据中的变化图像序列，其中，获取所述基础图像和所述经标记的变化图像序列；
检测所述视频数据中是否包括基础图像；
若所述视频数据中包括基础图像，则获取所述基础图像，对所述基础图像和所述变化图像序列进行合成，得到第一合成视频，并播放所述第一合成视频，以进行视频直播。
8.如权利要求7所述的视频直播系统，其特征在于，所述第二VR设备还用于：
若所述视频数据中不包括基础图像，则获取上一基础图像，对所述上一基础图像和所述变化图像序列进行合成，得到第二合成视频，并播放所述第二合成视频，以进行视频直播，其中，获取上一基础图像，对所述上一基础图像和所述经标记的变化图像序列进行合成，得到第二合成视频。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频直播程序，所述视频直播程序被处理器执行时实现如权利要求1至6中任一项所述的视频直播方法的步骤。
CN201911425526.3A 2019-12-31 2019-12-31 视频直播方法、系统及计算机可读存储介质 Active CN111131852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911425526.3A CN111131852B (zh) 2019-12-31 2019-12-31 视频直播方法、系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911425526.3A CN111131852B (zh) 2019-12-31 2019-12-31 视频直播方法、系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111131852A CN111131852A (zh) 2020-05-08
CN111131852B true CN111131852B (zh) 2021-12-07

Family

ID=70507215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911425526.3A Active CN111131852B (zh) 2019-12-31 2019-12-31 视频直播方法、系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111131852B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131419A (zh) * 2020-08-17 2020-12-25 浙江大华技术股份有限公司 图像档案的合并方法、装置、电子设备和存储介质
CN116456124B (zh) * 2023-06-20 2023-08-22 上海宝玖数字科技有限公司 高延时网络状态下的直播信息展示方法、系统及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037205A (zh) * 2012-12-14 2013-04-10 广东威创视讯科技股份有限公司 视频传输方法和系统
CN106714007A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种视频摘要方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008273171A (ja) * 2007-04-04 2008-11-13 Seiko Epson Corp 情報処理方法、情報処理装置及びプログラム
US10674230B2 (en) * 2010-07-30 2020-06-02 Grab Vision Group LLC Interactive advertising and marketing system
WO2012094564A1 (en) * 2011-01-06 2012-07-12 Veveo, Inc. Methods of and systems for content search based on environment sampling
CN102724492B (zh) * 2012-06-28 2015-06-03 广东威创视讯科技股份有限公司 视频图像传输、播放方法和系统
CN103037206B (zh) * 2012-12-14 2016-05-18 广东威创视讯科技股份有限公司 视频传输方法和系统
CN103475877B (zh) * 2013-09-05 2016-08-24 广东威创视讯科技股份有限公司 视频传输方法和系统
CN104751175B (zh) * 2015-03-12 2018-12-14 西安电子科技大学 基于增量支持向量机的sar图像多类标场景分类方法
CN105979383B (zh) * 2016-06-03 2019-04-30 北京小米移动软件有限公司 图像获取方法及装置
CN107800946A (zh) * 2016-09-02 2018-03-13 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN106487808A (zh) * 2016-11-21 2017-03-08 武汉斗鱼网络科技有限公司 一种直播视频动态上传方法及系统
CN110166764B (zh) * 2018-02-14 2022-03-01 阿里巴巴集团控股有限公司 虚拟现实vr直播中的视角同步方法及装置
CN108985032B (zh) * 2018-06-12 2021-03-12 Oppo广东移动通信有限公司 终端控制方法、装置以及移动终端
CN109583336A (zh) * 2018-11-16 2019-04-05 北京中竞鸽体育文化发展有限公司 一种建立运动物体模型的方法及装置
CN109618111B (zh) * 2018-12-28 2021-04-02 北京亿幕信息技术有限公司 云剪多渠道分发系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037205A (zh) * 2012-12-14 2013-04-10 广东威创视讯科技股份有限公司 视频传输方法和系统
CN106714007A (zh) * 2016-12-15 2017-05-24 重庆凯泽科技股份有限公司 一种视频摘要方法及装置

Also Published As

Publication number Publication date
CN111131852A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN108154086B (zh) 一种图像提取方法、装置及电子设备
CN108124194B (zh) 一种视频直播方法、装置及电子设备
KR100516638B1 (ko) 화상 통신 시스템
Ries et al. Video Quality Estimation for Mobile H. 264/AVC Video Streaming.
CN111988658B (zh) 视频生成方法及装置
CN111954052B (zh) 显示弹幕信息的方法、计算机设备及可读存储介质
CN111131852B (zh) 视频直播方法、系统及计算机可读存储介质
US10115127B2 (en) Information processing system, information processing method, communications terminals and control method and control program thereof
KR101999607B1 (ko) 영상의 출력 특성 조정을 위한 방법 및 장치
CN104135671A (zh) 电视视频内容互动问答方法
WO2019184822A1 (zh) 多媒体文件处理方法和装置、存储介质及电子装置
CN111954053A (zh) 获取蒙版帧数据的方法、计算机设备及可读存储介质
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
CN112135155B (zh) 音视频的连麦合流方法、装置、电子设备及存储介质
CN103517135A (zh) 一种连续播放mp4格式视频文件的方法、系统及电视
CN108932254A (zh) 一种相似视频的检测方法、设备、系统及存储介质
CN109525852B (zh) 直播视频流处理方法、装置、系统及计算机可读存储介质
CN111031032A (zh) 云端视频转码方法及装置、解码方法及装置、及电子设备
CN106664432B (zh) 多媒体信息播放方法及系统、采集设备、标准化服务器
CN109672932B (zh) 辅助视力障碍者观看视频的方法、系统、设备及存储介质
WO2011134373A1 (zh) 多路视频同步传输方法、装置及系统
CN111008287A (zh) 音视频处理方法、装置、服务器及存储介质
CN113593587B (zh) 语音分离方法及装置、存储介质、电子装置
CN113269140B (zh) 图像处理方法与装置、存储介质、电子设备
JP6340675B1 (ja) オブジェクト抽出装置、オブジェクト認識システム及びメタデータ作成システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201010

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221213

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right