CN113225570B - 基于全局虚拟数据视图的播放处理方法及相关设备 - Google Patents

基于全局虚拟数据视图的播放处理方法及相关设备 Download PDF

Info

Publication number
CN113225570B
CN113225570B CN202110354250.5A CN202110354250A CN113225570B CN 113225570 B CN113225570 B CN 113225570B CN 202110354250 A CN202110354250 A CN 202110354250A CN 113225570 B CN113225570 B CN 113225570B
Authority
CN
China
Prior art keywords
video stream
audio
course
playing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110354250.5A
Other languages
English (en)
Other versions
CN113225570A (zh
Inventor
刘胜强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Eaglesoul Technology Co Ltd
Original Assignee
Shenzhen Eaglesoul Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Eaglesoul Technology Co Ltd filed Critical Shenzhen Eaglesoul Technology Co Ltd
Priority to CN202110354250.5A priority Critical patent/CN113225570B/zh
Publication of CN113225570A publication Critical patent/CN113225570A/zh
Application granted granted Critical
Publication of CN113225570B publication Critical patent/CN113225570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23103—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion using load balancing strategies, e.g. by placing or distributing content on different disks, different memories or different servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及在线教育领域，公开了一种基于全局虚拟数据视图的播放处理方法及相关设备，用于提高课程音视频流的播放流畅度，并减少在线教育中流媒体数据传输时的延迟时长。基于全局虚拟数据视图的播放处理方法包括：接收课程音视频流访问请求；根据课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；基于目标流媒体服务器按照课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址；当终端无插件播放目标课程音视频流时，获取用户的课程交互行为数据和交互结果数据，并实时监测和处理目标课程音视频流的异常播放状态。

Description

基于全局虚拟数据视图的播放处理方法及相关设备
技术领域
本发明涉及在线教育领域，尤其涉及一种基于全局虚拟数据视图的播放处理方法及相关设备。
背景技术
课程音视频流属于一种流媒体数据，是指以流方式在网络中传送的课程音频和/或课程视频的媒体形式。用户能够通过在线教育实现直播、点播或回看课程音视频流。
但是在现有的在线教育中，由于课程音视频流的检索效率低和网络传输速度不稳定的限制，导致在课程音视频流播放过程中，存在课程音视频流的播放卡顿，以及增加流媒体数据传输时延迟时长的问题。
发明内容
本发明提供了一种基于全局虚拟数据视图的播放处理方法及相关设备，用于提高课程音视频流的播放流畅度，并减少在线教育中流媒体数据传输时的延迟时长。
为实现上述目的，本发明第一方面提供了一种基于全局虚拟数据视图的播放处理方法，包括：接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源；根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态。
一种可行的实施方式中，所述根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器，包括：解析所述课程音视频流访问请求，得到用户标识和课程音视频流的标识值；根据所述用户标识和所述课程音视频流的标识值判断用户是否已付费请求访问的课程音视频流；若用户未付费请求访问的课程音视频流，则对所述请求访问的课程音视频流生成支付信息，将所述支付信息发送至终端，以使得所述终端按照所述支付信息提示所述用户按照预设的支付方式对所述请求访问的课程音视频流进行观看付费；若用户已付费请求访问的课程音视频流，则根据所述用户标识、所述课程音视频流的标识值和第一全局虚拟数据视图生成视图查询语句，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息；获取数据库连接信息，按照所述数据库连接信息与预设视图数据库建立连接，得到连接结果；当所述连接结果为连接成功时，执行所述视图查询语句，得到查询结果，基于所述查询结果中的网络负载状态信息确定目标流媒体服务器，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
一种可行的实施方式中，所述基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息，包括：获取所述目标流媒体服务器对应的网络地址信息，并根据所述网络地址信息将所述课程音视频流访问请求转发至所述目标流媒体服务器；对所述课程音视频流访问请求进行参数解析与参数验证，得到终端地址、课程音视频流的标识值和播放参数信息，所述播放参数信息包括播放协议、播放码率和播放分辨率；按照所述课程音视频流的标识值和所述播放参数信息检索第二全局虚拟数据视图，得到检索结果，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；当所述检索结果不为空值时，确定所述检索结果为音视频流播放地址，所述音视频流播放地址是指与所述播放协议、所述播放码率和所述播放分辨率相匹配的播放链接。
一种可行的实施方式中，所述将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中，包括：按照所述终端地址向终端发送所述课程音视频流访问请求对应的响应报文，所述响应报文包括状态码和所述音视频流播放地址，所述状态码用于指示所述课程音视频流访问请求是否调用成功；当所述状态码为预设值时，根据预设的网络通信协议在所述终端与所述目标流媒体服务器之间建立流传输协议连接通道，并按照所述音视频流播放地址从所述目标流媒体服务器中提取对应的目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；通过所述流传输协议连接通道向所述终端发送所述目标课程音视频流，以使得所述终端对所述目标课程音视频流进行解码后，通过预设的播放对象进行音视频播放。
一种可行的实施方式中，所述当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态，包括：当所述目标课程音视频流被播放时，接收并记录用户的课程交互行为数据，并根据所述用户的课程交互行为数据确定交互行为类型，所述用户的课程交互行为数据包括文字交互数据、音频交互数据和视频交互数据，所述交互行为类型包括文字交互类型、语音交互类型和视频交互类型；当所述交互行为类型为所述文字交互类型时，通过预设的意图分类和实体识别模型对所述文字交互数据进行在线文字意图识别，得到第一意图数据；当所述交互行为类型为所述语音交互类型时，通过预设的语音文字转换模型将所述语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对所述待识别文字数据进行在线文字意图识别，得到第二意图数据；当所述交互行为类型为所述视频交互类型时，通过预设的卷积网络模型对所述视频交互数据进行微表情识别，得到第三意图数据；按照所述第一意图数据、所述第二意图数据或所述第三意图数据分别搜索匹配预设意图数据库，得到交互结果数据，并向所述终端发送所述交互结果数据；当检测到所述目标课程音视频流存在画面卡顿或音频衔接不良时，确定目标课程音视频流的播放状态存在异常，并在所述终端提示所述用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。
一种可行的实施方式中，在所述接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源之前，所述基于全局虚拟数据视图的播放处理方法还包括：获取用户的人脸图像信息，根据预设数据库中的人脸识别信息对所述用户的人脸图像信息进行识别，得到识别结果；根据所述识别结果确定用户的课程访问权限，所述用户的课程访问权限用于指示终端是否具有发送课程音视频流访问请求的权限。
一种可行的实施方式中，在所述当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态之后，所述基于全局虚拟数据视图的播放处理方法还包括：同步记录所述目标课程音视频流对应的播放总时长；根据所述播放总时长进行计费结算，得到目标费用信息，从用户的预存费用信息中扣除所述目标费用信息，并将所述目标费用信息更新至预设的用户消费行为画像中。
本发明第二方面提供了一种基于全局虚拟数据视图的播放处理装置，包括：接收模块，用于接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源；查询模块，用于根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；检索模块，用于基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；播放模块，用于将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；处理模块，用于当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态。
一种可行的实施方式中，所述查询模块具体用于：解析所述课程音视频流访问请求，得到用户标识和课程音视频流的标识值；根据所述用户标识和所述课程音视频流的标识值判断用户是否已付费请求访问的课程音视频流；若用户未付费请求访问的课程音视频流，则对所述请求访问的课程音视频流生成支付信息，将所述支付信息发送至终端，以使得所述终端按照所述支付信息提示所述用户按照预设的支付方式对所述请求访问的课程音视频流进行观看付费；若用户已付费请求访问的课程音视频流，则根据所述用户标识、所述课程音视频流的标识值和第一全局虚拟数据视图生成视图查询语句，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息；获取数据库连接信息，按照所述数据库连接信息与预设视图数据库建立连接，得到连接结果；当所述连接结果为连接成功时，执行所述视图查询语句，得到查询结果，基于所述查询结果中的网络负载状态信息确定目标流媒体服务器，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
一种可行的实施方式中，所述检索模块具体用于：获取所述目标流媒体服务器对应的网络地址信息，并根据所述网络地址信息将所述课程音视频流访问请求转发至所述目标流媒体服务器；对所述课程音视频流访问请求进行参数解析与参数验证，得到终端地址、课程音视频流的标识值和播放参数信息，所述播放参数信息包括播放协议、播放码率和播放分辨率；按照所述课程音视频流的标识值和所述播放参数信息检索第二全局虚拟数据视图，得到检索结果，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；当所述检索结果不为空值时，确定所述检索结果为音视频流播放地址，所述音视频流播放地址是指与所述播放协议、所述播放码率和所述播放分辨率相匹配的播放链接。
一种可行的实施方式中，所述播放模块具体用于：按照所述终端地址向终端发送所述课程音视频流访问请求对应的响应报文，所述响应报文包括状态码和所述音视频流播放地址，所述状态码用于指示所述课程音视频流访问请求是否调用成功；当所述状态码为预设值时，根据预设的网络通信协议在所述终端与所述目标流媒体服务器之间建立流传输协议连接通道，并按照所述音视频流播放地址从所述目标流媒体服务器中提取对应的目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；通过所述流传输协议连接通道向所述终端发送所述目标课程音视频流，以使得所述终端对所述目标课程音视频流进行解码后，通过预设的播放对象进行音视频播放。
一种可行的实施方式中，所述处理模块具体用于：当所述目标课程音视频流被播放时，接收并记录用户的课程交互行为数据，并根据所述用户的课程交互行为数据确定交互行为类型，所述用户的课程交互行为数据包括文字交互数据、音频交互数据和视频交互数据，所述交互行为类型包括文字交互类型、语音交互类型和视频交互类型；当所述交互行为类型为所述文字交互类型时，通过预设的意图分类和实体识别模型对所述文字交互数据进行在线文字意图识别，得到第一意图数据；当所述交互行为类型为所述语音交互类型时，通过预设的语音文字转换模型将所述语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对所述待识别文字数据进行在线文字意图识别，得到第二意图数据；当所述交互行为类型为所述视频交互类型时，通过预设的卷积网络模型对所述视频交互数据进行微表情识别，得到第三意图数据；按照所述第一意图数据、所述第二意图数据或所述第三意图数据分别搜索匹配预设意图数据库，得到交互结果数据，并向所述终端发送所述交互结果数据；当检测到所述目标课程音视频流存在画面卡顿或音频衔接不良时，确定目标课程音视频流的播放状态存在异常，并在所述终端提示所述用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。
一种可行的实施方式中，所述基于全局虚拟数据视图的播放处理装置还包括：识别模块，用于获取用户的人脸图像信息，根据预设数据库中的人脸识别信息对所述用户的人脸图像信息进行识别，得到识别结果；确定模块，用于根据所述识别结果确定用户的课程访问权限，所述用户的课程访问权限用于指示终端是否具有发送课程音视频流访问请求的权限。
一种可行的实施方式中，所述基于全局虚拟数据视图的播放处理装置还包括：记录模块，用于同步记录所述目标课程音视频流对应的播放总时长；计费模块，用于根据所述播放总时长进行计费结算，得到目标费用信息，从用户的预存费用信息中扣除所述目标费用信息，并将所述目标费用信息更新至预设的用户消费行为画像中。
本发明第三方面提供了一种基于全局虚拟数据视图的播放处理系统，包括：服务器、流媒体服务器集群和终端；所述服务器与所述流媒体服务器集群和所述终端网络连接；所述服务器包括接口通信组件、数据处理组件和数据存储模块；其中，所述接口通信组件，用于接收所述终端传输的数据；所述数据处理组件，用于根据所述终端传输的数据进行数据检索和用户行为数据分析，并对流媒体服务器集群中的流媒体数据进行流式传输处理；所述数据存储模块，用于通过全局虚拟数据视图存储各流媒体服务器的地址信息、多个课程音视频流的播放信息和用户交互行为数据，所述用户交互行为数据包括文字交互数据、语音交互数据和视频交互数据；所述流媒体服务器集群，用于存储多个课程音视频流，并按照各课程音视频流的播放信息传输各课程音视频流；所述终端包括触摸输入组件、语音输入组件、图像采集组件和播放组件；其中，所述触摸输入组件，用于将用户输入的课程音视频流播放请求和所述文字交互数据发送至所述服务器；所述语音输入组件，用于采集用户的语音交互数据，并将所述语音交互数据发送至所述服务器；所述图像采集组件，用于采集用户的视频交互数据，并将所述视频交互数据发送至所述服务器；所述播放组件，用于无插件解码播放所述流媒体服务器集群传输的课程音视频流，实时监测和调整课程音视频流的播放状态，实时监测和调整课程音视频流的播放状态，并实时显示与所述用户交互行为数据对应的交互结果数据。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于全局虚拟数据视图的播放处理方法。
本发明提供的技术方案中，接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源；根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态。本发明实施例中，根据课程音视频流访问请求分别检索第一全局虚拟数据视图和第二全局虚拟数据视图，提高了流媒体服务器处理课程音视频流的效率；当终端无插件播放目标课程音视频流播放时，实现用户在线教育交互操作，并实时监测和处理目标课程音视频流的异常播放状态，提高了课程音视频流的播放流畅度，并减少了在线教育中流媒体数据传输时的延迟时长。
附图说明
图1为本发明实施例中基于全局虚拟数据视图的播放处理方法的一个实施例示意图；
图2为本发明实施例中基于全局虚拟数据视图的播放处理方法的另一个实施例示意图；
图3为本发明实施例中基于全局虚拟数据视图的播放处理装置的一个实施例示意图；
图4为本发明实施例中基于全局虚拟数据视图的播放处理装置的另一个实施例示意图；
图5为本发明实施例中基于全局虚拟数据视图的播放处理系统的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于全局虚拟数据视图的播放处理方法及相关设备，用于提高课程音视频流的播放流畅度，并减少在线教育中流媒体数据传输时的延迟时长。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或系统不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或系统固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于全局虚拟数据视图的播放处理方法的一个实施例包括：
101、接收课程音视频流访问请求，课程音视频流访问请求用于指示在线直播或点播课程资源。
其中，课程音视频流访问请求可以包括用户标识，也可以包括终端地址和课程音视频流的标示值，还可以包括播放时刻节点、播放码率和播放格式，具体此处不做限定。用户标识和终端地址为一对多的关系，也就是，用户可以在不同的终端访问并播放课程音视频流，终端可以为移动手机，也可以为平板电脑，具体此处不做限定。
需要说明的是，在线点播课程资源包括预先审核通过并分布式存储于流媒体服务器集群中的音频流和/或视频流等流媒体资源。具体的，服务器预先接收终端上传的初始课程资源（也为初始课程资源文件）和资源类型，资源类型采用分级分类方式进行课程类别标识，例如，终端上传的初始课程资源为名师课堂->中考数学，则资源类型为class_math，资源类型的命名格式可以包括英文字符、下划线和数字，具体此处不做限定；服务器对终端上传的初始课程资源进行音视频压缩和码率转换处理，得到目标课程资源文件（包括目标课程音视频流）；服务器按照资源类型将目标课程资源文件分片存储至预设的数据库中，并按照预设的存储规则将目标课程资源文件分发到流媒体服务器集群中，进一步地，服务器对目标课程资源文件设置对应的播放链接，并对目标课程资源文件对应的播放链接进行存储。其中，按照预设的存储规则用于指示按照区域划分存储的流媒体服务器集群。
进一步地，服务器根据目标课程资源文件和流媒体服务器集群构建第一全局虚拟数据视图和第二全局虚拟数据视图，第一全局虚拟数据视图和第二全局虚拟数据视图（例如，服务器对目标课程资源文件对应的播放链接抽取至第二全局虚拟数据视图）均存储在相同的数据库中，相同的数据库可以为关系型数据库，也可以为分布式文件存储的数据库，例如，mongodb，具体此处不做限定。在线直播课程资源的信息也预先分发存储至第一全局虚拟数据视图和第二全局虚拟数据视图中。第一全局虚拟数据视图和第二全局虚拟数据视图可以对不同类型数据库中字段命名不一致的数据表进行数据映射，并在更换数据库或者数据表时，仅对第一全局虚拟数据视图和第二全局虚拟数据视图的字段映射关系进行转换处理，服务器与第一全局虚拟数据视图和第二全局虚拟数据视图之间的接口调用处理过程保持不变，提高了业务维护效率和开发效率。
可以理解的是，本发明的执行主体可以为基于全局虚拟数据视图的播放处理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
102、根据课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
具体的，服务器解析课程音视频流访问请求，得到用户标识和课程音视频流的标识值；服务器基于用户标识和课程音视频流的标识值对第一全局虚拟数据视图进行数据读取操作，得到多个流媒体服务器，并从多个流媒体服务器中筛选出心跳正常，且网络负载小的目标流媒体服务器。也就是，服务器基于第一全局虚拟数据视图进行负载均衡处理，降低了在线教育中课程音视频流访问请求的网络负载，提高了流媒体数据的传输效率和业务响应速度。
需要说明的是，服务器定时对流媒体服务器集群中的各流媒体服务器的网络负载状态和心跳状态进行检测，得到各流媒体服务器的网络负载状态信息和心跳状态信息，并将各流媒体服务器进行的网络负载状态信息和心跳状态信息存储至各流媒体服务器对应的预设数据表中，各流媒体服务器对应的预设数据表的字段定义可以一致，也可以不一致，具体此处不做限定。服务器对各流媒体服务器对应的预设数据表进行数据挖掘、数据清洗和数据转换处理后，得到第一全局虚拟数据视图，该第一全局虚拟数据视图中的数据与各流媒体服务器对应的预设数据表的字段值保持一致，并随着各流媒体服务器对应的预设数据表中字段值的变化而动态更新。
103、基于目标流媒体服务器按照课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息。
其中，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息，播放列表信息包括课程标识、课程简介信息和音视频流播放地址等，音视频流播放地址用于指示预先按照播放码率和播放协议对相同课程音视频流设置的多个统一资源定位器（uniformresource locator，URL），也就是播放链接，第二全局虚拟数据视图中的数据为按照预设的统一标准从多个预设数据表中映射的各字段值。
具体的，服务器获取目标流媒体服务器的网络地址信息，该网络地址信息可以为媒体存取控制地址（media access control address，MAC），也可以为网际协议地址（internet protocol address，IP），并在MAC地址或者IP地址的基础上，还可以包括端口号，具体此处不做限定。服务器根据目标流媒体服务器的网络地址信息将课程音视频流访问请求转发至目标流媒体服务器，并在目标流媒体服务器中，服务器按照课程音视频流访问请求查询第二全局虚拟数据视图，得到音视频流播放地址。例如，服务器获取的音视频流播放地址为http://xx.xx.xx.xx/content/vod_1.mp4。
104、将音视频流播放地址对应的目标课程音视频流推送至终端，以使得终端无插件播放目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中。
具体的，服务器根据音视频流播放地址向目标流媒体服务器发送音视频流播放请求；服务器按照从目标流媒体服务器中拉流目标课程音视频流；服务器按照音视频流播放请求发送路径的反方向将目标课程音视频流传输至终端，以使得终端按照播放协议无插件播放目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中，其中，播放协议可以包括超文本传输协议（hyperText transfer protocol，HTTP），也可以包括全双工通信的协议websocket，还可以包括其他协议，具体此处不做限定。
进一步，服务器还可以通过预设的在线切片方式对目标课程音视频流进行转码或解码，用于降低课程音视频流的存储占用空间。
105、当目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照交互行为类型对课程交互行为数据分配交互结果数据，将交互结果数据发送至终端，并实时监测和处理目标课程音视频流的异常播放状态。
其中，在终端无插件播放目标流媒体数据过程中，用户的课程交互行为数据来源于用户的课程学习场景、课程测试场景和课程评价场景等，具体此处不做限定。具体的，当目标课程音视频流被播放时，服务器获取用户的课程交互行为数据，该用户的课程交互行为数据可以包括文字交互数据、语音交互数据和视频交互数据，并根据用户的课程交互行为数据确定交互行为类型；服务器按照交互行为类型对课程交互行为数据进行匹配识别，得到交互结果数据；服务器将交互结果数据发送至终端，以使得终端向用户实时显示交互结果数据；服务器实时监测目标课程音视频流的播放状态，当目标课程音视频流的播放状态存在异常时，服务器还可以依据终端的当前网络传输速率，确定目标流媒体数据对应的最优码率，并按照最优码率确定相匹配的流媒体数据和播放链接，以使得终端相匹配的播放链接播放相匹配的流媒体数据，以便于提高流媒体数据的播放速度和播放流畅度。
进一步地，服务器还可以对用户进行人脸识别，当检测到用户不是注册用户时，服务器停止播放目标课程音视频流。
本发明实施例中，根据课程音视频流访问请求分别检索第一全局虚拟数据视图和第二全局虚拟数据视图，提高了流媒体服务器处理课程音视频流的效率；当终端无插件播放目标课程音视频流播放时，实现用户在线教育交互操作，并实时监测和处理目标课程音视频流的异常播放状态，提高了课程音视频流的播放流畅度，并减少了在线教育中流媒体数据传输时的延迟时长。
请参阅图2，本发明实施例中基于全局虚拟数据视图的播放处理方法的另一个实施例包括：
201、接收课程音视频流访问请求，课程音视频流访问请求用于指示在线直播或点播课程资源。
该步骤201的执行过程与步骤101的执行过程相似，具体此处不再赘述。
可选的，在该步骤201之前，服务器获取用户的人脸图像信息，根据预设数据库中的人脸识别信息对用户的人脸图像信息进行识别，得到识别结果，识别结果包括识别成功和识别失败；根据识别结果确定用户的课程访问权限，用户的课程访问权限用于指示终端是否具有发送课程音视频流访问请求的权限。进一步地，当终端具有发送课程音视频流访问请求的权限时，服务器执行步骤202；当终端不具有发送课程音视频流访问请求的权限时，服务器生成提示信息，并将提示信息发送至终端，以使得终端向用户展示提示信息，提示信息用于指示用户的身份信息存在异常，重新对用户进行人脸识别检测或者确认用户的注册信息。
202、根据课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
需要说明的是，第一全局虚拟数据视图用于指示周期性从流媒体服务器集群中采集网络负载状态信息和心跳状态信息的虚拟视图。具体的，服务器启动流媒体服务器集群；服务器周期性收集流媒体服务器集群中各流媒体服务器的网络负载状态信息，并基于各流媒体服务器的网络负载状态信息的更新频率确定各流媒体服务器的心跳状态信息。例如，各流媒体服务器的网络负载状态信息的更新频率为一分钟更新一次数据，也可以为3分钟更新一次数据，具体此处不做限定。第一全局虚拟数据视图中包括更新时刻，服务器获取当前时刻，并计算更新时刻和当前时刻的时刻差值，当时刻差值在更新频率之内时，服务器确定目标流媒体服务器的心跳正常。进一步地，第一全局虚拟数据视图可以对心跳正常的流媒体服务器建立数据映射关系。
可选的，服务器解析课程音视频流访问请求，得到用户标识和课程音视频流的标识值，用户标识和课程音视频流的标识值之间存在对应关系；服务器根据用户标识和课程音视频流的标识值判断用户是否已付费请求访问的课程音视频流；若用户未付费请求访问的课程音视频流，则服务器对请求访问的课程音视频流生成支付信息，将支付信息发送至终端，以使得终端按照支付信息提示用户按照预设的支付方式对请求访问的课程音视频流进行观看付费，其中，预设的支付方式可以包括支付宝支付方式、微信支付方式或者银行卡支付方式，具体此处不做限定；若用户已付费请求访问的课程音视频流，则服务器根据用户标识、课程音视频流的标识值和第一全局虚拟数据视图生成视图查询语句，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息；服务器获取数据库连接信息，按照数据库连接信息与预设视图数据库建立连接，得到连接结果，其中，数据库连接信息包括数据库网际协议地址、用户名称和用户密码，第一全局虚拟数据视图生成视图包括字段名称和数据视图名称；当连接结果为连接成功时，服务器执行视图查询语句，得到查询结果，基于查询结果中的网络负载状态信息确定目标流媒体服务器，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
进一步地，当连接结果为连接失败时，服务器按照预设次数重新连接预设视图数据库，并获取连接失败的原因记录至预设的操作日志中，以便于对数据库连接进行运维处理。
203、基于目标流媒体服务器按照课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息。
需要说明的是，第二全局虚拟数据视图可以包括直播音视频流的播放地址，也可以包括点播音视频流的播放地址，其中，点播音视频流的播放地址也可以为直播音视频流的回看播放地址，具体此处不做限定。
可选的，服务器获取目标流媒体服务器对应的网络地址信息，其中，目标流媒体服务器与网络地址信息一一对应，并根据网络地址信息将课程音视频流访问请求转发至目标流媒体服务器；服务器对课程音视频流访问请求进行参数解析与参数验证，得到终端地址、课程音视频流的标识值和播放参数信息，播放参数信息包括播放协议、播放码率和播放分辨率；服务器按照课程音视频流的标识值和播放参数信息检索第二全局虚拟数据视图，得到检索结果，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；当检索结果不为空值时，服务器确定检索结果为音视频流播放地址，音视频流播放地址是指与播放协议、播放码率和播放分辨率相匹配的播放链接。其中，课程音视频流按照预设的播放协议、预设的播放码率和预设的播放分辨率预先设置多个播放链接，并存储于第二全局虚拟数据视图中。
204、将音视频流播放地址对应的目标课程音视频流推送至终端，以使得终端无插件播放目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中。
其中，终端无插件播放目标课程音视频流是指服务器通过全双工通信的协议流式传输目标课程音视频流至终端。可选的，服务器向终端发送课程音视频流访问请求对应的响应报文，响应报文包括状态码和音视频流播放地址，状态码用于指示课程音视频流访问请求是否调用成功，例如，若状态码为200，则表示课程音视频流访问请求调用成功，若状态码为500，则表示课程音视频流访问请求调用失败；当状态码为预设值时，服务器根据预设的网络通信协议在终端与目标流媒体服务器之间建立流传输协议连接通道，并按照音视频流播放地址从目标流媒体服务器中提取对应的目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中, 预设值可以为1，也可以为200，具体此处不做限定；服务器通过流传输协议连接通道（例如，websocket）向终端发送目标课程音视频流，以使得终端对目标课程音视频流进行解码后，通过预设的播放对象进行音视频播放。其中，预设的播放对象可以为超文本传输协议的video对象，提高了流媒体播放效率和播放兼容性。
需要说明的是，目标课程音视频流还可以包括字幕信息，其中，字幕信息对应的时间戳与目标课程音视频流中各帧视频图像的时间戳一致。
205、当目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照交互行为类型对课程交互行为数据分配交互结果数据，将交互结果数据发送至终端，并实时监测和处理目标课程音视频流的异常播放状态。
其中，用户的课程交互行为数据包括文字交互数据、音频交互数据和视频交互数据，当目标课程音视频流被播放时，服务器获取通过终端中触摸输入组件、语音输入组件、图像采集组件分别采集的文字交互数据、音频交互数据和视频交互数据。
可选的，当目标课程音视频流被播放时，服务器接收并记录用户的课程交互行为数据，并根据用户的课程交互行为数据确定交互行为类型，交互行为类型包括文字交互类型、语音交互类型和视频交互类型；当交互行为类型为文字交互类型时，服务器通过预设的意图分类和实体识别模型对文字交互数据进行在线文字意图识别，得到第一意图数据；当交互行为类型为语音交互类型时，服务器通过预设的语音文字转换模型将语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对待识别文字数据进行在线文字意图识别，得到第二意图数据；当交互行为类型为视频交互类型时，服务器通过预设的卷积网络模型对视频交互数据进行微表情识别，得到第三意图数据，其中，微表情包括高兴、悲伤、害怕、愤怒、厌恶、惊讶、轻蔑和悲伤等；服务器按照第一意图数据、第二意图数据或第三意图数据分别搜索匹配预设意图数据库，得到交互结果数据，并向终端发送交互结果数据；当检测到目标课程音视频流存在画面卡顿或音频衔接不良时，服务器确定目标课程音视频流的播放状态存在异常，并在终端提示用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。预设的意图分类和实体识别模型、预设的语音文字转换模型和通过预设的卷积网络模型为预先训练好的模型。例如，终端提示用户当前移动网络信号不佳，以使得用户可以切换无线WIFI播放目标课程音视频流，提高了播放的流畅性。
进一步地，服务器目标课程音视频流的预设直播时长和实时播放时长；并根据预设直播时长和实时播放时长判断在线直播的目标课程音视频流是否卡顿，服务器获取目标码率和转码格式，并按照目标码率和转码格式对目标课程音视频流进行转码分片后，再实时播放转码后的课程音视频流。
206、同步记录目标课程音视频流对应的播放总时长。
具体的，服务器获取目标课程音视频流对应的开始播放时刻，服务器获取目标课程音视频流对应的当前播放时刻，并对当前播放时刻和开始播放时刻进行差运算，得到目标课程音视频流对应的初始播放时长，并按照用户标识和目标课程音视频流关联存储初始播放时长（也可以为目标课程音视频流对应的播放总时长）。
进一步地，服务器获取目标课程音视频流对应的卡顿总时长和暂停播放总时长，当卡顿总时长和/或暂停播放总时长不为0时，服务器将初始播放时长依次减去卡顿总时长和/或暂停播放总时长，得到目标课程音视频流对应的播放总时长。其中，卡顿总时长根据卡顿起始时刻、卡顿结束时刻和卡顿次数确定的，暂停播放总时长为用户在终端发起暂停播放请求后，重新发起播放请求之间的时长。
207、根据播放总时长进行计费结算，得到目标费用信息，从用户的预存费用信息中扣除目标费用信息，并将目标费用信息更新至预设的用户消费行为画像中。
具体的，服务器获取费用规则数据，费用规则数据用于指示按照时、分或秒设置的基础收费数据；服务器根据播放总时长和费用规则数据进行计费结算，得到目标费用信息；服务器从预设的数据库中读取用户的预存费用信息，并从用户的预存费用信息中扣除目标费用信息，服务器将目标费用信息更新至预设的用户消费行为画像中。其中，预设的用户消费行为画像用于指示根据用户的历史消费行为数据构建的用户画像。进一步地，当用户的预存费用信息小于0或者小于目标费用信息时，服务器控制停止播放目标课程音视频流。
本发明实施例中，根据课程音视频流访问请求分别检索第一全局虚拟数据视图和第二全局虚拟数据视图，提高了流媒体服务器处理课程音视频流的效率；当终端无插件播放目标课程音视频流播放时，实现用户在线教育交互操作，并实时监测和处理目标课程音视频流的异常播放状态，提高了课程音视频流的播放流畅度，并减少了在线教育中流媒体数据传输时的延迟时长。
上面对本发明实施例中基于全局虚拟数据视图的播放处理方法进行了描述，下面对本发明实施例中基于全局虚拟数据视图的播放处理装置进行描述，请参阅图3，本发明实施例中基于全局虚拟数据视图的播放处理装置一个实施例包括：
接收模块301，用于接收课程音视频流访问请求，课程音视频流访问请求用于指示在线直播或点播课程资源；
查询模块302，用于根据课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；
检索模块303，用于基于目标流媒体服务器按照课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
播放模块304，用于将音视频流播放地址对应的目标课程音视频流推送至终端，以使得终端无插件播放目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中；
处理模块305，用于当目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照交互行为类型对课程交互行为数据分配交互结果数据，将交互结果数据发送至终端，并实时监测和处理目标课程音视频流的异常播放状态。
本发明实施例中，根据课程音视频流访问请求分别检索第一全局虚拟数据视图和第二全局虚拟数据视图，提高了流媒体服务器处理课程音视频流的效率；当终端无插件播放目标课程音视频流播放时，实现用户在线教育交互操作，并实时监测和处理目标课程音视频流的异常播放状态，提高了课程音视频流的播放流畅度，并减少了在线教育中流媒体数据传输时的延迟时长。
请参阅图4，本发明实施例中基于全局虚拟数据视图的播放处理装置的另一个实施例包括：
接收模块301，用于接收课程音视频流访问请求，课程音视频流访问请求用于指示在线直播或点播课程资源；
查询模块302，用于根据课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；
检索模块303，用于基于目标流媒体服务器按照课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
播放模块304，用于将音视频流播放地址对应的目标课程音视频流推送至终端，以使得终端无插件播放目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中；
处理模块305，用于当目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照交互行为类型对课程交互行为数据分配交互结果数据，将交互结果数据发送至终端，并实时监测和处理目标课程音视频流的异常播放状态。
可选的，查询模块302还可以具体用于：
解析课程音视频流访问请求，得到用户标识和课程音视频流的标识值；
根据用户标识和课程音视频流的标识值判断用户是否已付费请求访问的课程音视频流；
若用户未付费请求访问的课程音视频流，则对请求访问的课程音视频流生成支付信息，将支付信息发送至终端，以使得终端按照支付信息提示用户按照预设的支付方式对请求访问的课程音视频流进行观看付费；
若用户已付费请求访问的课程音视频流，则根据用户标识、课程音视频流的标识值和第一全局虚拟数据视图生成视图查询语句，第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息；
获取数据库连接信息，按照数据库连接信息与预设视图数据库建立连接，得到连接结果；
当连接结果为连接成功时，执行视图查询语句，得到查询结果，基于查询结果中的网络负载状态信息确定目标流媒体服务器，目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
可选的，检索模块303还可以具体用于：
获取目标流媒体服务器对应的网络地址信息，并根据网络地址信息将课程音视频流访问请求转发至目标流媒体服务器；
对课程音视频流访问请求进行参数解析与参数验证，得到终端地址、课程音视频流的标识值和播放参数信息，播放参数信息包括播放协议、播放码率和播放分辨率；
按照课程音视频流的标识值和播放参数信息检索第二全局虚拟数据视图，得到检索结果，第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
当检索结果不为空值时，确定检索结果为音视频流播放地址，音视频流播放地址是指与播放协议、播放码率和播放分辨率相匹配的播放链接。
可选的，播放模块304还可以具体用于：
按照所述终端地址向终端发送课程音视频流访问请求对应的响应报文，响应报文包括状态码和音视频流播放地址，状态码用于指示课程音视频流访问请求是否调用成功；
当状态码为预设值时，根据预设的网络通信协议在终端与目标流媒体服务器之间建立流传输协议连接通道，并按照音视频流播放地址从目标流媒体服务器中提取对应的目标课程音视频流，目标课程音视频流预先被分类存储在目标流媒体服务器中；
通过流传输协议连接通道向终端发送目标课程音视频流，以使得终端对目标课程音视频流进行解码后，通过预设的播放对象进行音视频播放。
可选的，处理模块305还可以具体用于：
当目标课程音视频流播放时，接收并记录用户的课程交互行为数据，并根据用户的课程交互行为数据确定交互行为类型，用户的课程交互行为数据包括文字交互数据、音频交互数据和视频交互数据，交互行为类型包括文字交互类型、语音交互类型和视频交互类型；
当交互行为类型为文字交互类型时，通过预设的意图分类和实体识别模型对文字交互数据进行在线文字意图识别，得到第一意图数据；
当交互行为类型为语音交互类型时，通过预设的语音文字转换模型将语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对待识别文字数据进行在线文字意图识别，得到第二意图数据；
当交互行为类型为视频交互类型时，通过预设的卷积网络模型对视频交互数据进行微表情识别，得到第三意图数据；
按照第一意图数据、第二意图数据或第三意图数据分别搜索匹配预设意图数据库，得到交互结果数据，并向终端发送交互结果数据；
当检测到目标课程音视频流存在画面卡顿或音频衔接不良时，确定目标课程音视频流的播放状态存在异常，并在终端提示用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。
可选的，基于全局虚拟数据视图的播放处理装置还包括：
识别模块306，用于获取用户的人脸图像信息，根据预设数据库中的人脸识别信息对用户的人脸图像信息进行识别，得到识别结果；
确定模块307，用于根据识别结果确定用户的课程访问权限，用户的课程访问权限用于指示终端是否具有发送课程音视频流访问请求的权限。
可选的，基于全局虚拟数据视图的播放处理装置还包括：
记录模块308，用于同步记录目标课程音视频流对应的播放总时长；
计费模块309，用于根据播放总时长进行计费结算，得到目标费用信息，从用户的预存费用信息中扣除目标费用信息，并将目标费用信息更新至预设的用户消费行为画像中。
本发明实施例中，根据课程音视频流访问请求分别检索第一全局虚拟数据视图和第二全局虚拟数据视图，提高了流媒体服务器处理课程音视频流的效率；当终端无插件播放目标课程音视频流播放时，实现用户在线教育交互操作，并实时监测和处理目标课程音视频流的异常播放状态，提高了课程音视频流的播放流畅度，并减少了在线教育中流媒体数据传输时的延迟时长。
上面图3和图4从模块化的角度对本发明实施例中的基于全局虚拟数据视图的播放处理装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于全局虚拟数据视图的播放处理系统进行详细描述。
图5是本发明实施例提供的一种基于全局虚拟数据视图的播放处理系统的结构示意图，该基于全局虚拟数据视图的播放处理系统500可因配置或性能不同而产生比较大的差异，基于全局虚拟数据视图的播放处理系统500可以包括服务器501、流媒体服务器集群502和终端503；服务器501与流媒体服务器集群502和终端503网络连接；服务器501包括接口通信组件5011、数据处理组件5012和数据存储模块5013；其中，接口通信组件5011，用于接收终端503传输的数据；数据处理组件5012，用于根据终端503传输的数据进行数据检索和用户行为数据分析，并对流媒体服务器集群502中的流媒体数据进行流式传输处理；数据存储模块5013，用于通过全局虚拟数据视图存储各流媒体服务器的地址信息、多个课程音视频流的播放信息和用户交互行为数据，用户交互行为数据包括文字交互数据、语音交互数据和视频交互数据；流媒体服务器集群502，用于存储多个课程音视频流，并按照各课程音视频流的播放信息传输各课程音视频流；终端503包括触摸输入组件5031、语音输入组件5032、图像采集组件5033和播放组件5034；其中，触摸输入组件5031，用于将用户输入的课程音视频流播放请求和文字交互数据发送至服务器；语音输入组件5032，用于采集用户的语音交互数据，并将语音交互数据发送至服务器；图像采集组件5033，用于采集用户的视频交互数据，并将视频交互数据发送至服务器；播放组件5034，用于无插件解码播放流媒体服务器集群传输的课程音视频流，并实时显示与用户交互行为数据对应的交互结果数据。
本领域技术人员可以理解，图5示出的基于全局虚拟数据视图的播放处理系统500结构并不构成对基于全局虚拟数据视图的播放处理系统500的限定，可以包括比图示更多或更少的模块，或者组合某些模块，或者不同的模块布置。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于全局虚拟数据视图的播放处理方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于全局虚拟数据视图的播放处理方法，其特征在于，所述基于全局虚拟数据视图的播放处理方法包括：
接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源；
根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；
基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；
当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态；
所述当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态包括：
当所述目标课程音视频流被播放时，接收并记录用户的课程交互行为数据，并根据所述用户的课程交互行为数据确定交互行为类型，所述用户的课程交互行为数据包括文字交互数据、语音交互数据和视频交互数据，所述交互行为类型包括文字交互类型、语音交互类型和视频交互类型；
当所述交互行为类型为所述文字交互类型时，通过预设的意图分类和实体识别模型对所述文字交互数据进行在线文字意图识别，得到第一意图数据；
当所述交互行为类型为所述语音交互类型时，通过预设的语音文字转换模型将所述语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对所述待识别文字数据进行在线文字意图识别，得到第二意图数据；
当所述交互行为类型为所述视频交互类型时，通过预设的卷积网络模型对所述视频交互数据进行微表情识别，得到第三意图数据；
按照所述第一意图数据、所述第二意图数据或所述第三意图数据分别搜索预设意图数据库，得到交互结果数据，并向所述终端发送所述交互结果数据；
当检测到所述目标课程音视频流存在画面卡顿或音频衔接不良时，确定目标课程音视频流的播放状态存在异常，并在所述终端提示所述用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。
2.根据权利要求1所述的基于全局虚拟数据视图的播放处理方法，其特征在于，所述根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器，包括：
解析所述课程音视频流访问请求，得到用户标识和课程音视频流的标识值；
根据所述用户标识和所述课程音视频流的标识值判断用户是否已付费请求访问的课程音视频流；
若用户未付费请求访问的课程音视频流，则对所述请求访问的课程音视频流生成支付信息，将所述支付信息发送至终端，以使得所述终端按照所述支付信息提示所述用户按照预设的支付方式对所述请求访问的课程音视频流进行观看付费；
若用户已付费请求访问的课程音视频流，则根据所述用户标识、所述课程音视频流的标识值和第一全局虚拟数据视图生成视图查询语句，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息；
获取数据库连接信息，按照所述数据库连接信息与预设视图数据库建立连接，得到连接结果；
当所述连接结果为连接成功时，执行所述视图查询语句，得到查询结果，基于所述查询结果中的网络负载状态信息确定目标流媒体服务器，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器。
3.根据权利要求1所述的基于全局虚拟数据视图的播放处理方法，其特征在于，所述基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息，包括：
获取所述目标流媒体服务器对应的网络地址信息，并根据所述网络地址信息将所述课程音视频流访问请求转发至所述目标流媒体服务器；
对所述课程音视频流访问请求进行参数解析与参数验证，得到终端地址、课程音视频流的标识值和播放参数信息，所述播放参数信息包括播放协议、播放码率和播放分辨率；
按照所述课程音视频流的标识值和所述播放参数信息检索第二全局虚拟数据视图，得到检索结果，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
当所述检索结果不为空值时，确定所述检索结果为音视频流播放地址，所述音视频流播放地址是指与所述播放协议、所述播放码率和所述播放分辨率相匹配的播放链接。
4.根据权利要求3所述的基于全局虚拟数据视图的播放处理方法，其特征在于，所述将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中，包括：
按照所述终端地址向终端发送所述课程音视频流访问请求对应的响应报文，所述响应报文包括状态码和所述音视频流播放地址，所述状态码用于指示所述课程音视频流访问请求是否调用成功；
当所述状态码为预设值时，根据预设的网络通信协议在所述终端与所述目标流媒体服务器之间建立流传输协议连接通道，并按照所述音视频流播放地址从所述目标流媒体服务器中提取对应的目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；
通过所述流传输协议连接通道向所述终端发送所述目标课程音视频流，以使得所述终端对所述目标课程音视频流进行解码后，通过预设的播放对象进行音视频播放。
5.根据权利要求1-4中任意一项所述的基于全局虚拟数据视图的播放处理方法，其特征在于，在所述接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源之前，所述基于全局虚拟数据视图的播放处理方法还包括：
获取用户的人脸图像信息，根据预设数据库中的人脸识别信息对所述用户的人脸图像信息进行识别，得到识别结果；
根据所述识别结果确定用户的课程访问权限，所述用户的课程访问权限用于指示终端是否具有发送课程音视频流访问请求的权限。
6.根据权利要求1-4中任意一项所述的基于全局虚拟数据视图的播放处理方法，其特征在于，在所述当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态之后，所述基于全局虚拟数据视图的播放处理方法还包括：
同步记录所述目标课程音视频流对应的播放总时长；
根据所述播放总时长进行计费结算，得到目标费用信息，从用户的预存费用信息中扣除所述目标费用信息，并将所述目标费用信息更新至预设的用户消费行为画像中。
7.一种基于全局虚拟数据视图的播放处理装置，其特征在于，所述基于全局虚拟数据视图的播放处理装置包括：
接收模块，用于接收课程音视频流访问请求，所述课程音视频流访问请求用于指示在线直播或点播课程资源；
查询模块，用于根据所述课程音视频流访问请求查询第一全局虚拟数据视图，得到目标流媒体服务器，所述第一全局虚拟数据视图用于指示流媒体服务器集群的网络负载状态信息和心跳状态信息，所述目标流媒体服务器用于指示心跳正常，且网络负载小的流媒体服务器；
检索模块，用于基于所述目标流媒体服务器按照所述课程音视频流访问请求检索第二全局虚拟数据视图，得到音视频流播放地址，所述第二全局虚拟数据视图用于指示课程音视频流的播放列表信息；
播放模块，用于将所述音视频流播放地址对应的目标课程音视频流推送至终端，以使得所述终端无插件播放所述目标课程音视频流，所述目标课程音视频流预先被分类存储在所述目标流媒体服务器中；
处理模块，用于当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态；
所述当所述目标课程音视频流被播放时，获取用户的课程交互行为数据和交互行为类型，按照所述交互行为类型对所述课程交互行为数据分配交互结果数据，将所述交互结果数据发送至所述终端，并实时监测和处理目标课程音视频流的异常播放状态包括：
当所述目标课程音视频流被播放时，接收并记录用户的课程交互行为数据，并根据所述用户的课程交互行为数据确定交互行为类型，所述用户的课程交互行为数据包括文字交互数据、语音交互数据和视频交互数据，所述交互行为类型包括文字交互类型、语音交互类型和视频交互类型；
当所述交互行为类型为所述文字交互类型时，通过预设的意图分类和实体识别模型对所述文字交互数据进行在线文字意图识别，得到第一意图数据；
当所述交互行为类型为所述语音交互类型时，通过预设的语音文字转换模型将所述语音交互数据转换为待识别文字数据，并通过预设的意图分类和实体识别模型对所述待识别文字数据进行在线文字意图识别，得到第二意图数据；
当所述交互行为类型为所述视频交互类型时，通过预设的卷积网络模型对所述视频交互数据进行微表情识别，得到第三意图数据；
按照所述第一意图数据、所述第二意图数据或所述第三意图数据分别搜索预设意图数据库，得到交互结果数据，并向所述终端发送所述交互结果数据；
当检测到所述目标课程音视频流存在画面卡顿或音频衔接不良时，确定目标课程音视频流的播放状态存在异常，并在所述终端提示所述用户调整目标课程音视频流的视频播放分辨率和/或重新连接网络。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的基于全局虚拟数据视图的播放处理方法。
CN202110354250.5A 2021-03-31 2021-03-31 基于全局虚拟数据视图的播放处理方法及相关设备 Active CN113225570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110354250.5A CN113225570B (zh) 2021-03-31 2021-03-31 基于全局虚拟数据视图的播放处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110354250.5A CN113225570B (zh) 2021-03-31 2021-03-31 基于全局虚拟数据视图的播放处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN113225570A CN113225570A (zh) 2021-08-06
CN113225570B true CN113225570B (zh) 2022-09-13

Family

ID=77086220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110354250.5A Active CN113225570B (zh) 2021-03-31 2021-03-31 基于全局虚拟数据视图的播放处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN113225570B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233085A (zh) * 2023-05-08 2023-06-06 深圳市微智体技术有限公司 一种多终端的流媒体传输方法、系统及流媒体服务器集群

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN105898538A (zh) * 2015-12-14 2016-08-24 乐视网信息技术（北京）股份有限公司 用于安卓平台的播放方法、装置及移动终端设备
CN106453195A (zh) * 2015-08-04 2017-02-22 腾讯科技（深圳）有限公司 资源请求处理、鉴权请求处理及鉴权方法、系统及装置
CN109408667A (zh) * 2018-09-18 2019-03-01 银河水滴科技（北京）有限公司 一种视频检索系统
CN110300306A (zh) * 2019-06-13 2019-10-01 武汉微创光电股份有限公司 基于rtmp协议直播流负载均衡算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160088326A1 (en) * 2014-09-23 2016-03-24 Watchcorp Holdings LLC Distributed recording, managing, and accessing of surveillance data within a networked video surveillance system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187937A (zh) * 2007-10-30 2008-05-28 北京航空航天大学 网格环境下模式复用的异构数据库访问和集成方法
CN106453195A (zh) * 2015-08-04 2017-02-22 腾讯科技（深圳）有限公司 资源请求处理、鉴权请求处理及鉴权方法、系统及装置
CN105898538A (zh) * 2015-12-14 2016-08-24 乐视网信息技术（北京）股份有限公司 用于安卓平台的播放方法、装置及移动终端设备
CN109408667A (zh) * 2018-09-18 2019-03-01 银河水滴科技（北京）有限公司 一种视频检索系统
CN110300306A (zh) * 2019-06-13 2019-10-01 武汉微创光电股份有限公司 基于rtmp协议直播流负载均衡算法

Also Published As

Publication number Publication date
CN113225570A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN1846420B (zh) 嵌入的服务质量相关信息的传送
CN100385424C (zh) 信息处理装置和内容信息处理方法
KR101758613B1 (ko) 방송 컨텐츠 제공 방법 및 장치와 그 시스템
US20160295269A1 (en) Information pushing method, device and system
US20100299443A1 (en) Method, System and Device for Playing Streaming Media
CN111787345B (zh) 基于网络直播间的互动资源处理方法、装置、服务器及存储介质
CN101505253B (zh) 网络设备的附属设备中为网络设备提供数据的方法及装置
KR101602175B1 (ko) 방송프로그램 콘텐츠를 인식하기 위한 시스템 및 방법
WO2013097454A1 (zh) 一种视频插播的方法、装置及系统
CN113225570B (zh) 基于全局虚拟数据视图的播放处理方法及相关设备
US20200366967A1 (en) Method and system for monitoring quality of streaming media
CN113301393B (zh) 流媒体数据的播放与互动方法、装置、系统及存储介质
JP2019503139A (ja) チャンネル変更に基づいたトリガフィーチャを有するコンピューティングシステム
CN1996997A (zh) 一种处理流媒体业务异常的方法及装置
CN110771172B (zh) 来自多个源的动态多媒体流插入的系统和存储介质
CN105721231B (zh) 一种业务质量感知探测方法及装置
CN112350986B (zh) 一种音视频网络传输碎片化的整形方法及系统
CN108429760A (zh) 基于网关边际服务的用户请求跟踪方法
US10820025B2 (en) Method and system of push-template and URL list for dash on full-duplex protocols
EP2465224A1 (en) Communications system
US20090319666A1 (en) Method and Apparatus for Session Initiated Protocol (SIP) Based Information Uploading from an Optical Network Terminal (ONT)
CN105721885B (zh) 转码数据处理的方法、装置和系统
CN114827533A (zh) 安防摄像装置的视频流在网页中播放的方法及装置
CN106412661A (zh) 智能电视网络视频播放信息采集方法及系统
JP2005167907A (ja) テレビ視聴率調査システム及び視聴状況データ収集方法並びにそのコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant