CN111093069A - 一种全景视频流的质量评估方法及装置 - Google Patents
一种全景视频流的质量评估方法及装置 Download PDFInfo
- Publication number
- CN111093069A CN111093069A CN201811237470.4A CN201811237470A CN111093069A CN 111093069 A CN111093069 A CN 111093069A CN 201811237470 A CN201811237470 A CN 201811237470A CN 111093069 A CN111093069 A CN 111093069A
- Authority
- CN
- China
- Prior art keywords
- transmission
- panoramic video
- video stream
- scene
- damage parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
- H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及本发明涉及计算机系统，特别涉及一种全景视频流的质量评估方法及装置，用以提高质量评估结果的准确性。该方法为：将针对预设场景采集的目标全景视频流推送至指定的用户终端，再根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，以及基于传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，这样，在直播环境下，能够参考全景视频流在传输过程中的实时客观损伤情况，以及结合用户在历史过程中针对不同损伤情况的全景视频流的主观评价，准确地对当前在用户终端上播放的全景视频流进行质量评估，从而有效提升了质量评估的准确性。
Description
技术领域
本发明涉及计算机技术，特别涉及一种全景视频流的质量评估方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)全景视频向观察者提供了所在水平方向(经度)360度，垂直方向(纬度)180度全方位的虚拟空间视域，即左右横向展开是360度，上下纵向展开是180度。使用者在观看时能够获得体验到逼真的沉浸感和临场感。
参阅图1所示，目前，普及型移动虚拟现实系统的具体功能分为三个阶段：
第一阶段：可以使用具有多个摄像头的全景相机，采集多路同步视频信号，从而实现全景视频流的采集。
第二阶段：全景视频流的拼接、编码与传输。
可以使用流媒体服务器，对获得的全景视频流进行拼接、编码与传输。第三阶段：可以在用户终端对流媒体服务器推送的全景视频流进行接收、解码与显示。
考虑到用户对于业务的接受程度，用户体验质量(Quality of Experience，QoE)是一种有效的测量用户对特定业务体验的方法，QoE从用户角度来对服务质量进行评估。虽然全景视频业务已经经历了较长时间的发展，但对于其质量评估的方案较少。已有技术方案通常为：获取全景相机上每个摄像头采集的视频信号，分别对每路视频信号进行质量评估，再结合每个摄像头的权重，综合获得全景视频流的质量评估分数。
然而，上述技术方案只是基于视频流采集阶段的全景视频流的质量评估分数，来预测相应的QoE，而全景视频流在传输过程中，还会由于网络质量问题而出现质量下降的现象，从而影响最后的用户体验。
因此，已有的全景视频流的QoE的评估方法并不能准确反应用户的真实体验，需要重新设计评估方案。
发明内容
本发明实施例提供一种全景视频流的质量评估方法及装置，用以提高质量评估结果的准确性。
本发明实施例提供的具体技术方案如下：
一种全景视频流的质量评估方法，包括：
流媒体服务器获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
流媒体服务器根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
流媒体服务器基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
可选的，流媒体服务器获取针对预设场景采集的目标全景视频流，包括：
流媒体服务器获取针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合，采用的相应的目标全景视频流。
可选的，在预处理阶段，进一步包括：
流媒体服务器针对指定的各个场景，分别收集作为样本全景视频流；
流媒体服务器分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值；
流媒体服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
可选的，流媒体服务器按照一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端，包括：
流媒体服务器按照所述一种传输损伤参数，将所述一个场景的样本全景视频流发往多个用户终端。
流媒体服务器根据用户终端的反馈，确定所述一种传输配置对应的质量评估值，包括：
流媒体服务器获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得所述一种传输损伤参数对应的质量评估值。
可选的，流媒体服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，包括：
将各个样本全景视频流各自对应的至少一种传输损伤参数作为输出变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立相应的深度神经网络模型，形成传输损伤参数到质量评估值的映射关系。
一种全景视频流的质量评估装置，包括：
获取单元，用于获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
确定单元，用于根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
处理单元，用于基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
可选的，获取针对预设场景采集的目标全景视频流时，所述获取单元用于：
获取针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合，采集的相应的目标全景视频流。
可选的，在预处理阶段，所述处理单元进一步用于：
针对指定的各个场景，分别收集作为样本全景视频流；
分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值；
根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
可选的，按照一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端时，所述处理单元用于：
按照所述一种传输损伤参数，将所述一个场景的样本全景视频流发往多个用户终端；
根据用户终端的反馈，确定所述一种传输配置对应的质量评估值，包括：
获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得所述一种传输损伤参数对应的质量评估值。
可选的，服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型时，所述处理单元用于：
将各个样本全景视频流各自对应的至少一种传输损伤参数作为输出变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立相应的深度神经网络模型，形成传输损伤参数到质量评估值的映射关系。
一种存储介质，存储有用于实现全景视频流的质量评估的程序，所述程序被处理器运行时，执行以下步骤：
获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
一种通信装置，包括一个或多个处理器；以及一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行上述任一项所述的方法。
本发明实施例中，流媒体服务器获取针对预设场景采集的目标全景视频流后，推送至指定的用户终端，再根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，以及基于传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。这样，在直播环境下，能够参考全景视频流在传输过程中的实时客观损伤情况，以及结合用户在历史过程中针对不同损伤情况的全景视频流的主观评价，准确地对当前在用户终端上播放的全景视频流进行质量评估，从而有效提升了质量评估的准确性，以及精准地反映全景视频流的QoE，进而给后续提升业务质量提供了可靠的参考数据，尤其适用于全景在线直播业务的实时评估。
附图说明
图1为已有技术下普及型移动虚拟现实系统结构示意图；
图2为本发明实施例中用于全景视频直播业务测试的系统示意图；
图3为本发明实施例中评估模型的训练方法流程图；
图4为本发明实施例中深度神经网络模型示意图；
图5为本发明实施例中对全景视频流进行质量评估的方法流程图；
图6为本发明实施例中流媒体服务器功能架构示意图。
具体实施方式
为了提高质量评估结果的准确性，本发明实施例中，针对现有全景视频直播业务，设定影响用户体验质量的网络因素：码率，丢包和时延，提供典型全景视频直播业务测试场景，获取不同场景下网络变化对用户体验质量的影响情况，建立了从网络指标到用户体验质量的映射模型，实现全景视频直播业务的质量评估。
下面结合附图对本发明优选的实施方式作出详细说明。
本发明实施例中，在局域网环境下搭建了用于测试全景视频直播的系统，可选的，所述局域网是使用300M路由器建立的。
参阅图2所示，存放原始全景视频流(又称为原始视频)和进行视频流分发的服务器称之为流媒体服务器。传输协议使用实时消息传输协议(Real Time MessagingProtocol，RTMP)协议，借助高性能互联网服务器(Nginx)服务器实现。流媒体服务器上使用的推流工具为开源音视频处理工具(FFmpeg)。用户终端上使用的视频播放器为开源播放器(Potplayer)，具有视频录制功能，可以将经过网络传输后的有所损伤的全景视频流(又称为损伤视频)保存下来。同时，可选的，还需要在用户终端添加一个记录网络损伤的工具，较佳的，本发明实施例中，使用网络模拟工具软件(Network Emulator for WindowsToolkit，NEWT)。
基于上述架构，参阅图3所示，本发明实施例中，流媒体服务器训练用于对全景视频流进行质量评估的评估模型的详细流程如下：
步骤300：流媒体服务器针对指定的各个场景，分别收集作为样本全景视频流。
具体的，流媒体服务器需要针对指定的各个场景，从全景相机获取相应的多路同步视频信号，并进行拼接，获得完整的样本全景视频流。
步骤310：流媒体服务器分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值。
具体的，本发明实施例中，在局域网环境下，流媒体可以选取三种典型的全景视频直播场景来采集样本全景视频流，如，体育直播场景，会议直播场景，演唱会直播场景。这些场景是目前全景视频直播业务应用较多的领域。
进一步地，对全景视频直播业务进行网络模拟，可以通过改变原始视频的传输损伤参数从而添加网络损伤，从而模拟实际传输环境。可选的，传输损伤参数至少包含传输码率、传输时延和传输丢包率。
以任意一个场景x对应的样本全景视频流x为例，可选的，可以将样本全景视频流x的传输码率的设置可选值为10Mbps，8Mbps，5Mbps，3Mbps，500Kbps，分辨率为3840×2160，样本全景视频流的播放时长设置在30秒左右，而样本全景视频流x的传输丢包率的设置可选值为0，1.5％，2％，2.5％，3％，丢包类型随机丢包，而样本全景视频流x的传输时延变量的设置可选值为0，100ms，200ms，为固定传输时延。
配置不同的传输损伤参数，会令样本全景视频流x在用户终端产生不同效果的卡顿和花屏的现象，这样，可以令用户终端进行相应反馈，以进行后续的质量评估。
实际应用中，一个场景x的样本全景视频流x可以配置至少一种传输损伤参数(即一种或多种)，传输损伤参数包含的各个参数项的取值可以在上述可选值中进行任意组合，在此不再赘述。
另一方面，以样本全景视频流x对应的任意一种传输损伤参数x为例，流媒体服务器可以按照传输损伤参数x将样本全景视频流x发往多个用户终端，并获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得样本全景视频流x按照传输损伤参数x进行传输时的质量评估值。
例如，可以在实验室环境下使用单激励方法进行主观测试，受试者人数为18人，用户终端采用HTC Vive头盔，即受试者佩戴HTC Vive后通过头盔观看包含损伤的样本全景视频流，然后采用问卷形式，记录每个用户终端上生成的初始评估值，可选的，初始评估值可以为5个等级，即1-5，1代表最差，5代表最好。
上述仅以场景x下样本全景视频流采用传输损伤参数x为例进行说明，实际应用中，不同场景下，采用不同传输损伤参数传输的全景视频流均可以采用相同方式来获得对应的质量评估值，在此不再赘述。
步骤320：流媒体服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
具体的，参阅图4所示，可以将各个样本全景视频流的传输码率(简称码率)，传输丢包率(简称丢包率)和传输时延(简称时延)作为输入变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立三层的深度神经网络模型，从而形成全景视频直播业务中的传输损伤参数到QoE的映射关系，其中，计算处理在隐藏层中进行。
建立好的三层的深度神经网络模型可以当作最终使用的评估模型，使训练好的评估模型可以对不同场景下的全景视频直播业务的用户体验质量进行评估。
基于上述评估模型，参阅图5所示，本发明实施例中，采用评估模型对新采集的目标全景视频流进行评估的详细流程如下：
步骤500：流媒体服务器获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端。
具体的，流媒体服务器可以针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合来采集相应的目标全景视频流。
评估模型可以同步针对不同的目标全景视频进行质量评估。
步骤510：流媒体服务器根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率。
步骤520：流媒体服务器基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
例如，传输码率为3Mbps，传输时延为200ms，传输丢包率为0，采用上述评估模型后，获得的质量评估值为2.75。
又例如，传输码率为8Mbps，传输时延为100ms，传输丢包率为15％，采用上述评估模型后，获得的质量评估值为2.70。
当然，评估模型需要定期更新，在累积一段时间最新的样本全景视频流并提取到相应的传输损伤参数，以及获得用户真实反馈的质量评估值后，流媒体服务器可以定期对评估模型进行优化更新，以提高评估模型的质量准确性，在此不再赘述。
基于上述实施例，参阅图6所示，本发明实施例中，提供一种全景视频流的质量评估装置，至少包括获取单元60，确定单元61和处理单元62，其中，
获取单元60，用于获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
确定单元61，用于根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
处理单元62，用于基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
可选的，获取针对预设场景采集的目标全景视频流时，获取单元60用于：
获取针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合，采集的相应的目标全景视频流。
可选的，在预处理阶段，处理单元62进一步用于：
针对指定的各个场景，分别收集作为样本全景视频流；
分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值；
根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
可选的，按照一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端时，处理单元62用于：
按照所述一种传输损伤参数，将所述一个场景的样本全景视频流发往多个用户终端；
根据用户终端的反馈，确定所述一种传输配置对应的质量评估值，包括：
获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得所述一种传输损伤参数对应的质量评估值。
可选的，服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型时，处理单元62用于：
将各个样本全景视频流各自对应的至少一种传输损伤参数作为输出变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立相应的深度神经网络模型，形成传输损伤参数到质量评估值的映射关系。
基于同一发明构思，提供一种存储介质，存储有用于实现全景视频流的质量评估的程序，所述程序被处理器运行时，执行以下步骤：
获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
基于同一发明构思，提供一种通信装置，包括一个或多个处理器；以及一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行上述任一项所述的方法。
综上所述，本发明实施例中，流媒体服务器获取针对预设场景采集的目标全景视频流后，推送至指定的用户终端，再根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，以及基于传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。这样，在直播环境下，能够参考全景视频流在传输过程中的实时客观损伤情况，以及结合用户在历史过程中针对不同损伤情况的全景视频流的主观评价，准确地对当前在用户终端上播放的全景视频流进行质量评估，从而有效提升了质量评估的准确性，以及精准地反映全景视频流的QoE，进而给后续提升业务质量提供了可靠的参考数据，尤其适用于全景在线直播业务的实时评估。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种全景视频流的质量评估方法，其特征在于，包括：
流媒体服务器获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
流媒体服务器根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
流媒体服务器基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
2.如权利要求1所述的方法，其特征在于，流媒体服务器获取针对预设场景采集的目标全景视频流，包括：
流媒体服务器获取针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合，采用的相应的目标全景视频流。
3.如权利要求1或2所述的方法，其特征在于，在预处理阶段，进一步包括：
流媒体服务器针对指定的各个场景，分别收集作为样本全景视频流；
流媒体服务器分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值；
流媒体服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
4.如权利要求3所述的方法，其特征在于，流媒体服务器按照一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端，包括：
流媒体服务器按照所述一种传输损伤参数，将所述一个场景的样本全景视频流发往多个用户终端
流媒体服务器根据用户终端的反馈，确定所述一种传输配置对应的质量评估值，包括：
流媒体服务器获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得所述一种传输损伤参数对应的质量评估值。
5.如权利要求3所述的方法，其特征在于，流媒体服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，包括：
将各个样本全景视频流各自对应的至少一种传输损伤参数作为输出变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立相应的深度神经网络模型，形成传输损伤参数到质量评估值的映射关系。
6.一种全景视频流的质量评估装置，其特征在于，包括：
获取单元，用于获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
确定单元，用于根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
处理单元，用于基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
7.如权利要求6所述的装置，其特征在于，获取针对预设场景采集的目标全景视频流时，所述获取单元用于：
获取针对体育直播场景，会议直播场景，演唱会直播场景中的一种或任意组合，采集的相应的目标全景视频流。
8.如权利要求6或7所述的装置，其特征在于，在预处理阶段，所述处理单元进一步用于：
针对指定的各个场景，分别收集作为样本全景视频流；
分别针对每一个场景执行以下操作：
针对一个场景的样本全景视频流，设置至少一种传输损伤参数，其中，一种传输损伤参数至少包括传输码率、传输时延和传输丢包率；
按照所述至少一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端；
根据用户终端的反馈，确定所述至少一种传输损伤参数包含的每一种传输损伤参数对应的质量评估值；
根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型，并将所述深度神经网络模型作为评估模型。
9.如权利要求8所述的装置，其特征在于，按照一种传输损伤参数，将所述一个场景的样本全景视频推送至用户终端时，所述处理单元用于：
按照所述一种传输损伤参数，将所述一个场景的样本全景视频流发往多个用户终端
根据用户终端的反馈，确定所述一种传输配置对应的质量评估值，包括：
获得所述多个用户终端反馈的相应的初始评估值，并对获得的各个初始评估值进行加权处理，获得所述一种传输损伤参数对应的质量评估值。
10.如权利要求8所述的装置，其特征在于，服务器根据获得的各个样本全景视频流各自对应的至少一种传输损伤参数，以及相应的质量评估值，采用预设算法进行模型训练，获得相应的深度神经网络模型时，所述处理单元用于：
将各个样本全景视频流各自对应的至少一种传输损伤参数作为输出变量，将相应的质量评估值作为输出变量，采用反向传播算法，进行模型训练，建立相应的深度神经网络模型，形成传输损伤参数到质量评估值的映射关系。
11.一种存储介质，其特征在于，存储有用于实现全景视频流的质量评估的程序，所述程序被处理器运行时，执行以下步骤：
获取针对预设场景采集的目标全景视频流，并将所述目标全景视频流推送至指定的用户终端；
根据用户终端的反馈，确定所述目标全景视频流的传输损伤参数，至少包括传输码率、传输时延和传输丢包率；
基于所述目标全景视频流的传输损伤参数，采用预设的评估模型，获得所述传输损伤参数对应的质量评估值，其中，所述评估模型表征传输损伤参数和质量评估值之间的映射关系。
12.一种通信装置，其特征在于，包括一个或多个处理器；以及一个或多个计算机可读介质，所述可读介质上存储有指令，所述指令被所述一个或多个处理器执行时，使得所述装置执行如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811237470.4A CN111093069A (zh) | 2018-10-23 | 2018-10-23 | 一种全景视频流的质量评估方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811237470.4A CN111093069A (zh) | 2018-10-23 | 2018-10-23 | 一种全景视频流的质量评估方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111093069A true CN111093069A (zh) | 2020-05-01 |
Family
ID=70391913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811237470.4A Pending CN111093069A (zh) | 2018-10-23 | 2018-10-23 | 一种全景视频流的质量评估方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111093069A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111669636A (zh) * | 2020-06-19 | 2020-09-15 | 海信视像科技股份有限公司 | 一种音画同步的视频录制方法及显示设备 |
| CN112312127A (zh) * | 2020-10-30 | 2021-02-02 | 中移（杭州）信息技术有限公司 | 成像检测方法、装置、电子设备、系统及存储介质 |
| WO2021082479A1 (zh) * | 2019-10-31 | 2021-05-06 | 华为技术有限公司 | 调整视频流的属性的方法和装置 |
| CN113487200A (zh) * | 2021-07-14 | 2021-10-08 | 唐山市曹妃甸区陆月柒峰科技有限责任公司 | 一种公路工程的项目质量评定方法及系统 |
| CN113691799A (zh) * | 2021-08-11 | 2021-11-23 | 广州华多网络科技有限公司 | 直播流交互控制方法及其相应的装置、设备、介质 |
| CN114079777A (zh) * | 2020-08-20 | 2022-02-22 | 华为技术有限公司 | 视频处理方法和装置 |
| CN116170606A (zh) * | 2021-11-24 | 2023-05-26 | 中国移动通信有限公司研究院 | 直播质量评估方法、装置、电子设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104113788A (zh) * | 2014-07-09 | 2014-10-22 | 北京邮电大学 | 一种TCP视频流业务的QoE训练和评估的方法及系统 |
| CN104378220A (zh) * | 2013-08-14 | 2015-02-25 | 中兴通讯股份有限公司 | 评价用户体验质量的方法及装置、用户终端、网络服务器 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| CN107493509A (zh) * | 2017-09-25 | 2017-12-19 | 中国联合网络通信集团有限公司 | 视频质量监测方法及装置 |
-
2018
- 2018-10-23 CN CN201811237470.4A patent/CN111093069A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104378220A (zh) * | 2013-08-14 | 2015-02-25 | 中兴通讯股份有限公司 | 评价用户体验质量的方法及装置、用户终端、网络服务器 |
| CN104113788A (zh) * | 2014-07-09 | 2014-10-22 | 北京邮电大学 | 一种TCP视频流业务的QoE训练和评估的方法及系统 |
| CN107483920A (zh) * | 2017-08-11 | 2017-12-15 | 北京理工大学 | 一种基于多层级质量因子的全景视频评估方法及系统 |
| CN107493509A (zh) * | 2017-09-25 | 2017-12-19 | 中国联合网络通信集团有限公司 | 视频质量监测方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021082479A1 (zh) * | 2019-10-31 | 2021-05-06 | 华为技术有限公司 | 调整视频流的属性的方法和装置 |
| CN111669636A (zh) * | 2020-06-19 | 2020-09-15 | 海信视像科技股份有限公司 | 一种音画同步的视频录制方法及显示设备 |
| CN111669636B (zh) * | 2020-06-19 | 2022-02-25 | 海信视像科技股份有限公司 | 一种音画同步的视频录制方法及显示设备 |
| CN114079777A (zh) * | 2020-08-20 | 2022-02-22 | 华为技术有限公司 | 视频处理方法和装置 |
| CN114079777B (zh) * | 2020-08-20 | 2024-06-04 | 华为技术有限公司 | 视频处理方法和装置 |
| CN112312127A (zh) * | 2020-10-30 | 2021-02-02 | 中移（杭州）信息技术有限公司 | 成像检测方法、装置、电子设备、系统及存储介质 |
| CN112312127B (zh) * | 2020-10-30 | 2023-07-21 | 中移（杭州）信息技术有限公司 | 成像检测方法、装置、电子设备、系统及存储介质 |
| CN113487200A (zh) * | 2021-07-14 | 2021-10-08 | 唐山市曹妃甸区陆月柒峰科技有限责任公司 | 一种公路工程的项目质量评定方法及系统 |
| CN113487200B (zh) * | 2021-07-14 | 2022-10-25 | 唐山市曹妃甸区陆月柒峰科技有限责任公司 | 一种公路工程的项目质量评定方法及系统 |
| CN113691799A (zh) * | 2021-08-11 | 2021-11-23 | 广州华多网络科技有限公司 | 直播流交互控制方法及其相应的装置、设备、介质 |
| CN113691799B (zh) * | 2021-08-11 | 2023-07-04 | 广州华多网络科技有限公司 | 直播流交互控制方法及其相应的装置、设备、介质 |
| CN116170606A (zh) * | 2021-11-24 | 2023-05-26 | 中国移动通信有限公司研究院 | 直播质量评估方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111093069A (zh) | 一种全景视频流的质量评估方法及装置 | |
| Bampis et al. | Towards perceptually optimized end-to-end adaptive video streaming | |
| CN112562433B (zh) | 一种基于全息终端的5g强互动远程专递教学系统的工作方法 | |
| Liu et al. | User experience modeling for DASH video | |
| CN109492128B (zh) | 用于生成模型的方法和装置 | |
| CN111355950A (zh) | 实时视频通信中的视频传输质量检测方法及系统 | |
| CN110366043B (zh) | 视频处理方法、装置、电子设备及可读介质 | |
| Bampis et al. | Towards perceptually optimized adaptive video streaming-a realistic quality of experience database | |
| CN103718166A (zh) | 信息处理设备、信息处理方法和计算机程序产品 | |
| CN113923441A (zh) | 视频质量的评估方法、装置及电子设备 | |
| CN110166651A (zh) | 一种导播方法、装置、终端设备及存储介质 | |
| CN110392274B (zh) | 一种信息处理方法、设备、客户端、系统及存储介质 | |
| Park et al. | Mosaic: Advancing user quality of experience in 360-degree video streaming with machine learning | |
| CN110139113A (zh) | 视频资源的传输参数分发方法及装置 | |
| Battisti et al. | QoS to QoE mapping model for wired/wireless video communication | |
| CN111107434A (zh) | 信息推荐方法及装置 | |
| CN113031756A (zh) | 一种评测vr体验临场感的方法、装置及系统 | |
| CN111182316B (zh) | 媒体资源的流切换方法和装置、存储介质及电子装置 | |
| CN108600775A (zh) | 直播视频的监控方法、装置、服务器和存储介质 | |
| CN114079777B (zh) | 视频处理方法和装置 | |
| CN107968942A (zh) | 一种直播平台音视频时间差测量方法与系统 | |
| US10376794B2 (en) | Method of providing observing service using event prediction in game | |
| CN110545451A (zh) | 一种流媒体卡顿识别方法、服务器和系统 | |
| CN114727119A (zh) | 直播连麦控制方法、装置及存储介质 | |
| CN113408332A (zh) | 视频分镜方法、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200501 |