CN113766214A - 一种串流数据的质量检测方法、质量检测系统及相关装置 - Google Patents

一种串流数据的质量检测方法、质量检测系统及相关装置 Download PDF

Info

Publication number
CN113766214A
CN113766214A CN202111044717.2A CN202111044717A CN113766214A CN 113766214 A CN113766214 A CN 113766214A CN 202111044717 A CN202111044717 A CN 202111044717A CN 113766214 A CN113766214 A CN 113766214A
Authority
CN
China
Prior art keywords
similarity
mouse
audio
client
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111044717.2A
Other languages
English (en)
Inventor
任妍
蔡强
陈鹏辉
徐俊杰
彭寿林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Wulian Technology Co ltd
Original Assignee
Hangzhou Wulian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Wulian Technology Co ltd filed Critical Hangzhou Wulian Technology Co ltd
Priority to CN202111044717.2A priority Critical patent/CN113766214A/zh
Publication of CN113766214A publication Critical patent/CN113766214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种串流数据的质量检测方法，包括：接收串流数据检测指令；确认主机端的原始图像和客户端的目标图像之间的第一相似度；确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频之间的第二相似度；确认同一时间段内主机端鼠标的第一点击轨迹，和客户端鼠标的第二点击轨迹之间的鼠标流畅度；根据第一相似度、第二相似度和鼠标流畅度确定串流数据的数据传输质量。本申请通过对主机端和客户端之间视频、音频和鼠标均进行检测，实现了对二者之间串流数据的多角度检测，能够对串流数据整体质量进行准确地检测，提升用户满意度。本申请还提供一种串流数据的质量系统、计算机可读存储介质和电子设备，具有上述有益效果。

Description

一种串流数据的质量检测方法、质量检测系统及相关装置
技术领域
本申请涉及数据检测领域，特别涉及一种串流数据的质量检测方法、质量检测系统及相关装置。
背景技术
随着音视频编解码技术、5G网络的建设发展，云游戏、云电脑业务得到了快速发展。云游戏指的将主机端的图像画面、音频、光标数据进行编码并经过网络发送到客户端。客户端对数据进行解析，将画面和光标显示在设备屏幕上，并播放音频数据。同时，客户端会将鼠标位移、音频数据发送给主机端，在主机端进行数据处理和游戏的模拟操作。在主机端和客户端的交互下，可以达到一种实时的游戏效果。
但在实际的云游戏应用中，可能由于各种外部原因，如网络、硬件设备、软件影响等状况，造成画面画质降低、音质降低、鼠标操作不流畅等低下的用户体验。且由于云游戏客户端通常分布在网吧或个人用户处，无法在客户端保存大量的串流数据，并对数据进行回收与进一步分析处理，因此无法对串流质量进行检测，一旦串流数据质量较差，势必影响用户体验。
发明内容
本申请的目的是提供一种串流数据的质量检测方法、质量检测系统、计算机可读存储介质和电子设备，能够有效检测主机端与客户端之间的串流数据传输质量。
为解决上述技术问题，本申请提供一种串流数据的质量检测，具体技术方案如下：
接收串流数据检测指令；
确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
可选的，确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度包括：
利用显卡缓冲录制技术抓取所述主机端的当前画面并作为原始图像，并记录当前抓屏时间和帧序列号；
将所述当前画面、所述抓屏时间和所述帧序列号传至客户端，并在所述客户端中根据所述抓屏时间查找与所述帧序列号相同的目标图像；
比对所述原始图像和所述目标图像的峰值信噪比，得到第一相似度。
可选的，确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度包括：
确认同一时间段内主机端扬声器链路中的第一原始音频，以及客户端扬声器链路中的第一目标音频，对所述第一原始音频和所述第一目标音频进行相似度计算，得到扬声器链路相似度；
确认同一时间段内主机端麦克风链路中的第二原始音频，以及客户端麦克风链路中的第二目标音频，对所述第二原始音频和所述第二目标音频进行相似度计算，得到麦克风链路相似度；
根据所述扬声器链路相似度和所述麦克风链路相似度计算得到第二相似度。
可选的，确认同一时间段内主机端扬声器链路中的第一原始音频，以及客户端扬声器链路中的第一目标音频，对所述第一原始音频和所述第一目标音频进行相似度计算，得到扬声器链路相似度包括：
抓取主机端扬声器播放的预设时长的第一原始音频；所述第一原始音频包括音频的声道数、采样率和位深；
抓取同一时间段内客户端扬声器播放的所述预设时长的第一目标音频；
利用PESQ算法对所述第一原始音频和所述第一目标音频进行语音质量的相似度计算，得到扬声器链路相似度。
可选的，确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度包括：
利用钩子函数确认主机端鼠标的初始位置，记录预设时间段后的第一点击轨迹；
使用DirectInput技术确认同一时间段内所述客户端鼠标的第二点击轨迹；
根据所述第一点击轨迹和所述第二点击轨迹计算鼠标位置的平方差，并作为所述鼠标流畅度。
可选的，根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量之前，还包括：
对所述第一相似度、所述第二相似度和所述鼠标流畅度作归一化处理；其中，所述归一化处理用于将所述第一相似度、所述第二相似度和所述鼠标流畅度的值归一至[0,1]区间内。
可选的，根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量包括：
确定所述第一相似度、所述第二相似度和所述鼠标流畅度各自的参数值；
将所述第一相似度、所述第二相似度和所述鼠标流畅度与各自对应的参数值的乘积的和作为所述串流数据的数据传输质量。
本申请还提供一种串流数据的检测系统，包括：
指令接收模块，用于接收串流数据检测指令；
视频检测模块，用于确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
音频检测模块，用于确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
鼠标检测模块，用于确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
计算检测模块，用于根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种串流数据的质量检测方法，包括：接收串流数据检测指令；确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
本申请通过对主机端和客户端之间视频、音频和鼠标均进行检测，实现了对二者之间串流数据的多角度检测，能够对串流数据整体质量进行准确地检测，提升用户满意度。
本申请还提供一种串流数据的质量系统、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种串流数据的质量检测方法的流程图；
图2为本申请提供的鼠标流畅度量化示意图；
图3为本申请提供的串流数据检测时间轴；
图4为本申请实施例所提供的一种串流数据的质量检测系统结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本申请实施例所提供的一种串流数据的质量检测方法的流程图，该方法包括：
S101：接收串流数据检测指令；
S102：确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
S103：确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
S104：确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
S105：根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
首先，需要说明的是，本实施例中为步骤S102至S104设定执行顺序，而在本申请的其他实施例中，确定第一相似度、第二相似度和鼠标流畅度的过程可以相互独立，互不影响且无既定的执行顺序关系，只需要在接收到串流数据检测指令之后执行即可，并在第一相似度、第二相似度和鼠标流畅度均计算检测完后，确定数据传输质量即可。
其次，本实施例中第一相似度、第二相似度和鼠标流畅度均可以为分数形式，作为对每部分特征的量化分数。
在步骤S101中，该串流数据检测指令可以为用户直接输入的指令，也可以由其他形式的指令转化得到，例如根据用户的语音数据进行语音识别转化得到该串流数据检测指令，从而触发后续的串流数据检测流程。
本实施例的核心在分别对串流数据的视频、音频和鼠标响应进行检测，以确定串流数据在主机端和客户端之间的传输质量，可以据此评估用户满意度。
步骤S102中，需要确定串流数据中的视频质量，即确认主机端的原始图像，以及客户端中与原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度。需要注意的是，原始图像应与目标图像为相同帧，即帧序列号相同，确保所比对的画面一致。优选的，本实施例在此提供一种步骤S102的具体执行过程：
S1021：利用显卡缓冲录制技术抓取主机端的当前画面并作为原始图像，并记录当前抓屏时间和帧序列号；
S1022：将当前画面、抓屏时间和帧序列号传至客户端，并在客户端中根据抓屏时间查找与帧序列号相同的目标图像；
S1023：比对原始图像和目标图像的峰值信噪比，得到第一相似度。
显卡缓冲录制技术即NVFBC技术，可以抓取主机端的当前画面并作为原始图像。可以记录当前抓屏时间和帧序列号，抓屏时间可以精确到秒甚至毫秒等。而帧序列号的范围为1到MAX_FPS，MAX_FPS表示主机端屏幕的当前刷新率。
在传输至客户端前，可以先将抓取的存储在显卡中BGRA格式的原始图像转存储到CPU中，并且转为RGB格式图像。再将RGB格式图像数据使用zlib技术压缩，将压缩后的原始图像、抓屏时间和帧序列号为N后发送到客户端。在客户端使用zlib技术进行解压，并根据抓屏时间查找与帧序列号相同的目标图像，即在接近抓屏时间的时间段内查找。当确定目标图像后，比对原始图像和目标图像的峰值信噪比，得到第一相似度，即利用PSNR(PeakSignal to Noise Ratio，峰值信噪比)算法对两帧图像进行对比。
步骤S103中，需要对原始音频和目标音频进行相似度计算，得到第二相似度。具体的，可以分别针对扬声器和麦克风进行检测。即：
确认同一时间段内主机端扬声器链路中的第一原始音频，以及客户端扬声器链路中的第一目标音频，对第一原始音频和第一目标音频进行相似度计算，得到扬声器链路相似度；
确认同一时间段内主机端麦克风链路中的第二原始音频，以及客户端麦克风链路中的第二目标音频，对第二原始音频和第二目标音频进行相似度计算，得到麦克风链路相似度；
最后根据扬声器链路相似度和麦克风链路相似度计算得到第二相似度。
以确定扬声器链路相似度为例，其可以包括如下步骤：
S1031：抓取主机端扬声器播放的预设时长的第一原始音频；
S1032：抓取同一时间段内客户端扬声器播放的预设时长的第一目标音频；
S1033：利用PESQ算法对第一原始音频和第一目标音频进行语音质量的相似度计算，得到扬声器链路相似度。
PESQ(Perceptual evaluation of speech quality，感知评估)算法能够将语音信号在时间上对准，计算基于感知的音频量化分数，分数越高表示音频传输质量越好。在利用PESQ算法计算时，可以综合计算音频的声道数、采样率和位深。还需要说明的是，对于PESQ算法，输入的两端音频声道数、采样率和位深应当相同，算法本身不计算这几个参数，只作为输入数据的要求。同理，确定麦克风链路相似度的过程可以参考计算扬声器链路相似度的过程，在此不作重复说明。但需要注意的是，计算扬声器链路相似度时，需要主机端采集音频，并于客户端播放进行检测。而计算麦克风链路相似度时，需要客户端采用音频，并于主机端播放。此外，原始音频和目标音频应为相同的音频，即不仅预设时长相同，且内容应当相同，以便于进行语音质量的相似度检测，避免因语音内容不同干扰检测。
需要注意的是，在获取主机端和客户端的音频后，若二者存在音频格式差异，在计算之前还可以包括对音频的格式转换，从而将不同格式的音频转为同一格式，在格式转换过程中会综合考虑声道数、采样率和位深。
步骤S104中，需要确定主机端与客户端的鼠标响应状态。需要注意的是，本步骤中的鼠标泛指触发光标移动的鼠标设备、键盘设备和按键等。由于主机端实际并不存在鼠标，仅在客户端存在鼠标，则在主机端会进行键鼠的模拟操作，然后在主机端会采集画面上的光标形状和位置，传输到客户端绘制光标。具体过程可以如下：
S1041：利用钩子函数确认主机端鼠标的初始位置，记录预设时间段后的第一点击轨迹；
S1042：使用DirectInput技术确认同一时间段内客户端鼠标的第二点击轨迹；
S1043：根据第一点击轨迹和第二点击轨迹计算鼠标位置的平方差，并作为鼠标流畅度。
客户端使用DirectInput技术获取鼠标位置和当前时间，并发送至主机端，DirectInput技术是DirectX的组件，可用于获取键鼠相关信息。主机端使用钩子函数，例如SetWindowsHookEx等技术，获取鼠标位置和当前时间，SetWindowsHookEx是Windows消息处理机制的一种方法，可以使用钩子获得主机端鼠标的第一点击轨迹。
如图2所示，图2为鼠标流畅度量化示意图，左图对应客户端，右图对应主机端。虚线表示鼠标的实际移动轨迹，实线表示鼠标的位移。主机端和客户端的鼠标的初始位置分别记为h1(x1,y1)和c1(x1,y1)，每次移动到新的点后右下角角标+1，第i个移动后的点位置为hi(xi,yi)和ci(xi,yi)。将对应时间的主机端和客户端的鼠标位置计算平方差，计算公式可以为：
Figure BDA0003250744010000081
其中，QM为鼠标位置的平方差，也作为鼠标流畅度。
则最后可以根据第一相似度、第二相似度和鼠标流畅度确定串流数据的数据传输质量，具体的可以先确定第一相似度、第二相似度和鼠标流畅度各自的参数值，再将第一相似度、第二相似度和鼠标流畅度与各自对应的参数值的乘积的和作为串流数据的数据传输质量。默认第一相似度、第二相似度和鼠标流畅度的参数值均为1，也可以有本领域技术人员自行设定。
在本实施例的基础上，根据第一相似度、第二相似度和鼠标流畅度确定串流数据的数据传输质量之前，还可以对第一相似度、第二相似度和鼠标流畅度作归一化处理；其中，归一化处理用于将第一相似度、第二相似度和鼠标流畅度的值归一至[0,1]区间内
在主机端分别将第一相似度、第二相似度和鼠标流畅度进行归一化后再计算总量化分数。其中，归一化采用线性函数归一化，归一化后的量化分数位于[0,1]之间。其公式如下：
Figure BDA0003250744010000091
其中，Qi表示第i种量化指标，Qimax表示第i种量化指标的最大值，Qimin表示第i种量化指标的最小值。Qimax和Qimin可以通过多次串流量化数据得出。设QV'、QA1'、QA2'和QM'为归一化后的第一相似度、扬声器链路相似度、麦克风链路相似度和鼠标相似度，则串流数据的数据传输质量的总量化分数计算公式可以为
Figure BDA0003250744010000092
Q表示串流数据的数据传输质量。
本申请实施例通过对主机端和客户端之间视频、音频和鼠标均进行检测，实现了对二者之间串流数据的多角度检测，能够对串流数据整体质量进行准确地检测，提升用户满意度。
下文以本申请的一种具体应用过程对本申请提供的串流数据的质量检测进行说明，在主机端和客户端均包含视频模块、音频模块和键鼠模块，但主机端的键鼠模块为用于测试的虚拟模块，其余均存在相应的实体装置。
主机端发出串流数据检测指令。图3为串流总时间轴和各模块时间轴。首先，在t1时刻，主机端收到串流数据检测指令并转发给客户端，在t2时刻，客户端收到串流数据检测指令。主机端在收到串流数据检测指令后分别转发给各模块，包括视频模块、音频模块和键鼠模块。在t3时刻，视频模块主机端收到检测指令，t4时刻，音频模块主机端收到检测指令。在t6时刻，主机端的音频模块收到检测指令，t7时刻，音频模块客户端收到检测指令。音频模块的检测时长为Ta，为常量。t8和t9时刻分别是音频模块主机端和客户端结束量化的时间。在t10时刻，键鼠模块主机端收到检测指令，t11时刻，键鼠模块客户端收到检测指令。键鼠模块的检测时长为Tm。其中，各模块收到检测指令的时间t3、t6、t10不存在必然的先后关系，t可用于表示任一当前时刻。
主机端视频模块在t3时刻收到检测指令后，通过NVFBC技术抓取当前的主机端画面，并记录当前的抓屏时间t5和帧序列号为N。
将抓取的存储在显卡中的BGRA格式图像转存储到CPU中，并且转为RGB格式图像。
将RGB格式图像数据使用zlib技术压缩，将压缩后数据和抓屏时间t5和帧序列号为N后发送到客户端。在客户端使用zlib技术进行解压。
客户端视频模块在t4时刻收到检测指令，获取t4-t3+t5时刻的帧序列号为N的视频帧，即为和主机端图像相同的一帧图像。
使用PSNR算法对两帧图像进行对比，输出的第一相似度记为QV。
对于扬声器链路的检测过程可以如下：
主机端音频模块在t6时刻收到检测指令后，开始抓取主机端录音的固定时长为Ta的音频。
获得客户端的音频格式，将主机端抓取的音频根据客户端的音频格式进行格式转化。
主机端于t8时刻结束抓取，将格式转换后的音频内容发送给客户端。
客户端音频模块在t7时刻收到检测指令后，开始抓取客户端播放的固定时长为Ta的音频，于t9时刻结束抓取。
客户端在t9时刻之后对本地音频和接收到的主机端音频使用PESQ算法对两个音频数据进行量化分数计算，得到扬声器链路相似度QA1。
对于麦克风链路：
主机端音频模块在t6时刻收到检测指令后，开始抓取主机端播放的固定时长为Ta的音频。
获得客户端的音频格式，发送给主机端。
客户端音频模块在t7时刻收到检测指令后，开始抓取客户端录音的固定时长为Ta的音频，于t9时刻结束抓取，并发送给主机端。
根据获得的客户端音频格式和主机端的音频格式，将收到的客户端音频转化为主机端的音频格式。
主机端于t8时刻结束抓取播放的音频文件。
主机端在t9时刻之后对本地音频和接收到的主机端音频使用PESQ算法对两个音频数据进行量化分数计算，输出的麦克风链路相似度记为QA2。
鼠标流畅度的确定过程在此不作重复说明，需要注意的是，主机端在时刻t10收到检测指令，客户端t11收到检测指令后，分别开始计时，设置鼠标的总检测时长为Tm，客户端获取鼠标位置的时间为tc，主机端获取鼠标位置的时间为th，则应满足tc＝t11-t10+th。最终输出鼠标流畅度为QM。
此后即可根据第一相似度记为QV、扬声器链路相似度QA1、麦克风链路相似度记为QA2和鼠标流畅度QM确定所述串流数据的数据传输质量，则第二相似度包含扬声器链路相似度QA1和麦克风链路相似度记为QA2。
下面对本申请实施例提供的串流数据的检测系统进行介绍，下文描述的检测系统与上文描述的串流数据的检测方法可相互对应参照。
参见图4，图4为本申请实施例所提供的一种串流数据的质量检测系统结构示意图，本申请还提供一种串流数据的检测系统，包括：
指令接收模块，用于接收串流数据检测指令；
视频检测模块，用于确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
音频检测模块，用于确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
鼠标检测模块，用于确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
计算检测模块，用于根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种串流数据的质量检测方法，其特征在于，包括：
接收串流数据检测指令；
确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
2.根据权利要求1所述的质量检测方法，其特征在于，确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度包括：
利用显卡缓冲录制技术抓取所述主机端的当前画面并作为原始图像，并记录当前抓屏时间和帧序列号；
将所述当前画面、所述抓屏时间和所述帧序列号传至客户端，并在所述客户端中根据所述抓屏时间查找与所述帧序列号相同的目标图像；
比对所述原始图像和所述目标图像的峰值信噪比，得到第一相似度。
3.根据权利要求1所述的质量检测方法，其特征在于，确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度包括：
确认同一时间段内主机端扬声器链路中的第一原始音频，以及客户端扬声器链路中的第一目标音频，对所述第一原始音频和所述第一目标音频进行相似度计算，得到扬声器链路相似度；
确认同一时间段内主机端麦克风链路中的第二原始音频，以及客户端麦克风链路中的第二目标音频，对所述第二原始音频和所述第二目标音频进行相似度计算，得到麦克风链路相似度；
根据所述扬声器链路相似度和所述麦克风链路相似度计算得到第二相似度。
4.根据权利要求3所述的质量检测方法，其特征在于，确认同一时间段内主机端扬声器链路中的第一原始音频，以及客户端扬声器链路中的第一目标音频，对所述第一原始音频和所述第一目标音频进行相似度计算，得到扬声器链路相似度包括：
抓取主机端扬声器播放的预设时长的第一原始音频；所述第一原始音频包括音频的声道数、采样率和位深；
抓取同一时间段内客户端扬声器播放的所述预设时长的第一目标音频；
利用PESQ算法对所述第一原始音频和所述第一目标音频进行语音质量的相似度计算，得到扬声器链路相似度。
5.根据权利要求1所述的质量检测方法，其特征在于，确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度包括：
利用钩子函数确认主机端鼠标的初始位置，记录预设时间段后的第一点击轨迹；
使用DirectInput技术确认同一时间段内所述客户端鼠标的第二点击轨迹；
根据所述第一点击轨迹和所述第二点击轨迹计算鼠标位置的平方差，并作为所述鼠标流畅度。
6.根据权利要求1所述的质量检测方法，其特征在于，根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量之前，还包括：
对所述第一相似度、所述第二相似度和所述鼠标流畅度作归一化处理；其中，所述归一化处理用于将所述第一相似度、所述第二相似度和所述鼠标流畅度的值归一至[0,1]区间内。
7.根据权利要求1或6所述的质量检测方法，其特征在于，根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量包括：
确定所述第一相似度、所述第二相似度和所述鼠标流畅度各自的参数值；
将所述第一相似度、所述第二相似度和所述鼠标流畅度与各自对应的参数值的乘积的和作为所述串流数据的数据传输质量。
8.一种串流数据的检测系统，其特征在于，包括：
指令接收模块，用于接收串流数据检测指令；
视频检测模块，用于确认主机端的原始图像，以及客户端中与所述原始数据帧序列号相同的目标图像，确认所述原始图像和所述目标图像之间的第一相似度；
音频检测模块，用于确认同一时间段内主机端播放的原始音频，以及客户端播放的目标音频，对所述原始音频和所述目标音频进行相似度计算，得到第二相似度；
鼠标检测模块，用于确认同一时间段内主机端鼠标的第一点击轨迹，和所述客户端鼠标的第二点击轨迹，根据所述第一点击轨迹和所述第二点击轨迹确定鼠标流畅度；
计算检测模块，用于根据所述第一相似度、所述第二相似度和所述鼠标流畅度确定所述串流数据的数据传输质量。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的串流数据的质量检测方法的步骤。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的串流数据的质量检测方法的步骤。
CN202111044717.2A 2021-09-07 2021-09-07 一种串流数据的质量检测方法、质量检测系统及相关装置 Pending CN113766214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111044717.2A CN113766214A (zh) 2021-09-07 2021-09-07 一种串流数据的质量检测方法、质量检测系统及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111044717.2A CN113766214A (zh) 2021-09-07 2021-09-07 一种串流数据的质量检测方法、质量检测系统及相关装置

Publications (1)

Publication Number Publication Date
CN113766214A true CN113766214A (zh) 2021-12-07

Family

ID=78793552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111044717.2A Pending CN113766214A (zh) 2021-09-07 2021-09-07 一种串流数据的质量检测方法、质量检测系统及相关装置

Country Status (1)

Country Link
CN (1) CN113766214A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685354A (zh) * 2008-09-26 2010-03-31 宏正自动科技股份有限公司 校准远程计算机光标对客户端计算机鼠标反应的方法及系统
CN101984665A (zh) * 2010-10-29 2011-03-09 深圳市同洲电子股份有限公司 一种视频传输质量评测的方法与系统
CN102761771A (zh) * 2012-06-29 2012-10-31 无锡风格软件有限公司 一种基于图像客观质量评估进行视频劣播检测的方法及设备
CN102917141A (zh) * 2012-10-26 2013-02-06 上海大唐移动通信设备有限公司 一种评估语音质量的测试方法、装置及系统
CN103067778A (zh) * 2013-01-06 2013-04-24 北京华兴宏视技术发展有限公司 数据监测系统和数据监测方法
CN104255017A (zh) * 2012-04-25 2014-12-31 安立公司 用于启用语音质量降级估计的网络通信的损伤仿真
CN107105226A (zh) * 2017-06-22 2017-08-29 上海迪爱斯通信设备有限公司 一种视频质量评价装置
CN107231552A (zh) * 2017-05-09 2017-10-03 复旦大学 一种面向超高清视频点播的质量监测系统
CN109634444A (zh) * 2018-10-30 2019-04-16 山东超越数控电子股份有限公司 一种kvm远程鼠标同步控制方法及系统
CN111355950A (zh) * 2020-03-13 2020-06-30 随锐科技集团股份有限公司 实时视频通信中的视频传输质量检测方法及系统
CN111432060A (zh) * 2020-02-27 2020-07-17 中国平安财产保险股份有限公司 手机音频模块的测试方法、装置及存储介质
CN111862063A (zh) * 2020-07-27 2020-10-30 中国平安人寿保险股份有限公司 一种视频质量评估方法、装置、计算机设备和存储介质
CN111951821A (zh) * 2020-08-13 2020-11-17 腾讯科技（深圳）有限公司 通话方法和装置
CN112017693A (zh) * 2019-05-30 2020-12-01 腾讯科技（深圳）有限公司 一种音频质量评估方法及装置
CN112468872A (zh) * 2020-10-14 2021-03-09 上海艾策通讯科技股份有限公司 Ip视频一致性检测方法、装置、计算机设备和存储介质
CN112688834A (zh) * 2021-01-05 2021-04-20 厦门亿联网络技术股份有限公司 会议接通率测试方法、装置、终端及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685354A (zh) * 2008-09-26 2010-03-31 宏正自动科技股份有限公司 校准远程计算机光标对客户端计算机鼠标反应的方法及系统
CN101984665A (zh) * 2010-10-29 2011-03-09 深圳市同洲电子股份有限公司 一种视频传输质量评测的方法与系统
CN104255017A (zh) * 2012-04-25 2014-12-31 安立公司 用于启用语音质量降级估计的网络通信的损伤仿真
CN102761771A (zh) * 2012-06-29 2012-10-31 无锡风格软件有限公司 一种基于图像客观质量评估进行视频劣播检测的方法及设备
CN102917141A (zh) * 2012-10-26 2013-02-06 上海大唐移动通信设备有限公司 一种评估语音质量的测试方法、装置及系统
CN103067778A (zh) * 2013-01-06 2013-04-24 北京华兴宏视技术发展有限公司 数据监测系统和数据监测方法
CN107231552A (zh) * 2017-05-09 2017-10-03 复旦大学 一种面向超高清视频点播的质量监测系统
CN107105226A (zh) * 2017-06-22 2017-08-29 上海迪爱斯通信设备有限公司 一种视频质量评价装置
CN109634444A (zh) * 2018-10-30 2019-04-16 山东超越数控电子股份有限公司 一种kvm远程鼠标同步控制方法及系统
CN112017693A (zh) * 2019-05-30 2020-12-01 腾讯科技（深圳）有限公司 一种音频质量评估方法及装置
CN111432060A (zh) * 2020-02-27 2020-07-17 中国平安财产保险股份有限公司 手机音频模块的测试方法、装置及存储介质
CN111355950A (zh) * 2020-03-13 2020-06-30 随锐科技集团股份有限公司 实时视频通信中的视频传输质量检测方法及系统
CN111862063A (zh) * 2020-07-27 2020-10-30 中国平安人寿保险股份有限公司 一种视频质量评估方法、装置、计算机设备和存储介质
CN111951821A (zh) * 2020-08-13 2020-11-17 腾讯科技（深圳）有限公司 通话方法和装置
CN112468872A (zh) * 2020-10-14 2021-03-09 上海艾策通讯科技股份有限公司 Ip视频一致性检测方法、装置、计算机设备和存储介质
CN112688834A (zh) * 2021-01-05 2021-04-20 厦门亿联网络技术股份有限公司 会议接通率测试方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
KR102257261B1 (ko) 콜 품질의 예측
EP3398286B1 (en) Synchronizing playback of digital media content
CN110853646B (zh) 会议发言角色的区分方法、装置、设备及可读存储介质
JP4486130B2 (ja) 映像コミュニケーション品質推定装置、方法、およびプログラム
JP2020096342A (ja) 動画を処理するための方法および装置
CN108737884B (zh) 一种内容录制方法及其设备、存储介质、电子设备
CN110505522A (zh) 视频数据的处理方法、装置、及电子设备
CN109714557A (zh) 视频通话的质量评估方法、装置、电子设备和存储介质
WO2016051906A1 (ja) 情報処理装置および情報処理方法
WO2018089096A1 (en) Compressed media with still images selected from a video stream
CN111885398B (zh) 基于三维模型的交互方法、装置、系统、电子设备和存储介质
KR101846449B1 (ko) 사용자 단말 디바이스, 서버 디바이스, 매체 데이터의 품질을 평가하기 위한 시스템 및 방법
WO2015089793A1 (zh) 移动视频业务的体验质量测量方法及装置
US20230367543A1 (en) Source-based sound quality adjustment tool
JP5373704B2 (ja) マルチメディア品質推定装置およびマルチメディア品質推定方法
CN113766214A (zh) 一种串流数据的质量检测方法、质量检测系统及相关装置
CN115174919B (zh) 一种视频处理方法、装置、设备及介质
JP2009100193A (ja) 選択支援装置および選択支援システム
US10762913B2 (en) Image-based techniques for audio content
CN111031325A (zh) 数据处理方法及系统
CN110401847A (zh) 云dvr视频的压缩存储方法、电子设备及系统
US20210308570A1 (en) Method and apparatus for game streaming
CN113436644B (zh) 音质评估方法、装置、电子设备及存储介质
CN115460189B (zh) 处理设备测试方法、装置、计算机及存储介质
US20240236320A1 (en) Fast search and selection of a transform kernel for av1 encoding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination