CN114035719B - 一种远程桌面流畅度性能评价方法、系统及介质 - Google Patents
一种远程桌面流畅度性能评价方法、系统及介质 Download PDFInfo
- Publication number
- CN114035719B CN114035719B CN202111176857.5A CN202111176857A CN114035719B CN 114035719 B CN114035719 B CN 114035719B CN 202111176857 A CN202111176857 A CN 202111176857A CN 114035719 B CN114035719 B CN 114035719B
- Authority
- CN
- China
- Prior art keywords
- remote desktop
- time
- fluency
- input
- input operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 50
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000002860 competitive effect Effects 0.000 abstract description 2
- 238000010998 test method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种远程桌面流畅度性能评价方法、系统及介质，本发明方法进行输入延迟测试的步骤：1)在终端向远程桌面发出一组时间间隔和内容确定的输入操作；2)获取远程桌面执行各个输入操作i的时刻ti和顺序编号；3)基于获得的各个输入操作i的时刻ti和顺序编号，分别获得输入操作的网络延迟时间、丢失数量和乱序次数；4)基于输入操作的网络延迟时间、丢失数量和乱序次数，确定输入延迟测试的流畅度评价结果。本发明能够客观的总结出远程桌面的流畅程度，不以人的判断为转移，可用于对比同行竞品的优劣程度，对比相同代码优化迭代前后的进步与优劣。
Description
技术领域
本发明涉及云计算的云桌面技术，具体涉及一种远程桌面流畅度性能评价方法、系统及介质。
背景技术
目前市场上各个云桌面的供应商的云桌面都是远程连接，在远程连接中如何对每个不同云桌面供应商系统的卡顿和流畅程度的判断存在很大的主观性，人会因为个体差异对操作系统操作卡顿和流畅的敏感程度呈现出不同的认知，而这些主观性的认知卡顿和流程的程度无法数据化，也没有标准。随着行业技术的提升，在云服务技术的沉浸式研究，云桌面开发商对自身系统的优化都在不断提高，如何定义系统的性能是否真的得以优化，如何界定云服务器的流程程度是否真的随着版本的迭代得以改善。如何判断不同的云桌面供应商的在不同网络环境下或在同一网络环境下的流畅程度和卡顿程度，目前没有对流程程度的一个客观的打分和评分系统。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种远程桌面流畅度性能评价方法、系统及介质，本发明能够客观的总结出远程桌面的流畅程度，不以人的判断为转移，可以对比同行竞品的优劣程度，可以对比相同代码优化迭代前后的进步与优劣。
为了解决上述技术问题，本发明采用的技术方案为：
一种远程桌面流畅度性能评价方法，包括进行输入延迟测试的步骤：
1)在终端向远程桌面发出一组时间间隔和内容确定的输入操作；
2)获取远程桌面执行各个输入操作i的时刻ti和顺序编号；
3)基于获得的各个输入操作i的时刻ti和顺序编号，分别获得输入操作的网络延迟时间、丢失数量和乱序次数；
4)基于输入操作的网络延迟时间、丢失数量和乱序次数，确定输入延迟测试的流畅度评价结果。
可选地，步骤1)中的一组时间间隔和内容确定的输入操作是指一组时间间隔和坐标确定的鼠标移动操作；步骤2)中获取远程桌面执行各个输入操作i的时刻ti和顺序编号是指：获取远程桌面的图像中鼠标位置，如果远程桌面的图像中鼠标移动到终端向远程桌面发出的鼠标移动操作所对应的坐标则记录当前的时刻以及顺序编号，最终得到远程桌面执行各个鼠标移动操作i的时刻ti和顺序编号。
可选地，步骤1)中的一组时间间隔和内容确定的输入操作是指一组时间间隔和按键确定的键盘按键操作；步骤2)中获取远程桌面执行各个输入操作i的时刻ti和顺序编号是指：获取远程桌面的图像中渲染的字母，并记录各个字母出现的时刻以及顺序编号，最终得到远程桌面执行各个键盘按键操作i的时刻ti和顺序编号。
可选地，步骤3)中网络延迟时间是指终端发出第一个输入操作的时刻t0、远程桌面执行第一个输入操作的时刻t1之间的时间差；所述丢失数量是指终端发出的输入操作数量减去远程桌面执行的输入操作数量所得的数量；所述乱序次数是指终端发出的输入操作序号与远程桌面执行的顺序编号不一致的输入操作数量。
可选地，步骤4)中确定输入延迟测试的流畅度评价结果的函数表达式为：
F1＝100*(d1/d1avg)*(l1/num1)-O1或F1＝(d1/d1avg)*(l1/num1)-O1
上式中，F1为输入延迟测试的流畅度评价结果，d1为网络延迟时间，d1avg为输入操作的平均网络延迟时间，l1为丢失数量，num1为输入操作总数量，O1为乱序次数，其中输入操作的平均网络延迟时间d1avg为远程桌面执行每一个输入操作对应的时刻ti与终端发出对应鼠标移动操作的时刻之差的平均值。
可选地，包括进行视频帧测试的步骤：
S1)终端接收远程桌面执行指定操作时发送的视频帧，记录收到的视频帧中每一个图像帧的时刻和顺序编号；
S2)基于记录的每一个图像帧的时刻和顺序编号确定接收远程桌面的视频帧的网络延迟时间、图像帧丢失数量和图像帧乱序次数；
S3)基于网络延迟时间、图像帧丢失数量和图像帧乱序次数确定视频帧测试的流畅度评价结果。
可选地，步骤S2)中视频帧的网络延迟时间是指收到第一个图像帧的时刻减去远程桌面发送第一个图像帧的时刻得到的时间；图像帧丢失数量是指将远程桌面的视频帧中的图像帧数量减去终端收到的图像帧数量得到的数量；图像帧乱序次数是指终端收到的图像帧的顺序编号与远程桌面的发送的视频帧顺序不一致的图像帧数量。
可选地，步骤S3)中确定远程桌面视频帧测试的流畅度评价结果的函数表达式为：
F2＝100*(d2/d2avg)*(l2/num2)-O2或F2＝(d2/d2avg)*(l2/num2)-O2
上式中，F2为视频帧测试的流畅度评价结果，d2为网络延迟时间，d2avg为图像帧的平均网络延迟时间，l2为图像帧丢失数量，num2为图像帧总数量，O2为图像帧乱序次数，图像帧的平均网络延迟时间d2avg为终端收到每一个图像帧的时刻ti与远程桌面发送该图像帧的时刻之差的平均值。
此外，本发明还提供一种远程桌面流畅度性能评价系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述远程桌面流畅度性能评价方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述远程桌面流畅度性能评价方法的计算机程序
和现有技术相比，本发明具有下述优点：
1、本发明进行远程桌面鼠标输入延迟测试时包括在远程桌面的终端从初始时刻t0开始发出一组时间间隔和坐标确定的鼠标移动操作；获取远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号，远程桌面和终端之间的交互简单，运算量小。
2、、本发明进行远程桌面鼠标输入延迟测试时包括基于远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号确定远程桌面的网络延迟时间、鼠标移动操作丢失数量和鼠标移动操作乱序次数；基于网络延迟时间、鼠标移动操作丢失数量和鼠标移动操作乱序次数确定远程桌面鼠标输入延迟测试的流畅度评价结果，通过网络延迟时间、鼠标移动操作丢失数量和鼠标移动操作乱序次数的综合，可获得准确的远程桌面鼠标输入延迟测试结果。
3、本发明方法能够客观的总结出远程桌面的流畅程度，不以人的判断为转移，可以对比同行竞品的优劣程度，可以对比相同代码优化迭代前后的进步与优劣。
附图说明
图1为本发明实施例一中输入延迟测试的基本流程示意图。
图2为本发明实施例一中鼠标移动操作的轨迹图。
图3为本发明实施例一中鼠标移动操作的交互流程示意图。
图4为本发明实施例二中键盘按键操作的交互流程示意图。
图5为本发明实施例三中视频帧测试的交互流程示意图。
具体实施方式
实施例一：
如图1所示，本实施例远程桌面流畅度性能评价方法包括进行输入延迟测试的步骤：
1)在终端向远程桌面发出一组时间间隔和内容确定的输入操作；
2)获取远程桌面执行各个输入操作i的时刻ti和顺序编号；
3)基于获得的各个输入操作i的时刻ti和顺序编号，分别获得输入操作的网络延迟时间、丢失数量和乱序次数；
4)基于输入操作的网络延迟时间、丢失数量和乱序次数，确定输入延迟测试的流畅度评价结果。
需要说明的是，输入操作可以通过各类人机交互设备进行实现，包括鼠标、键盘等各类人机交互设备，由于这些人机交互设备是终端、远程桌面之间的交互的设备，其操作直接影响到远程桌面流畅度的用户体验。
如图2所示，作为一种可选的方式，本实施例步骤1)中的一组时间间隔和内容确定的输入操作是指一组时间间隔和坐标确定的鼠标移动操作。需要说明的是，时间间隔确定既可以是指相同的时间间隔，也可以是指不同的时间间隔，其可以根据需要进行选择。
本实施例中，终端通过Qt图形界面技术，批量嵌套多线程技术，网络远程通信，linux和windows的系统内核API接口分别通过linux下和windows的内核模块对鼠标的操作，并在远程桌面的操作系统应用层对界面的翻页和传输层对视频重定向播放进行了监控。图2为本发明实施例方法中监控得到的鼠标移动操作轨迹图，其中a为鼠标打印上屏时间线，b为远程桌面执行鼠标移动操作的时间线，c为终端发出鼠标移动操作的时间线。
本实施例中，步骤2)中获取远程桌面执行各个输入操作i的时刻ti和顺序编号是指：获取远程桌面的图像中鼠标位置，如果远程桌面的图像中鼠标移动到终端向远程桌面发出的鼠标移动操作所对应的坐标则记录当前的时刻以及顺序编号，最终得到远程桌面执行各个鼠标移动操作i的时刻ti和顺序编号。
需要说明的是，步骤2)获取远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号的方式可以有多种，例如一种方式为终端、远程桌面之间通过通讯来获取远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号。此外，如图3所示，还可以根据需要采用远程桌面图像的方式来获取远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号，其中服务器是指远程桌面所在的虚拟服务器，终端的处理器生成鼠标移动操作后，终端的处理器会将鼠标移动操作的信息发送给远程桌面所在的虚拟服务器；远程桌面所在的虚拟服务器接收到信息，将虚拟机中的鼠标移动到信息中相对应的位置，同时将鼠标操作所形成的界面变化压缩成图片发送给终端的处理器，终端的处理器解压压缩数据包，将解压的图片打印到终端显示器上，并进行图像分析获取远程桌面执行各个鼠标移动操作对应的坐标i、时刻ti和顺序编号。在此过程中，经过了两次网络传递，从终端传到服务器端，再从服务器端传递到终端。此过程中终端的鼠标和键盘第一时间出发并移动，而图像的变化经过了两次网络传输，如果再次过程中出现了丢包或者延迟就是我们通常所说的网络桌面不流畅或者远程桌面卡顿。本实施例中，像素点x:0,y:0记为(0,0)。鼠标在终端移动的点为100个像素点，从(0,0)到(99,99)一共100个像素点，起始时间是凌晨0分0秒，而结束时间是凌晨0分0.1秒，整个工作用时100毫秒就是说从一个像素运动到下一个像素，每个像素的之间的时间间隔是1毫秒。服务器接受到第一个鼠标信息的时间凌晨0分0.5秒，接受到最后一个鼠标信息的时间为凌晨0分0.6秒，也就是说从终端发送到服务端的网络延迟为0.5秒。客户端打印图片上屏：上屏时，如果第一个点在终端屏幕的上屏时间是凌晨0分2秒，从像素点(0,0)到(99,99)之间移动像素点并未达到100个点，说明网络中存在丢包,丢的包越多说明卡顿越严重；如果有的点的顺序从(10,10)到(9,9)，再到(8,8)说明网络包存在乱序；如果每个点之间的间隔也并不是1毫秒，有的是25毫秒，有的是50毫秒，有的是60毫秒说明操作出现了远程桌面操作不流畅。乱序、丢包次数越多，两点之间的平均时间间隔越大说明操作越不流畅。
本实施例中，步骤3)中网络延迟时间是指终端发出第一个输入操作的时刻t0、远程桌面执行第一个输入操作的时刻t1之间的时间差；丢失数量是指终端发出的输入操作数量减去远程桌面执行的输入操作数量所得的数量；乱序次数是指终端发出的输入操作序号与远程桌面执行的顺序编号不一致的输入操作数量。
本实施例中，步骤4)中确定输入延迟测试的流畅度评价结果的函数表达式为：
F1＝100*(d1/d1avg)*(l1/num1)-O1或F1＝(d1/d1avg)*(l1/num1)-O1
上式中，F1为输入延迟测试的流畅度评价结果，d1为网络延迟时间，d1avg为输入操作的平均网络延迟时间，l1为丢失数量，num1为输入操作总数量，O1为乱序次数，其中输入操作的平均网络延迟时间d1avg为远程桌面执行每一个输入操作对应的时刻ti与终端发出对应鼠标移动操作的时刻之差的平均值。上述两种方式中，第一种流畅度评价结果为百分制，第二种流畅度评价结果满分为1分。其中，d1/d1avg是原始延迟时间/上屏延迟时间可以得到延迟的比例，l1/num1丢包后实际接收数/客户端发送总数算出接收到的信息的比例多少。经过测试发现，丢失数量l1和网络延迟时间d1所测试出来的值是与网络级别线性递增的，网络延迟和丢包是直接影响用户体验流畅度的因素，所以本实施例中使用线性相乘的算法来计算＝(d1/d1avg)*(l1/num1)；而乱序和卡顿没有线性的关系，乱序主要由硬件链路层引起的错误，并非远程传输协议中算法引起的错误，这种错误的发生有一定的偶然性，在测试中需要多次测试，为减少这种错误对算法带来的影响，为了降低硬件不稳定带来的影响，本实施例中针对乱序次数O1做减法处理。
此外，本实施例还提供一种远程桌面流畅度性能评价系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述远程桌面流畅度性能评价方法的步骤。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述远程桌面流畅度性能评价方法的计算机程序。
实施例二：
本实施例与实施例一基本相同，其主要区别点为：实施例一中的输入操作是指鼠标移动操作，而本实施例中的输入操作为键盘按键操作，由于按键的唯一性，因此同样可以实现输入操作的内容确定。
键盘操作与鼠标一样，在kvm中，鼠标的本地渲染可以之间查看鼠标的移动，鼠标的拖动翻页则需要服务器处理的图片返回；而键盘则完全需要服务器返回，本地第一时间任何画面都不会变动，需要服务器处理客户端的键盘信息，并渲染后发给客户端上屏，才可以查看到键盘的变化。本实施例中，步骤1)中的一组时间间隔和内容确定的输入操作是指一组时间间隔和按键确定的键盘按键操作；步骤2)中获取远程桌面执行各个输入操作i的时刻ti和顺序编号是指：获取远程桌面的图像中渲染的字母，并记录各个字母出现的时刻以及顺序编号，最终得到远程桌面执行各个键盘按键操作i的时刻ti和顺序编号。
如图4所示，终端发出的连续按顺序按键A，B，C依次到X，Y，Z，一共26个字符，每一次按键时间间隔相等，按键信息通过网络发送给远程桌面的服务器端，服务器端接受到按键信息则将触发对应的键盘消息，将键盘操作所形成的界面变化压缩成图片发送给终端的处理器，终端的处理器解压压缩数据包，将解压的图片打印到终端显示器上。终端可反复发送100组26个英文字母，将这100组26组英文字母和按键的时间间隔发送给远程桌面的服务器端。远程桌面的服务器端接受到英文字母，并按照每连个字母间的时间间隔来出发按键，并将字母渲染的像素出来，发送给终端。终端打印图片上屏：终端接受发送而来的字母，并通过远程桌面的服务器端渲染的时间，将远程桌面的服务器端发送而来的字母打印到前端显示屏上。如果远程桌面的服务器端渲染的时间和终端出发的时间不相同则说明网络发生了延时，或者服务端系统处理能力下降导致了不流畅；如果远程桌面的服务器端渲染的字母和终端发送给服务端的字母个数不相等，说明在传输途中发生了丢包；如果每个点之间的时间间隔不相同，而是越来越长，说明操作出现了远程桌面键盘操作不流畅。本实施例中，一共2600个包，乱序，丢包次数越多，两点之间的平均时间间隔越大说明操作越不流畅。因此，可采用与实施例一完全相同的确定输入延迟测试的流畅度评价结果的函数表达式来计算键盘按键操作的流畅度评价结果，在此不再赘述。
此外，本实施例还提供一种远程桌面流畅度性能评价系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述远程桌面流畅度性能评价方法的步骤。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述远程桌面流畅度性能评价方法的计算机程序。
实施例三：
本实施例为实施例一的进一步扩展。
本实施例在实施例一的基础上，考虑到远程桌面的视频播放以及界面翻页对于远程桌面流畅度体验的影响，本实施例中还包括进行视频帧测试的步骤：
S1)终端接收远程桌面执行指定操作时发送的视频帧，记录收到的视频帧中每一个图像帧的时刻和顺序编号；
S2)基于记录的每一个图像帧的时刻和顺序编号确定接收远程桌面的视频帧的网络延迟时间、图像帧丢失数量和图像帧乱序次数；
S3)基于网络延迟时间、图像帧丢失数量和图像帧乱序次数确定视频帧测试的流畅度评价结果。
本实施例中，步骤S2)中视频帧的网络延迟时间是指收到第一个图像帧的时刻减去远程桌面发送第一个图像帧的时刻得到的时间；图像帧丢失数量是指将远程桌面的视频帧中的图像帧数量减去终端收到的图像帧数量得到的数量；图像帧乱序次数是指终端收到的图像帧的顺序编号与远程桌面的发送的视频帧顺序不一致的图像帧数量。
如图5所示，虚拟化服务器将虚拟机中的视频的帧进行压缩并发送终端的处理器后，终端的处理器接受到压缩的帧并进行解压，得到接收远程桌面执行指定操作时发送指定帧率的图像帧，并将解压的图像帧打印到终端屏幕上，同时还需要执行前述步骤S1)～S3)以完成进行远程桌面视频帧测试。在此过程中，如果帧在网络传输中产生了卡顿，丢包，或者终端处理器在解压中产生了错误或者卡顿，或者在打印到屏幕上时产生了卡顿，这些卡顿都会使得播放的帧率和视频原本的帧率不一致，这就是我们所说的视频播放卡顿。例如虚拟机中的视频帧率为100，说明每1/100秒播放一张图片。视频一共10秒钟时长，一共1000张图片。将图片从1到1000编号，开始按序号发送给客户端。客户端接收到服务端发送来的视频帧率，开始接受图片压缩帧，如果接受到的图片如果客户端接收到的编号为10的图片，后马上接到12号图片，才接到11号图片说明网络包乱序。如果客户端接受到标号为10的图片后等待2/100秒后接收到编号为12的图片，说明网络丢包。如果客户端接收到图片平均间隔时间0.5秒，说明视频卡顿不流畅。因此，包乱序、丢包次数越多、平均时间间隔越大说明视频播放越不流畅。
本实施例步骤S3)中确定远程桌面视频帧测试的流畅度评价结果的函数表达式为：
F2＝100*(d2/d2avg)*(l2/num2)-O2或F2＝(d2/d2avg)*(l2/num2)-O2
上式中，F2为视频帧测试的流畅度评价结果，d2为网络延迟时间，d2avg为图像帧的平均网络延迟时间，l2为图像帧丢失数量，num2为图像帧总数量，O2为图像帧乱序次数，图像帧的平均网络延迟时间d2avg为终端收到每一个图像帧的时刻ti与远程桌面发送该图像帧的时刻之差的平均值。上述两种方式中，第一种流畅度评价结果为百分制，第二种流畅度评价结果满分为1分。其中，d2/d2avg是原始延迟时间/上屏延迟时间可以得到延迟的比例，l2/num2丢包后实际接收数/客户端发送总数算出接收到的信息的比例多少。经过测试发现，丢失数量l2和网络延迟时间d2所测试出来的值是与网络级别线性递增的，网络延迟和丢包是直接影响用户体验流畅度的因素，所以本实施例中使用线性相乘的算法来计算＝(d2/d2avg)*(l2/num2)；而乱序和卡顿没有线性的关系，乱序主要由硬件链路层引起的错误，并非远程传输协议中算法引起的错误，这种错误的发生有一定的偶然性，在测试中需要多次测试，为减少这种错误对算法带来的影响，为了降低硬件不稳定带来的影响，本实施例中针对乱序次数O2做减法处理。
此外，本实施例还提供一种远程桌面流畅度性能评价系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述远程桌面流畅度性能评价方法的步骤。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述远程桌面流畅度性能评价方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种远程桌面流畅度性能评价方法，其特征在于，包括进行输入延迟测试的步骤：
1）在终端向远程桌面发出一组时间间隔和内容确定的输入操作；
2）获取远程桌面执行各个输入操作i的时刻t i和顺序编号；
3）基于获得的各个输入操作i的时刻t i和顺序编号，分别获得输入操作的网络延迟时间、丢失数量和乱序次数；
4）基于输入操作的网络延迟时间、丢失数量和乱序次数，确定输入延迟测试的流畅度评价结果，其中确定输入延迟测试的流畅度评价结果的函数表达式为：
F 1=100*(d 1/d 1avg)*(l 1/num 1)-O 1或 F 1=(d 1/d 1avg)*(l 1/num 1)-O 1
上式中，F 1为输入延迟测试的流畅度评价结果，d 1为网络延迟时间，d 1avg为输入操作的平均网络延迟时间，l 1为丢失数量，num 1为输入操作总数量，O 1为乱序次数，其中输入操作的平均网络延迟时间d 1avg为远程桌面执行每一个输入操作对应的时刻t i与终端发出对应鼠标移动操作的时刻之差的平均值；
步骤1）中的一组时间间隔和内容确定的输入操作是指一组时间间隔和坐标确定的鼠标移动操作，步骤2）中获取远程桌面执行各个输入操作i的时刻t i和顺序编号是指：获取远程桌面的图像中鼠标位置，如果远程桌面的图像中鼠标移动到终端向远程桌面发出的鼠标移动操作所对应的坐标则记录当前的时刻以及顺序编号，最终得到远程桌面执行各个鼠标移动操作i的时刻t i和顺序编号；或者步骤1）中的一组时间间隔和内容确定的输入操作是指一组时间间隔和按键确定的键盘按键操作，步骤2）中获取远程桌面执行各个输入操作i的时刻t i和顺序编号是指：获取远程桌面的图像中渲染的字母，并记录各个字母出现的时刻以及顺序编号，最终得到远程桌面执行各个键盘按键操作i的时刻t i和顺序编号。
2.根据权利要求1所述的远程桌面流畅度性能评价方法，其特征在于，步骤3）中网络延迟时间是指终端发出第一个输入操作的时刻t 0、远程桌面执行第一个输入操作的时刻t 1之间的时间差；所述丢失数量是指终端发出的输入操作数量减去远程桌面执行的输入操作数量所得的数量；所述乱序次数是指终端发出的输入操作序号与远程桌面执行的顺序编号不一致的输入操作数量。
3.据权利要求1所述的远程桌面流畅度性能评价方法，其特征在于，还包括进行视频帧测试的步骤：
S1）终端接收远程桌面执行指定操作时发送的视频帧，记录收到的视频帧中每一个图像帧的时刻和顺序编号；
S2）基于记录的每一个图像帧的时刻和顺序编号确定接收远程桌面的视频帧的网络延迟时间、图像帧丢失数量和图像帧乱序次数；
S3）基于网络延迟时间、图像帧丢失数量和图像帧乱序次数确定视频帧测试的流畅度评价结果。
4.根据权利要求3所述的远程桌面流畅度性能评价方法，其特征在于，步骤S2）中视频帧的网络延迟时间是指收到第一个图像帧的时刻减去远程桌面发送第一个图像帧的时刻得到的时间；图像帧丢失数量是指将远程桌面的视频帧中的图像帧数量减去终端收到的图像帧数量得到的数量；图像帧乱序次数是指终端收到的图像帧的顺序编号与远程桌面的发送的视频帧顺序不一致的图像帧数量。
5. 根据权利要求4所述的远程桌面流畅度性能评价方法，其特征在于，步骤S3）中确定远程桌面视频帧测试的流畅度评价结果的函数表达式为：
F 2=100*(d 2/d 2avg)*(l 2/num 2)-O 2或 F 2=(d 2/d 2avg)*(l 2/num 2)-O 2
上式中，F 2为视频帧测试的流畅度评价结果，d 2为网络延迟时间，d 2avg为图像帧的平均网络延迟时间，l 2为图像帧丢失数量，num 2为图像帧总数量，O 2为图像帧乱序次数，图像帧的平均网络延迟时间d 2avg为终端收到每一个图像帧的时刻t i与远程桌面发送该图像帧的时刻之差的平均值。
6.一种远程桌面流畅度性能评价系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～5中任意一项所述远程桌面流畅度性能评价方法的步骤。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述远程桌面流畅度性能评价方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176857.5A CN114035719B (zh) | 2021-10-09 | 2021-10-09 | 一种远程桌面流畅度性能评价方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111176857.5A CN114035719B (zh) | 2021-10-09 | 2021-10-09 | 一种远程桌面流畅度性能评价方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114035719A CN114035719A (zh) | 2022-02-11 |
| CN114035719B true CN114035719B (zh) | 2024-04-26 |
Family
ID=80141038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111176857.5A Active CN114035719B (zh) | 2021-10-09 | 2021-10-09 | 一种远程桌面流畅度性能评价方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114035719B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308449A (zh) * | 2008-07-08 | 2008-11-19 | 中国科学院计算技术研究所 | 一种远程桌面系统中的窗口缓存方法 |
| CN102541555A (zh) * | 2011-12-27 | 2012-07-04 | 福建升腾资讯有限公司 | 一种使用api拦截方式实现远程桌面视频流畅播放的方法 |
| CN102740111A (zh) * | 2012-06-15 | 2012-10-17 | 福建升腾资讯有限公司 | 远程桌面下基于帧号水印的视频流畅度测试方法和装置 |
| CN104079926A (zh) * | 2014-07-04 | 2014-10-01 | 南京富士通南大软件技术有限公司 | 一种远程桌面软件的视频性能测试方法 |
| CN106970798A (zh) * | 2017-03-31 | 2017-07-21 | 山东超越数控电子有限公司 | 一种远程桌面图形加速方法 |
| CN107193515A (zh) * | 2017-04-10 | 2017-09-22 | 腾讯科技（深圳）有限公司 | 动画显示流畅度的监控方法、装置及其设备 |
| CN107515825A (zh) * | 2017-08-22 | 2017-12-26 | 网易（杭州）网络有限公司 | 流畅度测试方法和装置、存储介质、终端 |
| CN109165154A (zh) * | 2018-09-10 | 2019-01-08 | 广东小天才科技有限公司 | 一种显示界面流畅度统计方法及系统、移动终端及服务器 |
| CN110856036A (zh) * | 2019-11-11 | 2020-02-28 | 深圳市赛菲姆科技有限公司 | 远程桌面实现方法、交互方法、装置、设备、存储介质 |
| WO2020232857A1 (zh) * | 2019-05-22 | 2020-11-26 | 上海达龙信息科技有限公司 | 实时监测云桌面运行环境的方法、系统、介质及服务器 |
| CN112199273A (zh) * | 2020-09-18 | 2021-01-08 | 湖南麒麟信安科技股份有限公司 | 一种虚拟机压力/性能测试方法及系统 |
| CN112203042A (zh) * | 2020-09-10 | 2021-01-08 | 福建升腾资讯有限公司 | 一种云桌面操作响应时间测试方法、系统、设备及介质 |
| CN112291587A (zh) * | 2019-07-25 | 2021-01-29 | 上海达龙信息科技有限公司 | 远程桌面的动态视频帧处理方法、系统、介质及服务器 |
| CN112486606A (zh) * | 2020-11-19 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种基于Android系统的云桌面显示优化方法及系统 |
| CN112486609A (zh) * | 2020-11-25 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种基于云桌面的虚拟显卡实现方法和装置 |
| CN112595521A (zh) * | 2020-08-24 | 2021-04-02 | 中国汽车技术研究中心有限公司 | 车辆平顺性模拟测试方法 |
| CN112612688A (zh) * | 2020-12-29 | 2021-04-06 | 北京安兔兔科技有限公司 | 设备流畅度的测试方法、装置、电子设备及存储介质 |
| CA3116392A1 (en) * | 2020-02-19 | 2021-08-19 | Citrix Systems, Inc. | Migration of a desktop workload |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9465654B2 (en) * | 2012-02-07 | 2016-10-11 | Veritas Technologies Llc | Intelligent failover or shutdown of an application using input/output shipping in response to loss of connectivity to data storage in a cluster |
| US8862695B2 (en) * | 2012-10-29 | 2014-10-14 | Vmware, Inc. | Performance enhancement in virtual desktop infrastructure (VDI) |
| US20160080451A1 (en) * | 2014-03-10 | 2016-03-17 | Gazoo, Inc. | Real-time dynamic hyperlinking system and method |
| US9813517B2 (en) * | 2014-05-29 | 2017-11-07 | Vmware, Inc. | Feedback layer for native content display in virtual desktop infrastructure |
| WO2016069492A1 (en) * | 2014-10-27 | 2016-05-06 | Citrix Systems, Inc. | Input devices in high latency networks |
| US10255667B2 (en) * | 2015-12-23 | 2019-04-09 | Vmware, Inc. | Quantitative visual perception quality measurement for virtual desktops |
| US11138026B2 (en) * | 2018-05-04 | 2021-10-05 | Citrix Systems, Inc. | Systems and methods for remote computing session display based upon user input event prioritization |
-
2021
- 2021-10-09 CN CN202111176857.5A patent/CN114035719B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308449A (zh) * | 2008-07-08 | 2008-11-19 | 中国科学院计算技术研究所 | 一种远程桌面系统中的窗口缓存方法 |
| CN102541555A (zh) * | 2011-12-27 | 2012-07-04 | 福建升腾资讯有限公司 | 一种使用api拦截方式实现远程桌面视频流畅播放的方法 |
| CN102740111A (zh) * | 2012-06-15 | 2012-10-17 | 福建升腾资讯有限公司 | 远程桌面下基于帧号水印的视频流畅度测试方法和装置 |
| CN104079926A (zh) * | 2014-07-04 | 2014-10-01 | 南京富士通南大软件技术有限公司 | 一种远程桌面软件的视频性能测试方法 |
| CN106970798A (zh) * | 2017-03-31 | 2017-07-21 | 山东超越数控电子有限公司 | 一种远程桌面图形加速方法 |
| CN107193515A (zh) * | 2017-04-10 | 2017-09-22 | 腾讯科技（深圳）有限公司 | 动画显示流畅度的监控方法、装置及其设备 |
| CN107515825A (zh) * | 2017-08-22 | 2017-12-26 | 网易（杭州）网络有限公司 | 流畅度测试方法和装置、存储介质、终端 |
| CN109165154A (zh) * | 2018-09-10 | 2019-01-08 | 广东小天才科技有限公司 | 一种显示界面流畅度统计方法及系统、移动终端及服务器 |
| WO2020232857A1 (zh) * | 2019-05-22 | 2020-11-26 | 上海达龙信息科技有限公司 | 实时监测云桌面运行环境的方法、系统、介质及服务器 |
| CN112291587A (zh) * | 2019-07-25 | 2021-01-29 | 上海达龙信息科技有限公司 | 远程桌面的动态视频帧处理方法、系统、介质及服务器 |
| CN110856036A (zh) * | 2019-11-11 | 2020-02-28 | 深圳市赛菲姆科技有限公司 | 远程桌面实现方法、交互方法、装置、设备、存储介质 |
| CA3116392A1 (en) * | 2020-02-19 | 2021-08-19 | Citrix Systems, Inc. | Migration of a desktop workload |
| CN112595521A (zh) * | 2020-08-24 | 2021-04-02 | 中国汽车技术研究中心有限公司 | 车辆平顺性模拟测试方法 |
| CN112203042A (zh) * | 2020-09-10 | 2021-01-08 | 福建升腾资讯有限公司 | 一种云桌面操作响应时间测试方法、系统、设备及介质 |
| CN112199273A (zh) * | 2020-09-18 | 2021-01-08 | 湖南麒麟信安科技股份有限公司 | 一种虚拟机压力/性能测试方法及系统 |
| CN112486606A (zh) * | 2020-11-19 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种基于Android系统的云桌面显示优化方法及系统 |
| CN112486609A (zh) * | 2020-11-25 | 2021-03-12 | 湖南麒麟信安科技股份有限公司 | 一种基于云桌面的虚拟显卡实现方法和装置 |
| CN112612688A (zh) * | 2020-12-29 | 2021-04-06 | 北京安兔兔科技有限公司 | 设备流畅度的测试方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Performance evaluation of remote display access for mobile cloud computing;Youming Lin et al.;《Computer Communications》;20151201;第72卷;第17-25页 * |
| 基于Spice协议分块图像缓存优化设计与分析;邓丽萍;;福建教育学院学报;20190425(第04期);全文 * |
| 面向云桌面协议的视频区域侦测算法;侯文慧;王俊峰;;计算机应用;20180125(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114035719A (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10453161B2 (en) | Watermarking and scalability techniques for a virtual desktop planning tool | |
| US8019588B1 (en) | Methods and systems to compare screen captures from emulated devices under test | |
| US7831661B2 (en) | Measuring client interactive performance using a display channel | |
| US10657036B2 (en) | Determining visual testing coverages | |
| US9779389B2 (en) | Generation of screenshots for a visual summary of an online meeting under diverse and/or varying network and/or client computer performance conditions | |
| TWI622877B (zh) | System and method for recording and replaying mouse behavior, recording media and program products | |
| CN111858318B (zh) | 一种响应时间的测试方法、装置、设备和计算机存储介质 | |
| US20160182627A1 (en) | Application hibernation | |
| US20080310722A1 (en) | Identifying character information in media content | |
| CN111669574A (zh) | 一种视频播放质量检测方法及装置 | |
| US8055616B2 (en) | Application sharing smoothness | |
| CN109324864B (zh) | 一种人机交互操作信息的获取方法及装置 | |
| CN113395512B (zh) | 卡顿检测方法、装置、卡顿检测服务器及存储介质 | |
| JP6102575B2 (ja) | 性能測定方法、性能測定プログラム及び性能測定装置 | |
| WO2017190514A1 (zh) | 播放ppt丢帧处理的方法与系统 | |
| CN110651260A (zh) | 增强的组件延迟跟踪 | |
| CN114035719B (zh) | 一种远程桌面流畅度性能评价方法、系统及介质 | |
| CN111431761B (zh) | 一种云手机响应渲染阶段时延测量方法及装置 | |
| CN114071190A (zh) | 云应用视频流处理方法、相关装置及计算机程序产品 | |
| EP3273689B1 (en) | Method of testing the operation of a video player embedded in an electronic display device | |
| CN104158696A (zh) | 一种测量操作延时的确定方法、装置及终端 | |
| CN102779090A (zh) | 一种桌面虚拟化系统性能测量方法和系统 | |
| CN115599375A (zh) | 一种基于rpa系统的数据处理方法及设备 | |
| CN115934179A (zh) | 业务功能控制方法及设备 | |
| CN113095450A (zh) | 二维码数据获取方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |