CN111431761B - 一种云手机响应渲染阶段时延测量方法及装置 - Google Patents

Abstract

本发明公开了一种云手机响应渲染阶段时延测量方法及装置,所述方法包括获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；获取选定视频帧的视频帧序号，继而从各视频帧中提取与选定视频帧，序号相同的视频帧作为第一视频帧；其中，选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；获取云手机终端接收第一操作事件时生成的第一操作事件时间戳，并从各视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据第一操作事件时间戳和第一视频帧时间戳计算云手机响应渲染阶段的时延。通过实施本发明实施例能够测量出云手机终端在响应渲染阶段的时延。

Description

一种云手机响应渲染阶段时延测量方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种云手机响应渲染阶段时延方法及装置。

背景技术

云手机是一种存在于云端的提供远程控制的运行手机操作系统的网络设备，用户可以通过本地手机APP或者PC应用终端(客户端)经由网络使用远程的云手机。由于云手机实际运行的载体在云端，需要通过网络来传输操控指令和图像信息，从而云手机对于操控的总响应时延成为影响业务体验的重要指标。

一般的如图1所示，云手机，不管采用何种架构，其实现运行机理如下：在客户端有事件采集模块和视频接收模块，事件采集模块收集客户端的屏幕点击、触摸等事件，并把事件编码后通过互联网传送到云手机设备端；而视频接收模块则接收云手机设备端传输过来的视频信息，解码后渲染投屏到客户端屏幕上。

在云手机设备端则有事件接收模块和视频采集模块，事件接收模块接收到客户端发送过来的事件，并把事件输入到云手机操作系统，云手机操作系统响应这些点击、触摸等事件，就像在本机操作的一样；而视频采集模块则采集云手机的视频信息，压码后传输给客户端。

一般来说，如图2所示云手机包括了如下时间节点：点击屏幕记t1,事件采集模块采集到点击事件并发送记t2,事件接收模块收到事件并写入云手机记t3,视频采集模块采集到云手机画面响应记t4,视频采集模块压码后并发送记t5,视频接收模块接收到响应的视频帧记t6,客户端解码完t7,客户端转yuv为rgb记t8,客户端渲染记t9,客户端显示出画面变化记t10。以上各个事件点t代表了在客户端使用云手机时一个事件从触发到屏幕响应整个流程的时间标记，通过对各个时间标记的多次测量和统计，即可得到云手机控制流程各环节的时延，如云手机总体响应时延为(t10-t1)，事件传输时延为(t3-t2)，视频压码时延为(t5-t4)。在以上各个时间标记中，大多数标记t都能很容易的进行测量，只要在代码中增加时间点采集和打印日志即可，如压码时延，在取到视频帧后记时间戳t，压码完成准备发送记时间戳t’，即可计算出压码时延t’-t。然而，由于视频采集模块，只能持续接收云手机系统生成的视频帧，而无法分辨视频帧中是否出现了画面变化，因此若当在t3时刻一操作事件被写入时，云手机系统响应这一操作时间时视频帧的画面发生改变时，视频采集模块无法知晓是在哪一帧的视频出现了画面的变化，从而无法确定云手机终端响应操作事件时画面变化的时间节点从而无法记录画面变化的时间戳t4。进而导致云手机响应渲染阶段时延无法测量。

发明内容

本发明实施例提供一种云手机响应渲染阶段时延的测量方法及装置，能测量出云手机终端在响应渲染阶段的时延。

本发明一实施例提供了一种云手机响应渲染阶段时延测量方法，包括获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

进一步的，所述第一操作事件由所述客户端的事件采集模块响应用户的第一操作后生成，并由所述事件采集模块将生成的第一操作事件发送至所述云手机终端的事件接收模块。

进一步的，所述各视频帧对应的视频帧序号通过以下方式生成：

所述视频接收模块依次接收由所述视频采集模块发送的各视频帧，继而将各所述视频帧按接收的先后顺序依次进行编号，生成各所述视频帧对应的序号。

进一步的，所述第一操作事件时间戳为，所述事件接收模块接收由所述事件采集模块发送的第一操作事件时生成的时间戳。

在上述方法项实施例的基础上本发明对应提供了一装置项实施例；

本发明另一实施例提供了一种云手机响应渲染阶段时延测量装置，包括数据获取模块，第一视频帧确定模块和时延计算模块；

所述数据获取模块，用于获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

所述第一视频帧确定模块，用于获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

所述时延计算模块，用于获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

通过实施本发明实施例具有如下有效果：

本发明实施例提供了一种云手机响应渲染阶段时延测量方法及装置，所述方法首先获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号，各视频帧是由云手机终端生成的，然后云手机终端的视频采集模块实时采集各视频帧，并在采集各视频帧时生成对应的时间戳，紧接着视频采集模块将采集的各视频帧发送至客户端的视频接收模块，视频接收模块在接收各视频帧后对各视频帧进行编号，生成各视频帧的视频帧序号，当云手机终端接收到第一操作事件并响应第一操作事件时，会生成新的一系列的视频数据从而使得原有的视频的画面内容发生变化，而由于云手机终端的视频采集模块只能接收各个视频帧，并无法对各视频帧中的画面内容进行识别，因此无法判断哪一帧的视频，是云手机终端响应第一操作事件时生成的第一帧视频，从而无法测量出云手机终端从接受到第一操作响应事件，到根据第一响应事假对视频画面进行变化渲染输出的这一段时长，即云手机响应渲染阶段的时延，为解决上述问题，视频接收模块在对各个视频帧进行编号后，由用户通过预设的视频分析软件对各视频帧进行分析，找到由于第一操作事件而造成画面变化的第一帧视频，得到选定视频帧，紧接着获取选定视频帧的视频帧序号，然后进行比对，从获取的各视频帧中选取序号相同的视频帧，这个视频帧就是云手机终端响应第一操作事件时生成的第一帧视频，最后根据云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，以及第一视频帧时间戳，计算出云手机终端从接受到第一操作事件到做出响应渲染输出对应的视频画面所用的时间，即上述的云手机响应渲染阶段的时延，从而实现云手机响应渲染阶段时延的测量。

附图说明

图1是现有技术中一种云手机传输系统的系统架构图。

图2是现有技术中云手机传输系统进行数据传输的各个时间节点的示意图。

图3是本发明一实施例提供的云手机响应渲染阶段时延测量方法的流程图。

图4本发明一实施例提供的云手机响应渲染阶段时延测量装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先对整个云手机传输系统以及云手机传输系统的各个时间节点进行说明。

如图1所示整个云手机的传输系统包括了客户端1和云手机终端2，客户端包括了内部的客户端操作系统、事件采集模块和视频接收模块，云手机终端包括了云手机操作系统、事件接收模块和视频采集模块。工作原理如下：

客户端的事件采集模块响应用户操作，收集客户端的屏幕点击、触摸等事件，生成各类操作事件，然后把事件编码后通过互联网传送到云手机终端；

云手机终端的事件接收模块接收到客户端发送过来的操作事件后，通过云手机操作系统，云手机操作系统响应这些操作事件，并通过生成新的视频数据并输出来改变原有屏幕的显示内容，表征响应操作事件后的处理结果，而视频采集模块则是采集云手机的视频数据信息，压码后回传给客户端的视频接收模块。

客户端的视频接收模块在接收视频数据信息后，进行解码后渲染投屏到客户端屏幕上。

从而实现通过客户端控制云手机终端的整个过程。

由于操控云手机终端会涉及到多个数据传输及处理的环节，因此存在一定的时延，而每个环节耗时的多少直接影响到云手机整体的使用体验效果。减少各个环节的时延也就成为了云手机的一个重要的优化方向。而要对云手机各环节的时延进行优化，首先必须要对各环节的时延有个准确的测量。

如图2所示，在操控云手机的过程中会有以下几个时间节点：

客户端的屏幕受到点击、触摸、滑动等，即开始进行操作的时间节点t1,客户端的事件采集模块响应用户操作生成操作事件并发送的时间节点t2,云手机终端的事件接收模块接收到操作事件并写入云手机终端的时间节点t3，云手机终端的视频采集模块采集到云手机终端响应操作事件时的画面响应的时间节点t4(其中，t3-t4的这段时间即为本发明所提及云手机响应渲染阶段，在这一阶段中云手机通过内部的操作系统，响应操作事件进行画面渲染生成新的视频帧)，视频采集模块将收到的视频帧压码后发送的时间节点t5、客户端的视频接收模块接收到视频帧的时间节点t6，客户端解码完成的时间节点t7,客户端转yuv为rgb记的时间节点t8,客户端渲染完成的时间节点t9,客户端显示出画面的时间节点t10。

以上各个时间节点代表了在客户端使用云手机时一个事件从触发到屏幕响应整个流程的时间标记，通过对各个时间标记的多次测量和统计，即可得到云手机控制流程各环节的时延，如云手机总体反应时延为(t10-t1)，事件传输时延为(t3-t2)，视频压码时延为(t5-t4)。

在获悉上述内容后，以下对本发明所提供的一种云手机响应渲染阶段时延测量方法及装置进行说明：

如图3所示，本发明一实施例提供了一种云手机响应渲染阶段时延测量方法，包括:

步骤S101:获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

步骤S102:获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

步骤S103:获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

对于步骤S101、在一个优选的实施例中，所述各视频帧对应的视频帧序号通过以下方式生成：所述视频接收模块依次接收由所述视频采集模块发送的各视频帧，继而将各所述视频帧按接收的先后顺序依次进行编号，生成各所述视频帧对应的序号。

具体的，首先云手终端实施生成各视频帧，然后由视频采集模块进行采集，视频采集模块在采集到各视频帧时记录采集的时刻，生成时间戳，压码后将各视频帧和对应的时间戳一起编码到数据包里，发送至客户端的视频接收模块。客户端的视频接收模块在收到视频数据包后，解包，把视频帧数据按接收顺序保存到视频文件(如H264文件)，同时把数据包里的时间戳取出来，打印到日志里，并在前面加上序号(序号从1开始，唯一标识一视频帧和对应的时间戳)。

对于步骤S102、在一个优选的实施例中，所述第一操作事件由所述客户端的事件采集模块响应用户的第一操作后生成，并由所述事件采集模块将生成的第一操作事件发送至所述云手机终端的事件接收模块。

具体的，调用预设的视频分析软件，将视频接收模块生成的视频文件导入到预设的视频分析软件中，例如ElecardStreameye，紧接着用户通过streamEye逐帧查看生成的H264文件，点击ElecardStreameye中按帧查看窗口的具体的帧，上面预览窗口则显示该帧渲染的内容，同时ElecardStreameye右面小标签页则显示该帧的标识信息，如帧号(stream)，大小(四则)和时间偏移(offset)等。用户通过人眼识别的方式查看上面预览窗口，找到选定视频帧及其编号。需要说明的是当用户在客户端执行第一操作时，是可以在客户端获悉第一操作执行前以及第一操作执行后客户端的画面变化的，因此只要借助ElecardStreameye软件，用户就可以从各视频帧中挑选出由于执行第一操作后，云手机处理终端响应第一操作后，所生成的引起画面变化的第一帧视频画面，得到选定视频帧。紧接着将选定视频帧的序号与各视频帧的视频帧序号进行比对，提取出第一视频帧。

对于步骤S103、在一个优选的实施例中，所述第一操作事件时间戳为，所述事件接收模块接收由所述事件采集模块发送的第一操作事件时生成的时间戳。

具体的，在提取出第一视频帧后，就可以提取出第一视频帧对应的视频帧时间戳,得到视频采集模块接收第一视频帧的时间(对应前文的t4)，然后获取事件接收模块接收第一操作事件时生成的时间戳,得到事件接收模块接收到第一操作事件的时间(对应前文的t3)，最后通过最差即可计算得出云手机终端在接收第一操作事件，到做出响应渲染生成新的视频帧的时间间隔，即得到本发明所提及云手机响应染阶段的时延。进一步的根据计算得到的云手机响应染阶段的时延(t3-t4),结合前文所述各个时间节点，通过相加可以计算得出云手机的总响应时延(即t10-t1这一时段)。

为更好的理解上述方案，以下例举一实际实例对上述方案进行进一步的说明：

1：启动整个测量的各个环节涉及的模块，云手机终端运行测试软件app，如点击触发技能类游戏，包括客户端和云手机终端；

2：在客户端屏幕点击操作，如点击游戏画面使用技能，使用技能能导致画面变化；

步骤3：云手机终端事件接收模块接收到点击事件并写入设备，同时记录时间戳到日志，此时间戳即为t3；

步骤4：云手机终端系统处理点击事件，游戏app对点击响应使用技能，系统把画面变化渲染输出；

步骤5：视频采集模块采集云手机终端屏幕输出画面，对采集到的每一帧生成时间戳。画面帧压码成需要的格式(如VP8或H264等)，和时间戳一起打包发送给客户端。这一过程从启动持续到本次测量结束；

步骤6：客户端的视频采集模块接收到数据包后，进行解包，把视频帧保存到视频文件(根据压码格式保存文件类型，如VP8或H264等)，把时间戳加上序号保存到日志文件，这一过程从启动持续到本次测量结束；

步骤7：采集结束后，用视频分析软件逐帧分析视频接收模块生成的视频文件，找到画面因为点击事件造成的画面变化的视频帧，得到该视频帧的顺序号(设该帧为第n帧)；

步骤8：在视频接收模块保存到的日志里找到序号为n的时间戳，这个时间戳记录的时间即为t4；

步骤9：通过t4-t3计算出此次测量目标“云手机响应和渲染”的时延。

在本发明方法项实施例的基础上，对应提供了装置项实施例；

6、如图4所示，本发明另一实施例提供了一种云手机响应渲染阶段时延测量装置，包括数据获取模块，第一视频帧确定模块和时延计算模块；

所述数据获取模块，用于获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

所述第一视频帧确定模块，用于获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

所述时延计算模块，用于获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

需要说明的是上述装置项实施例是与本发明方法项实施例相对应的，其能实现本发明任意一项方法项实施例所述的云手机响应渲染阶段时延测量方法。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过实施本发明所提供的方法能实现云手机响应渲染阶段时延的测量。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种云手机响应渲染阶段时延测量方法，其特征在于，包括：

获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

2.如权利要求1所述的云手机响应渲染阶段时延测量方法，其特征在于，所述第一操作事件由所述客户端的事件采集模块响应用户的第一操作后生成，并由所述事件采集模块将生成的第一操作事件发送至所述云手机终端的事件接收模块。

3.如权利要求1所述的云手机响应渲染阶段时延测量方法，其特征在于，所述各视频帧对应的视频帧序号通过以下方式生成：

所述视频接收模块依次接收由所述视频采集模块发送的各视频帧，继而将各所述视频帧按接收的先后顺序依次进行编号，生成各所述视频帧对应的序号。

4.如权利要求2所述的云手机响应渲染阶段时延测量方法，其特征在于，所述第一操作事件时间戳为，所述事件接收模块接收由所述事件采集模块发送的第一操作事件时生成的时间戳。

5.一种云手机响应渲染阶段时延测量装置，其特征在于，包括数据获取模块，第一视频帧确定模块和时延计算模块；

所述数据获取模块，用于获取各视频帧、各视频帧所对应的视频帧时间戳及视频帧序号；其中，所述各视频帧由云手机终端生成；各所述视频帧时间戳由云手机终端的视频采集模块在采集各视频帧时生成；各所述视频帧序号为，客户端的视频接收模块在接收所述视频采集模块发送的各视频帧时所生成的编号；

所述第一视频帧确定模块，用于获取选定视频帧的视频帧序号，继而从各所述视频帧中提取与所述选定视频帧，序号相同的视频帧作为第一视频帧；其中，所述选定视频帧为用户通过预设视频分析软件对各视频帧进行分析后所选定的，由云手机终端响应第一操作事件时生成的第一帧视频；

所述时延计算模块，用于获取所述云手机终端接收所述第一操作事件时生成的第一操作事件时间戳，并从各所述视频帧时间戳中提取第一视频帧的第一视频帧时间戳，继而根据所述第一操作事件时间戳和所述第一视频帧时间戳计算所述云手机响应渲染阶段的时延。

Images