CN115695851B - 端到端延时计算方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请提供了一种端到端延时计算方法、装置、存储介质及电子设备，所述方法包括：录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时，能够提高云服务的端到端延时计算的效率和准确度。

Description

端到端延时计算方法、装置、存储介质及电子设备

技术领域

本申请涉及云服务技术领域，具体涉及一种端到端延时计算方法、装置、存储介质及电子设备。

背景技术

随着网络技术和云计算的发展，云服务已越来越多的应用于游戏、办公等各领域。云服务中云服务端通过网络与用户端连接，并由云服务端承担数据处理和计算，然后再由用户端呈现，因此云服务大大降低了对用户端的性能要求。端到端延时是衡量云服务性能的关键指标之一。云服务的端到端延时是指：在云应用中从用户端发起触发指令，触发指令通过网络传输到云服务端，云服务端中所运行的应用根据该触发指令做出反馈，然后再通过网络将反馈推流到用户端，用户端通过视频解码方式展示给用户，这整个过程所消耗的时间。

在云服务中云服务端的软件计算能力、硬件计算能力和网络拓扑都会影响到端到端延时数据。端到端延时的大小直观的反映云服务的性能，是云服务每次发版前必测的指标。

在现有技术中主要通过人工计算云服务中端到端延时。然而人工计算云服务的端到端延时需要使用特定视频编辑器逐帧播放，人眼观察分辨触发帧和响应帧特征并记录触发帧和响应帧，按照帧间隔时间计算得出延时时间，这个过程不仅速度慢、耗时长，而且在观察分辨触发帧和响应帧时由于特征不明显容易分辨错误，最终导致结果出现误差。

发明内容

鉴于上述问题，本申请提供了一种端到端延时计算方法、装置、存储介质及电子设备，以解决现有技术的云服务端到端延时计算存在的效率低以及准确度低的技术问题。

第一方面，本申请实施例提供了一种端到端延时计算方法，包括以下步骤：

录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；

根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时。

第二方面，本申请实施例还提供了一种端到端延时计算装置，包括：

录制模块，用于录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

识别模块，用于通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；以及

计算模块，用于根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时。

第三方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的端到端延时计算方法的步骤。

第四方面，本申请实施例还提供了一种电子设备，包括处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的端到端延时计算方法的步骤。

区别于现有技术，本申请实施例提供的端到端延时计算方法、装置、存储介质和电子设备，录制用户端的显示画面的视频；通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时，整个方案中基于触发特征通过图像识别确定出触发帧，继而确定出触发帧对应的响应帧，不需要人工识别云应用画面的触发帧和响应帧，因此能够提高云服务的端到端延时计算的效率和准确度。

上述发明内容相关记载仅是本申请技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本申请的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本申请的上述目的及其它目的、特征和优点能够更易于理解，以下结合本申请的具体实施方式及附图进行说明。

附图说明

附图仅用于示出本申请具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本申请的限制。

在说明书附图中：

图1为本申请一实施例所述的端到端延时计算方法的流程图；

图2为本申请另一实施例所述的端到端延时计算方法的部分流程图；

图3为本申请又一实施例所述的端到端延时计算方法的部分流程图；

图4为本申请一实施例所述的端到端延时计算装置的模块示意图；

图5为本申请一示例性实施例涉及的电子设备的模块示意图。

具体实施方式

为详细说明本申请可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本申请的技术方案，因此只作为示例，而不能以此来限制本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本申请中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本申请所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本申请。

在本申请的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本申请中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本申请中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本申请中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本申请实施例的描述中“多个”的含义是两个以上（包括两个），与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

第一方面，请参阅图1，为本申请实施例的端到端延时计算方法的流程图，端到端延时计算方法包括以下步骤：

首先进入步骤S101录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

在本实施例中，需要说明的是，云应用（比如云游戏）运行在云服务端上，云服务端把云应用运行过程产生的云应用画面渲染出来并推流给用户端进行解码显示，同时用户可以在用户端的云应用画面的显示界面上进行触发操作以产生对应的触发指令，用户端会将触发指令通过云服务端发送给云应用，云应用根据触发指令进行响应。例如，在云游戏中，所述触发指令可以为客户端发送的对某一游戏对象的攻击指令。当云服务端接收到该攻击指令时，云服务端将该攻击指令发送给云服务端上运行的云游戏，云服务端渲染出云游戏基于该攻击指令产生的游戏画面，将游戏画面发送给用户端，用户端通过视频解码方式展示所述游戏画面。

在上述步骤S101中，录制的用户端的显示画面的视频的起始时刻可以早于用户进行触发操作的时间，并且所录制的视频持续一段时间，以使所述视频内至少包括一个触发帧和该触发帧对应的响应帧。在不同的实施方式中，可以通过不同的方式录制所述用户端的显示画面的视频。例如在一实施方式中，可以在用户端使用adb命令录制用户端的显示画面的视频。在另一些实施方式中，也可以直接从用户端的显存中获取显存数据，然后根据显存数据得到用户端的显示画面的视频。

例如，以某款云游戏的测试场景为例，云游戏中的人物可以选择女主人公，场景可以为女主人公在新手城吊桥上做普通攻击动作十组，用户端使用adb命令对上述场景进行视频录制，视频录制结束后导出视频以供分析。

步骤S101中对用户端显示的云应用画面进行录制，得到视频，之后可以使用抽帧工具以固定帧率（比如70）把视频拆解为图片，目的有二：

其一是，平滑帧间隔。录制的视频因为是以实际上屏帧率录制，所以帧率是浮动的，也就导致了帧间隔不同，如一段时间内上屏帧率是40帧那么帧间隔为25ms（1000/40），另一段时间内上屏帧率为60帧那么帧间隔为16.66ms（1000/60）。因为最终的视频帧率以整个视频内平均帧率为准，这种情况下如果按照平均帧率计算帧间隔，继而基于帧间隔计算云服务的端到端延时的结果是不准确的。

其二是，保留视频中的细节。录制的视频的帧率是浮动的，而最终视频帧率按照平均帧率计算，如果按照平均帧率进行图像采样，会丢失一部分细节，假设视频中某一时间段的实际帧率是55，按照平均帧率40进行采样就会造成丢帧，导致云服务的端到端延时计算不准确。

在将视频拆解为图片后，将图片送入步骤S102，后续处理不对整个视频进行处理，而是对视频拆解得到的图片进行处理。

而后进入步骤S102通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；

本实施例中，所述触发特征可以是用户在用户端的云应用画面的显示界面上进行触发操作时云应用画面上产生的具有一定特征的图形，该图形具有一定的特征，以便于被识别且与用户端显示界面中的其他内容区分开。因此通过识别所述触发特征即可得到触发帧。

该触发特征可以通过不同的方式在用户端预设，其在用户进行触发操作时出现在云应用画面上。该触发特征包括但不仅限于基于用户端的操作系统的已有功能构建得到。例如以用户端为某款手机为例，可以使用手机系统自带的指针位置功能构建触发帧特征。当开启手机系统的指针位置功能后，手机系统会在检测到用户点击屏幕时，同时在屏幕上显示辅助定位的十字线，并且当检测到停止触摸屏幕时，清除该十字线。因此以此十字线作为触发特征，通过检测屏幕上是否出现上述十字线，即可判断当前云应用画面是否是触发帧。

在步骤S102中，通过图像识别技术从所述视频中识别出触发帧和触发帧对应的响应帧，具体来说，对于每一个视频帧，可以先根据触发特征识别该视频帧是否是触发帧，如果识别出该视频帧不是触发帧，则可以继续识别该视频帧是否是响应帧。每次识别出触发帧和响应帧之后，需要对触发帧和响应帧进行配对，在确定出所有的触发帧-响应帧对之后，可以基于确定出的触发帧-响应帧对来计算云服务的端到端延时。在识别该视频帧是否是触发帧时，可以通过识别该视频帧中是否包含触发特征来判断，具体地，如果识别出该视频帧中包含触发特征，则确定该视频帧是触发帧，比如触发特征是十字线，则可以判断该视频帧中是否包含十字线中横线部分，如果该视频帧中包含十字线中横线部分，则说明该视频帧中包含触发特征，否则，则说明该视频帧中不包含触发特征。而在判断该视频帧中是否包含十字线中横线部分时，可以对该视频帧进行直线检测，若检测到长度大于第一数值且小于第二数值且任意相邻两点间距不大于第三数值的直线，则确定该视频帧中包含十字线中横线部分，否则，则确定该视频帧中不包含十字线中横线部分，其中，第一数值、第二数值和第三数值可以根据需要设置，此处不再赘述。在识别该视频帧是否是响应帧时，可以通过比较该视频帧与该视频帧的前一视频帧中触发对象（触发对象指的是用户触发操作触发的对象或区域，比如某款云游戏中，用户触发操作使女主人公做出攻击动作，则触发对象可以为女主人公）区域的相似性来判断，具体地，如果该视频帧与该视频帧的前一视频帧中触发对象区域的相似度小于某一阈值（该阈值可以根据需要设置，此处不再赘述），则说明该视频帧是响应帧，否则，则说明该视频帧不是响应帧。例如在一实施方式中，相似度可以为SSIM结构相似性对比，如果SSIM结构相似性小于0.92，则判定当前帧为响应帧。其中所述SSIM(Structural Similarity)结构相似性，是一种衡量两幅图像相似度的指标。

而后进入步骤S103根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时。

本实施例中，可以根据识别出的所有的触发帧-响应帧对计算每一个触发帧-响应帧对的延时，然后根据所有触发帧-响应帧对的延时计算云服务的端到端延时，其中，触发帧-响应帧对的延时为响应帧与触发帧的帧数差，与帧间隔（1000/固定帧率）的乘积。

通过上述实施方式，录制用户端的显示画面的视频；通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时，整个方案中基于触发特征通过图像识别确定出触发帧，继而确定出触发帧对应的响应帧，不需要人工识别云应用画面的触发帧和响应帧，因此能够提高云服务的端到端延时计算的效率和准确度。

在前述方法实施例的基础上，所述通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧，包括步骤：

先执行步骤S201按预设的固定帧率将所述视频拆分为多个图片帧；

然后进入步骤S202通过检测所述触发特征从所述图片帧中识别出所述触发帧；

然后进入步骤S203对比相邻两个所述图片帧中触发指令所涉及的对象或区域的相似度，从所述图片帧中识别出所述响应帧。

在本实施例中，以固定帧率将所述视频拆分为多个图片帧，可以平滑帧间隔，即每两个图片帧之间的间隔都是相等的，从而保证计算得到的端到端延时是准确的。并且以固定帧率将所述视频拆分为多个图片帧，然后识别触发帧与响应帧，可以减少图片特征丢失，因此可更好的识别所述视频中的触发帧和响应帧。

上述实施例通过预设的固定帧率将所述视频拆分为多个图片帧，然后再识别触发帧与响应帧，可以更好的识别所述视频中的触发帧和响应帧，以及提高端到端延时的计算精度。

在步骤S202中，遍历所有图片帧进行特征分析，并从中识别出触发帧。对于每一个图片帧，可以先识别其是否是触发帧，如果识别出其是触发帧，那么结束当前图片帧的识别，而如果没有识别出其是触发帧，则识别其是否是响应帧。为了减少特征分析的计算量和干扰，提高触发帧的识别效率和准确度，所述通过检测所述触发特征从所述图片帧中识别出所述触发帧，包括步骤：在所述图片帧中裁剪出所需的局部区域；对所述局部区域进行灰度处理和边缘检测，然后进行图形特征分析，若分析出与所述触发特征相符的图形，即所述局部区域中存在特征与所述触发特征相符的图形，则认定当前帧为触发帧。

其中，所需的局部区域可根据触发指令所涉及的对象或区域（也即触发对象）而选择，以减少图像中与触发指令不相关或关系不大的对象或区域对分析结果的影响。例如，在上述某款云游戏中，场景为女主人公在新手城吊桥上做普通攻击动作十组，则所述女主人公所在的区域即为上述所需的区域，或所述十组普通攻击动作的攻击对象所在的区域即为上述所需的区域，或所述女主人公和攻击对象的活动区域为上述所需的区域。

若触发特征为上述的十字线，在识别触发帧时，可以使用图片处理工具对图片帧进行处理，先在各图片帧中把需要的区域（例如所述女主人公所在区域）剪裁出来用以减少干扰和提高计算速度。对剪裁得到的区域进行灰度处理和边缘检测，然后再进行直线检测，该直线就是触发帧特征十字线中横线部分，当检测到直线的长度在100mm-700mm之间，且任一相邻两点之间的间距不大于10mm，则判定为触发帧。并记录当前帧的帧数（count）和类型（即触发帧），其中帧数为当前帧在所有图片帧中所在位置，例如当前帧的帧数为7，则代表当前帧是所有图片帧中的第7帧图片。

在一些实施例中，所述“对比相邻两个所述图片帧中触发指令所涉及的对象或区域的相似度，从所述图片帧中识别出所述响应帧”包括以下步骤：

若当前帧不是触发帧，则判断触发帧是否存在，若存在，则判断所述当前帧与触发帧的帧数差是否在预设的第一帧数差范围内，若是，则判断当前帧与前一帧中所述对象或区域的相似度是否小于第一预设值，若是，则确定所述当前帧为响应帧。

本实施例中，需要说明的是，图片帧的识别按照时间顺序依次进行，每次识别一个图片帧。假设当前帧不是触发帧（即按照触发帧的判断规则不能确定当前帧是触发帧），则需要进一步识别当前帧是否是响应帧，在进行响应帧识别前可以先进行前置条件判断，因为整个计算过程耗时长，为了避免造成无谓的资源消耗，前置条件可以为：1.触发帧必须存在；2.当前帧与触发帧的帧数差在第一帧数差范围（可以为4至28之间）内。这是因为，如果不存在触发帧就不需要计算响应帧，且根据目前业务特性响应帧只可能出现在触发帧之后的第一帧数差范围对应的图片帧中，超过这个范围无需计算响应帧。若当前帧满足前置条件，则可以识别当前帧是否是响应帧。比如，可以对当前帧和当前帧的前一图片帧进行剪裁，剪裁出女主人公的全身区域，然后进行SSIM结构相似性对比，如果SSIM小于0.92则判定为响应帧。记录当前帧的count（帧数）和类型（响应帧）。

在一些实施例中，所述“通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧”包括步骤：

若当前帧是触发帧，则判断当前帧之前是否存在其他触发帧；若所述当前帧之前不存在其他触发帧，则保留所述当前帧，或者若所述当前帧之前存在其他触发帧，则判断所述当前帧的帧数与上一触发帧的帧数差是否大于第二预设值；

若所述当前帧的帧数与上一触发帧的帧数差大于所述第二预设值，则保留所述当前帧，并丢弃所述上一触发帧。

本实施例中，需要说明的是，假设当前帧为触发帧，那么需要通过触发帧保留/丢弃逻辑判断当前触发帧是否应该保留，具体触发帧保留/丢弃逻辑如图2所示，可以包括：

（10）判断当前帧之前是否存在其他触发帧，若不存在，则执行步骤（11），否则，执行步骤（12）；

（11）保留当前帧；

（12）判断当前帧的帧数与上一触发帧的帧数差是否大于第二预设值，若是，则执行步骤（13），若否，则执行步骤（14）；

（13）保留当前帧，并丢弃上一触发帧；

（14）保留上一触发帧，并丢弃当前帧。

其中，第二预设值可以根据具体的云应用来设置，比如设置为50。需要说明的是，若两个触发帧之间很接近（即当前帧的帧数与上一触发帧的帧数差小于或等于第二预设值），则很可能是同一个触发操作对应的触发帧（比如用户点击云应用画面显示界面上某一位置保持不动），此种情况下，需要将再后的触发帧丢弃。

需要说明的是，对于每一个图片帧，在识别出该图片帧为触发帧后，即对该图片帧执行触发帧保留/丢弃逻辑，在触发帧保留/丢弃逻辑执行完之后，才会识别下一个图片帧是否是触发帧。

在一些实施例中，所述“通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧”包括步骤：

若当前帧是响应帧，则判断所述当前帧之前是否存在触发帧且与所述触发帧在预设的第二帧数差范围内，若所述当前帧之前存在触发帧且与所述触发帧在所述第二帧数差范围内，则保留所述当前帧，且与所述触发帧配对成组，若否，则丢弃所述当前帧。

本实施例中，假设当前帧是响应帧，则需要进行配对逻辑，即将触发帧和响应帧进行配对成组，具体配对逻辑参见图3：

（20）判断当前帧之前是否存在触发帧，若存在，则执行步骤（21），否则，则执行步骤（22）；

（21）判断当前帧与触发帧是否在预设的第二帧数差范围（比如第二帧数差范围为（3,30））内，若是，则执行步骤（23），否则，则执行步骤（22）；

（22）丢弃当前帧；

（23）将当前帧和触发帧配对成组。

需要说明的是，对于每一个图片帧，在识别出该图片帧为响应帧后，即对该图片帧执行配对逻辑，在配对逻辑执行完之后，才会识别下一个图片帧是否是触发帧。在将当前帧和之前的触发帧配对成组后，会丢弃该当前帧和该之前的触发帧，则后续的响应帧识别逻辑、触发帧保留/丢弃逻辑和配对逻辑执行时不会涉及到该当前帧和该之前的触发帧。

在一些实施例中，所述“根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时”包括步骤：

计算各个触发帧与响应帧对中响应帧与触发帧的帧数差；

将各个帧数差乘以帧间隔得到所述各个触发帧与响应帧对对应的延时，计算所述延时的均值得到云服务的端到端延时，其中，所述帧间隔=1000/所述固定帧率。

本实施例中，云服务的端到端延时为各个触发帧与响应帧对对应的延时的均值，当然除此之外，还可以从各个触发帧与响应帧对对应的延时中选择一个延时作为云服务的端到端延时。

第二方面，如图4所示，本申请实施例还提供了一种端到端延时计算装置，所述装置包括：

录制模块401，用于录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

识别模块402，用于通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；以及计算模块403，用于根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时。

本申请实施例提供的端到端延时计算装置，借助于录制模块401录制用户端的显示画面的视频；借助于识别模块402通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；借助于计算模块403根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时，整个方案中基于触发特征通过图像识别确定出触发帧，继而确定出触发帧对应的响应帧，不需要人工识别云应用画面的触发帧和响应帧，因此能够提高云服务的端到端延时计算的效率和准确度。

第三方面，对应于上述端到端延时计算方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述端到端延时计算方法的步骤。

第四方面，如图5所示，本申请实施例还提供了一种电子设备，包括：处理器501、存储器502和总线503，所述存储器502存储有所述处理器501可执行的机器可读指令，当电子设备运行时，所述处理器501与所述存储器502之间通过总线503通信，所述处理器501执行所述机器可读指令，以执行如上述云服务的端到端延时方法的步骤。

具体地，上述存储器502和处理器501可以为通用的存储器和处理器，这里不做具体限定，当处理器501运行存储器502存储的计算机程序时，能够执行上述端到端延时计算方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后需要说明的是，尽管在本申请的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本申请的专利保护范围。凡是基于本申请的实质理念，利用本申请说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本申请的专利保护范围之内。

Claims (7)

1.一种端到端延时计算方法，其特征在于，所述方法包括以下步骤：

录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；

根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时；

所述通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧，包括步骤：

按预设的固定帧率将所述视频拆分为多个图片帧；

通过检测所述触发特征从所述图片帧中识别出所述触发帧；

对比相邻两个所述图片帧中触发指令所涉及的对象或区域的相似度，从所述图片帧中识别出所述响应帧；

所述通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧，包括步骤：

若当前帧是触发帧，则判断当前帧之前是否存在其他触发帧；

若所述当前帧之前不存在其他触发帧，则保留所述当前帧，或者若所述当前帧之前存在其他触发帧，则判断所述当前帧的帧数与上一触发帧的帧数差是否大于第二预设值；

若所述当前帧的帧数与上一触发帧的帧数差大于所述第二预设值，则保留所述当前帧，并丢弃所述上一触发帧；

若当前帧是响应帧，则判断所述当前帧之前是否存在触发帧且与所述触发帧在预设的第二帧数差范围内，若所述当前帧之前存在触发帧且与所述触发帧在所述第二帧数差范围内，则保留所述当前帧，且与所述触发帧配对成组，若否，则丢弃所述当前帧。

2.根据权利要求1所述的端到端延时计算方法，其特征在于，所述通过检测所述触发特征从所述图片帧中识别出所述触发帧，包括步骤：

在所述图片帧中裁剪出所需的局部区域；

对所述局部区域进行灰度处理和边缘检测，然后进行图形特征分析，若分析出与所述触发特征相符的图形，则认定所述图片帧为触发帧。

3.根据权利要求1或2所述的端到端延时计算方法，其特征在于，所述对比相邻两个所述图片帧中触发指令所涉及的对象或区域的相似度，从所述图片帧中识别出所述响应帧，包括以下步骤：

若当前帧不是触发帧，则判断触发帧是否存在，若存在，则判断所述当前帧与触发帧的帧数差是否在预设的第一帧数差范围内，若是，则判断当前帧与前一帧中所述对象或区域的相似度是否小于第一预设值，若是，则确定所述当前帧为响应帧。

4.根据权利要求3所述的端到端延时计算方法，其特征在于，所述根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时，包括步骤：

计算各个触发帧与响应帧对中响应帧与触发帧的帧数差；

将各个帧数差乘以帧间隔得到所述各个触发帧与响应帧对对应的延时，计算所述延时的均值得到云服务的端到端延时，其中，所述帧间隔＝1000/所述固定帧率。

5.一种端到端延时计算装置，其特征在于，包括：

录制模块，用于录制用户端的显示画面的视频，其中，所述显示画面为云服务端发送的云应用画面，云应用运行在所述云服务端上；

识别模块，用于通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧；

所述通过图像识别从所述视频中识别包含触发特征的触发帧，以及与所述触发帧对应的响应帧，包括步骤：

若当前帧是触发帧，则判断当前帧之前是否存在其他触发帧；

若所述当前帧之前不存在其他触发帧，则保留所述当前帧，或者若所述当前帧之前存在其他触发帧，则判断所述当前帧的帧数与上一触发帧的帧数差是否大于第二预设值；

若所述当前帧的帧数与上一触发帧的帧数差大于所述第二预设值，则保留所述当前帧，并丢弃所述上一触发帧；

若当前帧是响应帧，则判断所述当前帧之前是否存在触发帧且与所述触发帧在预设的第二帧数差范围内，若所述当前帧之前存在触发帧且与所述触发帧在所述第二帧数差范围内，则保留所述当前帧，且与所述触发帧配对成组，若否，则丢弃所述当前帧；以及

计算模块，用于根据所述触发帧和所述响应帧的时间差得到云服务的端到端延时。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一所述的端到端延时计算方法的步骤。

7.一种电子设备，其特征在于，包括处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一所述的端到端延时计算方法的步骤。

Images