CN113032228B - 一种操作响应耗时的确定方法、装置、设备及存储介质 - Google Patents
一种操作响应耗时的确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113032228B CN113032228B CN202011347539.6A CN202011347539A CN113032228B CN 113032228 B CN113032228 B CN 113032228B CN 202011347539 A CN202011347539 A CN 202011347539A CN 113032228 B CN113032228 B CN 113032228B
- Authority
- CN
- China
- Prior art keywords
- frame
- video recording
- operation response
- video
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本公开涉及一种操作响应耗时的确定方法、装置、设备及存储介质，所述方法包括：首先，确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。然后，基于第一帧的序列号、最后一帧的序列号和预设加权系数，确定操作响应结束帧在录屏视频中的序列号。最终，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定录屏视频对应的操作响应耗时。本公开实施例利用加权的方式确定处于非稳定阶段的操作响应结束帧的位置，能够提高操作响应结束帧确定的准确性，进而提高基于操作响应结束帧确定的操作响应耗时的准确性。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及一种操作响应耗时的确定方法、装置、设备及存储介质。
背景技术
应用程序的操作响应耗时，是用于对一款应用程序的性能进行评测的重要指标之一，具体是指，以触发应用程序的某项操作开始，直到该应用程序针对该操作完成响应的时间。例如，以触发点击应用程序的图标操作开始，直到该应用程序的首页加载完成的响应时间，即为该应用程序针对点击该应用程序图标操作的操作响应时间。
实际应用中，在获取应用程序的操作响应耗时之前，首先需要获取到针对目标操作响应的录屏视频，具体的，录屏视频包括以触发目标操作开始直到针对该目标操作响应完成的所有画面。然后，基于录屏视频定位针对目标操作的起始帧和结束帧，进而基于起始帧和结束帧确定目标操作的操作响应耗时。
目前，针对结束帧的确定方式是，直接将录屏视频中最后一个稳定阶段的第一帧确定为结束帧。但是，由于操作响应耗时确定需求的不同，如果均以上述方式确定结束帧，则无法保证操作响应耗时确定的准确性。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种操作响应耗时的确定方法、装置、设备及存储介质。
第一方面，本公开提供了一种操作响应耗时的确定方法，所述方法包括：
确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号；所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程；
基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号；所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段；
基于所述操作响应结束帧和操作响应开始帧分别在所述录屏视频中的序列号，确定所述录屏视频中所述目标操作对应的操作响应耗时。
一种可选的实施方式中，所述确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号之前，还包括：
如果检测到录屏视频不是固定帧率，则将所述录屏视频的帧率转换为固定帧率。
一种可选的实施方式中，所述方法还包括：
如果检测到录屏视频是固定帧率，则将所述录屏视频的帧率调整为预设基础帧率；所述预设基础帧率为基于录屏终端的帧率设置的。
一种可选的实施方式中，所述将所述录屏视频的帧率调整为预设基础帧率，包括：
通过抽帧和/或补帧的方式，将所述录屏视频的帧率对齐为预设基础帧率的n倍，得到对齐后帧率；其中，n为正整数；
将所述对齐后帧率调整为预设基础帧率。
一种可选的实施方式中，所述确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号，包括：
响应于操作响应结束帧处于录屏视频中的非稳定阶段的确定操作，确定所述录屏视频中最后一个非稳定阶段中的第一帧和最后一帧的序列号。
一种可选的实施方式中，所述录屏视频为应用程序启动录屏视频，所述目标操作为应用程序启动触发操作，所述操作响应结束帧为应用程序启动的文字加载完成时刻对应的视频帧；
或者，所述录屏视频为搜索结果展示录屏视频，所述目标操作为搜索键触发操作，所述操作响应结束帧为搜索结果页中的文字加载完成时刻对应的视频帧。
第二方面，本公开提供了一种操作响应耗时的确定装置，所述装置包括：
第一确定模块，用于确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号；所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程；
第二确定模块，用于基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号；所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段；
第三确定模块，用于基于所述操作响应结束帧和操作响应开始帧分别在所述录屏视频中的序列号，确定所述录屏视频中所述目标操作对应的操作响应耗时。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述任一项所述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述任一项所述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供的操作响应耗时的确定方法中，首先确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，其中，非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。然后基于第一帧的序列号、最后一帧的序列号和预设加权系数，确定操作响应结束帧在录屏视频中的序列号。最终，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定录屏视频对应的操作响应耗时。本公开实施例利用加权的方式确定处于非稳定阶段的操作响应结束帧的位置，能够提高操作响应结束帧确定的准确性，进而提高基于操作响应结束帧确定的操作响应耗时的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种操作响应耗时的确定方法的流程图；
图2为本公开实施例提供的一种搜索结果页耗时场景中点击搜索按钮对应画面的示意图；
图3为本公开实施例提供的一种搜索结果页耗时场景中对搜索结果页的加载过程的示意图；
图4为本公开实施例提供的一种搜索结果页耗时场景中完成对搜索结果页中文字的加载对应画面的示意图；
图5为本公开实施例提供的另一种操作响应耗时的确定方法的流程图；
图6为本公开实施例提供的一种操作响应耗时的确定装置的结构示意图；
图7为本公开实施例提供的一种操作响应耗时的确定设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
应用程序的操作响应耗时，是指以触发应用程序的某项操作开始，直到该应用程序针对该项操作完成响应为止的耗时。
目前，对于操作响应耗时的获取，需要基于对录屏视频的处理完成。操作响应录屏视频，以下也可直接称为录屏视频，包括以触发某项操作开始直到针对该操作响应对应的结束帧加载完成为止的所有画面。实际应用中，通过对操作响应录屏视频的处理，确定针对目标操作的起始帧和结束帧，然后基于确定的起始帧和结束帧，获取操作响应耗时。
但是，目前针对结束帧的确定方式中，针对不同的操作响应耗时确定需求，均是将操作响应录屏视频的最后一个稳定阶段的第一帧确定为结束帧，显然，对于某些需求场景，可能存在结束帧确定不准确的问题。
以搜索结果页耗时为例，通常情况下，搜索结果页耗时是指以输入搜索关键字点击搜索按钮开始，直到搜索结果中的文字和图片均加载完成为止。由于搜索结果中的文字和图片均加载完成时刻对应的画面是将操作响应录屏视频的最后一个稳定阶段的第一帧，因此，针对上述结束帧的确定需求，可以是将操作响应录屏视频的最后一个稳定阶段的第一帧确定为结束帧。
但是，在另一需求场景下，搜索结果页耗时是指以输入搜索关键字点击搜索按钮开始，直到搜索结果中的文字均加载完成为止，此时搜索结果中的图片可以未完成加载。由于搜索结果中的文字均加载完成时刻对应的画面处于操作响应录屏视频的非稳定阶段，因此直接将操作响应录屏视频的最后一个稳定阶段的第一帧确定为结束帧，显然存在结束帧确定不准确的问题，进而导致基于不准确的结束帧确定的搜索结果页耗时存在不准确的问题。
实际应用中，当操作响应结束帧处于操作响应录屏视频的非稳定阶段时，如果直接将操作响应录屏视频的最后一个稳定阶段的第一帧确定为操作响应结束帧，则会存在操作响应结束帧确定不准确的问题，进而导致操作响应耗时确定不准确，因此，为了提高如上述需求场景下的操作响应耗时确定的准确性，本公开提供了一种操作响应耗时的确定方法，具体的，首先确定操作响应录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，其中，非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。然后基于第一帧的序列号、最后一帧的序列号和预设加权系数，确定操作响应结束帧在录屏视频中的序列号。最终，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定录屏视频对应的操作响应耗时。
本公开实施例利用加权的方式确定处于非稳定阶段的操作响应结束帧的位置，能够提高操作响应结束帧确定的准确性，进而提高基于操作响应结束帧确定的操作响应耗时的准确性。
基于此，本公开实施例提供了一种操作响应耗时的确定方法，如图1所示，图1为本公开实施例提供的操作响应耗时的确定方法的流程图，该方法包括：
S101：确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号。
其中，所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。
实际应用中，录屏视频包括稳定阶段和非稳定阶段，其中，通过计算录屏视频的相邻帧之间的相似度的方式，可以确定录屏视频中的稳定阶段，对于录屏视频中除稳定阶段的视频帧之外的其他连续视频帧，可以构成非稳定阶段。
其中，稳定阶段是指相似度大于N的连续帧画面，具体的，连续帧画面的个数大于M，则上述连续帧画面构成录屏视频中的稳定阶段。其中，M和N可以基于需求预先确定，另外，通常录屏视频中的稳定阶段和非稳定阶段是交替存在的。例如，录屏视频依次包括阶段1、2、3、4，且阶段1为非稳定阶段，则阶段2为稳定阶段，阶段3为非稳定阶段，阶段4为稳定阶段。
一种可选的实施方式中，可以利用分帧检测工具如StageSepX等，确定录屏视频中的稳定阶段和非稳定阶段。
由于操作响应结束帧处于非稳定阶段的需求场景中，操作响应结束帧通常处于录屏视频的最后一个非稳定阶段，因此，本公开实施例基于最后一个非稳定阶段，确定操作响应结束帧。
实际应用中，确定录屏视频的最后一个非稳定阶段中用于确定操作响应结束帧的第一帧和最后一帧。其中，操作响应结束帧处于最后一个非稳定阶段中的第一帧和最后一帧之间。
实际应用中，对于操作响应结束帧处于稳定阶段的需求场景，操作响应结束帧可以是录屏视频的最后一个稳定阶段的第一帧。
一种可选的实施方式中，可以设置两种模式，即第一模式和第二模式，在接收到第一模式的触发操作时，可以基于录屏视频的最后一个非稳定阶段中的第一帧和最后一帧确定操作响应结束帧；而在接收到第二模式的触发操作时，可以基于录屏视频的最后一个稳定阶段的第一帧确定操作响应结束帧。
实际应用中，如果操作响应耗时的确定场景中的操作响应结束帧处于录屏视频中的稳定阶段，则用户可以选择执行第二模式以确定操作响应结束帧；如果操作响应耗时的确定场景中的操作响应结束帧处于录屏视频中的非稳定阶段，则用户可以选择执行第一模式以确定操作响应结束帧。本公开实施例不限定其他模式的操作响应结束帧的确定方式。
本公开实施例可以通过不同模式的设定，从不同维度确定产品的操作响应耗时，以便从多个维度更全面的对比同类产品之间的操作响应耗时的差别。
用户根据需求可以选择其中一种模式，通过检测到的用户所选择模式，为用户确定出更准确的操作响应结束帧，从而提高基于操作响应结束帧确定的操作响应耗时准确率。
S102：基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号。
其中，所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段。
本公开实施例中，在确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号之后，结合预设加权系数，确定操作响应结束帧在录屏视频中的序列号。
其中，预设加权系数可以基于需求预先设定，例如，为第一帧设置的加权系数为0.7，相应的，为最后一针帧设置的加权系数为0.3。如果第一帧为第j帧，而最后一帧为第q帧，其中，j和q分别为录屏视频中的视频帧的序列号，则操作响应结束帧为j*0.7+q*0.3，即操作响应结束帧在录屏视频中的序列号为(j*0.7+q*0.3)，即第(j*0.7+q*0.3)帧。
S103：基于所述操作响应结束帧和操作响应开始帧分别在所述录屏视频中的序列号，确定所述录屏视频对应的操作响应耗时。
本公开实施例中，在确定操作响应耗时之前，不仅需要确定操作响应结束帧，还需要确定操作响应开始帧。
一种可选的实施方式中，可以基于支持向量机SVM分类模型等方式，确定录屏视频中的操作响应开始帧。具体的实现方式本公开实施例不再具体说明。
实际应用中，在确定操作响应结束帧和操作响应开始帧之后，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定操作响应开始帧到操作响应结束帧之间的时间间隔，作为录屏视频对应的操作响应耗时。
本公开实施例提供的操作响应耗时的确定方法中，首先确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，其中，非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。然后基于第一帧的序列号、最后一帧的序列号和预设加权系数，确定操作响应结束帧在录屏视频中的序列号。最终，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定录屏视频对应的操作响应耗时。本公开实施例利用加权的方式确定处于非稳定阶段的操作响应结束帧的位置，能够提高操作响应结束帧确定的准确性，进而提高基于操作响应结束帧确定的操作响应耗时的准确性。
为了便于进一步的对本公开提供的操作响应耗时的确定方法进行理解，本公开实施例提供了一种应用场景实施例，具体的，将本公开提供的操作响应耗时的确定方法应用于对搜索结果页耗时的确定场景中，具体用于确定从点击搜索按钮开始到搜索结果页中的文字加载完成期间的耗时。
由于搜索结果页中的文字加载完成时刻对应的画面处于录屏视频的非稳定阶段，因此，本公开实施例针对上述搜索结果页耗时的确定场景，首先确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，然后基于预设加权系数、第一帧和最后一帧的序列号，确定操作响应结束帧在所述录屏视频中的序列号，最终，将确定的操作响应结束帧与操作响应开始帧之间的时间间隔，确定为录屏视频对应的搜索结果页耗时。
如图2所示，为本公开实施例提供的一种搜索结果页耗时场景中点击搜索按钮对应画面的示意图，在点击搜索按钮之后，经过对搜索结果页的加载过程，如图3所示，然后完成对搜索结果页中文字的加载，如图4所示，最终完成对搜索结果页中图片的加载。
本公开实施例中的搜索结果页耗时的确定场景中，确定搜索结果页耗时是指确定从上述图2对应的画面到上述图4对应的文字加载完成对应的画面之间的时间间隔。
由于图4处于录屏视频中的非稳定阶段，因此，利用本公开实施例提供的操作响应耗时的确定方法确定操作响应结束帧，能够得到更准确的结果，从而提高了搜索结果页耗时确定的准确性。
由于录屏设备帧率的不同，基于录屏设备得到的录屏视频的帧率也无法得到保证。而录屏视频的帧率影响着操作响应耗时确定的准确性，因此，本公开实施例在确定操作响应耗时之前，首先对录屏视频的帧率进行处理，以提高后续操作响应耗时确定的准确性。
参考图5，为本公开实施例提供的另一种操作响应耗时的确定方法的流程图，该方法包括：
S601：检测录屏视频是否为固定帧率，如果不是，则执行S602，如果是，则执行S603。
本公开实施例中，视频帧率分为固定帧率和动态帧率，固定帧率是指视频的每个阶段的帧率相同，例如视频的各个阶段的帧率均为30帧率；而动态帧率是指视频的每个阶段的帧率可以不同，例如视频的前半部分的帧率是30帧率，而后半部分的帧率是50帧率等。
由于针对固定帧率的视频的分帧检测结果更准确，因此，本公开实施例在对录屏视频进行处理之前，首先检测录屏视频是否为固定帧率，如果不是，则可以将录屏视频的帧率转换为固定帧率，以便后续提高录屏视频的分帧检测结果的准确性。
一种可选的实施方式中，可以利用帧率检测工具等方式检测录屏视频是否为固定帧率。
S602：将所述录屏视频的帧率转换为固定帧率，继续执行S604。
本公开实施例中，如果确定录屏视频的帧率不是固定帧率，而是动态帧率，则可以将录屏视频的帧率转换为固定帧率。
一种可选的实施方式中，可以预先设定一个帧率，然后将该录屏视频的帧率转换为该预先设定的帧率，实现由动态帧率向固定帧率的转换。具体的，可以通过抽帧和\或补帧的方式，实现将录屏视频的帧率转换为预设设定的帧率。
一种可选的实施方式中，预先设定的帧率可以是录屏视频中各个帧率的平均值。
另一种可选的实施方式中，由于录屏设备的帧率大多为60、90、120帧率，为了减少抽帧、补帧的数量，可以基于录屏设备的帧率，实现录屏视频由动态帧率向固定帧率的转换。例如，录屏视频的动态帧率包括50、55、60、65时，可以将录屏视频的帧率转换为与各个动态帧率最接近的录屏视频的帧率60，从而达到抽帧、补帧的数量尽量少的目的，从而提高由动态帧率向固定帧率进行转换的效率。
又一种可选的实施方式中，由于录屏视频的帧率越大，对录屏视频的处理效率越低，操作响应耗时确定的准确性越高，可见效率和准确率对于帧率而言是相互矛盾的。为了在上述效率和准确率之间尽量达到平衡，本公开实施例可以将录屏视频由动态帧率转换为固定帧率30，具体的，帧率30的录屏视频能够在不影响操作响应耗时确定准确性的同时，保证了对录屏视频的处理效率。
另外，由于录屏设备的帧率大多为60、90、120帧率，因此基于录屏设备得到的录屏视频的帧率通常为30的倍数，因此，将帧率设定为30帧率，能够尽量避免抽帧、补帧带来的微小误差。
一种可选的实施方式中，可以将录屏视频由动态帧率直接转换为30帧率的固定帧率。例如，对于由安卓调试桥(AndroidDebugBridge；adb)录屏得到的录屏视频，可以使用ffmpeg工具，将其帧率转为固定30帧。
S603：将所述录屏视频的帧率调整为预设基础帧率，继续执行S604。
本公开实施例中，如果确定录屏视频的帧率是固定帧率，则为了在保证操作响应耗时确定准确率的前提下，尽量提高录屏视频的处理效率，本公开实施例可以将录屏视频的帧率调整为预设基础帧率，如30帧率。
实际应用中，首先通过抽帧和/或补帧的方式，将录屏视频的帧率对齐为预设基础帧率的n倍，得到对齐后帧率；其中，n为正整数；然后，将所述对齐后帧率调整为预设基础帧率。
一种可选的实施方式中，首先读取录屏视频，然后基于录屏视频的帧率和预设基础帧率，初始化抽帧或补帧参数，然后逐帧读取录屏视频，基于初始化抽帧或补帧参数对第一帧进行抽帧或补帧处理后，更新抽帧或补帧参数，继续基于更新后的抽帧或补帧参数对下一帧进行抽帧或补帧处理，直到完成整个录屏视频的处理，最终得到帧率调整为对齐后帧率的录屏视频，例如帧率为60的录屏视频。然后，将该60帧率的录屏视频的帧率调整为30帧率。具体的，可以通过抽帧的方式实现上述帧率的调整。
S604：确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号。
S605：基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述操作响应结束帧在所述录屏视频中的序列号。
本公开实施例中，在基于帧率调整后的录屏视频确定第一帧和最后一帧的序列号之后，将第一帧和最后一帧的序列号缩放对应到帧率调整前的录屏视频的对应位置，后续可以基于第一帧和最后一帧在帧率调整前的录屏视频的对应位置，确定录屏视频对应的操作响应耗时。
S606：基于所述操作响应结束帧和操作响应开始帧分别在所述录屏视频中的序列号，确定所述录屏视频对应的操作响应耗时。
本公开实施例中，在对录屏视频的帧率进行处理后，利用上述S604-S606继续对录屏视频的操作响应耗时进行确定，具体的操作响应耗时的确定流程可以参考上述实施例进行理解，在此不再赘述。
本公开实施例提供的操作响应耗时的确定方法中，通过将动态帧率的录屏视频转换为固定帧率，提高了基于录屏视频确定操作响应结束帧的准确性，进而提高了确定操作响应耗时的准确性。
另外，通过将录屏视频调整为预设基础帧率，如30帧率，能够在保证操作响应耗时确定准确性的前提下，最大程度的提高了基于录屏视频确定操作响应结束帧的处理效率，进而最大程度提高了操作响应耗时确定的效率。
本公开提供的操作响应耗时的确定方法不仅能够应用于搜索结果页耗时的确定场景中，还可以应用于其他操作响应耗时的确定场景，例如应用程序启动耗时等应用场景中。通过将应用程序启动耗时对应的录屏视频的帧率调整为预设基础帧率，如30帧率，能够在保证操作响应耗时确定准确性的前提下，最大程度的提高基于录屏视频确定操作响应结束帧的处理效率，进而最大程度提高操作响应耗时确定的效率。
与上述方法实施例相对应的，本公开实施例提供了一种操作响应耗时的确定装置，参考图6，为本公开实施例提供的一种操作响应耗时的确定装置的结构示意图。该装置包括：
第一确定模块701，用于确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号；所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程；
第二确定模块702，用于基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号；所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段；
第三确定模块703，用于基于所述操作响应结束帧和操作响应开始帧分别在所述录屏视频中的序列号，确定所述录屏视频中所述目标操作对应的操作响应耗时。
一种可选的实施方式中，所述装置还包括：
帧率转换模块，用于在检测到录屏视频不是固定帧率时，将所述录屏视频的帧率转换为固定帧率。
一种可选的实施方式中，所述装置还包括：
帧率调整模块，用于在检测到录屏视频是固定帧率时，将所述录屏视频的帧率调整为预设基础帧率；所述预设基础帧率为基于录屏终端的帧率设置的。
一种可选的实施方式中，所述帧率调整模块，包括：
对齐子模块，用于通过抽帧和/或补帧的方式，将所述录屏视频的帧率对齐为预设基础帧率的n倍，得到对齐后帧率；其中，n为正整数；
调整子模块，用于将所述对齐后帧率调整为预设基础帧率。
一种可选的实施方式中，所述装置还包括：
第四确定模块，用于确定操作响应结束帧的位置是否处于录屏视频中的非稳定阶段；
所述第一确定模块，具体用于：
响应于第一模式的触发操作，确定所述录屏视频中最后一个非稳定阶段中的第一帧和最后一帧的序列号；其中，所述第一模式用于确定操作响应结束帧处于录屏视频中的非稳定阶段的操作响应耗时。
一种可选的实施方式中，所述录屏视频为应用程序启动录屏视频，所述目标操作为应用程序启动触发操作，所述操作响应结束帧为应用程序启动的文字加载完成时刻对应的视频帧；
或者，所述录屏视频为搜索结果展示录屏视频，所述目标操作为搜索键触发操作，所述操作响应结束帧为搜索结果页中的文字加载完成时刻对应的视频帧。
本公开实施例提供的操作响应耗时的确定装置，首先确定录屏视频的最后一个非稳定阶段中的第一帧和最后一帧的序列号，其中，非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程。然后基于第一帧的序列号、最后一帧的序列号和预设加权系数，确定操作响应结束帧在录屏视频中的序列号。最终，基于操作响应结束帧和操作响应开始帧分别在录屏视频中的序列号，确定录屏视频对应的操作响应耗时。本公开实施例利用加权的方式确定处于非稳定阶段的操作响应结束帧的位置，能够提高操作响应结束帧确定的准确性，进而提高基于操作响应结束帧确定的操作响应耗时的准确性。
另外，本公开实施例还提供了一种操作响应耗时的确定设备，参见图7所示，可以包括：
处理器801、存储器802、输入装置803和输出装置804。操作响应耗时的确定设备中的处理器801的数量可以一个或多个，图7中以一个处理器为例。在本发明的一些实施例中，处理器801、存储器802、输入装置803和输出装置804可通过总线或其它方式连接，其中，图7中以通过总线连接为例。
存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行操作响应耗时的确定设备的各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置803可用于接收输入的数字或字符信息，以及产生与操作响应耗时的确定设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现上述操作响应耗时的确定设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种操作响应耗时的确定方法，其特征在于，所述方法包括：
确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号；所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程；
基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号；所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段；
基于所述操作响应结束帧和操作响应开始帧在所述录屏视频中的序列号，确定所述录屏视频中所述目标操作对应的操作响应耗时。
2.根据权利要求1所述的方法，其特征在于，所述确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号之前，还包括：
如果检测到录屏视频不是固定帧率，则将所述录屏视频的帧率转换为固定帧率。
3.根据权利要求1或2所述的方法，其特征在于，所述确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号之前，还包括：
如果检测到录屏视频是固定帧率，则将所述录屏视频的帧率调整为预设基础帧率；所述预设基础帧率为基于录屏终端的帧率设置的。
4.根据权利要求3所述的方法，其特征在于，所述将所述录屏视频的帧率调整为预设基础帧率，包括：
通过抽帧和/或补帧的方式，将所述录屏视频的帧率对齐为预设基础帧率的n倍，得到对齐后帧率；其中，n为正整数；
将所述对齐后帧率调整为预设基础帧率。
5.根据权利要求1所述的方法，其特征在于，所述确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号，包括：
响应于第一模式的触发操作，确定所述录屏视频中最后一个非稳定阶段中的第一帧和最后一帧的序列号；其中，所述第一模式用于确定操作响应结束帧处于录屏视频中的非稳定阶段的操作响应耗时。
6.根据权利要求1所述的方法，其特征在于，所述录屏视频为应用程序启动录屏视频，所述目标操作为应用程序启动触发操作，所述操作响应结束帧为应用程序启动的文字加载完成时刻对应的视频帧；
或者，所述录屏视频为搜索结果展示录屏视频，所述目标操作为搜索键触发操作，所述操作响应结束帧为搜索结果页中的文字加载完成时刻对应的视频帧。
7.一种操作响应耗时的确定装置，其特征在于，所述装置包括：
第一确定模块，用于确定录屏视频中最后一个非稳定阶段的第一帧和最后一帧的序列号；所述非稳定阶段由除所述录屏视频中的稳定阶段之外的连续视频帧构成，所述稳定阶段由相邻帧之间的相似度大于预设阈值的连续视频帧构成，所述录屏视频用于记录触发目标操作到预设响应画面加载完成的过程；
第二确定模块，用于基于所述第一帧的序列号、所述最后一帧的序列号和预设加权系数，确定所述录屏视频中操作响应结束帧的序列号；所述操作响应结束帧为所述预设响应画面加载完成时刻对应的视频帧，且处于所述非稳定阶段；
第三确定模块，用于基于所述操作响应结束帧和操作响应开始帧在所述录屏视频中的序列号，确定所述录屏视频中所述目标操作对应的操作响应耗时。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
帧率转换模块，用于在检测到录屏视频不是固定帧率时，将所述录屏视频的帧率转换为固定帧率。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-6任一项所述的方法。
10.一种操作响应耗时的确定设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347539.6A CN113032228B (zh) | 2020-11-26 | 2020-11-26 | 一种操作响应耗时的确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011347539.6A CN113032228B (zh) | 2020-11-26 | 2020-11-26 | 一种操作响应耗时的确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113032228A CN113032228A (zh) | 2021-06-25 |
| CN113032228B true CN113032228B (zh) | 2023-09-05 |
Family
ID=76459227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011347539.6A Active CN113032228B (zh) | 2020-11-26 | 2020-11-26 | 一种操作响应耗时的确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113032228B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108984395A (zh) * | 2018-06-21 | 2018-12-11 | 腾讯科技（北京）有限公司 | 一种应用程序启动耗时测试方法、装置和存储介质 |
| CN109165167A (zh) * | 2018-09-07 | 2019-01-08 | 苏宁智能终端有限公司 | 一种响应时间的测试方法及装置 |
| CN110221979A (zh) * | 2019-06-04 | 2019-09-10 | 广州虎牙信息科技有限公司 | 应用程序的性能测试方法、装置、设备及存储介质 |
| JP2020030811A (ja) * | 2018-08-22 | 2020-02-27 | 北京百度网▲訊▼科技有限公司Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． | 応答時間を確定するための方法及び装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4392548B2 (ja) * | 2002-05-30 | 2010-01-06 | 富士フイルム株式会社 | 動画画像プリント装置、方法及びプログラム |
-
2020
- 2020-11-26 CN CN202011347539.6A patent/CN113032228B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108984395A (zh) * | 2018-06-21 | 2018-12-11 | 腾讯科技（北京）有限公司 | 一种应用程序启动耗时测试方法、装置和存储介质 |
| JP2020030811A (ja) * | 2018-08-22 | 2020-02-27 | 北京百度网▲訊▼科技有限公司Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ． | 応答時間を確定するための方法及び装置 |
| CN109165167A (zh) * | 2018-09-07 | 2019-01-08 | 苏宁智能终端有限公司 | 一种响应时间的测试方法及装置 |
| CN110221979A (zh) * | 2019-06-04 | 2019-09-10 | 广州虎牙信息科技有限公司 | 应用程序的性能测试方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 一种用于自动计算手机app应用响应时间的方法;吴迪等;《百科论坛电子杂志》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113032228A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106843665B (zh) | 一种截图方法、装置及终端设备 | |
| US20240089586A1 (en) | Image processing method, apparatus, device and storage medium | |
| US20240143904A1 (en) | Human-Computer Interaction Method And Apparatus Thereof | |
| CN111222397B (zh) | 一种绘本识别方法、装置及机器人 | |
| CN104636322A (zh) | 一种文本复制的方法及装置 | |
| US10057449B2 (en) | Document analysis system, image forming apparatus, and analysis server | |
| CN107748615B (zh) | 屏幕的控制方法、装置、存储介质及电子设备 | |
| US9799099B2 (en) | Systems and methods for automatic image editing | |
| US20210357235A1 (en) | Method, device, apparatus for identifying graphics card of gpu server and medium | |
| CN111881764A (zh) | 一种目标检测方法、装置、电子设备及存储介质 | |
| CN104766082A (zh) | 基于安卓系统的图像识别方法和装置 | |
| US20230418862A1 (en) | Image search method and computing device | |
| CN113032228B (zh) | 一种操作响应耗时的确定方法、装置、设备及存储介质 | |
| CN111277659A (zh) | 手机横屏竖屏显示状态检测方法及装置 | |
| CN102737383A (zh) | 视频中的摄像机运动分析方法及装置 | |
| US11983400B2 (en) | Content extraction method, electronic device and medium | |
| US10872263B2 (en) | Information processing apparatus, information processing method and storage medium | |
| CN110795918B (zh) | 确定阅读位置的方法、装置及设备 | |
| WO2018201993A1 (zh) | 图像绘制方法、终端及存储介质 | |
| US10489460B2 (en) | Method and apparatus for providing local search suggestion | |
| JP7338791B2 (ja) | ユーザ操作記録装置およびユーザ操作記録方法 | |
| CN113835591A (zh) | 弹窗处理方法及装置 | |
| US11361797B2 (en) | Moving image reproduction apparatus, moving image reproduction method, moving image reproduction system, and storage medium | |
| CN103347151A (zh) | 一种图像处理方法、装置和终端 | |
| CN113821438A (zh) | 一种应用响应性能测试方法、系统及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |