CN112925719A - 测试方法及装置、电子设备及计算机可读存储介质 - Google Patents
测试方法及装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112925719A CN112925719A CN202110330955.3A CN202110330955A CN112925719A CN 112925719 A CN112925719 A CN 112925719A CN 202110330955 A CN202110330955 A CN 202110330955A CN 112925719 A CN112925719 A CN 112925719A
- Authority
- CN
- China
- Prior art keywords
- mark
- image
- task
- software
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000010998 test method Methods 0.000 title claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 325
- 238000001514 detection method Methods 0.000 claims abstract description 85
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims description 39
- 239000003550 marker Substances 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了一种测试方法及装置、电子设备及计算机可读存储介质。该方法包括:获取被测试软件的测试视频;对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种测试方法及装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的快速发展,软件数量呈爆炸式增长。而对于执行同一任务而言,不同的软件的性能不同。软件性能不仅影响软件执行任务时所消耗的硬件资源,还影响用户的体验。因此,硬件设备厂商在将软件安装于硬件设备上之前,需对用于执行同一任务的所有软件进行性能测试,并从中选取性能最好的一个软件安装于硬件设备上,以提高硬件设备的运行速度,以及提高用户体验。
发明内容
本申请提供一种测试方法及装置、电子设备及计算机可读存储介质。
第一方面,提供了一种测试方法,所述方法包括:
获取被测试软件的测试视频;
对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;
计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
在该方面中,测试装置通过对测试视频进行目标检测处理,从测试视频中确定起始帧和结束帧,可得到在人在视觉上感受到的被测试软件执行任务的起始帧和结束帧。测试装置进而可依据起始帧至结束帧的播放时长,得到在人在视觉上感受到的被测试软件执行任务的时长,从而缩小得到的被测试软件执行任务的时长与用户在视觉上感受到的被测试软件执行任务的时长之间的差异。
结合本申请任一实施方式,所述测试方法应用于测试装置,所述测试装置包括屏幕;
所述获取被测试软件的测试视频,包括:
在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频。
在该种实施方式中,测试装置通过在进行屏幕录像的过程中,通过被测试软件执行任务得到测试视频,可将被测试软件执行任务导致屏幕所显示的内容的变化完整的记录至测试视频,进而提高通过对测试视频进行目标检测处理得到的起始帧的准确度、结束帧的准确度。
例如,若在测试装置通过被测试软件执行任务的过程中,使用具备拍摄功能的电子设备拍摄测试装置的屏幕得到测试视频。则可能由于拍摄过程中出现的掉帧,导致测试视频对被测试软件执行任务导致屏幕所显示的内容的变化的记录不完整,进而导致起始帧的准确度低和结束帧的准确度低。
结合本申请任一实施方式,所述在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频,包括:
响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,并开始屏幕录像;
响应于检测到所述被测试软件执行完所述任务,输出所述任务的结束标志,并停止屏幕录像。
在该种实施方式中,测试装置响应于检测到执行任务的指令开始屏幕录像,并响应于检测到被测试软件执行完任务停止屏幕录像,即将执行任务的指令作为开始屏幕录像的指令、将被测试软件执行完任务作为停止屏幕录像的指令,可在保证测试视频包含被测试软件执行任务的起始标志和被测试软件执行任务的结束标志的情况下,减少测试视频所包含的图像,从而减少测试装置对测试视频进行目标检测处理所带来的数据处理量。
结合本申请任一实施方式,所述任务包括拍照任务。
结合本申请任一实施方式,所述响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,包括:
响应于检测到通过所述被测试软件拍照的指令,在所述屏幕内显示开始拍照的界面。
结合本申请任一实施方式,所述屏幕的显示界面中包括缩略图显示区域;
所述输出所述任务的结束标志,包括:
在所述缩略图显示区域中显示缩略图。
结合本申请任一实施方式,在所述测试装置通过所述被测试软件执行所述任务的过程中,所述第一标志所覆盖的区域在所述测试装置的屏幕中的位置为第一位置,所述第二标志所覆盖的区域在所述测试装置的屏幕中的位置为第二位置;
所述测试视频包括第一图像,所述对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧,包括:
从所述第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,得到第二图像,所述第一像素点区域在所述第一图像中的位置为所述第一位置,所述第二像素点区域在所述第一图像中的位置为所述第二位置;
使用所述第二图像替换所述测试视频中的所述第一图像,得到处理后的测试视频;
对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧。
在该种实施方式中,由于第二图像通过从第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域得到,测试装置通过对第二图像进行目标检测处理,不仅可减少数据处理量,提高处理速度,还可在去除不会出现第一标志的像素点区域对检测结果的干扰和去除不会出现第二标志的像素点区域对检测结果的干扰的情况下,提高检测准确度。
结合本申请任一实施方式,在所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧之前,所述方法还包括:
获取目标检测网络;
所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧,包括:
使用所述目标检测网络分别对所述处理后的测试视频中的每一帧图像进行特征提取处理,得到特征数据集;
依据所述特征数据集确定包含所述第一标志的图像,作为所述起始帧;
依据所述特征数据集确定包含所述第二标志的图像,作为所述结束帧。
结合本申请任一实施方式,所述第一标志所覆盖的像素点区域的面积和所述第二标志所覆盖的像素点区域的面积均超过可视最小面积。
第二方面,提供了一种测试装置,所述装置包括:
获取单元,用于获取被测试软件的测试视频;
第一处理单元,用于对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;
第二处理单元,用于计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
结合本申请任一实施方式,所述测试方法应用于测试装置,所述测试装置包括屏幕;
所述获取单元用于:
在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频。
结合本申请任一实施方式,所述获取单元用于:
响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,并开始屏幕录像;
响应于检测到所述被测试软件执行完所述任务,输出所述任务的结束标志,并停止屏幕录像。
结合本申请任一实施方式,所述任务包括拍照任务。
结合本申请任一实施方式,所述第三处理单元用于:
响应于检测到通过所述被测试软件拍照的指令,在所述屏幕内显示开始拍照的界面。
结合本申请任一实施方式,所述屏幕的显示界面中包括缩略图显示区域;
所述第三处理单元用于:
在所述缩略图显示区域中显示缩略图。
结合本申请任一实施方式,在所述测试装置通过所述被测试软件执行所述任务的过程中,所述第一标志所覆盖的区域在所述测试装置的屏幕中的位置为第一位置,所述第二标志所覆盖的区域在所述测试装置的屏幕中的位置为第二位置;
所述测试视频包括第一图像,所述第一处理单元用于:
从所述第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,得到第二图像,所述第一像素点区域在所述第一图像中的位置为所述第一位置,所述第二像素点区域在所述第一图像中的位置为所述第二位置;
使用所述第二图像替换所述测试视频中的所述第一图像,得到处理后的测试视频;
对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧。
结合本申请任一实施方式,所述获取单元,还用于在所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧之前,获取目标检测网络;
所述第一处理单元用于:
使用所述目标检测网络分别对所述处理后的测试视频中的每一帧图像进行特征提取处理,得到特征数据集;
依据所述特征数据集确定包含所述第一标志的图像,作为所述起始帧;
依据所述特征数据集确定包含所述第二标志的图像,作为所述结束帧。
结合本申请任一实施方式,所述第一标志所覆盖的像素点区域的面积和所述第二标志所覆盖的像素点区域的面积均超过可视最小面积。
第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种测试方法的流程示意图;
图2a为本申请实施例提供的一种拍照界面示意图;
图2b为本申请实施例提供的另一种拍照界面示意图;
图2c为本申请实施例提供的另一种拍照界面示意图;
图3a为本申请实施例提供的一种拍照界面示意图;
图3b为本申请实施例提供的另一种拍照界面示意图;
图4为本申请实施例提供的一种像素坐标系示意图;
图5为本申请实施例提供的一种测试装置的结构示意图;
图6为本申请实施例提供的一种测试装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
随着互联网技术的快速发展,软件数量呈爆炸式增长。而对于执行同一任务而言,不同的软件的性能不同。软件性能不仅影响软件执行任务时所消耗的硬件资源,还影响用户的体验。因此,硬件设备厂商在将软件安装于硬件设备上之前,需对用于执行同一任务的所有软件进行性能测试,并从中选取性能最好的一个软件安装于硬件设备上,以提高硬件设备的运行速度,以及提高用户体验。
由于执行任务所消耗的时间的长短与用户体验之间具有紧密联系,在评判软件性能的众多指标中,执行任务所消耗的时间显得尤为重要。
在目前的方法中,电子设备在通过运行被测试软件执行任务时,通过检测被测试软件执行任务的起始时间和被测试软件执行完任务的结束时间,得到被测试软件执行任务所消耗的时间。但由于被测试软件执行完任务的结束时间与用户在视觉上感受到的任务被执行完的时间不同,通过该方法得到的执行任务所消耗的时间不能准确反应用户在视觉上感受到的执行任务所消耗的时间,进而无法准确反应用户体验,从而导致被测试软件的性能测试结果不准确。
例如,假设被测试软件是应用于手机上的夜景拍照软件,任务为通过夜景拍照软件拍照,并生成拍得的照片的缩略图。用户在t1按下手机的快门键,手机将用户按下快门键的时间作为夜景拍照软件执行任务的起始时间。手机通过夜景拍照软件拍得图像1,并在t2生成了图像1的缩略图,并在t3通过显示屏显示该缩略图。此时,手机检测到的执行任务的结束时间为t2,但用户在视觉上感受到执行任务的结束时间(即缩略图的生成时间)为t3。那么,手机检测到的执行任务所消耗的时间为t2-t1,用户视觉上感受到的执行任务所消耗的时间为t3-t1,两者显然不同。
基于此,本申请实施例提供了一种测试方法,以缩小得到的软件执行任务所消耗的时间,与用户在视觉上感受到的软件执行任务所消耗的时间之间的差异。
本申请实施例的执行主体为测试装置,其中,测试装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,测试装置可以是以下中的一种:手机、计算机、平板电脑、可穿戴智能设备。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种测试方法的流程示意图。
101、获取被测试软件的测试视频。
本申请实施例中,被测试软件可以是可在计算机上运行的电脑程序,被测试软件也可以是可在移动终端(包括手机、平板电脑、可穿戴智能设备)上运行的应用程序(APP)。
例如,被测试软件可以是可运行于计算机上的通讯软件;又例如,被测试软件可以是可在手机上运行的拍照应用程序。
本申请实施例中,被测试软件的测试视频的内容包括被测试软件执行任务的过程。例如,假设被测试软件为运行于手机上的通讯软件,任务为通过该通讯软件向后台发送一条消息,并接收后台发送的消息。测试视频的内容包括:通过控制手机使该通讯软件向后台发送一条消息,并接收后台返回的消息,并对返回的消息进行显示的过程。
又例如,假设被测试软件为运行于手机上的拍照软件,任务为通过该拍照软件拍摄一张图像,并生成该图像的缩略图。测试视频的内容包括:通过控制手机使该拍照软件拍摄照片,并在缩略图显示区域内显示该图像的缩略图的过程。
在一种获取测试视频的实现方式中,测试装置接收用户通过输入组件输入的测试视频获取测试视频。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。
在另一种获取测试视频的实现方式中,测试装置接收终端发送的测试视频获取测试视频。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
在又一种获取测试视频的实现方式中,被测试软件在测试装置上运行,测试装置在通过被测试软件执行任务的过程中进行屏幕录像,得到测试视频。
102、对上述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧,其中,上述第一标志为上述被测试软件执行任务的起始标志,上述第二标志为上述被测试软件执行上述任务的结束标志。
本申请实施例中,第一标志为在人的视觉感受上,被测试软件执行任务的起始标志。第二标志为在人的视觉感受上,被测试软件执行任务的结束标志。
例如,假设被测试软件为运行于手机上的拍照软件,任务为通过该拍照软件拍摄一张图像,并生成该图像的缩略图。手机控制拍照软件开始拍照时,显示界面中出现拍照进度条,在拍完图像并在缩略图显示区域显示缩略图则表示拍照结束。那么,第一标志为拍照界面从没有拍照进度条到出现拍照进度条。如,在图2a、图2b和图2c所示的拍照界面中,圆圈即为拍照进度条,其中,圆圈的线条从虚线变为实线的过程表示拍照进度,具体的,圆圈中的实线的占比越多表示拍照完成度越高,图2a中的圆圈表示开始拍照,图2b中的圆圈表示正在生成图像,图2c中的圆圈表示已生成图像,即图2a包括第一标志。
第二标志为手机屏幕的缩略图显示区域内从没有显示缩略图到显示缩略图。如,在图3a和图3b所示的拍照界面中,左下角区域为缩略图显示区域,其中,图3a中的缩略图显示区域中未显示缩略图,图3b中的缩略图显示区域已显示缩略图,即图3b包括第二标志。
又例如,假设被测试软件为运行于手机上的通讯软件,任务为通过该通讯软件向后台发送一条消息,并接收后台发送的消息。手机控制通讯软件向后台成功发送消息时,手机显示界面中将出现“发送成功”的提示语。手机在成功接收后台发送的消息时,将在消息显示区域内显示所接收到的消息。那么,第一标志为显示界面从没有出现“发送成功”的提示语到出现“发送成功”的提示语,第二标志为消息显示区域内没有消息到消息显示区域内显示消息。
本申请实施例中,目标检测处理用于检测图像中是否包含第一标志或第二标志。测试装置通过对测试视频中的每一帧图像分别进行目标检测处理,确定测试视频中包含第一标志的图像作为起始帧,确定测试视频中包含第二标志的图像作为结束帧。
可选的,测试装置通过对测试视频中的每一帧图像分别进行目标检测处理,确定每一帧图像包含第一标志的第一概率,以及每一帧图像包含第二标志的第二概率。测试装置进而将第一概率最大的图像作为备选起始帧,并将第二概率最大的图像作为备选结束帧。测试装置在确定备选起始帧的第一概率大于起始标志概率阈值的情况下,将备选起始帧作为起始帧;测试装置在确定备选结束帧的第二概率大于结束标志概率阈值的情况下,将备选结束帧作为结束帧。
例如,测试视频包括图像a、图像b、图像c和图像d。测试装置通过对测试视频进行目标检测处理,确定图像a包含第一标志的概率为0.4、图像a包含第二标志的概率为0.02,确定图像b包含第一标志的概率为0.9、图像b包含第二标志的概率为0.1,确定图像c包含第一标志的概率为0.6、图像c包含第二标志的概率为0.1,确定图像d包含第一标志的概率为0.2、图像d包含第二标志的概率为0.8。
此时,图像a的第一概率为0.4,图像a的第二概率为0.02,图像b的第一概率为0.9,图像b的第二概率为0.1,图像c的第一概率为0.6,图像c的第二概率为0.1,图像d的第一概率为0.2,图像d的第二概率为0.8。
由于第一概率最大的图像为图像b,第二概率最大的图像为图像d,测试装置将图像b作为备选起始帧、将图像d作为备选结束帧。
假设起始帧概率阈值和结束帧概率阈值均为0.7,那么备选起始帧的第一概率大于起始帧概率阈值,备选结束帧的第二概率大于结束概率阈值。测试装置进而将备选起始帧(即图像b)作为起始帧,并将备选结束帧(即图像d)作为结束帧。
在一种可能实现的方式中,测试装置通过目标检测算法对测试视频进行处理,实现对测试视频的目标检测处理。其中,目标检测算法可以是以下中的一种:只需一眼算法(you only look once,YOLO)、可变形组件检测算法(deformable part model,DMP)、单张图像多目标检测算法(single shot multiBox detector,SSD)、Faster-RCNN算法。
在另一种可能实现的方式中,测试装置使用目标检测模型对测试视频进行处理,实现对测试视频的目标检测处理。该目标检测模型以带有标注信息的训练图像为训练数据训练得到,其中,标注信息包括训练图像中是否包含第一标志和第二标志。
103、计算上述起始帧至上述结束帧的播放时长,得到上述被测试软件执行上述任务的时长。
由于起始帧包含第一标志,结束帧包含第二标志,起始帧的播放时间为被测试软件执行任务的起始时间,结束帧的播放时间为被测试软件执行任务的结束时间。因此,起始帧至结束帧的播放时长为,被测试软件执行任务的时长。
在一种可能实现的方式中,测试装置读取起始帧在测试视频中的第一播放时间戳,并读取结束帧在测试视频中的第二播放时间戳,依据第一播放时间戳和第二播放时间戳得到起始帧至结束帧的播放时长。
例如,在测试视频中,起始帧的播放时间戳为3秒4分,结束帧的播放时间戳为8秒4分,此时,第一播放时间戳为3秒4分,第二播放时间戳为8秒4分。起始帧至结束帧的播放时长为5秒。
在另一种可能实现的方式中,测试装置获取测试视频中相邻两帧图像的参考播放时长;测试装置确定在测试视频中,播放时间处于起始帧的播放时间至结束帧的播放时间之间的图像的参考数量;测试装置通过下式计算起始帧至结束帧的播放时长:播放时长=参考播放时长×(参考数量+1)。
例如,假设测试视频包括第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像,其中,播放待处理视频流的先后顺序依次为:第一帧图像、第二帧图像、第三帧图像、第四帧图像、第五帧图像,且参考播放时长为0.2秒。若起始帧为第二帧图像,结束帧为第五帧图像。那么,参考数量为2,此时,起始帧至结束帧的播放时长=0.2×(2+1)=0.6秒。
本实施例中,测试装置通过对测试视频进行目标检测处理,从测试视频中确定起始帧和结束帧,可得到在人在视觉上感受到的被测试软件执行任务的起始帧和结束帧。测试装置进而可依据起始帧至结束帧的播放时长,得到在人在视觉上感受到的被测试软件执行任务的时长,从而缩小得到的被测试软件执行任务的时长与用户在视觉上感受到的被测试软件执行任务的时长之间的差异。
例如,假设被测试软件为拍照软件,任务为手机通过该拍照软件拍摄一张图像,并生成该图像的缩略图。那么,对手机而言,执行任务的开始时间为接收到通过拍照软件拍照的指令的时间(下文将称为第一时间),执行任务的结束时间为手机内的处理器生成缩略图的时间(下文将称为第二时间)。对使用手机拍照的用户而言,执行任务的开始时间为手机屏幕中出现开始拍照的标志的时间(下文将称为第三时间),执行任务的结束时间为缩略图显示区域出现缩略图的时间(下文将称为第四时间)。
由于手机在接收到通过拍照软件拍照的指令后,才会通过手机屏幕显示开始拍照的标志,第一时间早于第二时间。由于手机在处理器生成缩略图之后才会在缩略图显示区域内显示缩略图,第三时间早于第四时间。
若将第一时间与第三时间之间的时长成为第一时长,将第二时间与第四时间之间的时长成为第二时长。显然第一时长与第二时长不同,且第二时长与用户在视觉感受上感受到的拍照软件执行任务所消耗的时长更接近。
因此,基于本实施例提供的技术方案测试拍照软件执行任务所消耗的时长,可缩小得到的拍照软件执行任务的时长与用户在视觉上感受到的拍照软件执行任务的时长之间的差异。
作为一种可选的实施方式,测试装置包括屏幕,其中,该屏幕为用于显示图像及色彩的电器。例如,若测试装置为手机,屏幕可以是手机的显示屏;若测试装置为计算机,屏幕可以是计算机的显示器。
在测试装置包括屏幕的情况下,测试装置在执行步骤101的过程中执行以下步骤:
1、在上述测试装置进行屏幕录像的过程中,通过上述被测试软件执行上述任务,得到上述被测试软件的测试视频。
本步骤中,录屏指对测试装置的屏幕进行录像。
在一种可能实现的方式中,测试装置响应于检测到开始录屏的指令,开始录屏,响应于接收到停止录屏的指令,停止屏幕录像,得到所述测试视频。在测试装置录屏的过程中,测试装置通过被测试软件执行任务,得到被测试软件的测试视频。
可选的,测试装置检测到开始录屏的指令可以是,检测到用户点击屏幕中的开始录屏按钮。测试装置检测到开始录屏的指令还可以是,测试装置接收到开始录屏的指令。
例如,控制终端与测试装置之间具有通信连接。控制终端通过该通信连接向测试装置发送开始录屏的指令。测试装置在接收到开始录屏的指令的情况下,开始屏幕录像。
测试装置检测到停止录屏的指令可以是,检测到用户点击屏幕中的停止录屏按钮。测试装置检测到停止录屏的指令还可以是,测试装置接收到停止录屏的指令。
例如,控制终端与测试装置之间具有通信连接。控制终端通过该通信连接向测试装置发送停止录屏的指令。测试装置在接收到停止录屏的指令的情况下,停止屏幕录像。
测试装置通过在进行屏幕录像的过程中,通过被测试软件执行任务得到测试视频,可将被测试软件执行任务导致屏幕所显示的内容的变化完整的记录至测试视频,进而提高通过对测试视频进行目标检测处理得到的起始帧的准确度、结束帧的准确度。
例如,若在测试装置通过被测试软件执行任务的过程中,使用具备拍摄功能的电子设备拍摄测试装置的屏幕得到测试视频。则可能由于拍摄过程中出现的掉帧,导致测试视频对被测试软件执行任务导致屏幕所显示的内容的变化的记录不完整,进而导致起始帧的准确度低和结束帧的准确度低。
作为一种可选的实施方式,测试装置在执行步骤1的过程中执行以下步骤:
2、响应于检测到执行上述任务的指令,通过上述被测试软件执行上述任务,并开始屏幕录像。
测试装置检测到执行任务的指令可以是,检测到用户点击屏幕中的执行任务的按钮。例如,假设测试装置为手机,任务为通过拍照软件拍摄照片并生成照片的缩略图。那么执行任务的指令可以是,点击拍照软件中的拍照按钮。又例如,假设测试装置为平板电脑,任务为通过通信软件向后台发送消息,并接收后台返回的信息。那么执行任务的指令可以是,点击通信软件中的发送消息按钮。
测试装置检测到执行任务的指令还可以是,测试装置接收到执行任务的指令。例如,控制终端与测试装置之间具有通信连接。控制终端通过该通信连接向测试装置发送执行任务的指令。
3、响应于检测到上述被测试软件执行完上述任务,输出上述任务的结束标志,并停止屏幕录像。
本步骤中,测试装置可以通过测试装置的屏幕输出任务的结束标志,测试装置也可以通过指示灯输出任务的结束标志。
例如,假设测试装置为手机,任务为通过拍照软件拍摄照片并生成照片的缩略图。那么测试装置通过屏幕输出任务的结束标志可以是,在屏幕的缩略图显示区域内显示缩略图。测试装置通过指示灯输出任务的结束标志可以是,通过指示灯发出红色灯光。
又例如,假设测试装置为平板电脑,任务为通过通信软件向后台发送消息,并接收后台返回的信息。那么测试装置通过屏幕输出任务的结束标志可以是,在屏幕的上显示后台返回的信息。测试装置通过指示灯输出任务的结束标志可以是,通过指示灯发出绿色灯光。
应理解,测试装置通过指示灯输出任务的结束标志指,在测试装置的屏幕中通过显示虚拟指示灯,通过该虚拟指示灯输出任务的结束标志。
测试装置通过执行步骤2和步骤3,可将第一标志(即被测试软件执行任务的起始标志)和第二标志(即被测试软件执行任务的结束标志)可视化,这样在后续处理中,可通过检测测试视频,确定第一标志的出现时间和第二标志的出现时间,进而确定起始帧和结束帧。
在步骤2和步骤3中,测试装置响应于检测到执行任务的指令开始屏幕录像,并响应于检测到被测试软件执行完任务停止屏幕录像,即将执行任务的指令作为开始屏幕录像的指令、将被测试软件执行完任务作为停止屏幕录像的指令,可在保证测试视频包含被测试软件执行任务的起始标志和被测试软件执行任务的结束标志的情况下,减少测试视频所包含的图像,从而减少测试装置对测试视频进行目标检测处理所带来的数据处理量。
作为一种可选的实施方式,测试装置在执行步骤2的过程中,执行以下步骤:
4、响应于检测到通过上述被测试软件拍照的指令,在上述屏幕内显示开始拍照的界面。
本步骤中,被测试软件所执行的任务包括拍照任务。通过被测试软件拍照的指令可以是点击被测试软件的拍照按钮。测试装置响应于检测到通过被测试软件拍照的指令,通过被测试软件进行拍照,并在屏幕内显示开始拍照的界面。此时,在屏幕内显示开始拍照的界面相当于第一标志。
在该种实施方式中,测试装置通过对测试视频进行目标检测,以确定测试视频中出现开始拍照的界面的图像,作为起始帧。例如,测试视频包括第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像,其中,播放待处理视频流的先后顺序依次为:第一帧图像、第二帧图像、第三帧图像、第四帧图像、第五帧图像。若测试装置通过对测试视频进行目标检测,确定第一帧图像、第四帧图像和第五帧图像均不包含开始拍照的界面,第二帧图像和第三帧图像均包含开始拍照的界面。那么,第二帧图像为起始帧。
作为一种可选的实施方式,上述屏幕的显示界面中包括缩略图显示区域。该缩略图显示区域用于显示缩略图。例如,在显示界面的左下角为缩略图显示区域,则通过被测试软件拍照得到的图像的缩略图将显示于显示界面的左下角。
在显示界面中包括缩略图显示区域的情况下,测试装置通过执行以下步骤输出任务的结束标志:
5、在上述缩略图显示区域中显示缩略图。
在本步骤中,缩略图显示区域中开始显示缩略图即为第二标志。这样测试装置通过对测试视频进行目标检测,以确定测试视频中的缩略图显示区域中出现新的缩略图的图像,作为结束帧。
例如,测试视频包括第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像,其中,播放待处理视频流的先后顺序依次为:第一帧图像、第二帧图像、第三帧图像、第四帧图像、第五帧图像。若测试装置通过对测试视频进行目标检测,确定在第一帧图像、第二帧图像和第三帧图像中,缩略图显示区域中均不包含缩略图。在第四帧图像和第五帧图像中,缩略图显示区域中均包含缩略图。那么,第四帧图像为结束帧。
又例如,测试视频包括第一帧图像、第二帧图像、第三帧图像、第四帧图像和第五帧图像,其中,播放待处理视频流的先后顺序依次为:第一帧图像、第二帧图像、第三帧图像、第四帧图像、第五帧图像。若测试装置通过对测试视频进行目标检测,确定在第一帧图像、第二帧图像和第三帧图像中,缩略图显示区域均包含第一缩略图。在第四帧图像和第五帧图像中,缩略图显示区域均包含第二缩略图。那么,第二缩略图为新的缩略图,第四帧图像为结束帧。
作为一种可选的实施方式,测试视频通过,在测试装置通过被测试软件执行任务的过程中,对测试装置进行录屏得到。例如,假设被测试软件为拍照软件,任务为手机通过该拍照软件拍摄一张图像,并生成该图像的缩略图。那么测试装置为手机,测试视频为在手机通过拍照软件拍摄一张图像,并生成该图像的缩略图的过程中,对手机进行录屏得到的视频。
在测试装置通过被测试软件执行任务的过程中,第一标志所覆盖的区域在测试装置的屏幕中的位置为第一位置,第二标志所覆盖的区域在测试装置的屏幕中的位置为第二位置。
若将测试装置的屏幕全屏显示的图像称为全屏图像。本步骤中,在屏幕中的位置指在全屏图像的像素坐标系下的坐标,其中,像素坐标系的横坐标用于表示像素点所在的列数,像素坐标系下的纵坐标用于表示像素点所在的行数。
例如,在图4所示的图像中,以图像的左上角为坐标原点O、平行于图像的行的方向为X轴的方向、平行于图像的列的方向为Y轴的方向,构建像素坐标系为XOY。横坐标和纵坐标的单位均为像素点。例如,图4中的像素点A11的坐标为(1,1),像素点A23的坐标为(3,2),像素点A42的坐标为(2,4),像素点A34的坐标为(4,3)。
由于第一标志所覆盖的区域在测试装置的屏幕中的位置为第一位置,依据第一位置可确定第一标志所覆盖的区域。同理,依据第二位置可确定第二标志所覆盖的区域。
应理解,第一位置和第二位置均为经验值。即在测试装置通过被测试软件执行任务的过程中,第一标志出现在屏幕中的第一位置,第二标志出现在屏幕中的第二位置。
例如,假设第一标志为出现拍照进度条,而拍照进度条的显示区域在屏幕的位置a,那么位置a为第一位置。假设第二标志为出现缩略图,而缩略图显示区域在屏幕的位置b,那么位置b为第二位置。
在该种实施方式中,测试装置在执行步骤102的过程中执行以下步骤:
6、从上述第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,得到第二图像,上述第一像素点区域在上述第一图像中的位置为上述第一位置,上述第二像素点区域在上述第一图像中的位置为上述第二位置。
本步骤中,第一图像为测试视频中的任意一张图像。由于测试视频通过对测试装置进行录屏得到,第一图像为测试装置的屏幕全屏显示的图像。因此,若第一图像中存在第一标志,第一标志在第一图像中的位置为第一位置,即第一标志所覆盖的像素点区域为第一像素点区域;若第一图像中存在第二标志,第二标志在第一图像中的位置为第二位置,即第二标志所覆盖的像素点区域为第二像素点区域。
测试装置通过从第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,既不会影响检测第一图像中是否包括第一标志,或是否包括第二标志,又可将不会出现第一标志的像素点区域和将不会出现第二标志的像素点区域去除,得到第二图像。
7、使用上述第二图像替换上述测试视频中的上述第一图像,得到处理后的测试视频。
例如,测试视频包括图像a、第一图像、图像b,且测试视频的播放顺序依次为:图像a、第一图像、图像b。使用第二图像替换测试视频中的第一图像得到的处理后的测试视频包括:图像a、第二图像、图像b,且处理后的测试视频的播放顺序依次为:图像a、第二图像、图像b。
8、对上述处理后的测试视频进行目标检测处理,得到包含上述第一标志的上述起始帧和包含上述第二标志的上述结束帧。
由于第二图像通过从第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域得到,测试装置通过对第二图像进行目标检测处理,不仅可减少数据处理量,提高处理速度,还可在去除不会出现第一标志的像素点区域对检测结果的干扰和去除不会出现第二标志的像素点区域对检测结果的干扰的情况下,提高检测准确度。
应理解,步骤6~步骤8以第一图像为例,阐述了如何从图像中截取包含第一像素点区域和第二像素点区域的像素点区域,去除不会出现第一标志的像素点区域和不会出现第二标志的像素点区域。在实际处理中,测试装置可分别从测试视频中的每一帧图像中截取,包含第一像素点区域和第二像素点区域的像素点区域。并用截取得到的图像替换测试视频中的图像,得到新的测试视频。测试装置进而对新的测试视频进行目标检测处理,得到起始帧和结束帧。
作为一种可选的实施方式,测试装置在执行步骤8之前,还执行以下步骤:
9、获取目标检测网络。
本申请实施例中,目标检测网络为具备检测图像中是否包含第一标志或是否包含第二标志的深度学习模型。例如,目标检测网络为卷积神经网络。又例如,目标检测网络可以由下采样层、上采样层等神经网络层按照一定方式堆叠或组成的模型。本申请对目标检测网络的结构不做限定。
在获取目标检测网络后,测试装置在执行步骤8的过程中执行以下步骤:
10、使用上述目标检测网络分别对上述处理后的测试视频中的每一帧图像进行特征提取处理,得到特征数据集。
例如(例1),处理后的测试视频包括图像a和图像b。测试装置使用目标检测网络对图像a进行特征提取处理,得到特征数据A。测试装置使用目标检测网络对图像b进行特征提取处理,得到特征数据B。此时,特征数据集包括特征数据A和特征数据B。
11、依据上述特征数据集确定包含上述第一标志的图像,作为上述起始帧。
目标检测网络依据特征数据集中的特征数据,可确定与该特征数据对应的图像是否包含第一标志。在确定特征数据所对应的图像包含第一标志的情况下,将该图像作为起始帧。
接着例1继续举例,若目标检测网络依据特征数据A确定图像a包含第一标志,那么测试装置将图像a作为起始帧;若目标检测网络依据特征数据B确定图像b包含第一标志,那么测试装置将图像b作为起始帧。
可选的,目标检测网络依据特征数据集中的特征数据,可确定与该特征数据对应的图像包含第一标志的概率。测试装置从处理后的视频中确定包含第一标志的概率最高的图像,为起始帧。
接着例1继续举例,若目标检测网络依据特征数据A确定图像a包含第一标志的概率为0.9,目标检测网络依据特征数据B确定图像b包含第一标志的概率为0.7,那么测试装置确定图像a为起始帧。
12、依据上述特征数据集确定包含上述第二标志的图像,作为上述结束帧。
目标检测网络依据特征数据集中的特征数据,可确定与该特征数据对应的图像是否包含第二标志。在确定特征数据所对应的图像包含第二标志的情况下,将该图像作为结束帧。
接着例2继续举例,若目标检测网络依据特征数据A确定图像a包含第二标志,那么测试装置将图像a作为结束帧;若目标检测网络依据特征数据B确定图像b包含第二标志,那么测试装置将图像b作为结束帧。
可选的,目标检测网络依据特征数据集中的特征数据,可确定与该特征数据对应的图像包含第二标志的概率。测试装置从处理后的视频中确定包含第二标志的概率最高的图像,为结束帧。
接着例2继续举例,若目标检测网络依据特征数据A确定图像a包含第二标志的概率为0.6,目标检测网络依据特征数据B确定图像b包含第二标志的概率为0.8,那么测试装置确定图像b为结束帧。
作为一种可选的实施方式,第一标志所覆盖的像素点区域的面积和上述第二标志所覆盖的像素点区域的面积均超过可视最小面积。
本申请实施例中,可视最小面积为人类通过眼睛观看图像时,可看到的标志所覆盖的像素点区域的最小面积,即若某个标志所覆盖的像素点区域的面积未超过可视最小面积,那么人类通过眼睛观看图像时,无法看到该标志的存在;反之,若某个标志所覆盖的像素点区域的面积超过可视最小面积,那么人类通过眼睛观看图像时,可看到该标志的存在。
在该种实施方式中,第一标志所覆盖的像素点区域所覆盖的面积和第二标志所覆盖的像素点区域所覆盖的面积均超过可视最小面积,可使人类在通过眼睛观察测试视频时,看到第一标志的出现和第二标志的出现。这样,可降低测试装置通过对测试视频进行目标检测处理可确定第一标志的存在和第二标志的存在,而人类无法通过眼睛观察测试视频确定第一标志的存在和第二标志的存在的情况出现的概率。从而可缩小得到的被测试软件执行任务的时长与用户在视觉上感受到的被测试软件执行任务的时长之间的差异。
基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的应用场景。场景1,随着人们对手机拍照功能的需求越来越大,手机拍照模式也是层出不穷,其中就包括夜景模式。使用夜景模式在夜晚或光线较暗的环境下拍照,可提高拍摄得到的图像的质量。
现A手机厂商想为即将发布的手机装载一款夜景拍照软件,因此,有多家软件解决方案厂商分别为A手机厂商提供了夜景拍照软件。A手机厂商想从软件解决方案厂商提供的夜景拍照软件中选一款性能最好的夜景拍照软件装载于手机上。
考虑到通过不同的夜景拍照软件生成的图像的质量差距不大,但不同的夜景拍照软件生成图像的所耗费的时间不同,且不同的夜景拍照软件生成图像的缩略图的时间也不同。而夜景拍照软件从拍摄软件到生成缩略图所耗费的时间将影响用户体验。A手机厂商以用户体验为依据,评判夜景拍照软件的性能。
基于本申请实施例提供的技术方案,可测试从用户的视觉角度感受到的,夜景拍照软件从拍摄照片到生成缩略图所耗费的时间。A手机厂商进而可从所有夜景拍照软件中选取所耗费的时间最短的夜景拍照软件,作为性能最好的夜景拍照软件。
例如,将装载有第一待测试夜景拍照软件的测试手机放置于测试室中,其中,测试室内为全封闭环境,即测试室内的光照强度不受测试室外的光照强度的影响。在测试室中,还装配有一个光源,该光源用于控制测试室内的光照强度。可选的,在测试第一待测试夜景拍照软件的测试过程中,将光照强度设置为预设光照强度。可选的,测试人员可通过arduino开发板控制光源的光照强度。
测试室外的控制装置与测试手机之间具有通信连接,测试人员通过控制装置可控制测试手机。可选的,测试人员可基于uiautomator2控制测试手机。
具体的,测试人员通过控制装置控制手机进行录屏,并在手机进行录屏后,控制手机通过夜景拍照软件拍摄照片。在控制手机拍摄照片的预定时间后(该预定时间的具体大小可依据实际需求确定,例如,夜景拍照软件拍摄照片到生成缩略图通常需要1秒~3秒,那么预定时间可以是5秒,即预定时间比夜景拍照软件从拍摄照片到生成缩略图所耗费的时间大。),测试人员通过控制装置控制手机停止录屏。将测试手机录制的视频作为测试视频。
测试人员使用电子设备(可以是测试手机,也可以不是测试手机)提取出测试视频中的每一帧图像。可选的,电子设备可通过Free Video to JPG Converter软件提取出测试视频中的每一帧图像,得到测试图像集。
测试人员将已训练好的卷积神经网络输入至电子设备,并使电子设备使用该卷积神经网络对测试图像集中的每一帧图像进行处理,以确定是否包含第一标志或第二标志,从而得到起始帧和结束帧。电子设备计算起始帧至结束帧的播放时长,得到夜景拍照软件从拍摄照片到生成缩略图所耗费的时间。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图5,图5为本申请实施例提供的一种测试装置的结构示意图,该装置1包括:获取单元11、第一处理单元12、第二处理单元13、第三处理单元14,其中:
获取单元11,用于获取被测试软件的测试视频;
第一处理单元12,用于对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;
第二处理单元13,用于计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
结合本申请任一实施方式,所述测试方法应用于测试装置,所述测试装置包括屏幕;
所述获取单元11用于:
在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频。
结合本申请任一实施方式,所述获取单元11用于:
响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,并开始屏幕录像;
响应于检测到所述被测试软件执行完所述任务,输出所述任务的结束标志,并停止屏幕录像。
结合本申请任一实施方式,所述任务包括拍照任务。
结合本申请任一实施方式,所述第三处理单元14用于:
响应于检测到通过所述被测试软件拍照的指令,在所述屏幕内显示开始拍照的界面。
结合本申请任一实施方式,所述屏幕的显示界面中包括缩略图显示区域;
所述第三处理单元14用于:
在所述缩略图显示区域中显示缩略图。
结合本申请任一实施方式,在所述测试装置通过所述被测试软件执行所述任务的过程中,所述第一标志所覆盖的区域在所述测试装置的屏幕中的位置为第一位置,所述第二标志所覆盖的区域在所述测试装置的屏幕中的位置为第二位置;
所述测试视频包括第一图像,所述第一处理单元12用于:
从所述第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,得到第二图像,所述第一像素点区域在所述第一图像中的位置为所述第一位置,所述第二像素点区域在所述第一图像中的位置为所述第二位置;
使用所述第二图像替换所述测试视频中的所述第一图像,得到处理后的测试视频;
对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧。
结合本申请任一实施方式,所述获取单元11,还用于在所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧之前,获取目标检测网络;
所述第一处理单元12用于:
使用所述目标检测网络分别对所述处理后的测试视频中的每一帧图像进行特征提取处理,得到特征数据集;
依据所述特征数据集确定包含所述第一标志的图像,作为所述起始帧;
依据所述特征数据集确定包含所述第二标志的图像,作为所述结束帧。
结合本申请任一实施方式,所述第一标志所覆盖的像素点区域的面积和所述第二标志所覆盖的像素点区域的面积均超过可视最小面积。
本实施例中,获取单元11可以是数据接口,第一处理单元12可以是图形处理器处理器,第二处理单元13和第四处理单元14均可以是处理器。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图6为本申请实施例提供的一种测试装置的硬件结构示意图。该测试装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的测试视频,又或者该存储器22还可用于存储通过处理器21得到的起始帧和结束帧等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图6仅仅示出了一种测试装置的简化设计。在实际应用中,测试装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的测试装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (12)
1.一种测试方法,其特征在于,所述方法包括:
获取被测试软件的测试视频;
对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;
计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
2.根据权利要求1所述的方法,其特征在于,所述测试方法应用于测试装置,所述测试装置包括屏幕;
所述获取被测试软件的测试视频,包括:
在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频。
3.根据权利要求2所述的方法,其特征在于,所述在所述测试装置进行屏幕录像的过程中,通过所述被测试软件执行所述任务,得到所述被测试软件的测试视频,包括:
响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,并开始屏幕录像;
响应于检测到所述被测试软件执行完所述任务,输出所述任务的结束标志,并停止屏幕录像。
4.根据权利要求3所述的方法,其特征在于,所述任务包括拍照任务。
5.根据权利要求3或4所述的方法,其特征在于,所述响应于检测到执行所述任务的指令,通过所述被测试软件执行所述任务,包括:
响应于检测到通过所述被测试软件拍照的指令,在所述屏幕内显示开始拍照的界面。
6.根据权利要求3至5中任意一项所述的方法,其特征在于,所述屏幕的显示界面中包括缩略图显示区域;
所述输出所述任务的结束标志,包括:
在所述缩略图显示区域中显示缩略图。
7.根据权利要求2至6中任意一项所述的方法,其特征在于,在所述测试装置通过所述被测试软件执行所述任务的过程中,所述第一标志所覆盖的区域在所述测试装置的屏幕中的位置为第一位置,所述第二标志所覆盖的区域在所述测试装置的屏幕中的位置为第二位置;
所述测试视频包括第一图像,所述对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧,包括:
从所述第一图像中截取包含第一像素点区域和第二像素点区域的像素点区域,得到第二图像,所述第一像素点区域在所述第一图像中的位置为所述第一位置,所述第二像素点区域在所述第一图像中的位置为所述第二位置;
使用所述第二图像替换所述测试视频中的所述第一图像,得到处理后的测试视频;
对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧。
8.根据权利要求7所述的方法,其特征在于,在所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧之前,所述方法还包括:
获取目标检测网络;
所述对所述处理后的测试视频进行目标检测处理,得到包含所述第一标志的所述起始帧和包含所述第二标志的所述结束帧,包括:
使用所述目标检测网络分别对所述处理后的测试视频中的每一帧图像进行特征提取处理,得到特征数据集;
依据所述特征数据集确定包含所述第一标志的图像,作为所述起始帧;
依据所述特征数据集确定包含所述第二标志的图像,作为所述结束帧。
9.根据权利要求1至8中任意一项所述的方法,其特征在于,所述第一标志所覆盖的像素点区域的面积和所述第二标志所覆盖的像素点区域的面积均超过可视最小面积。
10.一种测试装置,其特征在于,所述装置包括:
获取单元,用于获取被测试软件的测试视频;
第一处理单元,用于对所述测试视频进行目标检测处理,得到包含第一标志的起始帧和包含第二标志的结束帧;所述第一标志为所述被测试软件执行任务的起始标志,所述第二标志为所述被测试软件执行所述任务的结束标志;
第二处理单元,用于计算所述起始帧至所述结束帧的播放时长,得到所述被测试软件执行所述任务的时长。
11.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至9中任意一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至9中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330955.3A CN112925719A (zh) | 2021-03-26 | 2021-03-26 | 测试方法及装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110330955.3A CN112925719A (zh) | 2021-03-26 | 2021-03-26 | 测试方法及装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112925719A true CN112925719A (zh) | 2021-06-08 |
Family
ID=76176316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110330955.3A Withdrawn CN112925719A (zh) | 2021-03-26 | 2021-03-26 | 测试方法及装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112925719A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114640608A (zh) * | 2022-04-01 | 2022-06-17 | 上海商汤智能科技有限公司 | 测试方法及装置、电子设备及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996094A (zh) * | 2019-11-01 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 检测视频卡顿的方法、装置、计算机设备及存储介质 |
CN111338954A (zh) * | 2020-02-26 | 2020-06-26 | 平安银行股份有限公司 | 一种测试报告的生成方法及设备 |
CN111782492A (zh) * | 2020-05-22 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 页面首屏加载时长测试方法、装置、计算机设备及介质 |
-
2021
- 2021-03-26 CN CN202110330955.3A patent/CN112925719A/zh not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110996094A (zh) * | 2019-11-01 | 2020-04-10 | 北京奇艺世纪科技有限公司 | 检测视频卡顿的方法、装置、计算机设备及存储介质 |
CN111338954A (zh) * | 2020-02-26 | 2020-06-26 | 平安银行股份有限公司 | 一种测试报告的生成方法及设备 |
CN111782492A (zh) * | 2020-05-22 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 页面首屏加载时长测试方法、装置、计算机设备及介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114640608A (zh) * | 2022-04-01 | 2022-06-17 | 上海商汤智能科技有限公司 | 测试方法及装置、电子设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108989678B (zh) | 一种图像处理方法、移动终端 | |
CN110209273A (zh) | 手势识别方法、交互控制方法、装置、介质与电子设备 | |
KR20170019823A (ko) | 이미지 처리 방법 및 이를 지원하는 전자장치 | |
US20220176250A1 (en) | Virtual item interaction method and apparatus, computer device, and storage medium | |
CN111767554B (zh) | 屏幕分享方法、装置、存储介质及电子设备 | |
CN109167893B (zh) | 拍摄图像的处理方法、装置、存储介质及移动终端 | |
CN110572636B (zh) | 摄像头脏污检测方法、装置、存储介质及电子设备 | |
CN110865753B (zh) | 应用消息的通知方法及装置 | |
CN106447756B (zh) | 用于生成用户定制的计算机生成动画的方法和系统 | |
CN109495616A (zh) | 一种拍照方法及终端设备 | |
CN111083374B (zh) | 滤镜添加方法及电子设备 | |
CN112163993A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN113794831B (zh) | 视频拍摄方法、装置、电子设备及介质 | |
CN103543916A (zh) | 信息处理的方法及电子设备 | |
CN112925719A (zh) | 测试方法及装置、电子设备及计算机可读存储介质 | |
CN114138215B (zh) | 一种显示方法及相关设备 | |
CN106355182A (zh) | 用于对象检测和图像处理的方法和装置 | |
CN114489429B (zh) | 一种终端设备、长截屏方法和存储介质 | |
CN113938597B (zh) | 一种脸部识别方法、装置、计算机设备和存储介质 | |
CN108540726B (zh) | 连拍图像的处理方法、装置、存储介质及终端 | |
CN110545375B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108898081B (zh) | 图片处理方法、装置、移动终端及计算机可读存储介质 | |
CN112489006A (zh) | 图像处理方法、装置、存储介质及终端 | |
CN112843692B (zh) | 拍摄图像的方法、装置、电子设备及存储介质 | |
CN114630085B (zh) | 图像投影方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210608 |
|
WW01 | Invention patent application withdrawn after publication |