CN104077214B - 软件系统加载过程图像识别方法及系统 - Google Patents

Abstract

本发明提供了一种软件系统加载过程图像识别方法。该方法通过对待测软件系统加载过程的屏幕录像进行图片的逐帧分解，进而识别出代表待测软件系统各个加载状态的图片，最后通过识别的图片对应的帧的时间计算出待测软件系统的加载过程时间，有效提高了待测软件系统加载过程的测试效率，提高了测试的准确性。本发明还提供一种软件系统加载过程图像识别系统。

Description

软件系统加载过程图像识别方法及系统

技术领域

本发明涉及一种软件测试技术，特别涉及一种软件系统加载过程图像识别方法及系统。

背景技术

随着与人们生活密切联系的电子设备（例如，手机、计算机、平板电脑等）的不断普及，各种在电子设备上运行的即时通讯软件系统（例如，QQ软件系统）、浏览器软件系统（例如，QQ浏览器系统）等应用软件系统逐渐成为人们生活、工作和学习的重要工具。在这类应用软件系统投放市场供用户使用之前，对这类软件系统进行本机的运行性能测试，尤其是对这类软件系统在电子设备上的加载过程测试，成为摆在人们面前的一个不得不解决的问题。

我们知道目前有一些针对这类软件系统的加载过程测试方案，例如，通过人眼来判断这类软件系统的从加载准备到加载开始的加载准备阶段，及/或从加载开始到加载完成的加载过程阶段，人工计算加载准备阶段及/或加载过程阶段的时间消耗。这种现有的测试方案的缺点是耗费大量人力和测试时间，且通常测试结果的准确性得不到保障。

发明内容

本发明的主要目的是提供一种软件系统加载过程图像识别方法，以有效提高测试效率，提高测试的准确性。

此外，还提供一种软件系统加载过程图像识别系统，以有效提高测试效率，提高测试的准确性。

一种软件系统加载过程图像识别方法，该方法包括步骤：获取待测软件系统加载过程的屏幕录像；对获取的屏幕录像按不同的帧分解成多个连续的图片；按照帧的时间顺序找出满足代表待测软件系统开始加载的预设条件的第N图片；按照帧的时间顺序找出第N图片之后，满足代表待测软件系统完成加载的预设条件的第N+1图片；按照第N图片与第N+1图片对应帧的时间计算出待测软件系统的加载过程时间。

优选地，在找出第N图片的步骤之前，还包括步骤：按照帧的时间顺序找出满足代表待测软件系统准备加载的预设条件的第N-1图片。

优选地，在找出第N+1图片的步骤之后，还包括步骤：按照第N-1图片与第N图片对应帧的时间计算出待测软件系统的加载准备时间。

一种软件系统加载过程图像识别系统，该系统包括：图片分解模块，用于获取待测软件系统加载过程的屏幕录像，对获取的屏幕录像按不同的帧分解成多个连续的图片；分阶段确认模块，用于按照帧的时间顺序找出满足代表待测软件系统开始加载的预设条件的第N图片，按照帧的时间顺序找出第N图片之后，满足代表待测软件系统完成加载的预设条件的第N+1图片；及加载时间计算模块，用于按照第N图片与第N+1图片对应帧的时间计算出待测软件系统的加载过程时间。

优选地，所述分阶段确认模块还用于：在找出第N图片之前，按照帧的时间顺序找出满足代表待测软件系统准备加载的预设条件的第N-1图片。

优选地，所述加载时间计算模块还用于：在找出第N+1图片的步骤之后，按照第N-1图片与第N图片对应帧的时间计算出待测软件系统的加载准备时间。

相较现有技术，本发明通过对待测软件系统加载过程的屏幕录像进行图片的逐帧分解，进而识别出代表待测软件系统各个加载状态的图片，最后通过识别的图片对应的帧的时间计算出待测软件系统的加载过程时间，有效提高了待测软件系统加载过程的测试效率，提高了测试的准确性。

附图说明

图1为本发明软件系统加载过程图像识别系统较佳实施例的运行架构图。

图2为图1中软件系统加载过程图像识别系统的功能模块图。

图3为本发明软件系统加载过程图像识别方法较佳实施例的具体实施流程图。

图4A至图4E为本发明代表软件系统各个加载状态的加载区域较佳实施例的示例图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明软件系统加载过程图像识别系统较佳实施例的运行架构图。该软件系统加载过程图像识别系统11运行于数据处理设备1中，以对待测软件系统13的加载过程进行图像识别，并对待测软件系统13的加载时间进行计算。所述数据处理设备1可以是手机、平板电脑、个人数字助理（Personal Digital Assistant，PDA）或其他任意适用的电子设备。所述数据处理设备1包括存储单元13及处理单元10。

该存储单元13，用于存储该软件系统加载过程图像识别系统11，及该软件系统加载过程图像识别系统11的运行数据。

该处理单元10，用于调用并执行该软件系统加载过程图像识别系统11，以实现对待测软件系统13的加载过程的图像识别，并实现对待测软件系统13的加载时间的计算。

在本发明的一个实施例中，待测软件系统13运行于数据处理设备1中；该存储单元13还用于存储该待测软件系统13，及待测软件系统13的运行数据；该处理单元10还用于调用并执行该待测软件系统13。在本发明的其他实施例中，该待测软件系统13运行于其他任意适用的电子设备中。待测软件系统13可以是即时通讯软件系统（例如，QQ软件系统）、浏览器软件系统（例如，QQ浏览器系统）等任一适用的应用软件系统。

如图2所示，为图1中软件系统加载过程图像识别系统的功能模块图。该软件系统加载过程图像识别系统11包括图片分解模块110，分阶段确认模块111及加载时间计算模块112。

该图片分解模块110，用于获取待测软件系统13加载过程的屏幕录像。

需要强调的是，待测软件系统13加载过程的屏幕录像可以是预先录制的，也可以是实时录制的。当待测软件系统13加载过程的屏幕录像是实时录制的情况下，运行该待测软件系统13的电子设备（例如，数据处理设备1）包括一个用于录制待测软件系统13加载过程的屏幕录像的影像录制单元（图中未示出），该图片分解模块110获取该影像录制单元实时录制的屏幕录像。当待测软件系统13加载过程的屏幕录像是预先录制的情况下，预先录制待测软件系统13加载过程的屏幕录像的电子设备包括上述影像录制单元，待测软件系统13加载过程的屏幕录像既可以在数据处理设备1中预先录制，也可以在其他任意适用的电子设备中预先录制，该图片分解模块110获取数据处理设备1中预先录制的，或者其他任意适用的电子设备中预先录制的屏幕录像。

该图片分解模块110，还用于对获取的屏幕录像按不同的帧分解成多个连续的图片。对本领域的技术人员来说，将特定屏幕录像按不同的帧分解成多个连续的图片的方式有多种，例如，采用FFmpeg软件将特定屏幕录像按不同的帧分解成多个连续的图片，在此不做赘述。该图片分解模块110分解每一个图片对应于该图片的帧的时间。

在本发明的一个实施例中，该图片分解模块110逐帧对获取的屏幕录像进行图片分解；在本发明的其他实施中，该图片分解模块110按照预设数量的帧的间隔对获取的屏幕录像进行图片分解，例如，预设数量的帧的间隔为2帧，则该图片分解模块110分解出第1、3、5、7、9、11……等帧对应的图片。

该分阶段确认模块111，用于按照帧的时间顺序找出满足代表待测软件系统13准备加载的预设条件的第一图片。在本实施例中，该分阶段确认模块111按照帧的时间顺序对分解的各个图片逐张进行循环判断，在当前判断的图片满足代表待测软件系统13准备加载的预设条件时，结束当前的循环判断；在当前判断的图片不满足代表待测软件系统13准备加载的预设条件时，继续按照帧的时间顺序对下一个图片判断，重复执行当前步骤直至找出满足代表待测软件系统13准备加载的预设条件的第一图片。对本领域的技术人员来说，对图片中的特定图像元素（例如，特定区域、特定区域中的文字、符号及图片、图像的形状、颜色等）的识别的方式有多种，例如，采用OpenCV软件对图片的特定图像区域、图像区域中的空白区域进行识别，在此不做赘述。

所述代表待测软件系统13准备加载的预设条件是根据待测软件系统13准备加载时的加载指示界面特性参数设定的，例如，图4A所示，加载指示界面20代表一款特定待测软件系统13（例如，QQ软件系统、QQ浏览器系统）的开发定型的加载指示界面，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，其包含的加载状态指示区域201的面积为加载指示界面20总面积的百分之六十，在待测软件系统13加载准备时，即加载开始之前时，加载状态指示区域201全部为空白”，则代表待测软件系统13准备加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的空白区域面积大于图像区域总面积的百分之五十九（备注：也可设置为百分之五十八、百分之五十七、百分之五十九点八等）”。

该分阶段确认模块111，还用于按照帧的时间顺序找出第一图片之后，满足代表待测软件系统13开始加载的预设条件的第二图片。该分阶段确认模块111找出第二图片的过程与找出第一图片的过程类似，只是所依据的预设条件有所不同。

所述代表待测软件系统13开始加载的预设条件是根据待测软件系统13开始加载时的加载指示界面特性参数设定的，例如，图4B、图4C或者图4D所示，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，在待测软件系统13开始加载时，加载状态指示区域201出现文字（例如，图4B所示的“Loading”，图4C所示的“开始加载”）、图片（例如，图4D所示的“”）、或者符号”，则代表待测软件系统13开始加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的有特定的文字（例如，图4B所示的“Loading”，图4C所示的“开始加载”）、图片（例如，图4D所示的“”）、或者符号”。

该分阶段确认模块111，还用于按照帧的时间顺序找出第二图片之后，满足代表待测软件系统13完成加载的预设条件的第三图片。该分阶段确认模块111找出第三图片的过程与找出第一图片及第二图片的过程类似，只是所依据的预设条件有所不同。

所述代表待测软件系统13完成加载的预设条件是根据待测软件系统13完成加载时的加载指示界面特性参数设定的，例如，图4E所示，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，在待测软件系统13完成加载时，加载状态指示区域201中包含的空白区域202的面积为加载状态指示区域201总面积的百分之二十”，则代表待测软件系统13完成加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的空白区域面积小于特定区域（例如，加载状态指示区域201）总面积的百分之十九（备注：也可设置为百分之十八、百分之十七、百分之十九点八等）”。

该加载时间计算模块112，用于按照第一图片与第二图片对应帧的时间计算出待测软件系统13的加载准备时间，按照第二图片与第三图片对应帧的时间计算出待测软件系统13的加载过程时间。

如图3所示，为本发明软件系统加载过程图像识别方法较佳实施例的具体实施流程图。

需要强调的是：图3所示流程图仅为一个较佳实施例，本领域的技术人员当知，任何围绕本发明思想构建的实施例都不应脱离于如下技术方案涵盖的范围：

获取待测软件系统13加载过程的屏幕录像；对获取的屏幕录像按不同的帧分解成多个连续的图片；按照帧的时间顺序找出满足代表待测软件系统13开始加载的预设条件的第二图片；按照帧的时间顺序找出第二图片之后，满足代表待测软件系统13完成加载的预设条件的第三图片；按照第二图片与第三图片对应帧的时间计算出待测软件系统13的加载过程时间。

以下是结合本实施例逐步实现对待测软件系统13的加载过程的图像识别，并实现对待测软件系统13的加载时间的计算。

步骤S10，获取待测软件系统13加载过程的屏幕录像。

需要强调的是，待测软件系统13加载过程的屏幕录像可以是预先录制的，也可以是实时录制的。当待测软件系统13加载过程的屏幕录像是实时录制的情况下，运行该待测软件系统13的电子设备（例如，数据处理设备1）包括一个用于录制待测软件系统13加载过程的屏幕录像的影像录制单元（图中未示出），该图片分解模块110获取该影像录制单元实时录制的屏幕录像。当待测软件系统13加载过程的屏幕录像是预先录制的情况下，预先录制待测软件系统13加载过程的屏幕录像的电子设备包括上述影像录制单元，待测软件系统13加载过程的屏幕录像既可以在数据处理设备1中预先录制，也可以在其他任意适用的电子设备中预先录制，该图片分解模块110获取数据处理设备1中预先录制的，或者其他任意适用的电子设备中预先录制的屏幕录像。

步骤S11，对获取的屏幕录像按不同的帧分解成多个连续的图片。对本领域的技术人员来说，将特定屏幕录像按不同的帧分解成多个连续的图片的方式有多种，例如，采用FFmpeg软件将特定屏幕录像按不同的帧分解成多个连续的图片，在此不做赘述。

在本发明的一个实施例中，逐帧对获取的屏幕录像进行图片分解；在本发明的其他实施中，按照预设数量的帧的间隔对获取的屏幕录像进行图片分解，例如，预设数量的帧的间隔为2帧，则分解出第1、3、5、7、9、11……等帧对应的图片。

步骤S12，按照帧的时间顺序找出满足代表待测软件系统13准备加载的预设条件的第一图片。在本实施例中，按照帧的时间顺序对分解的各个图片逐张进行循环判断，在当前判断的图片满足代表待测软件系统13准备加载的预设条件时，结束当前的循环判断；在当前判断的图片不满足代表待测软件系统13准备加载的预设条件时，继续按照帧的时间顺序对下一个图片判断，重复执行当前步骤直至找出满足代表待测软件系统13准备加载的预设条件的第一图片。对本领域的技术人员来说，对图片中的特定图像元素（例如，特定区域、特定区域中的文字、符号及图片、图像的形状、颜色等）的识别的方式有多种，例如，采用OpenCV软件对图片的特定图像区域、图像区域中的空白区域进行识别，在此不做赘述。

所述代表待测软件系统13准备加载的预设条件是根据待测软件系统13准备加载时的加载指示界面特性参数设定的，例如，图4A所示，加载指示界面20代表一款特定待测软件系统13（例如，QQ软件系统、QQ浏览器系统）的开发定型的加载指示界面，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，其包含的加载状态指示区域201的面积为加载指示界面20总面积的百分之六十，在待测软件系统13加载准备时，即加载开始之前时，加载状态指示区域201全部为空白”，则代表待测软件系统13准备加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的空白区域面积大于图像区域总面积的百分之五十九（备注：也可设置为百分之五十八、百分之五十七、百分之五十九点八等）”。

步骤S13，按照帧的时间顺序找出第一图片之后，满足代表待测软件系统13开始加载的预设条件的第二图片。找出第二图片的过程与找出第一图片的过程类似，只是所依据的预设条件有所不同。

所述代表待测软件系统13开始加载的预设条件是根据待测软件系统13开始加载时的加载指示界面特性参数设定的，例如，图4B、图4C或者图4D所示，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，在待测软件系统13开始加载时，加载状态指示区域201出现文字（例如，图4B所示的“Loading”，图4C所示的“开始加载”）、图片（例如，图4D所示的“”）、或者符号”，则代表待测软件系统13开始加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的有特定的文字（例如，图4B所示的“Loading”，图4C所示的“开始加载”）、图片（例如，图4D所示的“”）、或者符号”。

步骤S15，按照帧的时间顺序找出第二图片之后，满足代表待测软件系统13完成加载的预设条件的第三图片。找出第三图片的过程与找出第一图片及第二图片的过程类似，只是所依据的预设条件有所不同。

所述代表待测软件系统13完成加载的预设条件是根据待测软件系统13完成加载时的加载指示界面特性参数设定的，例如，图4E所示，该加载指示界面20具有的特性参数为“加载指示界面20为长方形，在待测软件系统13完成加载时，加载状态指示区域201中包含的空白区域202的面积为加载状态指示区域201总面积的百分之二十”，则代表待测软件系统13完成加载的预设条件例如可以预设为“图片中包含特定图像区域（备注：包含的图像区域代表加载指示界面20），包含的图像区域中的空白区域面积小于特定区域（例如，加载状态指示区域201）总面积的百分之十九（备注：也可设置为百分之十八、百分之十七、百分之十九点八等）”。

步骤S16，按照第一图片与第二图片对应帧的时间计算出待测软件系统13的加载准备时间，按照第二图片与第三图片对应帧的时间计算出待测软件系统13的加载过程时间。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种软件系统加载过程图像识别方法，其特征在于，该方法包括步骤：

获取待测软件系统加载过程的预先录制的屏幕录像；

对获取的屏幕录像按不同的帧分解成多个连续的图片；其中，包括：按照预设数量的帧的间隔对获取的屏幕录像进行图片分解；

按照帧的时间顺序找出满足代表待测软件系统准备加载的预设条件的第N-1图片，找出满足代表待测软件系统开始加载的预设条件的第N图片；

按照帧的时间顺序找出第N图片之后，找出满足代表待测软件系统完成加载的预设条件的第N+1图片；

按照第N图片与第N+1图片对应帧的时间计算出待测软件系统的加载过程时间；

按照第N-1图片与第N图片对应帧的时间计算出待测软件系统的加载准备时间；

代表待测软件系统的各个加载状态的预设条件，是根据待测软件系统处于对应加载状态时的加载指示界面特性参数设定的，所述加载状态包括准备加载状态、开始加载状态及完成加载状态；

所述加载指示界面特性参数如下：

所述加载指示界面为长方形，包含的加载状态指示区域的面积为所述加载指示界面的总面积的百分之六十，在所述待测软件系统加载准备时，所述加载状态指示区域全部为空白。

2.如权利要求1所述的方法，其特征在于，所述第N-1图片、第N图片及第N+1图片是按照帧的时间顺序进行循环判断的方式找出的。

3.一种软件系统加载过程图像识别系统，其特征在于，该系统包括：

图片分解模块，用于获取待测软件系统加载过程的预先录制的屏幕录像，对获取的屏幕录像按不同的帧分解成多个连续的图片；其中，所述图片分解模块具体用于按照预设数量的帧的间隔对获取的屏幕录像进行图片分解；

分阶段确认模块，用于按照帧的时间顺序找出满足代表待测软件系统准备加载的预设条件的第N-1图片，找出满足代表待测软件系统开始加载的预设条件的第N图片，按照帧的时间顺序找出第N图片之后，找出满足代表待测软件系统完成加载的预设条件的第N+1图片；及

加载时间计算模块，用于按照第N图片与第N+1图片对应帧的时间计算出待测软件系统的加载过程时间，按照第N-1图片与第N图片对应帧的时间计算出待测软件系统的加载准备时间；

代表待测软件系统的各个加载状态的预设条件，是根据待测软件系统处于对应加载状态时的加载指示界面特性参数设定的，所述加载状态包括准备加载状态、开始加载状态及完成加载状态；

所述加载指示界面特性参数如下：

所述加载指示界面为长方形，包含的加载状态指示区域的面积为所述加载指示界面的总面积的百分之六十，在所述待测软件系统加载准备时，所述加载状态指示区域全部为空白。

4.如权利要求3所述的系统，其特征在于，所述第N-1图片、第N图片及第N+1图片是按照帧的时间顺序进行循环判断的方式找出的。