CN101521834A

CN101521834A - 一种自动化测试的方法、装置和系统

Info

Publication number: CN101521834A
Application number: CN200910133335A
Authority: CN
Inventors: 徐佳宏; 肖友能; 汪国樑
Original assignee: Shenzhen Zhuozhuang Network Technology Coltd
Current assignee: Shenzhen Zhuozhuang Network Technology Coltd
Priority date: 2009-04-02
Filing date: 2009-04-02
Publication date: 2009-09-02
Anticipated expiration: 2029-04-02
Also published as: HK1136919A1; CN101521834B

Abstract

本发明实施例公开了一种自动化测试的方法、装置和系统。其中自动化测试的方法实施例的实现可以为：数字电视终端软件解析预定义测试实例并输出图像，获取所述输出图像；将所述获取到的输出图像与预定义测试实例的预期图像进行对比；若所述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过。上述实施方式通过比较采集的输出图像与预期图像得到测试的结果，实现了自动测试，节省人的时间和精力；另外，由于采用预定的相似度范围作为是否通过测试的标准，消除了人的理解偏差，从而提高了测试的可靠性。

Description

一种自动化测试的方法、装置和系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种自动化测试的方法、装置和系统。

背景技术

数字电视软件可以用于解析数字电视收到的信息，然后输出收到的信息，这些输出的信息可以通过电视等输出设备以图像的形式显示出来。随着数字电视终端软件的发展，数字电视终端软件的测试工作量呈成倍增长的趋势。例如，一个新的电视终端软件分支准备出库，或一个电视终端软件分支的功能发生修改准备出库，对该终端软件分支测试需要遍历全部功能测试用例，而目前的测试工作均为人工完成。测试是否严格及充分，对终端软件的质量会产生很大的影响。

人工测试的过程可以分解为以下步骤：(1)阅读测试对象：观察测试画面内容的变化；(2)理解测试对象：根据长时间积累的检验知识对测试画面的文字和内容进行理解，得知测试对象的测试目的；(3)触发测试行为：将观察到的测试画面与记忆中期望的测试结果比较，判断是否测试通过；另外如果有需要，可以通过键盘、鼠标或遥控器等交互行为来控制测试过程或记录测试结果。

发明人在实现本发明的过程中发现：采用人工测试耗时耗力；另外，由于测试是连续的，人工测试时，需要人持续关注测试进行的每个画面和结果，如果人的视线离开测试画面，测试信息的统计就会有不完整的可能，而且人工测试的结果会因为对测试目的理解的差异而产生偏差，造成测试结果的不确定性，进而影响测试的可靠性。

发明内容

本发明实施例要解决的技术问题是提供一种自动化测试的方法、装置和系统，实现数字电视终端软件的自动化测试。

为解决上述技术问题，本发明所提供的自动化测试的方法实施例可以通过以下技术方案实现：

数字电视终端软件解析预定义测试实例并输出图像，获取所述输出图像；

将所述获取到的输出图像与预定义测试实例的预期图像进行对比；

若所述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过。

可选地，所述获取输出图像为：

获取预定义测试实例中通过区域坐标标示区域的输出图像；

则所述预期图像为：预定义测试实例中通过区域坐标标示区域的预期图像。

可选地，所述数字电视终端软件解析预定义测试实例然后输出图像包括：

数字电视终端软件连续解析至少两个不同的预定义测试实例，并连续输出图像；

所述将输出图像与预定义测试实例的预期图像进行对比包括：

将所述获取到的输出图像与所述输出图像对应的预期图像进行对比。

可选地，所述获取输出图像包括：

通过图像镜头分割方式获取需要的输出图像。

可选地，所述至少两个不同的预定义测试实例中具有一个解析后显示为开始标识图像，一个解析后显示为结束标识图像；

所述将输出图像与预定义测试实例的预期图像进行对比还包括：

若对比显示为开始标识图像，则确定一轮测试的开始；若对比显示为结束标识图像，则确定一轮测试的结束。

进一步地，所述解析预定义测试实例并输出图像之后还包括：显示所述输出图像；

所述获取输出图像之前还包括：

通过显示设备显示的标尺界面图像确定所述输出图像在显示设备显示的位置；

所述获取输出图像包括：获取所述显示位置的图像作为输出图像。

可选地，所述获取显示位置的图像包括：

通过光学字符识别的方式获取所述输出图像中的字符。

可选地，所述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

通过索贝尔算子对输出图像进行运算，得到输出图像轮廓；将所述输出图像轮廓与预定义测试实例的预期图像轮廓进行对比；

所述获取到的输出图像与预期图像相似度在设定的范围内包括：

所述获取到的输出图像轮廓与预期图像轮廓的相似度在设定的范围内；或

所述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

对获取到的输出图像像素进行平均分布扫描，统计符合预定义色彩的像素值比例；所述像素值通过色彩模型表示；

获取到的输出图像的预期色彩像素值比例在设定的范围内；或

所述输出图像为测试结果字符图像；

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

本发明实施例还提供了一种自动化测试装置，包括：

解析单元，用于通过数字电视终端软件解析预定义测试实例并输出图像；

输出图像获取单元，用于获取所述输出图像；

对比单元，用于将所述获取到的输出图像与预定义测试实例的预期图像进行对比；

结果确定单元，用于若所述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过。

可选地，所述获取输出图像为：

获取预定义测试实例中通过区域坐标标示区域的输出图像；

可选地，所述对比单元包括：

运算单元，用于通过索贝尔算子对输出图像进行运算，得到输出图像轮廓；

第一对比子单元，用于将所述输出图像轮廓与预定义测试实例的预期图像轮廓进行对比；

则所述获取到的输出图像与预期图像相似度在设定的范围内包括：

所述对比单元包括：

第二对比子单元，用于对获取到的输出图像像素进行平均分布扫描，统计符合预定义色彩的像素值比例；所述像素值通过色彩模型表示；

所述输出图像为测试结果字符图像；

所述对比单元包括：第三对比子单元，用于将获取到输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

本发明实施例还提供了一种自动化测试的系统，包括：

采集服务器，用于获取输出图像；所述输出图像通过数字电视终端软件解析预定义测试实例得到；将所述输出图像发送给测试处理服务器；

测试处理服务器，用于将所述获取到的输出图像与预定义测试实例的预期图像进行对比，得到测试结果；若所述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过；将测试结果发送给数据库服务器；

数据库服务器，用于接收并保存所述测试结果；

前台客户端，用于获取数据库服务器保存的所述测试结果。

所述输出图像为测试结果字符图像；

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

上述技术方案具有如下有益效果：通过比较采集的输出图像与预期图像得到测试的结果，实现了自动测试，节省人的时间和精力；另外，由于采用预定的相似度范围作为是否通过测试的标准，消除了人的理解偏差，从而提高了测试的可靠性。

附图说明

图1为本发明实施例一方法流程意图；

图2为本发明实施例二装置结构示意图；

图3为本发明实施例二另一装置结构示意图；

图4为本发明实施例三系统结构示意图；

图5为本发明实施例四系统结构示意图。

具体实施方式

实施例一，如图1所示，本发明实施例提供的一种自动化测试的方法，可以包括以下步骤：

步骤101：数字电视终端软件解析预定义测试实例并输出图像；

步骤102：获取上述输出图像；

步骤103：将上述获取到的输出图像与预定义测试实例的预期图像进行对比；判断上述获取到的输出图像与预期图像相似度是否在设定的范围内，若是，则进入步骤104，若否，则进入步骤105；

步骤104：测试结果为通过；

步骤105：测试结果为未通过。

上述步骤的执行主体可以为一个测试服务器，当然也可以由多个测试装置通过可通信方式连接共同实现上述步骤；通过比较采集的输出图像与预期图像得到测试的结果，实现了自动测试，节省人的时间和精力；另外，由于采用预定的相似度范围作为是否通过测试的标准，消除了人的理解偏差，从而提高了测试的可靠性。

上述步骤101和步骤102的执行主体可以为实体测试设备，也可以为虚拟测试设备，不影响本发明实施例的实现。在步骤104和步骤105之后还可以保存测试的结果参数，例如：是否通过，若未通过还可以保存输出图像的详细参数。

可选地，上述获取输出图像为：获取预定义测试实例中通过区域坐标标示区域的输出图像；

则上述预期图像为：预定义测试实例中通过区域坐标标示区域的预期图像。

上述实施方式，可以将输出图像的比较范围缩小到一个确定的范围从而降低图像比较的复杂度，同时也能提高图像比较的针对性。

可选地，上述数字电视终端软件解析预定义测试实例然后输出图像包括：

上述将输出图像与预定义测试实例的预期图像进行对比包括：

将上述获取到的输出图像与上述输出图像对应的预期图像进行对比。

上述实施方式，提供了连续测试多个预定义测试实例的方法，上述多个预定义测试实例可以由不同的测试目的来确定；通过连续的测试实例可以一次测试出需要测试的多种实例的测试结果。

可选地，上述获取输出图像包括：通过图像镜头分割方式获取需要的输出图像。

上述实施方式，给出了在数字电视终端软件连续输出图像的时候，获取输出图像的方式；在后续实施例中将对此作更详细的说明。

可选地，上述至少两个不同的预定义测试实例中具有一个解析后显示为开始标识图像，一个解析后显示为结束标识图像；

上述将输出图像与预定义测试实例的预期图像进行对比还包括：

上述实施方式，给出了自动测试的一种形式，通过测试实例显示开始/结束的标志来确定一轮测试的开始或结束。

可选地，上述解析预定义测试实例并输出图像之后还包括：将上述显示上述输出图像；

上述获取输出图像之前还包括：

通过显示设备显示的标尺界面图像确定上述输出图像在显示设备显示的位置；

上述获取输出图像包括：获取上述显示位置的图像作为输出图像。

由于在图像输出的时候可能出现图像在显示设备上位置的不确定性，上述方法给出了通过标尺界面来确定输出图像在显示设备上的显示位置的方法，使本发明实施例的方法具有好的通用性。

可选地，上述获取显示位置的图像包括：

通过光学字符识别的方式获取上述输出图像中的字符。

上述实施方式，给出了图像获取的一种方式，可以理解的是，采用其它的方式来获取上述显示位置的图像的方法也是可以的，对此本发明实施例不作限定。

可选地，上述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

通过索贝尔算子对输出图像进行运算，得到输出图像轮廓；将上述输出图像轮廓与预定义测试实例的预期图像轮廓进行对比；

上述获取到的输出图像与预期图像相似度在设定的范围内包括：

上述获取到的输出图像轮廓与预期图像轮廓的相似度在设定的范围内；

上述实施方式是基于图像轮廓的测试方法，可以避免颜色差异、光线强弱、像素格式、对测试结果造成的影响；在比较关心输出图像的轮廓的时候可以采用基于图像轮廓的测试方法。

或，上述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

获取到的输出图像的预期色彩像素值比例在设定的范围内；

上述实施方式是基于图像颜色的测试方法，可以更明确地测试输出图像的色彩与预定的输出图像色彩的相似度，对于比较关心输出图像的色彩的时候可以采用基于图像颜色的测试方法。

或，上述输出图像为测试结果字符图像；

上述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

上述实施方式为基于脚本的测试方法，数字电视终端软件在解析预定义的测试实例后可以给出解析上述预定义的测试实例的测试结果，上述测试的结果可以是通过预定的结果字符图像来表示；上述基于脚本的测试方法，在图像对比的时候可以直接将获取到的输出图像与预定义的结果图像进行对比就可以得到测试结果，能够使测试结果的获取难度降低。

实施例二，如图2所示，本发明实施例还提供了一种自动化测试装置，包括：

解析单元201，用于通过数字电视终端软件解析预定义测试实例并输出图像；

输出图像获取单元202，用于获取上述输出图像；

对比单元203，用于将上述获取到的输出图像与预定义测试实例的预期图像进行对比；

结果确定单元204，用于若上述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过。

上述实施方式，通过比较采集的输出图像与预期图像得到测试的结果，实现了自动测试，节省人的时间和精力；另外，由于采用预定的相似度范围作为是否通过测试的标准，消除了人的理解偏差，从而提高了测试的可靠性。

可选地，上述获取输出图像为：

获取预定义测试实例中通过区域坐标标示区域的输出图像；

可选地，如图3所示，上述对比单元包括：

运算单元301，用于通过索贝尔算子对输出图像进行运算，得到输出图像轮廓；

第一对比子单元302，用于将上述输出图像轮廓与预定义测试实例的预期图像轮廓进行对比；

则上述获取到的输出图像与预期图像相似度在设定的范围内包括：

上述实施方式是基于图像轮廓的测试方式，可以避免颜色差异、光线强弱、像素格式、对测试结果造成的影响；在比较关心输出图像的轮廓的时候可以采用基于图像轮廓的测试方式。

或，上述对比单元包括：

第二对比子单元303，用于对获取到的输出图像像素进行平均分布扫描，统计符合预定义色彩的像素值比例；

获取到的输出图像的预期色彩像素值比例在设定的范围内；

上述实施方式是基于图像颜色的测试方式，可以更明确地测试输出图像的色彩与预定的输出图像色彩的相似度，对于比较关心输出图像的色彩的时候可以采用基于图像颜色的测试方式。

或，上述输出图像为测试结果字符图像；

上述对比单元包括：

第三对比子单元304，用于将获取到输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

上述实施方式为基于脚本的测试方式，数字电视终端软件在解析预定义的测试实例后可以给出解析上述预定义的测试实例的测试结果，上述测试的结果可以是通过预定的结果字符图像来表示；上述基于脚本的测试方式，在图像对比的时候可以直接将获取到的输出图像与预定义的结果图像进行对比就可以得到测试结果，能够使测试结果的获取难度降低。

实施例三，如图4所示，本发明实施例还提供了一种自动化测试的系统，包括：

采集服务器401，用于获取输出图像；上述输出图像通过数字电视终端软件解析预定义测试实例得到；将上述输出图像发送给测试处理服务器；

测试处理服务器402，用于将上述获取到的输出图像与预定义测试实例的预期图像进行对比，得到测试结果；若上述获取到的输出图像与预期图像相似度在设定的范围内，则测试结果为通过，否，则测试结果为未通过；将测试结果发送给数据库服务器；

数据库服务器403，用于接收并保存上述测试结果；

前台客户端404，用于获取数据库服务器保存的上述测试结果。

获取到的输出图像的预期色彩像素值比例在设定的范围内。

或，上述输出图像为测试结果字符图像；

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

实施例四，本发明实施例还给出了上述实施例一到实施例三的思想的更详细的实施方式。

在本实施例中，实例(CASE)为测试用例(也可称为测试实例)，在本发明实施例中的测试用例可以以CASE图片的方式表现出来，故文中提到CASE图片可以认为是一个CASE。解析测试用例的设备，可以为硬件数字电视终端，例如：机顶盒；也可以为模拟数字电视终端，例如：模拟器。被测试的设备：可以为数字电视终端软件，而数字电视终端软件可以嵌入在一个运行环境中，上述环境可以是硬件数字电视终端，也可以是模拟数字电视终端，故被测设备可以理解为：实体设备也可以为模拟设备。

可以将本发明实施例一中步骤101和102理解为测试用例的准确识别，包括两种情况；

(1)静态CASE编号识别(可以理解为单个测试用例的识别)：

所谓静态CASE编号识别，是对一个固定的CASE图片提取该CASE编号的方法，每一个有效的CASE图片都必须有一个编号，识别实现如下：

步骤1：读取CASE图片编号区域的坐标位置，上述编号区域可以是用户输入的固定位置；

步骤2：根据该坐标位置截取CASE图片编号区域子图片；

步骤3：利用光学字符识别(Optical Character Recognition，OCR)技术对该编号子图片进行字符识别；

步骤4：对获得的字符识别结果进行分析校验，判断是否符合编码规则；

通过以上几个步骤就完成对一个静态的CASE图片进行准确识别。

(2)动态连续下发CASE鉴别(可用理解为多个测试用例的识别)：

在测试环境中，每个CASE可以间隔固定时间连续动态地通过终端软件自动下发、接收并进行测试；动态连续下发CASE鉴别可以理解为对每个CASE的到达准确接收采样，然后对采样到的CASE用上述(1)中的“静态CASE编号识别”方法进行识别的动态过程，实现方式可以为：

步骤1：每隔2秒钟采样一次接收到的CASE图片；上述采样的周期设置为其它时间例如1秒等都是可以的，对此本发明实施例不作限定；

步骤2：利用图像处理技术比较本次采样到的CASE图片与上次采样到的图片进行图像轮廓比较，而且只需要比较前后两个CASE图片的编号区域的轮廓：

如果比较结果不同(如果本次是第一次采样，上次采样图片缓存为空，比较结果肯定不同，否则说明前后CASE编号不同)，记录新CASE图片到来标志，并记录当前时间为新CASE图片到来的时间；

如果比较结果相同，判断当前时间与上次新CASE图片到来的时间之差是否超过CASE编号呈现不变时间，该“CASE编号呈现不变时间”是由“CASE间隔跳转时间”计算得到。如果超过，可以确定当前CASE图片为有效的CASE图片，于是可以通过“静态CASE编号识别”方法对其识别，进入测试处理流程；否则重复执行上述步骤1和步骤2。

举例说明：假设CASE页面跳转时间(I)为8秒，而一个CASE页面从开始跳转进入到整个CASE页面最终呈现完全可能需要1～6秒的时间(S)，当检测到新CASE页面到来，不能立即抓图作为CASE图片，因为此时的CASE图片很有可能不完整。由于检测采样是间隔2秒(W)进行一次的，从检测到新CASE页面到来至该页面最终完整呈现这段时间(T)里，CASE编号一直是不变的(可以理解为：从检测到新的CASE到来开始，需等上一段时间T，这段时间被称为CASE编号呈现不变时间，才可以抓图作为有效的CASE图片)，经验总结大致为：T＝(I-W)×0.6；

可以将本发明实施例一中步骤103理解为测试用例的比较，测试比较的方式可以分为3种类型：基于轮廓测试、基于颜色测试以及基于脚本测试，它们的测试流程大致相同：

步骤1：读取该CASE测试属性的标注区域；

步骤2：遍历该CASE测试属性的标注区域：

如果该标注区域是要求基于轮廓测试：

则，首先截取该CASE测试图片的标注区域子图片；然后，读取该CASE对应编号的标准图片，截取CASE标准图片的标注区域子图片；最后，利用图片处理技术比较该CASE测试图片的标注区域子图片与该CASE标准图片的标注区域子图片，如果比较结果超过设定的期望通过门限，判定该CASE测试通过，否则不通过；

如果该标注区域是要求基于颜色测试：

则首先截取该CASE测试图片的标注区域子图片；然后，扫描该CASE测试图片的标注区域子图片的每一个像素，判断每一个像素的颜色值是否符合期望值；最后统计符合期望颜色值的像素点所占的比例，如果比例结果超过设定的期望通过门限，判定该CASE测试通过，否则不通过；

如果该标注区域是要求基于脚本测试：

则，首先截取该CASE测试图片的固定的脚本结果显示区域子图片；然后，通过光学字符识别(OCR)技术识别该子图片的结果字符串，如果该结果字符串为“PASS”，判定该CASE测试通过，否则不通过；

步骤3：保存测试结果。

更具体地，上述实施方式的实现过程可以分为6个部分：

(1)制作测试用例；

自动测试的每一个CASE它的呈现来源都可以为一个或多个网页：

自动测试过程中把每一个CASE当成一张图片来处理，把测试从观查终端软件解析呈现方式转化为对该呈现画面图片的图像处理方式，这样每张图片就是一个独立的CASE。在这里，这张CASE图片被称为标准图片，为方便唯一区分每一个CASE，在每个CASE的左下方通过超文本链接标示语言(Hypertext Markup Language，HTML)脚本嵌入一个六位数字编码加以识别，例如“010101”；

自动测试CASE制作主要有两个方面：一个方面是自动测试CASE标准图片选择，在被用来作为测试用例标准图片之前，可以依靠人的经验验证并确认呈现正确后，存储为测试用例标准图片。以编号为“010101”的CASE为例，该测试用例的测试对象是“在源码中插入注释，浏览器中不可见”，预期现象是“如果下面只有一行代码而不是两行，则测试通过”，经过人的肉眼观测，确实符合预期现象，则可以将该图片作为CASE标准图片存储在固定的地方供自动测试比较。另一方面请参阅下面第(2)部分：

(2)标注测试用例；

每一个测试用例都可以有特定的测试属性和测试目的，这些测试属性和测试目的都可以以文字或图案的方式表现在CASE图片中，对于人工测试来说，通过人的直接阅读，可以很快理解CASE的测试属性和测试目的，并得出测试结果。但是怎样让计算机也能理解CASE的测试属性和测试目的？计算机的阅读理解方式与人的阅读理解方式完全不同，鉴于计算机的程序性输入输出方式，可以在制作测试用例的同时输入计算机需要阅读的测试属性和测试目的，由于基于图像处理，输入直接的测试属性和测试目的的含义可以间接地将转化后，将测试的含义和目的输入到自动测试系统中，这里可以通过对CASE图片所关注的测试属性或测试目的的区域进行坐标标注，并将标注坐标参数化存储在数据库中供自动测试比较；

(3)测试用例下发；

前面的两个步骤准备好了测试用例之后，就可以开始进入测试准备了，如前所述，每一个CASE图片都存在相对应的播发源(网页)，为保证测试是连续的，需要将所有CASE网页统一存放，然后终端软件通过导航功能经超文本传输协议(Hypertext Transfer Protocol，HTTP)/网际协议(Internet Protocol，IP)访问这些已制作好的CASE网页，按顺序或随机解析播发，每一个CASE网页解析播发间隔相同的时长，这些都可以通过设置导航参数进行改变，进入每一个测试分类，首先进入自动跳转设置页面，在下发CASE页面之前，可以预先串连好每一个CASE页面的上一个和下一个跳转链接，只要进入任意一个CASE页面，自动跳转通过嵌入CASE页面自动跳转事件触发从该CASE页面的下一个跳转开始，可以不再靠人工操作遥控器进行翻转；除了通过HTTP/IP网络下发CASE的方式之外，还可以通过对象轮播产生器(ObjectCarousel Generator，OCG)将CASE页面当成一个完整的对象轮播(ObjectCarousel，OC)应用播发下去，数字电视终端通过接收光纤同轴混合(HybridFiber-Coax，HFC)网络中的有线电视(Community Antenna Television，CATV)信号也可以同样达到目的。

为准确检测到测试开始，测试用例下发之前，设置下发页面之后，可以下发一个标识测试开始的标志图片，测试用例接收时，可以检测到测试实际是否开始：

检测开始标志，是通过OCR技术读取图像设定区域，当识别结果为“开始(START)”时认为开始标志已经检测到。测试用例下发，经H.264编码器接收之后可能会变成如下情形：上，左，右三个方向出现了多余的黑色边框，原因是H.264的输出分辨率(704×576)与数字电视终端软件的输出分辨率(640×526)不同，造成有不重合的区域，对于不同的终端输出，这个不重合的边框大小不是确定的，这样会造成前面制作CASE时所标注的关注区域的定位会有误差，因为实际的标注区域参数参考值是按照没有边框影响的前提下标注的，为了消除这个不确定的边框带来的误差影响，自动测试系统通过引入“标尺”的计算方法进行处理，具体实现如下：

虽然上，左，右都存在黑色边框，但是只要得到上边和左边的黑色边框的准确位置就可以准确定位标注区域的位置。由于黑色边框与终端输出有效图像之间存在明显的分界线，找到这个分界线就能准确知道边框大小，我们开发了特定的标尺检测算法来测试这些黑色边框的位置，从而消除了机顶盒输出图像尺寸和采集卡输出图像尺寸不匹配对自动测试造成的影响。

(4)测试用例接收；

CASE页面经过数字电视终端软件解析之后输出的都是统一的数字电视视频信号，以往手动测试都是将该输出直接输入到电视机，然后通过人的肉眼进行观测。由于自动测试系统是基于图像处理，需要将数字视频信号采样成图像进行处理，这里采用H.264编码器直接接收数字电视终端的输出，然后对H.264编码器输出采样关键帧图。

经过H.264编码器输出的视频帧率可以为25帧/秒，意味这每秒钟有25张图像连续输出，自动测试系统可以不用拿所有的图片进行处理，因为连续多帧图像可能是同一个画面内容，一个CASE页面解析下发输出之后，需要间隔一定时间之后自动跳转到下一个CASE页面，在这个时间段里，编码器输出的每一帧几乎是相同的画面内容，这么多相同的画面内容，从中挑选完整的(CASE页面所有元素被完全解析呈现)、有代表性的一帧图像拿来被处理就可以达到测试效率的最优化，这里把完整的、代表性的一帧图像叫做关键帧，计算机怎么才能识别出关键帧，这里我们使用图像镜头分割的技术来完成这个步骤：

假定两个相邻的CASE跳转间隔时间为8秒，上一个CASE解析之后经H.264编码器最终输出为：“010101”；下一个CASE解析之后经H.264编码器最终输出为：“010201”；而实际这两个CASE图像经过H.264编码输出的序列是“010101”被显示了n次，然后显示“010102”；

假定第0帧为CASE“010101”的第1帧，第n帧为CASE“010101”的最后一帧，到了第n+1帧开始为CASE“010201”，依此类推再经过n帧之后又会出现下一个CASE图像，假定H.264编码器的输出帧率是25帧/秒，CASE页面下发时间间隔为8秒，那么n应该约等于25×8，这个数字不是一个精确的数字，实际下发过程中，时间间隔不一定严格准确，而且终端软件的解析也不一定每次都能准确精确时间，所以无法准确地让计算机知道上一帧图像与下一帧图像发生了变化，但是由于连续多帧图像可能是通一个图片内容，这样可以准确的让计算机知道前一秒与前一秒的图像发生了变化，或者前两秒与后两秒的图像发生了变化，可以通过间隔图像采用，然后比较图像比较的方式来检测图像是否发生了变化，具体的采样检测流程如下：

每间隔2秒，采样一次，然后比较本次采样的图像与上次采样的图像的相似度，如果相似度低于一定的门限，就认为本次采样的图像与上次采样的图像内容是不同的，即一个新的CASE图片到达，然而此时的新CASE图片还不一定是完整的，因为一个CASE页面经过终端软件解析到呈现完整是有一定时间延时的，所以当检测到新的CASE图片到达之后，还需要等待一定延时时间，可以保证测试的CASE图片是完整的，具体的延时时间确定如：(CASE页面下发时间间隔(默认8秒)-2)×0.6；

比较两个图像是否相似可以采用比较两幅图像的灰度图像索贝尔(SOBEL)算子图像是否相似，以上述两个CASE图片为例，计算其灰度图像的SOBEL算子图像；然后逐个像素从左到右，从上到下扫描比较两幅SOBEL算子图像，得出相似度为61.62％，设定80.00％为两个图像基本相似门限，所以检测出这两幅图像内容不相同，为了提高更加检测效率和检测的准确度，可以将比较区域缩小范围到编号区域，由于每个有效CASE都会嵌入一个六位编码，相邻两个CASE的六位编码肯定是不同的，而且嵌入的位置是固定的；虽然相邻的两个CASE的六位编码肯定不同，但是一般只会有一个数字不同，为了减少相同部分比例太多导致检测准确度不高，可以进一步所小比较区域，直接拿编码的后三位区域进行检测比较：综上所述，自动测试系统可以很精确的采样检测接收到的完整的、有代表性的CASE。

(5)测试用例处理；

测试用例处理也就是图片处理，测试处理的过程大致可以分为四个过程：

识别测试CASE图片：将图像六位数字编码怎么能被系统唯一识别，这里采用光学字符识别(OCR)技术将图像上的文字转换为字符，不管是数据库存储还是程序识别都以此六位数字编码的字符串为索引，这样可以让自动测试系统知道正在测试处理的是哪个CASE。

读取测试CASE标准图片：根据CASE编号在固定存储已制作好CASE标准图片的网络位置读取该CASE的标准图片，目的是为了让测试图片与标准图片进行比较；

读取测试CASE关注测试区域：根据CASE编号在CASE数据库中读取该CASE的测试标注区域参数信息，目的是让测试处理有针对性比较测试；

遍历测试CASE关注测试区域开始测试处理：同一个CASE可以有多个标注区域供测试，每一个标注区域可以是不同关注测试类型，它们各自单独测试；测试处理分为三种类型测试：

A：基于图形轮廓测试；

有时对于要求测试的属性，很难用文字能够描述，但是呈现比较固定，比如：CASE的测试属性是框内部分，当框内部分出现一个圆点和五角星的时候，测试通过，对于自动测试系统它怎么检测什么才叫一个圆点和五角星，多大的圆点和多大的五角星才算符合，圆点与五角星位置怎样摆放才算通过？这就需要用到前面制作CASE时的标准图片：

标准图片可以经过人工事先挑选准备好，只要实际测试CASE接收到图片与标准图片一模一样，或非常相似，就算通过。这里利用边缘检测技术，得到测试图片的轮廓信息与标准图片的轮廓信息，首先通过对这两个图片测试属性的关注区域灰度图像的SOBEL算子处理得到实际测试属性轮廓信息。然后比较标准测试属性轮廓信息和实际测试属性轮廓信息，比较方式可以为逐个像素从左到右，从上到下扫描比较得出它们的相似比例，例如相似比例为86.15％，设定通过门限为80％，所以此用例测试通过，否则不通过。

基于轮廓测试的优点是：避免了颜色差异造成的影响；避免了光线强弱造成的影响；避免了像素格式造成的影响。

B：基于图像颜色测试；

有时对于要求测试的属性是颜色敏感的，比如：CASE的测试属性分别为两个红线框内部分，如果I和点的颜色为红色，则测试通过，对于自动测试系统怎样识别测试属性的颜色，颜色随光线强弱、终端设备显示、H.264编码采集等原因会出现不同程度的变化。以上面的CASE为例，其CASE下发源页面中对于该测试属性I和点颜色都是采用三原色(Red Green Blue，RGB)描述成(255，0，0)，而实际接收采集后点和I的RGB颜色值可能变成：(48，49，31)和(147，4，22)，颜色的灰暗强弱都发生了变化，而且一种颜色的名称是人自然语言上的视觉效果定义，同一个名称定义的颜色表现在视觉效果上有强有弱，比如“红色”可以有很多例如：RGB值分别为(255，0，0)，(255，132，132)，(174，0，0)，(255，0，255)，(179，64，124)都被认为是红色，而RGB值各不相同，而且无规律，所以不能以比较RGB是否相同，或比较RGB在一定范围来达到检测颜色的目的，鉴于颜色可能产生的变化差异比较大反映在RGB色值空间无法比较，自动测试系统将对颜色的判断由RGB色值空间变换到色彩模型[Hue(色度)，Saturation(饱和度)，Value(纯度)，HSV]空间，鉴于颜色在下发和接收的时候根据具体的环境会发生变化，自动测试系统建议采用比较明确的且种类比较少而集中的几种颜色作为测试属性的颜色，可以将HSV空间上的色谱划分成人自然语言上的各种颜色。HSV空间的颜色判断比较确定，而且自动测试系统采用的颜色测试种类比较少，制作测试CASE标注颜色区域时可输入符号化的颜色值，实际测试比较的时候可以将符号化的颜色值与HSV颜色值对应起来，这样就可以解决颜色识别的问题。

基于颜色测试属性的区域标注不同于基于轮廓测试属性的区域标注，轮廓测试可以将整个标注的区域看作一个整体进行比较测试，而颜色不一样，一方面不可能要求标注的区域内全部是要测试颜色的覆盖范围，另一方面是存在要求测试的颜色可能跟其他颜色块相邻很近，对此，颜色测试的时候不能要求标注区域内的全部像素点都是期望的颜色值，不过可以在标注区域内平均抽样100个像素点，然后得到这100个像素点的颜色值，最后统计这100个像素点中有多少个像素点符合期望的颜色值，设定一个通过的门限值5，也就是，当标注区域内存在大于等于5％的像素点符合期望颜色值，该测试属性就算测试通过，同理还可以应用于颜色排除的测试，即“反色”测试，在标注区域内只要不出现期望的颜色，测试属性的测试通过，门限正好相反，当存在大于等于5％的像素点符合期望颜色值时，测试属性的测试不通过；

C：基于脚本测试；

有时对于可以直接使用HTML脚本语言检测页面解析是否成功的CASE，可以结合HTML脚本以及图像处理来达到测试目的，比如：CASE的测试属性是测试文本框的赋值功能，只要检测到标题(title)定义值为“测试通过”，这个测试就算通过，检测title定义值完全可以交由HTML脚本去执行，为让自动测试系统很快识别HTML脚本功能是否通过，可以由脚本执行之后在页面固定的位置嵌入固定的识别字符，这样可以满足自动测试系统一贯的字符识别方式，这里采用在编号区域右边固定的位置输出“通过(PASS)”，如果脚本执行不成功，输出“失败(FAIL)”，具体的脚本页面执行示例如下：

...

<p>测试的属性：br标签中title属性</p>

<p>测试的功能：设置或获取对象的咨询信息</p>

<p>测试的现象：title在这里只是起一个说明的作用，没有实现任何功能，只要能获取其定义值＂测试通过＂则说明测试通过</p>

...

title＝<input type＝＂text1＂id＝＂text1＂><br><br>

...

var testvalue＝document.getElementById(＂text1＂).value；

if(testvalue＝＝′测试通过′)

{

document.getElementById(′cresult′).innerHTML＝′PASS′；

}

else

{

document.getElementById(′cresult′).innerHTML＝′FAIL′；

}

</SCRIPT>

..

自动测试系统通过OCR识别预定的输出测试结果的区域，如果识别为“PASS”就算通过，否则不管输出是“FAIL”，或者没有输出都认为不通过。

(6)保存测试结果；

如果测试通过，可以只保存测试用例编号、测试类型、测试时间，如果测试不通过，还可以保存不通过的标注区域、具体结果值、以及当时测试不通过时的CASE图像现场。保存结果后可以方便测试人员事后进行查看。

整个自动化测试系统可以包括六个系统组成部分，拓扑结构示意图请参考图5：

视频采集服务器501、模拟采集服务器502、测试处理服务器503、数据库服务器504、中心平台服务器505、前台配置终端506；

其中，视频采集服务器501负责对数字电视终端信号的采集，并镜头分割处理之后将新的有效CASE图片通过网络传递给测试处理服务器503；

模拟采集服务器502负责对数字电视模拟终端输出的采集，并镜头分割处理之后将新的有效CASE图片通过网络传递给测试处理服务器503；

视频采集服务器501、模拟采集服务器502执行上述自动测试过程(4)“实现测试用例的接收”；可以理解的是视频采集服务器501和模拟采集服务器502可以都存在，也可以只存在一种；

测试处理服务器503收到来自视频采集服务器501或模拟采集服务器502的CASE后对上述CASE进行测试，并将最终测试结果通过网络保存在数据库服务器504上。测试处理服务器503执行上述自动测试过程(5)“测试用例处理”。

中心平台服务器505负责管理多个视频采集服务器501和模拟采集服务器502与多个测试处理服务器503之间的对应关系，它保证任何一个采集服务器加入测试系统能有效获得处理服务器资源，同时也保证任何一个测试处理服务器503加入测试系统能有效分配资源给各个视频采集服务器501、模拟采集服务器502，当然中心平台服务器505可以用于保证加入测试系统的所有部署服务能有效沟通；

前台配置终端506负责整个自动测试系统的测试用例管理，信息管理，测试管理以及测试结果查看管理；

上述“信息管理”包括基本信息管理，比如：测试用例分类信息、测试设备信息(即被测终端设备的分类描述信息)、测试项目信息(即测试用例的数据库信息)、测试通道信息(即被测终端的采集连接信息)以及用户信息、服务器管理信息的维护；“测试管理”包括测试的各种操作，比如：启动测试、停止测试、画面查看、测试结果查看等；前台配置终端506用于提供用户对测试系统的信息配置、测试的各种操作入口以及测试结果查看的窗口，不参与测试的处理过程。

上述系统还包括：因特网507、电视网络508，网口与串口转换器509，路由器510，H.264采集卡511；

其中因特网507为视频采集服务器501、模拟采集服务器502、测试处理服务器503、数据库服务器504、中心平台服务器505、的数据交互通道，视频采集服务器501采集的CASE，可以通过H.264采集卡511解析后经路由器510传送至测试处理服务器503，还可以通过网口与串口转换器509与测试平台服务器建立连接；电视网络508可以提供H.264采集卡、模拟采集服务器502的数据交互。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上对本发明实施例所提供的一种自动化测试的方法、装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1、一种自动化测试的方法，其特征在于，包括：

2、根据权利要求1所述方法，其特征在于，所述获取输出图像为：

获取预定义测试实例中通过区域坐标标示区域的输出图像；

3、根据权利要求1所述方法，其特征在于，所述数字电视终端软件解析预定义测试实例然后输出图像包括：

4、根据权利要求3所述方法，其特征在于，所述获取输出图像包括：

通过图像镜头分割方式获取需要的输出图像。

5、根据权利要求3所述方法，其特征在于，所述至少两个不同的预定义测试实例中具有一个解析后显示为开始标识图像，一个解析后显示为结束标识图像；

6、根据权利要求1所述方法，其特征在于，所述解析预定义测试实例并输出图像之后还包括：显示所述输出图像；

所述获取输出图像之前还包括：

7、根据权利要求6所述方法，其特征在于，所述获取显示位置的图像包括：

通过光学字符识别的方式获取所述输出图像中的字符。

8、根据权利要求1所述方法，其特征在于，所述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

所述输出图像为测试结果字符图像；

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。

9、一种自动化测试装置，其特征在于，包括：

输出图像获取单元，用于获取所述输出图像；

10、根据权利要求9所述装置，其特征在于，所述获取输出图像为：

获取预定义测试实例中通过区域坐标标示区域的输出图像；

11、根据权利要求9所述装置，其特征在于，所述数字电视终端软件解析预定义测试实例然后输出图像包括：

12、根据权利要求9所述装置，其特征在于，所述对比单元包括：

所述对比单元包括：

所述输出图像为测试结果字符图像；

获取到的输出图像中的字符为表示通过的字符。

13、一种自动化测试的系统，其特征在于，包括：

数据库服务器，用于接收并保存所述测试结果；

前台客户端，用于获取数据库服务器保存的所述测试结果。

14、根据权利要求13所述系统，其特征在于，所述数字电视终端软件解析预定义测试实例然后输出图像包括：

15、根据权利要求13所述系统，其特征在于，所述将获取到的输出图像与预定义测试实例的预期图像进行对比包括：

所述输出图像为测试结果字符图像；

将获取到的输出图像中的字符与预定义字符进行对比；

获取到的输出图像中的字符为表示通过的字符。