CN110704268B

CN110704268B - 一种视频图像自动化测试方法及装置

Info

Publication number: CN110704268B
Application number: CN201810750180.3A
Authority: CN
Inventors: 杨春燕; 吴参毅
Original assignee: Zhejiang Uniview Technologies Co Ltd
Current assignee: Zhejiang Uniview Technologies Co Ltd
Priority date: 2018-07-10
Filing date: 2018-07-10
Publication date: 2023-10-27
Anticipated expiration: 2038-07-10
Also published as: CN110704268A

Abstract

本发明公开了一种视频图像自动化测试方法及装置，该方法间隔预设的时间段依次获取图片库中的视频源图片，按照预设的图像运动控制算法确定获取的视频源图片在输入显示屏上的坐标并输出到输入显示屏上，生成对应每张视频源图片的出发链表节点，构成出发链表D；然后获取解码图像，对解码图像进行图像识别，根据图像识别信息生成对应每帧解码图像的到达链表节点，构成到达链表A；最后比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果。本发明的方法及装置能够实现对海量硬件解码测试用例的自动化测试，判断及时且准确。

Description

一种视频图像自动化测试方法及装置

技术领域

本发明属于视频质量检测技术领域，尤其涉及一种视频图像自动化测试方法及装置。

背景技术

视频监控系统的视频图像解码后可能出现的图像问题有卡顿、跳秒、花屏、位移、黑屏、延时、快放等，一般人眼识别比较容易，但是面对海量的测试用例，依靠人力手工测试会大大延长测试周期、提升测试成本，所以需要使用自动化测试进行遍历，但是让机器准确识别上述问题则非常困难。随着视频监控领域视频源、解码器、协议、芯片等发展的日新月异，软件测试工作量直线上升，对测试人力和测试环境的要求越来越高，人力投入成本入不敷出，如何通过自动化的手段去检测是一个自动化领域亟待解决的问题。

当前自动化测试中对视频画面质量的检测还是通过半人工的方式完成，首先通过自动化对实况、回放等视频画面进行截屏保存，后续有测试人员对图片进行观察确认画面是否正常。然而，上述检测方法存在的技术问题也是显而易见的，例如通过半人工的方式使得自动化测试效率大大降低，影响测试效率；通过人工方式使得结果记录错误的概率提高；对于一些较小的细节，人工的方式可能也无法有效分辨出来，使得测试结果不准确。

此外，还可以将实况、回放码流硬解上墙，依靠解码端日志收集来判断实况回放是否正常。这种技术方案的前提是信任解码端的日志记录，而解码端也是被测对象，对其给于充分信任的结果可能会导致对可能出现的问题产生遗漏，没有在测试结果中体现出来。

发明内容

本发明的目的是提供一种视频图像自动化测试方法及装置，克服了上述背景技术中提出的问题，实现全自动的检测，提高了检测的效率，并且大大提高了检测的准确度。

为了实现上述目的，本发明技术方案如下：

一种视频图像自动化测试方法，用于对被测视频监控系统进行视频图像输出正确性测试，所述被测视频监控系统采集输入显示屏上的视频源图像，经过被测视频监控系统传输解码后输出解码图像，所述视频图像自动化测试方法，包括：

间隔预设的时间段依次获取图片库中的视频源图片，按照预设的图像运动控制算法确定获取的视频源图片在输入显示屏上的坐标并输出到输入显示屏上，生成对应每张视频源图片的出发链表节点，构成出发链表D；

获取解码图像，对解码图像进行图像识别，根据图像识别信息生成对应每帧解码图像的到达链表节点，构成到达链表A；

比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果。

进一步地，所述出发链表D和到达链表A中链表节点的结构体数据信息包括：链表节点序号、图像特征信息、坐标、绝对时间、相对时间。

进一步地，所述比较出发链表D和到达链表A中链表节点的结构体数据信息，包括：

图像特征信息比对，比对出发链表D和到达链表A中对应链表节点的图像特征信息；

或/和，区域比对，比对出发链表D和到达链表A中对应链表节点的坐标信息；

或/和，解码延时比对，根据出发链表D和到达链表A中对应链表节点的时间差，与被测视频监控系统的延时指标和图像识别延时指标进行对比。

保存到达链表A中所有链表节点的坐标信息，计算各链表节点坐标连线，与预设的图像运动控制算法确定的轨迹进行对比。

将到达链表A中链表节点的相对时间进行比对。

本发明还提出了一种视频图像自动化测试装置，用于对被测视频监控系统进行视频图像输出正确性测试，所述被测视频监控系统采集输入显示屏上的视频源图像，经过被测视频监控系统传输解码后输出解码图像，所述视频图像自动化测试装置，包括：

视频源生成模块，用于间隔预设的时间段依次获取图片库中的视频源图片，按照预设的图像运动控制算法确定获取的视频源图片在输入显示屏上的坐标并输出到输入显示屏上，生成对应每张视频源图片的出发链表节点，构成出发链表D；

识别模块，用于获取解码图像，对解码图像进行图像识别，根据图像识别信息生成对应每帧解码图像的到达链表节点，构成到达链表A；

比较模块，用于比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果。

进一步地，所述比较模块比较出发链表D和到达链表A中链表节点的结构体数据信息，执行如下操作：

将到达链表A中链表节点的相对时间进行比对。

本发明提出的一种视频图像自动化测试方法及装置，基于预设的图像运动控制算法将视频源图片有规律的显示在输入显示屏上，利用卡口相机或智能IA服务器采集硬件解码后的图像信息，并将识别后的信息与视频源做比对研判，根据研判结果判断解码图像的正确性。本发明采用车牌图片作为视频源图片，充分利用了现有卡口相机的车牌识别技术，降低了研发成本。本发明的方法及装置能够实现对海量硬件解码测试用例的自动化测试，判断及时且准确。

附图说明

图1为本发明测试环境网络结构示意图；

图2为本发明视频图像自动化测试方法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本技术方案的总体思路是，通过利用预设的图像运动控制算法将车牌嵌入图像中构造视频源，并结合车牌识别技术实现对硬解码图像的自动化测试。

如图1所示，首先搭建从视频源IPC到解码端DC的整体测试环境，对被测视频监控系统进行视频图像自动化测试。视频源IPC录入输入显示屏上的视频图像，经过被测视频监控系统，最终到达解码端的解码器DC，经过解码处理后被显示在输出显示屏上。

图1中测试装置本地存放一个车牌号码图片库，间隔预设的时间段依次从图片库中取出一张车牌图片，按照预设的图像运动控制算法确定获取的车牌图片在输入显示屏上的坐标并输出到输入显示屏上，生成一个测试用例，作为视频源。在解码端放置一个卡口相机，卡口相机对准输出显示屏，以用来抓拍解码器解码后输出在输出显示屏上的视频图像。通过利用卡口相机的现有车牌识别技术可进行车牌识别，并分析出车牌号码、获取车牌图片在输出显示屏的坐标，输出到测试装置进行对比研判，得出解码图像正确性与否的判断，并输出测试结果。

需要说明的是，图片库中不限于采用车牌图片，也可以是其他图片。本技术方案为了利用现有的卡口相机的车牌识别功能进行测试而采用车牌图片，以便于直接利用现有卡口相机进行识别，而不需要定制图像识别方案。如果图片库中采用其他的图片，则只需定制对该图片的识别方案，在卡口相机进行相应的识别即可。在本技术方案中采用车牌识别为例来进行说明，以下不再赘述。

如图2所示，一种视频图像自动化测试方法，用于对被测视频监控系统进行视频图像输出正确性测试。所述被测视频监控系统采集输入显示屏上的视频图像，经过被测视频监控系统传输解码后输出解码图像，所述视频图像自动化测试方法，包括：

步骤S1、间隔预设的时间段依次获取图片库中的视频源图片，按照预设的图像运动控制算法确定获取的视频源图片在输入显示屏上的坐标并输出到输入显示屏上，生成对应每张视频源图片的出发链表节点，构成出发链表D。

本实施例视频图像自动化测试方法，应用于图1中的测试装置。在测试装置中存储有车牌号码图片库，本实施例以车牌图片作为视频源图片。在图1中示出了从编码端到解码端的完整测试环境。其中，输入显示屏和输出显示屏大小相同，并配置为相同制式和相同分辨率，以使得输入输出的视频图像显示效果相同。视频源IPC与输入显示屏之间的距离需调整为IPC画面覆盖整屏，卡口相机与输出显示屏之间的距离需调整为卡口相机画面覆盖整屏，以便于能够完整采集到输入输出显示屏上的视频图像。

本实施例测试装置可以采用PC机/服务器，其输出连接到输入显示屏，卡口相机接入测试装置。测试装置保存一个本地车牌号码图片库，例如存放约10cm×25cm尺寸大小，车牌号码不相同的车牌图片50张。本技术方案采用车牌图片作为视频源图片来生成测试用例，该测试用例被作为输入到被测视频监控系统的视频源，测试装置所保存的车牌图片的大小、张数根据测试用例的需要来定制，不限于具体的尺寸和张数，本发明对此不做限制。

本实施例基于图像运动控制对测试装置提供的车牌图片进行处理，构建视频源并投放到输入显示屏，以便视频源IPC采集输入显示屏上的视频图像，进行编码后在被测视频监控系统中传输，最后输出到解码器，被解码输出投放到输出显示屏上。本实施例在对车牌图片进行处理时，生成出发链表D，本实施例定义出发链表D包括多个出发链表节点，每个出发链表节点对应一张测试用例中的车牌图片。出发链表节点为结构体，结构体成员定义如下：

(序号sn，车牌号number，横坐标x，纵坐标y，绝对时间t，相对时间t’)。

即出发链表D中每个出发链表节点记录本出发链表节点的序号sn，所对应车牌图片的车牌号number，在输入显示屏上显示的坐标(x,y)，绝对时间t为当前时间，相对时间t’为与前一出发链表节点之间的间隔。

需要说明的是，本实施例链表节点的结构体成员还可以包括更多的信息，针对输出可能存在的问题，增加对应的结构体成员。例如增加叠加条纹信息，以判断被测监控系统的噪声情况。

本实施例基于图像运动控制对测试装置提供的车牌图片进行处理，采用阿基米德螺线轨迹来控制车牌图片显示的坐标。容易理解的是，本发明不限于具体的运动轨迹的样式，例如还可以是费马螺线、正切函数轨迹等。

在对测试装置提供的车牌图片进行处理时，首先从车牌号码图片库中获取一个车牌图片，生成阿基米德螺线轨迹的第一个坐标点。

假定一个测试用例运行30分钟，帧率为25帧/秒，则出发链表节点的个数n＝25个点/s*60*30＝45000。用代码表示如下：

da＝3.1415926*2/n＝3.1415926*2/45000

alf＝0；

for(i＝1；i<＝n*k；i++)//启动后即开始循环，从1循环到45000

{

alf＝alf+da；

x＝a*alf*cos(alf)；

y＝a*alf*sin(alf)；

}

从而计算出第一个坐标点的坐标，开始为第一个出发链表节点的结构体赋值，其中：

sn＝1

number＝京H99999

x＝Dx1

y＝Dy1

t＝20180525180000000(此处举例使用非机器时间，实际代码处理中应该为当前机器时间)

t’＝0ms

即出发链表D中第一个出发链表节点为：(1，京H99999，Dx1，Dy1，20180525180000000，0ms)。

随后进行图像编码，将车牌图片按照左上角为(x1，y1)的坐标点编码在图像中，其余背景色显示为黑色(为高效识别车牌，背景色可选用与车牌色差大的颜色)，将编码图像送显至输入显示屏上。

然后等待预设的时间段，开始下一个车牌图片的处理。预设的时间段在帧率为25帧/秒时，为40ms(帧间隔)。也可以先确定预设的时间段，然后根据预设的时间段来确定帧率。处理方法同第一张车牌图片，生成出发链表D的第二个出发链表节点，例如表示为：(2，京JJ7489，x2，y2，20180525180000040，40ms)。

依此类推，直至完成一个测试用例，输出到输入显示屏，作为视频源。视频源IPC采集输入显示屏的图像，进行编码处理，码流经过网络传输及被测视频监控系统的处理，最终被解码器解码，送至解码器连接的输出显示屏上显示。

步骤S2、获取解码图像，对解码图像进行图像识别，根据图像识别信息生成对应每帧解码图像的到达链表节点，构成到达链表A。

本实施例可以通过卡口相机获取输出显示屏上显示的视频图像(解码图像)，利用卡口相机的车牌识别能力进行车牌识别。具体为，将卡口相机对准输出显示屏采集画面的图像数据，卡口相机利用自身的实时车牌识别功能，可将画面中的车牌号码识别出来，并输出车牌号码、坐标位置、时间信息等数据。同时卡口相机连接测试装置，将识别后的信息发送至测试装置。不同的卡口相机性能差异大，使用GPU硬件解码的卡口相机可满帧率进行车牌识别，完全可胜任本技术方案的处理要求。此外，本实施例中卡口相机也可替换为智能IA服务器，获取解码器输出的解码视频，使用IA服务器的车牌识别功能进行车牌信息识别，性能很高。

本实施例测试装置获取到卡口相机输出的识别信息后，解析出车牌号码、坐标位置、时间信息，依次生成到达链表节点。例如第一个到达链表节点对应如下信息：

sn＝1

number＝京H99999

x＝Ax1

y＝Ay1

t＝20180525180000200

t’＝0ms

则第一个到达链表节点表示为(1，京H99999，Ax1，Ay1，20180525180000200，0ms)。以此类推，得到第二个到达链表节点，直到整个测试用例完成，构成到达链表A。

需要说明的是，本实施例出发链表D和到达链表A中链表节点的结构体数据信息包括：链表节点序号、图像特征信息、坐标、绝对时间、相对时间。其中图像特征信息即车牌号码，如果采用其他图像，例如普通数字字符串、人名、电话号码等，图像特征信息即指图像中对应的数据字符串、人名、电话号码等，这里不再赘述。

步骤S3、比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果。

本实施例测试装置，比较出发链表D和到达链表A中对应节点的结构体数据信息，具体如下：

分别判断出发链表D和到达链表A中是否有节点加入，有则获取出链表节点结构体中的数据信息。

例如：分别获取出发链表D、到达链表A中的第一个、第二个节点的结构体数据信息：

1)、获取出发链表D第一个节点的结构体数据信息：

D->next.sn＝1

D->next.number＝京H99999

D->next.x＝Dx1

D->next.y＝Dy1

D->next.t＝20180525180000000

D->next.t’＝0ms

2)、获取到达链表A第一个节点的结构体数据信息：

A->next.sn＝1

A->next.number＝京H99999

A->next.x＝Ax1

A->next.y＝Ay1

A->next.t＝20180525180000200

A->next.t’＝0ms

3)、获取出发链表D第二个节点的结构体数据信息：

D->next.sn＝2

D->next.number＝京JJ7489

D->next.x＝Dx2

D->next.y＝Dy2

D->next.t＝20180525180000040

D->next.t’＝40ms

4)、获取到达链表A第二个节点的结构体数据信息：

A->next.sn＝2

A->next.number＝京JJ7489

A->next.x＝Ax2

A->next.y＝Ay2

A->next.t＝20180525180000240

A->next.t’＝40ms

然后进行比对判断，在进行比对时，包括以下具体实施例：

一种实施例，进行横向比对判断，即D、A链表中相同sn节点的结构体数据比对：

1)、车牌号码比对，即比对出发链表D和到达链表A中对应链表节点的图像特征信息。

D->next.number＝A->next.number：证明图片编码、传输、解码、送显正确。

2)、区域比对，即比对出发链表D和到达链表A中对应链表节点的坐标信息。

D与A的车牌坐标在各自显示画面的同一个1/4区域中(按照象限进行比对即可)，认为正确。(注：不同显示屏之间的坐标不能进行比对，因为两块不同的显示屏再如何调整，也无法在精细坐标上完全相同)。

3)、解码延时比对，即根据出发链表D和到达链表A中对应链表节点的时间差，与被测视频监控系统的延时指标和图像识别延时指标进行对比。

A->next.t－D->next.t＝200ms，结果≤(DT1+DT2)，解码延时正常。其中DT1是被测视频监控系统延时指标，一般默认值为300ms，DT2是图像识别延时指标，在本实施例中指卡口相机延时指标，一般是卡口相机的既定指标。采用智能IA服务器时，是指智能IA服务器的延时指标。

另一种实施例，进行纵向比对判断，即A链表节点的结构体数据比对：

1)、轨迹对比，即保存到达链表A中所有链表节点的坐标信息，计算各链表节点坐标连线，与预设的图像运动控制算法确定的轨迹进行对比。

保存A链表中所有节点的坐标信息，计算(Ax1，Ay1)，(Ax2，Ay2)……(Axn，Ayn)各节点坐标连线，符合阿基米德螺线轨迹。则认为解码正确。

2)、帧率比对，即将到达链表A中链表节点的相对时间进行比对。

A->next.t’－A->next.t’＝40ms-0ms＝40ms(若为第一个节点(sn＝1)，则不计算两帧间隔时间)。与1/FPS对比，1/25＝40ms，相同则认为解码送显帧率正确。

最后进行测试结果判定，输出测试结果。其中测试用例通过依据为：

如果横向比对判断和纵向比对判断的结果都为正确，则认为A链表中此节点数据正确。

反复执行每个节点的比对判断，在整个测试用例执行期间若所有A链表的节点数据比对均正确，则此测试用例执行结果为正确。

测试用例不通过依据为：

卡顿的判断，图像出现卡顿，后续会伴随图像丢失、快放补偿、持续延时播放，判断依据为：

图像丢失：D、A链表中的车牌比对不相同；

快放补偿：相邻车牌到达时间小于帧率；

持续延时播放：相邻车牌到达时间大于帧率。

跳秒的判断，图像出现跳秒，则图像必有丢失，判断依据为：

图像丢失：D、A链表中的车牌比对不相同。

花屏的判断，图像出现花屏，从位置上可分为局部花屏和全屏花屏，从时间上可分为短暂花屏、持续花屏，判断依据为：

全屏花屏：某一时刻未识别出车牌；

局部花屏：某一时刻存在未识别出车牌的概率；因为是对车牌进行满帧识别，且车牌位置在动态变化中，所以这个概率不会为0；

短暂花屏：每秒25个车牌画面，有少量未识别；

持续花屏：A链表所有车牌无法识别。

位移的判断，图像出现位移，可分为局部位移和全屏位移，判断依据为：

局部位移：部分相邻车牌不符合阿基米德螺线轨迹；

全屏位移：部分车牌区域判断不在相同1/4区域内。

黑屏的判断，判断依据为：A链表中所有车牌无法识别。

延时的判断，判断依据为：相邻车牌到达时间大于帧率。

快放的判断，判断依据：相邻车牌到达时间小于帧率。

需要说明的是，上述判断实施例仅列举了一些常见视频质量出现的问题的判断，本领域技术人员还可以根据具体出现的问题，设置具体的判断依据，来判断出现的问题，这里不再赘述。

与上述方法对应的，本技术方案还给出了一种视频图像自动化测试装置的实施例，用于对被测视频监控系统进行视频图像输出正确性测试，所述被测视频监控系统采集输入显示屏上的视频源图像，经过被测视频监控系统传输解码后输出解码图像。本实施例视频图像自动化测试装置，包括：

本实施例一种视频图像自动化测试装置，其各个模块可以执行的操作与前述方法对应，在本实施例中，仅列出了优选的操作步骤，对于其他可选的技术方案，在本实施例中不在赘述。

本发明的一种实施例，所述出发链表D和到达链表A中链表节点的结构体数据信息包括：链表节点序号、图像特征信息、坐标、绝对时间、相对时间。

本发明的一种实施例，所述比较模块比较出发链表D和到达链表A中链表节点的结构体数据信息，执行如下操作：

将到达链表A中链表节点的相对时间进行比对。

容易理解的是，在进行比对后，就可以根据比对结果进行研判，输出检测结果，这里不再赘述。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种视频图像自动化测试方法，用于对被测视频监控系统进行视频图像输出正确性测试，其特征在于，所述被测视频监控系统采集输入显示屏上的视频源图像，经过被测视频监控系统传输解码后输出解码图像，所述视频图像自动化测试方法，包括：

比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果；

其中，所述出发链表D和到达链表A中链表节点的结构体数据信息包括：链表节点序号、图像特征信息、坐标、绝对时间、相对时间。

2.根据权利要求1所述的视频图像自动化测试方法，其特征在于，所述比较出发链表D和到达链表A中链表节点的结构体数据信息，包括：

3.根据权利要求1所述的视频图像自动化测试方法，其特征在于，所述比较出发链表D和到达链表A中链表节点的结构体数据信息，包括：

4.根据权利要求1所述的视频图像自动化测试方法，其特征在于，所述比较出发链表D和到达链表A中链表节点的结构体数据信息，包括：

将到达链表A中链表节点的相对时间进行比对。

5.一种视频图像自动化测试装置，用于对被测视频监控系统进行视频图像输出正确性测试，其特征在于，所述被测视频监控系统采集输入显示屏上的视频源图像，经过被测视频监控系统传输解码后输出解码图像，所述视频图像自动化测试装置，包括：

比较模块，用于比较出发链表D和到达链表A中链表节点的结构体数据信息，输出检测结果；

6.根据权利要求5所述的视频图像自动化测试装置，其特征在于，所述比较模块比较出发链表D和到达链表A中链表节点的结构体数据信息，执行如下操作：

7.根据权利要求5所述的视频图像自动化测试装置，其特征在于，所述比较模块比较出发链表D和到达链表A中链表节点的结构体数据信息，执行如下操作：

8.根据权利要求5所述的视频图像自动化测试装置，其特征在于，所述比较模块比较出发链表D和到达链表A中链表节点的结构体数据信息，执行如下操作：

将到达链表A中链表节点的相对时间进行比对。