CN115269438A - 针对图像处理算法的自动化测试方法及装置 - Google Patents

针对图像处理算法的自动化测试方法及装置 Download PDF

Info

Publication number
CN115269438A
CN115269438A CN202211017815.1A CN202211017815A CN115269438A CN 115269438 A CN115269438 A CN 115269438A CN 202211017815 A CN202211017815 A CN 202211017815A CN 115269438 A CN115269438 A CN 115269438A
Authority
CN
China
Prior art keywords
test
target
image processing
test cases
index data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211017815.1A
Other languages
English (en)
Inventor
郭民
卢超群
赵志勇
顾文良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202211017815.1A priority Critical patent/CN115269438A/zh
Publication of CN115269438A publication Critical patent/CN115269438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3688Test management for test execution, e.g. scheduling of test suites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis

Abstract

本申请公开了一种针对图像处理算法的自动化测试方法及装置。其中,该方法包括:获取多组测试图像;对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。本申请解决了相关技术中针对图像处理AI算法缺乏通用的自动化测试方法,测试效率较低的技术问题。

Description

针对图像处理算法的自动化测试方法及装置
技术领域
本申请涉及软件测试技术领域,具体而言,涉及一种针对图像处理算法的自动化测试方法及装置。
背景技术
随着AI(Artificial Intelligence,人工智能)技术的不断普及,其应用愈发广泛,基于AI算法衍生的产品也不断增加,为保障产品质量,针对AI算法进行测试将是必不可少的一环。
传统方案中,针对AI算法的相关测试方法主要为使用postman等请求工具进行手工测试,首先将图片转换成base64编码再通过postman等工具请求AI算法,获得结果响应,在记录每一次的结果后,使用人工统计,最终得出AI算法的各项指标。该方案不仅浪费人力资源,而且工作效率低下,不具备扩展性。
而目前主流的自动化测试框架虽然流程可复用,但其中的用例维护更多的是针对长度较短的字节码进行参数化,具有较大的局限性,且其结果分析完全无法适用于AI算法测试,不具备通用性。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种针对图像处理算法的自动化测试方法及装置,以至少解决相关技术中针对图像处理AI算法缺乏通用的自动化测试方法,测试效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种针对图像处理算法的自动化测试方法,包括:获取多组测试图像;对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。
可选地,目标测试集中包括多个测试子集,其中,利用混淆矩阵对多个测试用例进行分类,得到多个测试子集,其中,每个测试子集中包括同类型的测试用例。
可选地,与目标服务器建立通信连接;将多个测试用例依次发送至目标服务器,其中,目标服务器用于调用图像处理类的人工智能算法依次对输入的多个测试用例进行处理;接收目标服务器反馈的第一测试结果。
可选地,对第一测试结果进行数据清洗,得到第二测试结果;利用混淆矩阵对第二测试结果进行统计分析,得到目标指标数据,其中,目标指标数据的类型至少包括以下之一:准确率,精确度,召回率,精确度和召回率的平衡综合性指标,假负率,真负率,假正率。
可选地,在得到目标指标数据之后,将多个测试结果及目标指标数据存储至目标位置,其中,目标位置至少包括以下之一:云端服务器,目标数据库,预设邮箱。
可选地,在得到目标指标数据之后,在目标指标数据不符合预设的指标要求时,向目标对象发送提示信息,提示信息用于提示目标对象对图像处理类的人工智能算法再次进行训练。
可选地,目标服务器为单个或多个承载有目标接口的服务器或服务器集群,目标接口为封装有图像处理类的人工智能算法的一个或多个接口。
根据本申请实施例的另一方面,还提供了一种针对图像处理算法的自动化测试装置,包括:获取模块,用于获取多组测试图像;建立模块,用于对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;测试模块,用于将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;分析模块,用于对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。
根据本申请实施例的另一方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行上述的针对图像处理算法的自动化测试方法。
根据本申请实施例的另一方面,还提供了一种电子设备,该电子设备包括:存储器和处理器,其中,存储器中存储有计算机程序,处理器被配置为通过计算机程序执行上述的针对图像处理算法的自动化测试方法。
在本申请实施例中,首先获取多组测试图像;对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;然后,将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;最后对第一测试结果进行统计分析,得到目标指标数据,该目标指标数据用于反映图像处理类的人工智能算法的处理效果。其中,整个测试过程自动化进行,有效提高了测试效率,且该测试流程适用于多种图像处理类的人工智能算法测试,通用性较强,即本方案有效解决了相关技术中针对图像处理AI算法缺乏通用的自动化测试方法,测试效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种可选的针对图像处理算法的自动化测试方法的流程示意图;
图2是根据本申请实施例的一种可选的自动化测试设备的结构示意图;
图3是根据本申请实施例的一种可选的针对图像处理算法的自动化测试装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例,首先对本申请实施例描述过程中出现的部分名词或术语翻译解释如下:
测试用例(Test Case):测试用例是指对一项特定的软件产品进行测试任务的描述,体现测试方案、方法、技术和策略,其内容包括测试目标、测试环境、输入数据、测试步骤、预期结果、测试脚本等,最终形成文档。简单地认为,测试用例是为某个特殊目标而编制的一组测试输入、执行条件以及预期结果,用于核实是否满足某个特定软件需求。通常,测试用例主要包含四个内容:用例标题,前置条件,测试步骤和预期结果,其中,用例标题主要描述测试某项功能;前置条件是指用例标题需要满足该条件;测试步骤主要描述用例的操作步骤;预期结果指的是符合预期(开发规格书、需求文档、用户需求等)需求。
混淆矩阵(Confusion Matrix):也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示,具体评价指标有总体精度、制图精度、用户精度等,这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中,混淆矩阵是可视化工具,特别用于监督学习,在无监督学习一般叫做匹配矩阵。在图像精度评价中,主要用于比较分类结果和实际测得值,可以把分类结果的精度显示在一个混淆矩阵里面,混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类相比较计算的。
实施例1
相关技术中,针对AI算法的相关测试方法主要为手工测试,首先将图片转换成base64编码再通过postman等工具请求AI算法,获得结果响应,在记录每一次的结果后,使用人工统计,最终得出AI算法的各项指标,其不仅浪费人力资源,而且工作效率低下,不具备扩展性;而目前主流的自动化测试框架虽然流程可复用,但其中的用例维护更多的是针对长度较短的字节码进行参数化,具有较大的局限性,其结果分析完全无法适用于AI算法测试,不具备通用性。
为解决上述问题,本申请实施例提供了一种针对图像处理算法的自动化测试方法,其整个测试过程自动化进行,有效减少测试人员工作量,提高了测试效率,且该测试流程适用于多种图像处理类的人工智能算法测试,通用性较强。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种可选的针对图像处理算法的自动化测试方法的流程示意图,如图1所示,该方法至少包括步骤S102-S108,其中:
步骤S102,获取多组测试图像。
通常,在获取测试图像时,除了直接收集图像素材作为测试图像外,也可以收集视频素材并根据要求将视频素材切成图像,即提取视频素材中的目标帧图像作为测试图像。例如,针对静态场景中的人脸识别、车牌识别等,可以直接将一张图像作为一组测试图像;而针对动态场景中的徘徊、越线等,由于是一个运动的过程,可以将视频素材中的多帧图像作为一组测试图像。
步骤S104,对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集。
作为一种可选的实施方式,在提取特征参数时,可以针对测试场景提取测试图像中对应类型的特征参数。以要测试的AI算法是越线算法为例,该算法业务场景为当人物出现在画面中时做标记,并跟踪其运动轨迹及运动方向,在超过事先定义的边界线时,返回其是否越线,此时,就可以提取测试图像中的边界线坐标点、目标移动方向等特征参数,以保证后续测试结果的准确性。之后,可以根据提取的测试图像的特征参数生成对应的测试用例。
可选地,为进一步提升测试结果的准确性,还可以将目标测试集划分为多个测试子集。具体地,在得到多个测试用例后,可以利用混淆矩阵对多个测试用例进行分类,得到多个测试子集,其中,每个测试子集中包括同类型的测试用例。
步骤S106,将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理。
其中,目标服务器为单个或多个承载有目标接口的服务器或服务器集群,目标接口为封装有图像处理类的人工智能算法的一个或多个接口。
作为一种可选的实施方式,可以通过以下过程将多个测试用例输入目标服务器进行测试:首先,与目标服务器建立通信连接;然后,将多个测试用例依次发送至目标服务器,其中,目标服务器用于调用图像处理类的人工智能算法依次对输入的多个测试用例进行处理;之后,接收目标服务器反馈的第一测试结果。
步骤S108,对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。
作为一种可选的实施方式,可以先对第一测试结果进行数据清洗,过滤其中的冗余数据及错误数据,得到第二测试结果;之后再利用混淆矩阵对第二测试结果进行统计分析,得到目标指标数据,其中,目标指标数据的类型至少包括以下之一:准确率,精确度,召回率,精确度和召回率的平衡综合性指标,假负率,真负率,假正率。
在得到目标指标数据之后,可以将多个测试结果及目标指标数据存储至目标位置,其中,目标位置至少包括以下之一:云端服务器,目标数据库,预设邮箱。
可选地,在得到目标指标数据之后,还可以将目标指标数据与预设的指标要求进行比较,以判断图像处理类的人工智能算法的处理效果,在目标指标数据不符合预设的指标要求时,可以向目标对象发送提示信息,该提示信息用于提示目标对象对图像处理类的人工智能算法再次进行训练。
图2是根据本申请实施例的一种可选的自动化测试设备的结构示意图,用于执行上述的自动化测试方法,如图2所示,该自动化测试设备21中包括控制单元211,预处理单元212,用例管理单元213,配置单元214,执行单元215和统计分析单元216,以下对各单元所执行的功能进行说明。
控制单元211,具有人机交互能力,可以响应于用户的指令,实现对整个自动化测试设备21中其他单元的控制;
预处理单元212,可以通过切图功能和参数提取功能对采集的测试素材进行初步处理,再通过用例合成功能将初步处理后的素材组合成完整的测试用例,并将测试用例发送至用例管理单元213;
用例管理单元213,用于将接收的多个测试用例作为目标测试集,对其进行分类整理和维护;
配置单元214,用于存储自动化测试设备21以及目标测试集用到的各种相关配置信息;
执行单元215,用于调用用例管理单元213和配置单元214中的相关数据,通过目标接口与目标服务器22进行交互,其可以根据配置单元214中预先定义的规则将多个测试用例的请求数据依次发送至目标服务器22,由目标服务器22调用图像处理类的人工智能算法依次对输入的多个测试用例请求数据进行处理,并将测试结果反馈回执行单元215,执行单元215再将测试结果发送至统计分析单元216;
统计分析单元216,通过数据获取功能接收测试结果,并通过数据清洗功能过滤其中的冗余数据及错误数据,再通过数据计算功能利用预先在配置单元214中定义好的混淆矩阵规则对测试结果进行统计分析,得到准确率、精确度、召回率、精确度和召回率的平衡综合性指标、假负率、真负率、假正率等目标指标数据,最后通过数据上报功能将测试结果及目标指标数据发送至云端服务器或是目标数据库,或者发送至预设的邮箱。
在本申请实施例中,首先获取多组测试图像;对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;然后,将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;最后对第一测试结果进行统计分析,得到目标指标数据,该目标指标数据用于反映图像处理类的人工智能算法的处理效果。其中,整个测试过程自动化进行,有效提高了测试效率,且该测试流程适用于多种图像处理类的人工智能算法测试,通用性较强,即本方案有效解决了相关技术中针对图像处理AI算法缺乏通用的自动化测试方法,测试效率较低的技术问题。
实施例2
根据本申请实施例,还提供了一种用于实现上述针对图像处理算法的自动化测试方法的针对图像处理算法的自动化测试装置,如图3所示,该自动化测试装置中至少包括获取模块31,建立模块32,测试模块33和分析模块34,其中:
获取模块31,用于获取多组测试图像。
通常,获取模块在获取测试图像时,除了直接收集图像素材作为测试图像外,也可以收集视频素材并根据要求将视频素材切成图像,即提取视频素材中的目标帧图像作为测试图像。例如,针对静态场景中的人脸识别、车牌识别等,可以直接将一张图像作为一组测试图像;而针对动态场景中的徘徊、越线等,由于是一个运动的过程,可以将视频素材中的多帧图像作为一组测试图像。
建立模块32,用于对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集。
作为一种可选的实施方式,建立模块在提取特征参数时,可以针对测试场景提取测试图像中对应类型的特征参数。以要测试的AI算法是越线算法为例,该算法业务场景为当人物出现在画面中时做标记,并跟踪其运动轨迹及运动方向,在超过事先定义的边界线时,返回其是否越线,此时,就可以提取测试图像中的边界线坐标点、目标移动方向等特征参数,以保证后续测试结果的准确性。之后,建立模块可以根据提取的测试图像的特征参数生成对应的测试用例。
可选地,为进一步提升测试结果的准确性,建立模块还可以将目标测试集划分为多个测试子集。具体地,在得到多个测试用例后,可以利用混淆矩阵对多个测试用例进行分类,得到多个测试子集,其中,每个测试子集中包括同类型的测试用例。
测试模块33,用于将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理。
其中,目标服务器为单个或多个承载有目标接口的服务器或服务器集群,目标接口为封装有图像处理类的人工智能算法的一个或多个接口。
作为一种可选的实施方式,测试模块可以通过以下过程将多个测试用例输入目标服务器进行测试:首先,与目标服务器建立通信连接;然后,将多个测试用例依次发送至目标服务器,其中,目标服务器用于调用图像处理类的人工智能算法依次对输入的多个测试用例进行处理;之后,接收目标服务器反馈的第一测试结果。
分析模块34,用于对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。
作为一种可选的实施方式,分析模块可以先对第一测试结果进行数据清洗,过滤其中的冗余数据及错误数据,得到第二测试结果;之后再利用混淆矩阵对第二测试结果进行统计分析,得到目标指标数据,其中,目标指标数据的类型至少包括以下之一:准确率,精确度,召回率,精确度和召回率的平衡综合性指标,假负率,真负率,假正率。
可选地,在得到目标指标数据之后,分析模块还可以将多个测试结果及目标指标数据存储至目标位置,其中,目标位置至少包括以下之一:云端服务器,目标数据库,预设邮箱。
可选地,本申请实施例中的针对图像处理算法的自动化测试装置中还可以包括有报警模块,用于在目标指标数据不符合预设的指标要求时,向目标对象发送提示信息。具体地,在得到目标指标数据之后,还可以将目标指标数据与预设的指标要求进行比较,以判断图像处理类的人工智能算法的处理效果,在目标指标数据不符合预设的指标要求时,报警模块可以向测试人员发送提示信息,提示测试人员对图像处理类的人工智能算法再次进行训练。
需要说明的是,本申请实施例中的针对图像处理算法的自动化测试装置中的各模块与实施例1中的针对图像处理算法的自动化测试方法的各实施步骤一一对应,由于实施例1中已经进行了详尽的描述,本实施例中部分未体现的细节可以参考实施例1,在此不再过多赘述。
实施例3
根据本申请实施例,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在程序运行时控制非易失性存储介质所在设备执行实施例1中的针对图像处理算法的自动化测试方法。
根据本申请实施例,还提供了一种处理器,该处理器用于运行程序,其中,程序运行时执行实施例1中的针对图像处理算法的自动化测试方法。
根据本申请实施例,还提供了一种电子设备,该电子设备包括:存储器和处理器,其中,存储器中存储有计算机程序,处理器被配置为通过计算机程序执行实施例1中的针对图像处理算法的自动化测试方法。
可选地,程序运行时执行实现以下步骤:获取多组测试图像;对于每组测试图像,提取测试图像的特征参数,并基于特征参数建立测试用例,将得到的多个测试用例作为目标测试集;将目标测试集中的多个测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;对第一测试结果进行统计分析,得到目标指标数据,目标指标数据用于反映图像处理类的人工智能算法的处理效果。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种针对图像处理算法的自动化测试方法,其特征在于,包括:
获取多组测试图像;
对于每组所述测试图像,提取所述测试图像的特征参数,并基于所述特征参数建立测试用例,将得到的多个测试用例作为目标测试集;
将所述目标测试集中的多个所述测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,所述目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;
对所述第一测试结果进行统计分析,得到目标指标数据,所述目标指标数据用于反映所述图像处理类的人工智能算法的处理效果。
2.根据权利要求1所述的方法,其特征在于,所述目标测试集中包括多个测试子集,将得到的多个测试用例作为目标测试集,包括:
利用混淆矩阵对所述多个测试用例进行分类,得到多个所述测试子集,其中,每个所述测试子集中包括同类型的测试用例。
3.根据权利要求1所述的方法,其特征在于,将所述目标测试集中的多个所述测试用例依次输入目标服务器进行测试,得到第一测试结果,包括:
与所述目标服务器建立通信连接;
将多个所述测试用例依次发送至所述目标服务器,其中,所述目标服务器用于调用所述图像处理类的人工智能算法依次对输入的多个所述测试用例进行处理;
接收所述目标服务器反馈的所述第一测试结果。
4.根据权利要求1所述的方法,其特征在于,对所述多个测试结果进行统计分析,得到目标指标数据,包括:
对所述第一测试结果进行数据清洗,得到第二测试结果;
利用混淆矩阵对所述第二测试结果进行统计分析,得到所述目标指标数据,其中,所述目标指标数据的类型至少包括以下之一:准确率,精确度,召回率,精确度和召回率的平衡综合性指标,假负率,真负率,假正率。
5.根据权利要求1所述的方法,其特征在于,在得到目标指标数据之后,所述方法还包括:
将所述多个测试结果及所述目标指标数据存储至目标位置,其中,所述目标位置至少包括以下之一:云端服务器,目标数据库,预设邮箱。
6.根据权利要求1所述的方法,其特征在于,在得到目标指标数据之后,所述方法还包括:
在所述目标指标数据不符合预设的指标要求时,向目标对象发送提示信息,所述提示信息用于提示所述目标对象对所述图像处理类的人工智能算法再次进行训练。
7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述目标服务器为单个或多个承载有目标接口的服务器或服务器集群,所述目标接口为封装有所述图像处理类的人工智能算法的一个或多个接口。
8.一种针对图像处理算法的自动化测试装置,其特征在于,包括:
获取模块,用于获取多组测试图像;
建立模块,用于对于每组所述测试图像,提取所述测试图像的特征参数,并基于所述特征参数建立测试用例,将得到的多个测试用例作为目标测试集;
测试模块,用于将所述目标测试集中的多个所述测试用例依次输入目标服务器进行测试,得到第一测试结果,其中,所述目标服务器运行有图像处理类的人工智能算法,用于对输入的测试用例进行处理;
分析模块,用于对所述第一测试结果进行统计分析,得到目标指标数据,所述目标指标数据用于反映所述图像处理类的人工智能算法的处理效果。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的针对图像处理算法的自动化测试方法。
10.一种电子设备,其特征在于,包括:存储器和处理器,其中,所述存储器中存储有计算机程序,所述处理器被配置为通过所述计算机程序执行权利要求1至7中任意一项所述的针对图像处理算法的自动化测试方法。
CN202211017815.1A 2022-08-23 2022-08-23 针对图像处理算法的自动化测试方法及装置 Pending CN115269438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211017815.1A CN115269438A (zh) 2022-08-23 2022-08-23 针对图像处理算法的自动化测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211017815.1A CN115269438A (zh) 2022-08-23 2022-08-23 针对图像处理算法的自动化测试方法及装置

Publications (1)

Publication Number Publication Date
CN115269438A true CN115269438A (zh) 2022-11-01

Family

ID=83754025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211017815.1A Pending CN115269438A (zh) 2022-08-23 2022-08-23 针对图像处理算法的自动化测试方法及装置

Country Status (1)

Country Link
CN (1) CN115269438A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410072A (zh) * 2022-11-02 2022-11-29 广东交科检测有限公司 一种视频事件检测算法的测试方法及系统
CN115861743A (zh) * 2023-02-20 2023-03-28 上海励驰半导体有限公司 基于车载台架的人脸识别装置测试方法、系统及车机

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410072A (zh) * 2022-11-02 2022-11-29 广东交科检测有限公司 一种视频事件检测算法的测试方法及系统
CN115861743A (zh) * 2023-02-20 2023-03-28 上海励驰半导体有限公司 基于车载台架的人脸识别装置测试方法、系统及车机

Similar Documents

Publication Publication Date Title
CN103246735B (zh) 一种异常数据处理方法及系统
CN115269438A (zh) 针对图像处理算法的自动化测试方法及装置
CN110808945B (zh) 一种基于元学习的小样本场景下网络入侵检测方法
CN107508722B (zh) 一种业务监控方法和装置
CN108965340B (zh) 一种工业控制系统入侵检测方法及系统
CN106295489B (zh) 信息处理方法、信息处理装置和视频监控系统
CN110471945B (zh) 活跃数据的处理方法、系统、计算机设备和存储介质
CN108537422A (zh) 安全风险预警系统和方法
CN108280021A (zh) 一种基于机器学习的日志等级分析方法
CN115861173A (zh) 基于数字孪生和ai的分光器资源准确性自动检测系统和方法
CN115695541A (zh) 基于边缘计算的网点巡检监测方法、装置、设备及存储介质
CN114385668A (zh) 冷数据清理方法、装置、设备及存储介质
CN110929032A (zh) 一种软件系统的用户需求处理系统及处理方法
CN106909492B (zh) 业务数据的追踪方法及装置
CN114116872A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN115426363B (zh) 智能板材加工工厂的数据采集方法及终端
CN112988337A (zh) 任务处理系统、方法、装置、电子设备、存储介质
CN111047731A (zh) 一种基于ar技术的电信机房巡检方法及系统
CN115375936A (zh) 一种人工智能核验监测方法、系统及存储介质
CN113691390A (zh) 一种云端协同的边缘节点报警系统及方法
CN112579391A (zh) 一种基于人工智能的分布式数据库自动运维方法及系统
CN113076355A (zh) 一种数据安全流动态势感知的方法
CN113569879B (zh) 异常识别模型的训练方法、异常账号识别方法及相关装置
CN112968941B (zh) 一种基于边缘计算的数据采集和人机协同标注方法
CN114201475B (zh) 危险行为监管方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination