CN112580467A - 视频回归测试方法、装置、计算机设备及存储介质 - Google Patents
视频回归测试方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112580467A CN112580467A CN202011449501.XA CN202011449501A CN112580467A CN 112580467 A CN112580467 A CN 112580467A CN 202011449501 A CN202011449501 A CN 202011449501A CN 112580467 A CN112580467 A CN 112580467A
- Authority
- CN
- China
- Prior art keywords
- video
- regression
- target
- historical
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 125
- 238000012795 verification Methods 0.000 claims abstract description 71
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 30
- 230000000007 visual effect Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 11
- 230000036544 posture Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请公开了视频回归测试方法、装置、计算机设备及存储介质,涉及回归算法领域,其包括:获取待进行回归测试的目标视频及目标视频中的问题视频,基于目标视频和问题视频生成问题记录视频数据库;目标视频为非回归验证版本的视频;将从问题记录视频数据库中获取的问题视频输入回归模型进行回归测试,得到第一时段内生成的目标识别结果;若目标识别结果为历史识别结果的部分或全部数据且目标识别结果与历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;历史识别结果包括至少一个携带正确标记的识别结果,对下一个新视频重复进行回归测试操作,直至完成对所有新视频的回归测试。该方案能够有效缩短回归时间,涵盖更多验证环境。
Description
技术领域
本申请涉及人工智能的回归算法技术领域,尤其涉及一种视频回归测试方法、装置、计算机设备及存储介质。
背景技术
视觉识别项目测试场景与环境因素息息相关,不同环境条件下对视觉识别的结果输出均不同。如室外视觉测试场景中,在背光下,视觉镜头云台的输出结果与视觉镜头云台在向光下的输出结果完全不同。同一个被测人员在镜头检测范围内的不同姿态下、不同人脸角度、周围环境不同人流情况对应的输出结果也均不同。
在视觉识别的问题回归中,对于复现的同一问题,由于验证环境变化,导致场景可能相应发生变化,所以同一问题复现时的场景无法保证与上一轮问题出现的场景的一致性。比如在人脸抠图算法中,在上一个版本A中出现的抠图结果中出现了非人脸图片或半人脸图片,由于在实际操作中无法保证验证环境的一致性,所以在修复版本B中验证时就会出现因验证环境不同所导致的验证场景的测试结果不可靠的情形。例如在不同环境光线、被测人员在镜头检测范围内的距离、镜头的角度、镜头与光源的相对角度、被测人员的人体姿态和人脸角度、被测环境(例如被测环境中的环境光线、物体、人流情况)等验证环境与上一版本出现非人脸时的验证环境不一致时,则会出现因为验证环境的不一致性导致测试人员最终给出的测试结论不可靠,最终增加视觉识别问题验证回归的难度。
发明内容
本申请实施例提供了一种视频回归测试方法、装置、计算机设备及存储介质,旨在解决现有技术中视觉识别问题验证回归的难度较高的问题。
第一方面,本申请实施例提供了一种视频回归测试方法,其包括:
获取待进行回归测试的目标视频及目标视频中的问题视频,采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库;所述目标视频为非回归验证版本的视频;
从问题记录视频数据库中获取问题视频,将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果;
将所述目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;其中,所述历史识别结果包括至少一个携带正确标记的识别结果,所述历史识别结果来自至少一轮回归计算的识别结果;所述历史识别结果为历史视频的回归测试结果,所述历史视频为已通过回归模型的回归测试的验证的视频;所述历史视频与所述目标视频至少在一种不同的验证环境下拍摄得到;
获取下一个待进行回归测试的新视频,将新视频作为所述目标视频,重复对目标视频的回归测试操作,直至完成对所有新视频的回归测试。
第二方面,本申请实施例提供了一种视频回归测试装置,其包括:
获取模块,用于获取待进行回归测试的目标视频及目标视频中的问题视频
处理模块,用于采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库;所述目标视频为非回归验证版本的视频;通过所述获取模块从问题记录视频数据库中获取问题视频,将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果;
所述处理模块还用于将所述目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;其中,所述历史识别结果包括至少一个携带正确标记的识别结果,所述历史识别结果来自至少一轮回归计算的识别结果;所述历史识别结果为历史视频的回归测试结果,所述历史视频为已通过回归模型的回归测试的验证的视频;所述历史视频与所述目标视频至少在一种不同的验证环境下拍摄得到;
所述获取模块还用于获取下一个待进行回归测试的新视频;
所述处理模块还用于将新视频作为所述目标视频,重复对目标视频的回归测试操作,直至完成对所有新视频的回归测试。
第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的视频回归测试方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的视频回归测试方法。
本申请实施例提供了一种视频回归测试方法、装置、计算机设备及存储介质,通过结果标记方法自动实现不同版本之间的结果比对,针对上一版本的视觉识别问题进行回归,即通过结果标记方法自动验证回归模型的修复结果,因此,能够在测试策略层面更加有效的进行回归,有效缩短回归时间,节省回归成本,从而加快项目进度。因此,本申请能够有效解决视觉识别项目不同版本的待测视频之间问题回归时由于环境物体的差异性、人脸角度的差异性、人体姿态的差异性、环境人流的差异性、环境光线的差异性等引起的回归问题,保证了两个不同版本视觉识别算法问题暴露点的统一性。由于问题视频不断被更新,回归模型进行回归测试的视频也不断更新,因此,回归模型能够不断的学习,以适应或涵盖更多的验证环境,即更加了解同一验证场景下验证环境的多样性变化,这样有利于当验证环境发生变化时,也能够对目标视频中的检测对象进行准确的视觉识别,最终能够输出可靠的识别结果。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的视觉识别算法模型形成过程的示意图;
图2为本申请实施例提供的视频回归测试方法的流程示意图;
图3a为本申请实施例提供的对待测视频分别进行回归测试的流程示意图;
图3b为本申请实施例提供的提测问题记录视频裁剪方法的流程示意图;
图3c为本申请实施例提供的回归自动识别验证方法的流程示意图;
图4为本申请实施例提供的视频回归测试装置的示意性框图;
图5为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1本申请实施例提供的视觉识别算法模型形成过程示意图;图2为本申请实施例提供的视频回归测试方法的流程示意图,该视频回归测试方法应用于服务器中,该方法通过安装于服务器中的应用软件进行执行。
如图2所示,该方法包括步骤S101~S104。
S101、获取待进行回归测试的目标视频及目标视频中的问题视频,采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库。
其中,目标视频为非回归验证版本的视频,即目标视频没有被回归模型进行过回归测试。一些实施方式中,可通过实时流传输协议(Real Time Streaming Protocol,rtsp)协议获取目标视频。
本申请中的回归模型是指检测对象和验证环境对检测可靠性的预测模型,例如可以是指被测人员与被测人员的人脸角度对检测可靠性的预测模型,也可以是指被测人员与被测人员的人体姿态对检测可靠性的预测模型,也可以是指被测人员与被测场所的人流情况对检测可靠性的预测模型,其它场景不作赘述,以此类推。
一些实施方式中,如图3b所示,本申请基于opencv实现人脸识别、动作识别、运动跟踪等时,可使用opencv读取视频帧,采用videocapture.set()方式截取目标视频中的任意时间段的视频帧。具体来说,可在opencv时间段对目标视频进行裁剪,以得到该问题视频,具体包括:
(1)、确定目标视频是否为空,
(2-1)、若为空,则执行测试case.
(2-2)、若不为空,则结束;
(3)、确定目标视频中是否存在错误识别的视频,即回归模型按照当前已有的验证场景去识别目标视频中是否存在错误识别、无法识别或者差异性识别的视频,如果目标视频的验证环境与回归模型当前已有的验证场景差不多或者一致,那么在对目标视频进行视觉识别时,可以等同认为是同一种验证场景,即验证环境几乎未发生变化,反之,则认为验证环境发生变化且是同一种验证场景,或者认为验证环境发生变化且不是同一种验证场景。
(4-1)、若不存在,则执行下一个case。
其中,case是指对下一个未被回归测试过的待测视频进行回归测试和漏洞识别等操作。
(4-2)、若存在,则识别目标视频中错误识别的视频并裁剪出预设时长的视频作为问题视频保存。
例如,可以在预设时长T-Err的基础上增加误差值保存问题视频,例如,以5s为正负误差,生成T-Err±5s的问题视频并保存。
(5)、将问题视频输入回归模型,以对该问题视频进行回归测试,即可识别问题视频,并得到目标识别结果。
(6)、确定目标视频的目标版本号,按照目标版本号将目标识别结果更新到问题记录视频数据库Err-lib中目标版本号的视频,并执行下一个case。
S102、从问题记录视频数据库中获取问题视频,将问题视频输入回归模型中进行回归测试,得到目标识别结果。
其中,目标识别结果为第一时段内生成的结果。第一时段包括起始时刻、结束时刻和总时长。例如,第一时段可为问题视频的第2s-第10s。
具体来说,获取到问题视频后,可将从问题记录视频数据库中获取的问题视频输入回归模型中进行回归测试,即对目标视频中的问题视频进行回放,具体可采用ffmpeg+rtsp协议+opencv实现对问题视频的回放。
S103、将目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且目标识别结果与历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试。
其中,历史识别结果包括至少一个携带正确标记的识别结果,历史识别结果来来自至少一轮回归计算的识别结果。例如历史识别结果可包括上一轮回归计算中在第一时段的生成结果R1进行自动比对,判断其回归结果。例如,以历史识别结果为上一轮回归计算的识别结果为例,历史识别结果为R1,目标识别结果为R2,那么且R2等于R1中的标记正确的数据。
目标识别结果为对回归模型修复后的一种修复结果,即修复了回归模型在识别目标视频之前无法识别目标视频中问题视频所处的验证环境中的检测对象的问题,也就是通过以目标识别结果能够对回归模型进行漏洞问题的回归。
本申请实施例中的历史识别结果为历史视频的回归测试结果,历史视频为已通过回归模型的回归测试的验证的视频。历史视频与目标视频至少在一种不同的验证环境下拍摄得到,本申请不对与问题视频的目标识别结果进行比较的历史识别结果对应的历史视频的数量、所选择的通过回归测试的时段作限定,只要能做比较的参考视频即可。例如,历史视频拍摄时,验证环境中的物体与目标视频存在至少一种差异,例如物体类型更换、物体拍摄角度变化等。又例如,历史视频拍摄时,验证环境中被测人员的人脸与目标视频存在至少一种差异,例如拍摄的被测人员的人脸角度与目标视频至少存在一种差异。又例如,历史视频拍摄时,验证环境中的被测人员的人体姿态与目标视频存在至少一种差异。又例如,历史视频拍摄时,验证环境中的人流与目标视频存在至少一种差异。
本申请实施例,上述将目标识别结果与历史识别结果进行比较的过程也可简称为结果标记方式,即通过结果标记方式验证目标识别结果。
由于历史识别结果中的数据都是通过回归模型的回归测试的,因此,为了便于对后续的新视频的回归测试,以及比较历史识别结果和目标识别结果,本申请在历史识别结果通过回归测试的验证后,需要对历史识别结果中验证结果为正确的数据设置类似“标记正确”的标记,本申请不对标记的设置方式的名称作限定。同理,历史识别结果通过回归测试的验证后,也同样会对问题视频中验证结果为正确的数据设置“标记正确”的标记。
S104、获取下一个待进行回归测试的新视频,将新视频作为S101中的目标视频,重复上述S101至S104,直至完成对所有新视频的回归测试,即实现回归自动识别测试。
一些实施方式中,为便于理解,下面举例说明。如下图3所示,介绍将问题视频输入回归模型中进行回归测试,得到目标识别结果的过程,具体包括:
(1)、确定问题记录视频数据库Err-lib是否为空。
(2-1)、若为空,则结束。
(2-2)、若不为空,则读取问题记录视频数据库Err-lib中的问题视频。
(3)、将问题视频输入回归模型。
(4)、回归模型对问题视频进行回归测试,生成目标识别结果。
(5)、将目标识别结果与历史识别结果进行比较。
(6-1)、若目标识别结果为历史识别结果的部分或全部数据,且目标识别结果与历史识别结果中携带正确标记的数据一致,则确定测试通过,并回到起始节点进行下一个问题视频的识别流程。即回到步骤(1)。
(6-2)、若目标识别结果不满足以下项中的至少一项,则确定本次回归测试失败:
不为历史识别结果的部分或全部数据、目标识别结果与历史识别结果中携带正确标记的数据一致。
(7)、记录步骤(6-2)中测试失败的问题视频对应的视频编号,并回到起始节点进行下一个问题视频的识别流程。即回到步骤(1)。
由于问题视频不断被更新,回归模型进行回归测试的视频也不断更新,因此,回归模型能够不断的学习,以适应或涵盖更多的验证环境,即更加了解同一验证场景下验证环境的多样性变化,这样有利于当验证环境发生变化时,也能够对目标视频中的检测对象进行准确的视觉识别(例如在车站对一个嫌疑人员进行视觉识别时,就会存在不同时段内人流量变化的情形),最终能够输出可靠的识别结果。此外,由于问题视频更新,所以对于历经上一轮回归测试的回归模型能够对新产生的问题视频进行回归,进而实现对回归模型的不断修复更新,增加回归模型的预测范围、最终提高回归模型的可靠性。
一些实施方式中,上述图3c所对应的实施例可基于下述代码实现:
本申请实施例中,即便在不同版本的待测视频之间测试环境存在差异性,由于视觉识别算法模型利用ffmpeg+rtsp协议+opencv实现问题视频回放,自动验证算法模型,通过结果标记方法自动实现不同版本之间的结果比对,针对上一版本的视觉识别问题进行回归,即通过结果标记方法自动验证回归模型的修复结果,因此,能够在测试策略层面更加有效的进行回归,有效缩短回归时间,节省回归成本,从而加快项目进度。因此,本申请能够有效解决视觉识别项目不同版本的待测视频之间问题回归时由于环境物体的差异性、人脸角度的差异性、人体姿态的差异性、环境人流的差异性、环境光线的差异性等引起的回归问题,保证了两个不同版本视觉识别算法问题暴露点的统一性。由于问题视频不断被更新,回归模型进行回归测试的视频也不断更新,因此,回归模型能够不断的学习,以适应或涵盖更多的验证环境,即更加了解同一验证场景下验证环境的多样性变化,这样有利于当验证环境发生变化时,也能够对目标视频中的检测对象进行准确的视觉识别,最终能够输出可靠的识别结果。因此本申请的技术方案具有创造性。
本申请实施例还提供一种视频回归测试装置,该视频回归测试装置用于执行前述视频回归测试方法的任一实施例。具体地,请参阅图4,图4是本申请实施例提供的视频回归测试装置的示意性框图。该视频回归测试装置30可以配置于服务器中。
如图4所示,视频回归测试装置30包括:获取模块301和处理模块302。
一些实施例中,获取模块301用于获取待进行回归测试的目标视频及目标视频中的问题视频
处理模块302用于采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库;所述目标视频为非回归验证版本的视频;通过所述获取模块301从问题记录视频数据库中获取问题视频,将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果;
所述处理模块302还用于将所述目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;其中,所述历史识别结果包括至少一个携带正确标记的识别结果,所述历史识别结果来自至少一轮回归计算的识别结果;所述历史识别结果为历史视频的回归测试结果,所述历史视频为已通过回归模型的回归测试的验证的视频;所述历史视频与所述目标视频至少在一种不同的验证环境下拍摄得到;
所述获取模块301还用于获取下一个待进行回归测试的新视频;
所述处理模块302还用于将新视频作为所述目标视频,重复对目标视频的回归测试操作,直至完成对所有新视频的回归测试。
在一实施例中,所述处理模块302在所述历史识别结果通过回归测试的验证后,还用于:
对所述历史识别结果中验证结果为正确的数据设置预设标记,所述预设标记用于指示所述历史识别结果中验证结果为正确的数据;
在一实施例中,所述处理模块302在所述历史识别结果通过回归测试的验证后,还用于:
对所述问题视频中验证结果为正确的数据设置所述预设标记。
在一实施例中,所述处理模块302具体用于:
步骤a:若确定问题记录视频数据库为空,则读取所述问题记录视频数据库中的问题视频;
步骤b:将所述问题视频输入回归模型,以对所述问题视频进行回归测试,生成所述目标识别结果;
步骤c:将所述目标识别结果与所述历史识别结果进行比较;
若所述目标识别结果为所述历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定测试通过,并对下一个问题视频进行回归测试。
在一实施例中,所述处理模块302将所述目标识别结果与所述历史识别结果进行比较之后,还可用于:
若目标识别结果不满足以下项中的至少一项,则确定本次回归测试失败:
不为历史识别结果的部分或全部数据、目标识别结果与历史识别结果中携带正确标记的数据一致;
记录测试失败的问题视频对应的视频编号,并对下一个问题视频进行回归测试。
在一实施例中,所述处理模块302还可执行以下操作中的至少一项操作:
拍摄所述历史视频时,验证环境中的物体与目标视频存在至少一种差异;
拍摄所述历史视频时,验证环境中被测人员的人脸与目标视频存在至少一种差异;
或者,拍摄所述历史视频时,验证环境中的被测人员的人体姿态与目标视频存在至少一种差异。
在一实施例中,所述目标识别结果为对回归模型修复后的一种修复结果。
该视频回归测试装置30能够有效解决视觉识别项目不同版本的待测视频之间问题回归时由于环境物体的差异性、人脸角度的差异性、人体姿态的差异性、环境人流的差异性、环境光线的差异性等引起的回归问题,保证了两个不同版本视觉识别算法问题暴露点的统一性。
上述视频回归测试装置30可以实现为计算机程序的形式,该计算机程序可以在如图5所示的计算机设备上运行。
请参阅图5,图5是本申请实施例提供的计算机设备的示意性框图。该计算机设备500是服务器,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图5,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行视频回归测试方法。
该处理器502用于提供计算和控制能力,支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行视频回归测试方法。
该网络接口505用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现本申请实施例公开的视频回归测试方法。
本领域技术人员可以理解,图5中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图4所示实施例一致,在此不再赘述。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本申请实施例公开的视频回归测试方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种视频回归测试方法,其特征在于,所述方法包括:
获取待进行回归测试的目标视频及目标视频中的问题视频,采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库;所述目标视频为非回归验证版本的视频;
从问题记录视频数据库中获取问题视频,将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果;
将所述目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;其中,所述历史识别结果包括至少一个携带正确标记的识别结果,所述历史识别结果来自至少一轮回归计算的识别结果;所述历史识别结果为历史视频的回归测试结果,所述历史视频为已通过回归模型的回归测试的验证的视频;所述历史视频与所述目标视频至少在一种不同的验证环境下拍摄得到;
获取下一个待进行回归测试的新视频,将新视频作为所述目标视频,重复对目标视频的回归测试操作,直至完成对所有新视频的回归测试。
2.根据权利要求1所述的方法,其特征在于,在所述历史识别结果通过回归测试的验证后,所述方法还包括:
对所述历史识别结果中验证结果为正确的数据设置预设标记,所述预设标记用于指示所述历史识别结果中验证结果为正确的数据。
3.根据权利要求1或2所述的方法,其特征在于,在所述历史识别结果通过回归测试的验证后,所述方法还包括:
对所述问题视频中验证结果为正确的数据设置所述预设标记。
4.根据权利要求3所述的方法,其特征在于,所述将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果,包括:
若确定问题记录视频数据库为空,则读取所述问题记录视频数据库中的问题视频;
将所述问题视频输入回归模型,以对所述问题视频进行回归测试,生成所述目标识别结果;
将所述目标识别结果与所述历史识别结果进行比较;
若所述目标识别结果为所述历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定测试通过,并对下一个问题视频进行回归测试。
5.根据权利要求4所述的方法,其特征在于,所述将所述目标识别结果与所述历史识别结果进行比较之后,所述方法还包括:
若目标识别结果不满足以下项中的至少一项,则确定本次回归测试失败:
不为历史识别结果的部分或全部数据、目标识别结果与历史识别结果中携带正确标记的数据一致;
记录测试失败的问题视频对应的视频编号,并对下一个问题视频进行回归测试。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括以下项中的至少一项:
拍摄所述历史视频时,验证环境中的物体与目标视频存在至少一种差异;
拍摄所述历史视频时,验证环境中被测人员的人脸与目标视频存在至少一种差异;
或者,拍摄所述历史视频时,验证环境中的被测人员的人体姿态与目标视频存在至少一种差异。
7.根据权利要求6所述的方法,其特征在于,所述目标识别结果为对回归模型修复后的一种修复结果。
8.一种视频回归测试装置,其特征在于,包括:
获取模块,用于获取待进行回归测试的目标视频及目标视频中的问题视频
处理模块,用于采用视觉识别算法,基于目标视频和问题视频生成问题记录视频数据库;所述目标视频为非回归验证版本的视频;通过所述获取模块从问题记录视频数据库中获取问题视频,将所述问题视频输入回归模型中进行回归测试,得到第一时段内生成的目标识别结果;
所述处理模块还用于将所述目标识别结果与历史识别结果进行比较,若目标识别结果为历史识别结果的部分或全部数据,且所述目标识别结果与所述历史识别结果中携带正确标记的数据一致,则确定问题视频通过回归测试;其中,所述历史识别结果包括至少一个携带正确标记的识别结果,所述历史识别结果来自至少一轮回归计算的识别结果;所述历史识别结果为历史视频的回归测试结果,所述历史视频为已通过回归模型的回归测试的验证的视频;所述历史视频与所述目标视频至少在一种不同的验证环境下拍摄得到;
所述获取模块还用于获取下一个待进行回归测试的新视频;
所述处理模块还用于将新视频作为所述目标视频,重复对目标视频的回归测试操作,直至完成对所有新视频的回归测试。
9.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的视频回归测试方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的视频回归测试方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011449501.XA CN112580467A (zh) | 2020-12-08 | 2020-12-08 | 视频回归测试方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011449501.XA CN112580467A (zh) | 2020-12-08 | 2020-12-08 | 视频回归测试方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112580467A true CN112580467A (zh) | 2021-03-30 |
Family
ID=75131776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011449501.XA Pending CN112580467A (zh) | 2020-12-08 | 2020-12-08 | 视频回归测试方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112580467A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360378A (zh) * | 2021-06-04 | 2021-09-07 | 北京房江湖科技有限公司 | 一种用于生成vr场景的应用程序的回归测试方法及装置 |
CN114168565A (zh) * | 2021-12-10 | 2022-03-11 | 北京宇信科技集团股份有限公司 | 业务规则模型的回溯测试方法、装置、系统及决策引擎 |
CN116881175A (zh) * | 2023-09-08 | 2023-10-13 | 中科方德软件有限公司 | 应用兼容性能评估方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6490696B1 (en) * | 1999-12-15 | 2002-12-03 | Electronics For Imaging, Inc. | System and method for printer output regression testing using display lists |
CN105612554A (zh) * | 2013-10-11 | 2016-05-25 | 冒纳凯阿技术公司 | 用于表征通过视频医疗设备获取的图像的方法 |
CN105718371A (zh) * | 2016-01-21 | 2016-06-29 | 深圳市同创国芯电子有限公司 | 一种回归测试方法、装置及系统 |
CN105721864A (zh) * | 2016-04-20 | 2016-06-29 | 杭州当虹科技有限公司 | 一种基于音视频封装层参数检测的高效回归测试方法 |
US20180025503A1 (en) * | 2016-07-25 | 2018-01-25 | Intuit Inc. | Visual regression testing tool |
CN109783369A (zh) * | 2018-12-20 | 2019-05-21 | 出门问问信息科技有限公司 | 一种自然语言理解模块回归测试方法、装置及电子设备 |
US20190155719A1 (en) * | 2017-11-17 | 2019-05-23 | International Business Machines Corporation | Regression testing of new software version and deployment |
CN111309632A (zh) * | 2020-03-20 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 应用程序测试方法、装置、计算机设备及存储介质 |
CN111882580A (zh) * | 2020-07-17 | 2020-11-03 | 元神科技(杭州)有限公司 | 一种视频多目标跟踪方法及系统 |
-
2020
- 2020-12-08 CN CN202011449501.XA patent/CN112580467A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6490696B1 (en) * | 1999-12-15 | 2002-12-03 | Electronics For Imaging, Inc. | System and method for printer output regression testing using display lists |
CN105612554A (zh) * | 2013-10-11 | 2016-05-25 | 冒纳凯阿技术公司 | 用于表征通过视频医疗设备获取的图像的方法 |
CN105718371A (zh) * | 2016-01-21 | 2016-06-29 | 深圳市同创国芯电子有限公司 | 一种回归测试方法、装置及系统 |
CN105721864A (zh) * | 2016-04-20 | 2016-06-29 | 杭州当虹科技有限公司 | 一种基于音视频封装层参数检测的高效回归测试方法 |
US20180025503A1 (en) * | 2016-07-25 | 2018-01-25 | Intuit Inc. | Visual regression testing tool |
US20190155719A1 (en) * | 2017-11-17 | 2019-05-23 | International Business Machines Corporation | Regression testing of new software version and deployment |
CN109783369A (zh) * | 2018-12-20 | 2019-05-21 | 出门问问信息科技有限公司 | 一种自然语言理解模块回归测试方法、装置及电子设备 |
CN111309632A (zh) * | 2020-03-20 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 应用程序测试方法、装置、计算机设备及存储介质 |
CN111882580A (zh) * | 2020-07-17 | 2020-11-03 | 元神科技(杭州)有限公司 | 一种视频多目标跟踪方法及系统 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113360378A (zh) * | 2021-06-04 | 2021-09-07 | 北京房江湖科技有限公司 | 一种用于生成vr场景的应用程序的回归测试方法及装置 |
CN114168565A (zh) * | 2021-12-10 | 2022-03-11 | 北京宇信科技集团股份有限公司 | 业务规则模型的回溯测试方法、装置、系统及决策引擎 |
CN114168565B (zh) * | 2021-12-10 | 2022-07-08 | 北京宇信科技集团股份有限公司 | 业务规则模型的回溯测试方法、装置、系统及决策引擎 |
CN116881175A (zh) * | 2023-09-08 | 2023-10-13 | 中科方德软件有限公司 | 应用兼容性能评估方法、装置、电子设备及存储介质 |
CN116881175B (zh) * | 2023-09-08 | 2023-11-21 | 中科方德软件有限公司 | 应用兼容性能评估方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112580467A (zh) | 视频回归测试方法、装置、计算机设备及存储介质 | |
CN108875837B (zh) | 用于测试目标识别设备的装置及方法 | |
US10571266B2 (en) | Using photogrammetry to aid identification and assembly of product parts | |
CN109858381A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
JP4353246B2 (ja) | 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法 | |
CN108055135B (zh) | 一种智能终端认证管理的方法 | |
CN111445526A (zh) | 一种图像帧之间位姿的估计方法、估计装置和存储介质 | |
CN105653922A (zh) | 生物特征验证方法和电子设备 | |
CN110969045B (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
US20100239128A1 (en) | Registering device, checking device, program, and data structure | |
CN111353549A (zh) | 图像标签的核验方法及装置、电子设备、存储介质 | |
CN109919035A (zh) | 提高考勤识别通过的方法、装置、计算机设备和存储介质 | |
CN113240673B (zh) | 缺陷检测方法、装置、电子设备及存储介质 | |
CN111583118A (zh) | 图像拼接方法、装置、存储介质及电子设备 | |
EP3121758A1 (en) | Pattern mapping | |
CN112559341A (zh) | 一种画面测试方法、装置、设备及存储介质 | |
CN111198815A (zh) | 用户界面的兼容性测试方法及装置 | |
CN109656800B (zh) | 图像识别应用的测试方法、装置、终端及存储介质 | |
CN112333165A (zh) | 身份认证方法、装置、设备及系统 | |
CN113569676B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
JP6432634B2 (ja) | 認証装置、認証方法、及びプログラム | |
CN108717533B (zh) | 一种车牌智能识别方法、装置及相关设备 | |
CN110730342B (zh) | 一种视频质量分析方法、装置、服务器及终端 | |
CN114387296A (zh) | 目标轨迹追踪方法、装置、计算机设备及存储介质 | |
CN111060507B (zh) | 一种车辆验证方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |