CN114640608B - 测试方法及装置、电子设备及计算机可读存储介质 - Google Patents
测试方法及装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114640608B CN114640608B CN202210338345.2A CN202210338345A CN114640608B CN 114640608 B CN114640608 B CN 114640608B CN 202210338345 A CN202210338345 A CN 202210338345A CN 114640608 B CN114640608 B CN 114640608B
- Authority
- CN
- China
- Prior art keywords
- video stream
- time
- frame
- test video
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010998 test method Methods 0.000 title claims description 5
- 238000012360 testing method Methods 0.000 claims abstract description 419
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000153 supplemental effect Effects 0.000 claims description 11
- 230000003111 delayed effect Effects 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Abstract
本申请公开了一种测试方法及装置、电子设备及计算机可读存储介质。该方法包括:获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种测试方法及装置、电子设备及计算机可读存储介质。
背景技术
随着计算视觉技术的快速发展,各种具备不同功能的计算机视觉模型应运而生,例如,人脸识别模型可用于进行人脸识别,物体检测模型可用于检测物体,动作监测模型可用于监测是否发生特定动作。
但由于计算机视觉模型检测目标事件时存在检测时延,导致计算机视觉模型输出的目标事件的发生时间与目标事件的真实发生时间之间存在误差,进而导致通过计算机视觉模型输出的目标事件的发生时间的准确度低。因此,如何测试计算机视觉模型的检测时延具有非常重要的意义。
发明内容
本申请提供一种测试方法及装置、电子设备及计算机可读存储介质。
本申请提供了一种测试方法,所述方法包括:
获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;
利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;
根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
结合本申请任一实施方式,所述获取第一时间,包括:
获取目标帧号,所述目标帧号为所述目标事件在所述第一测试视频流中的起始帧的帧号;
根据所述目标帧号,确定第一起始帧;
确定所述第一起始帧输入至所述待测试模型的时间为所述第一时间。
结合本申请任一实施方式,所述获取第一测试视频流,包括:
获取第二测试视频流,所述第二测试视频流的补充增强信息包括所述目标事件的发生标识;
根据所述发生标识,确定所述目标事件在所述第二测试视频中的第二起始帧;
对所述第二测试视频流进行数据解析处理,得到所述第一测试视频流;
所述获取目标帧号,包括:
确定所述第二起始帧的帧号为所述目标帧号。
结合本申请任一实施方式,所述获取第二测试视频流,包括:
接收通过实时流协议传输的所述第二测试视频流。
结合本申请任一实施方式,在所述得到所述待测试模型的检测时延后,所述方法还包括:
接收通过所述实时流协议传输的待处理视频流;
利用所述待测试模型对所述待处理视频流进行处理,得到所述目标事件的第一发生时间;
利用所述检测时延对所述第一发生时间进行校正,得到第二发生时间。
结合本申请任一实施方式,所述第二测试视频流的第一运动程度与所述待处理视频流的第二运动程度匹配,所述第一运动程度表征所述第二测试视频流中的场景的运动程度,所述第二运动程度表征所述待处理视频流中的场景的运动程度。
结合本申请任一实施方式,在所述接收通过实时流协议传输的所述第二测试视频流之前,所述方法还包括:
获取第三测试视频流、所述目标事件的发生标识和第三时间,所述第三时间为所述第三测试视频流中发生所述目标事件的时间;
将所述目标事件的发生标识添加至所述第三测试视频流的补充增强信息,使所述目标事件的发生标识的时间戳为所述第三时间,得到所述第二测试视频流。
结合本申请任一实施方式,所述获取第三时间,包括:
对所述第三测试视频流进行目标事件检测处理,确定所述目标事件在所述第三测试视频流中的第三发生时间;
显示所述第三测试视频流中距离所述第三发生时间最近的n张目标视频帧;
在检测到从所述n张目标视频帧中确定所述目标事件的第三起始帧的指令的情况下,确定所述第三起始帧的时间戳为所述第三时间。
本申请还提供了一种测试装置,所述装置包括:
获取单元,用于获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;
第一处理单元,用于利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;
第二处理单元,用于根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
结合本申请任一实施方式,所述获取单元,用于:
获取目标帧号,所述目标帧号为所述目标事件在所述第一测试视频流中的起始帧的帧号;
根据所述目标帧号,确定第一起始帧;
确定所述第一起始帧输入至所述待测试模型的时间为所述第一时间。
结合本申请任一实施方式,所述获取单元,用于:
获取第二测试视频流,所述第二测试视频流的补充增强信息包括所述目标事件的发生标识;
根据所述发生标识,确定所述目标事件在所述第二测试视频中的第二起始帧;
对所述第二测试视频流进行数据解析处理,得到所述第一测试视频流;
确定所述第二起始帧的帧号为所述目标帧号。
结合本申请任一实施方式,所述获取第二测试视频流,包括:
接收通过实时流协议传输的所述第二测试视频流。
结合本申请任一实施方式,所述测试装置还包括:
接收单元,用于接收通过所述实时流协议传输的待处理视频流;
所述第一处理单元,还用于利用所述待测试模型对所述待处理视频流进行处理,得到所述目标事件的第一发生时间;
所述第二处理单元,还用于利用所述检测时延对所述第一发生时间进行校正,得到第二发生时间。
结合本申请任一实施方式,所述第二测试视频流的第一运动程度与所述待处理视频流的第二运动程度匹配,所述第一运动程度表征所述第二测试视频流中的场景的运动程度,所述第二运动程度表征所述待处理视频流中的场景的运动程度。
结合本申请任一实施方式,所述获取单元,还用于获取第三测试视频流、所述目标事件的发生标识和第三时间,所述第三时间为所述第三测试视频流中发生所述目标事件的时间;
所述第二处理单元,还用于将所述目标事件的发生标识添加至所述第三测试视频流的补充增强信息,使所述目标事件的发生标识的时间戳为所述第三时间,得到所述第二测试视频流。
结合本申请任一实施方式,所述获取单元,用于:
对所述第三测试视频流进行目标事件检测处理,确定所述目标事件在所述第三测试视频流中的第三发生时间;
所述测试装置还包括:显示单元,用于显示所述第三测试视频流中距离所述第三发生时间最近的n张目标视频帧;
所述第二处理单元,还用于在检测到从所述n张目标视频帧中确定所述目标事件的第三起始帧的指令的情况下,确定所述第三起始帧的时间戳为所述第三时间。
本申请还提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述测试方法及其任意一种可能实现的方式的方法。
本申请还提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述测试方法及其任意一种可能实现的方式的方法。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述测试方法及其任意一种可能实现的方式的方法。
本申请还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行如上述测试方法及其任意一种可能实现的方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种测试方法的流程示意图;
图2为本申请实施例提供的另一种测试方法的流程示意图;
图3为本申请实施例提供的另一种测试方法的流程示意图;
图4为本申请实施例提供的一种测试装置的结构示意图;
图5为本申请实施例提供的一种测试装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
随着计算视觉技术的快速发展,各种具备不同功能的计算机视觉模型应运而生,例如,人脸识别模型可用于进行人脸识别,物体检测模型可用于检测物体,动作监测模型可用于监测是否发生特定动作。
基于此,电子设备使用计算机视觉模型对视频流进行处理,可确定视频流中是否有目标事件发生,其中,上述目标事件包括:违章停车、垃圾满溢等等。
但由于计算机视觉模型检测目标事件时存在检测时延,导致计算机视觉模型输出的目标事件的发生时间与目标事件的真实发生时间之间存在误差,进而导致通过计算机视觉模型输出的目标事件的发生时间的准确度低。
考虑到计算机视觉模型的检测时延是难以消除,通过消除计算机视觉模型的检测时延,来减少因检测出的发生时间准确度低导致的安全隐患(如目标事件为行人摔倒,如果未能及时检测出行人摔倒的发生,可能会导致不能及时救助摔倒的行人)的难度较大。
因此,可通过测试出计算机视觉模型的检测时延,并根据计算机视觉模型检测出的目标事件的发生时间和检测时延,确定目标事件的真实发生时间。由此减少因检测出的发生时间准确度低导致的安全隐患。因此,如何测试计算机视觉模型的检测时延具有非常重要的意义。
本申请实施例的执行主体为测试装置,其中,测试装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,测试装置可以是以下中的一种:手机、计算机、平板电脑、可穿戴智能设备。
应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种测试方法的流程示意图。
101、获取第一测试视频流、第一时间和待测试模型。
本申请实施例中,第一测试视频流可以是离线视频流,也可以是在线视频流。其中,离线视频可以是通过摄像头或移动智能设备采集获得的视频流。在线视频可以是摄像头实时获得测试视频流,例如,测试装置可与一个或一个以上摄像头之间具有通信连接,测试装置可将从摄像头获取的实时采集的视频流作为第一测试视频流。
在一种获取第一测试视频流的实现方式中,测试装置将用户通过输入组件输入的测试视频流作为第一测试视频流。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器。
在另一种获取第一测试视频流的实现方式中,测试装置接收终端发送的测试视频流作为第一测试视频流。上述终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
在又一种获取第一测试视频流的实现方式中,测试装置包括摄像头。测试装置通过摄像头采集视频流得到第一测试视频流。
本申请实施例中,第一时间表征目标事件在第一测试视频流中的发生时间,即目标事件在第一测试视频流中开始发生的时间。该第一时间可理解为目标事件的真实起始时间。
例如,目标事件为违章停车,违章停车从第一测试视频流的第2分3秒开始发生,那么第一时间为第一测试视频流的第2分3秒。
又例如,目标事件为行人摔倒,行人摔倒从第一测试视频流的第八帧视频帧开始发生,那么第一时间为第八帧视频帧的时间戳。
在一种获取第一时间的实现方式中,测试装置将用户通过输入组件输入的第一时间。
在另一种获取第一时间的实现方式中,测试装置接收终端发送的第一时间。
本申请实施例中,待测试模型为用于检测目标事件的计算机视觉模型,利用待测试模型对视频流进行处理,可检测视频流中是否包含目标事件,以及目标事件的发生时间。
例如,待测试模型可以检测视频流中是否存在人员聚集事件。在视频流中存在人员聚集事件的情况下,待测试模型还可确定人员聚集事件的发生时间。
又例如,待测试模型可以检测视频流中是否存在垃圾满溢事件;再例如,待测试模型既可检测视频流中是否出在垃圾满溢事件,又可检测视频流中是否存在违章停车事件。
在一种获取待测试模型的实现方式中,测试装置将用户通过输入组件输入的待测试模型。
在另一种获取待测试模型的实现方式中,测试装置接收终端发送的待测试模型。
应理解,本申请实施中,获取第一测试视频流的步骤、获取第一时间的步骤、获取待测试模型的步骤,可以同时执行,也可以分开执行,本申请对此不做限定。
102、利用上述待测试模型对上述第一测试视频流进行处理,将上述待测试模型确定上述第一测试视频流中发生目标事件的时间,作为第二时间。
本申请实施例中,第二时间为待测试模型对第一测试视频流进行处理后,确定的第一测试视频流中发生目标事件的起始时间。
例如,目标事件为违章停车。经待测试模型对第一测试视频流进行处理,确定从第一测试视频流的第1分32秒开始发生,那么第二时间为第一测试视频流的第1分32秒。
又例如,目标事件为行人摔倒。经待测试模型对第一测试视频流进行处理,行人摔倒从第一测试视频流的第二十帧视频帧开始发生,那么第二时间为第二十帧视频帧。
103、根据上述第一时间和上述第二时间的时间差,得到上述待测试模型的检测时延。
由于第一时间为目标事件的真实起始时间,第二时间为待测试模型检测出的目标事件的起始时间。测试装置确定第一时间和第二时间的时间差,即可得到待测试模型的检测时延。
本申请实施例中,测试装置在获取到第一时间的情况下,通过利用待测试模型对第一测试视频流进行处理,确定待测试模型检测出的目标事件的起始时间,得到第二时间。通过确定第一时间和第二时间的时间差,得到待测试模型的检测时延。
作为一种可选的实施方式,测试装置通过执行以下步骤获取第一时间:
201、获取目标帧号。
本申请实施例中,目标帧号为目标事件在第一测试视频流中的起始帧的帧号。例如,目标事件为行人摔倒。在第一测试视频流中,行人摔倒从第一测试视频流的第四十帧视频帧开始发生,那么第一测试视频流中的起始帧为第四十帧视频帧,即目标帧号为四十。
在一种获取目标帧号的实现方式中,测试装置将用户通过输入组件输入的目标帧号。
在另一种获取目标帧号的实现方式中,测试装置接收终端发送的目标帧号。
202、根据上述目标帧号,确定第一起始帧。
本申请实施例中,第一起始帧为目标事件在第一测试视频流中的起始帧。测试装置根据目标帧号,确定目标帧号对应的视频帧为第一起始帧。
例如,目标事件为行人摔倒,目标帧号为三十。那么在第一测试视频流中,行人摔倒从第一测试视频流的第三十帧视频帧开始发生,即起始帧为第三十帧视频帧。
203、确定上述第一起始帧输入至上述待测试模型的时间为上述第一时间。
本申请实施例中,待测试模型在对第一测试视频流进行处理的过程中,对第一测试视频流中的至少一帧视频帧进行处理。
具体的,第一测试视频流中的至少一帧视频帧输入至待测试模型,待测试模型进而对第一测试视频流的至少一帧视频帧进行处理。
例如,第一测试视频流包括第一帧视频帧、第二帧视频帧、第三帧视频帧。在利用待测试模型对第一测试视频流进行处理的过程中,首先将第一帧视频帧、第二帧视频帧、第三帧视频帧依次输入至待测试模型,以使待测试模型对第一帧视频帧、第二帧视频帧、第三帧视频帧依次进行处理。
又例如,第一测试视频流包括第一帧视频帧、第二帧视频帧、第三帧视频帧、第四帧视频帧。在利用待测试模型对第一测试视频流进行处理的过程中,将第一帧视频帧、第三帧视频帧依次输入至待测试模型,以使待测试模型对第一帧视频帧、第三帧视频帧依次进行处理。
待测试模型检测视频帧中是否存在目标事件的依据是,检测视频帧中是否存在目标事件的发生标志。
例如,目标事件为行人摔倒,行人摔倒的发生标志为人与地面接触。又例如,目标事件为违章停车,违章停车的发生标志为车辆进入违章停车区域。
由于第一起始帧为目标事件的起始视频帧,第一起始帧包括目标事件的发生标志。因此,待测试模型在检测到第一起始帧中存在目标事件的发生标志的情况下,确定第一起始帧中存在目标事件,进而确定第一测试视频流中存在目标事件。
因此,待测试模型的检测时延即为待测试模型检测出第一起始帧中存在目标事件所花的时间。基于此,测试装置可确定第一起始帧输入至待测试模型的时间,为目标事件的真实发生时间,即确定第一起始帧输入至待测试模型的时间为第一时间。
在一种可能实现的方式中,若在利用待测试模型对第一测试视频流进行处理的过程中,第一起始帧已输入至待测试模型,则测试装置将第一起始帧输入待测试模型的时间作为第一时间。
例如,第一测试视频流包括第一帧视频帧、第二帧视频帧和第三帧视频帧,若第二帧视频帧为第一起始帧。第二帧视频帧输入至待测试模型的时间为t1,那么第一时间为t1。
在另一种可能实现的方式中,若在利用待测试模型对第一测试视频流进行处理的过程中,第一起始帧未输入至待测试模型,则测试装置从输入待测试模型的至少一帧视频帧中,确定时间戳大于第一起始帧的至少一帧视频帧,作为至少一帧备选视频帧。将至少一帧备选视频帧中时间戳最小的视频帧输入待测试模型的时间,作为第一时间。
例如,第一测试视频流包括第一帧视频帧、第二帧视频帧、第三帧视频帧和第四帧视频帧。若第二帧视频帧为第一起始帧,在利用待测试模型对第一测试视频流进行处理的过程中,输入至待测试模型的至少一帧视频帧为:第一帧视频帧、第三帧视频帧、第四帧视频帧,其中,第一帧视频帧的时间戳小于第一起始帧的时间戳,第三帧视频帧的时间戳和第四帧视频帧的时间戳均大于第一起始帧的时间戳,且第三帧视频帧的时间戳小于第四帧视频帧的时间戳。
此时,至少一帧备选视频帧包括第三帧视频帧和第四帧视频帧。由于第三帧视频帧的时间戳小于第四帧视频帧的时间戳,第三帧视频帧输入至待测试模型的时间为第一时间。
在一种可能实现的方式中,第一起始帧输入至待测试模型的时间为测试装置获取第一起始帧的时间。
例如,第一起始帧为第二十八帧视频帧,测试装置通过接收第一测试视频流获取第一测试视频流。此时,第一起始帧输入至待测试模型的时间为,测试装置接收到第二十八帧视频帧的时间。
在另一种可能实现的方式中,第一起始帧输入至待测试模型的时间为测试装置读取第一起始帧的时间。
例如,第一起始帧为第二十八帧视频帧,测试装置通过接收第一测试视频流获取第一测试视频流。
测试装置在接收到第一测试视频流中的视频帧后,将视频帧存储至存储介质。在利用待测试模型对第一测试视频流中的视频帧进行处理的过程中,首先从存储介质中读取第一测试视频流中的视频帧,再利用待测试模型对第一测试视频流中的视频帧进行处理。
此时,第一起始帧输入至待测试模型的时间为,测试装置从存储介质中读取第二十八帧视频帧的时间。
本申请实施例中,测试装置在获取目标帧号的情况下,根据目标帧号确定第一起始帧,进而确定第一起始帧输入至待测试模型的时间为第一时间,由此,可提高第一时间的准确度,进而提高检测时延的准确度。
作为一种可选的实施方式,测试装置通过执行以下步骤获取第一测试视频流:
301、获取第二测试视频流。
本申请实施中,第二测试视频流的补充增强信息(supplemental enhancementinformation,SEI)包括目标事件的发生标识。发生标识表征目标事件的发生。
例如,发生标识为以下字符:“##¥”,那么在第二测试视频流的SEI中,字符“##¥”表征目标事件的发生。
在第二测试视频流的SEI中,发生标识所对应的时间戳,即为目标事件在第二视频流中的发生时间。
例如,目标事件的发生标识为:&@%。在第二测试视频流的SEI中,&@%所对应的时间戳为3分2秒,那么目标事件在第二视频流中的发生时间为3分2秒。
又例如,目标事件的发生标识为:&*。在第二测试视频流的SEI中,&*所对应的时间戳为第十帧视频帧的时间戳,那么目标事件在第二视频流中的发生时间为第十帧视频帧的时间戳。
在一种获取第二测试视频流的实现方式中,测试装置将用户通过输入组件输入的测试视频流作为第二测试视频流。
在另一种获取第二测试视频流的实现方式中,测试装置接收终端发送的测试视频流作为第二测试视频流。
302、根据上述目标事件的发生标识,确定上述目标事件在上述第二测试视频中的第二起始帧。
本申请实施例中,第二起始帧为目标事件在第二测试视频流中的起始帧。例如,目标事件为违章停车,在第二测试视频流中,从第十三帧视频帧开始发生违章停车。此时,第二起始帧为第十三帧视频帧。
303、对上述第二测试视频流进行数据解析处理,得到上述第一测试视频流。
本申请实施例中,第二测试视频流为编码后的视频流。测试装置通过对第二测试视频流进行数据解析处理,可得到第一测试视频流。
具体的,测试装置通过对第二测试视频流进行数据解析处理,提取第二测试视频流的SEI,得到至少一帧解析后的视频帧。根据至少一帧解析后的视频帧,得到第一测试视频流。
例如,第二测试视频流包括视频帧a、视频帧b、视频帧c,其中,视频帧a的时间戳小于视频帧b的时间戳,视频帧b的时间戳小于视频帧c的时间戳。
测试装置通过对第二测试视频流进行数据解析处理,提取第二测试视频流的SEI,得到视频帧d、视频帧e、视频帧f,其中,视频帧d与视频帧a对应,视频帧e与视频帧b对应,视频帧f与视频帧c对应。此时,至少一帧解析后的视频帧包括视频帧d、视频帧e、视频帧f。
根据至少一帧解析后的视频帧得到的第一测试视频流包括视频帧d、视频帧e、视频帧f,且在第一测试视频流中,视频帧d的时间戳小于视频帧e的时间戳,视频帧e的时间戳小于视频帧f的时间戳。
在一种可能实现的方式中,视频流采集装置与测试装置之间存在通信连接。视频流采集装置通过该通信连接向测试装置传输待传输视频流。视频流采集装置在向测试装置发送待传输视频流之前,对待传输视频流进行编码,降低待传输视频流的数据量,得到第二测试视频流。
测试装置在接收到视频流采集装置发送的第二测试视频流后,对第二测试视频流进行数据解析处理,得到第一测试视频流。
在测试装置通过执行步骤301~步骤303获取第一测试视频流的情况下,测试装置在执行步骤201的过程中执行以下步骤:
304、确定上述第二起始帧的帧号为上述目标帧号。
由于第一测试视频流通过对第二测试视频流进行数据解析处理得到,第一测试视频流中的视频帧与第二测试视频流中的视频帧一一对应。因此,第二起始帧的帧号即为目标帧号。
例如,第一测试视频流包括视频帧a、视频帧b和视频帧c,其中,视频帧a为第一测试视频流的第一帧视频帧,视频帧b为第一测试视频流的第二帧视频帧,视频帧c为第一测试视频流的第三帧视频帧。
第二测试视频流包括视频帧d、视频帧e和视频帧f,其中,视频帧e为第二测试视频流的第一帧视频帧,视频帧e为第二测试视频流的第二帧视频帧,视频帧f为第二测试视频流的第三帧视频帧。
那么,视频帧d为通过对视频帧a进行数据解析处理得到的视频帧,即视频帧a与视频帧d对应。视频帧e为通过对视频帧b进行数据解析处理得到的视频帧,即视频帧b与视频帧e对应。视频帧f为通过对视频帧c进行数据解析处理得到的视频帧,即视频帧c与视频帧f对应。
本申请实施例中,测试装置在对第二测试视频流进行数据解析处理之前,根据目标事件的发生标识,确定目标事件在第二测试视频中的第二起始帧,进而可根据第二起始帧的帧号确定目标帧号。由此,减少确定目标帧号的数据处理量,提高确定目标帧号的处理速度。
可选的,图2为本申请实施例提供的该种实施方式的流程图。如图2所示,测试装置在获取第二测试视频流后,从第二测试视频流中逐帧获取视频帧。判断获取的视频帧是否携带目标事件的发生标识。如果判断结果为否,则获取下一帧视频帧,并继续判断视频帧是否携带目标事件的发生标识。
如果判断结果为是,则确定携带目标事件的发生标识的视频帧为第二起始帧。对第二测试视频流进行数据解析处理,得到第一测试视频流。
在从第一测试视频流中逐帧读取视频帧的过程中,确定视频帧的帧号是否为目标帧号,其中,目标帧号为第二起始帧的帧号。如果是,则确定该帧视频帧为第一起始帧,并确定第一起始帧输入待测试模型的时间为第一时间。
作为一种可选的实施方式,测试装置在执行步骤301的过程中执行以下步骤:
401、接收通过实时流协议(real time streaming protocol,RTSP)传输的上述第二测试视频流。
在测试装置接收到通过RTSP传输的第二测试视频流的情况下,测试装置基于前文所提供的技术方案得到的检测时延,为待测试模型对通过RTSP传输的视频流进行检测时,所产生的检测时延。
作为一种可选的实施方式,测试装置还执行以下步骤:
501、接收通过上述RTSP传输的待处理视频流。
502、利用上述待测试模型对上述待处理视频流进行处理,得到上述目标事件的第一发生时间。
503、利用上述检测时延对上述第一发生时间进行校正,得到第二发生时间。
在一种可能实现的方式中,若检测时延表征第二时间晚于第一时间,则测试装置将第一发生时间与检测时延的差,作为第二发生时间。
在另一种可能实现的方式中,若检测时延表征第二时间早于第一时间,则测试装置将第一发生时间与检测时延的和,作为第二发生时间。
由于通过RTSP传输数据存在时延(下文简称为传输时延),本申请实施例中,测试装置在执行步骤401的情况下,得到测试待测试模型对通过RTSP传输的视频流进行检测所产生的检测时延,可提高检测时延与通过RTSP传输待处理视频流的应用场景的匹配度。
这样,在将检测时延用于校正通过RTSP传输待处理视频流的应用场景下的第一发生时间时,可提高校正效果,进而提高通过校正得到的第二发生时间的准确度。
此外,在该中实施方式中,测试装置根据目标事件的发生标识,确定第二起始帧,可提高测试装置确定的第二起始帧的准确度,进而提高目标帧号的准确度。
例如,视频流采集装置与测试装置之间存在通信连接。视频流采集装置通过该通信连接向测试装置传输待传输视频流。目标事件在待传输视频流中的起始帧为第二帧视频帧,即目标事件在待传输视频流中的起始帧的帧号为第二帧。在视频流采集装置向测试装置传输待传输视频流的过程中,丢失了待传输视频流中的第一帧视频帧。
测试装置通过接收视频流采集装置传输的待传输视频流得到第二测试视频流。那么,第二测试视频流的第一帧视频帧即为待传输视频流的第二帧视频帧。也就是说,目标事件在第二测试视频流中的起始帧的帧号为第一帧。
此时,若将目标事件在待传输视频流中的起始帧的帧号作为目标帧号,将降低目标帧号的准确度。
作为一种可选的实施方式,上述第二测试视频流的第一运动程度与上述待处理视频流的第二运动程度匹配。
本申请实施例中,视频流的运动程度指,在采集视频流的过程中,视频流的场景的运动程度。
例如,第二测试视频流为对场景a进行拍摄得到的视频流。此时,第二测试视频流的第一运动程度为,在采集第二测试视频流的过程中场景a的运动程度。
又例如,待处理视频流为对场景b进行拍摄得到的视频流。此时,待处理视频流的第二运动程度等级为,在采集待处理视频流的过程中场景b的运动程度。
本申请实施例中,场景的运动程度为在采集视频流的过程中视频流的场景内的物体的运动程度。
例如,第二测试视频流和待处理视频流均为对场景A进行拍摄得到的视频流,其中,场景A包括火车B。若在采集第二测试视频流的过程中火车B处于静止状态,在采集待处理视频流的过程中火车B处于运动状态。那么第二测试视频流的场景的运动程度低于待处理视频流的场景的运动程度。
因此视频流的运动程度等级越高,说明在采集视频流的过程中,视频流的场景内的物体的运动越剧烈。
在一种可能实现的方式中,测试装置通过确定视频流的运动矢量,确定视频流的运动程度,其中,运动程度与视频流的运动矢量呈正相关。
例如,测试装置通过确定第二测试视频流的运动矢量,确定第一运动程度。又例如,测试装置通过确定待处理视频流的运动矢量,确定第二运动程度。
在另一种可能实现的方式中,测试装置根据光流法确定视频流的光流场,进而根据视频流的光流场确定视频流的运动程度。
例如,测试装置通过确定第二测试视频流的光流场,确定第一运动程度。又例如,测试装置通过确定待处理视频流的光流场,确定第二运动程度。
在又一种可能实现的方式中,测试装置确定视频流的场景类别。根据视频流的场景类别,确定视频流的运动程度。
例如,第二测试视频流的场景的类别为会议室。测试装置进而根据类别映射关系确第二测试视频流的第一运动程度,其中,类别映射关系为场景类别与运动程度的映射关系。
在该种实施方式中,第一运动程度与第二运动程度匹配。在一种可能实现的方式中,测试装置通过确定视频流的运动矢量。在第二测试视频流的运动矢量与待处理视频流的运动矢量的差小于或等于矢量阈值的情况下,第一运动程度与第二运动程度匹配;在第二测试视频流的运动矢量与待处理视频流的运动矢量的差大于矢量阈值的情况下,第一运动程度与第二运动程度不匹配。
在另一种可能实现的方式中,测试装置根据视频流的光流场确定视频流的运动程度。在第二测试视频流的光流场与待处理视频流的光流场的差小于或等于光流场阈值的情况下,第一运动程度与第二运动程度匹配;在第二测试视频流的光流场与待处理视频流的光流场的差大于光流场阈值的情况下,第一运动程度与第二运动程度不匹配。
在又一种可能实现的方式中,测试装置根据视频流的场景类别,确定视频流的运动程度。在第二测试视频流的场景类别与待处理视频流的场景类别相同的情况下,第一运动程度与第二运动程度匹配;在第二测试视频流的场景类别与待处理视频流的场景类别不同的情况下,第一运动程度与第二运动程度不匹配。
由于视频流的运动程度与视频流的数据量呈正相关,而通过RTSP传输视频流的传输速度与视频流的数据量呈相关,因此,RTSP传输视频流的传输速度与视频流的运动程度呈负相关。
若第一运动程度与第二运动程度的不匹配,那么在传输速度相同的情况下,传输第二测试视频流的传输时延与传输待处理视频流的传输时延相差较大,进而导致利用检测时延校正第一发生时间的准确度低,即导致第二发生时间的准确度低。
本申请实施例中,第一运动程度与第二运动程度匹配,可缩小传输第二测试视频流的传输时延与传输待处理视频流的传输时延之间的差异,进而提高利用检测时延校正第一发生时间的准确度,从而提高第二发生时间的准确度。
作为一种可选的实施方式,测试装置还执行以下步骤:
601、获取第三测试视频流、上述目标事件的发生标识和第三时间。
本申请实施例中,第三测试视频流可以是离线视频流,也可以是在线视频流。其中,离线视频可以是通过摄像头或移动智能设备采集获得的视频流。在线视频可以是摄像头实时获得测试视频流,例如,测试装置可与一个或一个以上摄像头之间具有通信连接,测试装置可将从摄像头获取的实时采集的视频流作为第三测试视频流。
在一种获取第三测试视频流的实现方式中,测试装置将用户通过输入组件输入的测试视频流作为第三测试视频流。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器。
在另一种获取第三测试视频流的实现方式中,测试装置接收终端发送的测试视频流作为第三测试视频流。上述终端可以是以下任意一种:手机、计算机、平板电脑、服务器。
在又一种获取第三测试视频流的实现方式中,测试装置包括摄像头。测试装置通过摄像头采集视频流得到第三测试视频流。
本步骤中的目标事件的发生标识的含义,可参见步骤301对目标事件的发生标识的解释,此处将不再赘述。
在一种获取目标事件的发生标识的实现方式中,测试装置将用户通过输入组件输入的目标事件的发生标识。
在另一种获取目标事件的发生标识的实现方式中,测试装置接收终端发送的目标事件的发生标识。
本申请实施例中,第三时间表征目标事件在第三测试视频流中的发生时间,即目标事件在第三测试视频流中开始发生的时间。
例如,目标事件为违章停车,违章停车从第三测试视频流的第1分13秒开始发生,那么第三时间为第三测试视频流的第1分13秒。
又例如,目标事件为行人摔倒,行人摔倒从第三测试视频流的第十帧视频帧开始发生,那么第三时间为第十帧视频帧的时间戳。
在一种获取第三时间的实现方式中,测试装置将用户通过输入组件输入的第三时间。
在另一种获取第三时间的实现方式中,测试装置接收终端发送的第三时间。
应理解,本申请实施中,获取第三测试视频流的步骤、获取目标事件的发生标识的步骤、获取第三时间的步骤,可以同时执行,也可以分开执行,本申请对此不做限定。
602、将上述目标事件的发生标识添加至上述第三测试视频流的补充增强信息,使上述目标事件的发生标识的时间戳为上述第三时间,得到上述第二测试视频流。
在测试装置通过执行步骤602得到的第二测试视频流的补充增强信息中,发生标识的时间戳为第三时间。
例如,第三时间为第三测试视频流中的第八帧视频帧的时间戳,那么在第二测试视频流的补充增强信息中,目标事件的发生标识的时间戳为第二测试视频流的第八帧视频帧的时间戳。
又例如,第三时间为第三测试视频流的第1分50秒,那么在第二测试视频流的补充增强信息中,目标事件的发生标识的时间戳为第二测试视频流的第1分50秒。
本申请实施中,测试装置通过执行步骤601和步骤602,可得到携带目标事件的发生标识的第二测试视频流。
可选的,测试装置在执行步骤602的过程中按图3所示的流程执行。如图3所示,测试装置从第三测试视频流中逐帧获取视频帧。
测试装置在从第三测试视频流中获取一帧视频帧后,判断该帧视频帧的时间戳是否大于或等于第三时间。如果否,则获取下一帧视频帧,并继续判断下一帧视频帧的时间戳是否大于或等于第三时间。
例如,测试装置首先获取第三测试视频流的第一帧视频帧,如果第一帧视频帧的时间戳小于第三时间,测试装置获取第三测试视频流的第二帧视频帧,并判断第二帧视频帧的时间戳是否大于或等于第三时间。
如果从第三测试视频流中获取的视频帧的时间戳大于或等于第三时间,则将目标事件的发生标识添加至第三测试视频流的SEI,并使目标事件的发生标识的时间戳为该视频帧的时间戳,得到第二测试视频流。
例如,若测试装置确定第二帧视频帧的时间戳大于或等于第三时间,将目标事件的发生标识添加至第三测试视频流的SEI,并将第二帧视频帧的时间戳作为目标事件的发生标识的时间戳。
作为一种可选的实施方式,测试装置在执行以下步骤获取第三时间:
701、对上述第三测试视频流进行目标事件检测处理,确定上述目标事件在上述第三测试视频流中的第三发生时间。
本申请实施例中,目标事件检测处理用于检测视频流中是否存在目标事件,以及在确定视频流中存在目标事件的情况下,确定目标事件在视频流中的发生时间。
可选的,目标事件检测处理通过已训练事件检测模型实现,其中,已训练事件检测模型为用于检测目标事件的计算机视觉模型。目标事件检测模型与待测试模型不同。
测试装置通过对第三测试视频流进行目标事件检测处理,可确定目标事件在第三测试视频流中的发生时间,即第三发生时间。
702、显示上述第三测试视频流中距离上述第三发生时间最近的n张目标视频帧。
本申请实施例中,n为大于1的正整数。n张目标视频帧为第三测试视频流中,时间戳距离第三发生时间最近的n张图像。
由于通过对第三测试视频流进行目标事件检测处理,确定的第三发生时间可能存在误差,距离第三发生时间最近的视频帧可能不是目标事件的起始帧。
但目标事件在第三测试视频流中的真实发生时间通常距离第三发生时间较近,因此测试装置从第三测试视频流中确定时间距离第三发生时间最近的n张目标视频帧,可从第三测试视频流中确定包括目标事件的起始帧的n张视频帧。
例如,第三发生时间为3.3秒,n=1,第十帧视频帧的时间为3.27秒,第十一帧视频帧的时间为3.31秒。此时,距离第三发生时间最近的1张视频帧为第十一帧图像,即n张视频帧为第十一帧图像。
又例如,第三发生时间为3.3秒,n=3,第九帧图像的时间为3.23秒,第十帧图像的时间为3.27秒,第十一帧图像的时间为3.31秒,第十二帧图像的时间为3.35秒。此时,距离第三发生时间最近的3张视频帧为第十帧图像、第十一帧图像和第十二帧图像。即n张视频帧包括第十帧图像、第十一帧图像和第十二帧图像。
应理解,本申请实施例中,第三发生时间可以是第三测试视频流中的某一帧图像对应的时间,第三发生时间也可以不是第三测试视频流中的某一帧图像对应的时间戳。
例如,第三测试视频流包括第一帧图像、第二帧图像和第三帧图像,其中,第一帧图像的时间戳为0,第二帧图像的时间戳为0.04秒,第三帧图像的时间戳为0.08秒。模型输出的第三发生时间为0.04秒。
又例如,第三测试视频流包括第一帧图像、第二帧图像和第三帧图像,其中,第一帧图像的时间戳为0,第二帧图像的时间戳为0.04秒,第三帧图像的时间戳为0.08秒。模型输出的第三发生时间为0.05秒。
测试装置在从第三测试视频流中筛选出包括目标事件的起始帧的n张目标视频帧的情况下,显示n张目标视频帧,以便用户从n张目标视频帧中确定目标事件的起始帧。
703、在检测到从上述n张目标视频帧中确定的上述目标事件的第三起始帧的指令的情况下,确定上述第三起始帧的时间戳为上述第三时间。
本申请实施例中,第三起始帧即为目标事件在第三测试视频流中的起始帧。用户在从n张目标视频帧中确定目标事件的起始帧后,可向测试装置输入确定第三起始帧的指令。测试装置在检测到该指令的情况下,确定第三起始帧为目标事件在第三测试视频流中的起始帧,进而确定第三起始帧的时间戳为第三时间。
由于通过对第三测试视频流进行目标事件检测处理确定的第三发生时间与目标事件在第三测试视频流中的真实发生时间之间存在偏差,通过人工研判视频帧的方式从第三测试视频流中确定目标事件在第三测试视频流中的发生时间,可提高目标事件在第三测试视频流中的发生时间的准确度。
本申请实施例中,测试装置在通过对第三测试视频流进行目标事件检测处理,确定目标事件在第三测试视频流中的第三发生时间的情况下,从第三测试视频流中确定距离第三发生时间最近的n张目标视频流,并显示n张目标视频流,以便用户从n张目标视频流中确定目标事件在第三测试视频流中的起始帧,有利于用户缩小研判范围,进而提高用户的研判效率。
测试装置进而在检测到从n张目标视频帧中确定目标事件的第三起始帧的指令的情况下,确定第三起始帧的时间戳为第三时间。由此,可提高第三时间的准确度。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图4,图4为本申请实施例提供的一种测试装置的结构示意图,该测试装置1包括:获取单元11、第一处理单元12、第二处理单元13。可选的,测试装置1还包括:接收单元14、显示单元15。具体的:
获取单元11,用于获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;
第一处理单元12,用于利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;
第二处理单元13,用于根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
结合本申请任一实施方式,所述获取单元11,用于:
获取目标帧号,所述目标帧号为所述目标事件在所述第一测试视频流中的起始帧的帧号;
根据所述目标帧号,确定第一起始帧;
确定所述第一起始帧输入至所述待测试模型的时间为所述第一时间。
结合本申请任一实施方式,所述获取单元11,用于:
获取第二测试视频流,所述第二测试视频流的补充增强信息包括所述目标事件的发生标识;
根据所述发生标识,确定所述目标事件在所述第二测试视频中的第二起始帧;
对所述第二测试视频流进行数据解析处理,得到所述第一测试视频流;
确定所述第二起始帧的帧号为所述目标帧号。
结合本申请任一实施方式,所述获取第二测试视频流,包括:
接收通过实时流协议传输的所述第二测试视频流。
结合本申请任一实施方式,所述测试装置还包括:
接收单元14,用于接收通过所述实时流协议传输的待处理视频流;
所述第一处理单元12,还用于利用所述待测试模型对所述待处理视频流进行处理,得到所述目标事件的第一发生时间;
所述第二处理单元13,还用于利用所述检测时延对所述第一发生时间进行校正,得到第二发生时间。
结合本申请任一实施方式,所述第二测试视频流的第一运动程度与所述待处理视频流的第二运动程度匹配,所述第一运动程度表征所述第二测试视频流中的场景的运动程度,所述第二运动程度表征所述待处理视频流中的场景的运动程度。
结合本申请任一实施方式,所述获取单元11,还用于获取第三测试视频流、所述目标事件的发生标识和第三时间,所述第三时间为所述第三测试视频流中发生所述目标事件的时间;
所述第二处理单元13,还用于将所述目标事件的发生标识添加至所述第三测试视频流的补充增强信息,使所述目标事件的发生标识的时间戳为所述第三时间,得到所述第二测试视频流。
结合本申请任一实施方式,所述获取单元11,用于:
对所述第三测试视频流进行目标事件检测处理,确定所述目标事件在所述第三测试视频流中的第三发生时间;
所述测试装置还包括:显示单元15,用于显示所述第三测试视频流中距离所述第三发生时间最近的n张目标视频帧;
所述第二处理单元13,还用于在检测到从所述n张目标视频帧中确定所述目标事件的第三起始帧的指令的情况下,确定所述第三起始帧的时间戳为所述第三时间。
本申请实施例中,测试装置在获取到第一时间的情况下,通过利用待测试模型对第一测试视频流进行处理,确定待测试模型检测出的目标事件的起始时间,得到第二时间。通过确定第一时间和第二时间的时间差,得到待测试模型的检测时延。
在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图5为本申请实施例提供的一种测试装置的硬件结构示意图。该测试装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一测试视频流、第一时间和待测试模型,又或者该存储器22还可用于存储通过处理器21得到检测时延等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图5仅仅示出了一种测试装置的简化设计。在实际应用中,测试装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的测试装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
Claims (11)
1.一种测试方法,其特征在于,所述方法包括:
获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;
利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;
根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
2.根据权利要求1所述的方法,其特征在于,所述获取第一时间,包括:
获取目标帧号,所述目标帧号为所述目标事件在所述第一测试视频流中的起始帧的帧号;
根据所述目标帧号,确定第一起始帧;
确定所述第一起始帧输入至所述待测试模型的时间为所述第一时间。
3.根据权利要求2所述的方法,其特征在于,所述获取第一测试视频流,包括:
获取第二测试视频流,所述第二测试视频流的补充增强信息包括所述目标事件的发生标识;
根据所述发生标识,确定所述目标事件在所述第二测试视频中的第二起始帧;
对所述第二测试视频流进行数据解析处理,得到所述第一测试视频流;
所述获取目标帧号,包括:
确定所述第二起始帧的帧号为所述目标帧号。
4.根据权利要求3所述的方法,其特征在于,所述获取第二测试视频流,包括:
接收通过实时流协议传输的所述第二测试视频流。
5.根据权利要求4所述的方法,其特征在于,在所述得到所述待测试模型的检测时延后,所述方法还包括:
接收通过所述实时流协议传输的待处理视频流;
利用所述待测试模型对所述待处理视频流进行处理,得到所述目标事件的第一发生时间;
利用所述检测时延对所述第一发生时间进行校正,得到第二发生时间。
6.根据权利要求5所述的方法,其特征在于,所述第二测试视频流的第一运动程度与所述待处理视频流的第二运动程度匹配,所述第一运动程度表征所述第二测试视频流中的场景的运动程度,所述第二运动程度表征所述待处理视频流中的场景的运动程度。
7.根据权利要求4至6中任意一项所述的方法,其特征在于,在所述接收通过实时流协议传输的所述第二测试视频流之前,所述方法还包括:
获取第三测试视频流、所述目标事件的发生标识和第三时间,所述第三时间为所述第三测试视频流中发生所述目标事件的时间;
将所述目标事件的发生标识添加至所述第三测试视频流的补充增强信息,使所述目标事件的发生标识的时间戳为所述第三时间,得到所述第二测试视频流。
8.根据权利要求7所述的方法,其特征在于,所述获取第三时间,包括:
对所述第三测试视频流进行目标事件检测处理,确定所述目标事件在所述第三测试视频流中的第三发生时间;
显示所述第三测试视频流中距离所述第三发生时间最近的n张目标视频帧;
在检测到从所述n张目标视频帧中确定所述目标事件的第三起始帧的指令的情况下,确定所述第三起始帧的时间戳为所述第三时间。
9.一种测试装置,其特征在于,所述装置包括:
获取单元,用于获取第一测试视频流、第一时间和待测试模型,所述第一时间表征目标事件在所述第一测试视频流中的发生时间;
第一处理单元,用于利用所述待测试模型对所述第一测试视频流进行处理,将所述待测试模型确定所述第一测试视频流中发生所述目标事件的时间,作为第二时间;
第二处理单元,用于根据所述第一时间和所述第二时间的时间差,得到所述待测试模型的检测时延。
10.一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如权利要求1至8中任意一项所述的方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行权利要求1至8中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338345.2A CN114640608B (zh) | 2022-04-01 | 测试方法及装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338345.2A CN114640608B (zh) | 2022-04-01 | 测试方法及装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114640608A CN114640608A (zh) | 2022-06-17 |
CN114640608B true CN114640608B (zh) | 2024-07-12 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830235B (zh) | 用于生成信息的方法和装置 | |
CN109993150B (zh) | 用于识别年龄的方法和装置 | |
CN110660102B (zh) | 基于人工智能的说话人识别方法及装置、系统 | |
CN112994980A (zh) | 时延测试方法、装置、电子设备和存储介质 | |
CN112328822A (zh) | 图片预标注方法、装置及终端设备 | |
CN113255516A (zh) | 活体检测方法、装置和电子设备 | |
CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
CN114783061A (zh) | 一种吸烟行为检测方法、装置、设备和介质 | |
CN114640608B (zh) | 测试方法及装置、电子设备及计算机可读存储介质 | |
CN110688878B (zh) | 活体识别检测方法、装置、介质及电子设备 | |
CN110751120A (zh) | 一种检测方法、装置及电子设备 | |
CN111832354A (zh) | 目标对象年龄识别方法、装置及电子设备 | |
CN114943872A (zh) | 目标检测模型的训练方法、装置、目标检测方法、装置、介质及设备 | |
CN114640608A (zh) | 测试方法及装置、电子设备及计算机可读存储介质 | |
CN112115740B (zh) | 用于处理图像的方法和装置 | |
CN112817441A (zh) | 一种按键与人眼识别结合的方法和装置 | |
CN112380938A (zh) | 一种人脸识别及测温方法、装置、设备及介质 | |
CN110969189B (zh) | 人脸检测方法、装置及电子设备 | |
CN113891109B (zh) | 自适应降噪方法、装置、设备及存储介质 | |
CN114565814B (zh) | 一种特征检测方法、装置及终端设备 | |
CN113221920B (zh) | 图像识别方法、装置、设备、存储介质以及计算机程序产品 | |
CN117412079A (zh) | 多检测结果的获取方法、系统、设备及存储介质 | |
CN115272922A (zh) | 远程会议的参会人关注度检测方法、装置及存储介质 | |
CN116129297A (zh) | 模型的训练方法、视频检测方法、交易方法及装置 | |
CN114067010A (zh) | 编码方法及装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |