CN108875837A - 用于测试目标识别设备的装置及方法 - Google Patents

用于测试目标识别设备的装置及方法 Download PDF

Info

Publication number
CN108875837A
CN108875837A CN201810681815.9A CN201810681815A CN108875837A CN 108875837 A CN108875837 A CN 108875837A CN 201810681815 A CN201810681815 A CN 201810681815A CN 108875837 A CN108875837 A CN 108875837A
Authority
CN
China
Prior art keywords
target
image
test
identification equipment
target trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810681815.9A
Other languages
English (en)
Other versions
CN108875837B (zh
Inventor
何国勋
宋扬
曹志敏
陈雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810681815.9A priority Critical patent/CN108875837B/zh
Publication of CN108875837A publication Critical patent/CN108875837A/zh
Application granted granted Critical
Publication of CN108875837B publication Critical patent/CN108875837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种用于测试目标识别设备的装置及方法。该装置包括测试主机以及与测试主机连接的显示器和抓拍机,其中,显示器用于显示测试图像,以由目标识别设备对测试图像中的目标进行识别并输出识别图像;抓拍机用于对识别图像中的目标进行抓拍,并将获取的抓拍图像输出给测试主机;测试主机用于至少根据测试图像以及抓拍图像判断目标识别设备是否正常工作。上述装置及方法,可以长时间对目标识别设备进行拷机。由此,可以极大地减少对人力资源的需求,节省人力成本,且可以有效地提高目标识别设备的测试效率。此外,上述装置及方法可以避免人工测试可能发生的人为失误,因此可以较好地保证测试质量。

Description

用于测试目标识别设备的装置及方法
技术领域
本发明涉及目标识别技术领域,更具体地涉及一种用于测试目标识别设备的装置及方法。
背景技术
目标识别技术是人工智能的一个重要领域。实际应用中,为了获得可靠稳定的识别结果,目标识别设备(例如人证核验一体机等)往往需要能够长时间稳定工作。因此,对目标识别设备进行充分的测试尤为重要。这就需要在目标识别设备上市之前做充分的、长时间的拷机,进行稳定性、可靠性等测试,从而确保整个设备能够长时间稳定工作。
在传统的测试方法中,需要通过人工方式监控测试过程,即由测试人员不间断地观察目标识别设备的工作情况,并实时记录测试结果。这种传统的测试方法无法满足长时间不间断测试的要求,例如无法实现持续几天、几周甚至几个月的测试。此外,传统的测试方法无法确保测试过程中没有人为失误,因此无法保证测试质量。
因此,迫切需要一种新的测试技术,以解决上述问题。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种用于测试目标识别设备的装置及方法。
根据本发明一方面,提供了一种用于测试目标识别设备的装置,该装置包括测试主机以及与测试主机连接的显示器和抓拍机,其中,显示器用于显示测试图像,以由目标识别设备对测试图像中的目标进行识别并输出识别图像;抓拍机用于对识别图像中的目标进行抓拍,并将获取的抓拍图像输出给测试主机;测试主机用于至少根据测试图像以及抓拍图像判断目标识别设备是否正常工作。
示例性地,测试主机具体用于根据测试图像、抓拍图像和目标识别设备的工作模式判断目标识别设备是否正常工作,其中,工作模式为长期工作模式或反复开关机模式。
示例性地,测试主机具体用于:根据抓拍图像确定识别图像中目标出现的检测时段;根据检测时段、测试图像中目标出现的预设时段以及工作模式指示的目标识别设备的开机时段,判断目标识别设备是否正常工作。
示例性地,抓拍机具体用于:针对识别图像进行图像采集,以获得采集图像;对采集图像中的目标进行检测和跟踪,以确定至少一个目标轨迹;对于至少一个目标轨迹中的每个目标轨迹,从该目标轨迹所对应的至少部分采集图像中提取包含目标的图像块,以获得该目标轨迹所对应的抓拍图像;测试主机通过以下方式根据抓拍图像确定识别图像中目标出现的检测时段:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹所对应的抓拍图像确定该目标轨迹的开始时刻和结束时刻,其中,检测时段中的每个时段用对应目标轨迹的开始时刻和结束时刻表示。
示例性地,显示器用于持续显示测试图像;测试主机通过以下方式判断目标识别设备是否正常工作:在工作模式是长期工作模式的情况下,如果发生第一异常事件,则确定目标识别设备处于异常工作状态,如果未发生第一异常事件,则确定目标识别设备处于正常工作状态,其中,第一异常事件包括第一轨迹异常事件和/或第一匹配异常事件,第一轨迹异常事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的图像切换时长阈值内未出现新的目标轨迹,第一匹配异常事件为抓拍图像中的目标与测试图像中的目标不匹配。
示例性地,在第一异常事件包括第一匹配异常事件的情况下,测试主机还用于:将抓拍图像中的目标与测试图像中的目标进行对比,以确定抓拍图像中的目标与测试图像中的目标是否匹配。
示例性地,第一轨迹异常事件包括第一事件和第二事件,测试主机进一步通过以下方式判断目标识别设备是否正常工作:在工作模式是长期工作模式的情况下,如果发生第一事件,则确定目标识别设备发生重启故障,其中,第一事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的第一时段内出现新的目标轨迹,其中,第一时段是从目标轨迹的结束时刻加上图像切换时长阈值所获得的时刻到目标轨迹的结束时刻加上重启时长阈值所获得的时刻之间的时段;在工作模式是长期工作模式的情况下,如果发生第二事件,则确定目标识别设备发生死机故障,其中,第二事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的第二时段内未出现新的目标轨迹,其中,第二时段是从目标轨迹的结束时刻到目标轨迹的结束时刻加上重启时长阈值所获得的时刻之间的时段。
示例性地,显示器用于持续显示测试图像;测试主机通过以下方式判断目标识别设备是否正常工作:在工作模式是反复开关机模式的情况下,如果发生第二异常事件,则确定目标识别设备处于异常工作状态,如果未发生第二异常事件,则确定目标识别设备处于正常工作状态,其中,第二异常事件包括第二轨迹异常事件和/或第二匹配异常事件,第二轨迹异常事件为在目标识别设备的任一开机时段内,与该开机时段相对应的目标轨迹不存在,或者与该开机时段相对应的目标轨迹的开始时刻与该开机时段的开始时刻之间的偏差大于第一偏差阈值和/或与该开机时段相对应的目标轨迹的结束时刻与该开机时段的结束时刻之间的偏差大于第二偏差阈值,第二匹配异常事件为抓拍图像中的目标与显示器在目标识别设备的开机时段内所显示的测试图像中的目标不匹配。
示例性地,在第二异常事件包括第二匹配异常事件的情况下,测试主机还用于:将抓拍图像中的目标与显示器在目标识别设备的开机时段内所显示的测试图像中的目标进行对比,以确定抓拍图像中的目标与显示器在目标识别设备的开机时段内所显示的测试图像中的目标是否匹配。
示例性地,抓拍机通过以下方式对采集图像中的目标进行检测,以确定至少一个目标轨迹:对采集图像中的目标进行检测,以确定一个或多个目标轨迹;对于一个或多个目标轨迹,如果存在任意两个目标轨迹之间的时间间隔小于图像切换时长阈值,则将该两个目标轨迹合并为同一目标轨迹,以获得至少一个目标轨迹。
示例性地,抓拍机具体用于:从至少一个目标轨迹中的每个目标轨迹的第一个采集图像中提取包含目标的图像块,以获得每个目标轨迹的开始抓拍图像;从至少一个目标轨迹中的每个目标轨迹的最后一个采集图像中提取包含目标的图像块,以获得每个目标轨迹的结束抓拍图像;测试主机具体用于:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的开始抓拍图像和结束抓拍图像确定该目标轨迹的开始时刻和结束时刻。
示例性地,抓拍机具体用于:按照预定时间间隔从至少一个目标轨迹中的每个目标轨迹所对应的采集图像中提取包含目标的图像块,以获得每个目标轨迹的至少一个抓拍图像;测试主机具体用于:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的至少一个抓拍图像确定该目标轨迹的开始时刻和结束时刻。
示例性地,测试主机还用于存储抓拍图像、抓拍图像的抓拍时间信息、目标识别设备的测试结果中的一项或多项。
示例性地,抓拍机通过以下方式对识别图像中的目标进行抓拍:针对目标识别设备的显示器上所显示的识别图像进行抓拍,以获得抓拍图像。
示例性地,测试主机还用于在目标识别设备处于异常工作状态时输出提示信息。
示例性地,测试主机通过以下一种或多种方式输出提示信息:控制显示器弹出异常提示窗口;发出音频报警信号;向关联的移动终端发送异常提示消息;向关联的电子邮箱发送异常提示邮件。
根据本发明另一方面,提供了一种用于测试目标识别设备的方法,包括:显示测试图像,以由目标识别设备对测试图像中的目标进行识别并输出识别图像;对识别图像中的目标进行抓拍;以及至少根据测试图像以及抓拍图像判断目标识别设备是否正常工作。
根据本发明实施例的用于测试目标识别设备的装置及方法,可以长时间对目标识别设备进行拷机,例如持续几天、几周甚至几个月的测试。由此,可以极大地减少对人力资源的需求,节省人力成本,且可以有效地提高目标识别设备的测试效率。此外,上述装置及方法可以避免人工测试可能发生的人为失误,因此可以较好地保证测试质量。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过结合附图对本发明实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与本发明实施例一起用于解释本发明,并不构成对本发明的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的用于测试目标识别设备的装置以及相关的目标识别设备的示意性框图;以及
图2示出了根据本发明一个实施例的用于测试目标识别设备的方法的示意性流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了解决传统的测试方法无法实现长时间不间断测试以及无法保证测试质量的问题,本发明实施例提供一种用于测试目标识别设备的装置及方法。该装置及方法可以长期自动监控目标识别设备的测试过程,有利于提高测试效率和测试质量。上述装置及方法可以应用于任意合适的目标识别设备(例如人脸识别设备等)的测试。
下面,将参考图1描述根据本发明实施例的用于测试目标识别设备的装置。图1示出了根据本发明一个实施例的用于测试目标识别设备的装置110以及相关的目标识别设备120的示意性框图。在图1所示的实施例中,通过装置110对目标识别设备120进行测试。目标识别设备120可以是任意合适的目标识别设备。例如,目标识别设备120可以是应用于电子商务、银行业务、安全监控等领域的人脸识别设备,诸如人证核验一体机、安检闸机、门禁机、考勤机、人流密集场所的人脸抓拍机等。又例如,目标识别设备可以是应用于交通监控领域的车辆或车牌识别设备等。
如图1所示,装置110包括显示器112、测试主机114以及抓拍机116,显示器112和抓拍机116分别与测试主机114连接。此外,如图1所示,目标识别设备120可以包括摄像头122和显示器124。装置110和目标识别设备120均包括显示器,为了区分,可以示例性地将装置110中的显示器称为第一显示器,并将目标识别设备120中的显示器称为第二显示器。本文采用的第一、第二之类的术语仅用于区分目的,并不表示顺序或其他特殊含义。
显示器112用于显示测试图像,以由目标识别设备120对测试图像中的目标进行识别并输出识别图像。
显示器112可以是任何合适的显示器。例如,显示器112可以是传统的平面显示器,例如液晶显示器。又例如,显示器112可以是采用自动立体显示技术的3D显示器等。可选地,显示器112可以是能够支持高清晰度图像显示的显示器,以确保显示器112能够提供比较清晰的测试图像用于目标识别设备120的测试。
示例性地,可以由测试主机114将测试图像输出至显示器112,以在显示器112上显示所述测试图像。显示器112所显示的测试图像的数目可以根据需要设定。比较可取的是,显示器112所显示的每个测试图像中均包含目标。当然,这并非对本发明的限制,可以根据需要选择显示一些不包含目标的测试图像。
本文所述的目标可以是任何物体,包括但不限于:文字、特定图案、人或人体的一部分(诸如人脸)、动物、车辆、建筑物等。在下文中,将主要以目标是人脸为例来描述本文各实施例,但这并非对本发明的限制。
测试图像可以包括静态的图像或动态的视频。所述静态的图像可以包括通过摄像机或摄像头等图像采集装置采集的图像,或者采用计算机技术生成的图像等。所述动态的视频可以包括通过摄像机或摄像头等图像采集装置采集的视频流。例如,在目标是人脸的情况下,测试图像可以是通过摄像机拍摄的包括人脸的照片,或者行人通过安检设备时拍摄的一段监控视频,或者一段包含人脸图像的电视或电影视频等。
装置110的显示器112可以朝向目标识别设备120的摄像头122设置,使得摄像头122能够尽可能完整地采集到显示器112所显示的测试图像。摄像头122针对显示器112所显示的测试图像进行图像采集,可以获得与测试图像相关的采集图像(本文称为“识别端采集图像”)。摄像头122可以采用普通的摄像头实现,也可以采用带目标抓拍功能的摄像头(与抓拍机116类似)实现,这取决于目标识别设备120的应用场景及应用需求。
示例性地,目标识别设备120还可以包括处理器(图1中未示出)。摄像头122和显示器124可以分别与处理器连接。摄像头122可以将识别端采集图像输出至处理器。处理器可以利用内置的目标检测算法对识别端采集图像进行目标检测,获得目标的位置信息。例如,在目标为人脸的情况下,处理器可以对识别端采集图像进行人脸检测,获得用于指示人脸所在位置的人脸框的坐标信息。示例性地,处理器可以在识别端采集图像上标注出人脸框,获得新的图像,即识别图像。也就是说,识别图像可以是示出识别结果的图像,其可以基于识别端采集图像获得。
由于识别端采集图像是针对测试图像进行图像采集所获得的,因此识别端采集图像包含与测试图像相同的目标,因此,对识别端采集图像中的目标进行识别的过程,可以视为是对测试图像中的目标进行识别的过程。
随后,目标识别设备120的处理器可以将识别图像输出至显示器124,显示器124可以将识别图像显示出来。
抓拍机116用于对识别图像中的目标进行抓拍,并将获取的抓拍图像输出给测试主机114。在目标为人脸的情况下,抓拍机116可以是人脸抓拍机。
示例性地,抓拍机116可以通过以下方式对识别图像中的目标进行抓拍:针对目标识别设备120的显示器122上所显示的识别图像进行抓拍,以获得抓拍图像。
抓拍机116可以朝向目标识别设备120的显示器124设置,使得抓拍机116能够尽可能完整地采集到显示器124所显示的识别图像。抓拍机116针对显示器124所显示的识别图像进行图像采集,可以获得与识别图像相关的采集图像(本文称为“测试端采集图像”)。
抓拍机116可以监控测试端采集图像中的目标的出现情况。例如,抓拍机116可以实时地对每个测试端采集图像进行人脸检测,并且还可以对人脸进行跟踪,确定人脸出现的轨迹。抓拍机116可以将同一轨迹中的某些测试端采集图像中的人脸提取出来,即将测试端采集图像中包含人脸的图像块提取出来,获得抓拍图像。抓拍机116可以工作在很多抓拍模式,例如连续抓拍、出现目标时抓拍、目标消失前抓拍等。
由于测试端采集图像是针对识别图像进行图像采集所获得的,因此测试端采集图像包含与识别图像相同的目标,因此,对测试端采集图像进行目标检测和跟踪并从测试端采集图像中提取图像块的过程,可以视为是对识别图像中的目标进行抓拍的过程。
抓拍机116可以将抓拍获得的抓拍图像输出至测试主机114。
测试主机114用于至少根据测试图像以及抓拍图像判断目标识别设备120是否正常工作。
测试主机114可以采用微处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,测试主机114可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述装置110中的其它组件以执行期望的功能。
根据测试要求,测试主机114可以向显示器112输出需要的测试图像,并控制测试图像在显示器112上的显示。例如,测试主机114可以控制显示器112显示静态的测试图像。例如,在测试主机114的控制下,显示器112可以按顺序显示或随机显示静态的测试图像,还可以每隔固定时间切换一张测试图像。切换图像的时间间隔可使用默认设置,如30秒,用户也可以修改切换时间间隔。又例如,测试主机114可以控制显示器112显示动态的视频。例如,在测试主机114的控制下,显示器112可以循环显示同一段视频,也可以按顺序显示或随机显示多个视频。由此,可以通过显示各种测试图像来充分模拟目标识别设备120的各种实际应用场景,以对目标识别设备120进行充分测试。
可以理解,目标识别设备120正常开机工作期间,抓拍图像随着测试图像的变化而变化,两者之间相差系统处理延迟时间。一般情况下,系统处理延迟时间很短,可以忽略不计。如果抓拍图像没有随着测试图像的变化而变化,例如显示器112输出了包含人脸的测试图像,但是抓拍机116却没有抓拍到人脸,则说明此刻目标识别设备120的显示器124没有显示正确的识别图像,这可能是由于发生以下一种或多种情况:目标识别设备120的摄像头122由于自身异常没有采集到最新的测试图像;目标识别设备120的显示器124由于自身异常没有正常地显示测试图像;目标识别设备120的处理器由于自身异常没有正常地向显示器124输出识别图像,等等。总之,理论上来说,当目标识别设备120开机工作期间,在基本相同的时间内抓拍图像与测试图像应包含相同的人脸,即抓拍图像与测试图像应该是一致的。因此,如果抓拍图像与测试图像出现不一致的情况时,可以认为目标识别设备120此时处于异常工作状态(例如异常重启、死机等)或正常关机状态。
在一个示例中,目标识别设备120可以具有多种不同的工作模式,例如长期工作模式和反复开关机模式等,目标识别设备120可以自主或基于用户控制选择在某一种工作模式下工作。长期工作模式是指目标识别设备120在正式开机和停机之间的时段内持续工作。反复开关机模式是指目标识别设备120在正式开机和停机之间的时段内至少关机且重启一次。
在目标识别设备120具有多种工作模式的情况下,测试主机114可以具体用于根据测试图像、抓拍图像和目标识别设备120的工作模式判断目标识别设备120是否正常工作。如上文所述,根据抓拍图像与测试图像之间的一致情况,可以判断目标识别设备120此时是处于正常工作状态还是异常工作状态。当发生抓拍图像与测试图像不一致的情况时,测试主机114可以结合目标识别设备120的工作模式确定当前目标识别设备是在开机阶段还是关机阶段,如果是开机阶段则可以确定目标识别设备120处于异常工作状态,如果是关机阶段则可以确定目标识别设备120处于正常工作状态。
在一个示例中,目标识别设备120可以具有固定的工作模式,例如长期工作模式。在这种情况下,可以无需区分工作模式,直接根据测试图像和抓拍图像判断目标识别设备120是否正常工作。
可选地,装置110还可以包括输入装置(未示出),输入装置可以用于接收用户输入的关于目标识别设备的工作模式的模式信息。输入装置可以与测试主机114连接,并用于将模式信息输出至测试主机114。例如,在工作模式为反复开关机模式的情况下,模式信息可以包括目标识别设备120每次关机的时刻以及重启的时刻,和/或目标识别设备120关机的频率以及重启的频率,等等。可选地,模式信息可以包括目标识别设备120的正式开机时间和/或正式停机时间。
可选地,装置110还可以包括通信接口(未示出),通信接口可以用于与目标识别设备120或其他外部设备通信,并从目标识别设备120或外部设备接收关于目标识别设备120的工作模式的模式信息。本实施例的模式信息与上一实施例类似,此处不赘述。外部设备可以是与装置110和/或目标识别设备120关联的后台服务器或移动终端等设备。
可选地,测试主机114可以与云端或服务端连接,接收存放于云端或服务端的测试图像用于测试。
可选地,装置110可以包括存储装置,该存储装置可以是独立的,也可以与测试主机114集成在一起(即为测试主机114内部的存储单元)。上述存储器可以用于存储测试图像、抓拍图像、抓拍图像的抓拍时间信息、目标识别设备120的测试结果等。该存储器可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
实际应用中,为了获得可靠稳定的识别结果,目标识别设备往往需要能够长时间稳定工作。特别是很多目标识别设备用于无人值守的应用场景,设备能否长时间正常稳定地工作是非常重要的考核指标。因此,测试装置能够对目标识别设备进行长时间测试也是极为重要的。
采用上述装置110对目标识别设备进行测试,可以长时间对目标识别设备进行拷机,例如持续几天、几周甚至几个月的测试。由此,可以极大地减少对人力资源的需求,节省人力成本,且可以有效地提高目标识别设备的测试效率。此外,采用上述装置110对目标识别设备进行测试,可以避免人工测试可能发生的人为失误,因此可以较好地保证测试质量。
根据本发明实施例,测试主机114可以具体用于:根据抓拍图像确定识别图像中目标出现的检测时段;根据检测时段、测试图像中目标出现的预设时段以及工作模式指示的目标识别设备120的开机时段,判断目标识别设备120是否正常工作。
为了更好地理解上述装置110,下面给出根据本发明一个具体实施例的测试过程说明。首先,准备测试环境。例如,可以设置装置110,调整显示器112,确保显示器112与目标识别设备120的摄像头122对准,并调整抓拍机116,确保抓拍机116与目标识别设备120的显示器124对准。启动装置110,测试主机114开始输出测试图像,显示器112显示测试图像。抓拍机116处于工作状态,可以随时对显示器124输出的识别图像进行抓拍。测试环境准备完成后,启动目标识别设备120。目标识别设备120对上述测试图像进行目标识别处理,并输出识别图像给抓拍机116。目标识别设备120正常工作时,可以持续根据当前的测试图像进行目标识别,输出识别图像。如果目标识别设备120发生故障,例如发生死机故障,将无法输出识别图像,导致抓拍机116无法抓拍到目标。又例如,如果目标识别设备120发生重启故障,则会暂时中断识别图像的输出,从而导致目标的抓拍也被暂时中断。
因此,考虑测试图像中目标出现的时段(即预设时段)以及识别图像中目标出现的时段(即检测时段)之间的一致情况,同时结合目标识别设备120的开机时段,可以判断目标识别设备120是否发生异常。
在目标识别设备120的测试过程中,目标可以是某类物体。例如,假设目标是人脸,则检测时段是识别图像中人脸出现的时段,预设时段是测试图像中人脸出现的时段。例如,对于测试端采集图像中的人脸从人脸A切换到人脸B的情况,检测时段可以包括人脸A出现的时段以及人脸B出现的时段。
根据本发明实施例,抓拍机116可以具体用于:针对识别图像进行图像采集,以获得采集图像(即上述测试端采集图像);对采集图像中的目标进行检测和跟踪,以确定至少一个目标轨迹;对于至少一个目标轨迹中的每个目标轨迹,从该目标轨迹所对应的至少部分采集图像中提取包含目标的图像块,以获得该目标轨迹所对应的抓拍图像;测试主机114可以通过以下方式根据抓拍图像确定识别图像中目标出现的检测时段:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹所对应的抓拍图像确定该目标轨迹的开始时刻和结束时刻,其中,检测时段中的每个时段用对应目标轨迹的开始时刻和结束时刻表示。
抓拍机116可以采用任何现有的或将来可能出现的目标检测算法对测试端采集图像中的目标进行检测,以确定每个测试端采集图像中的目标所在的位置。此外,抓拍机116还可以采用任何现有的或将来可能出现的目标跟踪算法对测试端采集图像中的目标进行跟踪,以确定每个目标的目标轨迹。本领域技术人员可以理解抓拍机116进行目标检测和跟踪的实现方式,本文不做赘述。
可选地,抓拍机116可以将每个具体目标的目标轨迹作为一个目标轨迹,以获得上述至少一个目标轨迹。例如,抓拍机116可以分别确定人脸A、人脸B、人脸C的目标轨迹,并将这三个人脸的目标轨迹分别作为三个目标轨迹。可选地,抓拍机116可以将相邻的、时间间隔在预设范围内的两个目标轨迹合并在一起,作为同一个目标轨迹,进而获得上述至少一个目标轨迹。预设范围可以任意设定,例如,预设范围可以是小于图像切换时长阈值。例如,假设人脸A、人脸B、人脸C这三个人脸的目标轨迹是连续出现的,即显示器112所显示的人脸连续地在这三个人脸之间切换,则可以将这三个人脸的目标轨迹合并在一起,形成一个目标轨迹。
抓拍机116检测出目标轨迹之后,可以从每个目标轨迹中挑选至少一部分测试端采集图像,并从选出的测试端采集图像中提取包含目标的图像块,获得各目标轨迹对应的抓拍图像。根据抓拍图像的抓拍时间可以确定对应目标轨迹的检测时段。可选地,检测某一目标轨迹和从该目标轨迹所对应的测试端采集图像中提取图像块的操作可以同步地、实时地执行。
测试主机114可以根据每个目标轨迹对应的抓拍图像确定每个目标轨迹的开始时刻和结束时刻,该操作的示例性实现方式将在下文描述。
根据本发明实施例,显示器112可以用于持续显示测试图像;测试主机114可以通过以下方式判断目标识别设备120是否正常工作:在工作模式是长期工作模式的情况下,如果发生第一异常事件,则确定目标识别设备120处于异常工作状态,如果未发生第一异常事件,则确定目标识别设备120处于正常工作状态,其中,第一异常事件包括第一轨迹异常事件和/或第一匹配异常事件,第一轨迹异常事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的图像切换时长阈值内未出现新的目标轨迹,第一匹配异常事件为抓拍图像中的目标与测试图像中的目标不匹配。
对于显示器112持续显示测试图像且目标识别设备120工作在长期工作模式下的情况,目标轨迹应当是持续出现的。如果目标轨迹出现中断,且中断时间超过一定阈值(本文称为图像切换时长阈值)时,则可以确定目标识别设备120出现异常。图像切换时长阈值可以根据需要任意设定,例如其可以等于3个测试图像切换显示所花费的时间。有时目标识别设备120是正常开机工作的,但是有可能由于图像切换等原因出现短暂的未采集到包含人脸的测试端采集图像等问题,此时如果确定目标识别设备120出现异常则可能会导致误判。图像切换时长阈值可以提供一定的时间余量,以尽量避免误判。当然,图像切换时长阈值也可以设定为0。
此外,将显示器112显示的测试图像以及抓拍机116获得的抓拍图像进行对比,也可以确定是否出现异常。例如,显示器112顺序显示了100个不同人脸的测试图像,抓拍机116对目标识别设备120输出的识别图像进行人脸抓拍,获得98个抓拍人脸。经过比对,缺失了第73个人脸和第88个人脸。测试图像和抓拍图像的人脸不匹配可能与目标识别设备120的摄像头122、显示器124、处理器等器件出现硬件故障有关,也有可能与目标识别算法的软件故障有关。
根据本发明实施例,在第一异常事件包括第一匹配异常事件的情况下,测试主机114还可以用于:将抓拍图像中的目标与测试图像中的目标进行对比,以确定抓拍图像中的目标与测试图像中的目标是否匹配。
目标对比可以包括将抓拍图像中的目标和与该抓拍图像相对应的测试图像中的目标进行对比。抓拍图像的抓拍时间和测试图像的显示时间之间可能相差一定的系统处理延迟时间,因此可以首先将抓拍图像与测试图像在时间轴上进行对准,再进行图像之间的对比。
根据本发明实施例,第一轨迹异常事件包括第一事件和第二事件,测试主机114可以进一步通过以下方式判断目标识别设备120是否正常工作:在工作模式是长期工作模式的情况下,如果发生第一事件,则确定目标识别设备120发生重启故障,其中,第一事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的第一时段内出现新的目标轨迹,其中,第一时段是从目标轨迹的结束时刻加上图像切换时长阈值所获得的时刻到目标轨迹的结束时刻加上重启时长阈值所获得的时刻之间的时段;在工作模式是长期工作模式的情况下,如果发生第二事件,则确定目标识别设备120发生死机故障,其中,第二事件为在至少一个目标轨迹中的任一目标轨迹的结束时刻后的第二时段内未出现新的目标轨迹,其中,第二时段是从目标轨迹的结束时刻到目标轨迹的结束时刻加上重启时长阈值所获得的时刻之间的时段。
例如,假设当前目标轨迹的结束时刻为T,如果在T至T+t1这段时间内,出现了新的目标轨迹,则认为当前暂未发生异常,其中,t1为图像切换时长阈值。如果在T+t1至T+t2这段时间内,出现了新的目标轨迹,则认为当前发生重启故障,其中,t2为重启时长阈值。如果在T至T+t2这段时间内,一直没有出现新的目标轨迹,则可以认为当前发生死机故障。
下面举例说明本实施例。
示例性地,抓拍机116可以对每次人脸出现的第一个识别图像以及消失前的最后一个识别图像进行抓拍,分别获得每个人脸轨迹下的第一个抓拍图像和最后一个抓拍图像。测试主机114可以记录所述第一个抓拍图像和最后一个抓拍图像的抓拍时间。每个人脸轨迹的第一个抓拍图像的抓拍时刻可以视为该人脸轨迹的开始时刻,最后一个抓拍图像的抓拍时刻可以视为该人脸轨迹的结束时刻。
例如,经过持续3天的测试,抓拍机116于2018年3月1日9点15分37秒抓拍到图像P10,于2018年3月4日3点8分50秒抓拍到图像P11,此后再没有抓拍图像。在该示例中,抓拍机116仅检测到一个目标轨迹,P10为该目标轨迹的第一个抓拍图像,P11为该目标轨迹的最后一个抓拍图像。测试主机114可以存储抓拍图像P10和P11,记录测试过程如下:
2018-03-01 9:15:37抓拍P10;
2018-03-04 3:08:50抓拍P11。
根据上述测试过程可知,目标识别设备120在持续工作了约66个小时后发生了死机故障。
又例如,抓拍机116检测到多个目标轨迹,测试主机114记录的测试过程如下:
2018-03-01 9:15:37抓拍P10;
2018-03-01 12:12:20抓拍P11;
2018-03-01 12:15:27抓拍P20;
2018-03-01 15:20:16抓拍P21;
2018-03-01 15:23:33抓拍P30;
2018-03-01 18:22:55抓拍P31;
……。
假设图像切换时长阈值为10秒,重启时长阈值为10分钟,则根据上述测试过程记录可知,目标识别设备120大约每3小时发生1次重启故障,重启时间约为3分钟。装置110获取了目标识别设备120每次异常重启前后的抓拍图像P10、P11、P20、P21、P30、P31、……。
装置110可以对目标识别设备120进行测试,自动记录测试过程。通过测试过程记录可知被测试的目标识别设备120是否发生过死机故障和/或重启故障,且测试过程中不需人工干预。由此,对目标识别设备120的测试从依赖测试人力投入的人工测试提升为不需人工干预的自动化测试,可以大大节约测试人力投入,还可以获得详细客观的测试过程记录。
根据本发明实施例,显示器112可以用于持续显示测试图像;测试主机114可以通过以下方式判断目标识别设备120是否正常工作:在工作模式是反复开关机模式的情况下,如果发生第二异常事件,则确定目标识别设备120处于异常工作状态,如果未发生第二异常事件,则确定目标识别设备120处于正常工作状态,其中,第二异常事件包括第二轨迹异常事件和/或第二匹配异常事件,第二轨迹异常事件为在目标识别设备的任一开机时段内,与该开机时段相对应的目标轨迹不存在,或者与该开机时段相对应的目标轨迹的开始时刻与该开机时段的开始时刻之间的偏差大于第一偏差阈值和/或与该开机时段相对应的目标轨迹的结束时刻与该开机时段的结束时刻之间的偏差大于第二偏差阈值,第二匹配异常事件为抓拍图像中的目标与显示器在目标识别设备的开机时段内所显示的测试图像中的目标不匹配。
示例性地,装置110可以支持针对反复开关机模式的测试。对于目标识别设备120工作在反复开关机模式下的情况,显示器112可以持续显示测试图像。目标识别设备120可通过例如控制脚本设置为反复开关机模式。测试主机114可以记录测试期间每次目标出现的第一个抓拍图像的抓拍时刻和目标消失前的最后一个抓拍图像的抓拍时刻。目标的出现对应着目标识别设备120的开机或重启,目标的消失对应着目标识别设备120正常关机或异常重启、异常死机等其他故障。可以分别为开机时刻和关机时刻设置偏差阈值,即第一偏差阈值和第二偏差阈值。第一偏差阈值和第二偏差阈值的大小可以根据需要设定,二者可以相同或不同。
可以基于上述用于设置反复开关机的控制脚本设置合适的开关机时间,例如目标识别设备120的每个开机时段为5分钟,每个关机时段为6分钟(包括5分钟的关机时间和1分钟的重启时间),即每11分钟为一个循环。如果目标识别设备120反复开关机工作正常,则装置100可以在目标识别设备120开机后获取第一个人脸轨迹的第一个抓拍图像,5分钟后获取第一个人脸轨迹的最后一个抓拍图像。再经过5分钟的关机时间以及1分钟的重启时间后,获取第二个人脸轨迹的第一个抓拍图像,再5分钟后获取第二个人脸轨迹的最后一个抓拍图像,以此类推。如果被测试的目标识别设备120开关机正常,则测试过程记录中的每两个抓拍图像的间隔时长将接近于{5分钟、6分钟、5分钟、6分钟、……}的循环规律。可以对间隔时长设置匹配区间,例如{5分钟±0.5分钟、6分钟±1分钟}的循环匹配区间,其中,0.5分钟为第一偏差阈值,1分钟为第二偏差阈值。如果测试过程记录中的每两个抓拍图像的间隔时长满足上述循环匹配区间,则可以确定目标识别设备120开关机正常,否则可以确定其发生异常。
根据本发明实施例,在第二异常事件包括第二匹配异常事件的情况下,测试主机114还可以用于:将抓拍图像中的目标与显示器在目标识别设备120的开机时段内所显示的测试图像中的目标进行对比,以确定抓拍图像中的目标与显示器在目标识别设备120的开机时段内所显示的测试图像中的目标是否匹配。
第二匹配异常事件与上述第一匹配异常事件的判断类似,区别主要在于,在本实施例中是将在目标识别设备120反复开关机过程中的开机时段内所显示的测试图像与抓拍图像进行对比,本领域技术人员可以根据上述关于第一匹配异常事件的描述理解本实施例,本文不再赘述。
根据本发明实施例,抓拍机116可以通过以下方式对采集图像中的目标进行检测,以确定至少一个目标轨迹:对采集图像中的目标进行检测,以确定一个或多个目标轨迹;对于一个或多个目标轨迹,如果存在任意两个目标轨迹之间的时间间隔小于图像切换时长阈值,则将该两个目标轨迹合并为同一目标轨迹,以获得至少一个目标轨迹。
上文已经描述了合并目标轨迹的实施例,此处不再赘述。
根据本发明实施例,抓拍机116具体用于:从至少一个目标轨迹中的每个目标轨迹的第一个采集图像中提取包含目标的图像块,以获得每个目标轨迹的开始抓拍图像;从至少一个目标轨迹中的每个目标轨迹的最后一个采集图像中提取包含目标的图像块,以获得每个目标轨迹的结束抓拍图像;测试主机114具体用于:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的开始抓拍图像和结束抓拍图像确定该目标轨迹的开始时刻和结束时刻。
如上文所述,抓拍机116可以工作在出现目标时抓拍、目标消失前抓拍的抓拍模式下。
抓拍机116对每次目标出现的第一个图像以及消失前的最后一个图像进行抓拍,测试主机114记录所述第一个图像以及所述最后一个图像的抓拍时间。以识别对象为人脸的目标识别设备120为例,假设显示器112顺序显示了A、B、C三个人脸测试图像,每个测试图像显示1分钟。目标识别设备120也随即每隔1分钟识别出不同的人脸A、B、C。对于抓拍机116,其可以分别抓拍到人脸A出现的第一个抓拍图像A1以及消失前的最后一个图像A2,人脸B出现的第一个抓拍图像B1以及消失前的最后一个抓拍图像B2,人脸C出现的第一个抓拍图像C1以及消失前的最后一个抓拍图像C2。测试主机114则相应地记录A1、A2、B1、B2、C1、C2的抓拍时刻。可选地,在每个人脸分别具有一个人脸轨迹的情况下,可以将A1和A2的抓拍时刻分别作为人脸A的人脸轨迹的开始时刻和结束时刻,将B1和B2的抓拍时刻分别作为人脸B的人脸轨迹的开始时刻和结束时刻,将C1和C2的抓拍时刻分别作为人脸C的人脸轨迹的开始时刻和结束时刻。可选地,在A、B、C三个人脸的轨迹合并为一个轨迹的情况下,可以将A1和C2的抓拍时刻分别作为该人脸轨迹的开始时刻和结束时刻。
根据本发明实施例,抓拍机116具体用于:按照预定时间间隔从至少一个目标轨迹中的每个目标轨迹所对应的采集图像中提取包含目标的图像块,以获得每个目标轨迹的至少一个抓拍图像;测试主机114具体用于:对于至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的至少一个抓拍图像确定该目标轨迹的开始时刻和结束时刻。
抓拍机116可以工作在连续抓拍的抓拍模式下。可选地,抓拍机116连续抓拍的频率可以设置的较高,例如3秒,从而有助于比较准确地确定每个目标轨迹的开始时刻和结束时刻。例如,假设抓拍机116从10:00:00开始,每隔10秒进行一次人脸抓拍,并假设从10:10:02开始测试图像出现人脸,并在10:15:04人脸消失(中间人脸持续存在),则抓拍机116可以在10:10:10抓拍到第一个人脸图像(忽略系统处理延迟时间),中间持续抓拍到28个人脸图像,并在10:15:00抓拍到最后一个人脸图像,共抓拍到30个人脸图像。可选地,可以将该人脸轨迹中的第一个人脸图像的抓拍时刻,即10:10:10,作为该人脸轨迹的开始时刻,将该人脸轨迹中的最后一个人脸图像的抓拍时刻,即10:15:00,作为该人脸轨迹的结束时刻。可选地,可以根据人脸图像的抓拍频率和第一个人脸图像的抓拍时刻估计人脸轨迹的开始时刻,例如,抓拍间隔为10秒,则可以取其一半的值,即5秒作为误差值。示例性地,可以将第一个人脸图像的抓拍时刻减去该误差值,获得估计值10:10:05,作为该人脸轨迹的开始时刻,可以将最后一个人脸图像的抓拍时刻加上该误差值,获得估计值10:15:05,作为该人脸轨迹的结束时刻。
上述抓拍机116的抓拍模式可以根据需要选择。
根据本发明实施例,测试主机114还可以用于存储抓拍图像、抓拍图像的抓拍时间信息、目标识别设备的测试结果中的一项或多项。上文已经描述了装置110中的存储器的实现方案,此处不再赘述。
根据本发明实施例,测试主机114还可以用于在目标识别设备120处于异常工作状态时输出提示信息。
当目标识别设备120发生异常时,可以输出对应的提示信息。可选地,当目标识别设备120处于任意异常工作状态时,输出统一的提示信息。可选地,当目标识别设备120处于不同的异常工作状态时,输出不同的提示信息。例如,当目标识别设备120发生重启故障时,输出重启故障提示,当目标识别设备120发生关机故障时,输出关机故障提示。
根据本发明实施例,测试主机114可以通过以下一种或多种方式输出提示信息:控制显示器112弹出异常提示窗口;发出音频报警信号;向关联的移动终端发送异常提示消息;向关联的电子邮箱发送异常提示邮件。
可以通过多种方式发出上述提示信息。弹出异常提示窗口比较适用于有人监控测试主机的情况。音频报警信号可以提醒附近的测试人员。对于远程值守的测试人员,则可以通过关联的手机或电子邮箱获取异常提示信息。通过结合多种方式发出提示,尽可能提醒测试人员及时查看测试现场,以便进一步定位异常发生的原因。
根据本发明的另一方面,提供了一种用于测试目标识别设备的方法。该方法可以应用于上述用于测试目标识别设备的装置。图2示出了根据本发明一个实施例的用于测试目标识别设备的方法200的示意性流程图。如图2所示,方法200包括步骤S210、S220和S230。
在步骤S210,显示测试图像,以由目标识别设备对测试图像中的目标进行识别并输出识别图像。
在步骤S220,对识别图像中的目标进行抓拍。
在步骤S230,至少根据测试图像以及抓拍图像判断目标识别设备是否正常工作。
上文已经结合图1描述了根据本发明实施例的用于测试目标识别设备的装置110的结构、工作方式及其优点,本领域技术人员可以结合图1及上文描述理解用于测试目标识别设备的方法200的实施方式及其优点,此处不再赘述。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的用于测试目标识别设备的装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种用于测试目标识别设备的装置,包括测试主机以及与所述测试主机连接的显示器和抓拍机,其中,
所述显示器用于显示测试图像,以由所述目标识别设备对所述测试图像中的目标进行识别并输出识别图像;
所述抓拍机用于对所述识别图像中的目标进行抓拍,并将获取的抓拍图像输出给所述测试主机;
所述测试主机用于至少根据所述测试图像以及所述抓拍图像判断所述目标识别设备是否正常工作。
2.如权利要求1所述的装置,其中,所述测试主机具体用于根据所述测试图像、所述抓拍图像和所述目标识别设备的工作模式判断所述目标识别设备是否正常工作,其中,所述工作模式为长期工作模式或反复开关机模式。
3.如权利要求2所述的装置,其中,所述测试主机具体用于:
根据所述抓拍图像确定所述识别图像中目标出现的检测时段;
根据所述检测时段、所述测试图像中目标出现的预设时段以及所述工作模式指示的所述目标识别设备的开机时段,判断所述目标识别设备是否正常工作。
4.如权利要求3所述的装置,其中,
所述抓拍机具体用于:
针对所述识别图像进行图像采集,以获得采集图像;
对所述采集图像中的目标进行检测和跟踪,以确定至少一个目标轨迹;
对于所述至少一个目标轨迹中的每个目标轨迹,从该目标轨迹所对应的至少部分采集图像中提取包含所述目标的图像块,以获得该目标轨迹所对应的抓拍图像;
所述测试主机通过以下方式根据所述抓拍图像确定所述识别图像中目标出现的检测时段:
对于所述至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹所对应的抓拍图像确定该目标轨迹的开始时刻和结束时刻,其中,所述检测时段中的每个时段用对应目标轨迹的开始时刻和结束时刻表示。
5.如权利要求4所述的装置,其中,所述显示器用于持续显示所述测试图像;
所述测试主机通过以下方式判断所述目标识别设备是否正常工作:
在所述工作模式是长期工作模式的情况下,如果发生第一异常事件,则确定所述目标识别设备处于异常工作状态,如果未发生所述第一异常事件,则确定所述目标识别设备处于正常工作状态,其中,所述第一异常事件包括第一轨迹异常事件和/或第一匹配异常事件,所述第一轨迹异常事件为在所述至少一个目标轨迹中的任一目标轨迹的结束时刻后的图像切换时长阈值内未出现新的目标轨迹,所述第一匹配异常事件为所述抓拍图像中的目标与所述测试图像中的目标不匹配。
6.如权利要求5所述的装置,其中,在所述第一异常事件包括所述第一匹配异常事件的情况下,所述测试主机还用于:
将所述抓拍图像中的目标与所述测试图像中的目标进行对比,以确定所述抓拍图像中的目标与所述测试图像中的目标是否匹配。
7.如权利要求5所述的装置,其中,所述第一轨迹异常事件包括第一事件和第二事件,所述测试主机进一步通过以下方式判断所述目标识别设备是否正常工作:
在所述工作模式是长期工作模式的情况下,如果发生所述第一事件,则确定所述目标识别设备发生重启故障,其中,所述第一事件为在所述至少一个目标轨迹中的任一目标轨迹的结束时刻后的第一时段内出现新的目标轨迹,其中,所述第一时段是从目标轨迹的结束时刻加上所述图像切换时长阈值所获得的时刻到目标轨迹的结束时刻加上重启时长阈值所获得的时刻之间的时段;
在所述工作模式是长期工作模式的情况下,如果发生所述第二事件,则确定所述目标识别设备发生死机故障,其中,所述第二事件为在所述至少一个目标轨迹中的任一目标轨迹的结束时刻后的第二时段内未出现新的目标轨迹,其中,所述第二时段是从目标轨迹的结束时刻到目标轨迹的结束时刻加上所述重启时长阈值所获得的时刻之间的时段。
8.如权利要求4至7任一项所述的装置,其中,所述显示器用于持续显示所述测试图像;
所述测试主机通过以下方式判断所述目标识别设备是否正常工作:
在所述工作模式是反复开关机模式的情况下,如果发生第二异常事件,则确定所述目标识别设备处于异常工作状态,如果未发生所述第二异常事件,则确定所述目标识别设备处于正常工作状态,其中,所述第二异常事件包括第二轨迹异常事件和/或第二匹配异常事件,所述第二轨迹异常事件为在所述目标识别设备的任一开机时段内,与该开机时段相对应的目标轨迹不存在,或者与该开机时段相对应的目标轨迹的开始时刻与该开机时段的开始时刻之间的偏差大于第一偏差阈值和/或与该开机时段相对应的目标轨迹的结束时刻与该开机时段的结束时刻之间的偏差大于第二偏差阈值,所述第二匹配异常事件为所述抓拍图像中的目标与所述显示器在所述目标识别设备的开机时段内所显示的测试图像中的目标不匹配。
9.如权利要求8所述的装置,其中,在所述第二异常事件包括所述第二匹配异常事件的情况下,所述测试主机还用于:
将所述抓拍图像中的目标与所述显示器在所述目标识别设备的开机时段内所显示的测试图像中的目标进行对比,以确定所述抓拍图像中的目标与所述显示器在所述目标识别设备的开机时段内所显示的测试图像中的目标是否匹配。
10.如权利要求4至7任一项所述的装置,其中,所述抓拍机通过以下方式对所述采集图像中的目标进行检测,以确定至少一个目标轨迹:
对所述采集图像中的目标进行检测,以确定一个或多个目标轨迹;
对于所述一个或多个目标轨迹,如果存在任意两个目标轨迹之间的时间间隔小于图像切换时长阈值,则将该两个目标轨迹合并为同一目标轨迹,以获得所述至少一个目标轨迹。
11.如权利要求4至7任一项所述的装置,其中,
所述抓拍机具体用于:
从所述至少一个目标轨迹中的每个目标轨迹的第一个采集图像中提取包含所述目标的图像块,以获得每个目标轨迹的开始抓拍图像;
从所述至少一个目标轨迹中的每个目标轨迹的最后一个采集图像中提取包含所述目标的图像块,以获得每个目标轨迹的结束抓拍图像;
所述测试主机具体用于:对于所述至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的开始抓拍图像和结束抓拍图像确定该目标轨迹的开始时刻和结束时刻。
12.如权利要求4至7任一项所述的装置,其中,
所述抓拍机具体用于:
按照预定时间间隔从所述至少一个目标轨迹中的每个目标轨迹所对应的采集图像中提取包含所述目标的图像块,以获得每个目标轨迹的至少一个抓拍图像;
所述测试主机具体用于:
对于所述至少一个目标轨迹中的每个目标轨迹,根据该目标轨迹的至少一个抓拍图像确定该目标轨迹的开始时刻和结束时刻。
13.如权利要求1至7任一项所述的装置,其中,所述测试主机还用于存储所述抓拍图像、所述抓拍图像的抓拍时间信息、所述目标识别设备的测试结果中的一项或多项。
14.如权利要求1至7任一项所述的装置,其中,所述抓拍机通过以下方式对所述识别图像中的目标进行抓拍:
针对所述目标识别设备的显示器上所显示的所述识别图像进行抓拍,以获得所述抓拍图像。
15.如权利要求1至7任一项所述的测试装置,其中,所述测试主机还用于在所述目标识别设备处于异常工作状态时输出提示信息。
16.如权利要求15所述的测试装置,其中,所述测试主机通过以下一种或多种方式输出所述提示信息:
控制所述显示器弹出异常提示窗口;
发出音频报警信号;
向关联的移动终端发送异常提示消息;
向关联的电子邮箱发送异常提示邮件。
17.一种用于测试目标识别设备的方法,包括:
显示测试图像,以由所述目标识别设备对所述测试图像中的目标进行识别并输出识别图像;
对所述识别图像中的目标进行抓拍;以及
至少根据所述测试图像以及所述抓拍图像判断所述目标识别设备是否正常工作。
CN201810681815.9A 2018-06-27 2018-06-27 用于测试目标识别设备的装置及方法 Active CN108875837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810681815.9A CN108875837B (zh) 2018-06-27 2018-06-27 用于测试目标识别设备的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810681815.9A CN108875837B (zh) 2018-06-27 2018-06-27 用于测试目标识别设备的装置及方法

Publications (2)

Publication Number Publication Date
CN108875837A true CN108875837A (zh) 2018-11-23
CN108875837B CN108875837B (zh) 2022-03-15

Family

ID=64296105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810681815.9A Active CN108875837B (zh) 2018-06-27 2018-06-27 用于测试目标识别设备的装置及方法

Country Status (1)

Country Link
CN (1) CN108875837B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559522A (zh) * 2019-01-21 2019-04-02 中控智慧科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN109618149A (zh) * 2018-12-10 2019-04-12 北京旷视科技有限公司 设备成像质量的测试方法、装置和智能设备
CN109658706A (zh) * 2018-12-18 2019-04-19 深圳市捷顺科技实业股份有限公司 一种车辆数据处理方法及相关设备
CN110031697A (zh) * 2019-03-07 2019-07-19 北京旷视科技有限公司 目标识别设备的测试方法、装置、系统和计算机可读介质
CN110087033A (zh) * 2019-04-24 2019-08-02 北京旷视科技有限公司 视频处理系统和方法、视频处理设备及介质
CN110826646A (zh) * 2019-11-27 2020-02-21 深圳市优必选科技股份有限公司 机器人视觉测试方法、装置、存储介质及终端设备
CN111371984A (zh) * 2019-06-14 2020-07-03 杭州海康威视系统技术有限公司 确定抓拍机异常的方法、装置及存储介质
CN111931605A (zh) * 2020-07-23 2020-11-13 中核核电运行管理有限公司 一种核电厂高风险操作智能监护系统及方法
CN112631896A (zh) * 2020-12-02 2021-04-09 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN112911394A (zh) * 2021-01-28 2021-06-04 湖南国科微电子股份有限公司 一种机顶盒的死机判定方法、装置、设备及介质
CN113705389A (zh) * 2021-08-13 2021-11-26 北京市商汤科技开发有限公司 人脸识别模组测试方法、装置、存储介质及电子设备
CN113840137A (zh) * 2021-09-14 2021-12-24 四川长虹网络科技有限责任公司 一种网络摄像机移动侦测灵敏度的验证方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867418A (zh) * 2012-09-14 2013-01-09 浙江宇视科技有限公司 一种判断车牌识别准确性的方法和装置
KR20130065604A (ko) * 2011-12-09 2013-06-19 한국전자통신연구원 지능형 로봇의 얼굴인식 기능에 대한 시험 장치 및 방법
KR20140105279A (ko) * 2013-02-22 2014-09-01 한국전자통신연구원 Led 모니터를 이용한 지능형 로봇의 얼굴 인식 기능에 대한 성능 평가 시스템 및 방법
CN104866839A (zh) * 2015-06-03 2015-08-26 北京释码大华科技有限公司 一种用于测试虹膜识别设备性能的测试装置和方法
CN105719499A (zh) * 2016-04-21 2016-06-29 百度在线网络技术(北京)有限公司 交通标志识别测试方法和装置
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术(北京)有限公司 测试方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130065604A (ko) * 2011-12-09 2013-06-19 한국전자통신연구원 지능형 로봇의 얼굴인식 기능에 대한 시험 장치 및 방법
CN102867418A (zh) * 2012-09-14 2013-01-09 浙江宇视科技有限公司 一种判断车牌识别准确性的方法和装置
KR20140105279A (ko) * 2013-02-22 2014-09-01 한국전자통신연구원 Led 모니터를 이용한 지능형 로봇의 얼굴 인식 기능에 대한 성능 평가 시스템 및 방법
CN104866839A (zh) * 2015-06-03 2015-08-26 北京释码大华科技有限公司 一种用于测试虹膜识别设备性能的测试装置和方法
CN105719499A (zh) * 2016-04-21 2016-06-29 百度在线网络技术(北京)有限公司 交通标志识别测试方法和装置
CN106779089A (zh) * 2016-12-13 2017-05-31 百度在线网络技术(北京)有限公司 测试方法和装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109618149B (zh) * 2018-12-10 2021-01-12 北京旷视科技有限公司 设备成像质量的测试方法、装置和智能设备
CN109618149A (zh) * 2018-12-10 2019-04-12 北京旷视科技有限公司 设备成像质量的测试方法、装置和智能设备
CN109658706A (zh) * 2018-12-18 2019-04-19 深圳市捷顺科技实业股份有限公司 一种车辆数据处理方法及相关设备
CN109559522B (zh) * 2019-01-21 2021-09-28 熵基科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN109559522A (zh) * 2019-01-21 2019-04-02 中控智慧科技股份有限公司 一种调试方法、伸缩立柱、摄像机及存储介质
CN110031697A (zh) * 2019-03-07 2019-07-19 北京旷视科技有限公司 目标识别设备的测试方法、装置、系统和计算机可读介质
CN110031697B (zh) * 2019-03-07 2021-09-14 北京旷视科技有限公司 目标识别设备的测试方法、装置、系统和计算机可读介质
CN110087033A (zh) * 2019-04-24 2019-08-02 北京旷视科技有限公司 视频处理系统和方法、视频处理设备及介质
CN111371984A (zh) * 2019-06-14 2020-07-03 杭州海康威视系统技术有限公司 确定抓拍机异常的方法、装置及存储介质
CN110826646A (zh) * 2019-11-27 2020-02-21 深圳市优必选科技股份有限公司 机器人视觉测试方法、装置、存储介质及终端设备
CN111931605A (zh) * 2020-07-23 2020-11-13 中核核电运行管理有限公司 一种核电厂高风险操作智能监护系统及方法
CN111931605B (zh) * 2020-07-23 2024-05-14 中核核电运行管理有限公司 一种核电厂高风险操作智能监护系统及方法
CN112631896B (zh) * 2020-12-02 2024-04-05 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN112631896A (zh) * 2020-12-02 2021-04-09 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN112911394A (zh) * 2021-01-28 2021-06-04 湖南国科微电子股份有限公司 一种机顶盒的死机判定方法、装置、设备及介质
CN112911394B (zh) * 2021-01-28 2023-05-02 湖南国科微电子股份有限公司 一种机顶盒的死机判定方法、装置、设备及介质
CN113705389A (zh) * 2021-08-13 2021-11-26 北京市商汤科技开发有限公司 人脸识别模组测试方法、装置、存储介质及电子设备
CN113840137B (zh) * 2021-09-14 2023-09-15 四川长虹网络科技有限责任公司 一种网络摄像机移动侦测灵敏度的验证方法及系统
CN113840137A (zh) * 2021-09-14 2021-12-24 四川长虹网络科技有限责任公司 一种网络摄像机移动侦测灵敏度的验证方法及系统

Also Published As

Publication number Publication date
CN108875837B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN108875837A (zh) 用于测试目标识别设备的装置及方法
US10971192B2 (en) Methods and systems for detection of anomalous motion in a video stream and for creating a video summary
US10529203B2 (en) Regional surveillance and alarming system and method
CN104137028A (zh) 控制被显示图像的旋转的设备和方法
CN108540754A (zh) 用于视频监控中多视频拼接的方法、装置和系统
TW201237809A (en) System and method for detecting monitoring video
CN109446094B (zh) 一种卡顿检测方法、装置、电子设备和存储介质
CN105260725A (zh) 一种虹膜识别系统
CN111601105B (zh) 一种视频显示状态异常检测方法、装置及电子设备
CN105105738A (zh) 信息处理方法、装置及电子设备
CN103839301A (zh) 基于视频跟踪和人脸识别的智能考勤系统的工作方法
CN110502591A (zh) 一种数据提取方法、装置及设备
CN112073713B (zh) 视频漏录测试方法、装置、设备及存储介质
CN104301718A (zh) 摄像头稳定性检测中的图像显示、及其检测方法和系统
CN112162888A (zh) 显示器黑屏的原因的确定方法、装置和计算机存储介质
CN108089110A (zh) 主板可靠性测试方法及系统
CN113038261A (zh) 一种视频生成方法、装置、设备、系统及存储介质
CN107578022B (zh) 基于图像识别和智能座椅的门店客流量管理系统和方法
US20040237096A1 (en) Automated in-home observation of user interactions with video devices
CN115623252A (zh) 在线考试自动检测重启推流控制方法、装置及存储介质
CN114973135A (zh) 一种基于头肩的时序视频睡岗识别方法、系统及电子设备
US20220300658A1 (en) Non-transitory computer readable medium, information processing apparatus, and method for information processing
CN112731102B (zh) 一种液晶电视背光故障检测方法
CN109522223B (zh) 一种车载Android多媒体主机的自动测试方法和系统
CN208460406U (zh) 一种透析数据的采集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant