CN112528079A - 系统检测方法、装置、电子设备、存储介质和程序产品 - Google Patents

系统检测方法、装置、电子设备、存储介质和程序产品 Download PDF

Info

Publication number
CN112528079A
CN112528079A CN202011525082.3A CN202011525082A CN112528079A CN 112528079 A CN112528079 A CN 112528079A CN 202011525082 A CN202011525082 A CN 202011525082A CN 112528079 A CN112528079 A CN 112528079A
Authority
CN
China
Prior art keywords
target
file
frame
video
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011525082.3A
Other languages
English (en)
Inventor
林韦妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202011525082.3A priority Critical patent/CN112528079A/zh
Publication of CN112528079A publication Critical patent/CN112528079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种系统检测方法、装置、电子设备、存储介质和程序产品,涉及计算机视觉领域中的图像处理领域。具体实现方案为:获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。本公开可以提高对视频结构化系统的性能检测的准确性。

Description

系统检测方法、装置、电子设备、存储介质和程序产品
技术领域
本公开涉及计算机视觉领域中的图像处理领域。
背景技术
视频结构化是一种将视频内容中的重要信息进行结构化提取的技术,基于视频结构化技术对视频内容按照语义关系,采用时空分割、特征提取、对象识别、深度学习等处理手段,组织成可供计算机和人理解的文本信息或可视化图形信息。视频结构化系统一般通过对前端监控相机或者离线视频文件进行视频结构化分析,分析出视频中人体、机动车、非机动车等目标及其相关特征和属性信息,并可进一步基于分析出的特征和属性信息进行深度研判。
发明内容
本公开提供了一种系统检测方法、装置、电子设备、存储介质和程序产品。
根据本公开的一方面,提供了一种系统检测方法,包括:
获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;
基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;
基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
根据本公开的另一方面,提供了一种系统检测装置,包括:
第一获取模块,用于获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;
检测模块,用于基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;
第二获取模块,用于基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
根据本公开的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开提供的系统检测方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本公开提供的系统检测方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开提供的系统检测方法。
根据本公开的技术方案,通过基于目标文件对待测文件进行逐帧检测,以确定所述待测文件中标注正确的目标对象的数量,然后基于所述标注正确的目标对象的数量确定视频结构化系统的检测结果信息,这样,可以提高对视频结构化系统的性能检测的准确性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开提供的一种系统检测方法的流程图之一;
图2是本公开提供的系统检测装置的结构示意图之一;
图3是本公开提供的一种系统检测方法的流程图之二;
图4是本公开提供的系统检测装置的结构示意图之二;
图5是本公开提供的系统检测装置的结构示意图之三;
图6是本公开提供的一种电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
请参见图1,图1是本公开一种系统检测方法,包括:
步骤S101、获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息。
上述视频结构化系统可以用于对监控设备所采集的视频数据中的目标对象进行识别,其中,所述目标对象可以是车辆、人体、人像、犬类等人为设定的对象。
上述标注信息可以包括:目标对象所在视频帧的帧号以及目标对象在视频帧中的位置坐标信息。此外,上述标注信息还可以包括所述目标对象的属性信息,例如,可以包括所述目标对象的颜色等属性信息。
上述视频结构化系统对目标视频中的目标对象进行位置标注的标注过程具体可以是:对所述目标视频进行切帧处理,得到所述目标视频中的每一帧图像,分别对所得到的每一帧图像中的目标对象进行识别,并对所识别到的目标对象在图像中进行标注,具体地,可以在图像中绘制与目标对象的轮廓形状相同的封闭区域作为目标对象的标注信息,或者,也可以通过坐标的形式标注所述目标对象在图像中的位置。在完成对所述目标视频的标注之后,可以将视频结构化系统对目标视频中的目标对象进行标注之后的文件作为所述待测文件。
步骤S102、基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息。
上述目标文件可以是人为对所述目标视频中的目标对象进行标注得到的文件,具体而言,可以对所述目标视频中的每一帧图像中的目标对象进行标注,此外,也可以从所述目标视频中抽取部分帧的图像进行标注,以得到所述目标文件。
具体地,由于所述待测文件和目标文件是对同一目标视频中的目标对象进行标注得到的具有标注信息的文件,若所述待测文件和目标文件均标注正确的情况下,所述待测文件和目标文件为相同的文件。因此,在对所述待测文件进行逐帧检测时,可以将所述目标文件作为参考文件,基于该目标文件确定所述待测文件中标注正确的目标对象的数量。
上述逐帧检测的具体过程可以包括:从所述待测文件与目标文件中分别获取对目标视频中的同一帧图像进行标注的标注结果,然后,将待测文件中对该帧图像的标注结果与目标文件中对该帧图像的标注结果进行比对,以确定所述待测文件中标注的目标对象是否正确,例如,可以将两帧图像中标注相同的目标对象作为所述待测文件中标注正确的目标对象。这样,通过分别对所述待测文件中的每一帧图像进行上述对比过程,即可完成所述逐帧检测的过程。
上述待测文件中标注正确的目标对象的数量可以是指:所述待测文件的每一帧图像中标注正确的目标对象的数量之和。
步骤S103、基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
上述目标视频中的某些帧图像中可能包括多个不同的目标对象,当然,上述目标视频中也可能存在部分帧图像中不包括目标对象,例如,当所述目标对象为道路交通路口中的监控设备所拍摄到的车辆时,所述目标视频中的某些帧图像中可能包括多辆车辆,当然,也可能存在部分帧图像中不包括车辆。当将所述目标视频输入所述视频结构化系统时,在所述视频结构化系统识别正确的情况下,所述视频结构化系统可以识别出所述目标视频的每一帧图像中的所有目标对象。然而,由于所拍摄得到的画面的画质以及识别精度等原因,均可能导致所述视频结构化系统对目标视频进行识别的准确性降低。上述视频结构化系统对目标视频进行识别的准确率降低的表现可以包括以下至少一项:遗漏对某些目标对象的标注以及在不存在目标对象的位置标注目标对象等。
具体地,上述待测文件中标注正确的目标对象的数量,即所述视频结构化系统对目标视频中的目标对象进行标注,得到的标注结果中标注正确的目标对象的数量。相应地,上述视频结构化系统的检测结果信息可以是所述视频结构化系统对目标视频中的目标对象进行检测的准确性。
该实施方式中,通过确定所述视频结构化系统对目标视频中的目标对象进行检测的准确性,以基于检测结果确定所述视频结构化系统的性能,相对于现有技术中只能依靠人工经验的方式预测视频结构化系统的性能而言,本实施例所提供的检测方法,通过对待测文件逐帧检测,以得到所述待测文件中标注正确的目标对象的数量,并基于所述标注正确的目标对象的数量,确定所述视频结构化系统的检测结果信息,可以提高对视频结构化系统的性能检测的准确性。
可选地,所述基于目标文件,对所述待测文件进行逐帧检测,包括:
在获取到所述待测文件中的第i帧图像的情况下,在所述目标文件中确定第j帧图像,其中,所述i与所述j之间的差值小于目标预设值,所述待测文件包括x帧图像,所述i为小于或等于所述x的正整数,所述j为小于或等于所述x的正整数,所述x为大于1的整数,所述目标预设值基于所述x与所述目标文件所包括的图像的数量确定;
基于所述第j帧图像确定所述第i帧图像中标注正确的目标对象的数量。
具体地,所述待测文件中的每一帧带标注图像均可以包括其在所述目标视频中的帧号,相应地,所述目标文件中的每一帧图像也可以包括其在目标视频中的帧号。以便于后续在对待测文件中的某一帧图像进行检测时,能够在目标文件中确定与该帧图像的帧号最接近的一帧图像。
由于针对同一帧图像中的目标对象采用两种不同的方式进行标注,在两种方式均标注正确的情况下,标注结果应当是相同的。同时,在通常情况下,相邻两帧图像中的内容通常是相近的,因此,采用两种方式分别标注相邻两帧图像的标注结果通常也是相近的。
基于此,本实施例中,在对待测文件的第i帧图像进行检测时,可以通过从所述目标文件所包括的图像中获取帧号与所述第i帧图像最接近的第j帧图像,并根据第j帧图像对第i帧图像进行检测,由于所述第i帧图像与第j帧图像的帧号相同或相近,因此,两帧图像中的目标对象的数量及坐标位置可以视为相同。而目标文件中记录了目标对象的位置信息,因此,可以基于第j帧图像对第i帧图像中的标注结果进行检测,当所述第i帧图像中的标注结果与所述第j帧图像中记录的目标对象的位置信息相匹配时,可以确定所述第i帧图像中的目标对象标注正确,反之,则确定所述第i帧图像中的目标对象标注错误。
由于上述目标文件可以是对所述目标视频中的每一帧图像中的目标对象进行标注,得到的文件,也可以从所述目标视频中抽取部分帧的图像进行标注,得到目标文件。而所述待测文件为视频结构化系统对目标视频中的每一帧图像中的目标对象进行标注,得到的文件。
因此,可以根据所述目标文件所包括的图像的数量与待测文件所包括的图像的数量x之间的比值,确定所述目标文件的抽帧间距n,即所述目标文件中,相邻两帧图像之间的帧距。例如,当所述x=50时,若所述目标文件所包括的图像的数量为10,则所述目标文件的抽帧间距为5。
应当说明的是,在所述目标文件的抽帧间距n的情况下,所述目标文本包括所述目标视频中的如下帧图像:第n帧,第2n帧,…,第j帧,第j+n帧,…,第m帧;其中,所述j为所述n的整数倍,(x-n)<m≤x。
由于上述第j帧图像为所述目标文件所包括的图像中帧号与所述第i帧图像最接近的图像,因此,所述i与j之间的差值必然小于所述抽帧间距n。而当i为大于j且小于j+n的整数时,所述目标文件中的第j帧图像与第j+n帧图像与i之间的差值均小于所述抽帧间距n,此时,可以将所述i与j之间的第一差值以及i与j+n之间的第二差值与n/2进行比较。所述第一差值与所述第二差值可能存在如下两种情况:情况一:第一差值与第二差值中,一者小于所述n/2,另一者大于n/2,在此情况下,差值小于n/2的图像为所述帧号最接近的图像;情况二:所述第一差值与所述第二差值均等于所述n/2,此时,所述第j帧图像与第j+n帧图像均为最接近的图像,此时,可以在第j帧图像与第j+n帧图像中任取一者作为所述第j帧图像。基于此,上述目标预设值可以为所述目标文件中相邻两帧图像的帧距的一半。
该实施方式中,在对待测文件中的某一帧图像进行检测时,通过在所述目标文件中获取与待检测的图像的帧号最接近的图像,并基于所获取到的帧号最接近的图像中的目标对象的位置信息与待检测的图像中标注的目标对象的位置信息进行对比,以确定待检测的图像中的标注结果是否正确。
可选地,所述第i帧图像中标注正确的目标对象包括:
所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象。
上述目标对象之间的交并比即两个目标对象所在区域的交集与两个目标对象所在区域的并集之比。当两个目标对象的交并比为1时,则说明两个目标对象完全重合,相应地,当两个目标对象的交并比为0时,则说明两个目标对象之间不存在重叠部分。可见,若两帧带标注的图像中所标注的目标对象之间的交并比较大时,则该两帧图像中标注的目标对象很可能是同一目标对象。
由于上述第i帧图像与所述第j帧图像可以是帧号不同,但帧号相邻近的两帧图像,即两帧图像拍摄的时间点之间存在一定的时间差,在目标对象为运动的对象时,同一目标对象在第i帧图像中的位置与在第j帧图像中的位置可能存在一定的偏移,此时,即便第i帧图像与第j帧图像对目标对象均标注正确的情况下,两帧图像中的目标对象之间的交并比也将小于1,因此,可以将所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象视为标注正确的目标对象,其中,所述第一预设值的取值可以位于0至1之间,例如,所述第一预设值可以为0.5。
具体地,在确定第i帧图像中标注的目标对象是否为标注正确的目标对象时,可以先获取第i帧图像中第一目标对象的位置信息,其中,所述第一目标对象可以是所述第i帧图像中的任意一个目标对象。然后,可以遍历所述第j帧图像中所有目标对象的位置信息,并在所述第j帧图像中确定第二目标对象,其中,所述第二目标对象为所述第j帧图像中,与所述第一目标对象的交并比最大的目标对象。然后,计算所述第一目标对象与第二目标对象之间的交并比,在所述第一目标对象与第二目标对象之间交并比大于所述第一预设值的情况下,确定所述第一目标对象为标注正确的目标对象,反之,在所述第一目标对象与第二目标对象之间交并比小于或等于所述第一预设值的情况下,确定所述第一目标对象为标注错误的目标对象。
该实施方式中,通过计算目标对象之间的交并比,并所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象确定为标注正确的目标对象,从而实现基于目标文件对待测文件进行逐帧检测的检测过程。
可选地,所述基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量之前,所述方法还包括:
从所述目标视频中等帧距抽取至少两个目标帧图像,其中,在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值;
对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件。
具体地,在人工对目标视频中的目标对象进行标注以得到目标文件的过程中,若对目标视频中的每一帧图像中的目标对象均进行标注,将导致标注成本相当高。而同一视频中,由于相邻两帧图像之间拍摄的时间差相当小,因此,同一目标对象在相邻两帧图像中的位置坐标相同或相近,即对相邻两帧图像进行标注的结果可能相似。基于此,本申请实施例中,在对目标视频中的目标对象进行标注,以得到所述目标文件时,并非对目标视频中的每一帧图像均进行标注,而是采用抽帧的方式,从所述目标视频中采样部分帧的图像,进行标注,以得到所述目标文件,例如,可以每隔5帧采样一帧目标帧图像进行标注。以降低对目标视频的标注成本。
上述目标帧之间的帧距可以基于所述目标视频中的目标对象的运动速度进行确定,例如,当所述目标对象的运动速度较大时,即目标对象在相邻两个目标帧图像之间的位置偏移量较大时,可以减小所述帧距。反之,当所述目标对象的运动速度较小时,即所述目标对象在相邻两个目标帧图像之间的位置偏移量较小时,可以增大所述帧距。具体而言,在抽取所述目标帧图像时,可以使在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值,上述第二预设值可以是一个相对较小的取值,例如,可以是1mm、2mm等。这样,既可以保证目标对象在各个目标帧图像之间的运动状态的连贯性,同时,由于仅需对所述目标视频中的部分帧图像进行标注,从而可以有效的降低标注的成本。
上述对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件可以是指,在所述至少两个目标帧图像中标注出目标对象的位置,例如,当所述目标对象为车辆时,则可以在所述至少两个目标帧图像中出现车辆的位置进行标注。
上述对目标视频中的目标对象进行标注以得到所述目标文件的具体过程可以是:采用多媒体视频处理工具ffmpeg对视频流(目标视频)按原码率进行切帧,并按照用户设置的抽帧间隔对原视频进行抽帧处理,抽帧原则是保证抽帧后的帧与帧之间目标对象的变化距离小于第二预设值。将抽帧后的数据移交标注团队按标注需求进行数据标注,从而得到所述目标文件。
该实施方式中,通过在目标视频中等帧距抽取目标帧图像,并使在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值,这样,既可以保证目标对象在各个目标帧图像之间的运动状态的连贯性,同时,可以有效的降低标注的成本。
在本公开一个具体实施例中,若所述目标帧图像之间的帧距为n,(n∈N*),则上述在所述目标文件中确定与所述第i帧图像的帧号最接近的第j帧图像的具体过程可以包括:
将所述i模所述n,得到的商为A,余数为B;
在所述B大于或者等于[(n/2+1)]的情况下,所述j=(A+1)*n,其中,所述[(n/2+1)]的物理意义为:对(n/2+1)进行取整;
在所述B小于[(n/2+1)]的情况下,所述j=A*n。
具体地,假设所述n=5,则所述目标文件中包括的图像的帧号分别为5的整数倍,例如,当所述目标视频包括30帧图像时,所述目标文件中的图像的帧号依次为:5、10、15、20、25和30。此时,假设所述i等于12,由于12模5的商A为2,余数B为2。此时,[(n/2+1)]=3,即B小于[(n/2+1)],则此时,所述j=2*5=10,即在此情况下,从所述目标文件中获取第10帧图像,并基于所述目标文件中的第10帧图像中的目标对象的位置信息对所述待测文件中的第12帧图像中对目标对象的标注信息进行检测。
仍以上述n=5为例,当所述i=13时,由于13模5的商A为2,余数B为3。此时,[(n/2+1)]=3,即B等于[(n/2+1)],则此时,所述j=(2+1)*5=15,即在此情况下,从所述目标文件中获取第15帧图像,并基于所述目标文件中的第15帧图像中的目标对象的位置信息对所述待测文件中的第13帧图像中对目标对象的标注信息进行检测。
由此可见,采样上述方式,仅需输入n和i,即可在目标文件中确定用于校验第i帧图像的参考图像的帧号,有利于快速定位所述目标文件中的第j帧图像。
可选地,所述对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件,包括:
对所述至少两个目标帧图像中的目标对象进行标注,得到标注文件;
删除所述标注文件中,面积小于第三预设值的目标对象,得到所述目标文件。
具体地,由于上述目标文件仅包括所述目标视频中的部分帧图像中的目标对象的位置信息,因此,在对第i帧图像进行检测的过程中,所确定的第j帧图像可能为所述目标视频中第i帧图像之外的其他帧图像,即所述i和j的值不同,当所述目标对象为运动对象时,同一目标对象在目标视频中第i帧图像与第j帧图像之间的位置可能存在一定的偏移,若所述目标对象的面积过小,将可能导致第i帧图像中的目标对象与第j帧图像中的目标对象之间的交并比小于所述第一预设值,此时,即便所述第i帧图像对目标对象的标注为正确标注,采用上述方法计算得到的所述第i帧图像中与第j帧图像中的目标对象之间的交并比也可能小于第一预设值,从而导致误检的问题。
为避免由于目标对象的面积过小,而导致的误检的问题,本申请实施例中,在制作所述目标文件时,可以选择删除所述标注文件中面积小于第三预设值的目标对象。其中,所述第三预设值可以是30mm×30mm。
该实施方式中,通过删除所述标注文件中面积小于第三预设值的目标对象,这样,可以避免由于目标对象的面积过小,而导致的误检的问题。
可选地,所述检测结果信息包括以下信息中的至少一项:准确率信息和召回率信息;
其中,所述准确率信息包括:所述标注正确的目标对象的数量与所述待测文件中标注的目标对象的数量之比;
所述召回率信息包括:所述标注正确的目标对象的数量与所述目标文件中的目标对象的数量之比。
具体地,在检测出所述待测文件中标注正确的目标对象的数量的情况下,可以进一步计算所述视频结构化系统对目标视频中的目标对象进行标注的准确率,具体而言,假设所述视频结构化系统在所述目标视频中标注了s个目标对象,即所述待测文件中包括s个目标对象,而所述待测文件中标注正确的目标对象的数量a,则在此情况下,所述视频结构化系统的目标视频中的目标对象进行标注的准确率为a/s。
由于上述s个目标对象为所述视频结构化系统对所述目标视频进行标注得到的目标对象的数量,但实际上,所述视频结构化系统可能存在标注错误的情形,即所述目标视频中实际上可能包括m个目标对象,其中,所述s≠m,即此时,所述目标视频中包括m个目标对象,而所述视频结构化系统识别正确的目标对象的数量为a,因此,所述视频结构化系统的召回率为a/m,由于上述目标文件中的标注结果相对准确,因此,可以基于所述目标文件中的目标对象的数量确定所述m的取值。
该实施方式中,在检测到所述待测文件中标注正确的目标对象的数量的情况下,通过进一步计算所述视频结构化系统对目标视频中的目标对象进行标注的准确率和召回率,从而提高对视频结构化系统的性能检测的准确性。
请参见图2,图2为本公开一个实施例提供的一种系统检测装置的结构示意图,其中,该系统检测装置可以用于执行上述实施例中的系统检测装置。其中,所述系统检测装置包括:目标文件生成模块,用于对监控设备所采集到的目标视频进行切帧、抽帧和标注处理,以得到目标文件;待测文件生成模块,用于生成待测文件,其中,所述待测文件生成模块可以是各种视频结构化产品;文本处理解析模块,用于对所述目标文件和待测文件进行解析及预处理,例如,删除所述目标文件和待测文件中面积较小的目标对象;比对计算模块,用于基于所述基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,以及用于基于所述标注正确的目标对象的数量,确定所述视频结构化系统的检测结果信息;报表生成模块,该模块可以用于将多个视频场景检测的数据进行格式化处理,计算最优工程策略阈值及模型阈值参数,推送给相关人员。
请参见图3,图3为本公开另一实施例提供的一种系统检测方法的流程图,所述系统检测方法包括以下步骤:获取待测文件中的第i帧图像,将i模抽帧间距n得到商为A,余数为B,基于B与[n/2+1]之间的相对大小,确定所述j的取值,其中,B≥[n/2+1]的情况下,所述j=(A+1)*n,在所述B<[n/2+1]的情况下,所述j=A*n;然后,从所述目标文件中获取第j帧图像,将第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象,确定为标注正确的目标对象,得到所述第i帧图像中标注正确的目标对象的数量。按照上述方法对所述待测文件进行逐帧检测,并统计待测文件中每一帧图像中标注正确的目标对象的数量之和,从而得到所述待测文件中标注正确的目标对象的数量,进而可以基于所述待测文件中标注正确的目标对象的数量,计算视频结构化系统的准确率和召回率。其中,本实施例中各个步骤的具体实现过程可以参见上述实施例,为避免重复,在此不再予以赘述。
请参见图4,图4是本申请实施例提供的一种系统检测装置400,包括:
第一获取模块401,用于获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;
检测模块402,用于基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;
第二获取模块403,用于基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
可选地,请参见图5,所述检测模块402包括:
第一确定单元4021,用于第一确定单元,用于在获取到所述待测文件中的第i帧图像的情况下,在所述目标文件中确定第j帧图像,其中,所述i与所述j之间的差值小于或等于目标预设值,所述待测文件包括x帧图像,所述i为小于或等于所述x的正整数,所述j为小于或等于所述x的正整数,所述x为大于1的整数,所述目标预设值基于所述x与所述目标文件所包括的图像的数量确定;
第二确定单元4022,用于基于所述第j帧图像确定所述第i帧图像中标注正确的目标对象的数量。
可选地,所述第i帧图像中标注正确的目标对象包括:
所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象。
可选地,请参见图5,所述装置还包括:
抽帧模块404,用于从所述目标视频中等帧距抽取至少两个目标帧图像,其中,在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值;
标注模块405,用于对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件。
可选地,请进一步参见图5,所述标注模块405,包括:
标注单元4051,用于对所述至少两个目标帧图像中的目标对象进行标注,得到标注文件;
删除单元4052,用于删除所述标注文件中,面积小于第三预设值的目标对象,得到所述目标文件。
可选地,所述检测结果信息包括以下信息中的至少一项:准确率信息和召回率信息;
其中,所述准确率信息包括:所述标注正确的目标对象的数量与所述待测文件中标注的目标对象的数量之比;
所述召回率信息包括:所述标注正确的目标对象的数量与所述目标文件中的目标对象的数量之比。
本实施例提供的装置能够实现图1所示的方法实施例中实现的各个过程,且可以达到相同有益效果,为避免重复,这里不再赘述。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如系统检测方法。例如,在一些实施例中,系统检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的系统检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行系统检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (15)

1.一种系统检测方法,包括:
获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;
基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;
基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
2.根据权利要求1所述的方法,其中,所述基于目标文件,对所述待测文件进行逐帧检测,包括:
在获取到所述待测文件中的第i帧图像的情况下,在所述目标文件中确定第j帧图像,其中,所述i与所述j之间的差值小于或等于目标预设值,所述待测文件包括x帧图像,所述i为小于或等于所述x的正整数,所述j为小于或等于所述x的正整数,所述x为大于1的整数,所述目标预设值基于所述x与所述目标文件所包括的图像的数量确定;
基于所述第j帧图像确定所述第i帧图像中标注正确的目标对象的数量。
3.根据权利要求2所述的方法,其中,所述第i帧图像中标注正确的目标对象包括:
所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象。
4.根据权利要求1所述的方法,其中,所述基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量之前,所述方法还包括:
从所述目标视频中等帧距抽取至少两个目标帧图像,其中,在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值;
对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件。
5.根据权利要求4所述的方法,其中,所述对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件,包括:
对所述至少两个目标帧图像中的目标对象进行标注,得到标注文件;
删除所述标注文件中,面积小于第三预设值的目标对象,得到所述目标文件。
6.根据权利要求1所述的方法,其中,所述检测结果信息包括以下信息中的至少一项:准确率信息和召回率信息;
其中,所述准确率信息包括:所述标注正确的目标对象的数量与所述待测文件中标注的目标对象的数量之比;
所述召回率信息包括:所述标注正确的目标对象的数量与所述目标文件中的目标对象的数量之比。
7.一种系统检测装置,包括:
第一获取模块,用于获取待测文件,其中,所述待测文件包括视频结构化系统对目标视频中的目标对象进行位置标注的标注信息;
检测模块,用于基于目标文件,对所述待测文件进行逐帧检测,输出所述待测文件中标注正确的目标对象的数量,其中,所述目标文件包括所述目标视频中的目标对象在所述目标视频中的位置信息;
第二获取模块,用于基于所述标注正确的目标对象的数量,获取所述视频结构化系统的检测结果信息。
8.根据权利要求7所述的装置,其中,所述检测模块包括:
第一确定单元,用于在获取到所述待测文件中的第i帧图像的情况下,在所述目标文件中确定第j帧图像,其中,所述i与所述j之间的差值小于或等于目标预设值,所述待测文件包括x帧图像,所述i为小于或等于所述x的正整数,所述j为小于或等于所述x的正整数,所述x为大于1的整数,所述目标预设值基于所述x与所述目标文件所包括的图像的数量确定;
第二确定单元,用于基于所述第j帧图像确定所述第i帧图像中标注正确的目标对象的数量。
9.根据权利要求8所述的装置,其中,所述第i帧图像中标注正确的目标对象包括:
所述第i帧图像中与第j帧图像中的目标对象之间的交并比大于第一预设值的目标对象。
10.根据权利要求7所述的装置,其中,所述装置还包括:
抽帧模块,用于从所述目标视频中等帧距抽取至少两个目标帧图像,其中,在任意相邻两个所述目标帧图像中,同一目标对象的位置偏移量小于第二预设值;
标注模块,用于对所述至少两个目标帧图像中的目标对象进行标注,得到所述目标文件。
11.根据权利要求10所述的装置,其中,所述标注模块,包括:
标注单元,用于对所述至少两个目标帧图像中的目标对象进行标注,得到标注文件;
删除单元,用于删除所述标注文件中,面积小于第三预设值的目标对象,得到所述目标文件。
12.根据权利要求7所述的装置,其中,所述检测结果信息包括以下信息中的至少一项:准确率信息和召回率信息;
其中,所述准确率信息包括:所述标注正确的目标对象的数量与所述待测文件中标注的目标对象的数量之比;
所述召回率信息包括:所述标注正确的目标对象的数量与所述目标文件中的目标对象的数量之比。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1至6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至6任一项所述的方法。
CN202011525082.3A 2020-12-22 2020-12-22 系统检测方法、装置、电子设备、存储介质和程序产品 Pending CN112528079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011525082.3A CN112528079A (zh) 2020-12-22 2020-12-22 系统检测方法、装置、电子设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011525082.3A CN112528079A (zh) 2020-12-22 2020-12-22 系统检测方法、装置、电子设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN112528079A true CN112528079A (zh) 2021-03-19

Family

ID=75002167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011525082.3A Pending CN112528079A (zh) 2020-12-22 2020-12-22 系统检测方法、装置、电子设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN112528079A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378958A (zh) * 2021-06-24 2021-09-10 北京百度网讯科技有限公司 自动标注方法、装置、设备、存储介质及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145752A (zh) * 2018-07-23 2019-01-04 北京百度网讯科技有限公司 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN109325406A (zh) * 2018-08-10 2019-02-12 广州广电运通金融电子股份有限公司 待评估检测算法检测性能的评估方法、装置和计算机设备
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN110751012A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 目标检测评估方法、装置、电子设备及存储介质
CN110830846A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种视频裁剪方法及服务器
CN112019834A (zh) * 2020-07-22 2020-12-01 北京迈格威科技有限公司 视频流处理方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145752A (zh) * 2018-07-23 2019-01-04 北京百度网讯科技有限公司 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN110830846A (zh) * 2018-08-07 2020-02-21 北京优酷科技有限公司 一种视频裁剪方法及服务器
CN109325406A (zh) * 2018-08-10 2019-02-12 广州广电运通金融电子股份有限公司 待评估检测算法检测性能的评估方法、装置和计算机设备
CN109886130A (zh) * 2019-01-24 2019-06-14 上海媒智科技有限公司 目标对象的确定方法、装置、存储介质和处理器
CN110751012A (zh) * 2019-05-23 2020-02-04 北京嘀嘀无限科技发展有限公司 目标检测评估方法、装置、电子设备及存储介质
CN112019834A (zh) * 2020-07-22 2020-12-01 北京迈格威科技有限公司 视频流处理方法、装置、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王全宁;周进;雷涛;唐自力;: "目标跟踪器性能评估方法研究进展", 计算机与现代化, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378958A (zh) * 2021-06-24 2021-09-10 北京百度网讯科技有限公司 自动标注方法、装置、设备、存储介质及计算机程序产品

Similar Documents

Publication Publication Date Title
CN110610510B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112785625B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN114066900A (zh) 图像分割方法、装置、电子设备和存储介质
CN112560862B (zh) 文本识别方法、装置及电子设备
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN112669349A (zh) 一种客流统计方法、电子设备及存储介质
CN112887172B (zh) 车辆感知系统测试方法、装置、设备及存储介质
CN112597837A (zh) 图像检测方法、装置、设备、存储介质和计算机程序产品
CN113012200B (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN111488873A (zh) 一种基于弱监督学习的字符级场景文字检测方法和装置
CN113378712A (zh) 物体检测模型的训练方法、图像检测方法及其装置
CN112528858A (zh) 人体姿态估计模型的训练方法、装置、设备、介质及产品
CN113392794A (zh) 车辆跨线识别方法、装置、电子设备和存储介质
CN113255501A (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN110728193B (zh) 一种脸部图像丰富度特征的检测方法及设备
CN112863187A (zh) 感知模型的检测方法、电子设备、路侧设备和云控平台
CN114419493A (zh) 图像的标注方法、装置、电子设备和存储介质
CN114596188A (zh) 水印检测方法、模型训练方法、装置及电子设备
CN113971728A (zh) 图像识别方法、模型的训练方法、装置、设备及介质
CN112528079A (zh) 系统检测方法、装置、电子设备、存储介质和程序产品
CN112153320B (zh) 一种物品尺寸的测量方法、装置、电子设备和存储介质
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
CN113591580A (zh) 图像标注方法、装置、电子设备和存储介质
CN110263704B (zh) 人脸数据采集方法、装置、服务器、视频采集器及介质
CN115131826B (zh) 物品检测识别方法、网络模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination