CN111027390B - 对象类别的检测方法、装置、电子设备和存储介质 - Google Patents
对象类别的检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111027390B CN111027390B CN201911099044.3A CN201911099044A CN111027390B CN 111027390 B CN111027390 B CN 111027390B CN 201911099044 A CN201911099044 A CN 201911099044A CN 111027390 B CN111027390 B CN 111027390B
- Authority
- CN
- China
- Prior art keywords
- image
- image acquisition
- class
- features
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了对象类别的检测方法、装置、电子设备和存储介质。所述方法包括:获取图像采集场景的配置信息;根据所述配置信息,确定对象在所述图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型;根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象。该技术方案的有益效果在于,提供了一种根据图像采集场景的配置信息自适应调整对象类别检测模型的方式,从而能够实现在不影响检测精度的情况下,减少计算资源的消耗,适用于使用嵌入式芯片进行检测的场景,检测结果还可以用于客流量统计等,适用场景广,实施代价小。
Description
技术领域
本申请涉及图像检测领域,具体涉及对象类别的检测方法、装置、电子设备和存储介质。
背景技术
图像检测算法在产业上已经得到了充分的运用,例如,在客流量统计场景下,就可以通过在关键区域设置智能摄像头进行视频采集,从采集的视频中识别出客流。但是现有技术所采用的图像检测算法不能兼顾精度和资源消耗,过于简单的图像检测算法效果不好,过于复杂的图像检测算法不适用于算力有限的嵌入式芯片,而产业上使用的智能摄像头往往依赖于嵌入式芯片实现。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的对象类别的检测方法、装置、电子设备和存储介质。
依据本申请的一个方面,提供了一种对象类别的检测方法,包括:
获取图像采集场景的配置信息;
根据所述配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型;
根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象。
可选地,所述配置信息包括如下的至少一种:图像采集设备距离基准面的距离,图像采集设备的视场角范围,图像采集设备的拍摄分辨率,对象的实际尺寸范围,对象与图像采集设备的视场相对位置。
可选地,所述对象类别检测模型是基于SSD模型实现的,所述根据确定的尺寸范围调整对象类别检测模型包括:
从所述对象类别检测模型中裁剪掉与多余尺寸对应的卷积层,所述多余尺寸是在所述尺寸范围外的图像尺寸。
可选地,所述根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象包括:
从所述图像采集设备所采集的图像中识别出对象;
对识别出的对象进行特征提取;
若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定所述图像中包含指定类别的对象。
可选地,所述方法还包括:
将提取出的特征更新至所述特征库;
对所述特征库中的各特征进行聚类,得到多个类簇;
将包含特征数量最多的类簇中的特征作为指定类别特征。
可选地,所述对象为人,所述指定类别的对象为所述图像采集设备所在区域的工作人员,所述方法还包括:
统计所述图像采集设备所采集的图像中,除工作人员外的人流量作为所述图像采集设备所在区域的客流量。
可选地,所述图像采集设备通过预设帧率采集图像,所述统计所述图像采集设备所采集的图像中,除工作人员外的人流量作为所述图像采集设备所在区域的客流量包括:
通过多目标跟踪算法确定多帧图像中包含的同一对象;
为同一对象打上唯一标识,根据对象的唯一标识进行客流量统计。
依据本申请的另一方面,提供了一种对象类别的检测装置,包括:
配置信息获取单元,用于获取图像采集场景的配置信息;
模型调整单元,用于根据所述配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型;
检测单元,用于根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象。
可选地,所述配置信息包括如下的至少一种:图像采集设备距离基准面的距离,图像采集设备的视场角范围,图像采集设备的拍摄分辨率,对象的实际尺寸范围,对象与图像采集设备的视场相对位置。
可选地,所述对象类别检测模型是基于SSD模型实现的;
所述模型调整单元,用于从所述对象类别检测模型中裁剪掉与多余尺寸对应的卷积层,所述多余尺寸是在所述尺寸范围外的图像尺寸。
可选地,所述检测单元,用于从所述图像采集设备所采集的图像中识别出对象;对识别出的对象进行特征提取;若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定所述图像中包含指定类别的对象。
可选地,所述装置还包括:
特征库单元,用于将提取出的特征更新至所述特征库;对所述特征库中的各特征进行聚类,得到多个类簇;将包含特征数量最多的类簇中的特征作为指定类别特征。
可选地,所述对象为人,所述指定类别的对象为所述图像采集设备所在区域的工作人员;所述装置还包括:
客流量统计单元,用于统计所述图像采集设备所采集的图像中,除工作人员外的人流量作为所述图像采集设备所在区域的客流量。
可选地,所述图像采集设备通过预设帧率采集图像;
所述客流量统计单元,用于通过多目标跟踪算法确定多帧图像中包含的同一对象;为同一对象打上唯一标识,根据对象的唯一标识进行客流量统计。
依据本申请的又一方面,提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本申请的再一方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如上述任一所述的方法。
由上述可知,本申请的技术方案,可以通过获取图像采集场景的配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型,根据调整后的对象类别检测模型,判断图像采集设备所采集的图像中是否包含指定类别的对象。该技术方案的有益效果在于,提供了一种根据图像采集场景的配置信息自适应调整对象类别检测模型的方式,从而能够实现在不影响检测精度的情况下,减少计算资源的消耗,适用于使用嵌入式芯片进行检测的场景,检测结果还可以用于客流量统计等,适用场景广,实施代价小。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本申请一个实施例的一种对象类别的检测方法的流程示意图;
图2示出了根据本申请一个实施例的一种对象类别的检测装置的结构示意图;
图3示出了根据本申请一个实施例的电子设备的结构示意图;
图4示出了根据本申请一个实施例的计算机可读存储介质的结构示意图;
图5示出了根据本申请一个实施例的客流量统计流程示意图;
图6示出了实验中根据272个头肩图像样本进行CW聚类的结果示意图;
图7示出了实验中聚类数量最多的五类图像样本的可视化结果示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
图1示出了根据本申请一个实施例的一种对象类别的检测方法的流程示意图。如图1所示,该方法包括:
步骤S110,获取图像采集场景的配置信息。
图像采集设备可以具体是包含嵌入式芯片的智能摄像头,这类图像采集设备在监控等领域得到了广泛的应用。其特点在于能够通过在嵌入式芯片中写入算法,实现相应的特定功能,但是缺点也很明显,即受限于嵌入式设备所利用的资源较少,提供的算力有限。本申请的技术方案尤其适用于这种场景,能够依据配置信息自适应调整对象类别检测模型。
步骤S120,根据配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型。
例如,对于同一个对象,使用同一款摄像头在不同的距离进行拍摄,该对象在各幅图像的尺寸也不同,距离越远,尺寸越小;距离越近,尺寸越大。而要能够检测出对象的类别,就需要对图像中包含对象的部分进行分析,那么显然,如果分析的部分过大,包含了过多无用信息,就浪费了算力。因此该步骤体现了本申请技术方案中的一个重要技术点,就是能够根据确定的尺寸范围调整对象类别检测模型。举例来说,如果原始的对象类别检测模型支持的尺寸范围S∈{[8,16],[16,32],[32,64],[64,128],[128,256]…}。实际安装摄像头后,根据配置信息发现场景中不存在[128,256]范围的对象尺寸,那么就可以将模型中支持该对象尺寸的部分裁剪掉,相应地,运算量就得到了减少。
步骤S130,根据调整后的对象类别检测模型,判断图像采集设备所采集的图像中是否包含指定类别的对象。
可见,图1所示的方法,提供了一种根据图像采集场景的配置信息自适应调整对象类别检测模型的方式,从而能够实现在不影响检测精度的情况下,减少计算资源的消耗,适用于使用嵌入式芯片进行检测的场景,检测结果还可以用于客流量统计等,适用场景广,实施代价小。
在本申请的一个实施例中,上述方法中,配置信息包括如下的至少一种:图像采集设备距离基准面的距离,图像采集设备的视场角范围,图像采集设备的拍摄分辨率,对象的实际尺寸范围,对象与图像采集设备的视场相对位置。
在进行对象类别检测的场景,通常对象处于运动状态,而运动往往依赖于一个基准面实现,例如,人沿着地面走。图像采集设备距离基准面的距离可以用于辅助判断图像采集设备距离对象的距离,也就能够进一步确定对象在所采集图像中的尺寸。
图像采集设备所能采集的图像的尺寸可以是预先设置的,例如分辨率为1080p的智能摄像头可采集的图像的尺寸为1920*1080。对于同一款图像采集设备,往往支持多分辨率的拍摄。那么分辨率不同,拍摄到的对象的尺寸也就不同。
容易理解,图像采集设备的视场角范围、对象的实际尺寸范围和对象与图像采集设备的视场相对位置,都可以协助确定对象在图像采集设备所采集的图像中的尺寸范围,在此就不一一介绍了。
在本申请的一个实施例中,上述方法中,对象类别检测模型是基于SSD模型实现的,根据确定的尺寸范围调整对象类别检测模型包括:从对象类别检测模型中裁剪掉与多余尺寸对应的卷积层,多余尺寸是在尺寸范围外的图像尺寸。
其中,SSD模型是图像检测领域的Single Shot MultiBox Detector模型的简写,目前尚无统一的中文名称,在图像检测领域通常被称为SSD模型。SSD模型是一种单阶段检测模型,能够同时兼顾目标检测的速度和精度,本实施例利用的就是这一优点。在具体实施时,可以在原生SSD模型的基础上加一些改进,本申请对此不作限制。SSD通过多个卷积层能够支持不同尺寸的检测,那么结合前述实施例可知,如果SSD所支持的一个尺寸范围在实际场景中并没有作用,则可以将其作为多余尺寸,具体就可以从对象类别检测模型中裁剪掉与多余尺寸对应的卷积层。
在本申请的一个实施例中,上述方法中,根据调整后的对象类别检测模型,判断图像采集设备所采集的图像中是否包含指定类别的对象包括:从图像采集设备所采集的图像中识别出对象;对识别出的对象进行特征提取;若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定图像中包含指定类别的对象。
其中,对于不同的对象,可以采用不同的图像识别方法,从图像采集设备所采集的图像中识别出相应对象,而且可以考虑不同场景的特点,进行不同类型的图像识别。例如,对于人的识别,可以从人脸、人的姿态等多个维度来实现。
在客流量统计场景中,由于区域内人员高频出入,要识别的对象数量多,计算量大。如果通过人脸识别,有如下几个缺点:1)受限于对象尺寸。根据实验,一般在1080p监控视频源下人脸尺寸需要大于80x80才能被较好的检测或识别。2)实施代价较大:新入职的店员需要注册人脸信息,离店时需要注销信息。3)适用场景受限:人脸只能在抓拍视角下且正对摄像头才有可能被识别出,对其它更广泛的斜拍视角或置顶视角无法适用。
因此,本申请在特定的客流量统计场景,给出了基于半身检测和/或头肩检测的方案。此时,提取出的特征就是半身和/或头肩区域的特征,而这足以反映出客流量统计场景中不同类别的人(例如顾客和工作人员)的区别。因为一般而言,工作人员都会进行统一着装,而顾客则穿着各异;并且工作人员往往过往频繁,出镜率较高。基于上述特点,提取出的工作人员的特征的样本数量就较多,在此基础上进行头肩识别或是半身识别,就足以识别出装扮的区别,从而对人进行较为准确的分类。
在特征库中保存的可以是多个指定类别特征,通过将提取的特征与每个指定类别特征(也可以抽样)进行比较,根据求得的平均值判断是否相似。可见一般来说,指定类别特征的数量越多,误检测率也就越低。
在本申请的一个实施例中,上述方法还包括:将提取出的特征更新至特征库;对特征库中的各特征进行聚类,得到多个类簇;将包含特征数量最多的类簇中的特征作为指定类别特征。
例如选取CW聚类方法进行特征聚类,CW聚类方法的全称为Chinese-Whispers,暂无统一的中文名称,因此使用了本领域的通称。具体地,可以每隔一天进行一次聚类,并且在每提取一次特征后就进行特征更新。当然,具体的更新频率和聚类频率可以根据需求设置,本申请对此不做限制。包含特征数量最多的类簇,说明相应的对象出现次数最多,例如客流量统计场景下,通常是工作人员出现最频繁,则将包含特征数量最多的类簇中的特征作为指定类别特征。
需要说明的是,本申请的技术方案对于客流量统计场景具有较好的适用性,因此主要以此进行了举例说明,但容易理解,在其他需要进行特定类别的对象检测场景,同样可以采用本申请的技术方案,尤其是不需要进行统计计数、仅需要识别出特定类别的对象的场景。如,小鸡的性别识别、植物的种类识别等等。
在本申请的一个实施例中,上述方法中,对象为人,指定类别的对象为图像采集设备所在区域的工作人员,上述方法还包括:统计图像采集设备所采集的图像中,除工作人员外的人流量作为图像采集设备所在区域的客流量。具体地,在本申请的一个实施例中,上述方法中,图像采集设备通过预设帧率采集图像,统计图像采集设备所采集的图像中,除工作人员外的人流量作为图像采集设备所在区域的客流量包括:通过多目标跟踪算法确定多帧图像中包含的同一对象;为同一对象打上唯一标识,根据对象的唯一标识进行客流量统计。
例如在某饭店的客流量统计场景,需要从识别出的人中过滤掉工作人员,以及避免同一顾客的重复计数。对于工作人员过滤部分,基于店内人员高频出入特性以及服饰统一的特性,可以先对每个检测结果提取其外观特征,不定期保存到本地特征库中。而后以天为单位,将当天收集的半身/头肩特征分别作聚类,将聚类数中类别包含特征数最多的特征作为工作人员特征。在下一天中,对每个跟踪计数的ID持续多帧与工作人员特征作相似度比对。这里,跟踪技术的ID(身份标识)就是用来避免重复技术,本申请的实施例可以利用多目标跟踪算法实现同一对象轨迹判断,当然也不限于此种方式。对于轨迹结束的ID,将每帧与工作人员特征的相似度取平均,并判断平均相似度是否大于某个阈值,是则判断为工作人员,对此ID不计数。每天将提取到的所有新特征添加到之前的本地特征库中。随着特征库中每天增量特征不断增加,服务员特征的数量分布将越来越明显。相对应的流程可以参照图5所示。
另外,为了验证聚类的实际效果,本申请进行了实验,选取置顶视角的客流摄像头作为验证场景,并从实际场景中录制视频,采集每一帧头肩信息用CW作聚类。为了模拟服务员场景,在录制视频时特地筛选出穿白T恤的ID模拟服务员在场景中高频出现。首选对象类别检测模型提取目标的服饰信息,并集中收集起来作CW聚类。图6显示了聚类结果的直方图,横坐标为每个聚类类别,纵坐标为每个类别的样本数。图7说明了对图6中聚类数在前5的类别做了可视化显示。从图7可以看到,聚类数对应的最多样本正是之前预设的穿白T恤的ID,符合预期。
图2示出了根据本申请一个实施例的一种对象类别的检测装置的结构示意图。如图2所示,对象类别的检测装置200包括:
配置信息获取单元210,用于获取图像采集场景的配置信息。
图像采集设备可以具体是包含嵌入式芯片的智能摄像头,这类图像采集设备在监控等领域得到了广泛的应用。其特点在于能够通过在嵌入式芯片中写入算法,实现相应的特定功能,但是缺点也很明显,即受限于嵌入式设备所利用的资源较少,提供的算力有限。本申请的技术方案尤其适用于这种场景,能够依据配置信息自适应调整对象类别检测模型。
模型调整单元220,用于根据配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型。
例如,对于同一个对象,使用同一款摄像头在不同的距离进行拍摄,该对象在各幅图像的尺寸也不同,距离越远,尺寸越小;距离越近,尺寸越大。而要能够检测出对象的类别,就需要对图像中包含对象的部分进行分析,那么显然,如果分析的部分过大,包含了过多无用信息,就浪费了算力。因此该步骤体现了本申请技术方案中的一个重要技术点,就是能够根据确定的尺寸范围调整对象类别检测模型。举例来说,如果原始的对象类别检测模型支持的尺寸范围S∈{[8,16],[16,32],[32,64],[64,128],[128,256]…}。实际安装摄像头后,根据配置信息发现场景中不存在[128,256]范围的对象尺寸,那么就可以将模型中支持该对象尺寸的部分裁剪掉,相应地,运算量就得到了减少。
检测单元230,用于根据调整后的对象类别检测模型,判断图像采集设备所采集的图像中是否包含指定类别的对象。
可见,图2所示的装置,提供了一种根据图像采集场景的配置信息自适应调整对象类别检测模型的方式,从而能够实现在不影响检测精度的情况下,减少计算资源的消耗,适用于使用嵌入式芯片进行检测的场景,检测结果还可以用于客流量统计等,适用场景广,实施代价小。
在本申请的一个实施例中,上述装置中,配置信息包括如下的至少一种:图像采集设备距离基准面的距离,图像采集设备的视场角范围,图像采集设备的拍摄分辨率,对象的实际尺寸范围,对象与图像采集设备的视场相对位置。
在本申请的一个实施例中,上述装置中,对象类别检测模型是基于SSD模型实现的;模型调整单元,用于从对象类别检测模型中裁剪掉与多余尺寸对应的卷积层,多余尺寸是在尺寸范围外的图像尺寸。
在本申请的一个实施例中,上述装置中,检测单元230,用于从图像采集设备所采集的图像中识别出对象;对识别出的对象进行特征提取;若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定图像中包含指定类别的对象。
在本申请的一个实施例中,上述装置还包括:特征库单元,用于将提取出的特征更新至特征库;对特征库中的各特征进行聚类,得到多个类簇;将包含特征数量最多的类簇中的特征作为指定类别特征。
在本申请的一个实施例中,上述装置中,对象为人,指定类别的对象为图像采集设备所在区域的工作人员;装置还包括:客流量统计单元,用于统计图像采集设备所采集的图像中,除工作人员外的人流量作为图像采集设备所在区域的客流量。
在本申请的一个实施例中,上述装置中,图像采集设备通过预设帧率采集图像;客流量统计单元,用于通过多目标跟踪算法确定多帧图像中包含的同一对象;为同一对象打上唯一标识,根据对象的唯一标识进行客流量统计。
需要说明的是,上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行,在此不再赘述。
综上所述,本申请的技术方案,可以通过获取图像采集场景的配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型,根据调整后的对象类别检测模型,判断图像采集设备所采集的图像中是否包含指定类别的对象。该技术方案的有益效果在于,提供了一种根据图像采集场景的配置信息自适应调整对象类别检测模型的方式,从而能够实现在不影响检测精度的情况下,减少计算资源的消耗,适用于使用嵌入式芯片进行检测的场景,检测结果还可以用于客流量统计等,适用场景广,实施代价小。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本申请也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本申请的内容,并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本申请并帮助理解各个发明方面中的一个或多个,在上面对本申请的示例性实施例的描述中,本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的对象类别的检测装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图3示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备300包括处理器310和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码331的存储空间330。例如,用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码331。计算机可读程序代码331可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质。图4示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质400存储有用于执行根据本申请的方法步骤的计算机可读程序代码331,可以被电子设备300的处理器310读取,当计算机可读程序代码331由电子设备300运行时,导致该电子设备300执行上面所描述的方法中的各个步骤,具体来说,该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码331可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (8)
1.一种对象类别的检测方法,包括:获取图像采集场景的配置信息;根据所述配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型;根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象;
所述根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象包括:从所述图像采集设备所采集的图像中识别出对象;对识别出的对象进行特征提取;若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定所述图像中包含指定类别的对象;
将提取出的特征更新至所述特征库;对所述特征库中的各特征进行聚类,得到多个类簇;将包含特征数量最多的类簇中的特征作为指定类别特征。
2.如权利要求1所述的方法,其特征在于,所述配置信息包括如下的至少一种:图像采集设备距离基准面的距离,图像采集设备的视场角范围,图像采集设备的拍摄分辨率,对象的实际尺寸范围,对象与图像采集设备的视场相对位置。
3.如权利要求1所述的方法,其特征在于,所述对象类别检测模型是基于SSD模型实现的,所述根据确定的尺寸范围调整对象类别检测模型包括:从所述对象类别检测模型中裁剪掉与多余尺寸对应的卷积层,所述多余尺寸是在所述尺寸范围外的图像尺寸。
4.如权利要求1-3中任一项所述的方法,其特征在于,所述对象为人,所述指定类别的对象为所述图像采集设备所在区域的工作人员,所述方法还包括:统计所述图像采集设备所采集的图像中,除工作人员外的人流量作为所述图像采集设备所在区域的客流量。
5.如权利要求4所述的方法,其特征在于,所述图像采集设备通过预设帧率采集图像,所述统计所述图像采集设备所采集的图像中,除工作人员外的人流量作为所述图像采集设备所在区域的客流量包括:通过多目标跟踪算法确定多帧图像中包含的同一对象;为同一对象打上唯一标识,根据对象的唯一标识进行客流量统计。
6.一种对象类别的检测装置,包括:配置信息获取单元,用于获取图像采集场景的配置信息;模型调整单元,用于根据所述配置信息,确定对象在图像采集设备所采集的图像中的尺寸范围,根据确定的尺寸范围调整对象类别检测模型;检测单元,用于根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象;
所述根据调整后的对象类别检测模型,判断所述图像采集设备所采集的图像中是否包含指定类别的对象包括:从所述图像采集设备所采集的图像中识别出对象;对识别出的对象进行特征提取;若提取出的特征与特征库中指定类别特征的相似度平均值大于预设阈值,则判定所述图像中包含指定类别的对象;
将提取出的特征更新至所述特征库;对所述特征库中的各特征进行聚类,得到多个类簇;将包含特征数量最多的类簇中的特征作为指定类别特征。
7.一种电子设备,其中,该电子设备包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911099044.3A CN111027390B (zh) | 2019-11-11 | 2019-11-11 | 对象类别的检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911099044.3A CN111027390B (zh) | 2019-11-11 | 2019-11-11 | 对象类别的检测方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111027390A CN111027390A (zh) | 2020-04-17 |
CN111027390B true CN111027390B (zh) | 2023-10-10 |
Family
ID=70201257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911099044.3A Active CN111027390B (zh) | 2019-11-11 | 2019-11-11 | 对象类别的检测方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111027390B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339719A (zh) * | 2016-08-22 | 2017-01-18 | 微梦创科网络科技(中国)有限公司 | 一种图像识别方法及装置 |
CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置及计算机可读存储介质 |
CN108960209A (zh) * | 2018-08-09 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 身份识别方法、装置及计算机可读存储介质 |
CN109376781A (zh) * | 2018-10-24 | 2019-02-22 | 深圳市腾讯网络信息技术有限公司 | 一种图像识别模型的训练方法、图像识别方法和相关装置 |
CN109698957A (zh) * | 2017-10-24 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 图像编码方法、装置、计算设备及存储介质 |
CN109829371A (zh) * | 2018-12-26 | 2019-05-31 | 深圳云天励飞技术有限公司 | 一种人脸检测方法及装置 |
CN110222569A (zh) * | 2019-05-05 | 2019-09-10 | 北京三快在线科技有限公司 | 对象检测方法、装置、电子设备及可读存储介质 |
CN110232417A (zh) * | 2019-06-17 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
CN110334627A (zh) * | 2019-06-26 | 2019-10-15 | 深圳市微纳集成电路与系统应用研究院 | 对人员的行为进行检测的装置和系统 |
CN110363220A (zh) * | 2019-06-11 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 行为类别检测方法、装置、电子设备和计算机可读介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7848566B2 (en) * | 2004-10-22 | 2010-12-07 | Carnegie Mellon University | Object recognizer and detector for two-dimensional images using bayesian network based classifier |
US10147200B2 (en) * | 2017-03-21 | 2018-12-04 | Axis Ab | Quality measurement weighting of image objects |
-
2019
- 2019-11-11 CN CN201911099044.3A patent/CN111027390B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106339719A (zh) * | 2016-08-22 | 2017-01-18 | 微梦创科网络科技(中国)有限公司 | 一种图像识别方法及装置 |
CN109698957A (zh) * | 2017-10-24 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 图像编码方法、装置、计算设备及存储介质 |
CN107679525A (zh) * | 2017-11-01 | 2018-02-09 | 腾讯科技(深圳)有限公司 | 图像分类方法、装置及计算机可读存储介质 |
CN108960209A (zh) * | 2018-08-09 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 身份识别方法、装置及计算机可读存储介质 |
CN109376781A (zh) * | 2018-10-24 | 2019-02-22 | 深圳市腾讯网络信息技术有限公司 | 一种图像识别模型的训练方法、图像识别方法和相关装置 |
CN109829371A (zh) * | 2018-12-26 | 2019-05-31 | 深圳云天励飞技术有限公司 | 一种人脸检测方法及装置 |
CN110222569A (zh) * | 2019-05-05 | 2019-09-10 | 北京三快在线科技有限公司 | 对象检测方法、装置、电子设备及可读存储介质 |
CN110363220A (zh) * | 2019-06-11 | 2019-10-22 | 北京奇艺世纪科技有限公司 | 行为类别检测方法、装置、电子设备和计算机可读介质 |
CN110232417A (zh) * | 2019-06-17 | 2019-09-13 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、计算机设备及计算机可读存储介质 |
CN110334627A (zh) * | 2019-06-26 | 2019-10-15 | 深圳市微纳集成电路与系统应用研究院 | 对人员的行为进行检测的装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111027390A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Subburaman et al. | Counting people in the crowd using a generic head detector | |
US20210397844A1 (en) | Item Identification Method, System and Electronic Device | |
CN110751022A (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
CN107123131B (zh) | 一种基于深度学习的运动目标检测方法 | |
CN109117714A (zh) | 一种同行人员识别方法、装置、系统及计算机存储介质 | |
Ma et al. | A reliable people counting system via multiple cameras | |
CN109766779B (zh) | 徘徊人员识别方法及相关产品 | |
US20130243343A1 (en) | Method and device for people group detection | |
CN106803083B (zh) | 行人检测的方法及装置 | |
US10795928B2 (en) | Image search apparatus, system, and method | |
CN112001230B (zh) | 睡觉行为的监控方法、装置、计算机设备和可读存储介质 | |
CN108563675B (zh) | 基于目标体特征的电子档案自动生成方法及装置 | |
CN108986158A (zh) | 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台 | |
CN110781733B (zh) | 图像去重方法、存储介质、网络设备和智能监控系统 | |
CN103345492A (zh) | 一种视频浓缩的方法和系统 | |
CN107657232B (zh) | 一种行人智能识别方法及其系统 | |
CN112257660B (zh) | 无效客流的去除方法、系统、设备及计算机可读存储介质 | |
CN109145708A (zh) | 一种基于rgb和d信息融合的人流量统计方法 | |
CN107368770B (zh) | 一种回头客自动识别方法及系统 | |
Borges | Pedestrian detection based on blob motion statistics | |
WO2014193220A2 (en) | System and method for multiple license plates identification | |
CN105554462A (zh) | 一种遗留物检测方法 | |
CN114428875A (zh) | 一种行人重识别建库的方法、装置、计算机设备和存储介质 | |
CN116912880A (zh) | 一种基于鸟类关键点检测的鸟类识别质量评估方法及系统 | |
CN112104838B (zh) | 图像分辨方法及其监控摄像机与监控摄像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |