CN113744221A - 拍摄对象计数方法、装置、计算机设备和存储介质 - Google Patents
拍摄对象计数方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113744221A CN113744221A CN202110987321.5A CN202110987321A CN113744221A CN 113744221 A CN113744221 A CN 113744221A CN 202110987321 A CN202110987321 A CN 202110987321A CN 113744221 A CN113744221 A CN 113744221A
- Authority
- CN
- China
- Prior art keywords
- detection
- detection frame
- image
- base map
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 131
- 238000001514 detection method Methods 0.000 claims abstract description 689
- 238000013507 mapping Methods 0.000 claims abstract description 46
- 230000008569 process Effects 0.000 claims description 62
- 238000004590 computer program Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000012544 monitoring process Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本申请涉及一种拍摄对象计数方法、装置、计算机设备和存储介质。方法包括:获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。本发明实施例提供的方法,通过将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。由于在将图像中的检测框映射至底图后,可以删除底图中重复检测的检测框,从而可以避免被多个摄像头同时拍摄到的拍摄对象被计数多次,进而可以提高计数结果的精准性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种拍摄对象计数方法、装置、计算机设备和存储介质。
背景技术
目前,整个监控场景中的人群聚集行为仍然缺乏有效的管理和控制,由于人群拥堵导致人流缓慢,可能会造成严重的群体事件,从而对人群数量的监控是有必要的。在相关技术中,针对人员的计数方法主要过程如下:获得观测场景的底图和监控图像,计算得到底图和监控图像对应的单应矩阵,将监控图像映射到底图中,构建场景模型;对监控图像进行预处理,经过人群计数神经网络的处理,得到监控图像中人头点包围框的信息,将人头点包围框映射到底图中;根据非极大值抑制算法,对底图中人头点包围框进行筛选,删除重复的人头点包围框,计算人头点包围框的总数量,作为观测场景中人群的总数量。
由于上述过程只是导入单个监控相机拍摄到的监测图像,并由此确定每个相机拍摄得到的人员数量,再对由每个相机所确定的人员数量进行简单相加,而现实场景中监控相机的分布情况复杂,监控区域存在重叠现象,也即每个相机所确定的人员数量可能会有重复,从而无法精准确定监控场景下的人员总数量。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高拍摄对象计数精准性的拍摄对象计数方法、装置、计算机设备和存储介质。
一种拍摄对象计数方法,该方法包括:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
在其中一个实施例中,将每一图像中的检测框映射至拍摄场景对应的底图之前,还包括:
删除每一图像中重复检测的同类型检测框。
在其中一个实施例中,检测框的类型为至少两种;相应地,删除每一图像对应的每一类型检测框子集合中重复检测的检测框之后,还包括:
对每一图像中不同类型的检测框进行合并。
在其中一个实施例中,对每一图像中不同类型的检测框进行合并,包括:
对于任一图像,由任一图像中的检测框组成任一图像对应的检测框集合,基于选取条件,从任一图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,从检测框集合中删除大于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至检测框集合中剩下的检测框均被选取过,将检测框集合中剩下的检测框作为任一图像中的检测框;其中,选取条件为检测框集合剩下的检测框中面积最大且未被选取过,重复指数用于表征两个检测框对应同一拍摄对象的可能性。
在其中一个实施例中,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,包括:
对于任一其它检测框,确定在任一图像中任一其它检测框与待匹配检测框之间的重叠面积;
计算任一其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与任一其它检测框之间的重复指数。
在其中一个实施例中,将每一图像中的检测框映射至拍摄场景对应的底图,包括:
确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标;
根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域;
根据每一检测框在底图的所处区域,在底图上添加每一检测框。
在其中一个实施例中,删除底图中重复检测的检测框,包括:
对于底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,匹配特征包括两个检测框之间的交并比,预设条件包括交并比大于第二预设阈值。
在其中一个实施例中,匹配特征还包括两个检测框之间的相似度;预设条件还包括相似度大于第三预设阈值。
在其中一个实施例中,相似度的计算过程,包括:
对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;
根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;
根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。
在其中一个实施例中,根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量,包括:
根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积;
根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度;
根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。
一种拍摄对象计数装置,该装置包括:
获取模块,用于获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像;
第一确定模块,用于确定每一图像中的检测框;
映射模块,用于将每一图像中的检测框映射至拍摄场景对应的底图;
第一删除模块,用于删除底图中重复检测的检测框;
第二确定模块,用于根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
上述拍摄对象计数方法、装置、计算机设备和存储介质,通过获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框。将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框。根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。由于在将图像中的检测框映射至底图后,可以删除底图中重复检测的检测框,从而可以避免被多个摄像头同时拍摄到的拍摄对象被计数多次,进而可以提高计数结果的精准性。
附图说明
图1为一个实施例中拍摄场景的示意图;
图2为一个实施例中计数处理的场景示意图;
图3为一个实施例中拍摄对象计数方法的流程示意图;
图4为一个实施例中检测框的示意图;
图5为一个实施例中头肩框及形体框的示意图;
图6为一个实施例中重复检测的同类型检测框的示意图;
图7为一个实施例中删除重复检测的同类型检测框的方法流程示意图;
图8为一个实施例中重复检测的不同类型检测框的示意图;
图9为一个实施例中合并重复检测的不同类型检测框的方法流程示意图;
图10为一个实施例中映射检测框至底图的方法流程示意图;
图11为一个实施例中检测框之间相似度的计算方法流程示意图;
图12为一个实施例中特征点的示意图;
图13为一个实施例中确定拍摄对象总数量的方法流程示意图;
图14为一个实施例中声纹判别装置的结构框图;
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词,但除非特别说明,这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说,在不脱离本申请的范围的情况下,第三预设阈值与第四预设阈值可以相同可以不同。
目前,整个监控场景中的人群聚集行为仍然缺乏有效的管理和控制,由于人群拥堵导致人流缓慢,可能会造成严重的群体事件,从而对人群数量的监控是有必要的。在相关技术中,针对人员的计数方法主要过程如下:获得观测场景的底图和监控图像,计算得到底图和监控图像对应的单应矩阵,将监控图像映射到底图中,构建场景模型;对监控图像进行预处理,经过人群计数神经网络的处理,得到监控图像中人头点包围框的信息,将人头点包围框映射到底图中;根据非极大值抑制算法,对底图中人头点包围框进行筛选,删除重复的人头点包围框,计算人头点包围框的总数量,作为观测场景中人群的总数量。
由于上述过程只是导入单个监控相机拍摄到的监测图像,并由此确定每个相机拍摄得到的人员数量,再对由每个相机所确定的人员数量进行简单相加,而现实场景中监控相机的分布情况复杂,监控区域存在重叠现象,也即每个相机所确定的人员数量可能会有重复,从而无法精准确定监控场景下的人员总数量。
如图1所示,图1中的框体代表所有拍摄设备共同的拍摄场景,以每一拍摄设备为中心的圆弧虚线所框选的区域代表每一拍摄设备的拍摄覆盖范围。由图1可以看出,不同拍摄设备的拍摄覆盖范围之间明显存在重叠区域,而若存在某一拍摄对象位于该重叠区域,则在相关技术中,会将该拍摄对象的人头点包围框计数两次,从而会导致无法精准确定监控场景下的人员总数量。
针对上述相关技术中存在的问题,本发明实施例提供了一种拍摄对象计数方法。该方法可以根据不同需求运用于不同场景,如人员集散地人流的统计、人流汇聚或疏散的监控以及交通工具的统计等,本发明实施例对此不作具体限定。结合目前人流汇聚仍缺乏有效的管理和控制,现以人流汇聚的监控场景为例,对本发明实施例提供的方法进行解释说明。此时,本发明实施例中的拍摄对象实际上为人。当然,实际实施过程中,拍摄对象的具体类型可以根据本发明实施例提供的方法所应用的场景不同而不同。比如,若办发明实施例提供的方法应用于交通工具的统计场景,则此时本发明实施例提供的方法中拍摄对象为交通工具。
另外,本发明实施例提供的方法应用于服务器,也即由图1中的拍摄设备拍摄图像,而图1中的拍摄设备在拍摄到图像后,可以将图像通过网络传输至服务器,再由服务器执行本发明实施例提供的方法。具体可如图2所示,图2中仅示意性地给出了一个拍摄设备201,实际实施过程中,针对同一拍摄场景的拍摄设备201可以为多个。每一拍摄设备201拍摄得到图像后,可将图像发送至服务器202,由服务器202通过执行本发明实施例提供的方法,对拍摄场景下的拍摄对象进行计数。
当然,实际实施过程中,本发明实施例提供的方法的执行主体除了应用于服务器之外,还可以应用于其它设备,如具体数据处理功能的计算机、平板电脑及便携式可穿戴设备等,本发明实施例对此不作具体限定。需要说明的是,本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量,比如,“多个”指“至少两个”。
结合上述说明,在一个实施例中,参见图3,提供了一种拍摄对象计数方法。以该方法应用于服务器,且执行主体为服务器为例进行说明,该方法包括如下步骤:
301、获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
302、将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
303、根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
上述步骤301中,检测框指的是围绕在拍摄对象周围的边界框。如图4所示,拍摄对象为人时,围绕在人周围的虚线边界框即为检测框。其中,确定图像中的检测框可以采用基于深度神经网络的算法实现,也可以采用基于区域卷积神经网络的算法实现,本发明实施例对此不作具体限定。
在上述步骤302中,底图指的是拍摄场景的背景图。如图1所示,图1中方框表示拍摄场景,则覆盖范围与拍摄场景一致的背景图即为底图。实际实施过程中,可以通过可手持的拍摄设备在不同角度对没有出现拍摄对象的拍摄场景进行拍照,从而获得不同视角的图像。通过对这些不同拍摄视角的图像进行拼接,可以得到底图。其中,这些不同视角的图像可以覆盖整个拍摄场景。实际实施过程中,可以采用SURF算法、FAST算法或随机样本一致性算法,对不同视角的图像进行拼接,本发明实施例对此不作具体限定。
在将检测框映射至底图时,可以采用像素的映射方式。具体地,对于某一检测框,该检测框实际上框选出了原图像中拍摄对象对应的图像内容。而将检测框映射至底图,实际上是需要将拍摄对象对应的图像内容映射至底图中。由此,将拍摄对象对应的图像内容中每一像素映射至底图中,即可等同于将检测框映射至底图。实际实施过程中,可以先确定原图像与底图之间的像素变换矩阵,从而根据像素变换矩阵,同时基于像素在原图像中的位置坐标,确定像素在底图中的。通过上述过程,可以将每一图像中的每一检测框应映射至底图,检测框中包含映射后的像素所组成的图像内容。
由上述实施例的内容可知,虽然底图实际上可以由多个没有出现拍摄对象的图像拼接而成,而底图作为一整张图像,其实可以抽象成某一拍摄设备在某一拍摄视角所拍摄得到的。由此,拍摄底图的该拍摄设备所处位置及其使用的拍摄视角是可以获知的。而检测框所框选的原图像,实际上也是某一拍摄设备在某一拍摄视角所拍摄得到的,从而拍摄原图像的该拍摄设备的所处位置及其使用的拍摄视角是可以获知的。
在上述两者均可以获知的前提下,对于拍摄原图像的某一拍摄设备,可根据该拍摄设备的所处位置及其使用的拍摄视角,与拍摄底图的拍摄设备所处位置及其使用的拍摄视角,确定该两个拍摄设备的旋转外参矩阵,也即像素变换矩阵。对于某一检测框及该检测框在原图像框选出的图像内容,若需要将该图像内容的像素映射至底图,也即确定该像素在底图中的位置坐标,则可根据该检测框对应的拍摄设备与拍摄底图的拍摄设备之间的像素变换矩阵,以及该像素在原图像中的位置坐标,计算该像素在底图中的位置坐标。
如图1所示,在监控场景下,不同拍摄设备是存在重叠的监控区域的。由此,会存在同一个拍摄对象被多个拍摄设备同时拍到的情况。这会导致在将每一图像中的每一检测框应映射至底图后,针对同一拍摄对象,底图中可能会存在2个以上的该拍摄对象的检测框。由于后续需要基于底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量,从而上述情形可能会导致同一拍摄对象被重复计数。因此,在上述步骤中302中,还需要删除底图中重复检测的检测框。其中,这里的“重复检测”主要指的是同一拍摄对象被不同的拍摄设备拍到后,从而衍生出针对相同拍摄对象的多个检测框,这些检测框仅仅是对应的拍摄视角不同。
在删除底图中重复检测的检测框之前,可以先确定底图中重复检测的检测框。本发明实施例不对确定底图中重复检测的检测框的方式作具体限定,包括但不限于:计算底图中每两个检测框之间的相似度,对于相似度大于第四预设阈值的两个检测框,则删除该两个检测框中的一个检测框。其中,相似度大于第四预设阈值的两个检测框,即可表示该两个检测框中存在一个重复检测的检测框。另外,可以计算该两个检测框在底图各自包含的图像内容之间的图像相似度,以作为两个检测框之间的相似度。进一步地,可以计算均方误差、结构相似性或峰值信噪比作为图像相似度,本发明实施例对此不作具体限定。
在通过上述步骤302删除底图中重复检测的检测框,在步骤303中,可以直接将底图中检测框的总数量作为拍摄场景下拍摄对象的总数量。
本发明实施例提供的方法,通过获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框。将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框。根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。由于在将图像中的检测框映射至底图后,可以删除底图中重复检测的检测框,从而可以避免被多个摄像头同时拍摄到的拍摄对象被计数多次,进而可以提高计数结果的精准性。
上述实施例的内容主要针对的是:多个拍摄设备存在的重叠区域,而位于重叠区域的拍摄对象会被拍摄多次而形成多个检测框,从而被计数多次而导致计数不精准的问题。而实际实施过程中,除上述情形外,还可能会出现在某一拍摄设备拍摄得到的图像中,同一拍摄对象被标记多次,也即该图像中就同一拍摄对象检测出了多个检测框。针对该问题,结合上述实施例的内容,在一个实施例中,将每一图像中的检测框映射至拍摄场景对应的底图之前,还包括:删除每一图像中重复检测的同类型检测框。
其中,检测框是可以有不同类型的,本发明实施例不对检测框的类型作具体限定,包括但不限于头肩框及形体框。其中,头肩框与形体框的形状及分布可以具体参考图5,头肩框指的是框选出人体头部及肩部的检测框,而形体框指的是框选出人体全身的检测框。需要说明的是,本发明实施例中检测框之所以包括头肩框及形体框,是因为采用单一一种类型的检测框,容易遗漏拍摄对象,从而造成后续计数量变少而不够精准,而采用两种检测框可提高容错率。当然,实际实施过程中,检测框的类型可以只有一种,如仅有形体框。
针对同一拍摄对象,可能会存在重复检测的同类型检测框。例如,以形体框为例,如图6所示,针对同一拍摄对象,标记出了3个形体框。同理,针对同一拍摄对象,也可能会出现多个头肩框。因此,需要删除每一图像中重复检测的同类型检测框。
具体地,若检测框包括头肩框及形体框这两种类型,则可以删除每一图像中重复检测的头肩框,并删除重复检测的形体框。为了便于描述,可以将每一图像中每一类型的检测框组成每一类型的检测框子集合。以检测框包括头肩框及形体框这两种类型为例,对于某一图像,该图像中的头肩框可以组成头肩框子集合,而该图像中的形体框可以组成形体框子集合。对于任一图像对应的任一类型检测框子集合,本发明实施例不对删除该检测框子集合中重复检测的检测框的方式作具体限定,参见图7,包括但不限于:
701、确定该检测框子集合中置信度最大的检测框,将置信度最大的检测框添加至输出集合中,并将置信度最大的检测框从该检测框子集合中删除;
702、计算该检测框子集合中剩下的每一检测框与置信度最大的检测框之间的交并比,从该检测框子集合中删除交并比大于第五预设阈值的检测框;
703、重复执行上述701及702的步骤,直至该检测框子集合为空。
其中,输出集合中的检测框即为该检测框子集合在删除重复检测的同类型检测框后所剩下的检测框。另外,检测框的置信度可以在检测出图像中的检测框时一并获得。交并比主要指的是两个检测框之间交集区域的面积与并集区域的面积之间的比值。需要说明的是,实际实施过程中除了上述方式之外,还可以采用其它方式删除重复检测的同类型检测框,如可以计算该检测框子集合每两个检测框各自在原图像中框选的部分图像之间的图像相似度,若某两个检测框之间的图像相似度大于第六预设阈值,则可以删除该两个检测框中的一个检测框。
本发明实施例提供的方法,由于在将图像中的检测框映射至底图之前,可以先删除每一图像中重复检测的同类型检测框,从而可以避免每一图像中被标记多次的拍摄对象后续被计数多次,进而可以提高计数结果的精准性。
上述实施例的过程主要是对每一图像中同类型检测框进行删减。在检测框只有一种的情况下,则可以直接执行上述步骤302,也即每一图像的检测框映射至拍摄场景对应的底图中。在检测框的类型为多种的情况下,若不对不同类型的检测框进行合并,则会导致同一拍摄对象对应多种类型的检测框,从而导致后续在根据检测框的总数量确定拍摄对象的总数量时,该拍摄对象会被重复计数。如图8所示,在拍摄对象为人的前提下,后面人的头肩框与形体框比较接近,且后续会被统计两次,也即后面人会被计数两次。针对该问题,结合上述实施例的内容,在一个实施例中,本发明实施例提供的方法在删除每一图像中重复检测的同类型检测框之后,还包括:对每一图像中不同类型的检测框进行合并。
以检测框包括头肩框及形体框这两种类型为例,对于某一图像,可对该图像中头肩框及形体框进行合并。其中,合并过程主要是两点,一是如何确定合并对象,二是如何进行合并。针对上述两点,以检测框包括头肩框及形体框这两种类型为例,关于对每一图像中不同类型的检测框进行合并的方式,本发明实施例对此不作具体限定,包括但不限于:对于任一图像,由该图像中每一头肩框与每一形体框组成检测框对,并计算每一检测框对中两个检测框之间的交并比;若存在交并比大于第七预设阈值的检测框对,则删除交并比大于第七预设阈值的检测框对中面积较小的检测框。
其中,“交并比大于第七预设阈值的检测框对”,即为确定出的合并对象,而“删除交并比大于第七预设阈值的检测框对中面积较小的检测框”,即为合并方式。例如,若由头肩框A与形体框B组成了检测框对,而A与B之间的交并比大于第七预设阈值,则可以删除A与B中面积较小的检测框。比如,若A的面积小于B,则删除头肩框A。若B的面积小于A,则删除形体框B。需要说明的是,上述过程之所以会选择交并比大于第七预设阈值的检测框对作为合并对象,主要是因为交并比大于第七预设阈值,能够说明该检测框对中的两个检测框在同一图像中框选区域重叠较多,从而很有可能针对的是同一拍摄对象。由此,可以删除其中一个检测框。还需要说明的是,之所以选择保留面积大的检测框,是因为面积大的检测框会框选更多的图像内容,以便于后续基于检测框框选的图像内容,进一步筛选检测框。
另外,本发明实施例提出的“对每一图像中不同类型的检测框进行合并”的过程,可以按照目前给出的执行时序,也即在“删除每一图像中重复检测的同类型检测框”之后执行,也可以在上述删除过程之前执行,本发明实施例对此不作具体限定。而在本发明实施例中,之所以在删除过程之后执行,是因为合并过程需要将检测框进行两两组合,并基于组合得到的检测框对进行计算,而若不先删除每一图像中重复检测的同类型检测框,则会使得后续合并过程中出现的检测框对增多,从而加大了合并过程中的计算量。而通过先执行删除过程,再执行合并过程,可以有效降低合并过程中的计算量。
本发明实施例提供的方法,由于在将图像中的检测框映射至底图之前,可以对每一图像中不同类型的检测框进行合并,从而可以避免每一图像中被标记为多种类型检测框的拍摄对象后续被计数多次,进而可以提高计数结果的精准性。
结合上述实施例的内容,在一个实施例中,关于对每一图像中不同类型的检测框进行合并的方式,本发明实施例对此不作具体限定,包括但不限于:对于任一图像,由该图像中的检测框组成该图像对应的检测框集合,基于选取条件,从该图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,从检测框集合中删除小于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至检测框集合中剩下的检测框均被选取过,将检测框集合中剩下的检测框作为该图像中的检测框;其中,选取条件为检测框集合剩下的检测框中面积最大且未被选取过,重复指数用于表征两个检测框对应同一拍摄对象的可能性。
其中,重复指数可以为交并比,本发明实施例对此不作具体限定。例如,若经过上述删除过程,某一图像中的检测框还剩下n个,则该图像对应的检测框集合包括n个检测框。从检测框集合中选取一个面积最大的检测框(如计为a)作为待匹配检测框,计算该待匹配检测框与检测框集合中每一其它检测框之间的重复指数。若存在3个其它检测框对应的重复指数大于第一预设阈值,则表明该3个其它检测框可能均与待匹配检测框针对的是同一拍摄对象,从而可以将该3个其它检测框从检测框集合中删除。其中,其它检测框即指的是检测框集合中除检测框a之外的检测框。
在将上述3个其它检测框从检测框集合中删除后,检测框集合中可供下一轮执行过程选择的检测框总数量为(n-3-1)。其中,“-3”表示上述3个其它检测框被删除,“-1”表示检测框a已经被选取过了,按照选取条件,检测框a在下一轮执行过程中不能被选取作为面积最大的检测框。重复上述执行过程,当选取至检测框集合剩下的检测框中最后一个未被选取过的检测框时,执行上述计算及删除的过程,即可完成上述循环迭代过程。此时,检测框集合中剩下的检测框即为最终的合并结果。
本发明实施例提供的方法,由于在将图像中的检测框映射至底图之前,可以对每一图像中不同类型的检测框进行合并,从而可以避免每一图像中被标记为多种类型检测框的拍摄对象后续被计数多次,进而可以提高计数结果的精准性。
结合上述实施例的内容,在一个实施例中,参见图9,本发明实施例不对计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数的方式作具体限定,包括但不限于:
901、对于任一其它检测框,确定在该图像中该其它检测框与待匹配检测框之间的重叠面积;
902、计算该其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与该其它检测框之间的重复指数。
需要说明的是,对于两个检测框,上述计算过程等同于先计算两个检测框的重叠面积与其中一个检测框的面积之间的比值,再计算两个检测框的重叠面积与另外一个检测框的面积之间的比值,再将两个比值相乘的乘积作为该两个检测框之间的重复指数。其中,两个比值可以各自反映重叠区域占自身所占区域的面积比。当两个检测框的重叠区域越大时,则两个比值也会越大。而重叠区域越大,则表示两个检测框越可能对应的是同一拍摄对象。由此,该两个比值之间的乘积能够反映两个检测框对应同一拍摄对象的可能性。
本发明实施例提供的方法,对于任一其它检测框,通过确定在图像中该其它检测框与待匹配检测框之间的重叠面积。计算该其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与该其它检测框之间的重复指数。由于两个检测框的重叠区域越大,表示两个检测框越可能对应的是同一拍摄对象,而重复指数越大能反映两个检测框的重叠区域越大,从而根据重复指数能够精准对不同类型的检测框中属同一拍摄对象的检测框进行合并。
结合上述实施例的内容,在一个实施例中,参见图10,本发明实施例不对将每一图像中的检测框映射至拍摄场景对应的底图的方式作具体限定,包括但不限于:
1001、确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标;
1002、根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域;
1003、根据每一检测框在底图的所处区域,在底图上添加每一检测框。
在上述步骤1001中,锚点指的是可以用于唯一确定检测框在底图中位置的点。由于检测框通常为矩形,而确定对角的两个顶点在底图中的位置,即可确定检测框在底图中的位置及形状。因此,检测框对角的两个顶点即可作为锚点。除此之外,检测框的中心点也可以作为锚点,在确定检测框的长与宽,再确定检测框的中心点在底图中所处位置,即可确定检测框在底图中的位置及形状。另外,可以通过上述基于像素变换矩阵及锚点在原图像中的位置坐标,确定每一检测框的锚点在底图中的坐标,具体过程可参考上述实施例的内容,此处不再赘述。
在上述步骤1002中,以锚点为中心点为例,可以通过上述方式确定锚点在底图中的位置坐标。而检测框的长与宽是可以获知的,从而基于检测框的中心点在底图中的位置坐标以及检测框的长和宽,即可确定检测框在底图中的所处区域,也即可以确定检测框在底图中的位置坐标。
在上述步骤1003中,通过根据每一图像中每一检测框在底图的所处区域,即可将每一图像中的每一检测框添加在底图上。其中,本发明实施例中将检测框添加在底图上,不仅仅是将“矩形框”添加在底图上,一起添加的还包括检测框在原图像中所框选的部分图像。
需要说明的是,检测框在映射至底图时是1比1还原的,而将检测框在原图像中所框选的部分图像添加至底图时,也是1比1还原的,也即将检测框在原图像中框选的部分图像不作变化地移动至底图中。
还需要说明的是,对于检测框在原图像中框选的部分图像,在相关技术中是将该部分图像中每一像素均映射至底图中,而这会导致拍摄对象在底图中变形而无法被检测出。另外,若不同拍摄设备拍摄视角不同而拍摄范围实际存在重叠,则不同拍摄设备拍摄得到的图像实际上存在重叠区域。若重叠区域存在拍摄对象,则不同图像中关于该拍摄对象的检测框映射至底图后,这些检测框中框选的部分图像会产生像素重叠错乱,从而影响拍摄对象的检测过程,进而可能会导致无法精准确定拍摄对象的总数量。而在本发明实施例中,是将检测框以及检测框在原图像中所框选的部分图像,直接不作变化地添加至底图中,从而使得检测框在原图像中所框选的部分图像在底图中不会发生变形。另外,对于重叠区域中的拍摄对象,不同图像中关于该拍摄对象的检测框映射至底图后,也不会产生像素重叠错乱。
本发明实施例提供的方法,通过确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标。根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域。根据每一检测框在底图的所处区域,在底图上添加每一检测框。由于检测框在原图像中所框选的部分图像在底图中不会发生变形,从而便于后续检测或者彼此比对。另外,对于重叠区域中的拍摄对象,由于不同图像中关于该拍摄对象的检测框映射至底图后,也不会产生像素重叠错乱,从而也能够便于后续检测或者彼此比对。
上述实施例中提及的过程,主要是删除每一图像中重复检测的同类型检测框。与此同时,还对每一图像中不同类型的检测框进行合并。由此可知,上述对于检测框的筛选过程主要针对的是同一图像。由于不同拍摄设备会存在重叠区域,从而不同拍摄设备拍摄得到的图像可能会包括同一拍摄对象。由此,不同拍摄设备拍摄得到的图像中可能会包含针对同一拍摄对象的检测框。因此,在将每一图像的检测框映射至底图后,还可以对来自于不同图像但是却是针对同一拍摄对象的检测框进行筛选,以避免后续对同一拍摄对象重复计数。结合上述实施例的内容,在一个实施例中,本发明实施例不对删除底图中重复检测的检测框的方式作具体限定,包括但不限于:对于底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,匹配特征包括两个检测框之间的交并比,预设条件包括交并比大于第二预设阈值。
其中,匹配特征也可以用于表征两个检测框对应同一拍摄对象的可能性。由此,匹配特征可以包括两个检测框之间的交并比。例如,若底图中存在m个检测框,则一共可以组合成[m*(m-1)/2]组检测框组。这些检测框组中若存在满足预设条件的检测框组,则可删除满足预设条件的检测框组中的检测框。其中,删除方式可以为从满足预设条件的每一检测框组中随机删除一个检测框,本发明实施例对此不作具体限定。
本发明实施例提供的方法,对于底图中每两个检测框一组所构成的所有检测框组,通过当存在匹配特征满足预设条件的检测框组时,则对满足预设条件的检测框组中的检测框进行删除。由于可以对来自于不同图像但却针对同一拍摄对象的检测框进行筛选,从而避免后续对同一拍摄对象重复计数。
上述对底图中检测框的删除过程,主要是根据位置及形状,也即匹配特征包括的交并比,作为确定两个检测框是否针对的是同一拍摄对象的依据。实际实施过程中,除了根据位置及形状之外,还可以基于其它依据。结合上述实施例的内容,在一个实施例中,匹配特征还包括两个检测框之间的相似度;预设条件还包括相似度大于第三预设阈值。
由上述实施例的内容可知,检测框映射至底图时,不光是作为“矩形框”1比1的映射至底图。与此同时,检测框在原图像中框选的部分图像也是不作变化地映射至底图。基于此,在本发明实施例中,两个检测框之间的相似度可以为两个检测框各自框选的部分图像之间的图像相似度。其中,计算图像相似度的过程可参考上述实施例的内容,此处不再赘述。需要说明的是,预设条件之所以设置为还包括相似度大于第三预设阈值,是因为相似度越大则表明,两个检测框各自框选的部分图像越相似,从而两个检测框越有可能针对的是同一拍摄对象。
本发明实施例提供的方法,对于底图中每两个检测框一组所构成的所有检测框组,通过当存在匹配特征满足预设条件的检测框组时,则对满足预设条件的检测框组中的检测框进行删除。由于可以对来自于不同图像但却针对同一拍摄对象的检测框进行筛选,从而避免后续对同一拍摄对象重复计数。
结合上述实施例的内容,在一个实施例中,参见图11,本发明实施例不对两个检测框之间相似度的计算过程作具体限定,包括但不限于:
1101、对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;
1102、根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;
1103、根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。
在上述步骤1101中,特征点指的是可以表示拍摄对象轮廓的点。以拍摄对象为人体为例,特征点可以指的是如图12所示的点。在图12中,特征点比较明显的勾勒出了人体轮廓。另外,特征点的大小可以根据需求进行设置,本发明实施例对此不作具体限定。另外,在拍摄对象为人体时,特征点的抽取过程实则为人体关键点的检测过程,可以采用人体关键点检测算法实现。
在上述步骤1102中,由图12可知,特征点会涵盖一定范围内的像素,而特征点涵盖的像素即为小部分图像,从而该小部分图像对应的图像特征向量即可用来表示特征点的特征向量。基于此,每一检测框对应的特征向量可以由每一检测框中特征点的特征向量组成。每一特征点的大小可以相同,从而每一特征点的特征向量的维度也可以相同。需要说明的是,实际实施过程中,不同检测框对应的特征点集合,可以会包含相同个数的特征点,也可能包含不同个数的特征点。
通过上述步骤,可以得到每一检测框对应的特征向量。由此可以计算两个检测框各自特征向量之间的相似度,并作为两个检测框之间的相似度。需要说明的是,实际实施过程中,在上述步骤1103中,不同检测框对应的特征点集合,可能包含不同个数的特征点。此时,该两个检测框各自对用的特征向量可能维度不相同,为了使得两个维度不同的特征向量能够计算相似度,可以对其中缺少部分内容的特征向量进行补0,以使得该两个特征向量维度相同。
本发明实施例提供的方法,对于任意两个检测框,通过分别抽取各自框选的图像中的特征点,组成各自对应的特征点集。根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量。根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。由于可以抽取特征点组成特征向量以代表检测框中框选的图像内容,也即计算相似度时只需计算部分内容之间的相似度即可,而不需要计算全部图像内容之间的相似度,从而减少了计算量,提高了运行效率。
结合上述实施例的内容,在一个实施例中,预设条件还包括两个检测框来源自映射前的不同图像。由上述实施例的内容可知,删除检测框的过程主要是分为两个部分。第一部分删除过程是“删除每一图像中重复检测的同类型检测框”以及“对每一图像中不同类型的检测框进行合并”,主要是对来源自同一图像且可能是针对同一拍摄对象的检测框进行筛选。而将每一图像中的检测框映射至底图后,则是检测框的第二部分删除过程。该过程主要是对不同拍摄设备拍摄到同一拍摄对象时的检测框进行筛选。由于每一拍摄设备是对同一拍摄场景在同一时刻拍摄得到图像,从而上述“不同拍摄设备拍摄到同一拍摄对象的检测框”,实则是来源于不同的图像。由此,第二部分删除过程主要是对来源自映射前的不同图像的检测框进行筛选。因此,上述预设条件还可以包括“两个检测框来源自映射前的不同图像”这样的限制条件。
需要说明的是,这里之所以加上这样的限制条件,是由于第一部分删除过程已经对来源自同一图像且可能是针对同一拍摄对象的检测框进行了充分的筛选,从而在第二部分删除过程中,则没必要让来源自同一图像的检测框参与至相似度的计算,而是将注意力放在来源自不同图像的检测框进行筛选,进而可以减少计算量。
本发明实施例提供的方法,由于可将预设条件进一步限定为还包括两个检测框来源自映射前的不同图像,从而可以避免让来源自同一图像的检测框参与至相似度的计算,进而减少了计算量。
如图1所示,在实际实施过程中,拍摄场景中会存在各个摄像头均无法覆盖到的拍摄盲区。基于相关技术中的计数方法,是无法统计到这些拍摄盲区中的拍摄对象的。针对该问题,结合上述实施例的内容,在一个实施例中,参见图13,本发明实施例不对根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量的方式作具体限定,包括但不限于:
1301、根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积;
1302、根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度;
1303、根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。
在上述步骤1301中,针对与底图对应的某一拍摄场景,再结合每一拍摄设备的拍摄覆盖范围,即可确定每一拍摄设备的拍摄覆盖范围与底图的交叠区域面积。再将每一拍摄设备的交叠区域面积进行叠加,即可得到所有拍摄设备在底图中覆盖的总拍摄区域面积。
而由上述实施例可得到,底图中检测框的总数量。在上述步骤1302中,计算该总数量与总拍摄区域面积之间的比值,即为该拍摄场景下拍摄对象的分布密度。在上述步骤1303中,将分布密度与底图的总面积相乘,即可得到拍摄场景下拍摄对象的总数量。
本发明实施例提供的方法,通过根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积。根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度。根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。由于可估算得到拍摄盲区中拍摄对象的数量,从而在存在拍摄盲区的场景下也可以适用,并可以提高拍摄对象计数时的精准率。
应该理解的是,虽然图3、图7、图9、图10、图11及图13的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、图7、图9、图10、图11及图13中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,上述阐述的技术方案在实际实施过程中可以作为独立实施例来实施,也可以彼此之间进行组合并作为组合实施例实施。另外,在对上述本发明实施例内容进行阐述时,仅基于方便阐述的思路,按照相应顺序对不同实施例进行阐述,如按照数据流流向的顺序,而并非是对不同实施例之间的执行顺序进行限定。相应地,在实际实施过程中,若需要实施本发明提供的多个实施例,则不一定需要按照本发明阐述实施例时所提供的执行顺序,而是可以根据需求安排不同实施例之间的执行顺序。
结合上述实施例的内容,在一个实施例中,如图14所示,提供了一种拍摄对象计数装置,包括:获取模块1401、第一确定模块1402、映射模块1403、第一删除模块1404及第二确定模块1405,其中:
获取模块1401,用于获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像;
第一确定模块1402,用于确定每一图像中的检测框;
映射模块1403,用于将每一图像中的检测框映射至拍摄场景对应的底图;
第一删除模块1404,用于删除底图中重复检测的检测框;
第二确定模块1405,用于根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
在一个实施例中,该装置还包括:
第二删除模块,用于删除每一图像中重复检测的同类型检测框。
在一个实施例中,该装置还包括:
合并模块,用于对每一图像中不同类型的检测框进行合并。
在一个实施例中,合并模块,用于对于任一图像,由该图像中的检测框组成该图像对应的检测框集合,基于选取条件,从该图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,从检测框集合中删除大于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至检测框集合中剩下的检测框均被选取过,将检测框集合中剩下的检测框作为该图像中的检测框;其中,选取条件为检测框集合剩下的检测框中面积最大且未被选取过,重复指数用于表征两个检测框对应同一拍摄对象的可能性。
在一个实施例中,合并模块,用于对于任一其它检测框,确定在该图像中该其它检测框与待匹配检测框之间的重叠面积;计算该其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与该其它检测框之间的重复指数。
在一个实施例中,映射模块1403,用于确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标;根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域;根据每一检测框在底图的所处区域,在底图上添加每一检测框。
在一个实施例中,第一删除模块1404,用于对于底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,匹配特征包括两个检测框之间的交并比,预设条件包括交并比大于第二预设阈值。
在一个实施例中,匹配特征还包括两个检测框之间的相似度;预设条件还包括相似度大于第三预设阈值。
在一个实施例中,该装置还包括:
计算模块,用于对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。
在一个实施例中,第二确定模块1405,用于根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积;根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度;根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。
本发明实施例提供的装置,通过获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框。将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框。根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。由于在将图像中的检测框映射至底图后,可以删除底图中重复检测的检测框,从而可以避免被多个摄像头同时拍摄到的拍摄对象被计数多次,进而可以提高计数结果的精准性。
关于拍摄对象计数装置的具体限定可以参见上文中对于拍摄对象计数方法的限定,在此不再赘述。上述拍摄对象计数装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设阈值。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种拍摄对象计数方法。
本领域技术人员可以理解,图15中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
删除每一图像中重复检测的同类型检测框。
在一个实施例中,检测框的类型为至少两种;相应地,处理器执行计算机程序时还实现以下步骤:
对每一图像中不同类型的检测框进行合并。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对于任一图像,由该图像中的检测框组成该图像对应的检测框集合,基于选取条件,从该图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,从检测框集合中删除大于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至检测框集合中剩下的检测框均被选取过,将检测框集合中剩下的检测框作为该图像中的检测框;其中,选取条件为检测框集合剩下的检测框中面积最大且未被选取过,重复指数用于表征两个检测框对应同一拍摄对象的可能性。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对于任一其它检测框,确定在该图像中该其它检测框与待匹配检测框之间的重叠面积;
计算该其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与该其它检测框之间的重复指数。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标;
根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域;
根据每一检测框在底图的所处区域,在底图上添加每一检测框。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对于底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,匹配特征包括两个检测框之间的交并比,预设条件包括交并比大于第二预设阈值。
在一个实施例中,处理器在执行计算机程序时,匹配特征还包括两个检测框之间的相似度;预设条件还包括相似度大于第三预设阈值。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;
根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;
根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积;
根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度;
根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至拍摄场景对应的底图,删除底图中重复检测的检测框;
根据底图中检测框的总数量,确定拍摄场景下拍摄对象的总数量。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
删除每一图像中重复检测的同类型检测框。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对每一图像中不同类型的检测框进行合并。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对于任一图像,由该图像中的检测框组成该图像对应的检测框集合,基于选取条件,从该图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算待匹配检测框与检测框集合中每一其它检测框之间的重复指数,从检测框集合中删除大于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至检测框集合中剩下的检测框均被选取过,将检测框集合中剩下的检测框作为该图像中的检测框;其中,选取条件为检测框集合剩下的检测框中面积最大且未被选取过,重复指数用于表征两个检测框对应同一拍摄对象的可能性。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对于任一其它检测框,确定在该图像中该其它检测框与待匹配检测框之间的重叠面积;
计算该其它检测框的面积与待匹配检测框的面积之间的乘积,将重叠面积的平方值与乘积之间的比值作为待匹配检测框与该其它检测框之间的重复指数。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在底图中的坐标;
根据每一检测框的锚点在底图中的坐标,确定每一检测框在底图的所处区域;
根据每一检测框在底图的所处区域,在底图上添加每一检测框。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对于底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,匹配特征包括两个检测框之间的交并比,预设条件包括交并比大于第二预设阈值。
在一个实施例中,计算机程序被处理器执行时,匹配特征还包括两个检测框之间的相似度;预设条件还包括相似度大于第三预设阈值。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;
根据任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;
根据任意两个检测框各自对应的特征向量,确定任意两个检测框中两个检测框之间的相似度。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在底图中覆盖的总拍摄区域面积;
根据底图中检测框的总数量及拍摄区域面积,确定拍摄场景下拍摄对象的分布密度;
根据分布密度与底图的总面积,确定拍摄场景下拍摄对象的总数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (13)
1.一种拍摄对象计数方法,其特征在于,所述方法包括:
获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像,并确定每一图像中的检测框;
将每一图像中的检测框映射至所述拍摄场景对应的底图,删除所述底图中重复检测的检测框;
根据所述底图中检测框的总数量,确定所述拍摄场景下拍摄对象的总数量。
2.根据权利要求1所述的方法,其特征在于,所述将每一图像中的检测框映射至所述拍摄场景对应的底图之前,还包括:
删除每一图像中重复检测的同类型检测框。
3.根据权利要求2所述的方法,其特征在于,检测框的类型为至少两种;相应地,所述删除每一图像对应的每一类型检测框子集合中重复检测的检测框之后,还包括:
对每一图像中不同类型的检测框进行合并。
4.根据权利要求3所述的方法,其特征在于,所述对每一图像中不同类型的检测框进行合并,包括:
对于任一图像,由所述任一图像中的检测框组成所述任一图像对应的检测框集合,基于选取条件,从所述任一图像对应的检测框集合中选取一个检测框作为待匹配检测框,计算所述待匹配检测框与所述检测框集合中每一其它检测框之间的重复指数,从所述检测框集合中删除大于第一预设阈值的重复指数所对应的其它检测框,重复上述选取、计算及删除的过程,直至所述检测框集合中剩下的检测框均被选取过,将所述检测框集合中剩下的检测框作为所述任一图像中的检测框;其中,所述选取条件为所述检测框集合剩下的检测框中面积最大且未被选取过,所述重复指数用于表征两个检测框对应同一拍摄对象的可能性。
5.根据权利要求4所述的方法,其特征在于,所述计算所述待匹配检测框与所述检测框集合中每一其它检测框之间的重复指数,包括:
对于任一其它检测框,确定在所述任一图像中所述任一其它检测框与所述待匹配检测框之间的重叠面积;
计算所述任一其它检测框的面积与所述待匹配检测框的面积之间的乘积,将所述重叠面积的平方值与所述乘积之间的比值作为所述待匹配检测框与所述任一其它检测框之间的重复指数。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述将每一图像中的检测框映射至所述拍摄场景对应的底图,包括:
确定每一图像中每一检测框的锚点,并确定每一检测框的锚点在所述底图中的坐标;
根据每一检测框的锚点在所述底图中的坐标,确定每一检测框在所述底图的所处区域;
根据每一检测框在所述底图的所处区域,在所述底图上添加每一检测框。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述删除所述底图中重复检测的检测框,包括:
对于所述底图中每两个检测框一组所构成的所有检测框组,若存在匹配特征满足预设条件的检测框组,则对满足预设条件的检测框组中的检测框进行删除;其中,所述匹配特征包括两个检测框之间的交并比,所述预设条件包括交并比大于第二预设阈值。
8.根据权利要求7中任一项所述的方法,其特征在于,所述匹配特征还包括两个检测框之间的相似度;所述预设条件还包括相似度大于第三预设阈值。
9.根据权利要求8中任一项所述的方法,其特征在于,相似度的计算过程,包括:
对于任意两个检测框,分别抽取各自框选的图像中的特征点,组成各自对应的特征点集;其中,检测框各自框选的图像指的是检测框在映射前的图像中所框选的部分图像;
根据所述任意两个检测框各自对应的特征点集合,确定各自对应的特征向量;
根据所述任意两个检测框各自对应的特征向量,确定所述任意两个检测框中两个检测框之间的相似度。
10.根据权利要求1至5中任一项所述的方法,其特征在于,所述根据所述底图中检测框的总数量,确定所述拍摄场景下拍摄对象的总数量,包括:
根据每一拍摄设备的拍摄覆盖范围,确定所有拍摄设备在所述底图中覆盖的总拍摄区域面积;
根据所述底图中检测框的总数量及所述拍摄区域面积,确定所述拍摄场景下拍摄对象的分布密度;
根据所述分布密度与所述底图的总面积,确定所述拍摄场景下拍摄对象的总数量。
11.一种拍摄对象计数装置,其特征在于,所述装置包括:
获取模块,用于获取每一拍摄设备对同一拍摄场景在同一时刻拍摄到的图像;
第一确定模块,用于确定每一图像中的检测框;
映射模块,用于将每一图像中的检测框映射至所述拍摄场景对应的底图;
第一删除模块,用于删除所述底图中重复检测的检测框;
第二确定模块,用于根据所述底图中检测框的总数量,确定所述拍摄场景下拍摄对象的总数量。
12.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110987321.5A CN113744221A (zh) | 2021-08-26 | 2021-08-26 | 拍摄对象计数方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110987321.5A CN113744221A (zh) | 2021-08-26 | 2021-08-26 | 拍摄对象计数方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113744221A true CN113744221A (zh) | 2021-12-03 |
Family
ID=78733040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110987321.5A Pending CN113744221A (zh) | 2021-08-26 | 2021-08-26 | 拍摄对象计数方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744221A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109670A (zh) * | 2022-12-31 | 2023-05-12 | 江苏中科贯微自动化科技有限公司 | 基于目标检测的动态包裹计数方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
CN104809687A (zh) * | 2015-04-23 | 2015-07-29 | 上海趣搭网络科技有限公司 | 三维人脸图像生成方法及系统 |
CN109727264A (zh) * | 2019-01-10 | 2019-05-07 | 南京旷云科技有限公司 | 图像生成方法、神经网络的训练方法、装置和电子设备 |
US20200226769A1 (en) * | 2019-01-11 | 2020-07-16 | Tata Consultancy Services Limited | Dynamic multi-camera tracking of moving objects in motion streams |
CN112507786A (zh) * | 2020-11-03 | 2021-03-16 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
CN112711990A (zh) * | 2020-12-17 | 2021-04-27 | 北京航空航天大学 | 一种多相机联合的大场景人群计数方法 |
CN113158869A (zh) * | 2021-04-15 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
-
2021
- 2021-08-26 CN CN202110987321.5A patent/CN113744221A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425967A (zh) * | 2013-07-21 | 2013-12-04 | 浙江大学 | 一种基于行人检测和跟踪的人流监控方法 |
CN104809687A (zh) * | 2015-04-23 | 2015-07-29 | 上海趣搭网络科技有限公司 | 三维人脸图像生成方法及系统 |
CN109727264A (zh) * | 2019-01-10 | 2019-05-07 | 南京旷云科技有限公司 | 图像生成方法、神经网络的训练方法、装置和电子设备 |
US20200226769A1 (en) * | 2019-01-11 | 2020-07-16 | Tata Consultancy Services Limited | Dynamic multi-camera tracking of moving objects in motion streams |
CN112507786A (zh) * | 2020-11-03 | 2021-03-16 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
CN112711990A (zh) * | 2020-12-17 | 2021-04-27 | 北京航空航天大学 | 一种多相机联合的大场景人群计数方法 |
CN113158869A (zh) * | 2021-04-15 | 2021-07-23 | 深圳市优必选科技股份有限公司 | 图像识别方法、装置、终端设备及计算机可读存储介质 |
Non-Patent Citations (3)
Title |
---|
QI WANG: "NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting and Localization", 《IEEE》, 31 July 2020 (2020-07-31) * |
潘浩;高枝宝;何小海;殷俊琳;: "基于计算机视觉的公交系统人流量检测算法", 计算机工程, no. 11, 5 June 2007 (2007-06-05) * |
韩冠南: "基于机器视觉的客流量统计系统研究", 《中国优秀硕士学位论文全文数据库》, 30 April 2020 (2020-04-30) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116109670A (zh) * | 2022-12-31 | 2023-05-12 | 江苏中科贯微自动化科技有限公司 | 基于目标检测的动态包裹计数方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898567B (zh) | 图像降噪方法、装置及系统 | |
US10893251B2 (en) | Three-dimensional model generating device and three-dimensional model generating method | |
US8548227B2 (en) | Image processing apparatus and computer program | |
US11048948B2 (en) | System and method for counting objects | |
CN109447186A (zh) | 聚类方法及相关产品 | |
CN109313805A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN109313806A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
US8687000B2 (en) | Image generating apparatus and computer program | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN106296574A (zh) | 三维照片生成方法和装置 | |
US10791321B2 (en) | Constructing a user's face model using particle filters | |
CN113744221A (zh) | 拍摄对象计数方法、装置、计算机设备和存储介质 | |
CN116760937B (zh) | 一种基于多机位的视频拼接方法、装置、设备及存储介质 | |
CN113837202A (zh) | 特征点的提取方法、图像的重建方法及装置 | |
CN114066999A (zh) | 基于三维建模的目标定位系统及方法 | |
CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
CN105427276A (zh) | 一种基于图像局部边缘特征的摄像头检测方法 | |
CN114092720A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
CN115424181A (zh) | 目标对象的检测方法和装置 | |
CN112257666B (zh) | 目标图像内容的聚合方法、装置、设备及可读存储介质 | |
CN115604528A (zh) | 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法 | |
CN114004839A (zh) | 全景图像的图像分割方法、装置、计算机设备和存储介质 | |
CN114429612A (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN110119454B (zh) | 证据管理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |