CN109816086B - 移动物体的计数装置、方法和电子设备 - Google Patents
移动物体的计数装置、方法和电子设备 Download PDFInfo
- Publication number
- CN109816086B CN109816086B CN201711155853.2A CN201711155853A CN109816086B CN 109816086 B CN109816086 B CN 109816086B CN 201711155853 A CN201711155853 A CN 201711155853A CN 109816086 B CN109816086 B CN 109816086B
- Authority
- CN
- China
- Prior art keywords
- candidate
- moving objects
- area
- candidate blocks
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例提供一种移动物体的计数装置、方法和电子设备。所述方法包括:提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;使用非最大抑制处理和/或近邻抑制处理,对多个移动物体的候选方框进行冗余消除处理;基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对多个移动物体进行分类;以及针对不同的类别对多个移动物体分别进行计数。由此,即使在存储空间和计算能力均有限的场景下,也能快速且高效地对视频中的移动物体进行计数。
Description
技术领域
本发明实施例涉及视频监控技术领域,尤其涉及一种移动物体的计数装置、方法和电子设备。
背景技术
在视频监控领域中,移动物体的计数对于视频分析是非常重要的。例如,在路口对行人和车辆进行计数,能够帮助分析交通流量并辅助控制交通信号灯,可以使得对交通的引导更加优化。
目前已经出现了各种方法和方案对移动物体进行计数,例如跟踪(tracking)和检测(detection)。然而,跟踪的方法需要历史数据去捕获移动物体,因此需要大量的存储空间;而检测的方法使用例如支持向量机(SVM,Support Vector Machine)作为分类器来检测移动物体,因此需要大量的计算。
应该注意,上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明,并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
发明人发现:在某些场景下(例如嵌入式平台),存储空间和计算能力均是有限的,传统的跟踪和检测方法很难运用在这些场景下。如何在这些场景下实现快速且高效地移动物体的计数,是目前需要解决的技术难题。
本发明实施例提供了一种移动物体的计数装置、方法和电子设备。期望即使在存储空间和计算能力均有限的场景下,也能够快速且高效地对视频中的移动物体进行计数。
根据本实施例的第一方面,提供了一种移动物体的计数装置,包括:
前景提取单元,其提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;
冗余消除单元,其使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
物体分类单元,其基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及
物体计数单元,其针对不同的类别对所述多个移动物体分别进行计数。
根据本实施例的第二方面,提供了一种移动物体的计数方法,包括:
提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;
使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及
针对不同的类别对所述多个移动物体分别进行计数。
根据本实施例的第三方面,提供了一种电子设备,所述电子设备包括如第一方面所述的移动物体的计数装置。
本发明实施例的有益效果在于:使用非最大抑制处理和/或近邻抑制处理,对多个移动物体的候选方框进行冗余消除处理;基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及针对不同的类别对所述多个移动物体分别进行计数。由此,即使在存储空间和计算能力均有限的场景下,也能快速且高效地对视频中的移动物体进行计数。
参照后文的说明和附图,详细公开了本发明实施例的特定实施方式,指明了本发明实施例的原理可以被采用的方式。应该理解,本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内,本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在,但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解,其构成了说明书的一部分,用于例示本发明的实施方式,并与文字描述一起来阐释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1是本发明实施例的移动物体的计数方法的示意图;
图2是本发明实施例的由GMM提取出的前景区域的示例图;
图3是本发明实施例的经过阴影移除后的前景图像的示例图;
图4是本发明实施例的经过降噪处理后的前景图像的示例图;
图5是本发明实施例的非最大抑制处理的示意图;
图6是本发明实施例的近邻抑制处理的示意图;
图7是本发明实施例的冗余消除处理之前的示例图;
图8是本发明实施例的冗余消除处理之后的示例图;
图9是本发明实施例的冗余消除处理之后的另一示例图;
图10是本发明实施例的移动物体的计数装置的示意图;
图11是本发明实施例的冗余消除单元的示意图;
图12是本发明实施例的冗余消除单元的另一示意图;
图13是本发明实施例的电子设备的示意图。
具体实施方式
参照附图,通过下面的说明书,本发明实施例的前述以及其它特征将变得明显。在说明书和附图中,具体公开了本发明的特定实施方式,其表明了其中可以采用本发明实施例的原则的部分实施方式,应了解的是,本发明不限于所描述的实施方式,相反,本发明实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。下面结合附图对本发明的各种实施方式进行说明。这些实施方式只是示例性的,不是对本发明的限制。
在本发明实施例中,术语“第一”、“第二”等用于对不同元素从称谓上进行区分,但并不表示这些元素的空间排列或时间顺序等,这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在,但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本发明实施例中,单数形式“一”、“该”等可以包括复数形式,应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义;此外术语“所述”应理解为既包括单数形式也包括复数形式,除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”,术语“基于”应理解为“至少部分基于……”,除非上下文另外明确指出。
实施例1
本发明实施例提供一种移动物体的计数方法。该计数方法可以应用在嵌入式平台中,但本发明不限于此,本发明同样适用于非嵌入式平台。
图1是本发明实施例的移动物体的计数方法的示意图,如图1所示,移动物体的计数方法100包括:
步骤101,提取视频中图像的前景区域并获得视频中多个移动物体的候选方框;
步骤102,使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
步骤103,基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及
步骤104,针对不同的类别对所述多个移动物体分别进行计数。
在本实施例中,可以通过摄像头获得包括多个帧图像的视频信息。该摄像头可以是用于进行智能交通(Intelligent Transportation)视频监控的摄像头,不间断地对监控区域进行拍摄。但本发明不限于此,还可以是其他的视频监控场景;例如安全保卫视频监控场景。以下将以交通视频监控场景为例进行说明。
在步骤101中,可以使用例如高斯混合模型(GMM,Gaussian Mixture Model)来获取图像的背景区域和/或前景区域,并且可以获得所述视频中多个移动物体的候选方框。关于前景区域和/或候选方框的具体内容,可以参考现有技术。
在本实施例中,在获得的前景区域中可能会出现太多的噪声,从而影响移动物体的计数,因此还可以对所述前景区域进行降噪处理。
例如,可以使用预定的第一阈值来移除所述候选方框的阴影;其中,可以使用如下公式:
L(x,y)表示像素值,128为所述预定的第一阈值。
图2是本发明实施例的由GMM提取出的前景区域的示例图,如图2所示,包含该前景区域的前景图像中具有太多的噪声。图3是本发明实施例的经过阴影移除后的前景图像的示例图,如图3所示,图2所示的前景图像经过公式(1)处理后,能够在很大程度上降低噪声。
再例如,还可以使用中值滤波(median filter)、腐蚀(erosion)和膨胀(dilation)中的一种或多种对所述前景区域进行降噪处理。图4是本发明实施例的经过降噪处理后的前景图像的示例图,如图4所示,图3所示的前景图像经过中值滤波、腐蚀和膨胀处理后,能够在很大程度上进一步降低噪声。
在本实施例中,为了准确地进行移动物体的计数,在步骤102中,可以使用针对重叠的多个候选方框的非最大抑制(non-maximum suppression)处理,和/或,针对相邻的多个候选方框的近邻抑制(neighborhood suppression)处理,对多个移动物体的候选方框进行冗余消除处理。
图5是本发明实施例的非最大抑制处理的示意图,以两个候选方框为例进行说明。如图5所示,非最大抑制处理500可以包括:
步骤501,计算两个候选方框的面积;
步骤502,基于所述两个候选方框的面积和位置,计算所述两个候选方框的重叠率;以及
步骤503,确定所述重叠率是否大于或等于预定的第二阈值;在是的情况下执行步骤504,否则执行步骤505;
步骤504,去掉面积小的候选方框而保留面积大的候选方框;
步骤505,保留所述两个候选方框。
例如,预设的第二阈值为80%,候选方框1和候选方框2的面积分别为100和30。而根据候选方框1和候选方框2的位置,候选方框2的大部分面积(例如28)均位于候选方框1中,则重叠率可以被计算为28/30约等于0.93%,即该重叠率大于该第二阈值。因此,可以去掉面积小的候选方框2而保留面积大的候选方框1。
值得注意的是,图5以两个候选方框为例进行说明,但本发明不限于此,对于两个以上的候选方框同样适用。例如对于两个以上的候选方框,可以任选其中的两个执行步骤501-505,并且可以迭代地多次执行步骤501-505。
在本实施例中,视频中多个移动物体的候选方框可能出现重叠的情况,例如出现“框中有框”的情况,即一个移动物体可能对应两个或以上的候选方框。通过本发明实施例的非最大抑制处理,能够对重叠的多个候选方框进行冗余消除处理。
图6是本发明实施例的近邻抑制处理的示意图,以两个候选方框为例进行说明。如图6所示,近邻抑制处理600可以包括:
步骤601,计算两个候选方框的面积;
步骤602,基于所述两个候选方框的位置,计算所述两个候选方框的中心点之间的距离;
步骤603,确定所述中心点之间的距离是否小于或等于预设的第三阈值;在是的情况下执行步骤604,否则执行步骤605;
步骤604,去掉面积小的候选方框而保留面积大的候选方框;
步骤605,保留所述两个候选方框。
例如,预设的第三阈值为20,候选方框1和候选方框2的面积分别为100和30。而根据候选方框1和候选方框2的位置,候选方框2的中心点与候选方框1的中心点之间的距离为15,即该距离小于该第三阈值。因此,可以去掉面积小的候选方框2而保留面积大的候选方框1。
值得注意的是,图6以两个候选方框为例进行说明,但本发明不限于此,对于两个以上的候选方框同样适用。例如对于两个以上的候选方框,可以任选其中的两个执行步骤601-605,并且可以迭代地多次执行步骤601-605。
在本实施例中,视频中多个移动物体的候选方框可能出现相邻的情况,例如一个移动物体可能对应两个或以上的候选方框。通过本发明实施例的近邻抑制处理,能够对相邻的多个候选方框进行冗余消除处理。
值得注意的是,非最大抑制处理和近邻处理可以分别独立地被使用,也可以结合起来使用。此外,候选方框的冗余消除处理不限于此,例如还可以包括其他的冗余消除处理。
以上图5和6仅对本发明实施例进行了示意性说明,但本发明实施例不限于此。例如可以适当地调整各个步骤之间的执行顺序,此外还可以增加其他的一些步骤,或者减少其中的某些步骤。本领域的技术人员可以根据上述内容进行适当地变型,而不仅限于上述附图5和6的记载。
在本实施例中,可以基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;并且,针对不同的类别对所述多个移动物体分别进行计数。
例如,可以将移动物体分为两类:车辆和行人。在某一候选方框的面积小于预定的第四阈值并且所述候选方框的长宽比例大于预定的第五阈值的情况下,将所述候选方框确定为行人;否则将所述候选方框确定为车辆。
值得注意的是,可以根据实际场景对移动物体进行分类,例如可以确定两类或以上的不同类别,本发明并不对此进行限制。此外,本发明实施例并不限于候选方框的面积和长宽比例,例如还可以考虑候选方框的其他参数。关于预定的第一阈值至第五阈值,例如可以根据经验值确定,具体数值可以根据不同的场景而变化。
图7是本发明实施例的冗余消除处理之前的示例图。如图7所示,多个候选方框中出现了重叠的情况,例如701和702所示;另外的多个候选方框中出现了相邻的情况,例如703和704所示。
图8是本发明实施例的冗余消除处理之后的示例图。如图7和图8所示,通过非最大抑制处理,图7中701和702所示的由于重叠导致的冗余被消除;通过近邻抑制处理,图7中703和704所示的由于相邻导致的冗余被消除。
此外,如图8所示,基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,候选方框801可以被确定为行人,其他候选方框被确定为车辆。并且,如图8所示,例如行人被计数为1个,车辆被计数为12个。
在本实施例中,有可能多个移动物体被处理为一个候选方框,由此导致计数不准确。因此,还可以计算冗余消除处理后获得的一个或多个候选方框的平均面积;并且基于所述平均面积,针对不同的类别对所述多个移动物体分别进行计数。
例如,在某一候选方框的面积大于或等于所述平均面积的n倍的情况下,将所述候选方框所对应的移动物体计数为n个;其中n为自然数。但本发明不限于此,例如还可以对平均面积赋予权重等,可根据实际需要确定具体的实施方式。
图9是本发明实施例的冗余消除处理之后的另一示例图,如图9所示,候选方框被计数为10个。但是,候选方框901实际上对应于两辆车,这两辆车由于距离很近而被划分到同一候选方框901中。
在本实施例中,可以计算图9中的这10个候选方框的平均面积,并在确定出候选方框901的面积大于该平均面积的2倍的情况下,可以将候选方框901计数为两个。因此,图9中的车辆可以被计数为11个,由此能够进一步提高计数的准确性。
由上述实施例可知,使用非最大抑制处理和/或近邻抑制处理,对多个移动物体的候选方框进行冗余消除处理;基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及针对不同的类别对所述多个移动物体分别进行计数。由此,即使在存储空间和计算能力均有限的场景下,也能快速且高效地对视频中的移动物体进行计数。
实施例2
本发明实施例提供一种移动物体的计数装置,该移动物体的计数装置可以配置在电子设备中,也可以是该电子设备的某个或某些部件或组件。本发明实施例对应于实施例1的移动物体的计数方法,相同的内容不再赘述。
图10是本发明实施例的移动物体的计数装置的示意图,如图10所示,移动物体的计数装置1000包括:
前景提取单元1001,其提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;
冗余消除单元1002,其使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
物体分类单元1003,其基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及
物体计数单元1004,其针对不同的类别对所述多个移动物体分别进行计数。
在本实施例中,还可以对对所述前景区域进行降噪处理等。
如图10所示,移动物体的计数装置1000还可以包括:
降噪处理单元1005,其对所述前景区域进行降噪处理;
在一个实施方式中,降噪处理单元1005可以使用预定的第一阈值移除所述候选方框的阴影;例如,使用如下公式:
L(x,y)表示像素值,128为所述预定的第一阈值。
在一个实施方式中,所述降噪处理单元1005还可以使用中值滤波、腐蚀和膨胀中的一种或多种对所述前景区域进行降噪处理。
图11是本发明实施例的冗余消除单元的一示意图,如图11所示,所述冗余消除单元1002可以包括:
方框面积计算单元1101,其计算至少两个候选方框的面积;
重叠率计算单元1102,其基于所述至少两个候选方框的面积和位置,计算所述至少两个候选方框的重叠率;以及
方框确定单元1103,其在所述重叠率大于或等于预定的第二阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述重叠率小于所述第二阈值的情况下,保留所述至少两个候选方框。
图12是本发明实施例的冗余消除单元的另一示意图,如图12所示,所述冗余消除单元1002可以包括:
方框面积计算单元1201,其计算至少两个候选方框的面积;
距离计算单元1202,其基于所述至少两个候选方框的位置,计算所述至少两个候选方框的中心点之间的距离;
方框确定单元1203,其在所述中心点之间的距离小于或等于预设的第三阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述中心点之间的距离大于所述第三阈值的情况下,保留所述至少两个候选方框。
在一个实施方式中,所述物体分类单元1003具体可以用于:在某一候选方框的面积小于预定的第四阈值并且所述候选方框的长宽比例大于预定的第五阈值的情况下,将所述候选方框确定为行人;否则将所述候选方框确定为车辆。
在一个实施方式中,如图10所示,所述移动物体的计数装置1000还可以包括:平均面积计算单元1006,其计算冗余消除处理后获得的一个或多个候选方框的平均面积;并且所述物体计数单元1004还可以用于:基于所述平均面积,针对不同的类别对所述多个移动物体分别进行计数。
例如,所述物体计数单元1004具体可以用于:在某一候选方框的面积大于或等于所述平均面积的n倍的情况下,将所述候选方框所对应的移动物体计数为n个;其中n为自然数。
值得注意的是,以上仅对与本发明实施例相关的各部件或模块进行了说明,但本发明实施例不限于此。对于移动物体的计数装置的其他部件或模块,例如摄像头或者图像处理模块等,还可以参考相关技术。
此外,为了简单起见,图10至12中仅示例性示出了各个部件或模块之间的连接关系或信号走向,但是本领域技术人员应该清楚的是,例如可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现;本发明实施并不对此进行限制。
由上述实施例可知,使用非最大抑制处理和/或近邻抑制处理,对多个移动物体的候选方框进行冗余消除处理;基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及针对不同的类别对所述多个移动物体分别进行计数。由此,即使在存储空间和计算能力均有限的场景下,也能快速且高效地对视频中的移动物体进行计数。
实施例3
本发明实施例还提供一种电子设备,包括有如实施例2所述的移动物体的计数装置,其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机,等等;但本发明实施例不限于此。
图13是本发明实施例的电子设备的示意图。如图13所示,电子设备1300可以包括:处理器(例如中央处理器CPU)1310和存储器1320;存储器1320耦合到中央处理器1310。其中该存储器1320可存储各种数据;此外还存储信息处理的程序1321,并且在处理器1310的控制下执行该程序1321。
在一个实施方式中,移动物体的计数装置1000的功能可以被集成到处理器1310中。其中,处理器1310可以被配置为实现如实施例1所述的移动物体的计数方法。
在另一个实施方式中,移动物体的计数装置1000可以与处理器1310分开配置,例如可以将移动物体的计数装置1000配置为与处理器1310连接的芯片,通过处理器1310的控制来实现移动物体的计数装置1000的功能。
例如,处理器1310可以被配置为进行如下的控制:提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;以及针对不同的类别对所述多个移动物体分别进行计数。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:对所述前景区域进行降噪处理;例如,使用预定的第一阈值移除所述候选方框的阴影,和/或,使用中值滤波、腐蚀和膨胀中的一种或多种对所述前景区域进行降噪处理。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:计算至少两个候选方框的面积;基于所述至少两个候选方框的面积和位置,计算所述至少两个候选方框的重叠率;以及在所述重叠率大于或等于预定的第二阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述重叠率小于所述第二阈值的情况下,保留所述至少两个候选方框。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:计算至少两个候选方框的面积;基于所述至少两个候选方框的位置,计算所述至少两个候选方框的中心点之间的距离;在所述中心点之间的距离小于或等于预设的第三阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述中心点之间的距离大于所述第三阈值的情况下,保留所述至少两个候选方框。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:在某一候选方框的面积小于预定的第四阈值并且所述候选方框的长宽比例大于预定的第五阈值的情况下,将所述候选方框确定为行人;否则将所述候选方框确定为车辆。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:计算冗余消除处理后获得的一个或多个候选方框的平均面积;以及基于所述平均面积,针对不同的类别对所述多个移动物体分别进行计数。
在一个实施方式中,处理器1310还可以被配置为进行如下的控制:在某一候选方框的面积大于或等于所述平均面积的n倍的情况下,将所述候选方框所对应的移动物体计数为n个;其中n为自然数。
此外,如图13所示,电子设备1300还可以包括:输入输出(I/O)设备1330和显示器1340等;其中,上述部件的功能与现有技术类似,此处不再赘述。值得注意的是,电子设备1300也并不是必须要包括图13中所示的所有部件;此外,电子设备1300还可以包括图13中没有示出的部件,可以参考现有技术。
本发明实施例还提供一种计算机可读程序,其中当在电子设备中执行所述程序时,所述程序使得计算机在所述电子设备中执行实施例1所述的移动物体的计数方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质,其中所述计算机可读程序使得计算机在电子设备中执行实施例1所述的移动物体的计数方法。
本发明以上的装置和方法可以由硬件实现,也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序,当该程序被逻辑部件所执行时,能够使该逻辑部件实现上文所述的装置或构成部件,或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质,如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本发明实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如,图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合,既可以对应于计算机程序流程的各个软件模块,亦可以对应于各个硬件模块。这些软件模块,可以分别对应于所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中,也可以存储在可插入移动终端的存储卡中。例如,若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置,则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合,还可以实现为计算设备的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述,但本领域技术人员应该清楚,这些描述都是示例性的,并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改,这些变型和修改也在本发明的范围内。
Claims (9)
1.一种移动物体的计数装置,其特征在于,所述计数装置包括:
前景提取单元,其提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;
冗余消除单元,其使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
物体分类单元,其基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;
平均面积计算单元,其计算冗余消除处理后获得的一个或多个候选方框的平均面积;以及
物体计数单元,其基于所述平均面积,针对不同的类别对所述多个移动物体分别进行计数。
2.根据权利要求1所述的计数装置,其中,所述计数装置还包括:
降噪处理单元,其对所述前景区域进行降噪处理;
其中,使用预定的第一阈值移除所述候选方框的阴影,和/或,使用中值滤波、腐蚀和膨胀中的一种或多种对所述前景区域进行降噪处理。
3.根据权利要求1所述的计数装置,其中,所述冗余消除单元包括:
方框面积计算单元,其计算至少两个候选方框的面积;
重叠率计算单元,其基于所述至少两个候选方框的面积和位置,计算所述至少两个候选方框的重叠率;以及
方框确定单元,其在所述重叠率大于或等于预定的第二阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述重叠率小于所述第二阈值的情况下,保留所述至少两个候选方框。
4.根据权利要求1所述的计数装置,其中,所述冗余消除单元包括:
方框面积计算单元,其计算至少两个候选方框的面积;
距离计算单元,其基于所述至少两个候选方框的位置,计算所述至少两个候选方框的中心点之间的距离;
方框确定单元,其在所述中心点之间的距离小于或等于预设的第三阈值的情况下,去掉面积小的候选方框而保留面积大的候选方框;在所述中心点之间的距离大于所述第三阈值的情况下,保留所述至少两个候选方框。
5.根据权利要求1至4任一项所述的计数装置,其中,所述物体分类单元具体用于:在某一候选方框的面积小于预定的第四阈值并且所述候选方框的长宽比例大于预定的第五阈值的情况下,将所述候选方框确定为行人;否则将所述候选方框确定为车辆。
6.根据权利要求1所述的计数装置,其中,所述物体计数单元具体用于:在某一候选方框的面积大于或等于所述平均面积的n倍的情况下,将所述候选方框所对应的移动物体计数为n个;其中n为自然数。
7.一种移动物体的计数方法,其特征在于,所述计数方法包括:
提取视频中图像的前景区域并获得所述视频中多个移动物体的候选方框;
使用针对重叠的多个候选方框的非最大抑制处理和/或针对相邻的多个候选方框的近邻抑制处理,对所述多个移动物体的候选方框进行冗余消除处理;
基于冗余消除处理后获得的一个或多个候选方框的面积和长宽比例,对所述多个移动物体进行分类;
计算冗余消除处理后获得的一个或多个候选方框的平均面积;以及
基于所述平均面积,针对不同的类别对所述多个移动物体分别进行计数。
8.根据权利要求7所述的计数方法,其中,所述计数方法还包括:
对所述前景区域进行降噪处理;
其中,使用预定的第一阈值移除所述候选方框的阴影,和/或,使用中值滤波、腐蚀和膨胀中的一种或多种对所述前景区域进行降噪处理。
9.一种电子设备,其特征在于,所述电子设备包括如权利要求1至6任一项所述的移动物体的计数装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711155853.2A CN109816086B (zh) | 2017-11-20 | 2017-11-20 | 移动物体的计数装置、方法和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711155853.2A CN109816086B (zh) | 2017-11-20 | 2017-11-20 | 移动物体的计数装置、方法和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816086A CN109816086A (zh) | 2019-05-28 |
CN109816086B true CN109816086B (zh) | 2023-05-23 |
Family
ID=66597974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711155853.2A Active CN109816086B (zh) | 2017-11-20 | 2017-11-20 | 移动物体的计数装置、方法和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816086B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217208A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 目标检测方法和装置 |
CN105554456A (zh) * | 2015-12-21 | 2016-05-04 | 北京旷视科技有限公司 | 视频处理方法和设备 |
JP2016091326A (ja) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | カメラ画像人数計数方法及びカメラ画像人数計数装置 |
CN105678347A (zh) * | 2014-11-17 | 2016-06-15 | 中兴通讯股份有限公司 | 行人检测方法及装置 |
CN105809167A (zh) * | 2015-03-13 | 2016-07-27 | 西安邮电大学 | 一种用于分割监控视频中存在粘连车辆的方法 |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
WO2017130187A1 (en) * | 2016-01-26 | 2017-08-03 | Coral Detection Systems Ltd. | Methods and systems for drowning detection |
CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
WO2017166098A1 (en) * | 2016-03-30 | 2017-10-05 | Xiaogang Wang | A method and a system for detecting an object in a video |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8861842B2 (en) * | 2010-02-05 | 2014-10-14 | Sri International | Method and apparatus for real-time pedestrian detection for urban driving |
US9514366B2 (en) * | 2014-02-03 | 2016-12-06 | Xerox Corporation | Vehicle detection method and system including irrelevant window elimination and/or window score degradation |
-
2017
- 2017-11-20 CN CN201711155853.2A patent/CN109816086B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104217208A (zh) * | 2013-06-03 | 2014-12-17 | 株式会社理光 | 目标检测方法和装置 |
JP2016091326A (ja) * | 2014-11-05 | 2016-05-23 | 日本電信電話株式会社 | カメラ画像人数計数方法及びカメラ画像人数計数装置 |
CN105678347A (zh) * | 2014-11-17 | 2016-06-15 | 中兴通讯股份有限公司 | 行人检测方法及装置 |
CN105809167A (zh) * | 2015-03-13 | 2016-07-27 | 西安邮电大学 | 一种用于分割监控视频中存在粘连车辆的方法 |
CN105554456A (zh) * | 2015-12-21 | 2016-05-04 | 北京旷视科技有限公司 | 视频处理方法和设备 |
WO2017130187A1 (en) * | 2016-01-26 | 2017-08-03 | Coral Detection Systems Ltd. | Methods and systems for drowning detection |
WO2017166098A1 (en) * | 2016-03-30 | 2017-10-05 | Xiaogang Wang | A method and a system for detecting an object in a video |
CN106557778A (zh) * | 2016-06-17 | 2017-04-05 | 北京市商汤科技开发有限公司 | 通用物体检测方法和装置、数据处理装置和终端设备 |
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
CN107133610A (zh) * | 2017-06-01 | 2017-09-05 | 电子科技大学 | 一种复杂路况下行车流量视觉检测与计数方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109816086A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
US10212397B2 (en) | Abandoned object detection apparatus and method and system | |
US10803357B2 (en) | Computer-readable recording medium, training method, and object detection device | |
US20170103258A1 (en) | Object detection method and object detection apparatus | |
US20140064626A1 (en) | Adaptive image processing apparatus and method based in image pyramid | |
CN111047908B (zh) | 跨线车辆的检测装置、方法及视频监控设备 | |
CN109102026B (zh) | 一种车辆图像检测方法、装置及系统 | |
KR102159954B1 (ko) | 지능형 영상 분석을 위한 관심 영역 설정 방법 및 이에 따른 영상 분석 장치 | |
CN112749622B (zh) | 应急车道占用识别方法和装置 | |
CN111582032A (zh) | 行人检测方法、装置、终端设备及存储介质 | |
CN110866428B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
GB2533581A (en) | Image processing | |
CN110991310A (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
US20170103536A1 (en) | Counting apparatus and method for moving objects | |
CN111079621A (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
CN113762220B (zh) | 目标识别方法、电子设备、计算机可读存储介质 | |
WO2018058573A1 (zh) | 对象检测方法、对象检测装置以及电子设备 | |
Santos et al. | Learning to segment roads for traffic analysis in urban images | |
KR101851492B1 (ko) | 번호판 인식 방법 및 번호판 인식 장치 | |
CN109816086B (zh) | 移动物体的计数装置、方法和电子设备 | |
CN111753775A (zh) | 鱼的生长评估方法、装置、设备及存储介质 | |
CN110363192B (zh) | 物件影像辨识系统及物件影像辨识方法 | |
CN110782425A (zh) | 图像处理方法、图像处理装置和电子设备 | |
CN113673362A (zh) | 对象的运动状态确定方法、装置、计算机设备和存储介质 | |
CN114419531A (zh) | 目标检测方法、目标检测系统以及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |