CN103324977B - 一种目标数量检测方法和设备 - Google Patents

一种目标数量检测方法和设备 Download PDF

Info

Publication number
CN103324977B
CN103324977B CN201210076888.8A CN201210076888A CN103324977B CN 103324977 B CN103324977 B CN 103324977B CN 201210076888 A CN201210076888 A CN 201210076888A CN 103324977 B CN103324977 B CN 103324977B
Authority
CN
China
Prior art keywords
foreground area
target
track
frame
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210076888.8A
Other languages
English (en)
Other versions
CN103324977A (zh
Inventor
刘国翌
唐绍鹏
张洪明
王峰
曾炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC China Co Ltd
Original Assignee
NEC China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC China Co Ltd filed Critical NEC China Co Ltd
Priority to CN201210076888.8A priority Critical patent/CN103324977B/zh
Priority to JP2012287226A priority patent/JP5603403B2/ja
Priority to US13/743,026 priority patent/US9098769B2/en
Publication of CN103324977A publication Critical patent/CN103324977A/zh
Application granted granted Critical
Publication of CN103324977B publication Critical patent/CN103324977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Abstract

本发明公开了一种目标数量检测方法和设备,属于图像处理领域。所述方法包括:获取任一帧的深度图像;根据所述深度图像,检测目标;将不同帧中的同一目标进行关联,形成轨迹;根据轨迹的数量确定目标数量。所述设备包括:获取模块,用于获取任一帧的深度图像;检测模块,用于根据所述深度图像,检测目标;关联模块,用于将不同帧中的同一目标进行关联,形成轨迹;确定模块,用于根据轨迹的数量确定目标数量。本发明通过深度图像来检测目标,将不同帧中的同一目标进行关联形成轨迹,根据轨迹的数量确定目标数量,由于深度数据的一致性比较强,不容易受外界环境的影响,因此,基于深度数据来检测目标数量,可以使检测结果更加稳定、精度更高。

Description

一种目标数量检测方法和设备
技术领域
本发明涉及图像处理领域,特别涉及一种目标数量检测方法和设备。
背景技术
自动统计通过给定区域的目标数量有着广泛的应用。特别是对于人数的统计,在通道的出入口及其它重点监控的区域,人数统计可以为管理者提供实时、直观、准确的客流量数据,对于地铁、车站等需要进行流量控制的区域,为控制客流提供了有效依据。另外,大型商场和连锁商业网点可以基于精确的人数统计,进行相关的商业分析和数据挖掘,帮助管理者进行市场管理和商业决策。
目前,一般基于普通视频的彩色图像来检测目标数量,其主要过程为:
首先,基于普通视频的彩色图像提取每个目标的位置,以实现对目标的检测;然后,将不同帧中的同一目标进行关联,形成轨迹;最后,根据轨迹的数量确定目标数量。其中,基于彩色图像提取目标的位置有多种方法,例如,基于减背景方法,其将彩色图像与干净的背景图像进行差分运算,即可提取出目标。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
现有技术大多基于普通视频的彩色图像检测目标数量,而普通视频受相机安装环境、光照变化、目标衣着差别等外界条件的影响很大,因此,不同环境下的目标数量检测结果会相差较大,很难适应各种环境下高精度的目标统计需求。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种目标数量检测方法和设备。所述技术方案如下:
一方面,提供了一种目标数量检测方法,所述方法包括:
获取任一帧的深度图像;
根据所述深度图像,计算摄像机到地面的距离;
根据所述距离,将所述深度图像转换为以所述地面为起点的高度图像;
对所述高度图像进行阈值分割,得到前景区域集合;
根据预设的标准,从所述前景区域集合中确定目标;
将不同帧中的同一目标进行关联,形成轨迹;
根据轨迹的数量确定目标数量;
其中,所述对所述高度图像进行阈值分割,得到前景区域集合,包括:
设置两个用于图像分割的第一阈值和第二阈值,将大于或等于所述第一阈值的高度图像作为第一前景区域,所述第一前景区域组成第一前景区域集合,将大于或等于所述第二阈值的高度图像作为第二前景区域,所述第二前景区域组成第二前景区域集合;
所述根据预设的标准,从前景区域集合中确定目标,包括:
按照所述标准的大小和轮廓,从所述第一前景区域集合和所述第二前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,并且,当所述第一前景区域集合和所述第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与所述标准的差距最小的前景区域,将选择的所述前景区域作为目标。
作为另一种实施方式,所述对所述高度图像进行阈值分割,得到前景区域集合,包括:
设置一个用于图像分割的阈值,将大于或等于所述阈值的高度图像作为前景区域,所述前景区域组成所述前景区域集合;
根据预设的标准,所述从所述前景区域集合中确定目标,包括:
按照所述标准的大小和轮廓,从所述前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,将选择的所述前景区域作为目标。
作为另一种实施方式,当选择的所述前景区域包括多个目标时,将选择的所述前景区域作为目标之前,所述方法还包括:
对于所述前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至所述窗口在当前位置的深度均值与所述窗口在前一位置的深度均值相等,将所述窗口所在的当前位置作为一个目标的位置;
其中,所述计算和移动过程为计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置。
作为另一种实施方式,所述将不同帧中的同一目标进行关联,形成轨迹,包括:
预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
将检测到的目标在各帧中的位置信息作为元素保存在第二集合;
将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹。
作为另一种实施方式,所述预测目标在各帧中的位置,包括:
根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与所述目标所在区域大小相同的区域,将选取的区域的彩色图像与所述目标所在区域的彩色图像进行相似程度的比较;
将选取的相似程度高于一定阈值的区域所在的位置作为所述目标在下一帧中的位置;
其中,所述第二位置在所述下一帧中的位置与所述第一位置在所述当前帧的位置相同。
作为另一种实施方式,所述将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹,包括:
对于所述第一集合中的第一元素,当在所述第二集合中查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第二元素添加到轨迹中,当在所述第二集合中没有查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第一元素添加到轨迹中;
对于所述第二集合中的第三元素,当在所述第一集合中没有查找到与所述第三元素的位置信息符合预设范围的第四元素,将所述第三元素添加到一条新的轨迹。
作为另一种实施方式,所述将所述第一元素添加到轨迹中之后,所述方法还包括:
增加所述轨迹的标记的值,当所述轨迹的标记的值大于预设阈值时,终结所述轨迹。
作为另一种实施方式,所述将所述第三元素添加到一条新的轨迹之后,所述方法还包括:
将所述新的轨迹设置为非激活状态,当所述新的轨迹元素的数量大于预设阈值时,将所述新的轨迹设置为激活状态。
作为另一种实施方式,所述将不同帧中的同一目标进行关联,形成轨迹之后,所述方法还包括:
将不同目标对应的轨迹用不同的颜色显示出来。
另一方面,还提供了一种目标数量检测设备,所述设备包括:
获取模块,用于获取任一帧的深度图像;
检测模块,用于根据所述深度图像,检测目标;
关联模块,用于将不同帧中的同一目标进行关联,形成轨迹;
确定模块,用于根据轨迹的数量确定目标数量;
其中,所述检测模块,包括:
计算单元,用于根据所述深度图像,计算摄像机到地面的距离;
转换单元,用于根据所述距离,将所述深度图像转换为以所述地面为起点的高度图像;
分割单元,用于对所述高度图像进行阈值分割,得到前景区域集合;
确定单元,用于根据预设的标准,从所述前景区域集合中确定目标;
所述分割单元,具体用于:
设置两个用于图像分割的第一阈值和第二阈值,将大于或等于所述第一阈值的高度图像作为第一前景区域,所述第一前景区域组成第一前景区域集合,将大于或等于所述第二阈值的高度图像作为第二前景区域,所述第二前景区域组成第二前景区域集合;
所述确定单元,具体用于:
按照所述标准的大小和轮廓,从所述第一前景区域集合和所述第二前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,并且,当所述第一前景区域集合和所述第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与所述标准的差距最小的前景区域,将选择的所述前景区域作为目标。
作为另一种实施方式,所述分割单元,具体用于:
设置一个用于图像分割的阈值,将大于或等于所述阈值的高度图像作为前景区域,所述前景区域组成所述前景区域集合;
作为另一种实施方式,所述确定单元,还用于当选择的所述前景区域包括多个目标时,将选择的所述前景区域作为目标之前,
对于所述前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至所述窗口在当前位置的深度均值与所述窗口在前一位置的深度均值相等,将所述窗口所在的当前位置作为一个目标的位置;
其中,所述计算和移动过程为计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置。
作为另一种实施方式,所述关联模块,包括:
预测单元,用于预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
实测单元,用于将检测到的目标在各帧中的位置信息作为元素保存在第二集合;
关联单元,用于将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹。
作为另一种实施方式,所述预测单元,在预测目标在各帧中的位置时,具体用于:
根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与所述目标所在区域大小相同的区域,将选取的区域的彩色图像与所述目标所在区域的彩色图像进行相似程度的比较;
将选取的相似程度高于一定阈值的区域所在的位置作为所述目标在下一帧中的位置;
其中,所述第二位置在所述下一帧中的位置与所述第一位置在所述当前帧的位置相同。
作为另一种实施方式,所述关联单元,具体用于:
对于所述第一集合中的第一元素,当在所述第二集合中查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第二元素添加到轨迹中,当在所述第二集合中没有查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第一元素添加到轨迹中;
对于所述第二集合中的第三元素,当在所述第一集合中没有查找到与所述第三元素的位置信息符合预设范围的第四元素,将所述第三元素添加到一条新的轨迹。
作为另一种实施方式,所述关联单元,还用于在将所述第一元素添加到轨迹中之后,
增加所述轨迹的标记的值,当所述轨迹的标记的值大于预设阈值时,终结所述轨迹。
作为另一种实施方式,所述关联单元,还用于在将所述第三元素添加到一条新的轨迹之后,将所述新的轨迹设置为非激活状态,当所述新的轨迹元素的数量大于预设阈值时,将所述新的轨迹设置为激活状态。
作为另一种实施方式,所述设备还包括:显示模块,用于形成轨迹之后,在当前位置的深度均值与所述窗口在前一位置的深度均值相等。
本发明实施例提供的技术方案带来的有益效果是:
本实施例通过深度图像来检测目标,将不同帧中的同一目标进行关联形成轨迹,根据轨迹的数量确定目标数量,由于深度数据的一致性比较强,不容易受外界环境的影响,因此,基于深度数据来检测目标数量,可以使检测结果更加稳定、精度更高。另外,由于利用了目标的纹理颜色信息进行位置预测,相对于只利用位置信息进行位置预测,预测结果更准确。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的一个实施例提供的目标数量检测方法流程图;
图2是本发明的另一实施例提供的目标数量检测方法流程图;
图3是本发明的另一实施例提供的检测轨迹示意图。
图4是本发明的另一实施例提供的目标数量检测设备结构示意图;
图5是本发明的另一实施例提供的目标数量检测设备另一结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
参见图1,本实施例提供了一种目标数量检测方法,该方法包括:
101:获取任一帧的深度图像;
102:根据深度图像,检测目标;
103:将不同帧中的同一目标进行关联,形成轨迹;
104:根据轨迹的数量确定目标数量。
本实施例通过深度图像来检测目标,将不同帧中的同一目标进行关联形成轨迹,根据轨迹的数量确定目标数量,由于深度数据的一致性比较强,不容易受外界环境的影响,因此,基于深度数据来检测目标数量,可以使检测结果更加稳定、精度更高。
参见图2,本实施例还提供了一种目标数量检测方法,该方法包括:
201:获取任一帧的深度图像It;
其中,深度图像It中的任一像素It(x,y)表示:该像素It(x,y)对应目标点到摄像机在垂直于地面方向上的距离。
其中,深度图像可以采用多种方法获取。例如,利用Kinect深度传感器、红外激光投影技术、或者双目立体视觉技术等获取深度图像。
202:根据深度图像It,计算摄像机到地面的距离h0;
具体的,将深度图像It中深度值最大的像素作为摄像机到地面的距离h0。公式表示如下:
h0=Max(It(x,y))
其中,h0表示摄像机到地面的距离,It(x,y)表示深度图像It中的任一像素,Max表示取最大值。
203:根据摄像机到地面的距离h0,将深度图像转换为以地面为起点的高度图像Nt;
具体的,将摄像机到地面的距离与深度图像做差运算得到高度图像。公式表示如下:
Nt(x,y)=h0-It(x,y)
其中,Nt(x,y)表示高度图像Nt的任一像素,h0表示摄像机到地面的距离,It(x,y)表示深度图像It中的任一像素。
204:对高度图像Nt进行阈值分割,得到前景区域集合;
根据阈值的数量,本实施例提出了单阈值分割方法和双阈值分割方法。
单阈值分割方法是,设置一个用于图像分割的阈值,将大于或等于该阈值的高度图像作为前景区域,前景区域组成前景区域集合。公式表示如下:
T t = 1 , ( N t ( x , y ) &GreaterEqual; h ) 0 , ( N t ( x , y ) < h )
其中,h表示用于图像分割的阈值,Nt(x,y)表示高度图像Nt的任一像素,Tt为1表示前景区域。
需要说明的是,当检测的目标是人时,阈值是根据人的身高减去头部的长度得到的。例如,如果人的身高为1.75米,头部的长度一般为0.2米,则阈值h=1.75-0.2=1.55米。
双阈值分割方法是,设置两个用于图像分割的阈值,设为第一阈值和第二阈值,将大于或等于第一阈值的高度图像作为第一前景区域,第一前景区域组成第一前景区域集合,将大于或等于第二阈值的高度图像作为第二前景区域,第二前景区域组成第二前景区域集合。
公式表示如下:
T t 1 = { 1 , ( N t ( x , y ) &GreaterEqual; h 1 ) 0 , ( N t ( x , y ) < h 1 ) , T t 2 = 1 , ( N t ( x , y ) &GreaterEqual; h 2 ) 0 , ( N t ( x , y ) < h 2 )
其中,h1表示用于图像分割的第一阈值,Nt(x,y)表示高度图像Nt的任一像素,Tt1为1表示第一前景区域,h2表示用于图像分割的第二阈值,Tt2为1表示第二前景区域。
需要说明的是,当检测的目标是人时,第一阈值和第二阈值分别是根据人的身高减去头部的长度得到的。例如,假设人的身高一般在1.75-1.95米之间,头部的长度一般为0.2米,则第一阈值h1=1.75-0.2=1.55米,第二阈值h2=1.95-0.2=1.75米。
205:根据预设的标准,从前景区域集合中确定目标;
对于单阈值分割方法,按照标准的大小和轮廓,从前景区域集合中选择与标准的差距小于或等于预设范围的前景区域,将选择的前景区域作为目标;
或者,对于双阈值分割方法,按照标准的大小和轮廓,从第一前景区域集合和第二前景区域集合中选择与标准的差距小于或等于预设范围的前景区域,并且,当第一前景区域集合和第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与标准的差距最小的前景区域,将选择的前景区域作为目标。由于双阈值分割检测方法会从两个集合中选择较优的检测结果,因此,检测结果更准确。
下面以人为例,可以预先设定头部标准,从前景区域集合中确定人的头部:
对于单阈值分割方法,按照头部标准的大小和轮廓,从单阈值分割得到的前景区域集合中选择与头部标准的差距小于或等于预设范围的前景区域作为人的头部的检测结果,也即选择与头部标准接近的前景区域作为人的头部的检测结果。
对于双阈值分割方法,按照头部标准的大小和轮廓,从第一前景区域集合和第二前景区域集合中选择与头部标准的差距小于或等于预设范围的前景区域作为人的头部的检测结果,并且,当第一前景区域集合和第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与头部标准差距最小的前景区域作为人的头部的检测结果,也即选择与头部标准接近、并且最优的前景区域作为人群头部的检测结果。
进一步的,当选择的前景区域包括多个目标时,上述在确定将选择的前景区域作为目标之前,还可以采用均值漂移算法(或称爬山算法)确定目标,具体包括:
对于前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算窗口内各个像素点的深度均值,将窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至窗口在当前位置的深度均值与窗口在前一位置的深度均值相等,也即窗口不再发生移动,将窗口所在的当前位置作为一个目标的位置,也即将稳定后窗口所在的位置作为一个目标的位置;其中,计算和移动过程为计算窗口内各个像素点的深度均值,将窗口的中心移动到深度均值所在的位置。其中,深度均值所在的位置也即该窗口的重心。
上述均值漂移算法适合具有山峰形状的目标的检测,例如,对人的头部的检测。
206:预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
预测目标在各帧中的位置,可以采用以下两种方法:
第一种,根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与目标所在区域大小相同的区域,将选取的区域的彩色图像与目标所在区域的彩色图像进行相似程度的比较;将选取的相似程度高于一定阈值的区域所在的位置作为目标在下一帧中的位置,例如,可以将相似程度最高的区域所在的位置作为目标在下一帧中的位置;其中,第二位置在下一帧中的位置与第一位置在当前帧的位置相同。
其中,各帧的彩色图像可以在获取各帧的深度图像时一并获取。由于利用了目标的纹理颜色信息进行位置预测,相对于只利用位置信息进行位置预测,预测结果更准确。并且,根据目标区域大小进行预测,相对于使用固定区域大小进行预测,进一步提高了预测的准确性。
第二种,根据检测得到的目标在当前帧的位置和目标在前一帧的位置,计算得到目标在当前帧的速度和方向,根据目标在当前帧的位置,以及目标在当前帧的速度和方向,计算得到目标在下一帧的位置。此种方法只利用了目标的位置信息。
207:将步骤201-205检测到的目标在各帧中的位置信息作为元素保存在第二集合;
需要说明的是,步骤206和步骤207不分先后顺序。
208:将第一集合中的元素和第二集合中的元素进行关联,形成轨迹。
1)针对轨迹正常增加更新的情况:
对于第一集合中的第一元素,当在第二集合中查找到与第一元素的位置信息符合预设范围的第二元素,将第二元素添加到轨迹中。
2)针对漏检的情况:
对于第一集合中的第一元素,当在第二集合中没有查找到与第一元素的位置信息符合预设范围的第二元素,将第一元素添加到轨迹中。
在将第一元素添加到轨迹中之后,进一步增加轨迹的标记的值,例如,将轨迹的标记加1,当轨迹的标记的值大于预设阈值时,终结轨迹。
3)针对轨迹的初始化的情况:
对于第二集合中的第三元素,当在第一集合中没有查找到与第三元素的位置信息符合预设范围的第四元素,将第三元素添加到一条新的轨迹。
针对误检的情况,将第三元素添加到一条新的轨迹之后,进一步将新的轨迹设置为非激活状态,当新的轨迹元素的数量大于预设阈值时,将新的轨迹设置为激活状态。
上述轨迹形成方法,可以简单有效的对每一帧的检测结果进行关联,并且在一定程度上缓解了一些漏检和误检的情况,从而有效的生成多个目标的轨迹。在形成轨迹之后,还可以显示该轨迹。参见图3所示的检测轨迹示意图,不同目标对应的轨迹在显示时可以标注不同的标识,另外不同目标对应的轨迹可以用不同的颜色显示出来,例如,标识为301的轨迹用红色显示出来,标识为302的轨迹用绿色显示出来。
209:将轨迹的数量作为目标的数量。
本实施例通过深度图像来检测目标,将不同帧中的同一目标进行关联形成轨迹,根据轨迹的数量确定目标数量,由于深度数据的一致性比较强,不容易受外界环境的影响,因此,基于深度数据来检测目标数量,可以使检测结果更加稳定、精度更高。另外,由于利用了目标的纹理颜色信息进行位置预测,相对于只利用位置信息进行位置预测,预测结果更准确。
参见图4,本实施例还提供了一种目标数量检测设备,该设备包括:
获取模块401,用于获取任一帧的深度图像;
检测模块402,用于根据深度图像,检测目标;
关联模块403,用于将不同帧中的同一目标进行关联,形成轨迹;
确定模块404,用于根据轨迹的数量确定目标数量。
参见图5,作为另一种实施方式,检测模块402,包括:
计算单元4021,用于根据深度图像,计算摄像机到地面的距离;
转换单元4022,用于根据距离,将深度图像转换为以地面为起点的高度图像;
分割单元4023,用于对高度图像进行阈值分割,得到前景区域集合;
确定单元4024,用于根据预设的标准,从前景区域集合中确定目标。
作为另一种实施方式,分割单元4023,具体用于
设置一个用于图像分割的阈值,将大于或等于阈值的高度图像作为前景区域,前景区域组成前景区域集合;
确定单元4024,具体用于
按照标准的大小和轮廓,从前景区域集合中选择与标准的差距小于或等于预设范围的前景区域,将选择的前景区域作为目标。
作为另一种实施方式,分割单元4023,具体用于
设置两个用于图像分割的第一阈值和第二阈值,将大于或等于第一阈值的高度图像作为第一前景区域,第一前景区域组成第一前景区域集合,将大于或等于第二阈值的高度图像作为第二前景区域,第二前景区域组成第二前景区域集合;
确定单元4024,具体用于
按照标准的大小和轮廓,从第一前景区域集合和第二前景区域集合中选择与标准的差距小于或等于预设范围的前景区域,并且,当第一前景区域集合和第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与标准的差距最小的前景区域,将选择的前景区域作为目标。
作为另一种实施方式,确定单元4024,还用于当选择的前景区域包括多个目标时,将选择的前景区域作为目标之前,
对于前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算窗口内各个像素点的深度均值,将窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至窗口在当前位置的深度均值与窗口在前一位置的深度均值相等,也即窗口不再发生移动,将窗口所在的当前位置作为一个目标的位置,也即将稳定后窗口所在的位置作为一个目标的位置;
其中,计算和移动过程为计算窗口内各个像素点的深度均值,将窗口的中心移动到深度均值所在的位置。
作为另一种实施方式,关联模块403,包括:
预测单元4031,用于预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
实测单元4032,用于将检测到的目标在各帧中的位置信息作为元素保存在第二集合;
关联单元4033,用于将第一集合中的元素和第二集合中的元素进行关联,形成轨迹。
作为另一种实施方式,预测单元4031,在预测目标在各帧中的位置时,具体用于:
根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与目标所在区域大小相同的区域,将选取的区域的彩色图像与目标所在区域的彩色图像进行相似程度的比较;
将选取的相似程度高于一定阈值的区域所在的位置作为目标在下一帧中的位置;
其中,第二位置在下一帧中的位置与第一位置在当前帧的位置相同。
作为另一种实施方式,关联单元4033,具体用于
对于第一集合中的第一元素,当在第二集合中查找到与第一元素的位置信息符合预设范围的第二元素,将第二元素添加到轨迹中,当在第二集合中没有查找到与第一元素的位置信息符合预设范围的第二元素,将第一元素添加到轨迹中;
对于第二集合中的第三元素,当在第一集合中没有查找到与第三元素的位置信息符合预设范围的第四元素,将第三元素添加到一条新的轨迹。
作为另一种实施方式,关联单元4033,还用于在将第一元素添加到轨迹中之后,增加轨迹的标记的值,当轨迹的标记的值大于预设阈值时,终结轨迹。
作为另一种实施方式,关联单元4033,还用于在将第三元素添加到一条新的轨迹之后,将新的轨迹设置为非激活状态,当新的轨迹元素的数量大于预设阈值时,将新的轨迹设置为激活状态。
作为另一种实施方式,设备还包括:显示模块405,用于形成轨迹之后,将不同目标对应的轨迹用不同的颜色显示出来。
本实施例通过深度图像来检测目标,将不同帧中的同一目标进行关联形成轨迹,根据轨迹的数量确定目标数量,由于深度数据的一致性比较强,不容易受外界环境的影响,因此,基于深度数据来检测目标数量,可以使检测结果更加稳定、精度更高。另外,由于利用了目标的纹理颜色信息进行位置预测,相对于只利用位置信息进行位置预测,预测结果更准确。
本领域技术人员可以清楚地了解到,以上所描述的装置实施例仅仅是示意性的,所述单元/模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,各功能单元/模块可以集成在一个处理单元/模块中,也可以是各个单元/模块单独物理存在,也可以两个或两个以上单元/模块集成在一个单元/模块。上述集成的单元/模块既可以采用硬件的形式实现,也可以采用软件功能单元/模块的形式实现。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种目标数量检测方法,其特征在于,所述方法包括:
获取任一帧的深度图像;
根据所述深度图像,计算摄像机到地面的距离;
根据所述距离,将所述深度图像转换为以所述地面为起点的高度图像;
对所述高度图像进行阈值分割,得到前景区域集合;
根据预设的标准,从所述前景区域集合中确定目标;
将不同帧中的同一目标进行关联,形成轨迹;
根据轨迹的数量确定目标数量;
其中,所述对所述高度图像进行阈值分割,得到前景区域集合,包括:
设置两个用于图像分割的第一阈值和第二阈值,将大于或等于所述第一阈值的高度图像作为第一前景区域,所述第一前景区域组成第一前景区域集合,将大于或等于所述第二阈值的高度图像作为第二前景区域,所述第二前景区域组成第二前景区域集合;
所述根据预设的标准,从前景区域集合中确定目标,包括:
按照所述标准的大小和轮廓,从所述第一前景区域集合和所述第二前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,并且,当所述第一前景区域集合和所述第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与所述标准的差距最小的前景区域,将选择的所述前景区域作为目标。
2.根据权利要求1所述的方法,其特征在于,所述对所述高度图像进行阈值分割,得到前景区域集合,包括:
设置一个用于图像分割的阈值,将大于或等于所述阈值的高度图像作为前景区域,所述前景区域组成所述前景区域集合;
根据预设的标准,所述从所述前景区域集合中确定目标,包括:
按照所述标准的大小和轮廓,从所述前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,将选择的所述前景区域作为目标。
3.根据权利要求1或2所述的方法,其特征在于,当选择的所述前景区域包括多个目标时,将选择的所述前景区域作为目标之前,所述方法还包括:
对于所述前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至所述窗口在当前位置的深度均值与所述窗口在前一位置的深度均值相等,将所述窗口所在的当前位置作为一个目标的位置;
其中,所述计算和移动过程为计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置。
4.根据权利要求1所述的方法,其特征在于,所述将不同帧中的同一目标进行关联,形成轨迹,包括:
预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
将检测到的目标在各帧中的位置信息作为元素保存在第二集合;
将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹。
5.根据权利要求4所述的方法,其特征在于,所述预测目标在各帧中的位置,包括:
根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与所述目标所在区域大小相同的区域,将选取的区域的彩色图像与所述目标所在区域的彩色图像进行相似程度的比较;
将选取的相似程度高于一定阈值的区域所在的位置作为所述目标在下一帧中的位置;
其中,所述第二位置在所述下一帧中的位置与所述第一位置在所述当前帧的位置相同。
6.根据权利要求4所述的方法,其特征在于,所述将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹,包括:
对于所述第一集合中的第一元素,当在所述第二集合中查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第二元素添加到轨迹中,当在所述第二集合中没有查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第一元素添加到轨迹中;
对于所述第二集合中的第三元素,当在所述第一集合中没有查找到与所述第三元素的位置信息符合预设范围的第四元素,将所述第三元素添加到一条新的轨迹。
7.根据权利要求6所述的方法,其特征在于,所述将所述第一元素添加到轨迹中之后,所述方法还包括:
增加所述轨迹的标记的值,当所述轨迹的标记的值大于预设阈值时,终结所述轨迹。
8.根据权利要求6所述的方法,其特征在于,所述将所述第三元素添加到一条新的轨迹之后,所述方法还包括:
将所述新的轨迹设置为非激活状态,当所述新的轨迹元素的数量大于预设阈值时,将所述新的轨迹设置为激活状态。
9.根据权利要求1所述的方法,其特征在于,所述将不同帧中的同一目标进行关联,形成轨迹之后,所述方法还包括:
将不同目标对应的轨迹用不同的颜色显示出来。
10.一种目标数量检测设备,其特征在于,所述设备包括:
获取模块,用于获取任一帧的深度图像;
检测模块,用于根据所述深度图像,检测目标;
关联模块,用于将不同帧中的同一目标进行关联,形成轨迹;
确定模块,用于根据轨迹的数量确定目标数量;
其中,所述检测模块,包括:
计算单元,用于根据所述深度图像,计算摄像机到地面的距离;
转换单元,用于根据所述距离,将所述深度图像转换为以所述地面为起点的高度图像;
分割单元,用于对所述高度图像进行阈值分割,得到前景区域集合;
确定单元,用于根据预设的标准,从所述前景区域集合中确定目标;
所述分割单元,具体用于:
设置两个用于图像分割的第一阈值和第二阈值,将大于或等于所述第一阈值的高度图像作为第一前景区域,所述第一前景区域组成第一前景区域集合,将大于或等于所述第二阈值的高度图像作为第二前景区域,所述第二前景区域组成第二前景区域集合;
所述确定单元,具体用于:
按照所述标准的大小和轮廓,从所述第一前景区域集合和所述第二前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,并且,当所述第一前景区域集合和所述第二前景区域集合中小于或等于预设范围的前景区域在相同位置有两个时,选择与所述标准的差距最小的前景区域,将选择的所述前景区域作为目标。
11.根据权利要求10所述的设备,其特征在于,所述分割单元,具体用于:
设置一个用于图像分割的阈值,将大于或等于所述阈值的高度图像作为前景区域,所述前景区域组成所述前景区域集合;
所述确定单元,具体用于:
按照所述标准的大小和轮廓,从所述前景区域集合中选择与所述标准的差距小于或等于预设范围的前景区域,将选择的所述前景区域作为目标。
12.根据权利要求10或11所述的设备,其特征在于,所述确定单元,还用于当选择的所述前景区域包括多个目标时,将选择的所述前景区域作为目标之前,
对于所述前景区域中的每一个像素点,在以该像素点为中心的预设窗口内,计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置,重复计算和移动过程,直至所述窗口在当前位置的深度均值与所述窗口在前一位置的深度均值相等,将所述窗口所在的当前位置作为一个目标的位置;
其中,所述计算和移动过程为计算所述窗口内各个像素点的深度均值,将所述窗口的中心移动到深度均值所在的位置。
13.根据权利要求10所述的设备,其特征在于,所述关联模块,包括:
预测单元,用于预测目标在各帧中的位置,并将预测到的目标在各帧中的位置信息作为元素保存在第一集合;
实测单元,用于将检测到的目标在各帧中的位置信息作为元素保存在第二集合;
关联单元,用于将所述第一集合中的元素和所述第二集合中的元素进行关联,形成轨迹。
14.根据权利要求13所述的设备,其特征在于,所述预测单元,在预测目标在各帧中的位置时,具体用于:
根据检测得到的目标在当前帧的第一位置,在下一帧中第二位置为中心的预设范围内,选取与所述目标所在区域大小相同的区域,将选取的区域的彩色图像与所述目标所在区域的彩色图像进行相似程度的比较;
将选取的相似程度高于一定阈值的区域所在的位置作为所述目标在下一帧中的位置;
其中,所述第二位置在所述下一帧中的位置与所述第一位置在所述当前帧的位置相同。
15.根据权利要求13所述的设备,其特征在于,所述关联单元,具体用于:
对于所述第一集合中的第一元素,当在所述第二集合中查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第二元素添加到轨迹中,当在所述第二集合中没有查找到与所述第一元素的位置信息符合预设范围的第二元素,将所述第一元素添加到轨迹中;
对于所述第二集合中的第三元素,当在所述第一集合中没有查找到与所述第三元素的位置信息符合预设范围的第四元素,将所述第三元素添加到一条新的轨迹。
16.根据权利要求15所述的设备,其特征在于,所述关联单元,还用于在将所述第一元素添加到轨迹中之后,
增加所述轨迹的标记的值,当所述轨迹的标记的值大于预设阈值时,终结所述轨迹。
17.根据权利要求15所述的设备,其特征在于,所述关联单元,还用于在将所述第三元素添加到一条新的轨迹之后,
将所述新的轨迹设置为非激活状态,当所述新的轨迹元素的数量大于预设阈值时,将所述新的轨迹设置为激活状态。
18.根据权利要求10所述的设备,其特征在于,所述设备还包括:
显示模块,用于形成轨迹之后,将不同目标对应的轨迹用不同的颜色显示出来。
CN201210076888.8A 2012-03-21 2012-03-21 一种目标数量检测方法和设备 Active CN103324977B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210076888.8A CN103324977B (zh) 2012-03-21 2012-03-21 一种目标数量检测方法和设备
JP2012287226A JP5603403B2 (ja) 2012-03-21 2012-12-28 対象物計数方法、対象物計数装置および対象物計数プログラム
US13/743,026 US9098769B2 (en) 2012-03-21 2013-01-16 Method and a device for objects counting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210076888.8A CN103324977B (zh) 2012-03-21 2012-03-21 一种目标数量检测方法和设备

Publications (2)

Publication Number Publication Date
CN103324977A CN103324977A (zh) 2013-09-25
CN103324977B true CN103324977B (zh) 2016-03-30

Family

ID=49193703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210076888.8A Active CN103324977B (zh) 2012-03-21 2012-03-21 一种目标数量检测方法和设备

Country Status (3)

Country Link
US (1) US9098769B2 (zh)
JP (1) JP5603403B2 (zh)
CN (1) CN103324977B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
JP6278752B2 (ja) * 2014-03-05 2018-02-14 株式会社キーエンス 形状検査装置及び形状検査方法
CN104346816B (zh) 2014-10-11 2017-04-19 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
US10510038B2 (en) * 2015-06-17 2019-12-17 Tata Consultancy Services Limited Computer implemented system and method for recognizing and counting products within images
JP6433389B2 (ja) * 2015-08-04 2018-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105225230B (zh) * 2015-09-11 2018-07-13 浙江宇视科技有限公司 一种识别前景目标对象的方法及装置
TW201715472A (zh) * 2015-10-26 2017-05-01 原相科技股份有限公司 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統
CN106446788A (zh) * 2016-08-31 2017-02-22 山东恒宇电子有限公司 基于视神经机制的高动态范围图像统计客流的方法
CN106570883B (zh) * 2016-10-25 2019-10-22 长安大学 一种基于rgb-d相机的人数统计方法
CN108073864B (zh) * 2016-11-15 2021-03-09 北京市商汤科技开发有限公司 目标对象检测方法、装置及系统和神经网络结构
CN106780445B (zh) * 2016-11-30 2019-06-07 北京兆维智能装备有限公司 一种基于3d成像技术的lcm组件外形缺陷检测方法
CN108537093B (zh) * 2017-03-02 2020-07-03 深圳市中兴微电子技术有限公司 一种视频人数的统计方法和装置
US10386460B2 (en) 2017-05-15 2019-08-20 Otis Elevator Company Self-calibrating sensor for elevator and automatic door systems
US10221610B2 (en) 2017-05-15 2019-03-05 Otis Elevator Company Depth sensor for automatic doors
US11042975B2 (en) * 2018-02-08 2021-06-22 Flaschebottle Technologies Inc. Estimating a number of containers by digital image analysis
CN109410244B (zh) * 2018-08-28 2021-02-26 浙江工业大学 一种基于全局光流法的肺部肿瘤自动检测跟踪方法
JP7303412B2 (ja) * 2018-08-30 2023-07-05 シンフォニアテクノロジー株式会社 ワークカウント制御システム、パーツフィーダ
CN111652107A (zh) * 2020-05-28 2020-09-11 北京市商汤科技开发有限公司 对象计数方法及装置、电子设备和存储介质
CN113902047B (zh) * 2021-12-10 2022-03-04 腾讯科技(深圳)有限公司 图像元素匹配方法、装置、设备以及存储介质
CN115578422B (zh) * 2022-11-18 2023-06-06 南京云创大数据科技股份有限公司 一种基于动态感知系统实现牲畜计数方法
CN116363494B (zh) * 2023-05-31 2023-08-04 睿克环境科技(中国)有限公司 一种鱼类数量监测、洄游跟踪的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161795A (ja) * 1997-12-01 1999-06-18 Tani Denki Kogyo Kk 画像認識による計測方法および記録媒体
JP2002024986A (ja) * 2000-07-06 2002-01-25 Nippon Signal Co Ltd:The 歩行者検出装置
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
WO2005050581A2 (en) * 2003-11-17 2005-06-02 Vidient Systems, Inc Video surveillance system
JP4069932B2 (ja) * 2005-05-23 2008-04-02 オムロン株式会社 人間検知装置および人間検知方法
US7409076B2 (en) * 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
US7860162B2 (en) * 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
US8199215B2 (en) * 2007-12-20 2012-06-12 Nxp B.V. Image filtering
JP4808267B2 (ja) * 2009-05-27 2011-11-02 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
WO2011013281A1 (ja) * 2009-07-29 2011-02-03 パナソニック株式会社 移動体検出方法及び移動体検出装置
JP5285575B2 (ja) * 2009-11-04 2013-09-11 日本放送協会 人物行動判定装置及びそのプログラム
JP5299296B2 (ja) * 2010-01-26 2013-09-25 株式会社デンソーアイティーラボラトリ 車両周辺画像表示装置及び車両周辺画像表示方法
JP5469523B2 (ja) * 2010-04-19 2014-04-16 セコム株式会社 軌跡表示装置
CN102184409A (zh) 2011-04-22 2011-09-14 北京文安科技发展有限公司 基于机器视觉的客流统计方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
WO2012023639A1 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 다수의 센서를 이용하는 객체 계수 방법 및 장치

Also Published As

Publication number Publication date
US9098769B2 (en) 2015-08-04
JP2013196684A (ja) 2013-09-30
CN103324977A (zh) 2013-09-25
US20130251197A1 (en) 2013-09-26
JP5603403B2 (ja) 2014-10-08

Similar Documents

Publication Publication Date Title
CN103324977B (zh) 一种目标数量检测方法和设备
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
Chen et al. AI-empowered speed extraction via port-like videos for vehicular trajectory analysis
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN103049787B (zh) 一种基于头肩特征的人数统计方法和系统
CA3094424C (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
CN110400332A (zh) 一种目标检测跟踪方法、装置及计算机设备
CN102768022B (zh) 采用数码照相技术的隧道围岩变形检测方法
CN103577875B (zh) 一种基于fast的计算机辅助cad人数统计方法
CN103456172B (zh) 一种基于视频的交通参数测量方法
CN110065790B (zh) 一种基于视觉算法的煤矿皮带转运机头堵塞检测方法
CN109167956A (zh) 基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测系统
CN104574439A (zh) 一种融合卡尔曼滤波与tld算法的目标跟踪方法
CN101807300B (zh) 一种目标碎片区域融合的方法及装置
CN105513342A (zh) 一种基于视频跟踪的车辆排队长度计算方法
CN106327880B (zh) 一种基于监控视频的车速识别方法及其系统
CN103473554A (zh) 人流统计系统及方法
Guo et al. Evaluation-oriented façade defects detection using rule-based deep learning method
CN107464256A (zh) 一种目标检测与可能性判别修正的关联方法
CN103984937A (zh) 基于光流法的行人计数方法
Kim et al. Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators
CN115965655A (zh) 一种基于雷视一体的交通目标跟踪方法
CN105469427A (zh) 一种用于视频中目标跟踪方法
JP2020145511A (ja) カメラ装置、人物検出方法および人物検出システム
CN113313012B (zh) 一种基于卷积生成对抗网络的危险驾驶行为识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant