CN106570557A - 运动物体的计数装置及方法 - Google Patents

运动物体的计数装置及方法 Download PDF

Info

Publication number
CN106570557A
CN106570557A CN201510671537.5A CN201510671537A CN106570557A CN 106570557 A CN106570557 A CN 106570557A CN 201510671537 A CN201510671537 A CN 201510671537A CN 106570557 A CN106570557 A CN 106570557A
Authority
CN
China
Prior art keywords
moving object
unit
regional
image
directed graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510671537.5A
Other languages
English (en)
Inventor
王炳融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201510671537.5A priority Critical patent/CN106570557A/zh
Priority to EP16191378.5A priority patent/EP3156972A1/en
Priority to JP2016200086A priority patent/JP2017076394A/ja
Priority to US15/291,591 priority patent/US20170103536A1/en
Publication of CN106570557A publication Critical patent/CN106570557A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Abstract

本发明实施例提供一种运动物体的计数装置及方法，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。

Description

运动物体的计数装置及方法
技术领域
本发明涉及信息技术领域，尤其涉及一种运动物体的计数装置及方法。
背景技术
随着信息技术的不断发展，利用监控视频对行人或车辆等运动物体进行计数，以用于交通控制、智能监控以及车流或客流统计等，是非常具有应用前景的技术。现有的计数方法通常包括以下三种：基于检测的计数、基于聚类的计数以及基于回归的计数。
在基于检测的计数方法中，一般使用经过训练的检测器来扫描图像空间检测运动物体实体。在基于聚类的计数方法中，假设群体由个体组成，各个个体具有能够被归类的独特的连续运动模式，从而估计运动物体的数量。在基于回归的计数方法中，致力于获得低水平特征之间的直接映射，不对个体进行分离和追踪。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
当利用现有的基于检测的计数方法时，检测过程耗费时间，并且在运动物体密集的场景下容易检测失败；当利用现有的基于聚类的计数方法时，对视频的帧速要求很高，并在运动物体密集的场景下容易发生遗漏；当利用现有的基于回归的计数方法时，只能针对单帧的视频图像进行计数。
本发明实施例提供一种运动物体的计数装置及方法，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
根据本发明实施例的第一方面，提供一种运动物体的计数装置，包括：第一提取单元，所述第一提取单元用于提取具有运动物体的图像；第一建模单元，所述第一建模单元用于对提取的图像进行背景建模，获得二值化图像；第一分割单元，所述第一分割单元用于对所述二值化图像进行群体分割；第一计算单元，所述第一计算单元用于根据预先获得的尺度参数，计算群体分割后的各个区域的特征；第二计算单元，所述第二计算单元用于根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；第三计算单元，所述第三计算单元用于根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；第一确定单元，所述第一确定单元用于根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
根据本发明实施例的第二方面，提供一种运动物体的计数方法，包括：提取具有运动物体的图像；对提取的图像进行背景建模，获得二值化图像；对所述二值化图像进行群体分割；根据预先获得的尺度参数，计算群体分割后的各个区域的特征；根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
本发明的有益效果在于：通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例1的运动物体的计数装置的组成示意图；
图2是本发明实施例1的第一分割单元103的组成示意图；
图3是本发明实施例1的对二值化图像进行群体分割的方法流程图；
图4是本发明实施例1的对二值化图像进行群体分割的示意图；
图5是本发明实施例1的从提取图像到群体分割图像的示意图；
图6是本发明实施例1的第三计算单元106的组成示意图；
图7是本发明实施例1的计算各个区域增加的运动物体的数量的方法流程图；
图8是本发明实施例1的第四计算单元602的组成示意图；
图9是本发明实施例1的根据连通域得到增加的运动物体的数量的示意图；
图10是本发明实施例1的获取单元108的组成示意图；
图11是本发明实施例1的获取线性回归系数以及尺度参数的方法流程图；
图12是本发明实施例2的电子设备的组成示意图；
图13是本发明实施例2的电子设备的系统构成的一示意框图；
图14是本发明实施例3的运动物体的计数方法的流程图。
具体实施方式
参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
图1是本发明实施例1的运动物体的计数装置的组成示意图。如图1所示，该装置100包括：
第一提取单元101，用于提取具有运动物体的图像；
第一建模单元102，用于对提取的图像进行背景建模，获得二值化图像；
第一分割单元103，用于对该二值化图像进行群体分割；
第一计算单元104，用于根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
第二计算单元105，用于根据各个区域的特征以及预先获得的线性回归系数，计算各个区域的运动物体的数量；
第三计算单元106，用于根据基于光流而建立的无向图，计算各个区域增加的运动物体的数量；
第一确定单元107，用于根据各个区域的运动物体的数量以及增加的运动物体的数量，确定该图像中的运动物体的数量。
由上述实施例可知，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
在本实施例中，运动物体可以是需要计数的处于运动状态的任何物体，例如，运动物体可以是在道路上行驶的汽车，或者行走的人或动物等。
在本实施例中，第一提取单元101可以从监控视频中提取具有运动物体的图像，其中，监控视频可通过现有的方法获得，例如，通过安装在需要监测区域上方的摄像头而获得。
在本实施例中，第一提取单元101可使用现有方法从监控视频中提取具有运动物体的图像，例如，从监控视频中提取出以帧为单位的图像，并在一帧图像上划定预定区域，提取出该预定区域的图像。
其中，该预定区域可根据实际需要而设定，例如，该预定区域为感兴趣区域(Region of Interest，ROI)。
在本实施例中，在提取出具有运动物体的图像之后，第一建模单元102对提取的图像进行背景建模，获得二值化图像。其中，可使用现有的背景建模方法获得二值化图像，例如，可使用高斯混合模型进行背景建模。
在本实施例中，在获得二值化图像之后，第一分割单元103对该二值化图像进行群体分割。其中，可使用现有的方法对二值化图像进行群体分割，以下对本实施例的第一分割单元103的组成以及分割方法进行示例性的说明。
图2是本发明实施例1的第一分割单元103的组成示意图。如图2所示，第一分割单元103包括：
操作单元201，用于对该二值化图像进行形态学操作；
标记单元202，用于对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；
去除单元203，用于去除多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
图3是本发明实施例1的对二值化图像进行群体分割的方法流程图。如图3所示，该方法包括：
步骤301：对该二值化图像进行形态学操作；
步骤302：对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；
步骤303：去除多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
图4是本发明实施例1的对二值化图像进行群体分割的示意图。如图4所示，401表示输入的二值化图像，402表示经过形态学操作后的二值化图像，403表示对连通域标记后的图像，404表示去除像素数量小于预定阈值的区域后的图像。
在本实施例中，操作单元201可使用现有方法对该二值化图像进行形态学操作，例如，首先对不相连的像素进行“架桥”操作，然后通过“接近”操作以去除噪声，最后在二值化图像中填充孔，该孔为从图像边缘通过填充背景不能到达的背景像素。
在本实施例中，标记单元202可使用现有方法进行连通域的标记，例如，对经过形态学操作后的二值化图像进行八连通域分割。
在本实施例中，去除单元203去除多个区域中像素数量小于预定阈值的区域，从而去除不可能为运动物体的区域，其中，该预定阈值可根据实际需要而设定。
图5是本发明实施例1的从提取图像到群体分割图像的示意图。如图5所示，501表示提取的具有运动物体的图像，502表示进行背景建模后获得的二值化图像，503表示进行群体分割后的二值化图像。
在本实施例中，在获得群体分割后的二值化图像之后，第一计算单元104根据预先获得的尺度参数，计算群体分割后的各个区域的特征。其中，根据尺度参数计算特征可使用现有的方法，例如，可根据以下的公式(1)计算特征：
其中，Xs表示调整尺度后的特征矢量，X表示各个区域计算出的特征矢量，μ、θ表示预先获得的尺度参数。
在本实施例中，各个区域的特征可以包括：该区域的面积、该区域的周长、该区域的周长和面积之比、该区域的各个边缘方向的直方图以及该区域的各个边缘像素数量之和中的至少一个。
在本实施例中，在获得各个区域的特征之后，第二计算单元105根据各个区域的特征以及预先获得的线性回归系数，计算各个区域的运动物体的数量，其中，可使用现有的方法计算运动物体的数量，例如，可根据以下的公式(2)计算：
l＝round(βT[1；Xs]) (2)
其中，l表示运动物体的数量，Xs表示特征矢量，β表示预先获得的线性回归系数，round函数表示四舍五入运算。
在本实施例中，在逐个计算出所有区域的运动物体的数量之后，第三计算单元106根据基于光流而建立的无向图，计算各个区域增加的运动物体的数量。以下对本实施例的第三计算单元106的组成以及计算各个区域增加的运动物体的数量的方法进行示例性的说明。
图6是本发明实施例1的第三计算单元106的组成示意图。如图6所示，第三计算单元106包括：
建立单元601，用于根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
第四计算单元602，用于根据建立的K个无向图分别计算K个增加的运动物体的数量；
第二确定单元603，用于将K个增加的运动物体的数量中的最小值作为增加的运动物体的数量。
图7是本发明实施例1的计算各个区域增加的运动物体的数量的方法流程图。如图7所示，该方法包括：
步骤701：根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
步骤702：根据建立的K个无向图分别计算K个增加的运动物体的数量；
步骤703：将K个增加的运动物体的数量中的最小值作为增加的运动物体的数量。
这样，以最小值作为增加的运动物体的数量，能够进一步提高计数的准确性。
在本实施例中，以K＝2为例进行示例性的说明。
在本实施例中，建立单元601可使用现有方法建立无向图。例如，首先根据当前帧的图像和前一帧的图像建立无向图。
假设当前帧的图像包括n个区域，记为A1,A2,…,An，前一帧的图像包括m个区域，记为B1,B2,…,Bm，n和m均为正整数，则该无向图具有n+m个顶点。
可基于光流来计算当前帧的区域Ai以光流V移动到前一帧所对应的区域，例如，可根据以下的公式(3)计算当前帧的区域Ai以光流V移动到前一帧所对应的区域的坐标：
X(Ai′)＝round(X(Ai)+Vx(Ai))
Y(Ai′)＝round(Y(Ai)+Vy(Ai)) (3)
其中，X(Ai′)、Y(Ai′)分别表示当前帧的区域Ai以光流V移动到前一帧所对应的区域Ai′的X坐标和Y坐标，X(Ai)、Y(Ai)分别表示当前帧的区域Ai的X坐标和Y坐标，Vx和Vy表示当前帧与前一帧之间的光流图的X坐标和Y坐标，round函数表示四舍五入运算，i＝1-n。
然后对区域Ai′和Bj的交叠像素进行计数，其中，可使用以下的公式(4)判断顶点Ai和Bj之间是否具有边缘：
其中，N函数表示像素数量，参数γ可根据实际需要而设定，例如可设为0.2。
可利用相同的方法建立当前帧与前一帧的前一帧之间的无向图，与公式(3)类似，可使用以下的公式(5)计算当前帧的区域Ai以光流V移动到前一帧的前一帧所对应的区域的坐标：
X(Ai″)＝round(X(Ai′)+Vx′(Ai′))
Y(Ai″)＝round(Y(Ai′)+Vy′(Ai′)) (5)
其中，其中，X(Ai″)、Y(Ai″)分别表示前一帧所对应的区域Ai′以光流V移动到前一帧的前一帧所对应的区域Ai″的X坐标和Y坐标，X(Ai′)、Y(Ai′)分别表示当前帧的区域Ai以光流V移动到前一帧所对应的区域Ai′的X坐标和Y坐标，Vx′和Vy′表示前一帧与前一帧的前一帧之间的光流图的X坐标和Y坐标，round函数表示四舍五入运算，i＝1-n。
在获得了当前帧与前一帧之间的无向图，以及当前帧与前一帧的前一帧之间的无向图之后，第四计算单元602根据建立的2个无向图分别计算增加的运动物体的数量。
图8是本发明实施例1的第四计算单元602的组成示意图。如图8所示，第四计算单元602包括：
检测单元801，用于检测该K个无向图的每个无向图中的连通域；
第五计算单元802，用于分别计算各个连通域中的运动物体的数量之和，并将所有连通域中的运动物体的数量之和相加，得到增加的运动物体的数量，其中，将当前帧之前的K帧的各个区域的运动物体的数量置为负数。
在本实施例中，检测单元801可使用现有方法检测无向图中的连通域。在检测出所有连通域之后，将当前帧之前的K帧的运动物体的数量置为负数，再将所有连通域中运动物体的数量之和相加。其中，当某个连通域的运动物体数量之和为负数时，将该值置为0。
图9是本发明实施例1的根据连通域得到增加的运动物体的数量的示意图。如图9所示，当前帧与前一帧之间的无向图中包括两个连通域，分别为第一连通域901和第二连通域902，在第一连通域901中，当前帧的各个区域内运动物体的数量分别为3、2、2，前一帧的各个区域内运动物体的数量分别为4和1，将其置为负数，即置为-4和-1，在第二连通域902中，当前帧的各个区域内运动物体的数量为3，前一帧的各个区域内运动物体的数量分别为3和1，将其置为负数，即置为-3和-1。这样，第一连通域901的运动物体的数量之和为2，第二连通域902的运动物体的数量之和为-1，由于其为负数，将其置为0，那么，第一连通域901和第二连通域902的运动物体的数量之和为2+0＝2。
以上是基于当前帧与前一帧之间的无向图计算的增加的运动物体的数量，记为S1，可以用相同的方法基于当前帧与前一帧的前一帧之间的无向图计算的增加的运动物体的数量，记为S2，那么，第二确定单元602将S1和S2中的最小值作为增加的运动物体的数量。
以上是对K＝2的示例性说明，当K≥3时，可用类似的方法计算出S3(基于当前帧与前一帧的前一帧的前一帧之间的无向图计算的增加的运动物体的数量)等更多的增加的运动物体的数量，并将这些数值中的最小值作为增加的运动物体的数量。
在本实施例中，在第三计算单元106计算出各个区域增加的运动物体的数量后，第一确定单元107根据各个区域的运动物体的数量以及增加的运动物体的数量，确定该图像中的运动物体的数量。例如，将各个区域的运动物体的数量加上增加的运动物体的数量，获得该图像中的运动物体的数量。
在本实施例中，尺度参数和线性回归系数可预先获得。以下对本实施例的获得尺度参数和线性回归系数的方法进行示例性的说明。
在本实施例中，该装置100还可以包括：获取单元108，用于获得该线性回归系数以及尺度参数。其中，获取单元108为可选单元，在图1中用虚线框表示。获取单元108也可以不设置在装置100中。
图10是本发明实施例1的获取单元108的组成示意图。如图10所示，获取单元108包括：
第二提取单元1001，用于提取用于训练的图像；
第二建模单元1002，用于对提取的图像进行背景建模，获得二值化图像；
第二分割单元1003，用于对该二值化图像进行群体分割；
第六计算单元1004，用于计算群体分割后的各个区域的特征；
第一获取单元1005，用于根据各个区域的特征对线性学习模型进行训练，获得线性回归系数以及尺度参数。
图11是本发明实施例1的获取线性回归系数以及尺度参数的方法流程图。如图11所示，该方法包括：
步骤1101，提取用于训练的图像；
步骤1102，对提取的图像进行背景建模，获得二值化图像；
步骤1103，对该二值化图像进行群体分割；
步骤1104，计算群体分割后的各个区域的特征；
步骤1105，根据各个区域的特征对线性学习模型进行训练，获得线性回归系数以及尺度参数。
在本实施例中，第二提取单元1001的组成与功能与第一提取单元101相同，此处不再赘述。其中，用于训练的图像可根据实际需要而选择，例如，可选择少于5000帧的图像用于训练。
在本实施例中，第二建模单元1002、第二分割单元1003的组成与第一建模单元102、第一分割单元103的组成和功能相同，此处不再赘述。
在本实施例中，在第六计算单元1004可使用现有方法计算特征，并且，在计算特征之前，可考虑远景提前所产生的影响，使用现有的方法计算特征的权值。其中，对于基于区域的特征，可对每个像素直接使用权值，对于基于边缘的特征，可使用权值的平方根。
在本实施例中，各个区域的特征可以包括：该区域的面积、该区域的周长、该区域的周长和面积之比、该区域的各个边缘方向的直方图以及该区域的各个边缘像素数量之和中的至少一个。
在本实施例中，在获得各个区域的特征后，第一获取单元1005根据各个区域的特征对线性学习模型进行训练，获得线性回归系数以及尺度参数。其中，可使用现有的方法进行训练。例如，将用于训练的特征数据分为两部分，一部分用于学习模型的训练，一部分用于交叉验证。
首先，将每个特征减去所有特征的平均值，再将得到的特征值除以各自的标准差，其中，用矢量μ、θ分别表示所有特征的平均值和标准差，即本实施例中的预先获得的尺度参数。
这时，调整尺度后的学习特征集Xts和交叉验证特征集Xcs可用以下的公式(6)计算：
其中，Xts和Xcs表示调整尺度后的学习特征集和交叉验证特征集，Xt和Xc表示学习特征集和交叉验证特征集。
在本实施例中，可使用线性回归作为机器学习法，其中，价值函数可用以下的公式(7)表示：
其中，m表示特征数量，在本实施例中可为16，N表示训练数量，例如，N为大于等于1000的整数，β＝[β0 β1 β2 ... βm]T，表示线性回归系数，记为模型需要学习的参数；表示第i个训练样本的特征矢量，表示第i个训练样本标记的运动物体数量，λ表示调整参数。
在本实施例中，调整参数λ可设为0、0.01、0.03、0.1、0.3、1、3、10、30、100，对于每一个调整参数值，来训练模型并计算β。然后，可根据以下的公式(8)使用经过训练的β来计算交叉验证特征集的均方根差MSD：
其中，MSD表示交叉验证特征集的均方根差，M表示交叉验证的数量，例如，M为大于等于500的整数，β表示线性回归系数，表示调整尺度后的第i个交叉验证样本的特征矢量，表示第i个交叉验证样本的运动物体数量。
在本实施例中，选择MSD最小时对应的β，作为预先获得的线性回归系数。
这样，通过以上的示例性的方法，获得了线性回归系数β以及尺度参数μ、θ。
由上述实施例可知，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
实施例2
本发明实施例还提供了一种电子设备，图12是本发明实施例2的电子设备的组成示意图。如图12所示，电子设备1200包括运动物体的计数装置1201，其中，运动物体的计数装置1201的组成和功能与实施例1中的记载相同，此处不再赘述。
图13是本发明实施例2的电子设备的系统构成的一示意框图。如图13所示，电子设备1300可以包括中央处理器1301和存储器1302；存储器1302耦合到中央处理器1301。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
如图13所示，该电子设备1300还可以包括：输入单元1303、显示器1304、电源1305。
在一个实施方式中，实施例1所述的运动物体的计数装置的功能可以被集成到中央处理器1301中。其中，中央处理器1301可以被配置为：提取具有运动物体的图像；对提取的图像进行背景建模，获得二值化图像；对所述二值化图像进行群体分割；根据预先获得的尺度参数，计算群体分割后的各个区域的特征；根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
其中，所述根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量，包括：根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；根据建立的K个无向图分别计算K个增加的运动物体的数量；将所述K个增加的运动物体的数量中的最小值作为所述增加的运动物体的数量。
其中，中央处理器1301还可以被配置为：获得所述线性回归系数以及所述尺度参数，所述获得所述线性回归系数以及所述尺度参数包括：提取用于训练的图像；对提取的图像进行背景建模，获得二值化图像；对所述二值化图像进行群体分割；计算群体分割后的各个区域的特征；根据所述各个区域的特征对线性学习模型进行训练，获得所述线性回归系数以及所述尺度参数。
其中，所述对所述二值化图像进行群体分割包括：对所述二值化图像进行形态学操作；对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；去除所述多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
其中，所述各个区域的特征包括：所述区域的面积、所述区域的周长、所述区域的周长和面积之比、所述区域的各个边缘方向的直方图以及所述区域的各个边缘像素数量之和中的至少一个。
在另一个实施方式中，实施例1所述的运动物体的计数装置可以与中央处理器1301分开配置，例如可以将运动物体的计数装置配置为与中央处理器1301连接的芯片，通过中央处理器1301的控制来实现运动物体的计数装置的功能。
在本实施例中电子设备1300也并不是必须要包括图13中所示的所有部件。
如图13所示，中央处理器1301有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，中央处理器1301接收输入并控制电子设备1300的各个部件的操作。
存储器1302，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且中央处理器1301可执行该存储器1302存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备1300的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。
由上述实施例可知，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
实施例3
本发明实施例还提供一种运动物体的计数方法，其对应于实施例1的运动物体的计数装置。图14是本发明实施例3的运动物体的计数方法的流程图。如图14所示，该方法包括：
步骤1401：提取具有运动物体的图像；
步骤1402：对提取的图像进行背景建模，获得二值化图像；
步骤1403：对该二值化图像进行群体分割；
步骤1404：根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
步骤1405：根据各个区域的特征以及预先获得的线性回归系数，计算各个区域的运动物体的数量；
步骤1406：根据基于光流而建立的无向图，计算各个区域增加的运动物体的数量；
步骤1407：根据各个区域的运动物体的数量以及增加的运动物体的数量，确定图像中的运动物体的数量。
在本实施例中，提取图像的方法、背景建模的方法、群体分割的方法、计算特征的方法、计算运动物体数量的方法、计算增加的运动物体数量的方法以及确定运动物体数量的方法与实施例1中的记载相同，此处不再赘述。
由上述实施例可知，通过基于线性回归计算各个区域的运动物体数量并基于光流而建立的无向图计算各个区域增加的运动物体数量，并根据各个区域的运动物体数量和增加的数量进行计数，能够避免计数的重复，并实现快速准确的实时计数。
本发明实施例还提供一种计算机可读程序，其中当在运动物体的计数装置或电子设备中执行所述程序时，所述程序使得计算机在所述运动物体的计数装置或电子设备中执行实施例3所述的运动物体的计数方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在运动物体的计数装置或电子设备中执行实施例3所述的运动物体的计数方法。
本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1、一种运动物体的计数装置，包括：
第一提取单元，所述第一提取单元用于提取具有运动物体的图像；
第一建模单元，所述第一建模单元用于对提取的图像进行背景建模，获得二值化图像；
第一分割单元，所述第一分割单元用于对所述二值化图像进行群体分割；
第一计算单元，所述第一计算单元用于根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
第二计算单元，所述第二计算单元用于根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；
第三计算单元，所述第三计算单元用于根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；
第一确定单元，所述第一确定单元用于根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
附记2、根据附记1所述的装置，其中，所述第三计算单元包括：
建立单元，所述建立单元用于根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
第四计算单元，所述第四计算单元用于根据建立的K个无向图分别计算K个增加的运动物体的数量；
第二确定单元，所述第二确定单元用于将所述K个增加的运动物体的数量中的最小值作为所述增加的运动物体的数量。
附记3、根据附记2所述的装置，其中，所述第四计算单元包括：
检测单元，所述检测单元用于检测所述K个无向图的每个无向图中的连通域；
第五计算单元，所述第五计算单元用于分别计算各个连通域中的运动物体的数量之和，并将所有连通域中的运动物体的数量之和相加，得到增加的运动物体的数量，其中，将当前帧之前的K帧的各个区域的运动物体的数量置为负数。
附记4、根据附记1所述的装置，其中，所述装置还包括：
获取单元，所述获取单元用于获得所述线性回归系数以及所述尺度参数，
所述获取单元包括：
第二提取单元，所述第二提取单元用于提取用于训练的图像；
第二建模单元，所述第二建模单元用于对提取的图像进行背景建模，获得二值化图像；
第二分割单元，所述第二分割单元用于对所述二值化图像进行群体分割；
第六计算单元，所述第六计算单元用于计算群体分割后的各个区域的特征；
第一获取单元，所述第一获取单元用于根据所述各个区域的特征对线性学习模型进行训练，获得所述线性回归系数以及所述尺度参数。
附记5、根据附记1或4所述的装置，其中，所述第一分割单元或所述第二分割单元包括：
操作单元，所述操作单元用于对所述二值化图像进行形态学操作；
标记单元，所述标记单元用于对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；
去除单元，所述去除单元用于去除所述多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
附记6、根据附记1或4所述的装置，其中，所述各个区域的特征包括：
所述区域的面积、所述区域的周长、所述区域的周长和面积之比、所述区域的各个边缘方向的直方图以及所述区域的各个边缘像素数量之和中的至少一个。
附记7、一种运动物体的计数方法，包括：
提取具有运动物体的图像；
对提取的图像进行背景建模，获得二值化图像；
对所述二值化图像进行群体分割；
根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；
根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；
根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
附记8、根据附记7所述的方法，其中，所述根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量，包括：
根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
根据建立的N个无向图分别计算K个增加的运动物体的数量；
将所述K个增加的运动物体的数量中的最小值作为所述增加的运动物体的数量。
附记9、根据附记8所述的方法，其中，所述根据建立的K个无向图分别计算K个增加的运动物体的数量，包括：
检测无向图中的连通域；
分别计算各个连通域中的运动物体的数量之和，并将所有连通域中的运动物体的数量之和相加，得到增加的运动物体的数量，其中，将当前帧之前的K帧的各个区域的运动物体的数量置为负数。
附记10、根据附记7所述的方法，其中，所述方法还包括：
获得所述线性回归系数以及所述尺度参数，
所述获得所述线性回归系数以及所述尺度参数包括：
提取用于训练的图像；
对提取的图像进行背景建模，获得二值化图像；
对所述二值化图像进行群体分割；
计算群体分割后的各个区域的特征；
根据所述各个区域的特征对线性学习模型进行训练，获得所述线性回归系数以及所述尺度参数。
附记11、根据附记7或10所述的方法，其中，所述对所述二值化图像进行群体分割包括：
对所述二值化图像进行形态学操作；
对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；
去除所述多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
附记12、根据附记7或10所述的方法，其中，所述各个区域的特征包括：
所述区域的面积、所述区域的周长、所述区域的周长和面积之比、所述区域的各个边缘方向的直方图以及所述区域的各个边缘像素数量之和中的至少一个。

Claims (10)

1.一种运动物体的计数装置，包括：
第一提取单元，所述第一提取单元用于提取具有运动物体的图像；
第一建模单元，所述第一建模单元用于对提取的图像进行背景建模，获得二值化图像；
第一分割单元，所述第一分割单元用于对所述二值化图像进行群体分割；
第一计算单元，所述第一计算单元用于根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
第二计算单元，所述第二计算单元用于根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；
第三计算单元，所述第三计算单元用于根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；
第一确定单元，所述第一确定单元用于根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
2.根据权利要求1所述的装置，其中，所述第三计算单元包括：
建立单元，所述建立单元用于根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
第四计算单元，所述第四计算单元用于根据建立的K个无向图分别计算K个增加的运动物体的数量；
第二确定单元，所述第二确定单元用于将所述K个增加的运动物体的数量中的最小值作为所述增加的运动物体的数量。
3.根据权利要求2所述的装置，其中，所述第四计算单元包括：
检测单元，所述检测单元用于检测所述K个无向图的每个无向图中的连通域；
第五计算单元，所述第五计算单元用于分别计算各个连通域中的运动物体的数量之和，并将所有连通域中的运动物体的数量之和相加，得到增加的运动物体的数量，其中，将当前帧之前的K帧的各个区域的运动物体的数量置为负数。
4.根据权利要求1所述的装置，其中，所述装置还包括：
获取单元，所述获取单元用于获得所述线性回归系数以及所述尺度参数，
所述获取单元包括：
第二提取单元，所述第二提取单元用于提取用于训练的图像；
第二建模单元，所述第二建模单元用于对提取的图像进行背景建模，获得二值化图像；
第二分割单元，所述第二分割单元用于对所述二值化图像进行群体分割；
第六计算单元，所述第六计算单元用于计算群体分割后的各个区域的特征；
第一获取单元，所述第一获取单元用于根据所述各个区域的特征对线性学习模型进行训练，获得所述线性回归系数以及所述尺度参数。
5.根据权利要求1或4所述的装置，其中，所述第一分割单元或所述第二分割单元包括：
操作单元，所述操作单元用于对所述二值化图像进行形态学操作；
标记单元，所述标记单元用于对经过形态学操作后的二值化图像进行连通域的标记，获得多个区域；
去除单元，所述去除单元用于去除所述多个区域中像素数量小于预定阈值的区域，以获得群体分割后的各个区域。
6.根据权利要求1或4所述的装置，其中，所述各个区域的特征包括：
所述区域的面积、所述区域的周长、所述区域的周长和面积之比、所述区域的各个边缘方向的直方图以及所述区域的各个边缘像素数量之和中的至少一个。
7.一种运动物体的计数方法，包括：
提取具有运动物体的图像；
对提取的图像进行背景建模，获得二值化图像；
对所述二值化图像进行群体分割；
根据预先获得的尺度参数，计算群体分割后的各个区域的特征；
根据所述各个区域的特征以及预先获得的线性回归系数，计算所述各个区域的运动物体的数量；
根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量；
根据所述各个区域的运动物体的数量以及增加的运动物体的数量，确定所述图像中的运动物体的数量。
8.根据权利要求7所述的方法，其中，所述根据基于光流而建立的无向图，计算所述各个区域增加的运动物体的数量，包括：
根据当前帧的图像和当前帧之前的K帧中的一帧图像，分别建立K个无向图，其中，K≥2；
根据建立的N个无向图分别计算K个增加的运动物体的数量；
将所述K个增加的运动物体的数量中的最小值作为所述增加的运动物体的数量。
9.根据权利要求8所述的方法，其中，所述根据建立的K个无向图分别计算K个增加的运动物体的数量，包括：
检测所述K个无向图的每个无向图中的连通域；
分别计算各个连通域中的运动物体的数量之和，并将所有连通域中的运动物体的数量之和相加，得到增加的运动物体的数量，其中，将当前帧之前的K帧的各个区域的运动物体的数量置为负数。
10.根据权利要求7所述的方法，其中，所述方法还包括：
获得所述线性回归系数以及所述尺度参数，
所述获得所述线性回归系数以及所述尺度参数包括：
提取用于训练的图像；
对提取的图像进行背景建模，获得二值化图像；
对所述二值化图像进行群体分割；
计算群体分割后的各个区域的特征；
根据所述各个区域的特征对线性学习模型进行训练，获得所述线性回归系数以及所述尺度参数。
CN201510671537.5A 2015-10-13 2015-10-13 运动物体的计数装置及方法 Pending CN106570557A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510671537.5A CN106570557A (zh) 2015-10-13 2015-10-13 运动物体的计数装置及方法
EP16191378.5A EP3156972A1 (en) 2015-10-13 2016-09-29 Counting apparatus and method for moving objects
JP2016200086A JP2017076394A (ja) 2015-10-13 2016-10-11 移動物体の計数装置及び方法
US15/291,591 US20170103536A1 (en) 2015-10-13 2016-10-12 Counting apparatus and method for moving objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510671537.5A CN106570557A (zh) 2015-10-13 2015-10-13 运动物体的计数装置及方法

Publications (1)

Publication Number Publication Date
CN106570557A true CN106570557A (zh) 2017-04-19

Family

ID=57047047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510671537.5A Pending CN106570557A (zh) 2015-10-13 2015-10-13 运动物体的计数装置及方法

Country Status (4)

Country Link
US (1) US20170103536A1 (zh)
EP (1) EP3156972A1 (zh)
JP (1) JP2017076394A (zh)
CN (1) CN106570557A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408080B (zh) * 2015-07-31 2019-01-01 富士通株式会社 运动物体的计数装置及方法
CA3033030A1 (en) * 2018-02-08 2019-08-08 Flaschebottle Technologies Inc. Estimating a number of containers by digital image analysis
CN108345888A (zh) * 2018-02-11 2018-07-31 浙江华睿科技有限公司 一种连通域提取方法及装置
CN110398291B (zh) * 2019-07-25 2020-11-10 中国农业大学 一种运动目标最高温检测方法及系统
CN115937791B (zh) * 2023-01-10 2023-05-16 华南农业大学 一种适用于多种养殖模式的家禽计数方法及其计数装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765022A (zh) * 2010-01-22 2010-06-30 浙江大学 一种基于光流与图像分割的深度表示方法
CN101847265A (zh) * 2010-04-20 2010-09-29 上海理工大学 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101675798B1 (ko) * 2011-05-31 2016-11-16 한화테크윈 주식회사 객체 수 추정 장치 및 방법
MY167117A (en) * 2011-06-17 2018-08-10 Mimos Berhad System and method of validation of object counting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765022A (zh) * 2010-01-22 2010-06-30 浙江大学 一种基于光流与图像分割的深度表示方法
CN101847265A (zh) * 2010-04-20 2010-09-29 上海理工大学 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法
CN102708571A (zh) * 2011-06-24 2012-10-03 杭州海康威视软件有限公司 视频中剧烈运动的检测方法及其装置
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置

Also Published As

Publication number Publication date
US20170103536A1 (en) 2017-04-13
JP2017076394A (ja) 2017-04-20
EP3156972A1 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
Alonso et al. EV-SegNet: Semantic segmentation for event-based cameras
CN106570557A (zh) 运动物体的计数装置及方法
Behrendt et al. Unsupervised labeled lane markers using maps
CN103400157B (zh) 一种基于视频分析的道路行人及非机动车检测方法
CN108090423A (zh) 一种基于热力图和关键点回归的深度车牌检测方法
CN113907663B (zh) 障碍物地图构建方法、清洁机器人及存储介质
CN106408080A (zh) 运动物体的计数装置及方法
CN104318263A (zh) 一种实时高精度人流计数方法
CN104299243A (zh) 一种基于霍夫森林的目标跟踪方法
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
CN105261034A (zh) 一种高速公路上车流量的统计方法及装置
CN103886315A (zh) 应用于行人姿势分类的3d人体模型
CN109740609A (zh) 一种轨距检测方法及装置
CN107808524A (zh) 一种基于无人机的道路交叉口车辆检测方法
CN111209880A (zh) 车辆行为识别方法、装置
CN112950972A (zh) 一种停车场地图构建方法、装置、设备和介质
CN109857878A (zh) 物品标注方法及装置、电子设备及存储介质
Khan et al. Estimating speeds of pedestrians in real-world using computer vision
CN106127810B (zh) 一种视频宏块角点光流的录播系统图像跟踪方法和装置
CN110288629A (zh) 基于移动物体检测的目标检测自动标注方法及装置
CN105844204A (zh) 人体行为识别方法和装置
CN103093481B (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
CN111597992B (zh) 一种基于视频监控的场景物体异常的识别方法
CN110414374B (zh) 一种障碍物位姿的确定方法、装置、设备及介质
CN111597707A (zh) 仿真场景的处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170419

WD01 Invention patent application deemed withdrawn after publication