CN104657741B - 一种基于视频图像的目标分类方法 - Google Patents
一种基于视频图像的目标分类方法 Download PDFInfo
- Publication number
- CN104657741B CN104657741B CN201510012901.7A CN201510012901A CN104657741B CN 104657741 B CN104657741 B CN 104657741B CN 201510012901 A CN201510012901 A CN 201510012901A CN 104657741 B CN104657741 B CN 104657741B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- target area
- pixel
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视频图像的目标分类方法，包括：根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像BI；根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作，形成目标图像BFMk；从目标图像BFMk中提取目标区域；对各个目标区域进行主成分分析，确定各个目标区域的主方向；将各个目标区域的主方向旋转到水平方向，得到各个旋转后的目标区域；计算各个旋转后的目标区域的矩形饱和度特征；根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类。使用上述方法，可以有效地对视频图像中的人员和车辆目标进行分类，大大提高了分类操作的准确性。
Description
技术领域
本发明涉及视频图像技术，特别涉及一种基于视频图像的目标分类方法。
背景技术
在现有技术中，视频监控系统所获取的视频图像中存在大量的运动目标，而在所有的运动目标中，一般都是以人员和车辆两类目标为主要关注目标。对于这两类目标的管理要求有着明显的区别，因此在视频监控系统中存在对于这两类目标的分类需求。目前，在研究和开发中的主要都是采用基于统计训练的方法来对目标进行分类。但是，使用此类方法需要收集大量的车辆和人员的图像样本，而且识别速度慢，对运算设备需求较高。由此可知，在现有技术，上述的问题已经严重地限制了该类方法在目标识别中的应用。
发明内容
有鉴于此，本发明提供一种基于视频图像的目标分类方法，从而可以有效地对视频图像中的不同的目标进行分类，大大提高了分类操作的准确性。
本发明的技术方案具体是这样实现的：
一种基于视频图像的目标分类方法，该方法包括：
步骤11，根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像BI；
步骤12，根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作，形成目标图像BFMk；
步骤13，从目标图像BFMk中提取目标区域；
步骤14，对各个目标区域进行主成分分析，确定各个目标区域的主方向；
步骤15，将各个目标区域的主方向旋转到水平方向，得到各个旋转后的目标区域；
步骤16，计算各个旋转后的目标区域的矩形饱和度特征；
步骤17，根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类。
较佳的，所述根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像包括；
步骤111，获取监控视频中的监控区域的当前帧图像Fk，前一帧图像Fk-1和前一帧图像Fk-1对应的背景图像Bk-1；其中，k为监控区域的当前帧图像的帧号；
步骤112，当k＝1时，将监控区域的第1帧图像F1作为前一帧图像Fk-1和背景图像Bk-1和；当k>1时，根据所获取的Fk、Fk-1和Bk-1，计算得到前帧背景差分BDk和帧间差分FDk；
步骤113、根据前帧背景差分BDk、帧间差分FDk和背景图像Bk-1中的各个像素的更新系数，逐像素对监控区域的背景图像Bk-1进行更新，得到监控区域的当前帧图像Fk对应的背景图像Bk；
步骤114、当k小于预设的初始背景更新帧数时，将监控区域的当前帧图像的下一帧的图像作为当前帧图像，返回执行步骤111；否则，将监控区域的当前的背景图像Bk作为监控区域静态的当前背景图像BI。
较佳的，通过如下所述的公式来计算前帧背景差分BDk和帧间差分FDk：
BDk＝Fk-Bk-1
FDk＝|Fk-Fk-1|
其中，BDk为Fk与Bk-1的差分，FDk为Fk与Fk-1的差分的绝对值。
较佳的，所述逐像素对监控区域的背景图像Bk-1进行更新包括：
对背景图像Bk-1中的各个像素逐像素执行下述的步骤：
步骤113a，根据帧间差分FDk和预设的第一阈值FTh，确定当前像素(x,y)的更新量mk(x,y)；
步骤113b，当BDk大于预设第二阈值BTh时，根据当前像素的更新量mk(x,y)对背景图像的当前像素Bk-1(x,y)进行更新；否则，对当前像素不进行更新。
较佳的，所述步骤113a包括：
当帧间差分FDk大于预设第一阈值FTh时，将当前像素(x,y)的更新量mk(x,y)设为0；否则，根据更新系数kk(x,y)计算得到当前像素(x,y)的更新量mk(x,y)；
其中，所述(x,y)为当前像素的坐标。
较佳的，根据如下所述的公式计算当前像素(x,y)的更新量mk(x,y)：
mk(x,y)＝kk(x,y)′BDk(x,y)。
较佳的，所述更新系数kk(x,y)为分段函数：
较佳的，所述第一阈值FTh为2。
较佳的，根据如下所述的公式对背景图像的当前像素Bk-1(x,y)进行更新：
Bk(x,y)＝Bk-1(x,y)+mk(x,y)。
较佳的，所述第二阈值BTh为2。
较佳的，所述步骤12具体包括：
步骤121，根据当前背景图像BI对视频图像的当前帧Fk进行逐像素背景差分操作，得到当前帧Fk的差分图像矩阵BFDk；其中，k为当前帧Fk的帧号；
步骤122，根据差分图像矩阵BFDk计算均值μ和标准差σ；
步骤123，对于差分图像矩阵BFDk中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th；
步骤124，根据所述最优分割阈值Th对差分图像矩阵BFDk进行图像分割，得到当前帧Fk的分割数据矩阵BFSk；
步骤125，去除分割数据矩阵BFSk中的噪点，填补空洞，形成目标图像BFMk。
较佳的，通过如下所述的公式计算得到当前帧Fk的差分图像矩阵BFDk：
BFDk＝|Fk-BI|
其中，BFDk为Fk与BI的差分的绝对值。
较佳的，通过如下所述的公式计算得到均值μ和标准差σ：
其中，设差分图像矩阵BFDk为r行c列的矩阵，BFDk(i,j)表示图像BFDk第i行第j列像素的像素值。
较佳的，通过如下所述的公式计算得到分割数据矩阵BFSk：
其中，BFDk(i,j)表示矩阵BFDk的第i行第j列像素的像素值，BFSk(i,j)表示矩阵BFSk的第i行第j列元素的数值。
较佳的，所述步骤125中的去除分割数据矩阵BFSk中的噪点包括：
使用5×5的正方形模板对分割图像BFSk进行腐蚀操作，去除分割数据矩阵BFSk中的噪点。
较佳的，所述步骤125中的填补空洞包括：
使用7×7的正方形模板对去除噪点后的分割数据矩阵BFSk进行膨胀操作，填补分割分割数据矩阵BFSk中的空洞，形成目标图像BFMk。
较佳的，所述步骤13包括：
将目标图像BFMk中像素值为1的各个连通区域作为目标区域。
较佳的，所述对目标区域进行主成分分析，确定目标区域的主方向包括：
步骤141，根据目标区域中的各个像素的坐标，计算该目标区域的中心坐标：
步骤142，将目标区域T中的所有像素的坐标减去中心坐标，得到目标区域T对应的坐标数据矩阵R；
步骤143，根据目标区域T对应的坐标数据矩阵R，计算得到协方差矩阵C；
步骤144，根据所述协方差矩阵C确定各个目标区域的主方向。
较佳的，根据如下所述的公式计算目标区域T的中心坐标(x,y)：
其中，t为目标区域T中的像素总数，xi和yi分别为目标区域T中第i个像素的横坐标和纵坐标。
较佳的，使用如下所述的公式来计算协方差矩阵C：
C＝RRT。
较佳的，所述根据所述协方差矩阵C确定各个目标区域的主方向包括：
计算协方差矩阵C的特征值和特征向量，将数值大的特征值所对应的特征向量作为目标区域的主方向。
较佳的，所述步骤15中的将各个目标区域的主方向旋转到水平方向包括：
以目标区域的中心坐标为中心，对该目标区域进行旋转变换，将目标区域的主方向旋转到水平方向。
较佳的，所述步骤16包括：
步骤161，根据各个旋转后的目标区域中的像素的横坐标的最大值、最小值以及纵坐标的最大值和最小值，形成各个旋转后的目标区域的外接矩形；
步骤162，统计旋转后的目标区域的外接矩形所覆盖的像素数目rs，计算得到旋转后的目标区域的矩形饱和度特征。
较佳的，使用如下所述的公式计算旋转后的目标区域的矩形饱和度特征QT：
其中，t为旋转前的目标区域的像素总数。
较佳的，所述步骤17包括：
当QT大于预设的阈值thr时，判断该QT所对应的目标区域为车辆；否则，该QT所对应的目标区域为人员。
较佳的，所述thr的值为0.8。
如上可见，在本发明所提供的基于视频图像的目标分类方法中，由于在先通过背景学习获得监控区域静态的当前背景图像，并根据当前背景图像形成目标图像后，可从目标图像中提取目标区域，并对各个目标区域进行主成分分析，确定各个目标区域的主方向，然后再将各个目标区域的主方向旋转到水平方向，计算各个旋转后的目标区域的矩形饱和度特征，进而根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类，从而可以有效地对视频图像中的不同的目标进行分类，大大提高了分类操作的准确性。
附图说明
图1为本发明实施例中的基于视频图像的目标分类方法的流程示意图。
图2为本发明实施例中的基于视频图像的目标分类方法的效果示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本实施例提供了一种基于视频图像的目标分类方法。
图1为本发明实施例中的基于视频图像的目标分类方法的流程示意图。如图1所示，本发明实施例中的基于视频图像的目标分类方法主要包括如下所述的步骤：。
步骤11，根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像BI。
步骤12，根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作，形成目标图像BFMk。
步骤13，从目标图像BFMk中提取目标区域。
步骤14，对各个目标区域进行主成分分析，确定各个目标区域的主方向。
步骤15，将各个目标区域的主方向旋转到水平方向，得到各个旋转后的目标区域。
步骤16，计算各个旋转后的目标区域的矩形饱和度特征。
步骤17，根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类。
通过上述的步骤11～17，即可在可见光监控图像中直接针对目标区域特征进行分类，从而可以在保证对目标实时快速分类的基础上，保证较高的分类准确性。
在本发明的技术方案中，可以使用多种方式来实现上述的步骤11。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像包括：
步骤111，获取监控视频中的监控区域的当前帧图像Fk，前一帧图像Fk-1和前一帧图像Fk-1对应的背景图像Bk-1；其中，k为监控区域的当前帧图像的帧号。
步骤112，当k＝1时，将监控区域的第1帧图像F1作为前一帧图像Fk-1和背景图像Bk-1和；当k>1时，根据所获取的Fk、Fk-1和Bk-1，计算得到前帧背景差分BDk和帧间差分FDk。
例如，在本发明的较佳实施例中，可以通过如下所述的公式来计算前帧背景差分BDk和帧间差分FDk：
BDk＝Fk-Bk-1 (1)
FDk＝|Fk-Fk-1| (2)
其中，BDk为Fk与Bk-1的差分，FDk为Fk与Fk-1的差分的绝对值。所述差分操作是通过逐像素对两个图像相对应的像素值进行相减计算得到的，经过上述逐像素差分操作后，即可得到差分图像矩阵BDk和FDk。
步骤113，根据前帧背景差分BDk、帧间差分FDk和背景图像Bk-1中的各个像素的更新系数，逐像素对监控区域的背景图像Bk-1进行更新，得到监控区域的当前帧图像Fk对应的背景图像Bk。
较佳的，在本发明的具体实施例中，所述逐像素对监控区域的背景图像Bk-1进行更新可以包括：
对背景图像Bk-1中的各个像素逐像素执行下述的步骤：
步骤113a，根据帧间差分FDk和预设的第一阈值FTh，确定当前像素(x,y)的更新量mk(x,y)。
例如，在本发明的较佳实施例中，所述步骤113a可以包括：
当帧间差分FDk大于预设第一阈值FTh时，将当前像素(x,y)的更新量mk(x,y)设为0；
否则，根据更新系数kk(x,y)计算得到当前像素(x,y)的更新量mk(x,y)。
其中，所述(x,y)为当前像素的坐标。
另外，较佳的，在本发明的具体实施例中，可以根据如下所述的公式计算当前像素(x,y)的更新量mk(x,y)：
mk(x,y)＝kk(x,y)′BDk(x,y) (3)
在本发明的技术方案中，可以根据需要和监控场景的实际情况预先设置更新系数kk(x,y)的值。例如，较佳的，在本发明的具体实施例中，所述更新系数kk(x,y)可以是如下所述的分段函数：
较佳的，在本发明的具体实施例中，所述第一阈值FTh可以设置为2。
步骤113b，当BDk大于预设第二阈值BTh时，根据当前像素的更新量mk(x,y)对背景图像的当前像素Bk-1(x,y)进行更新；否则，对当前像素不进行更新，即Bk(x,y)的数值等于Bk-1(x,y)。
较佳的，在本发明的具体实施例中，可以根据如下所述的公式对背景图像的当前像素Bk-1(x,y)进行更新：
Bk(x,y)＝Bk-1(x,y)+mk(x,y) (5)
较佳的，在本发明的具体实施例中，所述第二阈值BTh可以设置为2。
步骤114，当k小于预设的初始背景更新帧数时，将监控区域的当前帧图像的下一帧的图像作为当前帧图像，返回执行步骤111；否则，将监控区域的当前的背景图像Bk作为监控区域静态的当前背景图像BI。
通过上述的步骤111～114，即可获得监控区域静态的当前背景图像BI。
另外，在本发明的技术方案中，可以使用多种方式来实现上述的步骤12。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述步骤12可以具体包括：
步骤121，根据当前背景图像BI对视频图像的当前帧Fk进行逐像素背景差分操作，得到当前帧Fk的差分图像矩阵BFDk；其中，k为当前帧Fk的帧号。
较佳的，在本发明的具体实施例中，可以通过如下所述的公式计算得到当前帧Fk的差分图像矩阵BFDk：
BFDk＝|Fk-BI| (6)
其中，BFDk为Fk与BI的差分的绝对值。所述背景差分操作是通过逐像素对两个图像相对应的像素值进行相减计算得到的，经过上述逐像素背景差分操作后，即可得到当前帧Fk的差分图像矩阵BFDk。
步骤122，根据差分图像矩阵BFDk计算均值μ和标准差σ。
较佳的，在本发明的具体实施例中，可以通过如下所述的公式计算得到均值μ和标准差σ：
其中，设差分图像矩阵BFDk为r行c列的矩阵，BFDk(i,j)表示图像BFDk第i行第j列像素的像素值。
步骤123，对于差分图像矩阵BFDk中大于μ+σ的像素值，以最大类间方差(OTSU)准则计算最优分割阈值Th。
步骤124，根据所述最优分割阈值Th对差分图像矩阵BFDk进行图像分割，得到当前帧Fk的分割数据矩阵BFSk。
较佳的，在本发明的具体实施例中，可以通过如下所述的公式计算得到分割数据矩阵BFSk：
其中，BFDk(i,j)表示矩阵BFDk的第i行第j列像素的像素值，BFSk(i,j)表示矩阵BFSk的第i行第j列元素的数值。
步骤125，去除分割数据矩阵BFSk中的噪点，填补空洞，形成目标图像BFMk。
通过上述的步骤121～125，即可形成目标图像BFMk。
较佳的，在本发明的具体实施例中，所述步骤125中的去除分割数据矩阵BFSk中的噪点可以包括：
使用5×5的正方形模板对分割图像BFSk进行腐蚀操作，去除分割数据矩阵BFSk中的噪点。
另外，较佳的，在本发明的具体实施例中，所述步骤125中的填补空洞可以包括：
使用7×7的正方形模板对去除噪点后的分割数据矩阵BFSk进行膨胀操作，填补分割分割数据矩阵BFSk中的空洞，形成目标图像BFMk。
另外，在本发明的技术方案中，还可以使用多种方式来实现上述的步骤13。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述步骤13包括：
将目标图像BFMk中像素值为1的各个连通区域作为目标区域。
在本发明的技术方案中，还可以使用多种方式来实现上述的步骤14。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述对目标区域进行主成分分析，确定目标区域的主方向包括：
步骤141，根据目标区域中的各个像素的坐标，计算该目标区域的中心坐标。
例如，设目标区域T中有t个像素，各个像素的坐标分别为(x1,y1),(x2,y2),…,(xt,yt)，因此，可以根据如下所述的公式计算目标区域T的中心坐标(x,y)：
其中，t为目标区域T中的像素总数，xi和yi分别为目标区域T中第i个像素的横坐标和纵坐标。
步骤142，将目标区域T中的所有像素的坐标减去中心坐标，得到目标区域T对应的坐标数据矩阵R。
例如，假设目标区域T中的第i个像素的坐标为(xi，yi)，则该像素的坐标减去目标区域T的中心坐标(x，y)之后可得：
xxi＝xi-x (5)
yyi＝yi-y
因此，目标区域T对应的坐标数据矩阵R为：
步骤143，根据目标区域T对应的坐标数据矩阵R，计算得到协方差矩阵C。
较佳的，在本发明的具体实施例中，可以使用如下所述的公式来计算协方差矩阵C：
C＝RRT (13)
步骤144，根据所述协方差矩阵C确定各个目标区域的主方向。
较佳的，在本发明的具体实施例中，所述根据所述协方差矩阵C确定各个目标区域的主方向包括：
计算协方差矩阵C的特征值和特征向量，将数值大的特征值所对应的特征向量作为目标区域的主方向。
例如，由于协方差矩阵C为2×2矩阵，因此具有两个特征值。将这两个特征值按由大到小排列分别设为λ1和λ2，所对应的特征向量分别为v1和v2，则将特征向量v1作为该目标区域的主方向。
在本发明的技术方案中，对从目标图像BFMk中提取的每一个目标区域都执行上述的步骤141～144，即可确定各个目标区域的主方向。
较佳的，在本发明的具体实施例中，所述步骤15中的将各个目标区域的主方向旋转到水平方向可以包括：
以目标区域的中心坐标(x，y)为中心，对该目标区域进行旋转变换，将目标区域的主方向旋转到水平方向。
另外，在本发明的技术方案中，还可以使用多种方式来实现上述的步骤16。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述步骤16包括：
步骤161，根据各个旋转后的目标区域中的像素的横坐标的最大值、最小值以及纵坐标的最大值和最小值，形成各个旋转后的目标区域的外接矩形。
步骤162，统计旋转后的目标区域的外接矩形所覆盖的像素数目rs，计算得到旋转后的目标区域的矩形饱和度特征。
例如，较佳的，在本发明的具体实施例中，可以使用如下所述的公式来计算旋转后的目标区域的矩形饱和度特征QT：
其中，t为旋转前的目标区域的像素总数。
另外，在本发明的技术方案中，还可以使用多种方式来实现上述的步骤17。以下将以其中的一种实施方式为例，对本发明的技术方案进行介绍。
例如，较佳的，在本发明的具体实施例中，所述步骤17包括：
当QT大于预设的阈值thr时，判断该QT所对应的目标区域为车辆；否则，该QT所对应的目标区域为人员。
另外，在本发明的技术方案中，所述阈值thr的取值可以根据实际应用的需要预先设定。例如，较佳的，在本发明的具体实施例中，所述thr的值可以为0.8。
图2为本发明实施例中的基于视频图像的目标分类方法的效果示意图。如图2(a)所示，人员所在的目标区域的矩形饱和度较低，而车辆所在的目标区域的矩形饱和度较高，而且在实际的计算数值上也有着相同的结果。但是，如图2(b)所示，当车辆目标不处于视频图像中的水平或者竖直方向上，而是斜向存在时，其所在的目标区域的矩形饱和度数值将大大降低，与人员所在的目标区域的饱和度数值之间的差异也将减小。因此，在本发明的技术方案中，通过对各个目标区域进行主成分分析，确定各个目标区域的主方向，然后再将各个目标区域的主方向旋转到水平方向，从而使得人员与车辆所在的目标区域的矩形饱和度保持了较大的差异，从而可以通过将目标区域的矩形饱和度与预设阈值进行比较的方式，实现将不同的目标准确地进行分类的功能。
综上可知，在本发明中的基于视频图像的目标分类方法中，由于在先通过背景学习获得监控区域静态的当前背景图像，并根据当前背景图像形成目标图像后，可从目标图像中提取目标区域，并对各个目标区域进行主成分分析，确定各个目标区域的主方向，然后再将各个目标区域的主方向旋转到水平方向，计算各个旋转后的目标区域的矩形饱和度特征，进而根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类，从而可以有效地对视频图像中的不同的目标进行分类，大大提高了分类操作的准确性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (25)
1.一种基于视频图像的目标分类方法，其特征在于，该方法包括：
步骤11，根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像BI；
步骤12，根据当前背景图像BI对当前视频帧进行逐像素背景差分操作和图像分割操作，形成目标图像BFMk；
步骤13，从目标图像BFMk中提取目标区域；
步骤14，对各个目标区域进行主成分分析，确定各个目标区域的主方向；
步骤15，将各个目标区域的主方向旋转到水平方向，得到各个旋转后的目标区域；
步骤16，计算各个旋转后的目标区域的矩形饱和度特征；
步骤17，根据矩形饱和度特征和预设的阈值，对各个目标区域进行分类；
其中，所述对各个目标区域进行主成分分析，确定各个目标区域的主方向包括：
步骤141，根据目标区域中的各个像素的坐标，计算该目标区域的中心坐标；
步骤142，将目标区域T中的所有像素的坐标减去中心坐标，得到目标区域T对应的坐标数据矩阵R；
步骤143，根据目标区域T对应的坐标数据矩阵R，计算得到协方差矩阵C；
步骤144，根据所述协方差矩阵C确定各个目标区域的主方向。
2.根据权利要求1所述的方法，其特征在于，所述根据连续的视频图像进行监控区域的背景学习，获得监控区域静态的当前背景图像包括；
步骤111，获取监控视频中的监控区域的当前帧图像Fk，前一帧图像Fk-1和前一帧图像Fk-1对应的背景图像Bk-1；其中，k为监控区域的当前帧图像的帧号；
步骤112，当k＝1时，将监控区域的第1帧图像F1作为前一帧图像Fk-1和背景图像Bk-1和；当k>1时，根据所获取的Fk、Fk-1和Bk-1，计算得到前帧背景差分BDk和帧间差分FDk；
步骤113、根据前帧背景差分BDk、帧间差分FDk和背景图像Bk-1中的各个像素的更新系数，逐像素对监控区域的背景图像Bk-1进行更新，得到监控区域的当前帧图像Fk对应的背景图像Bk；
步骤114、当k小于预设的初始背景更新帧数时，将监控区域的当前帧图像的下一帧的图像作为当前帧图像，返回执行步骤111；否则，将监控区域的当前的背景图像Bk作为监控区域静态的当前背景图像BI。
3.根据权利要求2所述的方法，其特征在于，通过如下所述的公式来计算前帧背景差分BDk和帧间差分FDk：
BDk＝Fk-Bk-1
FDk＝|Fk-Fk-1|
其中，BDk为Fk与Bk-1的差分，FDk为Fk与Fk-1的差分的绝对值。
4.根据权利要求2所述的方法，其特征在于，所述逐像素对监控区域的背景图像Bk-1进行更新包括：
对背景图像Bk-1中的各个像素逐像素执行下述的步骤：
步骤113a，根据帧间差分FDk和预设的第一阈值FTh，确定当前像素(x,y)的更新量mk(x,y)；
步骤113b，当BDk大于预设第二阈值BTh时，根据当前像素的更新量mk(x,y)对背景图像的当前像素Bk-1(x,y)进行更新；否则，对当前像素不进行更新。
5.根据权利要求4所述的方法，其特征在于，所述步骤113a包括：
当帧间差分FDk大于预设第一阈值FTh时，将当前像素(x,y)的更新量mk(x,y)设为0；否则，根据更新系数kk(x,y)计算得到当前像素(x,y)的更新量mk(x,y)；
其中，所述(x,y)为当前像素的坐标。
6.根据权利要求4所述的方法，其特征在于，根据如下所述的公式计算当前像素(x,y)的更新量mk(x,y)：
mk(x,y)＝kk(x,y)×BDk(x,y)。
7.根据权利要求4所述的方法，其特征在于，所述更新系数kk(x,y)为分段函数：
<mrow>
<msub>
<mi>k</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0.02</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>BD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>50</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.04</mn>
</mtd>
<mtd>
<mrow>
<mn>50</mn>
<mo>&GreaterEqual;</mo>
<msub>
<mi>BD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>25</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.1</mn>
</mtd>
<mtd>
<mrow>
<mn>25</mn>
<mo>&GreaterEqual;</mo>
<msub>
<mi>BD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>10</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.2</mn>
</mtd>
<mtd>
<mrow>
<mn>10</mn>
<mo>&GreaterEqual;</mo>
<msub>
<mi>BD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>5</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0.5</mn>
</mtd>
<mtd>
<mrow>
<mn>5</mn>
<mo>&GreaterEqual;</mo>
<msub>
<mi>BD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>></mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
8.根据权利要求4所述的方法，其特征在于：
所述第一阈值FTh为2。
9.根据权利要求4所述的方法，其特征在于，根据如下所述的公式对背景图像的当前像素Bk-1(x,y)进行更新：
Bk(x,y)＝Bk-1(x,y)+mk(x,y)。
10.根据权利要求4所述的方法，其特征在于：
所述第二阈值BTh为2。
11.根据权利要求1所述的方法，其特征在于，所述步骤12具体包括：
步骤121，根据当前背景图像BI对视频图像的当前帧Fk进行逐像素背景差分操作，得到当前帧Fk的差分图像矩阵BFDk；其中，k为当前帧Fk的帧号；
步骤122，根据差分图像矩阵BFDk计算均值μ和标准差σ；
步骤123，对于差分图像矩阵BFDk中大于μ+σ的像素值，以最大类间方差准则计算最优分割阈值Th；
步骤124，根据所述最优分割阈值Th对差分图像矩阵BFDk进行图像分割，得到当前帧Fk的分割数据矩阵BFSk；
步骤125，去除分割数据矩阵BFSk中的噪点，填补空洞，形成目标图像BFMk。
12.根据权利要求11所述的方法，其特征在于，通过如下所述的公式计算得到当前帧Fk的差分图像矩阵BFDk：
BFDk＝|Fk-BI|
其中，BFDk为Fk与BI的差分的绝对值。
13.根据权利要求11所述的方法，其特征在于，通过如下所述的公式计算得到均值μ和标准差σ：
<mrow>
<mi>&mu;</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>r</mi>
<mo>&times;</mo>
<mi>c</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>r</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<msub>
<mi>BFD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
2
<mrow>
<mi>&sigma;</mi>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mrow>
<mi>r</mi>
<mo>&times;</mo>
<mi>c</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>r</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>c</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>BFD</mi>
<mi>k</mi>
</msub>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&mu;</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
其中，设差分图像矩阵BFDk为r行c列的矩阵，BFDk(i,j)表示图像BFDk第i行第j列像素的像素值。
14.根据权利要求11所述的方法，其特征在于，通过如下所述的公式计算得到分割数据矩阵BFSk：
<mrow>
<msub>
<mi>BFS</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>BFD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>T</mi>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>BFD</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>T</mi>
<mi>h</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，BFDk(i,j)表示矩阵BFDk的第i行第j列像素的像素值，BFSk(i,j)表示矩阵BFSk的第i行第j列元素的数值。
15.根据权利要求11所述的方法，其特征在于，所述步骤125中的去除分割数据矩阵BFSk中的噪点包括：
使用5×5的正方形模板对分割图像BFSk进行腐蚀操作，去除分割数据矩阵BFSk中的噪点。
16.根据权利要求11所述的方法，其特征在于，所述步骤125中的填补空洞包括：
使用7×7的正方形模板对去除噪点后的分割数据矩阵BFSk进行膨胀操作，填补分割分割数据矩阵BFSk中的空洞，形成目标图像BFMk。
17.根据权利要求1所述的方法，其特征在于，所述步骤13包括：
将目标图像BFMk中像素值为1的各个连通区域作为目标区域。
18.根据权利要求1所述的方法，其特征在于，根据如下所述的公式计算目标区域T的中心坐标(x,y)：
<mrow>
<mi>x</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>t</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>t</mi>
</munderover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<mi>y</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>t</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>t</mi>
</munderover>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
</mrow>
其中，t为目标区域T中的像素总数，xi和yi分别为目标区域T中第i个像素的横坐标和纵坐标。
19.根据权利要求18所述的方法，其特征在于，使用如下所述的公式来计算协方差矩阵C：
C＝RRT。
20.根据权利要求19所述的方法，其特征在于，所述根据所述协方差矩阵C确定各个目标区域的主方向包括：
计算协方差矩阵C的特征值和特征向量，将数值大的特征值所对应的特征向量作为目标区域的主方向。
21.根据权利要求11所述的方法，其特征在于，所述步骤15中的将各个目标区域的主方向旋转到水平方向包括：
以目标区域的中心坐标为中心，对该目标区域进行旋转变换，将目标区域的主方向旋转到水平方向。
22.根据权利要求21所述的方法，其特征在于，所述步骤16包括：
步骤161，根据各个旋转后的目标区域中的像素的横坐标的最大值、最小值以及纵坐标的最大值和最小值，形成各个旋转后的目标区域的外接矩形；
步骤162，统计旋转后的目标区域的外接矩形所覆盖的像素数目rs，计算得到旋转后的目标区域的矩形饱和度特征。
23.根据权利要求22所述的方法，其特征在于，使用如下所述的公式计算旋转后的目标区域的矩形饱和度特征QT：
<mrow>
<msub>
<mi>Q</mi>
<mi>T</mi>
</msub>
<mo>=</mo>
<mfrac>
<mi>t</mi>
<mrow>
<mi>r</mi>
<mi>s</mi>
</mrow>
</mfrac>
</mrow>
其中，t为旋转前的目标区域的像素总数。
24.根据权利要求23所述的方法，其特征在于，所述步骤17包括：
当QT大于预设的阈值thr时，判断该QT所对应的目标区域为车辆；否则，该QT所对应的目标区域为人员。
25.根据权利要求24所述的方法，其特征在于：
所述thr的值为0.8。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510012901.7A CN104657741B (zh) | 2015-01-09 | 2015-01-09 | 一种基于视频图像的目标分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510012901.7A CN104657741B (zh) | 2015-01-09 | 2015-01-09 | 一种基于视频图像的目标分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104657741A CN104657741A (zh) | 2015-05-27 |
| CN104657741B true CN104657741B (zh) | 2017-11-03 |
Family
ID=53248840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510012901.7A Active CN104657741B (zh) | 2015-01-09 | 2015-01-09 | 一种基于视频图像的目标分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104657741B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309694B (zh) * | 2018-08-09 | 2021-03-26 | 中国人民解放军战略支援部队信息工程大学 | 一种遥感影像主方向确定方法及装置 |
| CN112697068A (zh) * | 2020-12-11 | 2021-04-23 | 中国计量大学 | 一种管状水准泡气泡长度测量方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901486A (zh) * | 2009-11-17 | 2010-12-01 | 华为技术有限公司 | 运动目标检测方法和装置 |
| CN102270346A (zh) * | 2011-07-27 | 2011-12-07 | 宁波大学 | 一种交互式视频中的目标对象的提取方法 |
| CN103559498A (zh) * | 2013-09-24 | 2014-02-05 | 北京环境特性研究所 | 基于多特征融合的快速人车目标分类方法 |
| CN103679690A (zh) * | 2012-09-24 | 2014-03-26 | 中国航天科工集团第二研究院二O七所 | 一种基于分段背景学习的目标检测方法 |
-
2015
- 2015-01-09 CN CN201510012901.7A patent/CN104657741B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101901486A (zh) * | 2009-11-17 | 2010-12-01 | 华为技术有限公司 | 运动目标检测方法和装置 |
| CN102270346A (zh) * | 2011-07-27 | 2011-12-07 | 宁波大学 | 一种交互式视频中的目标对象的提取方法 |
| CN103679690A (zh) * | 2012-09-24 | 2014-03-26 | 中国航天科工集团第二研究院二O七所 | 一种基于分段背景学习的目标检测方法 |
| CN103559498A (zh) * | 2013-09-24 | 2014-02-05 | 北京环境特性研究所 | 基于多特征融合的快速人车目标分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于PCA和图像匹配的飞机识别算法;邵大培等;《中国体现学与图像分析》;20090331;第261页摘要 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104657741A (zh) | 2015-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108550161B (zh) | 一种尺度自适应核相关滤波快速目标跟踪方法 | |
| CN104282020B (zh) | 一种基于目标运动轨迹的车辆速度检测方法 | |
| CN105608456B (zh) | 一种基于全卷积网络的多方向文本检测方法 | |
| CN110310292B (zh) | 一种手腕部参照骨分割方法 | |
| CN106204646A (zh) | 基于bp神经网络的多运动目标跟踪方法 | |
| EP2927871A1 (en) | Method and device for calculating number of pedestrians and crowd movement directions | |
| CN105005992A (zh) | 一种基于深度图的背景建模和前景提取的方法 | |
| CN103559498A (zh) | 基于多特征融合的快速人车目标分类方法 | |
| CN105427346B (zh) | 一种运动目标跟踪方法及系统 | |
| CN106897681A (zh) | 一种遥感图像对比分析方法及系统 | |
| CN107273852A (zh) | 基于机器视觉的手扶电梯楼层板物件及乘客行为检测算法 | |
| CN110006444B (zh) | 一种基于优化混合高斯模型的抗干扰视觉里程计构建方法 | |
| CN109448023B (zh) | 一种卫星视频小目标实时跟踪方法 | |
| CN113177548B (zh) | 一种针对免疫固定电泳的重点区域识别方法 | |
| CN107187980A (zh) | 一种电梯装置中电梯门开合的检测方法及检测装置 | |
| CN112669286A (zh) | 基于红外热像的外墙外保温系统缺陷识别与损伤程度评价方法 | |
| CN103942812A (zh) | 基于混合高斯与边缘检测的运动目标检测方法 | |
| CN104657741B (zh) | 一种基于视频图像的目标分类方法 | |
| CN107093186A (zh) | 基于边缘投影匹配的剧烈运动检测方法 | |
| CN107527356B (zh) | 一种基于懒交互方式的视频跟踪方法 | |
| CN107220992A (zh) | 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法 | |
| CN105913096A (zh) | 一种无序图像关键帧的提取方法 | |
| CN111597992B (zh) | 一种基于视频监控的场景物体异常的识别方法 | |
| CN110751200B (zh) | 一种基于多元高斯的鞋印身高估计方法 | |
| CN110059544B (zh) | 一种基于道路场景的行人检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |