CN102542572B

CN102542572B - 检测视频序列中的移动物体图像的方法以及图像处理系统

Info

Publication number: CN102542572B
Application number: CN201110004495.1A
Authority: CN
Inventors: 黄泰惠; 李宗展; 王文豪
Original assignee: Industrial Technology Research Institute ITRI
Current assignee: Industrial Technology Research Institute ITRI
Priority date: 2010-12-20
Filing date: 2011-01-11
Publication date: 2014-09-17
Anticipated expiration: 2031-01-11
Also published as: US20120154580A1; TWI419082B; CN102542572A; TW201227615A; US8922651B2

Abstract

本公开提供一种检测视频序列中的移动物体图像的方法以及图像处理系统。首先，对一处理中画面以及一参考画面之间的一像素差值画面作像素差值分布分析，以计算一像素差值分布的一熵值，并观察该像素差值分布的一峰值的一水平坐标位置。将该熵值以及该峰值的该水平坐标位置代入经数据库训练所得的一对应式转换规则，以得到一差值临界标准，并依照该差值临界标准将该像素差值画面每一像素区分为前景或背景属性，以得到该处理中画面的移动物体图像位置。

Description

检测视频序列中的移动物体图像的方法以及图像处理系统

技术领域

本公开涉及一种图像处理系统，特别涉及一种检测视频序列中的移动物体的技术。

背景技术

在智能型图像监控系统应用中，移动物体图像检测是一个关系系统效能的核心重要技术。例如，在安全监控领域，移动物体检测机制使监控人员无须全天候盯着众多的摄影机画面即可掌握是否有人员入侵状况。或者，在医疗应用中，具有移动物体检测机制的监控系统得以自动检测病患是否有异常动作，以即时提醒远端照护人员做必要的处置。

在以图像相减为基础的移动物检测技术中，决定像素是否为前景物的差值临界标准扮演着影响效能的关键角色。该差值临界标准可在系统装设时由人工依现场条件设定成一固定值。然而，人工设定除了成本较高之外，且不具有适应环境照明变化的能力，使得可应用的场合受到限制。

为可随环境条件改变而自动设定该差值临界标准，目前已有文献提出利用图像切割估算临界标准的方法，以应用于移动物检测的像素差值画面切割。然而，由于一般图像像素特征分布和移动物检测的像素特征的差值分布有着明显差异，运用一般图像切割的临界标准运算方法通常会降低移动物体检测正确率。

如何使系统可自动设定临界标准但不损及移动物体的检测正确率，为此技术领域亟待解决的问题。

发明内容

本公开提供一种检测视频序列中的移动物体的方法以及采用该方法的图像处理系统。

所述的方法包括对处理中画面以及参考画面之间的一差值画面作像素差值分布分析，以计算像素差值分布的熵值，并观察该像素差值分布的峰值的水平坐标位置；将熵值以及峰值的水平坐标位置代入对应式转换规则，以得到差值临界标准；并且依照差值临界标准将像素差值画面每一像素区分为前景或背景属性，以得到处理中画面的移动物体图像位置。

本公开提供一种图像处理系统，包括：像素差值分布产生模块、熵值计算模块、峰值辨识模块、临界值转换模块，以及前景/背景判断模块。像素差值分布产生模块对处理中画面以及参考画面的像素差值画面作像素差值分布分析，以得像素差值分布。熵值计算模块计算像素差值分布的熵值。峰值辨识模块辨识像素差值分布的峰值的水平坐标位置。临界值转换模块将熵值以及峰值的水平坐标位置代入对应式转换规则，以得到差值临界标准。前景/背景判断模块依照差值临界标准将像素差值画面每一像素划分为前景或背景属性，以得到处理中画面的移动物体图像位置。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合附图，详细说明如下：

附图说明

图1图解本申请所公开的移动物体检测的一前景/背景辨识技术；

图2举例说明一像素差值分布(Hd_t)；

图3图解数据库训练的一种数据收集方式；

图4举例说明数据库训练的一种数据分类方式；

图5图解本申请图像处理系统的一种实施方式。

【主要元件符号说明】

102～像素特征萃取；104～像素差值运算；

106～像素差值分布分析；

108～熵值计算以及峰值位置观察；

110～临界值转换； 112～前景/背景判断；

120～方块，盖括一像素差值分布产生模块的相关程序；

502～方块，盖括像素差值分布产生模块、熵值计算模块、峰值辨识模块、临界值转换模块、以及前景/背景判断模块；

504～规则存储单元；

Bpeak_t～峰值的水平坐标位置；

Bpeak_1...Bpeak_N～训练用差值分布Hd_1...Hd_N的峰值水平坐标位置；

En_t～熵值；

En_1...En_N～训练用差值分布Hd_1...Hd_N的熵值；

Hd_t～像素差值分布；

Hd_1...Hd_N～训练用差值分布；

Id_t～像素差值画面；

Id_1...Id_N～训练用差值画面；

Iref～参考画面； Iref_1...Iref_N～参考画面；

Iref’～参考画面Iref经像素特征萃取后的结果；

Iref’_1...Iref’_N～参考画面Iref_1...Iref_N经像素特征萃取后的结果；

I_t～处理中画面； I_1...I_N～训练画面；

I’_t～处理中画面I_t经像素特征萃取后的结果；

I’_1...I’_N～训练画面I_1...I_N经像素特征萃取后的结果；

Pixel_FG_t～前景像素； Pixel_BG_t～背景像素；

Th_t～差值临界标准；以及

Th_1...Th_N～最佳差值临界标准。

具体实施方式

所公开技术可用于处理一视频序列，区别该视频序列内各画面的前景与背景部分，以辨识该视频序列内的移动物体图像。

图1图解所公开的前景/背景辨识技术，其中，自一视频序列中取得两画面，一为处理中画面I_t(t代表其时序)，另一为参考画面Iref。该参考画面Iref可为该处理中画面I_t的上一张画面(例如，画面时序为t-1)。或者，在视频背景画面为已知的应用场合，也可取已知背景画面作为该参考画面Iref。

该处理中画面I_t以及该参考画面Iref可为摄影机感光装置所接收且尚未经处理的数据(raw data)；两画面I_t与Iref可经由像素特征萃取(pixelfeature extraction)102分别形成画面I’_t以及画面Iref’。像素特征萃取102有多种实施方式；例如，可以萃取三原色(RGB)信息为目的、或以萃取颜色空间(YUV)信息为目的、或以萃取亮度(gray level)信息为目的、或萃取纹理特征(texture)为目的。本发明并不限定以何种像素特征来形成画面I’_t与Iref’。画面I’_t与Iref’可能为三原色格式、颜色空间格式、亮度格式或纹理特征格式...等图像处理领域已知的格式。

该处理中画面I_t经像素特征萃取后所产生的画面I’_t会与该参考画面Iref经像素特征萃取后所产生的画面Iref’进行一像素差值运算104，以产生一像素差值画面Id_t。像素差值运算104有多种实施方式。

以三原色格式的画面I’_t与Iref’为例，画面中坐标(x，y)的像素的像素差值d_t(x，y)需同时考虑三个特征值分量红色(R)、绿色(G)与蓝色(B)数据，可为：

d_t(x，y)＝|I’_t(x，y，R)-Iref’(x，y，R)|

+|I’_t(x，y，G)-Iref’(x，y，G)|+|I’_t(x，y，B)-Iref’(x，y，B)|。

或者，在另一种实施方式中，可还将各颜色分量的差值取平方值后再相加：

d_t(x，y)＝|I’_t(x，y，R)-Iref’(x，y，R)|²

+|I’_t(x，y，G)-Iref’(x，y，G)|²

+|I’_t(x，y，B)-Iref’(x，y，B)|²。

所计算出的像素差值d_t(x，y)将用来组成该像素差值画面Id_t。

至于亮度格式的画面I’_t与Iref’，由于仅有「亮度」一个特征值分量的信息，故画面中坐标(x，y)的像素的像素差值d_t(x，y)可为：

d_t(x，y)＝|I’_t(x，y)-Iref’(x，y)|。

或者，在另一种实施方式中，可还将亮度差值取平方：

d_t(x，y)＝|I’_t(x，y)-Iref’(x，y)|²。

至于采纹理特征的画面I’_t与Iref’，则分别有垂直v与水平h两个方向维度的特征值分量，故坐标(x，y)的像素的像素差值d_t(x，y)可为：

d_t(x，y)＝|I’_t_v(x，y)-Iref’_v(x，y)|+|I’_t_h(x，y)-Iref’_h(x，y)|。

或者，在另一种实施方式中，可还将各纹理方向维度的差值取平方值后再相加：

d_t(x，y)＝|I’_t_v(x，y)-Iref’_v(x，y)|²+|I’_t_h(x，y)-Iref’_h(x，y)|²。

必须声明的是，本发明并不限定以何种像素差值运算产生该像素差值画面Id_t。任何本技术领域已知的像素差值运算都可以用来形成该像素差值画面Id_t。

上述像素差值画面Id_t接下来会被施以一像素差值分布分析106，以得到一像素差值分布Hd_t。图2将该像素差值分布Hd_t以一统计图方式表示。横轴代表不同大小的像素差值d，图中实施例为0～255。纵轴代表各种像素差值的发生机率p(d)。

程序108将对该像素差值分布Hd_t进行一熵值(entropy)计算、以及一峰值位置观察，以得知该像素差值分布Hd_t的一熵值En_t以及一峰值的一水平坐标位置Bpeak_t。以图2的像素差值分布Hd_t为例，熵值En_t可由方程式运算而得，至于峰值的水平坐标位置Bpeak_t则为32。

根据像素差值分布Hd_t的熵值En_t以及峰值的水平坐标位置Bpeak_t，程序110提供一前景/背景的临界值转换，以得到一差值临界标准Th_t。

程序112提供一前景/背景判断，其中，根据该临界值转换110所得到的差值临界标准Th_t，将像素差值画面Id_t区分为两部分：差值小于该差值临界标准Th_t的这些像素组成一第一部分，为背景像素Pixel_BG_t，具有背景属性；且差值大于或等于该差值临界标准Th_t的这些像素组成一第二部分，为前景像素Pixel_FG_t，具有前景属性。对应到处理中画面I_t，背景像素Pixel_BG_t所显示的是背景信息(background)，而前景像素Pixel_FG_t所显示的是前景信息(foreground)。前景信息即有可能就是视频中的移动物体。图1所公开的前景/背景辨识技术将应用于辨识视频序列中的移动物体图像。

关于临界值转换110，有多种实施方式。

在一种实施方式中，可通过一对应规则将差值画面的统计分析数值转换得到一临界标准。临界值转换110即是将程序108所求出的熵值En_t以及峰值的水平坐标位置Bpeak_t代入该对应式转换规则，继而求得该差值临界标准Th_t。

上述对应式转换规则可在产品出厂前由产品开发人员采取数据库训练步骤得到，所得的对应式转换规则是观察自多个训练视频。这些训练视频可涵盖多种环境亮度状况、甚至不同复杂度的图像内容。

图3图解一种数据库训练方式。如图所示，此数据库训练需要从多个训练视频中选择多个训练画面I_1...I_N以及对应的多个参考画面Iref_1...Iref_N，经前述像素特征萃取成画面I’_1...I’_N与画面Iref’_1...Iref’_N后，再藉前述像素差值运算求得多个训练用差值画面Id_1...Id_N。这些训练用差值画面Id_1...Id_N经由前述像素差值分布分析处理后，可得到多个训练用差值分布Hd_1...Hd_N。从差值分布Hd_i(i＝1...N)，可分别计算得到相关的熵值En_i和峰值的水平坐标位置Bpeak_i。此外，以人工寻出最佳差值临界标准Th_i，将训练画面I_i做最佳的移动物图像分离。

在一种实施方式中，会以以下式子求出各个训练用差值分布Hd_i的未偏移差值临界标准UBTh_i：

UBTh_i＝Th_i-Bpeak_i。

将未偏移差值临界标准UBTh_1...UBTh_N与熵值En_1...En_N作一阶线性回归分析，可得到一斜率K，得以用来设定上述对应式转换规则。所述一阶线性回归分析可由以下方程式实现：

K = [\begin{matrix} Σ_{i = 1}^{N} En_i^{2} & - Σ_{i = 1}^{N} En_i \\ - Σ_{i = 1}^{N} En_i & N \end{matrix}] [\begin{matrix} Σ_{i = 1}^{N} UBTh_i \\ Σ_{i = 1}^{N} En_i \cdot UBTh_i \end{matrix}] \cdot \frac{1}{N Σ_{i = 1}^{N} En_i^{2} - {(Σ_{i = 1}^{N} En_i)}^{2}};

且所述的对应式转换规则可为：

Th_t＝K·En_t+Bpeak_t 方程式(1)

参考图1，临界值转换110可将程序108所求得的熵值En_t与峰值的水平坐标位置Bpeak_t代入方程式(1)，即可求得差值临界标准Th_t供后续前景/背景判断112使用。

关于数据库训练，尚有其他实施方式。例如，图3的训练用差值分布Hd_i，i＝1～N可能如图4所示，依照其熵值En_i与未偏移差值临界标准UBTh_i归类为多个群组G_1...G_j...G_M，且同一群组的训练用差值分布Hd_i|_{i∈G_j}，其最佳差值临界标准Thv_i|_{i∈G_j}可能极为近似。本公开的一种实施方式将上述训练用差值分布Hd_i的熵值En_i和未偏移差值临界标准UBTh_i制作成一表格(1ook-up table)，以作为上述对应式转换规则。参考图1，临界值转换110可依照程序108所求得的熵值En_t查阅该表格，即可求得相应的未偏移差值临界标准UBTh_t，再与上述像素差值分布的该峰值的该水平坐标位置Bpeak_t相加，即求得差值临界标准Th_t，供后续前景/背景判断程序112使用。

上述移动物体检测方法可实现在一图像处理系统中。参阅图1，方块120所包括的程序可由一像素差值分布产生模块实现，对处理中画面I_t以及参考画面Iref的一差值画面Id_t作像素差值分布分析，以得一像素差值分布Hd_t。程序108所公开的熵值计算可以一熵值计算模块实现，计算该像素差值分布Hd_t的一熵值En_t。至于程序108所公开的峰值位置观察则可由一峰值辨识模块实现，观察该差值分布Hd_t的一峰值的水平坐标位置Bpeak_t。临界值转换110则可由一临界值转换模块实现，用以根据上述熵值En_t以及峰值的水平坐标位置Bpeak_t得到一差值临界标准Th_t。前景/背景判断程序112可由一前景/背景判断模块实现，依照该差值临界标准Th_t将该像素差值画面Id_t划分为两部分，以分别寻得前景像素Pixel_FG_t以及背景像素Pixel_BG_t，供辨识移动物体使用。

上述各模块可以软件、硬件、或软硬件共同设计方式实现。在某些实施方式中，上述各模块由一嵌入式系统(embedded system)实现。该嵌入式系统可内建于一摄影器材中，使该摄影器材拥有检测视频中移动物体的能力。或者，在医疗或安全监控应用中，上述各模块可由监控设备中的一中控机台实现，使该监控设备具有自动检测移动物体的能力。

此外，图5更图解本申请图像处理系统的一种实施方式，其中，除了实现上述各模块的方块502，更公开一规则存储单元504。该规则存储单元504专门用于存储上述数据库训练所得的结果-例如前述斜率K、或表格。方块502内的临界值转换模块可根据该规则存储单元504的内容估算出上述差值临界标准Th_t，供前景/背景判断模块使用。规则存储单元504可与方块502所示各模块实现在一嵌入式系统上，以内建于一摄影器材中。或者，规则存储单元504可与方块502所示各模块实现于一中控机台上，以实现一监控设备。

虽然本发明已以优选实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可做些许更动与润饰，因此本发明的保护范围当视所附权利要求书所界定者为准。

Claims

1.一种检测视频序列中的移动物体图像的方法，包括：

对一处理中画面以及一参考画面之间的一像素差值画面作像素差值分布分析，以计算一像素差值分布的一熵值，并观察该像素差值分布的一峰值的一水平坐标位置；

将该熵值以及该峰值的该水平坐标位置代入一对应式转换规则，以得到一差值临界标准；以及

依照该差值临界标准将该像素差值画面每一像素区分为前景或背景属性，以得到该处理中画面的移动物体图像位置。

2.如权利要求1所述的方法，其中上述像素差值画面中各个像素差值的产生步骤包括：

对该处理中画面的一像素和该参考画面相应位置像素的至少一个特征值分量分别做减法运算并取绝对值或平方值后累加，以得到上述像素差值。

3.如权利要求1所述的方法，其中上述对应式转换规则是以熵值和峰值的水平坐标为两输入变数，以函数关系转换得该差值临界标准。

4.如权利要求3所述的方法，其中上述以该对应式转换规则得到该差值临界标准的步骤包括：

以一预设的斜率常数值乘以该熵值、再与上述像素差值分布的该峰值的该水平坐标位置相加，即求得上述差值临界标准。

5.如权利要求1所述的方法，其中上述对应式转换规则以一预设表格代表熵值和未偏移差值临界标准的对应关系。

6.如权利要求5所述的方法，其中上述以该对应式转换规则得到该差值临界标准的步骤包括：

根据上述像素差值分布的上述熵值查阅该表格，得到对应的未偏移差值临界标准，再与上述像素差值分布的该峰值的该水平坐标位置相加，即求得上述差值临界标准。

7.一种图像处理系统，用以检测视频序列中的移动物体，其中包括：

一像素差值分布产生模块，对一处理中画面以及一参考画面的一像素差值画面作像素差值分布分析，以得一像素差值分布；

一熵值计算模块，计算该像素差值分布的一熵值；

一峰值辨识模块，辨识该像素差值分布的一峰值的一水平坐标位置；

一临界值转换模块，将该熵值以及该峰值的该水平坐标位置代入一对应式转换规则，以得到一差值临界标准；以及

一前景/背景判断模块，依照该差值临界标准将该像素差值画面每一像素划分为前景或背景属性，以得到该处理中画面的移动物体图像位置。

8.如权利要求7所述的图像处理系统，其中包括一嵌入式系统，用以实现上述差值分布产生模块、熵值计算模块、峰值辨识模块、临界值转换模块、以及前景/背景判断模块。

9.如权利要求8所述的图像处理系统，还包括一摄影器材，该摄影器材具有上述嵌入式系统。

10.如权利要求7所述的图像处理系统，其中包括一中控机台，用以实现上述差值分布产生模块、熵值计算模块、峰值辨识模块、临界值转换模块、以及前景/背景判断模块。

11.如权利要求10所述的图像处理系统，其中包括一监控设备，该监控设备包括上述中控机台。

12.如权利要求7所述的图像处理系统，还包括：

一规则存储单元，存储一斜率，该斜率定义该对应式转换规则；

其中，该临界值转换模块会自该规则存储单元读取该斜率，并将该熵值乘以该斜率后加上该峰值的该水平坐标位置，即求得上述差值临界标准。

13.如权利要求7所述的图像处理系统，还包括：

一规则存储单元，存储一表格，该表格实现该对应式转换规则；

其中，该临界值转换模块会根据该熵值查询该规则存储单元所存储的该表格，所得到的输出值与该峰值的该水平坐标位置相加，即求得上述差值临界标准。