CN104036490A - 适用于移动通信网络传输中的前景分割方法 - Google Patents

Abstract

本发明提出了一种适用于移动通信网络传输中的前景分割方法，属于图像处理和通信网络传输领域；预存五张拍摄时间间隔与运行时图像采集间隔一致的背景模板，在粗检出目标的情况下使用前四张背景再次进行精检；计算监测图像与背景图像间的差异区域面积判断是否有目标进入，不存在目标时无需传输该幅图像，存在目标时分割出目标区域，并仅传输目标区域；服务器将接收到的目标区域融合在预存的背景图像中进行视频播放或图像展示；拍照模式下为避免经过行人被判为障碍物，根据场景长度、人步行速度和监控拍照频率，设定当第三次提取出目标时方传输至服务器；每次采集分割周期结束后及时进行背景更替，使用缓慢过渡的方式克服光线等环境变化造成的干扰。

Description

适用于移动通信网络传输中的前景分割方法

技术领域

本发明涉及一种前景分割方法，属于图像处理和移动通信网络传输领域，尤其是一种适用于移动通信网络传输中的前景分割方法。

背景技术

现代都市中，视频监控普及到人们生活的方方面面，电梯、消防通道、车库等场景随处可见其身影，传统的监控设施都使用有线方式传输信息，而随着3G、4G网络的广泛应用，以3G等移动通信技术传输监控视频将成为未来的一大趋势。然而视频监控产生的数据量巨大，若用于3G传输中，需要占据极大的带宽，消耗大量流量，且对3G信号的稳定度有一定要求。为了降低数据量，传统的方法主要是以MPEG和H26X等标准对视频进行压缩。但两种方案的效果都不尽如人意，究其原因，是由于无线信道的带宽有限，且本身具有误码随机性。因此，本发明绕开压缩视频这条道路，引入前景分割方法来降低监控视频或图像的数据量。

前景分割是指在图像序列中将目标区域从背景图像中分割出来，作为整个视频监控系统的底层，前景分割是后续各种高级应用的基础，已经成为这一领域的研究热点。目前经典的前景分割算法包括背景差法、帧差法和光流法三类，从电梯轿厢和消防通道应用场景的角度来看，背景差法比起光流法来说计算简单，更适合嵌入式终端应用，且不存在帧差法中由于目标的运动而检测出比实际目标面积更大的区域，是较为适合的前景分割算法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种适用于移动通信网络传输中的前景分割方法。

本发明公开一种适用于移动通信网络传输中的前景分割方法，其关键在于，包括如下步骤：

步骤1，在应用场景中部署监测设备，所述监测设备预存储N张空背景图，用于匹配精确检查，N为正整数；

步骤2，视频模式下，所述监测设备对目标场景进行拍摄获取视频，利用迭代法建立背景图像模型；

步骤3，在监测设备的当前背景中，将待分割的图像与背景图像进行亮度均衡；

步骤4，将待分割图像与背景图像作灰度差，对灰度差值图像计算连通域，消除阴影，初步判断是否存在目标；

步骤5，精检判断目标是否真实存在，提取目标区域，判断是否需要传输目标区域；

步骤6，将存在的目标通过通信网络传输到接收设备，所述接收设备接收到目标区域图像后，存储目标图像，进行示警，并将目标图像与预存的背景图像进行融合展示；

步骤7，采集周期结束后，自动更替背景图像。

上述技术方案的有益效果为：预存N张拍摄时间间隔与运行时图像采集间隔一致的背景模板，在粗检出目标的情况下使用前四张背景模板再次进行精检，可以有效降低对目标的误判率。

考虑嵌入式终端性能有限，且目的着重于障碍物检测及提取的应用场景，提出以拍照模式获取图像的方式，设定合适的拍照频率便能在可容忍的时间延迟下检测到障碍物。此种方式显著减少了后期分割的次数，极大地节约了系统开销，适用于处理能力和存储容量有限的终端。

用背景差值图像的最大连通域面积大小来反映监控图像与背景图像的差异度，以此判断是否有目标进入监测领域，没有目标进入时可不传输该幅图像，有目标进入时则将其提取并仅传输目标区域。由此大大节省了待传输的数据量，对于移动通讯传输环境来说节约了带宽和流量费用，也可减少移动通讯信号不稳定时的传输压力。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤1包括：

预存N张不同时刻拍摄的空背景图像，空背景图像采集的时间间隔与监测设备实际运行时的采集间隔一致，在视频模式下则为视频片段截取的时间间隔。

上述技术方案的有益效果为：预存N张拍摄时间间隔与运行时图像采集间隔一致的背景模板，在粗检出目标的情况下使用前四张背景模板再次进行精检，可以有效降低对目标的误判率。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤2包括：

步骤2-1，在拍摄过程中，每隔固定的时间间隔截取一段视频，以便后期对帧图像进行分割；

步骤2-2，将预存的N张空背景图都与截取视频片段的每一帧依次进行迭代，迭代系数0＜γ＜1，建立起新的背景模。

上述技术方案的有益效果为：通过迭代法建立北京模型之后，能够降低背景模型信噪比，以此消除光线和噪声干扰引起的细微差异，使得作背景差时提取出更为精准的目标区域。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤3包括：

步骤3-1，将待分割图像与背景模板进行亮度均衡，以提升前景分割的正确率；

步骤3-2，将待分割图像与背景图像都转化到HSV模型下，待分割图像各像素亮度值为VF，背景图像各像素亮度值为VB，求待分割图像亮度平均值为averVF，背景图像亮度平均值为averVB，然后调整待分割图像各像素亮度值VF为(averVF/averVB)*VB。

上述技术方案的有益效果为：通过上述方法进行亮度均衡操作。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤4包括：

步骤4-1，将待分割图像的RGB图定义为rgbF和背景图像的RGB图定义为rgbB，分别转化为待分割图像灰度图grayF和背景图像灰度图grayB，将grayF和grayB作差得差值图像diff，对diff进行归一化，并根据系统时间白天或夜晚，取不同的阈值进行二值化，对得到的二值图像diff进行排查，消除阴影；

步骤4-2，根据diff中标示的差值区域位置，在待分割图像的RGB图rgbF中对连通域的每个像素点进行排查，每个像素点的R、G、B初始值分别设为rF、gF、bF，该点经调整后的R、G、B值分别设为rNormF、gNormF、bNormF，该点三通道累加值为sumF＝rF+gF+bF，调整方式为rNormF＝rF/sumF，gNormF＝gF/sumF，bNormF＝bF/sumF；

步骤4-3，对背景图像的RGB图rgbB调整得背景图像各像素点三基色R、G、B调整后的值rNormB、gNormB、bNormB，三个通道的单通道差值分别为rNormF-rNormB、gNormF-gNormB、bNormF-bNormB，累加各通道差值得总差值Minus，再计算各通道差值的平方和Sigma，当单通道差值、总差值Minus和差值平方和Sigma均在阈值范围内，则该点为阴影而非真实目标区域，进行剔除；

步骤4-4，阴影点剔除完毕后，剩余的差值区域便是可能的目标区域，对差值图像进行连通域分析，计算出diff中每个连通域的面积和坐标，若有面积大于面积阈值的连通域，则视为该幅待分割图像中出现目标，须进行精检进一步确定检测结果是否正确；反之则说明没有目标进入，无需传输该幅图像，所述面积阈值根据图像尺寸和场景下可能出现的目标类型而定，通常为全图面积的1/20。

上述技术方案的有益效果为：服务器接收到目标区域后，根据其坐标信息将目标图像融合到服务器预存的背景图像中，在电梯应用场景下能以极低的数据传输量代价来维持监控视频播放的连续性，在消防通道应用场景下可在存储障碍物的同时直观展示当前障碍物在场景中所处的位置。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤4包括：

采用八连通方式，每个像素点的R、G、B中，即以所述R、G、B像素点为原点，八个方向均连通方算作连通域。

上述技术方案的有益效果为：阴影点剔除完毕后，剩余的差值区域便是可能的目标区域，对差值图像进行连通域分析。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤4包括：

单通道差值阈值设为0.02，总差值阈值设为(-100，100)，差值平方和阈值设为(100，20000)。

上述技术方案的有益效果为：如果该点为阴影而非真实目标区域，进行剔除。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤5包括：

步骤5-1，若粗检结果中判断存在目标区域，将前N-1张背景图像依次与待分割图像进行比对精检，得到判断存在目标的背景图像数量n，若n/N≥80％，认定该待分割图像中的确存在目标，再对粗检中判断出的目标区域进行提取和暂存；

步骤5-2，对粗检中判断出的目标区域进行提取，提取方式分为方框提取和目标提取两种，方框提取根据目标连通域的坐标和大小，划定出刚好包含目标连通域在内的最小方框，提取方框内的所有图像，目标提取也划定出包含目标的最小方框，但仅保留连通域区域，方框内非目标区域置为0；

步骤5-3，消防通道应用场景下，提取和暂存目标区域后，继续采集并检测图像，当第三次提取出相同面积和坐标的目标区域时，认定该目标区域的确为停留的障碍物而非过路车辆行人，此时需要传输暂存的目标区域。

上述技术方案的有益效果为：提取方框内的所有图像，后者也划定出包含目标的最小方框，但仅保留连通域区域，对目标区域进行判定。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤6包括：

步骤6-1，目标区域经移动通信网络传输到服务器，与预存的背景图像进行融合；

步骤6-2，当采用方框式提取时，根据方框的起始坐标，在背景图像的相应位置上替换掉与其同样面积的区域，得到融合后的图像；而当采用目标式提取时，遍历目标区域，为0的像素点使用预存背景值，非0的点使用目标区域值；

步骤6-3，在电梯轿厢应用场景中为实时监控，，持续播放融合后的视频；在消防通道应用场景中为障碍物检测，在显示融合后的图像之余需存储目标图像并示警。

上述技术方案的有益效果为：为实现电梯轿厢的实时监控和消防通道的障碍物检测使用上述方法进行目标判断。

所述的适用于移动通信网络传输中的前景分割方法，优选的，所述步骤7包括：

步骤7-1，视频模式下，当该段视频的所有帧都处理完毕后，若存在无目标进入的帧，则将预存的N张背景模板中的第一张删除，将第二张存为第一张，第三张存为第二张，......，第N张存为第N-1张，最后将该段视频中最末一帧没有目标进入的图像更新为预存背景模板中的第N张，完成N张模板的更替；

若该段视频中的每一帧都存在目标，则不进行背景更替；

步骤7-2，拍照模式下，当拍摄的该幅图像中无目标进入，则同步骤7-1将其更新为预存背景模板中的第N张，完成N张模板的更替，若该幅图像中存在目标，则不进行背景更替。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、预存N张拍摄时间间隔与运行时图像采集间隔一致的背景模板，在粗检出目标的情况下使用前四张背景模板再次进行精检，可以有效降低对目标的误判率。

2、考虑嵌入式终端性能有限，且目的着重于障碍物检测及提取的应用场景，提出以拍照模式获取图像的方式，设定合适的拍照频率便能在可容忍的时间延迟下检测到障碍物。此种方式显著减少了后期分割的次数，极大地节约了系统开销，适用于处理能力和存储容量有限的终端。

3、用背景差值图像的最大连通域面积大小来反映监控图像与背景图像的差异度，以此判断是否有目标进入监测领域，没有目标进入时可不传输该幅图像，有目标进入时则将其提取并仅传输目标区域。由此大大节省了待传输的数据量，对于3G传输环境来说节约了带宽和流量费用，也可减少3G信号不稳定时的传输压力。

4、服务器接收到目标区域后，根据其坐标信息将目标图像融合到服务器预存的背景图像中，在电梯应用场景下能以极低的数据传输量代价来维持监控视频播放的连续性，在消防通道应用场景下可在存储障碍物的同时直观展示当前障碍物在场景中所处的位置。

5、在以消防通道为应用场景时，考虑到会有人经过消防通道的情况，因此根据通道长度、人步行速度和拍照的频率，设定当第三次能提取出目标时方传输至服务器进行示警，避免了人经过消防通道时被当作障碍物进行误报。

6、每次采集分割周期结束后及时对预存的背景模板进行更替，可以以缓慢过渡的方式克服光线、天气、季节等带来的各种场景变化。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明适用于移动通信网络传输中的前景分割的系统模块图；

图2是本发明适用于移动通信网络传输中的前景分割方法的目标检测流程图；

图3是本发明适用于移动通信网络传输中的前景分割采用视频模式具体流程图；

图4是本发明适用于移动通信网络传输中的前景分割采用拍照模式具体流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，是本发明适用于移动通信网络传输中的前景分割的系统模块图；

本发明以应用在电梯轿厢和消防通道环境中的嵌入式终端为例，主要实现了监控端的目标提取和流量节省，在3G传输中极富意义。其中，本发明考虑到不同的应用场景和不同的实施目标，设计了视频摄录和照片拍摄两种图像采集模式。当嵌入式终端处理性能和存储容量较高，应用目的为在实时监控中节省流量时，可使用视频摄录模式；而当终端性能有限，应用目的为目标检测时，可使用照片拍摄模式。

如图2所示，本发明公开一种适用于移动通信网络传输的前景分割方法，包括：

步骤1，在电梯轿厢和消防通道等应用场景下进行部署，在监测端和接收端预存背景图像，其中监测端需预存五张不同时刻拍摄的空背景图用于后续精检。

步骤2，监测端对目标场景进行拍摄，获取视频或图像；

步骤3，迭代法建背景模；

步骤4，选取第五张预存图为当前背景，将待分割的图像与其进行亮度均衡；

步骤5，将待分割图像作背景差，对差值图像计算连通域，消除阴影，判断是否存在目标。

步骤6，若存在目标，则将该幅待分割图像与预存的前四张背景模板逐一比对精检，若的确存在目标，提取出目标区域；

步骤7，判断是否有必要传输目标区域；

步骤8，传输到服务器，服务器接收到目标区域图像后，存储目标图像，进行示警，并将目标图像与预存的背景图像进行融合展示；

步骤9，系统完成一次采集周期后，若未检测到目标，则利用采集的图像更替背景模板。

如图3所示，当采用视频摄录模式时，以电梯轿厢应用场景为例，该适用于3G网络的前景分割方法由以下步骤组成：

S1、在电梯轿厢内适当位置安装固定的摄像头，采集并预存背景图像。为了克服光照变化引起的干扰，预存五张不同时刻拍摄的空背景图像，用于S6中精检。五张空背景图像采集的时间间隔与实际运行时的采集间隔一致，在视频模式下则为视频片段截取的时间间隔。

S2、监控摄像头持续拍摄QCIF格式视频。在拍摄过程中，每隔固定的时间间隔截取一段视频，以便后期对帧图像进行分割。

QCIF是视频监控中常用的数据格式，在数据量低的基础上回放图像质量相对较好。本发明综合考虑摄像机帧率、视频格式、终端存储容量和计算能力、3G传输速度等因素，选取适当的时间间隔，在完成特定场景目标的前提下，尽量减少分割图像的次数，来降低系统开销。在电梯轿厢中，由于目标进出运动频繁，为了及时获取含目标在内的图像，建议视频时间间隔为3s以内。

S3、将用于该时段的预存背景图像与视频片段迭代建背景模。

考虑到预存的背景图像和拍摄图像之间会有细微的光线变化，视频拍摄时也会有一定的噪声干扰，因此将预存的五张背景图像都与截取视频片段的每一帧依次进行迭代，迭代系数取0.99，建立起新的背景模，以此消除光线和噪声干扰引起的细微差异，使得作背景差时提取出更为精准的目标区域。

S4、取预存的第五张背景模板作为当前背景模板，将视频的每一帧都作为待分割图像与其进行比对。首先将待分割图像与背景模板进行亮度均衡，以提升前景分割的正确率，同时改善后期融合时与背景图像的亮度差异，提升视觉效果。

亮度均衡的操作方式为：将待分割图像与背景图像都转化到HSV(色相、饱和度、明度)模型下，待分割图像各像素亮度值为VF，背景图像各像素亮度值为VB。首先求待分割图像亮度平均值为averVF，背景图像亮度平均值为averVB，然后调整VF为(averVF/averVB)*VB。

S5、待分割图像与背景图像作灰度差，对差值区域在RGB模型下进行阴影消除，并进行连通域分析确定是否存在目标区域。

将待分割图像和背景图像的RGB图rgbF和rgbB分别转化为灰度图grayF和grayB，将grayF和grayB作差得差值图像diff。对diff进行归一化，并根据系统时间白天或夜晚，取不同的阈值进行二值化。通常情况下，二值化阈值白天取0.6，夜晚取0.3。对得到的二值图像diff进行排查，消除阴影。

根据diff中标示的差值区域位置，在待分割图像的RGB图rgbF中对连通域的每个像素点进行排查。每个像素点的R、G、B初始值分别设为rF、gF、bF，该点经调整后的R、G、B值分别设为rNormF、gNormF、bNormF，该点三通道累加值为sumF＝rF+gF+bF，调整方式为rNormF＝rF/sumF，gNormF＝gF/sumF，bNormF＝bF/sumF。对背景图像的RGB图rgbB同理调整得背景图像各像素点R、G、B调整后的值rNormB、gNormB、bNormB。三个通道的单通道差值分别为rNormF-rNormB、gNormF-gNormB、bNormF-bNormB，累加各通道差值得总差值Minus，再计算各通道差值的平方和Sigma。当单通道差值、总差值Minus和差值平方和Sigma均在阈值范围内，则说明该点为阴影而非真实目标区域，进行剔除。通常情况下，单通道差值阈值设为0.02，总差值阈值设为(-100，100)，差值平方和阈值设为(100，20000)。

阴影点剔除完毕后，剩余的差值区域便是可能的目标区域，对差值图像进行连通域分析。本发明采用八连通方式，即以该像素点为原点，八个方向均连通方算作连通域。计算出diff中每个连通域的面积和坐标。若有面积大于阈值的连通域，则视为该幅待分割图像中出现目标，须进行精检进一步确定检测结果是否正确。反之则说明没有目标进入，无需传输该幅图像。面积阈值与场景中可能出现的目标种类有关，在电梯应用场景下考虑到目标通常为近距离拍摄的人物，因此面积阈值定为图像面积的20％。

S6、将粗检出目标的图像与预存的前四张背景模板逐一进行比对精检，若确实存在目标，则提取目标区域。

与预存前四张背景进行比对的方法同S4、S5，若检测结果中有三张及以上判断存在目标区域，则说明存在目标的概率已经超过了80％，可以认定该待分割图像中的确存在目标，再对粗检中判断出的目标区域进行提取，以此来降低误报率。

提取方式分为方框提取和目标提取两种，前者根据目标连通域的坐标和大小，划定出刚好包含目标连通域在内的最小方框，提取方框内的所有图像，后者也划定出包含目标的最小方框，但仅保留连通域区域，方框内非目标区域置为0。

S7、将提取出来的目标区域图像传送到服务器。

为了保证视频传输的实时性，视频传输主要采用RTP/RTCP协议进行传输，RTP(实时传输协议)是一个网络传输协议，针对Internet上的多媒体数据流,它主要用于UDP(用户数据包协议)上的传输。而实时传输控制协议RTCP(实时传输控制协议)主要负责管理传输质量在当前应用进程之间交换控制信息，在RTP会话期间，各参与者周期性地传送RTCP包，包中含有各种服务器所需的信息。因此，一般将RTP和RTCP配合使用，能实现有效的反馈和最小的开销使得传输效率最佳化。

S8、服务器接收到目标图像后，将其融合到预存的背景图像中，并显示融合后的图像。

当采用方框式提取时，根据方框的起始坐标，在背景图像的相应位置上替换掉与其同样面积的区域，得到融合后的图像。而当采用目标式提取时，遍历目标区域，为0的像素点使用预存背景值，非0的点使用目标区域值。

在电梯轿厢应用场景中本发明的目的是实时监控，服务器无需存储目标图像，持续显示融合后的图像即可。

S9、该段视频所有帧已经处理完毕后，若存在无目标进入的帧，则进行背景图像的自动更替。

应用场景随着时间的推移会出现细微变化，在电梯轿厢中可表现为光线的缓慢变化、悬挂广告的更换、轿厢壁涂层的划损剥落等。为了使这种变化不至影响前景分割的效果，本发明设置一种背景图像自动更替机制。由于采集视频的间隔为3s，当该段视频的所有帧都处理完毕后，若存在无目标进入的帧，则将预存的五张背景模板中的第一张删除，将第二张存为第一张，第三张存为第二张，以此类推，最后将该段视频中最末一帧没有目标进入的图像更新为预存背景模板中的第五张，完成五张模板的更替。若该段视频中的每一帧都存在目标，则不进行背景更替。

如图4所示，当使用照片拍摄模式时，以消防通道应用场景为例，该适用于移动通信网络传输中的前景分割由以下步骤组成：

P_S1、在消防通道壁上适当位置架设固定的摄像头，采集并预存背景图像。为了克服光照变化引起的干扰，预存五张不同时刻拍摄的空背景图像，用于S6中精检。五张空背景图像采集的时间间隔与实际运行时的采集间隔一致，在照相模式下则为拍摄图像的时间间隔。

P_S2、监控摄像头以固定时间间隔拍摄照片。

本发明综合考虑终端存储容量和计算能力、3G传输速度等因素，选取适当的时间间隔进行拍照，在确保拍摄到目标的前提下，尽量减少分割图像的次数，以此来降低系统开销。以消防通道中的应用为例，由于目标进出频率相对较低，为了减少待处理图像的数量，建议拍摄间隔时间为30s左右。

P_S3、取预存的第五张背景模板作为当前背景模板，将待分割图像与其进行亮度均衡，以提升前景分割的正确率，同时改善后期融合时与背景图像的亮度差异，提升视觉效果。

亮度均衡的操作方式为：将待分割图像与背景图像都转化到HSV模型下，待分割图像各像素亮度值为VF，背景图像各像素亮度值为VB。首先求待分割图像亮度平均值为averVF，背景图像亮度平均值为averVB，然后调整VF为(averVF/averVB)*VB。

P_S4、待分割图像与背景图像作灰度差，对差值区域在RGB模型下进行阴影消除，并进行连通域分析确定是否存在目标区域。

将待分割图像和背景图像的RGB图rgbF和rgbB分别转化为灰度图grayF和grayB，将grayF和grayB作差得差值图像diff。对diff进行归一化，并根据系统时间白天或夜晚，取不同的阈值进行二值化。通常情况下，二值化阈值白天取0.6，夜晚取0.3。对得到的二值图像diff进行排查，消除阴影。

根据diff中标示的差值区域位置，在待分割图像的RGB图rgbF中对连通域的每个像素点进行排查。每个像素点的R、G、B初始值分别设为rF、gF、bF，该点经调整后的R、G、B值分别设为rNormF、gNormF、bNormF，该点三通道累加值为sumF＝rF+gF+bF，调整方式为rNormF＝rF/sumF，gNormF＝gF/sumF，bNormF＝bF/sumF。对背景图像的RGB图rgbB同理调整得背景图像各像素点R、G、B调整后的值rNormB、gNormB、bNormB。三个通道的单通道差值分别为rNormF-rNormB、gNormF-gNormB、bNormF-bNormB，累加各通道差值得总差值Minus，再计算各通道差值的平方和Sigma。当单通道差值、总差值Minus和差值平方和Sigma均在阈值范围内，则说明该点为阴影而非真实目标区域，进行剔除。通常情况下，单通道差值阈值设为0.02，总差值阈值设为(-100，100)，差值平方和阈值设为(100，20000)。

阴影点剔除完毕后，剩余的差值区域可认为是目标区域，对差值图像进行连通域分析。本发明采用八连通方式，即以该像素点为原点，八个方向均连通方算作连通域。计算出diff中每个连通域的面积和坐标，若有面积大于阈值的连通域，则视为该幅待分割图像中出现目标，须进行精检进一步确定检测结果是否正确。反之则说明没有目标进入，无需传输该幅图像。面积阈值与场景中可能出现的目标种类有关，在消防通道应用场景下考虑到目标通常为中等距离拍摄的车辆、人物和废弃垃圾等物品，因此面积阈值定为图像面积的5％。

P_S5、将粗检出目标的图像与预存的前四张背景模板逐一进行比对精检，若确实存在目标，则提取目标区域。

与预存前四张背景进行比对的方法同P_S4、P_S5，若检测结果中有三张及以上判断存在目标区域，则说明存在目标的概率已经超过了80％，可以认定该待分割图像中的确存在目标，再对粗检中判断出的目标区域进行提取，以此来降低误报率。

提取方式分为方框提取和目标提取两种，前者根据目标连通域的坐标和大小，划定出包含目标在内的最小方框，提取方框内的所有图像，后者也划定出包含目标的最小方框，但仅保留连通域区域，方框内非目标区域置为0。

P_S6、判断是否应传输目标区域

消防通道中有时会有车辆行人经过，此时若拍摄到了含过路车辆行人的图像，分割出目标，则不应作为停留在通道内的障碍物进行传输。考虑到30s的照片拍摄间隔，消防通道的长度、车辆和行人的通过速度，当第一次提取出目标区域时，暂存目标，重复P_S1-P_S4三次，若第三次依然能够提取出相同面积的目标区域，可以认为该目标确实是停在消防通道里的障碍物，此时再将第三次提取出的目标区域图像进行传输。

P_S7、将提取出来的目标区域图像经3G网络通过RTP/RTCP协议传送到服务器，以保证视频数据传输的实时性；

P_S8、服务器接收到目标图像后，将其融合到预存的背景图像中，存储目标图像并示警。

当采用方框式提取时，根据方框的起始坐标，在背景图像的相应位置上替换掉与其同样面积的区域，得到融合后的图像。而当采用目标式提取时，遍历目标区域，为0的像素点使用预存背景值，非0的点使用目标区域值。

在消防通道应用场景中本发明的目的是障碍物检测和提取，当服务器收到目标图像时，则表示通道中出现障碍物，因此存储障碍物图像，显示融合图像并示警。

P_S9、待分割图像中不存在目标时，进行背景图像的自动更替。

应用场景随着时间的推移会出现细微变化，在消防通道中可表现为光线天气、季节变化引起的场景改变等。为了使这种变化不至影响前景分割的效果，本发明设置一种背景图像自动更替机制。由于拍摄图像的时间间隔为30s，当该幅图像未检测出障碍物目标时，则将预存的五张背景模板中的第一张删除，将第二张存为第一张，第三张存为第二张，以此类推，最后将该图像更新为预存背景模板中的第五张，完成五张模板的更替。若该幅图像中已检测出障碍物，则不进行背景更替。

因此，本发明在经典背景差法的基础上，提出了一种适用于移动通信网络传输中的前景分割方法，能够在准确提取监控目标的前提下，有效降低数据量，适合嵌入式终端应用，在实时监控和目标检测等应用领域均颇具意义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种适用于移动通信网络传输中的前景分割方法，其特征在于，包括如下步骤：

步骤1，在应用场景中部署监测设备，所述监测设备预存储N张空背景图，用于匹配精确检查，N为正整数；

步骤2，视频模式下，所述监测设备对目标场景进行拍摄获取视频，利用迭代法建立背景图像模型；

步骤3，在监测设备的当前背景中，将待分割的图像与背景图像进行亮度均衡；

步骤4，将待分割图像与背景图像作灰度差，对灰度差值图像计算连通域，消除阴影，初步判断是否存在目标；

步骤5，精检判断目标是否真实存在，提取目标区域，判断是否需要传输目标区域；

步骤6，将存在的目标通过通信网络传输到接收设备，所述接收设备接收到目标区域图像后，存储目标图像，进行示警，并将目标图像与预存的背景图像进行融合展示；

步骤7，采集周期结束后，自动更替背景图像。

2.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤1包括：

预存N张不同时刻拍摄的空背景图像，空背景图像采集的时间间隔与监测设备实际运行时的采集间隔一致，在视频模式下则为视频片段截取的时间间隔。

3.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤2包括：

步骤2-1，在拍摄过程中，每隔固定的时间间隔截取一段视频，以便后期对帧图像进行分割；

步骤2-2，将预存的N张空背景图都与截取视频片段的每一帧依次进行迭代，迭代系数0＜γ＜1，建立起新的背景模。

4.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤3包括：

步骤3-1，将待分割图像与背景模板进行亮度均衡，以提升前景分割的正确率；

步骤3-2，将待分割图像与背景图像都转化到HSV模型下，待分割图像各像素亮度值为VF，背景图像各像素亮度值为VB，求待分割图像亮度平均值为averVF，背景图像亮度平均值为averVB，然后调整待分割图像各像素亮度值VF为(averVF/averVB)*VB。

5.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤4包括：

步骤4-1，将待分割图像的RGB图定义为rgbF和背景图像的RGB图定义为rgbB，分别转化为待分割图像灰度图grayF和背景图像灰度图grayB，将grayF和grayB作差得差值图像diff，对diff进行归一化，并根据系统时间白天或夜晚，取不同的阈值进行二值化，对得到的二值图像diff进行排查，消除阴影；

步骤4-2，根据diff中标示的差值区域位置，在待分割图像的RGB图rgbF中对连通域的每个像素点进行排查，每个像素点的R、G、B初始值分别设为rF、gF、bF，该点经调整后的R、G、B值分别设为rNormF、gNormF、bNormF，该点三通道累加值为sumF＝rF+gF+bF，调整方式为rNormF＝rF/sumF，gNormF＝gF/sumF，bNormF＝bF/sumF；

步骤4-3，对背景图像的RGB图rgbB调整得背景图像各像素点三基色R、G、B调整后的值rNormB、gNormB、bNormB，三个通道的单通道差值分别为rNormF-rNormB、gNormF-gNormB、bNormF-bNormB，累加各通道差值得总差值Minus，再计算各通道差值的平方和Sigma，当单通道差值、总差值Minus和差值平方和Sigma均在阈值范围内，则该点为阴影而非真实目标区域，进行剔除；

步骤4-4，阴影点剔除完毕后，剩余的差值区域便是可能的目标区域，对差值图像进行连通域分析，计算出diff中每个连通域的面积和坐标，若有面积大于面积阈值的连通域，则视为该幅待分割图像中出现目标，须进行精检进一步确定检测结果是否正确；反之则说明没有目标进入，无需传输该幅图像，所述面积阈值根据图像尺寸和场景下可能出现的目标类型而定，通常为全图面积的1/20。

6.根据权利要求5所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤4包括：

采用八连通方式，每个像素点的R、G、B中，即以所述R、G、B像素点为原点，八个方向均连通方算作连通域。

7.根据权利要求5所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤4包括：

单通道差值阈值设为0.02，总差值阈值设为(-100，100)，差值平方和阈值设为(100，20000)。

8.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤5包括：

步骤5-1，若粗检结果中判断存在目标区域，将前N-1张背景图像依次与待分割图像进行比对精检，得到判断存在目标的背景图像数量n，若n/N≥80％，认定该待分割图像中的确存在目标，再对粗检中判断出的目标区域进行提取和暂存；

步骤5-2，对粗检中判断出的目标区域进行提取，提取方式分为方框提取和目标提取两种，方框提取根据目标连通域的坐标和大小，划定出刚好包含目标连通域在内的最小方框，提取方框内的所有图像，目标提取也划定出包含目标的最小方框，但仅保留连通域区域，方框内非目标区域置为0；

步骤5-3，消防通道应用场景下，提取和暂存目标区域后，继续采集并检测图像，当第三次提取出相同面积和坐标的目标区域时，认定该目标区域的确为停留的障碍物而非过路车辆行人，此时需要传输暂存的目标区域。

9.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤6包括：

步骤6-1，目标区域经移动通信网络传输到服务器，与预存的背景图像进行融合；

步骤6-2，当采用方框式提取时，根据方框的起始坐标，在背景图像的相应位置上替换掉与其同样面积的区域，得到融合后的图像；而当采用目标式提取时，遍历目标区域，为0的像素点使用预存背景值，非0的点使用目标区域值；

步骤6-3，在电梯轿厢应用场景中为实时监控，，持续播放融合后的视频；在消防通道应用场景中为障碍物检测，在显示融合后的图像之余需存储目标图像并示警。

10.根据权利要求1所述的适用于移动通信网络传输中的前景分割方法，其特征在于，所述步骤7包括：

步骤7-1，视频模式下，当该段视频的所有帧都处理完毕后，若存在无目标进入的帧，则将预存的N张背景模板中的第一张删除，将第二张存为第一张，第三张存为第二张，......，第N张存为第N-1张，最后将该段视频中最末一帧没有目标进入的图像更新为预存背景模板中的第N张，完成N张模板的更替；

若该段视频中的每一帧都存在目标，则不进行背景更替；

步骤7-2，拍照模式下，当拍摄的该幅图像中无目标进入，则同步骤7-1将其更新为预存背景模板中的第N张，完成N张模板的更替，若该幅图像中存在目标，则不进行背景更替。