CN102024146B - 猪舍监控视频中前景提取方法 - Google Patents

猪舍监控视频中前景提取方法 Download PDF

Info

Publication number
CN102024146B
CN102024146B CN2010105775164A CN201010577516A CN102024146B CN 102024146 B CN102024146 B CN 102024146B CN 2010105775164 A CN2010105775164 A CN 2010105775164A CN 201010577516 A CN201010577516 A CN 201010577516A CN 102024146 B CN102024146 B CN 102024146B
Authority
CN
China
Prior art keywords
frame
background
prospect
foreground
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105775164A
Other languages
English (en)
Other versions
CN102024146A (zh
Inventor
朱伟兴
纪滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN2010105775164A priority Critical patent/CN102024146B/zh
Publication of CN102024146A publication Critical patent/CN102024146A/zh
Application granted granted Critical
Publication of CN102024146B publication Critical patent/CN102024146B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种猪舍监控视频中前景提取方法，先获得一个不含前景的初始背景帧和含有前景的背景帧序列，然后进行相邻对称帧差分和背景帧差分，根据相邻对称帧差分和背景帧差分进行前景运动分析，获得状态编码，以状态编码进行背景更新和前两个帧差分融合获得包含阴影在内的前景，计算局部纹理算子的背景欧式距离和HSV颜色空间的S、H通道背景帧差，联立阴影判别条件，最后，根据像素属性值的结果提取前景帧。本发明适用于规模养猪场的猪舍监控，具有自适应性、鲁棒性和较高的前景目标分割精度，为后继工作猪视频智能分析创造有利条件。

Description

猪舍监控视频中前景提取方法
技术领域
本发明涉及一种视频监控前景目标提取方法，尤其涉及猪舍固定摄像监控视频猪的提取方法，具体适用于养猪场智能视频监控技术领域，属于智能视频目标检测技术。
背景技术
视频监控前景目标提取是将视频帧序列中每一帧里的背景去除，检测前景目标并分割出来的技术。前景提取方法按摄像头装置分为固定和移动两大类，按前景目标特性分刚体和非刚体两大类。猪舍监控视频中前景提取方法属于固定摄像的非刚体前景提取技术。
张敏博士（参见：张敏. 基于体态识别的动物行为自动分析研究与应用[D]. 杭州 浙江大学生物医学工程与仪器学院 2005.）采用彩色图像阈值剪影获得完整的前景目标，这种方法简单，计算代价小，属于经典背景帧差法，但这种方法要求背景是静止不变的，且背景愈简单分割效果愈好。而现实的猪舍背景难以满足此条件，由于猪舍一般设计成通风透光建筑，晴天光线强，猪在室内移动，会出现影子；阴天光线也会随时间发生渐变；当投射阳光的窗户突然出现暂时性遮挡时会起室内照度突变。
Xin教授等人（Shao B ,Xin H. A real-time computer vision assessment and control of thermal comfort for group-housed pigs[J]. Computers and Electronics in Agriculture. 2008, 62 (1):15-21.）利用实验室现场深色背景和白色猪反差大的特点，采用连续3帧的均值作为处理帧，运用灰度阈值分割出初步的前景，再进行形态学和面积阈值处理，得到精确的前景，此法属于图像处理分割方法获得前景目标，适用仅限于特定的实验条件。特别是当前景运动时，连续3帧的平均值导致前景伪目标点增多。直接采用图像处理忽略了帧序列的时域特性，不是视频帧目标检测的常用方法。 
一般常用的视频帧背景去除方法（参见：Herrero S ,Bescós J. Background Subtraction Techniques: Systematic Evaluation and Comparative Analysis[C] //Proceedings of the 11th International Conference on Advanced Concepts for Intelligent Vision Systems.Springer-Verlag. 2009,5807/2009:33-42.）分为3类，即基本型，如帧差法、中值滤波；参数模型，如单高斯、混合高斯模型；非参数模型，如直方图法、核密度法。而混合高斯模型和非参数模型计算量大，方法复杂，实时性差，因而限制了其在实际应用中的推广。而中值滤波和单高斯模型在前景目标缓慢运动时会产生拖影；相邻帧差法计算简单，但目标内容易产生空洞，且当猪站立不动时，会被误作背景；背景帧差法必须建立背景更新模型，且上述3类算法都无法消除前景的影子。 
胡园园（参见：胡园园 ,王让定. 基于局部纹理不变性的运动阴影去除算法[J]. 计算机应用. 2008, 28 (012):3141-3143.）提出用增强的LBP算子描述局部纹理结构能很好地区分前景目标和影子。然而，当背景图像和前景物体具有相似的纹理信息时这种方法将会失去作用，因此，这就限制了算法的应用。
发明内容
本发明的目的在于克服现有的猪视频前景目标提取方法的不足，提出一种鲁棒性好、效果好和实时性好的猪舍监控视频中前景提取方法，能够保留精确的视频帧前景边缘、且消除常见方法易导致前景内部空洞、拖影和阴影并存现象，并能抑制电子噪声和地面水渍及排泄物痕迹变化对前景的影响。
 本发明采用的技术方案是：在猪舍区域设置摄像系统和计算机控制系统，计算机控制系统内部有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块。通过摄像系统获得一个不含前景的初始背景帧                                                
Figure 2010105775164100002DEST_PATH_IMAGE001
和含有前景的背景帧序列并在计算机中保留。相邻对称帧差分处理框模块输入背景帧
Figure 520189DEST_PATH_IMAGE002
序列中的连续3个相邻帧，将当前帧
Figure 2010105775164100002DEST_PATH_IMAGE003
与前、后帧
Figure 480186DEST_PATH_IMAGE004
、
Figure 2010105775164100002DEST_PATH_IMAGE005
分别进行差分并将差分后的两二值化图像进行“与”运算得到相邻对称帧差分
Figure 570502DEST_PATH_IMAGE006
。背景帧差分处理框模块输入当前帧
Figure 440500DEST_PATH_IMAGE003
和初始背景帧，输出为二值化的背景帧差分
Figure 2010105775164100002DEST_PATH_IMAGE007
，选择RGB颜色空间的B通道进行背景帧差分
Figure 662152DEST_PATH_IMAGE007
。运动分析处理框模块输入背景帧差分
Figure 228262DEST_PATH_IMAGE007
和相邻对称帧差分
Figure 326668DEST_PATH_IMAGE006
进行运动状态判别，输出当前帧前景状态编码
Figure 765871DEST_PATH_IMAGE008
，
Figure 2010105775164100002DEST_PATH_IMAGE009
是当前帧
Figure 949728DEST_PATH_IMAGE003
进行相邻对称帧差分运算的运动状态，
Figure 132579DEST_PATH_IMAGE010
为当前帧
Figure 351070DEST_PATH_IMAGE003
帧进行背景帧差分运算的场景状态；当运动区域面积占总图像面积的比例小于0.04～0.12时前景运动缓慢或静止或没有前景；当前景面积占总图像面积的比例大于0.6～0.8时背景光照发生突然变、小于0.03～0.07时场景中没有前景； 前景正常运动的前景状态编码
Figure 148125DEST_PATH_IMAGE008
是00、前景缓慢运动的前景状态编码
Figure 570010DEST_PATH_IMAGE008
是10，没有前景的前景状态编码是11、背景光照突变的前景状态编码
Figure 550922DEST_PATH_IMAGE008
是02。前景融合模块将背景帧差分
Figure 328997DEST_PATH_IMAGE007
和相邻对称帧差分
Figure 487446DEST_PATH_IMAGE006
进行“或”运算，经滤波、形态学操作和连通标记操作得到含有阴影的前景二值图
Figure 2010105775164100002DEST_PATH_IMAGE011
。背景更新模块输入当前帧前景状态编码
Figure 12100DEST_PATH_IMAGE008
、初始背景帧
Figure 205183DEST_PATH_IMAGE001
、前对称帧
Figure 344041DEST_PATH_IMAGE004
和其前景二值图
Figure 474939DEST_PATH_IMAGE012
、当前帧
Figure 52551DEST_PATH_IMAGE003
和其前景二值图
Figure 850874DEST_PATH_IMAGE011
，输出是背景帧
Figure 160632DEST_PATH_IMAGE002
；当前景状态编码
Figure 28094DEST_PATH_IMAGE008
是11时重建全新背景帧
Figure 897480DEST_PATH_IMAGE002
；当前景状态编码
Figure 737260DEST_PATH_IMAGE008
是00或10时，将当前帧
Figure 280237DEST_PATH_IMAGE003
除去前景二值图
Figure 651306DEST_PATH_IMAGE012
后剩余区域像素代替初始背景帧
Figure 305141DEST_PATH_IMAGE001
相应像素，被前景二值图
Figure 265007DEST_PATH_IMAGE011
遮挡的背景区域为初始背景帧
Figure 729618DEST_PATH_IMAGE001
对应像素值，再补偿前景二值图
Figure 571672DEST_PATH_IMAGE011
的当前帧
Figure 966881DEST_PATH_IMAGE003
前景边缘像素和对应的前帧
Figure 594303DEST_PATH_IMAGE004
像素值差的均值；当前景状态编码
Figure 479082DEST_PATH_IMAGE008
是02时，由前帧除去前景二值图
Figure 755135DEST_PATH_IMAGE012
后剩余区域对应的当前帧
Figure 486331DEST_PATH_IMAGE003
像素代替初始背景帧
Figure 479694DEST_PATH_IMAGE001
对应的背景像素，初始背景帧
Figure 47073DEST_PATH_IMAGE004
中前景二值图
Figure 111981DEST_PATH_IMAGE012
遮挡的背景区域为初始背景帧
Figure 448416DEST_PATH_IMAGE001
对应像素值，再补偿前景二值图
Figure 612681DEST_PATH_IMAGE012
前景边缘对应的前帧
Figure 916623DEST_PATH_IMAGE004
像素和对应当前帧
Figure 270375DEST_PATH_IMAGE003
像素值差的均值。阴影检测模块将含有阴影的前景二值图
Figure 648267DEST_PATH_IMAGE011
对应的当前帧像素值取RGB颜色模型B通道的值，采用8邻域像素构建局部纹理区域，计算局部纹理结构算子
Figure 2010105775164100002DEST_PATH_IMAGE013
且比较两个结构算子值的欧氏距离，若小于0.11，则该像素点为阴影像素点，否则为前景像素点；再将含有阴影像素点的前景二值图
Figure 822129DEST_PATH_IMAGE011
对应的当前帧
Figure 54528DEST_PATH_IMAGE003
像素值
Figure 888492DEST_PATH_IMAGE014
在HSV颜色空间对阴影进行判别，前景阴影区域的饱和度
Figure 2010105775164100002DEST_PATH_IMAGE015
和对应未更新的背景区域
Figure 714496DEST_PATH_IMAGE016
的差分小于0.22且阴影区域的色度
Figure 2010105775164100002DEST_PATH_IMAGE017
和未更新的背景区域差分小于0.08，则判断为阴影像素点，否则为前景像素点。计算机通过前景提取模块将当前帧
Figure 824852DEST_PATH_IMAGE003
中像素值
Figure 577520DEST_PATH_IMAGE014
为0的区域保留为当前帧原像素值，其余像素显示为黑色背景，则将不含阴影的前景提取出来。
本发明的有益效果是：
1、将相邻对称帧差分和自适应背景更新的背景帧差分融合，再通过阴影检测算法，不仅能精确检测运动前景目标区域，也适用于运动缓慢或静止的前景目标检测。而阴影检测算法联立纹理结构LT算子和HSV颜色空间阴影双重检测，增强对阴影的识别能力。
2、在执行帧处理时，所有运算模块皆由计算性能简单的算法构成，并且，算法执行流程采用了潜在的并发结构，易于算法移植到多处理器硬件平台上时并发执行，实现可靠的实时视频帧图像处理。
3、本发明适用于规模养猪场的猪舍监控，在猪舍室内无论单目标还是多目标，背景光线无论是柔和渐变还是强烈突变，无论猪是站或卧还是停停走走，都能够消除空洞、拖影和阴影，并能抑制电子噪声和地面水渍及排泄物痕迹变化对前景的影响，获得精确的前景目标，具有自适应性、鲁棒性和较高的前景目标分割精度，为后继工作猪视频智能分析创造有利条件。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明；
图1是本发明猪舍监控视频中前景提取方法流程框图；
图2是图1中阴影检测算法的流程图。
具体实施方式
本发明在实施时，在规模养猪场猪舍区域安装有摄像系统和计算机控制系统，将摄像系统和计算机控制系统相连，计算机控制系统内部具有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块。规模养猪场猪舍区域的地面为水泥地，上面留有部分排泄物，整个视频背景光线较亮。以并行算法进行相邻对称帧差分和背景帧差分，根据相邻对称帧差分和背景帧差分的输出变量，进行前景运动分析，获得状态编码，以状态码为控制条件并行进行自适应背景更新和前两个帧差分融合获得包含阴影在内的前景，阴影检测模块以并行算法计算局部纹理算子（Local Texture, LT）的欧式距离和表示色相、饱和度和亮度的HSV颜色空间的S、H通道前景帧差，联立阴影判别条件，最后，根据像素属性的结果标识，消除阴影，提取只含前景的当前帧。具体步骤如下，参见图1：
1、获得初始背景帧
计算机通过固定摄像获得一个没有猪的空场景视频帧，即一个不含前景的初始背景帧
Figure 763967DEST_PATH_IMAGE001
，并将这一初始背景帧
Figure 784007DEST_PATH_IMAGE001
作保留。之后，有头猪慢慢走进这个区域，驻足低头啃地一会儿，有短暂排粪现象，然后离开此区域；在猪活动的这一时间段，通过固定摄像系统获得含有前景的背景帧
Figure 897457DEST_PATH_IMAGE002
序列。在猪的背景帧
Figure 885004DEST_PATH_IMAGE002
序列中，有不含猪的一帧，也可将这个不含猪的一帧作为初始背景帧
Figure 922361DEST_PATH_IMAGE001
。
2、相邻对称帧差分
在猪的背景帧
Figure 249438DEST_PATH_IMAGE002
序列中，计算机通过相邻对称帧差分处理框模块输入连续3个相邻帧
Figure 330526DEST_PATH_IMAGE004
、
Figure 556102DEST_PATH_IMAGE003
、
Figure 584101DEST_PATH_IMAGE005
，输出是中间的当前帧
Figure 828000DEST_PATH_IMAGE003
二值化的运动区域。在帧序列连续3帧图像中，为了提取当前帧运动对象边缘，本发明采用相邻对称帧差分
Figure 733475DEST_PATH_IMAGE006
，即当前帧与前后相邻对称帧分别进行差分，并将差分后的两二值化图像进行“与”运算，得到结果即为当前帧运动目标边缘，即相邻对称帧差分
Figure 361903DEST_PATH_IMAGE006
。见公式（1）。相邻对称帧差分是所有为1的点所在区域，属于前景运动区域。二值化的阈值
Figure 2010105775164100002DEST_PATH_IMAGE019
采用日本Otsu提出的最大类间方差法（参见：Otsu N. A threshold selecti on method from gray-level histograms[J]. IEEE Transactions on System Man and Cybernetics. 1979, 9 (1):62-69.），还需补偿一个与摄像系统噪声有关的常量，其值一般在0.06～0.3之间，本发明取值为0.1，确保不含前景目标时过滤帧间噪声。该算法增强了运动目标边缘信号，拉大目标与背景残留噪声的差异，消除运动目标遮挡或重现的背景纹理。
Figure 2010105775164100002DEST_PATH_IMAGE021
 (1)
3、背景帧差分
计算机系统中的背景帧差分处理框模块输入为当前帧
Figure 161997DEST_PATH_IMAGE003
以及初始背景帧
Figure 344847DEST_PATH_IMAGE001
，输出为二值化的背景帧差分
Figure 563339DEST_PATH_IMAGE007
。本发明的背景帧差分模块是为了增加前景的内部信号。前景猪的颜色和纹理与背景差异较大，分割效果明显。选择RGB（Red Green Blue, RGB）颜色空间的B通道进行当前帧和背景帧差分
Figure 779349DEST_PATH_IMAGE007
，背景帧差分
Figure 562629DEST_PATH_IMAGE007
二值化的阈值
Figure 635627DEST_PATH_IMAGE019
采用最大类间方差法，还需补偿一个与摄像系统噪声有关的常量
Figure 603583DEST_PATH_IMAGE022
，其值一般在0.06～0.20之间，本发明取值为0.12，确保不含前景目标时过滤帧间噪声，见公式(2)所示。如果为1，则为前景区域，否则，为背景。
        (2)
4、运动分析
计算机系统中的运动分析处理框模块输入为背景帧差分和相邻对称帧差分
Figure 964922DEST_PATH_IMAGE006
，输出为当前帧前景状态编码
Figure 166097DEST_PATH_IMAGE008
，可进行运动状态判别及输出当前帧
Figure 553785DEST_PATH_IMAGE003
的处理控制条件。由于相邻对称帧差分
Figure 69080DEST_PATH_IMAGE006
只能获得包含阴影在内前景的运动区域，当运动区域的面积
Figure 851091DEST_PATH_IMAGE024
占总图像面积N(I)的比例
Figure 2010105775164100002DEST_PATH_IMAGE025
小于某个较小阈值e 1 时，其与帧率和运动目标个数有关，一般在0.04～0.12，本发明取0.07，则认为前景运动缓慢或静止或没有前景。由于背景帧差分能获得包含阴影在内的前景区域，当前景面积
Figure 106940DEST_PATH_IMAGE026
占总图像面积N(I)的比例
Figure 2010105775164100002DEST_PATH_IMAGE027
大于某个较大阈值e 2 时，一般在0.6～0.8，本发明取0.7，表明此帧没有前景目标或光照发生突然变化，只进行背景更新操作，进入下一帧。
Figure 35713DEST_PATH_IMAGE027
小于较小阈值e 3时，其与摄像系统噪声有关，一般在0.03～0.07，本发明例取0.03，则认为场景中不存在前景。通过公式(3)、(4) 、(5)、(6)，获得当前帧
Figure 688542DEST_PATH_IMAGE003
的前景状态编码
Figure 169202DEST_PATH_IMAGE008
，可按表1输出相应的后继控制条件。
Figure 789539DEST_PATH_IMAGE009
为当前帧
Figure 191177DEST_PATH_IMAGE003
进行相邻对称帧差分运算所能代表的运动状态，为
Figure 677971DEST_PATH_IMAGE003
帧进行背景帧差分运算所能代表的场景状态。实施不同时段状态编码依次为11、00、10、00、11。
Figure 728283DEST_PATH_IMAGE028
           (3)
Figure 2010105775164100002DEST_PATH_IMAGE029
           (4)
  
Figure 604972DEST_PATH_IMAGE030
        (5)
   
Figure 2010105775164100002DEST_PATH_IMAGE031
        (6)
表    状态编码S t S t ’及控制条件输出
Figure 569834DEST_PATH_IMAGE009
Figure 584713DEST_PATH_IMAGE010
 状态判别及当前帧处理
0 0 前景正常运动，则进行背景更新，前景融合，阴影去除
1 0 前景缓慢运动，则进行背景更新，前景融合，阴影去除
1 1 没有前景，只进行背景更新操作，进入下一帧
0 2 背景光照突变，只进行背景更新操作，进入下一帧
5、前景融合
计算机系统中的前景融合模块进行背景帧差分和相邻对称帧差分
Figure 309273DEST_PATH_IMAGE006
融合，即二者进行“或”运算得到含有阴影的前景二值图
Figure 876652DEST_PATH_IMAGE011
，这样相邻对称帧差分
Figure 613663DEST_PATH_IMAGE006
丢失的前景信息得到很好补偿，前景二值图
Figure 199366DEST_PATH_IMAGE011
是含有阴影的粗糙前景区域。最后，经滤波滤去孤立点噪声，形态学操作和连通标记操作彻底消除前景区域内的小空洞，小面积阈值滤去像刚产生的粪块和尿斑块，得到含有阴影的精确前景二值图
Figure 442259DEST_PATH_IMAGE011
。
本发明前景融合处理框模块输入为条件控制信号，即当前帧
Figure 746202DEST_PATH_IMAGE034
的前景状态编码
Figure 2010105775164100002DEST_PATH_IMAGE035
、二值化的背景帧差分和相邻对称帧差分
Figure 540162DEST_PATH_IMAGE006
，输出为含有阴影的前景二值图
Figure 875329DEST_PATH_IMAGE011
，其中，为11时，表示没有猪存在，当前帧
Figure 555501DEST_PATH_IMAGE003
不需要进行前景融合，转下一帧处理；为10、00时表示为猪缓慢、正常运动，相邻对称帧差分后不能消除内部空洞，且难以发现静止的前景目标，而背景帧差分无法获得运动目标精确边缘，解决措施是采用背景帧差分
Figure 53479DEST_PATH_IMAGE007
和相邻对称帧差分
Figure 638175DEST_PATH_IMAGE006
融合，即二者进行“或”运算得到粗糙的背景帧差分
Figure 651130DEST_PATH_IMAGE007
和相邻对称帧差分
Figure 533636DEST_PATH_IMAGE006
，这样相邻对称帧差分丢失的前景信息得到很好补偿，最后，经滤波滤去孤立点噪声，形态学操作和连通标记操作彻底消除前景区域内的小空洞，小面积阈值滤去像刚产生的粪块和尿斑块，得到精确的、含有阴影的前景二值图。 
6、背景更新
由于实际背景不是静态的，故必须背景进行更新，本发明计算机系统中的背景更新模块始终由并行程序维护一个背景模型。背景更新处理框模块输入是当前帧的前景状态编码
Figure 955018DEST_PATH_IMAGE035
、初始背景帧
Figure 437952DEST_PATH_IMAGE036
、前帧
Figure 738219DEST_PATH_IMAGE004
和其前景二值图
Figure 2010105775164100002DEST_PATH_IMAGE037
、当前帧
Figure 913986DEST_PATH_IMAGE003
和其前景二值图
Figure 652266DEST_PATH_IMAGE011
，输出为背景帧
Figure 876574DEST_PATH_IMAGE002
。初始背景是视频序列前段中不含前景的初始背景帧
Figure 387DEST_PATH_IMAGE036
。前景状态编码
Figure 97787DEST_PATH_IMAGE035
为11时，表示没有检测出前景，由当前帧
Figure 510314DEST_PATH_IMAGE003
全部象素代替背景全部象素，相当于重建全新背景帧
Figure 600630DEST_PATH_IMAGE002
；
Figure 595262DEST_PATH_IMAGE035
为00或10时，表示检测出前景，则在
Figure 847252DEST_PATH_IMAGE003
除去前景区域后剩余区域像素代替初始背景帧
Figure 747075DEST_PATH_IMAGE036
相应像素，被前景二值图
Figure 123305DEST_PATH_IMAGE011
遮挡的背景区域为初始背景帧
Figure 487290DEST_PATH_IMAGE036
对应像素值，再补偿前景二值图
Figure 660914DEST_PATH_IMAGE011
的当前帧
Figure 48033DEST_PATH_IMAGE003
前景边缘像素和对应的前帧
Figure 480151DEST_PATH_IMAGE004
像素值差的均值；如果
Figure 183796DEST_PATH_IMAGE035
为02时，表明检测到背景光照突变，则由前帧
Figure 43167DEST_PATH_IMAGE004
除去前景区域
Figure 652003DEST_PATH_IMAGE037
后剩余区域对应的当前帧
Figure 638545DEST_PATH_IMAGE003
像素代替原
Figure 711543DEST_PATH_IMAGE036
对应的背景像素，原
Figure 495478DEST_PATH_IMAGE004
中前景
Figure 591610DEST_PATH_IMAGE037
遮挡的背景区域为
Figure 365531DEST_PATH_IMAGE036
帧对应像素值，再补偿前景
Figure 43768DEST_PATH_IMAGE037
前景边缘对应的
Figure 182626DEST_PATH_IMAGE004
像素和对应当前帧
Figure 828371DEST_PATH_IMAGE003
像素值差的均值。
7、阴影检测：
本发明计算机系统中的阴影检测模块含有两个并发的阴影检测子模块结构，使用两个子模块的目的是为强化对阴影检测算法的鲁棒性。
表 
Figure 891136DEST_PATH_IMAGE032
  8-邻域结构图像块
g4 g3 g2
g5 g0 g1
g6 g7 g8
将含有阴影的前景二值图
Figure 876409DEST_PATH_IMAGE011
对应的当前帧
Figure 248485DEST_PATH_IMAGE003
像素值取RGB（Red Green Blue, RGB）颜色模型B通道的值，采用了与中心像素点距离1个像素的8邻域像素来构建局部纹理描述区域，见表2，计算前景区域内部各像素的局部纹理结构算子
Figure 132258DEST_PATH_IMAGE013
(Local Texture, LT)，见公式（7），这里
Figure 247982DEST_PATH_IMAGE038
代表像素块中心像素及周围8个点的灰度值，
Figure 897881DEST_PATH_IMAGE013
算子为9个元素的一维向量，公式(10)中的
Figure 2010105775164100002DEST_PATH_IMAGE039
为包含阴影的前景二值图
Figure 440858DEST_PATH_IMAGE011
总像素点数，T是包含阴影的前景二值图
Figure 546349DEST_PATH_IMAGE011
所有像素点灰度值局部差均值的均值。包含阴影的前景二值图区域在当前帧
Figure 160050DEST_PATH_IMAGE003
像素点
Figure 624660DEST_PATH_IMAGE013
算子设为
Figure 669977DEST_PATH_IMAGE040
，包含阴影的前景二值图区域在未更新背景的背景帧
Figure 489345DEST_PATH_IMAGE036
相应位置点
Figure 639704DEST_PATH_IMAGE013
算子设为
Figure 2010105775164100002DEST_PATH_IMAGE041
，通过比较这两个
Figure 710997DEST_PATH_IMAGE013
值的欧氏距离，如果小于阈值
Figure 909897DEST_PATH_IMAGE042
，本发明取0.11，则该像素点为阴影像素点，否则为前景像素点，前景像素属性值
Figure 2010105775164100002DEST_PATH_IMAGE043
见公式（11）。
Figure 188563DEST_PATH_IMAGE044
，i=0,1,…,8                (7)
式中：
Figure 2010105775164100002DEST_PATH_IMAGE045
，m是3×3像素块灰度值的均值  (8)
Figure 509823DEST_PATH_IMAGE046
             (9)
Figure 2010105775164100002DEST_PATH_IMAGE047
，
Figure 77202DEST_PATH_IMAGE048
     (10)
HSV颜色模型非常符合人对颜色的视觉感知生理特性，能精确地反映一些灰度信息和色彩信息，对于图像中极亮和极暗的物体，也能很好地反应出相应信息。因此，将含有阴影的前景二值图
Figure 876530DEST_PATH_IMAGE011
对应的原输入的当前帧
Figure 399916DEST_PATH_IMAGE003
像素值在HSV颜色空间对阴影进行判别。前景阴影区域的饱和度
Figure 642809DEST_PATH_IMAGE015
和对应未更新的背景区域的差分小于阈值
Figure 681172DEST_PATH_IMAGE050
，本发明取0.22；同时，阴影区域的色度
Figure 31995DEST_PATH_IMAGE017
和未更新的背景区域
Figure 2010105775164100002DEST_PATH_IMAGE051
差分小于阈值
Figure 737783DEST_PATH_IMAGE052
，本发明取0.08，则判断为阴影像素点，否则为前景像素点。
Figure 2010105775164100002DEST_PATH_IMAGE053
(11)
为防止当背景图像和前景物体具有相似的纹理信息时
Figure 885998DEST_PATH_IMAGE013
方法将会失去作用，故阴影检测判别函数需要联立判别条件，见公式(11)所示，若包含阴影的前景像素属性值
Figure 677237DEST_PATH_IMAGE043
值为1，则为阴影，否则为前景目标区域，标识精确的前景目标区域。
本发明阴影检测处理框模块采用并行结构，具体如图2所示，虚线框图部分代表图1的阴影检测框，输入是初始背景帧
Figure 756051DEST_PATH_IMAGE036
、含有阴影的前景二值图
Figure 67078DEST_PATH_IMAGE011
、对应的原输入当前帧
Figure 635463DEST_PATH_IMAGE003
，输出是前景像素属性值
Figure 851680DEST_PATH_IMAGE043
。 
8、前景提取
本发明的前景提取模块是为了提取精确的前景目标。将原输入当前帧
Figure 547235DEST_PATH_IMAGE003
中像素值
Figure 962036DEST_PATH_IMAGE043
为0的区域保留为当前帧
Figure 904584DEST_PATH_IMAGE003
原像素值，其余像素显示为黑色背景，即当前帧
Figure 158498DEST_PATH_IMAGE003
其余像素值设为0，则将不含阴影的前景精确地提取出来，以便后继目标跟踪、模式识别工作的顺利开展。

Claims (1)

1.一种猪舍监控视频中前景提取方法，在猪舍区域设置摄像系统和计算机控制系统，计算机控制系统内部有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块，其特征在于包括以下具体步骤：
1）通过摄像系统获得一个不含前景的初始背景帧                                                
Figure 214474DEST_PATH_IMAGE001
和含有前景的背景帧
Figure 131614DEST_PATH_IMAGE002
序列并在计算机控制系统中保留； 
2）相邻对称帧差分处理框模块输入背景帧序列中的连续3个相邻帧，将当前帧
Figure 650769DEST_PATH_IMAGE003
与前、后帧
Figure 933982DEST_PATH_IMAGE004
、分别进行差分并将差分后的两二值化图像进行“与”运算得到相邻对称帧差分；
3）背景帧差分处理框模块输入当前帧
Figure 815854DEST_PATH_IMAGE003
和初始背景帧
Figure 484732DEST_PATH_IMAGE001
，输出为二值化的背景帧差分
Figure 478096DEST_PATH_IMAGE007
，选择RGB颜色空间的B通道进行背景帧差分处理，得到背景帧差分；
4）运动分析处理框模块输入背景帧差分和相邻对称帧差分
Figure 804407DEST_PATH_IMAGE006
进行运动状态判别，输出当前帧前景状态编码，是当前帧
Figure 219842DEST_PATH_IMAGE003
进行相邻对称帧差分运算的运动状态，
Figure 863313DEST_PATH_IMAGE010
为当前帧
Figure 198479DEST_PATH_IMAGE003
帧进行背景帧差分运算的场景状态；当运动区域面积占总图像面积的比例小于第一阈值时前景运动缓慢或静止或没有前景，当前景面积占总图像面积的比例大于第二阈值时背景光照发生突然变，小于第三阈值时场景中没有前景，其中第一阈值可取值0.04～0.12，第二阈值可取值0.6～0.8，第三阈值可取值0.03～0.07； 前景正常运动的前景状态编码
Figure 520876DEST_PATH_IMAGE008
是00、前景缓慢运动的前景状态编码
Figure 599691DEST_PATH_IMAGE008
是10，没有前景的前景状态编码
Figure 566510DEST_PATH_IMAGE008
是11、背景光照突变的前景状态编码
Figure 338157DEST_PATH_IMAGE008
是02；
5）前景融合模块将背景帧差分
Figure 288795DEST_PATH_IMAGE007
和相邻对称帧差分
Figure 515508DEST_PATH_IMAGE006
进行“或”运算，经滤波、形态学操作和连通标记操作得到含有阴影的前景二值图
Figure 867992DEST_PATH_IMAGE011
；
6）背景更新模块输入当前帧前景状态编码、初始背景帧、前对称帧
Figure 137933DEST_PATH_IMAGE004
和其前景二值图
Figure 203978DEST_PATH_IMAGE012
、当前帧
Figure 317428DEST_PATH_IMAGE003
和其前景二值图
Figure 242659DEST_PATH_IMAGE011
，输出是背景帧
Figure 935808DEST_PATH_IMAGE002
；当前景状态编码
Figure 997305DEST_PATH_IMAGE008
是11时重建全新背景帧
Figure 281656DEST_PATH_IMAGE002
；当前景状态编码
Figure 536926DEST_PATH_IMAGE008
是00或10时，将当前帧除去前景二值图后剩余区域像素代替初始背景帧
Figure 405022DEST_PATH_IMAGE001
相应像素，被前景二值图
Figure 304844DEST_PATH_IMAGE011
遮挡的背景区域为初始背景帧
Figure 464430DEST_PATH_IMAGE001
对应像素值，再补偿前景二值图
Figure 766099DEST_PATH_IMAGE011
的当前帧
Figure 126673DEST_PATH_IMAGE003
前景边缘像素和对应的前帧
Figure 982633DEST_PATH_IMAGE004
像素值差的均值；当前景状态编码是02时，由前帧
Figure 587238DEST_PATH_IMAGE004
除去前景二值图
Figure 384293DEST_PATH_IMAGE012
后剩余区域对应的当前帧
Figure 993129DEST_PATH_IMAGE003
像素代替初始背景帧
Figure 635463DEST_PATH_IMAGE001
对应的背景像素，初始背景帧中前景二值图
Figure 614100DEST_PATH_IMAGE012
遮挡的背景区域为初始背景帧对应像素值，再补偿前景二值图
Figure 15311DEST_PATH_IMAGE012
前景边缘对应的前帧
Figure 880499DEST_PATH_IMAGE004
像素和对应当前帧
Figure 488198DEST_PATH_IMAGE003
像素值差的均值；
7）阴影检测模块将含有阴影的前景二值图
Figure 71626DEST_PATH_IMAGE011
对应的当前帧像素值取RGB颜色空间的B通道的值，采用8邻域像素构建局部纹理区域，计算前景区域内部各像素的局部纹理结构算子
Figure 149358DEST_PATH_IMAGE013
，包含阴影的前景二值图
Figure 459117DEST_PATH_IMAGE011
区域在当前帧
Figure 998683DEST_PATH_IMAGE003
像素点
Figure 52089DEST_PATH_IMAGE013
算子设为
Figure 891869DEST_PATH_IMAGE014
，包含阴影的前景二值图
Figure 966005DEST_PATH_IMAGE011
区域在未更新背景的背景帧
Figure 258446DEST_PATH_IMAGE015
相应位置点
Figure 115543DEST_PATH_IMAGE013
算子设为
Figure 278671DEST_PATH_IMAGE016
，比较这两个结构算子值的欧氏距离，若小于0.11，则该像素点为阴影像素点，否则为前景像素点； 再将含有阴影像素点的前景二值图对应的当前帧
Figure 714966DEST_PATH_IMAGE003
像素值在HSV颜色空间对阴影进行判别，前景阴影区域的饱和度和对应未更新的背景区域
Figure 87676DEST_PATH_IMAGE019
的差分小于0.22且阴影区域的色度
Figure 286576DEST_PATH_IMAGE020
和未更新的背景区域
Figure 283351DEST_PATH_IMAGE021
差分小于0.08，则判断为阴影像素点，否则为前景像素点；
8）计算机通过前景提取模块将当前帧
Figure 542294DEST_PATH_IMAGE003
中像素值为0的区域保留为当前帧
Figure 502476DEST_PATH_IMAGE003
原像素值，其余像素显示为黑色背景，则将不含阴影的前景提取出来。
CN2010105775164A 2010-12-08 2010-12-08 猪舍监控视频中前景提取方法 Expired - Fee Related CN102024146B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105775164A CN102024146B (zh) 2010-12-08 2010-12-08 猪舍监控视频中前景提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105775164A CN102024146B (zh) 2010-12-08 2010-12-08 猪舍监控视频中前景提取方法

Publications (2)

Publication Number Publication Date
CN102024146A CN102024146A (zh) 2011-04-20
CN102024146B true CN102024146B (zh) 2012-11-07

Family

ID=43865427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105775164A Expired - Fee Related CN102024146B (zh) 2010-12-08 2010-12-08 猪舍监控视频中前景提取方法

Country Status (1)

Country Link
CN (1) CN102024146B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102289819B (zh) * 2011-07-27 2013-05-08 中国电子科技集团公司第二十八研究所 一种背景自适应估计的红外运动目标实时检测方法
CN103617632B (zh) * 2013-11-19 2017-06-13 浙江工业大学 一种结合相邻帧差法和混合高斯模型的运动目标检测方法
CN103957423A (zh) * 2014-05-14 2014-07-30 杭州古北电子科技有限公司 一种基于计算机视觉的视频压缩和重建方法
CN104252709B (zh) * 2014-07-14 2017-02-22 江苏大学 一种复杂背景下俯视群养猪多目标前景检测方法
CN105913425B (zh) * 2016-04-08 2019-02-05 江苏大学 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法
CN107230188B (zh) * 2017-04-19 2019-12-24 湖北工业大学 一种视频运动阴影消除的方法
CN108171740B (zh) * 2018-01-30 2020-11-20 彭景新 一种基于图像分析车辆通行的方法和设备
CN108833974B (zh) * 2018-06-29 2021-05-18 北京奇虎科技有限公司 去除视频中半透明水印的方法、装置和电子设备
CN109068099B (zh) * 2018-09-05 2020-12-01 济南大学 基于视频监控的虚拟电子围栏监控方法及系统
CN110235802A (zh) * 2019-07-08 2019-09-17 北京派克盛宏电子科技有限公司 一种生猪运动量统计方法
CN111208521B (zh) * 2020-01-14 2021-12-07 武汉理工大学 一种多波束前视声呐水下障碍物鲁棒检测方法
CN112184773A (zh) * 2020-09-30 2021-01-05 华中科技大学 一种基于深度学习的安全帽佩戴检测方法及系统
CN114943833A (zh) * 2022-03-28 2022-08-26 台州学院 一种气液反应器中气泡流的气泡识别图像处理方法
CN115471502B (zh) * 2022-11-01 2023-03-24 山东土之素生物技术有限公司 基于计算机视觉的畜牧粪便快速检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763513A (zh) * 2010-02-26 2010-06-30 成都三泰电子实业股份有限公司 一种消除光照影响的前景提取方法
CN101854467A (zh) * 2010-05-24 2010-10-06 北京航空航天大学 一种视频分割中阴影的自适应检测及消除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763513A (zh) * 2010-02-26 2010-06-30 成都三泰电子实业股份有限公司 一种消除光照影响的前景提取方法
CN101854467A (zh) * 2010-05-24 2010-10-06 北京航空航天大学 一种视频分割中阴影的自适应检测及消除方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bin Shao, Hongwei Xin."A real-time computer vision assessment and control　of thermal comfort for group-housed pigs".《computers and electronics in agriculture》.2008,第62卷(第1期),15-21.
Bin Shao, Hongwei Xin."A real-time computer vision assessment and control of thermal comfort for group-housed pigs".《computers and electronics in agriculture》.2008,第62卷(第1期),15-21. *
Sonsoles Herrero,et al.."Background Subtraction Techniques: Systematic Evaluation and Comparative Analysis".《ACIVS 2009》.2009,第5807卷33-42. *

Also Published As

Publication number Publication date
CN102024146A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
CN102024146B (zh) 猪舍监控视频中前景提取方法
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
CN105261037B (zh) 一种自适应复杂场景的运动目标检测方法
Chiu et al. A robust object segmentation system using a probability-based background extraction algorithm
CN103208185B (zh) 一种基于车灯识别的夜间车辆检测方法及系统
CN103116985B (zh) 一种违章停车检测方法和装置
CN103413120B (zh) 基于物体整体性和局部性识别的跟踪方法
CN104992447B (zh) 一种污水运动微生物的图像自动检测方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN102096931B (zh) 基于分层背景建模的运动目标实时检测方法
CN102184552A (zh) 一种基于差分融合与图像边缘信息的运动目标检测方法
CN102968782A (zh) 一种彩色图像中显著对象的自动抠取方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN105513053A (zh) 一种用于视频分析中背景建模方法
CN106709903B (zh) 基于图像质量的pm2.5浓度预测方法
Keller et al. Soybean leaf coverage estimation with machine learning and thresholding algorithms for field phenotyping
Naufal et al. Preprocessed mask RCNN for parking space detection in smart parking systems
CN102208099A (zh) 一种抗光照变化的作物彩色图像分割方法
CN109886271A (zh) 融合深度学习网络和改进边缘检测的图像精确分割方法
Kang et al. A multiobjective piglet image segmentation method based on an improved noninteractive GrabCut algorithm
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
CN1266656C (zh) 视频监控系统的智能化报警处理方法
Khan et al. Comparitive study of tree counting algorithms in dense and sparse vegetative regions
CN103177244A (zh) 水下显微图像中快速检测目标生物的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20131208