CN104320659B - 背景建模方法、装置及设备 - Google Patents

背景建模方法、装置及设备 Download PDF

Info

Publication number
CN104320659B
CN104320659B CN201410397363.3A CN201410397363A CN104320659B CN 104320659 B CN104320659 B CN 104320659B CN 201410397363 A CN201410397363 A CN 201410397363A CN 104320659 B CN104320659 B CN 104320659B
Authority
CN
China
Prior art keywords
mrow
msubsup
msub
parameter
mfrac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410397363.3A
Other languages
English (en)
Other versions
CN104320659A (zh
Inventor
田永鸿
陈伟
黄铁军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201410397363.3A priority Critical patent/CN104320659B/zh
Publication of CN104320659A publication Critical patent/CN104320659A/zh
Application granted granted Critical
Publication of CN104320659B publication Critical patent/CN104320659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种背景建模方法、装置及设备，其中，背景建模方法将高斯混合模型中原本为浮点计算的权重、均值和方差等参数的更新，等价转化为对应新参数累加权值和、累加均值和以及累加方差和的整数迭代，并利用新参数及整数除法模拟算法完成高斯混合模型中的所有计算，从而消除高斯混合模型中不适用于硬件实现的除法运算和浮点计算，并达到与高斯混合模型相当的建模效果。

Description

背景建模方法、装置及设备
技术领域
本发明涉及数字媒体处理技术领域，尤其涉及一种背景建模方法、装置及设备。
背景技术
背景建模技术是数字视频处理的关键技术，对提高视频编码性能和视频内容分析效果都有很大帮助。利用背景建模进行视频编码和内容分析的帧结构图如图1所示，图中的训练集(trainset)表示背景建模的训练阶段，组(segment)表示一组视频帧。第0个训练集为第1组视频帧生成背景帧，第1个训练集为第2组视频帧生成背景帧，以此类推。在视频编码中，生成的背景帧可以用于为后续视频帧提供背景参考。在内容分析中，生成的背景帧可以用于背景减除得到前景区域，并在前景区域中完成内容分析。
高斯密度函数估计是一种参数化模型。有单高斯模型(Single Gaussian Model,SGM)和高斯混合模型(Gaussian mixture model，简称为GMM)两类。类似于聚类，根据高斯概率密度函数参数的不同，每一个高斯模型可以看作一种类别，输入一个样本x，即可通过高斯概率密度函数计算其值，然后通过一个阈值来判断该样本是否属于高斯模型。单高斯模型适合于仅有两类别问题的划分，而高斯混合模型由于具有多个模型，划分更为精细，适用于多类别的划分，可以应用于复杂对象建模。
目前效果最好的背景建模方法之一是高斯混合模型，它使用K个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新高斯混合模型，用当前图像中的每个像素点与高斯混合模型匹配，如果成功则判定该点为背景点，否则为前景点。高斯混合模型能建模出干净的背景，从而提升视频编码性能和视频内容分析效果。
高斯模型主要是由权重、方差和均值等参数决定，对均值和方差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。在高斯混合模型建模过程中，首先初始化预先定义的几个高斯模型，对高斯模型中的参数进行初始化，并求出之后将要用到的参数。其次，对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将该像素归入该模型中，并对该模型根据新的像素值进行更新；若不匹配，则以该像素建立一个高斯模型，初始化参数，代替原有高斯模型中最不可能的模型。最后，选择前面几个最有可能的模型作为背景模型。
相关技术中，在更新权重、方差和均值参数时，通过浮点和除法运算对权重、均值和方差等参数进行更新。高斯混合模型的参数更新需要大量浮点和除法运算，而浮点和除法运算比较复杂，尤其是在硬件实现上需要付出很高的代价。
发明内容
针对相关技术中高斯混合模型的参数更新需要大量浮点和除法运算，而浮点和除法运算比较复杂，尤其是在硬件实现上需要付出很高的代价的问题，本发明提供了一种背景建模方法、装置及设备，以至少解决上述问题。
根据本发明的一个方面，提供了一种背景建模方法，包括：获取视频监控数据的步骤，初始化高斯混合模型的参数的步骤，更新所述参数的步骤，生成背景图像的步骤，其中，所述更新所述参数的步骤包括：将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代；利用所述第二参数及整数除法模拟算法更新所述参数。
可选地，所述第一参数包括：权重、均值和方差。
可选地，将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代，包括：将第一权值的更新替换成对应第二权值累加和的整数迭代；将第一均值的更新替换成对应第二均值累加和的整数迭代；将第一方差的更新替换成对应第二方差累加和的整数迭代。
可选地，所述整数除法模拟算法包括：以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者，软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
根据本发明的另一个方面，提供了一种背景建模装置，包括：获取模块，用于获取视频监控数据；初始化模块，用于初始化高斯混合模型的参数；更新模块，用于更新所述参数；生成模块，用于生成背景图像，其中，所述更新模块包括：转换单元，用于将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代；更新单元，用于利用所述第二参数及整数除法模拟算法更新所述参数。
可选地，所述第一参数包括：权重、均值和方差。
可选地，所述转换单元，用于将第一权值的更新替换成对应第二权值累加和的整数迭代；将第一均值的更新替换成对应第二均值累加和的整数迭代；将第一方差的更新替换成对应第二方差累加和的整数迭代。
可选地，所述整数除法模拟算法包括：以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者，软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
根据本发明的再一个方面，提供了一种监控视频编码设备，包括：上述背景建模装置；判断装置，用于判断视频帧是否处于背景建模的训练阶段，在所述视频帧处于所述训练阶段时，将所述视频帧发送到所述背景建模装置；视频编码装置，用于根据所述背景建模装置生成的背景帧编码视频帧。
根据本发明的又一个方面，提供了一种监控视频内容分析设备，包括：上述背景建模装置；内容分析装置，用于利用所述背景建模装置生成的背景帧得到视频帧的前景区域，对所述前景区域进行内容分析。
根据本发明的再一个方面，提供了一种监控视频设备，包括：上述背景建模装置；视频编码模块，用于根据所述背景建模装置生成的背景帧编码视频帧；内容分析模块，用于利用所述背景建模装置生成的背景帧得到视频帧的前景区域，对所述前景区域进行内容分析。
通过本发明，将高斯混合模型中原本为浮点计算的权重、均值和方差等参数的更新，等价转化为对应新参数累加权值和、累加均值和以及累加方差和的整数迭代，并利用新参数及整数除法模拟算法完成高斯混合模型中的所有计算，从而消除高斯混合模型中不适用于硬件实现的除法运算和浮点计算，并达到与高斯混合模型相当的建模效果。
附图说明
图1是利用背景建模进行视频编码和内容分析的帧结构图；
图2是根据本发明实施例的背景建模方法的流程图：
图3是根据本发明实施例的背景建模装置的结构框图；
图4是根据本发明实施例的监控视频编码设备的结构框图；
图5是根据本发明实施例的监控视频内容分析设备的结构框图；以及
图6是根据本发明实施例的监控视频设备的结构框图。
具体实施方式：
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合具体实施方式对本发明作进一步详细的说明。
本发明实施例的背景建模方法，可以以若干帧监控视频为输入，以第一帧的视频图像为初始背景，使用后续视频帧信息更新背景帧，从而得到训练生成的背景。
在更新过程中，对于原始高斯混合模型主要参数权值、均值和方差，引入新变量累加权值和、累加均值和以及累加方差和代替旧变量，使用整数迭代代替浮点更新。
对于高斯混合模型的其他参数和计算过程，通过等价转换，将其转换成只含有新变量累加权值和、累加均值和以及累加方差的计算过程，并完成计算。
对于计算过程中涉及到的整数除法运算中，使用软件实现的整数除法模拟算法完成计算。
下面对本发明实施例进行描述。
图2是根据本发明实施例的背景建模方法的流程图，如图2所示，该方法包括步骤S202至步骤S208。
步骤S202，获取视频监控数据的步骤；
步骤S204，初始化高斯混合模型的参数的步骤；
步骤S206，更新上述参数的步骤；
步骤S208，生成背景图像的步骤。
其中，步骤S206包括：将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代，利用第二参数及整数除法模拟算法更新上述参数。
在本发明实施例的一个实施方式中，上述第一参数可以包括但不限于：权重、均值和方差。
可选地，将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代，包括：将第一权值的更新替换成对应第二权值累加和的整数迭代；将第一均值的更新替换成对应第二均值累加和的整数迭代；将第一方差的更新替换成对应第二方差累加和的整数迭代。
可选地，上述整数除法模拟算法包括：以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者，软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
在整数除法模拟算法中，用二维数组存储除法的结果，被除数的值为数组第一维的索引值，除数的值为数组第二维的索引值。例如a[150][20]＝7表示150除以20等于7。该二维数组的值需要在查表操作之前计算完成并存储于内存中。
下面对本发明实施例的一个例子进行说明。
作为本发明实施例的一个例子，原始高斯模型参数更新公式：
当视频帧号小于某阈值时，参数更新公式如下：
当视频帧号大于某阈值时，参数更新公式如下：
其中，表示第N帧时第k个高斯的权重参数，表示第N帧时第k个高斯的均值参数，表示第N帧时第k个高斯的方差参数，xN表示的是第N帧像素点的像素值，p(wk|xN)表示第N帧时该像素点与第k个高斯是否匹配，若匹配该值为1，否则该值等于0，L是上面提到的阈值。
本发明实施例的高斯模型参数更新公式如下：
其中，和为新引入的变量，分别为权值累加和、均值累加和以及方差累加和。 其他变量的含义同上。
图3是根据本本发明实施例的背景建模装置的结构框图，如图3所示，该装置包括：获取模块10，用于获取视频监控数据；初始化模块20，与获取模块10相连接，用于初始化高斯混合模型的参数；更新模块30，与初始化模块20相连接，用于更新上述参数；生成模块40，与更新模块30相连接，用于生成背景图像。其中，更新模块30包括：转换单元302，用于将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代；更新单元304，与转换单元302相连接，用于利用第二参数及整数除法模拟算法更新上述参数。
在本发明实施例的一个实施方式中，上述第一参数可以包括但不限于：权重、均值和方差。
可选地，转换单元302，用于将第一权值的更新替换成对应第二权值累加和的整数迭代；将第一均值的更新替换成对应第二均值累加和的整数迭代；将第一方差的更新替换成对应第二方差累加和的整数迭代。
可选地，更新单元304的整数除法模拟算法包括：以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者，软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
下面对本发明实施例的一个例子进行说明。
作为本发明实施例的一个例子，原始高斯模型参数更新公式：
当视频帧号小于某阈值时，参数更新公式如下：
当视频帧号大于某阈值时，参数更新公式如下：
其中，表示第N帧时第k个高斯的权重参数，表示第N帧时第k个高斯的均值参数，表示第N帧时第k个高斯的方差参数，xN表示的是第N帧像素点的像素值，p(wk|xN)表示第N帧时该像素点与第k个高斯是否匹配，若匹配该值为1，否则该值等于0，L是上面提到的阈值。
本发明实施例的高斯模型参数更新公式如下：
其中，和为新引入的变量，分别为权值累加和、均值累加和以及方差累加和。 其他变量的含义同上。
本发明实施例还提供了一种监控视频编码设备。
图4是根据本发明实施例的监控视频编码设备的结构框图，如图4所示，该设备主要包括：本发明实施例的上述的背景建模装置；判断装置，用于判断视频帧是否处于背景建模的训练阶段，在视频帧处于所述训练阶段时，将视频帧发送到所述背景建模装置；视频编码装置，用于根据背景建模装置生成的背景帧编码视频帧。
本发明实施例还提供了一种监控视频内容分析设备。
图5是根据本发明实施例的监控视频内容分析设备的结构框图，如图5所示，包括：背景建模装置；内容分析装置，用于利用背景建模装置生成的背景帧得到视频帧的前景区域，对前景区域进行内容分析。
本发明实施例还提供了一种监控视频设备。
图6是根据本发明实施例的监控视频设备的结构框图，如图6所示，包括：背景建模装置；视频编码模块，用于根据背景建模装置生成的背景帧编码视频帧；内容分析模块，用于利用背景建模装置生成的背景帧得到视频帧的前景区域，对所述前景区域进行内容分析。
作为本发明实施例的一个例子，输入为YUV格式的监控视频序列。如图1所示，训练帧数为120，生成的背景帧首先被编码器编入码流，该背景帧可以用来为后续的视频帧提供参考从而提高编码器的编码性能。编码器完成视频压缩之后，解码器从码流中解码出背景帧和解码视频，解码的背景帧对内容分析的效果也有显著提升，背景剪除生成的前景区域给后续的检测和跟踪等处理划定了有效区域，不仅提高了效率，而且提升了检测和跟踪准确率。测试结果如表1。
表1 与原始高斯混合模型编码性能对比
sequence Bank Crossroad Classover Overbridge average
本发明方法 0.1％ 0.0％ 0.0％ 0.0％ 0.03％
seqeucen No.4-west No.4-east Lake-east No.1-east average
本发明方法 0.2％ 0.1％ 0.1％ 0.0％ 0.1％
通过以上描述可知，本发明实施例将高斯混合模型中原本为浮点计算的权重、均值和方差等参数的更新，等价转化为对应新参数累加权值和、累加均值和以及累加方差和的整数迭代，并利用新参数及整数除法模拟算法完成高斯混合模型中的所有计算，从而消除高斯混合模型中不适用于硬件实现的除法运算和浮点计算，并达到与高斯混合模型相当的建模效果。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种背景建模方法，包括：获取视频监控数据的步骤，初始化高斯混合模型的参数的步骤，更新所述参数的步骤，生成背景图像的步骤，其特征在于，所述更新所述参数的步骤包括：
将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代；
利用所述第二参数及整数除法模拟算法更新所述参数；
原始高斯模型参数更新公式如下：
当视频帧号小于某阈值时，参数更新公式如下：
<mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mrow> <mo>(</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> </mrow> <mo>)</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
当视频帧号大于某阈值时，参数更新公式如下：
<mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> </mfrac> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> </mfrac> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
其中，表示第N帧时第k个高斯的权重参数，表示第N帧时第k个高斯的均值参数，表示第N帧时第k个高斯的方差参数，xN表示的是第N帧像素点的像素值，p(wk|xN)表示第N帧时该像素点与第k个高斯是否匹配，若匹配该值为1，否则该值等于0，L是上面提到的阈值；
高斯模型参数更新公式如下：
<mrow> <msubsup> <mi>&amp;Omega;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Omega;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>M</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>M</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow>
其中，和为新引入的变量，分别为权值累加和、均值累加和以及方差累加和,
2.根据权利要求1所述的方法，其特征在于，所述第一参数包括：权重、均值和方差。
3.根据权利要求2所述的方法，其特征在于，将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代，包括：
将第一权值的更新替换成对应第二权值累加和的整数迭代；
将第一均值的更新替换成对应第二均值累加和的整数迭代；
将第一方差的更新替换成对应第二方差累加和的整数迭代。
4.根据权利要求1所述的方法，其特征在于，所述整数除法模拟算法包括：
以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者
软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
5.一种背景建模装置，包括：获取模块，用于获取视频监控数据；初始化模块，用于初始化高斯混合模型的参数；更新模块，用于更新所述参数；生成模块，用于生成背景图像，其特征在于，所述更新模块包括：
转换单元，用于将高斯混合模型中浮点计算的第一参数转换成对应第二参数的累加和的整数迭代；原始高斯模型参数更新公式如下：
当视频帧号小于某阈值时，参数更新公式如下：
<mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </mfrac> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </munderover> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mrow> <mo>(</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> </mrow> <mo>)</mo> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
当视频帧号大于某阈值时，参数更新公式如下：
<mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mi>p</mi> <mo>(</mo> <mrow> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <mo>)</mo> <mo>-</mo> <msubsup> <mi>w</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> </mfrac> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
<mrow> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;mu;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> </mrow> <msubsup> <mi>w</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> </mfrac> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
其中，表示第N帧时第k个高斯的权重参数，表示第N帧时第k个高斯的均值参数，表示第N帧时第k个高斯的方差参数，xN表示的是第N帧像素点的像素值，p(wk|xN)表示第N帧时该像素点与第k个高斯是否匹配，若匹配该值为1，否则该值等于0，L是上面提到的阈值；
更新单元，用于利用所述第二参数及整数除法模拟算法更新所述参数；
高斯模型参数更新公式如下：
<mrow> <msubsup> <mi>&amp;Omega;</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;Omega;</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> </mrow>
<mrow> <msubsup> <mi>M</mi> <mi>k</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>M</mi> <mi>k</mi> <mi>N</mi> </msubsup> <mo>+</mo> <mi>p</mi> <mrow> <mo>(</mo> <msub> <mi>w</mi> <mi>k</mi> </msub> <mo>|</mo> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>x</mi> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> </mrow>
其中，和为新引入的变量，分别为权值累加和、均值累加和以及方差累加和,
6.根据权利要求5所述的装置，其特征在于，所述第一参数包括：权重、均值和方差。
7.根据权利要求6所述的装置，其特征在于，所述转换单元，用于将第一权值的更新替换成对应第二权值累加和的整数迭代；将第一均值的更新替换成对应第二均值累加和的整数迭代；将第一方差的更新替换成对应第二方差累加和的整数迭代。
8.根据权利要求5所述的装置，其特征在于，所述整数除法模拟算法包括：
以除数和被除数为索引、以除法运算结果为参数建立结果表，除法计算时通过查表获得结果；或者
软件模拟除法运算，每次减去1左移若干位的值直到最终减出的值小于被除数。
9.一种监控视频编码设备，其特征在于，包括：
如权利要求5至8中任一项所述的背景建模装置；
判断装置，用于判断视频帧是否处于背景建模的训练阶段，在所述视频帧处于所述训练阶段时，将所述视频帧发送到所述背景建模装置；
视频编码装置，用于根据所述背景建模装置生成的背景帧编码视频帧。
10.一种监控视频内容分析设备，其特征在于，包括：
如权利要求5至8中任一项所述的背景建模装置；
内容分析装置，用于利用所述背景建模装置生成的背景帧得到视频帧的前景区域，对所述前景区域进行内容分析。
11.一种监控视频设备，其特征在于，包括：
如权利要求5至8中任一项所述的背景建模装置；
视频编码模块，用于根据所述背景建模装置生成的背景帧编码视频帧；
内容分析模块，用于利用所述背景建模装置生成的背景帧得到视频帧的前景区域，对所述前景区域进行内容分析。
CN201410397363.3A 2014-08-13 2014-08-13 背景建模方法、装置及设备 Active CN104320659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410397363.3A CN104320659B (zh) 2014-08-13 2014-08-13 背景建模方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410397363.3A CN104320659B (zh) 2014-08-13 2014-08-13 背景建模方法、装置及设备

Publications (2)

Publication Number Publication Date
CN104320659A CN104320659A (zh) 2015-01-28
CN104320659B true CN104320659B (zh) 2017-12-29

Family

ID=52375820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410397363.3A Active CN104320659B (zh) 2014-08-13 2014-08-13 背景建模方法、装置及设备

Country Status (1)

Country Link
CN (1) CN104320659B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608435A (zh) * 2015-12-23 2016-05-25 上海华力创通半导体有限公司 基于并行处理的图像数据背景快速识别方法及系统
CN105631800A (zh) * 2016-02-05 2016-06-01 上海厚安信息技术有限公司 自适应实时图像背景去除方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101420536A (zh) * 2008-11-28 2009-04-29 江苏科海智能系统有限公司 视频流背景图像建模方法
CN101489121A (zh) * 2009-01-22 2009-07-22 北京中星微电子有限公司 一种基于视频监控的背景模型初始化和更新方法
TW200941402A (en) * 2008-03-28 2009-10-01 Chin-Teng Lin Time-varying background establishment method for two-dimensional signals
CN101908141A (zh) * 2010-08-04 2010-12-08 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN102938152A (zh) * 2012-10-15 2013-02-20 山东大学 一种视频监控中的背景建模方法
CN103002284A (zh) * 2012-11-20 2013-03-27 北京大学 一种基于场景模型自适应更新的视频编解码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7664329B2 (en) * 2006-03-02 2010-02-16 Honeywell International Inc. Block-based Gaussian mixture model video motion detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200941402A (en) * 2008-03-28 2009-10-01 Chin-Teng Lin Time-varying background establishment method for two-dimensional signals
CN101420536A (zh) * 2008-11-28 2009-04-29 江苏科海智能系统有限公司 视频流背景图像建模方法
CN101489121A (zh) * 2009-01-22 2009-07-22 北京中星微电子有限公司 一种基于视频监控的背景模型初始化和更新方法
CN101908141A (zh) * 2010-08-04 2010-12-08 丁天 一种基于混合高斯模型和形态特征的视频烟雾检测方法
CN102938152A (zh) * 2012-10-15 2013-02-20 山东大学 一种视频监控中的背景建模方法
CN103002284A (zh) * 2012-11-20 2013-03-27 北京大学 一种基于场景模型自适应更新的视频编解码方法

Also Published As

Publication number Publication date
CN104320659A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN108765506B (zh) 基于逐层网络二值化的压缩方法
CN102722876B (zh) 一种基于残差的图像超分辨率重建方法
Budvytis et al. Large scale labelled video data augmentation for semantic segmentation in driving scenarios
CN110070091A (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN109300128B (zh) 基于卷积神经网隐含结构的迁移学习图像处理方法
CN109345525B (zh) 一种去鬼影高动态范围图像质量评价方法
Pérez-Patricio et al. An FPGA stereo matching unit based on fuzzy logic
CN104657962A (zh) 基于级联线性回归的图像超分辨重建方法
CN103400158B (zh) 基于动态形状码本学习的水平集跟踪方法
CN104320659B (zh) 背景建模方法、装置及设备
CN102609936A (zh) 基于置信度传播的图像立体匹配方法
Jia et al. BRAFT: Recurrent all-pairs field transforms for optical flow based on correlation blocks
CN111161175A (zh) 一种用于去除图像反射分量的方法及系统
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN117454495B (zh) 一种基于建筑草图轮廓序列的cad矢量模型生成方法及装置
CN113762481A (zh) 一种基于深度学习的层析成像方法及系统
JP2022037804A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN107194932A (zh) 一种基于指数遗忘的自适应背景重建算法
CN111105430A (zh) 基于Landmark单纯形约束的变分水平集图像分割方法
CN104732508A (zh) 基于分布式压缩感知的图像融合方法
Li et al. Towards real-time segmentation on the edge
CN114821216A (zh) 图片去网纹神经网络模型建模、使用方法及相关设备
CN112508776A (zh) 动作迁移方法、装置和电子设备
CN112561050A (zh) 一种神经网络模型训练方法及装置
CN107480102B (zh) 一种基于并行lu分解的psf反变换方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant