CN101833769B - 利用多个高斯模型以维持图像背景的方法与装置 - Google Patents

Abstract

一种利用多个高斯模型以维持图像背景的方法与装置，其中方法包括下列步骤：a.撷取包含多个像素的图像画面，用以获得背景信息；b.计算背景信息以建立主高斯模型；c.撷取固定时间间隔内的多个连续图像画面，以获得图像信息，并计算图像信息以建立次高斯模型；d.重复步骤c以建立多个次高斯模型；和e.比较两个次高斯模型，判断两个次高斯模型所对应的图像信息都属于背景信息时，则以次高斯模型更新主高斯模型的学习，如果判断两个次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新主高斯模型的学习，而维持主高斯模型的背景信息。

Description

利用多个高斯模型以维持图像背景的方法与装置

技术领域

本发明关于一种维持图像背景的方法与装置，特别是一种利用多个高斯模型进行比较以维持图像背景的方法与装置。

背景技术

现今在移动物检测技术中，为了要在背景改变的情况下仍可以正确地标识出移动物体，通常会使用适应性背景的技术来针对背景的改变进行学习。由于无法直接判断所输入的像素属于前景还是背景，一般都是将所得到的像素都加入背景模型中，再给予一相对应的权重值。例如：当该像素或与该像素相近的像素的出现概率较为频繁时，相对应的权重值也会较大。可根据临界值判断权重值来将像素分为两类，其中较大者做为背景，较小者则为前景。由此不断更新背景并分割出前景以标识出移动物体。

然而，前景可能因为停留时间太久而直接学习到背景之中，或是边缘颜色与背景过于相近而逐渐改变背景颜色，造成前景的误判。为改善此问题，常见的移动物检测方法为背景减除法。如图1所示，首先在画面中没有物体移动时对画面撷取一张图片作为背景，接下来将每张图片都与背景相减并取其绝对值，如果有物体进入画面中，就可依照相减所得的图像来取出物体。

另外当背景受到光源、风或海浪等外来的新的背景影响时，为了让背景也能随着实际状况而改变，还有其它使用适应性背景的技术来针对背景改变进行学习。一般的较常用的方式为混合高斯模型的学习法。混合高斯模型就是将背景上的每个像素都以数个高斯分布来表示，并包含一平均值和协方差。如果以RGB色彩方式表示，则平均值就是像素RGB值，协方差就是该高斯分布所覆盖的范围。混合高斯模型的学习方法中，每一高斯分布对应一权重值，所有的高斯分布可能包含前景和背景，利用权重值的大小来区分二者。

如图2的流程图所示，例如：当一幅新的图片进来，会先做一次高斯模糊，以简单地去除部分噪声的影响，接着判断新进来的图像像素是否符合背景上的数个高斯分布，如果符合则提升该分布权重并以此像素更新该高斯分布，也就是更新平均值和协方差；如果不符合则在背景模型中建立一个新的高斯分布并取代权重最小的高斯分布，以新的像素来初始化这个高斯分布。接着依照所有分布权重来复位一阀值来区分属于背景的分布，并以这些被认定属于背景的分布来处理输入的图像，将前景分割出来进行后续的移动物标识。

综上所述，采用上述两种方式，对于维持背景图像仍无法精确有效地解决因前景存在时间太长或前景边缘与背景色彩太过接近而造成的背景学习的误判。因为前景存在时间太长，权重也随之升高，有可能会被误判为背景。而与背景接近的边缘色彩，如果被判定为属于背景的高斯分布，会改变高斯分布的平均值，而使背景颜色和前景相近，造成误判的发生。因此如何维持背景而不被前景入侵进而避免上述存在的问题，是本申请的发明人及从事该相关行业领域的其它技术人员需要改进的问题。

发明内容

有鉴于此，本发明的目的在于提供一种利用多个高斯模型以维持图像背景的方法与装置。通过主高斯模型建立并维持图像背景，再利用两个次高斯模型进行比较，当比较结果是属于背景信息时，将该次高斯模型学习至主高斯模型中，以更新图像背景。

为达到上述目的，本发明提供一种利用多个高斯模型以维持图像背景的方法，其中方法包括下列步骤：a.撷取包含多个像素的图像画面，用以获得背景信息；b.计算背景信息以建立主高斯模型；c.撷取固定时间间隔内的多个连续图像画面，用以获得图像信息，并计算图像信息以建立次高斯模型；d.重复步骤c以建立多个次高斯模型；和e.比较两个次高斯模型，如果判断二个次高斯模型所对应的图像信息都属于背景信息时，则以该次高斯模型更新主高斯模型的学习；如果判断两个次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新主高斯模型的学习，而维持主高斯模型的背景信息。

为加强维持图像背景的精确度，在利用多个高斯模型以维持图像背景的方法中，可在计算背景信息以建立主高斯模型后，利用画面差值法得到一移动物体边缘，并记录此边缘。当主高斯模型进行学习时会略过该移动物体边缘。避免边缘与背景过于相近而导致学习上的误判。

为达到上述目的，本发明也提供一种利用多个高斯模型以维持图像背景的装置，包含撷取模块，计算模块，存储模块，及学习模块。其中撷取模块撷取包含多个像素的图像画面，用以获得背景信息，以及撷取固定时间内的多个连续图像画面，用以获得多个图像信息；计算模块，连接到撷取模块，用以计算背景信息以建立主高斯模型，以及计算这些图像信息以建立多个次高斯模型；存储模块，连接到该计算模块，存储所建立的主高斯模型与次高斯模型；及学习模块，连接到存储模块，与存储模块之间是双向传输，用来比较两个次高斯模型，当判断结果为两个次高斯模型所对应的图像信息都属于该背景信息时，则以该次高斯模型更新主高斯模型的学习，并将更新学习结果存储于该存储模块中，如果判断这些次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新主高斯模型的学习，而维持主高斯模型的背景信息。

本发明在先建立主高斯模型的背景图像后，再通过多个次高斯模型进行两个比较。当确定次高斯模型的图像信息为背景信息时，才将该次高斯模型学习至主高斯模型，避免先学习而后再依权重判断背景与前景所造成的误差。

将在下面参考附图说明有关本发明的优选实施例及其效果。

附图说明

图1是现有技术的背景减除法的原理示意图。

图2是现有技术的混合高斯模型学习方法的流程图。

图3是本发明的第一实施例的方法的流程图。

图4是本发明的高斯模型学习的示意图。

图5是画面差值法(Frame Difference)的原理示意图。

图6是本发明的第二实施例的装置的示意框图。

具体实施方式

请参照图3及图4。图3是本发明的第一实施例的方法的流程图。图4是本发明的高斯模型学习的示意图。

为了能更精准地维持图像背景，本发明提出一种利用多个高斯模型以维持图像背景的方法，包含以下步骤：

S10：撷取包含多个像素的图像画面。撷取图像画面可应用于例如：监视器系统。当监视器开启之后，便会开始撷取画面，而此画面其实是由一张张图像所构成的。每一张图像又由多个像素所组成。因此当监视器开启后所接收的画面可选择某一起始时间作为构建图像背景的初始点。

举例来说，如果监视器所接收的画面为一空白墙面，且无其它任何移动物及固定物，此时如果选择开始构建背景图像则为该空白墙面；如果在未构建背景图像前，在此墙面上挂上一幅画，并在此后才开始构建背景图像，则此背景图像为包括该幅画的墙面。

S12：获得背景信息。当确定背景图像之后，此时便可获得由多个像素所构成的图像背景信息。背景信息并不局限于任何一种色彩表示方式。常见的有以RGB的方式表示的，另外也可采用YUV或是YCbCr方式来表示。

利用RGB主要是将三原色的光以不同的比例组成，形成各种颜色的光，这也是常见的表示色彩信息的方式。例如在24位模式下，使用表示红色、绿色和蓝色强度的三个8位无符号整数(0到255)来指定以每像素24位(bpp)编码的RGB值。

YUV是一种颜色编码方法。编译真彩色(true-color)颜色空间(colorspace)的种类，Y′UV、YUV、YCbCr、YPbPr等专有名词都可以被称为YUV。「Y」表示明亮度(Luminance、Luma)，「U」和「V」则是色度、浓度(Chrominance、Chroma)。同时不同色彩表示方法之间也可进行转换，例如可将YUV表示方式转换为RGB表示方式。

YCbCr是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr的Y与YUV中的Y含义一致，Cb和Cr与UV同样都指色彩，Cb指蓝色色度，Cr指红色色度。与以上的相同，也可与RGB之间进行转换。

S14：计算背景信息以建立主高斯模型。当选择某一种色彩表示方式后，计算每个像素上的色彩信息以建立高斯模型。例如以RGB表示方式，此时计算背景上每个像素上的RGB信息，并以高斯分布来表示，其中包含一平均值及协方差。平均值就是像素RGB值，协方差就是该高斯分布所覆盖的范围。由每一像素上的高斯分布构成背景信息整体的主高斯模型。

S16：撷取一段时间内多个连续图像画面，获得图像信息。当确定背景图像的主高斯模型后，此时开始撷取在固定时间内的图像画面，以获得图像信息。在固定时间内的图像也是由一张张图像所构成的，而每张图像又由多个像素所组成。与获得背景信息相同，此时对于固定时间内所撷取的图像也可选择色彩的表示方式。然而，由于该信息将可能成为背景信息所建立的主高斯模型的学习对象，故选择与背景信息色彩表示方式相同的信息，可省略不同色彩表示方式之间转换的步骤。

S18：重复撷取图像信息，计算图像信息以建立多个次高斯模型。当获得固定时间内所撷取的图像信息后，便可计算该图像信息以建立多个次高斯模型。与主高斯模型不同的是，将随着时间不断产生次高斯模型。例如在固定的1秒内所撷取的图像信息计算出一次高斯模型，随着时间变化，一分钟内将建立60个次高斯模型。

S20：比较两个次高斯模型是否属于背景信息。当建立超过两个以上的次高斯模型后，便可将两个次高斯模型进行比较，判断二者是否都属于背景信息。判断方式可利用其中的一个次高斯模型所包含的图像信息平均值是否落入另一比较的图像信息的协方差的一定比例中。如果是，则认定两者都属于背景信息，主高斯模型对此进行学习。反之，则不进行学习。

选择哪两个次高斯模型做比较需要考虑认定新进图像存在多久应被认定为背景。例如：选择相邻的两个次高斯模型做比较，此时因为两者为相邻关系，时间间隔较短，因此比较后较可能都被认定为属于背景信息，主高斯模型对该次高斯模型进行学习。如果选择相间隔的次高斯模型进行比较，因间隔时间较长，表示新进图像应存在较久时间才可能被判断为属于背景信息。

如图4所示，即利用两个相间隔的次高斯模型进行比较的示意图。高斯模型(A)(B)(C)(D)都是通过在固定的相同时间内撷取连续图像，计算该图像信息所获得的。假设随着时间变化建立次高斯模型(A)-(D)为一个周期，则以次高斯模型(A)与次高斯模型(C)进行比较；次高斯模型(B)与次高斯模型(D)进行比较。而前一周期的次高斯模型(C)则与下一周期的次高斯模型(A)进行比较，随着时间不断比较以维持图像背景的更新。

S201：图像信息都属于背景信息。比较两个次高斯模型，例如选择两个相间隔的次高斯模型进行比较，如图4所示。当次高斯模型(C)的图像信息的平均值落入次高斯模型(A)的协方差的一定比例中时；或次高斯模型(A)的图像信息的平均值落入次高斯模型(C)的协方差的一定比例中时，则认定两者都属于背景信息。

S203：以次高斯模型更新主高斯模型的学习。例如选择两个相间隔的次高斯模型进行比较，如图4所示。当将次高斯模型(A)与次高斯模型(C)进行比较后，认定属于背景信息时，将次高斯模型(A)更新至背景信息的主高斯模型中；当将次高斯模型(B)与次高斯模型(D)进行比较后，认定属于背景信息时，将次高斯模型(B)更新至背景信息的主高斯模型中。由此不间断地维持图像背景的更新与学习。

S205：删除已学习的次高斯模型。次高斯模型的建立存在于内存的暂存盘中，为了避免内存容量不足以存储连续建立的次高斯模型，将学习完并更新至主高斯模型的次高斯模型从内存中删除。例如前步骤S203中，将次高斯模型(A)与次高斯模型(C)比较后，当认定都属于背景信息时，将次高斯模型(A)更新至背景信息的主高斯模型中后，删除该次高斯模型(A)。次高斯模型(C)则在与下一周期的次高斯模型(A)比较之后，才会被从内存中删除。

S202：至少一个图像信息不属于背景信息。在步骤S20之后，比较两个次高斯模型，如果其中的一个次高斯模型所包含的图像信息平均值未落入另一比较的图像信息的协方差的一定比例中，则认定至少一个图像信息不属于背景信息。

S204：不更新主高斯模型的学习。在之前的S202步骤后，此时主高斯模型不作任何更新动作。

S206：删除已比较完成的次高斯模型。例如选择相间隔的两个次高斯模型进行比较，当将次高斯模型(A)与次高斯模型(C)进行比较后，认定不属于背景信息时，将次高斯模型(A)从内存中删除。次高斯模型(C)则在与下一周期的次高斯模型(A)比较之后，才会被从内存中删除。

请参照图3及图3。图3是本发明的第一实施例的方法的流程图。图5是画面差值法(Frame Difference)的原理示意图。

在利用多个高斯模型维持图像背景的方法中，在步骤S14建立主高斯模型后，进一步可包括利用画面差值法，使主高斯模型学习时略过移动物体边缘，以避免产生误判。

此方法在上述背景建模的同时进行画面差值，结果如图5的右图所示，得到移动物体的边缘，我们记录此区块，并在背景学习时跳过此区域，即可以有效防止前景边缘与背景接近的色彩的入侵，而因此防止更新背景造成错误。其余步骤与第一实施例的相同，在此不再赘述。

请参照图6。图6是本发明的第二实施例的装置的示意图。

本发明也提出一种利用多个高斯模型以维持图像背景的装置3，包括：撷取模块30，计算模块32，存储模块34，及学习模块36。

撷取模块30撷取包含多个像素的图像画面，以获得背景信息，并撷取固定时间内多个连续该图像画面，以获得多个图像信息。例如应用于监视器中，利用撷取模块30撷取图像画面。从所撷取的图像画面可解析出一开始所构建的背景信息，及新进物体进入之后的多个图像信息。

背景信息及图像信息其实就是由一张张图像所构成的图像，而这些图像又由多个像素所组成。每个像素可选择色彩表示的方法，例如常见的RGB色彩表示方法，或是YUV，YCbCr等。该些表示方法之间也可互相转换，并不局限于选择任一种表示方式。

计算模块32连接到该撷取模块30，将撷取模块30所获得的信息传输至计算模块32，通过计算模块32计算背景信息以建立一主高斯模型，以及计算这些图像信息以建立多个次高斯模型。例如：选择以RGB方式表示时，所建立的高斯模型内的高斯分布包括有一平均值及一协方差信息。

存储模块34连接到该计算模块32，把利用计算模块32所建立的主高斯模型与这些次高斯模型存储于其中。

学习模块36，连接到该存储模块34，与该存储模块34之间是双向传输。首先由存储模块34取出两个次高斯模型，然后通过学习模块36进行比较，当判断该两个次高斯模型所对应的图像信息都属于背景信息时，则以该次高斯模型更新主高斯模型的学习，并将更新学习结果传输至存储模块34，存储更新后的主高斯模型所对应的图像背景信息。如果判断两个次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新主高斯模型的学习，而维持该主高斯模型的背景信息。

判断方式为其中一个次高斯模型所包含的图像信息平均值是否落入另一比较的图像信息的协方差的一定比例中。如果是，则认定两者都属于背景信息，主高斯模型对此进行学习。反之，则不进行学习。

选择两个次高斯模型进行比较，可以选择相邻或相间隔的两个次高斯模型进行比较，其考虑与第一实施例相同，于此不再赘述。

在传统的混合高斯中，背景会对每个图像的所有像素来进行学习，而不管像素是属于前景或是背景。因此存在时间过久的前景将会对背景的更新学习造成误判。以本发明所提出的方法与装置进行学习，可将主高斯分布的学习与前景隔绝开来，背景的学习将不易受前景影响，这样，主高斯模型对于背景的学习会更加精确，分割前景发生误判的机会也相对减少。

虽然以优选实施例将本发明的技术内容公开如上，然而其并非用于限定本发明，任何本领域普通技术人员在不脱离本发明的精神所作的修改与改进，都应被包含在本发明的范围内，因此本发明的保护范围应当以所附的权利要求所限定的为准。

Claims (19)

1.一种利用多个高斯模型以维持图像背景的方法，包括下列步骤：

a.采集包含多个像素的图像画面，以获得背景信息；

b.计算该背景信息以建立主高斯模型；

c.采集一时间间隔内的多个连续的图像画面，以获得图像信息，并计算该图像信息以建立次高斯模型；

d.重复步骤c以建立多个次高斯模型；及

e.比较两个次高斯模型，当判断这些次高斯模型所对应的图像信息都属于背景信息时，则以次高斯模型更新该主高斯模型的学习，若判断这些次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新该主高斯模型的学习，而维持该主高斯模型的背景信息。

2.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，其中，该背景信息与该图像信息以YUV高斯分布表示。

3.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，其中，该背景信息与该图像信息以YCbCr高斯分布表示。

4.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，其中，该背景信息与该图像信息以RGB高斯分布表示。

5.如权利要求4所述的利用多个高斯模型以维持图像背景的方法，其中，该RGB高斯分布包括一平均值及一协方差，该平均值是像素RGB值，该协方差是RGB高斯分布所覆盖的范围。

6.如权利要求5所述的利用多个高斯模型以维持图像背景的方法，其中，判断这些次高斯模型所对应的图像信息都属于该背景信息是指其中的一个图像信息的平均值落入另一图像信息的协方差的一定比例中。

7.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，其中，比较两个次高斯模型是指比较相邻的次高斯模型。

8.如权利要求1所述的利用多个高斯模型以维持图像背景之方法，其中，比较两个次高斯模型是指比较相间隔的次高斯模型。

9.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，进一步包括在步骤b后，利用画面差值法以得到移动物体边缘，记录该移动物体边缘后，在该主高斯模型学习时略过该移动物体边缘。

10.如权利要求9所述的利用多个高斯模型以维持图像背景的方法，其中，利用该画面差值法是在图像画面中建立一当前帧及一参考帧并计算二者间的像素的差值。

11.如权利要求1所述的利用多个高斯模型以维持图像背景的方法，其中，进一步包括在以次高斯模型更新主高斯模型的学习后，即删除该次高斯模型。

12.一种具有多个高斯模型以维持图像背景的装置，其包括：

采集模块，采集包含多个像素的图像画面，以获得背景信息，并采集一时间内的多个连续图像画面，以获得多个图像信息；

计算模块，连接到该采集模块，计算该背景信息以建立主高斯模型，并计算这些图像信息以建立多个次高斯模型；

存储模块，连接到该计算模块，存储所建立的主高斯模型与次高斯模型；及

学习模块，连接到该存储模块，与该存储模块之间为双向传输，其比较两个次高斯模型，当判断这些次高斯模型所对应的图像信息都属于该背景信息时，则以次高斯模型更新该主高斯模型的学习，并将更新学习结果存储在该存储模块中，如果判断这些次高斯模型所对应的图像信息的至少其中之一不是背景信息时，则不更新主高斯模型的学习，而维持该主高斯模型的背景信息。

13.如权利要求12所述的具有多个高斯模型以维持图像背景的装置，其中，该背景信息与该图像信息以YUV高斯分布表示。

14.如权利要求12所述的具有多个高斯模型以维持图像背景的装置，其中，该背景信息与该图像信息以YCbCr高斯分布表示。

15.如权利要求12所述的具有多个高斯模型以维持图像背景的装置，其中，该背景信息与该图像信息以RGB高斯分布表示。

16.如权利要求15所述的具有多个高斯模型以维持图像背景的装置，其中，该RGB高斯分布包括一平均值及一协方差，该平均值是像素RGB值，该协方差是RGB高斯分布所覆盖的范围。

17.如权利要求16所述的具有多个高斯模型以维持图像背景的装置，其中，判断这些次高斯模型所对应的图像信息都属于该背景信息是指其中一个图像信息的平均值落入另一图像信息的协方差的一定比例之中。

18.如权利要求12所述的具有多个高斯模型以维持图像背景的装置，其中，比较两个次高斯模型是指比较相邻的次高斯模型。

19.如权利要求12所述的具有多个高斯模型以维持图像背景的装置，其中，比较两个次高斯模型是指比较相间隔的次高斯模型。

Images