CN104200473A - 一种基于图像背景剪除的动态视觉测量方法 - Google Patents

一种基于图像背景剪除的动态视觉测量方法 Download PDF

Info

Publication number
CN104200473A
CN104200473A CN201410443113.9A CN201410443113A CN104200473A CN 104200473 A CN104200473 A CN 104200473A CN 201410443113 A CN201410443113 A CN 201410443113A CN 104200473 A CN104200473 A CN 104200473A
Authority
CN
China
Prior art keywords
pixel
image
background
value
illumination condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410443113.9A
Other languages
English (en)
Other versions
CN104200473B (zh
Inventor
王君秋
张振伟
杨超
甘志超
周莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC HI-TECH DEVELOPMENT Co Ltd
AVIC Intelligent Measurement Co Ltd
China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology
Original Assignee
AVIC HI-TECH DEVELOPMENT Co Ltd
AVIC Intelligent Measurement Co Ltd
China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC HI-TECH DEVELOPMENT Co Ltd, AVIC Intelligent Measurement Co Ltd, China Aviation Industry Corp of Beijing Institute of Measurement and Control Technology filed Critical AVIC HI-TECH DEVELOPMENT Co Ltd
Priority to CN201410443113.9A priority Critical patent/CN104200473B/zh
Publication of CN104200473A publication Critical patent/CN104200473A/zh
Application granted granted Critical
Publication of CN104200473B publication Critical patent/CN104200473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于图像背景剪除的动态视觉测量方法,其中,围绕测量场布置有摄像机,所述摄像机具有固定的拍摄视野,所述方法包括以下步骤:步骤1、所述摄像机拍摄当前图像;步骤2、将所述当前图像与对应于先前光照条件的背景图像进行对应像素的像素值相减,将相减结果大于第一预定阈值的像素判定为前景像素,将相减结果不大于第一预定阈值的像素判定为背景像素;步骤3、根据当前图像的前景像素的数目占总像素数目的比例、以及当前图像相对于所述背景模型的变化的梯度方向的一致性,判定当前光照条件是否相对于先前光照条件而发生变化;步骤4、如果当前光照条件相对于先前光照条件而发生变化,则重建对应于当前光照条件的背景图像。

Description

一种基于图像背景剪除的动态视觉测量方法
技术领域
本发明涉及高效率动态视觉测量中的图像处理领域,特别涉及在照明条件变化的情况下的一种有效的图像背景剪除技术、以及这种技术在视觉测量中的应用。 
背景技术
随着大型飞机、载人航天和大型雷达等国家重要工程的快速推进,对大型零件设备的变形和大空间内物体的运动状态的实时监测技术得到了快速发展。计算机技术、电子技术、光学技术的日趋完善以及图像处理、模式识别等技术的不断进步,视觉测量技术已逐渐成为大型构件和设备状态信息的最主要的监测手段。 
目前,大型构件和设备状态检测主要包括接触式和非接触式两种。接触式状态检测技术主要包括:人工采用卡具测量和三坐标测量机。人工采用卡具测量的操作简单、成本低,是目前生产中较多采用的一种测量方法,但测量效率低、精度差、无法实现动态测量。三坐标测量机是完成三坐标测量的通用设备,具有很好的测量精度,但测量范围有限,同样无法实现动态测量。非接触式检测技术主要有激光跟踪仪、3D激光测距仪、全站仪、经纬仪、视觉检测技术等。激光跟踪仪、3D激光测距仪、全站仪及经纬仪适于一般现场条件,测量范围大、精度高,但主要缺点是测量效率低,一次只能实现单点测量,无法实现大型构件或设备的表面信息测量和动态测量。 
制约大型构件和设备的动态视觉测量的关键技术难点主要是:在对大型构件和设备的监测过程中会产生大量冗余数据,导致计算机处理数据量大、工作效率低下等问题,并且对于环境照明条件的突然变化,会导致动态视觉 测量失效的问题。 
实时背景剪除技术,在视频,跟踪,探测和实物放大系统中都是一个难题。之前在视频处理上的研究已经取得了很大的成果,但很少涉及光照条件突然变化的情况。在之前的研究中,背景保留技术可以通过更新背景模型来处理逐渐改变的光照条件,但在光照条件突然发生改变的时,这种方法会失效。 
发明内容
有鉴于此,本发明的主要目的在于一种基于图像背景剪除的动态视觉测量方法,其解决了现有动态视觉测量中由于高分辨率视频图像信息量大、图像的传输和处理比较困难的问题,在保证了动态视频测量的精度的前提下,提高了动态测量的效率。并且本发明所涉及的图像背景剪除技术能够有效的克服测量环境中光照条件的变化,获取测量点的图像信息。 
围绕被测物体布置多个视觉测量站,从不同的角度对目标进行拍摄,并对被测物所需的测量点行全局标定,建立全局坐标系。对测量场内物体进行连续测量。测量主要包括长度测量和位移测量,也可以进行位姿测量。 
在测量过程中,测量场内景物在视觉测量站的投影包括被测物体及其背景。测量的主要依据是被测物体,特别是测量靶标在视觉测量站中的投影,形成图像中的前景图像;测量场内其它物体的投影形成图像中的背景图像。其中背景图像所占区域较大,对数据传输及测量速度等有负面影响。为此,本发明提出使用背景剪除方法去除背景图像,保留前景图像。 
在动态测量过程中,被测物体的移动将造成图像的变化;而由于光照等方面的影响,背景图像也会发生变化。本发明的特点在于将不同的变化区分开来。特别是测量场内光照发生突然变化时,前景图像和背景图像都将发生巨大变化,采用传统的背景剪除难以进行前景和背景的区分。本发明提出的背景剪除方法能够在测量场内光照发生突然变化时,保持对背景和前景的建模过程,保证前景和背景图像的区分。 
在测量过程中,摄像机位置保持不变,其视场范围亦保持不变。在测量 场内每个摄像机的背景剪除算法在各个采集的图像序列中进行。不同摄像机背景剪除后的结果在特征匹配过程中进行对应,随即采用立体视觉算法,计算测量靶标坐标。 
根据本发明的实施例,提供了一种基于图像背景剪除的动态视觉测量方法,其中,围绕测量场布置有摄像机,所述摄像机具有固定的拍摄视野,所述方法包括以下步骤:步骤1、所述摄像机拍摄当前图像;步骤2、将所述当前图像与对应于先前光照条件的背景图像进行对应像素的像素值相减,将相减结果大于第一预定阈值的像素判定为前景像素,将相减结果不大于第一预定阈值的像素判定为背景像素;步骤3、根据当前图像的前景像素的数目占总像素数目的比例、以及当前图像相对于所述背景模型的变化的梯度方向的一致性,判定当前光照条件是否相对于先前光照条件而发生变化;步骤4、如果当前光照条件相对于先前光照条件而发生变化,则重建对应于当前光照条件的背景图像。 
本发明的有益效果主要在于:提出了一种将图像背景剪除过滤技术,其应用到对大型构件和设备的视觉测量过程中,即,在对监测信息数据处理前对所监测到的图像数据进行过滤(剪除背景部分),剔除大量的冗余数据,从而缩短计算机处理图像数据的时间,提高视觉测量技术的工作效率,并且通过背景图像模型的重建,还能有效地克服因周围环境照明条件的突然变化而引起的测量失效的问题。 
附图说明
图1为根据本发明的实施例的基于图像背景剪除的动态视觉测量方法的示意流程图。 
图2至4为根据本发明的实施例的期望最大化方法的示意流程图。 
图5和6用来示出根据本发明的实施例的动态视觉测量方法的预分类过程所采用的摩斯理论的原理。 
具体实施方式
下面,结合附图对技术方案的实施作进一步的详细描述。 
本领域的技术人员能够理解,尽管以下的说明涉及到有关本发明的实施例的很多技术细节,但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合,只要它们不背离本发明的原理和精神即可。 
另外,为了避免使本说明书的描述限于冗繁,在本说明书中的描述中,可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理,这对于本领域的技术人员来说是可以理解的,并且这不会影响本说明书的公开充分性。 
背景剪除旨在将图像像素分为背景和前景,这种分类的依据是物体和背景表面的不同。一张图像中场景点的颜色是靠它的反射率和照明所决定的。反射率是一个物体的固有属性,不会随着照明条件的改变而改变。而背景中的场景点却只被照明条件的变化所影响。如果一个前景中的物体阻挡了背景中的场景点,那么反射率和照明条件都会被改变。相对于背景来说相关比率比较明显,因此可以通过图像照明比率来预分类图像像素为前景和后景。根据本发明的实施例,基于摩斯理论的原理,在照明比图像中进行持续性拓扑运算,从而完成图像前景和背景的预分类。在预分类阶段是有错误存在的,但可以通过期望值最大化(EM)将错误最大程度地去除。 
在期望值最大化构架中,可以处理突然的光照条件改变。一种期望值最大化算法可以在输入样本的一系列变量的责任值分配和一些统计模型的参数估计间转换。因为其优良的特性,期望值最大化已经被广泛地应用到背景剪除中。根据本发明的实施例,利用高斯混合模型描述前景中的像素,用另一个高斯混合模型描述背景中的照明比率。基于前述预分类结果,可以计算高斯混合模型成分的责任值分配,然后对高斯混合模型的参数值进行估计。 
初始化在期望值最大化计算中非常重要。预分类结果只被应用在了第一次最大期望步骤上,在后面反复迭代的期望步骤上,没有在涉及到概率分布的分解。因此,在初始化中的错误并不会影响接下来的期望值最大化反复,实验结果证实,此种构想得出了很好的结果。 
下面参照图1来具体说明根据本发明的实施例的基于图像背景剪除的动态视觉测量方法的实现。 
首先,在初始化阶段(其在初始光照条件下进行),测量场内没有被测物体。此时,每个摄像机(单个或多个摄像机)各自获取多幅图像,各自基于其获取的图像,建立背景模型(即,初始光照条件下的背景图像)。在背景模型中,每个像素的像素值具有红(r)、绿(g)、蓝(b)三个通道值,这三个通道值分别是多幅图像的相应像素的相应通道值的中值(或均值)。在测量初始化阶段,每个摄像机可以获得101至201幅图像。获取图像的数目为奇数,以便于进行上述中值计算。 
之后,被测物体进入测量场,即,被测物体完整出现在各个摄像机的拍摄视野中。在被测物体进入测量场之后,在各个摄像机的图像中得到相应的图像(投影)。之后,在初始光照条件下,根据在初始化阶段生成的背景模型、以及当前获得的图像,可以进行背景剪除。背景剪除的输入是背景模型和当前图像,其输出是二值图像(背景剪除结果图像,例如,黑白图像)。二值图像表示图像中相应像素点属于图像前景或者图像背景。具体地,在背景剪除的过程中,可以将背景模型和当前图像的对应像素(同一位置的像素)的像素值相减,如果差(所述当前图像与所述背景图像的对应像素的红(r)、绿(g)、蓝(b)三个通道值的差值的绝对值之和)超过阈值,则该像素在背景剪除结果图像中的像素值为1(或其他值,例如255),即表示该像素属于图像前景;否则,该像素在背景剪除结果图像中的像素值为0(或其他值),即表示该像素属于图像背景。 
至此,进行了在初始光照条件下的初始背景模型的建立,完成了初始化阶段。 
接下来进入实际测量阶段。如果光照条件未发生变化(仍处于初始光照条件下),则仍可以根据初始背景模型、以及当前获得的图像,进行背景剪除。 
另一方面,如果初始光照条件发生改变,那么,由于实际图像背景与在初始化阶段生成的背景模型存在差异,若仍使用在初始化阶段生成的背景模型进行上述背景剪除,获得的二值图像很可能包含错误,即,某些像素被错 误地划分为图像前景或图像背景。例如,在被测物体及其背景图像在摄像机的拍摄图像中都发生较大变化(亮度变化)的情况下,在进行背景剪除时,当前拍摄图像与初始背景模型的对应像素之间的像素值的差很可能大于阈值,导致在背景剪除结果(二值图像)中的大部分像素将为1,即,大部分图像区域都将被分类为前景,而这是不符合实际情况的。 
作为示例,对于环境光照是否变化,可以根据背景剪除结果来确定。具体地,如果采用当前背景模型(其可为初始背景模型、或者之后重建的新背景模型)的背景剪除结果中,前景区域的像素数目占图像像素总数的比率超过阈值、且当前拍摄图像相对于当前背景模型的变化的梯度方向一致(图像每一个像素的像素值变化梯度一致性,梯度的变化一致性由梯度方向一致的像素数衡量。这里,如果图像发生变化的原因是前景,像素值的梯度方向很难保持一致。),则判定测量场内的环境光照发生变化。否则,判定测量场内的环境光照未发生变化。 
在测量场环境光照发生变化时,需要对背景模型进行重建,使得背景模型与当前光照情况相符合,即,生成新的适于当前光照条件的背景模型。反之,如果光照情况未发生变化,背景剪除的结果即可用于测量。根据背景剪除的结果来判断环境光照是否变化,可以大幅降低计算量,并且对被测物体的变化及时感知。 
如上所述,在测量场光照情况发生变化时需要进行背景重建,其输入为当前背景模型和当前获取的图像。背景模型重建通过期望值最大化(EM)方法(例如,参见参考文献3、4)进行。 
下面描述背景模型的重建过程。 
首先,计算当前图像相对于初始背景模型的光照比,生成当前的光照比图像,然后,利用拓扑方法对光照比图像进行预分类(例如,通过采用摩斯理论的预分类方法),光照比图像的所有像素被分为前景像素和背景像素,生成初始的光照比高斯混合模型、以及前景像素的高斯混合模型(模型的初始参数)(可参见参考文献5中的方法,在光照发生剧烈变化时,根据最大期望值方法计算所得的光照比高斯混合模型的参数,对背景模型进行重建。)。在 光照条件发生变化时,背景模型中每个像素的高斯混合模型需要进行重建。其中光照比高斯混合模型描述了当前图像相对于初始背景模型的光照变化分布。由于预分类的结果可能包含某些像素的误分类,为了消除误分类,使用期望值最大化(EM)方法,对高斯混合模型重建,即,通过EM方法,将通过上述预分类得到的初始的模型参数收敛到理想值,从而生成全局光照比高斯混合模型的参数,包括其平均值和方差等。 
下面举例说明上面各个步骤的实现过程。 
1)光照比的计算: 
设{Hi,m}i={1,2,...,n}和{Hi,u}i={1,2,...,n}是初始背景模型图像m和当前输入图像u的像素向量,其中会有一系列潜在的可变因素{Yi}i={1,2,...,n},Yi=1(Yi=0)表示像素i是在前景中。图像中的像素值是反射率Qi和照明率Ki的乘积结果:Hi=QiKi
其中是,Ki是3×3对角矩阵,Qi∈R3,Hi∈R3。 
背景和输入图像有不同的照明条件。计算在两种像素间的照明比率,一张形成背景和一张形成输入图像。 
R i = H i , u H i , m = K i , u Q i , u K i , u Q i , u
如果一个像素在背景中,那么反射特性应该是Qi,m=Qi,u。因此比率是: 
R i = K i , u 1 T K i , m 1 T
其中1T是一个3×1的向量。 
如果一个像素在前景中,比率会被反射率和照明的不同所影响,而且在比率图像和背景点对比中会很显著。虽然背景点在前景中和它们在背景中会有很相似的反射率,但是这情况在所有的背景去除方法中是不同的。 
2)预分类 
利用照明比图像,来将图像像素预分类为前景和背景。前景区域在比率图像中通常是是明显的。比率图像由一个3×1的向量构成其 中(r、g、b)指RGB通道。通过计算三个通道中的最大值,将照明比图像转换成1维: 
R i max = max ( R i r , R i g , R i b )
最大通道很好地描述了前景区域。 
接下来,利用一个拓扑的方法(例如,根据摩斯理论(Morse theory,参见参考文献1和2))来对进行预分类。 
摩斯理论将具有多种用途的函数运用到有多种用途的拓扑学上。如果摩斯函数所有的关键点都是非退化的,一个光滑的映射关系M—R表示:一个流形协议M就是摩斯函数,对于一个函数的关键点,在这些关键点上函数的差异都消失了或者不存在了,例如一个已给出的最大值和最小值,在它们之间的一些列点属于一个平稳的流形(简单地说,流形是拓扑结构与微分几何)。在图5中展示了平稳和不平稳的流形。这里还会有一些不平稳的流形(如果这些点穿过了最小值)。可以根据这些关键点间的关系给出标签。像在图6中展示的,这些操作有创建、复制和取消。具体地,预分类可包括以下步骤:第一步,计算每个像素的最大照明比,即,每一个图像像素的三个通道分别有其照明比,在三个照明比中取最大值。第二步,密度估计。在照明比图像中,求每一个3x3窗口的像素的最大照明比的均值(即,最大照明比之和除以9),作为此窗口的近似密度估计值。第三步,对所有窗口的密度估计值进行排序。第四步,在密度估计值的排序基础上,进行流形计算,同时从最小密度估计值和最大密度估计值开始,利用摩斯理论进行拓扑计算,直到从最小密度估计值开始估计的流形的最大密度估计值、与从最大密度估计值开始估计的流形的最小密度估计值相等为止,得到每个窗口所属的流形(从而每个像素所属的流形,密度估计是根据每个窗口的均值获得。)。第五步,根据上一步的输出(拓扑),利用摩斯理论计算每个流形的稳定性,从而确定前景和背景的预分类(确定每个窗口(每个像素)是否处于稳定流形中,如果是属于稳定流形,那么,相应的像素分类为背景;反之,相应像素分类为背景。),具体地,前景的流形稳定性小于背景的流形稳定性。流形的稳定性可由摩斯理论中的关键点数目(有关关键点的定义及计算方法,可参见参考文 献1和2)表示。关键点数目多,流形属于非稳定流形;与此相对应,流形中关键点少,即为稳定流形。背景的流形是稳定流形;而前景是非稳定流形。 
利用高斯转换实现了密度的近似估计,这种方法很高效,估计结果很正常并且分别储存在文件中。我们从最大值到最小值进行密度估计,继续计算关键点间的连续性。在开始的时候,出现了一些稳定的拓扑结构。在一些凸起的成分出现过后,拓扑结构慢慢趋于平缓直到一些不知名的成分出现后。同时,我们也从最小值开始密度估计,从最大值和最小值开始的拓扑都很平稳,并且在某些特定的比率特性点达到了一致。 
将平稳拓扑分类明显区域作为前景区域,许多小区域在噪声中被分离出包含到预分类结果中,并在预分类中将这些剪除。预分类的结果用u(y|Ri,u)来表示。 
预分类的结果通常都包含错误,这是可想而知的,因为在有些情况下照明条件是没有区别的。不过这些错误能在期望值最大化反复中被剪除, 
3)期望最大化方法 
下面参照图2至图4来描述期望最大化方法(可参见参考文献3、4)。 
第一步,颜色和照明比表示。 
用带有成分C的GMM表示前景外貌: 
o ( H i , u | Y i , λ , Σ ) = Σ c = 1 c β c M ( H i , u | λ c , Σ c )
这里λc和Σc分别是GMM的平均数和协方差矩阵;βc是cth的矩阵权重;M(Hi,ucc)是3维高斯变量pdf。 
同样,用带有成分的GMM来表征背景中的比率图像: 
o ( R i | y i , λ , Σ ) = Σ c = c + 1 c + c ‾ β c M ( R i | λ c , Σ c )
因为前景GMM无法覆盖一些像素,所以必须统一分配来统计前景中的模糊像素。模糊像素的发生概率为用下式来定义统一分配。 
o ( H i , u | y i , λ , Σ ) = β c + c ‾ + 1 256 3
下面进行期望值最大化推理过程。期望值最大化推理的目的是为了计算变量的条件概率,推理过程被确切地阐述为最大可能估计: 
ρ * = arg max log Π i Σ i o ( H i , u , R i , Y i | ρ )
其中:ρ={λ,Σ,β} 
第二步,期望化。 
E步计算了相关于i点的每一个成分的回应,并且提高了辅助分配p(t+1)=argmaxqι(p,ρ(t))的可能性。这里ι(p,ρ(t))是t-th反复中可能性最低的界限。p是作为p(y|R,Hu,ρ)=o(y|R,Hu(t))的最佳选择。 
在第一次反复E步中,参数ρ是未知的,通过介绍预分类结果来初始化期望值最大化。基于近似前景概率和GMM的统一初始化来计算高斯混合模型的责任值,并以此来描述前景外貌: 
q c = 1 . . . c ( t + 1 ) = 1 M i β c ( t ) M ( H i , u | λ c ( t ) , Σ c ( t ) ) u ( y = 1 | r i , u )
这里Mi是后来给出的正常因素。 
然后,通过计算高斯混合模型的责任值来描述背景中的照明比率: 
q c = 1 . . . c ( t + 1 ) = 1 M i β c ( t ) 1 | | I c | | M ( R i | λ c ( t ) , Σ c ( t ) ) u ( y = 0 | r i , u )
这里I是函数行列式Ri(Hi,u)的决定因素,以此来完成pdf(概率密度函数)。 
还可以根据统一分配来计算模糊像素的责任值: 
q i , c = ( c + c ‾ + 1 ) ( t + 1 ) = 1 M i β c + c ‾ + 1 ( t ) 1 256 3 u ( y = 1 | R i , u )
这个正常因素是通过来计算的。 
在期望值最大化的第一次反复后,θ的参数在M步中被估计出。在下面的反复中,E步可以不包含预分类结果u(y|Ri,u)。责任值是通过以下的式子来计算的。 
q c = 1 . . . C ( t + 1 ) = 1 M i β c ( t ) M ( H i , u | λ c ( t ) , Σ c ( t ) )
q c = C + 1 . . . C + C ‾ ( t + 1 ) = 1 M i β c ( t ) 1 | | I c | | M ( R i | λ c ( t ) , Σ c ( t ) )
q i , c = ( C + C ‾ + 1 ) ( t + 1 ) = 1 M i β C + C ‾ + 1 ( t ) 1 256 3
第三步,最大化。 
参见图4,基于在E步计算出来的责任值,可以算出期望的价值被完成的可能性。组成矩阵的权重可以通过下式算出: 
β c ( t + 1 ) = Σ i = 1 n q i , c ( t + 1 ) m
可以通过下式估计出前景高斯混合模型的向量平均值: 
λ c ( t + 1 ) = 1 M c Σ i = 1 n q i , c ( t + 1 ) H i , u
前景中高斯混合模型的协方差矩阵是通过下式计算的 
同样,背景中高斯混合模型的平均值和协方差矩阵是通过下式计算的: 
λ c ( t + 1 ) = 1 M c Σ i = 1 n q i , c ( t + 1 ) R i
Σ c ( t + 1 ) = 1 M c Σ i = 1 n q i , c ( t + 1 ) ( R i - λ c ) ( R i - λ c ) T
矩阵组成部分的权重是通过下式来计算的: 
M c = Σ i = 1 n q i , c ( t + 1 )
在背景高斯混合模型中描述的像素概率在t+1次反复后可通过下式来计算: 
o ( t + 1 ) ( y = 1 | ρ * , H i , u ) = Σ c = 1 c q i , c ( t + 1 )
利用得到的光照比高斯混合模型中的三个通道的平均值,进行背景模型重建。 
之后,利用重建的背景模型,对环境光照变化后的当前输入图像进行正确的前景与背景分类。从而提高视觉测量的效率,降低数据传输及处理的压力。 
综上所述,本领域的技术人员能够理解,对本发明的上述实施例能够做出各种修改、变型、以及替换,其均落入如所附权利要求限定的本发明的保 护范围。 
参考文献列表 
1、Milnor,J.:Morse theory.Princeton University Press(1963) 
2、Gyulassy,A.,Bremer,P.T.,Hamann,B.,Pascucci,V.:A practical approach to morse-smale complex computation.IEEE Trans.Vis.Comput.Graph.14(2008)1619–1626 
3、Dempster,A.P.,Laird,N.M.,Rubin,D.B.:Maximum likelihood from incomplete data via the em algorithm.Journal of the Royal Statistical Society.Series B(Methodological)39(1998)1–38 
4、Neal,R.,Hinton,G.:A view of the EM algorithm that justifies incremental,sparse,and other variants,Learning in Graphical Model.A Bradford Book(1998) 
5、Zivkovic,Z.,van der Heijden,F.:Efficient adaptive density estimation per image pixel for the task of background subtraction.Pattern Recognition Letters 27(2006)773–780 。

Claims (9)

1.一种基于图像背景剪除的动态视觉测量方法,其中,围绕测量场布置有摄像机,所述摄像机具有固定的拍摄视野,所述动态视觉测量方法包括以下步骤:
步骤1、所述摄像机拍摄当前图像;
步骤2、将所述当前图像与对应于先前光照条件的背景图像进行对应像素的像素值相减,将相减结果大于第一预定阈值的像素判定为前景像素,将相减结果不大于第一预定阈值的像素判定为背景像素;
步骤3、根据当前图像的前景像素的数目占总像素数目的比例、以及当前图像相对于所述背景模型的变化的梯度方向的一致性,判定当前光照条件是否相对于先前光照条件而发生变化;
步骤4、如果当前光照条件相对于先前光照条件而发生变化,则重建对应于当前光照条件的背景图像。
2.根据权利要求1所述的动态视觉测量方法,还包括以下步骤:
步骤5、将所述当前图像与对应于当前光照条件的重建后的背景图像进行对应像素的像素值相减,将相减结果大于预定阈值的像素判定为前景像素,将相减结果不大于预定阈值的像素判定为背景像素。
3.根据权利要求1所述的动态视觉测量方法,其中,在所述步骤3中,如果当前图像的前景像素的数目占总像素数目的比例大于第二预定阈值、且当前图像相对于所述对应于先前光照条件的背景模型的变化的梯度方向一致,则判定当前光照条件是否相对于先前光照条件而发生变化。
4.根据权利要求1所述的动态视觉测量方法,其中,在步骤1之前,还包括以下初始化步骤:在初始光照条件下,所述摄像机获取多幅图像,计算多幅图像的各个像素的红(r)、绿(g)、蓝(b)三个通道值的中值,将计算结果保存为所述对应于先前光照条件的背景图像,
其中,在步骤3中,所述相减结果是所述当前图像与所述背景图像的对应像素的红(r)、绿(g)、蓝(b)三个通道值的差值的绝对值之和。
5.根据权利要求1所述的动态视觉测量方法,其中,所述步骤4包括:
步骤41、计算当前图像相对于背景图像的对应像素的像素值的比率,保存作为当前的光照比图像;
步骤42、利用拓扑方法对光照比图像进行预分类,光照比图像的所有像素被分为前景像素和背景像素,生成初始的光照比高斯混合模型、每个像素的高斯混合模型以及前景像素的高斯混合模型,其中光照比高斯混合模型描述当前图像相对于背景图像的像素值变化分布,前景像素的高斯混合模型用于描述前景像素的分布。
6.根据权利要求5所述的动态视觉测量方法,其中,所述步骤42包括:
步骤421、在所述光照比图像中,对每一个3x3像素窗口的中的红(r)、绿(g)、蓝(b)三个通道值的比率中的最大比率求均值,作为此窗口的近似密度估计;
步骤422、对所有密度估计值进行排序;
步骤423、利用摩斯理论,进行拓扑计算,得到每个窗口中的像素所属的流形;
步骤424、利用摩斯理论,计算每个流形的稳定性,将稳定性大于第三预定阈值的流形中的像素预分类为前景,将其余像素预分类为背景。
7.根据权利要求5所述的动态视觉测量方法,其中,所述步骤4还包括:
步骤43、使用期望值最大化(EM)方法,将通过所述预分类得到的初始的高斯混合模型的参数收敛到最终值,从而生成全局光照比高斯混合模型的参数,包括其平均值和方差等。
8.根据权利要求7所述的动态视觉测量方法,其中,所述步骤4还包括:
步骤44、使用在步骤43中得到的全局光照比高斯混合模型的红(r)、绿(g)、蓝(b)三个通道的平均值,生成所述对应于当前光照条件的背景图像。
9.根据权利要求2至8中的一个所述的动态视觉测量方法,其中,所述摄像机是多个摄像机,用来从不同的角度进行拍摄,并基于背景剪除的结果,进行长度测量和位移测量,在特征匹配过程中进行对应,随即采用立体视觉算法,计算测量靶标坐标。
CN201410443113.9A 2014-09-02 2014-09-02 一种基于图像背景剪除的动态视觉测量方法 Active CN104200473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410443113.9A CN104200473B (zh) 2014-09-02 2014-09-02 一种基于图像背景剪除的动态视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410443113.9A CN104200473B (zh) 2014-09-02 2014-09-02 一种基于图像背景剪除的动态视觉测量方法

Publications (2)

Publication Number Publication Date
CN104200473A true CN104200473A (zh) 2014-12-10
CN104200473B CN104200473B (zh) 2017-06-06

Family

ID=52085759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410443113.9A Active CN104200473B (zh) 2014-09-02 2014-09-02 一种基于图像背景剪除的动态视觉测量方法

Country Status (1)

Country Link
CN (1) CN104200473B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106769891A (zh) * 2015-11-19 2017-05-31 光宝电子(广州)有限公司 生化检测装置及方法
WO2017152822A1 (zh) * 2016-03-07 2017-09-14 华为技术有限公司 图像处理方法和装置
US10373316B2 (en) * 2017-04-20 2019-08-06 Ford Global Technologies, Llc Images background subtraction for dynamic lighting scenarios

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044152A (zh) * 2010-11-19 2011-05-04 杭州海康威视系统技术有限公司 一种昼夜视频检测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102044152A (zh) * 2010-11-19 2011-05-04 杭州海康威视系统技术有限公司 一种昼夜视频检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BRENDAN KLARE ET AL: "Background Subtraction in Varying Illuminations Using an Ensemble Based on an Enlarged Feature Set", 《2009 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
JUNQIU WANG ET AL: "Efficient Background Subtraction under Abrupt Illumination Variations", 《ACCV 2012》 *
ZORAN ZIVKOVIC ET AL: "Efficient adaptive density estimation per image pixel for the task of background subtraction", 《PATTERN RECOGNITION LETTERS》 *
方昀 等: "一种改进的基于背景差分的运动目标检测方法", 《电脑开发与应用》 *
邓宇 等: "图切割支持的融合颜色和梯度特征的实时背景减除方法", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106769891A (zh) * 2015-11-19 2017-05-31 光宝电子(广州)有限公司 生化检测装置及方法
CN106769891B (zh) * 2015-11-19 2019-09-27 光宝电子(广州)有限公司 生化检测装置及方法
WO2017152822A1 (zh) * 2016-03-07 2017-09-14 华为技术有限公司 图像处理方法和装置
CN107169930A (zh) * 2016-03-07 2017-09-15 华为技术有限公司 图像处理方法和装置
US10373316B2 (en) * 2017-04-20 2019-08-06 Ford Global Technologies, Llc Images background subtraction for dynamic lighting scenarios

Also Published As

Publication number Publication date
CN104200473B (zh) 2017-06-06

Similar Documents

Publication Publication Date Title
CN108596974B (zh) 动态场景机器人定位建图系统及方法
Krispel et al. Fuseseg: Lidar point cloud segmentation fusing multi-modal data
CN111428765B (zh) 一种基于全局卷积、局部深度卷积融合的目标检测方法
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
Shen et al. Intrinsic images decomposition using a local and global sparse representation of reflectance
CN111325794A (zh) 一种基于深度卷积自编码器的视觉同时定位与地图构建方法
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
Zhang et al. Estimating the 3d layout of indoor scenes and its clutter from depth sensors
Goldman et al. Learn stereo, infer mono: Siamese networks for self-supervised, monocular, depth estimation
CN106056607A (zh) 一种基于鲁棒主成分分析的监控图像背景建模方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN107392880A (zh) 一种仿造迷彩自动生成方法
US9430840B1 (en) Method and system for segmenting an image based on motion vanishing points
Lee et al. Learning residual flow as dynamic motion from stereo videos
Schuster et al. FlowFields++: Accurate optical flow correspondences meet robust interpolation
CN109670401B (zh) 一种基于骨骼运动图的动作识别方法
CN104200473A (zh) 一种基于图像背景剪除的动态视觉测量方法
Song et al. DGM-VINS: Visual–inertial SLAM for complex dynamic environments with joint geometry feature extraction and multiple object tracking
Höfer et al. Object detection and autoencoder-based 6d pose estimation for highly cluttered bin picking
Jin et al. Face depth prediction by the scene depth
Kumar et al. Dense depth estimation of a complex dynamic scene without explicit 3d motion estimation
CN108764177A (zh) 一种基于低秩分解和表示联合学习的运动目标检测方法
CN108197637A (zh) 一种基于深度学习的高压机柜开关检测方法
Zhou et al. Spatio-temporal human shape completion with implicit function networks
CN106485734A (zh) 一种基于非局部自相似性的视频运动物体检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant