CN106558077A - 位置误差的矫正方法及装置 - Google Patents

位置误差的矫正方法及装置 Download PDF

Info

Publication number
CN106558077A
CN106558077A CN201510601069.4A CN201510601069A CN106558077A CN 106558077 A CN106558077 A CN 106558077A CN 201510601069 A CN201510601069 A CN 201510601069A CN 106558077 A CN106558077 A CN 106558077A
Authority
CN
China
Prior art keywords
image
picture pick
background image
initial position
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510601069.4A
Other languages
English (en)
Inventor
邵长春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510601069.4A priority Critical patent/CN106558077A/zh
Priority to PCT/CN2016/089819 priority patent/WO2017045468A1/zh
Publication of CN106558077A publication Critical patent/CN106558077A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种位置误差的矫正方法及装置,其中,该方法包括:获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像;在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像;对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。通过本发明,解决了相关技术中无法矫正因为不可抗拒外力而导致的摄像设备位移误差的问题。

Description

位置误差的矫正方法及装置
技术领域
本发明涉及安防监控领域,具体而言,涉及一种位置误差的矫正方法及装置。
背景技术
目前摄像头应用越来越广泛,智能家居、安防监控、视频会议等,对摄像头的智能化要求也越来越高。特别是通过可转动摄像头的云台控制为用户使用提供了更大的使用场景,但是摄像头转动不可避免地容易受到外界不可抗力的物理干扰或阻碍,导致转动过程中产生误差甚至完全不符合预期的转动行为。
摄像头巡航是指摄像头在初始位置开始转动旋转一周后回到初始位置的过程。摄像头在自动巡航转动过程中因受物理障碍或不可抗外力容易发生堵转或丢步现象,长期多次巡航会导致误差累加,最后转动位置不符合预期。相关技术有针对该问题提出的改进电路设计,但无法解决不可抗拒外力导致的位移误差。增加到位信号反馈系统闭环功能可以确保运行,但增加硬件成本很高,对很多产品来讲这种方案不太现实,且对摄像头本身的要求较高,必须是步进电机驱动的摄像头。
针对相关技术中的上述问题,目前尚未存在有效的解决方案。
发明内容
本发明提供了一种位置误差的矫正方法及装置,以至少解决相关技术中无法矫正因为不可抗拒外力导致的摄像设备位移误差的问题。
根据本发明的一个方面,提供了一种位置误差的矫正方法,包括:获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像;在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像;对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。
进一步地,所述获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像包括:获取所述摄像设备在所述初始位置采集的多帧图像;获取所述多帧图像的差分概率分布密度,并根据所述差分概率分布密度选择建模算法;依据所述建模算法对所述多帧图像进行建模生成所述背景图像。
进一步地,当所述摄像设备为步进电机摄像设备时,所述摄像设备由所述初始位置开始经过的一个或多个转动周期通过以下方式确定:计算所述摄像设备转动完成所述一个或多个转动周期所需要的预设步数;累计计算所述摄像设备在转动过程中的转动步数,在所述转动步数和所述预设步数相同时,确定所述摄像设备完成所述一个或多个转动周期。
进一步地,当所述摄像设备为步进电机摄像设备时,所述对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致包括:判断所述第二图像与所述背景图像的匹配比例是否小于第一阈值;在判断结果为是时,控制所述摄像沿两个方向转动指定步长,得到第三图像和第四图像,其中,所述两个方向是相反的;比较所述第三图像与所述背景图像匹配得到的第一匹配比例和所述第四图像与所述背景图像匹配得到的第二匹配比例的大小,并将所述第一匹配比例和所述第二匹配比例中的较大者所对应的所述第三图像或所述第四图像作为所述摄像设备的矫正位置的图像;将所述摄像设备的转动停止位置移动到所述矫正位置。
进一步地,所述对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致包括:获取摄像设备在转动过程中获取的多个所述第二图像,并在多个所述第二图像中截取指定图像,其中,所述指定图像在所述第二图像中的坐标与在所述背景图像中截取的第一背景图像的坐标相同;在多个所述指定图像中存在与所述第一背景图像匹配的图像时,将采集到多个所述指定图像中与第一背景图像匹配的指定图像所对应的所述摄像设备的驻留位置作为矫正位置;将所述摄像设备的转动停止位置移动到所述矫正位置。
进一步地,在获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像之前,所述方法还包括:获取所述摄像设备的CPU利用率;判断所述CPU利用率是否低于预设阈值,在判断结果为是时,执行获取所述摄像设备在所述初始位置采集的多帧图像的操作。
进一步地,所述摄像设备由所述初始位置开始经过的一个或多个转动周期通过下方式确定:按照预设周期获取所述摄像设备由所述初始位置开始转动后采集的第三图像;在所述背景图像中截取部分图像得到第一背景图像,并将所述第三图像划分为与所述第一背景图像同样尺寸的多个图像;判断与所述多个图像中是否存在与所述第一背景图像匹配的图像;在判断结果为是时,确定所述摄像设备完成所述一个或多个转动周期。
根据本发明的另一方面,提供了一种位置误差的矫正装置,包括:第一获取模块,用于获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像;第二获取模块,用于在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像;调整模块,用于对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。
进一步地,所述第一获取模块还包括:第一获取单元,用于获取所述摄像设备在所述初始位置采集的多帧图像;选择单元,用于获取所述多帧图像的差分概率分布密度,并根据所述差分概率分布密度选择建模算法;生成单元,用于依据所述建模算法对所述多帧图像进行建模生成所述背景图像。
进一步地,所述装置还包括第一确定模块,用于当所述摄像设备为步进电机摄像设备时,通过以下步骤确定所述摄像设备由所述初始位置开始经过一个或多个转动周期:计算所述摄像设备转动完成所述一个或多个转动周期所需要的预设步数;累计计算所述摄像设备在转动过程中的转动步数,在所述转动步数和所述预设步数相同时,确定所述摄像设备完成所述一个或多个转动周期。
进一步地,当所述摄像设备为步进电机摄像设备时,所述调整模块还包括:判断单元,用于判断所述第二图像与所述背景图像的匹配比例是否小于第一阈值;控制单元,用于在判断结果为是时,控制所述摄像沿两个方向转动指定步长,得到第三图像和第四图像,其中,所述两个方向是相反的;第一调整单元,用于比较所述第三图像与所述背景图像匹配得到的第一匹配比例和所述第四图像与所述背景图像匹配得到的第二匹配比例的大小,并将所述第一匹配比例和所述第二匹配比例中的较大者所对应的所述第三图像或所述第四图像作为所述摄像设备的矫正位置的图像;第一移动单元,用于将所述摄像设备的转动停止位置移动到所述矫正位置。
进一步地,所述调整模块还包括:第二获取单元,用于获取摄像设备在转动过程中获取的多个所述第二图像,并在多个所述第二图像中截取指定图像,其中,所述指定图像在所述第二图像中的坐标与在所述背景图像中截取的第一背景图像的坐标相同;第二调整单元,用于在多个所述指定图像中存在与所述第一背景图像匹配的图像时,将采集到多个所述指定图像中与第一背景图像匹配的指定图像所对应的所述摄像设备的驻留位置作为矫正位置;第二移动单元,用于将所述摄像设备的转动停止位置移动到所述矫正位置。
进一步地,所述装置还包括:第三获取模块,用于在获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像之前,获取所述摄像设备的CPU利用率;判断模块,用于判断所述CPU利用率是否低于预设阈值,在判断结果为是时,执行获取所述摄像设备在所述初始位置采集的多帧图像的操作。
进一步地,所述装置还包括第二确定模块,用于通过以下步骤确定所述摄像设备由所述初始位置开始经过一个或多个转动周期:按照预设周期获取所述摄像设备由所述初始位置开始转动后采集的第三图像;在所述背景图像中截取部分图像得到第一背景图像,并将所述第三图像划分为与所述第一背景图像同样尺寸的多个图像;判断与所述多个图像中是否存在与所述第一背景图像匹配的图像;在判断结果为是时,确定所述摄像设备完成所述一个或多个转动周期。
通过本发明,采用获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像,然后在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像,最后对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。解决了相关技术中无法矫正因为不可抗拒外力而导致的摄像设备位移误差的问题,实现了摄像设备精确巡航的目的,进而达到了在不增加摄像设备硬件成本的基础上也能有效矫正位移误差的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的位置误差的矫正方法的流程图;
图2是根据本发明实施例的位置误差的矫正装置的结构框图;
图3是根据本发明实施例的位置误差的矫正装置的可选结构框图一;
图4是根据本发明实施例的位置误差的矫正装置的可选结构框图二;
图5是根据本发明实施例的位置误差的矫正装置的可选结构框图三;
图6是根据本发明实施例的位置误差的矫正装置的可选结构框图四;
图7是根据本发明实施例的位置误差的矫正装置的可选结构框图五;
图8是根据本发明实施例的位置误差的矫正装置的可选结构框图六;
图9是根据本发明可选实施例的FBM流程图;
图10是根据本发明可选实施例的差分概率密度分布示意图;
图11是根据本发明可选实施例的图像匹配示意图一;
图12是根据本发明可选实施例的图像匹配示意图二。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种位置误差的矫正方法,图1是根据本发明实施例的位置误差的矫正方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像;
可选的,在本实施例中,初始位置为摄像设备巡航开始前或者转动开始前的位置,巡航或者转动结束后回到这个位置,也可以是摄像设备预设转动到达的目的位置,如巡航周期的中间位置,第一图像可以是一张或多张图像。
步骤S104,在摄像设备由初始位置开始经过一个或多个转动周期后,获取摄像设备在一个或多个转动周期完成后采集的第二图像;
可选的,转动周期可以是转动完成返回初始位置,转动结束可以根据转动预设步数进行预判,也可以根据转动所需要的时间进行预判,对于非步进电机的摄像设备。也可以根据部分图像差分匹配进行的预判,即根据在初始位置采集的图像和转动完成时采集的图像的匹配度进行判断。可选的,在转动周期完成后采集的第二图像可以是一张或多张图像。
步骤S106,对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致。
在本实施例中,摄像设备的转动停止位置为摄像设备在位置矫正后最终位置,在理想的情况下,转动停止位置与初始位置是完全一致的。
通过本实施例,采用获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像,然后在摄像设备由初始位置开始经过一个或多个转动周期后,获取摄像设备在一个或多个转动周期完成后采集的第二图像,最后对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致。解决了相关技术中无法矫正因为不可抗拒外力而导致的摄像设备位移误差的问题,实现了摄像设备精确巡航的目的,进而达到了在不增加摄像设备硬件成本的基础上也能有效矫正位移误差的效果。
在根据本发明实施例的可选实施方式中,获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像包括:
S11,获取摄像设备在初始位置采集的多帧图像;
可选的,可以根据初始位置的背景复杂程度来选择采集图像的帧数,如在背景环境是静止的情况时,采集一帧图像就可以了,而在背景环境较复杂,如背景场景是动态的情况时,可以根据背景环境的负责程度采集多帧图像。
S12,获取多帧图像的差分概率分布密度,并根据差分概率分布密度选择建模算法;
S13,依据建模算法对多帧图像进行建模生成背景图像。
可选的,可以根据差分概率分布密度选择背景图像的建景算法,并根据所选择的算法根据采集的多帧图像对初始位置的图像进行建模得到背景图像。可选的,可以选择和使用以下算法:均值法、码本法、卡尔曼Kalman滤波法、高斯分布模型建模(单高斯,混合高斯)、核函数密度估计法。
在不同的背景环境中,适用不同的算法,下面分别对各种算法对应使用的环境,以及具体建模的过程进行具体说明:
均值法背景建模是一种简单、计算速度快但对环境光照变化和背景的多模态性比较敏感的一种背景建模算法,适用于静止背景下无运动前景的建模。
内存充裕的情况可以考虑码本法进行背景建模,该模型可以较好的处理时间的起伏。
卡尔曼滤波适用于线性、离散和有限维系统。每一个有外部变量的自回归移动平均系统或可用有理传递函数表示的系统都可以转换成用状态空间表示的系统,从而能用卡尔曼滤波进行计算。当观测数据和状态联合服从高斯分布时用卡尔曼递归公式计算得到的是高斯随机变量的条件均值和条件方差,从而卡尔曼滤波公式可以给出计算状态的条件概率密度的更新过程线性最小方差估计,也就是最小方差估计。
单高斯法中的单高斯模型认为像素点的值在视频序列中服从高斯分布。该模型适用于较长时间光照强度无明显变化的情况。混合高斯模型可以对背景多个状态进行建模,根据数据属于哪个状态来更新该状态的模型参数。
高斯背景模型对像素点值的概率密度分布做了假设,而这个假设不一定成立。非参数化背景模型不对像素点值做出任何假设,而通过概率密度估计的方法建立像素的背景统计模型。其基本思想是:为被建模场景中的像素点保存一段时间内的一系列颜色样本值,并根据这些样本值来估计当前帧图像中每一个像素点的概率,这就是核函数密度估计背景建模。
在根据摄像设备实际的环境选择具体的建模算法时,首先要判断当前背景下有无运动前景,若没有运动前景,可以选择单高斯模型或统计均值法建模;若有运动前景,可以选择码本背景建模、混合高斯模型建模、卡尔曼滤波建模或核函数密度估计建模等。
可选的,判断当前背景下有无运动前景,即移动目标侦测,可以使用时域差分法来进行判断。时域差分法可以使用两帧差分法或三帧差分法。现以三帧差分法为例进行说明。
提取连续的三帧图像,I(k-1),I(k),I(k+1),计算差分标记移动像素点:
(1)d(k,k-1)[x,y]=|I(k)[x,y]-I(k-1)[x,y]|;
d(k,k+1)[x,y]=|I(k+1)[x,y]-I(k)[x,y]|;
(2)b(k,k-1)[x,y]=1;if d(k,k-1)[x,y]>=T;
b(k,k-1)[x,y]=0;if d(k,k-1)[x,y]<T;
b(k+1,k)[x,y]=1if d(k+1,k)[x,y]>=T;
b(k+1,k)[x,y]=0if d(k+1,k)[x,y]<T;
(3)B(k)[x,y]=1;if b(k,k-1)[x,y]&&b(k+1,k)[x,y]==1;
B(k)[x,y]=0;if b(k,k-1)[x,y]&&b(k+1,k)[x,y]==0;
其中[x,y]代表某个像素点的坐标,B(k)[x,y]代表该像素点是否有移动目标。
比较关键的就是第(2)步的阈值T的选取问题。
将所有像素点的差分d(k,k-1)[x,y]做为样本值,计算出其数学期望μ、标准差σ,阀值计算如下:
Ti=μ+βσ,(1<β<3),(i=1,2),其中β建议取值β=2.5。
计算出I(k-1),I(k)的Th1和I(k),I(k+1)的Th2后取其最大值作为最终的T值。上述公式定义假定背景图像每个像素点的差分符合高斯分布,1<β<3即是假定背景每个分区中没有移动目标区域的概率为68.4%~99.8%。
根据T值判断若B(k)[x,y]=1则认为有移动目标。判断为移动的像素点占整个图像的比例超过一定比例值Rm时即可认为当前场景有移动目标,Rm取值范围68.4%~99.8%。
可选的,在差分算法选择成功后,即建模算法确定后就可做进行背景图像的建模。若没有运动前景,本实施例以单高斯模型建模为示例进行背景建模。若含有运动前景,本实施例以混合高斯模型建模为示例进行背景建模。可选的,在处理图像时,额可以使用灰度图像处理,达到减少内存使用及数据处理量,提高处理速度。灰度化处理方法有最大值法,平均值法和加权平均值法。
下面使用N帧采集的图像进行差分建模:
其中,单高斯模型建模
针对每个像素点(x,y),计算N帧训练图像序列该像素点灰度值N个样本的均值μ和方差σ,使用该均值和方差可以唯一确定该单高斯背景模型。N=4,8,12,24…。
假设It是该像素当前帧的灰度值,当|It-μ|<βσ(1<β<3)时即可认为该像素点属于背景。
此时阀值T=βσ。
FBM运行时可以采用迭代计算建模方法不断更新背景图像,减少运算量,提高运算速度。
迭代算法如下:
μi=αIi+(1-α)μi-1
其中,Ii是该像素当前灰度值,μi-1是前几帧该像素灰度值的均值,α是一个经验值,它决定背景更新的快慢,当α很小的时候,背景更新缓慢,反之,更新较快。方差σ2用它的无偏估计来代替,当|Iii|>kσi时,该像素为运动目标点,否则就属于背景。
此时阀值T=kσi
其中,混合高斯模型MOG建模
高斯混合模型GMM(Gaussian Mixture Model),或者混合高斯模型MOG(Mixtureof Gaussian)。下面介绍迭代建模的具体过程:
设一个像素点的像素观察值为{X1,…,Xt},则当前像素值的概率可表示为:
其中,K为用来表示像素值的高斯分布的个数,ωi,t表示t时刻第i个高斯分布的权值,权值满足条件:μt,t表示第i个高斯分布的均值,Σi,t表示第i个高斯分布的协方差矩阵,而第i个高斯分布函数表达式为:
其中,n为自由变量的个数,K的值一般取3~5,协方差矩阵可表示为:
用第一幅图像每点的像素值作为该点对应混合高斯分布的均值,并给每个高斯模型赋一个较大的方差和较小的权值。当新的图像到来的时候,要对各个像素点的混合高斯模型的参数进行更新,把K个高斯分布按权值和标准差之比ω/σ从大到小进行排列,然后选择和均值μi,t-1,k和Xi,t最接近的高斯模型,并且满足:
(Xi,ti,t-1)/σi,t-1<2.5,阀值T=2.5。
如果找到某个高斯模型ηk与Xi,t匹配,则用下列公式更新ηk的各个参数
μi,t=(1-α)μi-1+αXi,t
对所有高斯分布的权值用下面的公式进行更新:
Wi,k,t=(1-α)wi,k,t-1+αMi,t,k
式中Mi,t,k对于匹配的高斯模型取l,没有匹配的高斯模型取0。如果没有一个高斯模型与Xi,t进行匹配,将ω/σ比值最小的高斯模型用均值为Xi,t,方差较高,权值较低的新构造的高斯模型代替。
在每一时间,从每一点的多个高斯分布中选择一个或几个作为背景模型,其他均表示前景模型,如果当前值与背景模型匹配,则把该点判定为背景,否则判定为前景。
选择背景模型的方法为:首先将每一点的混合高斯模型按权值和标准差的比值(即:ω/σ)按从大到小的顺序排列,根据下式选择前B个模型作为背景模型:
式中的T表示作为背景中的点,它的像素值保持不变的概率,如果T选择过小,则背景通常为单峰,这种情况下采用单一高斯模型的背景构造方法更简单,如果T选择过大,则背景通常为多峰,这样采用混合高斯模型的背景构造方法更适合处理这种有重复运动的背景,如树枝的摇动,水面的波动等。
可选的,在采集第二图像时,需要对摄像设备是否完成转动周期进行预判,在预判摄像设备已经完成转动周期后,再对摄像设备的驻留位置进行矫正,这样在较小的误差范围内进行矫正可以较少矫正的工作量。下面介绍根据摄像设备的具体情况和外界环境的阻力大小来选择不同的预判策略和矫正策略。
在根据本发明实施例的可选实施方式中,当摄像设备为步进电机摄像设备时,摄像设备由初始位置开始经过的一个或多个转动周期通过下方式确定,包括:
S21,计算摄像设备转动完成一个或多个转动周期所需要的预设步数;
S22,累计计算摄像设备在转动过程中的转动步数,在转动步数和预设步数相同时,确定摄像设备完成一个或多个转动周期。
可选的,可以根据摄像设备的预设参数和之前完成一个或多个转动周期需要的平均值来计算得到预设步数,在此以预设步数为10步,转动周期为一个进行举例说明,在摄像设置在从初始位置开始转动后,每驱动电机一步,累计一次步数,直到累计的步数为10步,确定摄像设备完成一个转动周期。
可选的,根据上述可选的实施方式中,在确定摄像设备完成一个或多个转动周期后,对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致包括:
S31,判断第二图像与背景图像的匹配比例是否小于第一阈值;
S32,在判断结果为是时,控制摄像设备沿两个方向转动指定步长,得到第三图像和第四图像,其中,两个方向是相反的;
S33,比较第三图像与背景图像匹配得到的第一匹配比例和第四图像与背景图像匹配得到的第二匹配比例的大小,并将第一匹配比例和第二匹配比例中的较大者所对应的第三图像或第四图像作为摄像设备的矫正位置的图像;
S34,将摄像设备的转动停止位置移动到矫正位置。
在本可选的实施方式中,第二图像为摄像设备在转动完成一个周期后采集的第一张图像,可选的,由于最不理想的情况是步进电机转动半步后受外力阻止而堵转,导致单步内误差最大,可以设置第一阈值为50%,在第二图像与背景图像的匹配比例低于50%时,可以驱动电机采取回转策略,在停留位置进行来回转动并采集图像,通过向前转和向后转选择一个匹配比例最大的位置,再将摄像设备的转动停止位置移动到矫正位置来完成精确的矫正。
可选的,在摄像设备为非步进控制时,或者摄像设备的运动环境的外力非常大导致步进电机多次丢步时,对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致包括:
S41,获取摄像设备在转动过程中获取的多个第二图像,并在多个第二图像中截取指定图像,其中,指定图像在第二图像中的坐标与在背景图像中截取的第一背景图像的坐标相同;
S42,在多个指定图像中存在与第一背景图像匹配的图像时,将采集到多个指定图像中与第一背景图像匹配的指定图像所对应的摄像设备的驻留位置作为矫正位置;
S43,将摄像设备的转动停止位置移动到矫正位置。
可选的,背景图像A中截取指定图像为左侧一定比例图像A1,当前实时采集的第二图像记为B,在图像B中从右侧开始向左截取与A同样大小图像Bi(i=1,2,3,…,n),则与A1坐标相同的图像为Bn,采集多个第二图像并截取坐标相同的图像,分别为B1n、B2n、B3n等。
若B2n与A1完全匹配,B2n是图像B2的最左侧的图像,则将采集到B2图像时设备的位置设置为矫正位置,并将摄像设备的转动停止位置移动到矫正位置实现精确的矫正。
图像匹配比例不是固定的,是一个学习的过程。如果该比例图像有移动目标,且移动像素点很多,容易导致匹配失败。初始比例值可以设置为0.1,若发现摄像头已转动完成预定步数,但每次匹配均不成功,可以逐步放大该比例值,比如0.1,0.2,0.4…等。该比例值学习只可放大,不可缩小。对于这种所有数据帧都匹配不成功的情况,可以根据摄像头预定转动步数停止转动。若摄像头转动时每秒采集图像帧的个数比较多,比如24帧,不必每帧都进行匹配,可以间隔取帧进行匹配,以提高计算效率。
可选的,根据上述可选的实施方式中,在获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像之前,方法还包括:
S51,获取摄像设备的CPU利用率;
S52,判断CPU利用率是否低于预设阈值,在判断结果为是时,执行获取摄像设备在初始位置采集的多帧图像的操作。
可选的,包括实时读取摄像头转动状态单元和实时读取CPU利用率单元。
摄像头转动状态可以只记录两种状态即可:转动和静止,其中,初始位置为静止状态。
CPU利用率记为R,使用百分比表示,根据系统运行需要设置一个预设阈值,记为P,P的取值可以小于等于10%。
可选的,可以设置在摄像头处于静止状态,且R<P的情况下,才可以进行下一步操作。
对于既定摄像头业务,在已知某些关键业务已开启运行的情况下,不论CPU当前利用率是多少,均不开启FBM技术。比如当摄像头已经打开RTSP(Real Time StreamingProtocol)数据流业务传输,即使R<P也不采集初始图像建模以防影响主要业务功能。背景图像建模也可以在巡航开始时即时建模。
当摄像头开始转动时,判断与最后一次背景图像建模的时间差,若时间差小于一个上限值Tmax,即可使用该背景图像;否则重新做背景图像建模,Tmax的取值可以小于等于2秒。
在CPU空闲情况下摄像头巡航之前预分析当前背景图像的差分概率密度分布,根据差分概率密度分布选择差分建模背景算法,并根据所选择的算法实时对当前背景建模。读取摄像头转动状态及预判CPU利用情况,在摄像头静止及CPU利用率低至一定程度时运行。背景建模时选择图像数据帧个数可以根据实际效果做最优选择。采集初始图像可以在保证摄像头基本业务运行正常的情况下快速建模,节省CPU利用,提高运算效率。
可选的,在摄像设备为非步进控制时,或者摄像设备的运动环境的外力非常大时,摄像设备由初始位置开始经过的一个或多个转动周期通过下方式确定:
S61,按照预设周期获取摄像设备由初始位置开始转动后采集的第三图像;
S62,在背景图像中截取部分图像得到第一背景图像,并将第三图像划分为与第一背景图像同样尺寸的多个图像;
S63,判断与多个图像中是否存在与第一背景图像匹配的图像;
S64,在判断结果为是时,确定摄像设备完成一个或多个转动周期。
可选的,匹配时只匹配背景图像的一定比例图像与当前实时采集图像的全图匹配。
如当摄像头从初始位置开始转动最后从左侧进入背景图像的位置时,背景图像A左侧的一定比例图像记为A1,当前实时采集的第三图像记为B,在图像B中从右侧开始向左取与A同样尺寸图像Bi(i=1,2,3,…,n)并与A1进行匹配,并逐列向左依次提取直至到达图像B最左侧。当Bi中存在与A1匹配的图像时,确定摄像设备完成一个或多个转动周期。可选的,逐列是指以像素为单位依次平移。匹配是指每个像素点都匹配成功,或一定比例的像素点匹配成功,可选的,比例值范围可以设置为0.80~0.99。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种位置误差的矫正的装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例的位置误差的矫正装置的结构框图,如图2所示,该装置包括:第一获取模块20、第二获取模块22、调整模块24,其中,
第一获取模块20,用于获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像;
第二获取模块22,用于在摄像设备由初始位置开始经过一个或多个转动周期后,获取摄像设备在一个或多个转动周期完成后采集的第二图像;
调整模块24,用于对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致。
图3是根据本发明实施例的位置误差的矫正装置的可选结构框图一,如图3所示,该装置除包括图2所示的所有模块外,第一获取模块20还包括:第一获取单元30、选择单元32、生成单元34,其中,
第一获取单元30,用于获取摄像设备在初始位置采集的多帧图像;
选择单元32,用于获取多帧图像的差分概率分布密度,并根据差分概率分布密度选择建模算法;
生成单元34,用于依据建模算法对多帧图像进行建模生成背景图像。
图4是根据本发明实施例的位置误差的矫正装置的可选结构框图二,如图4所示,该装置除包括图2所示的所有模块外,还包括第一确定模块40,用于当摄像设备为步进电机摄像设备时,通过以下步骤确定摄像设备由初始位置开始经过一个或多个转动周期:
计算摄像设备转动完成一个或多个转动周期所需要的预设步数;
累计计算摄像设备在转动过程中的转动步数,在转动步数和预设步数相同时,确定摄像设备完成一个或多个转动周期。
图5是根据本发明实施例的位置误差的矫正装置的可选结构框图三,如图5所示,该装置除包括图2所示的所有模块外,调整模块24还包括:判断单元50、控制单元52、第一调整单元54、第一移动单元56,用于在摄像设备为步进电机摄像设备时,其中,
判断单元50,用于判断第二图像与背景图像的匹配比例是否小于第一阈值;
控制单元52,用于在判断结果为是时,控制摄像沿两个方向转动指定步长,得到第三图像和第四图像,其中,两个方向是相反的;
第一调整单元54,用于比较第三图像与背景图像匹配得到的第一匹配比例和第四图像与背景图像匹配得到的第二匹配比例的大小,并将第一匹配比例和第二匹配比例中的较大者所对应的第三图像或第四图像作为摄像设备的矫正位置的图像;
第一移动单元56,用于将摄像设备的转动停止位置移动到矫正位置。
图6是根据本发明实施例的位置误差的矫正装置的可选结构框图四,如图6所示,该装置除包括图2所示的所有模块外,调整模块24还包括:第二获取单元60、第二调整单元62、第二移动单元64,可用于在摄像设备为非步进电机摄像设备或者外阻力较大时,其中,
第二获取单元60,用于获取摄像设备在转动过程中获取的多个第二图像,并在多个第二图像中截取指定图像,其中,指定图像在第二图像中的坐标与在背景图像中截取的第一背景图像的坐标相同;
第二调整单元62,用于在多个指定图像中存在与第一背景图像匹配的图像时,将采集到多个指定图像中与第一背景图像匹配的指定图像所对应的摄像设备的驻留位置作为矫正位置;
第二移动单元64,用于将摄像设备的转动停止位置移动到矫正位置。
图7是根据本发明实施例的位置误差的矫正装置的可选结构框图五,如图7所示,该装置除包括图2所示的所有模块外,装置还包括:第三获取模块70、判断模块72,其中,
第三获取模块70,用于在获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像之前,获取摄像设备的CPU利用率;
判断模块72,用于判断CPU利用率是否低于预设阈值,在判断结果为是时,执行获取摄像设备在初始位置采集的多帧图像的操作。
图8是根据本发明实施例的位置误差的矫正装置的可选结构框图六,如图8所示,该装置除包括图2所示的所有模块外,装置还包括第二确定模块80,用于通过以下步骤确定摄像设备由初始位置开始经过一个或多个转动周期:
按照预设周期获取摄像设备由初始位置开始转动后采集的第三图像;
在背景图像中截取部分图像得到第一背景图像,并将第三图像划分为与第一背景图像同样尺寸的多个图像;
判断与多个图像中是否存在与第一背景图像匹配的图像;
在判断结果为是时,确定摄像设备完成一个或多个转动周期。
下面结合本发明的可选的实施例对本方案进行详细说明:
本可选实施例中摄像头巡航初始将采集当前位置图像信息建模后作为背景图像,记录当前初始位置N帧图像相对于背景图像的差分并统计出阀值T,该阀值在计算后自适应选取。在巡航即将结束时,实时采集图像信息与背景图像做帧间差分,差分匹配后依据策略进行转动修正。
巡航时对于步进电机已知需要转动步数,巡航结束返回出发点。巡航结束的预判是根据巡航预设步数进行的预判,或对于非步进电机是根据部分图像差分匹配进行的预判。若实际使用场景不可抗拒外力影响非常大,堵转步数很多,可以不根据巡航预设步数转动,而是根据部分图像差分匹配定位结束位置,可以获得非常理想的矫正效果。
对摄像设备的驻留位置进行矫正的修正策略方法:若图像差分部分匹配,电机继续转动;若图像差分完全匹配,电机停止转动完成矫正;若结束位置图像差分不匹配比例超过一定比例值,则电机回转或前转最优化修正。
阀值自适应选取的原因是不同使用场景下背景的差异比较大且有可能是动态的。背景场景混杂情况阀值较大,背景图像静态单一情况阀值较小,通过自适应选取可以控制更好的精度。阀值取值根据初始位置N帧图像进行背景图像差分建模时的算法进行取值。
背景图像是根据初始位置N帧图像差分建模所得,背景图像建模原因是因为初始位置场景可能是动态的,包含移动目标的,建模体现出对巡航后的一种预测。
根据本可选实施例的背景图像建模预建模FBM(Forecast Background Module)技术是指在CPU空闲情况下摄像头巡航之前预分析当前背景图像的差分概率密度分布,根据差分概率密度分布选择差分建模背景算法,并根据所选择的算法实时对当前背景建模。
可以使用常用的几种运算方法建模:均值法背景建模、码本背景建模、卡尔曼Kalman滤波建模、高斯分布模型建模(单高斯,混合高斯)、核函数密度估计背景建模。背景建模图像在巡航后不再改变,FBM暂停运行,直至巡航矫正结束再重新开始运行。
FBM技术要读取摄像头转动状态及预判CPU利用情况,在摄像头静止及CPU利用率低至一定程度时运行。背景建模时选择图像数据帧个数可以根据实际效果做最优选择。FBM技术可以在保证摄像头基本业务运行正常的情况下快速建模,节省CPU利用,提高运算效率。
在本可选实施例的建模算法:
均值法背景建模是一种简单、计算速度快但对环境光照变化和背景的多模态性比较敏感的一种背景建模算法。适用于静止背景下无运动前景的建模。
内存充裕的情况可以考虑码本背景建模,该模型可以较好的处理时间的起伏。
卡尔曼滤波适用于线性、离散和有限维系统。每一个有外部变量的自回归移动平均系统或可用有理传递函数表示的系统都可以转换成用状态空间表示的系统,从而能用卡尔曼滤波进行计算。
当观测数据和状态联合服从高斯分布时用卡尔曼递归公式计算得到的是高斯随机变量的条件均值和条件方差,从而卡尔曼滤波公式给出了计算状态的条件概率密度的更新过程线性最小方差估计,也就是最小方差估计。
单高斯模型认为像素点的值在视频序列中服从高斯分布。该模型适用于较长时间光照强度无明显变化的情况。混合高斯模型可以对背景多个状态进行建模,根据数据属于哪个状态来更新该状态的模型参数。
高斯背景模型对像素点值的概率密度分布做了假设,而这个假设不一定成立。非参数化背景模型不对像素点值做出任何假设,而通过概率密度估计的方法建立像素的背景统计模型。其基本思想是:为被建模场景中的像素点保存一段时间内的一系列颜色样本值,并根据这些样本值来估计当前帧图像中每一个像素点的概率,这就是核函数密度估计背景建模。
在本可选实施例的转动结束矫正策略:
巡航结束时的矫正策略是根据即将结束的实时采集图像与背景图像差分结果进行的决策。
本发明提出一种部分图像差分匹配PIDM(Partial Image Difference Matching)概念,即将结束的实时采集图像与背景图像对比差分时如果整个画面差分结果与阀值相比差异特别大,则选择背景图像边缘部分图像与当前采集图像进行对比差分,差分时与横向实时采集图像偏移对比差分。若部分图像的差分结果与背景匹配,则说明目前已经接近终点位置,摄像头需要继续转动,直到整体图像差分结果小于阀值为止。
在巡航即将结束时将采集到的每帧图像与背景图像做运算,算法使用背景建模算法,或将采集到的图像间隔取帧与背景图像做差分,所得运算结果与阀值T进行比对匹配。
下面举例说明该实施例具体运行方式。
实施方案:
FBM建模
图9是根据本发明可选实施例的FBM流程图,如图9所示,包括:
步骤S201,判断关键业务是否开启;否则执行S202
步骤S202,判断摄像头是否静止;是则执行S203
步骤S203,判断CPU使用率是否低于阈值;是则执行S204
步骤S204,概率分布估计,选择建模算法;
步骤S205,生成背景图像。
包括实时读取摄像头转动状态单元和实时读取CPU利用率单元。摄像头转动状态可以记录两种状态:转动、静止。CPU利用率记为R,使用百分比表示,根据系统运行需要设置一个上限值,记为P。只有当摄像头处于静止状态,且R<P的情况下,才可以进行下一步操作。P的取值建议小于等于10%。
CPU利用的预判:对于既定摄像头业务,在已知某些关键业务已开启运行的情况下,不论CPU当前利用率是多少,均不开启FBM技术。比如当摄像头已经打开RTSP(RealTime Streaming Protocol)数据流业务传输,即使R<P也不能开启FBM以防影响主要业务功能。背景图像建模可以在巡航开始时即时建模。
当摄像头开始转动时,判断与最后一次背景图像建模的时间差,若时间差小于一个上限值Tmax,即可使用该背景图像;否则重新做背景图像建模。
Tmax的取值建议小于等于2秒。
差分算法选择模块。
首先要判断当前背景下有无运动前景。若没有运动前景,可以选择单高斯模型或统计均值法建模;若有运动前景,可以选择码本背景建模、混合高斯模型建模、卡尔曼滤波建模或核函数密度估计建模等。
判断当前背景下有无运动前景,即移动目标侦测,可以使用时域差分法做出判断。
时域差分法可以使用两帧差分法或三帧差分法。现以三帧差分法为例进行说明。
提取连续的三帧图像,I(k-1),I(k),I(k+1),计算差分标记移动像素点:
(1)d(k,k-1)[x,y]=|I(k)[x,y]-I(k-1)[x,y]|;
d(k,k+1)[x,y]=|I(k+1)[x,y]-I(k)[x,y]|;
(2)b(k,k-1)[x,y]=1;if d(k,k-1)[x,y]>=T;
b(k,k-1)[x,y]=0;if d(k,k-1)[x,y]<T;
b(k+1,k)[x,y]=1if d(k+1,k)[x,y]>=T;
b(k+1,k)[x,y]=0if d(k+1,k)[x,y]<T;
(3)B(k)[x,y]=1;if b(k,k-1)[x,y]&&b(k+1,k)[x,y]==1;
B(k)[x,y]=0;if b(k,k-1)[x,y]&&b(k+1,k)[x,y]==0;
其中[x,y]代表某个像素点的坐标,B(k)[x,y]代表该像素点是否有移动目标。
比较关键的就是第(2)步的阈值T的选取问题。
将所有像素点的差分d(k,k-1)[x,y]做为样本值,计算出其数学期望μ、标准差σ,阀值计算如下:
Ti=μ+βσ,(1<β<3),(i=1,2)
其中β建议取值β=2.5。
计算出I(k-1),I(k)的Th1和I(k),I(k+1)的Th2后取其最大值做为最终的T值。
该公式定义假定背景图像每个像素点的差分符合高斯分布,1<β<3即是假定背景每个分区中没有移动目标区域的概率为68.4%~99.8%,图10是根据本发明可选实施例的差分概率密度分布示意图,如图10所示。
根据T值判断若B(k)[x,y]=1则认为有移动目标。判断为移动的像素点占整个图像的比例超过一定比例值Rm时即可认为当前场景有移动目标。Rm取值范围68.4%~99.8%。
背景图像建模。
差分算法选择成功后即可做背景建模。
若没有运动前景,本实施例以单高斯模型建模为例进行背景建模。
若含有运动前景,本实施例以混合高斯模型建模为例进行背景建模。
使用灰度图像处理,可以大大减少内存使用及数据处理量,提高处理速度。
灰度化处理方法有最大值法,平均值法和加权平均值法。下面进行N帧训练图像差分建模。
单高斯模型建模
针对每个像素点(x,y),计算N帧训练图像序列该像素点灰度值N个样本的均值μ和方差σ,使用该均值和方差可以唯一确定该单高斯背景模型。N=4,8,12,24…。
假设It是该像素当前帧的灰度值,当|It-μ|<βσ(1<β<3)时即可认为该像素点属于背景。
此时阀值T=βσ。
FBM运行时可以采用迭代计算建模方法不断更新背景图像,减少运算量,提高运算速度。
迭代算法如下:
μi=αIi+(1-α)μi-1
式中Ii是该像素当前灰度值,μi-1是前几帧该像素灰度值的均值,α是一个经验值,它决定背景更新的快慢,当α很小的时候,背景更新缓慢,反之,更新较快。方差σ2用它的无偏估计来代替,当|Iii|>kσi时,该像素为运动目标点,否则就属于背景。
此时阀值T=kσi
混合高斯模型MOG建模
GMM(Gaussian Mixture Model),高斯混合模型(或者混合高斯模型),也可以简写为MOG(Mixture of Gaussian)。下面进行迭代建模。
设一个像素点的像素观察值为{X1,…,Xt},则当前像素值的概率可表示为:
其中,K为用来表示像素值的高斯分布的个数,ωi,t表示t时刻第i个高斯分布的权值,权值满足条件:μi,t表示第i个高斯分布的均值,Σi,t表示第i个高斯分布的协方差矩阵,而第i个高斯分布函数表达式为:
其中,n为自由变量的个数,K的值一般取3~5,协方差矩阵可表示为:
文中用第一幅图像每点的像素值作为该点对应混合高斯分布的均值,并给每个高斯模型赋一个较大的方差和较小的权值。当新的图像到来的时候,要对各个像素点的混合高斯模型的参数进行更新,把K个高斯分布按权值和标准差之比ω/σ从大到小进行排列,然后选择和均值μi,t-1,k和Xi,t最接近的高斯模型,并且满足:
(Xi,ti,t-1)/σi,t-1<2.5,阀值T=2.5。
如果找到某个高斯模型ηk与Xi,t匹配,则用下列公式更新ηk的各个参数
ηi,t=(1-α)μi-1+αXi,t
对所有高斯分布的权值用下面的公式进行更新:
wi,k,t=(1-α)wi,k,t-1+αMi,t,k
式中Mi,t,k对于匹配的高斯模型取l,没有匹配的高斯模型取0。如果没有一个高斯模型与Xi,t进行匹配,将ω/σ比值最小的高斯模型用均值为Xi,t,方差较高,权值较低的新构造的高斯模型代替。
在每一时间,从每一点的多个高斯分布中选择一个或几个作为背景模型,其他均表示前景模型,如果当前值与背景模型匹配,则把该点判定为背景,否则判定为前景。
选择背景模型的方法为:首先将每一点的混合高斯模型按权值和标准差的比值(即:ω/σ)按从大到小的顺序排列,根据下式选择前B个模型作为背景模型:
式中的T表示作为背景中的点,它的像素值保持不变的概率,如果T选择过小,则背景通常为单峰,这种情况下采用单一高斯模型的背景构造方法更简单,如果T选择过大,则背景通常为多峰,这样采用混合高斯模型的背景构造方法更适合处理这种有重复运动的背景(比如树枝的摇动,水面的波动等等)。
转动结束控制
PIDM差分匹配
摄像头即将到达终点时若从背景图像左侧进入背景,则选择背景左侧一定比例的图像与当前实时采集的图像进行匹配;否则选择右侧一定比例的图像进行匹配。比例的选择取决于背景的复杂性。若背景内物体相似度较高需要选择较大比例的图像进行匹配,否则选择较小比例。比例越小,运算越快,反之越慢。建议比例值0.1~0.8。
差分计算依赖于背景建模时的算法模型。
单高斯模型匹配计算根据|It-μ|<βσ进行匹配,若符合该公式,则匹配背景,否则不属于背景。混合高斯模型选择与μi,t-1,k和Xi,t最接近的高斯模型,并且满足:
(Xi,ti,t-1)/σi,t-1<2.5,即β=2.5,则认为匹配背景图像,否则不匹配。
匹配时只匹配背景图像的一定比例图像与当前实时采集图像的全图匹配。
图11是根据本发明可选实施例的图像匹配示意图一,如图11所示,图12是根据本发明可选实施例的图像匹配示意图二,如图12所示,当摄像头从左侧进入背景时,背景图像A左侧的一定比例图像记为A1,当前实时采集图像记为B,在图像B中从右侧开始向左取与A同样大小图像Bi(i=1,2,3,…,n)并与A1进行匹配,并逐列向左依次提取直至到达图像B最左侧。
逐列是指以像素为单位依次平移。该匹配是指每个像素点都匹配成功,或绝大部分像素点匹配成功,亦可设置满足一定比例即可认为匹配成功,该比例值范围建议0.80~0.99。
修正策略
在PIDM差分匹配过程中,若Bi与A1完全匹配,且Bi不是图像B的最左侧,则摄像头继续转动,直至与A1完全匹配的Bi是图像B的最左侧图像。
图像匹配比例不是固定的,是一个学习的过程。如果该比例图像有移动目标,且移动像素点很多,容易导致匹配失败。初始比例值可以设置为0.1,若发现摄像头已转动完成预定步数,但每次匹配均不成功,可以逐步放大该比例值,比如0.1,0.2,0.4…等。该比例值学习只可放大,不可缩小。对于这种所有数据帧都匹配不成功的情况,可以根据摄像头预定转动步数停止转动。
若摄像头转动时每秒采集图像帧的个数比较多,比如24帧,不必每帧都进行匹配,可以间隔取帧进行匹配,以提高计算效率。
若摄像头停止转动后,图像A和图像B匹配比例低于50%(该经验值经过调试满足要求可以固定不变,因该比例值依赖与步进电机单步角度,这个角度对于固定的电机是保持不变的),可以驱动电机采取回转策略,通过向前转和向后转选择一个匹配比例最大的位置。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述模块分别位于多个处理器中。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,获取摄像设备在初始位置采集的第一图像并根据第一图像生成背景图像;
S2,在摄像设备由初始位置开始经过一个或多个转动周期后,获取摄像设备在一个或多个转动周期完成后采集的第二图像;
S3,对第二图像与背景图像进行匹配,根据匹配结果将摄像设备的转动停止位置调整到与初始位置一致。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种位置误差的矫正方法,其特征在于,包括:
获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像;
在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像;
对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。
2.根据权利要求1所述的方法,其特征在于,所述获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像包括:
获取所述摄像设备在所述初始位置采集的多帧图像;
获取所述多帧图像的差分概率分布密度,并根据所述差分概率分布密度选择建模算法;
依据所述建模算法对所述多帧图像进行建模生成所述背景图像。
3.根据权利要求1所述的方法,其特征在于,当所述摄像设备为步进电机摄像设备时,所述摄像设备由所述初始位置开始经过的一个或多个转动周期通过以下方式确定:
计算所述摄像设备转动完成所述一个或多个转动周期所需要的预设步数;
累计计算所述摄像设备在转动过程中的转动步数,在所述转动步数和所述预设步数相同时,确定所述摄像设备完成所述一个或多个转动周期。
4.根据权利要求1所述的方法,其特征在于,当所述摄像设备为步进电机摄像设备时,所述对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致包括:
判断所述第二图像与所述背景图像的匹配比例是否小于第一阈值;
在判断结果为是时,控制所述摄像沿两个方向转动指定步长,得到第三图像和第四图像,其中,所述两个方向是相反的;
比较所述第三图像与所述背景图像匹配得到的第一匹配比例和所述第四图像与所述背景图像匹配得到的第二匹配比例的大小,并将所述第一匹配比例和所述第二匹配比例中的较大者所对应的所述第三图像或所述第四图像作为所述摄像设备的矫正位置的图像;
将所述摄像设备的转动停止位置移动到所述矫正位置。
5.根据权利要求1所述的方法,其特征在于,所述对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致包括:
获取摄像设备在转动过程中获取的多个所述第二图像,并在多个所述第二图像中截取指定图像,其中,所述指定图像在所述第二图像中的坐标与在所述背景图像中截取的第一背景图像的坐标相同;
在多个所述指定图像中存在与所述第一背景图像匹配的图像时,将采集到多个所述指定图像中与第一背景图像匹配的指定图像所对应的所述摄像设备的驻留位置作为矫正位置;
将所述摄像设备的转动停止位置移动到所述矫正位置。
6.根据权利要求2所述的方法,其特征在于,在获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像之前,所述方法还包括:
获取所述摄像设备的CPU利用率;
判断所述CPU利用率是否低于预设阈值,在判断结果为是时,执行获取所述摄像设备在所述初始位置采集的多帧图像的操作。
7.根据权利要求1、2、4、5和6中任一项所述的方法,其特征在于,所述摄像设备由所述初始位置开始经过的一个或多个转动周期通过以下方式确定:
按照预设周期获取所述摄像设备由所述初始位置开始转动后采集的第三图像;
在所述背景图像中截取部分图像得到第一背景图像,并将所述第三图像划分为与所述第一背景图像同样尺寸的多个图像;
判断与所述多个图像中是否存在与所述第一背景图像匹配的图像;
在判断结果为是时,确定所述摄像设备完成所述一个或多个转动周期。
8.一种位置误差的矫正装置,其特征在于,包括:
第一获取模块,用于获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像;
第二获取模块,用于在所述摄像设备由所述初始位置开始经过一个或多个转动周期后,获取所述摄像设备在所述一个或多个转动周期完成后采集的第二图像;
调整模块,用于对所述第二图像与所述背景图像进行匹配,根据匹配结果将所述摄像设备的转动停止位置调整到与所述初始位置一致。
9.根据权利要求8所述的装置,其特征在于,所述第一获取模块还包括:
第一获取单元,用于获取所述摄像设备在所述初始位置采集的多帧图像;
选择单元,用于获取所述多帧图像的差分概率分布密度,并根据所述差分概率分布密度选择建模算法;
生成单元,用于依据所述建模算法对所述多帧图像进行建模生成所述背景图像。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括第一确定模块,用于当所述摄像设备为步进电机摄像设备时,通过以下步骤确定所述摄像设备由所述初始位置开始经过一个或多个转动周期:
计算所述摄像设备转动完成所述一个或多个转动周期所需要的预设步数;
累计计算所述摄像设备在转动过程中的转动步数,在所述转动步数和所述预设步数相同时,确定所述摄像设备完成所述一个或多个转动周期。
11.根据权利要求8所述的装置,其特征在于,当所述摄像设备为步进电机摄像设备时,所述调整模块还包括:
判断单元,用于判断所述第二图像与所述背景图像的匹配比例是否小于第一阈值;
控制单元,用于在判断结果为是时,控制所述摄像沿两个方向转动指定步长,得到第三图像和第四图像,其中,所述两个方向是相反的;
第一调整单元,用于比较所述第三图像与所述背景图像匹配得到的第一匹配比例和所述第四图像与所述背景图像匹配得到的第二匹配比例的大小,并将所述第一匹配比例和所述第二匹配比例中的较大者所对应的所述第三图像或所述第四图像作为所述摄像设备的矫正位置的图像;
第一移动单元,用于将所述摄像设备的转动停止位置移动到所述矫正位置。
12.根据权利要求8所述的装置,其特征在于,所述调整模块还包括:
第二获取单元,用于获取摄像设备在转动过程中获取的多个所述第二图像,并在多个所述第二图像中截取指定图像,其中,所述指定图像在所述第二图像中的坐标与在所述背景图像中截取的第一背景图像的坐标相同;
第二调整单元,用于在多个所述指定图像中存在与所述第一背景图像匹配的图像时,将采集到多个所述指定图像中与第一背景图像匹配的指定图像所对应的所述摄像设备的驻留位置作为矫正位置;
第二移动单元,用于将所述摄像设备的转动停止位置移动到所述矫正位置。
13.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于在获取摄像设备在初始位置采集的第一图像并根据所述第一图像生成背景图像之前,获取所述摄像设备的CPU利用率;
判断模块,用于判断所述CPU利用率是否低于预设阈值,在判断结果为是时,执行获取所述摄像设备在所述初始位置采集的多帧图像的操作。
14.根据权利要求8、9、11、12和13中任一项所述的装置,其特征在于,所述装置还包括第二确定模块,用于通过以下步骤确定所述摄像设备由所述初始位置开始经过一个或多个转动周期:
按照预设周期获取所述摄像设备由所述初始位置开始转动后采集的第三图像;
在所述背景图像中截取部分图像得到第一背景图像,并将所述第三图像划分为与所述第一背景图像同样尺寸的多个图像;
判断与所述多个图像中是否存在与所述第一背景图像匹配的图像;
在判断结果为是时,确定所述摄像设备完成所述一个或多个转动周期。
CN201510601069.4A 2015-09-18 2015-09-18 位置误差的矫正方法及装置 Pending CN106558077A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510601069.4A CN106558077A (zh) 2015-09-18 2015-09-18 位置误差的矫正方法及装置
PCT/CN2016/089819 WO2017045468A1 (zh) 2015-09-18 2016-07-12 一种位置误差的矫正方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510601069.4A CN106558077A (zh) 2015-09-18 2015-09-18 位置误差的矫正方法及装置

Publications (1)

Publication Number Publication Date
CN106558077A true CN106558077A (zh) 2017-04-05

Family

ID=58288103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510601069.4A Pending CN106558077A (zh) 2015-09-18 2015-09-18 位置误差的矫正方法及装置

Country Status (2)

Country Link
CN (1) CN106558077A (zh)
WO (1) WO2017045468A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437264A (zh) * 2017-08-29 2017-12-05 重庆邮电大学 车载相机外部参数自动检测与校正方法
CN116170693A (zh) * 2023-04-25 2023-05-26 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113784023B (zh) * 2021-08-09 2023-06-30 深圳市天视通视觉有限公司 一种位置确定方法、装置、摄像设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448088A (zh) * 2007-11-26 2009-06-03 新奥特(北京)视频技术有限公司 虚拟演播室中初始定位系统
CN102501252A (zh) * 2011-09-28 2012-06-20 三一重工股份有限公司 一种控制执行臂末端运动的方法及控制系统
EP2511876A1 (en) * 2006-10-19 2012-10-17 Robert Bosch Gmbh Camera assembly for improving repeatability
CN104506857A (zh) * 2015-01-15 2015-04-08 苏州阔地网络科技有限公司 一种摄像头位置偏离检测方法及设备
CN104792297A (zh) * 2015-04-20 2015-07-22 上海市计量测试技术研究院 引伸计校准装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6604868B2 (en) * 2001-06-04 2003-08-12 Kent Hsieh Microprocessor-controlled servo device for carrying and moving camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511876A1 (en) * 2006-10-19 2012-10-17 Robert Bosch Gmbh Camera assembly for improving repeatability
CN101448088A (zh) * 2007-11-26 2009-06-03 新奥特(北京)视频技术有限公司 虚拟演播室中初始定位系统
CN102501252A (zh) * 2011-09-28 2012-06-20 三一重工股份有限公司 一种控制执行臂末端运动的方法及控制系统
CN104506857A (zh) * 2015-01-15 2015-04-08 苏州阔地网络科技有限公司 一种摄像头位置偏离检测方法及设备
CN104792297A (zh) * 2015-04-20 2015-07-22 上海市计量测试技术研究院 引伸计校准装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107437264A (zh) * 2017-08-29 2017-12-05 重庆邮电大学 车载相机外部参数自动检测与校正方法
CN107437264B (zh) * 2017-08-29 2020-06-19 重庆邮电大学 车载相机外部参数自动检测与校正方法
CN116170693A (zh) * 2023-04-25 2023-05-26 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质
CN116170693B (zh) * 2023-04-25 2023-07-21 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2017045468A1 (zh) 2017-03-23

Similar Documents

Publication Publication Date Title
CN109387204B (zh) 面向室内动态环境的移动机器人同步定位与构图方法
US10733431B2 (en) Systems and methods for optimizing pose estimation
Kong et al. Recurrent scene parsing with perspective understanding in the loop
US10796452B2 (en) Optimizations for structure mapping and up-sampling
US9361510B2 (en) Efficient facial landmark tracking using online shape regression method
US11816810B2 (en) 3-D reconstruction using augmented reality frameworks
CN109389555B (zh) 一种全景图像拼接方法及装置
CN108875480A (zh) 一种人脸特征信息的追踪方法、装置及系统
WO2021051526A1 (zh) 多视图3d人体姿态估计方法及相关装置
CN109509255A (zh) 一种标签化地图构建及空间地图更新方法和装置
CN109871775A (zh) 一种基于行为检测的滑冰场监控方法和装置
CN109598744A (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN111401106A (zh) 一种行为识别方法、装置及设备
CN106558077A (zh) 位置误差的矫正方法及装置
CN109120854A (zh) 图像处理方法、装置、电子设备及存储介质
WO2022052782A1 (zh) 图像的处理方法及相关设备
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN110033012A (zh) 一种基于通道特征加权卷积神经网络的生成式目标跟踪方法
CN113112542A (zh) 一种视觉定位方法、装置、电子设备及存储介质
CN114693545A (zh) 一种基于曲线族函数的低光照增强方法及系统
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
CN116580151A (zh) 人体三维模型构建方法、电子设备及存储介质
Li et al. A full-process optimization-based background subtraction for moving object detection on general-purpose embedded devices
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170405

RJ01 Rejection of invention patent application after publication