CN105374043B - 视觉里程计背景过滤方法及装置 - Google Patents
视觉里程计背景过滤方法及装置 Download PDFInfo
- Publication number
- CN105374043B CN105374043B CN201510872856.2A CN201510872856A CN105374043B CN 105374043 B CN105374043 B CN 105374043B CN 201510872856 A CN201510872856 A CN 201510872856A CN 105374043 B CN105374043 B CN 105374043B
- Authority
- CN
- China
- Prior art keywords
- map
- depth
- background
- pixel
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
一种视觉里程计背景过滤方法及装置,其中方法包括如下步骤:根据预设场景三维地图和行车图像计算各像素点的景深,得到景深图;根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;对背景概率图进行处理,得到最佳背景区块。解决了视觉里程计的背景识别问题。
Description
技术领域
本发明涉及视觉里程计使用领域,尤其涉及一种视觉里程计背景过滤方法及装置。
背景技术
视觉里程计(visual odometry)是一种利用连续的摄像机图片计算载体(如机器人)相对于固定场景位移和姿态变化的方法。比起其它的位移测距法(odometry),视觉里程计的好处有:
1.成本较低,只需要传感器上摄像机即可
2.能够不受多种类别的干扰(如轮子位移传感器受轮子滑移的影响)
3.准确率上较好。其原理和人类通过视觉判断自身位移和姿态变化非常相似。人类仅仅靠双眼的图像信息便能准确地判断位移,这给视觉里程计提供了一个很好的参照
视觉里程计的方法一般可以概括为这几个步骤(以下简称视觉里程计流水线):
1.获取图像,可以使用单镜头摄像机(single camera),立体摄像机或者全景摄像机(omnidirectional camera)
2.图像校正,这一步采用图像处理技术纠正透镜畸变等,改善图像质量。
3.特征发现,这一步可分为:
a.特征采集,从一幅图像中提取出有代表性的、稳固的特征。
b.特征配对,对比连续的图像,将不同图像中的同一特征配对起来。
4.利用特征在连续图像之间的变化,建立视觉场(optical field)。
5.利用视觉场估算位移。
6.定期地增加新的特征和去除过期(不再场景内)的特征,以保证特征对于图像的完整覆盖。
另外一种视觉里程计的方法不进行特征提取和配对,而是直接用整个场景/原始图片作为输入。比如,利用深度学习可以解决较为简单的环境下的静动态物体区分。但是在复杂的城市环境(交通,弱光环境)中,深度学习的成本骤增,不如直接利用环境的一些不变属性提取特征。这些属性包括物体的相对位置和绝对位置,分别可用景深和GPS坐标刻画,也包括物件本身的视觉属性,比如棱角。
对于无人车而言,视觉里程计可以作为多种位移测距系统中的一种,以提供对其它位移测距法的补充,同时也可以作为一套冗余备份系统。
发明内容
为此,需要提供一种视觉里程计背景过滤方法及装置,解决识别图像背景的问题。
为实现上述目的,发明人提供了一种视觉里程计背景过滤方法,包括如下步骤:
根据预设场景三维地图和行车图像计算各像素点的景深,得到景深图;
根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;
对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;
对背景概率图进行处理,得到最佳背景区块。
具体地,还包括步骤:
采集预设场景三维地图。
具体地,还包括步骤:
采集行车图像。
优选地,根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。
优选地,根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。
一种视觉里程计背景过滤装置,包括景深图计算模块、权重视差图计算模块、背景概率图计算模块、最佳背景区块计算模块:
所述景深图计算模块用于根据预设场景三维地图和行车图像计算各像素点的景深,得到景深图;
所述权重视差图计算模块用于根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;
所述背景概率图计算模块用于对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;
所述最佳背景区块计算模块用于对背景概率图进行处理,得到最佳背景区块。
具体地,还包括地图采集模块:
所述地图采集模块用于采集预设场景三维地图。
具体地,其特征在于,还包括行车图像采集模块:
所述行车图像采集模块用于采集行车图像。
优选地,所述权重视差图计算模块用于根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。
优选地,所述权重视差图计算模块用于根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。
区别于现有技术,上述技术方案巧妙地解决了视觉里程计中背景的精确识别与过滤的问题。
附图说明
图1为本发明具体实施方式所述场景与过滤后背景概率对比图;
图2为本发明具体实施方式所述预先采集的三维地图示例;
图3为本发明具体实施方式所述的静态景深图;
图4为本发明具体实施方式所述的视差法示意图;
图5为本发明具体实施方式所述的视觉流图法示意图;
图6为本发明具体实施方式所述的方法流程图;
图7为本发明具体实施方式所述的装置模块图;
附图标记说明:
700、景深图计算模块;
702、权重视差图计算模块;
704、背景概率图计算模块;
706、最佳背景区块计算模块;
708、地图采集模块;
710、行车图像采集模块。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
视觉里程计的一个主要挑战就是在充斥着动态物体的场景内准确判断位移。这对于城市中行驶的无人车尤其重要,因为城市道路上充斥着各种大尺寸的车辆。这些大尺寸运动物体容易导致视觉里程计流水线效能的严重下降。
如果能够有效地过滤掉这些动态物体,让视觉里程计流水线集中于场景静态的部分,则能有效提高视觉里程计的准确性。而本方法能够协助动态环境下的视觉里程计准确地辨识背景。
为了区分背景和运动物体,一个简单的想法是,先“记忆”背景,再比 较所见之景和“记忆”之间的偏差。差别越大,越不可能是背景。我们首先要定义“记忆”是什么。一个固定场景的轮廓构成的点集是算法所需的“记忆”。也就是说,在无人车运行之前,它已经记录下整个场景的座标。
本方法是一种利用预先采集的场景三维信息(如场景的3维激光扫描地图/激光点云图),生成一幅背景概率图,以便过滤掉动态物体尽可能还原场景原始的静态的面貌。
如图1所示:左为过滤之前的场景,右为生成的背景概率图。概率图颜色越浅(越白)的地方为静态背景的概率越高。
本方法可以应用于满足如下条件的环境中:
1、对预设环境进行了3维激光地图的采集。采集车辆配备高质量的激光雷达,并且有精准的定位仪器(如gps)。
2、需要立体摄像机。
3、三维激光地图尽量不要有其它的临时的、非固定的物体。
这里可以参见图2,为某实施例中预先采集的激光地图
本方法的主要步骤可以概括为:
利用某种方法判断无人车在三位空间内的位置,然后将预先采集的三维激光图投射到当前摄像机的视角;
利用视差图法或者视觉流图法,比较如图3所示的静态景深图和实时获取的图像(以下简称当前图像),得出一个背景概率图。在图3所示的实施例中,图3a显示了示例用的摄像机场景影像(Camera image of the scene for refrence);图3b显示了预采集的3D场景的激光强度值图样(3D scence prior coloured with corresponding laserintensity values);图3c显示了将激光扫描图投影到估计摄像机位置上的情况(Reprojected laser-intensity image at the estimated camera pose in theprior);图3d显示了投影后的景深图,亮度代表了更大的景深(Reprojected depth image,where lighter colours represent larger depth)。视差比较的是同一时刻,两个观察点产生的图像之间的偏移。视觉流 比较的是不同时刻的图像的区别。这两个方法一个侧重于绝对位置,另一侧重于速度,可以互补。
从所见的图像可以生成这两个量,从“记忆”中的特性也可以生成它们。整个方法都围绕着如何生成,和怎样比较展开。
还原“记忆”,首先仰赖于精准的定位。“记忆”为了便于保存,使用绝对座标。为了能与当前图像比较,需要调整参照系,转换为当前视角。这样生成的是所谓的合成图像。由于这个区别,针对两种图像的计算方法截然不同。
两种标准为比较提供了可能,但还不够。由于这两个量的识别能力受景深直接影响,为了无差别的比较近景和远景,需要对视差和视觉流分别进行补偿,再比较。
最后进行一定的后期处理。比较的结果还需要一些处理才能转化为可用的信息。最后一段介绍如何将这个信息与特性叠加得到背景特性。
另假设,车辆和镜头等设备和“记忆”过程中使用的完全一致。这样假设并不伤害问题的一般性,所有输入所需的变量都可以“调整”,使得所有以下参数满足假设。
在具体的实现方法中,请参阅图6,包括步骤S600采集预设场景三维地图,首先,预先采集固定场景3d云(3D point-clouds){Xn}这里假设固定场景里没有可以移动的物体。怎样做到完全没有动态物体是个复杂的问题,需要详细探讨。把这一项放在输入的第一位因为它的质量直接影响识别效果。固定场景最终以GPS坐标,或者其它不依赖观察者位置的参照系坐标记录下来。
步骤S602采集行车图像(stereo imagery),具体可以用{Ik,1}和{Ik,2}分别对应1号和2号镜头;镜头参数:焦距f;镜头间距b,又称作底线(baseline);当前位置Ck和车辆朝向Orik:(x,y,z)分别对应车的长宽高三轴;以及定位的 不确定性Pk;其中上述两步可以通过事先采集来完成。
上述步骤S600和S602可以在行车过程中采集,而后直接进行后续步骤,在优选的实施例中,可以事先完成,例如采集车只负责在外采集上述预设场景三维地图和行车图像,当掌握到足够的预设场景三维地图信息以及行车图像数据后,后续的步骤分析在实验室或区别于采集车的另一台行驶车辆上进行。在某些实施例中,本方法可以开始于步骤S604:根据所述预设场景三维地图和行车图像计算景深;
景深是一个中间变量。景深本身也可以反映两张图像之间的差别,却不能直接用。以人的视觉为例,越远的物体成像越小,同样的变化,越不容易辨别。所以景深同时还是一个补偿方法,大景深物体不易识别,利用景深让它们和近景有类似的权重。
景深有两种zi S和zi C,它们的来源不同。上标S代表合成(Synthetic),因为这是记忆里的场景,通过计算,还原到现实的场景。上标C代表当下(Current)。由于来源不同,计算的方法也不一样。
具体计算方法如下:
1)合成景深zi S,所谓合成是指由“记忆”点集的绝对座标加以运算而生成的。合成景深是为了区别于景深而派生出来的概念。它们的区别仅仅是来源不同,景深的含义没有变化。
选取固定场景3d云即所述固定场景三维地图中接近当前位置的点集,其余的点对识别的帮助小,可能产生较大误差
Subk={Xi:||Xi-Ck||≤d}
并计算它们在Ik,1和Ik,2上对应的像素pixk,1、pixk,2(由于镜头成像方式不同,算法各异,另文介绍)图像的本质是把三维的点投射到二维空间。这种投射由于光的直线传播又可以称作投影。
通常选择d=40米,目的为降低计算成本。
对Subk中的每一点x计算它的景深z(x)=(x-Ck)·z
2)利用线形二维延拓计算每个像素上的合成景深。由3d提供了“网格”,为得到图像还需要对网格加以延拓。延拓的方法有很多种,线性的,非线性的。但都不影响本方法的。
zi,j S=g({z(x):x∈Subk},{pixk,j})j=1,2其中g为延拓函数;
3)对Ik,1和Ik,2的每一个像素i计算其景深。
zi C=zi(Ck+δCk)
其中δCk代表定位的不确定性。假定它服从高斯分布:
δCk~N(0,Pk)
这样得到两张景深图,尺寸和行车图一致。
再进行步骤S606计算权重视差图,可以使用视差图法或视觉流图法;
这里请看图4,图4a显示了用于示例的摄像机影像(Camera image forreference);图4b显示了使用了盖革方法的立体视差图像(Stereo disparity imageusing the method of Geiger et al.[21]);图4c显示了预采集3D场景生成的合成视差图(Synthetic disparity image genarated fron the 3D scene piror)图4d显示了4b与4c中视差绝对值的不同(Disparity difference image(i.e..the absolute value of thedifference between 4(b)and 4(c)));图4e显示了不确定性权重标示下的,用了最大值过滤器来放大信号和低通过滤器用来使图像平滑后的视差差异图,注意在图4d中近景位置展示的信号在加入不确定性运算后明显减弱了(Uncertainty-weighted disparitydifference image after applying a max filter to amplify the signal and low-pass filter for smoothing.Note that the signals in the near field that arepresent in Figure 4d are significantly down weighted when taking theuncertainty into account.);图4f显示了背景可能性图,黑色表示可能性为0,白色表示可能性为1,本图像用来衡量我们的视频影像流程中的特性检测得分(Backgroundlikelihood image,where black represents a likelihood of 0 and whiterepresents a likelihood of 1.This image is used to weight the featuredetection scores in the front-end of our VO pipeline)。在图4所示的某些实施例中,用视差图法计算视差:
由于左右眼的位置差别,同一个物体在两眼的图像中位置不同。这种偏移被人用来识别景深,换而言之,比景深更基础。反其道而行,也可以用景深计算视差。我们将用视差来比较“记忆”和现实的差别。因此计算两张视差图,一张当前(C)一张合成(S),然后比较它们的区别。
1、生成当前视差图。这一步比较复杂。一个物体出现在两张图像上,位置略为不同。为了比较位置,首先得确认各自的位置,还得确认是同一个物体。后一步相对困难。在某些实施例不妨假定这个过程已经妥善处理。δdi C代表计算的不确定性,越大越不稳定。
di C=d i C+δdi C
δdi C~N(0,σ2di C)
2、由景深计算结果zi S生成视差图。因为每个点的位置都是由“记忆”中的位置投射而来,谁是谁清清楚楚。这一步套用公式就可以:
di S=fb/(zi S)
3、计算两者差值:
ed=di C-di S
4、计算每个像素的不确定因子的算法没有给出)。
除了提过的景深以外,定位不准等因素对识别结果有很大影响。所有算法都有不太准确的时候,为了让算法更稳定,需要估计其不确定性。下面的公式大致的反映了各种不确定性叠加以后的总效果
其中代表当前视差图算法的不稳定性,Pk代表定位不稳定性,代表景深对当前位置的敏感度,通常来说,越近的物体敏感度越大,越容易产生大的误差。代表合成视差。
5、计算权重视差图。对不太稳定的点,给予较小的权重,反之保持或者加大权重。
权重视差图补偿了由于定位不准以及大景深物体视差小的问题,也能缓解定位不准的困扰。
在另一些实施例中,如图5所示,我们还可以利用视觉流图法计算视差:
图5a显示了用于示例的摄像机影像(Camera image for reference);图5b显示了真实视觉流图(True optical flow);图5c显示了合成了3D场景图的合成视觉流图(Synthetic optical flow using the 3D prior);图5d显示了视觉流差图(Optical flowdifference);图5e显示了权重视觉流差图(Depth-weighted optical flow difference);图5f显示了背景概率图(Backgroung-likelihood image)。
如果视察图利用的是同一时刻两个镜头的差异,视觉流利用的就是不同时刻同镜头的差异。也就是对时间求导。理论上讲,视觉流可以只用一个镜头。这里仍然是比较”记忆“和当下的区别。为此我们得现有一幅”记忆“中该有的图像。这是与上个流程唯一的差别。分别计算比较差值的思路完全一样。
1、利用Subk在Ik,1和Ik,2上对应的像素pixk,1、pixk,2延拓生成合成图像 和
没有近似点的部分用Ik,1和Ik,2上的点补足,这样可以避免下一步计算出现较大的误差。
延拓的方法在此不赘述。,
2、由Ik-1,1 Ik-1,2生成合成视觉流图,在本实施例中该步也比较复杂但不妨假设已经妥善处理。
fi C=fi C+δfi C
由景深计算结果zi S以及Ik-1,1 Ik-1,2生成真实视觉流图,具体方法较为复杂可假设已妥善处理。
fi S=fi S(zi S)
4、计算两者差值:
ef=fi C-fi S
5、计算权重视觉流差图:
e f =zSef
权重视觉流同样补偿大景深物体不易产生大速度差的问题。
再进行步骤S608,对权重视差图进行后期处理,得到背景概率图,所述背景概率图中包含每个像素为背景的可能性。
视差图和光流图所得的差值e d 和e f ,包含了固有物体和移动物体的信息,为了便于使用,需要一些信号处理。两者的处理方式一致,所以以下的段落不作区别,将二者都记为ei
1、最大值封顶。这一步未必是最好的方法,其目的是无差别的对待大差值。也就是说超过τ,我们就认为差别大到百分之一百确定的程度。现实中,这个值不容易选择,这种简单的假设甚至可能不成立。
ei=τ 若ei≥τ
2、延拓局部最大值。这是一种让图像更平滑的方法。这样可以让图像显现出“区块”的特质,而不是一个个孤立的点。
差值越大,代表内容越不同,那么该像素为固有背景的可能性越低。所以定义:
以代表背景可能性。
最后进行步骤S610对背景概率图进行处理,得到最佳背景区块。
背景可能性的一种应用是通过区分背景特性和非背景特性,寻找背景区域。
运用任何一种特性(features)识别算法,得到一组特性{Fi}和得分{si}
特性识别现有技术中有很多运用方式。每一个特性,都有其得分(Score),用来标示识别的确定程度,越大越好。图像和图像所代表的物体是容器和内容的关系。就像瓶子和水。只有通过识别,得到特性,才能有效地提取信息,得到瓶中的水。识别背景,第一步先得识别特性。它有一个先天的优势:特性识别在之前的步骤已经完成,可以直接利用。
另外,背景区块必须具有一定的连续性,因此不会孤立的考虑特性,而是寻找背景特性最显著最集中的区块。我们将利用这个性质进一步提高识别的可靠性。
在本步骤S610中,需要输入:
得分筛选阀值τ,用以过滤不够清晰的特性
背景可能性(likelihood)bi
得分si
算法原理如下:
筛选特性。不是所有特性都有助识别。特性计算产生不确定性,尤其低得分的特性,不仅无益,反而干扰识别。这是特性算法的一个普遍问题。为此需要把它们清除出去。得分超过τ的特性才能进入下一轮的计算,其他的特征不予考虑。其数学语言就是将不足τ的特性的得分si人为地归零。
筛选出显著的特性之后,把它的得分乘以bi。这一步实现背景和非背景的分离。最终得分反映出对背景识别的确定性。越高越可能是背景。
依照特性的最终得分选出得分最高的区块。特性散布在图像的各个角落,其分布没有一定规律。我们总是能找到一个区块,背景特性特别集中,单位面积上的最终得分也最高。它既有一个个确定的特性,而且特性之间有较好的一致性,这个区块最有可能是背景。也是这个方法的最终结果。
代表面积为图像面积的一个固定值,比如1/4,的所有可能的区块。区块可以是方形,或者其他几何图形。这并不是决定性的因素,可以依据需求合理的选取。
根据上述方法输出最佳背景区块A;通过上述方法,达到了视觉里程计中背景过滤的效果。
在图7所示的某些实施例中,包括了一种视觉里程计背景过滤装置,所述装置包括景深图计算模块700、权重视差图计算模块702、背景概率图计算模块704、最佳背景区块计算模块706:
所述景深图计算模块700用于根据预设场景三维地图和行车图像计算各像素点的景深,得到景深图;
所述权重视差图计算模块702用于根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;
所述背景概率图计算模块704用于对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;
所述最佳背景区块计算模块706用于对背景概率图进行处理,得到最佳背景区块。
具体地,还包括地图采集模块708:
所述地图采集模块708用于采集预设场景三维地图。
具体地,其特征在于,还包括行车图像采集模块710:
所述行车图像采集模块710用于采集行车图像。
优选地,所述权重视差图计算模块702用于根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。
优选地,所述权重视差图计算模块702用于根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外,在本文中,“大于”、“小于”、“超过”等理解为不包括本数;“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白,上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机设备可读取的存储介质中,用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备,包括但不限于:个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等;所述的存储介质,包括但不限于:RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器,使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中,使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上,使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改,所以以上所述仅为本发明的实施例,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围之内。
Claims (10)
1.一种视觉里程计背景过滤方法,其特征在于,包括如下步骤:
根据预设场景三维地图和行车图像计算各像素点的景深及合成景深,得到两张景深图;
所述景深根据当前行车图像计算获得,所述合成景深通过记忆的行车图像计算合成,所述记忆为固定场景的轮廓构成的点集;
所述根据预设场景三维地图和行车图像计算各像素点的合成景深包括:利用线形二维延拓计算每个像素上的合成景深,
根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;
对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;所述对权重视差图进行后期处理包括:延拓局部最大值,
对背景概率图进行处理,得到最佳背景区块。
2.根据权利要求1所述的视觉里程计背景过滤方法,其特征在于,还包括步骤:
采集预设场景三维地图。
3.根据权利要求1所述的视觉里程计背景过滤方法,其特征在于,还包括步骤:
采集行车图像。
4.根据权利要求1所述的视觉里程计背景过滤方法,其特征在于,根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。
5.根据权利要求1所述的视觉里程计背景过滤方法,其特征在于,根据景深图和不同时刻同一镜头采集到的行车图像计算权重视差图。
6.一种视觉里程计背景过滤装置,其特征在于,包括景深图计算模块、权重视差图计算模块、背景概率图计算模块、最佳背景区块计算模块:
所述景深图计算模块用于根据预设场景三维地图和行车图像计算各像素点的景深及合成景深,得到两张景深图;所述根据预设场景三维地图和行车图像计算各像素点的景深包括:利用线形二维延拓计算每个像素上的合成景深;
所述景深根据当前行车图像计算获得,所述合成景深通过记忆的行车图像计算合成,所述记忆为固定场景的轮廓构成的点集;
所述权重视差图计算模块用于根据景深图和行车图像计算权重视差图,所述权重视差图包括各像素点的视差信息和权重信息;
所述背景概率图计算模块用于对权重视差图进行后期处理,得到背景概率图,所述背景概率图包括各像素点为背景的概率信息;所述对权重视差图进行后期处理包括:延拓局部最大值,
所述最佳背景区块计算模块用于对背景概率图进行处理,得到最佳背景区块。
7.根据权利要求6所述的视觉里程计背景过滤装置,其特征在于,还包括地图采集模块:
所述地图采集模块用于采集预设场景三维地图。
8.根据权利要求6所述的视觉里程计背景过滤装置,其特征在于,还包括行车图像采集模块:
所述行车图像采集模块用于采集行车图像。
9.根据权利要求6所述的视觉里程计背景过滤装置,其特征在于,所述权重视差图计算模块用于根据景深图和同一时刻不同镜头采集到的行车图像计算权重视差图。
10.根据权利要求6所述的视觉里程计背景过滤装置,其特征在于,所述权重视差图计算模块用于根据景深图和不同时刻同一镜头采集到的行车图像运用视觉流图法计算权重视差图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510872856.2A CN105374043B (zh) | 2015-12-02 | 2015-12-02 | 视觉里程计背景过滤方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510872856.2A CN105374043B (zh) | 2015-12-02 | 2015-12-02 | 视觉里程计背景过滤方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105374043A CN105374043A (zh) | 2016-03-02 |
CN105374043B true CN105374043B (zh) | 2017-04-05 |
Family
ID=55376215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510872856.2A Active CN105374043B (zh) | 2015-12-02 | 2015-12-02 | 视觉里程计背景过滤方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105374043B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11436749B2 (en) * | 2017-01-23 | 2022-09-06 | Oxford University Innovation Limited | Determining the location of a mobile device |
CN111383340B (zh) * | 2018-12-28 | 2023-10-17 | 成都皓图智能科技有限责任公司 | 一种基于3d图像的背景过滤方法、装置及系统 |
CN110009675B (zh) * | 2019-04-03 | 2021-05-18 | 北京市商汤科技开发有限公司 | 生成视差图的方法、装置、介质及设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8725273B2 (en) * | 2010-02-17 | 2014-05-13 | Irobot Corporation | Situational awareness for teleoperation of a remote vehicle |
CN102034247B (zh) * | 2010-12-23 | 2013-01-02 | 中国科学院自动化研究所 | 一种基于背景建模对双目视觉图像的运动捕捉方法 |
CN104748727B (zh) * | 2013-12-31 | 2017-02-15 | 中国科学院沈阳自动化研究所 | 阵列式高速视觉里程计及其实现方法 |
CN103954283B (zh) * | 2014-04-01 | 2016-08-31 | 西北工业大学 | 基于景象匹配/视觉里程的惯性组合导航方法 |
CN104180818B (zh) * | 2014-08-12 | 2017-08-11 | 北京理工大学 | 一种单目视觉里程计算装置 |
CN104702935A (zh) * | 2015-03-31 | 2015-06-10 | 王子强 | 一种基于视差补偿的裸眼3d显示方法 |
-
2015
- 2015-12-02 CN CN201510872856.2A patent/CN105374043B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105374043A (zh) | 2016-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Expanding the detection of traversable area with RealSense for the visually impaired | |
Guerry et al. | Snapnet-r: Consistent 3d multi-view semantic labeling for robotics | |
CN102710951B (zh) | 基于散斑结构光深度相机的多视点计算成像方法 | |
US8718356B2 (en) | Method and apparatus for 2D to 3D conversion using scene classification and face detection | |
JP6192853B2 (ja) | 超音波深度検出を使用するオプティカルフロー画像化システム及び方法 | |
US9305206B2 (en) | Method for enhancing depth maps | |
WO2019230339A1 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
CN113159151A (zh) | 面向自动驾驶的多传感器深度融合3d目标检测方法 | |
Mai et al. | 3D object detection with SLS-fusion network in foggy weather conditions | |
US20200234398A1 (en) | Extraction of standardized images from a single view or multi-view capture | |
CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
CN102036094B (zh) | 一种基于数字分数延时技术的立体匹配方法 | |
Wang et al. | An overview of 3d object detection | |
JP7389729B2 (ja) | 障害物検知装置、障害物検知システム及び障害物検知方法 | |
Alidoost et al. | Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries | |
CN105374043B (zh) | 视觉里程计背景过滤方法及装置 | |
Shi et al. | An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds | |
JP2023539865A (ja) | リアルタイムなクロススペクトルオブジェクトの関連付け及び深度推定 | |
CN114966696A (zh) | 一种基于Transformer的跨模态融合目标检测方法 | |
Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
Chen et al. | Scene reconstruction algorithm for unstructured weak-texture regions based on stereo vision | |
Engels et al. | 3d object detection from lidar data using distance dependent feature extraction | |
CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
Lin et al. | Enhancing deep-learning object detection performance based on fusion of infrared and visible images in advanced driver assistance systems | |
Yoon et al. | Deep multimodal detection in reduced visibility using thermal depth estimation for autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |