CN101968357B - 一种从二维图像序列检测平面区域的方法 - Google Patents
一种从二维图像序列检测平面区域的方法 Download PDFInfo
- Publication number
- CN101968357B CN101968357B CN2010102888974A CN201010288897A CN101968357B CN 101968357 B CN101968357 B CN 101968357B CN 2010102888974 A CN2010102888974 A CN 2010102888974A CN 201010288897 A CN201010288897 A CN 201010288897A CN 101968357 B CN101968357 B CN 101968357B
- Authority
- CN
- China
- Prior art keywords
- plane
- point
- image
- feature points
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种从二维图像序列检测平面区域的方法，属于图像处理技术领域，首先对图像序列中的前后两幅或者多幅图像进行处理，提取得到图像上的一系列2D特征点，然后建立不同图像上2D特征点的对应关系；然后根据3D空间内，同一个空间平面上的点在不同图像上投影应当满足的约束条件，来判别所提取的2D特征点是否属于同一空间平面；从而将2D特征点初步划分为不同平面区域的点，对初步分类后的2D特征点采用一种鲁棒估计算法对平面参数进行参数估计，并排除干扰点，实现对2D特征点的平面划分及对应平面的参数估计。本发明能在有噪声的数据环境下稳定的分割出属于同一平面的特征点，并能准确地计算出对应平面的参数，在不需要对3D场景做任何先验假设的前提下，实现对2D图像内平面特征的分析。
Description
技术领域
本发明涉及机器人视觉中2D图像分析和处理技术，具体地说是从两幅或多幅2D图像中提取出同一空间平面点，并估计出平面参数从而实现平面区域检测的方法。
背景技术
在机器视觉的图像处理技术中，如果采用平面特征来描述一个场景，可以改善结果的精度、稳定性和计算过程的收敛速度等。传统的基于2D图像来分析三维空间平面的方法，主要有：有基于透视不变量的方法，利用空间平面投影时满足的一些透视不变量来判断是否是平面；通过简化摄像机和场景之间的相对位置关系，使得摄像机移动成像时，同平面点的成像满足一定的约束，来得到平面信息等。这些方法存在的主要问题是：（1）基于先验假设的环境知识对图像进行处理，通常在人造环境中比较适用，这类环境中存在大量的结构化信息，但对于复杂的自然场景，一旦无法定位这些结构化信息，该类方法就失效了；（2）一些基于2D图像的分析方法，分析结果依赖于特征提取的精度，因此对噪声、误差等敏感，因此对图像的成像质量、特征定位精度要求很严格，这在实际应用中存在很多限制。
发明内容
本发明要解决的技术问题是，提供一种在提取的图像特征点存在噪声的情况下，稳定可靠地检测出2D图像中的平面点以及可靠检测出多个平面区域的方法。
为了解决上述技术问题，本发明的技术解决方案提供一种从二维图像序列中检测平面区域的方法，根据同平面点应当满足平面单因矩阵约束的特点，对平面参数进行稳定估计，实现同平面点的归类，并可检测出2D图像上多个平面区域。
所述的方法，其包括下列主要步骤：
a)对用摄像机拍摄的两幅或多幅图像进行处理，提取得到多个2D图像特征点；并建立不同图像上多个2D特征点之间的对应关系；选取其中任意一幅图像作为参考图像；
b)在参考图像上，建立一个区域作为种子区域，利用种子区域内的特征点及这些特征点在其它图像中的对应点计算得到一组初始平面参数；
c)根据初始平面参数，计算平面单应矩阵，在剩余特征点中，筛选出和初始平面距离小于阈值的所有点，称之为“初选点集”；
d)针对初选点集，重新估计平面参数，并根据平面参数，计算所有点到该平面的距离，并标记出所有距离小于阈值的点，记录当前得到的平面参数和对应的特征点；
e)将步骤d）中标记出来的点移去，对剩下的所有点，重复步骤b)、c)、d)，直到所有的点标记完毕，或者剩余点的个数小于一定值，则结束。
步骤a）中所述图像是单个摄像机在两个或者多个位置下获取的图像，或者是两个或者多个摄像机在同一时刻获得的图像，或者图像序列。
本方法中要检测的平面区域可以是单个的也可以是是多个。
步骤d)针对对初选点集的采用LMEDS算法或鲁棒估计方法来估计平面参数。
本发明与已有的平面检测技术相比具有如下优点：
在参考图像中选择种子区域内的特征点来估计平面参数，在估计平面参数时采用鲁棒方法，减小了噪声、乃至错误匹配点对计算结果的影响，稳定性有很大提高；同时，平面点的判别不依赖任何关于场景的先验假设，有较好的通用性。
附图说明
图1是本发明提出的平面检测方法流程图；
图2是二维图像平面上，种子区域的建立示意图；
图3是二维图像平面上，种子区域的增长示意图；
图4是平面的检测与提取示意图。
具体实施方式
本发明具体实现原理及过程如下：
同一个摄像机在两个不同位置下对同一场景进行成像（或者两个摄像机同时对一个场景成像，原理是一样的），场景中属于同一个空间平面内的点，在两幅图像中的坐标位置，应当满足平面单应矩阵约束，即：
这里
，
为两幅图像上，同一空间点对应的图像坐标，H为平面单应矩阵。
在空间中，不在同一直线上的三个点可唯一决定一个平面，空间平面可以用参数
来描述，其中n是空间平面的法向矢量，d是空间平面到摄像机系圆点的距离。该空间平面参数可以用三个特征点，用线性方法计算得到。
在图像平面上，定义点到平面的距离为：
在平面检测时，首先对获取的图像提取2D特征点，并建立特征之间的对应关系。
在参考图像上，选择其中一个特征点(一般可从图像的中心区域的点开始)为中心点（如P i ），在一个给定的半径R范围(种子区域)内选择三个特征点，所选取的三个特征点要求能构成一个三角形，以及在其它图像中的对应点，计算得到一组空间平面参数
，如图2所示，图中，I表示获取的参考图像，
为该图像内三个空间平面对应的区域。针对种子区域（半径R确定的范围）内的其它特征点，可以采用同样的方法，计算得到多组平面参数
（i=1,…,n）。一般为了提高效率，已经参与前一次运算的点，可以屏蔽后，不参与后续的平面参数估计。对该种子区域得到的n+1组平面参数，利用最小平方中值算法（LMEDS）方法，筛选出一组平面参数
，作为该种子区域对应的平面参数。
如果以该组平面参数重新计算该种子区域各点的误差，如果误差值较大的点的个数大于一定值，则舍弃该种子区域，选择另一个特征点及其邻域的点构成一个种子区域，如图3所示，重复上述过程，直到找到一个合理的种子区域为止，并记录对应的平面参数值。
根据得到的一组平面参数值，可以计算对应的平面单应矩阵：
式中，（R,t）为摄像机的外部参数，R为旋转矩阵，t为平移矢量，K为摄像机的内参数矩阵，（R,t,K）可以通过摄像机的标定得到，在本发明中，我们假定通过摄像机标定的方法得到这些参数。（n,d）为计算得到的平面参数。
然后将参考图像平面上所有的特征点及其在其它图像中的对应点，根据点到平面的距离公式，计算出各个点对的距离误差值。将所有误差值小于一个阈值的点初步归类为同一平面的点，即得到“初选点集”。此处所说阀值根据本领域技术人员的经验得到。
对于初选点集，可以采用LMEDS方法，再次优化计算可得到更为稳定的平面参数，根据更新后的平面参数去除距离误差较大值点，剩下的点就是属于该平面内的点。将这些点标记出来，不再参与后续的处理，以减小计算量。如图4所示，
为检测得到的一个同平面的点集（用虚线圈出的点）。
对剩余的特征点，采用同样的过程，即先确定一个种子区域，然后计算种子区域的平面参数（n,d），以及平面单应矩阵(H)，然后计算各个点到该平面的距离误差值(e i )，根据阈值去除误差值大的点，得到一组新的平面点及其对应参数。重复上述过程，直到剩余特征点的个数少于一定值，处理过程结束。
一般来说，在图像特征提取过程中特征点的定位是有噪声的，另外，特征点的对应性建立过程，可能会产生错误的匹配点等因素，本发明通过采用鲁棒参数估计方法减少了这些因素对平面检测结果的影响，使得结果更为可靠。本发明提出的方法直接对二维灰度图像进行处理，也没有对场景设定先验的约束条件，更具有普遍性。
本发明能够实现稳定、可靠的平面检测，可用于机器人视觉导航，环境建模，计算机视觉、图像处理与分析等领域的需要。
下面结合附图和实施例对本发明作进一步说明。
实施例一
一台摄像机安装在一个移动机器人上。实验时，移动机器人在遥控模式下，带着摄像机从一个位置运动到另一个位置，在两个位置下，获取了两幅图像。
摄像机的内参数矩阵为：
在第二个位置下，。
按照图1所示步骤操作，对获取的两幅图像进行特征点提取及建立匹配关系，选其中一幅图作参考图像，在参考图像上建立种子区域，然后计算种子区域的平面参数（n,d），以及平面单应矩阵(H)，然后用鲁棒算法计算各个点到该平面的距离误差值(e i )，根据设定的阈值去除误差值大的点，得到一组新的平面点及其对应参数。重复上述过程，直到剩余特征点的个数少于一定值，处理过程结束。
实验结果如下：图像中只有一个平面，计算得到平面参数为：
两个CMOS摄像机之间的相对位置为：
实验过程同实施例一中的步骤。
实验结果如下：图像中有两个互相垂直的平面，一个是地面，另一个是与之垂直的墙壁。两个平面的参数为：
Claims (4)
1.一种从二维图像序列检测平面区域的方法，其特征在于，根据同平面点应当满足平面单应矩阵约束的特点，对平面参数进行稳定估计和判别，实现对图像序列中平面区域的检测；其包括以下主要步骤：
a)对用摄像机拍摄的两幅或多幅图像进行处理，提取得到多个2D图像特征点；并建立不同图像上多个2D特征点之间的对应关系；选取其中任意一幅图像作为参考图像；
b)在参考图像上，建立一个区域作为种子区域，利用种子区域内的特征点及这些特征点在其它图像中的对应点计算得到一组初始平面参数；
c)根据初始平面参数，计算平面单应矩阵，在剩余特征点中，筛选出和初始平面距离小于阈值的所有点，称之为“初选点集”；
d)针对初选点集，重新估计平面参数，并根据平面参数，计算所有点到该平面的距离，并标记出所有距离小于阈值的点，记录当前得到的平面参数和对应的特征点；
e)将步骤d)中标记出来的点移去，对剩下的所有点，重复步骤b)、c)、d)，直到所有的点标记完毕，或者剩余点的个数小于一定值，则结束。
2.根据权利要求1所述的方法，其特征在于：步骤a)中所述图像是单个摄像机在两个或者多个位置下获取的图像，或者是两个或者多个摄像机在同一时刻获得的图像，或者图像序列。
3.根据权利要求1所述的方法，其特征在于：要检测的平面区域是单个的，或者是多个。
4.根据权利要求1所述的方法，其特征在于：步骤d)针对初选点集重新估计平面参数采用LMEDS算法来估计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102888974A CN101968357B (zh) | 2010-09-21 | 2010-09-21 | 一种从二维图像序列检测平面区域的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010102888974A CN101968357B (zh) | 2010-09-21 | 2010-09-21 | 一种从二维图像序列检测平面区域的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101968357A CN101968357A (zh) | 2011-02-09 |
| CN101968357B true CN101968357B (zh) | 2012-02-22 |
Family
ID=43547548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010102888974A Expired - Fee Related CN101968357B (zh) | 2010-09-21 | 2010-09-21 | 一种从二维图像序列检测平面区域的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101968357B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609722B (zh) * | 2012-02-07 | 2015-03-25 | 西安理工大学 | 视频图像中形状的局部与全局特征结构融合方法 |
| CN102609723B (zh) * | 2012-02-08 | 2014-02-19 | 清华大学 | 一种基于图像分类的全自动视频分割方法及装置 |
| CN105865423B (zh) * | 2016-03-30 | 2018-02-23 | 沈阳泰科易科技有限公司 | 双目测距方法、装置和全景图像拼接方法及其系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1196371A (ja) * | 1997-09-24 | 1999-04-09 | Sanyo Electric Co Ltd | 画像認識装置における直線検出方法並びに該検出方法を利用した入力画像及び物品の検査方法 |
| JP3994950B2 (ja) * | 2003-09-19 | 2007-10-24 | ソニー株式会社 | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
| CN101533513B (zh) * | 2009-04-24 | 2012-12-26 | 天津大学 | 基于双视几何的图片伪造检测方法 |
| CN101650778A (zh) * | 2009-07-28 | 2010-02-17 | 复旦大学 | 一种基于特征点与单应性匹配的不变性识别方法 |
-
2010
- 2010-09-21 CN CN2010102888974A patent/CN101968357B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101968357A (zh) | 2011-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Crivellaro et al. | A novel representation of parts for accurate 3D object detection and tracking in monocular images | |
| Wildenauer et al. | Robust camera self-calibration from monocular images of Manhattan worlds | |
| Kassir et al. | Reliable automatic camera-laser calibration | |
| CN106204574B (zh) | 基于目标平面运动特征的相机位姿自标定方法 | |
| US8498472B2 (en) | Image-based localization feature point registration apparatus, method and computer-readable medium | |
| CN109523501A (zh) | 一种基于降维和点云数据匹配的电池外观缺陷检测方法 | |
| Fouhey et al. | Multiple plane detection in image pairs using j-linkage | |
| Antunes et al. | Unsupervised vanishing point detection and camera calibration from a single manhattan image with radial distortion | |
| CN104240266A (zh) | 基于颜色-结构特征的目标对象跟踪方法 | |
| CN105976399A (zh) | 一种基于sift特征匹配的运动目标检测方法 | |
| Nalpantidis et al. | Non-probabilistic cellular automata-enhanced stereo vision simultaneous localization and mapping | |
| Bellavia et al. | Robust selective stereo SLAM without loop closure and bundle adjustment | |
| CN104121902A (zh) | 基于Xtion摄像机的室内机器人视觉里程计实现方法 | |
| CN105023265A (zh) | 鱼眼镜头下的棋盘格角点自动检测方法 | |
| CN101765019B (zh) | 一种用于运动模糊和光照变化图像的立体匹配方法 | |
| CN104240231A (zh) | 基于局部结构二进制模式的多源图像配准 | |
| Kyriakoulis et al. | Color-based monocular visuoinertial 3-D pose estimation of a volant robot | |
| CN101968357B (zh) | 一种从二维图像序列检测平面区域的方法 | |
| CN105354816B (zh) | 一种电子元件定位方法及装置 | |
| Xing et al. | A new calibration technique for multi-camera systems of limited overlapping field-of-views | |
| CN110765993B (zh) | 基于ai算法的sem图形量测方法 | |
| Brink et al. | Probabilistic outlier removal for robust landmark identification in stereo vision based SLAM | |
| Jiao et al. | Robust localization for planar moving robot in changing environment: A perspective on density of correspondence and depth | |
| Shi et al. | Corridor line detection for vision based indoor robot navigation | |
| CN104123715B (zh) | 配置视差值的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120222 Termination date: 20120921 |