CN105096327A - 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 - Google Patents
一种基于计算机双目视觉及单应性矩阵的盲道定位方法 Download PDFInfo
- Publication number
- CN105096327A CN105096327A CN201510494635.6A CN201510494635A CN105096327A CN 105096327 A CN105096327 A CN 105096327A CN 201510494635 A CN201510494635 A CN 201510494635A CN 105096327 A CN105096327 A CN 105096327A
- Authority
- CN
- China
- Prior art keywords
- sidewalk
- visually impaired
- impaired people
- center line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Image Processing (AREA)
Abstract
一种基于计算机双目视觉及单应性矩阵的盲道定位方法,对所采集的盲道左、右相机图像进行匹配,并计算匹配点的三维坐标,进而计算盲道平面方程;再根据匹配点计算左、右相机图像间的单应性矩阵,获取左图像盲道中心线上的已知点在右图像中的匹配点,得到其三维坐标及盲道中心线的方向向量;最后计算过此中心线的盲道垂面方程,联立两个平面方程得到盲道中心线的空间方程,实现盲道相对左相机的定位。本发明所获取的盲道位置信息可用于调整盲人在盲道上行走的行进方向,并能够在盲人偏离盲道后引导其走回盲道,适用于计算机视觉导盲。
Description
技术领域
本发明涉及一种基于计算机双目视觉及单应性矩阵的盲道定位方法,用于确定盲道的空间位置以引导盲人沿盲道行走,尤其适用于计算机视觉导盲。
背景技术
目前传统的方法是借助导盲杖或导盲犬等来协助盲人行走。然而它们都有很大的局限性:导盲杖的探测范围有限且精度不高,而导盲犬的数量较少,因此盲人的出行安全难以得到保障。除此以外,虽然现代化的电子导盲设备多种多样,例如基于红外、蓝牙、射频等原理的非视觉导盲仪等,但是这些设备的应用也较为有限。实际上,盲人缺失的是视觉,只有计算机视觉导盲装置才可能最大程度弥补盲人的生理缺陷,最大程度缩小盲人相对于常人行为能力的巨大差距。
近些年,世界各地开始致力于开发计算机视觉导盲装置,希望通过这些设备可以帮助盲人真正地安全出行,可以说,计算机视觉导盲已经成为了如今导盲研究领域的热点,而导盲道作为最普遍的导盲道路设施必然是视觉处理的重点。目前现有的技术是采用一种盲道边界模型对盲道进行定位。在模型中建立两个坐标系,其中一个是盲道图像的图像坐标系,另一个是由实际盲道的两条边界建立的盲道坐标系,采用θ表示两个坐标系中心线之间的夹角。在识别出盲道的边界后,便可确定其中心线以及建立相关的盲道坐标系,进而定位出盲道与当前行进方向的位置,通过偏离的角度θ来指导盲人的行进方向。
但现有的方法存在一定的缺陷:(1)仅能确定行进方向相对盲道中心线的偏角,当盲人行走在盲道上时,偏角可以调整行进方向使其沿着盲道方向行走,但一旦盲人偏离了盲道,仅靠偏角就很难再将盲人引导回盲道上,因此还需要更为详细的数据,比如盲人相对盲道的距离等;(2)图像坐标系和世界坐标系下的数据并不一致,在图像坐标系中确定的偏角在世界坐标系中存在较大的误差。
由于上述缺陷的存在,因而在计算机视觉导盲中,这种方法应用的效果不够理想。
发明内容
本发明的技术解决问题:克服现有方法在盲道图像坐标系中定位不可靠的缺陷,提供了一种基于计算机双目视觉及单应性矩阵的盲道定位方法,达到了对盲道进行空间精确定位的目的,提高了引导盲人行走的可靠性。
本发明的技术解决方案是:对所采集的盲道左、右相机图像进行匹配,并计算匹配点的三维坐标,进而计算盲道平面方程;再根据匹配点计算左、右相机图像间的单应性矩阵,获取左图像盲道中心线上的已知点在右图像中的匹配点,得到其三维坐标及盲道中心线的方向向量;最后计算过此中心线的盲道垂面方程,联立两个平面方程得到盲道中心线的空间方程,实现盲道相对左相机的定位。
所述的计算盲道平面方程的步骤包括:
步骤一:对盲道进行拍摄,获取盲道的左、右相机图像;
步骤二:检测左、右相机图像的SURF特征点,提取特征描述子并对其进行匹配,获取匹配点;
步骤三:通过双目视觉原理计算匹配点在摄像机坐标系下对应的三维坐标;
步骤四:通过最小二乘法计算步骤三中的三维点所在平面的法向量则盲道平面方程可以表示为:
A1x+B1y+C1z=1
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A1,B1,C1为盲道平面方程的系数。
所述的计算盲道中心线的方向向量的步骤包括:
步骤一:由匹配点计算左、右相机图像间的单应性矩阵;
步骤二:在左图像的盲道中心线上任意选取两个已知其图像坐标的点,经单应性矩阵变换得到其在右图像中对应点的图像坐标,得到中心线上的两组匹配点;
步骤三:通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标,进而得到盲道中心线的方向向量
过盲道中心线的垂面的法向量由式得出,进而得到的盲道垂面方程为:
A2x+B2y+C2z=D
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,为盲道中心线的方向向量,为盲道平面的法向量,为盲道垂面的法向量。
盲道中心线的空间方程由盲道平面和盲道垂面联合表示,即由下述公式确定:
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,A1,B1,C1为盲道平面方程的系数。
盲道中心线的空间方程确定后,便可确定盲道在空间中的位置,从而实现了盲道对左相机的定位,为引导盲人的安全行走提供了必要条件。
本发明与现有技术相比的优点在于:(1)通过确定盲道中心线在摄像机坐标系下的空间方程,获取了更丰富的盲道信息,包括盲人相对盲道的距离和行进方向相对盲道中心线的偏角,从而可以调整盲人的行进方向,即使盲人偏离盲道,仍能引导其走回盲道,因而更适用于计算机视觉导盲;(2)通过计算盲道中心线在摄像机坐标系下的空间位置,得到实际三维空间中准确的距离和偏角信息,提高了引导盲人行走的可靠性。
附图说明
图1为本发明基于计算机双目视觉及单应性矩阵进行盲道定位的总体流程图;
图2为本发明计算盲道平面方程的流程图;
图3为本发明基于单应性矩阵计算盲道中心线方向向量的示意图。
具体实施方式
本发明基于计算机双目视觉及单应性矩阵进行盲道定位的总体流程如图1所示,具体包括:对所采集的盲道左、右相机图像进行匹配,并计算匹配点的三维坐标,进而计算盲道平面方程;再根据匹配点计算左、右相机图像间的单应性矩阵,获取左图像盲道中心线上的已知点在右图像中的匹配点,得到其三维坐标及盲道中心线的方向向量;最后计算过此中心线的盲道垂面方程,联立两个平面方程得到盲道中心线的空间方程,实现盲道相对左相机的定位。
下面结合说明书附图对本发明中的各个部分做详细说明:
本发明计算盲道平面方程的流程如图2所示,具体步骤详细说明如下:
步骤1:对盲道进行拍摄,获取盲道的左、右相机图像;
步骤2:
2-1、检测左、右相机图像的SURF特征点。SURF检测器选用二阶Hessian矩阵进行特征点的检测。给定图像I中某点X=(x,y),在该点X处,尺度为σ的Hessian矩阵H(X,σ)定义如式(1):
其中,Lxx(X,σ)是高斯二阶微分在点X=(x,y)处与图像I的卷积,Lxy(X,σ)、Lyy(X,σ)以此类推。由上式可得到图像上每点的响应值,通过设置阈值d,当响应强度大于d时则认为其为特征点;
2-2、对特征点进行描述:选择一个描述窗口,利用窗口区域中其它点对特征点的小波响应来对特征点进行描述。将用于测量水平方向的局部强度差值的核记为dx,用于测量垂直方向的差值的核记为dy。窗口区域被分割为4×4大小的子区域,对于每个区域计算5×5均匀摆放的dx响应和dy响应。然后对所有的响应求和,每个区域提取四个描述子的值:
v=[∑dx∑dy∑|dx|∑|dy|](2)
每个小区域有4个值,每个特征点则可用一个16×4=64维的向量描述。利用向量的距离公式求解两幅图像中特征点之间的距离,设定一个阈值p,当两个特征向量的距离之比大于该阈值p时认为其对应的一组特征点对是匹配点;
2-3、对检测到的特征点对依次进行比率测试及对称性测试,移除错误的匹配点,获取优质的匹配点。
步骤3:通过双目立体视觉原理计算匹配点在摄像机坐标系下对应的三维坐标:假设由步骤2-3得到的一组匹配点为(Xl,Yl)和(Xr,Yr),则匹配点在摄像机坐标系下对应的三维坐标见公式(3):
其中(Xl,Yl)和(Xr,Yr)分别为匹配点在左、右相机图像中的图像坐标;B为基线距,即左、右相机光心间的距离;f为摄像机的焦距;Disparity=Xl-Xr为视差。
步骤4:本发明忽略盲道不平整带来的不共面的影响,设所有三维点都位于盲道平面上,采用最小二乘法计算得到的盲道平面的法向量为则盲道平面方程可以表示为:
A1x+B1y+C1z=1(4)
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A1,B1,C1为盲道平面方程的系数。
本发明基于单应性矩阵计算盲道中心线的方向向量的示意图如图3所示,首先在左图像的盲道中心线上任意选取两个已知其图像坐标的点,经单应性矩阵变换得到其在右图像中对应点的图像坐标,得到中心线上的两组匹配点;再通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标,两三维点间的向量即为盲道中心线的方向向量。具体步骤详细说明如下:
步骤1:由所得的匹配点可计算左、右相机图像间的单应性矩阵如下式:
其中,(X,Y)和(x,y)分别为匹配点在左、右相机图像中的图像坐标,H为左、右相机图像间的单应性矩阵;
步骤2:在左图像的盲道中心线上任意选取两个已知其图像坐标的点,经单应性矩阵变换得到其在右图像中对应点的图像坐标,得到中心线上的两组匹配点;
步骤3:通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标,由于这两个三维点均位于实际盲道的中心线上,因此两点间的向量即为盲道中心线的方向向量
然后计算过盲道中心线的垂面方程,盲道垂面的法向量由式得出,进而得到的盲道垂面方程为:
A2x+B2y+C2z=D(6)
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,为盲道中心线的方向向量,为盲道平面的法向量,为盲道垂面的法向量;
最后盲道中心线的空间方程由盲道平面方程和盲道垂面方程联合表示:
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,A1,B1,C1为盲道平面方程的系数。
Claims (5)
1.一种基于计算机双目视觉及单应性矩阵的盲道定位方法,其特征在于:对所采集的盲道左、右相机图像进行匹配,并计算匹配点的三维坐标,进而计算盲道平面方程;再根据匹配点计算左、右相机图像间的单应性矩阵,获取左图像盲道中心线上的已知点在右图像中的匹配点,得到其三维坐标及盲道中心线的方向向量;最后计算过此中心线的盲道垂面方程,联立两个平面方程得到盲道中心线的空间方程,实现盲道相对左相机的定位。
2.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法,其特征在于:所述的计算盲道平面方程的步骤包括:
步骤一:对盲道进行拍摄,获取盲道的左、右相机图像;
步骤二:检测左、右相机图像的SURF特征点,提取特征描述子并对其进行匹配,获取匹配点;
步骤三:通过双目视觉原理计算匹配点在摄像机坐标系下对应的三维坐标;
步骤四:通过最小二乘法计算步骤三中的三维点所在平面的法向量则盲道平面方程可以表示为:
A1x+B1y+C1z=1
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A1,B1,C1为盲道平面方程的系数。
3.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法,其特征在于:所述的计算盲道中心线的方向向量的步骤包括:
步骤一:由匹配点计算左、右相机图像间的单应性矩阵;
步骤二:在左图像的盲道中心线上任意选取两个已知其图像坐标的点,经单应性矩阵变换得到其在右图像中对应点的图像坐标,得到中心线上的两组匹配点;
步骤三:通过双目立体视觉原理计算这两组匹配点在摄像机坐标系下对应的三维坐标,进而得到盲道中心线的方向向量
4.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法,其特征在于:过盲道中心线的垂面的法向量由式得出,进而得到的盲道垂面方程为:
A2x+B2y+C2z=D
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,为盲道中心线的方向向量,为盲道平面的法向量,为盲道垂面的法向量。
5.根据权利要求1所述的基于计算机双目视觉及单应性矩阵的盲道定位方法,其特征在于:盲道中心线的空间方程由盲道平面和盲道垂面联合表示,即由下述公式确定:
其中,(x,y,z)表示摄像机坐标系下的三维坐标,A2,B2,C2,D为盲道垂面方程的系数,A1,B1,C1为盲道平面方程的系数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510494635.6A CN105096327B (zh) | 2015-08-12 | 2015-08-12 | 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510494635.6A CN105096327B (zh) | 2015-08-12 | 2015-08-12 | 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105096327A true CN105096327A (zh) | 2015-11-25 |
CN105096327B CN105096327B (zh) | 2017-12-12 |
Family
ID=54576666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510494635.6A Active CN105096327B (zh) | 2015-08-12 | 2015-08-12 | 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105096327B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761242A (zh) * | 2016-01-27 | 2016-07-13 | 北京航空航天大学 | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 |
CN106871906A (zh) * | 2017-03-03 | 2017-06-20 | 西南大学 | 一种盲人导航方法、装置及终端设备 |
CN108524209A (zh) * | 2018-03-30 | 2018-09-14 | 江西科技师范大学 | 导盲方法、系统、可读存储介质及移动终端 |
CN109509261A (zh) * | 2018-11-26 | 2019-03-22 | 端美科技(中山)有限公司 | 一种增强现实的方法、装置及计算机存储介质 |
CN109709537A (zh) * | 2018-12-19 | 2019-05-03 | 浙江大学 | 一种基于卫星编队的非合作目标位置速度跟踪方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN103442180A (zh) * | 2013-08-27 | 2013-12-11 | 桂林电子科技大学 | 基于sopc的双目视频拼装置及双目视频拼接方法 |
-
2015
- 2015-08-12 CN CN201510494635.6A patent/CN105096327B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101625768A (zh) * | 2009-07-23 | 2010-01-13 | 东南大学 | 一种基于立体视觉的三维人脸重建方法 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN103442180A (zh) * | 2013-08-27 | 2013-12-11 | 桂林电子科技大学 | 基于sopc的双目视频拼装置及双目视频拼接方法 |
Non-Patent Citations (1)
Title |
---|
JACOPO PIAZZI等: "Plane Detection with Stereo Images", 《PROCEEDINGS OF THE 2006 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105761242A (zh) * | 2016-01-27 | 2016-07-13 | 北京航空航天大学 | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 |
CN105761242B (zh) * | 2016-01-27 | 2021-04-27 | 北京航空航天大学 | 一种基于计算机双目视觉与惯性测量的盲人行走定位方法 |
CN106871906A (zh) * | 2017-03-03 | 2017-06-20 | 西南大学 | 一种盲人导航方法、装置及终端设备 |
CN108524209A (zh) * | 2018-03-30 | 2018-09-14 | 江西科技师范大学 | 导盲方法、系统、可读存储介质及移动终端 |
CN109509261A (zh) * | 2018-11-26 | 2019-03-22 | 端美科技(中山)有限公司 | 一种增强现实的方法、装置及计算机存储介质 |
CN109709537A (zh) * | 2018-12-19 | 2019-05-03 | 浙江大学 | 一种基于卫星编队的非合作目标位置速度跟踪方法 |
CN109709537B (zh) * | 2018-12-19 | 2020-08-04 | 浙江大学 | 一种基于卫星编队的非合作目标位置速度跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105096327B (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105096327A (zh) | 一种基于计算机双目视觉及单应性矩阵的盲道定位方法 | |
US11900619B2 (en) | Intelligent vehicle trajectory measurement method based on binocular stereo vision system | |
JP7327872B2 (ja) | コンピュータによる検査システム及び方法 | |
CN102435174B (zh) | 基于混合式双目视觉的障碍物检测方法及装置 | |
CN102313536B (zh) | 基于机载双目视觉的障碍物感知方法 | |
CN103093479B (zh) | 一种基于双目视觉的目标定位方法 | |
CN104933718A (zh) | 一种基于双目视觉的物理坐标定位方法 | |
CN106778614B (zh) | 一种人体识别方法和装置 | |
CN105005999A (zh) | 一种基于计算机立体视觉面向导盲仪的障碍物探测方法 | |
CN105096307A (zh) | 在成对的立体图像中检测物体的方法 | |
CN103884281B (zh) | 一种基于主动结构光的巡视器障碍探测方法 | |
CN105043350A (zh) | 一种双目视觉测量方法 | |
CN110309701B (zh) | 一种基于跨视角同一区域的行人重识别方法 | |
CN106600643B (zh) | 一种基于轨迹分析的人数统计方法 | |
CN104408711A (zh) | 一种基于多尺度区域融合的显著区域检测方法 | |
KR102309608B1 (ko) | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 | |
CN104637041A (zh) | 一种基于参照特征的宽幅织物图像获取与拼接方法 | |
Rodríguez et al. | Obstacle avoidance system for assisting visually impaired people | |
CN104064057A (zh) | 图像跟踪测量数据与雷达测量数据互补融合的实现方法 | |
CN104331884B (zh) | 四触角履带机器人的爬楼梯参数获取系统 | |
CN103438834A (zh) | 基于结构光投影的层级式快速三维测量装置及测量方法 | |
CN105513094A (zh) | 基于三维Delaunay三角剖分的立体视觉跟踪方法及系统 | |
Zaarane et al. | Vehicle to vehicle distance measurement for self-driving systems | |
KR101494395B1 (ko) | 스테레오 비전을 이용한 탐색장치를 포함하는 유도 비행체 및 이의 표적 추적 방법 | |
CN103533332B (zh) | 一种2d视频转3d视频的图像处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |