CN107103056B - 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 - Google Patents
一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 Download PDFInfo
- Publication number
- CN107103056B CN107103056B CN201710240981.0A CN201710240981A CN107103056B CN 107103056 B CN107103056 B CN 107103056B CN 201710240981 A CN201710240981 A CN 201710240981A CN 107103056 B CN107103056 B CN 107103056B
- Authority
- CN
- China
- Prior art keywords
- image
- database
- identification
- point
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 52
- 238000013519 translation Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 241000287196 Asthenes Species 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法,具体涉及视觉室内定位技术领域,本发明为了解决现有的基于位置指纹的定位方法,需要在场景信息的图像采集和地理位置工作方面消耗大量的人力,且传统的单目视觉定位系统精度较低的缺点,而提出一种基于局部标识的双目视觉室内定位数据库建立方法,包括:建立定位系统的坐标系模型。标定双目视觉系统;选取待定位室内场景中的一个标识。使用左摄像机或右摄像机按照一定间隔采集带有标识的图像;提取每个图像的SURF特征点;标注出每张图像中标识的四个角点的像素坐标存入数据库中;提取出每张图像标识区域的SURF特征点矩阵存入数据库中。本发明适用于可穿戴式室内定位识别设备。
Description
技术领域
本发明涉及一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法,具体涉及视觉室内定位技术领域。
背景技术
互联网和可穿戴设备的飞速发展和基于位置感知的应用的不断需求,使得位置感知逐渐成为人们必不可少的信息,基于位置的服务越来越受到广泛关注。由于人们平均70%以上的时间处于室内环境,对自身在室内场景所处的位置环境的感知需求也与日俱增。因此,可靠的位置信息在许多不同的环境下为用户带来更好更重要的用户体验和感受。目前,室外定位技术已经非常成熟,并且很多移动设备也都参考使用了室外定位技术。GPS系统、GLONASS导航系统、伽利略导航系统和北斗导航系统是目前使用较为广泛的全球卫星定位系统。室内环境的特殊性导致卫星定位信号无法直接满足室内位置服务的需求,因此需要一种性能良好的系统来完成室内定位技术。并且,移动智能终端的可移动性和普适性在位置感知和信息交互方面有很大的推动作用。基于此,高精度的室内定位系统成为一个热点研究领域。
室内定位系统使用的技术非常广泛,主要包括WiFi,UWB,RFID,蓝牙,视觉,惯性测量单元等。其中,基于WiFi的室内定位技术最为成熟。该定位技术借助无线接入点已部署的特点,利用用户移动终端检测区域范围内各个接入点的信号强度值达到用户定位的目的。然而,该技术的应用场景因严重依赖无线接入点的个数而受到很大限制,在人流量密集的室内环境需要部署大量接入点,过度消耗人力物力,并且在诸如进出口等边缘位置定位,会因墙壁遮挡等因素导致定位精度受到较大影响。随着智能终端的普及,其完备的内置传感器系统正逐渐替代那些特殊设计的室内定位系统。视觉定位方法正是利用图像获取传感器,对用户所处的室内环境进行感知,直接有效地在复杂室内环境中提取出有效的位置信息,为基于视觉的室内定位方法提供基础设备。另外,从计算机视觉和机器人等领域,人类正是通过视觉系统和计算机融合来实现对周围环境的感知,并在此基础上实现机器人的定位导航。因此,基于视觉的室内定位方法是室内定位领域的重要发展方向之一。
目前已提出的视觉定位系统主要分为两个阶段:离线阶段和在线阶段。传统的离线数据库建立方法主要采用位置指纹算法,通过将用户位置与终端拍摄的场景图片融合来建立Visual Map数据库,Visual Map由图像空间和物理空间所构成,图像空间是指室内环境下的图像信息,物理空间是指地理位置坐标信息。然后,采用快速检索算法得出VisualMap中最匹配的场景及相对应的位置,完成定位服务。然而,位置指纹方法存在很明显的缺陷,即随着定位范围的增大,为保证定位精度,基于位置指纹的数据库的容量会不断增大,场景信息的图像采集和地理位置工作会消耗大量的人力。其次,在线定位阶段,传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息,很大程度上增加了定位过程中的时延,而且定位精度较低。
因此,需要一种新的室内定位技术,来解决现有技术的上述缺陷。
发明内容
本发明为了解决现有的基于位置指纹的定位方法,为了保证定位精度,需要大量扩充数据库容量,进而在场景信息的图像采集和地理位置工作方面消耗大量的人力;并且传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息,很大程度上增加了定位过程中的时延,并使得定位精度较低的缺点,而提出一种基于局部标识的双目视觉室内定位数据库建立方法,包括:
步骤一,建立定位系统的坐标系模型。
步骤二:在所述坐标系模型中,标定双目视觉系统,得到双目视觉系统的内部参数和外部参数;所述双目视觉系统包括左摄像机以及右摄像机。
步骤三:根据待定位的室内场景,建立平面世界坐标系。
步骤四:选取待定位室内场景中的一个标识。
步骤五:在能够拍摄到标识的范围内,使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像;N为正整数。
步骤六:提取每个数据库图像的SURF特征点。
步骤七:标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中,并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中。
步骤八:对于待定位室内场景中的每一个标识,重复执行步骤四至步骤七,直至数据库构建完成。
本发明还提供一种基于局部标识的双目视觉室内定位方法,包括:
步骤A:利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir。
步骤B:利用如具体实施方式1至4中任一具体实施方式所述的方法得到的数据库,分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标。
步骤C:根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
本发明的有益效果为:1、只需要已知少数标识图像的地理位置信息,而不需要已知每个采集图像的参考点的地理位置信息,在很大程度上减少建立数据库的时间开销,节省人力。2、本发明在数据库建立阶段通过在某标识附近一定范围区域内,按照一定间隔有针对性地采集含有标识的图像,标注图像中标识的角点信息,提取标识区域的特征点矩阵,并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中,完成基于标识的离线数据库的建立,达到了减少数据库容量的效果。3、本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m,而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m,达到了亚米级的定位精度。并且,本专利提出的定位方法的最大定位误差为1.39m,定位误差在1m以内的累计概率达到85%,而基于位置指纹的定位算法最大定位误差为3m,定位误差在1m以内的累计概率为56%。
附图说明
图1为本发明的基于局部标识的双目视觉室内定位方法的流程示意图;
图2为本发明的基于局部标识的双目视觉室内定位数据库建立方法的一个实施例的示意图;
图3为本发明的离线数据库的存储内容示意图;
图4为本发明中在线阶段标识特征匹配模块框图;
图5为本发明的基于标识的双目视觉定位方法与现有技术中基于位置指纹定位方法的效果对比图。
本发明的变量定义如下
具体实施方式
具体实施方式一:本实施方式的基于局部标识的双目视觉室内定位数据库建立方法,其特征在于,包括:
步骤一,建立定位系统的坐标系模型。
坐标系模型包括参考坐标系、摄像机坐标系、图像坐标系、像素坐标系。具体建立的方法为:
建立参考坐标系Or-xyz,定义该坐标系原点Or为一个矩形标识图像的左上角顶点,x轴方向为沿标识上边沿平行于水平地面,y轴方向为垂直标识图像向里,z轴方向为垂直地面向下。
建立左摄像机坐标系Ocl-uvw,定义该坐标系原点Ocl为左摄像机光心,u轴与v轴重合于左摄像机镜头平面,w轴为左摄像机光轴。
建立图像坐标系O1-XY,定义该坐标系原点O1为左摄像机光轴与成像平面的交点,X,Y轴分别平行于图像的两条边。该坐标系建立在摄像机的CCD传感器上,其单位与CCD传感器的尺寸保持一致。
建立像素坐标系O2-UV,定义该坐标系的原点O2为图像的左上角顶点,U,V轴分别为图像的上边沿和左边沿。
步骤二:在所述坐标系模型中,标定双目视觉系统,得到双目视觉系统的内部参数和外部参数;所述双目视觉系统包括左摄像机以及右摄像机。标定摄像机的过程为:
利用双目摄像机系统拍摄棋盘标定模板,分别获得10至20张左右摄像机标定图像。利用张正友标定法对获得的标定图像进行处理,得到双目摄像机的内部参数和外部参数。其中,内部参数包括:左摄像机的焦距fl,右摄像机的焦距fr和二维图像的主点坐标(U0,V0);外部参数包括:旋转矩阵R和平移向量T。其中,表示左摄像机坐标系原点Ocl和右摄像机坐标系原点Ocr之间的旋转矩阵。表示左摄像机坐标系原点Ocl和右摄像机坐标系原点Ocr之间的平移向量;tx表示Ocr和Ocl在x轴方向的平移值,ty表示Ocr和Ocl在y轴方向的平移值,tz表示Ocr和Ocl在z轴方向的平移值。
步骤三:根据待定位的室内场景,建立平面世界坐标系。
步骤四:选取待定位室内场景中的一个标识。标识可以为海报。
步骤五:在能够拍摄到标识的范围内,使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像;记作Imgi(i=1,2,3,...N)N为正整数。图2示出了离线数据库建立示意图,Ocl和Ocr为左右摄像机坐标系的原点,即左右摄像机的光心。箭头方向表示摄像机拍摄的方向,在图2示出的情况中,需要一边后退一边拍摄,以保证拍摄到完整的标识图像。左摄像机的最大视角记作θ,标识在平行于地面方向的长度记作L,左摄像机距标识平面的垂直距离记作u0,距标识平面右边沿的水平距离记作w0。为保证采集含有完整标识的数据库图像,拍摄图像时,左摄像机距标识平面左边沿的最小水平距离需要满足如下公式:
步骤六:采集到图像后,提取每个数据库图像的SURF特征点;
步骤七:手动标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中,并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中。如图3所示,第i张图像的第j个角点的像素坐标可记为其特征矩阵可记为
步骤八:对于待定位室内场景中的每一个标识,重复执行步骤四至步骤七,直至数据库构建完成。
需要说明的是,“数据库图像”和“数据库图像的标识区域”是不同的概念,例如,以海报作为标识时,实际拍摄到的图片既包含海报,也包含海报周围的场景,那么“标识区域”指的就是海报所在的区域。此时四个角点指的是海报的四个点,需要确定四个角点的坐标方可确定标识区域,标识区域即为四个角点围成的区域。
具体实施方式二:本实施方式与具体实施方式一不同的是:内部参数包括左摄像机的焦距、右摄像机的焦距以及左摄像机和右摄像机的二维图像的主点坐标;所述二维图像的主点坐标为左摄像机或右摄像机的光轴与对应图像平面的交点坐标;外部参数包括旋转矩阵以及左摄像机坐标系原点和右摄像机坐标系原点之间的平移向量。上述参数均是通过张正友标定法计算得出的。
其它步骤及参数与具体实施方式一相同。
其中,θ为左摄像机的最大视角;L为标识在平行于地面方向的长度;u0为左摄像机距标识平面的垂直距离。
使用上述公式的好处是,满足公式条件时可以保证左摄像机能够拍摄到完整的标识图像。拍摄到完整的标识图像能够保证定位的精确性。本领域的技术人员应当清楚,如果标识图像位于左摄像机的左侧时,也可以使用右摄像机来进行相似的过程,此处不作赘述。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:
设采集到的N张带有标识的数据库图像为Imgi,1≤i≤N,则步骤七具体为:
步骤七一:利用手动标注的方式标注出第一张数据库图像Img1中标识区域的四个角点的像素坐标,并将所述四个角点的像素坐标作为角点信息存储在数据库中。
步骤七二:提取第一张数据库图像Img1中标识区域的SURF特征点,构成SURF特征点矩阵,并将所述SURF特征点矩阵作为第一张数据库图像Img1的特征信息存储在数据库中。
步骤七三:将第一张数据库图像Img1的标识区域的SURF特征点以及第二张数据库图像Img2的SURF特征点输入至RANSAC算法中,得到第二张数据库图像Img2的单应矩阵。RANSAC算法还具有剔除两个图像的误匹配点的功能。
步骤七四:通过单应矩阵求解出第二张数据库图像Img2中标识的四个角点的像素坐标,作为第二张图像Img2的角点信息存储在数据库中。
步骤七五:提取第二张数据库图像Img2中标识区域的SURF特征点,构成SURF特征点矩阵,作为第二张数据库图像Img2的特征信息存储在数据库中。
步骤七六:重复步骤七三至步骤七五,直至第一张数据库图像的角点信息和特征信息均存储在数据库中。
本实施方式的好处是,通过提取图像特征,大大缩减了需要存储的信息大小,显著减轻了数据库的负担。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式提供了一种基于局部标识的双目视觉室内定位方法,本实施方式是基于具体实时方式一至四中任意一项构建出的数据库实现的。
本实施方式的方法包括:
步骤A:利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir;
步骤B:利用如具体实施方式1至4中任一具体实施方式所述的方法得到的数据库,分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标;
步骤C:根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式五不同的是:
步骤B包括:
步骤B1:提取在线输入左图像Il和右图像Ir的SURF特征点,构成特征点矩阵;
步骤B2:将图像Il的SURF特征点矩阵Fl以及由具体实施方式1至4中任一具体实施方式所述方法得到数据库图像Imgi的标识区域特征点矩阵Fi进行标识区域特征匹配,并通过RANSAC算法进行误匹配点剔除,并求解两图像间标识区域单应矩阵Hil;
步骤B3:通过预设的匹配特征点的阈值判断单应矩阵Hil的准确度,若Hil正确则执行步骤B4;若Hil不正确,则选择下一张数据库图像,并重新判断单应矩阵的准确度;
步骤B4:将由具体实施方式1至4中任一具体实施方式所述方法得到数据库图像Imgi的标识角点的像素坐标通过单应矩阵Hil映射到左图像Il中,求解左图像Il中对应点的像素坐标求解的计算公式为Qj=HilPj;其中j=1,2,3,4,为数据库图像Imgi的第j个标识角点的像素横坐标;为数据库图像Imgi的第j个标识角点的像素纵坐标;分别为左图像Il中对应点像素坐标的横坐标、纵坐标。
步骤B5:通过在线输入左图像Il中标识的四个角点的像素坐标Qj确定标识区域,并提取左图像Il中标识区域的SURF特征点矩阵Fl′;
步骤B6:利用左图像Il中标识区域的SURF特征点矩阵Fl'和步骤B1中得到的右图像Ir的SURF特征点矩阵Fr进行特征匹配,通过RANSAC算法进行误匹配点剔除,并求解两图像间标识区域单应矩阵Hlr;
步骤B7:通过预设的匹配特征点的阈值判断单应矩阵Hlr的准确度,若Hlr正确则执行步骤B8;若Hlr不正确,则选择下一张数据库图像,并重新判断单应矩阵的准确度;
步骤B8:将步骤B4得到左图像Il的标识角点的像素坐标Qj通过单应矩阵Hlr映射到到右图像Ir中,求解右图像Ir中对应点的像素坐标求解的计算公式为Qj′=HlrQj;其中j=1,2,3,4;分别为右图像Ir中对应点像素坐标的横坐标、纵坐标。
步骤B9:通过右图像Ir中标识的四个角点的像素坐标Qj′确定标识区域,并提取右图像Ir中标识区域的SURF特征点矩阵Fr′。
其它步骤及参数与具体实施方式五相同。
具体实施方式七:本实施方式与具体实施方式五或六不同的是:
步骤C包括:
其中r1,r2,r3,r7,r8,r9为通过张正友标定法计算出的旋转矩阵中的对应元素。fl为左摄像机的焦距,fr为右摄像机的焦距;tx表示Ocr和Ocl在x轴方向的平移值;ty表示Ocr和Ocl在y轴方向的平移值,tz表示Ocr和Ocl在z轴方向的平移值。
其它步骤及参数与具体实施方式五或六相同。
综上,本发明提出一种基于局部标识的双目视觉室内定位方法。首先,在离线阶段,提出一种基于局部标识的离线数据库建立方法来减少数据库的存储容量和建立阶段的复杂度。具体来说,该方法在数据库建立阶段通过在某标识附近一定范围区域内,按照一定间隔有针对性地采集含有标识的图像,标注图像中标识的角点信息,提取标识区域的特征点矩阵,并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中,完成基于标识的离线数据库的建立,达到了减少数据库容量的效果。并且,该方法只要求已知少数标识图像的地理位置信息,而不需要已知每个采集图像的参考点的地理位置信息,在很大程度上减少建立数据库的时间开销,节省人力。其次,在在线阶段,提出一种基于双目视觉的室内定位方法,通过计算两摄像机拍摄的二维图像信息进行用户定位,减少图像匹配的时延同时有效地提高室内用户的定位精度。具体来说,将离线数据库存储的标识特征与在线阶段左右摄像机拍摄图像中的标识特征输入到标识特征匹配模块,分别得到左右摄像机拍摄图像中标识角点的像素坐标。然后,通过双目视觉定位模块完成室内用户的在线定位。
图5示出了本发明的定位方法和现有技术的基于位置指纹的定位方法的效果对比图。其中,横轴表示在左摄像机坐标系下标识图像左边沿上下两个角点的定位误差,纵坐标表示定位误差的累积概率,即CDF的概率。从图5中可以看出,本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m,而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m,达到了亚米级的定位精度。并且,本专利提出的定位方法的最大定位误差为1.39m,定位误差在1m以内的累计概率达到85%,而基于位置指纹的定位算法最大定位误差为3m,定位误差在1m以内的累计概率为56%。
本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,本领域技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (4)
1.一种基于局部标识的双目视觉室内定位数据库建立方法,其特征在于,包括:
步骤一:建立定位系统的坐标系模型;
所述定位系统的坐标系模型包括参考坐标系、摄像机坐标系、图像坐标系和像素坐标系;
步骤二:在所述坐标系模型中,标定双目视觉系统,得到双目视觉系统的内部参数和外部参数;所述双目视觉系统包括左摄像机以及右摄像机;
所述内部参数包括左摄像机的焦距、右摄像机的焦距以及左摄像机和右摄像机的二维图像的主点坐标;所述二维图像的主点坐标为左摄像机或右摄像机的光轴与对应图像平面的交点坐标;外部参数包括旋转矩阵以及左摄像机坐标系原点和右摄像机坐标系原点之间的平移向量;
步骤三:根据待定位的室内场景,建立平面世界坐标系;
步骤四:选取待定位室内场景中的一个标识;
步骤五:在能够拍摄到标识的范围内,使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像;N为正整数;
其中,θ为左摄像机的最大视角;L为标识在平行于地面方向的长度;u0为左摄像机距标识平面的垂直距离;
步骤六:提取每个数据库图像的SURF特征点;
步骤七:标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中,并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中;
设采集到的N张带有标识的数据库图像为Imgi,1≤i≤N;所述步骤七具体为:
步骤七一:利用手动标注的方式标注出第一张数据库图像Img1中标识区域的四个角点的像素坐标,并将所述四个角点的像素坐标作为角点信息存储在数据库中;
步骤七二:提取第一张数据库图像Img1中标识区域的SURF特征点,构成SURF特征点矩阵,并将所述SURF特征点矩阵作为第一张数据库图像Img1的特征信息存储在数据库中;
步骤七三:将第一张数据库图像Img1的标识区域的SURF特征点以及第二张数据库图像Img2的SURF特征点输入至RANSAC算法中,得到第二张数据库图像Img2的单应矩阵;
步骤七四:通过单应矩阵求解出第二张数据库图像Img2中标识的四个角点的像素坐标,作为第二张图像Img2的角点信息存储在数据库中;
步骤七五:提取第二张数据库图像Img2中标识区域的SURF特征点,构成SURF特征点矩阵,作为第二张数据库图像Img2的特征信息存储在数据库中;
步骤七六:重复步骤七三至步骤七五,直至N张数据库图像的角点信息和特征信息均存储在数据库中;
步骤八:对于待定位室内场景中的每一个标识,重复执行步骤四至步骤七,直至数据库构建完成。
2.一种基于局部标识的双目视觉室内定位方法,其特征在于,包括如下步骤:
步骤A:利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir;
步骤B:利用如权利要求1所述的方法得到的数据库,分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标;
步骤C:根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
3.根据权利要求2所述的基于局部标识的双目视觉室内定位方法,其特征在于,步骤B包括:
步骤B1:提取在线输入左图像Il和右图像Ir的SURF特征点,构成特征点矩阵;
步骤B2:将左图像Il的SURF特征点矩阵Fl以及由权利要求1所述方法得到数据库图像Imgi的标识区域特征点矩阵Fi进行标识区域特征匹配,并通过RANSAC算法进行误匹配点剔除,并求解两图像间标识区域单应矩阵Hil;
步骤B3:通过预设的匹配特征点的阈值判断单应矩阵Hil的准确度,若Hil正确则执行步骤B4;若Hil不正确,则选择下一张数据库图像,并重新判断单应矩阵的准确度;
步骤B4:将由权利要求1所述方法得到数据库图像Imgi的标识角点的像素坐标通过单应矩阵Hil映射到左图像Il中,求解左图像Il中对应点的像素坐标求解的计算公式为Qj=HilPj;其中j=1,2,3,4,为数据库图像Imgi的第j个标识角点的像素横坐标;为数据库图像Imgi的第j个标识角点的像素纵坐标;
步骤B5:通过在线输入左图像Il中标识的四个角点的像素坐标Qj确定标识区域,并提取左图像Il中标识区域的SURF特征点矩阵Fl′;
步骤B6:利用左图像Il中标识区域的SURF特征点矩阵Fl′和步骤B1中得到的右图像Ir的SURF特征点矩阵Fr进行特征匹配,通过RANSAC算法进行误匹配点剔除,并求解两图像间标识区域单应矩阵Hlr;
步骤B7:通过预设的匹配特征点的阈值判断单应矩阵Hlr的准确度,若Hlr正确则执行步骤B8;若Hlr不正确,则选择下一张数据库图像,并重新判断单应矩阵的准确度;
步骤B9:通过右图像Ir中标识的四个角点的像素坐标Qj′确定标识区域,并提取右图像Ir中标识区域的SURF特征点矩阵F′r。
4.根据权利要求3所述的基于局部标识的双目视觉室内定位方法,其特征在于,步骤C包括:
其中r1,r2,r3,r7,r8,r9为通过张正友标定法计算出的旋转矩阵中的对应元素;fl为左摄像机的焦距,fr为右摄像机的焦距;tx表示Ocr和Ocl在x轴方向的平移值;tz表示Ocr和Ocl在z轴方向的平移值,Ocl代表左摄像机坐标系原点,Ocr代表右摄像机坐标系原点;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710240981.0A CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710240981.0A CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107103056A CN107103056A (zh) | 2017-08-29 |
CN107103056B true CN107103056B (zh) | 2021-01-29 |
Family
ID=59675554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710240981.0A Active CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107103056B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108959417B (zh) * | 2018-06-08 | 2022-03-29 | 安徽智网信息科技有限公司 | 一种基于快速检索模板动态生成栏目的方法 |
CN109086350B (zh) * | 2018-07-13 | 2021-07-30 | 哈尔滨工业大学 | 一种基于WiFi的混合图像检索方法 |
CN110044353B (zh) * | 2019-03-14 | 2022-12-20 | 深圳先进技术研究院 | 一种飞行机构室内定位方法及定位系统 |
CN110321902B (zh) * | 2019-05-09 | 2021-07-13 | 哈尔滨工业大学 | 一种基于socp的室内自动视觉指纹采集方法 |
CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
CN112013850B (zh) * | 2020-10-16 | 2021-11-19 | 北京猎户星空科技有限公司 | 定位方法、装置、自移动设备和存储介质 |
CN113094371B (zh) * | 2021-04-14 | 2023-05-12 | 嘉兴毕格智能科技有限公司 | 一种用户自定义坐标系的实现方法 |
CN112884841B (zh) * | 2021-04-14 | 2022-11-25 | 哈尔滨工业大学 | 一种基于语义目标的双目视觉定位方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120116711A1 (en) * | 2007-09-13 | 2012-05-10 | Trex Enterprises Corp. | Portable celestial compass |
CN103640018A (zh) * | 2013-12-13 | 2014-03-19 | 江苏久祥汽车电器集团有限公司 | 一种基于surf算法进行定位的方法及机器人 |
CN106228538A (zh) * | 2016-07-12 | 2016-12-14 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
-
2017
- 2017-04-13 CN CN201710240981.0A patent/CN107103056B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120116711A1 (en) * | 2007-09-13 | 2012-05-10 | Trex Enterprises Corp. | Portable celestial compass |
CN103640018A (zh) * | 2013-12-13 | 2014-03-19 | 江苏久祥汽车电器集团有限公司 | 一种基于surf算法进行定位的方法及机器人 |
CN106228538A (zh) * | 2016-07-12 | 2016-12-14 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
Non-Patent Citations (2)
Title |
---|
A Flexible New Technique for Camera Calibration;Zhengyou Zhang等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20001130;第22卷(第11期);第1330-1134页 * |
基于SURF算法的单目转双目视觉定位;韩峰;《计算机系统应用》;20151115;第24卷(第11期);第1-5页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107103056A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107103056B (zh) | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 | |
CN106228538B (zh) | 基于logo的双目视觉室内定位方法 | |
CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
CN109993793B (zh) | 视觉定位方法及装置 | |
CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
CN103134489B (zh) | 基于移动终端进行目标定位的方法 | |
CN106767810B (zh) | 一种基于移动终端的wifi和视觉信息的室内定位方法及系统 | |
CN104281840B (zh) | 一种基于智能终端定位识别建筑物的方法及装置 | |
CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别系统及方法 | |
US8155387B2 (en) | Method and system for position determination using image deformation | |
CN110443850B (zh) | 目标对象的定位方法及装置、存储介质、电子装置 | |
CN111383205B (zh) | 一种基于特征点和三维模型的图像融合定位方法 | |
CN110858414A (zh) | 图像处理方法、装置、可读存储介质与增强现实系统 | |
CN111192321A (zh) | 目标物三维定位方法与装置 | |
CN112884841B (zh) | 一种基于语义目标的双目视觉定位方法 | |
Xue et al. | A fast visual map building method using video stream for visual-based indoor localization | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
CN112422653A (zh) | 基于位置服务的场景信息推送方法、系统、存储介质及设备 | |
David et al. | Orientation descriptors for localization in urban environments | |
CN108234932B (zh) | 视频监控图像中的人员形态提取方法及装置 | |
Junejo et al. | Autoconfiguration of a dynamic nonoverlapping camera network | |
Muffert et al. | The estimation of spatial positions by using an omnidirectional camera system | |
Cipolla et al. | Image-based localization | |
CN105847679B (zh) | 图像采集方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |