CN107103056A - 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 - Google Patents
一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 Download PDFInfo
- Publication number
- CN107103056A CN107103056A CN201710240981.0A CN201710240981A CN107103056A CN 107103056 A CN107103056 A CN 107103056A CN 201710240981 A CN201710240981 A CN 201710240981A CN 107103056 A CN107103056 A CN 107103056A
- Authority
- CN
- China
- Prior art keywords
- msub
- database
- image
- msubsup
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法，具体涉及视觉室内定位技术领域，本发明为了解决现有的基于位置指纹的定位方法，需要在场景信息的图像采集和地理位置工作方面消耗大量的人力，且传统的单目视觉定位系统精度较低的缺点，而提出一种基于局部标识的双目视觉室内定位数据库建立方法，包括：建立定位系统的坐标系模型。标定双目视觉系统；选取待定位室内场景中的一个标识。使用左摄像机或右摄像机按照一定间隔采集带有标识的图像；提取每个图像的SURF特征点；标注出每张图像中标识的四个角点的像素坐标存入数据库中；提取出每张图像标识区域的SURF特征点矩阵存入数据库中。本发明适用于可穿戴式室内定位识别设备。
Description
技术领域
本发明涉及一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法，具体涉及视觉室内定位技术领域。
背景技术
互联网和可穿戴设备的飞速发展和基于位置感知的应用的不断需求，使得位置感知逐渐成为人们必不可少的信息，基于位置的服务越来越受到广泛关注。由于人们平均70％以上的时间处于室内环境，对自身在室内场景所处的位置环境的感知需求也与日俱增。因此，可靠的位置信息在许多不同的环境下为用户带来更好更重要的用户体验和感受。目前，室外定位技术已经非常成熟，并且很多移动设备也都参考使用了室外定位技术。GPS系统、GLONASS导航系统、伽利略导航系统和北斗导航系统是目前使用较为广泛的全球卫星定位系统。室内环境的特殊性导致卫星定位信号无法直接满足室内位置服务的需求，因此需要一种性能良好的系统来完成室内定位技术。并且，移动智能终端的可移动性和普适性在位置感知和信息交互方面有很大的推动作用。基于此，高精度的室内定位系统成为一个热点研究领域。
室内定位系统使用的技术非常广泛，主要包括WiFi，UWB，RFID，蓝牙，视觉，惯性测量单元等。其中，基于WiFi的室内定位技术最为成熟。该定位技术借助无线接入点已部署的特点，利用用户移动终端检测区域范围内各个接入点的信号强度值达到用户定位的目的。然而，该技术的应用场景因严重依赖无线接入点的个数而受到很大限制，在人流量密集的室内环境需要部署大量接入点，过度消耗人力物力，并且在诸如进出口等边缘位置定位，会因墙壁遮挡等因素导致定位精度受到较大影响。随着智能终端的普及，其完备的内置传感器系统正逐渐替代那些特殊设计的室内定位系统。视觉定位方法正是利用图像获取传感器，对用户所处的室内环境进行感知，直接有效地在复杂室内环境中提取出有效的位置信息，为基于视觉的室内定位方法提供基础设备。另外，从计算机视觉和机器人等领域，人类正是通过视觉系统和计算机融合来实现对周围环境的感知，并在此基础上实现机器人的定位导航。因此，基于视觉的室内定位方法是室内定位领域的重要发展方向之一。
目前已提出的视觉定位系统主要分为两个阶段：离线阶段和在线阶段。传统的离线数据库建立方法主要采用位置指纹算法，通过将用户位置与终端拍摄的场景图片融合来建立Visual Map数据库，Visual Map由图像空间和物理空间所构成，图像空间是指室内环境下的图像信息，物理空间是指地理位置坐标信息。然后，采用快速检索算法得出VisualMap中最匹配的场景及相对应的位置，完成定位服务。然而，位置指纹方法存在很明显的缺陷，即随着定位范围的增大，为保证定位精度，基于位置指纹的数据库的容量会不断增大，场景信息的图像采集和地理位置工作会消耗大量的人力。其次，在线定位阶段，传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息，很大程度上增加了定位过程中的时延，而且定位精度较低。
因此，需要一种新的室内定位技术，来解决现有技术的上述缺陷。
发明内容
本发明为了解决现有的基于位置指纹的定位方法，为了保证定位精度，需要大量扩充数据库容量，进而在场景信息的图像采集和地理位置工作方面消耗大量的人力；并且传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息，很大程度上增加了定位过程中的时延，并使得定位精度较低的缺点，而提出一种基于局部标识的双目视觉室内定位数据库建立方法，包括：
步骤一，建立定位系统的坐标系模型。
步骤二：在所述坐标系模型中，标定双目视觉系统，得到双目视觉系统的内部参数和外部参数；所述双目视觉系统包括左摄像机以及右摄像机。
步骤三：根据待定位的室内场景，建立平面世界坐标系。
步骤四：选取待定位室内场景中的一个标识。
步骤五：在能够拍摄到标识的范围内，使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像；N为正整数。
步骤六：提取每个数据库图像的SURF特征点。
步骤七：标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中，并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中。
步骤八：对于待定位室内场景中的每一个标识，重复执行步骤四至步骤七，直至数据库构建完成。
本发明还提供一种基于局部标识的双目视觉室内定位方法，包括：
步骤A：利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir。
步骤B：利用如权利要求1至4中任意一项所述的方法得到的数据库，分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标。
步骤C：根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
本发明的有益效果为：1、只需要已知少数标识图像的地理位置信息，而不需要已知每个采集图像的参考点的地理位置信息，在很大程度上减少建立数据库的时间开销，节省人力。2、本发明在数据库建立阶段通过在某标识附近一定范围区域内，按照一定间隔有针对性地采集含有标识的图像，标注图像中标识的角点信息，提取标识区域的特征点矩阵，并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中，完成基于标识的离线数据库的建立，达到了减少数据库容量的效果。3、本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m，而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m，达到了亚米级的定位精度。并且，本专利提出的定位方法的最大定位误差为1.39m，定位误差在1m以内的累计概率达到85％，而基于位置指纹的定位算法最大定位误差为3m，定位误差在1m以内的累计概率为56％。
附图说明
图1为本发明的基于局部标识的双目视觉室内定位方法的流程示意图；
图2为本发明的基于局部标识的双目视觉室内定位数据库建立方法的一个实施例的示意图；
图3为本发明的离线数据库的存储内容示意图；
图4为本发明中在线阶段标识特征匹配模块框图；
图5为本发明的基于标识的双目视觉定位方法与现有技术中基于位置指纹定位方法的效果对比图。
本发明的变量定义如下
具体实施方式
具体实施方式一：本实施方式的基于局部标识的双目视觉室内定位数据库建立方法，其特征在于，包括：
步骤一，建立定位系统的坐标系模型。
坐标系模型包括参考坐标系、摄像机坐标系、图像坐标系、像素坐标系。具体建立的方法为：
建立参考坐标系Or-xyz，定义该坐标系原点Or为一个矩形标识图像的左上角顶点，x轴方向为沿标识上边沿平行于水平地面，y轴方向为垂直标识图像向里，z轴方向为垂直地面向下。
建立左摄像机坐标系Ocl-uvw，定义该坐标系原点Ocl为左摄像机光心，u轴与v轴重合于左摄像机镜头平面，w轴为左摄像机光轴。
建立图像坐标系O1-XY，定义该坐标系原点O1为左摄像机光轴与成像平面的交点，X,Y轴分别平行于图像的两条边。该坐标系建立在摄像机的CCD传感器上，其单位与CCD传感器的尺寸保持一致。
建立像素坐标系O2-UV，定义该坐标系的原点O2为图像的左上角顶点，U,V轴分别为图像的上边沿和左边沿。
步骤二：在所述坐标系模型中，标定双目视觉系统，得到双目视觉系统的内部参数和外部参数；所述双目视觉系统包括左摄像机以及右摄像机。标定摄像机的过程为：
利用双目摄像机系统拍摄棋盘标定模板，分别获得10至20张左右摄像机标定图像。
利用张正友标定法对步骤一一中获得的标定图像进行处理，得到双目摄像机的内部参数和外部参数。其中，内部参数包括：左摄像机的焦距fl，右摄像机的焦距fr和二维图像的主点坐标(U0,V0)；外部参数包括：旋转矩阵R和平移向量T。其中，表示左摄像机坐标系原点Ocl和右摄像机坐标系原点Ocr之间的旋转矩阵。表示左摄像机坐标系原点Ocl和右摄像机坐标系原点Ocr之间的平移向量；tx表示Ocr和Ocl在x轴方向的平移值，ty表示Ocr和Ocl在y轴方向的平移值，tz表示Ocr和Ocl在z轴方向的平移值。
步骤三：根据待定位的室内场景，建立平面世界坐标系。
步骤四：选取待定位室内场景中的一个标识。标识可以为海报。
步骤五：在能够拍摄到标识的范围内，使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像；记作Imgi(i＝1,2,3,...N)N为正整数。图2示出了离线数据库建立示意图，Ocl和Ocr为左右摄像机坐标系的原点，即左右摄像机的光心。箭头方向表示摄像机拍摄的方向，在图2示出的情况中，需要一边后退一边拍摄，以保证拍摄到完整的标识图像。左摄像机的最大视角记作θ，标识在平行于地面方向的长度记作L，左摄像机距标识平面的垂直距离记作u0,距标识平面右边沿的水平距离记作w0。为保证采集含有完整标识的数据库图像，拍摄图像时，左摄像机距标识平面左边沿的最小水平距离需要满足如下公式：
步骤六：采集到图像后，提取每个数据库图像的SURF特征点；
步骤七：手动标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中，并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中。如图3所示，第i张图像的第j个角点的像素坐标可记为其特征矩阵可记为
步骤八：对于待定位室内场景中的每一个标识，重复执行步骤四至步骤七，直至数据库构建完成。
需要说明的是，“数据库图像”和“数据库图像的标识区域”是不同的概念，例如，以海报作为标识时，实际拍摄到的图片既包含海报，也包含海报周围的场景，那么“标识区域”指的就是海报所在的区域。此时四个角点指的是海报的四个点，需要确定四个角点的坐标方可确定标识区域，标识区域即为四个角点围成的区域。
具体实施方式二：本实施方式与具体实施方式一不同的是：内部参数包括左摄像机的焦距、右摄像机的焦距以及左摄像机和右摄像机的二维图像的主点坐标；所述二维图像的主点坐标为左摄像机或右摄像机的光轴与对应图像平面的交点坐标；外部参数包括旋转矩阵以及左摄像机坐标系原点和右摄像机坐标系原点之间的平移向量。上述参数均是通过张正友标定法计算得出的。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤五中，当使用左摄像机采集数据库图像时，左摄像机距离标识平面左边沿的最小水平距离需要满足如下公式：
其中，θ为左摄像机的最大视角；L为标识在平行于地面方向的长度；u0为左摄像机距标识平面的垂直距离。
使用上述公式的好处是，满足公式条件时可以保证左摄像机能够拍摄到完整的标识图像。拍摄到完整的标识图像能够保证定位的精确性。本领域的技术人员应当清楚，如果标识图像位于左摄像机的左侧时，也可以使用右摄像机来进行相似的过程，此处不作赘述。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：
设采集到的N张带有标识的数据库图像为Imgi，1≤i≤N，则步骤七具体为：
步骤七一：利用手动标注的方式标注出第一张数据库图像Img1中标识区域的四个角点的像素坐标，并将所述四个角点的像素坐标作为角点信息存储在数据库中。
步骤七二：提取第一张数据库图像Img1中标识区域的SURF特征点，构成SURF特征点矩阵，并将所述SURF特征点矩阵作为第一张数据库图像Img1的特征信息存储在数据库中。
步骤七三：将第一张数据库图像Img1的标识区域的SURF特征点以及第二张数据库图像Img2的SURF特征点输入至RANSAC算法中，得到第二张数据库图像Img2的单应矩阵。RANSAC算法还具有剔除两个图像的误匹配点的功能。
步骤七四：通过单应矩阵求解出第二张数据库图像Img2中标识的四个角点的像素坐标，作为第二张图像Img2的角点信息存储在数据库中。
步骤七五：提取第二张数据库图像Img2中标识区域的SURF特征点，构成SURF特征点矩阵，作为第二张数据库图像Img2的特征信息存储在数据库中。
步骤七六：重复步骤七三至步骤七五，直至第一张数据库图像的角点信息和特征信息均存储在数据库中。
本实施方式的好处是，通过提取图像特征，大大缩减了需要存储的信息大小，显著减轻了数据库的负担。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式提供了一种基于局部标识的双目视觉室内定位方法，本实施方式是基于具体实时方式一至四中任意一项构建出的数据库实现的。
本实施方式的方法包括：
步骤A：利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir；
步骤B：利用如权利要求1至4中任意一项所述的方法得到的数据库，分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标；
步骤C：根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式五不同的是：
步骤B包括：
步骤B1：提取在线输入左图像Il和右图像Ir的SURF特征点，构成特征点矩阵；
步骤B2：将图像Il的SURF特征点矩阵Fl以及由权利要求1至4中任意一项所述方法得到数据库图像Imgi的标识区域特征点矩阵Fi进行标识区域特征匹配，并通过RANSAC算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵Hil；
步骤B3：通过预设的匹配特征点的阈值判断单应矩阵Hil的准确度，若Hil正确则执行步骤B4；若Hil不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；
步骤B4：将由权利要求1至4中任意一项所述方法得到数据库图像Imgi的标识角点的像素坐标通过单应矩阵Hil映射到左图像Il中，求解左图像Il中对应点的像素坐标求解的计算公式为Qj＝HilPj；其中j＝1,2,3,4，为数据库图像Imgi的第j个标识角点的像素横坐标；为数据库图像Imgi的第j个标识角点的像素纵坐标；分别为左图像Il中对应点像素坐标的横坐标、纵坐标。
步骤B5：通过在线输入左图像Il中标识的四个角点的像素坐标Qj确定标识区域，并提取左图像Il中标识区域的SURF特征点矩阵F′l；
步骤B6：利用左图像Il中标识区域的SURF特征点矩阵F′l和步骤B1中得到的右图像Ir的SURF特征点矩阵Fr进行特征匹配，通过RANSAC算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵Hlr；
步骤B7：通过预设的匹配特征点的阈值判断单应矩阵Hlr的准确度，若Hlr正确则执行步骤B8；若Hlr不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；
步骤B8：将步骤B4得到左图像Il的标识角点的像素坐标Qj通过单应矩阵Hlr映射到到右图像Ir中，求解右图像Ir中对应点的像素坐标求解的计算公式为Q′j＝HlrQj；其中j＝1,2,3,4；分别为右图像Ir中对应点像素坐标的横坐标、纵坐标。
步骤B9：通过右图像Ir中标识的四个角点的像素坐标Q′j确定标识区域，并提取右图像Ir中标识区域的SURF特征点矩阵F′r。
其它步骤及参数与具体实施方式五相同。
具体实施方式七：本实施方式与具体实施方式五或六不同的是：
步骤C包括：
步骤C1：左图像Il中标识角点的左侧上下两个角点像素坐标表示为m＝1,4，右图像Ir中标识角点的右侧上下角点像素坐标表示为表示，则标识左侧上下两个角点在左摄像机坐标系下的坐标满足如下：
其中r1,r2,r3,r7,r8,r9为通过张正友标定法计算出的旋转矩阵中的对应元素。fl为左摄像机的焦距，fr为右摄像机的焦距；tx表示Ocr和Ocl在x轴方向的平移值；ty表示Ocr和Ocl在y轴方向的平移值，tz表示Ocr和Ocl在z轴方向的平移值。
步骤C2；对坐标进行坐标系转换得到用户在真实世界中的位置坐标(xp,yp)，以完成对用户位置的估计。
其它步骤及参数与具体实施方式五或六相同。
综上，本发明提出一种基于局部标识的双目视觉室内定位方法。首先，在离线阶段，提出一种基于局部标识的离线数据库建立方法来减少数据库的存储容量和建立阶段的复杂度。具体来说，该方法在数据库建立阶段通过在某标识附近一定范围区域内，按照一定间隔有针对性地采集含有标识的图像，标注图像中标识的角点信息，提取标识区域的特征点矩阵，并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中，完成基于标识的离线数据库的建立，达到了减少数据库容量的效果。并且，该方法只要求已知少数标识图像的地理位置信息，而不需要已知每个采集图像的参考点的地理位置信息，在很大程度上减少建立数据库的时间开销，节省人力。其次，在在线阶段，提出一种基于双目视觉的室内定位方法，通过计算两摄像机拍摄的二维图像信息进行用户定位，减少图像匹配的时延同时有效地提高室内用户的定位精度。具体来说，将离线数据库存储的标识特征与在线阶段左右摄像机拍摄图像中的标识特征输入到标识特征匹配模块，分别得到左右摄像机拍摄图像中标识角点的像素坐标。然后，通过双目视觉定位模块完成室内用户的在线定位。
图5示出了本发明的定位方法和现有技术的基于位置指纹的定位方法的效果对比图。其中，横轴表示在左摄像机坐标系下标识图像左边沿上下两个角点的定位误差，纵坐标表示定位误差的累积概率，即CDF的概率。从图5中可以看出，本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m，而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m，达到了亚米级的定位精度。并且，本专利提出的定位方法的最大定位误差为1.39m，定位误差在1m以内的累计概率达到85％，而基于位置指纹的定位算法最大定位误差为3m，定位误差在1m以内的累计概率为56％。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种基于局部标识的双目视觉室内定位数据库建立方法，其特征在于，包括：
步骤一：建立定位系统的坐标系模型；
步骤二：在所述坐标系模型中，标定双目视觉系统，得到双目视觉系统的内部参数和外部参数；所述双目视觉系统包括左摄像机以及右摄像机；
步骤三：根据待定位的室内场景，建立平面世界坐标系；
步骤四：选取待定位室内场景中的一个标识；
步骤五：在能够拍摄到标识的范围内，使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集N张带有标识的数据库图像；N为正整数；
步骤六：提取每个数据库图像的SURF特征点；
步骤七：标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中，并提取出每张数据库图像的标识区域的SURF特征点矩阵作为特征信息存入数据库中；
步骤八：对于待定位室内场景中的每一个标识，重复执行步骤四至步骤七，直至数据库构建完成。
2.根据权利要求1所述的基于局部标识的双目视觉室内定位数据库建立方法，其特征在于，所述内部参数包括左摄像机的焦距、右摄像机的焦距以及左摄像机和右摄像机的二维图像的主点坐标；所述二维图像的主点坐标为左摄像机或右摄像机的光轴与对应图像平面的交点坐标；外部参数包括旋转矩阵以及左摄像机坐标系原点和右摄像机坐标系原点之间的平移向量。
3.根据权利要求1或2所述的基于局部标识的双目视觉室内定位数据库建立方法，其特征在于，所述步骤五中，当使用左摄像机采集数据库图像时，左摄像机距离标识平面左边沿的最小水平距离需要满足如下公式：
<mrow>
<msubsup>
<mi>w</mi>
<mn>0</mn>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<mi>L</mi>
<mo>+</mo>
<mfrac>
<msub>
<mi>u</mi>
<mn>0</mn>
</msub>
<mrow>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mi>&theta;</mi>
</mrow>
</mfrac>
</mrow>
其中，θ为左摄像机的最大视角；L为标识在平行于地面方向的长度；u0为左摄像机距标识平面的垂直距离。
4.根据权利要求3中任意一项所述的基于局部标识的双目视觉室内定位数据库建立方法，设采集到的N张带有标识的数据库图像为Imgi，1≤i≤N；其特征在于，所述步骤七具体为：
步骤七一：利用手动标注的方式标注出第一张数据库图像Img1中标识区域的四个角点的像素坐标，并将所述四个角点的像素坐标作为角点信息存储在数据库中；
步骤七二：提取第一张数据库图像Img1中标识区域的SURF特征点，构成SURF特征点矩阵，并将所述SURF特征点矩阵作为第一张数据库图像Img1的特征信息存储在数据库中；
步骤七三：将第一张数据库图像Img1的标识区域的SURF特征点以及第二张数据库图像Img2的SURF特征点输入至RANSAC算法中，得到第二张数据库图像Img2的单应矩阵；
步骤七四：通过单应矩阵求解出第二张数据库图像Img2中标识的四个角点的像素坐标，作为第二张图像Img2的角点信息存储在数据库中；
步骤七五：提取第二张数据库图像Img2中标识区域的SURF特征点，构成SURF特征点矩阵，作为第二张数据库图像Img2的特征信息存储在数据库中；
步骤七六：重复步骤七三至步骤七五，直至第一张数据库图像的角点信息和特征信息均存储在数据库中。
5.一种基于局部标识的双目视觉室内定位方法，其特征在于，包括如下步骤：
步骤A：利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像Il和右图像Ir；
步骤B：利用如权利要求1至4中任意一项所述的方法得到的数据库，分别求解出在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标；
步骤C：根据在线输入左图像Il和右图像Ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。
6.根据权利要求5所述的基于局部标识的双目视觉室内定位方法，其特征在于，步骤B包括：
步骤B1：提取在线输入左图像Il和右图像Ir的SURF特征点，构成特征点矩阵；
步骤B2：将左图像Il的SURF特征点矩阵Fl以及由权利要求1至4中任意一项所述方法得到数据库图像Imgi的标识区域特征点矩阵Fi进行标识区域特征匹配，并通过RANSAC算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵Hil；
步骤B3：通过预设的匹配特征点的阈值判断单应矩阵Hil的准确度，若Hil正确则执行步骤B4；若Hil不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；
步骤B4：将由权利要求1至4中任意一项所述方法得到数据库图像Imgi的标识角点的像素坐标通过单应矩阵Hil映射到左图像Il中，求解左图像Il中对应点的像素坐标求解的计算公式为Qj＝HilPj；其中j＝1,2,3,4，为数据库图像Imgi的第j个标识角点的像素横坐标；为数据库图像Imgi的第j个标识角点的像素纵坐标；
步骤B5：通过在线输入左图像Il中标识的四个角点的像素坐标Qj确定标识区域，并提取左图像Il中标识区域的SURF特征点矩阵Fl′；
步骤B6：利用左图像Il中标识区域的SURF特征点矩阵Fl'和步骤B1中得到的右图像Ir的SURF特征点矩阵Fr进行特征匹配，通过RANSAC算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵Hlr；
步骤B7：通过预设的匹配特征点的阈值判断单应矩阵Hlr的准确度，若Hlr正确则执行步骤B8；若Hlr不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；
步骤B8：将步骤B4得到左图像Il的标识角点的像素坐标Qj通过单应矩阵Hlr映射到到右图像Ir中，求解右图像Ir中对应点的像素坐标求解的计算公式为Qj′＝HlrQj；其中j＝1,2,3,4；
步骤B9：通过右图像Ir中标识的四个角点的像素坐标Qj′确定标识区域，并提取右图像Ir中标识区域的SURF特征点矩阵Fr′。
7.根据权利要求6所述的基于局部标识的双目视觉室内定位方法，其特征在于，步骤C包括：
步骤C1：左图像Il中标识角点的左侧上下两个角点像素坐标表示为m＝1,4，右图像Ir中标识角点的右侧上下角点像素坐标表示为表示，则标识左侧上下两个角点在左摄像机坐标系下的坐标满足如下：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>u</mi>
<mi>l</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>w</mi>
<mi>l</mi>
</msub>
<mfrac>
<msubsup>
<mi>U</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<msub>
<mi>f</mi>
<mi>l</mi>
</msub>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>v</mi>
<mi>l</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<msub>
<mi>w</mi>
<mi>l</mi>
</msub>
<mfrac>
<msubsup>
<mi>V</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<msub>
<mi>f</mi>
<mi>l</mi>
</msub>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>w</mi>
<mi>l</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>f</mi>
<mi>l</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<msub>
<mi>t</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<msubsup>
<mi>U</mi>
<mi>m</mi>
<mi>r</mi>
</msubsup>
<msub>
<mi>t</mi>
<mi>z</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msubsup>
<mi>U</mi>
<mi>m</mi>
<mi>r</mi>
</msubsup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>7</mn>
</msub>
<msubsup>
<mi>U</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>8</mn>
</msub>
<msubsup>
<mi>V</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>f</mi>
<mi>l</mi>
</msub>
<msub>
<mi>r</mi>
<mn>9</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>r</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>U</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>r</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>V</mi>
<mi>m</mi>
<mi>l</mi>
</msubsup>
<mo>+</mo>
<msub>
<mi>f</mi>
<mi>l</mi>
</msub>
<msub>
<mi>r</mi>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中r1,r2,r3,r7,r8,r9为通过张正友标定法计算出的旋转矩阵中的对应元素；fl为左摄像机的焦距，fr为右摄像机的焦距；tx表示Ocr和Ocl在x轴方向的平移值；ty表示Ocr和Ocl在y轴方向的平移值，tz表示Ocr和Ocl在z轴方向的平移值；
步骤C2；对坐标进行坐标系转换得到用户在真实世界中的位置坐标(xp,yp)，以完成对用户位置的估计。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710240981.0A CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710240981.0A CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107103056A true CN107103056A (zh) | 2017-08-29 |
| CN107103056B CN107103056B (zh) | 2021-01-29 |
Family
ID=59675554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710240981.0A Active CN107103056B (zh) | 2017-04-13 | 2017-04-13 | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107103056B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108959417A (zh) * | 2018-06-08 | 2018-12-07 | 安徽智网信息科技有限公司 | 一种基于快速检索模板动态生成栏目的方法 |
| CN109086350A (zh) * | 2018-07-13 | 2018-12-25 | 哈尔滨工业大学 | 一种基于WiFi的混合图像检索方法 |
| CN110044353A (zh) * | 2019-03-14 | 2019-07-23 | 深圳先进技术研究院 | 一种飞行机构室内定位方法及定位系统 |
| CN110321902A (zh) * | 2019-05-09 | 2019-10-11 | 哈尔滨工业大学 | 一种基于socp的室内自动视觉指纹采集方法 |
| CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
| CN112884841A (zh) * | 2021-04-14 | 2021-06-01 | 哈尔滨工业大学 | 一种基于语义目标的双目视觉定位方法 |
| CN113094371A (zh) * | 2021-04-14 | 2021-07-09 | 嘉兴毕格智能科技有限公司 | 一种用户自定义坐标系的实现方法 |
| CN113984081A (zh) * | 2020-10-16 | 2022-01-28 | 北京猎户星空科技有限公司 | 定位方法、装置、自移动设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120116711A1 (en) * | 2007-09-13 | 2012-05-10 | Trex Enterprises Corp. | Portable celestial compass |
| CN103640018A (zh) * | 2013-12-13 | 2014-03-19 | 江苏久祥汽车电器集团有限公司 | 一种基于surf算法进行定位的方法及机器人 |
| CN106228538A (zh) * | 2016-07-12 | 2016-12-14 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
-
2017
- 2017-04-13 CN CN201710240981.0A patent/CN107103056B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120116711A1 (en) * | 2007-09-13 | 2012-05-10 | Trex Enterprises Corp. | Portable celestial compass |
| CN103640018A (zh) * | 2013-12-13 | 2014-03-19 | 江苏久祥汽车电器集团有限公司 | 一种基于surf算法进行定位的方法及机器人 |
| CN106228538A (zh) * | 2016-07-12 | 2016-12-14 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHENGYOU ZHANG等: "A Flexible New Technique for Camera Calibration", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 韩峰: "基于SURF算法的单目转双目视觉定位", 《计算机系统应用》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108959417A (zh) * | 2018-06-08 | 2018-12-07 | 安徽智网信息科技有限公司 | 一种基于快速检索模板动态生成栏目的方法 |
| CN108959417B (zh) * | 2018-06-08 | 2022-03-29 | 安徽智网信息科技有限公司 | 一种基于快速检索模板动态生成栏目的方法 |
| CN109086350B (zh) * | 2018-07-13 | 2021-07-30 | 哈尔滨工业大学 | 一种基于WiFi的混合图像检索方法 |
| CN109086350A (zh) * | 2018-07-13 | 2018-12-25 | 哈尔滨工业大学 | 一种基于WiFi的混合图像检索方法 |
| CN110044353A (zh) * | 2019-03-14 | 2019-07-23 | 深圳先进技术研究院 | 一种飞行机构室内定位方法及定位系统 |
| CN110044353B (zh) * | 2019-03-14 | 2022-12-20 | 深圳先进技术研究院 | 一种飞行机构室内定位方法及定位系统 |
| CN110321902A (zh) * | 2019-05-09 | 2019-10-11 | 哈尔滨工业大学 | 一种基于socp的室内自动视觉指纹采集方法 |
| CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
| CN113984081A (zh) * | 2020-10-16 | 2022-01-28 | 北京猎户星空科技有限公司 | 定位方法、装置、自移动设备和存储介质 |
| CN113984081B (zh) * | 2020-10-16 | 2024-05-03 | 北京猎户星空科技有限公司 | 定位方法、装置、自移动设备和存储介质 |
| CN113094371A (zh) * | 2021-04-14 | 2021-07-09 | 嘉兴毕格智能科技有限公司 | 一种用户自定义坐标系的实现方法 |
| CN112884841A (zh) * | 2021-04-14 | 2021-06-01 | 哈尔滨工业大学 | 一种基于语义目标的双目视觉定位方法 |
| CN112884841B (zh) * | 2021-04-14 | 2022-11-25 | 哈尔滨工业大学 | 一种基于语义目标的双目视觉定位方法 |
| CN113094371B (zh) * | 2021-04-14 | 2023-05-12 | 嘉兴毕格智能科技有限公司 | 一种用户自定义坐标系的实现方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107103056B (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107103056A (zh) | 一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法 | |
| CN103530881B (zh) | 适用于移动终端的户外增强现实无标志点跟踪注册方法 | |
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| CN106228538B (zh) | 基于logo的双目视觉室内定位方法 | |
| CN104748728B (zh) | 智能机姿态矩阵计算方法及其应用于摄影测量的方法 | |
| CN110866079B (zh) | 一种智慧景区实景语义地图的生成与辅助定位方法 | |
| CN103514446B (zh) | 一种融合传感器信息的室外场景识别方法 | |
| CN106295512B (zh) | 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法 | |
| CN110443898A (zh) | 一种基于深度学习的ar智能终端目标识别系统及方法 | |
| CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
| CN101545776B (zh) | 基于数字地图的数码像片方位元素获取方法 | |
| CN103604417B (zh) | 物方信息约束的多视影像双向匹配策略 | |
| CN106096621B (zh) | 基于矢量约束的着降位置检测用随机特征点选取方法 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| CN107830846A (zh) | 一种利用无人机和卷积神经网络测量通信塔天线角度方法 | |
| CN107833280A (zh) | 一种基于地理网格与图像识别相结合的户外移动增强现实方法 | |
| CN110889829B (zh) | 一种基于鱼眼镜头的单目测距方法 | |
| CN102214000A (zh) | 用于移动增强现实系统的目标物体混合注册方法及系统 | |
| CN104457758B (zh) | 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法 | |
| CN105300362A (zh) | 一种应用于rtk接收机的摄影测量方法 | |
| CN103226840A (zh) | 全景影像拼接及量测系统及方法 | |
| Xue et al. | A fast visual map building method using video stream for visual-based indoor localization | |
| David et al. | Orientation descriptors for localization in urban environments | |
| CN105352482B (zh) | 基于仿生复眼微透镜技术的3‑3‑2维目标检测方法及系统 | |
| CN106331618A (zh) | 一种自动确认摄像机可视域的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |