CN111829489B - 一种视觉定位的方法及装置 - Google Patents
一种视觉定位的方法及装置 Download PDFInfo
- Publication number
- CN111829489B CN111829489B CN201910301830.0A CN201910301830A CN111829489B CN 111829489 B CN111829489 B CN 111829489B CN 201910301830 A CN201910301830 A CN 201910301830A CN 111829489 B CN111829489 B CN 111829489B
- Authority
- CN
- China
- Prior art keywords
- frame
- positioning
- kth
- relative
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种视觉定位方法及装置：利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k‑1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k‑1帧位于双目视觉的定位视场范围外时，获取第k‑1帧的尺度关系；利用获取到的第k‑1帧的尺度关系，将所述设备在第k帧相对于第k‑1帧的相对位移信息转换为所述设备在第k帧相对于第k‑1帧的真实位移信息；利用所述设备在第k帧相对于第k‑1帧的真实位移信息及所述设备在第k‑1帧的位姿信息，确定所述设备在第k帧的位姿信息。
Description
技术领域
本发明涉及计算机视觉领域，特别地，涉及一种视觉定位方法及装置。
背景技术
视觉定位是通过视觉信息和构建的视觉地图来获取稳定准确的相机位姿，例如，具有相机的移动机器人通过图像信息和特征地图信息的匹配获取机器人当前相机位姿的过程。相机位姿信息用六个维度描述，分别是位置(三维坐标位置)、姿态(三维)。
目前，在移动机器人上采用的视觉定位方案中，可以使用双目视觉定位系统，也可以采用单目视觉系统与其他传感器进行组合构成视觉定位系统。其中，双目视觉定位系统是在有效范围内对选定的定位物体上的一个特征点，采用两部固定于不同位置的相机获取到物体图像，根据所获取到的物体图像，得到物体图像中的该特征点在所述两部相机坐标平面上的坐标；根据已知的所述两部相机的相对位置信息，及得到的该特征点在所述两部相机坐标平面上的坐标，就可以采用几何计算方法得到该特征点相对于其中一部相机的位姿信息，从而对该相机进行定位。在采用双目视觉定位的过程中，受限于双目视觉之间的基线约束，定位的有效范围有限。采用单目视觉系统虽然对定位物体测量的有效范围大，但是在定位时只能测量定位物体的平面相对移动位移量信息，如果要准确定位，则还需要测量在有效范围内的物体的真实尺度，而该真实尺度如果通过增加其他传感器进行辅助测量，则会增加视觉定位系统的复杂度，且针对定位有效范围内的定位物体的真实尺度很难被精确测量得到。
发明内容
有鉴于此，本发明实施例提供一种视觉定位方法，该方法能够准确且简单地实现单目视觉定位，扩展视觉定位的有效范围。
本发明实施例还提供一种视觉定位装置，该系统能够准确且简单地实现单目视觉定位，扩展视觉定位的有效范围。
本发明实施例是这样实现的：
一种视觉定位方法，包括：
利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；
当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；
当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，获取第k-1帧的尺度关系、并确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，所述第k-1帧的尺度关系表示所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值，所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度表示所述定位物体在第k帧相对于第k-1帧的单目图像中的至少两个特征点之间的位置差值的比值；
利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息，并且利用所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正；
利用所述设备在第k帧相对于第k-1帧的真实位移信息及采用双目视觉定位方式确定的所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息；
其中，真实位移信息表示所述设备基于双目视觉定位方式确定的定位物体的位移，相对位移信息表示所述设备基于单目视觉定位方式确定的定位物体的位移。
可选地，该方法进一步包括：当检测到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，将第k-1帧的单目视觉定位计算标志位置位；并且，所述查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果包括：判断第k-1帧的单目视觉定位计算标志位是否被置位，如果是，则确定所述定位物体在第k-1帧位于双目视觉的定位视场范围外。
可选地，该方法进一步包括：当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围内时，采用双目视觉定位方式确定所述设备在第k帧的位姿信息；利用所述设备在第k帧和第k-1帧的位姿信息，确定所述设备在第k帧相对于第k-1帧的真实位移信息；将所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值确定为第k帧的尺度关系。
可选地，该方法进一步包括：当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度；利用确定的所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，将获取到的第k-1帧的尺度关系修正为第k帧的尺度关系。
可选地，所述利用确定的所述定位物体在第k帧相对于第k-1帧的单目图像偏差度在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正包括：将所述设备在第k帧相对于第k-1帧的相对位移信息、所述定位物体在第k帧相对于第k-1帧的单目图像偏差度、及所述设备在第k-1帧相对于第k-2帧的真实位移信息与相对位移信息之间的比值，之间相乘，得到所述设备在第k帧相对于第k-1帧的真实位移信息。
可选地，确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度包括：获取所述设备的双目相机中的任一相机采集的第k帧所述定位物体的单目图像及第k-1帧所述定位物体的单目图像；在所述第k帧的单目图像中选取两个特征点，在所述第k-1帧的单目图像中选取相应两个特征点，所述相应表示在所述第k帧所选取的两个特征点，分别与在所述第k-1帧所选取的相应两个特征点，在所述定位物体的空间坐标相同；将计算得到的第k帧选取的两个特征点之间的距离值，与计算得到的第k-1帧选取的相应两个特征点之间的距离值，之间的比值，作为所述定位物体在第k帧相对于第k-1帧的单目图像偏差度。
可选地，在所述第k帧的单目图像中选取两个特征点包括：在所述第k帧的单目图像中选取多组两个特征点；并且，在所述第k-1帧的单目图像中选取相应两个特征点包括：在所述第k-1帧的单目图像中选取相应的多组两个特征点；以及，所述作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值之前，该方法还包括：将计算得到的多组第k帧选取的两个特征点之间的距离值，分别与计算得到的多组第k-1帧选取的相应两个特征点之间的距离值相除，得到多组比值；计算所述多组比值的中值或平均值，作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值；其中，所述特征点对的距离值表示：一对特征点在同一帧单目图像中的相对距离。
可选地，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内包括：基于选取的在所述定位物体空间的特征点，分别在所述包含定位物体的双目图像中的位置信息，计算得到所选取特征点在双目图像的位置信息绝对差值；判断所述特征点在双目图像的位置信息的绝对差值是否小于等于设置的视差值，如果是，确定所述定位物体在双目视觉的定位视场范围内；如果否，确定所述定位物体在双目视觉的定位视场范围外；其中，所述特征点在双目图像的位置信息的绝对差值表示：所述特征点在同一帧的双目图像中的位置偏差。
可选地，所述选取的在所述定位物体空间的特征点包括：选取大于等于设置的第一数量阈值的多个在所述定位物体空间的特征点；并且，在所述确定所述定位物体在双目视觉的定位视场范围内之前，该方法还包括：判断小于等于设置的视差值的所述特征点的数量是否大于设置的第二数量阈值，如果是，则确定所述定位物体在双目视觉的定位视场范围内；所述设置的第一数量阈值大于设置的第二数量阈值。
一种视觉定位的装置，该装置包括：接收单元、检测单元、查询单元及处理单元，其中，
接收单元，用于接收利用设备的双目相机采集到的包含定位物体的双目图像；
检测单元，用于检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，指示查询单元进行查询；
查询单元，用于在检测单元的指示下，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，指示处理单元进行处理；
处理单元，用于在接收到查询单元的处理指示后：
获取第k-1帧的尺度关系、并确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，所述第k-1帧的尺度关系表示所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值，所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度表示所述定位物体在第k帧相对于第k-1帧的单目图像中的至少两个特征点之间的位置差值的比值；
利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息，并且利用所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正；
利用所述设备在第k帧相对于第k-1帧的真实位移信息及采用双目视觉定位方式确定的所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息；
其中，真实位移信息表示所述设备基于双目视觉定位方式确定的定位物体的位移，相对位移信息表示所述设备基于单目视觉定位方式确定的定位物体的位移。
一种视觉定位装置，包括处理器，所述处理器用于执行如上所述的视觉定位的方法。
如上可见，本发明实施例利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，获取第k-1帧的尺度关系，所述第k-1帧的尺度关系用于表征所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度关系；利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息；利用所述设备在第k帧相对于第k-1帧的真实位移信息及所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息。可以看出，本发明实施例由于确定第k帧相对于k-1帧的真实位移信息时，借助了第k-1帧的尺度关系，而该尺度关系又反映了所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度信息，这样连续计算定位，最终可以追溯到双目视觉定位到单目视觉定位的前后两帧转换上，在前后转换两帧中，双目视觉定位失效时可以为单目视觉定位的初始帧提供所述初始帧相对于前一帧的真实位移信息与相对位移信息的比值，也就是初始化的真实尺度值，从而后续帧可以进行连续的单目视觉定位计算，完成单目视觉定位。因此，本发明实施例通过双目视觉定位和单目视觉定位的转换，能持续对单目视觉进行准确性定位，达到不局限于双目视觉的定位视场范围的目的，扩展了视觉定位的有效范围，且实现简单。
附图说明
图1为本发明实施例提供的视觉定位方法流程图；
图2为本发明实施例提供的所述设备定位的过程示意图；
图3为本发明实施例提供的视觉定位方法具体实施例流程图；
图4为本发明实施例提供的视觉定位装置结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
本发明实施例为了准确且简单地实现单目视觉定位，扩展视觉定位的有效范围，且在此过程中不借助其他传感器进行辅助测量或预先设置地图进行辅助定位，采用的方法为：利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，获取第k-1帧的尺度关系，所述第k-1帧的尺度关系用于表征所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度关系；利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息；利用所述设备在第k帧相对于第k-1帧的真实位移信息及所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息。
可以看出，本发明实施例由于确定第k帧相对于k-1帧的真实位移信息时，借助了第k-1帧的尺度关系，而该尺度关系又反映了所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度信息，这样连续计算定位，最终可以追溯到双目视觉定位到单目视觉定位的前后两帧转换上，在前后转换两帧中，双目视觉定位失效时可以为单目视觉定位的初始帧提供所述初始帧相对于前一帧的真实位移信息与相对位移信息的比值，也就是初始化的真实尺度值，从而后续帧可以进行连续的单目视觉定位计算，完成单目视觉定位。
因此，本发明实施例通过双目视觉定位和单目视觉定位的转换，能持续通过单目视觉进行准确性定位，达到不局限于双目视觉的定位视场范围的目的，扩展了视觉定位的有效范围，且实现简单。
为了便于本发明实施例的理解，对本发明实施例用到的技术名词进行定义，如表一所示。
表一
图1为本发明实施例提供的视觉定位方法流程图，其具体步骤为：
步骤101、利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；
步骤102、当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；
步骤103、当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，获取第k-1帧的尺度关系，所述第k-1帧的尺度关系用于表征所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度关系；
在本步骤中，所述设备在第k帧相对于第k-1帧的相对位移信息，即设备在采集第k-1帧和第k帧期间发生的相对位移。
步骤104、利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息；
步骤105、利用所述设备在第k帧相对于第k-1帧的真实位移信息及所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息。
在本步骤中，所述设备在第k帧的位姿信息，即设备在采集第k帧时的位姿信息。在本发明实施例提供的方法中，所述设备在第k帧的位姿信息包括三维的位置坐标和三维的姿态。
在本发明实施例提供的方法步骤102中，该方法还包括：当检测到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，将第k-1帧的单目视觉定位计算标志位置位；所述查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果包括：判断第k-1帧的单目视觉定位计算标志位是否被置位，如果是，则确定所述定位物体在第k-1帧位于双目视觉的定位视场范围外。也就是说，对于所述设备的每一帧，都是采用所设置的计算标志位的置位或者复位情况，来确定该帧的所述设备定位是采用单目视觉定位方式还是采用双目视觉定位方式进行确定。在本发明实施例中，如果第k帧是所述设备的视觉定位方式由双目视觉定位切换为单目视觉定位的转换帧，也就是双目视觉定位刚刚退化为单目视觉定位的转换帧，则该方法进一步包括：当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围内时，采用双目视觉定位方式确定所述设备在第k帧的位姿信息；利用所述设备在第k帧和第k-1帧的位姿信息，确定所述设备在第k帧相对于第k-1帧的真实位移信息；将所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值确定为第k帧的尺度关系。
在本发明实施例中，如果第k帧不是所述设备的视觉定位方式由双目视觉定位切换为单目视觉定位的转换帧，且第k-1帧是所述设备的视觉定位方式由双目视觉定位切换为单目视觉定位的转换帧时，该方法进一步包括：当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度；利用确定的所述单目图像偏差度，将获取到的第k-1帧的尺度关系修正为第k帧的尺度关系。
在本发明实施例中，如果第k帧不是所述设备的视觉定位方式由双目视觉定位切换为单目视觉定位的转换帧，且第k-1帧也不是所述设备的视觉定位方式由双目视觉定位切换为单目视觉定位的转换帧时，该方法进一步包括：确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度；利用确定的所述单目图像偏差度在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正。
在这里，所述利用确定的所述单目图像偏差度在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正包括：
将所述设备在第k帧相对于第k-1帧的相对位移信息、所述定位物体在第k帧相对于第k-1帧的单目图像偏差度、及所述设备在第k-1帧相对于第k-2帧的真实位移信息与相对位移信息之间的比值，之间相乘，得到所述设备在第k帧相对于第k-1帧的真实位移信息。
在这里，确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度包括：
获取所述设备的双目相机中的任一相机采集的第k帧所述定位物体的单目图像及第k-1帧所述定位物体的单目图像；在所述第k帧的单目图像中选取两个特征点，在所述第k-1帧的单目图像中选取相应两个特征点，所述相应表示在所述第k帧所选取的两个特征点，分别与在所述第k-1帧所选取的相应两个特征点，在所述定位物体的空间坐标相同；将计算得到的第k帧选取的两个特征点之间的距离值，与计算得到的第k-1帧选取的相应两个特征点之间的距离值，之间的比值，作为所述定位物体在第k帧相对于第k-1帧的单目图像偏差度。
在本发明实施例中，在所述第k帧的单目图像中选取两个特征点包括：在所述第k帧的单目图像中选取多组两个特征点；
在所述第k-1帧的单目图像中选取相应两个特征点包括：在所述第k-1帧的单目图像中选取相应的多组两个特征点；
所述作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值之前，该方法还包括：将计算得到的多组第k帧选取的两个特征点之间的距离值，分别与计算得到的多组第k-1帧选取的相应两个特征点之间的距离值相除，得到多组比值；计算所述多组比值的中值或平均值，作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值。
在本发明实施例中，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内包括：基于选取的在所述定位物体空间的特征点，分别在所述包含定位物体的双目图像中的位置信息，计算得到所选取特征点在双目图像的位置信息绝对差值；判断所述特征点在双目图像的位置信息的绝对差值是否小于等于设置的视差值，如果是，确定所述定位物体在双目视觉的定位视场范围内；如果否，确定所述定位物体在双目视觉的定位视场范围外。
在本发明实施例中，根据经验，可以得知，所述设置的视差值可以为1个像素，计算得到所选取特征点在双目图像的位置信息绝对差值如果超过1个像素，则说明定位物体在双目视觉的定位范围外了，无法再采用双目视觉定位方式对所述设备进行定位了。
在本发明实施例中，所述选取的在所述定位物体空间的特征点包括：选取大于等于设置的第一数量阈值的多个在所述定位物体空间的特征点；
在所述确定所述定位物体在双目视觉的定位视场范围内之前，该方法还包括：判断小于等于设置的视差值的所述特征点的数量是否大于设置的第二数量阈值，如果是，则确定所述定位物体在双目视觉的定位视场范围内；所述设置的第一数量阈值大于设置的第二数量阈值。
本发明实施例扩大了视觉定位的应用范围，包括室内和室外都可以采用本发明实施例提供的视觉定位方法。
在本发明实施例中，在移动机器人上设置固定焦距、固定基线且光轴互相平行的两个相机(即上文所说的″双目相机″)，两个相机随着移动机器人的移动而移动，且每一个相机在不同帧都具有不同的位姿信息。移动机器人可以为地面移动机器人或空中移动机器人，对于空中移动机器人，其设置的双目相机可以作用于在下视。
本发明实施例中，无论是空中移动机器人还是地面移动机器人，这里统称为设备，可以在与地面接触时启动。事先选定定位物体，该定位物体的空间位置坐标不变，作为所述设备定位的参考物体所用。当要对所述设备定位时，就需要采用设备采集所述定位物体的双目图像，并根据所采集的双目图像检测所述定位物体是否在双目视觉的定位视场范围内，确定视觉定位方式，对所述设备进行定位。具体过程为：
启动后设备上的双目相机在每个时刻同时拍摄定位物体，得到包含定位物体的两张图像，这两张图像可称之为双目图像。针对每个时刻采集到的双目图像，检测双目图像中的定位物体是否位于双目视觉的定位视场范围内，即检测在双目图像中的定位物体上是否能采集到足够的满足视差条件的特征点；如果是，这时就可以采用双目视觉定位方式进行定位；如果否，这时可以以双目相机中的其中一个单目相机为基准，利用该一个相机在当前时刻及相邻时刻采集到的单目图像进行定位。
其中，当选定的定位物体在双目视觉的定位视场范围内时，根据双目相机采集到的包含该定位物体的双目图像，针对定位物体在空间位置坐标上的任一个特征点，可以得到该特征点分别在所述双目图像坐标平面上的二维坐标值，在这里，双目可以为左目及右目，得到的就是该特征点分别在左目图像坐标平面上和右面图像坐标平面上的二维坐标值；
该特征点在双目视觉定位系统中产生视差，通过所设置的固定基线b和焦距f，以及该特征点分别在所述双目坐标平面上的二维坐标值，计算得到双目相机的位置信息，即三维的坐标值，如公式(1)所示：
其中，xl为在一个单目图像中的该特征点的二维坐标值，xr为在另一个单目图像中的该特征点的二维坐标值，z为计算得到的该特征点的位置信息，是三维坐标值，也就是该特征点相对于基准单目相机的深度值。由于单目相机设置在移动机器人上，所以该深度值也被认为是移动机器人的深度值。如果确定了单目相机的姿态信息(旋转角度)，就可以与位置信息组成该单目相机的位姿信息。
在本发明实施例中，判断定位物体在双目视觉的定位视场范围内的过程为：选取在所述定位物体空间的多个特征点，对于每个特征点，分别获取在所述双目图像中的位置信息，计算得到所选取特征点在双目图像的位置信息绝对差值，确定该特征点可以产生足够视差时，且能够产生足够视差的特征点的数量足够多时，确定定位物体在双目视觉的定位视场范围内。在这种情况下，通过三维-二维运动估计算法，就可以计算得到所述设备的位姿信息。所述设备不断运动，位置不断变化，从而可以对所述设备进行实时定位。
对于所述设备在前后两帧的关系，可以采用公式(2)进行：
Xk+1＝R*Xk+t 公式(2)
在本发明实施例中，判断定位物体未在双目视觉的定位视场范围内的过程为：选取在所述定位物体空间的多个特征点，对于每个特征点，分别获取在所述双目图像中的位置信息，根据计算得到所选取特征点在双目图像的位置信息绝对差值，确定没有足够多的特征点能够产生足够视差时，确定定位所用物体未在双目视觉的定位视场范围内。在这种情况下，直接采用公式(2)计算得到k+1帧的位移信息。
在本发明实施例中，对于双目视觉定位方式到单目视觉定位方式的转换过程中，假设第k-1帧采用双目视觉定位方式进行所述设备的定位，k帧为转换到单目视觉定位方式定位所述设备的第一帧，k+1帧为采用单目视觉定位方式定位所述设备的第二帧，第k+2帧为采用单目视觉定位方式定位所述设备的第三帧，以此类推，整个所述设备的定位过程如图2所示，图2为本发明实施例提供的所述设备定位的过程示意图，结合图2，对本发明实施例进行详细说明。
对于第k-1帧，提供初始化的所述设备的位姿信息，基于双目视觉定位，通过公式(1)就可以计算得到所述设备在第k-1帧的位姿信息。
对于第k帧，由于第k帧为刚刚退化为单目视觉定位所述设备的第一帧，其也可以采用双目视觉定位方式得到位姿信息，也就是，基于双目视觉定位，通过公式(1)就可以计算得到位姿信息。为了后续帧对所述设备的单目视觉定位，在第k帧上，还计算初始的第k帧的真实尺度比例因子，也就是图1所述的第k帧的尺度关系。具体为：采用单目视觉定位方式得到第k帧相对于k-1帧的所述设备的相对位移信息；基于第k帧相对于k-1帧的真实位移信息与第k帧相对于k-1帧的所述设备的相对位移信息之间的比值，计算得到第k帧的真实尺度比例因子。
真实尺度比例因子的计算公式为公式(3)：
t‘k＝rk*tk 公式(3)
其中，rK为第k帧的真实尺度比例因子，t’K采用双目视觉方式获取的设备在第k帧相对于第k-1帧的真实位移信息；tk采用单目视觉方式获取的设备在第k帧相对于第k-1帧的相对位移信息。
对于第k+1帧来说，其可以采用单目视觉定位方式获取得到相对于第k帧的所述设备的相对位移信息，为了修正该相对位移信息，就需要借助第k帧的真实尺度比例因子，以及第k+1帧相对于第k帧的相对尺度比例因子，也就是图1中所述的单目图像偏差值。
在一种实现方式中，相对尺度比例因子采用公式(4)计算得到：
其中，rK-K+1表示计算得到的第k+1帧相对于第k帧的相对尺度比例因子，XK+1，i为第k+1帧的定位物体的单目图像中的第i个特征点的位置信息，XK+1，j为第k+1帧的定位物体的单目图像中的第j个特征点的位置信息；XK，i为第k帧的定位物体的单目图像中的第i个特征点的位置信息，XK，j为第k帧的定位物体的单目图像中的第j个特征点的位置信息。
当采用公式(4)计算相对尺度比例因子时，则可以选取多组特征点对，进行多组的分别计算后，再取中值或平均值作为第k+1帧相对于第k帧的相对尺度比例因子的相对尺度比例因子，这样计算得到的所述相对尺度比例因子比较准确。
之后，将得到的第k+1帧相对于第k帧的所述设备的相对位移信息、第k帧的真实尺度比例因子及第k+1帧相对于第k帧的相对尺度比例因子，相乘，就可以得到第k+1帧相对于第k帧的所述设备的真实位移信息，具体计算如公式(5)所示：
t’k+1＝tk+1*rk*rk-k+1 公式(5)
其中，t’K+1作为第k+1帧相对于第k帧的所述设备的真实位移信息，tK+1作为第k+1帧相对于第k帧的所述设备的相对位移信息，rK为第k帧的真实尺度比例因子；rK-1为第k+1帧相对第k的相对尺度比例因子。
再利用所述设备在第k+1帧相对于第k帧的真实位移信息及所述设备在第k帧的位姿信息，确定所述设备在第k+1帧的位姿信息。
在这个过程中，将第k+1帧相对于第k帧的相对尺度比例因子与初始的真实尺度比例因子的乘积，作为第k+1帧相对于第k帧的真实尺度比例因子，进行存储，以使后续的第k+2帧在定位所述设备时使用。
对于第k+2帧来说，其可以采用单目视觉定位方式获取得到相对于第k+1帧的相对位移信息，为了修正该相对位移信息，就需要借助第k+1帧的真实尺度比例因子，以及第k+2帧相对于k+1帧的相对尺度比例因子，计算得到真实位移信息。
在这里，第k+1帧的真实尺度比例因子已经在第k+1帧计算得到，第k+2帧相对于k+1帧的相对尺度比例因子，仍然采用公式(4)计算得到即可。
将得到的第k+2帧相对于第k+1帧的所述设备的相对位移信息、第k+1帧的真实尺度比例因子及第k+2帧相对于第k+1帧的相对尺度比例因子，相乘，就得到第k+2帧相对于第k+1帧的所述设备的真实位移信息。
再利用所述设备在第k+2帧相对于第k+1帧的真实位移信息及所述设备在第k+1帧的位姿信息，确定所述设备在第k+1帧的位姿信息。
在这个过程中，将第k+2帧相对于第k+1帧的相对尺度比例因子与第k+1帧的真实尺度比例因子的乘积，作为第k+2帧的真实尺度比例因子，进行存储，以使后续的第k+3帧在定位所述设备时使用。
按照上述过程继续执行，就可以计算k+3帧、k+4帧、......、k+n帧，n为自然数的所述设备的位姿信息，可以看出，对于每一帧的所述设备的位姿信息计算，都需要借助前一帧的真实尺度比例因子，也就是前一帧的尺度关系，该关系反映了所述设备在前一帧相对于前两帧的相对位移信息和所述设备在前一帧相对于前两帧的真实位移信息之间的尺度关系，从而作为当前帧的相对位移信息转换为真实位移信息的转换尺度。进一步地，在转换时，还需要采用当前帧相对于前一帧的相对尺度比例因子，对相对位移信息进行修正，最终得到当前帧的准确的真实位移信息，从而最终确定当前帧的位姿信息。
对于某一帧在定位所述设备的位姿信息时，可以采用图3所述的方法进行，以下详细说明。
图3为本发明实施例提供的视觉定位方法具体实施例流程图，其具体步骤为：
步骤301、按照帧次序，依次接收采用双目视觉定位方式获取所述定位物体的双目图像；
步骤302、对相邻帧的所述定位物体的双目图像中选取的特征点进行跟踪；
步骤303、对于当前帧，进行所述定位物体的双目图像中选取的特征点的匹配，得到所述双目图像的特征点；
步骤304、根据所述双目图像的特征点的视差判定，确定当前帧的所述双目图像是否产生足够的视差，如果是，则执行步骤305；如果否，则执行步骤307；
步骤305、采用三维-二维运动估计算法，基于当前帧的所述双目图像，得到设备在当前帧的位姿信息，执行步骤306及步骤311；
步骤306、对单目视觉定位计算标志位置0；
在该步骤中，说明当前帧所述设备是采用双目视觉定位方式定位的；
步骤307、判断当前帧的单目视觉定位计算标志位是否为0，如果是，则执行步骤308；如果否，则执行步骤312；
步骤308、采用三维-二维运动估计算法，基于当前帧的所述双目图像，得到设备在当前帧的位姿信息，及计算得到设备在当前帧相对于前一帧的真实位移信息；
步骤309、采用二维-二维运动估计算法，基于前一帧及当前帧的所述单目图像，计算得到设备在当前帧相对于前一帧的相对位移信息；
步骤310、基于步骤308计算的所述设备在当前帧相对于前一帧的真实位移信息及步骤309计算得到的所述设备在当前帧相对于前一帧的相对位移信息，计算得到真实尺度比例因子，存储；
步骤311、输出当前帧的位姿信息，具体包括位置信息和姿态信息；
步骤312、采用二维-二维运动估计算法，基于前一帧及当前帧的所述定位物体的单目图像，计算得到所述设备在当前帧相对于前一帧的相对位移信息；
步骤313、获取步骤310存储的真实尺度比例因子；
步骤314、基于当前帧及前一帧的所述定位物体的单目图像，计算得到所述设备在当前帧相对于前一帧的相对尺度比例因子；
步骤315、基于获取的真实尺度比例因子，及当前帧相对于前一帧的相对尺度比例因子，将当前帧相对于前一帧的相对位移信息转换为当前帧相对于前一帧的真实位移信息，根据当前帧相对于前一帧的真实位移信息及前一帧的所述设备的位姿信息，计算得到当前帧的所述设备的位姿信息，转入到步骤311输出。
本发明实施例还提供一种视觉定位的装置，如图4所示，图4为本发明实施例提供的视觉定位装置结构示意图，该装置包括：接收单元、检测单元、查询单元及处理单元，其中，
接收单元，用于接收利用设备的双目相机采集到的包含定位物体的双目图像；
检测单元，用于检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，指示查询单元进行查询；
查询单元，用于在检测单元的指示下，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，指示处理单元进行第一定位处理；
处理单元，用于在接收到查询单元的第一定位处理指示后，获取第k-1帧的尺度关系，所述第k-1帧的尺度关系用于表征所述设备在第k帧相对于第k-1帧的相对位移信息和所述设备在第k帧相对于第k-1帧的真实位移信息之间的尺度关系；利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息；利用所述设备在第k帧相对于第k-1帧的真实位移信息及所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息。
在该装置中，检测单元，还用于当检测到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，将第k-1帧的单目视觉定位计算标志位置位；
查询单元，还用于判断第k-1帧的单目视觉定位计算标志位是否被置位，如果是，则确定所述定位物体在第k-1帧位于双目视觉的定位视场范围外。
在该装置中，检测单元，还用于当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围内时，指示所述处理单元进行第二定位处理；
所述处理单元，还用于在检测单元的第二定位处理指示下，采用双目视觉定位方式确定所述设备在第k帧的位姿信息；利用所述设备在第k帧和第k-1帧的位姿信息，确定所述设备在第k帧相对于第k-1帧的真实位移信息；将所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值确定为第k帧的尺度关系。
在该装置中，所述检测单元，还用于当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，指示所述处理单元进行计算；
所述处理单元，用于在所述检测单元的计算指示下，计算确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度；利用确定的所述单目图像偏差度，将获取到的第k-1帧的尺度关系修正为第k帧的尺度关系。
在该装置中，所述处理单元，还用于确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度；
利用确定的所述单目图像偏差度在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正。
具体地说，所述处理单元，还用于所述利用确定的所述单目图像偏差度在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正包括：将所述设备在第k帧相对于第k-1帧的相对位移信息、所述定位物体在第k帧相对于第k-1帧的单目图像偏差度、及所述设备在第k-1帧相对于第k-2帧的真实位移信息与相对位移信息之间的比值，之间相乘，得到所述设备在第k帧相对于第k-1帧的真实位移信息。
在该装置中，所述处理单元，还用于确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度包括：获取所述设备的双目相机中的任一相机采集的第k帧所述定位物体的单目图像及第k-1帧所述定位物体的单目图像；在所述第k帧的单目图像中选取两个特征点，在所述第k-1帧的单目图像中选取相应两个特征点，所述相应表示在所述第k帧所选取的两个特征点，分别与在所述第k-1帧所选取的相应两个特征点，在所述定位物体的空间坐标相同；将计算得到的第k帧选取的两个特征点之间的距离值，与计算得到的第k-1帧选取的相应两个特征点之间的距离值，之间的比值，作为所述定位物体在第k帧相对于第k-1帧的单目图像偏差度。
具体地说，所述处理单元，还用于在所述第k帧的单目图像中选取两个特征点包括：在所述第k帧的单目图像中选取多组两个特征点；在所述第k-1帧的单目图像中选取相应两个特征点包括：在所述第k-1帧的单目图像中选取相应的多组两个特征点；所述作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值之前，该方法还包括：将计算得到的多组第k帧选取的两个特征点之间的距离值，分别与计算得到的多组第k-1帧选取的相应两个特征点之间的距离值相除，得到多组比值；计算所述多组比值的中值或平均值，作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值。
在该装置中，所述检测单元，还用于检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内包括：基于选取的在所述定位物体空间的特征点，分别在所述包含定位物体的双目图像中的位置信息，计算得到所选取特征点在双目图像的位置信息绝对差值；判断所述特征点在双目图像的位置信息的绝对差值是否小于等于设置的视差值，如果是，确定所述定位物体在双目视觉的定位视场范围内；如果否，确定所述定位物体在双目视觉的定位视场范围外。
具体地说，所述检测单元，还用于所述选取的在所述定位物体空间的特征点包括：选取大于等于设置的第一数量阈值的多个在所述定位物体空间的特征点；在所述确定所述定位物体在双目视觉的定位视场范围内之前，还包括：判断小于等于设置的视差值的所述特征点的数量是否大于设置的第二数量阈值，如果是，则确定所述定位物体在双目视觉的定位视场范围内；所述设置的第一数量阈值大于设置的第二数量阈值。
本发明实施例还提供一种视觉定位装置，包括处理器，所述处理器用于执行上述的视觉定位方法。
从本发明实施例可以看出，本发明实施例只利用双目相机，而无需借助其他辅助传感器，就可以达到双目视觉定位方式和单目视觉定位方式对所述设备的准确定位。本发明实施例通过双目视觉定位方式提供的初始位姿信息，在双目视觉定位方式定位所述设备失效后，利用前一帧的真实尺度比例因子及当前帧相对于前一帧的相对尺度比例因子，对单目视觉定位方式获取的相对位移信息进行适应性转换及修正，得到真实位移信息，从而进行后续的位姿信息的准确确定，达到了定位不限制在双目视觉的定位视场范围内的目的，扩展了移动机器人上视觉定位的应用范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (11)
1.一种视觉定位的方法，其特征在于，该方法包括：
利用设备的双目相机采集到的包含定位物体的双目图像，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；
当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；
当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，获取第k-1帧的尺度关系、并确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，所述第k-1帧的尺度关系表示所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值，所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度表示所述定位物体在第k帧相对于第k-1帧的单目图像中的至少两个特征点之间的位置差值的比值；
利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息，并且利用所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度，在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正；
利用所述设备在第k帧相对于第k-1帧的真实位移信息及采用双目视觉定位方式确定的所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息；
其中，真实位移信息表示所述设备基于双目视觉定位方式确定的定位物体的位移，相对位移信息表示所述设备基于单目视觉定位方式确定的定位物体的位移。
2.如权利要求1所述的方法，其特征在于，
该方法进一步包括：当检测到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，将第k-1帧的单目视觉定位计算标志位置位；
所述查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果包括：
判断第k-1帧的单目视觉定位计算标志位是否被置位，如果是，则确定所述定位物体在第k-1帧位于双目视觉的定位视场范围外。
3.如权利要求1所述的方法，其特征在于，该方法进一步包括：
当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围内时，采用双目视觉定位方式确定所述设备在第k帧的位姿信息；
利用所述设备在第k帧和第k-1帧的位姿信息，确定所述设备在第k帧相对于第k-1帧的真实位移信息；
将所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值确定为第k帧的尺度关系。
4.如权利要求3所述的方法，其特征在于，该方法进一步包括：
当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外、并且查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，确定所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度；
利用确定的所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度，将获取到的第k-1帧的尺度关系修正为第k帧的尺度关系。
5.如权利要求1所述的方法，其特征在于，所述利用所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度，在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正包括：
将所述设备在第k帧相对于第k-1帧的相对位移信息、所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度、及所述设备在第k-1帧相对于第k-2帧的真实位移信息与相对位移信息之间的比值，之间相乘，得到所述设备在第k帧相对于第k-1帧的真实位移信息。
6.如权利要求1或4或5所述的方法，其特征在于，确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度包括：
获取所述设备的双目相机中的任一相机采集的第k帧所述定位物体的单目图像及第k-1帧所述定位物体的单目图像；
在所述第k帧的单目图像中选取两个特征点，在所述第k-1帧的单目图像中选取相应两个特征点，所述相应表示在所述第k帧所选取的两个特征点，分别与在所述第k-1帧所选取的相应两个特征点，在所述定位物体的空间坐标相同；
将计算得到的第k帧选取的两个特征点之间的距离值，与计算得到的第k-1帧选取的相应两个特征点之间的距离值，之间的比值，作为所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度。
7.如权利要求6所述的方法，其特征在于，在所述第k帧的单目图像中选取两个特征点包括：
在所述第k帧的单目图像中选取多组两个特征点；
在所述第k-1帧的单目图像中选取相应两个特征点包括：
在所述第k-1帧的单目图像中选取相应的多组两个特征点；
所述作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值之前，该方法还包括：
将计算得到的多组第k帧选取的两个特征点之间的距离值，分别与计算得到的多组第k-1帧选取的相应两个特征点之间的距离值相除，得到多组比值；
计算所述多组比值的中值或平均值，作为在所述定位物体选取的特征点对的距离值在第k帧与第k-1帧的之间的比值；
其中，所述特征点对的距离值表示：一对特征点在同一帧单目图像中的相对距离。
8.如权利要求1所述的方法，其特征在于，检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内包括：
基于选取的在所述定位物体空间的特征点，分别在所述包含定位物体的双目图像中的位置信息，计算得到所选取特征点在双目图像的位置信息绝对差值；
判断所述特征点在双目图像的位置信息的绝对差值是否小于等于设置的视差值，如果是，确定所述定位物体在双目视觉的定位视场范围内；如果否，确定所述定位物体在双目视觉的定位视场范围外；
其中，所述特征点在双目图像的位置信息的绝对差值表示：所述特征点在同一帧的双目图像中的位置偏差。
9.如权利要求8所述的方法，其特征在于，所述选取的在所述定位物体空间的特征点包括：
选取大于等于设置的第一数量阈值的多个在所述定位物体空间的特征点；
在所述确定所述定位物体在双目视觉的定位视场范围内之前，该方法还包括：
判断小于等于设置的视差值的所述特征点的数量是否大于设置的第二数量阈值，如果是，则确定所述定位物体在双目视觉的定位视场范围内；
所述设置的第一数量阈值大于设置的第二数量阈值。
10.一种视觉定位的装置，其特征在于，该装置包括：接收单元、检测单元、查询单元及处理单元，其中，
接收单元，用于接收利用设备的双目相机采集到的包含定位物体的双目图像；
检测单元，用于检测所述定位物体在第k帧是否位于双目视觉的定位视场范围内，所述k为自然数；当检测到所述定位物体在第k帧位于双目视觉的定位视场范围外时，指示查询单元进行查询；
查询单元，用于在检测单元的指示下，查询所述定位物体在第k-1帧是否位于双目视觉的定位视场范围内的检测结果；当查询到所述定位物体在第k-1帧位于双目视觉的定位视场范围外时，指示处理单元进行处理；
处理单元，用于在接收到查询单元的处理指示后：
获取第k-1帧的尺度关系、并确定所述定位物体在第k帧相对于第k-1帧的单目图像偏差度，所述第k-1帧的尺度关系表示所述设备在第k帧相对于第k-1帧的相对位移信息和真实位移信息的比值，所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度表示所述定位物体在第k帧相对于第k-1帧的单目图像中的至少两个特征点之间的位置差值的比值；
利用获取到的第k-1帧的尺度关系，将所述设备在第k帧相对于第k-1帧的相对位移信息转换为所述设备在第k帧相对于第k-1帧的真实位移信息，并且利用所述定位物体在第k帧相对于第k-1帧的所述单目图像偏差度，在所述转换的过程中对所述设备在第k帧相对于第k-1帧的相对位移信息进行修正；
利用所述设备在第k帧相对于第k-1帧的真实位移信息及采用双目视觉定位方式确定的所述设备在第k-1帧的位姿信息，确定所述设备在第k帧的位姿信息；
其中，真实位移信息表示所述设备基于双目视觉定位方式确定的定位物体的位移，相对位移信息表示所述设备基于单目视觉定位方式确定的定位物体的位移。
11.一种视觉定位装置，其特征在于，包括处理器，所述处理器用于执行如权利要求1至9中任一项所述的视觉定位的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301830.0A CN111829489B (zh) | 2019-04-16 | 2019-04-16 | 一种视觉定位的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910301830.0A CN111829489B (zh) | 2019-04-16 | 2019-04-16 | 一种视觉定位的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111829489A CN111829489A (zh) | 2020-10-27 |
| CN111829489B true CN111829489B (zh) | 2022-05-13 |
Family
ID=72915356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910301830.0A Active CN111829489B (zh) | 2019-04-16 | 2019-04-16 | 一种视觉定位的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111829489B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112577475A (zh) * | 2021-01-14 | 2021-03-30 | 天津希格玛微电子技术有限公司 | 一种能够有效降低功耗的视频测距方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937811A (zh) * | 2012-10-22 | 2013-02-20 | 西北工业大学 | 一种小型机器人的单目视觉与双目视觉转换装置 |
| CN104463108A (zh) * | 2014-11-21 | 2015-03-25 | 山东大学 | 一种单目实时目标识别及位姿测量方法 |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
| WO2019029099A1 (zh) * | 2017-08-11 | 2019-02-14 | 浙江大学 | 基于图像梯度联合优化的双目视觉里程计算方法 |
| CN109493378A (zh) * | 2018-10-29 | 2019-03-19 | 宁波研新工业科技有限公司 | 一种基于单目视觉与双目视觉相结合的垂直度检测方法 |
| CN109544630A (zh) * | 2018-11-30 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 位姿信息确定方法和装置、视觉点云构建方法和装置 |
| WO2019062291A1 (zh) * | 2017-09-29 | 2019-04-04 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
| CN109579852A (zh) * | 2019-01-22 | 2019-04-05 | 杭州蓝芯科技有限公司 | 基于深度相机的机器人自主定位方法及装置 |
-
2019
- 2019-04-16 CN CN201910301830.0A patent/CN111829489B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102937811A (zh) * | 2012-10-22 | 2013-02-20 | 西北工业大学 | 一种小型机器人的单目视觉与双目视觉转换装置 |
| CN104463108A (zh) * | 2014-11-21 | 2015-03-25 | 山东大学 | 一种单目实时目标识别及位姿测量方法 |
| WO2019029099A1 (zh) * | 2017-08-11 | 2019-02-14 | 浙江大学 | 基于图像梯度联合优化的双目视觉里程计算方法 |
| CN107796397A (zh) * | 2017-09-14 | 2018-03-13 | 杭州迦智科技有限公司 | 一种机器人双目视觉定位方法、装置和存储介质 |
| WO2019062291A1 (zh) * | 2017-09-29 | 2019-04-04 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
| CN109029417A (zh) * | 2018-05-21 | 2018-12-18 | 南京航空航天大学 | 基于混合视觉里程计和多尺度地图的无人机slam方法 |
| CN109493378A (zh) * | 2018-10-29 | 2019-03-19 | 宁波研新工业科技有限公司 | 一种基于单目视觉与双目视觉相结合的垂直度检测方法 |
| CN109544630A (zh) * | 2018-11-30 | 2019-03-29 | 南京人工智能高等研究院有限公司 | 位姿信息确定方法和装置、视觉点云构建方法和装置 |
| CN109579852A (zh) * | 2019-01-22 | 2019-04-05 | 杭州蓝芯科技有限公司 | 基于深度相机的机器人自主定位方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于SURF算法的单目转双目视觉定位;韩峰;《计算机系统应用》;20151115;第24卷(第11期);第252-256页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111829489A (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| CN110296691B (zh) | 融合imu标定的双目立体视觉测量方法与系统 | |
| CN109000582B (zh) | 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 | |
| EP2959315B1 (en) | Generation of 3d models of an environment | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| KR100855657B1 (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
| CN108702439B (zh) | 信息处理设备、方法、计算机可读介质和多摄像机系统 | |
| JP2011027623A (ja) | 位置姿勢計測方法及び装置 | |
| CN105654547B (zh) | 三维重建方法 | |
| CN109785373B (zh) | 一种基于散斑的六自由度位姿估计系统及方法 | |
| CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
| JP2016148649A (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| CN111829489B (zh) | 一种视觉定位的方法及装置 | |
| Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
| Setyawan et al. | Measurement accuracy analysis of distance between cameras in stereo vision | |
| CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
| CN110751731B (zh) | 一种用于结构光的3d重建方法和系统 | |
| Hui et al. | Visual SLAM based on EKF filtering algorithm from omnidirectional camera | |
| CN113269857A (zh) | 坐标系关系获取方法及装置 | |
| JP5359477B2 (ja) | 道路領域推定装置及びプログラム | |
| CN109214984B (zh) | 一种图像获取方法及装置、自主定位导航系统、计算设备 | |
| US11282280B2 (en) | Method and system for node vectorisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Hikvision Robot Co.,Ltd. Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |