CN107289910A - 一种基于tof的光流定位系统 - Google Patents

一种基于tof的光流定位系统 Download PDF

Info

Publication number
CN107289910A
CN107289910A CN201710364211.7A CN201710364211A CN107289910A CN 107289910 A CN107289910 A CN 107289910A CN 201710364211 A CN201710364211 A CN 201710364211A CN 107289910 A CN107289910 A CN 107289910A
Authority
CN
China
Prior art keywords
module
image
depth
characteristic point
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710364211.7A
Other languages
English (en)
Other versions
CN107289910B (zh
Inventor
钱久超
王兆圣
刘佩林
郁文贤
慕翔
洪燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201710364211.7A priority Critical patent/CN107289910B/zh
Publication of CN107289910A publication Critical patent/CN107289910A/zh
Application granted granted Critical
Publication of CN107289910B publication Critical patent/CN107289910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及室内视觉定位与导航领域，具体是一种基于TOF的光流定位系统，包括图像及惯性数据获取模块、光流计算模块、深度估计模块、运动估计模块和输出模块。本发明通过图像及惯性数据获取模块采集图像信息和加速度和角速度，再经光流计算模块和深度估计模块获取图像的特征点信息和深度估计信息，而后运动估计模块结合特征点信息和深度估计信息计算得到最终定位位置，从而实现精准、快速地三维定位。

Description

一种基于TOF的光流定位系统
技术领域
本发明涉及室内视觉定位与导航领域，具体是一种基于TOF的光流定位系统。
背景技术
光流定位是无人机在室内飞行时的主要定位方法，在使用时通常是将一个相机朝下安装在无人机的底部，通过计算图像中像素的移动来估计相机的自身运动，而后通过光流计算，得到相机自身的速度并进行定位。而目前的光流定位方案，大多数使用一个摄像头和一个超声波测距模块，并使用SAD算法计算光流，这种光流定位方案具有如下缺陷：
1.采用超声波测距模块进行测距精度较低，容易受外界环境如温度、风速的干扰，当处于崎岖路面、高度变化较快的环境下，由于超声波测距仅能反馈中心区域的高度，测距精度较差，且应用于吸音材料上偏差严重，导致光流定位不精准；
2.光流计算多采用稠密光流计算，为达到实时效果通常只能计算中心一小块区域的光流，并且直接使用计算的光流结果和超声波测得的深度进行运动估计，采集样本太少，忽略了图像块中某些区域深度与光流并不匹配的情况，容易产生累积误差，从而造成漂移现象。
发明内容
本发明针对现有技术存在的缺陷，提供一种基于TOF的光流定位系统，利用TOF采集的图像进行分析，获取特征点信息和深度信息后进行计算，更快、更精确地完成对无人机的测速及定位。
为了解决上述技术问题，本发明采用了如下的技术方案：
一种基于TOF的光流定位系统，包括：图像及惯性数据获取模块、光流计算模块、深度估计模块、运动估计模块和输出模块，其中，
所述的图像及惯性数据获取模块用以采集灰度图像、深度图像、加速度和角速度；
所述的光流计算模块与所述图像及惯性数据获取模块连接，用于在图像及惯性数据获取模块采集的灰度图像中选取特征点，通过光流计算获取图像序列中的特征点信息；
所述的深度估计模块分别与所述图像及惯性数据获取模块和所述光流计算模块连接，使用所述光流计算模块提供的特征点信息，结合所述图像获取模块提供的深度图像，对特征点的深度进行估计，得出深度估计信息；
所述的运动估计模块分别与所述光流计算模块和所述深度估计模块连接，用以结合特征点信息和深度估计信息进行计算，得到最终的定位位置信息，并将定位位置信息发送至所述输出模块；
所述的输出模块与所述运动估计模块连接，用以接收定位位置信息，并将定位位置信息在显示设备上进行显示。
较优选的，所述的光流计算模块包括特征提取模块、特征跟踪模块和离群点剔除模块，所述的特征提取模块连接图像及惯性数据获取模块，并在图像及惯性数据获取模块采集的灰度图像中选取特征点，所述的特征跟踪模块分别连接特征提取模块和离群点剔除模块，特征跟踪模块对所提取的特征点进行跟踪，输出对应特征点前后的图像坐标与偏移量，所述的离群点剔除模块对所述特征跟踪模块的跟踪结果进行优化，剔除错误跟踪的点。
较优选的，所述的特征提取模块检测灰度图像中像素的梯度特征，利用shi-tomasi角点检测，选择梯度相对明显的点作为特征点，在灰度图像中选取特征点，并保存特征点的坐标。
较优选的，所述的特征跟踪模块使用金字塔Lucas-Kanade光流方法对所选的特征点进行跟踪。
较优选的，所述的离群点剔除模块使用RANSAC算法剔除错误跟踪的点，保存优化后的特征点在图像中的坐标与偏移量。
较优选的，所述的深度估计模块包括深度匹配模块、深度滤波模块，所述的深度匹配模块使用所述光流计算模块所提供的特征点的图像坐标，在深度图像中找到对应点，将对应点邻域范围3*3的点取平均值作为特征点的深度，所述的深度滤波模块对所得的深度进行滤波处理，得到特征点对应的深度估计信息。
较优选的，所述的图像及惯性数据获取模块包括TOF图像采集模块、三轴加速度计、三轴陀螺仪和标定模块，所述的TOF图像采集模块以摄像头朝下的方向安装在无人机的底部，用以采集无人机飞行过程中的深度图像与灰度图像，所述的三轴加速度计和所述三轴陀螺仪用以测量无人机运动过程中的加速度和转动的角速度,所述的标定模块对深度图像、灰度图像、加速度、角速度进行标定并输出。
较优选的，所述的TOF图像采集模块相机的采集频率不低于30Hz。
较优选的，所述的运动估计模块包括姿态解算模块、速度计算模块、位置计算模块，所述的姿态解算模块使用加速度和角速度对无人机的姿态进行估计；所述的速度计算模块使用特征点信息和深度估计信息进行运算，得到无人机的速度，并结合所述姿态解算模块得到的无人机的姿态进行修正；所述的位置计算模块对速度进行计算，得到对应位移，在确定无人机出发点的情况下，对无人机的航迹进行推算，得到无人机的位置。
较优选的，所述的输出模块通过wifi、蓝牙、2.4G或usb线缆将结果传给显示设备并显示，所述的显示设备包括手机、电脑、以及其他便携视频显示设备。
本发明由于采用以上技术方案，使之与现有技术相比，具有以下的优点和积极效果：
1.本发明通过图像及惯性数据获取模块采集图像信息和加速度和角速度，再经光流计算模块和深度估计模块获取图像的特征点信息和深度估计信息，而后运动估计模块结合特征点信息和深度估计信息计算得到最终定位位置，从而实现精准、快速地三维定位；
2.使用TOF相机获取灰度图像、深度图像，从而进行深度测量、定位，相比传统的用超声波测距和摄像机获取图像相结合进行定位的方法，本发明中的定位系统能够得到图像中每一个像素点的深度信息，且具有更快的反映速度，定位速度更快；
3.通过光流计算模块在灰度图像中选取特征点，并对所提取的特征点进行跟踪、优化，剔除错误跟踪的点，从而提高定位数据的准确性，在光流计算过程中采用稀疏光流方法进行计算，可以对更大的图像进行计算，提供更高的像素级精度；
4.深度估计以光流计算模块所提供的特征点作为图像坐标，在深度图像中查找对应点，从而将对应点邻域范围的点进行处理，得到每个特征点对应的深度估计信息，因此可应用于室内环境复杂的情况，能有效克服无人机飞行时高度的快速变化。
附图说明
图1为本发明的结构原理图；
图2为本发明中图像及惯性数据获取模块的结构原理图；
图3为本发明中光流计算模块的结构原理图；
图4为本发明中深度估计模块的结构原理图；
图5为本发明中运动估计模块的结构原理图。
具体实施方式
以下结合附图和具体实施例对本发明提出的技术方案进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用于方便、明晰地辅助说明本发明实施例的目的。
本发明是针对现有的光流定位方案采用超声波测距和摄像机获取图像相结合进行定位方法中会出现的种种问题，将TOF相机应用到光流定位技术中，通过TOF图像采集模块获取的灰度图像、深度图像，用光流计算模块和深度估计模块来获取图像的特征点信息和深度估计信息，从而进行深度测量，实现精准、快速地三维定位。现结合附图及具体实施例对本发明的具体内容进行说明。
请参见图1，基于TOF的光流定位系统包括：图像及惯性数据获取模块100、光流计算模块101、深度估计模块102、运动估计模块103和输出模块104，其中，
图像及惯性数据获取模块100用以采集灰度图像、深度图像、加速度和角速度；
光流计算模块101与图像及惯性数据获取模块100连接，用于在图像及惯性数据获取模块100采集的灰度图像中选取特征点，通过光流计算获取图像序列中的特征点信息；
深度估计模块102分别与图像及惯性数据获取模块100和光流计算模块101连接，使用光流计算模块101提供的特征点信息，结合图像获取模块100提供的深度图像，对特征点的深度进行估计，从而得出深度估计信息；
运动估计模块103分别与光流计算模块101和深度估计模块102连接，用以结合特征点信息和深度估计信息进行计算，得到最终的定位位置信息，并将定位位置信息发送至输出模块104；
输出模块104与运动估计模块103连接，用以接收定位位置信息，并将定位位置信息在显示设备上进行显示。
本发明通过图像及惯性数据获取模块采集图像信息和加速度和角速度，再经光流计算模块和深度估计模块获取图像的特征点信息和深度估计信息，而后运动估计模块结合特征点信息和深度估计信息计算得到最终定位位置，实现定位。
现结合附图分别对图像及惯性数据获取模块100、光流计算模块101、深度估计模块102、运动估计模块103和输出模块104和整个光流定位系统的工作原理和流程进行介绍：
图像及惯性数据获取模块100主要用以采集图像信息、无人机的加速度和角速度信息，见图2，图像及惯性数据获取模块100包括TOF图像采集模块1001、三轴加速度计1002、三轴陀螺仪1003，安装时，需将TOF图像采集模块1001的摄像头朝下安装在无人机底部，以方便获取图像信息。TOF图像采集模块1001用以采集无人机飞行过程中的图像信息，图像信息包括深度图像与灰度图像；三轴加速度计1002和三轴陀螺仪1003则用以测量无人机运动过程中的加速度和飞行器在各种姿态下转动的角速度，标定模块1004则用于对图像、加速度、角速度信息进行标定并输出。
在本发明中，TOF图像采集模块1001使用TI公司的OPT9221控制芯片与OPT9241传感器的组合，调制光源使用红外LED；三轴加速度计1002与三轴陀螺仪1003使用集成芯片MPU6050。尽管本发明中提供了具体的TOF图像采集模块1001、三轴加速度计1002、三轴陀螺仪1003的芯片型号，但是也可采用其他能实现图像、加速度、角速度信息测量的芯片，在此不作为限定。对于标定模块，为实现图像、加速度、角速度的标定，本发明中的标定模块可包含惯性器件标定和相机标定，通过校准惯性器件的偏置，获得惯性坐标系和相机坐标系之间的转移矩阵，以及相机的内参矩阵和畸变参数。惯性器件标定将校准后的惯性数据归一化，并通过转移矩阵投影到相机坐标系；相机标定则使用相机内部参数，将真实的三维点与图像中的二维点对应起来，用于后续计算，惯性器件标定和相机标定在本技术领域已有相关记载，其具体工作原理在此不赘述。为了达到定位过程中的实时性的需求，需保证TOF图像采集模块1001的采集频率不低于30Hz。
光流计算模块101与图像获取模块100连接，主要用于获取图像序列中的特征点的像素偏移量，光流计算模块101的结构原理示意图请参见图3，其包括特征提取模块1011、特征跟踪模块1012和离群点剔除模块1013，其中，特征提取模块1011连接图像及惯性数据获取模块100，使用图像中像素的梯度特征，在图像及惯性数据100获取模块采集的灰度图像中选取特征点，并保存特征点的坐标；特征跟踪模块1012分别连接特征提取模块1011和离群点剔除模块1013，特征跟踪模块1012用于对所提取的特征点进行跟踪，输出对应特征点前后的图像坐标与偏移量；离群点剔除模块1013对特征跟踪模块1012的跟踪结果进行优化，剔除错误跟踪的点，保存优化后的特征点在图像中的坐标与偏移量。由此从而提高整个定位系统中定位数据的准确性。
本发明是利用无人机飞行过程中，图像序列中的特征移动，来计算图像中特征的运动，同时就得到了无人机自身的运动。特征提取模块1011利用像素信息，选择要跟踪的特征点，在本发明中，使用的是shi-tomasi角点，选择梯度明显的点作为特征点进行跟踪。为保证特征提取模块1011所提取的特征点具有良好的可跟踪特性，需使得特征点之间具有足够的距离。特征跟踪模块1012使用金字塔Lucas-Kanade光流方法对所选特征点进行跟踪，利用光流方程的灰度不变进行假设，从而跟踪特征点；在跟踪结果中，总会由于噪声或者其他干扰导致跟踪错误，为了提高精度，采用离群点剔除模块1013跟踪结果进行优化，使用RANSAC(随机采样一致性)算法剔除错误跟踪的点，最后将这些优化后的特征点在图像中的坐标与偏移量保存下来。
本发明中特征跟踪模块1012采用了金字塔Lucas-Kanade光流方法进行跟踪，使用图像金字塔对图像进行分层，从最高层开始计算光流，用得到的运算结果作为下一层金字塔的起点，重复这个过程直到金字塔的底部，最终实现对更快更长的运动进行跟踪。
深度估计模块102分别与图像及惯性数据获取模块100和光流计算模块101连接，根据光流计算模块101提供的特征点点信息，使用图像获取模块100提供的深度图像，对特征点的深度进行估计，深度估计模块102的结构原理示意图参见图4，从图4中可知，深度估计模块102具体包括：深度匹配模块1021、深度滤波模块1022。深度估计模块102使用深度图像来获取特征点的深度，具体地，用光流计算模块所提供的特征点的图像坐标，而后在深度图像中找到对应点。由于单个点的深度的不确定性，本发明中采用特征点邻域范围3*3的点取平均值作为特征点的深度，使本发明可应用于室内环境复杂的情况，能有效克服无人机飞行时高度的快速变化。深度滤波模块1022对所得的深度进行滤波处理，得到更精准的特征点对应的深度估计信息。
运动估计模块103与光流计算模块101和深度估计模块102连接，用以对光流计算信息和深度估计信息进行融合，得到最终的定位结果，并将定位结果发送至输出模块104。
运动估计模块103包括姿态解算模块1031、速度计算模块1032、位置计算模块1033，参见图5。姿态解算模块1031使用图像及惯性数据获取模块100提供的加速度和角速度信息，对无人机的姿态进行解算；速度计算模块1032使用光流计算模块101给出的特征点的偏移量和深度估计模块102提供的对应深度进行运算，得到无人机的速度，再将计算后的结果结合姿态解算模块1031得到的无人机的姿态进行修正；位置计算模块则是1033对速度进行积分，得到对应的位移，在出发点确定的情况下，对无人机的航迹进行推算，得到无人机的位置。
具体地，姿态解算模块1031采用Madgwick传感器融合算法进行无人机姿态的解算，通常用常规的六轴运动传感器已经可以满足需求，若加入磁力计，则可使定位达到更高的精度。速度计算模块1032将特征点的偏移量与深度相结合，代入运动方程，将所有特征点的速度取平均值，作为无人机的飞行速度。位置计算模块1033对所得的速度进行积分运算，得到无人机在真实世界的位移信息，在出发点已知的情况下，得到无人机的位置，最后运动估计模块103输出无人机的位置信息。
现对该计算过程进行说明，对单个空间点P＝[X,Y,Z]T,其通过标定后的相机，投影到成像平面得到对应的像素点p＝[x,y]T，通过相机观测和相对运动关系，具有如下运动方程：
式中，左侧的vx,vy为像素点p＝[x,y]T的速度；右侧的Z为空间点P＝[X,Y,Z]T的Z轴坐标，即深度；Tx,Ty,Tz为相机平移运动的速度，Ω为相机自身旋转运动的角速度。
在连续图像序列中，直接由像素点p的坐标偏移量和时间间隔求得vx,vy；Z由深度估计模块直接提供，计算Z的变化量并结合时间间隔求得Tz；角速度Ω直接由陀螺仪测得；代入以上数据可以求得相机自身的平移运动速度Tx,Ty，通过使用所有特征点进行计算，将结果取均值处理，最终得到一个精确、稳定的速度信息。
最后，为方便数据的采集，可将输出模块104与运动估计模块103连接，用以接收定位结果，并将定位结果在显示设备上进行显示，输出模块104具体是通过wifi、蓝牙、2.4G或usb线缆将结果传给显示设备并显示，显示设备包括手机、电脑等便携视频显示设备，以使整个光流定位系统可将处理形成后的定位结果显示在手机、电脑等其他便携显示设备上。
显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于TOF的光流定位系统，其特征在于，包括：图像及惯性数据获取模块、光流计算模块、深度估计模块、运动估计模块和输出模块，其中，所述的图像及惯性数据获取模块用以采集灰度图像、深度图像、加速度和角速度；
所述的光流计算模块与所述图像及惯性数据获取模块连接，用于在图像及惯性数据获取模块采集的灰度图像中选取特征点，通过光流计算获取图像序列中的特征点信息；
所述的深度估计模块分别与所述图像及惯性数据获取模块和所述光流计算模块连接，使用所述光流计算模块提供的特征点信息，结合所述图像获取模块提供的深度图像，对特征点的深度进行估计，得出深度估计信息；
所述的运动估计模块分别与所述光流计算模块和所述深度估计模块连接，用以结合特征点信息和深度估计信息进行计算，得到最终的定位位置信息，并将定位位置信息发送至所述输出模块；
所述的输出模块与所述运动估计模块连接，用以接收定位位置信息，并将定位位置信息在显示设备上进行显示。
2.根据权利要求1所述的一种基于TOF的光流定位系统，其特征在于，所述的光流计算模块包括特征提取模块、特征跟踪模块和离群点剔除模块，所述的特征提取模块连接图像及惯性数据获取模块，并在图像及惯性数据获取模块采集的灰度图像中选取特征点，所述的特征跟踪模块分别连接特征提取模块和离群点剔除模块，特征跟踪模块对所提取的特征点进行跟踪，输出对应特征点前后的图像坐标与偏移量，所述的离群点剔除模块对所述特征跟踪模块的跟踪结果进行优化，剔除错误跟踪的点。
3.根据权利要求2所述的一种基于TOF的光流定位系统，其特征在于，所述的特征提取模块检测灰度图像中像素的梯度特征，利用shi-tomasi角点检测，选择梯度相对明显的点作为特征点，在灰度图像中选取特征点，并保存特征点的坐标。
4.根据权利要求2所述的一种基于TOF的光流定位系统，其特征在于，所述的特征跟踪模块使用金字塔Lucas-Kanade光流法对所选的特征点进行跟踪。
5.根据权利要求2所述的一种基于TOF的光流定位系统，其特征在于，所述的离群点剔除模块使用RANSAC算法剔除错误跟踪的点，保存优化后的特征点在图像中的坐标与偏移量。
6.根据权利要求1所述的一种基于TOF的光流定位系统，其特征在于，所述的深度估计模块包括深度匹配模块、深度滤波模块，所述的深度匹配模块使用所述光流计算模块所提供的特征点的图像坐标，在深度图像中找到对应点，将对应点邻域范围3*3的点取平均值作为特征点的深度，所述的深度滤波模块对所得的深度进行滤波处理，得到特征点对应的深度估计信息。
7.根据权利要求1所述的一种基于TOF的光流定位系统，其特征在于，所述的图像及惯性数据获取模块包括TOF图像采集模块、三轴加速度计、三轴陀螺仪和标定模块，所述的TOF图像采集模块以摄像头朝下的方向安装在无人机的底部，用以采集无人机飞行过程中的深度图像与灰度图像，所述的三轴加速度计和所述三轴陀螺仪用以测量无人机运动过程中的加速度和转动的角速度,所述的标定模块对深度图像、灰度图像、加速度、角速度进行标定并输出。
8.根据权利要求7所述的一种基于TOF的光流定位系统，其特征在于，所述的TOF图像采集模块的采集频率不低于30Hz。
9.根据权利要求1所述的一种基于TOF的光流定位系统，其特征在于，所述的运动估计模块包括姿态解算模块、速度计算模块、位置计算模块，所述的姿态解算模块使用加速度和角速度对无人机的姿态进行估计；所述的速度计算模块使用特征点信息和深度估计信息进行运算，得到无人机的速度，并结合所述姿态解算模块得到的无人机的姿态进行修正；所述的位置计算模块对速度进行计算，得到对应位移，在确定无人机出发点的情况下，对无人机的航迹进行推算，得到无人机的位置。
10.根据权利要求1所述的一种基于TOF的光流定位系统，其特征在于，所述的输出模块通过wifi、蓝牙、2.4G或usb线缆将结果传给显示设备并显示，所述的显示设备包括手机、电脑以及其他便携视频显示设备。
CN201710364211.7A 2017-05-22 2017-05-22 一种基于tof的光流定位系统 Active CN107289910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710364211.7A CN107289910B (zh) 2017-05-22 2017-05-22 一种基于tof的光流定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710364211.7A CN107289910B (zh) 2017-05-22 2017-05-22 一种基于tof的光流定位系统

Publications (2)

Publication Number Publication Date
CN107289910A true CN107289910A (zh) 2017-10-24
CN107289910B CN107289910B (zh) 2020-06-19

Family

ID=60095246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710364211.7A Active CN107289910B (zh) 2017-05-22 2017-05-22 一种基于tof的光流定位系统

Country Status (1)

Country Link
CN (1) CN107289910B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943064A (zh) * 2017-11-15 2018-04-20 北京工业大学 一种无人机定点悬停系统和方法
CN107992073A (zh) * 2017-12-07 2018-05-04 深圳慧源创新科技有限公司 无人机定点飞行方法、无人机定点飞行装置和无人机
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN109602412A (zh) * 2018-12-05 2019-04-12 中国科学技术大学 利用面部视频实现心率检测的方法
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置
CN110572600A (zh) * 2019-08-20 2019-12-13 维沃移动通信有限公司 一种录像处理方法及电子设备
CN111062969A (zh) * 2019-12-06 2020-04-24 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
CN112804637A (zh) * 2021-04-07 2021-05-14 南京大翼航空科技有限公司 基于两个航空器辅助的建筑物室内目标定位方法
CN115790574A (zh) * 2023-02-14 2023-03-14 飞联智航(北京)科技有限公司 一种无人机的光流定位方法、装置及无人机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN103175529A (zh) * 2013-03-01 2013-06-26 上海美迪索科电子科技有限公司 基于室内磁场特征辅助的行人惯性定位系统
US8860930B2 (en) * 2012-06-02 2014-10-14 Richard Kirby Three dimensional surface mapping system using optical flow
CN106199039A (zh) * 2016-07-06 2016-12-07 深圳市高巨创新科技开发有限公司 一种无人机速度监测方法及系统
CN205809702U (zh) * 2016-05-18 2016-12-14 深圳智航无人机有限公司 无人机物流系统
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置
US9781318B2 (en) * 2013-12-05 2017-10-03 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436639A (zh) * 2011-09-02 2012-05-02 清华大学 一种去除图像模糊的图像采集方法和图像采集系统
CN102435172A (zh) * 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
US8860930B2 (en) * 2012-06-02 2014-10-14 Richard Kirby Three dimensional surface mapping system using optical flow
CN103175529A (zh) * 2013-03-01 2013-06-26 上海美迪索科电子科技有限公司 基于室内磁场特征辅助的行人惯性定位系统
US9781318B2 (en) * 2013-12-05 2017-10-03 Samsung Electronics Co., Ltd. Camera for measuring depth image and method of measuring depth image using the same
CN205809702U (zh) * 2016-05-18 2016-12-14 深圳智航无人机有限公司 无人机物流系统
CN106199039A (zh) * 2016-07-06 2016-12-07 深圳市高巨创新科技开发有限公司 一种无人机速度监测方法及系统
CN106529538A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种飞行器的定位方法和装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019095453A1 (zh) * 2017-11-15 2019-05-23 北京工业大学 一种无人机定点悬停系统和方法
CN107943064A (zh) * 2017-11-15 2018-04-20 北京工业大学 一种无人机定点悬停系统和方法
CN107992073A (zh) * 2017-12-07 2018-05-04 深圳慧源创新科技有限公司 无人机定点飞行方法、无人机定点飞行装置和无人机
CN108364320B (zh) * 2018-03-29 2021-12-21 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN108364320A (zh) * 2018-03-29 2018-08-03 深圳市自行科技有限公司 摄像头标定方法、终端设备及计算机可读存储介质
CN109602412A (zh) * 2018-12-05 2019-04-12 中国科学技术大学 利用面部视频实现心率检测的方法
CN110414392A (zh) * 2019-07-15 2019-11-05 北京天时行智能科技有限公司 一种障碍物距离的确定方法及装置
CN110572600A (zh) * 2019-08-20 2019-12-13 维沃移动通信有限公司 一种录像处理方法及电子设备
CN111062969A (zh) * 2019-12-06 2020-04-24 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
CN111062969B (zh) * 2019-12-06 2023-05-30 Oppo广东移动通信有限公司 目标跟踪方法及相关产品
CN112804637A (zh) * 2021-04-07 2021-05-14 南京大翼航空科技有限公司 基于两个航空器辅助的建筑物室内目标定位方法
CN112804637B (zh) * 2021-04-07 2021-06-29 南京大翼航空科技有限公司 基于两个航空器辅助的建筑物室内目标定位方法
US11537147B2 (en) 2021-04-07 2022-12-27 Nanjing Dwing Aviation Technology Co., Ltd. Method for positioning target in building based on assistance of two aircraft
CN115790574A (zh) * 2023-02-14 2023-03-14 飞联智航(北京)科技有限公司 一种无人机的光流定位方法、装置及无人机

Also Published As

Publication number Publication date
CN107289910B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN107289910A (zh) 一种基于tof的光流定位系统
CN105928498B (zh) 提供关于对象的信息的方法、大地测绘系统、存储介质
CN109945844B (zh) 测量子系统和测量系统
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
CN110058602A (zh) 基于深度视觉的多旋翼无人机自主定位方法
CN111750853B (zh) 一种地图建立方法、装置及存储介质
CN109540126A (zh) 一种基于光流法的惯性视觉组合导航方法
WO2019136714A1 (zh) 一种基于3d激光的地图构建方法及系统
CN110446159A (zh) 一种室内无人机精确定位与自主导航的系统及方法
CN104268935A (zh) 一种基于特征的机载激光点云与影像数据融合系统及方法
CN111156998A (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
US20090154793A1 (en) Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
CN103185544B (zh) 高尔夫球杆头的测量方法
CN107807365A (zh) 用于低空无人航空器的轻小型数字摄影三维激光扫描装置
CN110268445A (zh) 利用陀螺仪的相机自动校准
CN104848861B (zh) 一种基于图像消失点识别技术的移动设备姿态测量方法
CN108052103A (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
KR102239562B1 (ko) 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템
CN110319772A (zh) 基于无人机的视觉大跨度测距方法
CN112987065A (zh) 一种融合多传感器的手持式slam装置及其控制方法
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
CN105607760A (zh) 一种基于微惯性传感器的轨迹还原方法及系统
CN109597086A (zh) 一种非接触式直升机外吊挂物的运动测量方法
CN106950976A (zh) 基于卡尔曼和粒子滤波的室内飞艇三维定位装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant