CN103822631B - 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 - Google Patents
一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 Download PDFInfo
- Publication number
- CN103822631B CN103822631B CN201410069819.3A CN201410069819A CN103822631B CN 103822631 B CN103822631 B CN 103822631B CN 201410069819 A CN201410069819 A CN 201410069819A CN 103822631 B CN103822631 B CN 103822631B
- Authority
- CN
- China
- Prior art keywords
- translational speed
- rotor
- optical flow
- image
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
Abstract
一种面向旋翼的卫星和光流场视觉结合的定位方法与装置属于基于数字图像处理的导航定位技术领域；该方法首先获得旋翼的经纬度、移动速度和方向信息；再利用LK光流算法获得初始图像移动速度，并进行倾斜补偿；然后测得旋翼对地高度，对图像移动速度进行高度补偿，得到最终的图像移动速度；最后利用卡尔曼滤波算法，得到飞行器的定位信息，该装置包括分别实现以上方法四个步骤的卫星定位模块，光流测速模块，高度测量模块和微处理单元；本发明结合了卫星定位和光流场视觉定位，使二者优势互补，克服了传统的依靠卫星导航、要求对环境有一个先验知识的视觉传感器等单一传感器定位性能差的缺陷，具有定位精度高、计算简单、使用范围广的特点。
Description
技术领域
一种面向旋翼的卫星和光流场视觉结合的定位方法与装置属于基于数字图像处理的导航定位技术领域。
背景技术
在军事和人们的日常生活中旋翼的定位技术有着广泛的应用，也是旋翼实现自主导航的基本环节。高精度的定位方法是实现旋翼自主导航的首要问题，对于提高其完成既定任务具有重要作用。
在现有的各种定位系统中，利用单一的定位技术，比如惯性定位方法与装置，惯性定位系统（INS）自主性强，功能完备，但其误差随时间积累而增大，定位精度依赖于惯性传感器本身的精度；卫星定位方法与装置，如GPS全球定位系统虽然可以提供24小时、全球、全天候定位服务，但定位精度有限，尤其是不能胜任在小范围内和要求厘米级导航定位的场合；近年来随着传感器技术的不断发展而出现新的定位技术，如视觉系统或机载传感器（如激光雷达、摄像头或光流传感器等），粒子滤波和卡尔曼滤波和惯性传感器相结合，将视觉研究集中在“匹配”算法上，如灰度相关匹配、特征匹配、小波匹配等等，但要求对环境有一个先验知识。
发明内容
为了解决上述问题，本发明设计了一种面向旋翼的卫星和光流场视觉结合的定位方法与装置，该方法与装置克服了传统的依靠卫星导航、要求对环境有一个先验知识的视觉传感器等单一传感器定位性能差的缺陷，具有定位精度高、计算简单、使用范围广的特点。
本发明的目的是这样实现的：
一种面向旋翼的卫星和光流场视觉结合的定位方法，由以下步骤组成：
a、获得多旋翼飞行器的经纬度、移动速度和方向信息；
b、在多旋翼飞行器飞行过程中，首先获得地面视频图像信息，然后利用LK光流算法得到初始图像移动速度，最后对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
c、获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
d、根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，利用卡尔曼滤波算法，得到飞行器的定位信息。
一种实现上述方法的面向旋翼的卫星和光流场视觉结合的定位装置，包括：
卫星定位模块，用于获得多旋翼飞行器的经纬度、移动速度和方向信息；
光流测速模块、具体包括：
图像采集单元：用于获得地面视频图像信息；
图像处理单元：利用LK光流算法得到初始图像移动速度；
倾斜补偿单元：用于对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
高度测量模块：用于获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
微处理单元：用于根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，利用卡尔曼滤波算法，得到飞行器的定位信息。
上述的面向旋翼的卫星和光流场视觉结合的定位装置，所述的图像采集单元垂直于地面向下放置，顶端通过稳定云台连接至旋翼飞行器。
本发明面向旋翼的卫星和光流场视觉结合的定位装置，由于结合了卫星定位和光流场视觉定位，使二者优势互补，克服了传统的依靠卫星导航、要求对环境有一个先验知识的视觉传感器等单一传感器定位性能差的缺陷，具有定位精度高、计算简单、使用范围广的特点。
附图说明
图1是本发明面向旋翼的卫星和光流场视觉结合的定位方法流程图。
图2是本发明定位装置各功能模块间及它们之前的数据传输示意图。
图3是图像采集、高度测量示意图。
图中：1卫星定位模块、2光流测速模块、21图像采集单元、22图像处理单元、23倾斜补偿单元、3高度测量模块、4微处理单元。
具体实施方式
下面结合附图对本发明具体实施方式作进一步详细描述。
本实施例的面向旋翼的卫星和光流场视觉结合的定位方法，流程图如图1所示。该方法由以下步骤组成：
a、获得多旋翼飞行器的经纬度、移动速度和方向信息；
b、在多旋翼飞行器飞行过程中，首先获得地面视频图像信息，然后利用LK光流算法得到初始图像移动速度，最后对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
c、获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
d、根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，利用卡尔曼滤波算法，得到飞行器的定位信息。
本实施例的面向旋翼的卫星和光流场视觉结合的定位装置，各功能模块间及它们之前的数据传输示意图如图2所示。该定位装置包括：
卫星定位模块1，用于获得多旋翼飞行器的经纬度、移动速度和方向信息，采用$GPRMC格式的数据，输出的是NMEA-0183数据格式；
光流测速模块2、具体包括：
图像采集单元21：用于获得地面视频图像信息，并将接收到的光学信号转化成数字信号发送至图像处理单元22；
图像处理单元22：利用LK光流算法得到初始图像移动速度；
倾斜补偿单元23：用于对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
高度测量模块3：用于获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
将倾斜补偿单元23和高度测量模块3对图像移动速度的补偿结合附图3作详细说明，当位于高度Z处的图像采集单元21转过一个小的角度θ时实际转动的线位移为：S=Z*θ。
根据图像采集单元21的成像规律，实际的位移S和图像采集单元21中对应的像素点位移s之间满足以下对应关系：S∝Zs，上两式得到：s∝θ，即LK算法输出的像素移动满足：v=kθ+ZV。
其中，V为多旋翼上升或下降的实际移动速度，v为图像中的移动速度，k为常值，因此只需测出图像采集单元21在相邻两张图像采集的时间间隔内转动的角度乘上一个适当的常数，并从LK算法的输出结果中将其减掉即可实现对LK算法的补偿。飞行器的姿态控制系统已经配备了陀螺仪可以测量角速度，由于图像采集的频率较高，因此可以直接用陀螺仪测出的角速率来代替相邻两张照片采集间隔内的转动角度。同时，上式也表明利用图像采集单元21测出的移动的像素点对应的实际移动速度和飞行高度有关，因此还必须通过高度测量模块3测出旋翼的当前对地高度，高度测量结果修正得到的图像移动速度，以获取旋翼的真实对地移动速度。
微处理单元4：用于根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，对最终的图像移动速度进行积分，并计算经纬度的数学期望，所得数学期望对所得积分进行修正，最终利用卡尔曼滤波算法处理，得到飞行器的定位信息。
上述的面向旋翼的卫星和光流场视觉结合的定位装置，所述的图像采集单元21垂直于地面向下放置，顶端通过稳定云台连接至旋翼飞行器。
Claims (2)
1.一种面向旋翼的卫星和光流场视觉结合的定位方法，其特征在于，由以下步骤组成：
a、获得多旋翼飞行器的经纬度、移动速度和方向信息；
b、在多旋翼飞行器飞行过程中，首先获得地面视频图像信息，然后利用LK光流算法得到初始图像移动速度，LK算法输出的像素移动满足：v＝kθ+ZV；最后对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
c、获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
d、根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，利用卡尔曼滤波算法，得到飞行器的定位信息。
2.一种实现权利要求1所述方法的面向旋翼的卫星和光流场视觉结合的定位装置，其特征在于，包括：
卫星定位模块(1)，用于获得多旋翼飞行器的经纬度、移动速度和方向信息；
光流测速模块(2)、具体包括：
图像采集单元(21)：用于获得地面视频图像信息；所述的图像采集单元(21)垂直于地面向下放置，顶端通过稳定云台连接至旋翼飞行器；
图像处理单元(22)：利用LK光流算法得到初始图像移动速度；LK算法输出的像素移动满足：v＝kθ+ZV；
倾斜补偿单元(23)：用于对初始图像移动速度进行倾斜补偿，得到倾斜补偿后的图像移动速度；
高度测量模块(3)：用于获得多旋翼飞行器在飞行过程中的对地高度，根据对地高度，对第b步得到的倾斜补偿后的图像移动速度进行高度补偿，得到最终的图像移动速度；
微处理单元(4)：用于根据第a步得到的多旋翼飞行器的经纬度、移动速度和方向信息，第c步得到的最终的图像移动速度，利用卡尔曼滤波算法，得到飞行器的定位信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410069819.3A CN103822631B (zh) | 2014-02-28 | 2014-02-28 | 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410069819.3A CN103822631B (zh) | 2014-02-28 | 2014-02-28 | 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103822631A CN103822631A (zh) | 2014-05-28 |
| CN103822631B true CN103822631B (zh) | 2016-05-18 |
Family
ID=50757806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410069819.3A Expired - Fee Related CN103822631B (zh) | 2014-02-28 | 2014-02-28 | 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103822631B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104864866B (zh) * | 2015-05-15 | 2019-05-10 | 天津远度科技有限公司 | 飞行器飞行误差矫正装置、矫正方法及无人飞行器 |
| CN105988474A (zh) * | 2015-07-06 | 2016-10-05 | 深圳市前海疆域智能科技股份有限公司 | 一种飞行器的偏差补偿方法和飞行器 |
| CN105644785B (zh) * | 2015-12-31 | 2017-06-27 | 哈尔滨工业大学 | 一种基于光流法和地平线检测的无人机着陆方法 |
| US9757859B1 (en) | 2016-01-21 | 2017-09-12 | X Development Llc | Tooltip stabilization |
| US9744665B1 (en) | 2016-01-27 | 2017-08-29 | X Development Llc | Optimization of observer robot locations |
| US10059003B1 (en) | 2016-01-28 | 2018-08-28 | X Development Llc | Multi-resolution localization system |
| CN105606092B (zh) * | 2016-02-04 | 2019-02-15 | 中国科学院电子学研究所 | 一种室内机器人定位方法及系统 |
| CN107543539B (zh) * | 2016-06-29 | 2021-06-01 | 联芯科技有限公司 | 一种无人机的位置信息获取方法及无人机 |
| CN107636550A (zh) * | 2016-11-10 | 2018-01-26 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置及飞行器 |
| CN106527495A (zh) * | 2016-12-14 | 2017-03-22 | 天津文康科技有限公司 | 一种电子信息目标定位准确的无人机的航拍控制系统 |
| CN107667638A (zh) * | 2017-11-22 | 2018-02-09 | 河南科技大学 | 一种自动调节株距的移栽机及其调节方法 |
| CN112414365B (zh) * | 2020-12-14 | 2022-08-16 | 广州昂宝电子有限公司 | 位移补偿方法和设备及速度补偿方法和设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6260796B1 (en) * | 1997-03-04 | 2001-07-17 | Wallace Neil Klingensmith | Multi-thrustered hover craft |
| US8774982B2 (en) * | 2010-08-26 | 2014-07-08 | Leptron Industrial Robotic Helicopters, Inc. | Helicopter with multi-rotors and wireless capability |
| KR101042200B1 (ko) * | 2010-09-02 | 2011-06-16 | 드림스페이스월드주식회사 | Ｐｃｂ를 사용한 무인 비행체 |
| CN103365297B (zh) * | 2013-06-29 | 2016-03-09 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
-
2014
- 2014-02-28 CN CN201410069819.3A patent/CN103822631B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103822631A (zh) | 2014-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103822631B (zh) | 一种面向旋翼的卫星和光流场视觉结合的定位方法与装置 | |
| Mian et al. | Direct georeferencing on small unmanned aerial platforms for improved reliability and accuracy of mapping without the need for ground control points | |
| Kim et al. | Feasibility of employing a smartphone as the payload in a photogrammetric UAV system | |
| KR100762891B1 (ko) | Ｌｏｓ벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치 | |
| CN102506868B (zh) | 基于联邦滤波的sins/smans/trns组合导航方法及系统 | |
| CN101241011A (zh) | 激光雷达平台上高精度定位、定姿的装置和方法 | |
| US20110282580A1 (en) | Method of image based navigation for precision guidance and landing | |
| CN111077556A (zh) | 融合北斗与多传感器的机场行李牵引车定位装置与方法 | |
| CN110186468B (zh) | 用于自动驾驶的高精度地图制作方法和制作装置 | |
| CN104237922A (zh) | 一种gnss/imu一体化无人机测绘的方法和系统 | |
| CN105424010A (zh) | 一种无人机视频地理空间信息注册方法 | |
| CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
| Jóźków et al. | Georeferencing experiments with UAS imagery | |
| Lo et al. | The direct georeferencing application and performance analysis of UAV helicopter in GCP-free area | |
| CN114812512A (zh) | 一种基于ai免像控点的无人航拍自动成像系统 | |
| CN113296133A (zh) | 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法 | |
| EP4246088A1 (en) | Surveying system, surveying method, and surveying program | |
| CN110986888A (zh) | 一种航空摄影一体化方法 | |
| Mostafa et al. | Optical flow based approach for vision aided inertial navigation using regression trees | |
| CN109470275B (zh) | 一种机动布站的光电经纬仪高精度自主定向方法 | |
| CN111444385A (zh) | 一种基于影像角点匹配的电子地图实时视频镶嵌方法 | |
| Mostafa et al. | A fully digital system for airborne mapping | |
| Ekaso | Accuracy Assessment of real-time kinematics (RTK) measurement on unmanned aerial vehicles (UAV) for direct geo-referencing | |
| Mostafa et al. | GPS/INS integrated navigation system in support of digital image georeferencing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Mo Hongwei Inventor after: Dong Huiyun Inventor after: Xu Lifang Inventor before: Mo Hongwei Inventor before: Dong Huiyun Inventor before: Yong Sheng Inventor before: Xu Lifang Inventor before: Jiang Xingzhou |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190128 Address after: 528000 Beijiao Community Resident Committee, Beijiao Town, Shunde District, Foshan City, Guangdong Province, No. 16, No. 1 South Huanzhen East Road Co-patentee after: Foshan city Shunde District takya civil Military Integration Innovation Institute Patentee after: Guangdong Shunde Military-Civil Integration Industrial Park Co., Ltd. Address before: 150001 - 1615 - 1, 16 floors, West District, Ship Building, Science Park, Harbin Engineering University, No. 258 Nantong Street, Nangang District, Harbin City, Heilongjiang Province Patentee before: Harbin Weifang Intelligent Science & Technology Development Co., Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 Termination date: 20200228 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |