CN114037971B - 一种基于fpga实现的双目地外星体着陆避障系统 - Google Patents
一种基于fpga实现的双目地外星体着陆避障系统 Download PDFInfo
- Publication number
- CN114037971B CN114037971B CN202111107359.5A CN202111107359A CN114037971B CN 114037971 B CN114037971 B CN 114037971B CN 202111107359 A CN202111107359 A CN 202111107359A CN 114037971 B CN114037971 B CN 114037971B
- Authority
- CN
- China
- Prior art keywords
- module
- image data
- census
- camera
- left camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明涉及一种基于FPGA实现的双目地外星体着陆避障系统,属于地外星体的着陆避障技术领域;采用低性能的FPGA进行算法加速,快速得到目标区域的三维高程图,解决立体匹配算法的实时性问题;同时使用单相机图像对避障区域进行粗筛选,然后利用基于FPGA得到的三维高程图对粗筛选的结果进行精细筛选,最终得到全部视场内的最佳避障区域。利用二维图像数据和三维高程数据结合的方法,使用低性能FPGA进行加速,可以快速实时得到高鲁棒性的避障结果。
Description
技术领域
本发明属于地外星体的着陆避障技术领域,涉及一种基于FPGA实现的双目地外星体着陆避障系统。
背景技术
安全着陆是火星探测任务的关键一步,但着陆过程时间短,无法依赖地面通讯,所以需要着陆器能够自主完成障碍检测与规避。利用双目立体视觉进行障碍规避是一种常见的方法,双目立体视觉利用三角定位原理,可以有效对表面障碍进行三维重建。但现有双目立体视觉方法将面临两个方面的问题:1)双目稠密匹配计算复杂性高、数据量大,而星载芯片和计算机运算能力存储量较低,难以实现实时匹配和三维重建;2)对生成的所有三维数据进行分析运算量大,进一步加大了星载计算机的负担,但如果抽样或者分块对数据进行处理将降低算法的鲁棒性和可信度。
N201010621248.1公开一种软着陆接力避障方法,由粗避障阶段和精避障阶段配合完成天体软着陆,粗避障阶段利用可见光相机进行较大范围和较大障碍的粗检测;接着在利用激光扫描对天体表面进行精确三维障碍检测,获得并剔除较小尺寸的障碍。但并未使用相机进行地面三维重建,直接使用激光雷达进行着陆安全区选择。
“Real-time hazard detection for landers”公开了几种应用可见光相机检测典型障碍的方法,与本专利用到的障碍检测方法不同,且对比文件并没有利用双目相机完成精避障阶段障碍检测及安全区选取流程。
“Stereo-Vision Algorithm for Hazard Detection during PlanetaryLandings”公开一种利用双目相机进行障碍检测的方法,但该方案以双目相机的稠密匹配为主,没有进行算法加速处理,同时也没有基于双目立体视觉进行着陆避障的整体流程设计。
上述方案以双目相机的稠密匹配为主,没有进行算法加速处理,同时也没有基于双目立体视觉进行着陆避障的整体流程设计。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提出一种基于FPGA实现的双目地外星体着陆避障系统,利用二维图像数据和三维高程数据结合的方法,使用低性能FPGA进行加速,可以快速实时得到高鲁棒性的避障结果。
本发明解决技术的方案是:
一种基于FPGA实现的双目地外星体着陆避障系统,包括FPGA、SRAM缓存模块、DSP模块、左相机和右相机;其中,FPGA包括图像数据接收模块、第一滚动缓存模块、第二滚动缓存模块、极线校正模块、CENSUS变换模块、匹配模块;
左相机和右相机:水平对称对准地外星体进行拍摄,分别获取左相机图像和右相机图像,并将左相机图像和右相机图像发送至图像数据接收模块;
图像数据接收模块:接收左相机和右相机传来的左相机图像和右相机图像,将左相机图像和右相机图像存入第一滚动缓存模块;并将左相机图像发送至SRAM缓存模块;
第一滚动缓存模块:接收图像数据接收模块传来的左相机图像和右相机图像,将左相机图像和右相机图像发送至极线校正模块;
极线校正模块:接收第一滚动缓存模块传来的左相机图像和右相机图像;调取预设的FPGA内部校正表,分别对左相机图像和右相机图像进行极线校正处理,生成左相机校正图像数据和右相机校正图像数据;并将左相机校正图像数据和右相机校正图像数据发送至第二滚动缓存模块;
第二滚动缓存模块:接收极线校正模块传来的左相机校正图像数据和右相机校正图像数据,并将左相机校正图像数据和右相机校正图像数据发送至CENSUS变换模块;
CENSUS变换模块:接收第二滚动缓存模块传来的左相机校正图像数据和右相机校正图像数据,分别对左相机校正图像数据和右相机校正图像数据进行编码变换处理,生成左相机CENSUS图像数据和右相机CENSUS图像数据;并将左相机CENSUS图像数据和右相机CENSUS图像数据发送至SRAM缓存模块;
SRAM缓存模块:接收CENSUS变换模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,将左相机CENSUS图像数据和右相机CENSUS图像数据发送至匹配模块;接收图像数据接收模块传来的左相机图像,将左相机图像发送至DSP模块;
匹配模块:接收SRAM缓存模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,进行双目匹配,生成三维高程图,将三维高程图发送至DSP模块;
DSP模块:接收SRAM缓存模块传来的左相机图像;对左相机图像中的障碍进行识别,并确定安全系数高的5个区域,即5个安全区域;接收匹配模块传来的三维高程图;将5个安全区域对应到三维高程图中,进行坡度测量,获得最佳安全着陆位置。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,极线校正模块在进行极线校正处理时,第一滚动缓存模块停止向极线校正模块发送相机图像,直至极线校正模块处理完成后,生成第一行结束信号,并将第一行结束信号发送至第一滚动缓存模块;第一滚动缓存模块接收到第一行结束信号后,继续发送相机图像。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,CENSUS变换模块进行编码变换时,第二滚动缓存模块停止向CENSUS变换模块发送校正图像数据,直至CENSUS变换模块完成编码变换后,生成第二行结束信号,并将第二行结束信号发送至第二滚动缓存模块;第二滚动缓存模块收到第二行结束信号后,继续发送校正图像数据。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,CENSUS变换模块进行编码变换时,变换窗口大小为27像素×27像素。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,所述匹配模块采用SAD模板匹配法对左相机CENSUS图像数据和右相机CENSUS图像数据进行双目匹配,生成三维高程图。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,DSP模块确定前5个安全系数高的区域的方法为:
将DSP进行等网格划分区域,识别每个网格中的障碍,障碍越多,安全系数越低,确定安全系数高的5个区域。
在上述的一种基于FPGA实现的双目地外星体着陆避障系统,所述DSP模块获得最佳安全着陆位置的方法为:
对三维高程图中5个安全区域的坡度进行测量,平均坡度最低的区域即为最佳安全着陆位置。
本发明与现有技术相比的有益效果是:
(1)本发明采用双目相机计算星体表面的三维信息,不需要额外配置激光雷达;
(2)本发明经过合理的内存空间和计算流程设计,实现了低性能FPGA加速的双目三维图像计算;
(3)本发明提出了一种新的二维三维信息结合的障碍规避方法,可以有效对石块、坑、斜坡等障碍进行规避,有效支持安全着陆区域的选择。
附图说明
图1为本发明着陆避障系统示意图。
具体实施方式
下面结合实施例对本发明作进一步阐述。
为了解决运算量巨大情况下实时性和鲁棒性的问题,本发明提出一种基于FPGA实现的双目地外星体着陆避障系统。双目左右相机对目标区域进行成像后,利用现场可编程门阵列(FPGA)作为硬件加速平台,通过合理设计功能模块的并行化、流水线化和存储分配,快速得到目标区域的三维高程图,解决立体匹配算法的实时性问题;同时使用单相机图像对避障区域进行粗筛选,然后利用基于FPGA得到的三维高程图对粗筛选的结果进行精细筛选,最终得到全部视场内的最佳避障区域。利用二维图像数据和三维高程数据结合的方法,使用低性能FPGA进行加速,可以快速实时得到高鲁棒性的避障结果。
基于FPGA实现的双目地外星体着陆避障系统,如图1所示,具体包括FPGA、SRAM缓存模块、DSP模块、左相机和右相机;其中,FPGA包括图像数据接收模块、第一滚动缓存模块、第二滚动缓存模块、极线校正模块、CENSUS变换模块、匹配模块。
左相机和右相机:水平对称对准地外星体进行拍摄,分别获取左相机图像和右相机图像,并将左相机图像和右相机图像发送至图像数据接收模块。
图像数据接收模块:接收左相机和右相机传来的左相机图像和右相机图像,将左相机图像和右相机图像存入第一滚动缓存模块;并将左相机图像发送至SRAM缓存模块。
第一滚动缓存模块:接收图像数据接收模块传来的左相机图像和右相机图像,将左相机图像和右相机图像发送至极线校正模块。
极线校正模块:接收第一滚动缓存模块传来的左相机图像和右相机图像;调取预设的FPGA内部校正表,分别对左相机图像和右相机图像进行极线校正处理,生成左相机校正图像数据和右相机校正图像数据;并将左相机校正图像数据和右相机校正图像数据发送至第二滚动缓存模块;极线校正模块在进行极线校正处理时,第一滚动缓存模块停止向极线校正模块发送相机图像,直至极线校正模块处理完成后,生成第一行结束信号,并将第一行结束信号发送至第一滚动缓存模块;第一滚动缓存模块接收到第一行结束信号后,继续发送相机图像。
第二滚动缓存模块:接收极线校正模块传来的左相机校正图像数据和右相机校正图像数据,并将左相机校正图像数据和右相机校正图像数据发送至CENSUS变换模块。
CENSUS变换模块:接收第二滚动缓存模块传来的左相机校正图像数据和右相机校正图像数据,分别对左相机校正图像数据和右相机校正图像数据进行编码变换处理,生成左相机CENSUS图像数据和右相机CENSUS图像数据;并将左相机CENSUS图像数据和右相机CENSUS图像数据发送至SRAM缓存模块。CENSUS变换模块进行编码变换时,第二滚动缓存模块停止向CENSUS变换模块发送校正图像数据,直至CENSUS变换模块完成编码变换后,生成第二行结束信号,并将第二行结束信号发送至第二滚动缓存模块;第二滚动缓存模块收到第二行结束信号后,继续发送校正图像数据。CENSUS变换模块进行编码变换时,变换窗口大小为27像素×27像素。
SRAM缓存模块:接收CENSUS变换模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,将左相机CENSUS图像数据和右相机CENSUS图像数据发送至匹配模块;接收图像数据接收模块传来的左相机图像,将左相机图像发送至DSP模块。
匹配模块:接收SRAM缓存模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,进行双目匹配,生成三维高程图,将三维高程图发送至DSP模块。匹配模块采用SAD模板匹配法对左相机CENSUS图像数据和右相机CENSUS图像数据进行双目匹配,生成三维高程图。
DSP模块:接收SRAM缓存模块传来的左相机图像;对左相机图像中的障碍进行识别,并确定安全系数高的5个区域,即5个安全区域;DSP模块确定前5个安全系数高的区域的方法为:将DSP进行等网格划分区域,识别每个网格中的障碍,障碍越多,安全系数越低,确定安全系数高的5个区域。接收匹配模块传来的三维高程图;将5个安全区域对应到三维高程图中,进行坡度测量,获得最佳安全着陆位置。DSP模块获得最佳安全着陆位置的方法为:对三维高程图中5个安全区域的坡度进行测量,平均坡度最低的区域即为最佳安全着陆位置。
FPGA接收左右相机探头图像数据L和R,对收到的图像数据缓存在FPGA内部的缓存中,缓存到M1行后触发极线校正模块,校正完的数据后存储于FPGA内另一块缓存中,当这一块缓存到M2行后触发CENSUS变换,计算完毕后存储于处理板的SRAM中。当处理板的SRAM收集到整幅图后,触发FPGA内部的匹配模块,匹配模块读入处理板中SRAM上的图像数据进行匹配处理,处理完成后将视差图再写回SRAM中。
本发明中双目相机计算星体表面的三维信息,不需要额外配置激光雷达;针对星上处理能力不足的问题,提出一种新的基于低性能FPGA实现的双目视差图的计算方案,经过合理的内存空间和计算流程设计,实现了低性能FPGA加速的双目三维图像计算。可以有效对石块、坑、斜坡等障碍进行规避,有效支持安全着陆区域的选择。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变换及修饰,均属于本发明技术方案的保护范围。
Claims (3)
1.一种基于FPGA实现的双目地外星体着陆避障系统,其特征在于:包括FPGA、SRAM缓存模块、DSP模块、左相机和右相机;其中,FPGA包括图像数据接收模块、第一滚动缓存模块、第二滚动缓存模块、极线校正模块、CENSUS变换模块、匹配模块;
左相机和右相机:水平对称对准地外星体进行拍摄,分别获取左相机图像和右相机图像,并将左相机图像和右相机图像发送至图像数据接收模块;
图像数据接收模块:接收左相机和右相机传来的左相机图像和右相机图像,将左相机图像和右相机图像存入第一滚动缓存模块;并将左相机图像发送至SRAM缓存模块;
第一滚动缓存模块:接收图像数据接收模块传来的左相机图像和右相机图像,将左相机图像和右相机图像发送至极线校正模块;
极线校正模块:接收第一滚动缓存模块传来的左相机图像和右相机图像;调取预设的FPGA内部校正表,分别对左相机图像和右相机图像进行极线校正处理,生成左相机校正图像数据和右相机校正图像数据;并将左相机校正图像数据和右相机校正图像数据发送至第二滚动缓存模块;
第二滚动缓存模块:接收极线校正模块传来的左相机校正图像数据和右相机校正图像数据,并将左相机校正图像数据和右相机校正图像数据发送至CENSUS变换模块;
CENSUS变换模块:接收第二滚动缓存模块传来的左相机校正图像数据和右相机校正图像数据,分别对左相机校正图像数据和右相机校正图像数据进行编码变换处理,生成左相机CENSUS图像数据和右相机CENSUS图像数据;并将左相机CENSUS图像数据和右相机CENSUS图像数据发送至SRAM缓存模块;
SRAM缓存模块:接收CENSUS变换模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,将左相机CENSUS图像数据和右相机CENSUS图像数据发送至匹配模块;接收图像数据接收模块传来的左相机图像,将左相机图像发送至DSP模块;
匹配模块:接收SRAM缓存模块传来的左相机CENSUS图像数据和右相机CENSUS图像数据,进行双目匹配,生成三维高程图,将三维高程图发送至DSP模块;
DSP模块:接收SRAM缓存模块传来的左相机图像;对左相机图像中的障碍进行识别,并确定安全系数高的5个区域,即5个安全区域;接收匹配模块传来的三维高程图;将5个安全区域对应到三维高程图中,进行坡度测量,获得最佳安全着陆位置;
极线校正模块在进行极线校正处理时,第一滚动缓存模块停止向极线校正模块发送相机图像,直至极线校正模块处理完成后,生成第一行结束信号,并将第一行结束信号发送至第一滚动缓存模块;第一滚动缓存模块接收到第一行结束信号后,继续发送相机图像;
CENSUS变换模块进行编码变换时,第二滚动缓存模块停止向CENSUS变换模块发送校正图像数据,直至CENSUS变换模块完成编码变换后,生成第二行结束信号,并将第二行结束信号发送至第二滚动缓存模块;第二滚动缓存模块收到第二行结束信号后,继续发送校正图像数据;
CENSUS变换模块进行编码变换时,变换窗口大小为27像素×27像素;
所述匹配模块采用SAD模板匹配法对左相机CENSUS图像数据和右相机CENSUS图像数据进行双目匹配,生成三维高程图。
2.根据权利要求1所述的一种基于FPGA实现的双目地外星体着陆避障系统,其特征在于:DSP模块确定前5个安全系数高的区域的方法为:
将DSP进行等网格划分区域,识别每个网格中的障碍,障碍越多,安全系数越低,确定安全系数高的5个区域。
3.根据权利要求2所述的一种基于FPGA实现的双目地外星体着陆避障系统,其特征在于:所述DSP模块获得最佳安全着陆位置的方法为:
对三维高程图中5个安全区域的坡度进行测量,平均坡度最低的区域即为最佳安全着陆位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107359.5A CN114037971B (zh) | 2021-09-22 | 2021-09-22 | 一种基于fpga实现的双目地外星体着陆避障系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111107359.5A CN114037971B (zh) | 2021-09-22 | 2021-09-22 | 一种基于fpga实现的双目地外星体着陆避障系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114037971A CN114037971A (zh) | 2022-02-11 |
CN114037971B true CN114037971B (zh) | 2023-06-16 |
Family
ID=80134461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111107359.5A Active CN114037971B (zh) | 2021-09-22 | 2021-09-22 | 一种基于fpga实现的双目地外星体着陆避障系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037971B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877129A (zh) * | 2010-06-08 | 2010-11-03 | 浙江工业大学 | 基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法 |
CN107472141A (zh) * | 2017-08-23 | 2017-12-15 | 王东红 | 一种智能型驾驶员视线增强设备 |
CN109410234A (zh) * | 2018-10-12 | 2019-03-01 | 南京理工大学 | 一种基于双目视觉避障的控制方法及控制系统 |
CN109509218A (zh) * | 2019-01-31 | 2019-03-22 | 深兰人工智能芯片研究院(江苏)有限公司 | 基于fpga获取视差图的方法、装置 |
-
2021
- 2021-09-22 CN CN202111107359.5A patent/CN114037971B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101877129A (zh) * | 2010-06-08 | 2010-11-03 | 浙江工业大学 | 基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法 |
CN107472141A (zh) * | 2017-08-23 | 2017-12-15 | 王东红 | 一种智能型驾驶员视线增强设备 |
CN109410234A (zh) * | 2018-10-12 | 2019-03-01 | 南京理工大学 | 一种基于双目视觉避障的控制方法及控制系统 |
CN109509218A (zh) * | 2019-01-31 | 2019-03-22 | 深兰人工智能芯片研究院(江苏)有限公司 | 基于fpga获取视差图的方法、装置 |
Non-Patent Citations (1)
Title |
---|
采用双目视觉测量的行星着陆相对导航方法;徐超 等;宇航学报;第37卷(第7期);802-809页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114037971A (zh) | 2022-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6484729B2 (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
KR100776649B1 (ko) | 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법 | |
US10462447B1 (en) | Electronic system including image processing unit for reconstructing 3D surfaces and iterative triangulation method | |
CN110462686B (zh) | 用于从场景获得深度信息的设备和方法 | |
JP3242529B2 (ja) | ステレオ画像対応付け方法およびステレオ画像視差計測方法 | |
CN101952855B (zh) | 从三维场景实时获取视觉信息的方法和照相机 | |
CN108257161B (zh) | 基于多相机的车辆环境三维重构和运动估计系统及方法 | |
CN104835158B (zh) | 基于格雷码结构光与极线约束的三维点云获取方法 | |
US11295516B2 (en) | Reconstruction method, reconstruction device, and generation method for generating a three-dimensional (3D) model | |
US20140328535A1 (en) | Sparse light field representation | |
CN102997891B (zh) | 场景深度的测量装置和方法 | |
Zhang et al. | Depth sensing beyond lidar range | |
WO2020221443A1 (en) | Scale-aware monocular localization and mapping | |
CN110852979A (zh) | 一种基于相位信息匹配的点云配准及融合方法 | |
CN108876861B (zh) | 一种地外天体巡视器的立体匹配方法 | |
CN114648669A (zh) | 一种域自适应双目视差计算的动车组故障检测方法及系统 | |
CN114037971B (zh) | 一种基于fpga实现的双目地外星体着陆避障系统 | |
CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
CN113706599B (zh) | 一种基于伪标签融合的双目深度估计方法 | |
Zitnick et al. | Multi-baseline stereo using surface extraction | |
CN107194334A (zh) | 基于光流模型的视频卫星影像密集匹配方法及系统 | |
CN116630389A (zh) | 一种基于光场相机的三维定位方法 | |
CN107610170B (zh) | 多目图像重聚焦的深度获取方法及系统 | |
CN115082621B (zh) | 一种三维成像方法、装置、系统、电子设备及存储介质 | |
CN115049822B (zh) | 三维成像方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |