CN110992487A - 手持式飞机油箱快速三维地图重建装置及重建方法 - Google Patents
手持式飞机油箱快速三维地图重建装置及重建方法 Download PDFInfo
- Publication number
- CN110992487A CN110992487A CN201911260762.4A CN201911260762A CN110992487A CN 110992487 A CN110992487 A CN 110992487A CN 201911260762 A CN201911260762 A CN 201911260762A CN 110992487 A CN110992487 A CN 110992487A
- Authority
- CN
- China
- Prior art keywords
- frame
- dimensional
- camera
- frames
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000002828 fuel tank Substances 0.000 title claims description 32
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 23
- 238000013519 translation Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 229910052744 lithium Inorganic materials 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 1
- 238000007689 inspection Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000007789 sealing Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了手持式飞机油箱快速三维地图重建装置及重建方法,包括包括工业摄像头、惯导传感器、手持握把、电池、微型工控机以及无线模块,本发明先针对单目相机在油箱内部所拍摄的当前帧照片提取角点特征;再对当前帧提取的角点利用光流法实现下一帧的特征跟踪;然后得到相邻两帧间的位姿变换;三维重建出一个初始特征点三维地图;选择满足一定条件的帧为整个油箱三维重建过程中的关键帧,针对所选的关键帧进行局部的稀疏集束调整,然后与惯性模块测量所得绝对尺度的位姿进行整合滤波,对飞机整体油箱内部进行快速三维稠密重建。本发明具有效率高、成本低、具有实时性而且可以保证在狭小飞机整机内部实现高精度稠密三维重建的优点。
Description
技术领域
本发明涉及图像信息学科科学领域,特别涉及一种手持式飞机油箱快速三维地图重建装置及重建方法。
背景技术
随着智能制造在航空领域的发展,制造过程中对于制造质量的检测手段也更加多元化和智能化。针对飞机整体油箱作为油密区域,是飞机结构密封中要求十分严格的部位,其良好的密封性是实现“安全、经济、舒适、环保”目标的必然要求。而目前在型号研制中整体油箱的泄露情况反复出现,导致制造时的气密试验和油密试验周期远高于同类竞争机型,同时由于油箱属于封闭式狭小空间,且内部结构较为复杂,不方便人员进入油箱内部进行气密性检查,因此为了实现高效地油箱内部气密性检查,考虑采用基于单目视觉的油箱内部快速稠密三维重建,从重建的结果上较为方便地检测密封情况。
为了实现低成本、高效、实时的油箱内部三维重建,采用单目相机在整机油箱内部进行移动完成实时定位和内部三维重建。传统的相机位位姿估计和三维重建通过提取相邻帧间图像的特征点和描述子,基于描述子匹配提取的特征点进而确定相邻两帧间相机的位移,然而由于油箱内部场景高度重复,基于描述子的特征点跟踪容易产生追踪失误,而且仅重建出提取到的特征点产生的是油箱内部的稀疏重建无法满足密封性检查的需求,同时单目相机重建存在尺度不确定性,无法支持箱内部的高精度稠密三维重建。
发明内容
针对背景技术中提到的问题,本发明提出了一种手持式飞机油箱快速三维地图重建装置及重建方法,不仅效率高、成本低、具有实时性而且可以保证在狭小飞机整机内部实现高精度稠密三维重建。
为实现上述技术目的,本发明采取的技术方案为:
手持式飞机油箱快速三维地图重建装置,其中:包括工业摄像头、惯导传感器、手持握把、电池、微型工控机以及无线模块,工业摄像头和惯导传感器固定在手持握把前端,工业摄像头和惯导传感器共同组成视觉里程计,用于获取精确的空间运动信息,电池固定于手持握把中,用于为工业摄像头、惯导传感器、微型工控机以及无线模块供电,手持握把、工业摄像头以及惯导传感器能伸入飞机油箱中,由工业摄像头以及惯导传感器采集飞机油箱内的图像信息,微型工控机固定在手持握把后部,工业摄像头、惯导传感器、无线模块均与微型工控机连接,工业摄像头和惯导传感器能将采集到的数据发送至微型工控机,再由微型工控机经无线模块发送至工作站。
为优化上述技术方案,采取的具体措施还包括:
上述的工业摄像头和惯导传感器通过法兰组件与手持握把固定连接,电池为锂电池组;工业摄像头为工业单目相机。
飞机油箱快速三维地图重建方法,包括以下步骤:
步骤一、作业人员携带手持式飞机油箱快速三维地图重建装置进入飞机整体油箱内部,将外部光源放置在固定位置并打开光源,然后启动手持式飞机油箱快速三维地图重建装置,移动手持式飞机油箱快速三维地图重建装置对飞机整体油箱内部进行连续拍照,数据经微型工控机发送至工作站,
步骤二、工作站针对拍照数据的上一帧与当前帧提取到的特征点利用光流法进行特征跟踪,完成相邻帧间图像的匹配关系;
步骤三、求解初始两帧间的位姿变换关系:求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵,再利用SVD分解即可得到初始两帧间的位姿变换T;
步骤四、基于初始两帧建立初始特征点三维地图;假设第一帧工业摄像头的相机位姿为原点,通过初始两帧间的位姿变换T获取到第二帧的位姿,利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标;
步骤五、求解新到来帧相机位姿;利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置,进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配,利用高斯牛顿法优化PnP问题实现对下一帧相机位姿的求解和优化;PnP问题指通过世界中的N个特征点与图像成像中的N个像点,计算出其投影关系,从而获得相机或物体位姿。
步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息,并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点,实现局部三维特征地图的更新,作为求解后续到来帧位姿的三维特征点;
步骤七、局部优化相机位姿和三维特征点地图;针对工业摄像头获得的连续帧,挑选满足一定条件的帧为关键帧,对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化,实现三维特征点坐标和相机位姿的共同优化;
步骤八、基于惯导传感器数据确定相机位姿和三维特征点地图尺度;由于利用工业摄像头实现相机定位和三维建图,存在尺度不确定性,进而融合惯导传感器数据基于EKF滤波实现定位与建图的尺度确定;
步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建,获得飞机油箱的三维建图。
步骤二中,拍照数据的上一帧与当前帧提取到的特征点为FAST特征点,工作站针对上一帧与当前帧提取到的特征点,建立两帧间图像金子塔,利用Lucas光流法进行两帧特征匹配,具体为:
基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设,优化误差:
其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标,T(x)为该特征点在第一帧图像像素坐标处像素灰度值,表示第一帧特征点在第二帧像素坐标系下的位置,其中p1、p2为第一帧特征点在像素坐标系中的沿着u向v向的平移分量,y为:x,y为某一个特征点像素坐标系u向、v向分量,I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值,基于特征点相邻像素具有相同运动假设:表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和;
步骤三中,位姿变换T的具体算法为:
若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量,此时对极约束为:
其中x1为第一帧提取到的特征点,x2为第二帧跟踪到的特征点,E为本质矩阵,通过最少8对匹配点即可求解出E,
本质矩阵E=t^R,
若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为:
p2=Hp1
其中p1为第一帧提取特征点,p2为第二帧追踪到特征点,H为单应矩阵,通过至少4对点即可求解出H,此时该式描述的是两个平面上特征点之间对应的关系;
K为相机内参,nT为场景平面的法向量理论值为1T,d为距离场景平面一定的平移量,最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。
步骤七中,关键帧的挑选满足以下条件:(a)距离上帧关键帧经过了至少20帧图像;(b) 该帧至少提取了30个特征点;(c)该帧跟踪到的上一关键帧的特征点至少小于90%;满足以上条件的帧可以被视为关键帧插入建图中。
步骤七中,在确定关键帧后,对关键帧进行局部BA优化(即光束平差优化),优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标,具体为优化误差:
其中i表示为相机关键帧第i帧,j表示建图过程中第j个三维特征点,m为相机关键帧数量,n为三维特征点数量,zij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置,ξi表示第i帧相机位姿,pj表示第j个三维坐标点,h(ξi,pj)表示将第i个三维特征点投射在第j帧像素坐标系下的位置,||eij||为:为观测像素坐标与实际pj三维坐标经过计算投影至像素坐标系下的差值,通过进行该局部BA优化可得到相机关键帧较为鲁棒和准确的位姿,为后续稠密建图进行准备。
步骤八中,基于惯导传感器数据确定相机位姿和三维特征点地图尺度的具体方法为:基于惯导传感器数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系,实现三维重建的尺度还原,计算相机坐标系与惯导传感器坐标系间的关系,将视觉里程计得到的位姿用于滤波更新,更新数据用于与惯导传感器数据融合,最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。
步骤九中,油箱内部稠密三维重建的具体方法为:将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建,即采用多次三角测量方法让估计出的像素深度值收敛,具体为:当新帧数据产生时,通过极线搜索和块匹配确定投影点位置,其中评价块匹配差异采用NCC相关性:
假设在待匹配两张图像上的第一张取某个p1像素周围的小块,记为A(i,j),并且第二张与其匹配的极线上P2像素周围也取很多个小块,记为B(i,j)。把p1像素周围的小块像素值记成 A∈Rw×w,把极线P2像素周围上的n个小块像素值记成Bi,i=1,…,n,那么这两个小块像素值的相关性即由上式所述。
假设所有像素的深度满足某初始高斯分布即d服从P(d)=N(u,σ2)u表示像素深度服从的均值,σ2表示像素深度服从的方差,每当新的数据到来时观测新深度值d仍然服从一个高斯分布unew表示新的像素深度服从的均值,表示新的像素深度服从的方差,根据几何关系计算三角化后的深度及不确定性,将当前观测融合进上一次的估计中,若收敛则停止计算,否则继续进行搜索。
与现有技术相比,本发明具有的有益效果是:
1、采用光流法对相邻帧间拍摄到的图像提取的特征进行跟踪,确保相邻帧间图像匹配的鲁棒性。
2、三维重建结果融入了惯导传感器数据,避免了单目相机三维重建的尺度的不确定性。
3、采用深度滤波方法进行油箱内部稠密建图,而非只建立特征点的稀疏地图,便于后续在油箱内部三维重建的结果上进行密封性检查。
附图说明
图1是手持式飞机油箱快速重建装置的结构示意图;
图2是手持式飞机油箱快速重建方法流程图。
附图标记为:工业摄像头1、惯导传感器2、法兰组件3、手持握把4、电池5、无线模块6、微型工控机7。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
如图1所示,本发明的手持式飞机油箱快速三维地图重建装置,其中:包括工业摄像头 1、惯导传感器2、手持握把4、电池5、微型工控机7以及无线模块6,工业摄像头1和惯导传感器2固定在手持握把4前端,工业摄像头1和惯导传感器2共同组成视觉里程计,用于获取精确的空间运动信息,电池5固定于手持握把4中,用于为工业摄像头1、惯导传感器2、微型工控机7以及无线模块6供电,手持握把4、工业摄像头1以及惯导传感器2能伸入飞机油箱中,由工业摄像头1以及惯导传感器2采集飞机油箱内的图像信息,微型工控机7固定在手持握把4后部,工业摄像头1、惯导传感器2、无线模块6均与微型工控机7连接,工业摄像头1和惯导传感器2能将采集到的数据发送至微型工控机7,再由微型工控机7经无线模块6发送至工作站。工作站在接收到微型工控机发来的数据后开始进行特征点提取,跟踪,轨迹及位姿估计等一系列运算,最后根据滤波后的绝对尺度轨迹,位姿及当前图像帧来进行实时重建。
工业摄像头1和惯导传感器2通过法兰组件3与手持握把4固定连接,电池5为锂电池组;工业摄像头1为工业单目相机。
飞机油箱快速三维地图重建方法,包括以下步骤:
步骤一、一种手持式飞机油箱快速重建装置及方法,其作业步骤具体为:作业人员携带手持式飞机油箱快速重建装置进入飞机整体油箱内部,将外部光源放置在固定位置并打开光源(需额自行准备照明设备或装置),然后启动设备并进行必要的初始化过程,最后移动装置进行连续拍照和快速重建,数据经微型工控机7发送至工作站,
步骤二、工作站在单目相机获得的每一帧图像,对图像提取FAST特征点,因为FAST特征点提取数量多,速度快可以加速帧间特征跟踪的速度,工作站针对拍照数据的上一帧与当前帧提取到的特征点利用Lucas光流法进行特征跟踪,完成相邻帧间图像的匹配关系;拍照数据的上一帧与当前帧提取到的特征点为FAST特征点,工作站针对上一帧与当前帧提取到的特征点,建立两帧间图像金子塔,利用Lucas光流法进行两帧特征匹配,具体为:
基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设,优化误差:
其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标,T(x)为该特征点在第一帧图像像素坐标处像素灰度值,表示第一帧特征点在第二帧像素坐标系下的位置,其中p1、p2为第一帧特征点在像素坐标系中的沿着u向v向的平移分量,y为:x,y为某一个特征点像素坐标系u向、v向分量,I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值,基于特征点相邻像素具有相同运动假设:表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和;
步骤三、求解初始两帧间的位姿变换关系:求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵,再利用SVD分解即可得到初始两帧间的位姿变换T;
位姿变换T的具体算法为:
若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量,此时对极约束为:
其中x1为第一帧提取到的特征点,x2为第二帧跟踪到的特征点,E为本质矩阵,通过最少8对匹配点即可求解出E,
本质矩阵E=t^R,
若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为:
p2=Hp1
其中p1为第一帧提取特征点,p2为第二帧追踪到特征点,H为单应矩阵,通过至少4对点即可求解出H,此时该式描述的是两个平面上特征点之间对应的关系;
K为相机内参,nT为场景平面的法向量理论值为1T,d为距离场景平面一定的平移量,最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。
步骤四、基于初始两帧建立初始特征点三维地图;假设第一帧工业摄像头1的相机位姿为原点,通过初始两帧间的位姿变换T获取到第二帧的位姿,利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标;
步骤五、求解新到来帧相机位姿;利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置,进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配,利用高斯牛顿法优化PnP问题PnP问题指通过世界中的N个特征点与图像成像中的N个像点,计算出其投影关系,从而获得相机或物体位姿实现对下一帧相机位姿的求解和优化;
步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息,并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点,实现局部三维特征地图的更新,作为求解后续到来帧位姿的三维特征点;
步骤七、局部优化相机位姿和三维特征点地图;针对工业摄像头1获得的连续帧,挑选满足一定条件的帧为关键帧,对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化,实现三维特征点坐标和相机位姿的共同优化;
关键帧的挑选满足以下条件:(a)距离上帧关键帧经过了至少20帧图像;(b)该帧至少提取了30个特征点;(c)该帧跟踪到的上一关键帧的特征点至少小于90%;满足以上条件的帧可以被视为关键帧插入建图中。
在确定关键帧后,对关键帧进行局部BA优化(即光束平差优化),优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标,具体为优化误差:
其中i表示为相机关键帧第i帧,j表示建图过程中第j个三维特征点,m为相机关键帧数量,n为三维特征点数量,zij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置,ξi表示第i帧相机位姿,pj表示第j个三维坐标点,h(ξi,pj)表示将第i个三维特征点投射在第j帧像素坐标系下的位置,||eij||为:为观测像素坐标与实际pj三维坐标经过计算投影至像素坐标系下的差值,通过进行该局部BA优化可得到相机关键帧较为鲁棒和准确的位姿,为后续稠密建图进行准备。
步骤八、基于惯导传感器2数据确定相机位姿和三维特征点地图尺度;由于利用工业摄像头1实现相机定位和三维建图,存在尺度不确定性,进而融合惯导传感器2数据基于EKF 滤波实现定位与建图的尺度确定;基于惯导传感器2数据确定相机位姿和三维特征点地图尺度的具体方法为:基于惯导传感器2数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系,实现三维重建的尺度还原,计算相机坐标系与惯导传感器坐标系间的关系,将视觉里程计得到的位姿用于滤波更新,更新数据用于与惯导传感器数据融合,最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。
步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建,获得飞机油箱的三维建图,油箱内部稠密三维重建的具体方法为:将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建,即采用多次三角测量方法让估计出的像素深度值收敛,具体为:当新帧数据产生时,通过极线搜索和块匹配确定投影点位置,其中评价块匹配差异采用NCC相关性:
假设在待匹配两张图像上的第一张取某个p1像素周围的小块,记为A(i,j),并且第二张与其匹配的极线上P2像素周围也取很多个小块,记为B(i,j),把p1像素周围的小块像素值记成 A∈Rw×w,把极线P2像素周围上的n个小块像素值记成Bi,i=1,…,n,那么这两个小块像素值的相关性即由上式所述,
假设所有像素的深度满足某初始高斯分布即d服从P(d)=N(u,σ2),u表示像素深度服从的均值,σ2表示像素深度服从的方差,每当新的数据到来时观测新深度值d仍然服从一个高斯分布unew表示新的像素深度服从的均值,表示新的像素深度服从的方差,根据几何关系计算三角化后的深度及不确定性,将当前观测融合进上一次的估计中。若收敛则停止计算,否则继续进行搜索。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (9)
1.手持式飞机油箱快速三维地图重建装置,其特征是:包括工业摄像头(1)、惯导传感器(2)、手持握把(4)、电池(5)、微型工控机(7)以及无线模块(6),所述的工业摄像头(1)和惯导传感器(2)固定在手持握把(4)前端,工业摄像头(1)和惯导传感器(2)共同组成视觉里程计,用于获取精确的空间运动信息,所述的电池(5)固定于手持握把(4)中,用于为工业摄像头(1)、惯导传感器(2)、微型工控机(7)以及无线模块(6)供电,所述的手持握把(4)、工业摄像头(1)以及惯导传感器(2)能伸入飞机油箱中,由工业摄像头(1)以及惯导传感器(2)采集飞机油箱内的图像信息,所述的微型工控机(7)固定在手持握把(4)后部,工业摄像头(1)、惯导传感器(2)、无线模块(6)均与微型工控机(7)连接,所述的工业摄像头(1)和惯导传感器(2)能将采集到的数据发送至微型工控机(7),再由微型工控机(7)经无线模块(6)发送至工作站。
2.根据权利要求1所述的手持式飞机油箱快速三维地图重建装置,其特征是:所述的工业摄像头(1)和惯导传感器(2)通过法兰组件(3)与手持握把(4)固定连接,所述的电池(5)为锂电池组;所述的工业摄像头(1)为工业单目相机。
3.如权利要求1所述的手持式飞机油箱快速三维地图重建装置重建飞机油箱三维地图的方法,其特征是:包括以下步骤:
步骤一、作业人员携带手持式飞机油箱快速三维地图重建装置进入飞机整体油箱内部,将外部光源放置在固定位置并打开光源,然后启动手持式飞机油箱快速三维地图重建装置,移动手持式飞机油箱快速三维地图重建装置对飞机整体油箱内部进行连续拍照,数据经微型工控机(7)发送至工作站,
步骤二、工作站针对拍照数据的上一帧与当前帧提取到的特征点利用光流法进行特征跟踪,完成相邻帧间图像的匹配关系;
步骤三、求解初始两帧间的位姿变换关系:求解利用特征跟踪实现匹配的初始第一帧和第二帧间的本质矩阵或者单应矩阵,再利用SVD分解即可得到初始两帧间的位姿变换T;
步骤四、基于初始两帧建立初始特征点三维地图;假设第一帧工业摄像头(1)的相机位姿为原点,通过初始两帧间的位姿变换T获取到第二帧的位姿,利用三角化测量方法重建出两帧间匹配的特征点初始三维点坐标;
步骤五、求解新到来帧相机位姿;利用光流法跟踪当前帧二维特征点在下一帧二维图像的位置,进而形成下一帧二维特征点与上一帧三维重建出的三维特征点的匹配,利用高斯牛顿法优化PnP问题实现对下一帧相机位姿的求解和优化;PnP问题指通过世界中的N个特征点与图像成像中的N个像点,计算出其投影关系,从而获得相机或物体位姿;
步骤六、在获取当前帧相机位姿并在当前帧跟踪到上一帧特征点后继续利用三角化测量方法得出新匹配的帧特征点的深度信息,并且删掉之前建立的而现在不在当前帧视野范围内的三维特征点,实现局部三维特征地图的更新,作为求解后续到来帧位姿的三维特征点;
步骤七、局部优化相机位姿和三维特征点地图;针对工业摄像头(1)获得的连续帧,挑选满足一定条件的帧为关键帧,对重建出的在关键帧视野范围内的三维特征点坐标和与关键帧共同观测特征点的相邻帧位姿进行局部稀疏集束优化,实现三维特征点坐标和相机位姿的共同优化;
步骤八、基于惯导传感器(2)数据确定相机位姿和三维特征点地图尺度;由于利用工业摄像头(1)实现相机定位和三维建图,存在尺度不确定性,进而融合惯导传感器(2)数据基于EKF滤波实现定位与建图的尺度确定;
步骤九、基于优化后的相机位姿进行油箱内部稠密三维重建,获得飞机油箱的三维建图。
4.根据权利要求3所述的飞机油箱快速三维地图重建方法:其特征是:步骤二中,拍照数据的上一帧与当前帧提取到的特征点为FAST特征点,工作站针对上一帧与当前帧提取到的特征点,建立两帧间图像金子塔,利用Lucas光流法进行两帧特征匹配,具体为:
基于两帧之间灰度不变以及特征点相邻像素具有相同运动的假设,优化误差:
其中x为第一帧图像某一个特征点在像素坐标系u向、v向分量坐标,T(x)为该特征点在第一帧图像像素坐标处像素灰度值,表示第一帧特征点在第二帧像素坐标系下的位置,其中p1、p2为第一帧特征点在像素坐标系中的沿着u向v向的平移分量,y为:x,y为某一个特征点像素坐标系u向、v向分量,I(·)表示追踪到特征点在第二帧像素坐标系下位置的灰度值,基于特征点相邻像素具有相同运动假设:表示对追踪到的某个特征点领域内对所有像素灰度误差进行求和;
5.根据权利要求4所述的飞机油箱快速三维地图重建方法:其特征是:步骤三中,位姿变换T的具体算法为:
若一、二两帧间拍摄到的特征点都并非共面且两帧间保证有一定平移量,此时对极约束为:
其中x1为第一帧提取到的特征点,x2为第二帧跟踪到的特征点,E为本质矩阵,通过最少8对匹配点即可求解出E,
本质矩阵E=t^R,
若一、二两帧间拍摄到的特征点都落在同一平面上此时对极约束为:
p2=Hp1
其中p1为第一帧提取特征点,p2为第二帧追踪到特征点,H为单应矩阵,通过至少4对点即可求解出H,此时该式描述的是两个平面上特征点之间对应的关系;
K为相机内参,nT为场景平面的法向量理论值为1T,d为距离场景平面一定的平移量,最终利用数值法或者解析法将H分解可得旋转矩阵R和平移向量t。
6.根据权利要求5所述的飞机油箱快速三维地图重建方法:其特征是:步骤七中,关键帧的挑选满足以下条件:(a)距离上帧关键帧经过了至少20帧图像;(b)该帧至少提取了30个特征点;(c)该帧跟踪到的上一关键帧的特征点至少小于90%;满足以上条件的帧可以被视为关键帧插入建图中。
7.根据权利要求6所述的飞机油箱快速三维地图重建方法:其特征是:步骤七中,在确定关键帧后,对关键帧进行局部光束平差优化,优化当前关键帧位姿和通过当前帧进行建图的特征点三维坐标,具体为优化误差:
其中i表示为相机关键帧第i帧,j表示建图过程中第j个三维特征点,m为相机关键帧数量,n为三维特征点数量,zij表示观测到第j个三维特征点在相机在第i帧相机像素坐标系下的位置,ξi表示第i帧相机位姿,pj表示第j个三维坐标点,h(ξi,pj)表示将第i个三维特征点投射在第j帧像素坐标系下的位置,||eij||为:为观测像素坐标与实际pj三维坐标经过计算投影至像素坐标系下的差值,通过进行该局部BA优化可得到相机关键帧较为鲁棒和准确的位姿,为后续稠密建图进行准备。
8.根据权利要求7所述的飞机油箱快速三维地图重建方法:其特征是:步骤八中,基于惯导传感器(2)数据确定相机位姿和三维特征点地图尺度的具体方法为:基于惯导传感器(2)数据引入一个尺度因子λ表征求得的计算求解位移与传感器实际测得位移比例关系,实现三维重建的尺度还原,计算相机坐标系与惯导传感器坐标系间的关系,将视觉里程计得到的位姿用于滤波更新,更新数据用于与惯导传感器数据融合,最终基于惯导传感器数据确定相机位姿和三维特征点地图尺度。
9.根据权利要求8所述的飞机油箱快速三维地图重建方法:其特征是:步骤九中,油箱内部稠密三维重建的具体方法为:将连续帧图像中的每个像素值都采用深度滤波器技术进行稠密三维重建,即采用多次三角测量方法让估计出的像素深度值收敛,具体为:当新帧数据产生时,通过极线搜索和块匹配确定投影点位置,其中评价块匹配差异采用NCC相关性:
假设在待匹配两张图像上的第一张取某个p1像素周围的小块,记为A(i,j),并且第二张与其匹配的极线上P2像素周围也取很多个小块,记为B(i,j),把p1像素周围的小块像素值记成A∈Rw×w,把极线P2像素周围上的n个小块像素值记成Bi,i=1,…,n,那么这两个小块像素值的相关性即由上式所述,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260762.4A CN110992487B (zh) | 2019-12-10 | 2019-12-10 | 手持式飞机油箱快速三维地图重建装置及重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911260762.4A CN110992487B (zh) | 2019-12-10 | 2019-12-10 | 手持式飞机油箱快速三维地图重建装置及重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110992487A true CN110992487A (zh) | 2020-04-10 |
CN110992487B CN110992487B (zh) | 2020-09-29 |
Family
ID=70092094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911260762.4A Active CN110992487B (zh) | 2019-12-10 | 2019-12-10 | 手持式飞机油箱快速三维地图重建装置及重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110992487B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111402429A (zh) * | 2020-06-08 | 2020-07-10 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN111611913A (zh) * | 2020-05-20 | 2020-09-01 | 北京海月水母科技有限公司 | 一种单目人脸识别探头人形定位技术 |
CN111652933A (zh) * | 2020-05-06 | 2020-09-11 | Oppo广东移动通信有限公司 | 基于单目相机的重定位方法、装置、存储介质与电子设备 |
CN113112542A (zh) * | 2021-03-25 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 一种视觉定位方法、装置、电子设备及存储介质 |
CN113223007A (zh) * | 2021-06-28 | 2021-08-06 | 浙江华睿科技股份有限公司 | 视觉里程计的实现方法、装置及电子设备 |
CN114777649A (zh) * | 2022-04-21 | 2022-07-22 | 南京航空航天大学 | 一种飞机整体油箱螺栓封包尺寸检测系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105852A (zh) * | 2011-11-14 | 2013-05-15 | 联想(北京)有限公司 | 位移计算方法和设备及即时定位与地图构建方法和设备 |
CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
US20150308618A1 (en) * | 2014-03-12 | 2015-10-29 | Koncept Innovators, LLC. | Vest-mounted gimbal support, and a method for its use |
CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
CN105825518A (zh) * | 2016-03-31 | 2016-08-03 | 西安电子科技大学 | 基于移动平台拍摄的序列图像快速三维重建方法 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
CN205749912U (zh) * | 2016-05-24 | 2016-11-30 | 南京泰司空间信息科技有限公司 | 一种室内移动测量装置 |
CN207408593U (zh) * | 2017-09-11 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种手持式同步定位与地图构建设备 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
CN110118572A (zh) * | 2019-05-08 | 2019-08-13 | 北京建筑大学 | 多目立体视觉与惯性导航系统及相对位姿参数确定方法 |
-
2019
- 2019-12-10 CN CN201911260762.4A patent/CN110992487B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103105852A (zh) * | 2011-11-14 | 2013-05-15 | 联想(北京)有限公司 | 位移计算方法和设备及即时定位与地图构建方法和设备 |
US20150308618A1 (en) * | 2014-03-12 | 2015-10-29 | Koncept Innovators, LLC. | Vest-mounted gimbal support, and a method for its use |
CN104732518A (zh) * | 2015-01-19 | 2015-06-24 | 北京工业大学 | 一种基于智能机器人地面特征的ptam改进方法 |
CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
CN105825518A (zh) * | 2016-03-31 | 2016-08-03 | 西安电子科技大学 | 基于移动平台拍摄的序列图像快速三维重建方法 |
CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
CN205749912U (zh) * | 2016-05-24 | 2016-11-30 | 南京泰司空间信息科技有限公司 | 一种室内移动测量装置 |
CN207408593U (zh) * | 2017-09-11 | 2018-05-25 | 深圳灵喵机器人技术有限公司 | 一种手持式同步定位与地图构建设备 |
CN108717712A (zh) * | 2018-05-29 | 2018-10-30 | 东北大学 | 一种基于地平面假设的视觉惯导slam方法 |
CN109544636A (zh) * | 2018-10-10 | 2019-03-29 | 广州大学 | 一种融合特征点法和直接法的快速单目视觉里程计导航定位方法 |
CN110118572A (zh) * | 2019-05-08 | 2019-08-13 | 北京建筑大学 | 多目立体视觉与惯性导航系统及相对位姿参数确定方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652933A (zh) * | 2020-05-06 | 2020-09-11 | Oppo广东移动通信有限公司 | 基于单目相机的重定位方法、装置、存储介质与电子设备 |
CN111652933B (zh) * | 2020-05-06 | 2023-08-04 | Oppo广东移动通信有限公司 | 基于单目相机的重定位方法、装置、存储介质与电子设备 |
CN111611913A (zh) * | 2020-05-20 | 2020-09-01 | 北京海月水母科技有限公司 | 一种单目人脸识别探头人形定位技术 |
CN111402429A (zh) * | 2020-06-08 | 2020-07-10 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN111402429B (zh) * | 2020-06-08 | 2020-09-15 | 成都索贝数码科技股份有限公司 | 一种尺度还原、三维重建方法、系统、存储介质及设备 |
CN113112542A (zh) * | 2021-03-25 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 一种视觉定位方法、装置、电子设备及存储介质 |
CN113223007A (zh) * | 2021-06-28 | 2021-08-06 | 浙江华睿科技股份有限公司 | 视觉里程计的实现方法、装置及电子设备 |
CN114777649A (zh) * | 2022-04-21 | 2022-07-22 | 南京航空航天大学 | 一种飞机整体油箱螺栓封包尺寸检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110992487B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110992487B (zh) | 手持式飞机油箱快速三维地图重建装置及重建方法 | |
CN111045017B (zh) | 一种激光和视觉融合的巡检机器人变电站地图构建方法 | |
CN112902953B (zh) | 一种基于slam技术的自主位姿测量方法 | |
CN111968129B (zh) | 具有语义感知的即时定位与地图构建系统及方法 | |
CN110189399B (zh) | 一种室内三维布局重建的方法及系统 | |
Zhang et al. | Intelligent collaborative localization among air-ground robots for industrial environment perception | |
CN105225269A (zh) | 基于运动机构的三维物体建模系统 | |
CN109658457B (zh) | 一种激光与相机任意相对位姿关系的标定方法 | |
CN112785702A (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
CN111487642A (zh) | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 | |
CN109579843A (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
CN111060924B (zh) | 一种slam与目标跟踪方法 | |
CN108317953A (zh) | 一种基于无人机的双目视觉目标表面3d检测方法及系统 | |
CN112461210B (zh) | 一种空地协同建筑测绘机器人系统及其测绘方法 | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN106898022A (zh) | 一种手持式快速三维扫描系统及方法 | |
CN111899280B (zh) | 采用深度学习和混合型位姿估计的单目视觉里程计方法 | |
CN109579825A (zh) | 基于双目视觉和卷积神经网络的机器人定位系统及方法 | |
CN111489392B (zh) | 多人环境下单个目标人体运动姿态捕捉方法及系统 | |
WO2024007485A1 (zh) | 基于视觉特征的空地多机器人地图融合方法 | |
CN114812558B (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
CN116222543A (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
Cheng | Real-time surface slope estimation by homography alignment for spacecraft safe landing | |
CN112945233A (zh) | 一种全局无漂移的自主机器人同时定位与地图构建方法 | |
CN116957360A (zh) | 一种基于无人机的空间观测与重建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220418 Address after: 211106 room 1003-1005, No. 1698, Shuanglong Avenue, Jiangning District, Nanjing, Jiangsu Province (Jiangning Development Zone) Patentee after: Nanjing Yuntong Technology Co.,Ltd. Address before: No. 29, Qinhuai District, Qinhuai District, Nanjing, Jiangsu Patentee before: Nanjing University of Aeronautics and Astronautics |