CN111784753B - 自主水下机器人回收对接前景视场三维重建立体匹配方法 - Google Patents
自主水下机器人回收对接前景视场三维重建立体匹配方法 Download PDFInfo
- Publication number
- CN111784753B CN111784753B CN202010636486.3A CN202010636486A CN111784753B CN 111784753 B CN111784753 B CN 111784753B CN 202010636486 A CN202010636486 A CN 202010636486A CN 111784753 B CN111784753 B CN 111784753B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- window
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000011084 recovery Methods 0.000 title claims abstract description 21
- 238000003032 molecular docking Methods 0.000 title description 29
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000002776 aggregation Effects 0.000 claims abstract description 13
- 238000004220 aggregation Methods 0.000 claims abstract description 13
- 210000001503 joint Anatomy 0.000 claims abstract description 8
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012887 quadratic function Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 2
- 238000004064 recycling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种自主水下机器人回收对接前景视场三维重建立体匹配方法，用最小生成树算法将全图像素联系起来，使图像内距离该点较远的颜色差别很大的像素点传递较小的支撑量，距离相近颜色差别不大的传递较大的支撑量。将CENCUS变化与树结构相结合，解决传统立体匹配算法对水下图片中弱纹理区域的匹配误差率高的问题。采用CENCUS变换区分水下图像的弱纹理区域实现代价计算，再采用基于最小生成树的立体匹配算法进行代价聚合，接着采用WTA算法计算得到代价最小的视差值，最后采用亚像素精化对视差进行平滑优化，实现最终视差图的输出。
Description
技术领域
本发明涉及一种自主水下机器人回收对接前景视场的三维重建，尤其涉及自主水下机器人回收对接前景视场三维重建立体匹配方法，属于机器人技术领域。
背景技术
自主水下机器人(Autonomous Underwater Vehicle，AUV)，由于其自身携带了能源以及能够自行决策的控制器，能自主完成预先设置的使命任务，适应海洋复杂恶劣的环境，代替了工作人员进行潜水作业，保证工作人员的安全，并且资金开销小，所以被广泛应用于海洋矿产资源的探测、海底石油管道的检测、水下考古等领域。然而由于其携带的能源有限，航行时间以及航行距离受到限制，所以AUV水下回收对接已经成为了世界各国研究的重点。水下回收对接能够实现补充能源、数据上传、任务下载以及载体维护等功能，有效减小了风险系数，提高了AUV作业的效率，维持了作业的自主性以及可持续性。目前美国、英国、德国、日本等国家对于AUV以及AUV水下回收对接的研究较为成熟，国内在AUV方面的研究主要集中于中国科学院沈阳自动化研究所、浙江大学以及哈尔滨工程大学等单位。各国科学家根据不同AUV的特点以及不同的对接目标，设计了不同的AUV回收对接系统，大致可分为五类，(1)水下箱(笼)式对接；(2)机械手或载体辅助式对接；(3)绳索或杆类引导对接；(4)平台阻拦索式对接；(5)喇叭口式引导对接。
在AUV回收对接过程中，有多个关键技术影响着对接成功率，其中路径规划决定着AUV能否有效避开障碍物，规划出一条安全无碰的回坞路径，从而实现AUV的回收对接。对AUV的前景视场进行三维重建则是路径规划的基础与前提条件，为复杂海洋环境下的路径规划提供先验知识，为实时在线规划提供环境信息。同时在末端导引对接阶段，AUV控制系统采用光视觉导航，以双目摄像机作为传感器，实现末端导航，在此阶段，回收对接坞出现在双目摄像机的视场中，此时三维重建能够实现回收坞的重建，从而辅助双目光视觉导航，使得末端导引对接阶段的导航定位更加精确，提高AUV回收对接的成功率。
AUV回收对接前景视场三维重建主要分为图像采集、图像预处理、立体匹配以及三维重建四个步骤，其中立体匹配是实现有效三维重建的关键技术。
立体匹配根据匹配基元不同主要分为区域匹配、特征匹配和相位匹配，基于区域的匹配算法对每个像素点求视差，最后得到稠密视差图，基于特征的匹配算法提取特征点进行匹配，最后得到稀疏视差图，而基于相位的匹配假定在图像对应点中，其频率范围内局部相位相等，在频率范围内进行视差估计。而根据优化理论不同将立体匹配分为局部匹配和全局匹配，局部匹配利用像素领域信息进行视差计算，绝对差和(Sum of AbsoluteDifferences，SAD)、方差和(Sum of Squared Differences，SSD)、归一化互相关(Normalized Cross Correlation，NCC)以及在这些算法基础上的改进算法是这一类中的经典算法。全局匹配在构造能量函数之后加入平滑约束以达到更加精细化的处理视差结果的目的，得到的结果较为准确，但是全局算法在复杂度较高的实时系统中没有应用优势，置信传播(Believe Propagation，BP)、图割法(Graph Cuts，GC)以及动态规划(DynamicProgramming，DP)是全局算法中的经典算法。
由于基于双目摄像机在水下拍摄的图像存在照度低，纹理弱等特点，现有立体匹配算法针对双目水下图像处理存在以下缺点：
(1)在匹配代价聚合的过程中，单纯的在长方形或者正方形支撑窗口中采用方差和、绝对差和、零均值归一化及自适应权重测度等函数进行计算，窗口过小则会错误的估计视差值，过大则会模糊区域边界信息，上述函数在低纹理区域不足以区分模糊像素点，导致多对一的错误匹配。
(2)对于图像纹理不够充分而且存在噪声的情况下，低纹理的待匹配点在正确的匹配上不能捕捉到正确纹理区域就容易导致错误的匹配结果，导致重建点结果不平滑及边界不清晰。
由于以上缺点的存在，现有的低纹理图像立体匹配算法在水下并不能得到令人满意的效果。申请号为“201810008643.9”的专利文献公开了“一种双目图像基于最小生成树的立体匹配方法及系统”，提供了一种双目图像基于最小生成树的立体匹配方法、系统和计算机可读存储介质，引入像素点的匹配代价矢量特征，在构造最小生成树的过程中，最小生成树的边的权重至少由连接该边的两个像素点的匹配代价矢量特征的距离所定义。但是此专利文献对于水下图片弱纹理甚至无纹理的问题无法进行有效解决，不能将水下图片中弱纹理的特征点进行有效匹配，造成误匹配率较高。
发明内容
本发明的目的在于提供自主水下机器人回收对接前景视场三维重建立体匹配方法，提供一种改进的基于最小生成树结构的立体匹配算法，从而解决水下图像纹理弱，匹配精度不高以及匹配速度慢的问题，从而实现水下三维重建，应用于全驱动自主水下机器人回收控制过程，提供水下自主机器人回收过程中路径规划所需要的环境信息，为后续的路径规划与避障提供必要的先验知识。
本发明的目的通过以下技术予以实现：
一种自主水下机器人回收对接前景视场三维重建立体匹配方法，前景视场分别在左右摄像机上成像，形成左图和右图，回收对接前景视场三维重建包括以下步骤：
(1)采集左右摄像机图像，对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；
(2)对得到的图像进行预处理，减小水对光成像的影响，消除水下折射对成像的影响，得到对应的空气中的图像；
(3)对得到的空气中的图像，采用改进的基于最小生成树结构的立体匹配方法，首先采用CENSUS变换区分水下图像对应的空气中图像的弱纹理区域实现匹配代价计算，再采用基于最小生成树的立体匹配算法进行代价聚合，接着采用WTA(WINNER-TAKES-ALL)算法计算得到代价最小的视差值，最后采用亚像素精化对视差进行平滑优化，实现最终视差图的输出；
(4)根据步骤(1)标定的参数进行三维重建。
本发明的目的还可以通过以下技术措施来进一步实现：
前述自主水下机器人回收对接前景视场三维重建立体匹配方法，其中采用CENSUS变换区分水下图像对应的空气中图像的弱纹理区域实现匹配代价计算：
①将得到的空气中图像左图转换为对应的灰度图，在左灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值。
②移动窗口，遍历整个得到的空气中图像左图所对应灰度图中的像素点，完成对左图的CENSUS变换。
③将得到的空气中图像右图转换为对应的灰度图，在右灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值。
④移动窗口，遍历整个得到的空气中图像右图所对应灰度图中的像素点，完成对右图的CENSUS变换。
⑤经过CENSUS变换后的图像使用汉明距离计算得到的空气中左右两幅图像的相似度。当左右两幅图像中两点视差为d时计算两点的汉明距离：将此两点的CENSUS变换值逐位进行异或运算，然后计算结果为1的个数，即为此两点之间的汉明距离。汉明距离计算公式为：
HH(p，d)＝Hamming(CCTL(p),CCTR(p，d)) (5)
其中，CCTL、CCTR分别左右灰度图像经CENSUS变换后的图像，CCTL(p)表示左灰度图中任意一点p，CCTR(p，d)表示右灰度图中与点p视差为d的点，Hamming(CCTL(p),CCTR(p，d))表示将点CCTL(p)与点CCTR(p，d)的CENSUS变换值逐位进行异或运算并计算结果为1的个数，HH(p，d)表示左右图中视差为d的两点之间的汉明距离。
所以CENSUS变换的匹配代价计算模型为：
Cd(p，d)＝1-exp(-λHH(p，d)) (6)
其中，Cd(p，d)为在视差为d时点p的匹配代价，HH(p，d)左右图中视差为d的两点之间的汉明距离,λ为归一化常数，取为0.1。
前述自主水下机器人回收对接前景视场三维重建立体匹配方法，其中采用基于最小生成树的立体匹配算法进行代价聚合：
①首先将得到的空气中图像的左图RGB图像表示成连通的无向图G(V,E)，其中V表示图像中所有像素点，E表示连接相邻两像素点的边，边的权值即为相邻两像素点的相似度测度。连接相邻两像素点e和k的边的权值采用三通道颜色及梯度特征计算：
其中k是e的相邻点，Ii(e)，Ii(k)分别表示点e和点k的i通道值，i∈{R,G,B}，R表示红颜色通道，G表示绿颜色通道，B表示蓝颜色通道，▽x，▽y分别表示图像在x和y方向上的梯度，rc，rg分别表示颜色信息以及梯度信息的权值，rc+rg＝1，r(e,k)表示连接点e和点k的边的权值，即点e和点k的相似度，r(k,e)表示即点k与点e相似度，其值与r(e,k)相等。
②设得到的空气中图像的左图RGB图中有n个像素点，记为n个节点，最初先构造一个只有n个节点，没有边的非连通图T＝{V,空}，图中每个节点自成一个连通分量，将连接相邻两节点的所有边按照权值的大小进行升序排序。
③按照权值从小到大的顺序每次选择一条边，若该边的两个节点落在不同的连通分量上，则将此边加入到最小生成树中；否则，则将此边舍去并且此后再也不选用这条边。
④重复步骤③，直到具有n个节点的连通图G(V,E)筛选出n-1条边为止，筛选出来的边和所有的节点构成此RGB图的最小生成树。
⑤将最小生成树中点u和点v两个节点之间的连接边的最小权重之和记为D(u,v)，则两点之间的相似度s(u,v)为：
其中α为调节像素相似度的常数，设为0.1。
⑥根据最小生成树的树结构可得任意一点u在视差为d时的代价聚合值为：
其中s(u,v)表示最小生成树中点u和点v的相似度，Cd(u，d)表示在视差为d时点u的匹配代价，v遍历图中除点u外的每个像素。
前述自主水下机器人回收对接前景视场三维重建立体匹配方法，其中采用WTA(WINNER-TAKES-ALL)算法计算得到代价最小的视差值d(u)，表达式如下：
其中，表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，/>表示取当/>取得最小值时视差d的值。
前述自主水下机器人回收对接前景视场三维重建立体匹配方法，其中采用亚像素精化对视差进行平滑优化：
①任意选取WTA(WINNER-TAKES-ALL)算法结果中的一个值，记为d0，选择d_＝d0-1，d+＝d0+1，其对应的代价聚合值已知。
②选取二次多项式如式(9)所示，根据d0、d_、d+f(d0)、f(d_)和f(d+)计算出二次函数的参数a、b和c。
f(x)＝ax2+bx+c (11)
③根据公式(10)计算出二次函数值最小时对应的xmin值，为二次函数f(x)的最小视差，即为亚像素值。
与现有技术相比，本发明的有益效果是：
(1)最小生成树可以在全图建立像素间的关系，使得像素间的关系一目了然，不再受到窗口的约束，可以极大减少代价聚合所花费的时间，使得立体匹配精度得到提高。
(2)解决因传统局部立体匹配算法只考虑窗口邻域内像素值而忽略其他像素对中心像素的影响而导致的误匹配率高的问题，同时相较于全局立体匹配算法，改进的基于最小生成树的立体匹配算法，不需要进行迭代求精，能够大幅度提高代价聚合的速度，所以能够在保证立体匹配算法准确度的同时保证算法实时性，满足水下回收对接的要求。
(3)由于在水下环境，图像中大部分区域为海水，属于弱纹理区域，传统匹配算法对弱纹理区域的效果差、误匹配率高，而CENSUS变换算法对光照、噪声等具有较好的鲁棒性，且保留了窗口中像素的位置特征，将CENSUS变化与树结构相结合，解决传统立体匹配算法对水下图片中弱纹理区域的匹配误差率高的问题。
附图说明
图1是本发明的自主水下机器人回收对接前景视场三维重建的流程图；
图2是改进的基于最小生成树结构的立体匹配算法流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明的目的通过以下步骤予以实现：
1.采集左右摄像机图像，对水下摄像机运用张氏平面标定法进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵，为最后三维重建提供参数；
2.采用基于Lab颜色模型的图像处理方法对采集得到的双目图像进行预处理，减小水对光成像的影响，消除水下折射对成像的影响，得到对应的空气中的图像；
3.如图2所示，自主水下机器人回收对接前景视场三维重建立体匹配方法，采用改进的基于最小生成树结构的立体匹配方法，对得到的空气中的图像，采用改进的基于最小生成树结构的立体匹配方法，首先采用CENSUS变换区分水下图像对应的空气中图像的弱纹理区域实现匹配代价计算，再采用基于最小生成树的立体匹配算法进行代价聚合，接着采用WTA(WINNER-TAKES-ALL)算法计算得到代价最小的视差值，最后采用亚像素精化对视差进行平滑优化，实现最终视差图的输出；
(1)将得到的空气中图像左图转换为对应的灰度图，在左灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值。
(2)移动窗口，遍历整个得到的空气中图像左图所对应灰度图中的像素点，完成对左图的CENSUS变换。
(3)将得到的空气中图像右图转换为对应的灰度图，在右灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值。
(4)移动窗口，遍历整个得到的空气中图像右图所对应灰度图中的像素点，完成对右图的CENSUS变换。
(5)经过CENSUS变换后的图像使用汉明距离计算得到的空气中左右两幅图像的相似度。当左右两幅图像中两点视差为d时计算两点的汉明距离：将此两点的CENSUS变换值逐位进行异或运算，然后计算结果为1的个数，即为此两点之间的汉明距离。汉明距离计算公式为：
HH(p，d)＝Hamming(CCTL(p),CCTR(p，d)) (17)
其中，CCTL、CCTR分别左右灰度图像经CENSUS变换后的图像，CCTL(p)表示左灰度图中任意一点p，CCTR(p，d)表示右灰度图中与点p视差为d的点，Hamming(CCTL(p),CCTR(p，d))表示将点CCTL(p)与点CCTR(p，d)的CENSUS变换值逐位进行异或运算并计算结果为1的个数，HH(p，d)表示左右图中视差为d的两点之间的汉明距离。
所以CENSUS变换的匹配代价计算模型为：
Cd(p，d)＝1-exp(-λHH(p，d)) (18)
其中，Cd(p，d)为在视差为d时点p的匹配代价，HH(p，d)左右图中视差为d的两点之间的汉明距离,λ为归一化常数，取为0.1。
(6)将得到的空气中图像的左图RGB图像表示成连通的无向图G(V,E)，其中V表示图像中所有像素点，E表示连接相邻两像素点的边，边的权值即为相邻两像素点的相似度测度。连接相邻两像素点e和k的边的权值采用三通道颜色及梯度特征计算：
其中k是e的相邻点，Ii(e)，Ii(k)分别表示点e和点k的i通道值，i∈{R,G,B}，R表示红颜色通道，G表示绿颜色通道，B表示蓝颜色通道，▽x，▽y分别表示图像在x和y方向上的梯度，rc，rg分别表示颜色信息以及梯度信息的权值，rc+rg＝1，r(e,k)表示连接点e和点k的边的权值，即点e和点k的相似度，r(k,e)表示即点k与点e相似度，其值与r(e,k)相等。
(7)设得到的空气中图像的左图RGB图中有n个像素点，记为n个节点，最初先构造一个只有n个节点，没有边的非连通图T＝{V,空}，图中每个节点自成一个连通分量，将连接相邻两节点的所有边按照权值的大小进行升序排序。
(8)按照权值从小到大的顺序每次选择一条边，若该边的两个节点落在不同的连通分量上，则将此边加入到最小生成树中；否则，则将此边舍去并且此后再也不选用这条边。
(9)重复步骤(8)，直到具有n个节点的连通图G(V,E)筛选出n-1条边为止，筛选出来的边和所有的节点构成此RGB图的最小生成树。
(10)将最小生成树中点u和点v两个节点之间的连接边的最小权重之和记为D(u,v)，则两点之间的相似度s(u,v)为：
其中α为调节像素相似度的常数，设为0.1。
(11)根据最小生成树的树结构可得任意一点u在视差为d时的代价聚合值为：
其中s(u,v)表示最小生成树中点u和点v的相似度，Cd(u，d)表示在视差为d时点u的匹配代价，v遍历图中除点u外的每个像素。
(12)采用WTA(WINNER-TAKES-ALL)算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小的视差作为最终的视差d(u)，表达式如下：
其中，表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，/>表示取当/>取得最小值时视差d的值。
(13)任意选取WTA算法结果中的一个值，记为d0，选择d_＝d0-1，d+＝d0+1，其对应的代价聚合值已知。
(14)选取二次多项式如式(23)所示，根据d0、d_、d+f(d0)、f(d_)和f(d+)计算出二次函数的参数a、b和c。
f(x)＝ax2+bx+c (23)
(15)根据公式(24)计算出二次函数值最小时对应的xmin值，为二次函数f(x)的最小视差，即为亚像素值。
4.根据步骤1标定的参数运用点云库(Point Cloud Library，PCL)进行三维重建：
(1)先初始化一个深度图和一个PointCloud<PointT>类型的点云，用于存储图像和点云。
(2)遍历深度图中的像素坐标，得到深度图像素区域内的单通道深度值。
(3)使用摄像机标定得到的内外部参数，计算出三维坐标，得到3D的PCL点云点坐标。
(4)将原始图像中的每个像素点的RGB信息提取出，赋值给PCL点云中的RGB颜色通道。
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。
Claims (1)
1.一种自主水下机器人回收对接前景视场三维重建立体匹配方法，其特征在于，前景视场分别在左右摄像机上成像，形成左图和右图，前景视场三维重建包括以下步骤：
S1采集左右摄像机图像，对水下摄像机进行标定，得到摄像机内参数矩阵，畸变系数矩阵，本征矩阵，基础矩阵，旋转矩阵以及平移矩阵；
S2对得到的图像进行预处理，减小水对光成像的影响，消除水下折射对成像的影响，得到对应的空气中的图像；
S3对得到的空气中的图像，采用改进的基于最小生成树结构的立体匹配方法，首先采用CENSUS变换区分水下图像对应的空气中图像的弱纹理区域实现匹配代价计算，包括以下步骤：
①将得到的空气中图像左图转换为对应的灰度图，在左灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值；
②移动窗口，遍历整个得到的空气中图像左图所对应灰度图中的像素点，完成对左图的CENSUS变换；
③将得到的空气中图像右图转换为对应的灰度图，在右灰度图中任取一点，以该点为中心取一个3×3个像素大小的窗口，将窗口中除中心点外的每一个点与窗口的中心点进行比较，灰度值大于中心点像素灰度值即记为0，否则为1，从而得到一个长度为8的二进制序列，称为CENSUS变换值，窗口内中心点像素的灰度值则被CENSUS变换值替换：
CENSUS变换公式如下：
其中，p为3×3个像素大小窗口中的中心点，q为窗口内除中心点之外的其余点，Np为以p为中心的3×3个像素大小窗口，B(p)表示经CENSUS变换后得到的二进制序列，即为CENSUS变换值，ζ表示将窗口中除中心点外的每一个点与窗口的中心点进行比较所得的结果按位连接，I(p)表示中心点像素灰度值，I(q)表示窗口内除中心像素点外其余点像素灰度值；
④移动窗口，遍历整个得到的空气中图像右图所对应灰度图中的像素点，完成对右图的CENSUS变换；
⑤经过CENSUS变换后的图像使用汉明距离计算得到的空气中左右两幅图像的相似度，当左右两幅图像中两点视差为d时计算两点的汉明距离：将此两点的CENSUS变换值逐位进行异或运算，然后计算结果为1的个数，即为此两点之间的汉明距离，汉明距离计算公式为：
HH(p，d)＝Hamming(CCTL(p),CCTR(p，d)) (5)
其中，CCTL、CCTR分别左右灰度图像经CENSUS变换后的图像，CCTL(p)表示左灰度图中任意一点p，CCTR(p，d)表示右灰度图中与点p视差为d的点，Hamming(CCTL(p),CCTR(p，d))表示将点CCTL(p)与点CCTR(p，d)的CENSUS变换值逐位进行异或运算并计算结果为1的个数，HH(p，d)表示左右图中视差为d的两点之间的汉明距离；
所以CENSUS变换的匹配代价计算模型为：
Cd(p，d)＝1-exp(-λHH(p，d)) (6)
其中，Cd(p，d)为在视差为d时点p的匹配代价，HH(p，d)左右图中视差为d的两点之间的汉明距离,λ为归一化常数，取为0.1；
再采用基于最小生成树的立体匹配算法进行代价聚合，包括以下步骤：
①首先将得到的空气中图像的左图RGB图像表示成连通的无向图G(V,E)，其中V表示图像中所有像素点，E表示连接相邻两像素点的边，边的权值即为相邻两像素点的相似度测度，连接相邻两像素点e和k的边的权值采用三通道颜色及梯度特征计算：
其中k是e的相邻点，Ii(e)，Ii(k)分别表示点e和点k的i通道值，i∈{R,G,B}，R表示红颜色通道，G表示绿颜色通道，B表示蓝颜色通道， 分别表示图像在x和y方向上的梯度，rc，rg分别表示颜色信息以及梯度信息的权值，rc+rg＝1，r(e,k)表示连接点e和点k的边的权值，即点e和点k的相似度，r(k,e)表示即点k与点e相似度，其值与r(e,k)相等；
②设得到的空气中图像的左图RGB图中有n个像素点，记为n个节点，最初先构造一个只有n个节点，没有边的非连通图T＝{V,空}，图中每个节点自成一个连通分量，将连接相邻两节点的所有边按照权值的大小进行升序排序；
③按照权值从小到大的顺序每次选择一条边，若该边的两个节点落在不同的连通分量上，则将此边加入到最小生成树中；否则，则将此边舍去并且此后再也不选用这条边；
④重复步骤③，直到具有n个节点的连通图G(V,E)筛选出n-1条边为止，筛选出来的边和所有的节点构成此RGB图的最小生成树；
⑤将最小生成树中点u和点v两个节点之间的连接边的最小权重之和记为D(u,v)，则两点之间的相似度s(u,v)为：
其中α为调节像素相似度的常数，设为0.1；
⑥根据最小生成树的树结构可得任意一点u在视差为d时的代价聚合值为：
其中s(u,v)表示最小生成树中点u和点v的相似度，Cd(u，d)表示在视差为d时点u的匹配代价，v遍历图中除点u外的每个像素；
接着采用WTA算法计算得到代价最小的视差值，采用优胜者全选方式，选取对应匹配代价最小的视差作为最终的视差d(u)，表达式如下：
其中，表示点u在视差为d时的代价聚合值，d(u)表示立体匹配的最终视差结果，/>表示取当/>取得最小值时视差d的值；
最后采用亚像素精化对视差进行平滑优化，实现最终视差图的输出；所述采用亚像素精化对视差进行平滑优化，采用基于二次多项式插值的亚像素估计算法：
①任意选取WTA算法结果中的一个值，记为d0，选择d_＝d0-1，d+＝d0+1，其对应的代价聚合值已知；
②选取二次多项式如式(11)所示，根据d0、d_、d+f(d0)、f(d_)和f(d+)计算出二次函数的参数a、b和c；
f(x)＝ax2+bx+c (11)
③根据公式(12)计算出二次函数值最小时对应的xmin值，为二次函数f(x)的最小视差，即为亚像素值：
S4根据步骤S1标定的参数进行三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010636486.3A CN111784753B (zh) | 2020-07-03 | 2020-07-03 | 自主水下机器人回收对接前景视场三维重建立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010636486.3A CN111784753B (zh) | 2020-07-03 | 2020-07-03 | 自主水下机器人回收对接前景视场三维重建立体匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784753A CN111784753A (zh) | 2020-10-16 |
| CN111784753B true CN111784753B (zh) | 2023-12-05 |
Family
ID=72759459
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010636486.3A Active CN111784753B (zh) | 2020-07-03 | 2020-07-03 | 自主水下机器人回收对接前景视场三维重建立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784753B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819963B (zh) * | 2021-02-20 | 2022-04-26 | 华中科技大学鄂州工业技术研究院 | 一种树木枝干模型批量差异化建模方法以及相关设备 |
| CN116185043B (zh) * | 2023-04-17 | 2023-07-18 | 北京航空航天大学 | 一种基于非连通图的机器人全局路径规划方法和装置 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236082A (zh) * | 2013-04-27 | 2013-08-07 | 南京邮电大学 | 面向捕获静止场景的二维视频的准三维重建方法 |
| CN104766312A (zh) * | 2015-03-27 | 2015-07-08 | 哈尔滨工程大学 | 一种基于双目光视觉引导的智能水下机器人自主对接方法 |
| CN106600632A (zh) * | 2016-11-04 | 2017-04-26 | 天津大学 | 一种改进匹配代价聚合的立体匹配算法 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN107274448A (zh) * | 2017-07-11 | 2017-10-20 | 江南大学 | 一种基于水平树结构的可变权重代价聚合立体匹配算法 |
| CN107358632A (zh) * | 2017-06-29 | 2017-11-17 | 西北工业大学 | 应用于水下双目立体视觉的水下摄像机标定方法 |
| WO2018098891A1 (zh) * | 2016-11-30 | 2018-06-07 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
| CN109146946A (zh) * | 2018-08-29 | 2019-01-04 | 河海大学常州校区 | 一种图像非局部立体匹配方法 |
| CN109255811A (zh) * | 2018-07-18 | 2019-01-22 | 南京航空航天大学 | 一种基于可信度图视差优化的立体匹配方法 |
| CN109377555A (zh) * | 2018-11-14 | 2019-02-22 | 江苏科技大学 | 自主水下机器人前景视场三维重建目标特征提取识别方法 |
| CN109410156A (zh) * | 2018-11-12 | 2019-03-01 | 贵州电网有限责任公司 | 一种无人机巡检输电线路图像提取方法 |
| CN109658443A (zh) * | 2018-11-01 | 2019-04-19 | 北京华捷艾米科技有限公司 | 立体视觉匹配方法及系统 |
| CN109887021A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于跨尺度的随机游走立体匹配方法 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN110728745A (zh) * | 2019-09-17 | 2020-01-24 | 上海大学 | 一种基于多层折射图像模型的水下双目立体视觉三维重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9754377B2 (en) * | 2014-08-15 | 2017-09-05 | Illinois Institute Of Technology | Multi-resolution depth estimation using modified census transform for advanced driver assistance systems |
-
2020
- 2020-07-03 CN CN202010636486.3A patent/CN111784753B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103236082A (zh) * | 2013-04-27 | 2013-08-07 | 南京邮电大学 | 面向捕获静止场景的二维视频的准三维重建方法 |
| CN104766312A (zh) * | 2015-03-27 | 2015-07-08 | 哈尔滨工程大学 | 一种基于双目光视觉引导的智能水下机器人自主对接方法 |
| CN106600632A (zh) * | 2016-11-04 | 2017-04-26 | 天津大学 | 一种改进匹配代价聚合的立体匹配算法 |
| WO2018098891A1 (zh) * | 2016-11-30 | 2018-06-07 | 成都通甲优博科技有限责任公司 | 一种立体匹配方法及系统 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN107358632A (zh) * | 2017-06-29 | 2017-11-17 | 西北工业大学 | 应用于水下双目立体视觉的水下摄像机标定方法 |
| CN107274448A (zh) * | 2017-07-11 | 2017-10-20 | 江南大学 | 一种基于水平树结构的可变权重代价聚合立体匹配算法 |
| CN109255811A (zh) * | 2018-07-18 | 2019-01-22 | 南京航空航天大学 | 一种基于可信度图视差优化的立体匹配方法 |
| CN109146946A (zh) * | 2018-08-29 | 2019-01-04 | 河海大学常州校区 | 一种图像非局部立体匹配方法 |
| CN109658443A (zh) * | 2018-11-01 | 2019-04-19 | 北京华捷艾米科技有限公司 | 立体视觉匹配方法及系统 |
| CN109410156A (zh) * | 2018-11-12 | 2019-03-01 | 贵州电网有限责任公司 | 一种无人机巡检输电线路图像提取方法 |
| CN109377555A (zh) * | 2018-11-14 | 2019-02-22 | 江苏科技大学 | 自主水下机器人前景视场三维重建目标特征提取识别方法 |
| CN109887021A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于跨尺度的随机游走立体匹配方法 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110473217A (zh) * | 2019-07-25 | 2019-11-19 | 沈阳工业大学 | 一种基于Census变换的双目立体匹配方法 |
| CN110728745A (zh) * | 2019-09-17 | 2020-01-24 | 上海大学 | 一种基于多层折射图像模型的水下双目立体视觉三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Design of Control System and Human-Robot-Interaction System of Teleoperation Underwater Robot;Qingjun Zeng,;《Intelligent Robotics and Applications 》;全文 * |
| 水下推进器控制系统设计与实现;曾庆军;《舰船电子工程》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784753A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| Rizzini et al. | Integration of a stereo vision system into an autonomous underwater vehicle for pipe manipulation tasks | |
| Beall et al. | 3D reconstruction of underwater structures | |
| CN110163974B (zh) | 一种基于无向图学习模型的单图像面片重建方法 | |
| Wang et al. | Real-time underwater onboard vision sensing system for robotic gripping | |
| CN111784753B (zh) | 自主水下机器人回收对接前景视场三维重建立体匹配方法 | |
| CN107917710B (zh) | 一种基于单线激光的室内实时定位与三维地图构建方法 | |
| CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| EP3293700B1 (en) | 3d reconstruction for vehicle | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN104766312B (zh) | 一种基于双目光视觉引导的智能水下机器人自主对接方法 | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| CN115578460B (zh) | 基于多模态特征提取与稠密预测的机器人抓取方法与系统 | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
| CN113256696B (zh) | 基于自然场景的激光雷达和相机的外参标定方法 | |
| CN114494644A (zh) | 一种基于双目立体匹配的空间非合作目标位姿估计与三维重建方法及系统 | |
| Lu | Deep unsupervised visual odometry via bundle adjusted pose graph optimization | |
| CN117523100A (zh) | 基于神经网络与多视图一致性的三维场景重建方法和装置 | |
| Lin et al. | Development of an intelligent underwater recognition system based on the deep reinforcement learning algorithm in an autonomous underwater vehicle | |
| CN115965758B (zh) | 一种图协同单目实例三维重建方法 | |
| Zhang et al. | Glorie-slam: Globally optimized rgb-only implicit encoding point cloud slam | |
| Gracias et al. | Application challenges of underwater vision | |
| CN115511970A (zh) | 一种面向自主泊车的视觉定位方法 | |
| Leishman et al. | Robust Motion Estimation with RBG-D Cameras | |
| CN111798496B (zh) | 一种视觉锁定方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |