CN110060199A - 一种基于彩色和深度信息的植株图像快速拼接方法 - Google Patents
一种基于彩色和深度信息的植株图像快速拼接方法 Download PDFInfo
- Publication number
- CN110060199A CN110060199A CN201910186908.9A CN201910186908A CN110060199A CN 110060199 A CN110060199 A CN 110060199A CN 201910186908 A CN201910186908 A CN 201910186908A CN 110060199 A CN110060199 A CN 110060199A
- Authority
- CN
- China
- Prior art keywords
- image
- plant
- point
- depth information
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 17
- 238000011049 filling Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 238000007526 fusion splicing Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000011160 research Methods 0.000 abstract description 4
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 30
- 238000001514 detection method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明公开了一种基于彩色和深度信息的植株图像快速拼接方法，属于机器视觉与模式识别领域。首先通过Kinect传感器对植株的彩色和深度信息进行采集，利用改进的Mean‑shift算法和采集到的植株深度信息来提取出彩色图像中植株的有效区域；其后采用改进的ORB算法对预处理过的植株有效区域进行特征点提取，根据汉明距离进行特征点匹配，并以植株的深度数据作为标准来去除误匹配；最后利用RANSAC算法来获取图像间的投影变换矩阵，通过基于最佳缝合线的多分辨率融合算法对图像进行拼接。该项研究为建立宽视角的高分辨率图像提供了新方法，也为促进农业智能化奠定了基础。
Description
技术领域
本发明主要涉及计算机视觉和图像拼接领域，具体涉及的是农业植株图像采集和图像拼接方法领域。
背景技术
近年来，随着计算机视觉技术的发展，图像拼接已逐渐成为计算视觉模拟、图像处理以及虚拟现实等研究的热点和关键技术，并广泛应用于军事、航空、地质、医学、通信等多个领域。随着农业智能化的进一步发展，图像拼接在农业果实植株的检测、田间管理、农用机器人导航等方面起到了重要的作用，图像拼接可以建立宽视角的高分辨率图像，对实现农业智能化有重要作用。文献《Harris角点自适应检测的水稻低空遥感图像配准与拼接算法》(周志艳，闫梦璐，陈盛德等，农业工程学报，2015，31(14)：186-193.)提出基于图像像素灰度值标准差标准化的方法，改进Harris角点检测算法，对水稻低空遥感图像进行配准与拼接方法，有效提高角点检测算法的稳定性和图像拼接的精度，实现了同尺度条件下的图像配准和拼接，但是对于不同尺度的图像拼接还未验证。
文献《Kinect获取植物三维点云数据的去噪方法》(何东健，邵小宁，王丹等，农业机械学报，2016，47(1)：331-336.)对Kinect获取的玉米及茄子的三维点云数据进行去噪试验，去除不同尺度的噪声，保留边缘数据的完整性，获得良好的植物三维点云数据。文献《一种基于Kinect深度传感器的点云拼接算法研究》(袁晓菲，沈阳：辽宁大学，2016)对Kinect深度传感器的采集到的点云数据进行图像拼接，完成了点云数据的拼接，但其无法达到自然过渡的效果。已有研究表明，Kinect深度相机在被测对象深度数据采集和处理方面具有明显优势，但是仅考虑了单帧图像或图像序列，在图像拼接的数据处理中并未过多涉及。
发明内容
本发明针对以上问题，在图像采集上选用Kinect获取目标植株的彩色图像和深度数据，Kinect V2获取数据的稳定性相对较好、细节更多，能够有效避免图像缺失、亮暗差异、重影等拼接错误，从而改善图像拼接的效果；采用改进的Mean-shift算法结合采集到的植株深度数据来提取出彩色图像中植株的有效区域，利用改进的ORB(Oriented FAST andRotated BRIEF)算法对获取的植株有效区域进行特征点提取，通过相似性度量进行特征点匹配，并以植株的深度数据作为依据来去除误配点，利用RANSAC(Random SampleConsensus，随机抽样一致)算法来获取图像的最佳单应性矩阵，通过基于最佳缝合线的多分辨率融合算法对图像进行拼接，从而提高图像拼接的速度与精度。
本发明的目的是：针对图像拼接中拼接速度慢以及精度低等情况，提出相应解决方案，从而达到提高图像拼接速度以及精度的目的。
本发明的技术方案是：一种基于彩色和深度信息的植株图像快速拼接方法，包括以下步骤：
步骤1，利用Kinect传感器获取植株的彩色与深度信息，然后对图像进行预处理，主要是利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取；步骤2，利用改进的ORB算法对预处理过的彩色图像进行特征点提取，通过汉明距离对特征点进行匹配，接着根据左右深度信息相同去除误匹配，提高特征点匹配精度；步骤3，利用RANSAC算法来获取图像最佳单应性矩阵，再通过基于最佳缝合线的多分辨率算法进行图像拼接。
进一步，所述步骤1具体包括：
首先将Kinect传感器安装在直线滑台上进行水平匀速移动，把植株摆放在适当位置，获取彩色图像与深度信息，然后根据获取到的深度信息进行范围限制重新获取多组彩色图像，再利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域。
进一步，利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取的具体过程是：
步骤1.1，迭代空间构建：以输入的彩色图像src上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
步骤1.2，考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛。在步骤1.1构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个球体空间中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
步骤1.3，刷新输出图像dst上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像src上其他像素点，依次执行步骤1.1、1.2，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
进一步，所述步骤2的具体过程为：
步骤2.1，利用改进的ORB算法对步骤1获取的有效图像进行特征提取；
步骤2.2，根据汉明距离对两幅彩色图像的特征点进行匹配；
步骤2.3，因为步骤1中传感器水平移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。
进一步，所述的步骤2.1具体过程如下：
步骤2.1.1，粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值比P点的灰度值相异，则认为P为特征点；
步骤2.1.2，提取最优特征点：通过最近邻点比次近邻点算法去除临近位置多个特征点，然后再计算特征点与其周围16个特征点空间距离与颜色距离偏差的绝对值和，保留绝对值和较大的特征点，即最优特征点；
步骤2.1.3，特征点的尺度不变性：建立金字塔，设置一个比例因子ScaleFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：I′＝I/ScaleFactork(k＝1，2，...，nlevels)，nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；
步骤2.1.4，特征点的旋转不变性：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心C为：
设角点坐标O，则向量的角度θ即为该特征点的方向，计算公式如下为：
步骤2.1.5，建立300k个特征点测试集，对于测试集中的每个特征点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
步骤2.1.6，对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到R中；
步骤2.1.7，取T的下一列向量和R中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至R中；
步骤2.1.8，按照步骤2.1.8的方式不断进行操作，直到R中的向量数量为256。
进一步，所述步骤3的具体过程为：
步骤3.1，利用RANSAC算法来获取2幅图像最佳单应性矩阵；
步骤3.2，通过基于最佳缝合线的多分辨率算法进行图像拼接：由投影变换矩阵H可以得到2幅图像水平平移的像素量，2个位置的坐标系归一化到同一个坐标系中，将2幅图像重叠的部分作差运算生成一幅差值图像，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
进一步，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像的具体步骤是：
步骤3.2.1，以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
步骤3.2.2，将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
步骤3.2.3，生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
步骤3.2.4，在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：LF＝(GRl(i，j)LAl(i，j)+[255-GRl(i，j)]LBl(i，j))/255
其中，l代表第几层；(i，j)代表像素点坐标。
步骤3.2.5，对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
本发明的有益效果是：
传统的SIFT图像拼接方法受光照不均匀或风吹影响，存在错位和缺失等情况，基于Kinect传感器的图像拼接方法利用彩色和深度双源信息，能够有效避免图像缺失、亮暗差异、重影等拼接错误，但是存在拼接时间较长和目标植株不明显等情况。本发明使用改进的Mean-shift算法对彩色图像进行预处理，有利于目标植株特征的提取和图像结构信息的表达，利于降低处理对象规模和后续处理的计算复杂度；选择采用改进的ORB算法来提取特征点，由于ORB算法使用FAST检测特征点，大大加快了计算速度，大大缩减了图像拼接的时间，而且为FAST算法提取的特征点加上了一个特征点方向；同时使用带方向的BRIEF算法计算描述子，更是节省了存储空间，大大加快了特征点匹配的速度。ORB算法通过解决图像的旋转不变性问题，利用图像金字塔改善尺度一致性这方面的性能，也极大地提高了图像拼接的精确度。本发明能有效解决光照亮暗差异带来的问题，且更能突显出目标植株，图像匹配率准确率高，更能满足室内外作业要求。该方法也可用于农业植株生长状态的监测、药物肥料的精确喷洒以及病虫害的及时防治等农田作业中。
附图说明：
图1为基于彩色和深度信息的植株图像快速拼接方法整体流程图。
具体实施方式：
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
图1为基于彩色和深度信息的植株图像快速拼接方法整体流程图，具体实施方式的步骤如下：
步骤1：搭建水平直线滑台，通过Kinect V2传感器匀速移动采集植株的深度信息和彩色信息，然后根据获取到的深度信息进行范围限制，重新获取多组彩色图像进行实验，然后利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域；
其中改进的Mean-shift算法主要过程如下：
1)迭代空间构建。以输入的彩色图像src上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
2)考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛。在1中构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个空间球体中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
3)刷新输出图像dst上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像src上其他像素点，依次执行步骤1和步骤2，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
步骤2：利用改进的ORB算法对步骤1获取的植株有效彩色图像进行特征提取，根据汉明距离对两幅彩色图像的特征点进行匹配，因为步骤1中传感器水平移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。其中改进的ORB算法主要过程如下：
1)粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值比P点的灰度值相异，则认为P为特征点；
2)提取最优特征点：通过最近邻点比次近邻点算法去除临近位置多个特征点，然后再计算特征点与其周围16个特征点空间距离与颜色距离偏差的绝对值和，保留绝对值和较大的特征点，即最优特征点；；
3)特征点的尺度不变性：建立金字塔，设置一个比例因子ScaleFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：
I′＝I/ScaleFactork(k＝1，2，...，nlevels)
然后nlevels幅不同比例的图像提取特征点总和作为这幅图像特征点；
4)特征点的旋转不变性：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心为：
设角点坐标O，则向量的角度θ即为该特征点的方向，计算公式如下为：
5)建立300k个特征点测试集，对于测试集中的每个点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
6)对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到R中；
7)取T的下一列向量和R中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至R中；
8)按照步骤2.1.8的方式不断进行操作，直到R中的向量数量为256。
步骤3：利用RANSAC算法来获取2幅图像最佳单应性矩阵H，由投影变换矩阵H可以得到2幅图像水平平移的像素量，2个位置的坐标系归一化到同一个坐标系中，将2幅图像重叠的部分作差运算生成一幅差值图像，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
其中多分辨率融合拼接算法的主要过程如下：
1)以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
2)将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
3)生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
4)在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：
LF＝(GRl(i，j)LAl(i，j)+[255-GRl(i，j)]LBl(i，j))/255
其中，l代表第几层；(i，j)代表像素点坐标。
5)对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
综上，本发明的基于彩色和深度信息的植株图像快速拼接算法，由于传统图像拼接方法容易受光照和风吹的影响，本发明从采集数据的传感器入手，基于Kinect传感器的图像拼接方法利用彩色和深度双源信息，能够有效避免图像缺失、亮暗差异、重影等拼接错误，先通过改进的Mean-shift聚类算法对图像预处理，提取彩色图像中植株的有效矩形区域，降低后续处理的计算复杂度，再利用改进的ORB算法提取特征点，使用FAST检测图像的特征点，并为提取到的特征点添加方向，从而使用带方向的BRIEF算法计算描述子，根据汉明距离进行特征点匹配，并以植株的深度数据作为依据来去除误配点，最后利用RANSAC算法来获取图像的最佳单应性矩阵，通过基于最佳缝合线的多分辨率融合算法对图像进行拼接。相较于传统的SIFT图像拼接方法，显著地提高了计算速度，有效地缩减了图像提取特征点的时间，加快了特征点匹配的速度，ORB算法解决了图像的旋转不变性问题，更是利用图像金字塔改善尺度一致性这方面的性能，从而极大地提高了图像拼接的精确度。
Claims (7)
1.一种基于彩色和深度信息的植株图像快速拼接方法，其特征在于，包括以下步骤：
步骤1，利用Kinect传感器获取植株的彩色与深度信息，然后对图像进行预处理，主要是利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取；步骤2，利用改进的ORB算法对预处理过的彩色图像进行特征点提取，通过汉明距离对特征点进行匹配，接着根据左右深度信息相同去除误匹配，提高特征点匹配精度；步骤3，利用RANSAC算法来获取图像最佳单应性矩阵，再通过基于最佳缝合线的多分辨率算法进行图像拼接。
2.根据权利要求1所述的一种基于彩色和深度信息的植株图像快速拼接方法，其特征在于：所述步骤1具体包括：
首先将Kinect传感器安装在直线滑台上进行水平匀速移动，把植株摆放在适当位置，获取彩色图像与深度信息，然后根据获取到的深度信息进行范围限制重新获取多组彩色图像，再利用改进的Mean-shift算法提取出彩色图像中有效植株矩形区域。
3.根据权利要求2所述的基于彩色和深度信息的植株图像快速拼接方法，其特征在于：利用改进的Mean-shift算法与植株的深度信息进行有效矩形区域的提取的具体过程是：
步骤1.1，迭代空间构建：以输入的彩色图像src上任一像素点P0为圆心，建立物理空间上半径为sp，色彩空间上半径为sr的高维球形空间；
步骤1.2，考虑增加核函数和样本权重的条件下，求取并优化迭代空间的向量，并移动迭代空间球体后重新计算向量，直至收敛。在步骤1.1构建的球形空间中，求得所有像素点相对于中心像素点的色彩向量之和后，移动迭代空间的中心像素点到该向量的终点，并再次计算该球形空间中所有像素点的向量之和，如此迭代，直到在最后一个球体空间中所求得的向量和的终点就是该空间球体的中心像素点Pn，迭代结束；
步骤1.3，刷新输出图像dst上对应的初始原点P0的色彩值为Pn的色彩值，对输入图像src上其他像素点，依次执行步骤1.1、1.2，遍历完所有像素点后，整张彩色图像均值偏移色彩滤波完成，从而提取出彩色图像中有效植株矩形区域。
4.根据权利要求1所述的基于彩色和深度信息的植株图像快速拼接方法，其特征在于：所述步骤2的具体过程为：
步骤2.1，利用改进的ORB算法对步骤1获取的有效图像进行特征提取；
步骤2.2，根据汉明距离对两幅彩色图像的特征点进行匹配；
步骤2.3，因为步骤1中传感器水平移动，根据每个像素点的三维数据中的深度数据相同去除误匹配，提高特征点匹配精度。
5.根据权利要求4所述的基于彩色和深度信息的植株图像快速拼接方法，其特征在于：所述的步骤2.1具体过程如下：
步骤2.1.1，粗提取：图像上选一像素点P，以P为圆心画一个半径为3像素的圆，若圆周上16个像素点中有连续12个像素点的灰度值比P点的灰度值相异，则认为P为特征点；
步骤2.1.2，提取最优特征点：通过最近邻点比次近邻点算法去除临近位置多个特征点，然后再计算特征点与其周围16个特征点空间距离与颜色距离偏差的绝对值和，保留绝对值和较大的特征点，即最优特征点；
步骤2.1.3，特征点的尺度不变性：建立金字塔，设置一个比例因子ScaleFactor和金字塔的层数nlevels，将原图像I按比例因子缩小成nlevels幅图像，缩放后的图像I′为：I′＝I/ScaleFactork(k＝1，2，..，nlevels)，nlevels幅不同比例的图像提取特征点总和作为这幅图像的特征点；
步骤2.1.4，特征点的旋转不变性：使用矩阵法来确定特征点的方向，即通过矩来计算特征点以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，矩定义如下：
其中，p取0或1，q取0或1，I(x，y)为图像灰度表达式，该矩的质心C为：
设角点坐标O，则向量的角度θ即为该特征点的方向，计算公式如下为：
步骤2.1.5，建立300k个特征点测试集，对于测试集中的每个特征点，考虑其31x31邻域，穷举出所有可能的5x5的匹配子窗口，在300k个特征点的每个31x31邻域内按265356种方法取点对，比较点对大小，形成一个300kx265356的二进制矩阵Q，矩阵的每一列代表300k个点按某种取法得到的二进制数；
步骤2.1.6，对Q矩阵的每一列求取平均值，按照平均值到0.5的距离大小重新对Q矩阵的列向量排序，形成矩阵T，将T的第一列向量放到R中；
步骤2.1.7，取T的下一列向量和R中的所有列向量计算相关性，如果相关系数小于设定的阈值，则将T中的该列向量移至R中；
步骤2.1.8，按照步骤2.1.8的方式不断进行操作，直到R中的向量数量为256。
6.根据权利要求1所述的基于彩色和深度信息的植株图像快速拼接方法，其特征在于：所述步骤3的具体过程为：
步骤3.1，利用RANSAC算法来获取2幅图像最佳单应性矩阵；
步骤3.2，通过基于最佳缝合线的多分辨率算法进行图像拼接：由投影变换矩阵H可以得到2幅图像水平平移的像素量，2个位置的坐标系归一化到同一个坐标系中，将2幅图像重叠的部分作差运算生成一幅差值图像，对差值图像从重叠区域的第一行出发，向下扩展，对每行计算缝合线强度值到最后一行为止，然后将所有选中的点连接起来作为最佳缝合线，在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像。
7.根据权利要求6所述的基于彩色和深度信息的植株图像快速拼接方法，其特征在于：在求得最佳缝合线之后进行多分辨率融合拼接，得到最终需要的基于最佳缝合线的多分辨率融合图像的具体步骤是：
步骤3.2.1，以拼接后图像的大小为尺寸，生成一幅模板图像M，将缝合线左侧填充0，右侧填充255，形成一副黑白模板图像；
步骤3.2.2，将图像A、B扩展到拼接后图像的大小，扩展部分填充0；
步骤3.2.3，生成模板R的高斯图像GR，以及经扩展的A、B的拉普拉斯图像LA、LB；
步骤3.2.4，在每一层上分别进行融合，求得融合后的拉普拉斯图像LF，像素值计算公式为：LF＝(GRl(i，j)LAl(i，j)+[255-GRl(i，j)]LBl(i，j))/255
其中，l代表第几层；(i，j)代表像素点坐标。
步骤3.2.5，对于融合后的拉普拉斯图像LF，从最高层开始差值扩展，并与其下一层图像相加，重复此过程直至与最后一层图像相加完为止，得到最终需要的基于最佳缝合线的多分辨率融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186908.9A CN110060199A (zh) | 2019-03-12 | 2019-03-12 | 一种基于彩色和深度信息的植株图像快速拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186908.9A CN110060199A (zh) | 2019-03-12 | 2019-03-12 | 一种基于彩色和深度信息的植株图像快速拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110060199A true CN110060199A (zh) | 2019-07-26 |
Family
ID=67316192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910186908.9A Pending CN110060199A (zh) | 2019-03-12 | 2019-03-12 | 一种基于彩色和深度信息的植株图像快速拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060199A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563457A (zh) * | 2019-12-31 | 2020-08-21 | 成都理工大学 | 一种无人驾驶汽车的道路场景分割方法 |
| CN111626307A (zh) * | 2020-04-15 | 2020-09-04 | 江苏大学 | 一种基于l-orb算法的植株图像实时拼接方法 |
| CN113011498A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 基于彩色图像的特征点提取与匹配方法、系统及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
-
2019
- 2019-03-12 CN CN201910186908.9A patent/CN110060199A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894503A (zh) * | 2016-03-30 | 2016-08-24 | 江苏大学 | 一种对Kinect植株彩色和深度检测图像的修复方法 |
| CN108805812A (zh) * | 2018-06-04 | 2018-11-13 | 东北林业大学 | 用于图像拼接的多尺度不变orb算法 |
Non-Patent Citations (1)
| Title |
|---|
| 沈跃等: "基于深度和彩色双信息特征源的Kinect 植物图像拼接", 《农业工程学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563457A (zh) * | 2019-12-31 | 2020-08-21 | 成都理工大学 | 一种无人驾驶汽车的道路场景分割方法 |
| CN111626307A (zh) * | 2020-04-15 | 2020-09-04 | 江苏大学 | 一种基于l-orb算法的植株图像实时拼接方法 |
| CN113011498A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 基于彩色图像的特征点提取与匹配方法、系统及介质 |
| CN113011498B (zh) * | 2021-03-22 | 2023-09-26 | 华南理工大学 | 基于彩色图像的特征点提取与匹配方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN104134200B (zh) | 一种基于改进加权融合的运动场景图像拼接方法 | |
| WO2016062159A1 (zh) | 图像匹配方法及手机应用测试平台 | |
| Misra et al. | An automatic satellite image registration technique based on Harris corner detection and Random Sample Consensus (RANSAC) outlier rejection model | |
| Kumar Mishra et al. | A review of optical imagery and airborne lidar data registration methods | |
| CN105069743B (zh) | 探测器拼接实时图像配准的方法 | |
| CN110111248A (zh) | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 | |
| CN106780618A (zh) | 基于异构深度摄像机的三维信息获取方法及其装置 | |
| CN106295512B (zh) | 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法 | |
| CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
| CN106595702B (zh) | 一种基于天文标定的多传感器空间配准方法 | |
| CN110060199A (zh) | 一种基于彩色和深度信息的植株图像快速拼接方法 | |
| CN110796694A (zh) | 一种基于KinectV2的果实三维点云实时获取方法 | |
| Moussa | Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording | |
| CN108648194A (zh) | 基于cad模型三维目标识别分割和位姿测量方法及装置 | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| Zhu et al. | Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features | |
| CN110503679A (zh) | 一种红外基准图制备与评价方法 | |
| Alshawabkeh | Integration of laser scanning and photogrammetry for heritage documentation | |
| Kehl et al. | Automatic illumination‐invariant image‐to‐geometry registration in outdoor environments | |
| CN115115672A (zh) | 基于目标检测和特征点速度约束的动态视觉slam方法 | |
| Remondino et al. | Evaluating hand-crafted and learning-based features for photogrammetric applications | |
| CN106204507A (zh) | 一种无人机图像拼接方法 | |
| CN105631849B (zh) | 多边形目标的变化检测方法及装置 | |
| CN104596486B (zh) | 基于目标旋转对称特征的位姿测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190726 |
|
| RJ01 | Rejection of invention patent application after publication |