CN110070571B - 一种基于深度相机的毛竹形态参数检测方法 - Google Patents
一种基于深度相机的毛竹形态参数检测方法 Download PDFInfo
- Publication number
- CN110070571B CN110070571B CN201910349665.6A CN201910349665A CN110070571B CN 110070571 B CN110070571 B CN 110070571B CN 201910349665 A CN201910349665 A CN 201910349665A CN 110070571 B CN110070571 B CN 110070571B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- moso bamboo
- panoramic
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000003570 Phyllostachys pubescens Nutrition 0.000 title claims abstract description 125
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 23
- 241001520913 Phyllostachys edulis Species 0.000 title 1
- 244000302661 Phyllostachys pubescens Species 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 22
- 241000196324 Embryophyta Species 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 210000000481 breast Anatomy 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000002068 genetic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 7
- 235000017491 Bambusa tulda Nutrition 0.000 description 7
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 7
- 241001330002 Bambuseae Species 0.000 description 6
- 239000011425 bamboo Substances 0.000 description 6
- 230000012010 growth Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000209128 Bambusa Species 0.000 description 1
- 238000004971 IR microspectroscopy Methods 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012060 immune response imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种基于深度相机的毛竹形态参数检测方法，该方法包括：通过图像拼接获取待检测毛竹的全景彩色图像和全景深度图像；根据全景彩色图像和全景深度图像获取待检测毛竹的点云图像；基于点云图像获取待检测毛竹的形态参数。本发明实施例根据毛竹的全景彩色图像和全景深度图像获取毛竹的点云图像，并基于点云图像获取毛竹的形态参数；由于点云图像能够从三维空间反映毛竹的空间形态，相比于现有技术中通过二维图像获取毛竹的形态参数的方式，打破了二维图像的维度限制，能够更加准确的反映毛竹的真实空间形态，检测获得的形态参数更加准确。
Description
技术领域
本发明涉及计算机视觉领域，更具体地，涉及一种基于深度相机的毛竹形态参数检测方法。
背景技术
在当今全球森林面积急剧下降的大背景之下，竹林作为最重要的森林生态系统，其面积正在以每年3％左右的速度在增长。竹子在生长过程中，其生长参数可以真实有效的反映竹子的生长状况，因此对竹子的各种形态特征进行检测具有重要的意义。
现有方法对于检测包括竹子在内的植物形态特征检测研究中，专利(“周春艳，张白，基于无人机的植物生长状况监测装置及方法：CN201610311796.1”)、文献(牛庆林,冯海宽,杨贵军,等，基于无人机数码影像的玉米育种材料株高和LAI监测[J].农业工程学报,2018,34(05):73-82.)和文献(张宝来,张乐佳.基于数字图像处理技术的玉米长势预测[J].农业工程,2017,7(03):163-168.)利用不同的采集设备来采集植物图像，从而获取植物的生理生长状态；专利(“张怀清，高士增，刘闽等，一种基于地面激光雷达三维扫描的树木枝干参数提取方法：CN201310136260.7”)使用地面激光雷达获取树木的点云数据；专利(“孙国祥，丁永前等，一种基于Kinect自主标定的高通量温室植物表型测量系统：CN201810746674.4”)和专利(“孙国祥，丁永前等，一种基于多光谱点云融合的高通量温室植物表型测量系统：CN201810747332.4”)利用深度相机实现植物外在表型(三维形态信息)和内在表型(生理信息)的测量；文献(李亚东,冯仲科,李长青.USB摄像头双目视觉胸径测量实证研究[J].中南林业科技大学学报,2016,36(08):1-5.)利用双目摄像头从三维点云中提取立木的胸径；专利(“张淑卿，李剑峰，郭金梅，一种测量植物株高和评价植物生长状态的多用笔：CN201721762953.7”)和专利(“宋艳冬，章启涓，周成敏等，一种便携式竹子高度测量装置及测量方法：CN201610467435.6”)设计了便携式的株高测量装置。
综合以上技术背景情况，可以归纳如下，第一、利用无人机和其他固定采集设备获取检测对象的二维图像，获取其形态参数。但是由于自身维度的限制，难为反映真实空间形态。第二、采用激光雷达、双目摄像机等获取毛竹的三维点云图像，但是测量过程中复杂的相机标定给测量带来较大的困难。第三、发明特定的株高测量装置，但是不易于推广。上述研究对于高度较高的毛竹，难以获得毛竹的全景图像，对于毛竹的形态参数检测可能误差较大。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的毛竹形态参数检测方法。
本发明实施例提供一种毛竹形态参数检测方法，该方法包括：获取待检测毛竹的全景彩色图像和全景深度图像；根据全景彩色图像和全景深度图像获取待检测毛竹的点云图像；基于点云图像获取待检测毛竹的形态参数。
本发明实施例提供的毛竹形态参数检测方法，根据毛竹的全景彩色图像和全景深度图像获取毛竹的点云图像，并基于点云图像获取毛竹的形态参数；由于点云图像能够从三维空间反映毛竹的空间形态，相比于现有技术中通过二维图像获取毛竹的形态参数的方式，打破了二维图像的维度限制，能够更加准确的反映毛竹的真实空间形态，检测获得的形态参数更加准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明实施例提供的基于深度相机的毛竹形态参数检测方法的流程示意图；
图2为本发明实施例提供的毛竹图像获取与拼接的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种基于深度相机的毛竹形态参数检测方法，该方法包括但不限于如下步骤：
100、获取待检测毛竹的全景彩色图像和全景深度图像。
其中，获取的方式具体可通过深度相机拍摄获得。深度相机可采用FM810-IX深度相机，其测距范围为0.6m-4m，本发明实施例对深度相机的具体型号不作限定。基于上述型号的深度相机，具体可将该深度相机放置在距离待检测毛竹0.6m-4m之间的位置处，以保证深度相机能够较好的获取毛竹的深度值。通过该深度相机可采集毛竹的彩色图像和深度图像。应当说明的是，全景彩色图像和全景深度图像所反映的毛竹的区域应当由需要检测的形态参数确定。例如，若形态参数为茎粗，则全景彩色图像和全景深度图像应至少包含有毛竹的胸径部的两端。
200、根据全景彩色图像和全景深度图像获取待检测毛竹的点云图像。
具体地，在步骤100获得待检测毛竹的全景深度图像和全景彩色图像之后，全景深度图像反映的是图像中待检测毛竹与全景相机之间的距离。基于全景彩色图像和全景深度图像能够获得待检测毛竹的点云图像。其中，点云图像中的每个点均有三维坐标及颜色信息。
300、基于点云图像获取待检测毛竹的形态参数。
具体地，在步骤200中获得了待检测毛竹的点云图像后，可以在点云图像中建立一个三维空间，例如以深度相机的所在点为原点建立。建立三维空间后，可获得点云图像中每个点的三维坐标。由于点云图像从三维空间反映待检测毛竹的形态，因此能够基于点云图像获得需要检测的形态参数。形态参数可以包括株高和茎粗，本发明实施例对此不作限定。
本发明实施例提供的基于深度相机的毛竹形态参数检测方法，根据毛竹的全景彩色图像和全景深度图像获取毛竹的点云图像，并基于点云图像获取毛竹的形态参数；由于点云图像能够从三维空间反映毛竹的空间形态，相比于现有技术中通过二维图像获取毛竹的形态参数的方式，打破了二维图像的维度限制，能够更加准确的反映毛竹的真实空间形态，检测获得的形态参数更加准确。
基于上述实施例的内容，作为一种可选实施例，提供一种获取待检测毛竹的全景彩色图像和全景深度图像的方法，包括但不限于如下步骤：
步骤101、分别采集所述待检测毛竹的垂直高度下不同区域的彩色图像和深度图像。
具体地，由于毛竹具有较高的高度，因此可能不能通过深度相机的一次采集就能够获得全景深度图像和全景彩色图像。在这种情况下，可以采用深度相机对毛竹的不同区域进行拍摄，获得不同区域的彩色图像和深度图像。参见图2，以下以通过不同区域的彩色图像包括两帧彩色图像和不同区域的深度图像包括两帧深度图像的情况为例进行说明：通过支撑架将深度相机放置在其深度值可检测范围内之后，首先获取包含毛竹底部的下部区域的彩色图像和深度图像(即图2中的第一帧图像)，随后利用支撑架将深度相机垂直上移，使深度相机能够获得第二帧包含毛竹顶端的上部区域的彩色图像和深度图像(即图2中的第二帧图像)。
步骤102、将对应于垂直高度下不同区域的所述彩色图像进行拼接，获得所述全景彩色图像；将对应于垂直高度下不同区域的所述深度图像进行拼接，获得所述全景深度图像。换言之，将多帧彩色图像拼接成毛竹的全景彩色图像，并将多帧深度图像拼接成毛竹的全景深度图像；例如图2，将位于下方的第一帧彩色图像和位于上方的第二帧彩色图像进行拼接(中间有部分重叠区域)，能够获得全景彩色图像。
基于上述实施例的内容，作为一种可选实施例，将对应于垂直高度下不同区域的所述彩色图像进行拼接，获得所述全景彩色图像之前，还包括：对于每一帧彩色图像，采用基于基因表达式编程优化的图像增强方法对彩色图像进行增强处理。具体地，使用基于基因表达式编程优化(GEP)的图像增强方法分别对每一帧彩色图像进行增强，可以增强彩色图像的对比度，减弱林间遮挡的影响。
基于上述实施例的内容，作为一种可选实施例，将对应于垂直高度下不同区域的所述深度图像进行拼接，获得所述全景深度图像之前，还包括：对于每一帧深度图像，采用快速行进算法修复深度图像中的孔洞区域，并采用双边滤波算法去除深度图像中的噪声。具体地，对多帧深度图像进行预处理操作。预处理操作中，先采用快速行进算法修复图像中的空洞区域，然后采用双边滤波算法去除图像噪声。经过预处理操作，可以较好的保留深度图像的深度值。
基于上述实施例的内容，作为一种可选实施例，提供一种将对应于垂直高度下不同区域的所述彩色图像进行拼接的方法，包括但不限于：通过SURF算法对每一帧彩色图像进行关键点搜索，获得第一目标关键点；对第一目标关键点进行特征点匹配，并通过RANSAC算法获取对应于不同区域的彩色图像之间的第一投影变换矩阵；根据第一投影变换矩阵，将对应于不同区域的彩色图像进行拼接。
还提供一种将对应于垂直高度下不同区域的所述深度图像进行拼接的方法，包括但不限于：通过SURF算法对每一帧深度图像进行关键点搜索，获得第二目标关键点；对第二目标关键点进行特征点匹配，并通过RANSAC算法获取对应于不同区域的深度图像之间的第二投影变换矩阵；根据第二投影变换矩阵，将对应于不同区域的深度图像进行拼接。
具体地，对预处理后的彩色图像和深度图像使用SURF算法进行关键点搜索，并对标志性的关键点进行特征点匹配，利用RANSAC算法获取拼接图像间的最佳投影变化矩阵H，从而分别实现彩色图像和深度图像的拼接，分别获得全景彩色图像和全景深度图像。
基于上述实施例的内容，作为一种可选实施例，提供一种根据全景彩色图像和全景深度图像获取待检测毛竹的点云图像的方法，包括但不限于如下步骤：
步骤201、根据深度信息对全景深度图像进行聚类分割，获得全景图像中的毛竹深度图像。
其中，由于全景深度图像中除了包含有毛竹的图像，还包含有其他干扰物的图像。深度信息是指物体与深度相机之间的距离。而由于干扰物与相机之间的距离相比毛竹与相机之间的距离是不一样的，因此可以基于深度信息对全景深度图像进行聚类分割，将全局图像分为不同的深度区域块，每个深度区域块对应有不同的深度信息。一个或多个深度区域块能够组成毛竹深度图像。
作为一种可选实施例，提供一种根据深度信息对全景深度图像进行聚类分割，获得全景图像中的毛竹深度图像的方法，包括但不限于如下步骤：
步骤2011、通过人工蜂群算法寻找初始聚类中心和聚类数目，并设定迭代终止阈值。
具体地，使用基于人工蜂群(ABC)的模糊C均值聚类分割，对拼接后的毛竹深度图像进行背景分离。FCM的目标函数定义如式(1)所示。其中，V代表c个类的聚类中心；U为隶属度矩阵；n为待分类的n元样本集，可以被划分成c个类别；
代表xj隶属于第i个聚类中心vi的程度。
首先利用人工蜂群算法寻找最佳的初始聚类中心和聚类数目，设定迭代终止阈值ε。
步骤2012、根据初始聚类中心和聚类数据不断更新聚类中心和隶属度矩阵，每次更新后基于迭代终止阈值确认是否满足迭代终止条件；并在满足迭代终止条件后，输出目标聚类中心和目标隶属度矩阵。
具体地，不断更新聚类中心和隶属度矩阵，若||V(l)-V(l+1)||＜ε(即迭代终止条件)，则迭代终止，输出V和U。
步骤2013、基于目标聚类中心和目标隶属度矩阵对全景深度图像中的每个像素进行分类，获得多个深度区域块；将多个深度区域块中的至少一个深度区域块作为毛竹深度图像。
具体地，对每个像素划分归类，获得多个深度块D＝{d1,d2,...,di,...dn}，筛选部分深度块组成毛竹深度图像，实现了全景深度图像的分割。
步骤202、对全景彩色图像进行毛竹区域的初步分割，获得初步分割图像。其中，初步分割的目的是初步提取全景彩色图像中的毛竹彩色图像。
步骤203、根据毛竹深度图像在初步分割图像中的对应区域，对初步分割图像进行二次分割，获得毛竹彩色图像。
具体地，利用分割后的深度块(即毛竹深度图像)对应的全景彩色图像中的像素M，对全景彩色图像G(i,j)进行二次分割，得到带有深度值的彩色图像I(i,j)(即为毛竹彩色图像)。
步骤204、对毛竹深度图像和毛竹彩色图像进行配准，生成待检测毛竹的点云图像。
具体地，将分割后的毛竹彩色图像与毛竹深度图像对齐与同步，获得毛竹的点云图像。具体可通过如下方式：三维空间某一点P在世界坐标系中的坐标为(xw,yw,zw)，在红外相机坐标系中坐标为(x1,y1,z1)，在RGB相机坐标系下的坐标为(xr,yr,zr)，两个相机坐标系之间的转换公式如式(3)：
其中，R3×3为旋转矩阵，t为平移矩阵，O为(0,0,0)。假设矩阵Kr为RGB相机的内参矩阵，KIR为红外相机的内参矩阵，Rr和RIR代表RGB相机和红外相机的旋转矩阵，tr和tIR代表两个相机的平移矩阵，u和v为图像坐标系下的任意坐标点的坐标。其中Tr＝[Rr tr]，TIR＝[RIRtIR]。
结合公式(3)、(4)和(5)可得式(6)。
根据式(6)，可以将毛竹彩色图像上的点与相同位置上的毛竹深度图像上的点对应于三维空间中的同一个点，实现两幅图像的对齐。
基于上述实施例的内容，作为一种可选实施例，形态参数包括株高和/或茎粗；相应地，基于点云图像获取待检测毛竹的形态参数，包括：通过角点检测获取点云图像中待检测毛竹的主茎根部和主茎顶端的位置信息，并根据主茎根部和主茎顶端的位置信息计算获得待检测毛竹的株高；和/或，通过角点检测获取点云图像中待检测毛竹的胸径部两端的位置信息，并根据胸径部两端的位置信息计算获得待检测毛竹的茎粗。
其中，针对株高的计算：利用角点检测获取毛竹主茎根部的坐标(x1,y1,z1)和顶端的坐标(x2,y2,z2)(坐标即为位置信息)，通过计算三维坐标的欧式距离得到毛竹的株高，如式(7)。
针对茎粗的计算：利用角点检测获取毛竹胸径部两端的坐标(x3,y3,z3)和(x4,y4,z4)，通过计算三维坐标的欧式距离得到毛竹的茎粗，如式(8)。
为了对上述内容进行说明，以下结合图1提供另一基于深度相机的毛竹形态参数检测方法：
步骤1、获取毛竹的彩色图像和深度图像；
步骤2、对彩色图像进行增强，对深度图像进行去噪和深度值修复处理；
步骤3、拼接多帧彩色图像获得全景彩色图像，拼接多帧深度图像获得全景深度图像；
步骤4、对全景深度图像进行分割，获得毛竹深度图像；
步骤5、基于毛竹深度图像对全景彩色图像进行分割，获得毛竹彩色图像；
步骤6、将毛竹彩色图像和毛竹深度图像进行对齐配准，获得毛竹点云图像；
步骤7、基于毛竹点云图像提取毛竹形态参数。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种基于深度相机的毛竹形态参数检测方法，其特征在于，包括：
获取待检测毛竹的全景彩色图像和全景深度图像；
根据所述全景彩色图像和所述全景深度图像获取所述待检测毛竹的点云图像；
基于所述点云图像获取所述待检测毛竹的形态参数；
所述全景彩色图像和所述全景深度图像所反映的毛竹区域由所述形态参数确定；
所述获取待检测毛竹的全景彩色图像和全景深度图像，包括：
通过支撑架将深度相机放置在其深度值可检测范围内之后，分别采集所述待检测毛竹的垂直高度下不同区域的彩色图像和深度图像；
将对应于垂直高度下不同区域的所述彩色图像进行拼接，获得所述全景彩色图像；将对应于垂直高度下不同区域的所述深度图像进行拼接，获得所述全景深度图像；
所述根据所述全景彩色图像和所述全景深度图像获取所述待检测毛竹的点云图像，包括：
根据深度信息对所述全景深度图像进行聚类分割，获得所述全景图像中的毛竹深度图像；
对所述全景彩色图像进行毛竹区域的初步分割，获得初步分割图像；
根据所述毛竹深度图像在所述初步分割图像中的对应区域，对所述初步分割图像进行二次分割，获得毛竹彩色图像；
对所述毛竹深度图像和所述毛竹彩色图像进行配准，生成所述待检测毛竹的点云图像；
所述将对应于垂直高度下不同区域的所述彩色图像进行拼接，包括：通过SURF算法对每一帧所述彩色图像进行关键点搜索，获得第一目标关键点；对所述第一目标关键点进行特征点匹配，并通过RANSAC算法获取对应于不同区域的所述彩色图像之间的第一投影变换矩阵；根据所述第一投影变换矩阵，将对应于不同区域的所述彩色图像进行拼接；
所述将对应于垂直高度下不同区域的所述深度图像进行拼接，包括：通过SURF算法对每一帧所述深度图像进行关键点搜索，获得第二目标关键点；对所述第二目标关键点进行特征点匹配，并通过RANSAC算法获取对应于不同区域的所述深度图像之间的第二投影变换矩阵；根据所述第二投影变换矩阵，将对应于不同区域的所述深度图像进行拼接。
2.根据权利要求1所述的基于深度相机的毛竹形态参数检测方法，其特征在于，所述将对应于垂直高度下不同区域的所述彩色图像进行拼接，获得所述全景彩色图像之前，还包括：
对于每一帧所述彩色图像，采用基于基因表达式编程优化的图像增强方法对所述彩色图像进行增强处理。
3.根据权利要求1所述的基于深度相机的毛竹形态参数检测方法，其特征在于，所述将对应于垂直高度下不同区域的所述深度图像进行拼接，获得所述全景深度图像之前，还包括：
对于每一帧所述深度图像，采用快速行进算法修复所述深度图像中的孔洞区域，并采用双边滤波算法去除所述深度图像中的噪声。
4.根据权利要求1所述的基于深度相机的毛竹形态参数检测方法，其特征在于，所述根据深度信息对所述全景深度图像进行聚类分割，获得所述全景图像中的毛竹深度图像，包括：
通过人工蜂群算法寻找初始聚类中心和聚类数目，并设定迭代终止阈值；
根据所述初始聚类中心和聚类数据不断更新聚类中心和隶属度矩阵，每次更新后基于所述迭代终止阈值确认是否满足迭代终止条件；并在满足所述迭代终止条件后，输出目标聚类中心和目标隶属度矩阵；
基于所述目标聚类中心和所述目标隶属度矩阵对所述全景深度图像中的每个像素进行分类，获得多个深度区域块；将所述多个深度区域块中的至少一个深度区域块作为所述毛竹深度图像。
5.根据权利要求1所述的基于深度相机的毛竹形态参数检测方法，其特征在于，所述形态参数包括株高和/或茎粗；
相应地，所述基于所述点云图像获取所述待检测毛竹的形态参数，包括：
通过角点检测获取所述点云图像中所述待检测毛竹的主茎根部和主茎顶端的位置信息，并根据所述主茎根部和主茎顶端的位置信息计算获得所述待检测毛竹的株高；和/或，
通过角点检测获取所述点云图像中所述待检测毛竹的胸径部两端的位置信息，并根据所述胸径部两端的位置信息计算获得所述待检测毛竹的茎粗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910349665.6A CN110070571B (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度相机的毛竹形态参数检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910349665.6A CN110070571B (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度相机的毛竹形态参数检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110070571A CN110070571A (zh) | 2019-07-30 |
| CN110070571B true CN110070571B (zh) | 2020-10-16 |
Family
ID=67369317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910349665.6A Active CN110070571B (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度相机的毛竹形态参数检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110070571B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610438B (zh) * | 2019-09-16 | 2022-02-15 | 黑龙江八一农垦大学 | 一种农作物冠层叶柄夹角计算方法及系统 |
| CN111179335A (zh) * | 2019-12-28 | 2020-05-19 | 东北林业大学 | 一种基于双目视觉的立木测定方法 |
| CN111598958A (zh) * | 2020-05-19 | 2020-08-28 | 北京迁移科技有限公司 | 高质量3d点云图像快速获取系统及方法 |
| CN111986086B (zh) * | 2020-08-27 | 2021-11-09 | 贝壳找房(北京)科技有限公司 | 三维图像优化生成方法及系统 |
| CN113269825B (zh) * | 2021-04-06 | 2022-07-12 | 云南师范大学 | 基于地基激光雷达技术林木胸径值提取的方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971378A (zh) * | 2014-05-29 | 2014-08-06 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101639947A (zh) * | 2009-08-26 | 2010-02-03 | 北京农业信息技术研究中心 | 基于图像的植物三维形态测量与重建方法及系统 |
| CN101964117B (zh) * | 2010-09-25 | 2013-03-27 | 清华大学 | 一种深度图融合方法和装置 |
| CN102800127B (zh) * | 2012-07-18 | 2014-11-26 | 清华大学 | 一种基于光流优化的三维重建方法及装置 |
| CN106384383B (zh) * | 2016-09-08 | 2019-08-06 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb-d和slam场景重建方法 |
| CN108038902B (zh) * | 2017-12-07 | 2021-08-27 | 合肥工业大学 | 一种面向深度相机的高精度三维重建方法和系统 |
-
2019
- 2019-04-28 CN CN201910349665.6A patent/CN110070571B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971378A (zh) * | 2014-05-29 | 2014-08-06 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于K_means和近邻回归算法的Kinect植株深度图像修复;沈跃;《农业工程学报》;20161030;第32卷(第19期);第188-194页 * |
| 基于点云拼接的植物三维模型重建;贾鹤鸣;《应用科技》;20190130;第46卷(第1期);第19-24页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110070571A (zh) | 2019-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070571B (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| Liu et al. | Improved kiwifruit detection using pre-trained VGG16 with RGB and NIR information fusion | |
| Sun et al. | Three-dimensional photogrammetric mapping of cotton bolls in situ based on point cloud segmentation and clustering | |
| Huang et al. | Individual tree crown detection and delineation from very-high-resolution UAV images based on bias field and marker-controlled watershed segmentation algorithms | |
| Xiong et al. | Visual detection of green mangoes by an unmanned aerial vehicle in orchards based on a deep learning method | |
| Chen et al. | A YOLOv3-based computer vision system for identification of tea buds and the picking point | |
| Wang et al. | A study on long-close distance coordination control strategy for litchi picking | |
| Lou et al. | Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping | |
| CN112200854B (zh) | 一种基于视频图像的叶类蔬菜三维表型测量方法 | |
| CN110969654A (zh) | 基于收割机的玉米高通量表型测量的方法及装置、收割机 | |
| Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
| CN113538666A (zh) | 一种植物植株三维模型快速重建方法 | |
| Lyu et al. | Development of phenotyping system using low altitude UAV imagery and deep learning | |
| Li et al. | A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs | |
| CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
| Chaloeivoot et al. | Building detection from terrestrial images | |
| Zhao et al. | Phenotyping of individual apple tree in modern orchard with novel smartphone-based heterogeneous binocular vision and YOLOv5s | |
| Xiang et al. | PhenoStereo: a high-throughput stereo vision system for field-based plant phenotyping-with an application in sorghum stem diameter estimation | |
| CN117456358A (zh) | 一种基于YOLOv5神经网络的植物病虫害检测方法 | |
| CN111985472A (zh) | 基于人工智能和主动球机的食槽干草温度图像处理方法 | |
| CN116030324A (zh) | 一种基于光谱特征与空间特征融合的目标检测方法 | |
| Sun et al. | A vision system based on TOF 3D imaging technology applied to robotic citrus harvesting | |
| Kalmukov et al. | Methods for Automated Remote Sensing and Counting of Animals | |
| CN115115954A (zh) | 基于无人机遥感的松材线虫病疫区变色立木智能识别方法 | |
| CN115311520A (zh) | 一种基于视觉识别的百香果成熟度检测及定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |