CN111739031A - 一种基于深度信息的作物冠层分割方法 - Google Patents
一种基于深度信息的作物冠层分割方法 Download PDFInfo
- Publication number
- CN111739031A CN111739031A CN202010567338.0A CN202010567338A CN111739031A CN 111739031 A CN111739031 A CN 111739031A CN 202010567338 A CN202010567338 A CN 202010567338A CN 111739031 A CN111739031 A CN 111739031A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- depth
- pixel
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000011218 segmentation Effects 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 47
- 239000013598 vector Substances 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 23
- 238000013519 translation Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000002146 bilateral effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 abstract description 3
- 241000209094 Oryza Species 0.000 description 21
- 235000007164 Oryza sativa Nutrition 0.000 description 21
- 235000009566 rice Nutrition 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度信息的作物冠层分割方法，该方法针对农业中田间作物区域分割存在的难点，分别获取作物冠层的深度图像和彩色图像，分析作物冠层部分噪声与拍摄深度图像所用摄像机的相对距离，设置合适的深度阈值，在深度图像中标定出作物的冠层区域，图像配准，将深度图像中的作物冠层位置，投射到同位置拍摄的彩色图像等二维光谱图像中，就可以在该图像中快速简便地将作物区域分离出来。本发明提供的方法从深度信息角度对农作物进行分割不需要对田间的噪声进行分析，可以快速地将作物提取出来，避免对作物中的背景噪声进行分析，从空间角度对作物冠层和田间背景进行快速分离。
Description
技术领域
本发明涉及作物冠层图像定位提取技术领域，更具体的说是涉及一种基于深度信息的作物冠层分割方法。
背景技术
目前，利用成像技术获取物体的光谱信息，是当今农业信息研究等领域的重要手段，其中，在农业智能化中，利用计算机视觉技术、图像技术等实现作物生长状态监测、病虫害防治以及产量估计等应用中，首先都需要将作物冠层区域分割出来，将目标物与背景分割是实现物体分析的关键一步，只有将分析对象与背景进行良好的分离，才能对其进行准确的分析和判定，能否正确有效的分割，关系到后续建模、预测等结果的准确性。
现有的成像设备只能得到二维图像，目标物与背景噪声均在在同一平面中，只能通过分析噪声的颜色、形状、纹理、平面位置等信息与目标物的差异将目标物从二维图像中分割出来，针对噪声分析方法的差异，分割算法复杂，为此学者们提出了多种分割方法，大致有基于阈值、基于边缘、基于区域的分割方法，在面对背景噪声的形状和颜色与目标物接近时，常用的图像分割方法难以奏效。
尤其是在对复杂背景环境进行作物提取时，如对田间作物进行图像采集时，田间环境复杂，可能出现的干扰因素种类繁多，如图1所示，图1中a图为土壤背景下的水稻图像，b图为水面背景下的水稻图像，b图中圈示位置为与水稻比较相似的噪声-杂草，c图和d图的两个图像均为水稻移栽15天后的状态，此时田间噪声已随作物生长和环境变化而发生了较大的变化，传统的分割方法大多只能从颜色、形态、大小等方面去寻找噪声与作物的区别，这样，除了分析作物外，还需要花很多时间去对噪声分析。然而，田间的噪声种类、形态具有随机性，且在时间和位置上具有随机性，这给分割带来很大困难，某次图像分割的方法可能不适合下次采集的图像分割要求，损耗了研究精力。
同时，对于一些细碎的背景噪声现有的分割方法分割效果并不理想，比如图2中的青苔背景噪声，还有一些噪声，由于和作物从外观和颜色上看难以区分，比如图3中圈示的杂草与水稻苗，这种基于二维图像信息的分割方法就会失效。
此外，对于具有宽阔面、面积较大的对象，且在室内拍摄，成像效果较好，但是对于水稻这样的窄且细长物体而言，由于室外存在光的衍射等原因，获得的图像成像效果并不理想，成像的叶片容易出现孔洞多、断裂处多、重叠背景等不利情况，难以用现有技术直接分割获得有效的图像。
因此，如何提供一种适用于室外细长状作物且无需对噪声做具体分析的作物冠层分割方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于深度信息的作物冠层分割方法，该方法针对作物和噪声与深度图像传感器的深度信息不同的情况，根据深度信息将目标物的区域提取出来，将此区域信息与彩色图像或多光谱图像等平面图像进行匹配，可快速地在后者图像中将目标区域提取出来，避免了对复杂背景的分析处理，大大加快了作物冠层的分割速度，为后续作物生物信息处理提供极其重要的帮助。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度信息的作物冠层分割方法，该方法包括以下步骤：
图像采集：在相同的位置和拍摄环境下，分别获取同一对象的深度图像和二维图像，并根据成像质量来确定确定最佳的拍摄条件；
图像预处理：分别对深度图像和二维图像进行预处理；
二维图像配准：对拍摄深度图像和二维图像所使用的摄像机进行标定和修正，将二维图像与深度图像进行坐标配准；
深度图像二值化：将经过预处理后的深度图像做灰度直方图变换，获得前景和背景两部分，以灰度直方图中双峰的中点作为阈值，将预处理后的深度图像二值化，作为特定区域的分割掩膜图像；
图像分割：将掩膜图像与配准后的二维图像做叠加运算，得到作物冠层图像；
图像优化：去除作物冠层图像中的背景噪声；
图像输出：输出优化处理后的作物冠层图像。
在上述技术方案的基础上，对本发明提供的方法做进一步解释说明。
进一步地，所述二维成像设备可以是数码相机或多光谱相机。
进一步地，分割后的深度图像存在传感器带来的系统噪声和分割中形成的小空洞等噪声，需要进行预处理，对深度图像进行预处理，包括以下步骤：
根据预设的距离范围初步筛选出部分背景图像，得到初步筛选后的深度图像；
用3×3维纳滤波对初步筛选后的深度图像进行平滑处理，去除图像中的系统噪声；
利用双边滤波对平滑处理后的图像进行二次处理，修补空洞点和散点噪声。经过平滑处理后，图像质量略有改善，但是还在叶片附近有小空洞点，还有一些散点噪声存在，本发明利用双边滤波对图像进行处理，修补空洞。
具体地，双边滤波原理如下：
一个良好的噪声滤波器应该在灰度变化不明显的部分能够良好地去除噪声，而在灰度变化剧烈的部分能够良好地保持边缘信息，传统的高斯滤波法利用高斯核对图像进行卷积，用模板所确定的邻域内像素的加权平均值来为模板中心像素赋值，高斯平滑滤波器对于抑制服从正态分布的噪声非常有效，然而高斯滤波仅仅考虑了像素的空间位置关系，没有利用灰度信息，因此经过高斯滤波后图像会变得模糊，基于高斯滤波不能很好保持图像边缘的缺点。
双边滤波是一种非线性滤波方法，综合考虑了空间邻近度和颜色相似度，在高斯滤波法的基础上，增加了一个基于颜色相似度的约束项，如果邻域像素与中心像素的颜色值相差较大，那么邻域像素在计算中的权重将会变得很小，从而对中心像素的影响会变小，这样便能够很好地保留图像边缘。
具体地，双边滤波定义如下：
一个均值为0，方差为2σ的高斯函数φ(x，y)为：
其中：
Wp＝∑∝∈Gσs(||p-q||)Gσr(|Ip-Iq|) (3)
其中，p为中心像素，Ω为中心像素p的邻域，q为邻域像素，GσS和Gσr为均值为0，方差分别为s和r的高斯函数，Wp为归一化系数。
利用双边滤波方法进一步去掉了图像中孤立点状噪声，且能较好地修补叶片中的缝隙空洞噪声。
更进一步地，平滑处理过程采用的滤波算法包括中值滤波、均值滤波和维纳滤波方法。
进一步地，空间分割技术，指的是通过相关设备获取某一图像的距离信息后，再对该图像的待分割区域和背景噪声实现快速分离，在后面的图像分割中就可以避免对复杂背景的处理。然而因为Kinect设备的红外摄像头和RGB摄像头没有完全重合，且2个摄像头的内部参数也不一致，导致两个摄像头所取得的画面会产生错位，并没有完全重合，这对背景分离造成严重误差，因此这里必须先把红外摄像头的拍摄坐标实现映射，使其拍出来深度图像能够和彩色图像一一对应。
对摄像机的标定和修正主要采用张氏棋盘法，通过相机标定工具(CameraCalibration Toolbox)分别获取彩色摄像头和红外摄像头的内参，以及两个摄像头之间的外参，利用几何转换公式，将红外摄像头相对于彩色摄像头进行重新投影。
如果把在Kinect红外摄像头视野中某点的摄像头坐标设为Qir，把该点在像素平面投影的坐标设为qir，且该红外摄像头的内参矩阵设为Air，由相机成像原理可知三者有以下关系：
qir＝AirQir (5)
同样地，把Kinect彩色摄像头视野中某点的摄像头坐标设为Qrgb，把该点在彩色平面投影的坐标设为qrgb，且该彩色摄像头的内参矩阵设为Argb，则三者有以下关系：
qrgb＝ArgbQrgb (7)
由于点Qir和点Qrgb都是摄像头坐标下的不同点，则他们之间可以通过一个旋转矩阵R和平移向量T联系起来，二者有以下关系：
Qrgb＝RQir+T (9)
其中旋转矩阵R和平移向量T需要通过摄像头的外参求得，而摄像头的外参也是一个矩阵，且分别由一个旋转矩阵Rir(Rrgb)和平移向量Tir(Trgb)组成的，通过它们可以将世界坐标系和摄像头坐标系联系起来，对于世界坐标系下的同一点Q，红外摄像头和彩色摄像头分别有以下关系：
Qir＝RirQ+Tir (10)
Qrgb＝RrgbQ+Trgb (11)
由(10)式和(11)式建立方程消去Q，可得：
又由(5)式和(8)式可得：
综上所述，只需要在同一时刻通过棋盘法得到红外摄像头和彩色摄像头的外参矩阵，就可以算出关联二者的旋转矩阵R和平移向量T。
在上述方案的基础上，二维图像配准的过程，具体包括以下步骤：
分别获取摄像机上彩色摄像头和红外摄像头的内参矩阵和外参矩阵；
在同一时刻根据红外摄像头和彩色摄像头的外参矩阵，算出关联二者的旋转矩阵和平移向量，并建立世界坐标系和摄像头坐标系之间的联系；
利用内参矩阵、外参矩阵、旋转矩阵和平移向量，为深度图像中每个像素点附上对应的彩色像素。
进一步地，为深度图像中每个像素点附上对应的彩色像素，具体包括以下步骤：
(1)构造一个像素点的三维向量qir＝(x,y,z)，其中x，y是像素点的像素坐标，z是像素点的深度值；
(2)用红外摄像头的内参矩阵Air的逆，乘以qir就得到所述像素点对应的红外摄像头下的坐标点Qir；
(3)用所述像素点对应的红外摄像头坐标下的坐标点Qir，乘以旋转矩阵R，然后加上平移向量T，可以求出Qrgb；
(4)利用彩色摄像头的内参矩阵Argb，乘以Qrgb求出所述像素点相对应的彩色像素坐标点的三维向量qrgb，通过三维向量qrgb中x、y在彩色图像中的像素坐标，找出所述像素点所对应的彩色像素；
(5)分别为深度图像中每个像素点构造所述三维向量qir，重复步骤(2)至(4)，获得配准后的深度图像。
进一步地，对摄像机进行标定采用张氏棋盘法，遵循的约束条件包括：
标定所用的棋盘要尽量大，棋盘尺寸大于或等于A3纸的尺寸；
棋盘平面与摄像头像平面之间的夹角不要太大，棋盘平面与摄像头像平面之间的夹角小于45度(即控制在45度以下)；
棋盘的姿势与位置尽可能多样化，但相互平行的棋盘对结果没有贡献；
用于标定的图片数量大于10张；
摄像头的分辨率，长宽比最好和深度图像的相同。
进一步地，图像优化过程具体包括以下步骤：
通过K-mean聚类算法提取作物冠层图像中的背景噪声；
用加运算去掉所述背景噪声。
进一步地，通过K-mean聚类算法提取作物冠层图像中的背景噪声，具体包括以下步骤：
(1)在二维像素数组中随机选取3个像素点作为聚类的起始点；
(2)把整幅图像的均值像素点作为聚类中心，然后从步骤(1)中所得的起始点开始计算各个像素点与聚类中心的距离，通过欧式距离判断各点的相似性完成分类；
(3)从步骤(2)中得到分类后的像素点，重新计算各个类的均值，再重复上述操作三次；
(4)输出分类结果，结束聚类操作。
更进一步地，通过欧式距离判断各点的相似性来完成分类，分类后每个类具有如下特征：各类内组员之间的距离最大，同时类与类之间的距离最小。
进一步地，图像二值化的过程为：将经过处理后的深度图做灰度直方图变换，可以看到水稻前景和背景明显地分成了两部分，有明显的双峰，选择双峰的中点作为阈值，将图像二值化，作为水稻冠层“分割掩膜图像”。
进一步地，生成特定区域的掩膜图像后，将掩膜图像(记为A)与二维图像(记为B)做叠加运算，即可得到二维图像中特定区域图像(记为C)。
即
C＝A+B
将掩膜和彩色图像相加，可将作物区域在彩色图像中粗略提取出来。
具体地，对于一些细叶作物(如水稻)由于叶片细长，由于光的衍射效应，深度传感器成像质量较阔叶作物差，初步分割后的水稻叶片图像还存在一定的背景噪声，需要去除这部分噪声。通过K-mean聚类算法把背景噪声提取出来，再用加运算去掉噪声。
进一步地，根据K-mean聚类算法的原理本发明将二维图像数组划为K个类，每个类都符合如下特征，类内组员之间的距离最大，同时类与类之间的距离最小。其基本算法步骤如下：
(1)在二维像素数组中随机选取3个像素点作为聚类的起始点；
(2)把整幅图像的均值像素点作为聚类中心，然后从步骤(1)中起始点开始计算各个像素点和聚类中心的距离，最后通过欧式距离判断各点的相似性来完成分类；
(3)从步骤(2)中得到分类后的像素，重新计算各个类的均值，再重复上述操作三次；
(4)输出分类结果，结束聚类操作。
经过以上步骤，可得到背景噪声图像，将此图像与二维图像做加法运算，可以有效的噪声，提高作物成像质量。
经由上述技术方案可知，本发明提供了一种基于深度信息的作物冠层分割方法，该方法针对农业中田间作物区域分割存在的难点，分别获取作物冠层的深度信息(距离信息)图像和彩色图像(RGB图像)，分析作物冠层部分噪声与拍摄深度图像所用摄像机的相对距离，设置合适的深度阈值，在深度图像中标定出作物的冠层区域，图像配准，将深度图像中的作物冠层位置，投射到同位置拍摄的彩色图像等二维光谱图像中，就可以在该图像中快速简便地将作物区域分离出来。本发明方法避免对作物中的背景噪声进行分析，从空间角度对作物冠层和田间背景进行快速分离。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为存在多种干扰噪声的田间环境图像；
图2附图为存在青苔背景噪声的图像；
图3附图为未滤除杂草的水稻苗分割图像；
图4附图为本发明提供的一种基于深度信息的作物冠层分割方法的方法流程示意图；
图5附图为本发明实施例中水稻彩色图像和深度图像对比图；
图6附图为本发明实施例中另一种彩色图像和深度图像对比图；
图7附图为本发明实施例中双边滤波处理结果示意图；
图8附图为本发明实施例中用于Kinect标定的红外图像和彩色图像；
图9附图为本发明实施例中红外摄像头重投影误差分布示意图；
图10附图为本发明实施例中Kinect标定前与标定后图像重叠效果对比示意图；
图11附图为本发明实施例中深度图像做灰度直方图变换后的直方图；
图12附图为本发明实施例中水稻冠层的分割掩模图像；
图13附图为本发明实施例中掩膜图像与二维图像叠加后的水稻冠层分割图像；
图14附图为本发明实施例中提取的背景噪声图像；
图15附图为本发明实施例中优化后的水稻冠层分割图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图4，本实施例提供了一种基于深度信息的作物冠层分割方法，该方法包括以下步骤：
S1:图像采集：在相同的位置和拍摄环境下，分别获取同一对象的深度图像和二维图像，并根据成像质量来确定确定最佳的拍摄条件；
S2:图像预处理：分别对深度图像和二维图像进行预处理；实际操作过程中，可根据实际图像分析要求，对图像进行滤波等处理，去除图像中的噪声干扰，保证后续处理过程对图像质量的要求；
S3:二维图像配准：对拍摄深度图像和二维图像所使用的摄像机进行标定和修正，将二维图像与深度图像进行坐标配准，使其拍出来二维图像能够和深度图像一一对应；
S4:深度图像二值化：将经过预处理后的深度图像做灰度直方图变换，将处理对象前景和背景分成两部分，找到灰度直方图中的双峰，选择双峰的中点作为阈值，将预处理后的深度图像二值化，作为特定区域的分割掩膜图像；
S5:图像分割：将掩膜图像与配准后的二维图像做叠加运算，得到二维图像中作物冠层图像；
S6:图像优化：去除作物冠层图像中的背景噪声；
S7:图像输出：输出优化处理后的作物冠层图像。
在本实施例中，深度图像的成像质量可通过肉眼对图像的清晰度、色彩分辨率等方面对成像质量进行评估，二维图像的成像质量可用一个规则标准物物体做基准，如标准三基色板和灰度卡，先拍摄该物体的深度图像和二维图像，并观察成像的清晰度(色板的边界越清晰清晰度越好)、亮度以及色偏等情况，找到一个在当时拍摄环境下及摄像机的有效范围内的最佳成像的位置和角度。
在本实施例中，拍深度图像的RGB图像、红外图像的摄像头都是各自独立的，做实验时使用到微软的kinect，它是将深度传感器和RGB摄像头集成在一个设备里。本文的方法不局限于某种拍摄设备、只要一个深度图像摄像头，其他的RGB摄像头或是多光谱摄像头都可以，只要是二维图像成像设备，均可用此方法。
下面结合具体实例对本实施例中提供的上述方法做解释说明。
1、图像获取
在本实施例中，使用Kinect摄像头采集深度图像，Kinect摄像头采集到的Kinect图像如图5和图6所示，对图6分析如下：左边RGB图像的分辨率为640*480，虽然不是高清图像，但基本能满足本设计要求，其传输速率为30F/s，显示画面偶尔存在卡顿现象，但不影响静态图像的采集。深度图像也是使用640*480的分辨率，和RGB图像一样，有利于后期的图像处理，因设备内部的硬件限制，其分辨率最高只能达到320*240，但不影响其灰度值的显示。
这里可以看到，RGB图像上的物体大部分能够从深度图像里得到与之相对应的灰度区域，但仍存在一小部分的黑色区域不是由距离因素引起的，经分析，造成这部分黑色区域是因为Kinect红外摄像头得不到某物体反射回来的随机散斑，故把这些区域视为无法探知的区域。而其中的影响因素有如下几点：
(1)物体由某些会影响光斑反射的结构或材料组成，如圆形的光滑外表、透明玻璃、水和镜子等；
(2)物体之间相互交错形成不规则的缝隙，吸收了红外光而无法形成反射光斑；
(3)物体自身会成为光源，如电灯、电子屏幕等。
本实施例中采用深度图作为处理对象，而不是RGB转换后的灰度图，主要是因为相比于常规灰度图，深度图中各像素点的灰度值大小和现实中的距离近似成线性关系(误差范围内)，即只需要根据某区域的距离就可以确定其相对应的灰度值范围，然后对该灰度值进行阈值处理就能够实现该区域和背景的快速分离。
本实施例中Kinect摄像头近景模式的最佳拍摄距离为400mm(0.4m)～3500mm(3.5m)，经测试，Kinect在距离物体1m时的绝对误差为14mm，距离3m时的绝对误差为59mm，即随着距离增加，Kienct深度值的精确度会不断下降。其中深度图已经对原始的深度数据进行了归一化处理，即把OpenNI输出的12bit的距离信息(单位是mm)转换到256个灰度值，在编程中通过乘以一个255/有效距离来实现归一化。经过这样的处理后，深度图中某个像素点的灰度值变化1，就代表该点与Kinect摄像机的实际距离变化了12mm。
2、图像处理
2.1、二维图像预处理
用中值滤波对二维图像进行预处理，去除图像中的噪声。
2.2、深度图像预处理
2.2.1、获取深度图像时，可以初步设置一个大致的距离范围，可以先筛出一部分背景，减少后续工作量。
2.2.2、用3*3维纳滤波对二维图像进行预处理，去除图像中的噪声.
2.3、经过平滑处理后，图像质量略有改善，但是还在叶片附近有小片黑色区域，称为空洞点，还有一些散点噪声存在，本文利用双边滤波对图像进行处理，修补空洞。处理结果参见附图7，利用双边滤波方法进一步去掉了图像中孤立点状噪声，且能较好地修补叶片中的缝隙空洞噪声。
3.对深度图像和彩色图像进行坐标配准
多摄像头拍摄时，虽然要求其位置、拍摄条件均相同，然而因为Kinect设备的红外摄像头和RGB摄像头没有完全重合，且两个摄像头的内部参数也不一致，导致两个摄像头所取得的画面会产生错位，并没有完全重合，这对背景分离造成严重误差，因此这里必须先把红外摄像头的拍摄坐标实现映射，使其拍出来图像能够和彩色图像一一对应。
因此需要对Kinect摄像头和其他摄像设备进行配准。首先需要对Kinect摄像头重新精确标定。Kinect标定对齐的目的有三个，一是校正畸变.二是获取摄像头的内参数和外参数；三是获取深度和彩色摄像机之间的几何位置关系。本实施例通过使用摄像头内外参数及摄像头几何位置信息设计一套Kinect对齐算法。
本次设计对摄像机的标定和修正主要采用张氏棋盘法，通过相机标定工具(如Matlab软件中的Camera Calibration Toolbox)分别获取彩色摄像头和红外摄像头的内参，以及两个摄像头之间的外参，利用几何转换公式，将红外摄像头相对于彩色摄像头进行重新投影。
3.1摄像机标定流程设计
标定过程为：采集靶标图像—提取特征点信息—求解内外参数—内外参数非线性优化(非线性模型)—误差分析。
标定过程中有较多的约束条件，是否严格按照下列约束条件进行标定关系着标定结果的好坏，故将约束条件列举如下：
(1)标定所用的棋盘要尽量大，棋盘尺寸至少要有A3纸的大小。
(2)棋盘平面与摄像头像平面之间的夹角不要太大，控制在45度以下。
(3)棋盘的姿势与位置尽可能多样化，但相互平行的棋盘对结果没有贡献。
(4)用于标定的图片数量要多于10张。
(5)注意设置好摄像头的分辨率，长宽比最好和深度图像的相同。
3.2Kinect标定实验过程及结果。
为了取得准确和稳定的标定结果，在Kinect标定实验中，我们选取10组不同角度的棋盘格图像分别对Kinect深度摄像头和彩色摄像头进行标定，采用7*10的棋盘作为拍摄对象，通过Kinect设备分别获取同一时刻、同一位置的彩色图像和红外图像各12张，使用Matlab的Camera Calibration Toolbox工具实现Kinect摄像机的标定。拍摄彩色图像时，在白昼日光灯光照的条件下进行，拍摄红外图像时，需要使用黑胶布将红外发射器遮挡住。Kinect获取的原始红外图像和彩色图像如图8(只显示其中6组图像)所示。
运行GML Calibration Toolbox，将拍摄好的红外图像和彩色图像分别导入，得出红外摄像机和彩色摄像机的内外参数和畸变参数。本次实验为降低环境因素及认为因素引入的误差，对摄像机标定进行了重复实验，对每次实验获得的数据求取平均值，最后得到的内参矩阵如表1所示，畸变参数如表2所示。
表1摄像机内参矩阵
表2摄像机畸变参数
对于红外摄像机，重投影所提取的角点，计算重投影误差，其分布图如图9所示。从图中可以看出角点的重投影误差在0.5个像素以内，即实验效果良好。
使用相同背景下拍摄的红外图像与彩色图像得到的两相机外参矩阵P如下所示：
使用内外参可以求得两相机位置关系的旋转矩阵和平移矩阵。具体流程如下所示：
设P_ir为在深度摄像头坐标下某点的空间坐标，p_ir为该点在像平面上的投影坐标(x、y单位为像素，z等于深度值，单位为毫米)，H_ir为深度摄像头的内参矩阵，由小孔成像模型可知，他们满足以下关系：
p_ir＝H_irP_ir
又设P_rgb为在RGB摄像头坐标下同一点的空间坐标，p_rgb为该点在RGB像平面上的投影坐标，H_rgb为RGB摄像头的内参矩阵。由于深度摄像头的坐标和RGB摄像头的坐标不同，他们之间可以用一个旋转平移变换联系起来，即：
p_rgb＝RP_ir+T
其中R为旋转矩阵，T为平移向量。最后再用H_rgb对P_rgb投影，即可得到该点对应的RGB坐标：
p_rgb＝H_rgbP_rgb
因为外参矩阵实际上是由一个旋转矩阵R_ir(R_rgb)和平移向量T_ir(T_rgb)构成的，它表示将一个全局坐标系下的点P变换到摄像头坐标系下，分别对深度摄像头和RGB摄像头进行变换，有以下关系：
P_ir＝R_irP+T_ir
P_rgb＝R_rgbP+T_rgb
由上述公式可以换算得旋转矩阵R和平移矩阵T：
T＝T_rgb-RT_ir
将实验结果代入公式，得到旋转矩阵R和平移矩阵T为：
T＝[-32.23575 -18.49549 76.97531]
得到旋转矩阵R和平移矩阵T之后，根据坐标变换关系设计以下算法对齐图像，程序设计思路如下所示：
1)获取Kinect的深度图像；
2)获取RGB摄像头的二维图像；
3)为深度图像中的每一个像素附上对应的RGB颜色，比如要给坐标为(x,y)的深度图像素附上颜色，具体步骤如下；
(1)构造一个三维向量p_ir＝(x,y,z)，其中x，y是该点的像素坐标，z是该像素的深度值；
(2)用Kinect内参矩阵H_ir的逆矩阵，乘以p_ir得到对应的空间点坐标P_ir，
(3)由于P_ir是该点在Kinect坐标系下的坐标，我们需要将其转换到RGB摄像头的坐标系下。因此，乘以一个旋转矩阵R，再加上一个平移向量T，得到P_rgb；
(4)用RGB摄像头的内参矩阵H_rgb乘以P_rgb，得到p_rgb，p_rgb也是一个三维向量，其x和y坐标即为该点在RGB图像中的像素坐标，取出该像素的颜色，作为深度图像中对应像素的颜色；
(5)对深度图像中的每一个像素点都做上述操作，得到配准后的深度图。
在Visual Studio 2010编写并运行程序，将得到的彩色图像与深度图像重叠，得到结果如图10(左图为Kinect未标定的结果，有图为使用本次研究对齐后的结果)所示。
由图10可以得出Kinect标定后，深度图像与彩色图像对齐效果良好。
4、对深度图像进行中值滤波器，生成掩膜图像。
参见附图11和图12，将经过处理后的深度图做灰度直方图变换，可以看到水稻前景和背景明显地分成了两部分，有明显的双峰，选择双峰的中点作为阈值，将图像二值化，作为水稻冠层“分割掩模图像”(记为掩膜A图)。
5、完成二维图像特定区域分割
生成特定区域的掩膜图像后，将掩膜图像(记为A)与二维图像(记为B)做叠加运算，即可得到二维图像中特定区域图像(记为C)。
即C＝A+B
参见附图13，将掩膜和彩色图像相加，可将作物区域在彩色图像中粗略提取出来。
6、分割后图像优化
对于一些细叶作物(如水稻)由于叶片细长，由于光的衍射效应，深度传感器成像质量较阔叶作物差，初步分割后的水稻叶片图像还存在一定的背景噪声，需要去除这部分噪声。通过K-mean聚类算法把背景噪声提取出来，再用加运算去掉噪声。
根据K-mean聚类算法的原理本发明将二维图像数组划为K个类，每个类都符合如下特征，类内组员之间的距离最大，同时类与类之间的距离最小。
其基本算法步骤如下：
(1)在二维像素数组中随机选取3个像素点作为聚类的起始点；
(2)把整幅图像的均值像素点作为聚类中心，然后从(1)中起始点开始计算各个像素点和聚类中心的距离，最后通过欧式距离判断各点的相似性来完成分类；
(3)从(2)中得到分类后的像素，重新计算各个类的均值，再重复上述操作三次；
(4)输出分类结果，结束聚类操作。
经过以上步骤，可得到图14所示背景噪声图像，将此图像与二维图像做加法运算，可以有效去除噪声，提高作物成像质量。同时对图像边缘进行优化，优化后的水稻冠层分割图像参见图15。
由此可见，本发明实施例提供的方法从空间角度对作物与背景进行分割，不需要考虑噪声的具体种类、形状等因素，大大降低了图像分割的难度和时间。可为田间在线监测系统的实施提供有力帮助。此方法适用性广泛，可很好地实现对宽叶作物区域的分割，亦能完成对细叶作物的区域的分割。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于深度信息的作物冠层分割方法，其特征在于，包括以下步骤：
图像采集：在相同的位置和拍摄环境下，分别获取同一对象的深度图像和二维图像；
图像预处理：分别对深度图像和二维图像进行预处理；
二维图像配准：对拍摄深度图像和二维图像所使用的摄像机进行标定和修正，将二维图像与深度图像进行坐标配准；
深度图像二值化：将经过预处理后的深度图像做灰度直方图变换，获取前景和背景两部分，以灰度直方图中双峰的中点为阈值，将预处理后的深度图像二值化，得到掩膜图像；
图像分割：将掩膜图像与配准后的二维图像做叠加运算，得到作物冠层图像；
图像优化：去除作物冠层图像中的背景噪声；
图像输出：输出优化处理后的作物冠层图像。
2.根据权利要求1所述的一种基于深度信息的作物冠层分割方法，其特征在于，对深度图像进行预处理，包括以下步骤：
根据预设的距离范围初步筛选出部分背景图像，得到初步筛选后的深度图像；
用3×3维纳滤波对初步筛选后的深度图像进行平滑处理，去除图像中的系统噪声；
利用双边滤波对平滑处理后的图像进行二次处理，修补空洞点和散点噪声。
3.根据权利要求2所述的一种基于深度信息的作物冠层分割方法，其特征在于，平滑处理过程采用的滤波算法包括中值滤波、均值滤波和维纳滤波。
4.根据权利要求1所述的一种基于深度信息的作物冠层分割方法，其特征在于，二维图像配准的过程，具体包括以下步骤：
分别获取摄像机上彩色摄像头和红外摄像头的内参矩阵和外参矩阵；
在同一时刻根据红外摄像头和彩色摄像头的外参矩阵，算出关联二者的旋转矩阵和平移向量，并建立世界坐标系和摄像头坐标系之间的联系；
利用内参矩阵、外参矩阵、旋转矩阵和平移向量，为深度图像中每个像素点附上对应的彩色像素。
5.根据权利要求4所述的一种基于深度信息的作物冠层分割方法，其特征在于，为深度图像中每个像素点附上对应的彩色像素，具体包括以下步骤：
(1)构造一个像素点的三维向量qir＝(x,y,z)，其中x，y是像素点的像素坐标，z是像素点的深度值；
(2)用红外摄像头的内参矩阵的逆乘以三维向量qir，得到所述像素点对应的红外摄像头下的坐标点；
(3)用所述像素点对应的红外摄像头坐标下的坐标点乘以旋转矩阵，然后加上平移向量，求出彩色摄像头的坐标点；
(4)利用彩色摄像头的内参矩阵乘以彩色摄像头的坐标点，求出所述像素点相对应的彩色像素坐标点的三维向量qrgb，通过三维向量qrgb中像素点的像素坐标在彩色图像中的像素坐标，找出所述像素点所对应的彩色像素；
(5)分别为深度图像中每个像素点构造所述三维向量qir，重复步骤(2)至(4)，获得配准后的深度图像。
6.根据权利要求1或4所述的一种基于深度信息的作物冠层分割方法，其特征在于，对摄像机进行标定采用张氏棋盘法，遵循的约束条件包括：
标定所用的棋盘尺寸大于或等于A3纸的尺寸；
棋盘平面与摄像头像平面之间的夹角小于45度；
用于标定的图片数量大于10张；
摄像头的分辨率，长宽比与深度图像的相同。
7.根据权利要求1所述的一种基于深度信息的作物冠层分割方法，其特征在于，图像优化过程具体包括以下步骤：
通过K-mean聚类算法提取作物冠层图像中的背景噪声；
用加运算方法去掉所述背景噪声。
8.根据权利要求7所述的一种基于深度信息的作物冠层分割方法，其特征在于，通过K-mean聚类算法提取作物冠层图像中的背景噪声，具体包括以下步骤：
(1)在二维像素数组中随机选取3个像素点作为聚类的起始点；
(2)将整幅图像的均值像素点作为聚类中心，根据步骤(1)中所得的起始点计算各个像素点与聚类中心的距离，通过欧式距离判断各点的相似性完成分类；
(3)从步骤(2)中得到分类后的像素点，重新计算各个类的均值，再重复上述操作三次；
(4)输出分类结果，结束聚类操作。
9.根据权利要求8所述的一种基于深度信息的作物冠层分割方法，其特征在于，通过欧式距离判断各点的相似性进行分类，分类后每个类具有如下特征：各类内组员之间的距离最大，且类与类之间的距离最小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567338.0A CN111739031B (zh) | 2020-06-19 | 2020-06-19 | 一种基于深度信息的作物冠层分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010567338.0A CN111739031B (zh) | 2020-06-19 | 2020-06-19 | 一种基于深度信息的作物冠层分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111739031A true CN111739031A (zh) | 2020-10-02 |
| CN111739031B CN111739031B (zh) | 2023-09-26 |
Family
ID=72651785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010567338.0A Active CN111739031B (zh) | 2020-06-19 | 2020-06-19 | 一种基于深度信息的作物冠层分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111739031B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329856A (zh) * | 2020-11-06 | 2021-02-05 | 神农智慧农业研究院南京有限公司 | 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 |
| CN112802068A (zh) * | 2020-12-24 | 2021-05-14 | 奥比中光科技集团股份有限公司 | 一种同步获取深度、彩色与光谱图像的装置及识别系统 |
| CN113199479A (zh) * | 2021-05-11 | 2021-08-03 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备、存储介质和3d相机 |
| CN113222917A (zh) * | 2021-04-29 | 2021-08-06 | 桂林理工大学 | 机载激光雷达点云数据chm的dbi树顶点探测方法 |
| CN113643231A (zh) * | 2021-06-24 | 2021-11-12 | 河南农业大学 | 一种基于深度图像的作物出苗质量检测方法 |
| CN115393352A (zh) * | 2022-10-27 | 2022-11-25 | 浙江托普云农科技股份有限公司 | 基于图像识别的作物夹角测量方法及其应用 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678793A (zh) * | 2016-02-26 | 2016-06-15 | 浙江大学 | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 |
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
| CN109816680A (zh) * | 2018-12-19 | 2019-05-28 | 黑龙江八一农垦大学 | 一种农作物株高的高通量计算方法 |
| CN109859101A (zh) * | 2019-01-18 | 2019-06-07 | 黑龙江八一农垦大学 | 农作物冠层热红外图像识别方法及系统 |
| CN110046613A (zh) * | 2019-05-16 | 2019-07-23 | 北京农业信息技术研究中心 | 一种作物冠层原位生长表型监测装置及三维重建方法 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
| AU2019222803A1 (en) * | 2019-02-22 | 2020-09-10 | Binhai Industrial Technology Research Institute Of Zhejiang University | Volume measurement apparatus and method |
-
2020
- 2020-06-19 CN CN202010567338.0A patent/CN111739031B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678793A (zh) * | 2016-02-26 | 2016-06-15 | 浙江大学 | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 |
| WO2017219391A1 (zh) * | 2016-06-24 | 2017-12-28 | 深圳市唯特视科技有限公司 | 一种基于三维数据的人脸识别系统 |
| CN108399632A (zh) * | 2018-03-02 | 2018-08-14 | 重庆邮电大学 | 一种联合彩色图像的rgb-d相机深度图像修复方法 |
| CN109816680A (zh) * | 2018-12-19 | 2019-05-28 | 黑龙江八一农垦大学 | 一种农作物株高的高通量计算方法 |
| CN109859101A (zh) * | 2019-01-18 | 2019-06-07 | 黑龙江八一农垦大学 | 农作物冠层热红外图像识别方法及系统 |
| AU2019222803A1 (en) * | 2019-02-22 | 2020-09-10 | Binhai Industrial Technology Research Institute Of Zhejiang University | Volume measurement apparatus and method |
| CN110046613A (zh) * | 2019-05-16 | 2019-07-23 | 北京农业信息技术研究中心 | 一种作物冠层原位生长表型监测装置及三维重建方法 |
| CN110648367A (zh) * | 2019-08-15 | 2020-01-03 | 大连理工江苏研究院有限公司 | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329856A (zh) * | 2020-11-06 | 2021-02-05 | 神农智慧农业研究院南京有限公司 | 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 |
| CN112329856B (zh) * | 2020-11-06 | 2024-05-14 | 神农智慧农业研究院南京有限公司 | 一种基于光谱与rgb-d融合图像的小麦氮积累量预测方法 |
| CN112802068A (zh) * | 2020-12-24 | 2021-05-14 | 奥比中光科技集团股份有限公司 | 一种同步获取深度、彩色与光谱图像的装置及识别系统 |
| CN113222917A (zh) * | 2021-04-29 | 2021-08-06 | 桂林理工大学 | 机载激光雷达点云数据chm的dbi树顶点探测方法 |
| CN113222917B (zh) * | 2021-04-29 | 2022-06-14 | 桂林理工大学 | 机载激光雷达点云数据chm的dbi树顶点探测方法 |
| CN113199479A (zh) * | 2021-05-11 | 2021-08-03 | 梅卡曼德（北京）机器人科技有限公司 | 轨迹生成方法、装置、电子设备、存储介质和3d相机 |
| CN113643231A (zh) * | 2021-06-24 | 2021-11-12 | 河南农业大学 | 一种基于深度图像的作物出苗质量检测方法 |
| CN113643231B (zh) * | 2021-06-24 | 2024-04-09 | 河南农业大学 | 一种基于深度图像的作物出苗质量检测方法 |
| CN115393352A (zh) * | 2022-10-27 | 2022-11-25 | 浙江托普云农科技股份有限公司 | 基于图像识别的作物夹角测量方法及其应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111739031B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111739031B (zh) | 一种基于深度信息的作物冠层分割方法 | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| CN109410207B (zh) | 一种基于ncc特征的无人机巡线图像输电线路检测方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN105279787B (zh) | 基于拍照的户型图识别生成三维房型的方法 | |
| US20160005145A1 (en) | Aligning Ground Based Images and Aerial Imagery | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN111429533B (zh) | 一种相机镜头畸变参数估计装置及方法 | |
| CN109118544B (zh) | 基于透视变换的合成孔径成像方法 | |
| CN107784669A (zh) | 一种光斑提取及其质心确定的方法 | |
| CN111369605B (zh) | 一种基于边缘特征的红外与可见光图像的配准方法和系统 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| CN113012234B (zh) | 基于平面变换的高精度相机标定方法 | |
| WO2007135659A2 (en) | Clustering - based image registration | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质 | |
| CN111126418A (zh) | 一种基于平面透视投影的倾斜影像匹配方法 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| CN111290582B (zh) | 一种基于改进型直线检测的投影交互区域定位方法 | |
| CN111260735B (zh) | 一种单次拍摄的lidar与全景相机的外参数标定方法 | |
| Furnari et al. | Generalized Sobel filters for gradient estimation of distorted images | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN113450335B (zh) | 一种路沿检测方法、路沿检测装置及路面施工车辆 | |
| CN116229084A (zh) | 一种对空目标的检测方法 | |
| CN115841668A (zh) | 一种双目视觉苹果识别以及精准定位的方法 | |
| CN111080560B (zh) | 一种图像的处理与识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |