CN113674402A - 植物三维高光谱点云模型生成方法、校正方法及其装置 - Google Patents
植物三维高光谱点云模型生成方法、校正方法及其装置 Download PDFInfo
- Publication number
- CN113674402A CN113674402A CN202110967383.XA CN202110967383A CN113674402A CN 113674402 A CN113674402 A CN 113674402A CN 202110967383 A CN202110967383 A CN 202110967383A CN 113674402 A CN113674402 A CN 113674402A
- Authority
- CN
- China
- Prior art keywords
- rgb
- camera
- multispectral
- point cloud
- plant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012937 correction Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000002310 reflectometry Methods 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 38
- 230000007246 mechanism Effects 0.000 claims description 30
- 238000005286 illumination Methods 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 7
- 239000012530 fluid Substances 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000010187 selection method Methods 0.000 claims 1
- 241000196324 Embryophyta Species 0.000 description 181
- 230000003595 spectral effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种植物三维高光谱点云模型生成方法、校正方法及其装置，该生成方法包括获取包含目标植物的RGB‑D数据和包含目标植物的多光谱数据；所述RGB‑D数据包括多帧RGB‑D图像，且不同的所述RGB‑D图像位于不同的采样位置；所述多光谱数据包括多帧多光谱图像，且不同的所述多光谱图像位于不同的采样位置；对所有所述RGB‑D图像和所有所述多光谱图像进行非刚性配准处理；基于所有处理后的RGB‑D图像和所有处理后的多光谱图像，生成目标植物对应的三维高光谱点云模型。与当前基于傅里叶变换的图像配准方法相比，配准结果更精细，解决了植物边缘像素存在错位现象的问题。
Description
技术领域
本发明涉及图像处理及校正领域，特别是涉及一种植物三维高光谱点云模型生成方法、校正方法及其装置。
背景技术
植物的三维形态结构特征是植物表型组学特征中的重要组成部分，通过获取植物的三维形态结构特征，例如株高、叶长、叶倾角、植物器官数量等，并和植物基因型进行关联分析，可以为植物栽培育种提供决策依据。植物三维表型技术，采用激光扫描仪、RGB-D相机等设备，采集植物空间位置信息，并利用三维重构算法构建植物三维点云模型，进而获取到植物的三维形态结构特征。此类的植物三维点云模型通常只包含XYZ三个空间位置分量(例：激光扫描仪)或包括RGB颜色信息的RGBXYZ六维特征(RGB-D相机、双目视觉重建等)，因此只能够提供形态学特征参数，而植物生理生化参数并不能通过此类植物三维点云模型进行有效预测和表征。
植物光谱图像可以有效预测植物的生理生化参数，同样是一项重要的植物表型技术。近年来，将多波段光谱图像的纹理信息融合植物三维点云模型生成植物高光谱点云模型，以兼顾形态学特征和植物生理生化参数的共同表征，从而提供一种特征描述更加全面、更加精确的植物模型，有助于发展精细化农业和高通量植物表型技术。
照明条件和植物三维形态对于光谱相机所接收到的光信号强度有较大影响。一般情况下，植物叶片反射来自光源的光线为反射光，由光谱相机接收并成像，通过白板校正和暗电流校正，可以获得植株光谱反射率模型，进而可以预测植物特定的生理生化参数或表型性状。但光线的入射方位、反射方位以及叶片倾斜程度会极大干扰叶片本身反射率的测量，造成不同方位的植物放置与不同方位的相机测量的反射率结果不尽相同，从而对后续预测造成干扰。因此需要一种能够很好地校正植物近端遥感反射率方法。
发明内容
鉴于此，本发明提供了一种植物三维高光谱点云模型生成方法、校正方法及其装置。
为实现上述目的，本发明提供了如下方案：
一种植物三维高光谱点云模型生成方法，包括：
获取包含目标植物的RGB-D数据和包含目标植物的多光谱数据；所述RGB-D数据包括多帧RGB-D图像，且不同的所述RGB-D图像位于不同的采样位置；所述多光谱数据包括多帧多光谱图像，且不同的所述多光谱图像位于不同的采样位置；
对所有所述RGB-D图像和所有所述多光谱图像进行非刚性配准处理；
基于所有处理后的RGB-D图像和所有处理后的多光谱图像，生成目标植物对应的三维高光谱点云模型。
一种植物三维高光谱点云模型生成装置，包括：上位机、机械臂、RGB-D相机、多光谱相机及升降机构；
所述上位机分别与所述机械臂和所述升降机构连接；所述升降机构上设置有光源；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光源用于照射目标植物；
所述RGB-D相机用于采集包含目标植物的RGB-D数据；
所述多光谱相机用于采集包含目标植物的多光谱数据；
工作时，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集，所述上位机执行植物三维高光谱点云模型生成方法。
一种植物三维高光谱点云模型校正方法，包括：
确定目标植物对应的三维高光谱点云模型；所述目标植物对应的三维高光谱点云模型是根据权利要求1-3任意一项所述的植物三维高光谱点云模型生成方法确定的；所述目标植物对应的三维高光谱点云模型包括多帧单帧目标植物三维高光谱点云；
确定梯度板三维高光谱点云模型；所述梯度板三维高光谱点云模型包括多帧单帧梯度板三维高光谱点云；所述梯度板有4个标准反射率；
基于所述单帧梯度板三维高光谱点云，确定反射率比对库；
基于所述反射率比对库，校正单帧目标植物三维高光谱点云，得到照明校准后的单帧目标植物三维高光谱点云；
基于所述照明校准后的单帧目标植物三维高光谱点云，重建目标植物对应的三维高光谱点云模型。
一种植物三维高光谱点云模型校正装置，包括：上位机、机械臂、RGB-D相机、多光谱相机、光学平台以及放置在所述光学平台上的梯度板；所述梯度板有4个标准反射率；
所述上位机与所述机械臂连接；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光学平台用于照射梯度板；
所述RGB-D相机用于采集包含梯度板的RGB-D数据；
所述多光谱相机用于采集包含梯度板的多光谱数据；
工作时，所述光学平台照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行植物三维高光谱点云模型校正方法。
一种植物三维高光谱点云模型校正装置，包括：上位机、机械臂、RGB-D相机、多光谱相机和梯度板；所述梯度板有4个标准反射率；
所述上位机与所述机械臂连接；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述目标物为梯度板和目标植物；
所述RGB-D相机用于采集包含目标物的RGB-D数据；
所述多光谱相机用于采集包含目标物的多光谱数据；
工作时，首先，太阳光源照射所述目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，太阳光源照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行植物三维高光谱点云模型校正方法。
一种植物三维高光谱点云模型校正装置，包括：上位机、机械臂、RGB-D相机、多光谱相机、升降机构和梯度板；所述梯度板有4个标准反射率；
所述上位机分别与所述机械臂和所述升降机构连接；所述升降机构上设置有光源；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光源用于照射目标物；所述目标物为梯度板和目标植物；
所述RGB-D相机用于采集包含目标物的RGB-D数据；
所述多光谱相机用于采集包含目标物的多光谱数据；
工作时，首先，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行植物三维高光谱点云模型校正方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明创新性地提出了一种多波段光谱图像和RGB-D图像的多模态融合方法，并在此方法中应用了非刚性配准算法，以使生成的植物三维高光谱点云模型，与当前基于傅里叶变换的图像配准方法相比，配准结果更精细，解决了植物边缘像素存在错位现象的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明植物三维高光谱点云模型生成自动化装置的结构示意图；
图2为本发明植物三维高光谱点云模型生成方法的流程示意图；
图3为本发明植物三维高光谱点云模型校正自动化装置的结构示意一图；
图4为本发明植物三维高光谱点云模型校正方法的流程示意图；
图5为本发明普通光源下梯度板参数初始化示意图；
图6为本发明太阳光源下梯度板参数初始化示意图；
图7为本发明植物三维高光谱点云模型校正自动化装置的结构示意二图
图8为本发明普通光源和光学平台下梯度板参数初始化示意图。：
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本实施例提供了一种植物三维高光谱点云模型生成方法，此方法通过图1所示的自动化装置实现。
如图1所示，本实施例提供的植物三维高光谱点云模型生成自动化装置包括：上位机1、机械臂控制柜2、RGB-D相机3、多光谱相机4、机械臂5及升降机构。升降机构包括升降电机6和升降架9。RGB-D相机3和多光谱相机4由3D打印的连接件7固定在机械臂5的工具端。升降电机6通过升降架9控制光源10的移动。光源10的光强可调可控，实验过程中不变。
机械臂控制柜2提供的拓展接口用于通过控制升降电机6、机械臂5使光源10、RGB-D相机3和多光谱相机4能够绕目标植物11进行工作。
在工作过程中，上位机1通过控制升降机构调整光源10的位置以使光源10始终照射目标植物11，上位机1通过控制机械臂5调整RGB-D相机3和多光谱相机4的位置以使RGB-D相机3和多光谱相机4在不同采样位置采集不同的数据，接着上位机1执行下面所述的植物三维高光谱点云模型生成方法。
请参见图2，本实施例提供的一种植物三维高光谱点云模型生成方法，包括如下步骤：
步骤201：获取包含目标植物的RGB-D数据和包含目标植物的多光谱数据；所述RGB-D数据包括多帧RGB-D图像，且不同的所述RGB-D图像位于不同的采样位置；所述多光谱数据包括多帧多光谱图像，且不同的所述多光谱图像位于不同的采样位置。
数据采集程序是基于C#和C++混合编程确定的；基于UR5机械臂SDK(C#)、AzureKinect的RGB-D相机SDK(C++)和XIMEA多光谱相机SDK(C++)共同开发的自动化数据采集程序用于采集RGB-D图像、多光谱图像，并记录机械臂位姿信息。
首先确定机械臂的数据采集点位和数据采样姿态，数据采集点位的数量大于等于3且围绕目标植物呈环绕式排布，数据采样姿态需要保证RGB-D相机和多光谱相机可以对目标植物成像。其次上位机通过机械臂控制柜控制机械臂的工具端移动至某一数据采集位点形成合适的数据采样位姿，记录该数据采样位姿(即机械臂位姿信息)。然后上位机发送控制指令以控制RGB-D相机采集包含目标植物的RGB图像和深度图像并存储。接着关闭RGB-D相机确保其发射的近红外光不会对多光谱相机的测量造成影响，并在同一个数据采集点位，仍然是上位机发送控制指令以控制多光谱相机采集包含目标植物在内的25波段光谱图像并存储，即完成在某一数据采样位姿下的全部数据采集。通过上述方法完成在所有数据采样位姿下的数据采集。
步骤202：对所有所述RGB-D图像和所有所述多光谱图像进行非刚性配准处理；具体包括：
步骤2021：对所有所述RGB-D图像和所有所述多光谱图像进行预处理操作，以得到多帧仅包含目标植物像素的多光谱图像、多帧仅包含目标植物像素的RGB图像和多帧仅包含目标植物像素的XYZ图像。
步骤2022：采用加速稳健特征算法对标定多光谱图像和标定RGB图像进行处理，得到标定粗配准多光谱图像；所述标定多光谱图像为任意帧仅包含目标植物像素的多光谱图像，所述标定RGB图像为任意帧仅包含目标植物像素的RGB图像，且所述标定多光谱图像和所述标定RGB图像的采样位置相同。
步骤2023：采用Demons流体算法对所述标定RGB图像和所述标定粗配准多光谱图像进行处理，得到标定精配准多光谱图像。
其中，处理后的多光谱图像为标定精配准多光谱图像；处理后的RGB-D图像包括：仅包含目标植物像素的RGB图像和仅包含目标植物像素的XYZ图像。
重复步骤2022至步骤2023，实现所有RGB-D图像和所有多光谱图像的非刚性配准处理。
下面对步骤202的执行过程进行更为详细的说明。
在RGB-D数据和多光谱数据中，记
为第i个数据采样位姿(数据采样位姿的总个数为m)下的第j个波段(总共波段数25)的多光谱图像，
为第i个数据采样位姿下的第k个通道的RGB图像，k从1、2、3中取值，并分别和RGB分量相对应，Di为第i个数据采样位姿下的深度图像，执行以下步骤：
以i＝1：m遍历执行步骤(1)至步骤(6)。
步骤(1)：用近红外波段和红光两波段之比来计算植被指数NDVI(本实施例选取25波段中的第6波段和第2个波段)，得到NDVI图像SNDVI。
步骤(2)：对NDVI图像进行自适应Otsu阈值分割以及高斯滤波处理后，得到去噪后且仅包含目标植物像素的二值掩膜图像MNDVI，并叠加多光谱图像
得到仅包含目标植物像素的多光谱图像
步骤(3)：对深度图像Di采用Azure Kinect的SDK中的
k4a_transformation_depth_image_to_color_camera()函数，将其从深度相机参考坐标系变换成RGB相机参考坐标系，再采用
k4a_transformation_depth_image_to_point_cloud()函数将其变换成目标植物XYZ图像，其图像的每个像素点的值为RGB相机坐标系下该像素的实际空间坐标，将目标植物XYZ图像记作XYZi。
步骤(4)：将RGB图像
转换到HIS色彩空间后再进行自适应Otsu阈值分割以提取仅包含目标植物像素的二值掩膜图像MHSI，然后叠加RGB图像
得到仅包含目标植物像素的RGB图像
将仅包含目标植物像素的二值掩膜图像MHSI与目标植物XYZ图像叠加，得到仅包含目标植物像素的XYZ图像XYZPi。
XYZPi＝XYZi·MHSI。
由于仅包含目标植物像素的多光谱图像
和仅包含目标植物像素的RGB图像
是异源传感器获取的数据，其像素之间不是相互对应的关系，因此需要进行图像配准，以仅包含目标植物像素的RGB图像
为固定图像(fixed)，以仅包含目标植物像素的多光谱图像
为移动图像(moving)，采用加速稳健特征算法SURF(SpeededUpRobustFeatures)搜索特征点，计算仅包含目标植物像素的多光谱图像
变换到仅包含目标植物像素的RGB图像
的二维仿射矩阵Taffine。根据二维仿射矩阵Taffine，将仅包含目标植物像素的多光谱图像
变换为粗配准多光谱图像
以实现粗配准。
精配准的目的是解决异源传感器本身内参差异原因形成的图像畸变进而造成的配准精度下降问题，粗配准只能够将图像的位置大致对齐，但存在一些像素细节无法对齐。以仅包含目标植物像素的RGB图像
为固定图像，以粗配准多光谱图像
为移动图像(moving)，采用Demons流体算法将上述图像对(即仅包含目标植物像素的RGB图像
和粗配准多光谱图像
)作非刚性配准，得到二维变形场FDemons；将粗配准多光谱图像
和二维变形场FDemons叠加，得到精配准多光谱图像
步骤203：基于所有处理后的RGB-D图像和所有处理后的多光谱图像，生成目标植物对应的三维高光谱点云模型。具体包括：
基于同一采样位置下的处理后的RGB-D图像和处理后的多光谱图像，生成单帧目标植物三维高光谱点云；将所有所述单帧目标植物三维高光谱点云组合，生成目标植物对应的三维高光谱点云模型。
下面以单帧目标植物三维高光谱点云为例，进行更为详细的说明。
经过上述配准，已经将精配准多光谱图像
和仅包含目标植物像素的RGB图像
实现了逐像素的对齐，由于仅包含目标植物像素的RGB图像
和仅包含目标植物像素的XYZ图像XYZPi已经被统一到同一个相机坐标参考系下，因此可以将上述三个尺寸相同的图像逐像素转换成点云形式。
建立单帧目标植物三维高光谱点云List为：
其中，(p，q)为上述图像中某像素在图像中的坐标，pq为两者乘积，表示像素在单帧目标植物三维高光谱点云List中的位置索引，PQ为P(图像宽度)和Q(图像高度)的乘积，表示图像尺寸，数值对应关系如下：
由此可得形式为：
的点云向量，该点云向量包括31个特征维度，分别是相机参考系下的空间坐标、RGB三通道分量以及25波段光谱分量(DN值)。
以i＝1：m遍历执行上述步骤，得到各个数据采样位姿下单帧目标植物三维高光谱点云，进而可以生成目标植物对应的三维高光谱点云模型。
实施例二
下面介绍下如何校正照明因素对目标植物对应的三维高光谱点云模型的影响。
参见图3，本实施例提供的校正装置是在实施例所述的自动化装置的基础上进行改进的，将目标植物11更换为梯度板12；该校正装置包括：上位机1、机械臂控制柜2、RGB-D相机3、多光谱相机4、机械臂5及升降机构。升降机构包括升降电机6和升降架9。RGB-D相机3和多光谱相机4由3D打印的连接件7固定在机械臂5的工具端。升降电机6通过升降架9控制光源10的移动。光源10的光强可调可控，实验过程中不变。梯度板12有4个标准反射率，且梯度板12置于可旋转装置13上。此可旋转装置13上设置有旋转电机8，并与上位机1连接。
机械臂控制柜2提供的拓展接口用于通过控制升降电机6、机械臂5使光源10、RGB-D相机3和多光谱相机4能够绕梯度板12进行工作。
在工作过程中，上位机1通过控制升降机构调整光源10的位置以使光源始终照射梯度板12，上位机1通过控制机械臂5调整RGB-D相机3和多光谱相机4的位置以使RGB-D相机3和多光谱相机4能够绕梯度板12在不同采样位置进行数据采集，接着上位机1执行下面所述的植物三维高光谱点云模型校正方法。
参见图4，本实施例提供了一种植物三维高光谱点云模型校正方法。
步骤401：确定目标植物对应的三维高光谱点云模型；所述目标植物对应的三维高光谱点云模型是根据权利要求1-3任意一项所述的植物三维高光谱点云模型生成方法确定的；所述目标植物对应的三维高光谱点云模型包括多帧单帧目标植物三维高光谱点云。
步骤402：确定梯度板三维高光谱点云模型；所述梯度板三维高光谱点云模型包括多帧单帧梯度板三维高光谱点云；所述梯度板有4个标准反射率。
步骤403：基于所述单帧梯度板三维高光谱点云，确定反射率比对库。
步骤404：基于所述反射率比对库，校正单帧目标植物三维高光谱点云，得到照明校准后的单帧目标植物三维高光谱点云。
步骤405：基于所述照明校准后的单帧目标植物三维高光谱点云，重建目标植物对应的三维高光谱点云模型。
下面对步骤402的内容进行更为详细的介绍。
如图5所示，机械臂的基座坐标为(0，0，0)，手动测得光源在机械臂坐标系中的坐标为(xl，yl，zl)，目标植物的高度为H，入射光线光程、反射光线光程、入射角、观测角分别为di，do，θi，θo；其中，梯度板放置于光源正下方。
设置的梯度板的10个高度和9个入射角如下所示：
H＝9Δh；
zl∈{zl0，zl0+Δh，...，zl0+9Δh}；
θi∈{0°，10°，...，80°}。
设置5条机械臂的工具端的移动路径。其中，该5条移动路径上的采样点到梯度板距离的集合需要能够大致覆盖实施例一步骤201中对目标植物进行数据采集的采样距离。在每条移动路径上选择三个采样位姿，分别作为起始位姿、中继位姿和终态位姿，采用UR5机械臂SDK的URScript中的movec()函数规划出包含上述三个采样位姿的圆弧段路径，得到α∈{α1，α2，α3，α4，α5}五条移动路径。对于某一移动路径α，选取具有均匀间隔的10个路点作为采样点，机械臂沿某移动路径移动到该采样点时停止，采集机械臂位姿信息以及包含梯度板的RGB-D数据、包含梯度板的多光谱数据。
按zl、θi以及α上的采样点集合中所有可取的数值，进行嵌套循环，循环内容为下述步骤，该步骤共需执行9×10×5×10＝4500次。
记录机械臂位姿，通过上位机发送指令控制RGB-D相机采集包含梯度板的RGB图像和深度图像并存储，再关闭RGB-D相机确保其发射的近红外光不会对多光谱相机的测量造成影响，在同一位置，该上位机发送指令控制多光谱相机采集包含梯度板在内的25波段光谱图像并存储，完成在该位姿下的全部与梯度板相关的数据采集。
参照实施例一步骤202内容对上述采集的数据进行处理，得到仅包含梯度板像素的精配准多光谱图像
仅包含梯度板像素的RGB图像
和仅包含梯度板像素的XYZ图像XYZCi，继而同样可得单帧梯度板三维高光谱点云，其点云形式为：
的，进而确定梯度板对应的三维高光谱点云模型。
下面对步骤403的内容进行更为详细的介绍。
对于仅包含梯度板像素的XYZ图像XYZCi来说，先获取5×5邻域像素位置上的25个点的空间坐标(xpq，ypq，zpq)，具体如下：
对除去(0，0，0)后剩下的n个点组成的点集{(xn，yn，zn)}进行三维平面拟合，目标平面为Ax+By+Cz＝D，计算拟合矩阵A：
对拟合矩阵A做奇异值分解(SVD)，最小奇异值对应的特征向量就是拟合平面的系数向量(A，B，C)，该系数向量(A，B，C)同时也是此微平面的法向量。由于梯度板本身是一个平面，因此系数向量(A，B，C)可视为梯度板在相机坐标系中的法向量。
采用上述5×5邻域可在仅包含梯度板像素的XYZ图像XYZCi中随机选取或逐像素取邻域计算法向量再取平均值，两者差异很小。这里采用随机取(p，q)的方法进行下列描述。
在相机坐标系中，计算如下数值：
do＝||(xpq，ypq，zpq)||；
θo＝<(A，B，C)，(xpq，ypq，zpq)>，θo∈(0°，90°)；
将(xpq，ypq，zpq)从相机坐标系转换到机械臂坐标系，转换矩阵
为UR5机械臂的SDK传送的位姿信息解析而来，转换矩阵
为根据连接件尺寸参数手工计算所得：
同理将法向量(A，B，C)变换到机械臂坐标系：
在机械臂坐标系中，计算如下数值：
由此，可得该位姿下的照明结构特征向量(di，do，θi，θo)。梯度板上有4种反射率涂层，按从小到大排列为R1＜R2＜R3＜R4，因此属于该照明结构特征向量的25波段的多光谱向量有4组：
下面对步骤404的内容进行更为详细的介绍。
上述步骤循环执行后，可以得到反射率比对库。如果某平面的照明结构特征向量和上述反射率比对库中的某个向量相近，则采用该向量对应的、反射率相近的多光谱DN值进行光谱校正。对植物近端多光谱进行校正同样需要获得植物每一点上的照明结构向量(di，do，θi，θo)。
对于实施例一获得的仅包含目标植物像素的XYZ图像XYZPi，获取5×5邻域像素位置上的25个点的空间坐标(xpq，ypq，zpq)，具体如下：
按照上述内容计算(p，q)处的照明结构特征向量(di，do，θi，θo)，结果，此处的(p，q)不能够随机选取，而是需要遍历([2，P-2]，[2，Q-2])范围内所有的像素点(遍历除了XYZPi图像最外面的两圈像素之外的所有像素)。将每个像素的照明结构特征向量(di，do，θi，θo)作为结果，用另一个矩阵Θ进行保存，像素坐标和原图像中相同，矩阵Θ的每个元素Θ(p，q)的值都是该像素位置上的照明结构特征向量。以L2范数搜索Θ(p，q)与反射率比对库中的每个照明结构特征向量(di，do，θi，θo)ref的距离，取距离最小值，也即通过搜索最小化下式：
||Θ(p，q)-(di，do，θi，θo)ref||；
记使得上述式子最小化的反射率比对库中的照明结构特征向量所对应的梯度板多光谱反射率测量值为：
对精配准多光谱图像
上的像素值，采用下述公式进行反射率校正，Darkj为多光谱相机第j个波段的暗框DN值：
梯度板提供了四种标准反射率R1＜R2＜R3＜R4，计算L1范数空间内和
最相近的标准反射率值——R1R2R3R4中之一，记该值为
再次计算上述校正式：
其中，
的取值(
之一)与
有关。
最终得到的校正后的单帧目标植物三维高光谱点云形式为：
该点云向量包括31个特征维度，分别是相机坐标系下的空间坐标、RGB三通道分量以及25波段光谱反射率值。
以i＝1：m遍历执行上述步骤，得到各个位姿下经过照明校准后的单帧目标植物三维高光谱点云。
下面对步骤405的内容进行更为详细的介绍
上述m个位姿下采集到的所有单帧目标植物三维高光谱点云的空间坐标还依旧是相机坐标系下的，需要转换到机械臂坐标系下，融合成完整的植物点云。具体如下：
对第i个位姿下的单帧目标植物三维高光谱点云中的每个植物点云空间坐标
做如下转换：
保存至List Li中：
汇总全部m个位姿中的点云于List L中，形成粗配准结果。
L＝{L1，L2，...，Li，...，Lm}。
利用离群点去除实现去噪，以L1为参考点云，采用迭代最近点算法(ICP)将其它位姿下采集的点云L2，...，Li，...，Lm精配准到L1的参考系，得到
汇总全部m个位姿中的点云于List Lrefine中，形成精配准结果：
实施例三
在此基础上，本实施例可根据实施例一和实施例二所述的技术方案中，完成一整套方案，即所述的植物三维高光谱点云生成和校正方法及自动化采集和校正的软件配套，
本实施例提供的一种植物三维高光谱点云模型校正装置，包括：上位机、机械臂、RGB-D相机、多光谱相机、升降机构和梯度板；所述梯度板有4个标准反射率。
所述上位机分别与所述机械臂和所述升降机构连接；所述升降机构上设置有光源；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端。
所述光源用于照射目标物；所述目标物为梯度板和目标植物。
所述RGB-D相机用于采集包含目标物的RGB-D数据。
所述多光谱相机用于采集包含目标物的多光谱数据。
工作时，首先，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行实施例二所述的植物三维高光谱点云模型校正方法。
相同内容不再赘述。
实施例四
本实施例提供了一种植物三维高光谱点云模型校正方法，该方法涵盖了实施例一所述的生成方法和实施例二所述的校正方法，其方法的输出结果为生成好的植物三维高光谱点云以及校正好的植物三维高光谱点云。
实施例五
本实施例提供的一种植物三维高光谱点云模型校正装置，包括：上位机、机械臂、RGB-D相机、多光谱相机和梯度板。梯度板有4个标准反射率。
所述上位机与所述机械臂连接；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端。所述RGB-D相机用于采集包含目标物的RGB-D数据；所述目标物为梯度板和目标植物。所述多光谱相机用于采集包含目标物的多光谱数据。
工作时，首先，太阳光源照射所述目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，太阳光源照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行实施例二所述的植物三维高光谱点云模型校正方法。
本实施例的目的为得到经过照明校正且准确的植物三维高光谱点云模型，本实施例所描述的装置适用于高度受控的实验室环境下对盆栽植物进行近端光谱成像和点云构建。实际应用中存在两种主要的可替换场景：(1)温室环境中盆栽植物受到自然太阳光照，光源为太阳光；(2)受环境限制不方便安装固定光谱检测光源，光源为移动式光源。
参见图6，本实施例采用太阳光作为光谱成像光源。温室内的太阳光场在某一特定时间段内可以视为匀强光场(光强恒定，在植物近端遥感情况下此光强和距离无关)，因此其照明结构特征向量的描述方法将会有所不同，原向量(di，do，θi，θo)中的di是恒定值(较短时间内)，改为(do，θi，θo)。
数据采集过程同上述实施例二，其校正装置可以进行简化，不再需要光源升降机构，只需要执行部分运算，只需要嵌套循环9个倾角和5条机械臂移动路径上的共9×50＝450个路点，大大减少校正时间，尽可能避免时间过长造成太阳光场的变化。从而得到以(do，θi，θo)形式为照明结构特征向量的反射率比对库。比对校正过程同实施例二，需要通过搜索完成最小化的式子相应地变成||Θ(p，q)-(do，θi，θo)ref||；多视角单帧植物三维高光谱点云的三维重建过程完全同实施例二的步骤，此处不再赘述。
实施例六
参见图7，本实施例提供了一种植物三维高光谱点云模型校正装置，包括：上位机1、机械臂控制柜2、RGB-D相机3、多光谱相机4、机械臂5、光学平台以及放置在所述光学平台上的梯度板12；所述梯度板12有4个标准反射率；
RGB-D相机3和多光谱相机4由3D打印的连接件7固定在机械臂5的工具端。机械臂控制柜2提供的拓展接口用于通过机械臂5使RGB-D相机3和多光谱相机4能够绕梯度板12进行工作。
所述光学平台用于照射梯度板；所述RGB-D相机用于采集包含梯度板的RGB-D数据；所述多光谱相机用于采集包含梯度板的多光谱数据；工作时，所述光学平台照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行实施例二所述的植物三维高光谱点云模型校正方法。
参见图8，本场景采用随机械臂一同移动的光源作为光谱成像光源，光源和相机一同被安装在机械臂的工具端，因此入射光线和反射光线的光程相等，且入射角，观测角大小相等，方向相反(都处于法线同侧)，即di＝do，θi＝(-θo)。记di＝do＝d，θi＝(-θo)＝θ，则原向量(di，do，θi，θo)可改为(d，θ)。
数据采集过程、反射率比对校正过程和多视角单帧植物三维高光谱点云的三维重建过程上述实施例所述情况，此处不再赘述
本发明提出的校正方法和立体校正法相近，都是采用立体的标准反射率比对的方式校正植物多光谱图像不同位置的照明效应，但有几处创新：
第一，本发明创新性地提出了一种多波段光谱图像和RGB-D图像的多模态融合方法，用于生成植物三维高光谱点云模型。采用SURF检测多光谱图像和RGB图像中的特征点，通过二维仿射变换后完成粗配准，再采用Demons流体算法将上述粗配准图像对做非刚性配准，得到精配准图像对，提取相同像素位置上的不同的数据，得到植物三维高光谱点云模型。与当前基于傅里叶变换的图像配准方法相比，配准结果更精细，解决了植物边缘像素存在错位现象的问题。
第二，原有的立体校正法受到装置的限制，只适用叶片尺度，并未用于植物冠层和整株；本发明描述的装置采用了UR5机械臂搭载RGB-D相机和多光谱相机进行数据采集，可以直接获取全植株以及植株冠层的三维形态结构信息以及光谱反射率信息。
第三，原有装置较为复杂，需要对标准反射率立体模型的形状进行精心设计以满足多角度测量的需要。本发明描述的方法仅采用梯度反射率校正板即可进行反射率校准，利用机械臂在工作空间内可以方便地移动的特性，实现多角度测量。
第四，原有装置自动化程度低，本发明提出的数据采集及校正方法可通过编写的自动化控制程序实现，装置中的各组成部分均有提供自动化控制的软件开发工具包SDK或API接口，只需要测量少量参数以及设置几个路点，即可自动化采集生成并校准植物高光谱点云。
第五，原有装置可移动性差，无法应用于温室场景等。本发明提到的机械臂可以安装在移动小车AGV上，实现在实际农业场景中的应用。针对照明校正方法跨场景的适用性问题，本发明给出了在其它场景中的应用方法。
第六、原有的立体校正方法校正精度低，主要原因在于未全面考虑植物光谱成像和入射、反射光的几何因素，并且原有的装置无法设置较为精细的倾角梯度，梯度间隔较大，影响倾角大小的比对精度。本发明采用的是机械臂自定义路径采样，同一条采样路径上包括密集的路点，路点个数越多，则获取到的倾角梯度间隔越小，能够捕捉到的倾角差异的能力越强。中继的路点个数可以自由选择，也即倾角梯度间隔可调，精细度可调。
第七，原有的立体校正标准件只有接近于1单一反射率(R4)，对于被校准物体反射率差异大的情况，采用R4进行校正会出现偏差，例如植物。本发明改进了标准件的可选反射率，采用梯度板代替具有单一反射率的标准件，可以有效提高校正精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种植物三维高光谱点云模型生成方法，其特征在于，包括：
获取包含目标植物的RGB-D数据和包含目标植物的多光谱数据；所述RGB-D数据包括多帧RGB-D图像，且不同的所述RGB-D图像位于不同的采样位置；所述多光谱数据包括多帧多光谱图像，且不同的所述多光谱图像位于不同的采样位置；
对所有所述RGB-D图像和所有所述多光谱图像进行非刚性配准处理；
基于所有处理后的RGB-D图像和所有处理后的多光谱图像，生成目标植物对应的三维高光谱点云模型。
2.根据权利要求1所述的一种植物三维高光谱点云模型生成方法，其特征在于，所述对所有所述RGB-D图像和所有所述多光谱图像进行非刚性配准处理，具体包括：
对所有所述RGB-D图像和所有所述多光谱图像进行预处理操作，以得到多帧仅包含目标植物像素的多光谱图像、多帧仅包含目标植物像素的RGB图像和多帧仅包含目标植物像素的XYZ图像；
采用加速稳健特征算法对标定多光谱图像和标定RGB图像进行处理，得到标定粗配准多光谱图像；所述标定多光谱图像为任意帧仅包含目标植物像素的多光谱图像，所述标定RGB图像为任意帧仅包含目标植物像素的RGB图像，且所述标定多光谱图像和所述标定RGB图像的采样位置相同；
采用Demons流体算法对所述标定RGB图像和所述标定粗配准多光谱图像进行处理，得到标定精配准多光谱图像；
其中，所述处理后的多光谱图像为标定精配准多光谱图像；所述处理后的RGB-D图像包括：仅包含目标植物像素的RGB图像和仅包含目标植物像素的XYZ图像。
3.根据权利要求1所述的一种植物三维高光谱点云模型生成方法，其特征在于，所述基于所有处理后的RGB-D图像和所有处理后的多光谱图像，生成目标植物对应的三维高光谱点云模型，具体包括：
基于同一采样位置下的处理后的RGB-D图像和处理后的多光谱图像，生成单帧目标植物三维高光谱点云；
将所有所述单帧目标植物三维高光谱点云组合，生成目标植物对应的三维高光谱点云模型。
4.一种植物三维高光谱点云模型生成装置，其特征在于，包括：上位机、机械臂、RGB-D相机、多光谱相机及升降机构；
所述上位机分别与所述机械臂和所述升降机构连接；所述升降机构上设置有光源；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光源用于照射目标植物；
所述RGB-D相机用于采集包含目标植物的RGB-D数据；
所述多光谱相机用于采集包含目标植物的多光谱数据；
工作时，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集，所述上位机执行权利要求1-3任意一项所述的植物三维高光谱点云模型生成方法。
5.一种植物三维高光谱点云模型校正方法，其特征在于，包括：
确定目标植物对应的三维高光谱点云模型；所述目标植物对应的三维高光谱点云模型是根据权利要求1-3任意一项所述的植物三维高光谱点云模型生成方法确定的；所述目标植物对应的三维高光谱点云模型包括多帧单帧目标植物三维高光谱点云；
确定梯度板三维高光谱点云模型；所述梯度板三维高光谱点云模型包括多帧单帧梯度板三维高光谱点云；所述梯度板有4个标准反射率；
基于所述单帧梯度板三维高光谱点云，确定反射率比对库；
基于所述反射率比对库，校正单帧目标植物三维高光谱点云，得到照明校准后的单帧目标植物三维高光谱点云；
基于所述照明校准后的单帧目标植物三维高光谱点云，重建目标植物对应的三维高光谱点云模型。
6.根据权利要求5所述的一种植物三维高光谱点云模型校正方法，其特征在于，所述单帧梯度板三维高光谱点云包括仅包含梯度板像素的多光谱图像、仅包含梯度板像素的RGB图像和仅包含梯度板像素的XYZ图像；所述基于所述单帧梯度板三维高光谱点云，确定反射率比对库，具体包括：
按照设定模板，提取仅包含梯度板像素的XYZ图像的第一空间坐标，并对所述第一空间坐标进行三维平面拟合，得到拟合矩阵；
对所述拟合矩阵进行奇异值分解，并将最小奇异值对应的特征向量确定为梯度板在相机坐标系中的法向量；
基于随机选取法和设定模板，提取仅包含梯度板像素的XYZ图像的第二空间坐标，并在相机坐标系下，计算所述第二空间坐标的反射光线光程和观测角；
将所述法向量从相机坐标系转换到机械臂坐标系，得到变换后的法向量；
基于变换后的法向量，计算入射光线光程和入射角；
基于所述反射光线光程、所述观测角、所述入射光线光程和所述入射角，得到仅包含梯度板像素的XYZ图像对应的照明结构向量，重复上述步骤，得到所有仅包含梯度板像素的XYZ图像对应的照明结构向量；
基于所有所述照明结构向量和所述梯度板的4个标准反射率，确定比对反射率库。
7.根据权利要求5所述一种植物三维高光谱点云模型校正方法，其特征在于，所述单帧目标植物三维高光谱点云包括标定精配准多光谱图像、仅包含目标植物像素的RGB图像和仅包含目标植物像素的XYZ图像；所述基于所述反射率比对库，校正单帧目标植物三维高光谱点云，得到照明校准后的单帧目标植物三维高光谱点云，具体包括：
计算仅包含目标植物像素的XYZ图像对应的照明结构特征向量；
计算仅包含目标植物像素的XYZ图像对应的照明结构特征向量分别与所述反射率比对库中的各个向量之间的距离，并将距离最小值对应的反射率比对库中的向量所对应的梯度板多光谱反射率测量值确定为校正值；
根据所述校正值，校正标定精配准多光谱图像，进而得到照明校准后的单帧目标植物三维高光谱点云。
8.一种植物三维高光谱点云模型校正装置，其特征在于，包括：上位机、机械臂、RGB-D相机、多光谱相机、光学平台以及放置在所述光学平台上的梯度板；所述梯度板有4个标准反射率；
所述上位机与所述机械臂连接；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光学平台用于照射梯度板；
所述RGB-D相机用于采集包含梯度板的RGB-D数据；
所述多光谱相机用于采集包含梯度板的多光谱数据；
工作时，所述光学平台照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行权利要求5-7任意一项所述的植物三维高光谱点云模型校正方法。
9.一种植物三维高光谱点云模型校正装置，其特征在于，包括：上位机、机械臂、RGB-D相机、多光谱相机和梯度板；所述梯度板有4个标准反射率；
所述上位机与所述机械臂连接；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述目标物为梯度板和目标植物；
所述RGB-D相机用于采集包含目标物的RGB-D数据；
所述多光谱相机用于采集包含目标物的多光谱数据；
工作时，首先，太阳光源照射所述目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，太阳光源照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行权利要求5-7任意一项所述的植物三维高光谱点云模型校正方法。
10.一种植物三维高光谱点云模型校正装置，其特征在于，包括：上位机、机械臂、RGB-D相机、多光谱相机、升降机构和梯度板；所述梯度板有4个标准反射率；
所述上位机分别与所述机械臂和所述升降机构连接；所述升降机构上设置有光源；所述RGB-D相机和所述多光谱相机设置在所述机械臂的工具端；
所述光源用于照射目标物；所述目标物为梯度板和目标植物；
所述RGB-D相机用于采集包含目标物的RGB-D数据；
所述多光谱相机用于采集包含目标物的多光谱数据；
工作时，首先，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射目标植物，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕目标植物在不同采样位置进行数据采集；接着，所述上位机通过控制所述升降机构调整所述光源的位置以使光源始终照射梯度板，所述上位机通过控制所述机械臂调整所述RGB-D相机和所述多光谱相机的位置以使所述RGB-D相机和所述多光谱相机能够绕梯度板在不同采样位置进行数据采集，所述上位机执行权利要求5-7任意一项所述的植物三维高光谱点云模型校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967383.XA CN113674402B (zh) | 2021-08-23 | 2021-08-23 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110967383.XA CN113674402B (zh) | 2021-08-23 | 2021-08-23 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674402A true CN113674402A (zh) | 2021-11-19 |
| CN113674402B CN113674402B (zh) | 2023-10-31 |
Family
ID=78545059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110967383.XA Active CN113674402B (zh) | 2021-08-23 | 2021-08-23 | 植物三维高光谱点云模型生成方法、校正方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674402B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848208A (zh) * | 2021-10-08 | 2021-12-28 | 浙江大学 | 一种植物表型平台及其控制系统 |
| CN116718271A (zh) * | 2023-08-07 | 2023-09-08 | 北京理工大学 | 高速高光谱成像系统和方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780575A (zh) * | 2016-11-23 | 2017-05-31 | 山东大学 | 基于图像特征和Demons的非刚性图像配准方法 |
| CN108414454A (zh) * | 2018-01-25 | 2018-08-17 | 北京农业信息技术研究中心 | 一种植物三维结构及光谱信息的同步测量系统及测量方法 |
| CN108981569A (zh) * | 2018-07-09 | 2018-12-11 | 南京农业大学 | 一种基于多光谱点云融合的高通量温室植物表型测量系统 |
| CN109978931A (zh) * | 2019-04-04 | 2019-07-05 | 北京悉见科技有限公司 | 三维场景重建方法及设备、存储介质 |
| CN111638185A (zh) * | 2020-05-09 | 2020-09-08 | 哈尔滨工业大学 | 基于无人机平台的遥感探测方法 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及系统 |
-
2021
- 2021-08-23 CN CN202110967383.XA patent/CN113674402B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780575A (zh) * | 2016-11-23 | 2017-05-31 | 山东大学 | 基于图像特征和Demons的非刚性图像配准方法 |
| CN108414454A (zh) * | 2018-01-25 | 2018-08-17 | 北京农业信息技术研究中心 | 一种植物三维结构及光谱信息的同步测量系统及测量方法 |
| CN108981569A (zh) * | 2018-07-09 | 2018-12-11 | 南京农业大学 | 一种基于多光谱点云融合的高通量温室植物表型测量系统 |
| CN109978931A (zh) * | 2019-04-04 | 2019-07-05 | 北京悉见科技有限公司 | 三维场景重建方法及设备、存储介质 |
| CN111638185A (zh) * | 2020-05-09 | 2020-09-08 | 哈尔滨工业大学 | 基于无人机平台的遥感探测方法 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113848208A (zh) * | 2021-10-08 | 2021-12-28 | 浙江大学 | 一种植物表型平台及其控制系统 |
| CN113848208B (zh) * | 2021-10-08 | 2023-12-19 | 浙江大学 | 一种植物表型平台及其控制系统 |
| CN116718271A (zh) * | 2023-08-07 | 2023-09-08 | 北京理工大学 | 高速高光谱成像系统和方法 |
| CN116718271B (zh) * | 2023-08-07 | 2023-11-14 | 北京理工大学 | 高速高光谱成像系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674402B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105869160B (zh) | 利用Kinect实现三维建模和全息显示的方法及系统 | |
| CN110136208B (zh) | 一种机器人视觉伺服系统的联合自动标定方法及装置 | |
| Nguyen et al. | 3D scanning system for automatic high-resolution plant phenotyping | |
| CN107155341B (zh) | 三维扫描系统和框架 | |
| CN113674402B (zh) | 植物三维高光谱点云模型生成方法、校正方法及其装置 | |
| EP2104365A1 (en) | Method and apparatus for rapid three-dimensional restoration | |
| GB2532541A (en) | Depth map generation | |
| CN108592788A (zh) | 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法 | |
| GB2464453A (en) | Determining Surface Normals from Three Images | |
| CN110730923A (zh) | 确定光学系统的可互换部件的情境信息 | |
| CN112505065A (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN107084671B (zh) | 一种基于三线结构光的凹球直径测量系统及测量方法 | |
| CN109976391B (zh) | 光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统及方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| Okarma et al. | The 3D scanning system for the machine vision based positioning of workpieces on the CNC machine tools | |
| CN111627043A (zh) | 一种基于标志物和特征筛选器的简易人体曲线获取方法 | |
| Igelbrink et al. | Markerless ad-hoc calibration of a hyperspectral camera and a 3d laser scanner | |
| CN116678862A (zh) | 一种植株叶绿素荧光三维成像装置及方法 | |
| Berezhnoy et al. | Approaches for automated monitoring and evaluation of in vitro plant’s morphometric parameters | |
| CN110125662A (zh) | 音膜球顶自动装配系统 | |
| CN114565720A (zh) | 一种基于线结构光旋转扫描的主动式三维重建系统及方法 | |
| CN114494039A (zh) | 一种水下高光谱推扫图像几何校正的方法 | |
| Sitnik et al. | Towards automated, high resolution 3D scanning of large surfaces for cultural heritage documentation | |
| Edmonds et al. | Generation of high-density hyperspectral point clouds of crops with robotic multi-camera planning | |
| Drap et al. | Underwater multimodal survey: Merging optical and acoustic data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |