CN116760962A - 一种获取植物4d表型的无人车及方法 - Google Patents
一种获取植物4d表型的无人车及方法 Download PDFInfo
- Publication number
- CN116760962A CN116760962A CN202311034894.1A CN202311034894A CN116760962A CN 116760962 A CN116760962 A CN 116760962A CN 202311034894 A CN202311034894 A CN 202311034894A CN 116760962 A CN116760962 A CN 116760962A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- acquiring
- image
- unmanned vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 6
- 229910003460 diamond Inorganic materials 0.000 claims description 3
- 239000010432 diamond Substances 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 7
- 230000001953 sensory effect Effects 0.000 abstract description 5
- 241000196324 Embryophyta Species 0.000 description 30
- 230000008569 process Effects 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000287531 Psittacidae Species 0.000 description 1
- 208000027066 STING-associated vasculopathy with onset in infancy Diseases 0.000 description 1
- 241001116459 Sequoia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种获取植物4D表型的无人车及方法，无人车包括：与主控模块连接的行走模块、定位导航模块、远程控制模块和信息获取模块；所述行走模块用于实现无人车的行走，所述定位导航模块用于对无人车进行定位和对目标路线进行规划，所述远程控制模块用于对无人车进行远程控制，所述信息获取模块用于获取待测植被的3D数据和2D图像，并对3D数据进行预处理，得到预处理后的3D数据所述主控模块用于根据基于RANSAC算法，将预处理后的3D数据和2D图像融合以合成4D图像。本发明解决了现有技术中无法将植物的生理参数扩展到3D空间的感官融合中，预测植物产量精度低下且采集参数复杂的问题。
Description
技术领域
本发明涉及植被参数采集技术领域，特别是涉及一种获取植物4D表型的无人车及方法。
背景技术
植物的生理参数是三维分布的，可以将获取的多光谱图像也应该映射到植物的形态参数上，即通常所说的4D表型分析模型。单个光学传感器无法生成全面的4D植物模型，因为植物的形态信息还必须与多光谱数据和植物感兴趣的变量（例如叶片氮和叶绿素）的时间演化相融合，植被指数等。
表型分析平台为理解植物行为的传统方法提供了强大的替代方案。这些平台提供了非破坏性的方法来获取复杂和以前无法获得的植物性状。然而，在植物规模上有关4D表型平台的研究早已出现，这些研究使用2D传感器或结构光方法在3D中重建植物，但不使用LiDAR雷达或3D扫描仪等3D传感器。
虽然有研究使用LiDAR雷达来提取植物形态参数，这些研究没有考虑将植物的生理参数扩展到3D空间的感官融合，在大多数情况下，这对于预测和估计植物和作物产量至关重要。而且大多数方法需要笨重的设备，不允许现场提取这些参数。
综上，现有技术中存在无法将植物的生理参数扩展到3D空间的感官融合中，预测植物产量精度低下且采集参数复杂的问题。
发明内容
为了克服现有技术的不足，本发明的目的是提供一种获取植物4D表型的无人车及方法，本发明解决了现有技术中无法将植物的生理参数扩展到3D空间的感官融合中，预测植物产量精度低下且采集参数复杂的问题。
为实现上述目的，本发明提供了如下方案：
一种获取植物4D表型的无人车，包括：
与主控模块连接的行走模块、定位导航模块、远程控制模块和信息获取模块；
所述行走模块用于实现无人车的行走，所述定位导航模块用于对无人车进行定位和对目标路线进行规划，所述远程控制模块用于对无人车进行远程控制，所述信息获取模块用于获取待测植被的3D数据和2D图像，并对3D数据进行预处理，得到预处理后的3D数据所述主控模块用于根据RANSAC算法，将预处理后的3D数据和2D图像融合以合成4D图像。
优选地，所述主控模块包括：
嵌入式系统NVIDIA的JetsonTX2，所述JetsonTX2集成了NVIDIA的Denver2双核、ARMCotex-A57四核、8GB128位LPDDR4RAM和256核PascalGPU。
优选地，所述行走模块包括：
履带底盘、减速电机和电机驱动模块；
所述电机驱动模块分别与所述主控模块和所述减速电机连接，所述电机驱动模块和所述减速电机均设置在所述履带底盘上；
所述电机驱动模块用于驱动减速电机转动，所述减速电机用于带动履带底盘转动。
优选地，所述定位导航模块包括：
GPS模块，设置在无人车顶部，与所述主控模块连接，用于实现无人车的定位。
优选地，所述远程控制模块包括：
ZigBee模块，与PC端无线连接，用于对无人车发出指令。
优选地，所述信息获取模块包括：
均与主控模块连接的LiDAR和多光谱相机；
所述LiDAR用于获取待测植被的3D数据，并对所述3D数据进行过采样和点云平均化处理，得到异常值；对所述异常值进行预设数量的剔除，得到预处理后的3D数据；
所述多光谱相机用于获取待测植被的2D图像。
一种获取植物4D表型的方法，包括：
利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像；
利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据数据并存储；
将所述处理后的点云数据和所述2D图像进行融合，得到4D图像。
优选地，所述利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像，包括：
获取不同图像之间的关键点；
根据预设图像和所述关键点获取图像的单应性矩阵；
根据所述图像的单应性矩阵对图像进行配对，得到2D图像。
优选地，所述利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据并存储，包括：
对所述3D数据进行过采样和点云平均化处理，得到异常值；
对所述异常值进行预设数量的剔除，得到预处理后的3D数据。
优选地，所述将所述处理后的点云数据和所述2D图像进行融合，得到4D图像包括：
利用半彩色菱形校准板获取处理后的点云数据的关键点和所述2D图像的关键点；
基于RANSAC算法，获取2D图像的投影矩阵和处理后点云数据的投影矩阵；
根据所述2D图像的投影矩阵、处理后点云数据的投影矩阵、处理后的点云数据的关键点和所述2D图像的关键点得到4D图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种获取植物4D表型的无人车及方法，本发明通过LiDAR和多光谱相机分别获取3D数据和2D图像并进行融合得到4D图像，本发明简化了植被参数的采集，提升了预测植物产量的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种获取植物4D表型的无人车结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种获取植物4D表型的无人车及方法，本发明解决了现有技术中无法将植物的生理参数扩展到3D空间的感官融合中，预测植物产量精度低下且采集参数复杂的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明提供了一种获取植物4D表型的无人车，包括：
与主控模块连接的行走模块、定位导航模块、远程控制模块和信息获取模块；
所述行走模块用于实现无人车的行走，所述定位导航模块用于对无人车进行定位和对目标路线进行规划，所述远程控制模块用于对无人车进行远程控制，所述信息获取模块用于获取待测植被的3D数据和2D图像，并对3D数据进行预处理，得到预处理后的3D数据所述主控模块用于根据RANSAC算法，将预处理后的3D数据和2D图像融合以合成4D图像。
进一步的，所述主控模块包括：
嵌入式系统NVIDIA的JetsonTX2，所述JetsonTX2集成了NVIDIA的Denver2双核、ARMCotex-A57四核、8GB128位LPDDR4RAM和256核PascalGPU，对于实现机器视觉和深度学习算法非常有用。Jetson TX2运行Linux，并以不到7.5W的功率提供超过1TFLOPS的FP16计算性能。
进一步的，所述行走模块包括：
履带底盘、减速电机和电机驱动模块；
所述电机驱动模块分别与所述主控模块和所述减速电机连接，所述电机驱动模块和所述减速电机均设置在所述履带底盘上；
所述电机驱动模块用于驱动减速电机转动，所述减速电机用于带动履带底盘转动。
具体的，履带底盘型号为NY-T600A；设置有14个24V的775减速电机，主控模块通过AQMH3615NS直流电机驱动模块控制。无人车采用履带底盘可以使无人车适应农田的复杂地形。
进一步的，所述定位导航模块包括：
GPS模块，设置在无人车顶部，与所述主控模块连接。
具体的，GPS模块型号为：Trimble BD970，实现无人车在农田中的定位与行走路线的规划，定位精度可达厘米级。
优选地，所述远程控制模块包括：
ZigBee模块，与PC端无线连接，用于对无人车发出指令，用户通过PC端远程无线通信，包括发出控制无人车的开启与暂停、回到指定位置、获取农作物表型参数的指令。
进一步的，所述信息获取模块包括：
均与主控模块连接的LiDAR和多光谱相机；
所述LiDAR用于获取待测植被的3D数据，并对所述3D数据进行过采样和点云平均化处理，得到异常值；对所述异常值进行预设数量的剔除，得到预处理后的3D数据；
所述多光谱相机用于获取待测植被的2D图像。
具体的，人车集成了Velodyne的VLP-16 LiDAR，它具有100m的射程、低功耗（约8W）、830g的重量和紧凑的外形尺寸（103mm×72mm）。该激光雷达还支持16通道（约300,000点/秒），水平视野360∘和垂直视野30∘。对于每个感测点，生成：(1)在三维空间中的坐标；(2)接收信号的强度；(3)检测该点的方位角；(4)获取该点的激光束的ID。之后存储预处理后的点云，并发送给主控模块。无人车还使用Parrot的Sequoia多光谱相机，捕获校准的GRE、RED、REG和NIR的波段的图像，提供丰富的数据，以监测植物的健康。
具体的，无人车还包括：电源模块，所述电源模块为电机驱动模块提供24V电压，为GPS模块和ZigBee模块提供5V电压。
本实施例还公开了一种所述获取植物4D表型的方法，包括：
利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像；
利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据数据并存储；
将所述处理后的点云数据和所述2D图像进行融合，得到4D图像。
进一步的，所述利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像，包括：
获取不同图像之间的关键点；
根据预设图像和所述关键点获取图像的单应性矩阵；
根据所述图像的单应性矩阵对图像进行配对，得到2D图像。
优选地，所述利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据并存储，包括：
对所述3D数据进行过采样和点云平均化处理，得到异常值；
对所述异常值进行预设数量的剔除，得到预处理后的3D数据。
所述将所述处理后的点云数据和所述2D图像进行融合，得到4D图像包括：
利用半彩色菱形校准板获取处理后的点云数据的关键点和所述2D图像的关键点；
基于RANSAC算法，获取2D图像的投影矩阵和处理后点云数据的投影矩阵；
根据所述2D图像的投影矩阵、处理后点云数据的投影矩阵、处理后的点云数据的关键点和所述2D图像的关键点得到4D图像。
本实施例还公开了无人车生成4D图像的具体过程如下：
（1）多光谱相机获取不同波段的图像并进行配准，否则在多光谱波段之间进行操作时，得到的植物指数图像会出现偏差。配对图像的过程包括拍摄不同的图像并找到它们之间的共同关键点。然后，选择参考图像并使用找到的关键点来获得每个剩余图像的单应性矩阵，这可以将几何变换应用到这些图像中，并配对，最后得到DVI、NDVI、GNDVI、NDRE、SAVI和MSAVI。
（2）LiDAR获取点云。当LiDAR的激光束击中最近物体的边缘以及其后面的物体时，空间中的两个物体之间会产生不需要的点。因此，LiDAR接收两个测量值并提供这些测量值的平均值，这些点成为不需要的点。为了解决这个问题，考虑到VLP-16LiDAR的精度为±3cm，垂直分辨率较低，对点云进行过采样、点云平均化，去除一定邻点数量和半径的异常值。之后储存处理后的点云。
（3）实现LiDAR数据和多光谱图像融合。菱形校准板，其一半涂成黑色，另一半涂成白色。LiDAR数据和多光谱图像融合的方法由三个阶段组成：使用半彩色菱形校准板检测多光谱图像的关键点；使用菱形校准板检测点云中的关键点；应用RANSAC算法来找到传感器数据对齐的投影矩阵，就可以将每个3D点投影到2D图像上，并获得该点在3D空间中对应的颜色。应用多传感器融合技术，将3D点云（3D数据）与不同波段的2D图像融合形成4D图像，
本实施例还公开了无人车的具体工作过程：
无人车首先等候PC端的命令，待接收到命令后，按照预定的农田路线行走，在运动过程中，开启LiDAR和多光谱相机分别获取3D和2D图像，并经过处理后融合3D和2D图像，获得4D图像。获得的4D图像经过ZigBee模块传输到PC端。在无人车行走的过程中，还可以通过PC端控制无人车的停止、回到地点等功能。
本发明的有益效果如下：
本发明采用履带行走，可以应对在农田中的规划路线的复杂地形。可以帮助研究人员同时拥有LiDAR和多光谱相机的优点，给研究人员减少了工作量，简化了植被参数的采集，提升了预测植物产量的精度。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种获取植物4D表型的无人车，其特征在于，包括：
与主控模块连接的行走模块、定位导航模块、远程控制模块和信息获取模块；
所述行走模块用于实现无人车的行走，所述定位导航模块用于对无人车进行定位和对目标路线进行规划，所述远程控制模块用于对无人车进行远程控制，所述信息获取模块用于获取待测植被的3D数据和2D图像，并对3D数据进行预处理，得到预处理后的3D数据所述主控模块用于根据基于RANSAC算法，将预处理后的3D数据和2D图像融合以合成4D图像。
2.根据权利要求1所述的一种获取植物4D表型的无人车，其特征在于，所述主控模块包括：
嵌入式系统NVIDIA的JetsonTX2，所述JetsonTX2集成了NVIDIA的Denver2双核、ARMCotex-A57四核、8GB128位LPDDR4RAM和256核PascalGPU。
3.根据权利要求1所述的一种获取植物4D表型的无人车，其特征在于，所述行走模块包括：
履带底盘、减速电机和电机驱动模块；
所述电机驱动模块分别与所述主控模块和所述减速电机连接，所述电机驱动模块和所述减速电机均设置在所述履带底盘上；
所述电机驱动模块用于驱动减速电机转动，所述减速电机用于带动履带底盘转动。
4.根据权利要求3所述的一种获取植物4D表型的无人车，其特征在于，所述定位导航模块包括：
GPS模块，设置在无人车顶部，与所述主控模块连接，用于实现无人车的定位。
5.根据权利要求4所述的一种获取植物4D表型的无人车，其特征在于，所述远程控制模块包括：
ZigBee模块，与PC端无线连接，用于对无人车发出指令。
6.根据权利要求1所述的一种获取植物4D表型的无人车，其特征在于，所述信息获取模块包括：
均与主控模块连接的LiDAR和多光谱相机；
所述LiDAR用于获取待测植被的3D数据，并对所述3D数据进行过采样和点云平均化处理，得到异常值；对所述异常值进行预设数量的剔除，得到预处理后的3D数据；
所述多光谱相机用于获取待测植被的2D图像。
7.一种获取植物4D表型的方法，其特征在于，应用于权利要求1至6中任一项所述的无人车，所述方法包括：
利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像；
利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据并存储；
将所述处理后的点云数据和所述2D图像进行融合，得到4D图像。
8.根据权利要求7所述的一种获取植物4D表型的方法，其特征在于，所述利用多光谱相机获取待测植被的不同波段的图像并进行配对，得到2D图像，包括：
获取不同图像之间的关键点；
根据预设图像和所述关键点获取图像的单应性矩阵；
根据所述图像的单应性矩阵对图像进行配对，得到2D图像。
9.根据权利要求7所述的一种获取植物4D表型的方法，其特征在于，所述利用LiDAR获取3D数据，并进行预处理得到预处理后的3D数据并存储，包括：
对所述3D数据进行过采样和点云平均化处理，得到异常值；
对所述异常值进行预设数量的剔除，得到预处理后的3D数据。
10.根据权利要求7所述的一种获取植物4D表型的方法，其特征在于，所述将所述处理后的点云数据和所述2D图像进行融合，得到4D图像包括：
利用半彩色菱形校准板获取处理后的点云数据的关键点和所述2D图像的关键点；
基于RANSAC算法，获取2D图像的投影矩阵和处理后点云数据的投影矩阵；
根据所述2D图像的投影矩阵、处理后点云数据的投影矩阵、处理后的点云数据的关键点和所述2D图像的关键点得到4D图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311034894.1A CN116760962B (zh) | 2023-08-17 | 2023-08-17 | 一种获取植物4d表型的无人车及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311034894.1A CN116760962B (zh) | 2023-08-17 | 2023-08-17 | 一种获取植物4d表型的无人车及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116760962A true CN116760962A (zh) | 2023-09-15 |
| CN116760962B CN116760962B (zh) | 2023-10-27 |
Family
ID=87953647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311034894.1A Active CN116760962B (zh) | 2023-08-17 | 2023-08-17 | 一种获取植物4d表型的无人车及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760962B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931772A (zh) * | 2010-08-19 | 2010-12-29 | 深圳大学 | 一种全景视频融合方法、系统及视频处理设备 |
| CN108023862A (zh) * | 2016-11-03 | 2018-05-11 | 上海大学 | 一种基于Zigbee远程控制的无人车集群系统及控制方法 |
| US20200141877A1 (en) * | 2018-11-06 | 2020-05-07 | Nanjing Agricultural University | Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle |
| US20210056685A1 (en) * | 2017-12-11 | 2021-02-25 | Jiangsu University | Method and device for monitoring comprehensive growth of potted lettuce |
| CN113260835A (zh) * | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
| CN113989125A (zh) * | 2021-12-27 | 2022-01-28 | 武汉楚精灵医疗科技有限公司 | 内镜图像的拼接方法、装置、计算机设备及存储介质 |
| CN114667437A (zh) * | 2019-08-31 | 2022-06-24 | 辉达公司 | 用于自主驾驶应用的地图创建和定位 |
-
2023
- 2023-08-17 CN CN202311034894.1A patent/CN116760962B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931772A (zh) * | 2010-08-19 | 2010-12-29 | 深圳大学 | 一种全景视频融合方法、系统及视频处理设备 |
| CN108023862A (zh) * | 2016-11-03 | 2018-05-11 | 上海大学 | 一种基于Zigbee远程控制的无人车集群系统及控制方法 |
| US20210056685A1 (en) * | 2017-12-11 | 2021-02-25 | Jiangsu University | Method and device for monitoring comprehensive growth of potted lettuce |
| US20200141877A1 (en) * | 2018-11-06 | 2020-05-07 | Nanjing Agricultural University | Method for estimating aboveground biomass of rice based on multi-spectral images of unmanned aerial vehicle |
| CN113260835A (zh) * | 2018-12-14 | 2021-08-13 | 光谱Md公司 | 用于高精度多孔径光谱成像的系统和方法 |
| CN114667437A (zh) * | 2019-08-31 | 2022-06-24 | 辉达公司 | 用于自主驾驶应用的地图创建和定位 |
| CN113989125A (zh) * | 2021-12-27 | 2022-01-28 | 武汉楚精灵医疗科技有限公司 | 内镜图像的拼接方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 朱株: "基于三维数据面向无人车导航的非结构化场景理解", pages: 93 - 94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116760962B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ball et al. | Vision‐based obstacle detection and navigation for an agricultural robot | |
| US11790539B1 (en) | Optical system for tracking the heading and position of an implement compared to the pulling tractor and other uses | |
| CN102914294B (zh) | 一种基于图像的无人机电力巡线测量系统及方法 | |
| CN104106042B (zh) | 用于便于从车辆卸载农业物料的方法和立体视觉系统 | |
| US20200097021A1 (en) | Autonomous Farm Equipment Hitching To A Tractor | |
| CN109374008A (zh) | 一种基于三目摄像头的图像采集系统及方法 | |
| CN102927908A (zh) | 机器人手眼系统结构光平面参数标定装置及方法 | |
| CN214520204U (zh) | 一种基于深度相机和激光雷达的港区智能巡检机器人 | |
| AU2015234395A1 (en) | Real-time range map generation | |
| CN115597659B (zh) | 一种变电站智能安全管控方法 | |
| CN207557973U (zh) | 一种汽车、其自动驾驶系统及其视觉感知设备 | |
| CN205024576U (zh) | 自行式建筑机械 | |
| CN106874887A (zh) | 基于农田环境感知的农机导航控制方法 | |
| CN108196538A (zh) | 基于三维点云模型的田间农业机器人自主导航系统及方法 | |
| CN116760962B (zh) | 一种获取植物4d表型的无人车及方法 | |
| CN103196441A (zh) | 一种喷雾机械组合导航方法及系统 | |
| Ribeiro et al. | 3D monitoring of woody crops using an unmanned ground vehicle | |
| CN115588036A (zh) | 图像采集方法及装置、机器人 | |
| Kuhnert | Software architecture of the autonomous mobile outdoor robot AMOR | |
| CN109407665B (zh) | 一种小型半自动无人驾驶配送车及配送路径规划方法 | |
| CN117873159B (zh) | 一种多旋翼无人机的室内目标视觉定位方法 | |
| WO2023234255A1 (ja) | センシングシステム、農業機械、およびセンシング装置 | |
| EP4369308A1 (en) | A multimodal fiducial marker, a heterogeneous perception apparatus and a multimodal system comprising both | |
| DE102013216270A1 (de) | Verfahren und Anordnung zur Kartierung eines landwirtschaftlichen Feldes | |
| WO2024095802A1 (ja) | 走行制御システム、作業車両および走行制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |