CN116663761B - 一种三七中药材低损挖掘系统 - Google Patents
一种三七中药材低损挖掘系统 Download PDFInfo
- Publication number
- CN116663761B CN116663761B CN202310750716.2A CN202310750716A CN116663761B CN 116663761 B CN116663761 B CN 116663761B CN 202310750716 A CN202310750716 A CN 202310750716A CN 116663761 B CN116663761 B CN 116663761B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- stem
- root
- pseudo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000003181 Panax pseudoginseng Nutrition 0.000 title claims abstract description 71
- 244000131316 Panax pseudoginseng Species 0.000 title claims abstract description 71
- 238000009412 basement excavation Methods 0.000 title claims abstract description 31
- 239000000463 material Substances 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000003814 drug Substances 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 34
- 239000002689 soil Substances 0.000 claims description 28
- 239000002131 composite material Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 230000005484 gravity Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 5
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000010409 thin film Substances 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000035515 penetration Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000006378 damage Effects 0.000 abstract description 8
- 238000012797 qualification Methods 0.000 abstract description 3
- 230000006872 improvement Effects 0.000 description 15
- 230000007246 mechanism Effects 0.000 description 10
- 235000003143 Panax notoginseng Nutrition 0.000 description 8
- 241000180649 Panax notoginseng Species 0.000 description 8
- 239000000243 solution Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003306 harvesting Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 235000016709 nutrition Nutrition 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000002593 electrical impedance tomography Methods 0.000 description 2
- 238000004070 electrodeposition Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002847 impedance measurement Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000050 nutritive effect Effects 0.000 description 1
- 230000008653 root damage Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D13/00—Diggers, e.g. potato ploughs
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D33/00—Accessories for digging harvesters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Computational Mathematics (AREA)
- Operations Research (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Environmental Sciences (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Probability & Statistics with Applications (AREA)
- Marine Sciences & Fisheries (AREA)
- Algebra (AREA)
- Animal Husbandry (AREA)
Abstract
本发明提供一种三七中药材低损挖掘系统,包括收获机、工程机、双目相机、电阻抗传感器、集成传感器的挖掘铲及深度检测系统。通过双目相机与多个电阻抗传感器的配合,获取三七地上茎叶图像与地下根茎图像,融合形成完整的三七图像,便于构建最优入挖点与防碰撞边界;通过集成应变式传感器的挖掘铲,构建防碰撞边界,实现挖掘铲作业位姿的调整;通过应变式传感器与深度检测系统配合,构建三七地下主根部分的最小包围体,进而通过最小包围体、最优入挖点,完成挖掘路径的规划。该系统在挖掘三七过程中,确保低损伤、高效率、高精度的挖掘,从而提高三七的合格率与产量、避免挖掘造成的不合格品增多。
Description
技术领域
本发明涉及三七挖掘技术领域,具体涉及一种三七中药材低损挖掘系统。
背景技术
三七具有极高的医药与营养价值;近年来,随着中医药产业的发展,三七的需求量与种植规模均呈现逐年增长的趋势。三七通常采用垄作种植、且种植于荫棚中,同时三七的挖掘、收获集中于每年的九月,目前,三七的收获方式多采用人工与机械的方式进行挖掘,人工挖掘耗时长、效率低、劳动量大,一是易错过三七挖掘的最佳时间、导致三七的收获率低(即符合使用要求的三七产量少),二是耗费大量的人力物力,不符合效率化、经济化的农业种植要求;机械挖掘虽然能够实现高效率、低成本的三七挖掘,实现解放劳动力、避免错过最佳收获时间的目的,但机械挖掘易造成三七主体、尤其是三七地下主根部分的损伤(三七主根部分是药用价值、营养价值均较高的部分),造成三七整体营养价值的降低,从而导致收获的三七合格品数量降低、影响三七最终的产量与种植效益。
发明内容
针对以上现有技术存在的问题,本发明的目的在于提供一种三七中药材低损挖掘系统,该系统通过图像识别与传感信号的配合完成三七整体的图像构建(包括三七地上部分与地下部分),从而完成三七挖掘过程中最优入挖点、防碰撞边界、三七主根部分包围体以及挖掘路径的建立,实现低损伤、高效率、高精准度的三七挖掘。
本发明的目的通过以下技术方案实现:
一种三七中药材低损挖掘系统,其特征在于:包括收获机、工程机、双目相机、电阻抗传感器、集成传感器的挖掘铲、深度检测系统;
其中,工程机固定设置在收获机上;收获机上对称设置两个双目相机,用于获取地上茎叶图像;收获机上设置机械臂,机械臂端部呈环形分布多根插杆、插杆远离机械臂的一端端部分别设置电阻抗传感器,用于获取地下根茎图像;双目相机、电阻抗传感器分别与工程机电连接,从而获取“根-土-茎”复合图像,实现最优入挖点的建立;
收获机上安装集成应变式传感器的挖掘铲,通过集成应变式传感器的挖掘铲替代传动挖掘机构的一个铲面、实现对于三七的挖掘,且应变式传感器与工程机电连接,用于实现防碰撞边界的构建;
收获机上设置深度检测系统、用于检测挖掘铲的入土深度,深度检测系统与工程机电连接,用于完成挖掘路径的规划;
收获机上设置伺服电机与液压传动系统,用于控制各个机构运行,且伺服电机与液压传动系统分别与工程机电连接,实现信号的控制与反馈,完成三七挖掘。
作为本申请的一个改进方案,所述收获机上装配振动挖掘机构且挖掘铲安装在振动挖掘机构上,从而实现对于三七的有效挖掘;振动挖掘机构通过伺服电机控制。
作为本申请的一个改进方案,所述通过双目相机获取地上茎叶图像具体为:采用两组双目立体视觉相机,分别从对侧进行三七地上茎叶部分的图像拍摄,获取两组深度图像;再采用改进的迭代最近点(Iterative Closest Point,ICP)算法,对两组深度图像中的点云进行拼接,从而获得地上茎叶图像;
改进的迭代最近点算法包括:
步骤a1:对于两个待配准的点云,首先从中提取出一些特征点,作为匹配依据,特征点提取具体为:
式中:P表示点云中所有点的集合;或/>表示某个点pi或pj的特征向量;或/>表示pi或pj点的特征分数;/>表示被选中的具有显著特征的点集合;
步骤a2:在进行点云配准时,从特征点集合中选取稠密的点对进行匹配;一般使用基于距离的邻域搜索方法来获取稠密的点对,即假定两组点云中对应点对之间距离的均值方差相等,通过以下方法获取每个点的邻域范围:
Ni=j|d(pi,qj)≤r;
式中:d(pi,qj)表示点pi与qj之间的欧式距离;r表示邻域搜索范围;Ni表示与点pi相邻的点的集合;
步骤a3:在将稠密点对配准后、最小化这些点对之间的距离误差,使用加权平均误差衡量配准效果:
式中:n表示点对的数量;pi、qi′分别表示待配准的两个点云中的对应点对;d(pi,qi′)表示pi与qi′之间的欧式距离;wi表示权重系数、用于调整每个点对的贡献;
步骤a4:通过最小化加权平均误差,获得两组点云之间的刚性变换;通过采用一个4x4的矩阵表示两组点云的刚性变换:
式中:R表示旋转矩阵,t表示平移向量,它们通过以下逐步迭代公式获得:
式中:||·||表示欧式范数,求解过程中进行多次迭代,直至误差趋近于0。
作为本申请的一个改进方案,所述通过电阻抗传感器获取地下根茎图像具体为:
首先,通过控制机械臂使得电阻抗传感器环插在三七地下根茎部的周围(为避免插入电阻抗传感器过程中,对三七根茎部造成损伤,多个电阻抗传感器所形成的环形大于三七的根茎部的最大直径);然后,依据电阻抗检测方法,采用改进的修正牛顿拉普森(Modified Newton Rapson,MNR)算法,将电阻抗传感器获取的电信号重建为图像信号,获得地下根茎图像;
改进的修正牛顿拉普森算法包括:
步骤b1:采用电阻抗成像技术将待测物体表面(即三七地下根茎部表面)分为多个分离的区域(电极对),从每对电极接口处采集电压值、即电阻抗测量值;
步骤b2:对步骤b1中获取的数据进行滤波、去噪等预处理,从而提高信噪比;
步骤b3:利用薄膜法对步骤b2中预处理后的电阻抗数据进行重构;通过求解欧姆定律将电阻抗表征为关于介质电导率、几何形状和电极位置的函数,通过欧姆法将其表示为关于介质电阻率的函数;再使用非线性优化算法迭代求解分布阻抗;
步骤b4:采用改进的MNR算法进行图像重建;
步骤b5:对步骤b4中的图像信号进行去除伪影、增强对比度等后处理操作,得到地下根茎图像。
作为本申请的一个改进方案,所述工程机获取“根-土-茎”复合图像具体为:以根茎部的底部最小坐标所在的平面为土面,对地上茎叶图像与地下根茎图像进行融合,获得“根-土-茎”复合图像;
地上茎叶图像与地下根茎图像融合包括:
步骤c1:分别将地上茎叶图像与地下根茎图像视为随机变量,通过将地上茎叶图像与地下根茎图像进行联合条件概率分布实现融合:
P(XY)P(Y)=P(YX)P(X);
式中:X表示地上茎叶图像,Y表示地下根茎图像;P(XY)表示在给定Y的情况下、X的概率分布;P(YX)表示在给定X的情况下、Y的概率分布;P(X)、P(Y)分别表示X、Y的先验概率分布;
步骤c2:利用贝叶斯滤波算法来估计地上茎叶图像的后验概率分布:
其中,P(X)、P(Y)分别通过提取地上茎叶图像与地下根茎图像的特征向量、利用特征向量获得;P(Y|X)通过比较地上茎叶图像与地下根茎图像的特征向量实现,即定义一个相似度函数来度量它们之间的相似度(例如:欧式距离函数)、从而获得P(Y|X);
通过将P(Y|X)和P(X)进行卷积获得P(X|Y)的后概率分布,获得“根-土-茎”复合图像。
作为本申请的一个改进方案,所述工程机建立最优入挖点包括:
步骤d1:首先,设定挖掘铲的入土角为u、边缘点坐标为(v、w),挖掘铲消耗能量为F,则挖掘函数模型为:
F(u,v,w)=β0+β1·u+β2·v+β3·w;
式中:β0、β1、β2、β3分别表示多元回归系数;
其中:
式中:a0、a1、a2、a3表示拟合平面系数;(u0,v0,w0)表示平面上一个点的坐标;
步骤d2:进行u、v、w值的随机初始化;
步骤d3:分别计算挖掘函数模型的梯度:
式中:xi、yi、zi分别表示对应的输入变量u、v、w的值,U表示对应的输出变量F();
步骤d4:进行参数更新,具体为:
式中:λ表示学习率,根据实验数据获得;
步骤d5:重复进行步骤d3~步骤d4,直至达到收敛条件,输出收敛时u、v、w的作为最优解,获得挖掘铲的最优入挖点RW。
作为本申请的一个改进方案,所述工程机通过应变式传感器构建防碰撞边界包括:对“根-土-茎”复合图像拆解、应变式传感信号获取、传感信号与图像信号之间的转换、生成智能分类表以及构建防碰撞边界等步骤。
作为本申请的一个改进方案,所述对“根-土-茎”复合图像拆解为:根据“根-土-茎”复合图像将三七主体分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体等。
作为本申请的一个改进方案,所述应变式传感信号获取为:通过集成应变式传感器的挖掘铲与各个组合体进行力学特性实验,获取各组合体的应变式传感信号。
作为本申请的一个改进方案,所述传感信号与图像信号之间的转换为:
首先,将一维的传感信号进行连续小波变换(Continuous Wavelet Transform,CWT)算法变换,得到小波系数矩阵:
式中:a、b分别表示尺度参数与平移参数;f(t)表示原始信号;表示小波基函数;
之后,对小波系数矩阵中的每个元素进行转换,得到其对应的灰度值:
式中:G(i,j)表示灰度图像中的像素值;W(i,j)表示小波系数矩阵中的元素;max(W)表示小波系数矩阵中的最大值;
最后,通过CWT将一维的应变式传感信号中的每个元素映射为一个灰度值,形成灰度图像,完成传感信号与组合体图像信号之间的转换。
作为本申请的一个改进方案,所述生成智能分类表为:通过深度学习网络模型对挖掘铲作业对象识别与传感器感知信号进行对应训练,生成智能分类表;
其中,深度学习网络模型采用全连接神经网络或卷积神经网络实现对传感器感知信号的特征提取与分类识别;采用决策树、支持向量机等传统的机器学习算法对挖掘装置作业对象的识别。
作为本申请的一个改进方案,所述构建防碰撞边界包括:首先,通过对“根-土-茎”复合图像进行边缘检测,依据智能分类表保留主根边缘;
然后,通过八连通领域像素检测方法合并主根边缘之间的像素,生成防碰撞边界;
其中,通过八连通领域像素检测方法合并主根边缘之间的像素包括:
步骤e1:根据边缘检测获得的主根边缘,利用手动标定或自动标定的方法,划定边界范围;
步骤e2:对于边界范围内的每个像素,以像素为中心取一个3x3的矩阵,并把矩阵中心的像素设为待检测像素;
步骤e3:对矩阵中的八个相邻像素进行颜色值比对,若存在相邻像素颜色值与待检测像素颜色值不同,则该像素为边界像素,进行合并操作;
步骤e4:对于边界像素,将它的像素值改成与其相邻像素值相同的值,从而达到合并的目的;即把该像素设置为与其最近的相邻像素的像素值,这个相邻像素可以是八个相邻像素中的任意一个;
步骤e5:经合并后,获得一个主根防碰的边界。
作为本申请的一个改进方案,所述工程机进行挖掘路径规划包括:
步骤f1:通过防碰撞边界的构建方法,获得三七地下主根部分的多个面的防碰撞边界;
步骤f2:采用改进的迭代最近点(Iterative Closest Point,ICP)算法,生成主根最小包围体;
步骤f3:通过最小包围体获取包围体的最低点与重心,利用最低点、重心以及最优入挖点,获得挖掘辅助平面δ,并通过挖掘辅助平面δ获得其垂直平面β,将垂直平面β作为出土平面;
步骤f4:结合最优入挖点、防碰撞边界、出土平面,规划挖掘路径。
作为本申请的一个改进方案,所述生成主根最小包围体的方法包括:
步骤f2-1:将步骤f1中获得的多个面防碰撞边界的点云数据进行坐标系归一化处理,使得每个维度的坐标值都在同一范围内;
步骤f2-2:利用主成分分析(Principal Component Analysis,PCA)算法获得点云数据的主方向向量U=(U1,U2,U3);
步骤f2-3:通过计算点云数据在主方向上的最大值Dmax与最小值Dmin获得包围体,包围体是由三个平行于主方向向量的矩形组成,即:
Sizei=Dmax,i-Dmin,i,i∈1,2,3;
再将主方向最小包围体的边界转换回原始坐标系,获得包围体的位置和大小信息;
步骤f2-4:采用迭代最近点算法进行点云匹配,通过不断迭代,将两个点云数据之间的重合度最大化,进而实现点云数据的匹配与对齐,实现主方向最小包围体的点云配准。
作为本申请的一个改进方案,所述获取包围体的最低点与重心包括:
首先,通过点云数据在主方向上的最小值与包围体获得最低点Q:
然后,通过多个点云数据的权重获得包围体重心P:
式中:hi表示点云数据第i个点的坐标;ei表示点云数据第i个点的权重。
作为本申请的一个改进方案,所述三七的挖掘包括:通过伺服电机与液压传动系统控制挖掘铲、通过深度检测系统实时检测入挖深度,同时运用PID(ProportionIntegration Differentiation,比例积分微分)算法,调节挖掘铲的深度与姿态,使其沿着规划路径进行挖掘,完成三七挖掘。
本发明具有如下技术效果:
本申请通过双目相机与多个电阻抗传感器的配合,实现对三七地上部分的茎叶与地下部分的根茎的图像获取,从而融合形成一个完整的三七图像,便于后续构建最优入挖点与防碰撞边界;通过工程机与集成应变式传感器的挖掘铲配合,利用连续小波变换算法进行传感信号与图像信号之间的转换,再通过生成智能分类表配合八连通领域像素检测方法,实现防碰撞边界的构建,从而实现挖掘过程中、挖掘铲作业位姿的调整,避免挖掘过程中对于三七主根的损伤;利用应变式传感器、深度检测系统与工程机的配合,构建三七地下主根部分的最小包围体、从而配合最优入挖点,实现挖掘过程中路径的规划,进而完成低损伤、高效率、高准确度的三七挖掘,有效避免挖掘过程中出现伤根率高、营养价值或药用价值损失、三七收获过程中合格率低等问题。
本申请系统能够分别在土槽与三七种植园环境下,对不同形状主根的多个三七品种,进行三七进行高精度、低损伤挖掘,适用范围广、实用性强,能够有根据三七由于品种或生长方式差异、出现不同形状主根的自适应调节,从而确保挖掘过程中三七的合格率,保证三七产量与经济效益。
附图说明
图1为本申请实施例中工程机获取“根-土-茎”复合图像与最优入挖点的流程图。
图2为本申请实施例中工程机构建防碰撞边界的流程图。
图3为本申请实施例中工程机规划挖掘路径的流程图。
图4为本申请实施例中挖掘系统构架及测试过程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1:
一种三七中药材低损挖掘系统,其特征在于:包括收获机、工程机、双目相机、电阻抗传感器、集成传感器的挖掘铲、深度检测系统;
其中,工程机固定设置在收获机上;收获机上对称设置两个双目相机,用于获取地上茎叶图像;如图1所示,包括:
采用两组双目立体视觉相机,分别从对侧进行三七地上茎叶部分的图像拍摄,获取两组深度图像;再采用改进的迭代最近点(Iterative Closest Point,ICP)算法,对两组深度图像中的点云进行拼接,从而获得地上茎叶图像;
改进的迭代最近点算法包括:
步骤a1:对于两个待配准的点云,首先从中提取出一些特征点,作为匹配依据,特征点提取具体为:
式中:P表示点云中所有点的集合;或/>表示某个点pi或pj的特征向量;/>或/>表示pi或pj点的特征分数;/>表示被选中的具有显著特征的点集合;
步骤a2:在进行点云配准时,从特征点集合中选取稠密的点对进行匹配;一般使用基于距离的邻域搜索方法来获取稠密的点对,即假定两组点云中对应点对之间距离的均值方差相等,通过以下方法获取每个点的邻域范围:
Ni=j|d(pi,qj)≤r;
式中:d(pi,qj)表示点pi与qj之间的欧式距离;r表示邻域搜索范围;Ni表示与点pi相邻的点的集合;
步骤a3:在将稠密点对配准后、最小化这些点对之间的距离误差,使用加权平均误差衡量配准效果:
式中:n表示点对的数量;pi、qi′分别表示待配准的两个点云中的对应点对;d(pi,qi′)表示pi与qi′之间的欧式距离;wi表示权重系数、用于调整每个点对的贡献;
步骤a4:通过最小化加权平均误差,获得两组点云之间的刚性变换;通过采用一个4x4的矩阵表示两组点云的刚性变换:
式中:R表示旋转矩阵,t表示平移向量,它们通过以下逐步迭代公式获得:
式中:表示欧式范数,求解过程中进行多次迭代,直至误差趋近于0。
收获机上设置机械臂,机械臂端部呈环形分布多根插杆、插杆远离机械臂的一端端部分别设置电阻抗传感器,用于获取地下根茎图像;如图1所示,包括:
首先,通过控制机械臂使得电阻抗传感器环插在三七地下根茎部的周围(为避免插入电阻抗传感器过程中,对三七根茎部造成损伤,多个电阻抗传感器所形成的环形大于三七的根茎部的最大直径。电阻抗检测方法可采用Sciospec EIT16电阻抗成像系统进行检测,该系统专为电阻抗断层扫描或多端口阻抗测量应用而设计,关键参数:具有16个双作用电极连接,用作电压测量和电流注入端口;同步数据采集块,可同时采样所有十六个通道;频率范围:100Hz~1MHz;可通过频率扫描进行的光谱测量,最多支持128个频率;电流激励范围:100nA~10mA;帧率:100fps);然后,依据电阻抗检测方法,采用改进的修正牛顿拉普森(Modified Newton Rapson,MNR)算法,将电阻抗传感器获取的电信号重建为图像信号,获得地下根茎图像;
改进的修正牛顿拉普森算法包括:
步骤b1:采用电阻抗成像技术将待测物体表面(即三七地下根茎部表面)分为多个分离的区域(电极对),从每对电极接口处采集电压值、即电阻抗测量值;
步骤b2:对步骤b1中获取的数据进行滤波、去噪等预处理(滤波、去噪等均采用本领域常见处理手段),从而提高信噪比;
步骤b3:利用薄膜法对步骤b2中预处理后的电阻抗数据进行重构:V=HZ;
式中:H表示总导能矩阵,Z表示电阻抗向量至,V表示电势分布向量;矩阵H与向量V均通过薄膜法进行求解,从而获得电势分布图像;
通过求解欧姆定律将电阻抗表征为关于介质电导率、几何形状和电极位置的函数:
式中:σ表示电导率,表示电势场分布;
通过欧姆法将其表示为关于介质电阻率的函数:AR=b;
式中:R表示电阻率分布向量,A表示测量矩阵,b表示电流分布向量;
再使用非线性优化算法迭代求解分布阻抗:
式中:Φ表示目标函数,λ表示正则优化参数,c表示形态学正则化算子;
步骤b4:采用改进的MNR算法进行图像重建,包括:
步骤b4-1、对数据进行初始化,设定输入的测试数据为y、初始图像为x0、迭代次数为t、惩罚参数为e;
步骤b4-2、使用Sobel算子构建导数算子Dx与Dy,用于计算图像的梯度信息;
步骤b4-3、对于每个像素点,获取其权重矩阵W,其中,Wi,j表示在重建像素点(i,j)处的权重;根据局部加权策略,权重值由该像素点与周围像素点的距离和测量数据之间的距离确定;
步骤b4-4、将图像xi分解成多个尺度xi (1),xi (2),…,xi (s),并计算每个尺度图像的梯度信息Gi (1),Gi (2),…,Gi (s);
步骤b4-5、对每个尺度图像进行梯度计算:
步骤b4-6、通过对图像梯度信息进行加权,平衡平滑效果、保留边缘信息;
步骤b4-7、通过最小化代价函数,更新图像xi:
式中:Ik表示第k个尺度的测量数据;
步骤b4-8、重复步骤b4-4~步骤b4-7,直至达到预先设定的迭代次数或满足收敛条件为止。
步骤b5:对步骤b4中的图像信号进行去除伪影、增强对比度等后处理操作(去除伪影、增强对比度等均采用本领域常见处理手段),得到地下根茎图像。
双目相机、电阻抗传感器分别与工程机电连接,从而获取“根-土-茎”复合图像,实现最优入挖点的建立;如图1所示,包括:
“根-土-茎”复合图像获取:以根茎部的底部最小坐标所在的平面为土面,对地上茎叶图像与地下根茎图像进行融合,获得“根-土-茎”复合图像;
地上茎叶图像与地下根茎图像融合包括:
步骤c1:分别将地上茎叶图像与地下根茎图像视为随机变量,通过将地上茎叶图像与地下根茎图像进行联合条件概率分布实现融合:
P(XY)P(Y)=P(YX)P(X);
式中:X表示地上茎叶图像,Y表示地下根茎图像;P(XY)表示在给定Y的情况下、X的概率分布;P(YX)表示在给定X的情况下、Y的概率分布;P(X)、P(Y)分别表示X、Y的先验概率分布;
步骤c2:利用贝叶斯滤波算法来估计地上茎叶图像的后验概率分布:
其中,P(X)、P(Y)分别通过提取地上茎叶图像与地下根茎图像的特征向量、利用特征向量获得;P(YX)通过比较地上茎叶图像与地下根茎图像的特征向量实现,即定义一个相似度函数来度量它们之间的相似度(例如:欧式距离函数)、从而获得P(YX);
通过将P(YX)和P(X)进行卷积获得P(XY)的后概率分布,获得“根-土-茎”复合图像。
最优入挖点建立:
步骤d1:设定挖掘铲的入土角为u、边缘点坐标为(v、w),挖掘铲消耗能量为F,则挖掘函数模型为:
F(u,v,w)=β0+β1·u+β2·v+β3·w;
式中:β0、β1、β2、β3分别表示多元回归系数;
式中:a0、a1、a2、a3表示拟合平面系数;(u0,v0,w0)表示平面上一个点的坐标;
步骤d2:进行u、v、w值的随机初始化;
步骤d3:分别计算挖掘函数模型的梯度:
式中:xi、yi、zi分别表示对应的输入变量u、v、w的值,U表示对应的输出变量F(·);
步骤d4:进行参数更新:
式中:λ表示学习率,根据实验数据获得;
步骤d5:重复进行步骤d3~步骤d4,直至达到收敛条件,输出收敛时u、v、w的作为最优解,获得挖掘铲的最优入挖点RW。
收获机上安装集成应变式传感器的挖掘铲(应变式传感器采用市面上常见型号,满足本实施例目的即可),通过集成应变式传感器的挖掘铲替代传动挖掘机构的一个铲面、实现对于三七的挖掘,且应变式传感器与工程机电连接,用于实现防碰撞边界的构建,如图2所示,包括:
对“根-土-茎”复合图像拆解:根据上述步骤获得的“根-土-茎”复合图像将三七主体分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体等;可利用人工手动拆解、也可采用本领域常见的拆解工具进行拆解(例如标注工具),本领域技术人员能够毫无疑义的实现。
应变式传感信号获取:通过集成应变式传感器的挖掘铲与各个组合体(即“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体)进行力学特性实验,获取各组合体的应变式传感信号。
传感信号与图像信号之间的转换:首先,将一维的传感信号进行连续小波变换(Continuous Wavelet Transform,CWT)算法变换,得到小波系数矩阵:
式中:a、b分别表示尺度参数与平移参数;f(t)表示原始信号;表示小波基函数;
之后,对小波系数矩阵中的每个元素进行转换,得到其对应的灰度值:
式中:G(i,j)表示灰度图像中的像素值;W(i,j)表示小波系数矩阵中的元素;max(W)表示小波系数矩阵中的最大值;
最后,通过CWT将一维的应变式传感信号中的每个元素映射为一个灰度值,形成灰度图像,完成传感信号与组合体图像信号之间的转换。
生成智能分类表:通过深度学习网络模型对挖掘铲作业对象识别与传感器感知信号进行对应训练,生成智能分类表;
其中,深度学习网络模型采用全连接神经网络或卷积神经网络实现对传感器感知信号的特征提取与分类识别;采用决策树、支持向量机等传统的机器学习算法对挖掘装置作业对象的识别。
构建防碰撞边界:首先,通过对“根-土-茎”复合图像进行边缘检测,包括:
首先,使用高斯滤波器对“根-土-茎”复合图像进行滤波,减少噪声的影响(此步骤采用本领域常见手段即可);
之后,使用Sobel算子计算梯度大小和方向,具体步骤为:
将灰度图像I(x,y)的每个像素点(x,y)上、下、左、右的灰度值与Sobel算子中的系数相乘,并将它们相加得到x方向梯度Gx(x,y)与y方向梯度Gy(x,y),具体为:
获得每个像素点在x方向与y方向的梯度值。
通过上述方向梯度很获得每个像素点的梯度大小G(x,y)和梯度方向θ(x,y),具体为:
/>
然后,根据上述步骤中获得的梯度方向,对“根-土-茎”复合图像进行非极大值抑制,即保留梯度方向上的局部最大值、抑制其它方向上的值;
再根据上述步骤中获得的梯度大小,将“根-土-茎”复合图像像素分为边缘点和非边缘点;例如:预设两个阈值、即高阈值与低阈值,梯度大小大于高阈值的点为强边缘点、小于低阈值的点为非边缘点,在低阈值和高阈值之间的点为弱边缘点;
最后,将弱边缘点与其他强边缘点连接,形成完整的边缘。
依据智能分类表保留主根边缘;
然后,通过八连通领域像素检测方法合并主根边缘之间的像素,生成防碰撞边界;
其中,通过八连通领域像素检测方法合并主根边缘之间的像素包括:
步骤e1:根据边缘检测获得的主根边缘,利用手动标定或自动标定的方法(手动标定或自动标定均可采用本领域常规手段),划定边界范围;
步骤e2:对于边界范围内的每个像素,以像素为中心取一个3x3的矩阵,并把矩阵中心的像素设为待检测像素;
步骤e3:对矩阵中的八个相邻像素进行颜色值比对,若存在相邻像素颜色值与待检测像素颜色值不同,则该像素为边界像素,进行合并操作;
步骤e4:对于边界像素,将它的像素值改成与其相邻像素值相同的值,从而达到合并的目的;即把该像素设置为与其最近的相邻像素的像素值,这个相邻像素可以是八个相邻像素中的任意一个;
步骤e5:经合并后,获得一个主根防碰的边界。
收获机上设置深度检测系统、用于检测挖掘铲的入土深度(深度检测系统可采用超声波探测系统、或深度传感器等,只要满足本实施例目的即可),深度检测系统与工程机电连接,用于完成挖掘路径的规划,如图3所示,包括:
步骤f1:通过防碰撞边界的构建方法,获得三七地下主根部分的多个面的防碰撞边界;
步骤f2:采用改进的迭代最近点(Iterative Closest Point,ICP)算法,生成主根最小包围体,包括:
步骤f2-1:将步骤f1中获得的多个面防碰撞边界的点云数据进行坐标系归一化处理,使得每个维度的坐标值都在同一范围内;
步骤f2-2:利用主成分分析(Principal Component Analysis,PCA)算法获得点云数据的主方向向量U=(U1,U2,U3);
步骤f2-3:通过计算点云数据在主方向上的最大值Dmax与最小值Dmin获得包围体,包围体是由三个平行于主方向向量的矩形组成,即:
Sizei=Dmax,i-Dmin,i,i∈1,2,3;
再将主方向最小包围体的边界转换回原始坐标系,获得包围体的位置和大小信息;
步骤f2-4:采用迭代最近点算法进行点云匹配(迭代最近点算法参照步骤a1~步骤a4),通过不断迭代,将两个点云数据之间的重合度最大化,进而实现点云数据的匹配与对齐,实现主方向最小包围体的点云配准。
步骤f3:通过最小包围体获取包围体的最低点与重心,具体为:
首先,通过点云数据在主方向上的最小值与包围体获得最低点Q:
然后,通过多个点云数据的权重获得包围体重心P:
式中:hi表示点云数据第i个点的坐标;ei表示点云数据第i个点的权重。
利用包围体的最低点Q、重心P以及最优入挖点RW,获得挖掘辅助平面δ(如图3所示,即通过三点连成一个平面),并通过挖掘辅助平面δ获得其垂直平面β,将垂直平面β作为出土平面;
步骤f4:结合最优入挖点、防碰撞边界、出土平面,规划挖掘路径。
收获机上设置伺服电机与液压传动系统,用于控制各个机构运行,且伺服电机与液压传动系统分别与工程机电连接,实现信号的控制与反馈,从而完成三七挖掘;同时,如图4所示:为了更好的进行三七挖掘,收获机上装配振动挖掘机构且挖掘铲安装在振动挖掘机构上,实现对于三七的有效挖掘;振动挖掘机构同样通过伺服电机控制。
三七的挖掘包括:通过伺服电机与液压传动系统控制挖掘铲、通过深度检测系统实时检测入挖深度,同时运用PID(Proportion Integration Differentiation,比例积分微分)算法,调节挖掘铲的深度与姿态,使其沿着规划路径进行挖掘,完成三七挖掘。
实施例2:
作为本申请方案的进一步细化,在实施例1方案的基础上,三七挖掘具体为:
步骤e1、在对三七进行挖掘之前,通过上述实施例1的步骤完成挖掘路径的规划;需要说明的是:该路径为三维空间中的完整描述,包括横向方向、纵向方向与深度方向的信息;
步骤e2、通过深度检测系统获取当前挖掘铲的深度信息,通过应变式传感器获取挖掘铲当前的姿态信息;通过挖掘路径规划与当前挖掘铲的位置信息,设定目标深度与目标姿态;
步骤e3、将当前深度信息、当前姿态信息与目标深度、目标姿态输入到PID算法中进行计算(其中,PID算法采用本领域常见手段),获取计算误差;然后,根据实际控制效果对PID算法中的控制参数进行调节,达到更加精确的控制;根据PID算法计算获得的控制量,实时更新挖掘铲的深度与姿态;
步骤e4、通过实时更新的挖掘铲的深度信息与姿态信息、与规划的挖掘路径进行实时匹配,确认其是否沿规划路径行进,若挖掘铲未沿规划路径行进、反馈并对挖掘铲的深度与姿态进行调节,若挖掘铲沿规划路径行进、继续控制并完成三七挖掘。
通过运用液压传动系统、伺服电机、深度检测系统和PID算法,实现挖掘路径的规划和挖掘铲深度、姿态的精确调节,从而提高挖掘效率和精度。
实施例3:
作为本申请方案的进一步细化,在实施例1方案的基础上,步骤f2-2具体包括:
步骤f2-21、溅射有一个包含n个点的点云数据集X={x1,x2,…,xn},其中,每个点均为一个三维向量、即xi=(x,y,z);
步骤f2-22、对点云数据进行标准化预处理(采用本领域常见的手段进行标准化预处理),使得每个维度的均值为0、标准差为1;
步骤f2-23、使用协方差矩阵进行主方向向量的计算:
式中,xi表示点云数据中第i个点的坐标向量;x表示点云数据的均值向量;n表示点云数据中点的个数;
步骤f2-24、对协方差矩阵进行特征值分解,将其转化为特征向量和特征值的形式:C=UΛUT;
式中:U表示特征向量矩阵;Λ表示对角线上的特征值矩阵;
选择最大的k个特征值所对应的特征向量作为点云数据的主方向向量。
Claims (2)
1.一种三七中药材低损挖掘系统,其特征在于:包括收获机、工程机、双目立体视觉相机、多个电阻抗传感器、集成应变式传感器的挖掘铲、深度检测系统;
工程机固定设置在收获机上;收获机上对称设置两组双目立体视觉相机,用于获取地上茎叶图像;通过双目立体视觉相机获取地上茎叶图像具体为:采用两组双目立体视觉相机,分别从对侧进行三七地上茎叶部分的图像拍摄,获取两组深度图像;再采用改进的迭代最近点算法,对两组深度图像中的点云进行拼接,从而获得地上茎叶图像;
改进的迭代最近点算法包括:
步骤a1:对于两组深度图像中待配准的点云,首先从点云中提取出一些特征点,作为匹配依据,特征点提取具体为:
;
式中:P表示点云中所有点的集合;或/>表示某个点p i或p j的特征向量;/>或表示p i或p j点的特征分数;/>表示被选中的具有显著特征的特征点集合;
步骤a2:在进行点云配准时,从特征点集合中选取稠密的点对进行匹配;使用基于距离的邻域搜索方法来获取稠密的点对,即假定两组深度图像中点云的对应点对之间距离的均值方差相等,通过以下方法获取每个点的邻域范围:
;
式中:表示点p i与q j之间的欧式距离;r表示邻域搜索范围;N i表示与点p i相邻的点的集合;
步骤a3:在将特征点集合中选取的稠密的点对进行配准后、最小化这些点对之间的距离误差,使用加权平均误差衡量配准效果:
;
式中:n表示点对的数量;分别表示待配准的两组深度图像点云中的对应点对;表示/>之间的欧式距离;w i表示权重系数;
步骤a4:通过最小化加权平均误差,获得两组点云之间的刚性变换;通过采用一个4x4的矩阵表示两组点云的刚性变换:
;
式中:R表示旋转矩阵,t表示平移向量,它们通过以下逐步迭代公式获得:
,/>;
式中:表示欧式范数,求解过程中进行多次迭代,直至误差趋近于0;
收获机上设置机械臂,机械臂端部呈环形分布多根插杆、每个插杆远离机械臂的一端端部分别设置电阻抗传感器,用于获取地下根茎图像;通过电阻抗传感器获取地下根茎图像具体为:
首先,通过控制机械臂使得电阻抗传感器环插在三七地下根茎部的周围;然后,依据电阻抗检测方法,采用改进的修正牛顿拉普森算法,将电阻抗传感器获取的电信号重建为图像信号,获得地下根茎图像,具体步骤为:
步骤b1:采用电阻抗成像技术将待测物体表面分为多个分离的区域,待测物体表面为三七地下根茎部表面,多个分离的区域表示电极对,从每对电极接口处采集电阻抗测量值;
步骤b2:对步骤b1中获取的数据进行滤波、去噪预处理;
步骤b3:利用薄膜法对步骤b2中预处理后的电阻抗数据进行重构,从而获得电势分布图像;再使用非线性优化算法迭代求解分布阻抗;
步骤b4:采用改进的修正牛顿拉普森算法进行图像重建;
步骤b5:对步骤b4中的图像进行去除伪影、增强对比度的后处理操作,得到地下根茎图像;
双目立体视觉相机、电阻抗传感器分别与工程机电连接,获取“根-土-茎”复合图像,实现最优入挖点的建立;工程机获取“根-土-茎”复合图像具体为:以根茎部的底部最小坐标所在的平面为土面,对地上茎叶图像与地下根茎图像进行融合,获得“根-土-茎”复合图像;
地上茎叶图像与地下根茎图像融合包括:
步骤c1:分别将地上茎叶图像与地下根茎图像视为随机变量,通过将地上茎叶图像与地下根茎图像进行联合条件概率分布实现融合:
;
式中:X表示地上茎叶图像,Y表示地下根茎图像;表示在给定Y的情况下X的概率分布;/>表示在给定X的情况下Y的概率分布;P(X)、P(Y)分别表示X、Y的先验概率分布;
步骤c2:利用贝叶斯滤波算法来估计地上茎叶图像的后验概率分布:
;
其中,P(X)通过提取地上茎叶图像的特征向量、利用该特征向量获得,P(Y)通过提取地下根茎图像的特征向量、利用该特征向量获得;通过比较地上茎叶图像与地下根茎图像的特征向量实现,即定义一个相似度函数来度量地上茎叶图像与地下根茎图像的特征向量之间的相似度获得/>;
通过将和P(X)进行卷积获得/>的后概率分布,获得“根-土-茎”复合图像;
工程机建立最优入挖点包括:
步骤d1:首先,设定挖掘铲的入土角为u、边缘点坐标为(v、w),挖掘铲消耗能量为F,则挖掘函数模型为:
式中:分别表示多元回归系数;
其中:
;
式中:表示拟合平面系数;/>表示平面上一个点的坐标;
步骤d2:进行u、v、w值的随机初始化;
步骤d3:分别计算挖掘函数模型的梯度:
式中:x i 、y i 、z i分别表示对应的输入变量u、v、w的值,U表示对应的输出变量;
步骤d4:进行参数更新,具体为:
式中:表示学习率,根据实验数据获得;
步骤d5:重复进行步骤d3~步骤d4,直至达到收敛条件,输出收敛时u、v、w的作为最优解,获得挖掘铲的最优入挖点;
收获机上安装集成应变式传感器的挖掘铲,应变式传感器与工程机电连接,用于实现防碰撞边界的构建;工程机通过应变式传感器构建防碰撞边界包括:对“根-土-茎”复合图像拆解、应变式传感信号获取、应变式传感信号与图像信号之间的转换、生成智能分类表以及构建防碰撞边界;
对“根-土-茎”复合图像拆解包括:获得的“根-土-茎”复合图像分别拆解成“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体;
应变式传感信号获取包括:通过集成应变式传感器的挖掘铲与“茎-土”组合体、“主根-土”组合体、“支根-土”组合体、“茎-主根”组合体、“茎-支根”组合体进行力学特性实验,获取各个组合体的应变式传感信号;
应变式传感信号与图像信号之间的转换为:
首先,将一维的组合体的应变式传感信号进行连续小波变换算法变换,得到小波系数矩阵:
;
式中:a、b分别表示尺度参数与平移参数;f(t)表示原始信号;表示小波基函数;
之后,对小波系数矩阵中的每个元素进行转换,得到其对应的灰度值:
式中:G(i,j)表示灰度图像中的像素值;W(i,j)表示小波系数矩阵中的元素;max(W)表示小波系数矩阵中的最大值;
最后,通过连续小波变换算法将一维的组合体的应变式传感信号中的每个元素映射为一个灰度值,形成灰度图像,完成组合体的应变式传感信号与组合体图像信号之间的转换;
所述构建防碰撞边界包括:首先,通过对“根-土-茎”复合图像进行边缘检测,依据智能分类表保留主根边缘;
然后,通过八连通领域像素检测方法合并主根边缘之间的像素,生成防碰撞边界;
其中,通过八连通领域像素检测方法合并主根边缘之间的像素包括:
步骤e1:根据边缘检测获得的主根边缘,利用手动标定或自动标定的方法,划定边界范围;
步骤e2:对于边界范围内的每个像素,以像素为中心取一个3x3的矩阵,并把矩阵中心的像素设为待检测像素;
步骤e3:对矩阵中的八个相邻像素进行颜色值比对,若存在相邻像素颜色值与待检测像素颜色值不同,则待检测像素为边界像素,进行合并操作;
步骤e4:对于边界像素,将它的像素值改成与其相邻像素值相同的值,从而达到合并的目的;即把上述边界像素设置为与其最近的相邻像素的像素值,这个相邻像素是八个相邻像素中的任意一个;
步骤e5:经合并后,获得一个主根防碰的边界;
收获机上设置深度检测系统,用于检测挖掘铲的入土深度;深度检测系统与工程机电连接,用于完成挖掘路径的规划;工程机进行挖掘路径规划包括:
步骤f1:通过防碰撞边界的构建方法,获得三七地下主根部分的多个面的防碰撞边界;
步骤f2:采用改进的迭代最近点算法,生成主根最小包围体;
步骤f3:通过最小包围体获取包围体的最低点与重心,利用最低点、重心以及最优入挖点,获得挖掘辅助平面δ,并通过挖掘辅助平面δ获得其垂直平面β,将垂直平面β作为出土平面;
步骤f4:结合最优入挖点、防碰撞边界、出土平面,规划挖掘路径;
收获机上设置伺服电机与液压传动系统,伺服电机与液压传动系统分别与工程机电连接,完成三七挖掘。
2.根据权利要求1所述的一种三七中药材低损挖掘系统,其特征在于:所述生成主根最小包围体的方法包括:
步骤f2-1:将步骤f1中获得的多个面防碰撞边界的点云数据进行坐标系归一化处理,使得每个维度的坐标值都在同一范围内;
步骤f2-2:利用主成分分析算法获得点云数据的主方向向量U=(U 1 ,U 2 ,U 3 );
步骤f2-3:通过计算点云数据在主方向上的最大值D max与最小值D min获得包围体,包围体是由三个平行于主方向向量的矩形组成,即:
;
再将主方向最小包围体的边界转换回原始坐标系,获得包围体的位置和大小信息;
步骤f2-4:采用改进的迭代最近点算法进行点云匹配,通过不断迭代,将两组点云数据之间的重合度最大化,进而实现点云数据的匹配与对齐,实现主方向最小包围体的点云配准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310750716.2A CN116663761B (zh) | 2023-06-25 | 2023-06-25 | 一种三七中药材低损挖掘系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310750716.2A CN116663761B (zh) | 2023-06-25 | 2023-06-25 | 一种三七中药材低损挖掘系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116663761A CN116663761A (zh) | 2023-08-29 |
CN116663761B true CN116663761B (zh) | 2024-04-23 |
Family
ID=87715178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310750716.2A Active CN116663761B (zh) | 2023-06-25 | 2023-06-25 | 一种三七中药材低损挖掘系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116663761B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040034928A (ko) * | 2002-10-17 | 2004-04-29 | 대한민국(관리부서:농촌진흥청) | 컴퓨터 시각을 이용한 절화선별기 |
ES2652320A1 (es) * | 2017-09-27 | 2018-02-01 | Eds Robotics, S.L. | Instalación lineal para deshojado de plantas tipo hortaliza tales como lechugas con eliminación del troncho/tallo de dichas plantas. |
CN111593783A (zh) * | 2020-06-05 | 2020-08-28 | 徐州徐工挖掘机械有限公司 | 挖掘机防碰撞控制方法、装置、系统和挖掘机 |
CN113485359A (zh) * | 2021-07-29 | 2021-10-08 | 北京超维世纪科技有限公司 | 一种工业类巡检机器人多传感器融合避障系统 |
CN113885044A (zh) * | 2021-09-28 | 2022-01-04 | 济南大学 | 一种挖掘机复杂环境下slam建图定位方法、系统及装置 |
CN113898024A (zh) * | 2021-10-18 | 2022-01-07 | 徐州徐工挖掘机械有限公司 | 一种挖掘机动作的防碰撞控制方法 |
CN113914407A (zh) * | 2021-10-09 | 2022-01-11 | 重庆科技学院 | 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统 |
CN114625078A (zh) * | 2016-05-09 | 2022-06-14 | 强力物联网投资组合2016有限公司 | 用于工业物联网的方法和系统 |
CN114897967A (zh) * | 2022-04-12 | 2022-08-12 | 盐城吉研智能科技有限公司 | 一种面向挖掘装备自主作业的物料形态识别方法 |
CN115354708A (zh) * | 2022-09-16 | 2022-11-18 | 徐州徐工矿业机械有限公司 | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 |
CN115906000A (zh) * | 2022-11-22 | 2023-04-04 | 华能伊敏煤电有限责任公司 | 基于多传感器融合的挖掘大块检测方法及其系统 |
CN116052120A (zh) * | 2023-01-12 | 2023-05-02 | 苏州大学 | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 |
CN116309445A (zh) * | 2023-03-17 | 2023-06-23 | 长安大学 | 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140355869A1 (en) * | 2013-06-03 | 2014-12-04 | Elbit Systems Ltd. | System and method for preventing aircrafts from colliding with objects on the ground |
-
2023
- 2023-06-25 CN CN202310750716.2A patent/CN116663761B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040034928A (ko) * | 2002-10-17 | 2004-04-29 | 대한민국(관리부서:농촌진흥청) | 컴퓨터 시각을 이용한 절화선별기 |
CN114625078A (zh) * | 2016-05-09 | 2022-06-14 | 强力物联网投资组合2016有限公司 | 用于工业物联网的方法和系统 |
ES2652320A1 (es) * | 2017-09-27 | 2018-02-01 | Eds Robotics, S.L. | Instalación lineal para deshojado de plantas tipo hortaliza tales como lechugas con eliminación del troncho/tallo de dichas plantas. |
CN111593783A (zh) * | 2020-06-05 | 2020-08-28 | 徐州徐工挖掘机械有限公司 | 挖掘机防碰撞控制方法、装置、系统和挖掘机 |
CN113485359A (zh) * | 2021-07-29 | 2021-10-08 | 北京超维世纪科技有限公司 | 一种工业类巡检机器人多传感器融合避障系统 |
CN113885044A (zh) * | 2021-09-28 | 2022-01-04 | 济南大学 | 一种挖掘机复杂环境下slam建图定位方法、系统及装置 |
CN113914407A (zh) * | 2021-10-09 | 2022-01-11 | 重庆科技学院 | 一种基于bim与机器视觉的挖掘机开挖隧道精确控制系统 |
CN113898024A (zh) * | 2021-10-18 | 2022-01-07 | 徐州徐工挖掘机械有限公司 | 一种挖掘机动作的防碰撞控制方法 |
CN114897967A (zh) * | 2022-04-12 | 2022-08-12 | 盐城吉研智能科技有限公司 | 一种面向挖掘装备自主作业的物料形态识别方法 |
CN115354708A (zh) * | 2022-09-16 | 2022-11-18 | 徐州徐工矿业机械有限公司 | 基于机器视觉的挖掘机铲斗自主挖掘识别控制系统及方法 |
CN115906000A (zh) * | 2022-11-22 | 2023-04-04 | 华能伊敏煤电有限责任公司 | 基于多传感器融合的挖掘大块检测方法及其系统 |
CN116052120A (zh) * | 2023-01-12 | 2023-05-02 | 苏州大学 | 基于图像增强和多传感器融合的挖掘机夜间物体检测方法 |
CN116309445A (zh) * | 2023-03-17 | 2023-06-23 | 长安大学 | 一种基于视觉点云处理的沟槽挖掘铲入点检测系统及方法 |
Non-Patent Citations (2)
Title |
---|
基于阻抗与双目视觉的经络可视化系统;苏祈艳;陈新;;中国医疗器械杂志;20150531(第03期);第166-169页 * |
挖掘机器人双目视觉系统标定方法与立体匹配;王福斌;刘杰;陈至坤;焦春旺;;机械制造与自动化;20120620(第03期);第156-158、162页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116663761A (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106709950B (zh) | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 | |
CN109146948A (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
CN110619263B (zh) | 低秩联合协同表示的高光谱遥感影像异常探测方法 | |
CN110796694A (zh) | 一种基于KinectV2的果实三维点云实时获取方法 | |
CN112465832B (zh) | 一种基于双目视觉的单面树木点云骨架线提取方法及系统 | |
CN103646249A (zh) | 一种温室智能移动机器人视觉导航路径识别方法 | |
CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
Magistri et al. | Towards in-field phenotyping exploiting differentiable rendering with self-consistency loss | |
CN109859099A (zh) | 基于sfm点云深度的盆栽玉米杂草快速去除方法 | |
CN113706514B (zh) | 基于模板图像的病灶定位方法、装置、设备及存储介质 | |
CN113538560B (zh) | 基于三维重建的叶面积指数提取方法 | |
CN116663761B (zh) | 一种三七中药材低损挖掘系统 | |
Meyer et al. | CherryPicker: Semantic skeletonization and topological reconstruction of cherry trees | |
CN116703018B (zh) | 一种精准挖掘三七主根的路径控制方法 | |
CN116630217B (zh) | 一种低损伤三七主根的互作感知式进挖方法 | |
CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
CN106952249B (zh) | 基于交比不变性的绝缘子串中轴线提取方法 | |
Gong et al. | Navigation line extraction based on root and stalk composite locating points | |
CN116663408B (zh) | 一种三七最优入挖位姿的建立方法 | |
Rakun et al. | Plant size estimation based on the construction of high-density corresponding points using image registration | |
CN109658421B (zh) | 一种多目标图像的分割方法 | |
Zhao et al. | Asymmetric bidirectional fusion network for remote sensing pansharpening | |
Liu et al. | Multi-view ear shape feature extraction and reconstruction | |
Patil et al. | Cotton leaf image segmentation using modified factorization-based active contour method | |
CN112200850A (zh) | 一种基于成熟特征点的orb提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |