CN117329970B - 一种无人驾驶旋耕机碎土质量检测方法 - Google Patents
一种无人驾驶旋耕机碎土质量检测方法 Download PDFInfo
- Publication number
- CN117329970B CN117329970B CN202311587877.0A CN202311587877A CN117329970B CN 117329970 B CN117329970 B CN 117329970B CN 202311587877 A CN202311587877 A CN 202311587877A CN 117329970 B CN117329970 B CN 117329970B
- Authority
- CN
- China
- Prior art keywords
- soil
- image
- rotary cultivator
- sensor
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims abstract description 150
- 238000001514 detection method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000003971 tillage Methods 0.000 claims description 24
- 239000002245 particle Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000002344 surface layer Substances 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明涉及智能农业机械技术领域，更具体地，涉及一种无人驾驶旋耕机碎土质量检测方法，在无人驾驶旋耕机上增装视觉传感器、姿态传感器和车载处理终端，通过采集并处理旋耕作业后方土壤图像，识别和统计图像中的土块，并计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度和适用性。
Description
技术领域
本发明涉及智能农业机械技术领域，更具体地，涉及一种无人驾驶旋耕机碎土质量检测方法。
背景技术
旋耕机是一种需要和拖拉机配合使用完成耕、耙等工作的农业设备，由于该设备具有良好的碎土能力，不但在完成土壤破碎的过程中能够使得土壤保持相对平整的状态，而且还能有效切碎残留在土壤中的枯根，其旋耕工况的作业质量对农作物全周期生长水平与生产过程具有重要影响。
近年来，农机导航技术发展迅速，其中无人驾驶拖拉机的出现为耕整地带来了新的方式。但现阶段，无人驾驶旋耕机不知道旋耕作业质量如何、是否需要再次重复作业，无人驾驶旋耕机难以自主评价旋耕质量并指导旋耕作业，旋耕作业质量的分析和评估主要依靠人工判断与决策。
现有技术公开了一种作业质量获取方法、装置、存储介质及作业设备，通过获取作业设备对目标地块作业过程中的作业数据，基于作业数据，获取作业质量图，其中，作业质量图包括目标地块中各个子区域的作业质量评估参数。整个过程不会对司机的驾驶作业产生影响，更为全面的对每一个子区域的作业质量进行评估，不存在遗漏的子区域。该方案可便于操作人员(例如司机或管理人员)对整体作业质量进行把控，提升农业作业质量，并方便质量监控，但是用于无人驾驶旋耕机时，仅可对作业质量进行评估，而无法根据评估结果自主指导旋耕作业，无人驾驶旋耕机的智能化程度和作业效率低。
发明内容
本发明的目的在于克服现有技术的不足，提供一种无人驾驶旋耕机碎土质量检测方法，可通过计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度。
为解决上述技术问题，本发明采用的技术方案是：提供一种无人驾驶旋耕机碎土质量检测方法，包括以下步骤：
S1：设计并安装碎土质量检测装置，将车载处理终端、视觉传感器、姿态传感器安装于无人驾驶旋耕机，并将视觉传感器、姿态传感器分别与车载处理终端连接；
S2：通过视觉传感器实时采集旋耕机后方土壤图像，通过姿态传感器采集旋耕机作业过程中的姿态信息；
S3：采用坐标转换方法，统一旋耕机与视觉传感器、姿态传感器坐标系；通过车载处理终端对采集的后方土壤图像进行图像校正并对采集的姿态信息进行姿态校正；
S4：对获得的后方土壤图像，采用图像处理技术，识别并提取不同尺寸土块，统计并分析不同尺寸的土块占比，求解碎土率；
S5：依据碎土率，判断作业行的旋耕作业质量是否合格；若是，则完成旋耕作业，若否，记录不合格作业行进行重复作业，返回步骤S2。
本发明的无人驾驶旋耕机碎土质量检测方法，在无人驾驶旋耕机上增装视觉传感器、姿态传感器和车载处理终端，通过采集并处理旋耕作业后方土壤图像，识别和统计图像中的土块，并计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度和适用性。
优选地，步骤S1中，所述视觉传感器为单目相机，且单目相机的镜头朝向旋耕机后方。
优选地，步骤S1中，所述姿态传感器为IMU。
优选地，步骤S2中，所述姿态信息包括俯仰角、横滚角和多轴加速度。
优选地，步骤S3具体为：
建立车体坐标系，以旋耕机前进方向为Y轴，X轴与Y轴垂直指向旋耕机前进方向的右侧，Z轴垂直于X轴和Y轴并指向旋耕机的上方；
在车载处理终端获取所述视觉传感器采集的后方土壤图像，即畸变图像；根据姿态传感器获取的姿态信息对图像进行透视畸变矫正，变换公式为：
其中，（，/>，1）是原始非畸变图像上的坐标点；/>为透视变换矩阵；（/>，，/>）是对应得到变换后的畸变图像坐标点；
由于处理的是二维图像，需将变换后的畸变图像由三维降维为二维（，/>），
其中，，则
令，展开上述公式，得到其中一个对应点的情况：
若要解出方程组，需要八个坐标点，包括四个畸变图像坐标点和四个原始非畸变图像坐标点，则透视畸变校正的步骤包括：
S31：视觉传感器获取畸变图片，车载处理终端获取畸变图片四个顶点的像素坐标；
S32：通过姿态传感器获取的俯仰角，根据几何关系计算原始图像四个顶点的像素坐标；
S33：将步骤S31和步骤S32获取的八个像素坐标分别代入上述方程组，求解透视变换矩阵；
S34：根据畸变图像和透视变换矩阵获得原始非畸变图像。
优选地，步骤S4具体为：
S41：获取姿态传感器的位姿信息和视觉传感器的安装位置，计算所述视觉传感器与土壤表层的距离，推算所获得图像中每像素代表的实际尺寸；
S42：对步骤S41中的图像进行预处理，使用边缘检测算法获得土壤颗粒的轮廓特征，进行腐蚀操作闭合轮廓，将轮廓认定为圆形并根据像素于实际尺寸的比例计算土壤颗粒半径；
S43：统计图像中所有土壤颗粒的数量，对每个土壤颗粒认定为球形计算体积，计算碎土率。
优选地，步骤S41中，计算图像的每像素所代表的实际尺寸的步骤如下；
S411：在与已知尺寸的物体距离为处拍摄获得图像，测量得到物体的像素宽度/>，计算相机镜头焦距：
其中，为相机焦距，/>为相机所摄图像中物体的真实宽度，/>为图像中物体的像素宽度，/>为相机镜头与物体的距离；
S412：根据位姿传感器获取的俯仰角和几何关系计算相机镜头与土壤表层的距离，根据步骤S411中计算的焦距计算图像的每像素所代表的实际尺寸为/>。
优选地，步骤S42中，图像预处理包括灰度和高斯滤波，灰度转换采用公式：
其中，Y为灰度值亮度，R为红色通道色度分量，G为绿色通道色度分量，B为蓝色通道色度分量；
高斯滤波利用OpenCV库中的GaussianBlur函数进行高斯模糊，降低图像噪声；
提取土壤颗粒轮廓的步骤如下：
S421：利用OpenCV库中的Canny方法对进行过灰度变换的二值图像进行轮廓提取，并对提取后的图像使用OpenCV库中的dilate和erode方法对图像进行腐蚀、膨胀操作闭合轮廓；
S422：利用OpenCV库中的findCounter方法对图像进行轮廓查找，使用minClosingCircle方法生成相应的最小圆形轮廓并输出相应轮廓的像素尺寸半径，根据每像素所代表的实际尺寸计算相应轮廓的实际尺寸；
S423：对图像中所有土壤轮廓尺寸进行记录。
优选地，步骤S43中，计算碎土率公式为：
其中，为碎土率；/>为土块外接圆半径小于4cm的土块体积，/>为相应的土块密度，为相应土块数量；/>为土块外接圆半径大于4cm的土块体积，/>为相应的土块密度，/>为相应土块数量；
为便于求解，将土块认定为球体计算体积，将单次采样的土壤密度视为不变值，即。
优选地，步骤S5具体为：
S51：旋耕作业往复过程中，视觉传感器在当前行的地头、中间以及地尾分别进行一次采样，求得三次采样的平均碎土率作为当前行的碎土率；
S52：当前行的碎土率达到50%即为合格，对于碎土率小于50%的作业行进行记录并在首次旋耕后对不合格作业行自主进行复耕。
本发明的无人驾驶旋耕机碎土质量检测方法与背景技术相比，产生的有益效果为：
在无人驾驶旋耕机上增装视觉传感器、姿态传感器和车载处理终端，通过采集并处理旋耕作业后方土壤图像，识别和统计图像中的土块，并计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度和适用性。
附图说明
图1为本发明实施例中无人驾驶旋耕机碎土质量检测方法的流程图；
图2为本发明实施例中求解碎土率的流程图；
图3为本发明实施例中提取土壤颗粒轮廓的流程图；
图4为本发明实施例中视觉传感器与姿态传感器的安装示意图；
图5为本发明实施例中视觉传感器与姿态传感器的检测示意图；
图6为本发明实施例中技工边缘检测的图像；
图7为本发明实施例中经过腐蚀膨胀处理的图像。
附图中：1-无人驾驶旋耕机；2-视觉传感器；3-姿态传感器；4-单目相机镜头的正投影面；5-土壤表层；
表示姿态传感器获取俯仰角；/>表示镜头与Z轴负方向的夹角；/>表示单目相机镜头的正投影面与实际土壤表层存在夹角。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例一
一种无人驾驶旋耕机碎土质量检测方法，如图1所示，包括以下步骤：
S1：设计并安装碎土质量检测装置，将车载处理终端、视觉传感器、姿态传感器安装于无人驾驶旋耕机，并将视觉传感器、姿态传感器分别与车载处理终端连接；
视觉传感器为单目相机，且单目相机的镜头朝向无人驾驶旋耕机后方，用于采集旋耕后的土壤表层图像；
姿态传感器为IMU，用于采集无人驾驶旋耕机作业过程中的姿态信息；
车载处理终端为无人驾驶视觉处理器，安装于无人驾驶旋耕机的驾驶室，用于处理视觉传感器采集的图像并进行图像校正和姿态校正；
S2：通过视觉传感器实时采集无人驾驶旋耕机后方土壤图像，通过姿态传感器采集无人驾驶旋耕机作业过程中的姿态信息；
姿态信息包括俯仰角、横滚角和多轴加速度等；
S3：采用坐标转换方法，统一无人驾驶旋耕机与视觉传感器、姿态传感器坐标系；通过车载处理终端对采集的后方土壤图像进行图像校正并对采集的姿态信息进行姿态校正；具体为：
如图2、图3所示，建立车体坐标系，以无人驾驶旋耕机前进方向为Y轴，X轴与Y轴垂直指向无人驾驶旋耕机前进方向的右侧，Z轴垂直于X轴和Y轴并指向无人驾驶旋耕机的上方；由于单目相机镜头的正投影面与实际土壤表层存在夹角，因此需要对图像进行透视畸变矫正；
在车载处理终端获取所述视觉传感器采集的后方土壤图像，即畸变图像；根据姿态传感器获取的姿态信息对图像进行透视畸变矫正，变换公式为：
其中，（，/>，1）是原始非畸变图像上的坐标点；/>为透视变换矩阵；（/>，，/>）是对应得到变换后的畸变图像坐标点；
由于处理的是二维图像，需将变换后的畸变图像由三维降维为二维（，/>），其中，/>，则
令，展开上述公式，得到其中一个对应点的情况：
若要解出方程组，需要八个坐标点，包括四个畸变图像坐标点和四个原始非畸变图像坐标点，则透视畸变校正的步骤包括：
S31：视觉传感器获取畸变图片，车载处理终端获取畸变图片四个顶点的像素坐标；
S32：通过姿态传感器获取的俯仰角，根据几何关系计算原始图像四个顶点的像素坐标；
S33：将步骤S31和步骤S32获取的八个像素坐标分别代入上述方程组，求解透视变换矩阵；
S34：根据畸变图像和透视变换矩阵获得原始非畸变图像。
S4：对获得的后方土壤图像，采用图像处理技术，识别并提取不同尺寸土块，统计并分析不同尺寸的土块占比，求解碎土率；
S5：依据碎土率，判断作业行的旋耕作业质量是否合格；若是，则完成旋耕作业，若否，记录不合格作业行进行重复作业，返回步骤S2。
本实施例的无人驾驶旋耕机碎土质量检测方法，在无人驾驶旋耕机上增装视觉传感器、姿态传感器和车载处理终端，通过采集并处理旋耕作业后方土壤图像，识别和统计图像中的土块，并计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度和适用性。
实施例二
本实施例与实施例一类似，所不同之处在于，根据IMU姿态传感器获取俯仰角，标定单目相机的安装位置，计算相机实际高度以及镜头与Z轴负方向的夹角/>，如图4所示，步骤S4具体为：
S41：获取姿态传感器的位姿信息和视觉传感器的安装位置，计算所述视觉传感器与土壤表层的距离，推算所获得图像中每像素代表的实际尺寸；具体为：
S411：在与已知尺寸的物体距离为处拍摄获得图像，测量得到物体的像素宽度/>，计算相机镜头焦距：
其中，为相机焦距，/>为相机所摄图像中物体的真实宽度，/>为图像中物体的像素宽度，/>为相机镜头与物体的距离；
S412：根据位姿传感器获取的俯仰角和几何关系计算相机镜头与土壤表层的距离，根据步骤S411中计算的焦距计算图像的每像素所代表的实际尺寸为/>。
S42：对步骤S41中的图像进行预处理，图像预处理包括灰度和高斯滤波，灰度转换采用公式：
其中，Y为灰度值亮度，R为红色通道色度分量，G为绿色通道色度分量，B为蓝色通道色度分量；
高斯滤波利用OpenCV库中的GaussianBlur函数进行高斯模糊，降低图像噪声；
使用边缘检测算法获得土壤颗粒的轮廓特征，进行腐蚀操作闭合轮廓，将轮廓认定为圆形并根据像素于实际尺寸的比例计算土壤颗粒半径；如图5所示，具体为：
S421：利用OpenCV库中的Canny方法对进行过灰度变换的二值图像进行轮廓提取，并对提取后的图像使用OpenCV库中的dilate和erode方法对图像进行腐蚀、膨胀操作闭合轮廓，如图6、图7所示；
S422：利用OpenCV库中的findCounter方法对图像进行轮廓查找，使用minClosingCircle方法生成相应的最小圆形轮廓并输出相应轮廓的像素尺寸半径，根据每像素所代表的实际尺寸计算相应轮廓的实际尺寸；
S423：对图像中所有土壤轮廓尺寸进行记录；
S43：统计图像中所有土壤颗粒的数量，对每个土壤颗粒认定为球形计算体积，计算碎土率；计算碎土率公式为：
其中，为碎土率；/>为土块外接圆半径小于4cm的土块体积，/>为相应的土块密度，为相应土块数量；/>为土块外接圆半径大于4cm的土块体积，/>为相应的土块密度，/>为相应土块数量；
为便于求解，将土块认定为球体计算体积，将单次采样的土壤密度视为不变值，即。
步骤S5具体为：
S51：旋耕作业往复过程中，视觉传感器在当前行的地头、中间以及地尾分别进行一次采样，求得三次采样的平均碎土率作为当前行的碎土率；
S52：当前行的碎土率达到50%即为合格，对于碎土率小于50%的作业行进行记录并在首次旋耕后对不合格作业行自主进行复耕。
实施例三
本实施例为一种碎土质量检测装置，碎土质量检测装置包括车载处理终端以及分别与车载处理终端连接的视觉传感器和姿态传感器，视觉传感器装设于无人驾驶旋耕机后方，视觉传感器用于实时采集土壤图像，姿态传感器安装于无人驾驶旋耕机，所述姿态传感器用于采集无人驾驶旋耕机的姿态信息，车载处理终端装设于无人驾驶旋耕机的驾驶室内，无人驾驶旋耕机设有无人驾驶控制器，车载处理终端与无人驾驶控制器连接，无人驾驶控制器控制无人驾驶选根据运动状态。
上述的碎土质量检测装置，通过在无人驾驶旋耕机上增装车载处理终端、视觉传感器和姿态传感器，通过采集并处理旋耕作业后方土壤图像，识别和统计图像中的土块，并计算碎土率，自主评价无人驾驶旋耕机的碎土作业质量，自主决策是否需要重复旋耕作业或完成作业任务，当需要重复旋耕作业时，可通过车载处理终端与无人驾驶控制器进行数据交互，控制无人驾驶旋耕机的工作状态，保证作业质量的同时提高作业效率，能有效提高无人驾驶旋耕机的智能化程度和适用性。
在上述具体实施方式的具体内容中，各技术特征可以进行任意不矛盾的组合，为使描述简洁，未对上述各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种无人驾驶旋耕机碎土质量检测方法，其特征在于，包括以下步骤：
S1：设计并安装碎土质量检测装置，将车载处理终端、视觉传感器、姿态传感器安装于无人驾驶旋耕机，并将视觉传感器、姿态传感器分别与车载处理终端连接；
S2：通过视觉传感器实时采集无人驾驶旋耕机后方土壤图像，通过姿态传感器采集无人驾驶旋耕机作业过程中的姿态信息；
S3：采用坐标转换方法，统一无人驾驶旋耕机与视觉传感器、姿态传感器坐标系；通过车载处理终端对采集的后方土壤图像进行图像校正并对采集的姿态信息进行姿态校正；
建立车体坐标系，以无人驾驶旋耕机前进方向为Y轴，X轴与Y轴垂直指向无人驾驶旋耕机前进方向的右侧，Z轴垂直于X轴和Y轴并指向无人驾驶旋耕机的上方；
在车载处理终端获取所述视觉传感器采集的后方土壤图像，即畸变图像；根据姿态传感器获取的姿态信息对图像进行透视畸变矫正，变换公式为：
其中，（，/>，1）是原始非畸变图像上的坐标点；/>为透视变换矩阵；（/>，/>，/>）是对应得到变换后的畸变图像坐标点；
由于处理的是二维图像，需将变换后的畸变图像由三维降维为二维（，/>），
其中，，则
令，展开上述公式，得到其中一个对应点的情况：
若要解出方程组，需要八个坐标点，包括四个畸变图像坐标点和四个原始非畸变图像坐标点，则透视畸变校正的步骤包括：
S31：视觉传感器获取畸变图片，车载处理终端获取畸变图片四个顶点的像素坐标；
S32：通过姿态传感器获取的俯仰角，根据几何关系计算原始图像四个顶点的像素坐标；
S33：将步骤S31和步骤S32获取的八个像素坐标分别代入上述方程组，求解透视变换矩阵；
S34：根据畸变图像和透视变换矩阵获得原始非畸变图像；
S4：对获得的后方土壤图像，采用图像处理技术，识别并提取不同尺寸土块，统计并分析不同尺寸的土块占比，求解碎土率；包括：
S41：获取姿态传感器的位姿信息和视觉传感器的安装位置，计算所述视觉传感器与土壤表层的距离，推算所获得图像中每像素代表的实际尺寸；
计算图像的每像素所代表的实际尺寸的步骤如下；
S411：在与已知尺寸的物体距离为处拍摄获得图像，测量得到物体的像素宽度/>，计算相机镜头焦距：
其中，为相机焦距，/>为相机所摄图像中物体的真实宽度，/>为图像中物体的像素宽度，/>为相机镜头与物体的距离；
S412：根据位姿传感器获取的俯仰角和几何关系计算相机镜头与土壤表层的距离，根据步骤S411中计算的焦距计算图像的每像素所代表的实际尺寸为/>；
S42：对步骤S41中的图像进行预处理，使用边缘检测算法获得土壤颗粒的轮廓特征，进行腐蚀操作闭合轮廓，将轮廓认定为圆形并根据像素于实际尺寸的比例计算土壤颗粒半径；
图像预处理包括灰度和高斯滤波，灰度转换采用公式：
其中，Y为灰度值亮度，R为红色通道色度分量，G为绿色通道色度分量，B为蓝色通道色度分量；
高斯滤波利用OpenCV库中的GaussianBlur函数进行高斯模糊，降低图像噪声；
提取土壤颗粒轮廓的步骤如下：
S421：利用OpenCV库中的Canny方法对进行过灰度变换的二值图像进行轮廓提取，并对提取后的图像使用OpenCV库中的dilate和erode方法对图像进行腐蚀、膨胀操作闭合轮廓；
S422：利用OpenCV库中的findCounter方法对图像进行轮廓查找，使用minClosingCircle方法生成相应的最小圆形轮廓并输出相应轮廓的像素尺寸半径，根据每像素所代表的实际尺寸计算相应轮廓的实际尺寸；
S423：对图像中所有土壤轮廓尺寸进行记录；
S43：统计图像中所有土壤颗粒的数量，对每个土壤颗粒认定为球形计算体积，计算碎土率；
计算碎土率公式为：
其中，为碎土率；/>为土块外接圆半径小于4cm的土块体积，/>为相应的土块密度，/>为相应土块数量；/>为土块外接圆半径大于4cm的土块体积，/>为相应的土块密度，/>为相应土块数量；
为便于求解，将土块认定为球体计算体积，将单次采样的土壤密度视为不变值，即；
S5：依据碎土率，判断作业行的旋耕作业质量是否合格；若是，则完成旋耕作业，若否，记录不合格作业行进行重复作业，返回步骤S2。
2.根据权利要求1所述的无人驾驶旋耕机碎土质量检测方法，其特征在于，所述视觉传感器为单目相机，且单目相机的镜头朝向无人驾驶旋耕机后方。
3.根据权利要求1所述的无人驾驶旋耕机碎土质量检测方法，其特征在于，所述姿态传感器为IMU。
4.根据权利要求1所述的无人驾驶旋耕机碎土质量检测方法，其特征在于，所述姿态信息包括俯仰角、横滚角和多轴加速度。
5.根据权利要求1至4任一项所述的无人驾驶旋耕机碎土质量检测方法，其特征在于，步骤S5具体为：
S51：旋耕作业往复过程中，视觉传感器在当前行的地头、中间以及地尾分别进行一次采样，求得三次采样的平均碎土率作为当前行的碎土率；
S52：当前行的碎土率达到50%即为合格，对于碎土率小于50%的作业行进行记录并在首次旋耕后对不合格作业行自主进行复耕。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311587877.0A CN117329970B (zh) | 2023-11-27 | 2023-11-27 | 一种无人驾驶旋耕机碎土质量检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311587877.0A CN117329970B (zh) | 2023-11-27 | 2023-11-27 | 一种无人驾驶旋耕机碎土质量检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117329970A CN117329970A (zh) | 2024-01-02 |
| CN117329970B true CN117329970B (zh) | 2024-01-30 |
Family
ID=89293694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311587877.0A Active CN117329970B (zh) | 2023-11-27 | 2023-11-27 | 一种无人驾驶旋耕机碎土质量检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117329970B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0658797A1 (en) * | 1993-12-14 | 1995-06-21 | Nikon Corporation | Image movement correction of camera |
| CN107202982A (zh) * | 2017-05-22 | 2017-09-26 | 徐泽宇 | 一种基于无人机位姿计算的信标布置及图像处理方法 |
| CN107389683A (zh) * | 2017-09-13 | 2017-11-24 | 河南科技大学 | 基于图像处理技术的旋耕机碎土率实时检测装置及方法 |
| CN112052590A (zh) * | 2020-09-03 | 2020-12-08 | 西南科技大学 | 基于抗冻机理的橡胶集料混凝土配合比设计方法 |
| CN112365549A (zh) * | 2021-01-12 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 车载相机的姿态校正方法、装置和存储介质及电子装置 |
| CN115346197A (zh) * | 2022-04-27 | 2022-11-15 | 重庆邮电大学 | 一种基于双向视频流的驾驶员分心行为识别方法 |
| CN116158215A (zh) * | 2023-03-15 | 2023-05-26 | 华中农业大学 | 一种基于地表形貌特征信息的旋耕作业智能控制系统 |
-
2023
- 2023-11-27 CN CN202311587877.0A patent/CN117329970B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0658797A1 (en) * | 1993-12-14 | 1995-06-21 | Nikon Corporation | Image movement correction of camera |
| CN107202982A (zh) * | 2017-05-22 | 2017-09-26 | 徐泽宇 | 一种基于无人机位姿计算的信标布置及图像处理方法 |
| CN107389683A (zh) * | 2017-09-13 | 2017-11-24 | 河南科技大学 | 基于图像处理技术的旋耕机碎土率实时检测装置及方法 |
| CN112052590A (zh) * | 2020-09-03 | 2020-12-08 | 西南科技大学 | 基于抗冻机理的橡胶集料混凝土配合比设计方法 |
| CN112365549A (zh) * | 2021-01-12 | 2021-02-12 | 腾讯科技（深圳）有限公司 | 车载相机的姿态校正方法、装置和存储介质及电子装置 |
| CN115346197A (zh) * | 2022-04-27 | 2022-11-15 | 重庆邮电大学 | 一种基于双向视频流的驾驶员分心行为识别方法 |
| CN116158215A (zh) * | 2023-03-15 | 2023-05-26 | 华中农业大学 | 一种基于地表形貌特征信息的旋耕作业智能控制系统 |
Non-Patent Citations (1)
| Title |
|---|
| 微耕机碎土率图像处理测量法探究;夏茄程;;农业开发与装备(07);第112-113页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117329970A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9185402B2 (en) | Traffic camera calibration update utilizing scene analysis | |
| JP5105481B2 (ja) | 車線検出装置、車線検出方法、及び車線検出プログラム | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| CN112215860A (zh) | 一种基于图像处理的无人机定位方法 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN111860321B (zh) | 一种障碍物识别方法及系统 | |
| WO2022088680A1 (zh) | 一种局部点云地图构建方法及视觉机器人 | |
| Van Evert et al. | A mobile field robot with vision-based detection of volunteer potato plants in a corn crop | |
| CN113313116A (zh) | 一种基于视觉的水下人工目标准确检测与定位方法 | |
| CN116912715A (zh) | 一种面向风机叶片巡检的无人机视觉伺服控制方法及系统 | |
| CN117329970B (zh) | 一种无人驾驶旋耕机碎土质量检测方法 | |
| US11354794B2 (en) | Deposit detection device and deposit detection method | |
| CN116681776B (zh) | 一种双目相机的外参标定方法和系统 | |
| JP2006101816A (ja) | 操向制御方法及び装置 | |
| CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
| CN111243021A (zh) | 基于多组合相机的车载视觉定位方法、系统及存储介质 | |
| CN111046795A (zh) | 一种基于双目视觉的实时车辆压线行为检测方法 | |
| US11173785B2 (en) | Operator assistance vision system | |
| CN113450335B (zh) | 一种路沿检测方法、路沿检测装置及路面施工车辆 | |
| CN112395985B (zh) | 基于无人飞行器图像的地面无人车辆视觉道路检测方法 | |
| EP3389015A1 (en) | Roll angle calibration method and roll angle calibration device | |
| CN111738035A (zh) | 车辆偏航角的计算方法、装置和设备 | |
| CN110675362B (zh) | 一种在弯曲道路监控环境下获取地平线的方法 | |
| CN111260709B (zh) | 一种面向动态环境的地面辅助的视觉里程计方法 | |
| CN113674361A (zh) | 一种车载环视校准实现方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |