CN106056107B - 一种基于双目视觉避桩控制方法 - Google Patents
一种基于双目视觉避桩控制方法 Download PDFInfo
- Publication number
- CN106056107B CN106056107B CN201610604454.9A CN201610604454A CN106056107B CN 106056107 B CN106056107 B CN 106056107B CN 201610604454 A CN201610604454 A CN 201610604454A CN 106056107 B CN106056107 B CN 106056107B
- Authority
- CN
- China
- Prior art keywords
- image
- rice
- binocular vision
- control method
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 241000209094 Oryza Species 0.000 claims abstract description 80
- 235000007164 Oryza sativa Nutrition 0.000 claims abstract description 80
- 235000009566 rice Nutrition 0.000 claims abstract description 80
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims description 18
- 238000003306 harvesting Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 210000005069 ears Anatomy 0.000 claims description 7
- 238000009340 sequential cropping Methods 0.000 claims description 6
- 238000007789 sealing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 235000013339 cereals Nutrition 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000251169 Alopias vulpinus Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 244000037666 field crops Species 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D45/00—Harvesting of standing crops
- A01D45/04—Harvesting of standing crops of rice
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于双目视觉避桩控制方法，双目视觉图像获取，图像信息预处理，摄像机校正，稻桩位置测量及收割机路径确定，计算避让信息以及进行避让，通过对行进路线上稻桩的识别定位，并通过控制再生稻收割机被驱动机构对稻桩进行避让。
Description
技术领域
本发明涉及一种基于双目视觉避桩控制方法。
背景技术
我国是农业大国，水稻是我国三大粮食作物之一。再生稻是水稻的一类品种。通常,再生稻两季总产值比其一季稻的产量要增加50％(福建省尤溪县近些年的数据是每年种植再生稻近10万亩，头季平均亩产约600kg，再生季平均亩产约300kg)对粮食增产起到重要作用。但是目前再生稻收获机械化自动化程度仍然很低，特别是机收头季再生稻，制约了再生稻的推广与发展。21世纪农业劳动力逐渐向社会其它产业转移，我国面临着人口老龄化、劳动力资源不足的严峻形势。同时，农业部要求将推进水稻生产机械化自动化摆在重要位置，大力推进水稻生产全程机械化自动化。这些对于再生稻收获机械化自动化的发展具有极为重要的意义。
再生稻的特点是在一季稻成熟之后，大约只割下植株上2/3的部位，收取稻穗，保留下面的1/3植株，让其再长出一季稻子，此特点对机收头季再生稻提出严格的技术要求：收割机作业时行走轮必须尽量减少对再生季稻桩的碾压，以减少对再生季产量的影响。
重点研制头季稻收割机械，提高再生稻机械化自动化生产水平，必须将农业机械装备与现代化信息技术相融合。随着电子技术、计算机技术、传感技术、通讯技术以及图像识别技术的快速发展，给再生稻收割机的自动化发展提供了强大的技术支撑，有助于发展收割机避荘技术，减少行走轮对稻荘碾压率，提高再生稻生产水平。通常，农田作物是整齐地按直线、平行的方式规则育秧。为了使收割机能够在稻田中自主规划路径，环境感知是实现避障和导航的关键技术。自主导航路径规划技术的发展，为头季再生稻收割机避桩的研究指明了另一新的方向。
发明内容
本发明的目的在于提供一种基于双目视觉避桩控制方法，以克服现有技术中存在的缺陷。
为实现上述目的，本发明的技术方案是：一种基于双目视觉避桩控制方法，提供一搭载于一再生稻收割机上的检测控制驱动系统；所述检测系统包括一对图像获取单元、一控制单元以及一驱动单元，并按照如下步骤实现：
步骤S1：通过所述图像获取单元现场稻桩的左侧视觉图像以及右侧视觉图像，并上传至所述控制单元；
步骤S2：对获取的左侧视觉图像以及右侧视觉图像进行初级预处理；
步骤S3：对所述图像获取单元进行标定；
步骤S4：分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及角点识别；
步骤S5：对所述步骤S4获取的图像进行共轭图像匹配，并获取现场稻桩的深度信息；
步骤S6：所述控制单元根据所述深度信息对现场稻桩进行定位测距，计算距现场稻桩的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判断该现场稻桩是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生稻收割机上的被驱动机构避开该现场稻桩；
步骤S7：所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻桩，并继续行进；
步骤S8：判断再生稻收割机收割是否完毕，否则重复步骤S1～步骤S7，继续收割。
在本发明一实施例中，在所述步骤S3中，采用张友正平面标定方法进行标定，并按照如下方式实现：记在建模过程中，模板平面在世界坐标系Z＝0的平面上；
其中，s为尺度因子，K为摄像机的内参数矩阵，[X Y 1]T为模板平面上点的齐次坐标，
[u v 1]T为模板平面上点投影到图象平面上对应点的齐次坐标，[r1 r2 r3]和t分别是图像获取
单元坐标系相对于世界坐标系的旋转矩阵和平移向量；投影矩阵H为：
H＝[h1 h2 h3]＝λK[r1 r2 t]；
λ为常数，根据旋转矩阵的性质，即r1 Tr2＝0和||r1||＝||r2||＝1，每幅图象可以获得以下两个对内参数矩阵的基本约束：
在本发明一实施例中，在所述步骤S4中，所述次级预处理包括灰度处理以及图像直方图均衡处理；
所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以该亮度值表达图像的灰度值；
所述直方图均衡处理：记灰度变换s＝f(r)为斜率有限的非减连续可微函数，其将输入图象Ii(x，y)转换为输出图象Io(x，y)；输入图象的直方图为Hi(r)，输出图象的直方图为Ho(s)，则根据直方图的含义，经过灰度变换后对应的小面积元相等：Ho(s)ds＝Hi(r)dr。
在本发明一实施例中，在所述步骤S4中，所述边缘处理采用Canny边缘检测算法，包括以下步骤：
步骤S41：应用高斯滤波来平滑图像，去除噪声；
步骤S42：获取图像的强度梯度；
步骤S43：应用非最大抑制来消除边误检；
步骤S44：应用双阈值的方法来决定潜在的边界；
步骤S45：利用滞后技术跟踪边界。
在本发明一实施例中，在所述步骤S5中，所述共轭图像匹配采用基于外极线约束以及灰度相关性的立体匹配算法，并确定被处理图像中对应点之间的视差值，进而确定被测点深度。
在本发明一实施例中，所述再生稻收割机包括一底盘；所述底盘前端设置有收割稻穗的割台和对稻穗进行脱粒的脱粒装置，所述底盘底部两端设置有位于同一直线上的驱动轮和导向轮，所述驱动轮位于前端，导向轮位于后端，或驱动轮位于后端，导向轮位于前端；所述底盘底部两侧分别设置有位于同一直线上的辅助轮；所述底盘底部设置有与辅助轮数量相等的伸缩机构，所述伸缩机构包括一外套筒，所述外套筒外设置有与所述驱动单元匹配的电机，所述外套筒内设置有内套筒；所述外套筒内一侧端部的端盖上设置有一用于与所述内套筒匹配且与所述控制单元相连的红外测距单元；所述内套筒内设置有齿条，所述电机的输出端设置有与该齿条相啮合的齿轮，所述内套筒一端设置有连杆，所述辅助轮连接在该连杆的端部；所述辅助轮前端设置有所述图像获取单元中的摄像头，且摄像头的光心与所述电机的输出轴在同一水平线上；所述摄像头通过所述图像获取单元中的高清图像采集卡连接至所述控制单元；所述底盘上部还设置有控制导向轮转向的方向盘。
在本发明一实施例中，所述预设参数包括所述辅轮轮宽、所述连杆长度、所述内套筒长度以及所述电机输出轴距所述端盖的距离；所述运行状态参数包括：所述红外测距单元获取的内套距所述端盖的距离；所述驱动控制参数包括电机驱动脉冲宽度。
在本发明一实施例中，所述底盘上部设置有为割台、脱粒装置和驱动轮提供动力的发动机，所述发动机的输出端连接有变速箱。
在本发明一实施例中，所述端盖设置于所述外套筒上远离连杆的端部；所述内套筒远离连杆的端部上也设置有另一端盖，所述外套筒的另一端设置有橡胶密封圈，所述连杆从橡胶密封圈穿出。
相较于现有技术，本发明具有以下有益效果：本发明所提出的一种基于双目视觉避桩控制方法，通过对行进路线上稻桩的识别定位，并通过控制再生稻收割机被驱动机构对再生稻桩进行避让。此外，采用单轮驱动，收割机的两个辅助轮可进行伸缩运动，改善了以往收割机在进行再生稻收割的过程中会对稻茬进行碾压的弊端，能够提高再生稻的产量；采用齿轮齿条机构，可以较好地控制两辅助轮的伸缩量，更好地实现避茬功能。
附图说明
图1为本发明实施例一的构造示意主视图。
图2为本发明实施例一的构造示意俯视图。
图3为本发明实施例一中伸缩机构的构造示意图。
图4为本发明实施例一中横移参数以及方向计算的示意图。
图5为本发明实施例二的构造示意主视图。
图中：1-底盘，10-红外测距单元，11-发动机，12-变速箱，13-方向盘，14-座椅，15-液压推杆，2-割台，3-脱粒装置，4-驱动轮，5-导向轮，6-辅助轮，7-外套筒，71-端盖，72-橡胶密封圈，73-摄像头，8-内套筒，81-齿条，82-连杆，9-齿轮。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
实施例一：本发明提供一种基于双目视觉避桩控制方法，提供一搭载于一再生稻收割机上的检测控制驱动系统；所述检测系统包括一对图像获取单元、一控制单元以及一驱动单元，并按照如下步骤实现：
步骤S1：通过所述图像获取单元现场稻桩的左侧视觉图像以及右侧视觉图像，并上传至所述控制单元；
步骤S2：对获取的左侧视觉图像以及右侧视觉图像进行初级预处理；
步骤S3：对所述图像获取单元进行标定；
步骤S4：分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及角点识别；
步骤S5：对所述步骤S4获取的图像进行共轭图像匹配，并获取现场稻桩的深度信息；
步骤S6：所述控制单元根据所述深度信息对现场稻桩进行定位测距，计算距现场稻桩的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判断该现场稻桩是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生稻收割机上的被驱动机构避开该现场稻桩；
步骤S7：所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻桩，并继续行进；
步骤S8：判断再生稻收割机收割是否完毕，否则重复步骤S1～步骤S7，继续收割。
进一步的，在本实施例中，在所述步骤S3中，采用张友正平面标定方法进行标定，并按照如下方式实现：记在建模过程中，模板平面在世界坐标系Z＝0的平面上；
其中，s为尺度因子，K为摄像机的内参数矩阵，[X Y 1]T为模板平面上点的齐次坐标，
[u v 1]T为模板平面上点投影到图象平面上对应点的齐次坐标，[r1 r2 r3]和t分别是图像获取
单元坐标系相对于世界坐标系的旋转矩阵和平移向量；投影矩阵H为：
H＝[h1 h2 h3]＝λK[r1 r2 t]；
λ为常数，根据旋转矩阵的性质，即r1 Tr2＝0和||r1||＝||r2||＝1，每幅图象可以获得以下两个对内参数矩阵的基本约束：
进一步的，在本实施例中，在所述步骤S4中，所述次级预处理包括灰度处理以及图像直方图均衡处理；
所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以该亮度值表达图像的灰度值；
所述直方图均衡处理：记灰度变换s＝f(r)为斜率有限的非减连续可微函数，其将输入图象Ii(x，y)转换为输出图象Io(x，y)；输入图象的直方图为Hi(r)，输出图象的直方图为Ho(s)，则根据直方图的含义，经过灰度变换后对应的小面积元相等：Ho(s)ds＝Hi(r)dr。
进一步的，在本实施例中，在所述步骤S4中，所述边缘处理采用Canny边缘检测算法，包括以下步骤：
步骤S41：应用高斯滤波来平滑图像，去除噪声；
步骤S42：获取图像的强度梯度；
步骤S43：应用非最大抑制来消除边误检；
步骤S44：应用双阈值的方法来决定潜在的边界；
步骤S45：利用滞后技术跟踪边界。
进一步的，在本实施例中，在所述步骤S5中，所述共轭图像匹配采用基于外极线约束以及灰度相关性的立体匹配算法，并确定被处理图像中对应点之间的视差值，进而确定被测点深度。
进一步的，在本实施例中，如图1至图3所示，所述再生稻收割机包括一底盘1；所述底盘1前端设置有收割稻穗的割台2和对稻穗进行脱粒的脱粒装置3，所述底盘底1部两端设置有位于同一直线上的驱动轮4和导向轮5，所述驱动轮4位于前端，导向轮5位于后端；所述底盘1底部两侧分别设置有位于同一直线上的辅助轮6；所述底盘底部设置有与辅助轮数量相等的伸缩机构，所述伸缩机构包括一外套筒7，所述外套筒外设置有与驱动单元匹配的电机，所述外套筒7内设置有内套筒8；所述外套筒7内一侧端部的端盖71上设置有一用于与所述内套筒8匹配且与所述控制单元相连的红外测距单元10；所述内套筒内设置有齿条81，所述电机的输出端设置有与该齿条相啮合的齿轮9，所述内套筒一端设置有连杆82，所述辅助轮连接在该连杆的端部；所述辅助轮6前端设置有所述图像获取单元中的摄像头73，且摄像头的光心与所述电机的输出轴在同一水平线上；所述摄像头通过所述图像获取单元中的高清图像采集卡连接至所述控制单元；所述底盘上部还设置有控制导向轮5转向的方向盘13。
进一步的，在本实施例中，所述预设参数包括所述辅轮轮宽、所述连杆长度、所述内套筒长度以及所述电机输出轴距端盖71的距离；所述运行状态参数包括：所述红外测距单元获取的内套距端盖71的距离；所述驱动控制参数包括电机驱动脉冲宽度。如图4所示，辅轮轮宽L4、连杆长度L3、内套筒长度L2、所述电机输出轴距端盖71的距离L5以及红外测距单元获取的内套距端盖71的距离L1。通过步骤S3至步骤S5获取的深度信息建模计算现场稻桩至摄像头光心的距离L6。计算现场稻桩与辅轮的相对位置关系：若[(L1+L2+L3+L4/2)-L5-L6]>0，则控制该侧的电机驱动辅轮向内横移nL4的距离，否则，向外侧横移nL4的距离，n为常数，可根据现场稻桩的根茎宽度以及辅轮宽度确定，横移的距离可根据电机的参数以及齿轮、齿条参数确定。
进一步的，在本实施例中，所述底盘上部设置有为割台2、脱粒装置3和驱动轮4提供动力的发动机11，所述发动机的输出端连接有变速箱12，所述驱动轮与变速箱输出端通过带传动进行传动连接。
进一步的，本实施例中，所述驱动轮和导向轮均为大直径车轮，使得底盘离地更高。
本实施例中，所述底盘上部后端设置有座椅14，方便驾驶员坐在上面。
本实施例中，所述底盘上还设置有控制割台升降的液压推杆15，使割台能够对不同高度的水稻进行收割。
进一步的，在本实施例中，端盖71设置于所述外套筒远离连杆的端部；外套筒上远离连杆的端部上也设置有端盖，该些端盖起到限位和防止泥浆进入套筒内的作用。所述外套筒的另一端设置有橡胶密封圈72，所述连杆82从橡胶密封圈穿出，该橡胶密封圈起到防止泥浆进入套筒内的作用。
实施例二：其结构与实施例一相同，区别在于驱动轮位于后端，导向轮位于前端，如图5所示。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (9)
1.一种基于双目视觉避桩控制方法，其特征在于，提供一搭载于一再生稻收割机上的检测控制驱动系统；所述检测控制驱动系统包括一对图像获取单元、一控制单元以及一驱动单元，并按照如下步骤实现：
步骤S1：通过所述图像获取单元现场稻桩的左侧视觉图像以及右侧视觉图像，并上传至所述控制单元；
步骤S2：对获取的左侧视觉图像以及右侧视觉图像进行初级预处理；
步骤S3：对所述图像获取单元进行标定；
步骤S4：分别对左侧视觉图像以及右侧视觉图像进行次级预处理、边缘提取以及角点识别；
步骤S5：对所述步骤S4获取的图像进行共轭图像匹配，并获取现场稻桩的深度信息；
步骤S6：所述控制单元根据所述深度信息对现场稻桩进行定位测距，计算距现场稻桩的距离信息，并根据所述再生稻收割机被驱动机构的预设参数以及运行状态参数，判断该现场稻桩是否在行进路径上，并确定所述控制单元输出的驱动控制参数，以驱动再生稻收割机上的被驱动机构避开该现场稻桩；
步骤S7：所述驱动单元根据所述驱动控制参数，驱动被驱动机构避开现场稻桩，并继续行进；
步骤S8：判断再生稻收割机收割是否完毕，否则重复步骤S1～步骤S7，继续收割。
2.根据权利要求1所述的一种基于双目视觉避桩控制方法，其特征在于，在所述步骤S3中，采用张友正平面标定方法进行标定，并按照如下方式实现：记在建模过程中，模板平面在世界坐标系Z＝0的平面上；
其中，s为尺度因子，K为摄像机的内参数矩阵，[X Y 1]T为模板平面上点的齐次坐标，[uv 1]T为模板平面上点投影到图象平面上对应点的齐次坐标，[r1 r2 r3]和t分别是图像获取单元坐标系相对于世界坐标系的旋转矩阵和平移向量；投影矩阵H为：
H＝[h1 h2 h3]＝λK[r1 r2 t]；
λ为常数，根据旋转矩阵的性质，即r1 Tr2＝0和||r1||＝||r2||＝1，每幅图象可以获得以下两个对内参数矩阵的基本约束：
3.根据权利要求1所述的一种基于双目视觉避桩控制方法，其特征在于，在所述步骤S4中，所述次级预处理包括灰度处理以及图像直方图均衡处理；
所述灰度处理根据RGB和YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的对应：Y＝0.3R+0.59G+0.11B，以该亮度值表达图像的灰度值；
所述直方图均衡处理：记灰度变换s＝f(r)为斜率有限的非减连续可微函数，其将输入图象Ii(x，y)转换为输出图象Io(x，y)；输入图象的直方图为Hi(r)，输出图象的直方图为Ho(s)，则根据直方图的含义，经过灰度变换后对应的小面积元相等：Ho(s)ds＝Hi(r)dr。
4.根据权利要求1所述的一种基于双目视觉避桩控制方法，其特征在于，在所述步骤S4中，边缘处理采用Canny边缘检测算法，包括以下步骤：
步骤S41：应用高斯滤波来平滑图像，去除噪声；
步骤S42：获取图像的强度梯度；
步骤S43：应用非最大抑制来消除边误检；
步骤S44：应用双阈值的方法来决定潜在的边界；
步骤S45：利用滞后技术跟踪边界。
5.根据权利要求1所述的一种基于双目视觉避桩控制方法，其特征在于，在所述步骤S5中，所述共轭图像匹配采用基于外极线约束以及灰度相关性的立体匹配算法，并确定被处理图像中对应点之间的视差值，进而确定被测点深度。
6.根据权利要求1所述的一种基于双目视觉避桩控制方法，其特征在于，所述再生稻收割机包括一底盘；所述底盘前端设置有收割稻穗的割台和对稻穗进行脱粒的脱粒装置，所述底盘底部两端设置有位于同一直线上的驱动轮和导向轮，所述驱动轮位于前端，导向轮位于后端，或驱动轮位于后端，导向轮位于前端；所述底盘底部两侧分别设置有位于同一直线上的辅助轮；所述底盘底部设置有与辅助轮数量相等的伸缩机构，所述伸缩机构包括一外套筒，所述外套筒外设置有与所述驱动单元匹配的电机，所述外套筒内设置有内套筒；所述外套筒内一侧端部的端盖上设置有一用于与所述内套筒匹配且与所述控制单元相连的红外测距单元；所述内套筒内设置有齿条，所述电机的输出端设置有与该齿条相啮合的齿轮，所述内套筒一端设置有连杆，所述辅助轮连接在该连杆的端部；所述辅助轮前端设置有所述图像获取单元中的摄像头，且摄像头的光心与所述电机的输出轴在同一水平线上；所述摄像头通过所述图像获取单元中的高清图像采集卡连接至所述控制单元；所述底盘上部还设置有控制导向轮转向的方向盘。
7.根据权利要求6所述的一种基于双目视觉避桩控制方法，其特征在于，所述预设参数包括辅轮轮宽、所述连杆长度、所述内套筒长度以及所述电机输出轴距所述端盖的距离；所述运行状态参数包括：所述红外测距单元获取的内套距所述端盖的距离；所述驱动控制参数包括电机驱动脉冲宽度。
8.根据权利要求6所述的一种基于双目视觉避桩控制方法，其特征在于，所述底盘上部设置有为割台、脱粒装置和驱动轮提供动力的发动机，所述发动机的输出端连接有变速箱。
9.根据权利要求6所述的一种基于双目视觉避桩控制方法，其特征在于，所述端盖设置于所述外套筒上远离连杆的端部；所述内套筒远离连杆的端部上也设置有另一端盖，所述外套筒的另一端设置有橡胶密封圈，所述连杆从橡胶密封圈穿出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610604454.9A CN106056107B (zh) | 2016-07-28 | 2016-07-28 | 一种基于双目视觉避桩控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610604454.9A CN106056107B (zh) | 2016-07-28 | 2016-07-28 | 一种基于双目视觉避桩控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106056107A CN106056107A (zh) | 2016-10-26 |
| CN106056107B true CN106056107B (zh) | 2021-11-16 |
Family
ID=57195615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610604454.9A Expired - Fee Related CN106056107B (zh) | 2016-07-28 | 2016-07-28 | 一种基于双目视觉避桩控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106056107B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201621879D0 (en) * | 2016-12-21 | 2017-02-01 | Branston Ltd | A crop monitoring system and method |
| CN109215044B (zh) * | 2017-06-30 | 2020-12-15 | 京东方科技集团股份有限公司 | 图像处理方法和系统、存储介质和移动系统 |
| CN107517628A (zh) * | 2017-08-31 | 2017-12-29 | 浙江日发纺织机械股份有限公司 | 一种运用于大葱移栽机上的侧轮辅助机构 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101368819A (zh) * | 2008-09-28 | 2009-02-18 | 西北核技术研究所 | 大型平台变形量的光电测量方法 |
| CN103196418A (zh) * | 2013-03-06 | 2013-07-10 | 山东理工大学 | 一种弯道车距测量方法 |
| CN103245322A (zh) * | 2013-04-10 | 2013-08-14 | 南京航空航天大学 | 一种基于双目立体视觉的测距方法及系统 |
| JP2013225745A (ja) * | 2012-04-20 | 2013-10-31 | Mitsubishi Electric Corp | 立体映像表示システム、立体映像投射装置、アクティブシャッターメガネおよび視差量制御方法 |
| CN103424112A (zh) * | 2013-07-29 | 2013-12-04 | 南京航空航天大学 | 一种基于激光平面辅助的运动载体视觉导航方法 |
| CN104898656A (zh) * | 2014-03-06 | 2015-09-09 | 西北农林科技大学 | 一种基于立体视觉的农田多机器人跟随耕地系统及方法 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
-
2016
- 2016-07-28 CN CN201610604454.9A patent/CN106056107B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101368819A (zh) * | 2008-09-28 | 2009-02-18 | 西北核技术研究所 | 大型平台变形量的光电测量方法 |
| JP2013225745A (ja) * | 2012-04-20 | 2013-10-31 | Mitsubishi Electric Corp | 立体映像表示システム、立体映像投射装置、アクティブシャッターメガネおよび視差量制御方法 |
| CN103196418A (zh) * | 2013-03-06 | 2013-07-10 | 山东理工大学 | 一种弯道车距测量方法 |
| CN103245322A (zh) * | 2013-04-10 | 2013-08-14 | 南京航空航天大学 | 一种基于双目立体视觉的测距方法及系统 |
| CN103424112A (zh) * | 2013-07-29 | 2013-12-04 | 南京航空航天大学 | 一种基于激光平面辅助的运动载体视觉导航方法 |
| CN104898656A (zh) * | 2014-03-06 | 2015-09-09 | 西北农林科技大学 | 一种基于立体视觉的农田多机器人跟随耕地系统及方法 |
| CN105787447A (zh) * | 2016-02-26 | 2016-07-20 | 深圳市道通智能航空技术有限公司 | 一种无人机基于双目视觉的全方位避障的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Development of the binocular-vision-enhanced mobile robot navigation;James N.K. Liu;《International Journal of intelligent Systems Technologies and Applications》;20110625;第15-45页 * |
| 基于双目视觉的车道线检测算法研究与实现;张璐铭;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150115;I138-1340 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106056107A (zh) | 2016-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102017965B1 (ko) | 작업 차량 | |
| EP1655620B1 (en) | Obstacle detection using stereo vision | |
| AU2006202812B2 (en) | Method and system for vehicular guidance using a crop image | |
| AU2006202804B2 (en) | Method and system for vehicular guidance using a crop image | |
| CN106056107B (zh) | 一种基于双目视觉避桩控制方法 | |
| CN110243372A (zh) | 基于机器视觉的智能农机导航系统及方法 | |
| CN103646249A (zh) | 一种温室智能移动机器人视觉导航路径识别方法 | |
| CN112056087B (zh) | 一种小型切段式履带甘蔗收获机感应系统及控制方法 | |
| CN107463167B (zh) | 自动行走设备及目标区域识别方法 | |
| CA3233542A1 (en) | Vehicle row follow system | |
| CN115280960B (zh) | 一种基于田间视觉slam的联合收获机转向控制方法 | |
| CN115280964B (zh) | 一种茎叶蔬菜收获机自动作业行驶方法及系统和收获机 | |
| CN114926532B (zh) | 一种再生稻穗层高度在线检测方法及系统和收获机 | |
| US11981336B2 (en) | Vehicle row follow system | |
| Patnaik et al. | Weed removal in cultivated field by autonomous robot using LabVIEW | |
| CN113587946A (zh) | 一种田间农业机械视觉导航系统及方法 | |
| Ahmad et al. | Simplified vision based automatic navigation for wheat harvesting in low income economies | |
| CN110825080A (zh) | 基于模糊控制算法的果园路径视觉导航方法、系统和介质 | |
| CN114485612B (zh) | 路线生成方法、装置、无人作业车、电子设备及存储介质 | |
| JP2022090771A (ja) | システム、収穫機、方法、およびプログラム | |
| WO2023127437A1 (ja) | 農業機械 | |
| WO2023276226A1 (ja) | 作物列検出システム、作物列検出システムを備える農業機械、および、作物列検出方法 | |
| WO2023120183A1 (ja) | 農業機械 | |
| EP4309016A1 (en) | Harvesting vehicle provided of a self-levelling system | |
| WO2023276227A1 (ja) | 列検出システム、列検出システムを備える農業機械、および、列検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211116 |