CN101681168A - 利用基于视觉的调整引导车辆的方法和系统 - Google Patents

利用基于视觉的调整引导车辆的方法和系统 Download PDF

Info

Publication number
CN101681168A
CN101681168A CN200880017646A CN200880017646A CN101681168A CN 101681168 A CN101681168 A CN 101681168A CN 200880017646 A CN200880017646 A CN 200880017646A CN 200880017646 A CN200880017646 A CN 200880017646A CN 101681168 A CN101681168 A CN 101681168A
Authority
CN
China
Prior art keywords
data
vision
crop
vehicle
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880017646A
Other languages
English (en)
Other versions
CN101681168B (zh
Inventor
韩·书峰
特伦斯·丹尼尔·皮克特
约翰·富兰克林·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN101681168A publication Critical patent/CN101681168A/zh
Application granted granted Critical
Publication of CN101681168B publication Critical patent/CN101681168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

在求值时间窗口过程中确定车辆的初步制导数据。视觉模块(22)采集所述求值时间窗口过程中来自视觉模块(22)的视觉数据。由采集的视觉数据确定视觉制导数据。视觉质量估计器(20、120或220)为所述求值时间窗口过程中的所述视觉数据和视觉制导数据中的至少一个估计视觉质量数据。所述视觉质量数据基于互相关和r平方值。如果所述视觉质量数据超过最小阈值，则调节器(110)基于所述视觉制导数据将所述初步制导数据调节为修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。

Description

利用基于视觉的调整引导车辆的方法和系统
本申请是美国申请号11/107,114，于2005年4月15日提交的部分继续，其要求美国临时申请号60/641,240，于2005年1月4日提交在35U.S.C.119(e)下的优先权。
技术领域
本发明涉及使用视觉调整来引导车辆的方法和系统。
背景技术
全球定位系统(GPS)接收器已经用于为车辆导航应用提供位置数据。然而，尽管具有差分校正的特定GPS接收器在其大部分工作时间内可具有大约10厘米(4英寸)的一般位置误差，大于50厘米(20英寸)的绝对位置误差在其5％的工作时间内普遍存在。此外，GPS信号会被建筑物、树或其它障碍物所阻挡，这会使得只用GPS导航的系统在特定地点或环境中变得不可靠。相应地，需要使用一个或多个附加的传感器来补充或加强基于GPS导航的系统，从而提高精确性和鲁棒性。
发明内容
定位接收器在求值时间窗口过程中采集车辆的初步位置数据。初步制导数据由所述初步位置数据确定。视觉模块在求值时间窗口过程中采集视觉数据。由采集的视觉数据确定视觉制导数据。视觉质量估计器为所述求值时间窗口的所述视觉数据和视觉制导数据中的至少一个估计视觉质量数据。所述视觉质量数据基于互相关和r平方值，其中每一互相关在分段内的所述视觉数据的观察的强度分布与参考强度分布之间以确定行中心位置。所述r平方值是基于回归路径和一个或多个行中心位置确定。如果所述视觉质量数据超过最小阈值，则调节器基于所述视觉制导数据调节所述初步制导数据至修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。
附图说明
图1是根据本发明基于初步制导数据(如，初步位置数据)和视觉制导数据(如，源于视觉的位置数据)引导车辆的系统的方框图。
图2是根据本发明基于初步制导数据(如，初步位置数据)和视觉制导数据(如，源于视觉的位置数据)引导车辆的方法的流程图。
图3是根据本发明基于初步制导数据(如，初步位置数据)和视觉制导数据(如，源于视觉的位置数据)的引导车辆的另一方法的流程图。
图4是表示诸如来自差分全球定位系统(GPS)的制导信号的位置数据的静态定位误差的图表。
图5是表示通过诸如本发明所述的视觉模块的另一传感器“调谐”后，诸如来自差分全球定位系统(GPS)信号的制导信号的位置数据的定位误差的图表，。
图6是基于来自视觉数据(如，单目视觉数据)的视觉制导数据引导车辆的方法的实施例的流程图。
图7是基于视觉制导数据引导车辆的方法的另一实施例的流程图。
图8A是视觉质量估计器的各种组件或逻辑构件的方框图。
图8B是用于确定图像数据或视觉数据的视觉质量数据的方法的流程图。
图9是在组织或分段成作物像素和非作物像素后的行作物的示范性图像。
图10示出了来自图9中作物像素的强度分布。
图11是示范性的费米(Fermi)函数，用作干草列的模板或参考强度分布。
图12是示范性的正弦函数，用做行作物的模板或参考强度分布。
图13是表示在所述参考强度分布和观察的强度分布之间互相关的确定图示。
图14示出了与作物行的近似中心线相关联的回归路径(如，回归线)，以及与所述回归路径相关联的多个分段或窗口。
图15A是视觉质量估计器的各种组件或逻辑构件的方框图。
图15B是基于来自视觉数据(如，立体视觉数据)的视觉制导数据引导车辆的方法的一个实施例的流程图。
图16表示作物特征或植被的密度网格点以及与作物行相关联的中心线。
具体实施方案
图1是用来引导车辆的制导系统11的方框图。可以将该制导系统11安装在或配置于车辆或移动机器人上。该制导系统11包括视觉模块22和与调节器110通信的定位接收器28。
视觉模块22可与视觉质量估计器(20或120)相关联。定位接收器28可与位置质量估计器24相关联。调节器110可以与车辆控制器25通信。依次地，该车辆控制器25被耦合到转向系统27。
定位接收器28可包括带有差分校正的全球定位系统(GPS)接收器(如GPS接收器以及用于接收由卫星或地面源发射的差分校正信号的接收器)。该定位接收器28提供车辆的位置数据(如坐标)。该定位接收器28可将下述条件、状态或状况中的一个或多个(如通过状况信号)指示给至少调节器110或位置质量估计器24：(1)定位接收器28被禁止的地方，(2)对于一个或多个相应的求值间隔，位置数据无法获得或被破坏的地方，以及(3)对于一个或多个相应的求值间隔，位置数据被估计的精度或可靠性跌落在最小阈值以下的地方。定位接收器28为车辆提供非常适合于全球导航或全球路径规划的位置数据。
位置模块26或与该位置模块26相关联的数据处理器由所采集的位置数据确定制导数据。制导数据指来自一个或多个与该定位接收器28相关联的位置数据的下列数据：航向数据、航向误差数据、偏离轨道数据、偏离轨道误差数据、曲率数据、曲率误差数据、源于视觉的位置数据以及位置误差数据。制导数据通常指下述术语中的一个或多个：初步制导数据、修正的制导数据和视觉制导数据。
在实施例中，位置模块26可以确定制导数据以引导或转向车辆，使得该车辆的路线截获一个或多个目标坐标(如，航路点)或与该目标坐标相关的路线。该位置模块26可以通过路线设计者、数据处理系统、无线通信设备、磁性存储介质、光学存储介质、电子存储器或其它进行通信或在该目标坐标或路线上接收信息。例如，可以用路线设计或基于作物行或田地种植图的系列坐标来表示目标坐标或路线。可以通过定位接收器28或另外的定位设备在种植种子、作物、植物或作物前体期间采集该田地种植图。
在示范性实施例中，位置模块26或定位接收器28用下式输出制导数据(如，位置数据)：
y gps = E off _ gps E head _ gps , 其中Eoff_gps是通过定位接收器28(如，定位接收器28)估计的偏离轨道误差，以及Ehead_gps是通过该定位接收器22估计的航向误差。
视觉模块22可包括图像采集系统31和图像处理系统33。视觉模块22或图像采集系统31采集图像数据或视觉数据，它们在本文通篇被视为同义的术语。视觉模块22或图像处理系统33从已采集的图像数据或视觉数据中推导出视觉制导数据(如，源于视觉的位置数据)。该视觉制导数据意指一个或多个来自与该视觉模块22相关的视觉数据的下列数据：航向数据、航向误差数据、偏离轨道数据、偏离轨道误差数据、曲率数据、曲率误差数据、源于视觉的位置数据、位置数据和位置误差数据。
在一个实施例中，该视觉模块22可以确定引导或转向该车辆的视觉制导数据，使得该车辆的路线截获一个或多个目标坐标(如，航路点)或与该目标坐标相关的路线。该位置模块22可以通过路线设计者、数据处理系统、无线通信设备、磁性存储介质、光学存储介质、电子存储器或其它进行通信或在该目标坐标或路线上接收信息。例如，可以用路线设计或基于采集到的作物行图像或来自该采集图像再现的系列坐标来表示该目标坐标或路线。在一个例子中，视觉模块22能够辨识带有与大豆的约1cm和玉米的约2.4cm的一样小的误差的作物行位置。
在一个示范性实施例中，该视觉模块22用下式输出视觉制导数据(如，源于视觉的位置数据)：
y vision = E off _ vision E head _ vision , 其中Eoff_vision是通过该视觉模块22估计的偏离轨道误差以及Ehead_vision是通过该视觉模块22估计的航向误差。
图像采集系统31可以包括下列中的一个或多个：(1)一个或多个用来采集一组图像(如，具有相同场景不同焦距设置或镜头调整的多个图像，或不同视场(FOV)的多个图像)的单目成像系统；(2)立体视觉系统(如，通过已知距离和方向分开的两数字成像单元)，用来确定场景中物体上的点相关的深度信息或三维坐标；(3)测距仪(如激光测距仪)，用来确定在场景中物体上的点相关的测距或三维坐标；(4)雷达系统或激光雷达系统用来检测场景中物体的速度、海拔、方向或幅度；(5)激光扫描系统(如，激光测量系统，其发出光脉冲并根据激光发出和激光发射接收之间的时间来估计激光测量系统和该目标之间的距离)用来确定场景中物体的距离；以及(6)成像系统，用来通过光学的微机电系统(MEMS)、自由空间光学MEMS或集成光学MEMS采集图像。
自由空间光学MEMS使用具有一定范围或折射率的复合半导体和材料来控制可视光、红外、或紫外光，而集成光学MEMS使用多晶硅组件来反射、衍射、调制或控制可视光、红外、或紫外光，MEMS可以被构造成由各种半导体制造工艺能制造的开关矩阵、镜头、镜子和光栅。通过视觉模块22或图像采集系统31采集的图像可以是例如彩色、单色、黑白、或灰度图像。
视觉模块22或源于视觉的位置数据可以对应上述图像内物体特征的位置来支持位置数据(二维或三维坐标)的采集。该视觉模块22非常适合使用(a)车辆周围环境的特征或局部特征，(b)位置数据或与上述特征相关的坐标，或同时使用以便于该车辆的导航。该局部特征可以包括下面的一个或多个：植物行位置、栅栏位置、建筑物位置、田地边缘位置、边界位置、巨石位置、岩石位置(如，大于最小阈值尺寸或体积)、土脊和沟、树位置、作物边缘位置、植被(如草坪)上的切割边位置，以及参考标记。该视觉制导数据(如，源于视觉的位置数据)或局部特征的位置数据可以定期(例如周期地)用来调整(如，纠正漂移)来自定位接收器28的初步制导数据(如，初步位置数据)。
在一个例子中，参考标记可与高精度位置坐标相关联。此外，其它局部特征可与该参考标记位置相关。当前车辆位置可与参考标记位置或局部特征的固定位置或车辆的位置相关联。在一个实施中，该视觉模块22可以与定位接收器28相似或大致相当的坐标或数据格式表达车辆位置的源于视觉的位置数据。
视觉模块22可以通过状态或数据命令将下面的一个或多个指示给至少调节器110或视觉质量估计器20：(1)视觉模块22是否被禁止，(2)是否视觉制导数据(如，源于视觉的位置数据)在一个或多个相应的求值间隔内不可获得，(3)是否该视觉制导数据(如，源于视觉的位置数据)不稳定或被破坏，以及(4)是否该图像数据或视觉制导数据达到不符合阈值性能/可靠性水准的精确度水准、性能水准或可靠性水准。
位置质量估计器24可以包括下列设备中的一个或多个：与定位接收器28相关联的信号强度指示器、与定位接收器28相关联的比特误码率指示器、用来测量信号质量、误码率、信号强度、或信号性能的另外的设备、信道、或为定位发送的代码。此外，为了基于卫星定位，位置质量估计器24可包括用来确定是否足够信号质量的最小数目的卫星信号(如来自GPS的L1频带上的四个或更多卫星的信号)被定位接收器28接收，以在求值间隔过程中为车辆提供可靠的位置数据。
位置质量估计器24估计初步位置数据的质量或通过定位接收器28输出的定位质量数据(如，Qgps)的质量。位置质量估计器24可以基于通过定位接收器28接收的每一信号分量的信号强度指示器(或误码率)估计初步位置数据的质量。位置质量估计器24也可以在下列因素的基础上估计质量：(1)在一地区可获得的卫星信号的数目，(2)通过定位接收器获得或接收到的具有足够信号质量(如，信号强度分布)的卫星数目，和(3)是否每一个卫星信号都具有可接受的信号水准或可接受的误码率(BER)或误帧率(FER)。
在一个实施例中，不同信号强度幅度与不同相应质量水准相关联。例如，最低信号强度幅度与最低质量相关联，中级信号质量幅度与中等质量相关联，最高信号强度幅度与最高质量相关联。相反地，最低误码率幅度与最高质量相关联，中级误码率幅度与中等质量相关联，最高误码率幅度与最低质量水准相关联。
视觉质量估计器20估计由视觉模块22输出的视觉制导数据(如，源于视觉的位置数据)的质量。该视觉制导数据的质量可以通过视觉质量数据(如，Qvision)进行表达。该视觉质量估计器20可考虑在一系列时间间隔内该视觉模块操作和获取相应图像所呈现的照度。该视觉质量估计器20可包括光探测器、具有频率可选镜头的光探测器、一组带有相应频率可选镜头的光探测器、电荷偶合器件(CCD)、光度计、硫化镉电池等等。进一步地，该视觉质量估计器30包括时钟或计时器，用来为图像用采集时间打时间戳以及相应照度测量(如，图像所用的照度值)。在示范性实施例中，如果该照度在低强度范围内，则该时间间隔内具有低视觉质量；如果该照度在中强度范围内，则该时间间隔内具有高视觉质量；以及如果该照度在高强度范围内，该时间间隔内具有一般的视觉质量，该时间间隔内的低或高基于在高强度范围内的已定义的子范围。在一个例子中，前面的强度范围相对质量可应用于光频率对光频率或光色基。在另一例子中，该强度范围相对质量的对比可用于红外线范围频率和紫外线范围频率而不同于用于可见光。
视觉质量估计可与图像处理中的置信度测量有关。如果所需特征(如，植物行)明显在一个或多个图像中，则视觉质量估计器20可给相应图像设置高图像质量或高置信度水准。相反地，如果所需特征(如，由于缺失作物行)在一个或多个图像中不明显，则视觉质量估计器20可设置低图像质量或低置信度水准。在一个例子中，基于每一个列分量(如，用于该视觉模块22的速度分量)的中级强度的绝对差(SAD)为假定的偏航/俯仰对确定置信度水准。偏航被定义为在x-y平面中视觉模块22的方向，以及俯仰被定义为在通常垂直于x-y平面的x-z平面中的视觉模块22的方向。
如果视觉模块不能定位或标注在图像中参考特征或参考标记，或尚未在最大阈值时间内标注参考标记，则视觉模块22会警示视觉质量估计器20，其可以通过质量劣化指示器劣化该源于视觉位置数据的质量。
通常，调节器110包括数据处理器、微控制器、微处理器、数字信号处理器、嵌入式处理器或其它任意使用软件指令进行编程的可编程(如，现场可编程)设备。调节器110可与车辆控制器25相关联。在实施例中，调节器110包括规则管理器。调节器110的规则管理器可以将该初步制导数据(如，初步位置数据)或其衍生作为相应时间间隔的误差控制信号，除非该视觉质量数据超出最小阈值水准。如果该初步制导数据(如，初步位置数据)和该视觉制导数据(如，源于视觉的位置数据)差没有超出最大容忍值，不需要任何调节。视觉加权决定来自该视觉模块22的视觉制导数据(如，yvision)的作用幅度。位置加权决定来自该视觉模块22管理的制导数据(如，位置数据)的作用幅度。混频器14决定制导数据(如，ygps)和视觉制导数据(如，yvision)对基于视觉加权和定位加权两者的误差控制信号(如，y)的相应作用。在实施例中，该混频器14可包括数字滤波器、数字信号处理器、或布置为使用下列中一个或多个的其它数据处理器：(1)视觉制导数据加权(如，源于视觉的位置数据加权)，(2)位置数据加权，和(3)在求值时间间隔内该位置数据和源于视觉位置数据相应作用的混合比表示。
误差控制信号表示已估计的制导数据与实际制导数据之间的差(或误差)，以使该车辆对准轨道、目标坐标或目标路径。例如，该误差控制信号可以表示位置数据(通过该视觉模块22和通过该位置模块26测量的)与该车辆的实际位置之间的差(或误差)。输出这样的误差控制信号到该车辆控制器25以得到补偿的控制信号。该补偿控制信号基于该误差控制信号纠正转向系统27的管理和控制。该转向系统27可以包括电接口用以与车辆控制器25通信。在实施例中，该电接口包括电磁控制液压转向系统或其它控制液压流体的机电设备。
在另外的实施例中，该转向系统27包括转向系统单元(SSU)。该SSU与航向对时间要求相关联，以顺着期望路线或按照期望或目标路径规划或目标坐标转向或制导该车辆：该航向与航向误差(如，表示为该实际航向角度和期望航向角度之间的差)相关联。
可以通过该视觉模块22或定位接收器28控制该SSU以补偿在该车辆估计位置的误差。例如，偏离轨道误差指示或代表该车辆的实际位置(如，用GPS坐标表示)对该车辆的期望位置(如，用GPS坐标)。该偏离轨道误差可以用补偿航向修改该车辆的移动。但是，如果在时间或时间间隔内任意点上都没有偏离轨道误差，则未补偿的航向就足够。该航向误差是在实际车辆航向和通过该视觉模块22和定位接收器28的估计车辆航向之间的差。
图2是使用视觉制导数据(如，源于视觉的位置数据)和位置数据用来引导车辆的方法流程图。图2的方法在步骤S200开始。
在步骤S200，定位接收器28为与其相关的车辆采集初步位置数据。例如，该定位接收器28(如，带有差分校正的GPS接收器)可以用来确定一个或多个时间间隔或相应时间内的车辆坐标。
在步骤S201，位置模块26或定位接收器28确定与该初步位置数据相关的相应的制导数据。制导数据包括来自采集的初步位置数据的下列项中的一个或多个：航向数据、航向误差数据、偏离轨道数据、偏离轨道误差数据、曲率数据、曲率误差数据、和位置误差数据。该航向数据指相对于参考方向(如磁北)的车辆的方向(如，角取向)(如，车辆的纵向轴)。该航向误差是实际车辆航向和目标车辆航向之间的差。该航向误差可与视觉模块22、位置模块26、车辆控制器25、或转向系统27中至少一个内的误差(如，测量误差、系统误差、或二者都有)相关。偏离轨道数据指示该车辆路径位置从期望车辆路径位置的偏移。偏离轨道误差指示或代表该车辆的实际位置(如，用GPS坐标表示)和该车辆的期望位置(如，用GPS坐标表示)之间的差。该曲率是在所期望路径上航向的改变。例如，曲率是沿着该路径的任意两个参考点(如，调整点)之间到该车辆路线的正切角的变化率。
该制导误差信号或该位置误差信号(如，ygps)可以表现为(1)在期望时间内实际车辆位置和期望车辆位置之间的差，(2)在期望时间或位置上实际车辆航向和期望车辆航向之间的差，(3)或与位置数据或制导数据相关的误差的另一种表达。该位置误差信号可以被定义但不必定义为向量数据。
在步骤S202，视觉模块22在求值时间窗口中为该车辆采集视觉数据。例如，该视觉模块22可以在车辆在田地中移动时以大体行进方向采集一个或多个作物行图像。每一个采集的图像可与相应求值时间间隔有关。
在步骤S203，该视觉模块22在一个或多个求值时间间隔或对应时间内确定视觉制导数据(如，源于视觉的位置数据或视觉误差信号)。例如，该视觉模块22可以采集图像并处理采集到的图像来确定源于视觉的位置数据。在一个例子中，该源于视觉的位置数据包括车辆的源于视觉的位置数据，其通过参考一个或多个可视参考标记或带有相应已知位置的特征来获得以确定车辆的坐标。该车辆坐标可以根据全球坐标系统或局部坐标系统进行确定。
视觉制导误差信号或视觉误差信号(如，yvision)表现为(1)在期望时间内实际车辆位置和期望车辆位置之间的差，(2)在期望时间或位置上实际车辆航向和期望车辆航向之间的差，(3)或与源于视觉的位置数据或视觉制导数据相关的误差的另一种表达。
在步骤S204，视觉质量估计器20在求值时间间隔期间估计视觉质量。该视觉质量估计器20可以包括照度或光探测器以及用于时间戳照度测量的计时器或时钟以基于周围照明条件来确定质量水准。视觉质量估计器20也可包括在处理图像以获得期望特征时置信度或可靠性的测量。在处理图像时的置信度或可靠性的测量可以根据下列因素中的任意一个：视觉模块22的技术规范(如，分辨率)、确认目标(如，图像中的地标)的可靠性、估计确认目标或其中的点的位置的可靠性、将图像坐标或局部坐标转换成全球坐标或源于视觉的位置数据的可靠性，该源于视觉的位置数据在空间上和时间上与来自该定位接收器28的位置数据一致。
可以通过多种可能切换或重复使用的技术来执行步骤S204。在第一种技术中，该视觉质量估计器20可以估计源于视觉位置数据精度的置信度和可靠性。在第二种技术中，该视觉质量估计器20首先估计源于视觉位置数据精度的置信度水准、可靠性水准或其它质量水准；然后，第二步，该视觉质量估计器20将该质量水准转换成相应的语言值。
在步骤S206，如果该视觉质量数据超过最小阈值水准，调节器110或车辆控制器25基于该视觉制导数据(如，源于视觉的位置数据)将初步制导数据(如，初步位置数据)调节到修正的制导数据(如，修正位置数据)，使得该修正的制导数据(如，修正位置数据)与该视觉制导数据(如，源于视觉的位置数据)一起被记录或大体同延。例如，该调节器110或车辆控制器25可以在任意时隙或求值时间窗口内调节初步位置数据，其中该视觉质量数据超出最小阈值水准，如果在该视觉制导数据和初步制导数据之间的任意不等或差是实质性的。一起被记录或大体同延意思是相同时间间隔的源于视觉位置数据和初步位置数据大体同延或通过最大容忍量(如，其可以被表示为在地理坐标之间的距离、向量或以秒(或其它单位)的分离)区分。例如，该最大容忍量可设置为从1cm到10cm范围内的特定距离(如，2.54厘米)。
在实施例中，调节器110基于该初步位置数据或修正位置数据发送给该车辆控制器25误差控制信号或使误差控制信号可被该车辆控制器25所获得。由此获得的修正位置数据或误差控制信号可以时隙基(如，在应用时间窗期间)为单位进行更新。每一个时隙可在大小上与求值时间间隔相当。
调节器206可以加强修正位置数据或定位信息的可靠性和精度，定位信息通过使用具有已校正质量作为该初步位置数据质量基准的源于视觉位置数据提供以用作车辆导航或控制。虽然在求值时间间隔内采集该初步位置数据和源于视觉质量数据；步骤S206到修正位置数据的调整可以用在落后该求值时间间隔或与该求值时间间隔大致同延的应用时间间隔内。不管该求值时间间隔和该应用时间间隔在本例中是如何定义的，在其它例子中，调节器110可以提供预测控制数据、前馈控制数据或反馈控制数据给该车辆控制器25。
图3的方法与图2的方法类似，除了图3的方法包括附加步骤S205以及将步骤S206替换为步骤S208。相同参考号指示相同程序或步骤。
在步骤S205中，位置质量估计器24在求值时间窗口过程为该位置数据或制导数据进行定位质量数据估计。可以通过多种可能切换或重复使用的技术来执行步骤S205。在第一种技术中，该位置质量估计器24可以估计或测量信号的质量、误码率(如，比特误码率或误帧率)、信号强度水准(如，使用dBm)、或其它质量水准。在第二种技术中，该位置质量估计器24首先估计或测量信号质量、误码率(如，比特误码率或误帧率)、信号强度水准(如，使用dBm)、或其它质量水准；第二步，该位置质量估计器24将上述信号质量数据分类成范围、语言描述、语言值或其它。
在步骤S208中，如果该视觉质量数据超过最小阈值水准以及如果该定位质量数据或制导数据小于或等于触发阈值水准调节器110或视觉控制器25基于该视觉制导数据(如，源于视觉的位置数据)将该初步制导数据(如，初步位置数据)调节为修正的制导数据(如，修正位置数据)，使得该修正的制导数据与该视觉制导数据一起被记录或大体同延。例如该调节器110或车辆控制器25可以调节该初步位置数据在任意时隙或求值时间窗口内，(a)该视觉质量数据超过最小阈值的地方，和(b)该定位质量数据小于或等于触发阈值水准的地方或任意在该视觉制导数据和初步制导数据之间的任意不等或差是实质性的地方。例如，该触发阈值水准可能是该初步位置数据的可靠性或精度小于所需的地方，由于卫星可利用率的缺失，或接收到的卫星信号或用来确定精确性初步位置数据的辅助播送(如，地面参考)的低的信号质量(如低的信号强度)。该调节器206可以加强修正位置数据或定位信息的可靠性和精度，该定位信息是通过使用具有已校正质量的该视觉制导数据(如，源于视觉的位置数据)作为该初步制导数据(如，初步位置数据)质量基准来提供以用作车辆导航或控制。图3的方法使得比图2更多选择性的方式来调节到该修正位置数据，通过利用比标准(如，触发阈值水准)更低的位置数据质量的附加条件。
图4是位置数据的静态定位误差示意表，例如差分GPS信号。垂直轴表示距离(如，米)误差，其中水平轴表示时间(如，秒)。
图5是位置数据的动态定位误差示意表，例如在期望更新的频率或速率“调谐”后的差分GPS信号(如，位置数据)。垂直轴表示距离(如，米)误差，其中水平轴表示时间(如，秒)。图5将最初没有“调谐”的误差显示为实体圆点以及“调谐”后的误差显示为圆圈。通过使用该源于视觉的位置数据有规律间隔(如，在图5所示的以5秒间隔或.2Hz)来调节该位置数据的方式实现调谐。
图6表示基于视觉数据来调节位置或引导车辆的方法。图6的方法开始于步骤S600。
在步骤S600，定位接收器28在求值时间间隔内为车辆采集位置数据(如，航向数据)。
在步骤S601，该位置模块26或定位接收器28根据所采集的位置数据确定该制导数据(如，航向数据)。例如，该位置模块26可以由在求值时间间隔期间在第一时间和第二时间采集到的两组坐标来确定制导数据。制导数据包括来自采集位置数据的下列中的一个或多个：航向数据，航向误差数据，偏离轨道数据，偏离轨道误差数据，曲率数据，曲率误差数据，和位置误差信号。
该航向数据指相对于参考方向(如磁北)的车辆的方向(如，角取向)(如，车辆的纵向轴)。该航向误差是在实际车辆航向和目标车辆航向之间的差。该航向误差可能与在视觉模块22和该位置模块26中至少一个内的误差(如，测量误差)有关。
偏离轨道数据指示该车辆路径位置从期望车辆路径位置的偏移。偏离轨道误差指示或代表该车辆的实际位置(如，用GPS坐标表示)和该车辆的期望位置(如，用GPS坐标表示)之间的差。
该曲率是在所期望路径上航向的改变。例如，曲率是沿着该路径的任意两个参考点(如，调整点)之间到该车辆路线的正切角的变化率。
在步骤S602，视觉模块22或图像采集系统31在求值时间间隔期间为车辆采集视觉数据或图像数据。该采集的视觉数据可包括例如单目视觉数据或立体视觉数据。
在步骤S603，视觉模块22或图像处理系统33根据采集到的视觉数据确定视觉制导数据(如，视觉航向数据)。
在步骤S604，视觉质量估计器(20、120或220)在该求值时间间隔期间为该视觉数据和该视觉制导数据中的至少一个估计视觉质量数据，其中该视觉质量数据基于互相关和r平方值。该互相关是在分段中该视觉数据的观察到强度分布和参考强度分布之间以确定行中心位置。r平方值是在回归路径和该行中心位置之间。在步骤S604的视觉质量估计很适合应用于单目视觉数据(如，在步骤S602处采集)。
在步骤S606，如果该视觉质量数据超过最小阈值水准，调节器110或控制器基于该视觉制导数据(如，视觉导航数据)将该初步制导数据(如，预先航向数据)调节到修正的制导数据(如，修正的导航数据)使得该修正的制导数据(如，修正导航数据)与该视觉制导数据一起被记录或大体同延。例如，如果该视觉质量数据超过最小阈值以及如果在该视觉制导数据和初步制导数据之间的任意不等或差是实质性的，则调节器110或控制器基于该视觉制导数据将该初步制导数据调节到已修正的制导数据。
图7的方法类似于图6的方法，除了步骤S605替换了步骤S604。在图6和图7中的相同参考数指示相同的步骤或程序。
在步骤S605中，该视觉质量估计器(20、120或220)在该求值时间间隔内为该视觉数据和视觉制导数据中的至少一个估计视觉质量数据，其中该视觉质量数据基于回归路径和密度网格点。步骤S605的视觉质量估计也很适合立体视觉数据(如，在步骤S602采集的)。
图8A是视觉质量估计器120的示范配置的方框图。图8A中在组件(如，70，72，74，76，78，80，82，84和86)之间的互连可以表现逻辑数据路线、物理数据路线、或二者兼有。
组织器70与强度分布模块72通信。互相关模块76可以接收来自再分器74、数据存储设备86以及强度分布模块72的输入数据。数据存储设备86存储参考强度分布88以由互相关模块76检索或访问。互相关模块76输出数据给估计器84。再分器74与行中心估计器78通信。行中心估计器78和排列器80为变量求值器82提供输入数据。依次地，该变量求值器82输出数据给估计器84。
视觉模块22提供下列中的一个或多个给视觉质量估计器120：视觉数据、图像数据、和视觉制导数据。如这里所使用的，图像数据和视觉数据应被认为同义的术语。该视觉模块22可以由采集的视觉或图像数据来确定视觉制导数据。
在图8A中，视觉质量估计器120被布置以估计至少一个视觉数据(或图像数据)的视觉质量数据以及该求值时间间隔期间的视觉制导数据。该视觉质量估计器120可以基于互相关和r平方值来确定视觉质量数据。每一个互相关在分段中该视觉数据的观察到强度分布和参考强度分布之间以确定行中心位置。r平方值是在回归路径和该行中心位置之间。
组织器70将采集的图像组织成作物像素和非作物像素。强度分布模块72基于该作物像素的像素强度值来确定强度分布。数据存储设备86存储与一组作物行或单个作物行相关联的参考强度分布。再分配74将采集图像再分成多个分段或重叠窗口。
通常，互相关模块76为每一个上述分段在该强度分布(由强度分布模块72提供)和参考强度分布88之间确定互相关。在一个实施例中，互相关模块76被布置以将归一化互相关确定为互相关。该归一化互相关基于图像数据中各个分段的平均互相关。每一个分段与通过行中心估计器78确定的相应行中心位置相关联。
再分器74与行中心估计器78通信或使得该行中心估计器78能够获得分段或重叠窗口。该行中心估计器78被配置用以估计与该图像数据的相应分段或分区有关的行中心位置。排列器80被配置用以确定与该行中心位置有关的回归路径。例如，排列器80将估计的行中心位置布置成定义作物行的位置和方向表示的回归路径(如，回归线)。
变量求值器82在回归路径(如，回归线)和行中心位置之间确定r平方值。估计器84基于确定的互相关和r平方值来确定视觉质量数据以应用于车辆控制器25或调节器110用于车辆的转向。该制导数据包括例如航向数据、偏离轨道数据、和曲率数据中的至少一个。
图8B是估计视觉数据或视觉制导数据的质量的方法。图8B的方法开始于步骤S800。
在步骤S800中，视觉模块22或图像处理系统33将采集到的图像划组织成作物像素和非作物像素。视觉模块22或图像处理系统33可以使用颜色识别将采集图像组织或分段成作物像素和非作物像素。可以将作物像素定义为参考植物颜色(如，绿色调)，等等。图9提供了采集图像到作物像素和非作物像素的组织图示，与步骤S800一致。
在步骤S802中，视觉模块22或图像处理系统33基于该作物像素的观察的像素强度值来确定观察的强度分布。例如，该视觉模块22或该图像处理系统33为在作物像素和非作物像素之间的边界确定了观察的强度分布。在一个实施例中，观察的强度分布可以示出一个或多个作物边缘或在该作物像素和非作物像素之间的大体线性边界。
视觉模块22或该图像处理系统33通过确定在观察像素强度轮廓中的像素符合强度标准或要求(如，植物的最小像素强度或那里相应的光频率范围)的方式来确定像素属于观察的强度分布。像素强度可以定义为例如在单色颜色空间(如，与植物有关的特定绿色、暗影或色调)中的像素亮度，或在RGB颜色空间内的红、绿和蓝分量的亮度。作物像素强度通常与或被采集图像中作物部分(如，作物表面区域的部分)上的事件进行反射的辐照度或电磁辐射(如可见光频带中的一个或多个)成比例。该作物像素的像素强度值可能符合或超出作物行植物冠层的最小阈值强度，包括作物行的边界，其中作物象素相邻非作物像素。相似地，该作物像素的像素强度值可能符合或超出平放在地面或窗口上的已收获作物材料的最小阈值强度，包括该窗口的边界。
在步骤S804，视觉模块22或图像处理系统33建立了与一组作物行或单个作物行(如，干草列)相关的参考强度轮廓。该参考强度轮廓包括可以基于该植物材料是否安置在一组行中或作为一个或多个窗口来进行变化的模板。图11示出了与窗口有关的参考强度轮廓，而图12示出了与多个并行植物行相关的参考强度来轮廓。
在步骤S806中，视觉模块22或视觉质量估计器(20、120或220)将采集的图像再分成多个分段(如，重叠的窗口)。图14提供了与步骤S806一致的分段分割的图示。
在步骤S808中，视觉质量估计器(20、120或220)为上述分段中的每一个确定在该强度分布和参考强度分布之间的互相关。图13提供了与步骤S808一致的确定互相关的图示。
在步骤S810中，视觉质量估计器估计与上述分段中每一个相关的行中心位置。图14示出了与步骤S808一致的每一个分段相应的行中心位置。
在步骤S812中，视觉质量估计器(20、120或220)将估计的行中心位置布置为定义作物行位置和方向表示的回归路径。回归路径可以包括基于行中心位置的分布和位置来定义的常用线性回归路径。例如，视觉质量估计器(20、120或220)可以将回归路径设定为基于最小二乘法、加权最小二乘法、多项式拟合法、多元回归、统计回归技术、数学回归技术或其它常见最小化回归路径和行中心位置之间距离或误差的技术的线性方程。
在步骤S814中，视觉质量估计器(20、120或220)确定回归路径和行中心位置之间的r平方值。
在步骤S816中，视觉质量估计器(20、120或220)基于确定的互相关和r平方值为车辆控制器或调节器转向车辆来确定视觉质量数据。r平方值可以用来确定观察视觉数据或观察视觉制导数据(如，观察的作物行位置或干草列位置)符合视觉数据或数据制导数据相应的预测模型(如，作物行位置回归路径)的程度。
可以通过多种可交替或累积使用的技术来执行步骤S816。在第一种技术中，该视觉质量估计器(20、120或220)基于下列方程来确定该r平方值：r平方＝1-vmodel/vtotal，其中vtotal是与回归路径(如，常用线性回归路径)有关的不同分段相关的中心点变化或误差指示，以及vtotal是作物行关于其平均中心位置的变化或误差指示。r平方值可以在从1到零的范围内进行归一化，使得r平方值在接近1时普遍被认为好过r平方值接近零。
在第二种技术中，置信度水准，C，或用于该视觉处理的视觉质量数据依据两个因素：该回归路径的r平方值和来自模板匹配的归一化的互相关。
C = 255 * R reg 2 * r cross _ norm
r cross _ norm = ( r ‾ cross r cross _ ref - r 0 ) / ( 1 - r 0 ) r cross _ ref * r 0 ≤ r ‾ cross ≤ r cross _ ref 1 r ‾ cross ≥ r cross _ ref 0 r ‾ cross ≤ r cross _ ref * r 0
其中，rcross是来自一组分段的中间或平均互相关，rcross_ref是参考互相关，以及r0是最小互相关。该参考互相关通常从初始参考图像种获取，而该最小互相关通常由用户确定。为了获得高的置信度水准，需要设置两种条件：首先，在该处理中的分段(如窗口)内的作物中心必须来自大体直线或符合已知用作种植的轮廓，以及第二步，在该处理中分段的强度分布必须符合所选中的参考强度分布(如，类似于图11或图12中的模板)。该模板或参考分布轮廓可以适用于作物或环境中的变化。由于作物行的宽度可能随时间改变，该模板会更新以适应该作物行。在一个实施中，可以使用该作物行空间的已用过的平均或中间值。
图9是在组织或划分成作物像素900和非作物像素902后的数个作物行的示范性图像。图9是例如图8B的步骤8800执行结果的展示图。通过图像采集系统31或视觉模块22采集到的采集图像首先划分成作物像素900和非作物像素902，以及随后被修正以去掉失真。白色或亮像素表示作物像素900，而带点区域表示非作物像素902。如图所示，一个作物行被组织成处于来自图像采集系统31或视觉模块22的最小深度和最大深度之间的行分段904。该作物行的每一端与作物边缘906有关。
图10是源于图9中作物像素900的示范性观察强度分布。在一个例子中，每一个像素强度点910表示感兴趣区域(如，接近或在作物边缘906)内垂直线段上的作物像素的像素强度总和。在另一例中，每一个像素强度点910表示感兴趣区域(如，接近作物边缘)内单个相应作物像素的强度。在又一例中，每一个像素强度点910表示与感兴趣区域(如，接近或在作物边缘)相关的一簇作物像素的中间、平均或众数强度。观察的强度分布(如，图10中)与被称作模板(如，图11或图12)的参考强度分布进行比较以决定相对于参考行位置的该作物行的偏移。该参考行位置可以在例如该作物、种子、或前体被种植时建立。
图11是用作窗口的模板或参考强度分布的示范性费米(Fermi)函数。水平轴可以被指作横轴，而垂直轴可以被指作前轴。该横轴通常垂直于该前轴。该前轴可以已知角度倾斜于地面或水平。该横轴和该前轴来自图像采集系统31面向作物行的视角，其中该作物行的纵向尺寸通常与该车辆行进的方向相平行。
参考强度分布可能基于特定应用发生改变，例如该田地是否包括横卧在地面上的作物行、窗口或切割的植物(如，干草)。对于窗口，费米函数或其它步骤或脉冲函数可以用来表示理想的窗口强度分布如图11所示。对于图11中的费米函数，g表示峰值幅度，g/2表示该峰值幅度的一半以及k值表示该窗口在峰值幅度一半处的宽度。在实施例中，图11中的峰值幅度可能与来自图像采集系统31的干草列的最大计算深度相关。
图12是用做作物行的模板或参考的强度分布的示范性正弦函数。水平轴可以被指作横轴，而垂直轴可以被指作前轴。该横轴通常垂直于该前轴。该前轴可以已知角度倾斜于地面或水平。该横轴和该前轴来自图像采集系统31面向作物行的视角，其中该作物行的纵向尺寸通常与该车辆行动的方向相平行。
该正弦函数的峰值幅度用a表示，其中w表示一个波长的周期。在实施例中，图12中的峰值幅度可能与来自图像采集系统31的作物行的最大计算深度相关，其中该周期，w，可与作物行宽度或相邻作物行之间的间隔成比例。
虽然正弦函数被用作图12的参考强度分布，在替代实施例中，脉冲串、方波、一系列脉冲函数或其它合适的函数可以用作该参考强度分布来模型化该植物作物行。进一步地，该参考强度分布在例如作物成熟的整个成长季节中可发生改变。
图13是确定的在所述参考强度分布(如，模板T(k))和观察的强度分布(如，强度分布I(k))之间互相关的图示。互相关函数，r(d)，在观察的强度分布(如，图10)和该参考强度分布(如，图11)之间进行计算如下：
r ( d ) = Σ k = 0 N { ( I ( K ) - I ‾ ) * ( T ( k + d ) - T ‾ ) } ( I ( K ) I ‾ ) 2 * ( T ( k + d ) - T ‾ ) 2
其中r(d)是在观察的强度分布I(K)和参考强度分布T(k+d)之间的广义图像互相关函数，d定义为参考强度分布的位置，I是观察的强度分布的中间强度。T是参考强度分布的中间强度，以及r(dmax)是图像中任意作物行的近似中心位置。延迟dmax对应最大相关，r(dmax)是该作物行的中心位置。在实施例中，互相关表现为置信度指数或视觉质量数据的值的因子或分量。
图14示出了与作物行的近似中心线相关的回归路径924和与回归路径924相关的多个分段920或窗口。该回归路径924可以包括常用线性回归线、或通过线性或二次方程定义的直形或曲形路线。每一个分段920与相应行中心位置922相关。如果该回归路径924是常用线性，其可以按相对参考轴926(如磁北或另外的参考方向)的角度928(θ)进行定义。
在图14中，视觉模块22、图像处理系统33或视觉质量估计器(20、120、或220)将视觉数据(如，采集的图像或作物像素)分成多个分段920(如，重叠的窗口)。分段920出现在感兴趣区域(如，接近作物行)内。视觉模块22、图像处理系统33或该视觉质量估计器(20、120、或220)通过回归分析对一个或多个作物行进行检测。
特别地，对于回归分析，视觉质量估计器(20、120或220)形成或估计与该行中心位置922或每一个分段920(如，重叠的窗口)中作物行的中心相关的回归路径924(如，回归线段)以加强行探测的鲁棒性。该行中心位置922(如，点)放入回归路径924(如，回归线段)中。回归路径924表现作物行的位置和方向。
回归路径924与车辆的初始航向或观察的路线进行比较用来为车辆控制确定制导数据(如，来计算该轨道偏离、曲率和/或航向误差)。虽然该视觉质量估计器(20、120或220)通常使用每作物行的至少五个分段，实质上可以使用任意数目的分段来检测每一个采集图像中的作物行。该视觉质量估计器(20、120或220)可以确定r平方值、置信度水准或其它对于与回归路径924相关的行中心位置922有价值的数字。
图15A是视觉质量估计器220示范性配置的方框图。图15A中组件(70，90，92，94和96)之间的互连可以变现为逻辑数据路线、物理数据路线或二者兼有。
视觉质量估计器220包括与密度网格定义器90通信的组织器70，该密度网格定义器90输出数据给滤波器92，其为排列器94进行数据滤波。依次地，排列器94输出数据到估计器96。
对于图15A中的视觉质量估计器220，视觉模块22可以包括用于采集图像数据(如，立体图像数据)或可视数据的立体视觉成像系统。组织器70将采集图像数据组织成作物像素和非作物像素。密度网格定义器90基于每个网格单元或一组网格单元内的作物像素的数目来定义密度网格。例如，每一个网格单元可以用X像素×Y像素的矩阵进行定义，其中X和Y是任意正整数。虽然网格单元的密度可以被定义为在该密度网格内作物像素对全部像素的比率、分数或百分比，也存在该密度的其它定义方式。滤波器92将密度网格点定义为具有每个网格单元其值大于阈值或作物像素的最小数目的那些网格单元。排列器94基于该密度网格点配置回归路径。该回归路径表示了作物行或干草列的可能位置和可能方向(如，中心)。估计器96基于已定义的密度网格点和回归路径将置信度指数确定为视觉质量数据。该置信度指数应用于车辆控制器或调节器110来转向车辆。该视觉质量估计器220可以根据多种可替换或累积使用的技术来定义该置信度指数。
在第一种技术中，估计器96被设置用来确定关于该回归路径密度网格点的矩指数以及用来基于该密度网格点的标准差的反函数确定簇指数。矩指数和簇指数是评估密度网格点紧密度的两种测量方式并被分布在该回归路径(如，回归线)周围。在第二种技术中，矩指数和簇指数是根据第一种技术进行确定的，其中该图像数据或视觉数据包括立体图像数据或已滤波的立体图像数据。矩指数和簇指数很适合于评估立体图像数据，特别是在该立体图像数据已经滤波为超出最小作物高度(如，1米)后。在第三种技术中，该估计器96估计或确定置信度指数为该矩指数和簇指数的积。例如，根据下列方程来确定置信度指数：其中CM是通过 C M = 1 - M M max 给出的矩指数，M是围绕该回归线的密度网格点的矩，以及Mmax是最大矩，CC是通过 C C = 0.8 + 0.2 σ d 给出的簇指数，其中 σ d = Σ i = 1 n ( d i - d ‾ ) 2 n - 1 , di是从回归路径(如，回归线)到密度网格点的正交距离，以及d是密度网格点到回归路径的中间距离，n是密度网格点的总数目，以及σd表示该密度网格点的方差。在替换实施例中，偏差来自该方差的平方根；该偏差可以用来取代在上述方程中的方差。
图15B是基于来自视觉数据(如，立体视觉数据)的源于视觉位置数据用来引导车辆方法的实施例的流程图。图15中的方法开始于步骤S800。
在步骤S800中，视觉模块22、图像处理系统33或组织器70将采集到的图像组织成作物像素和非作物像素。例如，该视觉模块22、图像处理系统33或组织器70可以使用颜色识别来将像素分类或组织成作物像素和非作物像素。如上所述，图9提供了采集图像组织成作物像素和非作物像素的示范性例子。
在步骤S820中，视觉质量估计器220或密度网格定义器90基于每个网格单元内作物像素的数目来定义密度网格。例如，该视觉质量估计器220可以将该作物像素分成网格单元(如相同尺寸的矩形或六边形单元)并计算或估计每一个网格单元内作物像素的数目。在实施例中，滤波器92标记、标志或其它方式存储或指示出那些内部像素数目达到或超过特定最小数或阈值的网格单元。
在步骤S824中，视觉质量估计器220或排列器94基于该密度网格点布置回归路径，其中该回归路径表示作物行的可能位置和可能方向(如，中心或中心线)。
在步骤S826中，视觉质量估计器220或估计器96将置信度指数确定为基于已定义的密度网格点和该回归路径的视觉质量数据。该置信度指数应用于车辆控制器25或调节器110上用于车辆转向。图15的方法很适合为立体视觉数据或立体视觉图像确定置信度指数或视觉质量数据。
视觉质量模块220可以通过使用矩指数(CM)和簇指数(CC)的组合来确定或估计置信度指数。回归路径或中心线周围的密度网格点的矩的计算如下：
M = Σ i = 1 n d i 2 D i
以及矩指数通过下式给出：
C M = 1 - M M max
通过该密度网格点的标准差反函数计算簇指数：
C C = 0.8 + 0.2 σ d
σ d = Σ i = 1 n ( d i - d ‾ ) 2 n - 1
图16是具有表示作物特征或植物的作物特征点954和与作物行有关的回归路径(如，中心线)的密度网格950。每一个作物特征点954可以表示一个或多个作物像素(如，作物像素簇)。图16的密度网格950表示与图15A中视觉质量估计器220和图15B中方法相关的密度网格950的示范性例子。图16的密度网格950可来自于例如立体图像。
在图16中，每一个作物特征点954表示符合或超出最小数目、密度或阈值的作物像素的数目。如图所示，作物特征点D1、D2和Di分别用x1，y1；x2，y2；和xi，yi进行识别和定位。该密度网格950的回归路径952，L，(如，中心线或回归线)用来估计该作物行或作物特征的位置和方向(如，中心线或轴)。在替换实施例中，该回归路径是估计的切割/非切割边缘。
如果该密度网格点或作物特征点954非常接近于该回归路径952或在最大总计间隔值内，该置信度指数或该视觉质量数据通常可以被接收或为高。但是，如果该密度网格点或作物特征点954较远地(超过最大总计间隔值)偏离该回归路径952，该置信度指数或视觉质量数据为低或通常不能被接收。该最大总计间隔值可以建立在该作物特征点954到该回归路径952的与正轴投影(如，正交投影)相关距离的统计学或数学表示(例如，和、平均值、中间值、或加权平均值)基础上。如所示，作物特征点D1与回归路径之间的第一距离为d1；作物特征点D2与回归路径之间的第二距离为d2；作物特征点Di与回归路径之间的第i距离为di。
已经对优选实施例进行描述，很明显可以作出各种修改并不背离定义在附属权利要求中本发明的保护范围。

Claims (28)

1、一种引导车辆的方法，该方法包括：
在一求值时间窗口过程中基于与所述车辆相关联的定位接收器确定所述车辆的初步制导数据；
在所述求值时间窗口过程中采集来自与所述车辆相关联的视觉模块的视觉数据；
由所述采集的视觉数据确定视觉制导数据；
在所述求值时间窗口过程中估计所述视觉数据和所述视觉制导数据中至少一个的视觉质量数据，所述视觉质量数据基于一互相关和一r平方值，所述互相关在一分段内的所述视觉数据的一观察的强度分布与一参考强度分布之间以确定行中心位置，以及r平方值在一回归路径和所述行中心位置之间；和
如果所述视觉质量数据超过一最小阈值，则基于所述视觉制导数据调节所述初步制导数据至一修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。
2、如权利要求1所述的方法，其中所述互相关包括一基于所述视觉数据的一组分段的一平均互相关的归一化互相关，每一个分段与一相应的行中心位置相关联。
3、如权利要求2所述的方法，其中所述视觉质量数据的所述估计包括：
估计与所述视觉数据的相应的分段或分区相关联的所述行中心位置；和
确定与所述行中心位置一致的所述回归路径。
4、如权利要求2所述的方法，其中所述视觉质量数据的所述估计包括：
将一采集的图像或视觉数据组织成作物像素和非作物像素；
基于所述作物像素的像素强度确定一强度分布；
建立与一组作物行或一单个作物行相关联的一参考强度分布；
将所述采集的图像划分成多个分段或重叠的窗口；
为所述分段的每一个确定一在所述强度分布与一参考强度分布之间互相关。
5、如权利要求4所述的方法，进一步包括：
估计与所述分段的每一个相关联的一行中心位置；和
将估计的行中心位置布置成定义一表示一作物行的一位置和方向的回归路径。
6、如权利要求5所述的方法，进一步包括：
确定一在所述回归路径与所述行中心位置之间的r平方值；和
基于所述确定的互相关和所述r平方值确定视觉质量数据，以应用于一车辆控制器或调节器用于车辆的转向。
7、如权利要求1所述的方法，其中所述初步制导数据和所述修正的制导数据各包括航向数据、偏离轨道数据和曲率数据中的至少一个。
8、一种用于估计车辆制导的视觉质量数据的方法，该方法包括：
将一采集的图像的图像数据组织成作物像素和非作物像素；
基于所述作物像素的像素强度确定一强度分布；
建立与一组作物行或一单个作物行相关联的一参考强度分布；
将所述采集的图像划分成多个分段或重叠的窗口；
为所述分段的每一个确定一在所述强度分布和一参考强度分布之间的互相关；
估计与所述分段的每一个相关联的一行中心位置；
将估计的行中心位置布置成定义一表示一作物行的一位置和方向的回归路径；
确定一在所述回归路径与所述行中心位置之间的r平方值；和
基于所述确定的互相关和所述r平方值确定视觉质量数据，以应用于一车辆控制器或调节器用于车辆的转向。
9、如权利要求8所述的方法，其中所述回归路径包括选自以下组成的群组中路径：大体线性路径、大体曲线路径和周线路径。
10、如权利要求8所述的方法，其中所述回归路径包括一大体线性路径，以及其中所述r平方值指示所述行中心位置相对于所述回归路径的线性度。
11、如权利要求8所述的方法，其中所述参考强度分布包括一正弦曲线的参考强度分布。
12、如权利要求11所述的方法，其中所述峰值互相关对应相应的作物行分段的所述行中心位置。
13、如权利要求8所述的方法，其中所述作物行包括一干草列。
14、如权利要求8所述的方法，其中所述参考强度分布包括一费米函数或一阶跃函数。
15、如权利要求14所述的方法，其中费米函数的所述宽度与一干草列的宽度成比例。
16、如权利要求8所述的方法，其中如果所述互相关符合或超过第一最小阈值和如果所述r平方值符合或超过第二最小阈值，则所述视觉质量数据被认为高或足够用于所述车辆的制导。
17、如权利要求8所述的方法，其中如果所述互相关小于第一最小相关阈值或者如果所述r平方值小于第二最小阈值，则所述视觉质量数据被认为低或不足以用于所述车辆的制导
18、如权利要求8所述的方法，其中所述互相关包括根据下面的方程确定的广义图像互相关：
r ( d ) = Σ k = 0 N { ( I ( k ) - I ‾ ) * ( T ( k + d ) - T ‾ ) } Σ k = 0 N ( I ( k ) - I ‾ ) 2 * Σ k = 0 N ( T ( k + d ) - T ‾ ) 2
其中r(d)是在所述观察的强度分布I(K)和所述参考强度分布T(k+d)之间的所述广义图像互相关函数，d定义为所述参考强度分布的位置，I是所述观察的强度分布的平均强度，T是所述参考强度分布的平均强度，以及r(dmax)是所述图像中任意作物行的近似中心位置。
19、如权利要求8所述的方法，其中所述互相关包括根据下面的方程确定的归一化的互相关：
r cross _ carm = ( r ‾ cross r cross _ ref - r 0 ) / ( 1 - r 0 ) r cross _ ref × r 0 ≤ r ‾ cross ≤ r cross _ ref 1 r ‾ cross ≥ r cross _ ref 0 r ‾ cross ≤ r cross _ ref × r 0
其中，rcross是来自一组分段的平均互相关，rcross_ref是所述参考互相关，以及r0是最小互相关。
20、如权利要求8所述的方法，进一步包括：
通过一单目视觉成像单元采集所述图像数据。
21、如权利要求8所述的方法，其中所述分段包括所述图像数据的重叠的窗口或分区。
22、一种引导车辆的系统，所述系统包括：
一定位接收器，用于在一求值时间窗口过程中为所述车辆采集初步制导数据；
一视觉模块，用于在所述求值时间窗口过程中采集视觉数据和用于从所述采集的视觉数据确定视觉制导数据；
一视觉质量估计器，用于在所述求值时间窗口过程中估计所述视觉数据和所述视觉制导数据中至少一个的视觉质量数据，所述视觉质量数据基于一互相关和一r平方值，所述互相关在一分段内的所述视觉数据的一观察的强度分布与一参考强度分布之间以确定行中心位置，以及r平方值在所述回归路径和所述行中心位置之间；和
一调节器，用于当所述视觉质量数据超过一最小阈值时基于所述视觉制导数据调节所述初步制导数据至一修正的制导数据，使得所述修正的制导数据与所述视觉制导数据一起被记录或大体同延。
23、如权利要求22所述的系统，进一步包括一互相关模块，用于确定一归一化的互相关作为所述互相关，所述归一化的互相关基于所述图像数据的一组分段的一平均互相关，每一个分段与一相应的行中心位置相关联。
24、如权利要求23所述的系统，其中所述视觉质量估计器进一步包括：
一行中心估计器，用于估计与所述图像的相应的分段或分区相关联的所述行中心位置；和
一排列器，用于确定与所述行中心位置一致的所述回归路径。
25、如权利要求23所述的系统，其中所述视觉质量估计器包括：
一组织器，用于将一采集的图像组织成作物像素和非作物像素；
一强度分布模块，用于基于所述作物像素的像素强度值确定一强度分布；
一数据存储设备，用于存储与一组作物行或一单个作物行相关联的参考强度分布；
一再分器，用于将所述采集的图像划分成多个分段或重叠的窗口；
一互相关模块，用于为所述分段中的每一个确定所述强度分布与一参考强度分布之间的一互相关。
26、如权利要求25所述的系统，进一步包括：
一行中心估计器，用于估计与所述分段中的每一个相关联的一行中心位置；和
一排列器，用于将估计的行中心位置布置成定义一表示一作物行的一位置和方向的回归路径。
27、如权利要求26所述的系统，进一步包括：
一变量估计器，用于确定所述回归路径与所述行中心位置之间的一r平方值；和
一估计器，用于基于所述确定的互相关和所述r平方值确定视觉质量数据，以应用于一车辆控制器或调节器用于车辆的转向。
28、如权利要求22所述的系统，其中所述初步制导数据和所述修正的制导数据各包括航向数据、偏离轨道数据和曲率数据中的至少一个。
CN2008800176463A 2007-05-31 2008-04-08 利用基于视觉的调整引导车辆的方法和系统 Active CN101681168B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/755,965 2007-05-31
US11/755,965 US7876927B2 (en) 2005-01-04 2007-05-31 Method and system for guiding a vehicle with vision-based adjustment
PCT/US2008/059640 WO2008150573A1 (en) 2007-05-31 2008-04-08 Method and system for guiding a vehicle with vision-based adjustment

Publications (2)

Publication Number Publication Date
CN101681168A true CN101681168A (zh) 2010-03-24
CN101681168B CN101681168B (zh) 2011-05-18

Family

ID=40104707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800176463A Active CN101681168B (zh) 2007-05-31 2008-04-08 利用基于视觉的调整引导车辆的方法和系统

Country Status (5)

Country Link
US (1) US7876927B2 (zh)
EP (1) EP2156255A4 (zh)
CN (1) CN101681168B (zh)
BR (1) BRPI0812070B1 (zh)
WO (1) WO2008150573A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102889932A (zh) * 2012-09-25 2013-01-23 山东神戎电子股份有限公司 一种抗强光损伤热像仪及其方法
CN104299455A (zh) * 2014-10-27 2015-01-21 重庆布伦坦茨航空技术进出口有限公司 机场特种车辆自动驾驶系统
CN104463154A (zh) * 2013-09-16 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN106352874A (zh) * 2016-08-15 2017-01-25 杭州阿优文化创意有限公司 室内机器人的路径回归方法
CN104180818B (zh) * 2014-08-12 2017-08-11 北京理工大学 一种单目视觉里程计算装置
CN111766874A (zh) * 2020-06-12 2020-10-13 广州极飞科技有限公司 作业设备的控制方法及相关装置
CN111766874B (zh) * 2020-06-12 2024-06-11 广州极飞科技股份有限公司 作业设备的控制方法及相关装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9453606B2 (en) 2007-12-26 2016-09-27 Smart Pipe Company, Inc. Movable factory for simultaneous mobile field manufacturing and installation of non-metallic pipe
FR2954555B1 (fr) * 2009-12-23 2012-08-10 Thales Sa Procede et dispositif pour le calcul d'une fenetre de temps.
US10469579B2 (en) 2010-12-16 2019-11-05 General Electric Company Method and system for data processing in a vehicle group
US9030549B2 (en) 2012-03-07 2015-05-12 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
WO2013167889A2 (en) 2012-05-08 2013-11-14 Smart Pipe Company Inc. Movable factory for simultaneous mobile field manufacturing and installation of non-metallic pipe
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
CN104020781A (zh) * 2013-02-28 2014-09-03 鸿富锦精密工业（深圳）有限公司 量测控制系统及方法
US10390497B2 (en) 2013-03-07 2019-08-27 Blue River Technology, Inc. System and method for plant treatment
US10327393B2 (en) 2013-03-07 2019-06-25 Blue River Technology Inc. Modular precision agriculture system
WO2015006675A2 (en) 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
TWM477598U (zh) * 2013-11-18 2014-05-01 Weistech Technology Co Ltd 具有路線校正功能之移動裝置
WO2015127397A1 (en) 2014-02-21 2015-08-27 Blue River Technology, Inc. System and method for automated odometry calibration for precision algriculture systems
US10928510B1 (en) * 2014-09-10 2021-02-23 Rockwell Collins, Inc. System for and method of image processing for low visibility landing applications
CN111506109B (zh) * 2014-12-31 2023-08-25 深圳市大疆创新科技有限公司 传感器数据的选择性处理
CN105842724B (zh) * 2015-01-15 2018-07-17 江苏南大五维电子科技有限公司 一种船舶辅助泊岸方法和系统
WO2016144795A1 (en) 2015-03-06 2016-09-15 Blue River Technology Inc. Modular precision agriculture system
US10139279B2 (en) 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
AU2016324156A1 (en) * 2015-09-18 2018-04-05 SlantRange, Inc. Systems and methods for determining statistics of plant populations based on overhead optical measurements
US9878711B2 (en) 2015-12-14 2018-01-30 Honda Motor Co., Ltd. Method and system for lane detection and validation
US10228460B1 (en) 2016-05-26 2019-03-12 Rockwell Collins, Inc. Weather radar enabled low visibility operation system and method
JP6867184B2 (ja) * 2017-02-13 2021-04-28 トヨタ自動車株式会社 運転支援装置
JP7153895B2 (ja) * 2017-12-14 2022-10-17 学校法人立命館 自律移動システム及びコントローラ
EP3821423A4 (en) * 2018-07-11 2022-03-02 Raven Industries, INC. ADAPTIVE COLOR TRANSFORMATION TO ASSIST COMPUTER VISION
US11212954B2 (en) * 2019-05-08 2022-01-04 Deere & Company Apparatus and methods for field operations based on historical field operation data
WO2021007554A1 (en) 2019-07-11 2021-01-14 Sneyders Yuri Determining image feature height disparity
US20210246636A1 (en) * 2020-02-07 2021-08-12 Caterpillar Inc. System and Method of Autonomously Clearing a Windrow
US11576364B2 (en) 2020-03-30 2023-02-14 Cnh Industrial America Llc System and method for determining agricultural vehicle guidance quality based on a crop row boundary consistency parameter
US20220187832A1 (en) * 2020-12-11 2022-06-16 Raven Industries, Inc. Sensor fusion in agricultural vehicle steering
GB202107499D0 (en) * 2021-05-26 2021-07-07 Agco Int Gmbh Material detection and handling of material irregularities
US11622495B2 (en) 2021-06-01 2023-04-11 Gint Co., Ltd. Method of automatically combining farm vehicle and work machine and farm vehicle

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610815A (en) * 1989-12-11 1997-03-11 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
WO1995018432A1 (en) * 1993-12-30 1995-07-06 Concord, Inc. Field navigation system
US5974348A (en) * 1996-12-13 1999-10-26 Rocks; James K. System and method for performing mobile robotic work operations
US6490539B1 (en) * 2000-02-28 2002-12-03 Case Corporation Region of interest selection for varying distances between crop rows for a vision guidance system
US6385515B1 (en) * 2000-06-15 2002-05-07 Case Corporation Trajectory path planner for a vision guidance system
US6445983B1 (en) * 2000-07-07 2002-09-03 Case Corporation Sensor-fusion navigator for automated guidance of off-road vehicles
US6819780B2 (en) * 2001-02-02 2004-11-16 Cnh America Llc Method and apparatus for automatically steering a vehicle in an agricultural field using a plurality of fuzzy logic membership functions
US6898585B2 (en) * 2001-02-02 2005-05-24 University Of Illinois Fuzzy logic method for adaptively evaluating the validity of sensor data
CN1258075C (zh) * 2001-02-14 2006-05-31 松下电器产业株式会社 车载导向系统
DE10129135B4 (de) * 2001-06-16 2013-10-24 Deere & Company Einrichtung zur Positionsbestimmung eines landwirtschaftlichen Arbeitsfahrzeugs sowie ein landwirtschaftliches Arbeitsfahrzeug mit dieser
DE10129133A1 (de) * 2001-06-16 2002-12-19 Deere & Co Einrichtung zur selbsttätigen Lenkung eines landwirtschaftlichen Arbeitsfahrzeugs
US6946978B2 (en) * 2002-04-25 2005-09-20 Donnelly Corporation Imaging system for vehicle
CN1438138A (zh) * 2003-03-12 2003-08-27 吉林大学 自动引导车的视觉引导方法及其自动引导电动车
US7792607B2 (en) * 2005-01-04 2010-09-07 Deere & Company Vision-aided system and method for guiding a vehicle
US7233683B2 (en) * 2005-01-04 2007-06-19 Deere & Company Method and system for guiding a vehicle with vision-based adjustment
US7242791B2 (en) * 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
US7610123B2 (en) * 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US7684916B2 (en) * 2005-07-01 2010-03-23 Deere & Company Method and system for vehicular guidance using a crop image
US7587081B2 (en) * 2005-09-28 2009-09-08 Deere & Company Method for processing stereo vision data using image density

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102889932A (zh) * 2012-09-25 2013-01-23 山东神戎电子股份有限公司 一种抗强光损伤热像仪及其方法
CN104463154A (zh) * 2013-09-16 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104463154B (zh) * 2013-09-16 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
CN104180818B (zh) * 2014-08-12 2017-08-11 北京理工大学 一种单目视觉里程计算装置
CN104299455A (zh) * 2014-10-27 2015-01-21 重庆布伦坦茨航空技术进出口有限公司 机场特种车辆自动驾驶系统
CN106352874A (zh) * 2016-08-15 2017-01-25 杭州阿优文化创意有限公司 室内机器人的路径回归方法
CN111766874A (zh) * 2020-06-12 2020-10-13 广州极飞科技有限公司 作业设备的控制方法及相关装置
CN111766874B (zh) * 2020-06-12 2024-06-11 广州极飞科技股份有限公司 作业设备的控制方法及相关装置

Also Published As

Publication number Publication date
CN101681168B (zh) 2011-05-18
US7876927B2 (en) 2011-01-25
EP2156255A1 (en) 2010-02-24
BRPI0812070A2 (pt) 2014-11-25
US20080065286A1 (en) 2008-03-13
WO2008150573A1 (en) 2008-12-11
BRPI0812070B1 (pt) 2018-11-06
EP2156255A4 (en) 2013-01-02

Similar Documents

Publication Publication Date Title
CN101681168B (zh) 利用基于视觉的调整引导车辆的方法和系统
CN101681167B (zh) 利用基于视觉的调整引导车辆的方法和系统
EP1836650B1 (en) Method and system for guiding a vehicle with vision enhancement
CA2592977C (en) Vision-aided system and method for guiding a vehicle
US11631166B2 (en) Crop yield prediction method and system based on low-altitude remote sensing information from unmanned aerial vehicle
CA2592715C (en) Vision-aided system and method for guiding a vehicle
US9600846B2 (en) Method for correcting the time delay in measuring agricultural yield
CN100580689C (zh) 使用基于视觉的调整引导车辆的方法和系统
LeVoir et al. High-accuracy adaptive low-cost location sensing subsystems for autonomous rover in precision agriculture
CN116399401B (zh) 一种基于人工智能的农业种植系统及方法
US11086331B2 (en) Autonomously guided machine
Hu PengCheng et al. Estimation of canopy height using an Unmanned Aerial Vehicle in the field during wheat growth season.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant