CN115104075A - 使用机器视觉对工作机器上的机具进行控制的系统和方法 - Google Patents

使用机器视觉对工作机器上的机具进行控制的系统和方法 Download PDF

Info

Publication number
CN115104075A
CN115104075A CN202080096646.8A CN202080096646A CN115104075A CN 115104075 A CN115104075 A CN 115104075A CN 202080096646 A CN202080096646 A CN 202080096646A CN 115104075 A CN115104075 A CN 115104075A
Authority
CN
China
Prior art keywords
camera
global
implement
track
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096646.8A
Other languages
English (en)
Inventor
米哈伊尔·尤里维奇·沃罗别夫
阿列克谢·弗拉季斯拉沃维奇·日丹诺夫
伊万·亚历山德罗维奇·博格丹尤克
尼古拉·尼古拉耶维奇·瓦西柳克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Positioning Systems Inc
Original Assignee
Topcon Positioning Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Positioning Systems Inc filed Critical Topcon Positioning Systems Inc
Publication of CN115104075A publication Critical patent/CN115104075A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/7609—Scraper blade mounted forwardly of the tractor on a pair of pivoting arms which are linked to the sides of the tractor, e.g. bulldozers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/76—Graders, bulldozers, or the like with scraper plates or ploughshare-like elements; Levelling scarifying devices
    • E02F3/80—Component parts
    • E02F3/84—Drives or control devices therefor, e.g. hydraulic drive systems
    • E02F3/844—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically
    • E02F3/847—Drives or control devices therefor, e.g. hydraulic drive systems for positioning the blade, e.g. hydraulically using electromagnetic, optical or acoustic beams to determine the blade position, e.g. laser beams
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/02—Travelling-gear, e.g. associated with slewing gears
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52—Determining velocity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Abstract

提供了一种用于使用机器视觉以非接触方式对工作机器上的机具的位置和取向进行确定系统和方法。安装在车辆上的3D相机具有包括机具上的组件(例如，在一些示例中为标记)的视场，该3D相机确定所述组件中的每个组件在局部坐标系中的三维位置。全球定位系统与惯性测量单元协作确定3D相机在全球坐标系中的三维位置和三维取向。计算系统使用组件的局部三维位置以及3D相机的全球三维位置和全球三维取向来针对所述组件计算在全球坐标系中的三维位置。然后可以基于所计算的组件的全球三维位置计算机具的位置和取向。

Description

使用机器视觉对工作机器上的机具进行控制的系统和方法
技术领域
本公开总体上涉及工作机器上的机具(implement)控制，并且更具体地涉及使用非接触系统和用于确定机具的位置的方法来实现对工作机器上的机具的控制。
背景技术
在建筑和农业操作中使用的各种类型的运土(earth-moving，土方)工作机器利用机具来执行一系列典型的工地功能。作为示例，诸如推土机、自动平地机、挖掘机、拖拉机等之类的工作机器通常包括作为用于执行工地功能的机具的铲刀(blade)，所述工地功能例如为使用推土机的铲刀将工地的一部分平整到所需的坡度。在许多建筑和农业操作中，越来越需要更高的精确度，以提高生产力和效率、降低成本和/或提高成品的质量。
为了满足这些需求，现在正在使工作机器的许多操作自动化以提高效率和精确度，同时还减少操作中的人为因素的影响。自动化的典型候选者是用于控制推土机、自动平地机或其他类似工作机器的铲刀的控制系统。例如，在执行高精确度的定表面坡度时，特别是在给定时间限制而以最少量的时间完成此类任务时，以非常高的精确度(例如，在厘米范围内)控制推土机或平地机的铲刀位置很重要。
用于控制铲刀位置的一些布置利用安装在铲刀自身的本体上的全球导航卫星系统(GNSS)天线。然后使用GNSS接收器来确定铲刀在空间中的位置和取向。在其他布置中，线性行程传感器放置在液压铲刀控制系统上，然后相对于工作机器自身的本体来计算铲刀的位置和取向。在又一布置中，惯性测量单元(IMU)安装在铲刀的本体上以再次相对于工作机器自身的本体来确定铲刀的位置和取向。
这些和其他布置需要将元件(例如，天线、传感器、测量装置等)安装在机具的本体上，这会导致各种问题，这些问题会对工作机器的操作中的精确度、可靠性、效率和质量产生不利影响。例如，与工作表面接触的推土机的铲刀会受到大量的冲击和振动引起的影响。结果，安装的传感器和其他敏感组件的操作可能会受到不利影响，从而导致工作输出的质量下降以及装备和组件故障、破损等。另一缺点涉及必须安装在铲刀上的大量传感器(或其他元件)，这造成了与现有标准控制系统集成困难且负复杂的分散性布置。
发明内容
根据各种实施方式，这些和其他问题通过使用机器视觉以非接触方式对工作机器上的机具的位置和取向进行确定的解决方案来解决。在一个或更多个实施方式中，该解决方案可以是集成式设计，其可以在不需要对工作机器的标准配置进行重大改变并且不需要与现有控制系统进行复杂集成的情况下进行安装。
根据一种实施方式，提供了一种用于对车辆上的机具的位置和取向进行确定的系统，该系统包括三维(3D)相机、全球定位系统、惯性测量单元(IMU)和计算系统。3D相机安装至车辆上的结构件，使得3D相机具有包括机具的多个组件(例如，特征)的视场。3D相机被配置成对多个组件(特征)中的每个组件在局部坐标系中的局部三维位置进行确定。全球定位系统和IMU也安装至与3D相机相同的结构件，所述全球定位系统和IMU被配置成对3D相机在全球坐标系中的全球三维位置和全球三维取向进行确定。计算系统以通信的方式耦合到3D相机、IMU和全球定位系统，并且被配置成使用多个标记中的每个标记的局部三维位置和3D相机的全球三维位置和全球三维取向来针对(机具的)多个组件中的每个组件计算在全球坐标系中的全球三维位置。计算系统还被配置成基于针对多个组件中的每个组件所计算的全球三维位置来计算机具的位置和取向。
其他实施方式包括根据上述系统的用于对车辆上的机具的位置和取向进行确定的方法和被实施在非暂态计算机可读介质上的计算机程序。
根据一个或更多个实施方式，3D相机是3D立体相机。在各种实施方式中，多个组件包括位于机具上的多个标记(marker)，所述多个标记包括基于特定颜色的特征或基于特定形状的特征中的至少一者。根据一种实施方式，该系统还包括近红外照明器，该照明器被配置成对多个组件(例如，标记)进行照明以用于增强由立体相机进行的图像捕获。在一个或更多个实施方式中，全球定位系统、IMU和立体相机定位在结构件上的共同位置的布置结构中，该结构件可以安装至车辆的舱体上的舱顶表面。根据另一实施方式，计算系统还被配置成基于所计算的机具的位置和取向来计算机具的高度和倾斜度。在其他实施方式中，车辆是包括左履带和右履带的履带式工作机器，并且3D相机被配置成捕获在3D相机的视场内的左履带和右履带的运动的图像。在这些实施方式中，计算系统被配置成基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度。在该示例中，计算系统可以被配置成基于所计算的履带速度与由全球定位系统测量的工作机器速度的比较来计算滑移率。在另一实施方式中，机具是运土铲刀，并且立体相机被配置成基于在立体相机的视场内捕获的铲刀的图像来对超过铲刀的高度的铲刀负载的能力进行检测。
通过参考以下详细描述和随附附图，这些和其他优点对于本领域普通技术人员将是显而易见的。
附图说明
图1是示出根据一个或更多个实施方式的用于对车辆上的机具的位置进行确定的系统的框图；
图2是根据一个或更多个实施方式的运土工作机器的侧视图；
图3A是根据一个或更多个实施方式的可安装系统的侧视图，且图3B是其俯视图；
图4是根据一个或更多个实施方式的运土工作机器的俯视图；
图5A示出了根据一个或更多个实施方式的NIR照明的光谱相关特征的图表，图5B示出了其时序相关特征的图表；
图6是示出根据一个或更多个实施方式的用于对车辆上的机具的位置进行确定的方法的流程图；
图7是根据一个或更多个实施方式的基于履带的运土机器的立体图，其示出了用于测量履带速度和检测铲刀负载的系统的特征；以及
图8示出了根据一个或更多个实施方式的计算系统的高级框图。
具体实施方式
现在将参照随附附图更全面地描述各种说明性实施方式，在附图中示出了一些说明性实施方式。然而，应当理解，不旨在将说明性实施方式限制为所公开的特定形式，相反，说明性实施方式旨在覆盖落入权利要求范围内的所有修改、等同物和替代物。在适当的情况下，相同的数字在整个附图的描述中指代相同的元件。应当理解，尽管本文可以使用诸如第一、第二等之类的术语来描述各种元件，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个元件与另一元件。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不脱离说明性实施方式的范围。如本文所用，术语“和/或”包括相关联地列出的项目中的一个或更多个项目的任何和所有组合。
根据本文所述的各种实施方式，非接触式测量解决方案可用于控制工作机器的机具(铲刀)的操作。如以下将更详细描述的，根据各种实施方式的系统和方法利用机器视觉来确定机具的位置和取向(例如，用于进一步估计高度和倾斜度)，这使得能够在工地操作期间更精确地控制机具。此外，可以通过使用机器视觉捕获处于运动中的工作机器的履带的图像来估计工作机器的履带的速度。机器视觉还可以有利地用于基于所捕获的图像来检测铲刀负载(例如，被运送的土壤)的能力是否超过铲刀的高度，以及用于机器行进路径上的对象检测/识别，这也可以有助于避免碰撞。任何数量的这些任务/功能也可以并行和/或同时执行。
图1示出了根据各种实施方式的系统100。系统100包括三维(3D)相机105、全球定位系统110、惯性测量单元(IMU)150和计算系统130。在一种实施方式中，全球定位系统110包括全球导航卫星系统(GNSS)接收器115和多个天线，如在图1中示出为天线120和天线121。GNSS接收器115以通信的方式耦合到3D相机105和IMU 150。计算系统130以通信的方式耦合到3D相机105、GNSS接收器115和IMU 150。
根据一些实施方式，系统100还可以包括近红外(NIR)照明器140以确保精度，而不管环境照明条件如何，这将在下面更详细地描述。应当注意，任何数量的(例如，一个或更多个)NIR照明器都可以用于此目的，因此，此处所示和描述的实施方式仅是说明性的。
如图所示，GNSS接收器115是通过天线120和121接收GNSS信号的双天线GNSS接收器。在一些实施方式中，天线120可以是主天线，而天线121可以是从天线，这是针对双天线GNSS接收器的典型配置。根据一个或更多个实施方式，IMU 150可以集成到主天线中，例如天线120。例如，用于集成这些组件和功能的若干示例性方式之一在N.Vasilyuk等人的题为“GNSS Antenna with an Integrated Antenna Element and Additional InformationSources”的美国专利号10,088.576中描述。根据其他实施方式，IMU 150可以定位在全球定位系统110的外部，并且位于具有3D相机105和GNSS天线120和121的公共(例如，刚性)平台(未示出)上。使用双天线GNSS接收器115来测量公共平台的两个姿态角。特别地，这些角等于穿过天线120和121两者的相位中心的基线的角坐标。第三个角，即围绕基线的旋转角，可以使用IMU 150来测量。因此，GNSS接收器115与IMU 150的组合允许测量公共平台的3D位置和取向。
3D相机105能够捕获3D图像以提供机器视觉功能。在一个实施方式中，3D相机105可以是3D立体相机，其采用立体视觉从所捕获的数字图像中提取3D信息。例如，通过比较来自两个有利位置(vantage point)的信息，可以通过检查处于两个有利位置的对象的相对位置来提取3D信息。
根据一个或更多个实施方式，3D相机105(例如，在该示例中称为3D立体相机105)可以包括具有全局快门的图像传感器，这将有利于更高精确度的机器视觉。特别地，全局快门可以帮助防止或减轻可能由冲击和振动引起的所谓“果冻效应”，这种效应在涉及运土工作机器的应用中很常见。根据某些实施方式，3D立体相机105可以包括各种特征和功能，包括但不限于：黑白成像能力；约每秒50帧(FPS)或更高的速度；约2.5μm或更大的像素尺寸；和/或高清(HD)分辨率能力(例如，3MP分辨率)。此外，3D立体相机105将具有在计算系统130与GNSS接收器115之间通信和传输信息的能力。在NIR照明由NIR照明器140提供的某些实施方式中(将在下面更详细地描述)，3D立体相机105可以包含红外长通或通带滤波器，以用于主动近红外照明支持。例如，在一些示例中，这样的滤波器可以具有800nm-900nm的NIR通带范围，以在NIR范围内工作时的场景中截断某些光谱(例如，可见光谱和IR光谱)。可以适当地在本文所述的实施方式中使用各种3D立体相机。因此，以上示例仅意在说明性的而非以任何方式进行限制。
此外，针对机器视觉算法的3D图像获取可以用3D相机的其他变体作为立体相机的替代物来获得。例如，3D相机105可以用飞行时间(TOF)相机来实现，该飞行时间相机是一种距离成像相机系统，其采用飞行时间技术来针对图像的每个点解析相机与对象之间的距离。在其他实施方式中，任何其他LIDAR(光检测和测距)系统也可以适当地用作本文描述的实施方式中的3D相机105。
图2示出了根据一个或更多个实施方式的运土工作机器270的侧视图，其包括用于对机具(例如，铲刀)275的位置进行确定的系统200。为了便于在各个实施方式中进行描述，相似的元件将用相似的附图标记表示。如图2所示，系统200包括3D相机205、IMU 250、GNSS接收器215、第一天线220和第二天线221，系统200对应于系统100(图1)的配置。在该示例中，安装结构件225(例如，公共平台)是单一结构件，系统200的元件(例如，3D相机205、IMU250、GNSS接收器215、天线220和221)被安装或以其他方式布置在系统200上。在一个实施方式中，安装结构件件225可以安装在运土机器270的舱体271的舱顶上。以这种方式，系统200被布置为公共平台/外壳结构件(例如，组件的共同位置的布置结构)上的集成的、多合一配置，其可以在不需要对运土工作机器270的标准配置进行重大改变的情况下安装。图2中示出的实施方式只是用于部署系统200的配置的一个示例。本文的教导设想了各种其他配置和安装布置。
图3A 和图3B是进一步说明根据一个或更多个实施方式的系统300的部署和配置的侧视图和俯视图。类似于系统100(图1)和系统200(图2)，系统300包括3D相机305、GNSS接收器315、第一天线320和第二天线321、以及IMU 350，它们安装在安装结构件325上以便进一步附接和/或安装到工作机器(未显示)上。如前所述，在一个或更多个实施方式中，IMU350也可以集成在第一(主)天线320中。因此，图3A和图3B(以及其他图)中所示的安装结构件325上的各种元件的定位和集成旨在说明性的并且不以任何方式进行限制。
图4是示出了根据一个或更多个实施方式的各种特征的运土工作机器470的俯视图。类似于图1至图3中所示的配置，运土工作机器470被示为包括机具(例如，铲刀)475，并且系统400包括安装在结构件上的3D相机405、GNSS接收器415、第一天线420、第二天线421和IMU 450，结构件425进一步安装/附接到运土机器470的舱顶。如在本实施方式中所示，第一标记451和第二标记452设置(例如，安装、附接、刚性固定等)到铲刀475的顶部表面。3D相机405包括视场460，视场460包括标记451和452的视野。图4中示出的配置意在说明性的并且不以任何方式进行限制。例如，任何数量的标记可以定位在铲刀475上并且根据本公开的原理被使用。视场460还包括与铲刀475接触的材料(例如土壤/沙子/砾石/粘土等)的视野465，这些材料正由运土工作机器470移动。
如所描述的，3D相机405安装到结构件425，使得3D相机405具有包括多个标记(诸如在图4中所示的标记451和452)的视场。还可以设想，机具的各种其他特征(例如，铲刀475)也可以适当地用于帮助确定机具的位置和取向。此类特征可以是工作机具自身的组件、元件、部件等(例如，警告贴花、铲刀罩、垫片、螺纹锚等)，或者此类特征可以是已添加(例如，安装等)到机具(诸如标记等)上的组件、元件、部件等。在一些实施方式中，此类特征可包括特定颜色、阴影、形状或其各种组合，这可以有助于使用3D相机通过机器视觉进行定位和标识的过程(例如，此类特征可具有颜色、形状等，这使他们更容易被发现和标识)。因此，机具的标记或其他组件(例如铲刀475)的使用可以适用于各种实施方式。为了便于描述，术语“组件”旨在广泛地涵盖用于这些目的的任何此类特征。此外，本文描述的各种实施方式可以使用标记的示例，这意在说明性的而不是以任何方式进行限制。
如前所述，根据一些实施方式，系统100还可以包括一个或更多个近红外(NIR)照明器441和442，以确保精度，而不管环境照明条件如何。例如，环境光可能会影响一些环境和/或条件下的系统性能(例如，环境光可能会干扰或以其他方式扭曲由3D相机405进行的图像捕获)。为了解决在某些环境照明条件下获取标记451和452的图像的潜在问题，可以使用一个或更多个近红外(NIR)照明器来照射标记451和452，从而增强标记的照明以用于由被配置用于NIR范围光接收的3D相机405进行图像捕获。在一个或更多个实施方式中，NIR照明区461和462将覆盖标记451和452的可能位置。在一个或更多个实施方式中，区461和462还可以覆盖左履带471和右履带472的区域，以在3D相机405的帮助下进行履带速度估计，这将在下面更详细地描述。在NIR范围内的标记451和452(以及左履带471和右履带472)的主动脉冲照明可以有益地将对标记位置和履带速度的计算的频率增加至100Hz，从而提高系统性能的稳健性(例如，通过使计算不受环境光强度的影响)。
图5A和图5B示出了NIR照明如何可以有利地应用在本文所述的各种实施方式(例如系统400)中。如上所述，机器视觉系统的质量和可靠性会受到阳光的显著影响。例如，在系统400的操作期间，阳光的强度、方向和到达角度可能会发生显著变化，这继而可能对系统400提出要求以适应这种变化(例如，在某些情况下，连续地变化)，以便保持一定的性能水平。在某些情况下，环境光会导致机器视觉系统的精度显著下降。例如，在某些情况下，位于铲刀475的相对边缘上的标记451和452可能会经历不同的光照条件(例如，在某些情况下，显著地不同的光照条件)。标记451和452(一者或两者)可能：曝光过度，这可能导致其(在图像中的)形状受到侵蚀；或者曝光不足，这可能导致其定位精度的下降。
为了减轻或消除阳光的影响，在一个或更多个实施方式中考虑使用具有足够窄的波长的工作区域的近红外(NIR)光范围(如将参考图5A描述的)以及利用脉冲照明器的主动照明，该脉冲照明器可以被配置成仅在3D相机405的相机快门打开时发射光(如将参考图5B描述的)。
参考图5A所示的曲线图500。在图5A中，线510表示太阳光谱(例如，阳光)的辐射强度和波长的曲线图。线520表示可用作根据一个或更多个实施方式的NIR照明器(例如，用于系统400(图4)中的NIR照明器140(图1)的LED照明器的光谱的辐射强度和波长的曲线图。在该实施方式中，3D相机405包括通带滤波器，其中通带由线515表示。以这种方式，系统可以接收NIR范围光，同时截断其他光谱分量。在图5A中所示的示例中，通带滤波器具有约800nm-900nm的通带范围，其用于截断特定光谱(例如，可见光谱和IR光谱)，从而促进在NIR范围内的操作。以这种方式，可以防止部分太阳光谱(例如，阳光的重要技术)通过3D相机405的镜头。
针对选择NIR照明器的设计和操作参数，可以进行各种设计考虑，例如，在一个示例中，可以选择用于NIR照明器的脉冲光的功率水平以确保对晴天的阳光强度的相对优势(或等同于晴天的阳光强度)。例如，在图5A所示的示例中，为了克服明亮的阳光，根据一个实施方式的NIR照明器(光源)的功率可以约在100W的范围内以对一平方米的表面区域进行照明。如果NIR照明器在频闪模式下操作，则在某些实施方式中，功耗可以降低到约5W到7W范围内的可接受水平。在一个示例中，NIR照明区461和462(其也可以称为NIR照明器光束461和462)然后可以以如下方式形成：对标记451和452的可能位置的整个区域进行照明。
根据另一方面，系统400中使用的NIR照明器441和442可以与3D相机405的快门操作同步，例如，使得标记451和452的照明可以仅在3D相机405的快门被打开用于图像曝光时发生。如图5B中所示，与3D相机的快门相关联的时序由线560表示，而与NIR照明器的操作(例如，在频闪模式下)相关联的时序由线570表示。如在该说明性实施方式中所示，作为一个示例，NIR照明器脉冲的持续时间约为0.08ms，周期约为20ms，而3D相机以每秒50帧(例如，每20ms)的更新速率操作，具有约0.1ms的快门(曝光)时间。此外，在此示例中，频闪(脉冲)模式允许显著降低NIR照明器的功耗。应注意的是，图5A和5B中所示的示例(相关联的值、范围等)意在说明性的而非以任何方式进行限制。
图6示出了根据一个或更多个实施方式的用于对车辆上的机具的位置进行确定的方法600，其将在图1至图4中所示的系统配置的背景下进行描述。为了便于描述，所有示例将参考图4所示的系统配置400，除非另有说明。
如步骤605所示，3D相机405用于对机具的多个组件(例如，在各种实施方式中设置在机具上的多个标记)中的每个组件在局部坐标系中的局部3D位置进行确定，并且所述机具位于3D相机405的视场中。更具体地，3D相机405聚焦在机具(例如推土机铲刀475)上，其中标记451和452位于视场460内。随着3D相机405捕获到标记451和452的图像，然后可以在相机的局部坐标系中确定标记的3D位置。在3D相机405是3D立体相机的一个实施方式中，(3D立体相机405的)基座是15cm并且使用3MP视频矩阵来获得标记451和452定位的亚厘米精度，例如，距3D相机405的距离达3m。3D相机405的水平视角约为90度。
在步骤610中，分别使用全球定位系统(例如，GNSS接收器415与双天线420和421)以及IMU 450来对3D相机405的全球3D位置和全球3D取向进行确定，其中全球3D位置和全球3D取向位于全球坐标系中。因此，获得了安装在公共平台425上的3D相机405和工作机器470的全球3D位置和全球3D取向。
根据本文所述的实施方式，确定GNSS接收器415的位置的精度可以是约1cm(实时动态(RTK))，确定倾斜角(例如，俯仰和滚动)的精度是约0.1度，确定航向角的精度取决于天线420与421天线之间的距离(例如，对于半米天线基座来说，精度约为0.5度)。
在步骤620中，通过知道3D相机405在全球坐标系中的全球3D位置和全球3D取向，可以计算标记451和452的全球3D位置(例如，从局部相机的坐标系到全球坐标系进行重新计算)。当知道3D相机405的3D位置和3D取向二者时，可以重新计算(计算)全球坐标系中的局部标记坐标。
在步骤630中，基于所计算的多个标记中的每个标记的全球三维位置(通过计算系统130)来计算机具的位置和取向。
除了确定机具的位置和取向之外，根据各种实施方式的机器视觉可以用于与履带式工作机器的操作相关的其他功能(例如，履带速度、铲刀负载等)，所述履带式工作机器包括左履带(例如，第一履带)和右履带(例如，第二履带)。图7是根据一个或更多个实施方式的运土机器的立体图，其示出了用于测量运土机器履带装置(基于履带的运动机构)的速度以及检测铲刀负载的系统的特征。更具体地，配置700示出了(从操作员的角度来看的)显示视图，其中同时显示来自系统的信息，涉及到：(1)铲刀的位置；(2)工作机器的履带速度；(3)工作机器的速度；(4)滑移率和(5)反映铲刀负载的部段。
更具体地，可以使用机器视觉来估计履带装置(履带)速度，当在车辆运动期间存在滑移效应时，履带装置速度与车辆(工作机器)速度不同。车辆(工作机器)速度可以通过安装在工作机器770上的GNSS系统(例如，全球定位系统110)来估计，并且履带速度可以通过3D相机(405)来估计。速度(工作机器速度与履带装置的履带速度)之间的差异反映了由(推土机)负载引起的滑移效应。工作机器速度与履带装置的履带速度之间的差异越大，滑移就越大。
在操作中，车辆操作员可以通过减少铲刀负载(例如，通过升高铲刀)来(例如，手动或自动地)减轻或防止大量滑移。例如，假设根据以下函数来计算滑移率：
滑移率＝100*(Vt–Vm)/Vt，
其中Vt是履带速度，Vm是工作机器速度，则可以通过控制工作机器上的铲刀位置(例如，通过升高铲刀，这减少铲刀负载)来降低滑移率(例如，将其保持在5％水平或更低)。因此，具有诸如机器速度、履带速度和滑移率之类的信息可以有利地在工作机器的操作期间使用。
参考图7，工作机器770包括铲刀775以及标记751和752，它们与图4所示的配置一致。此外，工作机器770被示出为具有包括左履带771和右履带772的履带装置机构。当工作机器770在运动时，根据前面的实施方式中的描述，基于所进行的测量和计算，部分780(在多个部段中可视地示出)表示铲刀的位置，如向操作员呈现的。如图所示，部分780的部段781对应于铲刀775的负载(例如土壤)已经穿过/越过铲刀高度的部分。根据本文所述的实施方式，该信息相对于铲刀位置的显示的呈现对于操作员可能是有益的，或有助于自动推土机系统相应地控制铲刀775和/或工作机器770的运动。
根据所公开的实施方式的另一方面，工作机器(推土机)770的速度、履带装置的履带速度(左履带771和右履带772)以及滑移率显示在部分790中。
例如，诸如推土机之类的工作机器上的履带具有明显的竖向图案(例如，履带齿)。根据一个或更多个实施方式，计算系统可以被配置成仅选择(在相机图像上)与履带装置位置相关的区域。然后，计算系统将对图像进行归一化(例如，在每像素4位的情况下，达到16级亮度)。接下来，可以使用百分位数方法估计履带齿的位置。例如，对一系列相机帧执行估计，并基于它们分布在帧周期上的位置偏离来计算履带的履带齿的速度。通过使用3D相机，可以在运动期间补偿履带装置高度偏差/波动(例如，由于履带装置张力在时间上不是恒定的，并且履带装置的表面不能用平坦表面近似，因为它具有可变的垂度)。
根据实施方式的另一方面，考虑铲刀负载控制。例如，可以在已经检测到的和定位的标记的帮助下来估计推土机铲刀775的上边缘。然后，可以计算推土机铲刀775上方区域的深度图。然后，可以对该区域中的任何对象进行检测，并且如果某些对象(相对于相机)的距离与铲刀距离相似，则可以将此类对象标记为(一个或更多个)障碍物并指示为铲刀过载。
如上所述，本文中的各种实施方式可以以用于实践这些方法的装置和方法的形式来实施。所公开的方法可以通过安装在用户装置中和/或以通信的方式连接到用户装置的硬件、软件、固件、中间件和计算机可读介质(统称为“计算系统”)的组合来执行。图8是示例性计算系统800的高级框图，该计算系统800可以被配置成实施根据本文的各种实施方式的用于对车辆上的机具的位置进行确定的方法。
计算系统800包括以可操作的方式耦合到数据存储设备820和存储器830的处理器810(或多个处理器)。处理器810通过执行定义这种操作的计算机程序指令来控制计算系统800的整体操作。通信总线860促进计算系统800的各种组件之间的耦合和通信。计算机程序指令可以存储在数据存储设备820或非暂态计算机可读介质中，并且在需要执行计算机程序时加载到存储器830中。因此，所公开的方法的步骤(参见，例如，图5和上文的相关讨论)可以由存储在存储器830和/或数据存储设备820中的计算机程序指令来定义并且由执行计算机程序指令的处理器810来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程的计算机可执行代码，以执行由所公开的方法定义的说明性操作。因此，通过执行计算机程序指令，处理器810执行由所公开的方法定义的算法。计算系统800还包括一个或更多个通信接口850，以用于通过网络(例如，无线通信网络)或众所周知的(一个或更多个)通信协议与其他设备通信。例如，这样的通信接口可以是接收器、收发器或调制解调器，以用于以任何数量的众所周知的方式交换有线或无线通信。计算系统800还包括使用户能够与计算系统800交互的一个或更多个输入/输出设备840(例如，相机、显示器、键盘、鼠标、扬声器、麦克风、按钮等)。
处理器810可以包括通用微处理器和专用微处理器二者，并且可以是计算系统800的唯一处理器或多个处理器之一。例如，处理器810可以包括一个或更多个中央处理单元(CPU)。处理器810、数据存储设备820和/或存储器830可以包括一个或更多个专用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)、由一个或更多个专用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)补充、或者并入一个或更多个专用集成电路(ASIC)和/或一个或更多个现场可编程门阵列(FPGA)。
数据存储设备820和存储器830各自包括有形的非暂态计算机可读存储介质。数据存储设备820和存储器830可以各自包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDR RAM)、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或更多个磁盘存储设备，诸如内部硬盘和可移动盘、磁光盘存储设备、光盘存储设备、闪存设备，半导体存储设备，诸如可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储设备。
输入/输出设备840可以包括外围设备，诸如相机、打印机、扫描仪、显示屏等。例如，输入/输出设备840可以包括显示设备，诸如阴极射线管(CRT)、等离子体或用于向用户显示信息的液晶显示器(LCD)监视器、键盘和诸如鼠标或轨迹球之类的点击设备，用户可以通过该点击设备向计算系统800提供输入。
应当注意，为了解释清楚起见，本文描述的说明性实施方式可以被呈现为包括单独的功能块或功能块的组合。这些块所代表的功能可以通过使用专用或共享硬件来提供，包括但不限于能够执行软件的硬件。说明性实施方式可以包括数字信号处理器(“DSP”)硬件和/或执行本文描述的操作的软件。因此，例如，本领域技术人员将理解，本文的框图表示本文的各种实施方式中描述的原理的说明性功能、操作和/或电路系统的概念视图。类似地，将理解，任何流程图、流程框图、状态转换图、伪代码、程序代码等都表示可以基本上在计算机可读介质中呈现并且因此由计算机、机器或处理器执行的各种过程，而无论是否明确示出了此类计算机、机器或处理器。本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构并且也可以包含其他组件，并且这种计算机的组件中的一些组件的高级表示是出于说明性目的。
前述仅说明了本公开的原理并且应被理解为在各个方面都是说明性和示例性的，而不是限制性的。因此将理解，本领域的技术人员将能够设计出各种布置，尽管在此没有明确地描述或示出，但这些布置体现了本公开的原理并且被包括在其精神和范围内。例如，尽管本文描述的实施方式是在建筑应用(例如，运土、挖掘等)的背景下呈现的，但是应该理解，这些实施方式也可以应用于各种其他背景(例如，农业、采矿业等)。例如，拖拉机或其他农用车辆的机具可以以与运土工作机器类似的方式进行控制，例如，使用机器视觉来估计拖拉机机具的位置和取向。机器视觉还可以通过捕获拖拉机前面的下伏表面的图像以及估计表面起伏或植物行(床)来有利地使用以进行种植(例如，行跟踪和转向)。
此外，本文中引用的所有示例和条件语言主要旨在仅用于教学目的，以帮助读者理解本公开的原理和发明人对促进本领域的发展所贡献的概念，并且将被解释为不限于这些具体列举的示例和条件。此外，本文中引用本公开的原理、方面和实施方式以及其具体示例的所有陈述旨在涵盖其结构和功能等价物二者。此外，这些等价物旨在包括当前已知的等价物以及未来开发的等价物二者。

Claims (22)

1.一种用于对车辆上的机具的位置和取向进行确定的系统，所述系统包括：
三维(3D)相机，所述3D相机安装至所述车辆上的结构件，使得所述3D相机具有包括所述机具的多个组件的视场，所述3D相机被配置成：确定所述多个组件中的每个组件在局部坐标系中的局部三维位置；
全球定位系统和惯性测量单元，所述全球定位系统和所述惯性测量单元安装至所述结构件，所述全球定位系统和所述惯性测量单元被配置成：确定所述3D相机在全球坐标系中的全球三维位置和全球三维取向；以及
计算系统，所述计算系统以通信的方式耦合至所述3D相机、所述全球定位系统和所述惯性测量单元，所述计算系统被配置成：
使用所述多个组件中的每个组件的所述局部三维位置、所述3D相机的所述全球三维位置和所述3D相机的所述全球三维取向，针对所述多个组件中的每个组件计算在所述全球坐标系中的全球三维位置；以及
基于针对所述多个组件中的每个组件所计算的全球三维位置来计算所述机具的位置和取向。
2.根据权利要求1所述的系统，其中，所述3D相机是立体相机。
3.根据权利要求1所述的系统，其中，所述多个组件包括位于所述机具上的多个标记，所述多个标记包括基于特定颜色的特征或基于特定形状的特征中的至少一者。
4.根据权利要求1所述的系统，其中，所述局部坐标系与所述3D相机相关联。
5.根据权利要求1所述的系统，所述系统还包括近红外照明器，所述近红外照明器被配置成：对所述多个组件进行照明以用于增强由所述3D相机进行的图像捕获。
6.根据权利要求1所述的系统，其中，所述计算系统还被配置成：基于所计算的所述机具的位置和取向来计算所述机具的高度和倾斜度。
7.根据权利要求1所述的系统，其中，所述全球定位系统和所述惯性测量单元集成有至少一个天线。
8.根据权利要求1所述的系统，其中，所述结构件安装至所述车辆的舱体上的舱顶表面，并且其中，所述3D相机、所述全球定位系统和所述惯性测量单元定位在所述结构件上的共同位置的布置结构中。
9.根据权利要求8所述的系统，其中，所述车辆是工作机器并且所述机具是运土机具。
10.根据权利要求9所述的系统，其中，所述运土机具是铲刀，并且其中，所述3D相机被配置成：基于在所述3D相机的所述视场内所捕获的所述铲刀的图像，对超过所述铲刀的高度的铲刀负载的能力进行检测。
11.根据权利要求9所述的系统，其中，所述工作机器是履带式工作机器，所述履带式工作机器包括左履带和右履带，并且其中：
所述3D相机被配置成：捕获所述左履带和所述右履带的运动的图像，所述左履带和所述右履带位于所述3D相机的所述视场内；
所述计算系统被配置成：基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度；
所述全球定位系统被配置成计算工作机器速度；以及
所述计算系统被配置成：基于所计算的履带速度与所计算的工作机器速度的比较来计算滑移率。
12.一种用于对车辆上的机具的位置和取向进行确定的方法，所述方法包括：
利用三维(3D)相机，确定在所述3D相机的视场中的所述机具的多个组件中的每个组件在局部坐标系中的局部三维位置；
利用全球定位系统和惯性测量单元，确定所述3D相机在全球坐标系中的全球三维位置和全球三维取向；
使用所述多个组件中的每个组件的所述局部三维位置、所述3D相机的所述全球三维位置和所述3D相机的所述全球三维取向，针对所述多个组件中的每个组件计算在所述全球坐标系中的全球三维位置；以及
基于所述多个组件中的每个组件的所计算的全球三维位置来计算所述机具的位置和取向。
13.根据权利要求12所述的方法，其中，所述3D相机是立体相机。
14.根据权利要求12所述的方法，其中，所述多个组件包括位于所述机具上的多个标记，所述多个标记包括基于特定颜色的特征或基于特定形状的特征中的至少一者。
15.根据权利要求12所述的方法，其中，所述局部坐标系与所述3D相机相关联。
16.根据权利要求12所述的方法，所述方法还包括：
利用近红外辐射对所述多个组件进行照明，以增强由所述3D相机进行的图像捕获。
17.根据权利要求12所述的方法，所述方法还包括：
基于所计算的所述机具的位置和取向来计算所述机具的高度和倾斜度。
18.根据权利要求12所述的方法，其中，所述车辆是履带式工作机器，所述履带式工作机器包括左履带和右履带，并且所述机具是运土机具，所述方法还包括：
捕获所述左履带和所述右履带的运动的图像，所述左履带和所述右履带位于所述3D相机的所述视场内；
基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度；
使用所述全球定位系统来计算车辆速度；以及
基于所计算的履带速度与所计算的车辆速度的比较来计算滑移率。
19.根据权利要求12所述的方法，其中，所述车辆是运土工作机器，并且所述机具是铲刀，所述方法还包括：
基于在所述3D相机的所述视场内所捕获的所述铲刀的图像，对超过所述铲刀的高度的铲刀负载的能力进行检测。
20.一种计算机程序，所述计算机程序被实施在在非暂态计算机可读介质上，所述计算机程序用于对车辆上的机具的位置和取向进行确定，所述计算机程序被配置成使至少一个处理器执行下述操作，所述操作包括：
利用三维(3D)相机，确定在所述3D相机的视场中的所述机具的多个组件中的每个组件在局部坐标系中的局部三维位置；
利用全球定位系统和惯性测量单元，确定所述3D相机在全球坐标系中的全球三维位置和全球三维取向；
使用所述多个组件中的每个组件的所述局部三维位置、所述3D相机的所述全球三维位置和所述3D相机的所述全球三维取向，针对所述多个组件中的每个组件计算在所述全球坐标系中的全球三维位置；以及
基于所述多个组件中的每个组件的所计算的全球三维位置来计算所述机具的位置和取向。
21.根据权利要求20所述的计算机程序，其中，所述车辆是履带式工作机器，所述履带式工作机器包括左履带和右履带，并且所述机具是运土机具，并且其中，所述操作还包括：
捕获所述左履带和所述右履带的运动的图像，所述左履带和所述右履带位于所述3D相机的所述视场内；
基于所捕获的图像，根据所测得的左履带的速度和所测得的右履带的速度来计算履带速度；
使用所述全球定位系统来计算车辆速度；以及
基于所计算的履带速度与所计算的车辆速度的比较来计算滑移率。
22.根据权利要求20所述的计算机程序，其中，所述车辆是运土工作机器，并且所述机具是铲刀，并且其中，所述操作还包括：
基于在所述3D相机的所述视场内所捕获的所述铲刀的图像，对超过所述铲刀的高度的铲刀负载的能力进行检测。
CN202080096646.8A 2020-01-28 2020-01-28 使用机器视觉对工作机器上的机具进行控制的系统和方法 Pending CN115104075A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000039 WO2021154111A1 (en) 2020-01-28 2020-01-28 System and method for controlling an implement on a work machine using machine vision

Publications (1)

Publication Number Publication Date
CN115104075A true CN115104075A (zh) 2022-09-23

Family

ID=76971172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096646.8A Pending CN115104075A (zh) 2020-01-28 2020-01-28 使用机器视觉对工作机器上的机具进行控制的系统和方法

Country Status (5)

Country Link
US (1) US11846091B2 (zh)
EP (1) EP4097552A4 (zh)
JP (1) JP7463530B2 (zh)
CN (1) CN115104075A (zh)
WO (1) WO2021154111A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7301514B2 (ja) * 2018-09-21 2023-07-03 日立建機株式会社 座標変換システム及び作業機械
US20240087278A1 (en) * 2022-04-07 2024-03-14 Topcon Positioning Systems, Inc. Method and apparatus for determining marker position and attitude
CN114830911B (zh) * 2022-05-19 2023-08-01 苏州大学 智能除草方法、装置和存储介质
WO2023234255A1 (ja) * 2022-05-31 2023-12-07 株式会社クボタ センシングシステム、農業機械、およびセンシング装置

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478492B2 (en) * 1998-11-27 2013-07-02 Caterpillar Trimble Control Technologies, Inc. Method and system for performing non-contact based determination of the position of an implement
US6317676B1 (en) * 2000-06-07 2001-11-13 Caterpillar Inc. Method and apparatus for controlling slip
US9002565B2 (en) * 2003-03-20 2015-04-07 Agjunction Llc GNSS and optical guidance and machine control
JP2005256232A (ja) 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄデータ表示方法、装置、およびプログラム
EP1828862A2 (en) * 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US8224024B2 (en) 2005-10-04 2012-07-17 InterSense, LLC Tracking objects with markers
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US8239083B2 (en) * 2006-01-18 2012-08-07 I-Guide Robotics, Inc. Robotic vehicle controller
JP5227139B2 (ja) 2008-11-12 2013-07-03 株式会社トプコン 建設機械
US9674458B2 (en) * 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US9139977B2 (en) * 2010-01-12 2015-09-22 Topcon Positioning Systems, Inc. System and method for orienting an implement on a vehicle
US20120059554A1 (en) * 2010-09-02 2012-03-08 Topcon Positioning Systems, Inc. Automatic Blade Control System during a Period of a Global Navigation Satellite System ...
JP5237409B2 (ja) * 2011-03-24 2013-07-17 株式会社小松製作所 油圧ショベルの較正装置及び油圧ショベルの較正方法
US9347205B2 (en) * 2012-02-10 2016-05-24 Topcon Positioning Systems, Inc. Estimation of the relative attitude and position between a vehicle body and an implement operably coupled to the vehicle body
US8983739B2 (en) 2012-11-30 2015-03-17 Caterpillar Inc. Real time pull-slip curve modeling in large track-type tractors
US9957692B2 (en) 2013-03-15 2018-05-01 Hexagon Technology Center Gmbh System and method for heavy equipment navigation and working edge positioning using an image acquisition device that provides distance information
US10030358B2 (en) * 2014-02-13 2018-07-24 Trimble Inc. Non-contact location and orientation determination of an implement coupled with a mobile machine
CN105358769B (zh) * 2014-06-04 2017-10-03 株式会社小松制作所 作业机械的姿态运算装置、作业机械及作业机械的姿态运算方法
US10234566B2 (en) * 2015-02-11 2019-03-19 Trimble Inc. Fast GNSS receiver convergence by relative positioning
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
US9624650B2 (en) * 2015-05-05 2017-04-18 Caterpillar Inc. System and method for implement control
DE112015000068B4 (de) * 2015-06-29 2020-09-24 Komatsu Ltd. Baumaschinensteuersystem und Baumaschinensteuerverfahren
WO2016035898A1 (ja) * 2015-09-25 2016-03-10 株式会社小松製作所 作業機械の制御装置、作業機械、及び作業機械の制御方法
CN106817905A (zh) * 2015-09-30 2017-06-09 株式会社小松制作所 校正系统、作业机械和校正方法
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
EP3359748B1 (en) * 2015-10-06 2023-01-04 Topcon Positioning Systems, Inc. Automatic blade control system for a motor grader
WO2016052762A1 (ja) * 2015-10-16 2016-04-07 株式会社小松製作所 作業車両、バケット装置及びチルト角度の取得方法
WO2016133225A1 (ja) * 2016-03-17 2016-08-25 株式会社小松製作所 作業車両の制御システム、制御方法、及び作業車両
DE112016000015B4 (de) * 2016-03-17 2017-10-26 Komatsu Ltd. Steuersystem für Arbeitsfahrzeug, Steuerverfahren und Arbeitsfahrzeug
AU2016402225B2 (en) 2016-04-04 2022-02-10 Topcon Positioning Systems, Inc. Method and apparatus for augmented reality display on vehicle windscreen
US10088576B2 (en) * 2016-04-27 2018-10-02 Topcon Positioning Systems, Inc. GNSS antenna with an integrated antenna element and additional information sources
US10245994B2 (en) 2016-08-17 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Transportation system including autonomous detachable engine modules and passenger module
EP4060288A3 (en) 2016-08-31 2023-02-01 Topcon Positioning Systems, Inc. Apparatus and method for providing vehicular positioning
JP6794193B2 (ja) * 2016-09-02 2020-12-02 株式会社小松製作所 作業機械の画像表示システム
US10519627B2 (en) * 2017-02-08 2019-12-31 Caterpillar Inc. Pull-slip control system for track-type tractor and track-type tractor operating method
US10132060B2 (en) * 2017-02-27 2018-11-20 Caterpillar Inc. Implement orientation by image processing
US10526766B2 (en) 2017-07-31 2020-01-07 Deere & Company Work machines and methods and systems to control and determine a position of an associated implement
JP7117843B2 (ja) * 2017-12-26 2022-08-15 日立建機株式会社 作業機械
CN110799708B (zh) * 2018-03-12 2021-12-31 日立建机株式会社 作业机械
US10689831B2 (en) * 2018-03-27 2020-06-23 Deere & Company Converting mobile machines into high precision robots
JP6946226B2 (ja) * 2018-03-29 2021-10-06 株式会社小松製作所 作業車両の制御システム、方法、及び作業車両
US10807236B2 (en) * 2018-04-30 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multimodal mapping and localization
US20200117201A1 (en) 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
US10781575B2 (en) * 2018-10-31 2020-09-22 Deere & Company Attachment calibration control system
JP7278095B2 (ja) * 2019-02-19 2023-05-19 株式会社小松製作所 作業機械の制御システム
CN113491110A (zh) * 2019-02-28 2021-10-08 住友重机械工业株式会社 显示装置、挖土机、信息处理装置
US10820478B1 (en) 2019-07-30 2020-11-03 Cnh Industrial America Llc System and method for providing a visual indication of field surface conditions
US11905675B2 (en) * 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
US20220134537A1 (en) * 2020-10-29 2022-05-05 Nvidia Corporation Transformation of joint space coordinates using machine learning

Also Published As

Publication number Publication date
WO2021154111A1 (en) 2021-08-05
EP4097552A1 (en) 2022-12-07
US20210230842A1 (en) 2021-07-29
JP7463530B2 (ja) 2024-04-08
EP4097552A4 (en) 2023-11-22
US11846091B2 (en) 2023-12-19
JP2023518146A (ja) 2023-04-28

Similar Documents

Publication Publication Date Title
US11846091B2 (en) System and method for controlling an implement on a work machine using machine vision
EP2187166B1 (en) Industrial Machine
US10859682B2 (en) Telematics using a light ranging system
US9378554B2 (en) Real-time range map generation
CN106029994B (zh) 校正系统、作业机械和校正方法
CA2912432C (en) Mapping of mining excavations
EP3105544B1 (en) Non-contact location and orientation determination of an implement coupled with a mobile machine
US9251587B2 (en) Motion estimation utilizing range detection-enhanced visual odometry
US9224208B2 (en) Image-based surface tracking
US11120577B2 (en) Position measurement system, work machine, and position measurement method
EP3450637A1 (en) Excavator bucket positioning via mobile device
US20190253641A1 (en) Detection processing device of work machine, and detection processing method of work machine
JP6918716B2 (ja) 建設機械
US20200400818A1 (en) Apparatus and method for obstacle detection
US20240028042A1 (en) Visual overlays for providing perception of depth
NL2016718B1 (en) A method for improving position information associated with a collection of images.
US20220316188A1 (en) Display system, remote operation system, and display method
CN114175104A (zh) 基于视觉的叶片定位
US20230340755A1 (en) Continuous calibration of grade control system
JP2023065012A (ja) 記憶装置、および記憶方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination