CN105604119A - 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统 - Google Patents

使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统 Download PDF

Info

Publication number
CN105604119A
CN105604119A CN201510778130.2A CN201510778130A CN105604119A CN 105604119 A CN105604119 A CN 105604119A CN 201510778130 A CN201510778130 A CN 201510778130A CN 105604119 A CN105604119 A CN 105604119A
Authority
CN
China
Prior art keywords
actuator
machine
user
input data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510778130.2A
Other languages
English (en)
Other versions
CN105604119B (zh
Inventor
S·康韦
R·N·布里腾-奥斯汀
E·阿比-卡拉姆
S·史密斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of CN105604119A publication Critical patent/CN105604119A/zh
Application granted granted Critical
Publication of CN105604119B publication Critical patent/CN105604119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/2033—Limiting the movement of frames or implements, e.g. to avoid collision between implements and the cabin
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/04—Display arrangements
    • G01S7/06—Cathode-ray tube displays or other two dimensional or three-dimensional displays
    • G01S7/22—Producing cursor lines and indicia by electronic means
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/96—Dredgers; Soil-shifting machines mechanically-driven with arrangements for alternate or simultaneous use of different digging elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/887—Radar or analogous systems specially adapted for specific applications for detection of concealed objects, e.g. contraband or weapons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统。该系统可以为用户提供与执行器的可能本来对于位于机器的驾驶室中的用户是不可见的一个部分或多个部分的当前位置相关的信息。该系统可以基于与当前机器位置和运动相关的感测数据为用户提供与执行器的一个部分或多个部分的后续轨迹相关的信息。

Description

使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统
技术领域
本发明涉及包括主体和能够相对于主体运动的执行器的一类机器的领域。
背景技术
具有机器主体和能够相对于机器主体运动的执行器的一类机器的用户可以在任何时间从仅一个视角直接观察。因此，用户可以从仅一个视角，诸如执行器的后面或侧面而非例如从执行器的前面，看见相对于机器主体能够运动的执行器。相应地，当需要对执行器的位置进行精确控制时，用户可能需要附加信息以便将执行器精确地定位，尤其是相对于执行器的对于用户不能直接看见的一部分而言。这样的辅助可以例如由离机器某一距离的相机或同事提供。
即使用户得到同事的或来自相机的辅助，用户仍然需要能够做出关于执行器的后续位置的判断以便能够调节他们对机器的地面推进的控制和/或他们对执行器相对于机器主体的位置的控制，以便确保执行器相对于例如将被执行器接触的物品到达期望的位置。
随着时间的过去，用户可能会获得丰富的经验和熟悉度从而能够推断执行器的对于他们而言不能直接看见的一部分的位置。通过更进一步的经验，用户能够在各种控制输入的基础上做出与执行器的后续位置以及如何通过更改一个或多个控制输入来影响那个后续位置相关的判断。
针对该背景，提供了一种使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统。
发明内容
一种用于为包括主体和相对于主体能够运动的执行器的一类机器的用户提供辅助的系统，其中该系统包括：
处理器，其被配置成接收多个系统输入以及配置成传递系统输出；和
显示器，其被配置成向用户显示系统输出；
其中所述多个系统输入包括：
(a)第一系统输入数据，其与执行器的类型和/或尺寸有关；
(b)第二系统输入数据，其与执行器的当前位置有关；
(c)第三系统输入数据，其从在执行器附近的区域上聚焦的雷达设备导出；以及下列项中的一项或两项：
(d)第四系统输入数据，其与管控机器的地面推进的第一类型用户输入控制有关；和
(e)第五系统输入数据，其与管控执行器相对于主体的运动的第二类型用户输入控制有关；
其中处理器被配置成处理所述多个系统输入以便传递表示与执行器的位置相关的用户指导的系统输出。
附图说明
现在仅以示例的方式结合附图来描述本发明的特定实施例，在附图中：
图1示出具有装载机铲斗作为执行器的机器的示意图，在该机器中可以采用本发明的系统的实施例；
图2示出具有铲叉附接件作为执行器的机器的示意图，在该机器中可以采用本发明的系统的实施例；
图3示出具体为具有抓斗附接件的挖掘机的机器的示意图，其中可以采用本发明的系统的实施例；
图4示出具体为具有抓斗附接件的挖掘机的机器的示意图，其中可以采用本发明的系统的实施例；
图5示出具体为具有前置铲刀的履带式拖拉机的机器的示意图，其中可以采用本发明的系统的实施例；
图6示出从图5的机器的上方观察的示意图，示出处于第一构型中的前置铲刀；
图7示出从图5的机器的上方观察的示意图，示出处于第二构型中的前置铲刀；
图8示出从图5的机器的上方观察的示意图，示出处于第三构型中的前置铲刀；
图9示出可以与本发明的系统的实施例兼容的各种执行器9a至9f；
图10示出可以在显示器上向用户呈现的视图的鸟瞰示意图，在该示意图上叠加有由处理器在感测输入的基础上计算的各种轨迹；
图11示出可以在显示器上向用户呈现的视图的鸟瞰示意图，在该示意图上叠加有附接件安全区；
图12示出可以与本发明的系统的实施例兼容的各种执行器12a至12c；
图13示出可以与本发明的系统的实施例兼容的两种锯子执行器13a和13b；
图14示出具有灌木切割器作为其执行器的滑移装载机；
图15示出具有螺旋钻作为其执行器的滑移装载机；
图16示出可以向用户显示的视图的示意图，示出铲叉末端相对于周围环境的轨迹；
图17示出可以向用户显示的视图的示意图，示出与执行器的当前位置相关的信息；
图18示出由执行器的相机提供的视图，包括与执行器相关联的字母数字指示器用于通过本发明的系统的实施例来辅助对执行器的识别；
图19示出来自安装在执行器上的相机的提供给显示器的视图，所述执行器诸如具有相对于彼此能够运动的两个相对的卡爪的抓斗；和
图20示出机器的视图，示出可以由根据本发明的系统使用的输入的示例。
具体实施方式
在第一实施例中，在机器100的背景下可以采用本发明的系统，机器100的示意图在图1中示出。为了便于解释，在图1的示意图中未示出机器100的一些特征部。
机器100可以包括具有驾驶室140的主体130。作为执行器的多个选项中的一个，机器100还可以在机器的前端包括能够相对于主体130运动的装载机铲斗120。虽然所示的实施例示出装载机铲斗120，但是执行器可以与多个替代执行器互换。
机器100以及执行器120的运动可由驾驶室140中的用户控制。因此，用户可以控制机器的地面推进以及执行器120相对于主体130的运动两者。
机器100的地面推进可以由本领域中熟悉的装置和技术来管控。在图1的机器100的情况下，地面推进由四个轮实现。例如，机器的前后运动可以通过将来自机器的引擎的动力经齿轮箱输送至机器的四个轮中的一个或多个来实现。用户可以使用位于驾驶室内部的包括加速器踏板、制动踏板、离合器和换档杆的装置的组合来这样控制。在机器前后运动的同时通过相对于机器的主体的纵向方向旋转前轮可以管控机器100的左右运动。用户可以通过使位于驾驶室140内部的转向盘运动来控制前轮的左右运动。
执行器120相对于主体130的运动可以例如液压地致动和受到可以位于驾驶室140中的一个或多个控制杆的控制，使得用户可以从与操作管控地面推进控制的位置相同的位置或类似的位置来操作它们。取决于执行器120的性质以及连接到机器100的主体130的连接机构，执行器120是能够控制的以相对于机器100的主体130以多个自由度运动。图1的执行器120可以经一对臂156、158连接到主体130，所述一对臂156、158各自在其近端处可枢转地连接到机器的主体的一对枢轴152、154处。枢轴152、154可以共享公共轴线。执行器120可以经一对另外的枢轴(未在图1中示出)连接到各个臂156、158的远端。
在图1实施例中，执行器可以是装载机铲斗120。装载机铲斗120相对于机器100的主体130(并且因此，间接地，相对于周围地面)的高度可以受到在第一对枢轴152、154处的一对臂156、158的角度的管控。装载机铲斗120的角度可以受到(a)在第一对枢轴152、154处的一对臂156、158的角度和(b)装载机铲斗120相对于第二对枢轴(未示出)处的一对臂的角度的管控。为该描述的目的，当讨论一对臂156、158的角度时，该角度是指相对于主体130的角度，除非另有说明。同样为了该陈述的目的，当装载机铲斗120的底表面126平行于由机器的轮子所处的周围地面限定的平面时，可以将装载机铲斗120描述为水平的。当装载机铲斗120的底表面126相对于机器100向前倾斜使得装载机铲斗120的内含物可以在重力作用下从装载机铲斗120的前开口落下时，装载机铲斗120可以被描述为具有向下的角度。相反，当装载机铲斗120的底表面相对于机器100向后倾斜使得可以防止铲斗的内含物在重力作用下从装载机铲斗120落下时，装载机铲斗120可以被描述为具有向上的角度。
应领会，对于臂角度和装载机铲斗角度的许多组合，装载机铲斗120的前边缘122对于坐在机器100的驾驶室140中的用户而言是不可见的。对于在装载机铲斗120的前边缘122对于坐在机器100的驾驶室140中的用户而言是可见的情况下臂角度和装载机铲斗角度的其它组合，装载机铲斗120的其它特征部诸如装载机铲斗120的顶边缘对于用户而言可能是不可见的。此外，由于对于包括装载机铲斗120的许多执行器而言，存在另外的自由度，包括改变铲斗的底表面126与铲斗的后表面128之间的角度的可能性，所以当处于某些角度时，存在用户可能无法看见的执行器及其位置的其他方面。
系统可以包括机器100的驾驶室中的用户可见的一个或多个传感器、处理器和显示器。
在图1的实施例中，传感器可以包括安装在机器上的第一相机(未示出)。传感器可以包括另外的相机。第一相机可以被配置成在其视场内获得执行器中的一些或所有执行器的图像(在图18中给出这样的视图的示例)。处理器可以被装备成运行图像处理软件，图像处理软件可以被配置成从显示在执行器1820上的图像识别示出字母数字字符1890的图像的子集或类似物，以便从数据库或类似物获得与具有所述字母数字字符1890的执行器相关联的数据。例如，数据可以包括执行器的类型(例如，铲斗、铲叉、扫帚、铲刀或本领域已知的任意其它执行器)以及执行器的尺寸和其它特征，包括例如自由度、打开和闭合相对的卡爪的可能性、或执行器的一部分相对于执行器的另一部分的其它运动。
数据库可以是任意数据源，包括位于处理器内的数据源或定位成远离处理器并且可以经因特网或由其它手段无线地访问的数据源。
图像处理软件还可被配置成检测执行器120的一个或多个参考点和主体130的一个或多个参考点以便确定执行器120参考点相对于主体130参考点的位置。
已经通过数据库确定了执行器120上至少一个参考点的位置以及执行器类型和大小的细节，图像处理软件可以使用这两组数据来确定涉及更宽范围的参考点的执行器位置数据，可能包括不在相机的视场内的参考点。
显示器(在图1中未示出)可以是任意形式的显示装置。它可以例如为安装在机器100的驾驶室140中的方便位置处的常规发射显示器(诸如，例如LCD、LED、OLED或任意其它显示装置)。在替代方案中，显示器可以包括投影装置，被配置成投射到例如驾驶室140的挡风玻璃/挡风屏上。显示器可以与驾驶室140中的其它仪器一体化，或许在制造机器100时，或可以随后装配并且简单地安装在任意方便的位置处。替代地，显示器可以是平视显示器、头戴式光学显示器或其它可穿戴技术。用户可视的任意显示器可以是适当的。
显示器可以被配置成在其周围事物的背景下显示执行器的至少一部分的实时视图。实时视图可以是通过第一相机或另一个相机获得的实时视图。替代地，实时视图本质上可以是示意性的并且可以通过源自一个或多个相机的数据或源自一个或多个其它传感器的其它数据产生。
在一些实施例中，显示器可以不提供图像的实时视图或视图的示意表征。相反，它可以仅将信息(诸如指导或轨迹信息)叠加在用户的视场上。例如，在涉及平视显示器的实施例中，指导或轨迹信息可以被提供作为如由用户看到的环境的实际视图的覆盖。
可能的是，实时视图对于任意和所有相机而言可以是从不同的角度。例如，不是令相机位于机器上方一定距离处以便获得直接的鸟瞰视图，而是实时视图可以是通过从多个相机或传感器，所述多个相机或传感器的视场或感测场可以从机器100向外投射，获得的数据推算(assimilate)的机器及其周围的执行器的示意鸟瞰视图。这样的推算的示意鸟瞰视图在为用户提供与可能在相对于主体130运动执行器120之前如何将机器相对于周围环境中的一个或多个物品定位(例如，如何控制机器的地面推进)相关的信息方面可能是特别有用的。
图像处理软件可以被配置成将执行器的对驾驶室中的机器的用户可能不可见的一个或多个方面的表征叠加到视图上。例如，如在图1的实施例中，装载机铲斗120的前边缘122对于机器100的驾驶室140中的用户而言可能是不可见的(参见图18)。图像处理软件可以提供在执行器和机器连同周围人工物品的背景下执行器120的前边缘的当前位置的指示。其可以例如在鸟瞰视图中示出。
显示器可以替代地或额外地提供关于执行器的位置的原始数据而非视图。例如，显示器可以示出铲斗装载机的前边缘相对于地或相对于主体130上的参考位置的高度。它可以示出铲斗装载机相对于纵向水平方向的倾斜角度和铲斗装载机相对于横向水平方向的角度。这些可能被显示为一个或多个数值，也可能利用图标并且也可能利用颜色编码表征来表示适当的(例如，绿色)和不适当的(例如，红色)值。示出这样的信息的显示器的一个示例在图17中示出。
除了表示本机器和执行器位置数据之外，本发明的系统可以用来为用户提供与执行器的后续位置相关的预测性信息。
在这样的预测性实施方式的一个布置中，处理器可以在当前传感器输入的基础上预测机器和执行器的后续位置。处理器可以假设当前传感器输入被维持在恒定水平首先预测一个后续位置。进一步功能可以对传感器输入中的改变做出反应以更新执行器的预测后续位置。所提供输入数据越多，在预测后续位置时的变量就越多。
图2示出本领域已知的作为反铲装载机的机器200的示意图。这样的机器200可以包括主体230、驾驶室240、在机器的前端处的能够相对于主体230运动的第一执行器220和在机器的后端处的能够相对于主体230运动的第二执行器270。机器200及其执行器220、270可以是能够由驾驶室240中的用户操作的。因此，用户可以控制机器200的地面推进以及执行器220、270相对于主体230的运动两者。
如图2中所示，机器200可以具有如执行器的许多选项中的一个的铲叉附接件220作为其第一加载执行器。虽然所示的实施例示出铲叉附接件220，但是执行器可以与多个替代执行器互换。
铲叉附接件220本身可以包括一个或多个传感器229。所述一个或多个传感器229中的一个可以是相机，其可以被配置成为显示器提供图像反馈，和/或可以通过图像反馈计算数据以便为用户提供例如铲叉的高度信息和/或与铲叉之间的当前距离相关的宽度信息。因此，在图像反馈的情况下，用户能够观察处于例如用户希望使用铲叉提升托盘的背景下的铲叉。这样的功能在托架的高度显著高于机器的驾驶室中的用户的高度时可能是特别适当的，否则此时用户可能(a)需要离机器某一距离，该距离允许同时看到托盘和铲叉，的另一个人的辅助或(b)需要离开机器的驾驶室以便从替代视角观察铲叉相对于托盘的位置。
适用于所有的实施例但是相对于图2实施例详细地解释的另一个特征是执行器轨迹映射。如上文所解释的，有经验的用户能够在各种控制输入的基础上做出与执行器220的后续位置有关的判断并且能够做出有关如何通过更改一个或多个控制输入来影响那个后续位置的判断。本发明的系统能够在当前输入的基础上预测后续位置从而允许无足够经验的用户做出这样的判断以享受效率。
在一些实施例中，所述一个或多个传感器中的一个可以是可安装在机器200的主体230上的相机，所述相机可以经处理器为显示器提供图像反馈。这样的图像反馈的示意图可以在图16中找到。图像反馈1600可以示出铲叉1610、1620，或在示出铲叉周围环境中的物品(可能包括在铲叉前面一些距离处的环境中的物品1690)的更宽角度的视图的背景下示出其它执行器。在转向角度保持不变的情况下，处理器可以使用与机器的转向角度相关的数据来计算末端的轨迹。这样的轨迹1630、1640可以叠加(参见例如图16中的虚线)在由相机提供的显示图像(或其示意版本)上以便示出假设转向角度输入保持不变的情况下铲叉的末端将被定位在某点处的位置。在转向角度改变的情况下，处理器可以在当前转向角度的基础上更新轨迹预测并且几乎实时显示更新的轨迹。
在一些实施例中，轨迹可以是二维的，而在其它实施例中，轨迹可以是三维的。
关于机器的转向角度的数据可以由控制轮的角度的转向架上的位置传感器提供，以确定相对于机器的纵向方向的转向角度。用于感测轮角度的替代技术也可以是适当的。
在进一步的变型中，指示用户控制铲叉时铲叉高度变化的传感器读数也可以被提供给处理器，使得铲叉位置的轨迹也可以包括后续高度的指示。以这种方式，后续高度可以被计算并且叠加在由相机提供的图像上。再次，指示执行器高度控制的传感器读数中的改变可以反馈到处理器中，并且轨迹可以几乎实时更新以考虑这样的改变。
以这种方式，缺乏经验的用户可以被提供充分的信息从而能够同时改变转向控制和执行器高度控制以便到达满足感兴趣的物品的轨迹。在铲叉的情况下，用户可能处于同时改变转向角度和铲叉高度的位置中，使得铲叉到达适当的位置以拾取期望的托盘。用户可以在由系统的轨迹映射元件提供的反馈的基础上控制机器位置和铲叉高度，使得机器和铲叉两者协作地到达适当的位置。这可以避免缺乏经验的用户连续地执行各种操纵，诸如，在第一阶段中，通过更改变地面推进控制，包括转向，将机器定位在适当的位置中，并且在仅在完成第一阶段之后开始的第二阶段中，仅在机器本身固定之后将执行器的铲叉相对于机器定位。这也减小如下可能性：在第一阶段中机器定位的误差仅由用户在第二阶段(铲叉提升阶段)已经完成之后识别，导致用户必须返回到第一阶段将机器完全重定位。
在进一步的变型中，在具有多个自由度的执行器的情况下，这些附加自由度可以通过系统的轨迹映射元件调整。因此，例如，在执行器能够相对于机器主体进行高度和角度运动的情况下，涉及控制执行器位置相对于机器主体的这些方面的传感器可以被提供给处理器以便在轨迹映射功能中使用，以便基于当前控制输入为用户提供执行器的后续位置的详细预测，并且在对那些输入中的任一个做出改变的情况下可以几乎实时更新。
如技术人员将领悟的，在由图2例示的反铲装载机的情况下，本发明的实施例可以相对于在机器后面的第二执行器使用。在该示例中，执行器被示出为铲斗附接件，但是在本发明的范围内可构想其它附接件。的确，一个这样的替代执行器可以是抓斗，诸如参照图3中所示的实施例描述的抓斗。
图3示出一种机器，具体地为挖掘机300，其执行器在示例图中为抓斗320。虽然所示的实施例示出抓斗320，但是执行器能够与多个替代执行器互换。
在挖掘机300的情况下，执行器相对于机器的自由度可以不同于与在图1的机器100的背景下所示的装载机铲斗120或与在图2的机器200的背景下所示的铲叉220相关联的自由度。
挖掘机可以包括主体330，主体330可旋转地安装在驱动部分335上，驱动部分335可以包括履带用于地面推进。旋转安装可以允许绕垂直于驱动部分所在的地面投射的轴线旋转。主体330可以包括驾驶室340，用户可以从驾驶室340控制挖掘机300的地面推进和抓斗320相对于主体330的运动两者。
挖掘机300可以进一步包括第一臂350，该第一臂350具有第一端351和第二端352。第一臂350的第一端351可以经第一枢轴355(未示出)可枢转地连接到主体330。挖掘机可以进一步包括第二臂360，该第二臂360具有第一端361和第二端362。第二臂360的第一端361可以经第二枢轴365可枢转地连接至第一臂350的第二端352。第二臂360可以在第二臂360的第二端362处包括执行器联接部368。第一枢轴355的轴线可以平行于第二枢轴365的轴线。
在图3的所示的实施例中，抓斗320附接到执行器联接部368。执行器联接部368可以被配置成使得抓斗320能够在绕垂直于第二臂360的轴线的轴线的方向上做旋转运动。
抓斗320可以包括第一卡爪321和第二卡爪322。第一卡爪321相对于第二卡爪322可以是经铰链布置323能打开且能关闭的，反之亦然。
系统可以包括对于挖掘机300的驾驶室中的用户可见的一个或多个传感器、处理器和显示器。一个或多个传感器可以包括位于抓斗320中的抓斗相机324，抓斗相机324可能在与铰链布置323相邻的两个卡爪321、322之间，使得当抓斗卡爪321、322打开时，相机可以提供图像以包括两个卡爪321、322中的每一个的张开齿325、326和可能在齿325、326附近的任意物品。这可以辅助用户将卡爪321、322相对于所述物品对准以便将物品牢牢在抓在卡爪321、322之间。例如，图像处理软件可以被配置成表示抓斗(示意性地或作为实时相机视图)并且被配置成基于当前控制输入将抓斗卡爪的后续位置的投影叠加在表征上。在输入改变的情况下，这可以通过图像处理软件更新。
此外，图3的实施例可以包括一个或多个另外的传感器用于提供关于下列项中的一项或多项的数据：对履带相对于地面的向前、向后和旋转运动的控制；对第一臂350和第二臂360绕它们的相应的枢轴的控制；主体330与执行器联接部分368之间的距离；抓斗320绕第二臂360的纵向方向的旋转角；抓斗卡爪角，其表示从在第一卡爪321和第二卡爪322的张开齿325、326之间的铰接布置323的视角相对的角度。
从相机和传感器获得的数据可以例如用来产生向用户显示抓斗相机324视场内抓斗320相对于对象的示意表征，它们的尺寸和位置可以从由抓斗相机324提供的视图来获得。示意表征可以从邻近抓斗的推算位置示出抓斗，虽然在那个位置可能不存在相机。执行器相对于机器主体的示意表征可以示出其相对于周围环境中的其它物品的位置，所述其它事物诸如但不限于用户可能有理由希望避开的障碍物。
此外或在替代方案中，这样的数据也可以以各种格式提供给用户，所述格式包括原始距离和角度以及相对于相对比例。
本领域中已知很多种类的抓斗工具。图4示出与图3的挖掘机相同的挖掘机400，除了图3的抓斗320(蛤壳型的抓斗)被取代为分类型的抓斗420之外。
在本发明的范围内可构想另外的抓斗。对于许多类型抓斗，诸如图4的分类抓斗，它可能对于在概念上提供与针对图2的铲叉220提供的轨迹信息类似的轨迹信息是特别有用的。相机可以存在于抓斗内，在两个卡爪之间。相机可以提供在抓斗直接下方的环境的视图。该视图可以在系统显示器上显示给用户。此外，可以基于当前输入提供与后续抓斗卡爪位置相关的、以与图2的铲叉类似的方式(如图16中所示)获得的轨迹信息。
可能被显示的那种图像的示例在图19中示出。该图示出抓斗(诸如图4的抓斗)的相对的卡爪1921、1922。还示出砖1925的托盘作为预期将被抓斗收集的事物的示例。本发明的系统基于当前输入在显示器上叠加抓斗1923、1924的后续轨迹的指示以便为用户提供关于如何对抓斗卡爪进行定位的指导。
图5示出履带式拖拉机500(包括铲刀520作为其执行器)的前端的示意图。履带式拖拉机500可以包括主体驾驶室540，用户可以从主体驾驶室540控制履带式拖拉机500的地面推进以及铲刀520相对于机器主体的运动。图6示出从上面看到的图5的履带式拖拉机500的前端的示意图。铲刀520以第一直配置示出。图7和图8示出图6的履带式拖拉机500的前端的示意图，铲刀520分别处于第二配置和第三配置中。
如从第一、第二和第三铲刀配置能够看到的，铲刀520可以包括铰链。铲刀520的第一部分521可以位于铰链的第一侧上，并且铲刀520的第二部分522可以位于铰链的第二侧上。铰链可以使得能够在第一直铲配置或在折叠配置下使用铲刀520，在折叠配置时铲刀520的第一部分521相对于铲刀520的第二部分522处于不同于180度的角度。
此外，铲刀520相对于履带式拖拉机500的主体530能够上下运动。此外，铲刀520的一侧能够独立于铲刀520的相对侧上下运动，使得铲刀520在第一端处比在第二端处更低。此外，虽然在图5中铲刀520被示出为大致垂直于履带式拖拉机500所在的表面，但是可以更改铲刀520的倾斜角，使得铲刀520相对于履带式拖拉机500的主体530向前或向后倾斜。
在该实施例中，如在先前的实施例中，传感器可以用来检测执行器类型、角度、倾斜、铰链位置(因为铲刀可被另一个执行器取代)。此外，传感器可以被配置成提供与机器地面推进控制相关的数据。这样的传感器可以包括本领域已知的那些传感器。例如，与机器相对于地面的速度有关的传感器在用于提供数据至用于显示给用户的速度表的机器中是已知的。此外，传感器可以被配置成以频繁的间隔反馈所感测的参数的改变。从这些传感器获得的数据可以在处理器中被处理并且用来经显示器向用户提供信息。
如上文关于所示的示例所提及的，执行器可以是可互换的。对于本领域中的许多机器情况可能是如此。例如，代替铲，图5的履带式拖拉机可以附接有许多替代执行器，诸如图9a至9f中所示的执行器。图9a示出铲斗910，图9b示出铲刀920，图9c示出冷整平器930，图9d示出压实器940；图9e示出扫帚950，并且图9f示出除雪器960。类似地，如技术人员将很好地理解的，图2的反铲装载机或图1的机器可能能够接收这些执行器中的任一个。
对于诸如这些(以及其它)执行器，在一个实施例中，本发明的系统可以提供处于其环境下机器的示意鸟瞰图，在鸟瞰图上叠加有相对于执行器的宽度和面积的各种表征。这种情况的示例在图10中示出。
首先，系统可以被配置成获得与执行器类型和大小相关的信息。这可以以任意方式获得，包括对在执行器上的并且对于机器上的相机可见的代码的字母数字识别的方式，如上文参照图1实施例所描述的。
基于与机器类型相关的信息，可能存在叠加到鸟瞰图上的表示下列项中的任一项或全部的(潜在)平行线对的示意图：
(a)执行器的作业宽度(例如，在扫帚的情况下，将受益于扫帚的宽度)；
(b)执行器的实际宽度(例如，在扫帚的情况下，执行器的宽度包括延伸到受益于扫帚的宽度以外的宽度)；
(c)安全区，表示推荐的在其内避开人的宽度，并且可以通过机器向前的距离加宽和/或可以通过机器的速度加宽；
(d)雪轨迹区，在除雪机的情况下，雪轨迹区可以向用户指示受到除雪机影响的雪的预期的轨迹，这取决于输出喷嘴的方向，雪轨迹区可以在三维上是可变的。
取决于所选择的执行器，也可以示出其它表征。
图10实施例所需的信息可以通过下列传感器的组合获得：
安装在机器上的一个或多个光学相机；
一个或多个红外相机，安装在机器上以允许检测在机器附近的人和动物；
用于检测附接件类型的一个或多个传感器，诸如经相机进行字母数字识别，经相机进行条码识别，经相机进行QR代码识别，经RDIF收发器进行RFID识别，或任意其它执行器检测策略；
与机器速度相关的一个或多个传感器，其可以与或可以不与机器的速度表相关；
与机器转向控制相关的一个或多个传感器；
与执行器高度相关的一个或多个传感器；
与执行器角度相关的一个或多个传感器；
与执行器倾斜相关的一个或多个传感器；
与其它执行器因素相关的一个或多个传感器，所述因素诸如执行器的卡爪张开的程度，或除雪喷嘴相对于执行器的角度，或任意其它执行器具体变量；
可以使用提供与机器位置、机器速度、机器转向、任意方向的执行器运动相关的数据的任意其它传感器或任意其它适当的传感器。
可以被检测供本文所示的任意实施例的系统使用的各种标准的示意图在图20中提供。虽然图20示出具有铲叉的实施例，但是雷达功能在诸如锯子的执行器中可能是特别适当的。
下面是一个列表，示出将被感测的变量中的一些和在每种情况下可以被使用的那种传感器的典型示例。
附接件的类型可以由相机结合图像处理算法或非接触感应(RFID)传感器来感测。转向角度可以由非接触磁位置传感器来感测。除雪机喷嘴方向可以由非接触磁位置传感器来感测。附接件角度可以由非接触磁位置传感器来感测。机器速度可以由感应或霍耳效应轴转速传感器来感测。铲刀角度可以由非接触线性位置传感器来感测。前连杆高度、倾斜、和/或角度可以由非接触旋转磁位置传感器感测。机器水平高度可以由加速表或回转仪倾斜传感器来感测。铲叉宽度可以由相机结合图像处理算法来感测。前向雷达可以由基于雷达的传感器结合对象检测算法来感测。前向(作业区)相机可以由光学相机感测。下向(地下)雷达可以由基于雷达的传感器结合对象检测算法来感测。“鸟瞰”相机视图可以由多个相机结合图像处理/拼接功能来感测。
在一些实施例中，执行器本身可以包括相机，被配置成经本发明的系统为用户提供数据。这当将执行器与将由执行器接触的物品对准时可能是特别有用的。
在图11中所示的进一步的实施例中，可能表示环绕执行器的安全区，该安全区叠加在机器及周围的执行器的示意图上。根据所述安全区以及根据其它传感器数据(可能包括红外相机以允许图像处理软件解释一个或多个人的存在)，可能看见人们在环境中的位置，与他们是否落入那个区域内相关。在一些变型中，在安全区内检测到人的情况下，本发明的系统可以自动地阻止执行器使用或运动。
包括安全区的实施例可特别适用于当机器相对于其周围物品运动时通常使用的附接件。例如，除雪机(参见图9f)或扫帚(图9e)在极大程度上通常在机器相对于地面运动时被使用。
可能存在与此相关联的潜在的危害。在扫帚950示例的情况下，可能存在碎屑被从扫帚950推进显著距离的风险。类似地，在除雪机960的情况下，可能存在如下动机：使雪从除雪机960沿特定方向转向。
为了减小潜在危害，可能可取的是，当执行器非常接近人和/或周围环境中的特定结构时执行器不能被使用。离执行器的安全距离可以依赖于多个因素，包括执行器类型、执行器具体参数(例如，转速，在扫帚的情况下)、执行器相对于机器主体的位置、机器的向前或向后推进速度、机器的转向位置以及潜在的许多其它因素。
例如，在扫帚的情况下，当机器的向前或向后推进很快时，离机器的适当的距离可以大于当其较慢时。类似地，当扫帚快速旋转时，离机器的适当的距离可以大于当其较慢时。距离可以是不同的，这取决于离执行器的方向。例如，在执行器前面的距离可以比到执行器侧面的距离更长。安全区可以被说成由环绕执行器的周界限定，不建议进入所述周界。安全区的大小和形状可以取决于很多变量。安全区的大小和形状可以在当前输入数据的组合的基础上确定并且可以例如从数据库或类似物获得或在处理器中被计算。
在一个实施例中，安全区可以仅简单地在显示器上呈现给用户。图11中图示出这样的实施例的示例。在该实施例中，显示器可以提供机器1100的鸟瞰示意图，示出主体1130和执行器1120。该视图可以从如例如相对于图10实施例描述的多个传感器推算。叠加在示意图上的可以是安全区1190的表征。在该示例中，安全区1190在执行器前面比在执行器后面延伸更大的距离。情况可能是这样：当机器或执行器操作越快时，安全区的前向范围越大。
在或不在安全区内的物品可以在鸟瞰图中表示。例如，人可以例如由图像或可能由在显示器上检测到人的位置处的图标表示。
替代地或此外，在进一步的实施例中，系统可以自动地超驰控制执行器(例如，扫帚的旋转)以便在安全区内检测到障碍物(例如，人)的情况下降低风险。替代地或此外，系统可以自动地超驰控制机器的地面推进，或许通过施加制动来阻止机器的地面推进。
图12a示出锯子1210，图12b示出灌木切割器1220，并且图12c示出表土疏松器1230。这样的执行器以及已经描述的一些执行器可以受益于与执行器使用和执行器位置相关的进一步的数据感测。例如，锯子1210可以受益于与可能与切割准备期间或切割加工期间的锯片相邻的特定物品相关的感测。
图14示出灌木切割器1420，作为已知为滑移装载机1400的机器的附接件。
在一些实施例中，执行器可以受益于相对于周围环境的进一步感测。例如，锯子可以受益于相对于可能在将被锯子切割的表面下方或在其内的看不见的结构的感测。例如，在锯子可能被用来切割到表面中的情况下，它可能对于检测可能隐藏在将被切割的表面内的管、电缆、钢和其它对象是有益的。
锯子执行器连同雷达检测区和光学相机焦距区在图13a和图13b中一起示出。
为此，锯子执行器可能配备有雷达功能。雷达功能可以被配置成检测对象，所述对象可能包括管、电缆、钢和其它对象，包括可能隐藏在其它物体和表面后方或其内的那些对象。雷达功能可以由可聚焦在当前锯子位置前面感兴趣的位置上的雷达设备提供。与此同时，可以提供在感兴趣的相同位置或类似的位置上聚焦的光学相机。以这种方式，处理器可以从雷达设备和光学相机接收数据并且处理信息以便将经那些技术获得的信息叠加到执行器及其周围物品的示意表征上，使得用户可以被提供信息以辅助控制机器的地面推进以及相对于机器主体对执行器的控制，以便确定优选的切割路径。传感器数据可以几乎实时提供，并且处理器可以几乎实时操作以便几乎实时向用户提供信息，使得用户可以连续地调整他们对机器和执行器的控制以绘制执行器相对于周围物品诸如将被切割的表面的优选路径。
在一些实施例下，可能存在多于一个雷达设备。例如，可能存在第一雷达设备，该第一雷达设备被配置成获得锯子前面以及与前面锯子轨迹绘制相关的信息，并且可能存在第二雷达设备，该第二雷达设备被配置成获得较靠近锯子的当前影响区域的信息。以这种方式，可能存在被提供以影响锯子的前向运动的用户控制的信息以及被提供以影响在当前位置处的锯片的用户控制的信息。这对于防止恰好在可能即将发生所述切割之前意外地切割对象的方面可能是特别有效的。
图15示出具体地被称为滑移装载机1500的机器，具有螺旋钻1520(例如，代替装载机铲斗)作为其执行器以便钻入表面中。在包括螺旋钻的一些执行器的情况下，除了向用户提供在钻入之前如何将螺旋钻相对于表面定位的信息之外，它可能对于用户获得螺旋钻的远端相对于参考点的深度的指示以便能够钻出所需深度的孔是有用的。这样的信息可以被呈现为相对于表面的原始深度或可以示意性地被表示在显示器上。
在本发明的进一步的实施例中，传感器信息可以用来帮助用户对具有与卡车相邻的加载执行器(诸如装载机铲斗120)的机器100定位，用户可能希望将装载机铲斗120的内含物堆积到所述卡车中。这样的信息可以在显示器上呈现给用户和/或可以其他方式为用户提供信息，例如，当机器或执行器的一部分在卡车的特定距离内时提供可听指示。在一些实施例中，可能存在主动制动装置，其接合机器的制动器以便防止碰撞。替代地或此外，在这样的运动将跟随将导致执行器与例如卡车侧面的碰撞的轨迹的情况下，它可以防止用户使执行器进一步运动。
虽然已经相对于各种机器类型公开了各种执行器，但是技术人员理所当然地应领悟，本文描述并且示出的特定机器-执行器组合仅仅为指示性的。在执行器对于附接到的特定机器兼容的范围内，本发明的系统可以等同地适用于所述执行器-机器组合。
例如，本发明可以等同地适用于具有本领域已知的任一种地面推进的机器。系统可以使用与地面推进有关的输入数据，无需知道如何可以实现地面推进。因此，本发明的任意具体实施例并不限于机器是否通过轮、履带、两者的组合或任意其它手段推进。除本文明确列举的那些手段之外，地面推进的其它手段在本领域中是已知的。
本发明可以适用于具有宽范围的不同执行器可能性的机器。执行器可以永久地附接到特定机器或可联接到机器，并且因此可替代另一个范围的执行器中的一个或多个。
虽然已经相对于特定实施例合公开了传感器和输入的一些特定组合，但是技术人员将领悟，传感器和输入的不同组合可以适用于机器和执行器的不同实施例。本发明不应被理解为局限于相对于特定机器和执行器公开的传感器和输入的特定组合。传感器和输入的任意组合可以等同地应用于机器和执行器的任意组合。
工业实用性
本发明对于机器的有效使用有所改进，特别是但不排他地在由缺乏经验的用户使用时有所改进。

Claims (15)

1.一种用于为包括主体和能够相对于所述主体运动的执行器的一类机器的用户提供辅助的系统，其中所述系统包括：
处理器，其能够接收多个系统输入并且能够传递系统输出；和
显示器，其能够向用户显示系统输出；
其中所述多个系统输入包括：
(a)第一系统输入数据，其与执行器的类型和/或尺寸有关；
(b)第二系统输入数据，其与执行器的当前位置有关；
(c)第三系统输入数据，其源自于在执行器附近的区域上聚焦的雷达设备；以及下列项中的一项或两项：
(d)第四系统输入数据，其与第一类型的用户输入控制有关，所述第一类型的用户输入控制管控所述机器的地面推进；和
(e)第五系统输入数据，其与第二类型的用户输入控制有关，所述第二类型的用户输入控制管控所述执行器相对于所述主体的运动；
其中所述处理器能够处理所述多个系统输入以便传递表示与执行器的位置相关的用户指导的系统输出。
2.根据权利要求1所述的系统，进一步包括一个或多个传感器，所述一个或多个传感器能够用于获得所述多个输入数据中的至少一些。
3.根据权利要求2所述的系统，其中所述一个或多个传感器包括一个或多个相机。
4.根据权利要求3所述的系统，其中所述一个或多个相机包括定位成提供执行器的图像的相机，所述执行器能够连接到所述机器的执行器联接器。
5.根据任一前述权利要求所述的系统，其中所述多个系统输入还包括源自于在所述执行器附近的区域上聚焦的相机的第六系统输入数据。
6.根据权利要求5所述的系统，其中所述系统输出包括所述第三系统输入数据和所述第六系统输入数据的组合的表征。
7.根据权利要求6所述的系统，其中所述系统输出表示与所述执行器的特征部相对于所述机器周围的环境的一个或多个后续位置相关的用户指导，其中所述一个或多个后续位置基于当前输入数据计算。
8.根据权利要求7所述的系统，其中所述输出包括由所述相机提供的实时图像，所述实时图像包括所述执行器的至少一部分，并且还包括所述执行器相对于所述执行器的目前位置的一个或多个后续位置的表征。
9.根据任一前述权利要求所述的系统，进一步包括数据库，所述数据库包括对应于用于所述第一、第二、第三系统输入数据以及，存在的话，第四、第五和第六系统输入数据中每一个的值的数据、以及用于系统输入数据值的每个组合的数据、对应的系统输出数据值，其中所述处理器能够在所述数据库中搜索与所述系统输入数据值对应的一个或多个输出数据值。
10.根据权利要求1至8中的任一项所述的系统，其中所述处理器能够计算函数，所述函数具有多个函数输入和一个或多个函数输出，并且其中所述处理器能够将所述多个系统输入传递至所述函数输入，并且能够传递所述一个或多个函数输出作为所述系统输出。
11.根据权利要求5或从属于权利要求5的任一权利要求所述的系统，其中所述相机和所述雷达设备中的一者或两者位于能够联接到机器的执行器上。
12.根据权利要求3或从属于权利要求3的任一权利要求所述的系统，其中与所述执行器的类型和/或尺寸相关的所述第一输入数据通过将所述处理器配置成如下来获得：
从所述一个或多个相机中的一个获得图像，其中所述图像包括连接到所述机器的执行器上的感兴趣区域，其中所述感兴趣区域是期望显示一个或多个字母数字字符的区域；
使用字母数字识别技术来识别所述一个或多个字母数字字符；
在数据库中搜索一个或多个字母数字字符的组合以及从与一个或多个字母数字字符的组合相关联的数据库的一部分获得存储在所述数据库中的、包括下列项中的一项或多项的与执行器相关的数据：
执行器类型；
执行器的一个或多个尺寸；
执行器或执行器的部件的自由度；
与所述执行器有关的其它数据。
13.根据权利要求2或从属于权利要求2的任一权利要求所述的系统，其中与所述执行器的类型和/或尺寸相关的所述第一输入数据通过将所述处理器配置成如下来获得：
使用下列技术中的一项或多项来获得用于识别所述执行器的信息：
图像识别；
条形码识别；
QR码识别；
RFID检测；
在数据库中搜索并且从与所获得的信息相关联的数据库的一部分获得存储在所述数据库中的、包括下列项中的一项或多项的与执行器相关的数据：
执行器类型；
执行器的一个或多个尺寸；
执行器或执行器的部件的自由度；
与所述执行器有关的其它数据。
14.一种用于与任一前述权利要求所述的系统一起使用的包括相机和雷达设备的执行器。
15.一种包括权利要求1至13中的任一项所述的系统的机器。
CN201510778130.2A 2014-11-14 2015-11-13 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统 Active CN105604119B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14193343.2A EP3021178B1 (en) 2014-11-14 2014-11-14 System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
EP14193343.2 2014-11-14

Publications (2)

Publication Number Publication Date
CN105604119A true CN105604119A (zh) 2016-05-25
CN105604119B CN105604119B (zh) 2021-12-03

Family

ID=51904774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510778130.2A Active CN105604119B (zh) 2014-11-14 2015-11-13 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统

Country Status (3)

Country Link
US (1) US20160138247A1 (zh)
EP (1) EP3021178B1 (zh)
CN (1) CN105604119B (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
EP3168373B1 (en) * 2014-11-14 2019-07-10 Caterpillar Inc. A machine with a system for improving safety
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
US20160312432A1 (en) * 2015-04-23 2016-10-27 Caterpillar Inc. Computer Vision Assisted Work Tool Recognition and Installation
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6737288B2 (ja) * 2016-01-13 2020-08-05 株式会社ソシオネクスト 周囲監視装置、画像処理方法、及び画像処理プログラム
US10025314B2 (en) * 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
CN106049568A (zh) * 2016-06-24 2016-10-26 山东交通学院 一种多单元直线驱动平面四活动度重型装载机器人
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10011976B1 (en) 2017-01-03 2018-07-03 Caterpillar Inc. System and method for work tool recognition
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10519631B2 (en) 2017-09-22 2019-12-31 Caterpillar Inc. Work tool vision system
DE102017124850A1 (de) 2017-10-24 2019-04-25 Jungheinrich Ag Flurförderzeug mit einer Gabel und einer Gabelzinkenkamera sowie Verfahren zum Betreiben eines solchen Flurförderzeugs
GB2570279A (en) * 2017-10-31 2019-07-24 Caterpillar Sarl A radar system for detecting profiles of objects, particularly in a vicinity of a machine work tool
US10543782B2 (en) 2017-12-19 2020-01-28 Caterpillar Paving Products Inc. Cutting tool visual trajectory representation system and method
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view
DE102019120021A1 (de) * 2019-07-24 2021-01-28 Jungheinrich Aktiengesellschaft Flurförderzeug mit einer Assistenzeinrichtung
GB2586079A (en) * 2019-08-02 2021-02-03 Rodradar Ltd A radar system for detecting profiles of objects, particularly in a vicinity of a machine work tool
US11543522B2 (en) * 2020-04-10 2023-01-03 Caterpillar Paving Products Inc. Ultrasonic sensors for work machine obstacle detection
DE102020132038A1 (de) 2020-12-02 2022-06-02 Deere & Company Bedienerschnittstelle für eine autonome Maschine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621666A (en) * 1995-04-20 1997-04-15 Dynavisions, Inc. Planter monitor
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
CN103502541A (zh) * 2011-05-26 2014-01-08 住友重机械工业株式会社 具备电动式回转装置的铲土机及其控制方法
CN103828351A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统以及作业车辆
US20140240506A1 (en) * 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines
CN104067144A (zh) * 2012-03-29 2014-09-24 住友建机株式会社 施工机械用周边监控装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5019761A (en) * 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
DE19613386A1 (de) * 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
US6169948B1 (en) * 1996-06-26 2001-01-02 Hitachi Construction Machinery Co., Ltd. Front control system, area setting method and control panel for construction machine
US6236924B1 (en) * 1999-06-21 2001-05-22 Caterpillar Inc. System and method for planning the operations of an agricultural machine in a field
FR2810307B1 (fr) * 2000-06-14 2005-04-08 Nippon Yusoki Co Ltd Vehicule de manutention, chariot retractable et chariot elevateur
US6711501B2 (en) * 2000-12-08 2004-03-23 Satloc, Llc Vehicle navigation system and method for swathing applications
US7825770B2 (en) * 2006-06-08 2010-11-02 The Crosby Group LLC System and method of identification, inspection and training for material lifting products
US7516563B2 (en) * 2006-11-30 2009-04-14 Caterpillar Inc. Excavation control system providing machine placement recommendation
US8209075B2 (en) * 2007-07-31 2012-06-26 Deere & Company Method and system for generating end turns
US8817238B2 (en) * 2007-10-26 2014-08-26 Deere & Company Three dimensional feature location from an excavator
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US8768580B2 (en) * 2009-10-19 2014-07-01 Hitachi Construction Machinery Co., Ltd. Operation machine
US8768577B2 (en) * 2010-05-04 2014-07-01 Clark Equipment Company Implement interface display
CN102906347B (zh) * 2010-05-24 2015-04-22 日立建机株式会社 作业机械的安全装置
JP5350348B2 (ja) * 2010-09-30 2013-11-27 株式会社小松製作所 ガイダンス出力装置及びガイダンス出力方法
JP5498442B2 (ja) * 2011-06-24 2014-05-21 株式会社小松製作所 作業車両、作業車両用表示装置、および作業車両用表示装置の制御方法
WO2013015300A1 (ja) * 2011-07-25 2013-01-31 株式会社クボタ 作業機、作業機のデータ通信システム、作業機の作動システム及び作業機の設定変更システム
US8843282B2 (en) * 2011-11-02 2014-09-23 Caterpillar Inc. Machine, control system and method for hovering an implement
US8868304B2 (en) * 2012-02-10 2014-10-21 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
FR2992143B1 (fr) * 2012-06-25 2014-06-13 Kuhn Sa Dispositif d'accouplement perfectionne et machine agricole comportant un tel dispositif
DE102012106990A1 (de) * 2012-07-31 2014-02-06 Linde Material Handling Gmbh Fahrerassistenzvorrichtung für ein Flurförderzeug sowie Flurförderzeug
US9169973B2 (en) * 2012-12-18 2015-10-27 Agco Corporation Zonal operator presence detection
US9836036B2 (en) * 2013-04-09 2017-12-05 Cnh Industrial America Llc Agricultural implement with automated recognition of seed attributes
JP5789279B2 (ja) * 2013-04-10 2015-10-07 株式会社小松製作所 掘削機械の施工管理装置、油圧ショベルの施工管理装置、掘削機械及び施工管理システム
US9037349B2 (en) * 2013-08-27 2015-05-19 Ford Global Technologies Trailer identification system for trailer backup assist
US9352777B2 (en) * 2013-10-31 2016-05-31 Ford Global Technologies, Llc Methods and systems for configuring of a trailer maneuvering system
US9587380B2 (en) * 2013-11-19 2017-03-07 Komatsu Ltd. Display device of work vehicle and display method for the same
US9424749B1 (en) * 2014-04-15 2016-08-23 Amanda Reed Traffic signal system for congested trafficways
CN105307739B (zh) * 2014-05-15 2017-09-29 株式会社小松制作所 挖掘机械的显示系统、挖掘机械以及挖掘机械的显示方法
US9449295B2 (en) * 2014-06-25 2016-09-20 Amazon Technologies, Inc. Tracking transactions by confluences and sequences of RFID signals
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
EP3168373B1 (en) * 2014-11-14 2019-07-10 Caterpillar Inc. A machine with a system for improving safety
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621666A (en) * 1995-04-20 1997-04-15 Dynavisions, Inc. Planter monitor
CN103180522A (zh) * 2010-10-22 2013-06-26 日立建机株式会社 作业机械的周边监视装置
CN103502541A (zh) * 2011-05-26 2014-01-08 住友重机械工业株式会社 具备电动式回转装置的铲土机及其控制方法
CN104067144A (zh) * 2012-03-29 2014-09-24 住友建机株式会社 施工机械用周边监控装置
CN103828351A (zh) * 2012-09-21 2014-05-28 株式会社小松制作所 作业车辆用周边监视系统以及作业车辆
US20140240506A1 (en) * 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines

Also Published As

Publication number Publication date
EP3021178A1 (en) 2016-05-18
US20160138247A1 (en) 2016-05-19
EP3021178B1 (en) 2020-02-19
CN105604119B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN105604119A (zh) 使用雷达设备的用于辅助包括主体和执行器的一类机器的用户的系统
CN105604123A (zh) 用于改进包括主体和能够相对于主体运动的执行器的一类机器的使用安全性的系统
CN105604120A (zh) 用于辅助包括主体和能够相对于主体运动的执行器的类型的机器的使用者的系统
US20200310442A1 (en) Systems and methods for transfer of material using autonomous machines with reinforcement learning and visual servo control
Marshall et al. Robotics in mining
JP7240382B2 (ja) 作業機械
Eraliev et al. Sensing, perception, decision, planning and action of autonomous excavators
CA3097767C (en) Mixed reality method and system for precision mining
US10474155B2 (en) System and method for material disposal
US11952746B1 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
US11346086B1 (en) Machine learning for optimizing tool path planning in autonomous earth moving vehicles
CA3216836A1 (en) Autonomous control of heavy equipment and vehicles using task hierarchies
US20210080965A1 (en) Autonomous object relocation robot
US20210239837A1 (en) Method and system for performing dynamic lidar scanning
US20240093464A1 (en) Autonomous Control Of Operations Of Earth-Moving Vehicles Using Trained Machine Learning Models
Xiao et al. Research status and development trend of underground intelligent load-haul-dump vehicle—a comprehensive review
Emter et al. Algorithm toolbox for autonomous mobile robotic systems
EP3594417B1 (en) Control system for controlling a tool of a machine
US11746501B1 (en) Autonomous control of operations of powered earth-moving vehicles using data from on-vehicle perception systems
Winstanley et al. Field and service applications-Dragline automation-A dedade of development-Shared Autonomy for Improving Mining Equipment Productivity
Nguyen et al. Autonomous navigation with mobile robots using deep learning and the robot operating system
Ordonez et al. Characterization and traversal of pliable vegetation for robot navigation
Roberts et al. Development of a 3500-tonne field robot
CN117957095A (zh) 从演示中学习确定机器人感知运动
Frese et al. An autonomous crawler excavator for hazardous environments: Ein autonomer Raupenbagger für menschenfeindliche Umgebungen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant