CN112487860A - 具有使用视觉识别的对象检测的移动式作业机械 - Google Patents

具有使用视觉识别的对象检测的移动式作业机械 Download PDF

Info

Publication number
CN112487860A
CN112487860A CN202010804235.1A CN202010804235A CN112487860A CN 112487860 A CN112487860 A CN 112487860A CN 202010804235 A CN202010804235 A CN 202010804235A CN 112487860 A CN112487860 A CN 112487860A
Authority
CN
China
Prior art keywords
work machine
image
mobile work
location
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010804235.1A
Other languages
English (en)
Inventor
迈克尔·G·基恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
Deere and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere and Co filed Critical Deere and Co
Publication of CN112487860A publication Critical patent/CN112487860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/2025—Particular purposes of control systems not otherwise provided for
    • E02F9/205—Remotely operated machines, e.g. unmanned vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E02F9/265—Sensors and their calibration for indicating the position of the work tool with follow-up actions (e.g. control signals sent to actuate the work tool)
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E02F9/262—Surveying the work-site to be treated with follow-up actions to control the work tool, e.g. controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)

Abstract

一种控制作业现场上的移动式作业机械的方法，包括接收在作业现场上检测到的对象的指示，确定对象相对于移动式作业机械的位置，接收作业现场的图像，将所确定的对象的位置与图像的一部分相关联，通过对图像的所述部分执行图像处理来评估对象，以及基于该评估生成控制移动式作业机械的控制信号。

Description

具有使用视觉识别的对象检测的移动式作业机械
技术领域
本公开总体上涉及用于移动式作业机械的对象检测系统。更具体地，但不是限制性地，本公开涉及一种用于移动式作业机械的对象检测系统，该对象检测系统使用雷达检测和视觉识别来监测在作业机械的后方路径中的对象。
背景技术
存在许多不同类型的作业机械。这些作业机械可以包括建筑机械、草皮管理机械、林业机械、农业机械等。许多这样的移动式设备具有可控子系统，该可控子系统包括在执行操作时由操作者控制的机构。
例如，建筑机械可以具有多个不同的机械、电气、液压、气动和机电子系统，其中所有这些子系统都可以由操作者操作。根据作业现场操作，建筑机械通常负责将材料运输穿过作业现场，或者运输到作业现场中或运输到作业现场外。不同的作业现场操作可以包括将材料从一个位置移动到另一个位置或平整作业现场等。在作业现场操作期间，可使用各种建筑机械，包括铰接式自卸卡车、轮式装载机、平地机和挖掘机等。
作业现场操作可能涉及大量的步骤或阶段，并且可能相当复杂。此外，作业现场操作通常需要操作者进行精确的机器控制。在作业现场上的某些机动性要求操作者沿相反的方向操作作业机械，以使作业机械返回穿过作业现场。在这样做时，通常存在盲点或操作者难以观察的区域，即使使用镜子或诸如后视相机的后视系统。这增加了作业机械与作业现场上的对象(例如其他机器、人、作业现场材料等)不期望的接触的风险。
以上讨论仅提供一般背景信息，而不旨在用于帮助确定所要求保护的主题的范围。
发明内容
一种控制作业现场上的移动式作业机械的方法，包括接收在作业现场上检测到的对象的指示，确定该对象相对于移动式作业机械的位置，接收作业现场的图像，将所确定的对象的位置与图像的一部分相关联，以及生成控制信号，通过对图像的所述部分的图像处理评估该对象，以及基于该评估生成控制移动式作业机械的控制信号。
提供该发明内容以以简化的形式引入一些概念，这些概念将在下面的具体实施方式中进行进一步描述。该发明内容既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。所要求保护的主题不限于解决背景技术中指出的任何或所有缺陷的实施方式。
附图说明
图1是示出包括移动式作业机械的作业机械架构的一个示例的框图。
图2是示出移动式作业机械的一个示例的立体图。
图3是示出对象检测系统的一个示例的框图。
图4是示出对象检测系统的示例性操作的流程图。
图5A和5B是示出对象检测系统的示例性操作的流程图。
图6是示出路径确定和控制信号生成的示例性操作的流程图。
图7是示例性用户界面显示，示出了移动式作业机械的路径。
图8是示例性用户界面显示，示出了移动式作业机械的路径。
图9是示例性用户界面显示，示出了移动式作业机械的路径。
图10是示出部署在远程服务器架构中的图1所示的架构的一个示例的框图。
图11至图13示出可以在先前附图中所示的架构中使用的移动设备的示例。
图14是示出可以在先前附图中所示的架构中使用的计算环境的一个示例的框图。
具体实施方式
本公开总体上涉及用于移动式作业机械的对象检测系统。更具体地，但不是限制性地，本公开涉及一种用于移动式作业机械的对象检测系统，该对象检测系统使用雷达检测和视觉识别来检测在作业机械的后方路径中的对象。
图1是示出了包括移动式作业机械102的作业机械架构100的一个示例的框图。作业机械102包括控制系统104，该控制系统104被配置成控制在作业现场上执行操作的一组可控子系统106。例如，操作者108可以通过操作者接口机构110与作业机械102交互并控制作业机械102。操作者接口机构110可以包括诸如方向盘、踏板、控制杆、操纵杆、按钮、拨盘、连杆等之类的物品。此外，操作者接口机构可以包括显示用户可致动元件(例如图标、链接、按钮等)的显示设备。在该设备是触摸感应显示器的情况下，可以通过触摸手势来致动这些用户可致动的项目。类似地，在机构110包括语音处理机构的情况下，操作者108可以分别通过麦克风和扬声器提供输入和接收输出。操作者接口机构110可以包括多种其他音频、视觉或触觉机构中的任何一种。
作业机械102包括通信系统112，该通信系统112被配置成与架构100中的其他系统或机器通信。例如，通信系统112可以与其他本地机器通信，例如与作业机械102在同一作业现场操作的其他机器。在所示的示例中，通信系统112被配置成通过网络116与一个或多个远程系统114通信。网络116可以是多种不同类型的网络中的任何一种。例如，网络116可以是广域网络、局域网络、近场通信网络、蜂窝通信网络或多种其他网络中的任何一种或网络的组合。
远程用户118被示出为与远程系统114交互，例如通过通信系统112从作业机械102接收通信信息或向作业机械102发送通信信息。例如但不限于，远程用户122可以借助移动设备从作业机械102接收通信信息，例如通知、请求帮助等。
图1还示出作业机械102包括一个或多个处理器122、一个或多个传感器124、对象检测系统126、数据存储器128，并且也可以包括其他项目130。根据作业机械102的类型，传感器124可以包括各种各样的传感器中的任何一种。例如，传感器124可以包括对象检测传感器132、材料传感器134、位置/路线传感器136、速度传感器138、作业现场成像传感器140，并且还可以包括其他传感器142。
材料传感器134被配置成感测正在被作业机械102移动、处理或以其他方式操作的材料。速度传感器138被配置成输出指示作业机械102的速度的信号。
位置/路线传感器136被配置成当作业机械穿过作业现场时识别作业机械102的位置和作业机械102的相应路线(例如，航向)。传感器136包括被配置成生成指示作业机械102的角度或转弯半径的信号的传感器。传感器可以包括但不限于转向角传感器、铰接角传感器、轮速传感器、差速驱动信号、陀螺仪，仅举几例而已。
作业现场成像传感器140被配置成获得作业现场的图像，该图像可以被处理以识别作业现场的对象或状况。成像传感器140的示例包括但不限于相机(例如，单目相机、立体相机等)，该相机获取作业现场的区域的静止图像、图像的时间序列和/或视频馈送。例如，相机的视场(FOV)包括作业现场的在作业机械102的后方的区域，并且该区域对于在作业机械102的操作者隔间或驾驶室中的操作者108来说可能不是可见的。
对象检测传感器132可以包括电磁辐射(EMR)发送器和接收器(或收发器)162。EMR发送器/接收器的示例包括射频(RF)设备164(诸如RADAR)、LIDAR设备166，并且也可以包括其他设备168。对象检测传感器132还可以包括声纳设备170，并且也可以包括其他设备172。
为了说明但非限制，下面将在RADAR的情况下中讨论示例。当然，在那些示例中也可以利用其他类型的检测传感器。
控制系统104可以包括设置控制逻辑系统144、路线控制逻辑系统146、电力控制逻辑系统148、显示生成器逻辑系统149，并且控制系统104可以包括其他项目150。可控子系统106可以包括推进子系统152、转向子系统154、材料处理子系统155、可用于改变机器设置、机器配置等的一个或多个不同的致动器156、用电子系统158，并且控制系统104可以包括各种各样的其他系统160，其中的一些在下面进行描述。在一个示例中，可控子系统106包括操作者接口机构110，诸如显示设备、音频输出设备、触觉反馈机构以及输入机构。下面进一步详细讨论示例。
设置控制逻辑系统144可以控制子系统106中的一个或多个子系统，以基于对象、作业现场的情况或特征来改变机器设置。举例来说，设置控制逻辑系统144可以致动改变材料处理子系统155、推进子系统152和/或转向子系统154的操作的致动器156。
路线控制逻辑系统146可控制转向子系统154。作为示例而非限制，如果对象检测系统126检测到对象，则路线控制逻辑系统146可以控制推进子系统152和/或转向子系统154以避开被检测到的对象。
电力控制逻辑系统148生成控制信号以控制用电子系统158。例如，电力控制逻辑系统148可以向不同的子系统分配电力，通常是提高电力使用或降低电力使用等。这些仅是示例，并且也可以使用各种各样的其他控制系统以以不同的方式控制其他可控子系统。
显示生成器逻辑系统149说明性地生成控制信号以控制显示设备，从而为操作者108生成用户界面显示。显示可以是具有用于由操作者108交互的用户输入机制的交互式显示。
对象检测系统126被配置成从对象检测传感器132接收信号，并且基于这些信号检测在作业现场(例如，在作业机械102的后方路径中)上邻近作业机械102的对象。因此，对象检测系统126可以帮助操作者108在倒退时避开对象。在更详细地讨论对象检测系统126之前，将参照图2讨论移动式作业机械的示例。
如上所述，移动式作业机械可以采用各种各样不同的形式。图2是示出以非公路建筑车辆形式的移动式作业机械200的一个示例的图示，该移动式作业机械具有对象检测系统201(例如，系统126)和控制系统202(例如，104)。虽然作业机械200说明性地包括轮式装载机，但是也可以使用各种各样其他的移动式作业机械。作业机械200可以包括其他建筑机械(例如推土机、机动平地机等)、农业机械(例如拖拉机、联合收割机等)，仅举几例而已。
作业机械200包括具有显示设备215的驾驶室214、地面接合元件228(例如，车轮)、马达204、速度传感器206、机架216和动臂组件218。动臂组件218包括动臂222、动臂缸224、铲斗220和铲斗缸226。动臂222枢转地连接到机架216，并且可通过伸出或缩回动臂缸224来升高和降低。铲斗220枢转地连接到动臂222，并且可以通过铲斗缸226的伸出或缩回而移动。在操作期间，移动式作业机械200可由驾驶室214内的操作者控制，其中移动式作业机械200可穿过作业现场。在一个示例中，马达204中的每一个马达说明性地连接到移动式作业机械200的车轮228并被配置成驱动移动式作业机械200的车轮228。速度传感器206说明性地连接到马达204中的每一个马达，以检测马达操作速度。
在所示的示例中，作业机械200包括铰接本体，其中前部229在枢转接头233处枢转地连接到后部231。铰接传感器可用于确定在枢转接头233处的铰接角，该铰接角可用于确定作业机械200的路径。在作业机械200的本体是非铰接的另一示例中，前轮和/或后轮228的角可相对于机架转动。
对象检测系统201检测位于作业机械200的范围内的对象。在所示的示例中，对象检测系统201从对象检测传感器205和成像传感器207(例如，单目相机)接收信号，该对象检测传感器205和成像传感器207说明性地安装在作业机械200的后端209处。在一个示例中，系统201和/或系统202的部件通过作业机械200的CAN网络通信。
对象检测传感器205被配置成从作业机械200的后端209发送检测信号并接收检测信号的反射，以检测作业机械200后面的一个或多个对象。在一个示例中，检测信号包括发送到作业机械200的后方的电磁辐射。例如，检测信号可以包括射频(RF)信号。一些具体的示例包括雷达和LORAN，仅举几例而已。
在其他示例中，对象检测传感器205利用声纳、超声以及光(例如LIDAR)来对对象进行成像。示例性LIDAR系统利用紫外光、可见光和/或近红外光来对对象进行成像。
当然，可以利用其他类型的对象检测器。在任何情况下，对象检测系统201生成指示对象的输出，该输出可以被控制系统202利用以控制作业机械200的操作。
一些作业机械利用后视相机以及雷达系统，该后视相机向操作者显示从作业机械向后看的后视图，该雷达系统提供作业机械后方存在对象的声音指示。这种系统可视地覆盖作业机械正后方的区域，该区域不能被操作者使用镜子看到。然而，对于操作者来说，通常难以确定什么对象是相关的(例如，实际障碍物与非障碍物或误报对象的检测)，以及不存在对象真正位于作业机械周围何处的指示(例如，对象是否在作业机械的路径中)。例如，一些雷达系统具有大的范围，但是具有生成误报警的趋势，该误报警是当不存在对象时的报警。通常，这是由于多路径反射或地面反射。因此，对于操作者来说，可能难以区分真报警和误报警。此外，一些雷达系统可以检测作业机械后方远距离处的对象，但是可能无法检测非常接近传感器(即，靠近作业机械200的后端209)的对象。
此外，一些利用CAN通信的作业机械系统可能具有有限的带宽来通过CAN总线通信。因此，从雷达对象检测系统接收的信号可以包括关于被跟踪对象的有限信息，从而提供低质量的信息。因此，系统不能确定尺寸信息或范围/角分辨率，从而增加了误报检测的可能性。
图3示出了对象检测系统300的一个示例。对象检测系统300被配置成将从对象检测传感器(诸如传感器132)接收的对象检测信息与视觉识别组合，其使用由作业机械上或以其他方式与作业机械相关联的成像传感器捕获的图像。因此，对象检测系统300利用图像作为传感器来检测对象及其相对于作业机械的相应位置，而不是仅向操作者提供观察作业机械后方的能力。而且，由对象检测系统300检测到的对象可以与由成像传感器获取的图像融合，以便向操作者提供所检测到的对象位于图像帧中何处的指示。这可以使操作者能够快速地确定所检测到的对象是误报、操作者已经意识到的真报，还是操作者未意识到的真报。而且，对象检测系统300有助于用于对象检测的更宽覆盖区域，而不显著增加误报的检测。
为了说明而非限制，将在图1所示的移动式作业机械102的情况描述对象检测系统300。
对象检测系统300包括启动逻辑系统302，该启动逻辑系统被配置成启动和控制由对象检测系统300执行的对象检测。例如，对象检测系统300可以响应于模式选择器304确定作业机械102已经进入对象检测系统300将被启动所针对的具体模式。例如，对象检测系统可以响应于通过感测操作者输入和/或机器设置确定作业机械102正在进行倒退或正在准备倒退等。
传感器控制逻辑系统306被配置成控制对象检测传感器132和成像传感器140。逻辑系统306控制传感器132发送检测信号并接收检测信号的相应反射，该检测信号被对象检测逻辑系统308用于检测作业现场上的对象的存在。逻辑系统306控制传感器140，以获取作业现场的图像。
对象位置确定逻辑系统310被配置成确定由逻辑系统308检测到的对象的位置。对象/图像关联逻辑系统312被配置成将由逻辑系统310确定的对象位置与由成像传感器140捕获的图像的一部分相关联。
视觉识别系统313被配置成对图像执行视觉识别，以评估由逻辑系统308检测到的对象。说明性地，视觉识别系统313包括图像处理逻辑系统314和对象评估逻辑系统316，该图像处理逻辑系统被配置成对图像执行图像处理，该对象评估逻辑系统被配置成基于由逻辑系统314执行的图像处理来评估对象。其可以包括但不限于对象尺寸检测318、对象形状检测320、由对象分类器322执行的对象分类、误报确定324，并且还可以包括其他项目326。
路径确定逻辑系统328被配置成确定作业机械102的路径，并且控制信号生成器逻辑系统330被配置成通过其自身或与控制系统104结合生成控制信号。对象检测系统300被示为具有一个或多个处理器332，并且还可以包括其他项目334。
图4示出了对象检测系统300的示例性操作的流程图400。为了说明而非限制，将在移动式作业机械102的情况下描述图4。
在框402处，启动逻辑系统302启动对象检测。这可以响应于操作者108的手动输入，例如操作者108致动输入机构。这由框404表示。可替代地或另外地，对象检测系统可以自动启动，例如响应于检测到作业机械102已经进入预定操作模式，例如被切换到倒退。这由框406表示。当然，也可以其他方式启动对象检测系统。这由框408表示。
在框410处，传感器控制逻辑系统306控制发送器以发送检测信号。在所示的示例中，这包括由框412表示的发送雷达信号的雷达发送器。可替换地或另外地，检测信号可以包括LIDAR设备414，并且也可以包括其他类型的检测信号。这由框416表示。
在框418处，接收器接收在框410处发送的检测信号的反射。在框420处，基于接收到的反射，对象检测逻辑系统308获得一个或多个对象(例如，代表作业现场上的可能障碍物)的指示。这些对象中的每一个对象都可以用唯一的对象标识符来标记。这由框422表示。唯一的对象标识符可以被对象检测系统300用于被检测到的对象的后续处理。
在框424处，确定每个对象相对于作业机械102的位置。这可以包括当前使用雷达信号检测到的对象。这由框426表示。此外，也可以确定先前使用雷达信号检测到的对象的位置。这由框428表示。为了说明，对象检测逻辑系统308可以在第一时间检测到具体对象，但是，当作业机械穿过作业现场时，对象检测系统300不再在雷达信号中检测到该具体对象。如下面进一步详细讨论的，这些对象仍然可以被对象检测系统300跟踪。
确定每个对象的位置可以包括识别对象在地平面上的位置，即确定其在作业现场的地平面处的近似位置。这由框430表示。
在确定每个对象的位置时，框424可以使用距作业机械102上的传感器安装位置的距离，即对象距雷达传感器的估计距离。这由框432表示。可替代地或另外地，在框424处确定位置可以包括确定所检测到的反射相对于安装在作业机械102上的传感器的定向被接收的角度。这由框434表示。
在框436处，从成像传感器140接收作业现场的图像。如上所述，成像传感器140的一个示例是单目相机。在框436处接收的图像可以包括图像的时间序列或视频。这由框438表示。当然，也可以以其他方式接收图像。这由框440表示。
在框442处，将在框424处确定的每个对象的位置与在框436处接收的图像的一部分相关联。说明性地，该关联性与成像传感器的视场有关。这由框444表示。例如，框442利用在框432和434处确定的角度和/或距离来识别成像传感器的视场的与被检测到的对象相对应的区域。
在框446处，对图像的与来自框442的每个对象相关联的部分执行图像处理。在框448处，基于在框446处执行的图像处理来评估每个被检测到的对象。这可以包括但不限于确定对象尺寸(框450)、确定对象形状(框452)和/或应用图像分类器以检测对象类型(框454)。例如，图像分类可以确定在图像的该部分中代表的对象是人、另一作业机械或其他类型的对象。当然，这些仅仅是为了举例而已。
此外，在框448处，误报确定逻辑系统324可以确定被检测到的对象是误报的可能性。这由框456表示。在一个示例中，这包括生成指示图像的该部分代表作业现场上的实际对象的可能性的度量或分数，然后将该度量或分数与阈值进行比较。基于该比较，逻辑系统324确定从雷达信号检测到的对象可能是误报。当然，也可以其他方式进行评估。这由框458表示。
在框460处，基于在框448处执行的对象的评估生成控制信号，以控制作业机械102。作业机械102町以以多种方式中的任何一种来控制。在一个示例中，一个或多个可控子系统106由控制信号生成器逻辑系统330和/或控制系统104控制。这由框462表示。可替代地或另外地，可以控制操作者接口机构以向操作者108呈现指示被检测到的对象的视觉、听觉、触觉或其他类型的输出。这由框464表示。
在一个示例中，控制对象检测传感器。这由框465表示。例如，可以调整雷达发送器的设置。在利用LIDAR(或其他类似发送器)的另一示例中，控制信号可以控制发送器将束转向或引导到作业现场的一区域以执行另一(例如，更高精度)扫描来识别可能的对象。
当然，作业机械104也可以其他方式控制。这由框466表示。在框468处，如果继续对象检测系统300的操作，则操作返回到框410。
图5A和5B(统称为图5)示出了对象检测系统300在使用图像处理评估对象时的示例性操作的流程图500。为了说明但非限制，将在移动式作业机械102的情况下描述图5。
在框502处，识别由对象检测逻辑系统308使用对象检测传感器132(例如，雷达)检测到的一组对象。在所示的示例中，这包括来自图4中的框424的对象及其相应的位置。如上所述，对象可以包括当前由对象检测传感器132检测到的对象(框504)，以及先前检测到的(框506)但当前可能未检测到的对象。
在框508处，从该组中选择对象中的一个对象以进行处理。框510确定所选择的对象是否已经被图像处理逻辑系统314跟踪。如果不是，则框512识别(如由对象检测逻辑系统308所检测的)对象的位置，并且在图像中创建具有标称窗口尺寸的窗口。标称窗口尺寸说明性地是第一预定义尺寸，以开始对象的视觉跟踪。
在框514处，图像处理逻辑系统314利用斑点分割执行自适应阈值处理，以将对象与窗口内的背景分离。使用阈值处理通过将强度值高于阈值的所有像素设置为前景值并将所有剩余的像素设置为背景值来分割图像。在自适应阈值处理中，阈值在图像上动态地改变，这可以适应图像中的光照条件的改变(例如，由光照梯度或阴影引起的)。
在一个示例中，语义图像分割分析图像在窗口内的部分，以将像素或像素的组与类别标签相关联。类别标签可用于确定像素是代表作业现场的对象区域还是非对象区域。
再次参照框510，如果对象已经被图像处理逻辑系统314跟踪，则逻辑系统314使用由对象检测逻辑系统308检测并由位置确定逻辑系统312确定的对象的位置的任何变化，以在图像内移动用于对象的先前识别的窗口。
在框518处，可以在窗口周围添加像素缓冲以帮助在框514处的斑点分割。在框520处，图像处理逻辑系统314确定是否识别了闭合的斑点(例如，代表具体对象类别的一组像素)。如果未识别出闭合的斑点，则这可以指示对象的一部分延伸到当前窗口之外。在框522处，图像处理逻辑系统314增大窗口尺寸。如果在框524处达到最大窗口尺寸(其可以是预定的，或以其他方式确定的)，则在框526处由误报确定逻辑系统324将对象标记为可能的误报。
如果在框520处识别出闭合的斑点，则在框528处记录该对象的窗口尺寸和位置。在框530处，对于任何其他的对象重复框508/530。在框532处，识别由图像处理逻辑系统314跟踪的所述一组斑点或对象。在框534处，选择该组中的对象中的一个对象，并且框536可视地跟踪该对象在图像帧中的运动。例如，框536确定对象在后续的图像帧之间的位置的差异。这可以包括使用关于作业机械移动的传感器信息来预测对象在帧之间可能如何移动。这由框538表示。
在框540处，确定用于该斑点的窗口。在一个示例中，这类似于上文关于框510-530所描述的过程。在框542处，斑点周围的窗口被传送到图像对象分类器322以执行图像分类。这可以包括检测在图像中的窗口内代表的对象的类型。
在框544处，基于代表窗口中的对象的像素的尺寸来估计对象的实际尺寸。在一个示例中，如果在先前的帧中跟踪斑点，则利用先前的尺寸估计和/或先前的分类来细化对象尺寸和/或分类的当前估计。这由框536表示。在一个示例中，如果当前的帧和先前的帧之间的估计的差异超过阈值，则在框548处可以将对象标记为模糊的。框550确定在该组中是否还有任何对象。
图6是示出路径确定逻辑系统328和控制信号发生器逻辑系统330在生成用于控制作业机械102上或与作业机械102相关联的显示设备的控制信号时的示例性操作的流程图600。为了说明但非限制，将在移动式作业机械102的情况下描述图6。
在框602处，从传感器124接收传感器信号。传感器信号可以包括指示车轮速度(604)、转向角(606)、铰接角(608)、差速驱动速度(610)、陀螺仪(612)的信号，并且还可以包括其他信号(614)。
参照图2所示的示例，转向角606表示前轮和/或后轮相对于作业机械200的机架的角度。铰接角608指示前部228和后部231之间的铰接角。
差速驱动速度610表示在作业机械的相对两侧的牵引元件的驱动速度之间的差异。例如，在滑移转向机的情况下，差速驱动速度表示作业机械左侧的车轮或履带的方向和/或速度与作业机械右侧的车轮或履带的方向和/或速度的差异。两个速度的平均值给出了向前或向后的速度。作业机械的路径的曲率半径可以基于作业机械的车轮或履带的速度或对地速度以及作业机械围绕弯道行驶的度数/秒(second)来确定。
在任何情况下，基于传感器信号，在框616处确定作业机械的路径。在框618处，使用作业机械102上或以其他方式与作业机械102相关联的显示设备向操作者108显示图像(诸如图像的时间序列或视频)。在框620处，显示在框616处确定的路径的可视指示。
在框622处，识别一组被检测到的对象。说明性地，这些对象包括使用由传感器132发送的雷达信号检测到的对象。
在框624处，对于每个检测到的对象，在所显示的图像上显示对象的可视指示。这可以以多种方式中的任何一种来完成。例如，可以在图像中识别对象的位置。这由框626表示。可替换地或另外地，可以在图像上示出对象的轮廓。这由框628表示。
可视指示还可以指示对象的尺寸(框630)，和/或可以包括指示对象分类的标签(框632)。例如，标签可以在接近对象的显示区域上显示，指示对象的类型，诸如人、另一机器等。
而且，可视指示可以包括对象是否是疑似误报的指示。这由框634表示。例如，如果被检测到的对象是作业现场上的实际对象的可能性低于阈值，则可修改显示以指示这一点，诸如通过对显示的区域进行颜色编码或以其他方式显示对象可能是误报的指示。这允许操作者可视地检查作业现场的区域以确认是否存在对象。当然，可视指示也可以以其他方式显示。这由框636表示。
在框638处，对象检测系统300确定对象中的任何对象是否具有与在框616处确定的作业机械的路径重叠(或在阈值距离内)的边界。如果是，则在框640处指示重叠。这可以包括在框642处改变路径的可视指示、在框644处改变重叠对象的可视指示、在框646处呈现声音警报或其他指示(框648)。
图7至图9中示出了示例性用户界面显示，为了说明但非限制，将在移动式作业机械102的情况下描述图7至图9。
图7示出了示例性用户界面显示650，其显示作业现场652的图像和代表作业现场652上的作业机械102的规划路径的可视路径指示654。成像传感器140的视场位于作业机械102的后方。在图7中，在作业现场上未检测到对象，或者可能已经检测到的任何对象在阈值检测范围之外。在任何情况下，显示650例如通过在第一状态(即，清楚的、无阴影或高亮)下显示可视路径指示654来指示路径没有对象。
图8示出了在操作者108转弯时已经开始使作业机械102倒退之后，具有由成像传感器140获得的后续图像帧的用户界面显示650。基于所接收的传感器信号(例如，在框602处接收到的)，系统126确定新的规划路径，其通过修改可视路径指示654来表示。这里，系统126已经检测到作业现场上的一个或多个对象656和660，并且在显示上添加了对应于被检测到的对象的可视对象指示658和662。说明性地，指示658和662增加被检测到的对象656和660的可感知性。指示658和662可以具有多种显示特征中的任何一种。例如，指示658和662可以在显示屏上闪烁，可以具有特定颜色(例如，黄色)，和/或可以具有特定形状(例如，圆形、对象656的边界的轮廓等)。此外，显示特征可以基于由视觉识别系统执行的对象检测的评估而变化。例如，如果雷达传感器检测到对象，但是视觉识别系统没有识别在该位置处的对象(或者以其他方式生成低可能性度量)，则可视对象指示可以设置有所选择的显示特征(例如，绿色)，以指示图像的包含可能的误报检测的区域。
显示650还可以被修改以指示被检测到的对象656和660相对于路径的位置。在图8中，系统126确定对象656或660都不与规划路径重叠。因此，可视路径指示654可以被修改以指示这一点，诸如通过改变可视路径指示654的颜色(例如，黄色)。可替换地或另外地，警告指示664(例如，实心或闪烁黄色三角形)可以被添加到屏幕。
图9示出了用户界面显示650，其中在操作者108进一步使在作业现场上的作业机械102进行倒退之后，由成像传感器140获得后续图像帧。此时，系统126确定对象656中的至少一个对象与作业机械102的规划路径重叠。响应于该确定，显示650被进一步修改以指示重叠。说明性地，通过改变可视路径指示654的显示特征来提高警报级别。这可以包括改变颜色(例如，变为红色)，使得指示654闪烁，仅举几例而已。可替代地或另外地，可显示不同的警告指示666(例如，红色停止标志)。此外，如上所述，可以基于图像分类来添加图标、文本标签或其他标识。例如，可以将描述性文本标签添加到靠近对象指示658的显示650。
还可以生成声音警告，并且可以基于检测到的到对象656的距离来改变音量(或其他方式)(即，声音警报随着作业机械102接近对象656而变得更响)。此外，如上所述，转向子系统和/或推进子系统可被自动控制以避免与对象656接触(例如，通过自动地制动车轮、停止发动机、换档等)。
当前的讨论已提到处理器和服务器。在一个实施例中，处理器和服务器包括计算机处理器，该计算机处理器具有未单独示出的相关联的存储器和定时电路。所述处理器和服务器是其所属的系统或设备的功能性部件并由其所属的系统或设备激活，并且帮助这些系统中其他部件或项目的功能的实现。
应当注意，以上讨论已描述了多种不同的系统、部件和/或逻辑系统。应当理解，这种系统、部件和/或逻辑系统可以包括执行与这些系统、部件和/或逻辑系统相关联的功能的硬件项目(例如处理器和相关联的存储器，或其他处理部件，其中一些将在下面进行描述)。另外，如下所述，系统、部件和/或逻辑系统可以包括被加载到存储器中并随后由处理器或服务器或其他计算部件执行的软件。系统、部件和/或逻辑系统还可以包括硬件、软件、固件等的不同组合，其中一些示例将在下面进行描述。这些仅仅是可用于形成上述系统、部件和/或逻辑系统的不同结构的一些示例。也可以使用其他结构。
此外，已经讨论了多个用户接口显示。所述多个用户接口显示可以采取多种不同的形式，并且可以具有设置在其上的多种不同的用户可致动的输入机构。例如，用户可致动的输入机构可以是文本框、复选框、图标、链接、下拉菜单、搜索框等。也可以以多种不同的方式来致动输入机构。例如，可以使用点击设备(例如控制球或鼠标)来致动输入机构。可以使用硬件按钮、开关、操纵杆或键盘、指开关或指垫等来致动输入机构。也可以使用虚拟键盘或其他虚拟致动器来致动输入机构。此外，在其上显示输入机构的屏幕是触摸感应屏幕的情况下，可以使用触摸手势来致动输入机构。另外，在显示输入机构的设备具有语音识别部件的情况下，可以使用语音命令来致动输入机构。
还讨论了多个数据存储器。应当注意，这些数据存储器可以分别被分成多种数据存储器。可以全部是访问这些数据存储器的系统的本地数据存储器，或可以全部是远程的，或者一些可以是本地的而另一些是远程的。本文考虑了所有这些配置。
此外，附图示出了多个框，其中每个框赋有一定功能。应当注意，可以使用更少的框，使得功能由更少的部件来执行。另外，可以使用更多的框，其中功能分配在更多的部件中。
图10是图1所示的作业机械架构100的一个示例的框图，其中，作业机械102与远程服务器架构700中的元件通信。在示例中，远程服务器架构700可以提供计算、软件、数据访问和存储服务，这些服务不需要终端用户了解传递这些服务的系统的物理位置或配置。在各示例中，远程服务器可以使用适当的协议通过广域网(例如因特网)来传递服务。例如，远程服务器可以通过广域网传递应用，并且可以通过网页浏览器或任何其他计算部件对远程服务器进行访问。图1中所示的软件或部件以及相应的数据可以存储在位于远端位置处的服务器上。远程服务器环境中的计算资源可以合并在远程数据中心位置处，或者该计算资源也可以是分散的。远程服务器架构可以通过共享数据中心传递服务，即使这些远程服务器架构对于用户而言呈现为单个的访问点。因此，可以使用远程服务器架构从位于远端位置处的远程服务器提供本文所述的部件和功能。可替代地，可以从常规的服务器提供所述部件和功能，或者所述部件和功能可以直接安装在客户端设备上，或者以其他方式提供所述部件和功能。
在图10所示的示例中，某些项目与图1所示的项目相似，并且被相似地编号。图10具体示出了系统126和数据存储器128可以位于远程服务器位置702处。因此，作业机械102通过远程服务器位置702访问这些系统。
图10还描绘了远程服务器架构的另一示例。图10示出了还可以设想将图1的一些元件布置在远程服务器位置702处而另一些元件则没有布置在该远程服务器位置702处。例如，数据存储器128可以布置在与位置702分开的位置处，并且可以通过位于位置702处的远程服务器被访问。可替代地或另外地，系统126可以布置在与位置702分开的位置处，并且可以通过位于位置702处的远程服务器被访问。
无论这些元件位于何处，作业机械102都可以通过网络(广域网或局域网)直接访问这些元件，这些元件可以通过服务托管在远程站点处，或者这些元件可以作为服务来提供，或可以由位于远程位置中的连接服务访问。此外，数据可以基本上存储在任何位置处，并且可以被相关方间歇地访问或转发给相关方。例如，代替电磁载波或除电磁载波之外，可以使用物理载波。在该示例中，在蜂窝覆盖情况较差或不存在蜂窝覆盖的情况下，另一移动式机械(例如加油车)可以具有自动信息收集系统。当作业机械靠近加油车以进行加油时，系统使用任何类型的专门的(ad-hoc)无线连接自动地从作业机械收集信息或将信息传递到作业机械。然后，当加油车到达存在蜂窝覆盖(或其他无线覆盖)的位置时，收集到的信息可以被转发到主网络。例如，在行进以为其他机械加油或处于主燃料存储位置处时，加油车可以进入被覆盖的位置。本文考虑了所有这些架构。此外，信息可以被存储在作业机械上，直到作业机械进入被遮盖的位置。作业机械本身然后可以向主网络发送信息/从主网络接收信息。
还应注意，图1的元件或元件的多个部分可以布置在多种不同的设备上。这些设备中的一些设备包括服务器、台式计算机、膝上型计算机、平板计算机或其他移动设备，例如掌上计算机、手机、智能手机、多媒体播放器、个人数字助理等。
图11是手持或移动式计算设备的一个说明性示例的简化框图，该计算设备可以用作用户或客户的手持设备16，本系统(或本系统的一部分)可以部署在该计算设备中。例如，可以将移动设备部署在作业机械102的驾驶室内或部署为远程系统114。图12-图13是手持或移动设备的示例。
图11提供了客户端设备16的部件的总体框图，该客户端设备可以运行图1所示的一些部件，或可以与图1所示的一些部件交互，或即可以运行图1所示的一些部件也可以与图1所示的一些部件交互。在设备16中，提供了通信链路13，该通信链路13允许手持设备与其他计算设备通信，并且在一些实施例中，提供了用于自动接收信息(例如通过扫描)的信道。通信链路13的示例包括允许通过一个或多个通信协议进行通信，诸如用于提供对网络的蜂窝访问的无线服务，以及提供到网络的本地无线连接的协议。
在其他示例中，可以在连接到接口15的可移动安全数字(SD)卡上接收应用。接口15和通信链路13沿着总线19与处理器17(也可以实现为先前附图中的处理器或服务器)通信，该总线19也连接到存储器21和输入/输出(I/O)部件23、以及时钟25和定位系统27。
在一个示例中，提供I/O部件23以便于实现输入和输出操作。设备16的各实施例的I/O部件23可以包括输入部件和输出部件，该输入部件例如按钮、触摸传感器、光学传感器、麦克风、触摸屏、接近传感器、加速度计、方向传感器，以及输出部件例如显示设备、扬声器和/或打印机端口。也可以使用其他I/O部件23。
时钟25说明性地包括输出时间和日期的实时时钟部件。说明性地，时钟还可以为处理器17提供定时功能。
定位系统27说明性地包括输出设备16的当前地理位置的部件。该定位系统例如可以包括全球定位系统(GPS)接收器、LORAN系统、航位推算系统、蜂窝三角测量系统或其他定位系统。该定位系统例如还可以包括生成所需的地图、导航路线和其他地理功能的地图软件或导航软件。
存储器21存储操作系统29、网络设置31、应用33、应用配置设置35、数据存储器37、通信驱动器39和通信配置设置41。存储器21可以包括所有类型的有形的易失性和非易失性计算机可读存储设备。存储器还可以包括计算机存储介质(如下所述)。存储器21存储计算机可读指令，该计算机可读指令在由处理器17执行时使处理器根据指令执行计算机实现的步骤或功能。处理器17也可以由其他部件激活以便于实现其功能。
图12示出了设备16是平板计算机750的一个示例。在图12中，计算机750示出为具有用户接口显示屏幕752。屏幕752可以是触摸屏或接收来自笔或触笔的输入的由笔激活的接口。还可以使用屏幕上的虚拟键盘。当然，该屏幕也可以通过合适的附接机构(例如无线链接或USB端口)附接到键盘或其他用户输入设备。计算机750也可以说明性地接收语音输入。
图13示出了该设备可以是智能手机71。智能手机71具有触摸感应式显示器73，该显示器73显示图标或图块或其他用户输入机构75。用户可以使用机构75来运行应用、进行呼叫、执行数据传输操作等。通常，智能手机71构建在移动操作系统上，并且提供比功能手机更高级的计算能力和连接性。
应当注意，设备16的其他形式也是可行的。
图14是计算环境的一个示例，在该计算环境中(例如)可以部署图1的元件或其中的一部分元件。参照图14，用于实现一些实施例的示例性系统包括以计算机810形式的计算设备。计算机810的部件可以包括但不限于：处理单元820(其可以包括先前附图中的处理器或服务器)、系统存储器830和系统总线821，该系统总线821将包括系统存储器在内的各系统部件连接到处理单元820。系统总线821可以是多种类型的总线结构中的任何一种，包括使用多种总线架构中的任何一种的存储器总线或存储器控制器、外围总线和本地总线。参照图1描述的存储器和程序可以部署在图14的相应部分中。
计算机810通常包括多种计算机可读介质。计算机可读介质可以是可以由计算机810访问的任何可用介质，并且包括易失性和非易失性的介质、可移动和不可移动的介质。作为示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质不同于经调制的数据信号或载波，并且不包括经调制的数据信号或载波。计算机存储介质包括硬件存储介质，该硬件存储介质包括易失性和非易失性的介质以及可移动和不可移动的介质，这些介质以任何方法或技术实现以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字通用光盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可用于存储所需信息并可由计算机810访问的任何其他介质。通信介质可以实现为传输机构中的计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传递介质。术语“经调制的数据信号”是指具有其特征中的一个或多个特征的信号，所述一个或多个特征以一定方式被设置或改变以对信号中的信息进行编码。
系统存储器830包括易失性和/或非易失性存储器形式的计算机存储介质，例如只读存储器(ROM)831和随机存取存储器(RAM)832。基本输入/输出系统833(BIOS)通常存储在ROM 831中，该基本输入/输出系统833(BIOS)包含有助于在计算机810内的元件之间(例如在启动期间)传递信息的基本例程。RAM 832通常包含可由处理单元820立即访问和/或由处理单元820当前运行的数据和/或程序模块。例如但非限制性地，图14示出了操作系统834、应用程序835、其他程序模块836和程序数据837。
计算机810还可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图14示出了从不可移动的非易失性磁性介质读取或写入的硬盘驱动器841、光盘驱动器855和非易失性光盘856。硬盘驱动器841通常通过不可移动的存储器接口(诸如接口840)连接到系统总线821，以及光盘驱动器855通常通过可移动的存储器接口(诸如接口850)连接到系统总线821。
可替代地或另外地，可以由一个或多个硬件逻辑部件执行或至少部分地执行本文所描述的功能。例如但非限制性地，可以使用的说明性类型的硬件逻辑部件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
以上讨论的并在图14中示出的驱动器及其相关联的计算机存储介质为计算机810提供计算机可读指令、数据结构、程序模块和其他数据的存储。在图14中，例如，硬盘驱动器841被示出为存储操作系统844、应用程序845、其他程序模块846和程序数据847。应当注意，这些部件可以与操作系统834、应用程序835、其他程序模块836和程序数据837相同或不同。
用户可以通过输入设备将命令和信息输入到计算机810中，该输入设备例如键盘862、麦克风863和定点设备861(例如鼠标、控制球或触摸板)。其他输入设备(未示出)可以包括操纵杆、手柄、卫星天线、扫描器等。这些和其他输入设备通常通过连接到系统总线的用户输入接口860连接到处理单元820，但是可以通过其他接口和总线结构进行连接。视觉显示器891或其他类型的显示设备也经由诸如视频接口890之类的接口连接到系统总线821。除了监测器之外，计算机还可以包括其他外围输出设备，例如扬声器897和打印机896，这些外围输出设备可以通过输出外围接口895进行连接。
使用与一个或多个远程计算机(例如远程计算机880)的逻辑连接(例如局域网-LAN，或广域网-WAN或控域网-CAN)在网络环境中操作计算机810。
当在LAN网络环境中使用时，计算机810通过网络接口或适配器870连接到LAN871。当在WAN网络环境中使用时，计算机810通常包括调制解调器872或用于通过WAN 873(例如因特网)建立通信的其他设备。在网络环境中，程序模块可以存储在远程存储器存储设备中。图14例如示出了远程应用程序885可以位于远程计算机880上。
还应注意，本文描述的不同示例可以以不同方式进行组合。即，一个或多个示例的部分可以与一个或多个其他示例的部分进行组合。本文考虑了所有这些方面。
示例1一种控制作业现场上的移动式作业机械的方法，所述方法包括：
接收在所述作业现场上检测到的对象的指示；
确定所述对象相对于所述移动式作业机械的位置；
接收所述作业现场的图像；
将所确定的所述对象的位置与所述图像的一部分相关联；
通过对所述图像的所述部分执行图像处理来评估所述对象；以及
基于所述评估生成控制所述移动式作业机械的控制信号。
示例2是根据前述示例中任一项或所有前述示例所述的方法，其中，接收所述对象的所述指示包括：
发送检测信号；
接收所述检测信号的反射；以及
基于所接收的反射检测所述对象。
示例3是根据前述示例中任一项或所有前述示例所述的方法，其中，评估所述对象包括确定所述对象的所述检测包括误报检测的可能性。
示例4是根据前述示例中任一项或所有前述示例所述的方法，其中，所述检测信号包括射频(RF)信号。
示例5是根据前述示例中任一项或所有前述示例所述的方法，其中，所述RF信号包括雷达信号。
示例6是根据前述示例中任一项或所有前述示例所述的方法，其中，基于相机在所述移动式作业机械上的安装位置和所述相机的视场，将所确定的所述对象的位置与所述图像的一部分相关联。
示例7是根据前述示例中任一项或所有前述示例所述的方法，其中，接收图像包括从相机接收图像的时间序列，以及所述方法进一步包括在所述时间序列中可视化跟踪所述对象在多个随后获取的图像中的位置。
示例8是根据前述示例中任一项或所有前述示例所述的方法，其中，所述控制信号控制与所述移动式作业机械相关联的显示设备以显示所述图像，其中所述图像具有所述对象在所述图像上的位置的可视指示。
示例9是根据前述示例中任一项或所有前述示例所述的方法，其中，评估所述对象包括确定对象尺寸或对象形状中的至少一者，以及进一步包括基于对象尺寸或对象形状中的所述至少一者生成所述控制信号。
示例10是根据前述示例中任一项或所有前述示例所述的方法，其中，执行图像处理包括将图像分类器应用于所述图像的所述部分以确定所述对象的对象类型。
示例11是根据前述示例中任一项或所有前述示例所述的方法，进一步包括：
确定所述移动式作业机械的规划路径；
确定所检测到的对象的至少一部分位于所述规划路径中；以及
基于所述确定生成所述控制信号。
示例12是一种移动式作业机械，包括：
对象检测传感器，所述对象检测传感器被配置成生成指示在作业现场上检测到的对象的信号；
对象位置确定逻辑系统，所述对象位置确定逻辑系统被配置成确定所述对象相对于所述移动式作业机械的位置；
图像关联逻辑系统，所述图像关联逻辑系统被配置成接收所述作业现场的图像并将所确定的所述对象的位置与所述图像的一部分相关联；
图像处理逻辑系统，所述图像处理逻辑系统被配置成对所述图像的所述部分执行图像处理；
对象评估逻辑系统，所述对象评估逻辑系统被配置成基于对所述图像的所述部分的所述图像处理来评估所述对象；以及
控制信号发生器逻辑系统，所述控制信号发生器逻辑系统被配置成基于所述评估生成控制所述移动式作业机械的控制信号。
示例13是根据前述示例中任一项或所有前述示例所述的移动式作业机械，其中，所述对象检测传感器被配置成：
发送检测信号；
接收所述检测信号的反射；以及
基于所接收的反射生成所述信号。
示例14是根据前述示例中任一项或所有前述示例所述的移动式作业机械，其中，所述检测信号包括雷达信号。
示例15是根据前述示例中任一项或所有前述示例所述的移动式作业机械，其中，所述图像关联逻辑系统被配置成基于所述相机在所述移动式作业机械上的安装位置和所述相机的视场，将所确定的所述对象的位置与所述图像的所述部分相关联。
示例16是根据前述示例中任一项或所有前述示例所述的移动式作业机械，进一步包括成像传感器，所述成像传感器被配置成生成所述作业现场的图像的时间序列，以及所述图像关联逻辑系统被配置成在所述时间序列中可视地跟踪所述对象在多个随后获取的图像中的位置。
示例17是根据前述示例中任一项或所有前述示例所述的移动式作业机械，其中，所述控制信号控制与所述移动式作业机械相关联的显示设备以显示所述图像，其中所述图像具有所述对象在所述图像上的位置的可视指示。
示例18是根据前述示例中任一项或所有前述示例所述的移动式作业机械，进一步包括：
路径确定逻辑系统，所述路径确定逻辑系统被配置成确定所述移动式作业机械的规划路径；以及
所述控制信号发生器逻辑系统被配置成确定所检测到的对象的至少一部分位于所述规划路径中，并且基于该确定生成所述控制信号。
示例19是一种移动式作业机械，包括：
发送器，所述发送器被配置成发送雷达信号；
接收器，所述接收器被配置成接收所述雷达信号的反射，并且基于所接收的反射生成指示在作业现场上检测到的对象的对象检测信号；
对象检测系统，所述对象检测系统被配置成：
确定所述对象相对于所述移动式作业机械的位置；
接收所述作业现场的图像；
将所确定的所述对象的位置与所述图像的一部分相关联；
通过对所述图像的所述部分执行图像处理来评估所述对象；以及
控制系统，所述控制系统被配置成基于所述评估生成控制所述移动式作业机械的控制信号。
示例20是根据前述示例中任一项或所有前述示例所述的移动式作业机械，其中，所述对象检测系统被配置成：
确定所述移动式作业机械的规划路径；以及
确定所检测到的对象的至少一部分位于所述规划路径中，以及
所述控制信号控制与所述移动式作业机械相关联的显示设备以显示具有规划路径和所述对象的位置的可视指示的所述图像。
尽管已经以结构特征和/或方法行为的具体语言描述了本主题，但是应当理解，在所附权利要求中限定的主题不一定限于以上描述的具体特征或行为。相反，以上描述的具体特征和行为仅作为实施权利要求的示例性形式被公开。

Claims (20)

1.一种控制作业现场上的移动式作业机械的方法，所述方法包括：
接收在所述作业现场上检测到的对象的指示；
确定所述对象相对于所述移动式作业机械的位置；
接收所述作业现场的图像；
将所确定的所述对象的位置与所述图像的一部分相关联；
通过对所述图像的所述部分执行图像处理来评估所述对象；以及
基于所述评估生成控制所述移动式作业机械的控制信号。
2.根据权利要求1所述的方法，其中，接收所述对象的所述指示包括：
发送检测信号；
接收所述检测信号的反射；以及
基于所接收的反射检测所述对象。
3.根据权利要求2所述的方法，其中，评估所述对象包括确定所述对象的所述检测包括误报检测的可能性。
4.根据权利要求2所述的方法，其中，所述检测信号包括射频(RF)信号。
5.根据权利要求4所述的方法，其中，所述RF信号包括雷达信号。
6.根据权利要求1所述的方法，其中，基于相机在所述移动式作业机械上的安装位置和所述相机的视场，将所确定的所述对象的位置与所述图像的一部分相关联。
7.根据权利要求1所述的方法，其中，接收图像包括从相机接收图像的时间序列，以及所述方法进一步包括在所述时间序列中可视化跟踪所述对象在多个随后获取的图像中的位置。
8.根据权利要求1所述的方法，其中，所述控制信号控制与所述移动式作业机械相关联的显示设备以显示所述图像，其中所述图像具有所述对象在所述图像上的位置的可视指示。
9.根据权利要求1所述的方法，其中，评估所述对象包括确定对象尺寸或对象形状中的至少一者，以及进一步包括基于对象尺寸或对象形状中的所述至少一者生成所述控制信号。
10.根据权利要求1所述的方法，其中，执行图像处理包括将图像分类器应用于所述图像的所述部分以确定所述对象的对象类型。
11.根据权利要求1所述的方法，进一步包括：
确定所述移动式作业机械的规划路径；
确定所检测到的对象的至少一部分位于所述规划路径中；以及
基于所述确定生成所述控制信号。
12.一种移动式作业机械，包括：
对象检测传感器，所述对象检测传感器被配置成生成指示在作业现场上检测到的对象的信号；
对象位置确定逻辑系统，所述对象位置确定逻辑系统被配置成确定所述对象相对于所述移动式作业机械的位置；
图像关联逻辑系统，所述图像关联逻辑系统被配置成接收所述作业现场的图像并将所确定的所述对象的位置与所述图像的一部分相关联；
图像处理逻辑系统，所述图像处理逻辑系统被配置成对所述图像的所述部分执行图像处理；
对象评估逻辑系统，所述对象评估逻辑系统被配置成基于对所述图像的所述部分的所述图像处理来评估所述对象；以及
控制信号发生器逻辑系统，所述控制信号发生器逻辑系统被配置成基于所述评估生成控制所述移动式作业机械的控制信号。
13.根据权利要求12所述的移动式作业机械，其中，所述对象检测传感器被配置成：
发送检测信号；
接收所述检测信号的反射；以及
基于所接收的反射生成所述信号。
14.根据权利要求13所述的移动式作业机械，其中，所述检测信号包括雷达信号。
15.根据权利要求12所述的移动式作业机械，其中，所述图像关联逻辑系统被配置成基于所述相机在所述移动式作业机械上的安装位置和所述相机的视场，将所确定的所述对象的位置与所述图像的所述部分相关联。
16.根据权利要求12所述的移动作业机械，进一步包括成像传感器，所述成像传感器被配置成生成所述作业现场的图像的时间序列，以及所述图像关联逻辑系统被配置成在所述时间序列中可视地跟踪所述对象在多个随后获取的图像中的位置。
17.根据权利要求12所述的移动式作业机械，其中，所述控制信号控制与所述移动式作业机械相关联的显示设备以显示所述图像，其中所述图像具有所述对象在所述图像上的位置的可视指示。
18.根据权利要求12所述的移动式作业机械，进一步包括：
路径确定逻辑系统，所述路径确定逻辑系统被配置成确定所述移动式作业机械的规划路径；以及
所述控制信号发生器逻辑系统被配置成确定所检测到的对象的至少一部分位于所述规划路径中，并且基于该确定生成所述控制信号。
19.一种移动式作业机械，包括：
发送器，所述发送器被配置成发送雷达信号；
接收器，所述接收器被配置成接收所述雷达信号的反射，并且基于所接收的反射生成指示在作业现场上检测到的对象的对象检测信号；
对象检测系统，所述对象检测系统被配置成：
确定所述对象相对于所述移动式作业机械的位置；
接收所述作业现场的图像；
将所确定的所述对象的位置与所述图像的一部分相关联；
通过对所述图像的所述部分执行图像处理来评估所述对象；以及
控制系统，所述控制系统被配置成基于所述评估生成控制所述移动式作业机械的控制信号。
20.根据权利要求19所述的移动式作业机械，其中，
所述对象检测系统被配置成：
确定所述移动式作业机械的规划路径；以及
确定所检测到的对象的至少一部分位于所述规划路径中，以及
所述控制信号控制与所述移动式作业机械相关联的显示设备以显示具有规划路径和所述对象的位置的可视指示的所述图像。
CN202010804235.1A 2019-09-11 2020-08-11 具有使用视觉识别的对象检测的移动式作业机械 Pending CN112487860A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/567,735 US11755028B2 (en) 2019-09-11 2019-09-11 Mobile work machine with object detection using vision recognition
US16/567,735 2019-09-11

Publications (1)

Publication Number Publication Date
CN112487860A true CN112487860A (zh) 2021-03-12

Family

ID=74644945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010804235.1A Pending CN112487860A (zh) 2019-09-11 2020-08-11 具有使用视觉识别的对象检测的移动式作业机械

Country Status (5)

Country Link
US (1) US11755028B2 (zh)
CN (1) CN112487860A (zh)
AU (1) AU2020213337A1 (zh)
BR (1) BR102020015111A2 (zh)
DE (1) DE102020210159A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220058825A1 (en) * 2020-08-18 2022-02-24 Here Global B.V. Attention guidance for correspondence labeling in street view image pairs
US11521397B2 (en) * 2020-09-08 2022-12-06 Caterpillar Inc. Object tracking for work machines
US11726451B2 (en) 2021-05-26 2023-08-15 Caterpillar Inc. Remote processing of sensor data for machine operation
US20230393267A1 (en) * 2022-06-07 2023-12-07 Caterpillar Sarl System and method to reliably detect objects using camera and radar

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418318B2 (en) 2005-04-25 2008-08-26 Honeywell International Inc. Method and HUD system for displaying unusual attitude
JP2006341641A (ja) 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
US20090043462A1 (en) * 2007-06-29 2009-02-12 Kenneth Lee Stratton Worksite zone mapping and collision avoidance system
US7984574B2 (en) 2008-03-11 2011-07-26 Deere & Company Construction vehicle with rear object detection
US8548680B2 (en) 2009-08-05 2013-10-01 Caterpillar Inc. Steering system with automated articulation control
US9043129B2 (en) * 2010-10-05 2015-05-26 Deere & Company Method for governing a speed of an autonomous vehicle
GB2494414A (en) 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
JP5809988B2 (ja) 2012-01-10 2015-11-11 日立建機株式会社 作業機械の走行支援装置
DE102012004198A1 (de) 2012-03-01 2012-10-04 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs im Gelände
DE102013200385A1 (de) 2013-01-14 2014-07-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Fahrzeugs bei einer Fahrt auf unebenem Gelände
US9142063B2 (en) * 2013-02-15 2015-09-22 Caterpillar Inc. Positioning system utilizing enhanced perception-based localization
WO2015083228A1 (ja) 2013-12-03 2015-06-11 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
US9988047B2 (en) 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
US9335545B2 (en) 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
JP6262068B2 (ja) 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US20160353049A1 (en) 2015-05-27 2016-12-01 Caterpillar Inc. Method and System for Displaying a Projected Path for a Machine
DE102016121523A1 (de) 2015-11-17 2017-05-18 Lacos Computerservice Gmbh Verfahren zum prädikativen Erzeugen von Daten zur Steuerung eines Fahrweges und eines Betriebsablaufes für landwirtschaftliche Fahrzeuge und Maschinen
US10369994B2 (en) 2016-07-20 2019-08-06 Ford Global Technologies, Llc Rear camera stub detection
US11014561B2 (en) 2017-02-01 2021-05-25 Magna Electronics Inc. Vehicle trailer hitch assist system
JP2018156550A (ja) 2017-03-21 2018-10-04 三菱自動車工業株式会社 運転支援システム
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
CA3078991A1 (en) 2017-11-28 2019-06-06 Groundprobe Pty Ltd Slope stability visualisation
US11126188B2 (en) 2019-04-15 2021-09-21 Caterpillar Inc. System and method for maintaining a work surface at a worksite
US20200341111A1 (en) * 2019-04-24 2020-10-29 GM Global Technology Operations LLC Method and apparatus for radar detection confirmation
DE102019114667A1 (de) 2019-05-31 2020-12-03 Pöttinger Landtechnik Gmbh Landwirtschaftliches Anbaugerät sowie Gespann mit einem solchen Anbaugerät
US10882538B1 (en) 2019-07-31 2021-01-05 Karma Automotive Llc System and method for a combined visual and audible spatial warning system

Also Published As

Publication number Publication date
DE102020210159A1 (de) 2021-03-11
US20210072764A1 (en) 2021-03-11
AU2020213337A1 (en) 2021-03-25
US11755028B2 (en) 2023-09-12
BR102020015111A2 (pt) 2021-08-31

Similar Documents

Publication Publication Date Title
US12013702B2 (en) Machine dump body control using object detection
US11755028B2 (en) Mobile work machine with object detection using vision recognition
WO2019179417A1 (zh) 数据融合方法以及相关设备
AU2019396213A1 (en) Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
US11680382B2 (en) Controlling a work machine based on in-rubber tire/track sensor
US11609562B2 (en) Using generated markings for vehicle control and object avoidance
CN112477879A (zh) 具有对象检测和机械路径可视化的移动式作业机械
US20140293047A1 (en) System for generating overhead view of machine
US11472416B2 (en) Multi-dimensional mobile machine path visualization and control system
US20240026638A1 (en) Mobile grading machine with improved grading control system
US10801180B2 (en) Work machine self protection system
US20230339402A1 (en) Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
US11542109B2 (en) Loading vehicle and receiving vehicle control
EP3913148A2 (en) Mobile work machine state detection and visualization system
US11640177B2 (en) Control and mapping based on multi-vehicle sensor fusion
US11966220B2 (en) Method and user interface for selectively assisted automation of loading operation stages for work vehicles
US11778935B2 (en) Controlling operating envelope for off-road equipment based on a digital fence
US20230382305A1 (en) Augmented machine user interface system
US20230415737A1 (en) Object measurement system for a vehicle
JP2021197668A (ja) 情報処理装置、情報処理装置の制御方法及び制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination