CN116627304A - 操作者显示器上的作业区覆盖 - Google Patents

Abstract

作业机械可包括图像捕获设备，该图像捕获设备配置成捕获与作业机械相邻的环境的至少一部分的图像。作业机械还可以包括处理电路，用于从图像捕获设备接收图像，产生描绘作业机械的作业区域的覆盖，将覆盖叠加在图像上以产生作业区域的增强图像，并将增强图像提供给显示设备。

Description

操作者显示器上的作业区覆盖

技术领域

本发明涉及道路施工设备，并且更具体地涉及用于在远程控制道路施工设备期间提供操作者信息的系统和方法。

背景技术

可以控制作业机械以在作业区域中执行预定的作业计划。显示器可设置在作业机械上的操作者站处或远离作业机械，以允许操作者观察作业区域并获得作业机械在作业区域中的位置的一般意义。另外，相机系统可以提供关于作业机械周围区域的信息。然而，如果操作者将过多的注意力集中在正在实施的作业上而不是作业机械周围的区域上，则会出现安全问题。相反地，如果操作者将过多的注意力集中在作业机械周围的区域上并且将不充分的注意力集中在正在实施的作业上，则机械性能可能受损。

美国专利申请2014/0375806讨论了一种系统，该系统包括被配置捕获与机械相关的环境的图像的图像捕获设备。

发明内容

在根据本发明的示例中，作业机械可包括图像捕获设备，该图像捕获设备配置成捕获与作业机械相邻的环境的至少一部分的图像；以及处理电路系统，该处理电路系统被配置成：接收来自所述图像捕获设备的图像；生成描绘所述作业机械的作业区域的覆盖；将所述覆盖叠加在所述图像上以生成在所述作业区域中要作业的区域的增强图像；以及向显示设备提供增强图像。

在根据本发明的另一示例中，一种用于作业机械的远程控制的方法可包括捕获与作业机械相邻的环境的至少一部分的图像；生成描绘所述作业机械的作业区域的覆盖；将覆盖叠加在图像上以生成在作业区域中要作业的区域的增强图像；以及基于覆盖和作业机械在作业区域内的位置来控制作业机械在作业区域内执行作业。

在另一示例中，根据本发明，一种系统可以包括：图像捕获设备，其被配置为捕获与作业机械相邻的环境的至少一部分的图像；位置传感器，其配置成检测作业机械的位置；处理电路系统，其配置成：接收来自图像捕获设备的图像；生成描绘作业机械的作业区域的覆盖；以及将覆盖叠加在图像上以生成在作业区域中要作业的区域的增强图像；以及显示器，其连接到处理电路并被配置为接收增强图像并显示增强图像。

附图说明

在不一定按比例绘制的附图中，相同的数字可以在不同的视图中描述相似的部件。具有不同字母后缀的相同数字可以表示相似部件的不同实例。附图通过示例而非限制的方式概括地示出了本文中讨论的各种实施例。

图1示出了根据本发明的沥青压实机的侧视图。

图2A示出了根据本发明的远程操作者站。

图2B是描绘根据本发明的示例远程手动和自主机械控制系统的示意图。

图3A示出了根据本发明的压实机的显示器的第一视图。

图3B示出了根据本发明的作业机械的显示器的第二视图。

图4示出了根据本发明的覆盖的细节。

图5是示出根据本发明的操作作业机械的示例方法的流程图。

具体实施方式

图1示出了根据本发明的压实机作业机械100的侧视图。虽然参照压实机作业机械100描述了示例性实施例，但是根据本发明的示例可应用于各种类型的作业机械，包括例如平地机、刮刀、推土机和挖掘机。

作业机械100通常包括主体或机架110，其连接并关联使作业机械100能够作业的各种物理和结构特征。这些特征可包括安装在机架110顶部上的操作者驾驶室150，操作者可从该驾驶室控制和引导作业机械100的操作。因此，转向特征和类似的控制可位于操作者驾驶室150内。为了在表面上推进作业机械100，诸如内燃机的动力系统也可安装到机架110，并可产生被转换以物理地移动机械的动力。

作业机械100可包括至少一个圆柱形辊筒120，其可围绕大致横向于作业机械100的行进方向定向的辊筒轴线旋转。滚筒120利用滚筒支撑件115附接到机架110。作业机械100铰接，使得后部可相对于前部铰接。

作业机械100还可包括连接在一个或多个位置处的位置传感器124。位置传感器124能够确定作业机械100的位置，并且可以包括和/或构成全球定位系统(GPS)的部件。例如，位置传感器124可包括GPS接收器、发射器、收发器或其他此类设备，并且位置传感器124可与一个或多个GPS卫星通信以连续地、基本连续地或以各种时间间隔确定作业机械100的位置。

作业机械100可包括安装到机架110的一个或多个相机162，以便捕获与作业机械100相邻的环境的至少一部分的图像。例如，一个或多个相机162可以定位在驾驶室顶部152上方。在一些实施例中，可以提供360°视图，尽管实施例不限于此，并且可以提供小于360°的视图。相机162可以提供足够的覆盖范围，使得控制器160可以将各种视图缝合在一起，以创建与作业机械100相邻的环境的复合图像。然而，虽然控制器160可将各种视图缝合在一起，但视图也可单独描绘，或仅可将两个视图缝合在一起，等等。虽然展示两个相机162，但可使用少于两个相机，或可使用多于两个相机。显示器164可设置在操作者驾驶室150中，示出由相机162提供的图像数据。

作业机械100可以使用连接102无线通信地连接到远程控制装置101和/或远程操作者站200(图2A)。

图2A示出了根据一些方面的远程操作者站200。远程操作者站200可包括机械显示器201以显示作业机械100的各个方面，包括传感器数据、仪表板度量(例如，发动机RPM、发动机温度、油表信息等)。用于在机械显示器201上显示的信息可以使用无线通信电路229通过连接102(图1)来提供，如下文所述。

远程操作者站200还可以包括自主机械显示器203，以提供通过连接102接收的包括坡度控制信息、位置信息、3D表面信息等的信息。相机162(图1)可以通过连接102提供图像数据以在显示器205上观看。显示器209可显示来自作业机械100的作业现场周围的现场相机的信息，包括安全相机或远离作业机械100的其他相机(图1中未示出)。远程操作者站200可包括处理作业机械100的数据的处理电路231，相关联的相机162等，并用于提供用于在显示器201、203、205和209上显示的信息。处理电路231被示为与远程操作者站200共处一地，但实施例不限于此，并且处理电路231可以完全或部分地远离远程操作者站200、在云中、或作为独立的计算系统。

除了向远程操作者站200提供图像数据之外，或者代替向远程操作者站提供图像数据，可以通过连接102向远程控制装置101处的处理电路提供由相机162提供的图像数据。在一些示例中，作业机械100、远程控制装置101和远程操作者站200各自包括无线收发器和/或无线网络适配器，以在机械和装置之间传送信息、数据、命令、指示指令或其他功能的信号等。作业机械100、远程控制装置101和远程操作者站200之间的无线通信可以包括在一个或多个频率上的传统RF通信能力，并且还可以包括使用例如WiFi或另一标准或专有通信标准/协议经由广域或局域通信网络的较高带宽通信。

远程控制装置101和远程操作者站200被配置成允许机械操作者配置和执行自主任务，并且还允许远程手动地控制机械，就像坐在机械操作者舱室中一样。因此，除了操作者在操作者驾驶室150处的传统的原位操作之外，作业机械100配置成自主地执行任务，而不需要操作者输入(无论是在操作者驾驶室150处还是在其他地方)。远程控制装置101和远程操作者站200可布置成远离作业机械100但相对靠近作业机械，例如在特定的施工现场。附加地或可选地，远程控制装置101或远程操作者站200可以位于远离作业机械100的更远处，例如位于中央操作中心或远离作业机械100所在的施工现场的其他位置。

作业机械100可包括一个或多个控制器或其他数字电子设备，控制器或其他数字电子设备被配置成根据指定一个或多个构造或其他类型的任务的存储程序来控制机械操作的各个方面。作业机械100可配置成接收任务指令并通过控制器处理任务指令/程序并使作业机械100的各种系统(例如，油门、制动、转向、机具使用和铰接等)根据指令/程序执行任务来自主地执行任务。出于安全和其他原因，操作者通常将监控执行这种自主任务的作业机械100，但是，除非出于某种意外原因(例如，避免机械路径中的物体)需要干预，否则作业机械100被配置为完成自主任务而不需要操作者的额外输入。

作业机械100还配置成由不在机械上/中或机械处的操作者手动控制。作业机械100的手动远程控制可提供优于和高于机械的典型原位手动控制和作业机械100自主操作以执行预定任务的许多益处。例如，存在许多情况，其中作业机械100在自主操作时可能需要被定位以开始任务或从一个完成的自主任务运输到新的自主任务的开始位置。在这种情况下，一个或多个任务的完成可以通过远程操作者在效率、时间等方面得到显著改善，该远程操作者能够在没有操作者控制的情况下与由机械执行的自主任务结合或分离地手动控制作业机械100。

图2B是描绘根据本发明的示例远程手动和自主机械控制系统250的示意图。在图2B中，系统250包括作业机械100和遥控装置101。然而，可以在作业机械100和远程操作者站200(图2A)之间保持类似的通信和控制。另外，作业机械100包括无线通信模块202，遥控装置101包括用户界面204。在可用的系统中，相机提供单独的输入以显示作业机械100的周围环境。作业机械100的无线通信模块202包括无线收发器207和无线网络适配器208。

远程控制装置101的用户界面204可以包括一个或多个输入设备和一个或多个输出设备，输入设备被配置为从操作者接收与作业机械100的自主任务相关的输入，输出设备被配置为向操作者输出与自主任务相关的信息。在一些示例中，并且在可用的系统中，提供单独的第二用户界面206，以使用通过连接102接收的相机162(图1)提供的图像来显示与作业机器100相邻的环境的至少一部分。无线通信电路228可以与作业机械100的无线通信模块202通信(类似地，远程操作者站200的无线通信电路229可以与无线通信模块202通信，尽管这在图2B中未示出)。

处理电路230可以与远程控制装置101相关联，以从图像捕获设备(例如，相机162)接收图像，并生成如本文稍后所述的描绘作业机械100的作业区域的覆盖。类似地，远程操作者站200的处理电路231可以从图像捕获设备接收图像以生成如本文稍后所述的覆盖，尽管这在图2B中未示出。在图2B中，处理电路230被示出为与远程控制装置101位于同一位置，但实施例不限于此，并且处理电路230可以完全或部分地位于远离远程控制装置101的位置、位于云中或作为独立的计算系统(图2B中未示出)。

无论远程控制作业机械100还是存在于操作者驾驶室150中，使用这两个显示器，操作者都可以参考用户界面204和用户界面206来查看作业机械100周围的环境和作业区域。类似地，如果操作者正在使用远程操作者站200，则操作者可以参考多个显示器201、203、205和209以获得信息。然而，即使访问多个显示器，操作者仍然不能确定作业区域如何位于那些周围环境中。此外，如果操作者将过多的注意力集中在正在实施的作业上而不是在作业机械周围的区域上，则出现安全问题。相反地，如果操作者将过多的注意力集中在作业机械周围的区域上并且将不充分的注意力集中在正在实施的作业上，则机械性能可能受损。

为了解决这些和其他问题，根据一些实施例的系统、装置和方法可以在相机馈送上提供作业区域的透明或半透明覆盖以生成增强图像。根据一些实施例的系统，装置和方法可以使用对作业机械100的相机馈送关系和作业机械100与地球的关系的了解来将作业区域叠加在相机对地球的视图中。叠加将导致作业区域的描绘在作业机械100周围的环境的至少一部分中呈现为“粘合”到地球表面。这允许操作者在一个显示器上同时查看用于实施作业和环境意识的信息，以增强安全性和减少注意力分散。

图3A示出了根据本发明的作业机械的显示器的第一视图。图3A示出了增强图像302、304、306、308的增强图像300，已经从图像捕获设备(例如，相机162)捕获并且与图3A中所示相似地拼接在一起。在增强图像300内提供的不同图像可以表示与作业机械100相邻的环境的相对于操作者驾驶室150的前部图像302、第一侧部图像304、第二侧部图像306和后部图像308。虽然示出了四个图像302、304、306、308，但是增强图像300可以提供多于四个图像和少于四个图像。图像可以以视频流、静态格式或任何其他格式提供。

处理电路230(图2B)或处理电路231(图2A)可将覆盖310叠加在一个或多个图像302、304、306、308上，并将增强图像提供给显示设备。显示设备可以在作业机械100的本地，和/或远离作业机械100(例如，在远程操作者站200或在远程控制装置101)。覆盖310可描绘作业机械100的作业区域。在一些示例中，覆盖310是透明的，使得作业机械100的任何部分或图像302、304、306、308都不会被覆盖310遮挡。在一些示例中，覆盖310处于背景配置，并且作业机械100的任何部分等保持在增强图像300的前景中。如上所述，覆盖310可看起来“粘结”到地面上，在该示例中，覆盖粘结到作业机械100前面的地面上。

在一些示范性实施例中，可以基于一个或多个相机162在作业机械100上的安装位置、安装角度、包括视场的一个或多个相机162的固有信息、GPS位置或其他位置信息等，将覆盖310的位置放置或对准在一个或多个图像302、304、306、308上的特定像素或点处。该信息可以由相机162或与相机162通信的控制器(例如，控制器160)提供。在一些示例中，覆盖310的特定点或像素可以取决于机械的特征，包括关节点等。稍后将参考图4更详细地描述覆盖310。

同时，四个图像302、304、306、308可以为远程操作者或存在于操作者驾驶室150中的本地操作者提供改进的空间感知，同时覆盖310提供关于作业区域的信息的同时显示。这允许操作者观看一个显示作业区域和机械周围的环境的显示器，以防止或消除注意力分散和其他安全问题和效率问题。虽然在前图像302中示出了覆盖310，但是可以在其他图像304、306、308中示出覆盖310，以提供对图像302、304、306、308中示出的周围环境中的作业区域的精确描绘。覆盖310的位置可以周期性地，恒定地或根据操作者的请求更新，使得覆盖310随着作业机械100的运动、作业计划的执行进度或其他事件、运动和位置而保持最新。

操作者(远离作业机械100或在操作者驾驶室150内)可查看作业机械100的描绘312以确定转向或放置作业机械100的取向。在图3A所示的示例中，操作者正在接近作业机械100前面的作业区域。操作者可以控制作业机械100以将作业机械100放置在根据描绘312所示的位置。在所示的示例中，操作者可以查看与图像302中描绘的周围环境有关的描绘312。在一些示例中，作业机械100可不类似于图示312取向，在这种情况下，操作者可转向或移动作业机械100，使得作业机械100类似于图示312取向或定位。

在图3B所示的另一示例中，覆盖310设置在作业机械后面的视图308中。在图3B所示的示例中，操作者正在接近作业机械100后面的作业区域。操作者可以控制作业机械100以将作业机械100放置在根据描绘314所示的位置。在所示的示例中，操作者可以查看相对于图像308中描绘的周围环境的期望位置。在其他示例中，作业区域可以在作业机械100的左侧或右侧，在这种情况下，覆盖310可以分别出现在图像304或306中。

参见图3A和图3B，在一些示例中，作业机械100可定位在距由图示312、314示出的位置一定距离处。在至少这些实施例中，操作者可以操纵作业机械100，或者作业机械100可以以自主的方式被引导到对应于图示312、314的位置。在一些示例中，描绘312、314可以包括关于用于实施作业计划的作业机械100的起始位置的信息。至少在这些示例中，作业机械100可以不位于起动位置附近，并且作业机械100可以接收自主或远程控制的指令以前进到起动位置。

图4示出了根据一些实施例的覆盖310的细节。覆盖310可以由例如遥控装置101(图1或2B)内的处理电路230或远程操作者站200(图2B)内的处理电路231产生。覆盖310描绘了可由作业机械100实现的作业计划。示例性作业计划可尤其与压实机的作业计划(例如压实计划)相关，但实施例不限于压实机作业区域。例如，作业区域与机动平地机作业计划、搅拌机作业计划、铺路机作业计划和其他机械作业计划相关的作业区域。在一些示例中，覆盖310可包括用于由作业机械100执行的切割和填充操作的切割和填充图(cut-and-fillmap)。在根据实施例的切割和填充图中，“切割”表示现有海拔超过期望海拔的区域，并且相反地，“填充”区域是现有地形位于期望海拔线之下的区域。因此，作业机械100应该从切割和填充图的切割区域中去除材料，并在切割和填充图的填充区域中添加材料(不管是在切割操作中去除的相同材料还是其他材料)。切割和填充图可以基于由例如靶标提供的地形图来生成。覆盖310可包括其他作业辅助工具(图4中未示出)，包括俯仰和横滚信息、坡度和侧坡信息、作业机械100的引导线、作业机械100的轮胎线的描绘，或与作业机械和任何类型的作业计划相关的其他信息，包括自动平地机和其他作业机械。覆盖310可包括指示作业机械100在作业区402内的连续或定期更新的当前位置的机械描绘400。机械描绘400可定向成指示作业机械100在作业区域402中的当前运动方向。

所示的作业计划可以从本地保存或远离作业机械100或远程控制位置保存的自主任务的数据库上载或检索。作为示例，作业机械100的操作者还可以选择特定任务，检查和改变任务的参数/特性，命令作业机械100开始任务，以及命令作业机械100停止任务。控制器160可以从工地平面图输入获知作业区域402，并且可以获知压实辊的宽度，然后将作业区域402划分为所需数量的作业车道410。

当场地平面图要求作业机械(例如压实机)通过一定次数时，可以根据多个作业通道410的数量和所需通过次数来形成作业机械100(图1)的通过模式。例如，在示例作业区402中，有九条作业车道标记为1-9。例如，压实机可能必须向上和向后(一次通过)，然后移动并重复直到最末车道结束。如果需要多次通过，压实机然后可以将其路径回扫到开始点。换句话说，在没有任何障碍物的情况下，该模式将对车道1、2、3等直到车道9作业，然后车道9、8、7、6等回到车道1。

在图4所示的示例中，多个作业车道410中的每个作业车道在宽度上近似相等并且总体上覆盖整个作业区域402。作业车道的描绘可包括指示压实机应行进以完成作业计划的当前和后续方向的指示器(例如，箭头)410。

图5是示出根据本发明的操作作业机械100的示例方法500的流程图。方法500可以由图1、图2A和图2B的元件执行，具体包括相机162、远程控制装置101、远程操作者站200、处理电路230、处理电路231、控制器160等。

方法500可从操作502开始，其中相机162捕获与作业机械100相邻的环境的至少一部分的图像。方法500可以继续操作504，其中处理电路230生成描绘作业机械100的作业区域的覆盖310。

方法500可以继续操作506，其中处理电路230或处理电路231将覆盖310叠加在图像上以生成作业区域的增强图像300。方法500可以继续，控制器160基于作业区域内的作业机械的覆盖和位置来控制作业机械在作业区域中执行作业。

方法500可以包括以上描述的处理电路230或处理电路231的任何其他操作，或者以上参考图3A和图3B描述的显示器的任何其他操作。例如，方法500可包括使用图像生成与作业机械相邻的环境的复合视图，并将覆盖叠加在复合视图上。复合视图可以类似于以上关于图3A和3B描述的视图。例如，复合视图可包括由相对于操作者驾驶室150的前部、侧部、后部等的多个相机162捕获的图像。

方法500可包括确定作业机械100将在其中执行预定或特别自主或手动操作的作业区域的大小、位置、尺寸等。尺寸、位置、尺寸等可通过访问作业区域的存储位置信息、作业机械100的位置传感器以及任何其他可用的传感器或系统(包括卫星系统)来确定。

工业实用性

通常，作业机械100可被配置和装备为在没有现场操作者控制的情况下操作，无论这种操作包括机械的远程手动控制还是远程自主任务控制。例如，操作者可以使用远程控制装置101或远程操作者站200来手动地将作业机械100推进(和引导/转向)到起始位置，以便作业机械完成预先计划的自主任务。在正确地定位作业机械100之后，使用远程操作者站200或远程控制装置101来使作业机械启动自主任务。

当作业机械100执行自主任务时，操作者使用远程控制装置101或远程操作者站200来监视机械的任务进程。通过包括根据本发明的系统和方法的显示器，可以为遥控器提供改进的安全特征。如图3A和图3B所示，作业区域的图像(包括与作业机械的作业计划相关的描绘)被提供为由作业机械的相机和/或其他成像设备提供的图像数据的覆盖。该覆盖系统允许用户执行作业，同时仍保持对作业机械周围区域的跟踪，而不会丧失对正在执行的作业或周围环境的关注。操作者还可以结合覆盖使用图像数据，以在进行作业之前将作业机械引导到预定位置。

上面的详细描述是说明性的，而不是限制性的。因此，本发明的范围应参考所附权利要求以及这些权利要求所授权的等同物的全部范围来确定。

Claims (10)

1.一种作业机械，其包括：

图像捕获设备，其配置成捕获与所述作业机械相邻的环境的至少一部分的图像；以及

处理电路，其配置成：

接收来自所述图像捕获设备的图像；

生成描绘所述作业机械的作业区域的覆盖；

将所述覆盖叠加在所述图像上以生成在所述作业区域中要作业的区域的增强图像；以及

向显示设备提供所述增强图像。

2.根据权利要求1所述的作业机械，进一步包括多个图像捕获设备，并且所述多个图像捕获设备配置成捕获与所述作业机械相邻的环境的不同部分的图像。

3.根据权利要求2所述的作业机械，其中所述处理电路配置成使用所述图像生成与所述作业机械相邻的环境的复合视图，并将所述覆盖叠加在所述复合视图上。

4.根据权利要求1所述的作业机械，其中所述处理电路配置成通过访问所述作业区域的位置信息来确定所述作业区域的参数。

5.根据权利要求4所述的作业机械，进一步包括用于检测位置信息的传感器，并且所述处理电路配置成从所述传感器获取位置信息。

6.根据权利要求5所述的作业机械，其中所述位置信息从远离所述作业机械的设备访问。

7.根据权利要求1所述的作业机械，其中所述覆盖包括所述作业机械的信息或作业计划。

8.根据权利要求7所述的作业机械，其中所述覆盖包括指示所述作业机械的行进方向的指示器。

9.根据权利要求7所述的作业机械，其中所述覆盖包括用于指示所述作业机械的开始位置以实施所述作业计划的指示器。

10.根据权利要求1所述的作业机械，其中所述处理电路配置成基于所述作业机械的位置信息更新所述覆盖。