CN106557159A - 用于作业机械的虚拟平视显示应用 - Google Patents

Abstract

提供了一种用于作业机械的操作者的头戴式增强现实装置。增强现实装置包括构造成在给操作者基本没有遮挡的视野的同时产生和显示增强现实叠加图的显示部件。增强现实装置还包括构造成检测操作者的视野内的物体的视野部件。增强现实装置还包括配置成与至少一个信息源通信的无线通信部件。增强现实装置还包括配置成从至少一个信息源接收指示并且显示与被检测物体相关的指示的处理部件。

Description

用于作业机械的虚拟平视显示应用

技术领域

本发明涉及一种增强现实装置，更具体地说，本公开内容涉及到提供具有增强现实叠加图的视野的平视或抬头(heads-up)显示装置。

背景技术

在很多行业中，多种车辆和作业机械可被操作者使用，例如：收割机、拖拉机或其他示例性的车辆。由于这些作业机械已经变得较复杂，监视器和显示器已经被包含到车辆驾驶舱中以显示关于车辆的各种部件的信息。例如，对于操作者来说，具有容易地可视的与发动机相关的信息、与车辆工具相关的信息例如刀片高度或切割等级以及其他信息可能都很重要。然而，为了观察多个显示器上的信息，操作者典型地需要将他/她的眼睛从他正在执行的任务上移开以观察显示器。这会导致分心，会影响到作业并且潜在地引起对于操作者和/或车辆的危险。

在过去，已经进行了一些对于以不分心的方式显示信息的尝试。例如，安装在机械上的平视显示器可通过将信息显示介于中间的表面上而允许操作者在看作业任务时看到相关信息。例如，在汽车中，这种系统很好地工作以显示里程表信息，因为操作者基本上总是看向恒定的方向：向前地看向前方道路。

上面的讨论仅是提供一般的背景信息并且不试图被用作帮助确定所要求的主题的范围。

发明内容

提出了一种用于作业机械的操作者的头戴式增强现实装置。增强现实装置包括构造成在给操作者提供基本没有遮挡的视野的同时产生和显示增强现实叠加图的显示部件。增强现实装置还包括构造成检测操作者的视野内的物体的视野部件。增强现实装置还包括配置成与至少一个信息源通信的通信部件。增强现实装置还包括配置成从所述至少一个信息源接收指示并且显示与被检测物体相关的指示的处理部件。

本发明内容以简化形式提供以介绍构思的选取，该构思的选取在下面在具体实施方式中进一步地描述。该发明内容不试图确定所要求的主题的关键特征或基本特征，其也不试图被用作帮助确定所要求的主题的范围。所要求的主题不受限于解决背景技术中提到的任何或所有缺点的实施方式。

附图说明

图1A示出在本发明的实施例中有用的示例性的可佩戴的增强现实装置。

图1B示出示例性的车辆，本发明的实施例在该车辆中尤其有用。

图2示出根据本发明的一个实施例的示例性的计算装置。

图3A-3D示出据本发明的一个实施例的示例性的增强现实视野.

图4示出根据本发明的一个实施例的在一个相关联的物体上显示储存的物体信息的示例性的方法。

图5示出根据本发明的一个实施例的在被观察的物体上显示指示的示例性的方法。

图6示出根据本发明的一个实施例的在操作者的视野内提供警报的示例性的方法。

图7示出根据本发明的一个实施例的将物体信息固定到相关联的物体上的示例性的方法。

具体实施方式

增强现实装置代表一种能够向使用者提供关于其周围世界的更多信息的新兴技术。现有技术中存在不同的增强现实装置，例如很快将可从特拉华州的Facebook公司购买的Oculus Rift头戴设备，其提供使用者可佩戴的完全虚拟现实的头戴设备。其他的制造商将叠加的增强现实合并到使用者看到的视野之上，例如可从特拉华州的Google公司购买的Google眼镜。

对于复杂作业机械的操作者来说，来自多种来源的大量的信息可被操作者获得。农业车辆代表作业机械的一个种类，在其中本文所讨论的实施例可能有用。然而，本文描述的实施例和方法也可被用在其他作业机械中，例如用于住宅的作业机械、建筑作业机械、景观美化和草皮管理作业机械、林业作业机械或其他作业机械中。例如，对于农业作业机械，在种植和收割过程中天气信息可能重要。此外，车辆上的传感器可向操作者报告重要的信息，例如对于特定的作业机械的目前的速度和燃料水平，以及不同工具的状态。

本文描述的实施例的一些优点在于本文所描述的头戴式显示器可既允许操作者具有没有障碍的视野，同时也使得与作业机械以及相关的工具有关的信息被以有用的然而不分散注意力的方式示出。本文描述的一些实施例也向作业机械的操作者选择性地示出关于在被检测的视野中的被检测物体的信息。在一个实施例中，虚拟的信息可以锁定的格式提供，使得信息仿佛是由操作者视野中的装置的一部分产生的一样呈现给操作者。例如，可期望地，信息类似于在真实装置或装置部件上存在的商标或其他信息而出现，使得操作者可感知并且处理所述信息并且由此与传统增强现实装置相关的任何恶心和不适被降低。

图1A示出了在一个实施例中可能有用的示例性的头戴式增强现实装置。如图1A所示，操作者100在佩戴增强现实装置102时具有大体没有障碍的视野104可能是重要的。这特别重要以便增强现实装置102辅助操作者100操作作业机械而不是使操作者分心。在一个实施例中，增强现实装置102也可被构造成提供抵抗紫外线的一些保护，例如具有至少部分有色镜片。然而，在另一个实施例中，增强现实装置102包括透明的材料，例如玻璃或透明塑料。

图1B示出示例性的车辆，本发明的实施例尤其适用于这种车辆。在一个实施例中，该车辆为农业机械120，然而，也可想到其他示例性的车辆和作业机械。示例性的作业机械120可包括具有关联的传感器的多个工具，每个传感器可收集并且提供信息给坐在作业机械120的驾驶舱122中的操作者100。机械120的发动机典型地具有多个发动机传感器124，例如提供关于目前的发动机温度、油压、剩余燃料、速度的信息或其他信息。此外，作业机械120可具有工具，例如具有一个或多个工具传感器126的收割机、切割机和/或化肥撒布机工具。工具传感器126可收集信息，这些信息包括：例如，切割机的刀片高度、在播种机行单元中潜在堵塞的迹象、作业机械的目前速度、剩余燃料、天气相关的信息，或其他任何与操作者100相关的信息。此外，在一个实施例中，作业机械120可具有多个车轮，这些车轮中的每一个也可具有多个车轮传感器128，车轮传感器128被构造成收集并且提供关于土壤状况或车轮中的气压的信息。

作业机械120也可装有多个摄像机或其他传感器，所述多个摄像机或其他传感器可被构造成收集关于作业机械周围的情况的信息和向操作者100提供该信息。例如，操作者100在沿反向方向操作作业机械120时，可能希望能够观察到在其正后方的区域。辅助的摄像头可提供这种信息。辅助的摄像头与车轮传感器128和/或方向盘方向相结合，可提供作业机械120行进可沿的方向的指示。在特定时间操作者100可能期望所有的信息源。然而，将所有的这些信息放置在单个甚至多个显示器上可能给操作者提供太多的信息以至于难以不分心地合理地处理。

图2示出根据一个实施例的头戴式显示器的示例性的计算装置的简化方框图。计算装置200可包括被配置成处理接收到的信息的处理器202。在一个实施例中，计算装置200也可包括分析器204，分析器204被配置成对与被检测的视野104相联系的原始传感器信息进行分析。在一个实施例中，计算装置200也可包括被配置成接收来自多个源的信息并且与多个源通信的通信部件206。此外，计算装置200也可包括被配置成存储接收到的原始信息和处理过的信息的存储部件210。

在一个实施例中，计算装置200例如可以通过通信部件206接收关于示例性装置的信息。该信息可关于例如作业机械120的功能性部件，或关于示例性的环境，例如天气和/或目前的土壤条件。通信部件206可与多个不同的源具有永久的或间断的通信。在一个实施例中，通信部件206可通过多个装置摄像机220获得关于机械120或其环境的信息。在另一个实施例中，通信部件206可通过多个装置传感器222，例如通过图1B所示的发动机传感器124，接收关于机械120或其环境的信息。

在一个实施例中，通信部件206也可可通信地连接到网络224并通过网络224接收信息。在一个实施例中，当穿戴着增强现实装置102的操作者100在视野中遇到物体时，增强现实装置102可能不能容易地识别出该物体，通信部件206可通过与网络224的连接获得对该物体的识别。

在一个实施例中，通信部件206可向分析器204提供至少一些由源220、222和/或224中的任一个获得的信息。分析器204可负责对从通信部件206接收到的信息进行分析。显示部件208可包括与增强现实装置102的连接。例如，在一个实施例中，显示部件208可基于增强现实装置102中的传感器信息或摄像机来为操作者100确定视野104。在一个实施例中，分析器204可识别出视野104中的一个或更多物体。在一个实施例中，分析器204也可确定通过通信部件206接收到的哪些信息与视野104中的被识别的物体相关。

来自一个或更多源的信息可被存储在存储器210中，存储器210可包括易失存储器RAM 212和非易失存储器以及存储的信息的数据库。在一个实施例中，存储器210可包括历史传感器数据216、目前的传感器数据218和一个或更多个警报阈值214。例如，当分析器204确定操作者100的视野104中具有作业机械120的发动机部件时，分析器204可防问与被检测的发动机部件相关的被存储的历史传感器数据216。在一个实施例中，除了例如从装置传感器222接收的目前的传感器数据218外，分析器204可提供历史传感器数据216并且通过增强现实装置102显示目前的传感器数据和历史传感器数据。这对于操作者100确定发动机是否接近过热状况是有用的。指示过热状况的温度被存储在例如存储器210的被存储的警报阈值部分214中。

在一个实施例中，计算装置200为增强现实装置102的部件。在另一个实施例中，计算装置200可为作业机械120的部件。在另一个实施例中，计算装置200的至少一部分可为作业机械120的处理部件的部件。例如，在一个实施例中，增强现实装置102的存储部件210可能未存储这种信息，例如制造商设定的警报条件，诸如发动机的过热温度和压力，这些信息替代地由通信部件206获得，通信部件206和与作业机械120相关联的计算装置相通信。

图3A-3D示出了根据一个实施例的示例性的增强现实视野。在一个实施例中，对于操作者100，在操作作业机械120时具有大体没有障碍的视野104可能是重要的。之前的增强现实技术常将信息呈现为好像是漂浮在观察者前面的空间中。这种在视野的中心漂浮的信息给操作者提供的干扰比给操作者提供的功用多，尤其在其遮挡了潜在危险的时候。因此，期望的是由增强现实装置102所呈现的信息的至少一部分被呈现为使得其好像是由与该信息相关的部件的一部分所产生的或被锁定到与该信息相关的部件的一部分上。

图3A示出可被呈现给戴着增强现实装置102的操作者100的叠加的现实视野300。操作者100可看到在他们的视野104中呈现的信息的不同部分。该信息可被以多种形式呈现，例如作为悬浮式指示器302、锁定式指示器304或半锁定式指示器306。为了保证操作者100具有穿戴增强现实装置102的逼真的体验，被显示的信息应当尽可能最好地看起来好像由相关的部件产生而不是由增强现实装置102产生。因此，锁定式指示器304可看起来好像是由发动机产生。

如图3A所示，锁定式指示器304示出与发动机相关的目前的压力和目前的温度。指示器304可这样呈现给操作者100，使得其看起来真实，像真实地位于发动机的表面上的商标或绘制品一样。在一个实施例中，锁定式指示器304看起来好像是其环境的一部分，使得当操作者100向左或向右转弯时，信息看起来基本保留在原地。

在一个实施例中，指示器304被向操作者呈现为好像其是物体的表面的一部分，例如，像发动机的外部上的绘制品一样。在另一个实施例中，指示器304被向操作者呈现为好像其被连接到物体上的点，例如过去的或预测的锁定到轮胎并从其延伸的胎面标志。在另一个实施例中，指示器304被向操纵者呈现为好像其被叠加在物体的上方，例如像商标或标签那样。在另一个实施例中，指示器304被向操作者呈现为好像其以相对于物体预定的距离悬浮，例如，好像其在车辆前方5英尺处。

操作者100在他们的视野104中可看到其他类型的指示器，例如可在视野104的边缘出现的悬浮式指示器302。因此，悬浮式指示器302可以基本不遮挡视野104然而可指示存在可被例如正向右拐弯的操作者100看见的重要的传感器信息，如图3A示出的那样。在已经达到了用于目前的视野104之外的部件的警报阈值的情形中，悬浮式指示器302是重要的，以将操作者100的注意力引导到需要的地方。

此外，增强现实装置102还可提供一种或更多种半锁定式指示器306。半锁定式指示器可看起来好像是被锁定到装置的表面上，即使由半锁定式指示器306提供的信息不一定与该装置的表面相关。例如，如图3A所示，半锁定式指示器306提供的天气信息看起来好像被锁定到驾驶舱窗户的一部分上。因此，如果操作者100倾斜他们的头以使得他们进一步仰望，他们会看到天气信息进入到视野104的中央。这样，如果操作者100向下倾斜他们的头，天气信息可从视野104消失。

图3B示出在一个实施例中可被呈现给操作者的另一个示例性的叠加的现实视野。在图3B中，操作者不仅可看到关于作业机械120的信息，也能看到关于视野104内的另一物体的信息。例如，在图3B中，操作者100可在视野104中看到前方的播种机。由于与播种机相关的信息比与操作者的装置有关的信息要再远一些，因此与播种机相关的信息看起来不同。在一个实施例中，由增强现实装置呈现的指示器如果是关于更远的物体的话，其可看起来更小。在一个实施例中，这可由与播种机相关的距离指示器340示出。这些指示器可以被以比警报指示器320和趋势指示器330小的字体呈现，其中警报指示器320和趋势指示器330涉及物理上更靠近操作者100的部件。在将信息呈现给操作者100时不同尺寸的使用可使得体验更逼真，产生更少的干扰。

在一个实施例中，操作者100可通过增强现实装置102与车辆120相互协作并且看到呈现不同形式的信息的指示器。在一个实施例中，操作者可看到警报指示器320指示传感器已经收到了关于机械120的潜在问题的信息。例如，如图3B所示，警报指示器320可被呈现在机械120的发动机上，指示潜在的过热。在一个实施例中，警报指示器320可与趋势指示器330相结合。趋势指示器330可指示来自传感器的信息的历史趋势。因此，如图3B所示，在发动机目前可能处于过热的情形下，目前的温度处于冷却模式，指示出不需要操作者的干预。

此外，如图3B所示，增强现实装置102可呈现出一个或更多个后指示器350。尽管传感器222可获得关于相对于作业机械120的全360°范围内的物体的信息，然而不是所有的信息都能同时显示出来。在一个实施例中，在检测到操作者100在往后视镜看时，增强现实装置102可显示关于基本位于操作者100后方的物体的信息。将这种信息以人脑期望的方式显示，例如以后视镜的形式显示，可产生对操作者100具有更少干扰的更逼真的体验。

在一个实施例中，由传感器222提供的信息可被无线地传递到增强现实装置102。将关于机械部件或参数的信息无线地报告到头戴设备的能力可使得操作者100在离开驾驶舱之后能继续获得关于车辆120的更新。例如，在图3C中，操作者已经离开了车辆驾驶舱并且现在处于某一距离之外。在一个实施例中，操作者100可仍能看到多个锁定的指示器304。在一个实施例中，操作者可看到切割工具处于地面之上一定的高度，并且发动机显示出一定的温度和压力。

图3D示出了用于正在观察定长切割收割机的操作者的示例性的增强现实叠加图。在一个实施例中，定长切割收割机可夹持待收割的树状物。对于在定长切割收割机的驾驶舱中的操作者来说，存在很多目前常被在监视器上在可操作视野的一侧显示的相关的信息。例如，与待收割的树状物相关的参数，如树状物的直径和收割长度，以及与收割机刀片相关的信息，如切割长度和等级，如果被呈现在操作者100的视野104内会更有用。

在一个实施例中，通过在定长切割收割机的操作中使用可穿戴的增强现实装置，信息可由锁定式指示器306直接显示在视野104内。在一个实施例中，关于树状物的信息可由距离指示器340显示，距离指示器340看起来像被锁定在树状物本身上，但是使用更小的文本来指示该树状物距离操作者100有一定距离。额外地，可具有与关于定长切割收割机的信息相应的一个或更多个锁定式指示器306，例如在图3D中示出的那些显示目前定长切割收割机的切割长度和等级的锁定式指示器。

图4示出根据一个实施例的示例性的方法，该方法显示所存储关于相关物体的物体信息。当在视野104内检测到相关物体时，增强现实装置可通过方法400获得所存储的传感器信息并且向操作者显示所存储的传感器信息。在一个实施例中，所存储的信息可为历史趋势数据、历史警报数据或之前获得的与该物体相关的传感器信息。

在框410中，示例性的计算装置例如装置200接收传感器指示。该传感器指示可来自与装置相关的多个传感器中的任何一个，并且可属于发动机信息、工具信息、操作者信息和/或其他任何相关信息，例如天气信息。在一个实施例中，信息由计算装置200被动收集，而不管与目前监测的视野104的直接相关性。在另一个实施例中，基于在目前的视野104中的识别出的物体主动收集信息。

在框420中，接收到的传感器信息被存储。这种存储可包括由相关物体标引所述传感器信息。在一个实施例中，存储包括基于可以在其中呈现传感器信息的视野标引该传感器信息，例如直接观察所述物体或在后视镜中观察所述物体。该信息可被存储到例如存储器210中。在一个实施例中，其可被存储到与在作业机械120上的计算装置相关的存储器。然而，在另一个实施例中，其可被存储在与增强现实装置102相关的存储器中。传感器信息可被存储在位于示例性农业机械上的计算装置中并且之后被转发，这样增强现实装置102仅与在作业机械120上的计算机直接通信，不与传感器直接通信。在另一个实施例中，传感器信息由增强现实装置102直接接收，之后对所述信息进行标引并且存储在内部存储器中以用于之后的取出。

在框430中，操作者的指示被接收。操作者的指示可包括视野104中的变化的检测。例如，增强现实装置102可接收到操作者100已经向左或向右转头若干度、改变了视野104的至少一部分的指示。在一个实施例中，可由在增强现实装置102中的一个或更多个加速计促进该检测。在一个实施例中，可由与增强现实装置102相关的多个相机促进这种检测。此外，该指示可包括作业机械120的位置的变化的检测。当作业机械120运动时，随着物体移进或移出视野104，操作者100的视野104变化。

除了接收关于目前的视野104的信息以外，在框430中，增强现实装置也可接收来自使用者的可听到的请求。例如，在一个实施例中，增强现实装置102可检测和处理可听到的命令，例如问题“目前的发动机温度是多少”或命令“示出每小时的天气预报”。

在框440中，增强现实装置102可识别出与接收到的使用者指示相关的物体。例如，在一个实施例中，其中使用者指示为可听到的对更新的发动机温度的请求，增强现实装置102可识别出发动机是与使用者指示相关的物体。在另一个实施例中，其中使用者指示为检测视野已经变化，由此新的装置或装置部件现在处于视野104中，增强现实装置可检测到与切割工具相对应的新的可视的物体。方法400可首先确定相关的物体的表面是否处于目前的视野104内。如果在目前的视野104中没有相关的物体，另一个合适的表面例如仪表板或驾驶舱的窗可被替代地选取。此外，如果相关物体基本位于操作者100的后面，可选取后视镜表面。如果不存在合适的表面，悬浮式指示器302可被使用以将操作者100引导向新的可利用的信息。在另一个实施例中，操作者100可通过例如“在驾驶舱窗户上显示天气信息”的指示或通过预先选取的过程来选取表面。

在一个实施例中，识别物体的信息和有关物体的传感器信号从不同的源获得。例如，可根据需要周期性地从装置传感器接收传感器信号。然而，物体识别可从例如因特网的外部来源获得。物体可被例如捕捉视野104内的潜在物体的指示和将捕捉到的指示发送到分析器204的增强现实装置102识别。如果分析器204不能例如通过访问存储器210而容易地将捕捉的指示识别成一个物体，则捕捉到的指示可经由通信部件206通过网络被送到外部处理部件(未示出)。外部处理部件可将该指示识别成感兴趣的物体并且将物体的识别发送回到增强现实装置102。在一个实施例中，外部处理部件也可识别出潜在的相关的传感器信号，例如在将物体识别为存储容器之后，体积和/或重量可被指示为相关的传感器信号。

在另一个实施例中，被指示的物体可被识别成与农业车辆相关的作业工具，并且被指示的相关传感器信号可为地平面以上的距离。增强现实装置102之后可将获得的与地面之间的距离添加到作业工具和作业机械102之间的识别出的连接上。在一个实施例中，由于例如作业工具在给定时间内可能相对于地面运动，因此获得的与地面之间的距离为动态测量值。

在另一个实施例中，基于与车辆120相关的传感器信号，而不是基于图像处理部件，选择图像叠加的位置。例如，视野104内可具有位于0°参考位置的车辆120，并且与工具相关的传感器处于操作者102右侧45°的位置处。一旦检测到视野104中与操作者102向右转体45°对应的变化，属于所述工具的传感器信息可被显示在工具之上的图像叠加图中。

在框450中，增强现实装置可显示关于相关物体的合适的传感器信息。在一个实施例中，新检测的物体为切割工具，相关的传感器信息，例如刀片高度和速度，可被显示为使得它们看起来像被固定在切割工具上。当接收到新的传感器信息时，框450中显示的信息可被更新。例如，如果切割工具移动就位，则显示的高度随着工具移动而更新。在一个实施例中，显示的信息仅被周期性地更新，如每秒一次。在另一个实施例中，当接收到新的传感器信息时，显示的信息被实时更新。然而，在一个实施例中，其中多个传感器报告实时的信息，不同的指示可以以不同的速度更新。例如，方法400可确定：由于切割工具基于操作者的动作而移动，切割工具的相关的显示信息可被实时更新，而其他例如属于目前的发动机温度的信息可被相对不频繁地更新。所有传感器信息的一直更新对于操作者100来说太多并且分散注意力。对于被检测的任务重要的信息以及其他信息具有不同的更新速度可提供较少分散注意力的体验。

在一个实施例中，在框445中，确定操作者100和相关物体之间的距离。一旦检测到新识别的物体远离操作者100特定距离时，框450中的显示步骤可以以较小的或更大的合适的字体显示传感器信息。例如，与距离操作者100超过10英尺的物体相关的信息可比例如向操作者100显示为固定到驾驶舱窗户上的信息使用较小的字体或文本。

图5示出根据在一个实施例的显示被观察的物体的指示的示例性方法。在一个实施例中，其中传感器信息被存储在远离增强现实装置102的存储器中，在相关的物体在视野104中已经被检测到之前，可能不能获取传感器信息。

在框510中，增强现实装置识别操作者100的视野。可基于与增强现实装置102相关的相机识别视野104。额外地或可替换地，视野104可基于内部的感应器而被确定。在另一个实施例中，增强现实装置102可经历对每一个预期的操作者的标定阶段，使得增强现实装置102可精确地感知视野104并且检测操作者感知到哪个物体。

在框520中，增强现实装置102识别出视野104中的物体。物体的识别可包括例如确定已知的物体处于视野104之中。例如，与示例性的作业机械相通信的增强现实装置102可识别出与作业机械相关的不同的物体，例如工具、发动机和/或仪表盘。然而，在另一个实施例中，增强现实装置能够基于已知物体的目录或通过访问网络例如因特网识别物体，以确定被检测物体的潜在的识别。例如，如图3D所示，增强现实装置102能够将由切割工具夹持的物体识别为树状物。

在框530中，增强现实装置102获取与识别出的物体相关的传感器信息。在一个实施例中，接收传感器信息包括获得最后捕获的传感器读取信息。例如，如果传感器被构造成每五秒钟一次报告发动机温度，获取传感器信息可包括获取并且显示来自例如三秒钟之前的发动机温度，将其作为最新的可获得的传感器信息。在另一个实施例中，获取传感器信息包括向传感器发送指令以获取和报告目前的传感器读取信息。

在框540中，在一个实施例中，获取的传感器信息被增强现实装置102显示为使得其看起来像与识别出的物体相关联。在一个实施例中，这包括将传感器信息显示为使得其看起来像被锁定到相关的物体上。在另一个实施例中，这可包括将传感器信息显示为其看起来好像被通过例如后面的指示器350而被半锁定到视野104中的后视镜上。方法500可与在视野104中检测到的物体一样多地在上面描述的关于框520、530和540的步骤中循环。

图6示出在一个实施例中的在操作者的视野中提供警报的示例性方法。向操作者100提供警报信息是重要的，即使引起警报的物体不处于视野104中。然而，保证警报被传送使得其吸引操作者100的注意力而不使操作者从目前的任务上分心是及其重要的。因此，期望的是警报出现在视野104中但是不出现在视野104的中心。例如，将警报显示在视野104的边缘对于方法600是有用的。

在框610中，在一个实施例中，增强现实装置102接收涉及物体的警报指示。例如，可接收到指示发动机过热的传感器信息，或播种机的行单元正经受堵塞的传感器信息。在一个实施例中，例如，即使示例性的发动机或行单元不在视野104内，该警报指示也可被接收到。然而，警报可能是重要的，这种指示应当在操作者100下次在视野中遇到相关物体之前提供。

在框620中，在一个实施例中，一个指示显示在视野104中。在一个实施例中，该指示可被显示在视野104的外围边缘以吸引操作者100的注意但是将干扰最小化。例如，例如3A的悬浮式指示302所示，警报指示可被显示为好像其由在操作者100的边缘视野中的物体产生。人类大脑习惯于感知处于他们视野的边缘的信息，例如，有人挥手以获取一个人的注意。一旦看到在他们的视野外围边缘的指示，操作者会转动他们的头以更确切地感知边缘指示的来源。这会允许操作者容易地感知到警报已经被启动而不会提供干扰或不真实的环境。

在框630中，在一个实施例中，增强现实装置102检测在视野104中相关的物体。这可发生在例如当增强现实装置102检测到操作者100往边缘定位的警报的方向转向的运动的时候。这也可发生在例如当增强现实装置检测到物体进入视野104的运动的时候。

在框640中，在一个实施例中，警报信息与物体相联系地显示在视野104中。警报信息被显示为其好像被锁定到与警报相关的物体上。在一个实施例中，物体离操作者具有相当大的距离，警报信息被以较小的字体显示以反映出所述距离，然而以一种值得注意的格式显示以吸引操作者的注意。

在一个实施例中，警报信息以粗体或鲜亮颜色的字体显示，例如红色或绿色。警报也可另外作为高亮文本或作为基于指示的非文本而被区分出来。在一个实施例中，增强现实装置102检测相关物体的颜色并且以互补色显示警报信息。例如，在绿色背景下，警报信息可显示为红色。例如，在橘色背景下，警报信息可显示为蓝色。这可有助于操作者100快速识别并且对产生的警报做出反应。

在一个实施例中，方法600也可提供不由物体产生的警报信息。例如，警报信息可来自外部来源，如访问因特网的应用。在一个实施例中，操作者需要知道即将来临的天气趋势，使得在暴雨到来之前应当储放设备。在另一个实施例中，操作者100会需要知道检测到的地下障碍物，如公共管线。这些警报信息可经由网络接收并且向操作者100显示，例如使用400、500或600的方法。

额外地，当框620预期一个在其中在视野104中显示指示的实施例时，指示也被预期为可为听得见的指示。例如，增强现实装置104可具有构造成定位在操作者100周围的一个或更多扬声器。如果警报指示与在操作者100的后方和左侧的物体相关，定位在基本在操作者100的后方和左侧的增强现实装置上的扬声器会指示警报。这会是指示操作者在他们的视野之外具有警报信息的较少干扰的方式，而又提供对警报的方向的指示。这也是对于具有受损的周边视觉的操作者的可选择的特性。

图7示出在一个实施例中将物体信息固定到相关的物体上的示例性的方法。信息被以不将操作者从目前的任务上分心的方式显示给操作者是重要的。实现此的最有效和最实际的方式中的一个是将信息显示为使得其看上去像是由与信息相关的物体所产生或锁定到与信息相关的物体上。方法700示出用于将这种固定的信息显示给操作者100的示例性的方法。

在框710中，增强现实装置102接收物体的指示。在一个实施例中，物体的指示可为在视野中的未预料到的物体的指示。在另一个实施例中，物体的指示为预料到的物体的指示，例如，作业机械120的已知的工具。

在框720中，被指示的物体被识别出。可基于多个源识别物体，例如，增强现实装置102可使用图像处理技术识别出与典型的农业工具相关的多个物体。在另一个实施例中，增强现实装置102可连接到网络使得其可以与被识别的物体的储存的索引相互参照被观察的物体，以识别出被指示的物体。

在框730中，物体的一个表面被识别。增强现实装置可将整个物体高亮显示并且确定用于显示的最好的表面。在一个实施例中，一个物体的最好的表面是对操作者来说看起来平坦的表面。然而，曲面也可被接收并且增强现实装置102可调整显示的信息以与检测到的弯曲相配。例如，在一个实施例中，在看向桶或储存容器时，表面对于操作者看起来是曲面，但是对于显示与重量或体积相关的信息来说基本上足够平坦。

在框740中，获取与被识别的物体相关的传感器信息。在一个实施例中，通过访问例如来自历史传感器数据216的最新组的传感器信息来获取传感器信息。在另一个实施例中，通过发送命令到与被识别的物体相关的一个或多个传感器以返回最新的传感器读取信息来获取传感器信息。

在框750中，传感器信息由增强现实装置102显示为使得其看起来固定到识出的表面上。当增强现实装置102检测到操作者100的移动时，例如向左或向右转身，传感器信息在显示器上更新，使得其看起来在物体的表面上没有移动，不论操作者100如何移动。

本讨论内容已经提及与增强现实装置和/或作业机械中的一个或二者相关的处理器和服务器。在一些实施例中，作业机械包括农业装置。在一个实施例中，处理器和服务器包括具有未单独示出的相关的存储器和定时电路的计算机处理器。它们作为其所属于的系统或装置的功能部件并且被在他们的系统中的其他部件或物体所驱动并且促进其他部件或物体的功能。

若干数据存储也已经被讨论。应当注意，它们每一个可被分成多个数据存储。所有的数据存储对于访问他们的系统来说都可为本地存储，或都可为远程存储、或部分为本地存储而其他为远程存储。所有这些构造都被在本文中预期。

附图也示出多个框，所述框具有归因于每个框的功能。应当注意，更少的框可被使用使得所述功能由更少的部件实现。另外，也可使用更多的框，其中所述功能在更多部件之间分配。

应当注意，在一个实施例中，被作为被显示或被储存的信息讨论的任何或所有信息也可被输出到基于云的存储器或从基于云的存储器获取。

还应注意，图2的元件或这些元件中的一部分可被布置在多种多样的不同的装置中。这些装置中的一些包括服务器。台式电脑、便携计算机、平板电脑或其他移动装置例如掌上电脑、移动电话、智能电话、多媒体播放器、个人数码助手等。这些装置也可包括农业车辆或其他由示例性的操作者使用的工具。

应当注意，本文描述的不同的实施例可被以不同的方式组合，也就是说，一个或更多的实施例的部件可被与一个或更多的其他实施例的部件组合。所有的这些都在本文中被预期。

尽管主题已经被以结构特征和/或操作方法的特定语言描述，然而应当理解在附加的权利要求中限定的主题不必被上面描述的特定的特征或操作所限制。相反，上面描述的特定的特征和操作作为权利要求的实施的示例形式而被公开。

Claims (20)

1.一种用于作业机械的操作者的头戴式增强现实装置，包括：

显示部件，该显示部件被构造成在给操作者提供基本没有障碍的视野的同时产生和显示增强现实叠加图；

视野部件，该视野部件被构造成检测在操作者的视野中的物体；

通信部件，该通信部件配置成与至少一个信息源通信；和

处理部件，该处理部件配置成接收来自所述至少一个信息源的指示，并且显示与被检测的物体相关的所述指示。

2.根据权利要求1所述的头戴式增强现实装置，其中，通信部件为无线通信部件。

3.根据权利要求1所述的头戴式增强现实装置，其中，处理部件被配置成确定所述指示与被检测的物体相关。

4.根据权利要求1所述的头戴式增强现实装置，其中，显示与被检测的物体相关的指示进一步包括将指示显示成好像所述指示是被检测的物体的表面的一部分。

5.根据权利要求4所述的头戴式增强现实装置，其中，将所述指示显示成好像所述指示是被检测的物体的表面的一部分进一步包括将所述指示显示为好像所述指示被连接到所述物体上的点。

6.根据权利要求4所述的头戴式增强现实装置，其中，将所述指示显示成好像所述指示是被检测的物体的表面的一部分进一步包括将所述指示叠加到所述物体之上。

7.根据权利要求4所述的头戴式增强现实装置，其中，将所述指示显示成好像所述指示是被检测的物体的表面的一部分进一步包括将所述指示显示为好像所述指示在距离所述物体特定的距离的位置处漂浮。

8.根据权利要求7所述的头戴式增强现实装置，进一步包括：

存储器，该存储器构造成存储接收到的指示，以便由相关的物体和视野角度中的至少一个标引所述指示。

9.一种使用增强现实装置显示接收到的信息的方法，所述方法包括下述步骤：

从信息源接收与关于作业机械的操作相关的信息的指示；

通过接收器接收使用者指示；

使用处理部件识别与操作者指示相关的物体；以及

使用显示部件显示接收到的指示，使得所显示的指示看上去像被锁定到被识别的物体上。

10.根据权利要求9所述的方法，其中所述信息源为第一信息源，并且其中显示部件被构造成访问第二信息源，所述第二信息源被配置成接收关于接收到的指示在增强现实装置的视野中的位置的信息。

11.根据权利要求9所述的方法，其中所述处理部件在增强现实装置的外部，并且其中识别与使用者指示相关的物体的步骤包括：

将潜在物体的指示发送到在外部的所述处理部件；以及

从远处的所述处理部件接收对所述物体的识别。

12.根据权利要求9所述的方法，其中处理部件为增强现实装置的部件。

13.根据权利要求9所述的方法，其中接收到的使用者指示包括使用增强现实装置的定位部件检测到视野已经变化。

14.根据权利要求9所述的方法，其中所述信息的指示包括关于进行所述操作的构件的动态测量值。

15.根据权利要求9所述的方法，进一步包括：

检测所述物体和增强现实装置之间的距离，并且其中显示接收到指示的步骤进一步包括基于检测到的距离确定接收到的指示的尺寸。

16.根据权利要求14所述的方法，其中所述构件包括作业工具，动态测量值包括作业工具到地平面的距离，并且其中显示部件识别出作业工具到作业机械的连接机构并且将作业工具离地平面的距离显示为使得所显示的距离看起来像叠加在所述连接机构之上。

17.根据权利要求9所述的方法，其中显示接收到的指示的步骤进一步包括：

识别出所述物体的表面；以及

显示接收到的指示使得所显示的指示看起来像是被识别的表面的一部分。

18.一种使用头戴式增强现实装置在物体上显示信息的方法，所述方法包括：

使用增强现实装置识别与增强现实装置相关的视野；

使用处理部件识别在作业机械的操作者的视野中的感兴趣的物体；

获取与识别出的物体相关的信息的指示，其中该信息的指示包括关于被识别的物体的动态测量值；

使用增强现实装置的显示部件显示所述信息的指示，其中所述显示包括将所述信息的指示描绘成好像其被锁定到所述物体的表面上。

19.根据权利要求18所述的方法，其中识别视野包括使用增强现实装置的定位部件来检测佩戴着该增强现实装置的操作者的视野。

20.根据权利要求18所述的方法，其中所述信息的指示为从与车辆相关的传感器接收的信息，其中所述信息的指示包括车辆的部件的状态。