CN110001518B - 实时增强人对采矿工地上的采矿车的视野的方法和装置 - Google Patents

Abstract

实时增强人对采矿工地上的采矿车的视野的方法和装置。本发明涉及一种向采矿工地(50)上的人(25)实时可视化(14)采矿车(1,1a)的风险区以用于增强该人对采矿车(1,1a)的当前视野(3)的方法。该方法包括步骤：利用相机(21)拍摄(11)采矿工地(50)的画面流(2)，例如视频流，该相机的视场至少部分地与该人的视场对应；通过图像处理来识别(11)画面流中的至少一个采矿车(1,1a)；从画面流提取(12)采矿车(1,1a)的图像数据(5)；基于图像数据(5)和预设车辆风险区数据(8)，计算(13)适应人对采矿车(1,1a)的当前视野(3)的采矿车(1,1a)的至少一个风险区(6,6e,6f)；以及在人的显示器(25)上可视化(14)风险区(6,6e,6f)，使得该人对采矿车(1,1a)的当前视野(3)实时地与风险区(6,6e,6f)的可视化(7,7e,7f)叠加。

Description

实时增强人对采矿工地上的采矿车的视野的方法和装置

技术领域

本发明涉及一种通过采矿车周围的风险区的可视化来实时增强人对矿场上的采矿车的感知的方法。本发明还涉及一种用于执行所述方法的增强现实显示装置。

背景技术

诸如拖运卡车、挖掘机或斗轮挖掘机的重型机械对于采矿工地上的工人或其他个人或者其它机械或车辆而言是一个持续的风险因素。每年在采矿业中发生数千起事故，其中约四分之三涉及某种采矿设备，其中大部分是采矿车。防护服只能提供限定的保护，因为这种重型且常常非常巨大的机械所产生的力是巨大的。

尽管针对更好的安全标准努力设计采矿车，但这些方法成本高并且特别有限，因为这些设备的基本功能总是会带来风险。另一方面，努力通过安全教程来相应地指导采矿工人以更好地识别和规避风险。然而，许多情况发生在现场，对人而言难以评定车辆所构成的风险，因为例如车辆的速度以及因此由车辆的移动导致的风险很难正确地评估。

出于安全原因通过技术手段辅助工作人员在本领域中是已知的。例如，文献US2013/182066 A1公开了一种用于勘察诸如液压挖掘机的工作机器的周围环境以为了安全而勘察的装置。其中，提出向工作车辆提供多个相机，监视机械后退时的危险区或者车辆操作者的其它盲区。然而，操作者仍然可能未注意到风险区中的人或者可能太晚感知到风险区中的人从而无法防止受伤或事故。

发明内容

因此需要一种方法和装置来帮助采矿现场的人实时评估或识别由其周围的采矿车导致的风险区，特别是为了避免人进入这样的风险区和/或适时警告他或采矿车的操作者。

因此，本发明的目的在于提供一种向采矿工地的人实时呈现采矿车的风险区的方法。

此外，目的在于提供一种增强现实显示装置系统。

本发明涉及一种实时增强人对采矿工地上的至少一个采矿车的当前视野的方法。该方法包括以下步骤：

-利用相机拍摄采矿工地的画面流，优选视频流，其中相机的视场至少部分地对应于人的视场(相机对采矿工地的视野至少与人的视野大致相同，例如实现为相机被安装到人的头盔或眼镜，由此优选相机的视场大于人的视场)，

-通过图像处理识别画面流中的至少一个采矿车，

-从画面流提取采矿车的图像数据，

-基于图像数据和预设车辆风险区数据，计算适应于人对采矿车的当前视野的采矿车的至少一个风险区，以及

-将风险区可视化在人的显示器上，使得人对采矿车的当前视野与风险区的可视化实时地叠加。

根据本发明，使用采矿车的实际实时图像(或多或少与用户对采矿车的视野对应)和采矿车的风险区的预信息直接在用户的视场(与他对采矿车的视野匹配)中以采矿车的图形的某种形式建立和显示实时风险区。

优选地，通过连续地执行该方法(或者特别是通过风险区的重新计算和重新可视化)，风险区的可视化动态地适应人的当前视野的改变和/或相对于人的采矿车位置的改变。然后，人作为增强现实总是具有风险区的实时和实际视觉视野。

优选地，计算风险区的步骤包括生成至少一个地理围栏。地理围栏是本领域已知的，可例如用于在有人穿过地理围栏时触发事件。例如，地理围栏采取用于触发警报、消息等的虚拟围栏的形式，例如基于人与地理围栏的相对位置的定位在人的显示器上弹出信息。作为选择，地理围栏是移动地理围栏，即，随移动的采矿车或移动的采矿车结构而移动的地理围栏。

作为另一优选选择，所有方法步骤由用户可穿戴装置执行。因此，在工地现场的人可独立于任何外部系统或装置，特别是独立于任何计算机网络利用根据本发明的方法，并且方法的执行可不受外部计算装置或通信线路的任何故障干扰。所述特征不排除从外部传感器接收数据，例如GPS信号或从采矿车本身传送来的数据，如下所述。优选地，在根据本发明的利用这种外部传感器数据的任何进一步开发的方法中，通过回退到不依赖于这种外部数据而执行的根据本发明的更基本的方法来自动地补偿数据传输的任何故障。

优选地，在要求保护的方法的过程中，确定采矿车相对于人的位置和/或取向。然后另外基于如上所述确定的相对位置和/或取向来计算风险区。相对位置和/或取向例如从图像数据推导，例如基于画面流中的两个或更多个画面使用诸如特征提取和匹配的已知技术并且使用相机的已知性质推导其方向/角度信息和/或基于具有已知的真实几何性质(大小、长度、形状等)的对象用作参考尺度，由此确定图像中的对应性质。这种对象可以是例如采矿车本身，如果其真实尺寸和/或取向信息对执行该方法的计算单元是已知的话(例如，使用采矿车数据库)。替代地或另外地，基于距离测量来确定位置，例如使用执行该方法的增强现实显示装置中内置的已知激光测距仪和/或借助于该装置和/或采矿车的全球导航卫星系统(GNSS)。

作为另一选择，基于如上所述确定的相对位置来确定人进入风险区，并且因此，自动地给予人和/或采矿车优选听觉或视觉警告，告知该人本身或者另一人或系统进入风险区。另外地或替代地，作为对进入的反应，自动给予采矿车命令(或者如果该人是另一采矿车的操作者本身，则给予他自己的采矿车命令)。这种自动触发的命令例如是停止其一个或所有风险区相关活动的命令(例如，通过停止采矿车的一个或所有系统)，或者改变速度或移动方向。

根据该方法的实施方式，风险区的计算另外基于采矿车的实时参数。优选地，实时参数是运行状态(例如，活动等级)、采矿车和/或采矿车的致动器或结构的速度和/或移动方向(换言之，该参数涉及作为整体的采矿车或者其一个子元件)。作为另一选择，参数从图像数据和/或从监视采矿车的传感器推导，由此该传感器例如是内置于采矿车中(例如，其速度计)或内置于增强现实装置中以在远处无接触地测量车辆的传感器。

作为另一选择，风险区可视化取决于采矿车类别、采矿车的外观(特别是其颜色)和/或采矿车或其可动结构的速度或移动方向。例如，根据个体车辆，根据采矿车的类别(例如，“挖掘机”或“拖运车辆”)生成和显示不同类型的风险区叠层。作为另一示例，从图像数据确定车辆的颜色并且相应地选择叠层的颜色。

在另一优选的实施方式中，该方法包括预测组件，其中基于采矿车和/或人的特别是实时参数来计算和可视化未来风险区。因此，不显示或不仅显示实际风险区，而显示警告用户在不久的将来将发生的风险的风险区，从而允许考虑其来例如规划路点或未来行动。参数例如是采矿车的未来运行状态和/或移动参数，特别是采矿车和/或人的速度和/或方向。作为另一选择，计算并在显示器上可视化未来风险区的发生时间和/或(潜在)碰撞的发生时间，从而允许更好地规划或评定未来风险。如果存在不止一个(移动)车辆，则可选地计算并在显示器上可视化不同车辆的风险区的重叠时间。

作为另一选择，识别至少一个采矿车包括识别采矿车的类别，并且预设车辆风险区数据是类别特定数据。替代地或另外地，识别至少一个采矿车包括识别个体采矿车，并且预设车辆风险区数据是个体采矿车所特定的数据。

在优选实施方式中，计算风险区包括将风险区再分成不同风险等级的子区，特别是包括高风险子区和/或禁区，从而给予人采矿工地上他周围的风险的更好或更精细的视觉印象，和/或允许更好地评估可接受风险和在所有情况下避免的风险。优选地，风险区的可视化包括以不同的叠层(例如，不同类型的叠层)显示不同的子区，从而在视觉上例如以不同的形状或风险区之间的图形边界或者以不同的颜色或颜色渐变清楚地指示例如高风险、中等风险和低风险。

作为另一选择，该方法包括一致或并行或同时计算并在操作者的显示器上可视化人的当前视野或视场内的多个(特别是所有)采矿车的风险区，其中，可由人启用和停用一些或所有风险区的可视化。用户然后可自行决定采矿车之一的风险区是否真正牵涉自己。在另外的增强方法中，如果评估可视化的停用将给人带来过高的风险，则在自动风险评估之后自动地将停用禁用。另外地或替代地，根据自动风险评定，停用的风险区被自动地重新启用并显示。作为另一选择，可视化包括不同种类的叠层，特别是关于颜色或形式，以用于不同的车辆和/或不同的车辆类别，从而允许用户更好地区分风险区。

在适当的情况下，本文中关于初始风险区所描述的任何附加或改进的方法步骤不仅适用于该基本风险区，而且适用于任何附加的未来风险区或子区或者从其以某种方式推导的任何风险区。

在另外的实施方式中，该方法包括计算和可视化至少一个附加风险区，其中，附加风险区由采矿车的活动产生。因此，附加风险区不直接与采矿车本身有关，而是由其行为产生。例如，风险区可指示由挖掘机的土方程序产生的风险、由在附近的地面上行走或驾驶的人进行的给人或车辆带来风险的采矿地面的变动或飞起的石头。

作为替代或附加选择，根据本发明的方法另外包括将提取的采矿车的图像数据可视化，使得在显示器上可视化采矿车的人造实时视野，由此与画面“原始数据”相比可使用已知的图像编辑程序修改或改进图像数据。因此，除了或代替他对采矿车的真实视野，人看到例如采矿车的叠层。例如，如果对采矿车的真实视野被(部分地)干扰或遮挡(例如，由于灰尘、差的照明条件或者视线中的对象)，则这种方法是有用的。另外，可选地参考先前存储的采矿车的图像数据以将采矿车的人造视野可视化。作为另一选择，在人附近但是不在该人的当前视野中(例如，在其背后)的采矿车和/或其风险区的图像数据被可视化在该人的显示器上(例如，单独的显示窗口中)。因此，该人可意识到附加风险。因此，增强现实显示装置可包括附加相机或具有宽视角的相机，其不仅拍摄人的视场的画面流，而且拍摄其侧面、背后和/或上方的画面流。

在另外的实施方式中，该方法包括在显示器上例如以2D或3D图形的形式和/或以文本形式可视化关于采矿车的参数的至少一个附加信息(例如，其健康或状态)。可选地，附加信息被可视化为附到人对采矿车的视野的信息框。作为另一选择，例如，可视化是交互式的，使得人可交互或扩展信息框的可视化以显示更详细的信息(例如，详细状态或健康报告)。在一些实施方式中同样给予交互式可视化的选择以用于风险区的可视化，例如使得人可推按附到所显示的风险区的虚拟按钮以检索关于风险区和/或下面的采矿车的更详细的信息。作为另一选择，可视化是交互式的，使得人可使用它例如通过推按用户的增强视野中附到采矿车的虚拟按钮来与采矿车或中央服务器通信，或者该方法包括使用显示器上可视化的信息(优选风险区相关信息)来与采矿车通信的步骤。

在另外的实施方式中，该方法包括拍摄采矿车的至少一个距离图像，其中，风险区的计算还基于所述至少一个距离图像。优选地，相机被构建为适应于拍摄距离图像，特别是适应于在拍摄画面流的同时拍摄多个距离图像的RIM相机。距离图像可选地用于如上所述确定人相对于采矿车的位置。

本发明还涉及一种适应于实时增强人对采矿工地上的采矿车的当前视野的增强现实显示装置。该装置包括用于拍摄画面流，特别是视频流的相机，该相机被对准，使得相机的视场至少部分地对应于人的视场。该装置还包括图像识别和提取单元，其适应于通过图像处理来识别画面流中的采矿车并从画面流提取与采矿车有关的图像数据。此外，该装置包括风险区计算单元，其适应于基于图像数据和预设车辆风险区数据，确定适应于人对采矿车的当前视野的采矿车的至少一个风险区。另外，该装置包括图形显示单元，其适应于创建并在装置的显示器上可视化风险区的图形，并且将所述图形实时地叠加在人对采矿车的当前视野上。

可选地，该装置包括用于确定装置相对于采矿车的位置和/或取向的检测器，例如激光测距仪、RIM相机和/或立体相机系统。作为另一选择，该装置具有用户接口，其适应于例如通过显示附到风险区或其它信息图形或文本框的虚拟按钮或触摸板来使得人能够与显示器上可视化的信息(特别是风险区)交互。作为另一选择，该装置包括用于与采矿车通信的无线通信单元，特别是其中，该装置被配置为使得显示器上可视化的信息用于通信，例如风险区的叠层为交互式的，使得人可“触摸”该叠层以打开与相应采矿车的通信。作为另一选择，该装置包括附加或第二相机，其被对准以使得相机的视场基本上不同于人的视场，例如该相机拍摄人的后方或者侧面或上方的采矿工地的流或画面。

本发明还涉及一种具有存储在优选根据本发明的增强现实显示装置的机器可读介质上或被具体实现为电磁波的程序代码的计算机程序产品，该程序代码被配置为控制并执行根据本发明的方法。

本发明有利地提供一种通过实时地对采矿车的风险区进行可视化来增强人对采矿车的视野的方法和装置。本发明提供了采矿工地上的现场中的配备有相应增强现实装置显示器的行人或另一车辆的驾驶者对采矿车周围的危险区的实时图形视野，因此允许容易地估计采矿环境中的实际风险并使其行动或计划适应风险，并且如果适用，与采矿车交互或通信。本发明的可选实施方式通过确定并考虑另外的参数来提供更多功能，例如地理围栏、采矿车的增强实时视野、风险区的增强可视化、附加信息的可视化或者一个或更多个风险区的改进的计算和可视化。

附图说明

下面将参照附有附图的示例性实施方式详细描述本发明，附图中：

图1a至图1e示意性地示出根据本发明的方法的示例；

图2示出根据本发明的增强现实显示装置的两个示例性实施方式；

图3a至图3b示意性地示出根据本发明的方法的两个另外的示例；

图4示意性地示出根据本发明的方法的另一示例；

图5a至图5b示意性地示出根据本发明的方法的两个另外的示例；

图6a至图6b示意性地示出根据本发明的方法的另一示例；

图7示意性地示出根据本发明的方法的另一示例；

图8示意性地示出根据本发明的方法的另一示例；以及

图9a示出根据本发明的增强现实显示装置的进一步开发的示例性实施方式，图9b示出使用根据图9a的增强现实显示装置的可视化。

具体实施方式

在图1a至图1e中，示出增强人对采矿工地50上的采矿车1的视野的方法。

图1a示出拍摄10图像流。该图示出由人(例如，矿工)以及由增强现实显示装置(例如，Google眼镜、头戴式显示器(HMD)或智能电话(参见图2))的相机感知的采矿工地50。相机被对准以使得相机的视野4与人对工地的视野3对应。在采矿工地50上，采矿车1(在示例中，挖掘机)正对一堆石头51进行操作。相机拍摄工地50的画面流2(为了简单，仅示出一个画面)。

图1b示出识别11画面流2中的采矿车1。通过图像处理，在画面2中确定采矿车1(在图1b中通过将采矿车1填充灰色来指示)。用于车辆识别的图像处理例如基于特征包算法或其它分类算法和/或诸如几何元素(线段或弧段或者主线等)和/或尺度不变描述符(例如，使用SURF或SIFT算法计算)的特征和/或诸如方向梯度直方图、ORB、BRISK等的统计特征，由此例如使用Hough变换、Harris-Laplace检测器或

算子来提取特征。识别11可以是识别采矿车的类别，例如“挖掘机”、“推土机”或“拖运车辆”，或者可以是识别个体采矿车，例如“1号挖掘机”、“13号推土机”等。

图1c示出随后的步骤：提取12所识别的采矿车1的图像数据5。在示例中，从整个画面2(参见图1a)的图像数据提取描述或表示整个采矿车1的图像数据。然而，仅提取采矿车1的部分(例如，类似拐角点的突出点或者类似挖掘机的铲斗和/或其底盘的突出部件/特征)的图像数据可能同样足够了。

图1d示出计算13采矿车1的风险区5的步骤。计算13基于提取的图像数据5和预设车辆风险区数据8。计算风险区6，使得其适应于人对采矿车1的当前视野。预设车辆风险区数据8例如可以简单地是采矿车的类别所特定的或者个体采矿车1所特定的圆半径，描述围绕采矿车1的圆，在该圆的空间内给出例如可能发生与采矿车1的碰撞的风险。在更复杂的方法中，预设数据8描述一个或更多个复杂几何形状而非简单圆，例如椭圆、矩形、多边形或3D形式或者具有考虑悬垂的车辆部件(例如，悬臂)的凸形的形状。利用所提取的图像数据5，预设数据8被拟合到人的当前视野(图像数据5由视野至少部分地与人的视野对应的相机产生)，例如使得圆半径适合图像中的采矿车1的大小并且圆以车辆1的中心为中心。在更复杂的风险区形状的情况下，可选地考虑采矿车1相对于人/相机的姿态或取向，使得风险区6的取向与车辆1的取向匹配。

图1e示出最后步骤：将风险区6可视化14在人的显示器(未示出)(例如，Google眼镜或智能电话的显示器)上。在示例中，风险区6被可视化为显示器上的半透明图形7，使得利用用作采矿工地50上的采矿车1上的叠层的图形7实时地增强人对采矿工地50采矿车1的当前视野3(如果使用类似Google眼镜的装置，则直接视野，或者如果使用诸如智能电话的装置，则间接视野)，所述图形表示风险区6。

优选地，风险区6的可视化例如通过利用如下所述的传感器手段连续确定观察方向和/或相对位置来动态地适应人的视野3的改变(观察方向或视场的改变)和/或采矿车1相对于人的相对位置的改变。然后重新计算和显示风险区6，由此识别车辆并提取其图像数据的步骤可选地另外基于先前画面作为预信息，这可方便或加快图像处理。

可选地，风险区6的推导包括生成地理围栏。这种地理围栏例如用于如果进入或碰到风险区则向人发出警告(类似叠层7开始闪烁)，或者如果该人本身是第二(采矿)车辆的操作者，则自动将他的车辆停止或减速或改变其移动方向。

图2示出根据本发明的由人52穿戴的增强现实显示装置20a、20b的两个示例性实施方式。第一装置20a被具体实现为眼镜，第二装置20b被具体实现为头盔。装置20a、20b各自包括用于拍摄视频流的相机21，由此相机被对准以使得相机的视野4c至少部分地与人的视野3p对应(其视场4c、3p重叠)。装置20a、20b还包括图像识别和提取单元22，其用于如上所述识别采矿车并提取采矿车的图像数据。此外，装置20a、20b包括：风险区计算单元23，其用于基于图像数据和预设风险区数据来确定至少一个风险区；以及图形显示单元24，其用于如上所述生成并在装置20a、20b的显示器25上可视化风险区的实时图形表示。在示例中，所述图形用作透明显示器25上的叠层，使得人52“自然”看到采矿车及其周围的虚拟风险区。替代地，显示器25显示以风险区图形增强的由相机21成像的采矿工地的采矿车的实时图像或视频流。作为所示单元22、23和24的集成实现方式的替代，这些单元可位于远处并通过无线连接来连接到相机21和显示器25。

第二装置20b另外包括检测器28，其用于确定装置20b相对于采矿车的位置和/或取向。相对位置或姿态直接或者借助装置20b和采矿车二者的公共参考系间接确定。检测器例如被具体实现为GNSS接收器、罗盘、IMU、陀螺仪或3轴测斜仪中的至少一个。另外地或替代地，检测器28被具体实现为图像分析仪，其通过分析由相机21的画面流(参见图1c)提供的采矿车的图像数据来确定相对位置和/或姿态。第三种选择是将检测器28构建为诸如相机系统的光学视频测量传感器，以用于被动三角测量(摄影测量法)或者利用采矿车的结构化照明的主动三角测量，有利地以相机21作为检测器28的部分。优选地，检测器28被具体实现为基于飞行时间和/或相位测量的原理来拍摄采矿车的距离图像的距离图像相机或RIM相机(可选地，具体实现为与画面相机21的共同组件)。可选地，所确定的相对位置和/或取向另外用于计算风险区，以例如更好地适应人的当前视野3或指示距风险区的距离，由此可通过不同的颜色用于不同的距离来进行指示，例如绿色＝风险区较远，橙色＝风险区在附近，红色＝人的位置在风险区内。

示例性装置20b还包括诸如无线电、蓝牙或WLAN接收器/发射器的无线通信单元27，其用于直接或通过服务器间接与采矿车通信。通信单元27例如用于接收例如由采矿车的GPS接收器确定的采矿车的位置信息，或者发送关于风险区的信息。例如，如果人进入风险区(基于人和采矿车的相对位置确定，相对位置例如如上所述确定)，则发送用于触发对采矿车的操作者的警告的信号，或者触发对采矿车的命令(特别是停止采矿车的一种或所有移动或活动的命令)的信号。

另外，在示例中装置20b包括用户接口26，其允许人52与显示器上可视化的信息(例如，风险区的图形或者与采矿车、装置20b或采矿工地有关的其它信息)交互。接口26例如被具体实现为触敏表面或虚拟键盘。作为示例，人52可放大到风险区叠层或者可打开信息表以得到诸如车辆运行状态的附加信息，或者人可输入对装置20b或者(经由无线通信模块27)对采矿车的命令。

图3a和图3b示出根据本发明的改进的方法。这里，风险区计算另外基于采矿车1的实时参数。

在图3a示例中，例如通过向增强现实装置发送其速度计数据或者从图像数据(从至少两个后续画面推导速度)确定采矿车的速度9。风险区6(及其可视化7)然后适应该参数，在此示例中使得与其背后相比，风险区6在采矿车1的前方移动方向上延伸。

可选地，叠层7适应采矿车1的速度9(或移动方向)，使得其形式或颜色取决于速度9或根据速度9而改变。例如如果车辆1正在缓慢移动或远离人移动，则叠层7为绿色，如果快速移动或朝着人移动，则叠层7为红色。

图3b示出另一示例。这里，实时参数是车辆1的运行状态，其例如被无线地发送到增强现实装置。在示例中，车辆1根本没有运行，因此，风险区6被设定为(接近)零并且被可视化为较小的仅勾画的叠层7。替代地，根本不可视化风险区图形。

如示例中一样，这样的实时参数是作为整体的采矿车1的参数。替代地或另外地，特别是在非常巨大的采矿车1(例如，旋转挖掘机)的情况下，参数仅涉及采矿车的部件或结构，例如悬臂、吊杆、自卸车身、前端装载机、输送带或平台升降机。类似地，所描述的风险区6的可视化7对速度的依赖性可以不(仅)是整个车辆1，而是其一个、多个或所有(子)结构。

图4示出根据本发明的另一改进的方法。这里，使用采矿车1的参数来计算和可视化未来风险区6’。在示例中，与图3b的示例相比，不仅确定并考虑当前运行状态(＝关)，而是还确定并考虑采矿车1的未来运行状态。在示例中，例如通过考虑预设时间表或工作流程或者车辆操作者的输入或测量(例如，车辆的实际负载百分比，从其估计直至满载的时间)，确定采矿车1将运行17分钟。替代地，采矿车1的操作者主动将此信息发送到增强现实显示装置(例如，通过中央服务器)。因此，当前(接近)零风险区6将在17分钟内改变为未来风险区6’，这在示例中已经指示为第二叠层7’。未来风险区6’的可视化7’可例如使得叠层7’仅不时周期性地弹出，以允许人的最大可能无阻碍的视野3。时间间隔和/或显示时间可由此改变，例如使得未来运行状态的发生时间越近，时间间隔就变得越来越短并且显示时间越来越长。在示例中，在用户的显示器上另外显示文本框30，指示直至未来风险区6’将生效的时间。

这种文本或信息框30可选地用于显示人的视野3中的采矿车1的另外的信息，例如关于车辆1的健康或负载因子的信息，如图5a和图5b所示。

图5a示出风险区6的可视化14以及信息框30，由此信息框30以文本和/或图形的形式示出关于采矿车1的信息。在示例中，到车辆1的下一路点的时间以增强现实的方式可视化在显示器上。相关信息从采矿车1的计算机直接发送到显示装置或者通过公共服务器或集线器间接发送。在示例中，文本框30具有示出的按钮31，其允许用户交互，例如使得该信息框30可扩展以允许可视化人3的视野中的采矿车1的更多或更详细的信息，如图5b所示。

图5b示出增强视野3，其中，扩展的信息框30’可由用户查看。在示例中，通过信息表30’给予人详细健康或状态报告以及风险区6的叠层7。作为一些非结论性示例，报告包含(除其它外)速度和功率信息以及更详细的路点信息。在示例中，信息图形被具体实现为交互按钮31，通过推按该按钮，用户可打开附加的更详细的信息表和/或可如下所述给出命令。

交互组件可选地被进一步升级，使得用户借助于交互按钮31的可视化可向车辆1给出命令，例如通过触摸信息框30’的对应栏来设定最大车速。另一示例是人使用叠层7来设定采矿车1的最大风险区或地理围栏6，其例如在采矿车1离开该风险区时触发警告。换言之，用户向采矿车1指派最大安全工作区域。这是主管可借助他的根据本发明的增强现实装置以某种方式控制采矿车1的示例。

图6a示出根据本发明的另一改进的方法。这里，采矿车1的风险区被划分成通过三个不同的叠层7a、7b、7c可视化的三个部分6a、6b、6c。三个风险区6a-6c具有不同的风险等级。中间的风险区6b具有相对低的风险，车辆1背后的风险区6c具有高风险(因为车辆1可能倒车)，作为车辆铲斗的直接操作区域的前方的风险区6a具有非常高的风险或者甚至是禁区。在示例中，不同的风险等级在视觉上通过叠层7a-7c的不同形式填充物来通知，由此风险区7a的非常高的风险另外在视觉上通过警告标志32来通知。

图6b示出图6a的示例的某种变型。在图6b的示例中，不同风险区或通道6a、6b的不同风险等级通过两个不同的叠层7a和7b来可视化。内侧叠层7a指示高风险区6a，外侧叠层7b指示较低风险的风险区6b。两个叠层7a、7b通过颜色彼此区分；高风险由诸如红色的华丽颜色指示，较低风险由诸如黄色的更温和的颜色指示。代替具有清晰颜色或形状或图案差异的清晰边界的叠层，可使用颜色或形状或图案的渐变来指示变化的风险等级，例如从最高风险的中间区域中的深红色到相对低风险的外侧区域中的浅红色。

图7示出根据本发明的另一改进的方法。在此示例中，除了采矿车1的风险区6(参见图1e)之外，计算附加风险区6d并将其可视化为附加叠层7d。附加风险区6d由采矿车1的操作产生。在本示例中，石堆51的石头构成威胁，因为采矿车1对石堆51作业并且石头可能落下。附加风险区7d的可视化6d警告人采矿工地50上的该附加风险(不直接来自采矿车1本身)。

图8示出根据本发明的另一改进的方法。在此示例中，该方法包括一致或同时计算和可视化人的视场中的多个或所有采矿车1和1a的风险区6和6f。因此，在视觉上现场告知用户其视场内的所有风险区或地理围栏6、6f或者附近可能带来危险的所有区域。在示例中，不同车辆1、1f的叠层7、7f不同，以便于在视觉上更好区分不同的风险区。在示例中叠层7、7f具有不同的形式和图案。叠层7、7f的差异针对不同类别的采矿车1、1f(例如，“挖掘机”类别、“自卸车”类别、“推土机”类别或“液压挖掘机”类别)。替代地或另外地，叠层是个体重型机械所特定的，使得例如第一自卸车具有关联的绿色风险区叠层，第二自卸车具有黄色风险区叠层。

在图8的示例中，除了与作为整体的车辆1、17有关的风险区6、6f之外，还计算吊杆33的风险区6e并将其可视化为叠层7e。在示例中，在三个维度计算风险区6e然后将其可视化为3D叠层7e。在人不与采矿车1位于同一地平面，而是例如从上方的某一高度或以某一角度看它的情况下，这种3D方法特别有用。

在本示例中，各个风险区6、6e、6f与表示交互按钮的图标32一起可视化。通过“触摸”这些按钮32，用户可在其可视化在某种程度上遮挡了他对采矿车1或采矿工地50的视野的情况下停用相应叠层7、7e或7f(或者反之，在从一开始就未显示为有效的情况下重新启用相应叠层)。作为另一选择，该方法包括自动检查这种停用是否允许或者将给用户带来不允许的风险，则禁用用户的停用选择(例如，简单地通过不可视化相应图标32)。替代地或另外地，如果检查例程确定之前不代表(高)风险的潜在风险区6、6e、6f现在指示不再可忽略的风险(例如，由于在自叠层停用起的时间内人和/或采矿车的移动)，则被用户停用的叠层7、7e、7f被自动重新启用并显示。

作为另一选择，叠层7、7f适应由装置的相机拍摄的画面中的采矿车1、1f的外观。例如如果采矿车1具有黄色，则用于风险区叠层7的颜色和/或图案被选择为最佳地适合于车辆1的黄色以允许尽可能最佳地查看叠层7和采矿车1二者。替代地或另外地，风险区6、6f的可视化优选动态地适应车辆的外观，使得考虑其在画面中的亮度(整个图像的亮度)。例如如果采矿车1、1f的图像数据指示相机(人)看其相对暗，则叠层7、7f的亮度减小，反之亦然。

替代地或另外地，不仅风险区6、6f被可视化，而且使用所提取的采矿车1、1f的图像数据，采矿车1、1f本身的图像被实时地可视化，使得人在增强现实装置的显示器上看到采矿车的人造实时视野。由此，与原始相机的画面相比通过图像编辑来增强图像，例如增强亮度或对比度或者将车辆的轮廓高亮。例如如果采矿车的真实直接视野不令人满意(例如，由于差的照明条件(黑暗、没有阳光))，则这是有利的。然后，采矿车1、1f的人造表示增强人的视野3并提供车辆1的更好的可视性，进一步降低任何风险。

图9a示出根据本发明的由人52穿戴的增强现实显示装置20c的进一步开发的示例性实施方式。除了根据图2的下部分的实施方式之外，装置20c具有附加相机21r，其视场4r指向人52的后方并拍摄人52背后的采矿工地的画面流。AR装置20c还包括图像识别和提取单元22r，其用于识别采矿车并提取由后相机21r拍摄的采矿车的图像数据。风险区计算单元23基于两个相机21和21r的图像数据和预设风险区数据来确定至少一个风险区，并且图形显示单元24生成并在显示器25上可视化风险区的实时图形表示。当然，装置20c可包括不止两个相机21、21r。

图9b示出使用根据图9a的AR装置的可视化14。在此示例中，除了如图1e所示基于前相机(图9a中的21)的画面流的可视化之外，基于前相机和后相机(图9a中的21r)二者的画面流，人的周围环境的鸟瞰图34被可视化在显示器的左下侧。人的位置由中间的点35指示，而与人前方的采矿车1有关的图形36a指示该采矿车1，图形36a还包括相应第一风险区并且箭头指示车辆的移动(例如，基于如上所述的传感器数据和/或图像流评估)。图形36b与人背后的第二采矿车1a有关并且指示该第二采矿车、相应第二风险区以及用于指示该第二车辆的移动的第二箭头。因此，利用附加相机，借助于附加叠层34，用户能够看到其周围环境以及由于采矿活动引起的风险全部。作为如所示的鸟瞰图34的替代，后相机的图像流被示出为与前相机相当的叠层(例如，作为小画中画淡入)。

在本示例中，鸟瞰图34包括附加地理围栏37，其将采矿车不应侵入的人周围的风险区或保护区可视化。借助于图形37，用户可例如更好地估计是否存在(采矿车在地理围栏37内)或即将发生(采矿车靠近和/或在地理围栏37的方向上移动)由采矿车导致的高风险。作为另外的添加，文本框30被可视化，其示出关于采矿车1、1a二者的信息。在此示例中，如上所述基于车辆1、1a二者的速度测量(可选地，还基于关于车辆的形状或尺寸的信息)，通过信息框30给出警告，警告如果车辆1、1a二者以其当前航向继续前进而不改变，则在2:34分钟内发生(潜在)风险区重叠或者甚至碰撞。此信息30给予例如作为主管的用户机会干预采矿车1、1a中的一者或二者的操作。

尽管上面部分地参照一些优选实施方式示出了本发明，必须理解，可进行实施方式的不同特征的众多修改和组合。所有这些修改均落在所附权利要求的范围内。

Claims (40)

1.一种用于实时增强人对采矿工地上的采矿车的当前视野的方法，该方法包括以下步骤：

-利用相机拍摄采矿工地的画面流，所述相机的视场至少部分地与该人的视场对应，

-通过图像处理来识别所述画面流中的至少一个采矿车，

-从所述画面流提取所述采矿车的图像数据，

-基于所述图像数据和预设车辆风险区数据，计算适应所述人对采矿车的当前视野的所述采矿车的至少一个风险区，以及

-将所述风险区可视化在人的显示器上，使得所述人对所述采矿车的当前视野实时地与所述风险区的可视化叠加。

2.根据权利要求1所述的方法，

特征在于，

所述画面流是视频流。

3.根据权利要求1所述的方法，

特征在于，

-计算所述风险区的步骤包括生成至少一个地理围栏，和/或

-所有的方法步骤由用户可穿戴装置执行。

4.根据权利要求3所述的方法，

特征在于，

所述地理围栏是移动的地理围栏。

5.根据权利要求1至4中的任一项所述的方法，

特征在于，

计算所述风险区的步骤另外基于所述采矿车的实时参数。

6.根据权利要求5所述的方法，

特征在于，

所述实时参数

-是所述采矿车和/或所述采矿车的致动器或结构的运行状态、速度或移动方向中的至少一个，且/或

-是从所述图像数据和/或从监视所述采矿车的传感器得到的。

7.根据权利要求1至4中的任一项所述的方法，

特征在于，

确定所述采矿车相对于所述人的相对位置和/或取向，并且

-计算所述风险区的步骤另外基于所述相对位置和/或取向，且/或

-基于所述相对位置确定所述人进入所述风险区的情况，并且因此，自动给予所述人和/或所述采矿车警告，和/或自动给予所述采矿车命令。

8.根据权利要求7所述的方法，

特征在于，

根据所述图像数据和/或利用全球导航卫星系统来确定所述采矿车相对于所述人的位置和/或取向。

9.根据权利要求7所述的方法，

特征在于，

所述警告是听觉或视觉警告。

10.根据权利要求7所述的方法，

特征在于，

所述命令是停止其一个或所有与风险区相关的活动的命令。

11.根据权利要求1至4中的任一项所述的方法，

特征在于，

所述风险区的所述可视化

-通过对所述风险区进行重新计算和重新可视化来动态地适应所述人的当前视野的改变和/或相对于所述人的所述采矿车的位置的改变，和/或

-为交互式的，和/或

-取决于采矿车类别、所述采矿车的外观、和所述采矿车或其一个可动结构的速度或移动方向中的至少一个。

12.根据权利要求11所述的方法，

特征在于，

所述采矿车的外观是其颜色。

13.根据权利要求1至4中的任一项所述的方法，

特征在于，

所述方法包括预测组件，该预测组件基于所述采矿车和/或所述人的参数计算和可视化未来风险区。

14.根据权利要求13所述的方法，

特征在于，

所述参数是实时的参数。

15.根据权利要求13所述的方法，

特征在于，

-所述参数是所述采矿车的未来运行状态和/或所述采矿车和/或所述人的移动参数，和/或

-所述未来风险区的发生时间和/或不同车辆的风险区的重叠时间和/或碰撞的发生时间被计算并可视化在所述显示器上。

16.根据权利要求15所述的方法，

特征在于，

所述移动参数是所述采矿车和/或所述人的速度和/或方向。

17.根据权利要求1至4中的任一项所述的方法，

特征在于，

识别至少一个采矿车的步骤包括识别采矿车的类别，并且所述预设车辆风险区数据是类别特定数据。

18.根据权利要求1至4中的任一项所述的方法，

特征在于，

识别至少一个采矿车的步骤包括识别个体采矿车，并且所述预设车辆风险区数据是所述个体采矿车所特定的数据。

19.根据权利要求1至4中的任一项所述的方法，

特征在于，

计算风险区的步骤包括将所述风险区再分成不同风险等级的子区，并且可视化风险区的步骤包括以不同的叠层显示不同的子区。

20.根据权利要求19所述的方法，

特征在于，

所述不同风险等级的子区包括高风险的子区和/或禁区。

21.根据权利要求19所述的方法，

特征在于，

可视化风险区的步骤包括以不同的颜色和/或以颜色渐变显示不同的子区。

22.根据权利要求1至4中的任一项所述的方法，

特征在于，

所述方法包括：

-一致计算并在所述人的显示器上可视化所述人的当前视野中的多个采矿车的风险区，其中，一些或所有风险区的可视化能够由所述人启用和停用，和/或

-计算和可视化至少一个附加风险区，其中，所述附加风险区由所述采矿车的活动产生，和/或

-另外可视化所提取的所述采矿车的图像数据，使得所述采矿车的人造实时视野被可视化在所述显示器上，和/或

-使用所述显示器上可视化的信息来与所述采矿车通信。

23.根据权利要求22所述的方法，

特征在于，

所述人的当前视野中的所述多个采矿车是所述人的当前视野中的所有采矿车。

24.根据权利要求22所述的方法，

特征在于，

所述可视化包括用于不同的车辆和/或不同的车辆类别的不同种类的叠层。

25.根据权利要求22所述的方法，

特征在于，

所述附加风险区由所述采矿车的土方工程产生。

26.根据权利要求1至4中的任一项所述的方法，

特征在于，

所述方法包括在所述显示器上可视化关于所述采矿车的参数的至少一个附加信息。

27.根据权利要求26所述的方法，

特征在于，

所述采矿车的所述参数是其健康状态。

28.根据权利要求26所述的方法，

特征在于，

所述信息被可视化为附到所述人对所述采矿车的视野的信息框。

29.根据权利要求28所述的方法，

特征在于，

所述信息框能够由所述人扩展以显示更详细的信息。

30.根据权利要求1至4中的任一项所述的方法，

特征在于，

拍摄所述采矿车的至少一个距离图像，其中，计算所述风险区的步骤还基于所述至少一个距离图像。

31.根据权利要求30所述的方法，

特征在于，

所述相机被构建为适应于拍摄所述距离图像的RIM相机。

32.根据权利要求31所述的方法，

特征在于，

所述RIM相机适应于在拍摄所述画面流的同时拍摄多个距离图像。

33.一种适用于实时增强人对采矿工地上的采矿车的当前视野的增强现实显示装置，该装置包括：

-至少一个相机，所述至少一个相机用于拍摄画面流，所述相机被对准以使得所述相机的视场至少部分地与所述人的视场对应，

-图像识别和提取单元，该图像识别和提取单元适应于通过图像处理识别所述画面流中的采矿车并从所述画面流提取与所述采矿车有关的图像数据，

-风险区计算单元，该风险区计算单元适应于基于所述图像数据和预设车辆风险区数据确定适应所述人对所述采矿车的当前视野的所述采矿车的至少一个风险区，以及

-图形显示单元，该图形显示单元适应于创建并在所述装置的显示器上可视化所述风险区的图形，并将所述图形实时叠加在所述人对所述采矿车的当前视野上。

34.根据权利要求33所述的增强现实显示装置，

特征在于，

所述画面流是视频流。

35.根据权利要求33所述的增强现实显示装置，

特征在于，

所述装置包括下列项中的至少一个：

-检测器，该检测器用于确定所述装置相对于所述采矿车的位置和/或取向，

-用户接口，该用户接口适应于使得所述人能够与所述显示器上可视化的信息交互，

-附加相机，该附加相机用于拍摄画面流，所述附加相机被对准以使得所述相机的视场实质上不同于所述人的视场，或者

-无线通信单元，该无线通信单元用于与所述采矿车通信。

36.根据权利要求35所述的增强现实显示装置，

特征在于，

所述显示器上可视化的所述信息是所述风险区。

37.根据权利要求35所述的增强现实显示装置，

特征在于，

所述附加相机拍摄视频流。

38.根据权利要求35所述的增强现实显示装置，

特征在于，所述装置被配置为使得所述显示器上可视化的信息用于通信。

39.一种机器可读介质，其上存储有程序代码，所述程序代码被配置为控制并执行根据权利要求1所述的方法。

40.根据权利要求39所述的机器可读介质，

特征在于，

所述程序代码存储在根据权利要求33所述的增强现实显示装置的机器可读介质上或者被具体实现为电磁波。

Images