CN116057571A - 用于采矿机器的视觉驾驶辅助系统 - Google Patents

Abstract

一种用于采矿机器的视觉驾驶辅助系统，包括位于校准位置的至少一个立体摄像机，以用于获取立体图像。所述采矿机器包括两个主体部分。然后，所获取的立体图像用于生成环境和所述采矿机器的所述主体部分的三维模型。该三维模型可以用于为所述采矿机器的驾驶员生成视图，或者同样用于自主驾驶布置中。

Description

用于采矿机器的视觉驾驶辅助系统

技术领域

本公开涉及采矿机器。特别地是，本公开涉及采矿机器的视觉驾驶辅助系统。

背景技术

采矿机器通常是在狭小的采矿坑道或巷道中操作的大型机器。这些机器具有各种不同的任务，包括例如采石、钻凿和运输。它们通常由人驾驶。驾驶员可以位于采矿机器的驾驶室中，或者使用遥控器来控制采矿机器。当驾驶室的视野有限时，使用遥控器尤其有益。采矿机器通常包括一个以上的主体部分。因此，通常有牵引车或牵引主体部件和至少一个挂车。也有可能的是，主体部件相互联接，但是具有它们自己的动力传动系。

一种常用的解决方案是提供一个或多个摄像机，以便像在客车中一样提供驾驶辅助。这些摄像机通常是在小且坚固耐用的包装中的普通的二维摄像机单元。这些摄像机通常定位成使得它们不易损坏。例如，这可以通过提供保护盖或将摄像机放置到空腔或类似的保护形式来实现。摄像机可以用于覆盖盲点或形成360度摄像机视图，以显示客车周围环境。这些摄像机带来的一个问题是视图必须从图像中拉伸，并且这会导致图像失真。当涉及两个或更多主体部件并且采矿机器在狭窄的采矿坑道中行驶时，视图中的这些失真可能特别成问题。

发明内容

在以下公开中，公开了一种用于采矿机器的视觉驾驶辅助系统。视觉驾驶辅助系统包括位于校准位置的至少一个立体摄像机，用于获取立体图像。采矿机器包括两个主体部分。然后，所获取的立体图像用于生成环境和采矿机器的主体部分的三维模型。该三维模型可以用于为采矿机器的驾驶员生成视图，或者同样用于自主驾驶布置中。

在一个方面，公开了一种采矿机器。采矿机器包括被配置用以显示周围环境的摄像机装置，该采矿机器包括：主体，该主体包括第一主体部分、第二主体部分以及在第一主体部分和第二主体部分之间的铰接部；至少一个立体摄像机，该至少一个立体摄像机被配置用以获取向前方向上的一个或多个立体图像；处理电路，该处理电路被配置用以基于所获取的立体图像和采矿机器的尺寸来生成采矿坑道的三维模型。生成采矿坑道的三维模型是有益的，因为它可以用于在困难的环境中控制采矿机器。该模型可以由人或自主操作系统使用。

在实施方式中，处理电路被进一步配置用以将所生成的三维模型传输到用户界面。将三维模型或模型的渲染传送到用户界面是有益的，这使得控制采矿机器的人可以从所有角度观察采矿机器。用户界面可以在采矿机器中、在采矿机器附近的遥控器中或者在控制室中。这通过确保采矿机器的安全移动以及通过管理和降低碰撞风险来增加采矿机器的安全性。

在实施方式中，处理电路被配置用以使用多个从不同位置获取的图像来生成采矿坑道的三维模型，其中采矿机器已经移动以到达所述不同位置。从不同位置获取图像是有益的，以便为完整的采矿坑道以及从第一位置不可见的部分构建所述模型。这样，例如，处于机器下面的坑底可以包含在模型中，尽管当前在摄像机中不可见。这在系统中形成了短期记忆的元素。

在实施方式中，采矿机器进一步包括一个或多个附加立体摄像机，其中每个立体摄像机相对于其它立体摄像机处于校准位置。使用几个彼此相互校准的立体摄像机是有益的，这样可以增加模型的精确度和覆盖。

在实施方式中，采矿机器包括在不同主体部分中的立体摄像机。具有在不同主体部分中的立体摄像机是有益的，因为主体部分可以沿着不同的路径移动。

在实施方式中，立体摄像机被配置用以获取不同方位的立体图像。在不同方位上获取图像是有益的，以便增加模型的覆盖。

在实施方式中，处理电路被配置用以使用从至少一个立体摄像机对获取的不同方位的多个立体图像来生成采矿坑道的三维模型。使用在不同方向获取的几个图像是有益的，以便增加模型的精确度。

在实施方式中，处理电路被配置用以确定第一主体部分和第二主体部分之间的铰接角度。确定主体部分之间的铰接角度是有益的，因为当接头的角度和长度已知时，可以计算出第二主体部分和第二主体部分中的摄像机的位置。

在实施方式中，处理电路被配置用以基于所确定的铰接角度来计算立体摄像机的新位置。计算第二主体部分中的立体摄像机的位置是有益的，以便可以组合由不同主体部分中的立体摄像机获取的图像。

在实施方式中，处理电路被配置用以为每个主体部分生成单独的三维模型并从所述单独的三维模型计算铰接角度。当单独的测量设备不可用时，计算主体部分之间的角度是有益的。

在实施方式中，采矿机器进一步包括铰接角度指示器。使用能够精确测量铰接角度的铰接角度指示器是有益的。

在实施方式中，采矿机器进一步包括至少一个二维摄像机或热感摄像机。使用附加成像设备是有益的，以支持一个或多个立体摄像机生成精确的三维模型，并通过向模型添加附加信息(例如颜色、可替代纹理或温度)来使模型更具信息量。

在实施方式中，处理电路被配置用以识别三维模型中的物体。识别模型中的物体是有益的，以便信息可以用于控制(特别是在采矿机器自主操作的情况下)。知道物体是否移动或是静止以及是否有可能驶近或者是否需要更多空间是有益的。此外，有时识别诸如充电器等基础设施是有益的。

在实施方式中，处理电路被进一步配置用以：生成第二三维模型；比较第一三维模型和第二三维模型；以及测量第一三维模型和第二三维模型之间的变化。测量早期生成的三维模型的变化是有益的，以便可以检测到采矿坑道是否已经改变。该信息可以用于控制其它采矿机器。

在实施方式中，处理电路被进一步配置用以：确定由立体摄像机获取的图像的曝光是否正确；以及在不正确曝光的情况下，指示立体摄像机获取第二立体图像，其中使用不同的曝光和/或照明设置来获取第二立体图像。检测所获取的图像的曝光是否正确是有益的。当曝光正确时，图像中的细节更清晰。

附图说明

所包括的附图是为了提供对用于采矿机器的视觉驾驶辅助系统的进一步理解并构成本说明书的一部分，所述附图示出了示例并与描述一起帮助解释用于采矿机器的视觉驾驶辅助系统的原理。在附图中：

图1是具有视觉驾驶辅助系统的采矿机器的示例的框图；

图2是用于采矿机器的视觉驾驶辅助系统的方法的示例；以及

图3是用于采矿机器的视觉驾驶辅助系统的方法的示例。

具体实施方式

现在将详细参考附图中示出的示例。

图1公开了具有视觉驾驶辅助系统的采矿机器的示例。在图1的示例中，该采矿机器包括第一主体部分100和第二主体部分105。在图1的示例中，该采矿机器在采矿坑道中在第一主体部分100的方向上前进。在图1的示例中，采矿机器由人108远程控制。采矿机器可以具有可用于控制采矿机器的驾驶室。在图1的示例中，控制由具有远程控制器的人108完成，该远程控制器被配置用以与采矿机器的通信接口150通信。远程控制器可以是任何合适的计算设备，例如平板电脑或移动电话。然而，可以制造一种耐用且包括显示器和控制器的专用遥控器。通信接口150可以是常用的通信系统，诸如无线局域网、蓝牙、本地专用LTE或5G网络或类似网络。代替通常使用的网络解决方案，可以使用专用无线电控制网络或类似网络。图1的采矿机器包括通过铰接接头110彼此铰接的两个主体部分。该主体部分的数量不限于两个，并且该主体部分的数量可以是三个或更多。通信接口150可以用于向第二主体部分传输指令。当第二主体部分包括自己的动力传动系并用于向后驱动采矿机器时，这尤其有用。

第一主体部分100包括位于前部部分中的立体摄像机120。立体摄像机120包括至少两个成像单元，以便可以获取立体图像。该立体摄像机的成像单元可以彼此相互校准，并且也可以在内部校准，例如，以减少镜头失真和其它失真。在图1的示例中，仅一个立体摄像机120被示出为向前定向，然而，可以有一个以上的立体摄像机，以便可以形成提高质量的立体摄像机对。立体摄像机120和其它立体摄像机被设置在校准位置，并且优选地是在采矿机器的制造期间附接到采矿机器。因此，立体摄像机系统在制造期间被完全校准。例如，当采矿机器进行常规检查时，可以执行重新校准。

当采矿机器在采矿坑道中前进时，立体摄像机120获取立体图像。该采矿坑道是艰难的环境，因为它们可能很狭小，并且可能有岩石和其它障碍物。立体摄像机120被配置用以获取图像，使得处理电路140可以基于所获取的图像生成三维模型。可以使用立体摄像机120和多个最近获取的图像来完成三维模型。通过使用较旧的延迟图像，可以生成模型，该模型还显示出与第二主体部分相关的区段。

然而，在图1的示例中，来自立体摄像机120的图像由来自立体摄像机122、124、126和130的附加图像补充。立体摄像机122和124位于第一主体部分的侧面。这些位置相对于彼此被校准，并且当制造采矿机器时，立体摄像机优选地是已经附接到这些位置。立体摄像机126和128位于第二主体部分的侧面。立体摄像机130位于后面，并且在采矿机器向后移动时特别有用。当使用一个以上的立体摄像机时，可以立即生成三维模型，并且不需要等待采矿机器沿着路径前进，使得由向前定向的摄像机获取的立体图像将足以促进三维模型的生成。此外，多个摄像机提供了从不同角度获取图像的可能性，并且这提高了覆盖的质量。

在图1的示例中，处理电路140被配置用以生成基于所获取的图像和采矿机器的尺寸的三维模型。该三维模型包括采矿坑道的几何形状和位于坑道中的物体，该物体包括采矿机器本身。采矿机器被建模，使得第一主体部分和第二主体部分相对于坑道处于正确位置。建模是可能的，因为立体摄像机的位置是已知的。此外，三维模型的生成可以由可能具有高精度的地图支持，该地图可以使用来自一个或多个采矿机器的三维模型来生成。这是可能的，因为在许多部分中，采矿坑道不会随着时间而改变，而且坑壁和坑顶是稳定的。当矿的高精度地图或三维模型已经存在时，当生成包括其它交通物体和其它可能障碍物的变化部分的模型时，它可以用作支持。

使用三维模型，可以呈现示出采矿坑道的三维视图。可替代地是或附加地是，该模型可以用于促进坑道中的自主驾驶。在这种情况下，所呈现的视图可以用于监测采矿机器的性能。

如上所述，由于做出的工厂校准，立体摄像机的位置是已知的。这提供了组合由不同摄像机获取的立体图像的可能性。因此，为了提高三维模型的精度，可以组合使用不同立体摄像机获取到的、看到同一物体或特征的两个或更多个图像。即使图1的示例示出了每个方位仅有一个立体摄像机，但是应当理解的是，可以有更多的立体摄像机，并且由它们获取的立体图像可以容易地组合。

在图1的示例中，可以通过使用用于测量铰接接头110的铰接角度的测量设备来检测铰接角度。该铰接角度可以用于计算立体摄像机的实际位置。当采矿机器沿着矿中的路径前进并转弯时，不同主体部分的位置相对于彼此改变。当立体摄像机根据各自的主体部分移动时，这自然会导致立体摄像机的位置发生类似的变化。当铰接角度被测量出来时，该信息可以用于计算立体摄像机的位置，使得当获取用于三维模型生成的材料时，第一主体部分中的一个立体摄像机可以与第二主体部分中的另一个立体摄像机一起使用。

在图1的示例中，采矿机器包括用于测量铰接角度的测量设备或指示器。代替使用单独的测量设备，可以使用所获取的图像来计算铰接角度。此外，可以有被配置用以获取不同主体部分的图像的单独的摄像机或传感器。例如，第一主体部分可以具有被配置用以测量不同主体部分之间的距离的特定摄像机或距离传感器。然后，一个距离测量值或多个距离测量值可以用于从数据库或从能够存储查找表的其它数据结构中检索出相应的角度。因此，可以使用用于估计或精确测量铰接角度的任何合适的方式。

在另一示例中，通过使用来自一个或多个附加成像设备的附加图像材料来补充基于所述立体图像生成的三维模型。这些附加成像设备可以是二维数码摄像机或热感摄像机。代替二维摄像机，立体摄像机可以用于获取二维图像。然而，采矿机器可以具有主要用于其它原因的附加摄像机，并且附加图像可以用于改进模型，特别是当物体、人或采矿机器的部分阻挡视线时。当已经创建了环境的三维模型时，可以使用二维材料或热感测量来补充该模型。这提供了向驾驶员显示环境的现实视图的可能性。除了现实视图之外，可以显示增强现实视图，其中增强现实视图可以包括例如驾驶或导航指令。在图1的示例中，仅示出了一个二维摄像机160。图1的二维摄像机与向前定向的立体摄像机120相关联地布置。类似的二维摄像机也可以与每个立体摄像机相关联。二维摄像机不需要像立体摄像机一样必需被校准。由二维摄像机获取的图像可以被调整以适合三维模型。例如，这可以通过检测出相关的边缘或其它特征、并且然后通过将二维图像映射到三维模型上来实现，以便产生照片真实感视图。当已经使用立体摄像机获取二维图像时，该步骤自然是不必要的。照片真实感视图是有益的，因为驾驶员实际上感知环境。

在图2中，公开了视觉驾驶辅助系统中的方法的示例。该方法被用在具有主体的采矿机器中，该主体包括第一主体部分、第二主体部分以及在第一主体部分和第二主体部分之间的铰接部。在图2的示例中，第一主体包括至少一个立体摄像机。在该方法中，首先，获取在向前方向上的多个立体图像，即步骤200。然后，基于所获取的多个立体图像和采矿机器尺寸生成采矿坑道的三维模型，即步骤210。然后，该三维模型可以用于用户界面或/和自主驾驶布置中。立体摄像机可以被配置用以根据特定时间间隔或连续地获取立体图像。

例如，该方法提供了对采矿坑道和采矿坑道中的采矿机器进行建模的可能性。从生成的三维模型中，可以准确地看到采矿机器如何位于采矿坑道中，使得驾驶员可以避免与坑道壁、其它交通物体、松散物体和坑道内的人碰撞。三维模型提供了不失真的视图，而不需要拉伸所获取的图像。

在图3中，公开了更先进的视觉驾驶辅助系统中的方法的示例。该方法被用在具有主体的采矿机器中，该主体包括第一主体部分、第二主体部分以及在第一主体部分和第二主体部分之间的铰接部。采矿机器进一步包括用于测量第一部分和第二部分之间的铰接角度的装置。在图4的示例中，采矿机器包括用于获取图像的多于一个的立体摄像机。

该方法从获取多个立体图像开始，即步骤300。使用位于不同校准位置的多个立体摄像机获取立体图像。在图3的示例中，立体摄像机被分布成使得两个主体部分均包括至少一个立体摄像机。因此，立体摄像机并不总是相对地位于与它们被安装在其校准位置时相同的位置上。这是由于以下事实引起的，即，铰接的主体并不总是处于相同的位置上，该位置通常没有铰接或铰接角度为零，就像在进行校准时那样。因此，该方法包括测量主体部分之间的铰接角度，即步骤310。

当原始位置和铰接角度已知时，可以通过使用三角学、机器的运动学模型等来容易地计算出新位置，即步骤320。现在，当每个摄像机的位置已知时，可以生成三维模型，因为可以基于立体摄像机的已知位置来计算出观察点的位置，即步骤330。

在上文中，为包括两个主体部分的采矿机器生成三维模型，然而，也可以为具有三个或更多部分的采矿机器生成类似的模型。这要求主体部分的尺寸和两个铰接角度都是已知的。然而，也可以实现这样的实施例，其中并非所有的主体部分都具有立体摄像机，而是例如使用第一主体部分和最后一个主体部分或者第一主体部分和第二主体部分来生成三维模型。为了精确地对主体部分的位置建模，确切地知道铰接角度是有益的，然而，这并不总是必需的。例如，当第三主体部分只是偶尔使用时，没有立体摄像机的第三主体部分可以连接到第二主体部分。如果在第二主体部分和第三主体部分之间存在铰接角度测量设备，或者存在可以用于估计出第二主体部分和第三主体部分之间的铰接角度的摄像机、立体摄像机或其它光学传感器，则可以计算出第三主体部分的相对位置。如果第三主体部分不具有用于确定第二主体部分和第三主体部分之间的铰接角度的成像装备或装置，则第三主体部分的位置可以被模拟出来并包括在三维模型中。

如在较早的示例中一样，所生成的三维模型可以被渲染，以在用户界面中显示出来，或者同样用于自主驾驶功能，其中自主驾驶可以是部分或完全自动驾驶。

在上面的示例中，使用一个或多个立体摄像机获取多个图像。这些立体摄像机用于获取采矿坑道中的图像，这些采矿坑道具有可变的照明条件，并且移动的机器和其它物体会造成明显的阴影。因此，可能有必要为每个摄像机独立地使用自动曝光布置。此外，在获取立体图像或附加图像之后，可以使用后处理来确定曝光是否正确。在一些情况下，可以使用后处理器来校正过度曝光的图像，然而，如果所获取的图像被过度曝光，则其中的一些细节可能在图像中不可见，并且它们可能不能使用普通的后处理手段来提取出来。在这种情况下，可能需要获取新图像。获取过程可能需要改变照明设备的配置。例如，当采矿机器在靠近坑壁侧行进时，灯可能会导致过度曝光和曝光过度。在这种情况下，一些灯可以关闭或变暗。因此，当图像曝光不足时，可以增加照明或者可以使用闪光灯。

上述方法可以被实施为在计算设备中执行的计算机软件，该计算设备可以集成在用于采矿机器的视觉驾驶辅助系统中。当软件在计算设备中执行时，该软件被配置用以执行上述发明方法。该软件被包含在计算机可读介质上，使得它可以被提供给计算设备，诸如图1的处理电路140。

如上所述，示例的组件可以包括计算机可读介质或存储器，用于保存根据本发明的教导编程的指令，并且用于保存数据结构、表格、记录和/或这里描述的其它数据。计算机可读介质可以包括参与向处理器提供指令以供执行的任何合适的介质。例如，计算机可读介质的常见形式可以包括软盘、软磁盘、硬盘、磁带、任何其它合适的磁介质、CD-ROM、CD±R、CD±RW、DVD、DVD-RAM、DVD±RW、DVD±R、HD DVD、HD DVD-R、HD DVD-RW、HD DVD-RAM、蓝光光盘、任何其它合适的光学介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它合适的存储器芯片或盒式存储器、载波或计算机可以读取的任何其它合适的介质。

对于本领域技术人员来说明显的是，随着技术的进步，驾驶辅助系统的基本思想可以以各种方式实现。因此，驾驶辅助系统及其实施例不限于上述示例；相反，它们可以在权利要求书的范围内变化。

Claims (15)

1.一种采矿机器，包括被配置用以显示周围环境的摄像机装置，所述采矿机器包括：

主体，所述主体包括第一主体部分、第二主体部分以及在所述第一主体部分和所述第二主体部分之间的铰接部；

至少一个立体摄像机，所述至少一个立体摄像机被配置用以获取向前方向上的一个或多个立体图像；

处理电路，所述处理电路被配置用以基于所获取的立体图像和所述采矿机器的尺寸来生成采矿坑道的三维模型。

2.根据权利要求1所述的采矿机器，其中，所述处理电路进一步被配置用以将所生成的三维模型传输至用户界面。

3.根据权利要求1或2所述的采矿机器，其中，所述处理电路被配置用以使用多个从不同位置获取的图像来生成所述采矿隧道的所述三维模型，其中所述采矿机器已经移动以到达所述不同位置。

4.根据权利要求1-3中任一项所述的采矿机器，进一步包括一个或多个附加立体摄像机，其中每个立体摄像机相对于其它立体摄像机处于校准位置。

5.根据权利要求1-4中任一项所述的采矿机器，其中，所述机器包括位于不同主体部分中的立体摄像机。

6.根据权利要求5所述的采矿机器，其中，所述立体摄像机被配置用以在不同方位获取立体图像。

7.根据权利要求6所述的采矿机器，其中，所述处理电路被配置用以使用从至少一个立体摄像机对获取的不同方位的多个立体图像来生成所述采矿隧道的所述三维模型。

8.根据权利要求1-7中任一项所述的采矿机器，其中，所述处理电路被配置用以确定所述第一主体部分和所述第二主体部分之间的铰接角度。

9.根据权利要求8所述的采矿机器，其中，所述处理电路被配置用以基于所确定的铰接角度来计算立体摄像机的新位置。

10.根据权利要求8或9所述的采矿机器，其中，处理电路被配置用以为每个主体部分生成单独的三维模型，并根据所述单独的三维模型计算所述铰接角度。

11.根据权利要求8所述的采矿机器，其中，所述采矿机器进一步包括铰接角度指示器。

12.根据权利要求1-11中任一项所述的采矿机器，其中，所述采矿机器进一步包括至少一个二维摄像机或热感摄像机。

13.根据权利要求12所述的采矿机器，其中，所述处理电路被配置用以识别所述三维模型中的物体。

14.根据权利要求1-13中任一项所述的采矿机器，其中，所述处理电路被进一步配置用以：

生成第二三维模型；

比较所述第一三维模型和所述第二三维模型；以及

测量所述第一三维模型和所述第二三维模型之间的变化。

15.根据权利要求1-14中任一项所述的采矿机器，其中，所述处理电路被进一步配置用以：

确定由立体摄像机获取的图像的曝光是否正确；以及

在不正确曝光的情况下，指示所述立体摄像机获取第二立体图像，其中使用不同的曝光和/或照明设置来获取所述第二立体图像。

Images