CN107660297A - 用于材料搬运车辆的图像捕获装置校准的系统和方法 - Google Patents

Abstract

本发明公开用于校准材料搬运车辆的图像捕获装置的系统和方法。一种系统的一个实施例包含所述图像捕获装置和车辆计算装置，其中所述车辆计算装置存储逻辑，所述逻辑在由处理器执行时，致使所述材料搬运车辆确定所述材料搬运车辆在仓库中的当前位置并且确定与所述图像捕获装置相关联的种子值，所述种子值表示所述图像捕获装置的初始校准参数。在一些实施例中，所述逻辑致使所述材料搬运车辆捕获所述仓库中的图像数据，将所述图像数据与站点地图相比较，以及根据所述比较和所述种子值确定所述图像捕获装置的校准值。

Description

用于材料搬运车辆的图像捕获装置校准的系统和方法

交叉引用

本申请要求2015年5月26日提交且题为外部相机校准的美国临时专利申请序列号62/166,181的权益。

技术领域

本文中所描述的实施例大体上涉及材料搬运车辆校准，且更具体来说涉及例如叉车的材料搬运车辆的里程计校准和相机校准。

背景技术

例如叉车的材料搬运车辆可能由于其从动轮或非从动轮的磨损而遭受里程计降级。因为车轮受到磨损，所以胎面降级且车轮的周长减小。因此，里程表测定的准确度可能会降级，这是因为可能针对预定的车轮大小而校准里程表。类似地，当改变车轮或其一部分时，里程计测定可能出于类似原因而大幅度改变。

类似地，在许多环境中利用例如叉车的材料搬运车辆，所述材料搬运车辆通过识别顶部照明来确定材料搬运车辆的位置和选路。虽然这些车辆可能极其可靠，但在安装后可能并不校准位置和/或选路准确度，或所述准确度可能通过长期使用材料搬运车辆而降级。因此，如果未校准图像捕获装置，那么可能产生低效率和误差。因此，在工业中存在需求。

发明内容

用于校准材料搬运车辆的图像捕获装置的系统和方法。一种系统的一个实施例包含图像捕获装置和车辆计算装置，其中所述车辆计算装置存储逻辑，所述逻辑在由处理器执行时，致使材料搬运车辆确定材料搬运车辆在仓库中的当前位置并且确定与图像捕获装置相关联的种子值，所述种子值表示图像捕获装置的初始校准参数。在一些实施例中，所述逻辑致使材料搬运车辆捕获仓库中的图像数据，将图像数据与站点地图相比较，以及根据比较和种子值确定图像捕获装置的校准值。

在另一实施例中，一种材料搬运车辆包含图像捕获装置和车辆计算装置。车辆计算装置可存储逻辑，所述逻辑在由处理器执行时，致使材料搬运车辆：确定材料搬运车辆的当前位置；确定与图像捕获装置相关联的种子值，其中所述种子值表示图像捕获装置的初始校准参数；以及捕获仓库中的图像数据，其中所述图像数据包含表示在仓库中的位置的位置标识符。在一些实施例中，所述逻辑致使材料搬运车辆与远程计算装置通信以将图像数据与站点地图相比较并创建优化问题，所述优化问题是通过与地图构建库通信来创建，所述站点地图表示仓库中的天花板的成像和位置数据。在一些实施例中，所述逻辑致使材料搬运车辆根据优化问题的输出确定图像捕获装置的校准值并应用所述校准值以确定材料搬运车辆的新位置。

在又一实施例中，一种方法包含：确定材料搬运车辆的当前位置；估计与图像捕获装置相关联的种子值，其中所述种子值包含与以下中的至少一个有关的数据：图像捕获装置的俯仰、图像捕获装置的滚动和图像捕获装置的偏转。所述方法的一些实施例包含：捕获环境中的图像数据，所述图像数据包含表示在仓库中的位置的位置标识符；与远程计算装置通信以将图像数据与站点地图相比较从而创建优化问题，其中远程计算装置利用平滑与地图构建(SAM)库来创建优化问题；以及根据比较和种子值确定图像捕获装置的校准值。类似地，一些实施例包含计算与图像捕获装置的校准值的准确度有关的校准可信度，其中所述校准可信度表示基于图像数据与站点地图的比较的校准值的准确度。一些实施例包含确定校准可信度是否满足预定阈值。响应于确定校准可信度不满足预定阈值，可提供重新开始校准的指令。响应于确定校准可信度不满足预定阈值，可应用校准值以确定材料搬运车辆的新位置。

结合图式鉴于以下详细描述将更完全地理解本公开的实施例所提供的这些以及额外特征。

附图说明

图式中所阐述的实施例在本质上是说明性和例示性的，且并不意图限制本公开。当结合以下图式阅读时可理解说明性实施例的以下详细描述，在图式中，相似结构以相似参考数字指示，且在图式中：

图1描绘根据本文中所描述的实施例的将顶部照明用于位置和导航服务的材料搬运车辆；

图2描绘根据本文中所描述的实施例的用于校准材料搬运车辆的里程计的流程图；

图3描绘根据本文中所描述的实施例的用于修正里程计校准的比例因子的流程图；

图4描绘用于校准材料搬运车辆上的图像捕获装置的流程图；

图5描绘材料搬运车辆上的图像捕获装置校准的另一流程图；且

图6描绘根据本文中所描述的实施例的可用于材料搬运车辆的计算基础设施。

具体实施方式

本文中所公开的实施例包含用于材料搬运车辆校准的系统和方法。一些实施例被配置成用于里程计校准，而一些实施例涉及车辆图像捕获装置校准。

具体来说，本文中所描述的实施例可被配置成确定车辆里程表是否被校准，并且如果未被校准，那么可将里程表校准到预定容差内。里程计校准包含转向角偏置和比例因子。转向角偏置校准的实施例可被配置成在材料搬运车辆按直线物理地行进时致使车辆报告直线驾驶。比例因子校准的实施例可被配置成致使材料搬运车辆报告所行进的正确距离。可手动地测量比例因子并取得合理成效，但比例因子可能由于车轮磨损和车轮或轮胎更换而随时间改变。本公开提供用于在正常操作期间调整比例因子的系统和方法。实施例可被配置成测量实际比例因子并平滑地对其作出改变。

图像捕获装置校准可适用于利用顶灯检测来进行材料搬运车辆的位置确定和/或选路的材料搬运车辆。图像捕获装置校准可包含内部校准和外部校准。内部校准包含将图像捕获装置模型自身的参数确定在合适的误差范围内。外部图像捕获装置校准可包含将材料搬运车辆上的图像捕获装置的位置确定在合适的误差范围内。本文中所描述的实施例着重于图像捕获装置的外部校准。下文将更详细地描述用于并有外部校准的车辆校准的系统和方法。

现参看图式，图1描绘根据本文中所描述的实施例的包括材料搬运硬件105并且将顶部照明用于位置和导航服务的材料搬运车辆100。如所说明，材料搬运车辆100可被配置成在例如仓库的环境110中导航。材料搬运车辆100可被配置为用于抬起和移动有效负载的工业车辆，例如叉式装载车、前伸式叉车、转叉式叉车、手扶式堆高车(walkie stackertruck)、牵引车、托盘运输车、高/低(high/low)、堆高车、拖车装载机、侧向装载机、叉式起重机等等。材料搬运车辆100可被配置成沿着所要路线自动和/或手动地导航环境110的地面122。因此，可通过旋转一个或多个车轮124来向前和向后引导材料搬运车辆100。另外，材料搬运车辆100可通过使一个或多个车轮124转向来改变方向。材料搬运车辆100还可包含用于控制材料搬运车辆100的功能的操作人员控件126，所述功能例如但不限于车轮124的速度、车轮124的定向等。

操作人员控件126可包含分配给材料搬运车辆100的功能的输入和输出，例如开关、按钮、控制杆、手柄、踏板、校准指示符等。操作人员控件126可另外包含用于确定材料搬运车辆100行进的距离的里程表、用于提供输出(例如音频和/或可视输出)并接收来自用户的数据和/或输入的用户接口。里程表可被配置成基于车轮124的预定周长而确定车轮124中的一个或多个的所确定旋转数并计算所行进的距离。操作人员控件126可另外包含定位系统、本地化系统、加速器、制动器、自主模式选项和/或用于手动、半自主和/或完全自主地操作材料搬运车辆100的其它控件、输出、硬件和软件。

材料搬运车辆100还可包含图像捕获装置102，例如数码相机、数码摄像机、模拟静态相机、模拟摄像机和/或用于捕获顶部图像的其它装置。所捕获图像可格式化为JPEG、JPEG 2000、Exif、TIFF、原始图像格式、GIF、BMP、PNG、Netpbm格式、WEBP、光栅格式、向量格式和/或其它类型的格式。因此，图像捕获装置102可包含图像传感器，例如电荷耦合装置(CCD)、互补金属氧化物半导体传感器或其功能等效物。在一些实施例中，材料搬运车辆100可位于环境110内，并被配置成捕获环境110的天花板112的顶部图像。为了捕获顶部图像，图像捕获装置102可安装到材料搬运车辆100并聚焦于天花板112。

环境110的天花板112可包含顶灯，例如但不限于用于从天花板112或大体上从在仓库中操作的材料搬运车辆100上方提供照明的吊灯114。吊灯114可包含大体上矩形的灯，例如天棚照明116a、荧光灯116b和/或其它类型的灯116c；且可安装在天花板112或壁结构中或从天花板112或壁结构悬吊下来以便从上方提供照明。应理解，尽管图1描绘了矩形的灯，但吊灯114可以具有任何形状、大小或类型。举例来说，吊灯114可以是圆形、弓形、悬吊的LED灯条、半球形天棚照明等等，且吊灯114的类型可以是高顶灯、轨道照明、灯串、条形照明、漫射照明等等。

另外，材料搬运车辆100可包含车辆计算装置103和/或与之连接。车辆计算装置103可包含以通信方式连接到图像捕获装置102的处理器104(其可实施为一个或多个处理器)。处理器104可被配置成执行逻辑以自动地实施本文中所描述的方法或功能中的任一个。还可包含存储器组件106并利用其来存储包含机器可读指令的逻辑，可以通信方式连接到处理器104、图像捕获装置102或其任何组合。

处理器104可包含集成电路、微芯片和/或能够执行机器可读指令或已被配置成以类似于机器可读指令的方式执行功能的其它装置。存储器组件106可包含RAM、ROM、闪存器、硬盘驱动器或能够存储例如机器可读指令的逻辑的任何非暂时性装置。由此，存储器组件106可存储图像捕获逻辑144a和里程计逻辑144b以提供指令并促进本文中所描述的功能性。

举例来说，里程计逻辑144b可致使材料搬运车辆100在所要路线上沿着环境110的地面122导航到目的地。在一些实施例中，图像捕获逻辑144a可致使材料搬运车辆100通过吊灯114的所捕获图像来确定材料搬运车辆100相对于环境110的定位位置。材料搬运车辆100的定位位置的确定可通过将图像数据与环境110的站点地图数据相比较来执行。站点地图可表示天花板的成像和相关联位置坐标，并且可本地存储在存储器组件106中和/或通过远程计算装置来提供。鉴于定位位置和目的地，可针对材料搬运车辆100确定路线。在确定路线后，材料搬运车辆100可沿着路线行进以导航环境110的地面122。

在操作中，材料搬运车辆100可通过用户输入、借助车辆计算装置103确定(例如材料搬运车辆100通过定位系统等横越射频标识符)和/或借助远程计算装置确定来确定其当前位置。一些实施例可被配置成利用图像捕获装置102来捕获天花板112的图像，所述天花板112可包含一个或多个吊灯114。在一些实施例中，一个或多个吊灯114可包含唯一标识符和/或被配置成将所述唯一标识符提供到车辆计算装置103。类似性，一些实施例被配置成使得图像捕获装置102捕获的图像可以其它方式与站点地图相比较以确定当前车辆位置。

在确定材料搬运车辆100的当前位置后，材料搬运车辆100可穿越路线以到达目的地。图像捕获装置102可沿着路线捕获天花板112和吊灯114的图像数据。取决于实施例，图像数据可包含位置标识符，例如地标、来自灯具的信号等。当捕获到吊灯114的图像时，车辆计算装置103可将天花板112和/或吊灯114的图像与站点地图相比较。基于所述比较，车辆计算装置103可沿着路线确定材料搬运车辆100的当前位置。

同时可利用上文所描述的基础设施来确定材料搬运车辆100的位置。里程表可能时常变得不准确，这是因为通常包含可充气或非可充气轮胎的车轮124变得受磨损并且周长改变。另外，当更换磨损的车轮或仅仅车轮的磨损轮胎部分从而立刻改变了车轮124的有效周长时，里程表可能变得不准确。应注意，术语“车轮”是指材料搬运车辆100的支撑材料搬运车辆100并实现其横越表面的暂时性移动的车轮。

类似地，虽然图像捕获装置102可被配置成捕获用于确定材料搬运车辆100的位置的成像，但图像捕获装置102可能需要初始校准以执行此功能。具体来说，不管图1中的描述，图像捕获装置102可相对于天花板112成角度、倾斜和/或旋转。另外，材料搬运车辆100和/或图像捕获装置102的使用可致使图像捕获装置102失准，因此需要重新校准。

图2描绘根据本文中所描述的实施例的用于校准材料搬运车辆100的里程计的流程图。如框250中所说明，可确定材料搬运车辆100的当前位置。如上文所论述，可根据材料搬运车辆100上的定位系统和/或定位系统、通过用户输入和/或通过其它类似机制确定此车辆位置。无论如何，在框252中，可确定目的地位置。可通过用户输入、通过确定过去动作和/或通过其它机制根据远程计算装置确定目的地位置(以便提供完成工作的指令)。还应理解，目的地无需为材料搬运车辆100的最终目的地。在一些实施例中，目的地可仅仅为沿着路线的点。

在框254中，材料搬运车辆100可穿越从当前车辆位置到目的地的路线。如上文所描述，材料搬运车辆100可通过手动操作模式、半自主模式和/或通过完全自主模式穿越路线。在框256中，可确定里程计距离，且可确定定位系统距离。如上文所论述，可通过里程表确定里程计距离。可根据定位系统和/或根据图像数据的捕获确定定位系统距离，如上文所描述。在框258中，可将里程计距离与定位系统距离相比较，这可包含确定比例因子。可通过将原始累积的里程计距离与车辆位置的实际改变相比较来测量实际比例因子。累积的里程计距离是根据里程计的在行进开始与结束之间行进的总距离(不使用比例因子)。所行进的实际距离是如通过定位系统确定的行进开始与结束的位置(x,y)之间的直线距离。

在框260中，可根据差修正比例因子。在修正比例因子后,里程计计算会更准确，这是因为距离的计算将包含修正的比例因子。因此，可利用修正的比例因子来确定更新的里程计距离。作为实例，如果里程表对旋转数计数并用车轮的预定周长乘以所述数，那么比例因子可乘以所述乘积以确定所行进的实际里程计距离。

图3描绘根据本文中所描述的实施例的用于修正里程计校准的比例因子的流程图。如框350中所说明，可确定初始位置、里程计和图像数据。如上文所描述，可根据用户输入、来自图像捕获装置102的数据和/或来自定位系统的数据确定初始位置。可根据里程表、根据远程计算装置和/或根据用户输入确定里程计数据。图像捕获装置102可被配置成用于捕获图像数据，并且可将所捕获的图像数据发送到车辆计算装置103。在框352中，材料搬运车辆100可穿越从当前车辆位置到目的地的路线。

在框354中，可确定里程计距离和定位系统距离。如上文所描述，里程表可将里程计数据提供到车辆计算装置103。另外，可通过定位系统和/或根据从图像捕获装置102接收的图像数据来确定材料搬运车辆100已经行进的距离。定位系统可包含全球定位系统、图像捕获装置102、远程计算装置和/或用于确定材料搬运车辆100的位置的其它硬件和软件。在框356中，可将里程计距离(利用比例因子)与定位系统距离(和/或站点地图)相比较。可进行此比较以确定比例因子的校准是否是当前的。如果里程计距离与定位系统距离之间的差超出预定阈值，那么可调整比例因子。

具体来说，实施例可被配置成使得更新比例因子以大体上匹配最近的测量结果，同时消除噪声并快速地响应于轮胎改变或车轮改变。一般来说，比例因子会随时间缓慢改变以适应车轮磨损。这会被车轮改变打断，在此情况下，比例因子会突然增大。为了促进车轮的逐渐磨损和从车轮或轮胎更换经历的快速改变，实施例可利用多个α滤波器，其可实施为作为里程计逻辑144b的部分的指数移动平均滤波器。第一α滤波器相对快速地作出响应，并且在本文中被称作快滤波器。第二α滤波器相对缓慢地作出响应，并且在本文中被称作慢滤波器。

当两个滤波器是一致的(在预定容差内)时，比例因子可设定成大体上等于来自慢滤波器输出的值。这确保比例因子测量结果的误差被消除。当两个滤波器不一致时，比例因子设定成等于来自快滤波器输出的值。这允许比例因子快速地响应于车轮改变。实施例可被配置成每当获得成功结果时更新使用中的比例因子。可添加一定程度的滞后以阻止滤波器之间的快速切换。

滤波器可被配置成如下操作：FV₁＝FV₀(α)+MV(1-α)，其中FV₁是新的滤波器值，FV₀是先前的滤波器值，MV是测量到的值，且α是滤波器的α值。在一个实施例中，在本公开的校准例程中实施以下α值：α＝0.99(被称作第一α滤波器值和/或慢α滤波器值)；且α＝0.9(在本文中被称作第二α滤波器值和/或快α滤波器值)。这些滤波器可因此为慢α滤波器提供慢滤波器结果并且为快α滤波器提供快滤波器结果。

如上文所提及，当两个滤波器一致、在容差内时，比例因子设定成等于慢滤波器输出。在一个预期实施例中，此容差等于约0.075。为了阻止滤波器之间的快速切换，一些实施例配置有约0.0025的滞后值可实施。在此类实施例中，在切换回到慢滤波器之前，滤波器差必须小于滞后值。

在一些实施例中，可通过横越一队横越材料搬运车辆中的至少一个材料搬运车辆100记录原始比例因子测量结果(或多个原始比例因子测量结果)来确定前述α、容差和/或滞后值，所述测量包含所记录数据中的一些点处的至少一个车轮改变。鉴于此原始数据，可在原始数据上运行组合的滤波器信号，且可视需要调整参数以获得横越所有日志的合理结果。

预期可实施本文中所描述的实施例以在材料搬运车辆100上检测车轮何时已经改变。当车轮已经改变时，比例因子的快速增大与在正常磨损下比例因子的常见、逐渐减小形成强烈对比。举例来说，慢α滤波器可用于考虑在材料搬运车辆100的操作期间的车轮124磨损。当新的车轮124安装在材料搬运车辆100上时，比例因子可快速增大以超过容差值，从而导致快α滤波器被用于确定比例因子。使用快α滤波器，直到滤波器差小于滞后值为止，此时接着使用慢α滤波器来确定比例因子。换句话说，当车轮124改变时，使用快α滤波器来快速调整比例因子，直到比例因子考虑新的车轮124周长为止。此时，使用慢α滤波器来考虑新的车轮124的轮胎磨损。实施例还可以被配置成利用比例因子数据来确定需要车轮124的改变，以用于预防性维护的应用。

再次参看图3，在框358中，可根据差修正比例因子。在框360中，可确定可信因子。具体来说，比例因子可设定成一值以适应材料搬运车辆100的改变。另外，可关于是否准确地设定所述比例因子从而为材料搬运车辆100提供里程计数据来进行确定。在框362中，可提供与校准可信度相关联的可信因子以供显示。在校准完成后，可利用更新的里程计距离来操作定位系统。

一些实施例可被配置成存储在测量到的移动开始和结束时的位置定位。举例来说，在导航中使用顶灯的情况下，一些实施例确保至少两个灯可见并且在确定车辆位置时读取两个灯的灯可信度相对较高。类似地，一些实施例还可确保车辆计算装置103在内测量到的移动的持续时间内维持位置定位。这可帮助确保车辆计算装置103不变得混叠，这可能提供所行进的实际距离的错误测量结果。一些实施例被配置成确保所行进的总距离超出预定阈值。举例来说，当测量到的距离准确到±0.1米内并且要求1％的里程计准确度时，可能需要至少(0.1+0.1)/1％＝20米的行进距离。

本文中所描述的实施例还可被配置成用于校准图像捕获装置102。如上文所论述，当材料搬运车辆100配备有图像捕获装置102时，图像捕获装置102可成角度、转动和/或旋转。因此，可在使用之前校准图像捕获装置102。类似地，材料搬运车辆100的使用可致使图像捕获装置102失准。因此，可提供对校准的更新。

因此，材料搬运车辆100可定位在具有已知坐标的位置处。可通过用户进入坐标、材料搬运车辆100传递具有已知位置的射频标识符和/或通过其它机制来确定坐标。另外，可将图像捕获装置102的种子值提供所述车辆计算装置103(和/或远程计算装置)。种子值可包含表示图像捕获装置102的位置(例如，俯仰、滚动、偏转)的一个或多个数和/或与外部校准有关的其它值。种子值可通过图像捕获装置102的制造商来提供、在安装时被估计、预编程到车辆计算装置103中和/或通过其它机制来提供。

无论如何，材料搬运车辆100可接着根据通过环境110的预定路线导航。当材料搬运车辆100前进通过环境110时，图像捕获装置102可捕获天花板112的图像。车辆计算装置103可将所捕获图像与站点地图相比较以确定在捕获所述图像时材料搬运车辆100所处的位置。可接着关于图像捕获装置102的当前校准而确定校准可信度。可例如通过可视指示，例如通过材料搬运车辆100上的用户接口将与校准可信度有关的数据提供给用户。可通过用沿着路线的多个位置处的所捕获图像比较预期图像来确定校准可信度。具体来说，在确定校准值之后，可继续捕获图像和将图像与站点地图相比较的过程。随着所捕获图像的准确度增大，校准可信度也增大。如果校准可信度满足预定阈值，那么可认为材料搬运车辆100已经被校准。然而，如果校准可信度不满足阈值，那么可能需要校准。

具体参考将吊灯观察结果用于定位和导航的实施例，车辆计算装置103可被配置成建构并维持车辆轨迹的估计，同时保持天花板112和/或吊灯114的先前观察结果的记录。车辆计算装置103可另外维持图像捕获装置102的校准的估计。鉴于图像捕获装置102的校准、材料搬运车辆100的路径和沿着所述路径的吊灯114的观察结果的共同估计，车辆计算装置103可计算表示所述组观察结果与站点地图之间的准确度的统计误差值。此误差函数又可用作误差最小化优化器中的反馈。通过这种方式，可更改所估计的轨迹以进行大体上符合所提供地图的观察。

因此，响应于确定将校准图像捕获装置102，可确定车辆位置。另外，可通过估计种子值使图像捕获装置102校准初始化。可基于最近里程计测量结果而确定车辆轨迹估计。可采用来自图像捕获装置120的最近框架，并且可关于给定框架中的特征与站点地图中的特征的对应性进行确定。具体来说，可通过基于材料搬运车辆100的轨迹、校准和站点地图比较预期观察结果以及将预期特征与来自图像的所观测特征匹配来进行确定。可调整所估计的轨迹以鉴于站点地图和特征观察结果而确定轨迹和校准的共同最优估计。可计算并输出校准可信度。

为了确定何时停止校准过程，车辆计算装置103计算当前校准估计的校准可信度的统计度量。此度量是鉴于站点地图、里程计和来自图像捕获装置102的特征观察结果基于跨校准变量的边际协方差而计算得到。随着时间推移，当越来越多的特征提供作为观察结果时，校准估计的校准可信度提高。这是因为每个连续特征观察结果提供对图像捕获装置102的可能校准的额外约束。因此，随时间推移，校准的估计变成越来越受约束。这些约束的总和的净结果是校准可信度的度量，所述度量在材料搬运车辆100处得以实时报道。当校准可信度达到预定阈值或其它值时，校准过程可停止。

因此，图4描绘用于校准材料搬运车辆100上的图像捕获装置102的流程图。如框450中所说明，可确定材料搬运车辆100的位置。在框452中，材料搬运车辆100可以是路线的下一递增部分。在一些实施例中，这可包含穿越路线以到达预定目的地，而其它实施例可能不确定最终目的地。

取决于特定实施例，路线可以是相对简单的直线路径和/或较复杂的路径规划，所述较复杂的路径规划包含沿着引导线的短暂驾驶，接着在一点上进行一组360度转弯。在一些实施例中，校准方案还可与自由驾驶的操作者一起很好地运作，直到校准可信度低于预定阈值为止。在一些实施例中，驱动器可向材料搬运车辆100提供用于具体操纵的建议以基于当前的校准不确定性水平而执行。

无论如何，在框454中，可从图像捕获装置102接收图像数据。如上文所描述，图像捕获装置102可捕获吊灯114、天花板112和/或环境110中的其它灯具的图像。在框456中，可将图像数据与站点地图相比较以确定误差。具体来说，材料搬运车辆100可确定开始位置、种子值，并且可追踪里程计和其它数据以确定材料搬运车辆100行进于何处。通过此信息，车辆计算装置103可将来自站点地图的预期图像与通过图像捕获装置102捕获的实际图像相比较。

在框458中，可基于比较而确定校准可信度。可通过图像捕获逻辑144a确定校准可信度，这可致使车辆计算装置103将来自所捕获图像的像素(和/或片段)与来自站点地图的像素(和/或片段)相比较。校准可信度可与匹配的片段的百分比有关。另外，一些实施例可确定来自站点地图的所捕获图像中的片段的偏移并且基于所述偏移而提供校准可信度。也可执行其它比较以确定校准可信度。

在框460中，可提供校准可信度以供显示。作为实例，可通过材料搬运车辆100上的用户接口提供校准可信度。在框462中，可关于所确定的校准可信度是否满足阈值进行确定。如果满足，那么校准可完成。如果校准可信度不满足阈值，那么可建构优化问题。具体来说，可利用库来建构优化问题，所述库例如C++类的Georgia Technology平滑与地图构建(GTSAM)库或其它平滑与地图构建(SAM)库。GTSAM库通过将因子图和贝叶斯网络用作基础计算范式而非稀疏矩阵而在机器人技术和构想中实施平滑与地图构建。

SAM库和其它类似库提供通用构架以建构与满足具有各种相关联不确定性的多个空间约束有关的优化问题466。预期还可利用库的以即时定位与地图构建(SLAM)为目标的部分。SAM库的SLAM部分具体提供用于使用参考框架因子来优化传感器外部校准的功能性。

在优化问题在SAM中表达为因子图后，在框468中，SAM可使用数个通用优化器中的任一个来执行优化。举例来说，Levenberg-Marquardt较适用于本文中所描述的实施例的优化。为了确定图像捕获装置102的校准，传感器测量结果流可表达为分散的SAM因子，并且这些因子传递到SAM优化器以获得优化的校准估计。

图5描绘材料搬运车辆100上的图像捕获装置102的校准的另一流程图。如框550中所说明，可确定材料搬运车辆100的位置。位置可包含材料搬运车辆100的坐标以及材料搬运车辆100的航向。在框552中，可通过估计种子值来使图像捕获装置102的校准初始化。种子值可表示与图像捕获装置102有关的俯仰、滚动、偏转、缩放和/或其它数据，且可根据图像捕获装置102的制造商所提供的数据、根据初始用户猜测、根据图像捕获装置102的位置的估计等加以估计。在框554中，材料搬运车辆100可穿越路线。取决于实施例，路线可以是线导引、自主导引和/或用户导引的预定路线。类似地，一些实施例可包含仅用户导航材料搬运车辆100而无预定目的地或路线。

无论如何，在框556中，当材料搬运车辆100穿越路线时，图像捕获装置102可捕获天花板112的至少一个图像。在一些实施例中，车辆计算装置103可另外接收里程计数据和种子值以用于估计材料搬运车辆100在路线上的一个或多个点处的大致位置。在框558中，基于材料搬运车辆100沿着路线的预期位置，可将所捕获的图像数据与来自站点地图的预期图像数据相比较。在框560中，车辆计算装置103可通过将图像数据与站点地图、种子值和所估计的里程计数据相比较来确定校准值。可利用校准值来确定材料搬运车辆100的新位置。

在框562中，可确定校准值的校准可信度。在框564中，可关于校准可信度是否满足阈值进行确定。如果是，那么在框566中，校准完成。如果在框564中阈值不满足阈值，那么过程可返回到框550以重新开始校准。

图6描绘根据本文中所描述的实施例的可用于材料搬运车辆100的计算基础设施。如所说明，车辆计算装置103包含处理器104、输入/输出硬件632、网络接口硬件634、数据存储组件636(其可存储优化数据638a、站点地图数据638b和/或其它数据)和存储器组件106。存储器组件106可被配置为易失性和/或非易失性存储器，并且因此可包含随机存取存储器(包含SRAM、，和/或其它类型的RAM)、闪存器、安全数字(SD)存储器、寄存器、光盘(CD)、数字多功能光盘(DVD)和/或其它类型的非暂时性计算机可读媒体。取决于特定实施例，这些非暂时性计算机可读媒体可驻留在车辆计算装置103内和/或车辆计算装置103外部。

存储器组件106可存储操作系统逻辑642、图像捕获逻辑144a和里程计逻辑144b。作为实例，图像捕获逻辑144c和里程计逻辑144d可各自包含多个不同的逻辑件，所述逻辑件中的每一个可实施为计算机程序、固件和/或硬件。本地通信接口646也包含在图6中，并且可实施为总线或其它通信接口以促进车辆计算装置103的组件之间的通信。

处理器104可包含可操作以接收并执行指令的任何处理组件(例如来自数据存储组件636和/或存储器组件106b)。如上文所描述，输入/输出硬件632可包含和/或被配置成与图1的组件介接，所述组件包含图像捕获装置102、里程表等。网络接口硬件634可包含任何有线或无线联网硬件和/或被配置成用于与任何有线或无线联网硬件通信，所述有线或无线联网硬件包含天线、调制解调器、LAN端口、无线保真(Wi-Fi)卡、WiMax卡、蓝牙^TM模块、移动通信硬件和/或用于与其它网络和/或装置通信的其它硬件。由此连接，可促进车辆计算装置103与其它计算装置(例如远程计算装置)之间的通信。

操作系统逻辑642可包含操作系统和/或用于管理车辆计算装置103的组件的其它软件。如上文所论述，图像捕获逻辑144a可驻留在存储器组件106中，且可被配置成致使处理器104操作和/或校准图像捕获装置102，如本文中所描述。类似地，可利用里程计逻辑144d来利用并校准里程计数据，如本文中所描述。

应理解，虽然图6中的组件说明为驻留在车辆计算装置103中，但这仅仅是实例。在一些实施例中，组件中的一个或多个可驻留在车辆计算装置103外部。应理解，虽然车辆计算装置103说明为单个装置，但这也仅仅是实例。在一些实施例中，图像捕获逻辑144a和里程计逻辑144b可驻留在不同计算装置上。作为实例，可通过远程计算装置和/或其它装置提供本文中所描述的功能性和/或组件中的一个或多个，所述远程计算装置和/或其它装置可以通信方式连接到车辆计算装置103。这些计算装置还可包含硬件和/或软件(例如图6中所描绘的硬件和/或软件)以用于执行本文中所描述的功能性。

另外，虽然车辆计算装置103说明为具有图像捕获逻辑144a和里程计逻辑144b作为单独的逻辑组件，但这也是实例。在一些实施例中，单个逻辑件可致使车辆计算装置103提供所描述的功能性。

本公开的图像捕获装置校准技术非常适合用在客户站点处、专用或通用仓库配置中。当驾驶材料搬运车辆100通过位点时，使用优化和统计技术来在线估计图像捕获装置校准。还计算此估计的校准可信度并将其作为校准进程上的实时反馈提供给调试工程师，从而允许他们知道何时推断校准过程。

已详细并且参照本公开的具体实施例描述本公开的主题，应注意，甚至在于伴随本描述的图式中的每一个中说明特定元件的情况下，本文中所公开的各种细节不应视为暗示这些细节涉及为本文中所描述的各种实施例的基本组件的元件。另外，很明显，在不脱离本公开的范围(包含但不限于所附权利要求书限定的实施例)的情况下，修改和变化是可能的。更具体来说，尽管本公开的一些方面在本文识别为优选的或特别有利，但是预期本公开不必限于这些方面。

虽然本文中已说明并描述本公开的特定实施例和方面，但在不脱离本公开的精神和范围的情况下，可进行各种其它改变和修改。此外，尽管本文中已描述各种方面，但无需组合地利用此类方面。因此，预期所附权利要求书涵盖本文中所展示并描述的实施例的范围内的所有此类改变和修改。

现应理解，描述本文中所公开的实施例包含用于校准材料搬运车辆的系统、方法和非暂时性计算机可读媒体。还应理解，这些实施例仅仅是例示性的并且并不意图限制本公开的范围。

Claims (19)

1.一种用于校准材料搬运车辆的图像捕获装置的系统，所述系统包括所述图像捕获装置和车辆计算装置，其中：

所述车辆计算装置存储逻辑，所述逻辑在由处理器执行时，致使所述材料搬运车辆执行至少以下操作：

确定所述材料搬运车辆在仓库中的当前位置；

确定与所述图像捕获装置相关联的种子值，所述种子值表示所述图像捕获装置的初始校准参数；

捕获所述仓库中的图像数据，所述图像数据包含表示在所述仓库中的位置的位置标识符；

将所述图像数据与站点地图相比较，所述站点地图表示所述仓库中的天花板的成像和位置数据；

根据所述比较和所述种子值确定所述图像捕获装置的校准值；以及

应用所述校准值以确定所述材料搬运车辆的新位置。

2.根据权利要求1所述的系统，其中所述逻辑进一步致使所述系统执行至少以下操作：

计算与所述图像捕获装置的所述校准值的准确度有关的校准可信度，所述校准可信度表示基于所述图像数据与所述站点地图的比较的所述校准值的准确度；

确定所述校准可信度是否满足预定阈值；

将所述校准可信度的可视指示提供给用户；以及

响应于确定所述校准可信度不满足所述预定阈值，提供重新开始校准的指令。

3.根据权利要求2所述的系统，其中所述逻辑进一步致使所述系统将所述校准可信度报告给所述用户。

4.根据权利要求1所述的系统，其中所述种子值包含与以下中的至少一个有关的数据：所述图像捕获装置的俯仰、所述图像捕获装置的滚动和所述图像捕获装置的偏转。

5.根据权利要求1所述的系统，其中从以下中的至少一个接收所述材料搬运车辆的所述当前位置：用户输入和传感器的触发。

6.根据权利要求1所述的系统，进一步包括远程计算装置，其中所述逻辑进一步致使所述车辆计算装置与所述远程计算装置通信以建构优化问题。

7.根据权利要求6所述的系统，其中所述远程计算装置利用平滑与地图构建(SAM)库来建构所述优化问题。

8.根据权利要求7所述的系统，其中所述远程计算装置利用即时定位与地图构建(SLAM)来建构所述优化问题。

9.根据权利要求7所述的系统，其中逻辑进一步致使所述车辆计算装置将以下中的至少一个传达到所述远程计算装置：所述图像数据、与所述站点地图有关的数据和与所述图像捕获装置有关的数据。

10.根据权利要求7所述的系统，其中根据所述比较确定所述图像捕获装置的所述校准值包含从所述远程计算装置接收数据。

11.根据权利要求1所述的系统，其中所述逻辑致使所述材料搬运车辆穿越预定路线以到达目的地。

12.根据权利要求1所述的系统，其中将所述图像数据与所述站点地图相比较包括识别所述站点地图的适用于所述图像数据的片段。

13.根据权利要求1所述的系统，其中所述图像数据包含灯具的图像。

14.一种材料搬运车辆，包括图像捕获装置和车辆计算装置，其中：

所述车辆计算装置存储逻辑，所述逻辑在由处理器执行时，致使所述材料搬运车辆执行至少以下操作：

确定所述材料搬运车辆的当前位置；

确定与所述图像捕获装置相关联的种子值，所述种子值表示所述图像捕获装置的初始校准参数；

捕获仓库中的图像数据，所述图像数据包含表示在所述仓库中的位置的位置标识符；

与远程计算装置通信以将所述图像数据与站点地图相比较并且创建优化问题，所述优化问题是通过与地图构建库通信来创建，所述站点地图表示所述仓库中的天花板的成像和位置数据；

根据所述优化问题的输出确定所述图像捕获装置的校准值；以及

应用所述校准值以确定所述材料搬运车辆的新位置。

15.根据权利要求14所述的材料搬运车辆，其中所述逻辑进一步致使所述材料搬运车辆执行至少以下操作：

计算与所述图像捕获装置的所述校准值的准确度有关的校准可信度，其中所述校准可信度表示基于所述图像数据与所述站点地图的比较的所述校准值的准确度；

确定所述校准可信度是否满足预定阈值；以及

响应于确定所述校准可信度不满足所述预定阈值，提供重新开始校准的指令。

16.根据权利要求14所述的材料搬运车辆，其中所述种子值包含与以下中的至少一个有关的数据：所述图像捕获装置的俯仰、所述图像捕获装置的滚动和所述图像捕获装置的偏转。

17.根据权利要求14所述的材料搬运车辆，其中所述远程计算装置利用平滑与地图构建(SAM)库来建构所述优化问题。

18.根据权利要求14所述的材料搬运车辆，其中逻辑进一步致使所述车辆计算装置将以下中的至少一个传达到所述远程计算装置：所述图像数据、与所述站点地图有关的数据和与所述图像捕获装置有关的数据。

19.一种用于校准材料搬运车辆的图像捕获装置的方法，包括：

确定所述材料搬运车辆的当前位置；

估计与所述图像捕获装置相关联的种子值，其中所述种子值包含与以下中的至少一个有关的数据：所述图像捕获装置的俯仰、所述图像捕获装置的滚动和所述图像捕获装置的偏转；

捕获环境中的图像数据，其中所述图像数据包含表示在仓库中的位置的位置标识符；

与远程计算装置通信以将所述图像数据与站点地图相比较从而创建优化问题，其中所述远程计算装置利用平滑与地图构建(SAM)库来创建所述优化问题；

根据所述比较和所述种子值确定所述图像捕获装置的校准值；

计算与所述图像捕获装置的所述校准值的准确度有关的校准可信度，其中所述校准可信度表示基于所述图像数据与所述站点地图的比较的所述校准值的准确度；

确定所述校准可信度是否满足预定阈值；

响应于确定所述校准可信度不满足所述预定阈值，提供重新开始校准的指令；以及

响应于确定所述校准可信度不满足所述预定阈值，应用所述校准值以确定所述材料搬运车辆的新位置。