CN111295683A - 基于增强现实的包裹查找辅助系统 - Google Patents

Abstract

提出了一种将包裹装载到集装箱内的方法。所述方法包括用电子设备读取包含所述包裹信息的第一指示，将所述包裹的信息和所述集装箱的标识发送到服务器，在将所述包裹装载到所述集装箱内部之后，通过控制第一成像设备和第二成像设备来识别所述包裹在所述集装箱中的位置，将所述第一成像设备和第二成像设备布置成对所述集装箱的内部空间成像；将所述包裹的位置发送到所述服务器；生成第二指示，所述第二指示包含所述包裹信息、所述包裹位置和所述集装箱标识。

Description

基于增强现实的包裹查找辅助系统

技术领域

本说明书涉及基于AR(增强现实)的辅助系统。特别地但并非排他地，本说明书涉及用于搜索卡车或集装箱内包裹的基于增强现实的辅助系统。

背景技术

当通过例如运输集装箱的敞开的门作为一个组观察时，至少在视觉上，集装箱内部的包裹常常几乎彼此不能区分。每个包裹只能通过应单独记录的ID或交货地址完全识别。为了加快包裹的放置和卸载过程，通常将包裹按照一定顺序或根据集装箱内部架子的编号装载集装箱，但这通常使特定包裹的确切位置仍然未知且难以识别。

发明内容

本说明书提供了一种基于增强现实和计算机视觉的有效地将包裹装载到集装箱和将包裹从集装箱中卸载的系统。例如，当将包裹装载到集装箱中时，系统可以登记其在集装箱内的位置。当要卸载所需包裹时，用户可以在其移动设备(例如智能手机、平板电脑等)的显示器上的列表中寻找它，将设备的相机对准集装箱并查看显示器。所述显示器可以提供可视的增强现实界面，所述可视的增强现实界面在视觉上指导用户关于包裹在集装箱中的位置。

本说明书提供了一种将包裹装载集装箱内部的方法提出了一种将包裹装载到集装箱内的方法。所述方法包括用电子设备读取包含所述包裹信息的第一指示，将所述包裹的信息和所述集装箱的标识发送到服务器，在将所述包裹装载到所述集装箱内部之后，通过控制第一成像设备和第二成像设备来识别所述包裹在所述集装箱中的位置，将所述第一成像设备和第二成像设备布置成对所述集装箱内部空间成像；将所述包裹的位置发送到所述服务器；生成第二指示，所述第二指示包含所述包裹信息、所述包裹位置和所述集装箱标识。

本说明书还提供了一种将包裹装载到集装箱内部的方法。所述方法包括接收第一指示，所述第一指示包含通过电子设备读取的所述包裹信息和所述集装箱的标识；在将所述包裹装载到所述集装箱内部之后，通过控制第一成像设备和第二成像设备来识别所述包裹的位置，将所述第一成像设备和第二成像设备布置成对所述集装箱内部空间成像；生成第二指示，所述第二指示包含所述包裹信息、所述包裹位置和所述集装箱标识的第二指示。

所述识别可以进一步包括通过三角测量算法来估计所述包裹相对于所述集装箱的壁的位置。

所述集装箱的壁与所述包裹的壁可以具有不同的颜色。

可以将预定标签附接到所述包裹，其中所述预定标签可通过所述第一成像设备和所述第二成像设备识别。

所述识别可以进一步包括在将所述包裹装载到所述集装箱中之前获得第一成像，在将所述包裹装载到所述集装箱中之后获得第二成像，以及将所述第一成像和所述第二成像进行比较。

可以将所述第一成像设备安装在所述集装箱的侧表面上，并且将所述第二成像设备安装在所述集装箱的顶表面上。

本说明书还提供了一种将包裹定位在集装箱内的方法，所述方法包括用电子设备读取分配给所述集装箱的指示；通过使用所述指示访问服务器，检索所述集装箱的身份信息、所述集装箱内装载的包裹信息和各个所述包裹的位置；在所述电子设备上提供装载在所述集装箱内的所述包裹清单；接收用户输入，所述用户输入选择显示在所述电子设备上的所述包裹的其中之一；在增强现实界面上显示所选择的包裹的位置，所述位置覆盖在所述集装箱的成像上。

所述电子设备可以包括所述增强现实界面，并且所述电子设备进一步包括成像设备，使得所述增强现实界面显示通过所述成像设备获得的成像。

所述方法可以进一步包括接收另一用户输入，所述另一用户输入关于是将所述集装箱的外部还是内部成像在所述增强现实界面上。

如果接收到用于对所述集装箱内部进行成像的用户输入，则在所述增强现实界面上的显示可以进一步包括从所述集装箱内部的成像确定与所述集装箱内部的壁相对应的表面；显示与所述确定的表面的组合相对应的三维对象，使得所述三维对象表示所述集装箱内部空间，并覆盖所述集装箱内部的显示成像；以及显示指向所选择的包裹的位置的指针，所述指针覆盖在集装箱内部空间的成像上。

如果至少一个或多个包裹阻挡所选择的包裹在所述增强现实界面上显示，则在所述增强现实界面上的显示进一步包括：显示指向阻挡所述所选择的包裹的一个或多个包裹的指针。

如果接收到用于对所述集装箱外部进行成像的用户输入，则在所述增强现实界面上的显示可以进一步包括：从所述集装箱外部的成像确定对应于所述集装箱壁的可见的外表面和隐藏的外表面。显示与所确定的表面的组合相对应的三维对象，使得所述三维对象表示所述集装箱所占据的空间，并覆盖所述集装箱的显示成像；以及显示指示所选择的包裹在所述三维对象中的位置的指针。

附图说明

现将参考附图仅通过示例的方式描述本发明的实施例，其中：

图1a是描述示例情形的示意图，其中可以通过电子设备读取附接在待装载到的集装箱的包裹上的第一指示。

图1b是描述示例情形的示意图，其中在将所述包裹装载到集装箱之前和之后，通过第一成像设备和第二成像设备获得集装箱内部的成像。

图1c是描述示例情形的示意图，其中生成第二指示，所述第二指示包括装载在集装箱中的所有包裹的信息，以用于以后的有效检索。

图2a是描述执行三角测量算法以获得包裹在集装箱内的位置信息的示意图。

图2b是描述在装载包裹之前和之后，第一成像设备如何对集装箱内部成像的示意图。

图2c是描述在装载包裹之前和之后，第二成像设备如何对集装箱内部成像的示意图。

图3是计算在集装箱内部中的包裹位置的三维坐标的方法的流程图。

图4a是描述如何通过电子设备感测附接在集装箱上的第二指示的示意图。

图4b是描述包括在电子设备中的第一用户界面的示意图。

图4c和4d是两种不同类型的增强现实设备的示意图。

图5a、5b、6a和6b是分别示出了如何使用增强现实界面对集装箱内部进行成像来卸载包裹的示意图。

图7a和7b是示出了如何使用增强现实界面对集装箱的外部成像来卸载包裹的示意图。

图8是将包裹装载在集装箱内的方法的流程图。

图9是将包裹装载在集装箱内的方法的流程图。

图10是在集装箱内部定位包裹的方法的流程图。

具体实施方式

在物流领域中，急需一种有效的方法来加快装载、建立库存、从集装箱中(例如运输集装箱或卡车运输空间)卸载和定位包裹的过程。本文描述的技术提供了这样的方法。例如，在使用一个或多个机器人元件手动地或自动地执行时，所述方法提供了集装箱的节能装卸和卸载，并且可以附加地或可替代地允许包裹在短时间内装卸或卸载到这种集装箱。

图1a、1b和1c描述了将包裹100装载到集装箱1000内的方法。

在图1a中，要被装载到集装箱1000中的包裹100可以包含第一机器可读指示(indicator)110，该第一机器可读指示110被附接并显示在包裹100的外表面上，使得第一指示110在不打开包裹100的情况下是可访问的。第一指示110可以包括或被编码为包括有关包裹100的信息，例如包裹标识号、包裹内容的简要描述或分类、处理时的任何特殊信息以及始发地和/或目的地。第一指示110的示例包括但不限于QR码、条形码或RFID标签中的一个或多个。可替代地，第一指示110可以包括或被编码为包括有关包裹100的信息的参考或指针，该信息本身可以被存储在计算机服务器300中。可替代地，第一指示可以包括与该信息相对应的文本。如下面更详细描述的，服务器300可以由电子设备200经由通信网络远程访问。网络的示例包括但不限于互联网、蓝牙连接、Wi-Fi连接、NFC(近场通信)连接以及能够在电子设备200和服务器300的数据之间进行无线通信的任何天线收发器系统。

电子设备200可以被配置以使得可以检索包含在第一指示110中的信息或由包含在第一指示110中并由服务器300存储的参考(reference)所引用的信息。电子设备200的示例包括但不限于具有内置相机的移动用户设备，例如智能手机或平板笔记本，并且在该设备的存储器中安装有专用软件应用程序。附加地或可替代地，移动用户设备可以包括RFID读取器、条形码扫描器和/或为设备提供NFC功能的设备。

第一指示110可以包含或被编码为包含与包裹100相关联的信息，并且可以被电子设备200读取。第一指示110可以是能够容易地附接到和/或显示在包裹100上的任何形式。例如，如果第一指示110为电子格式，例如图像文件或描述该图像文件的机器可读标记，则可以产生第一指示110并将其存储在服务器300中。第一指示110的电子版本可以被兑现(redeem)并打印，以用机器可读标签的形式形成第一指示110。然后可以将标签附接到包裹100的外表面上。可以使用第一指示110的任何其他形式的硬拷贝或显示可附接到包裹100的第一指示的装置。例如，可以使用诸如电子墨水之类的纸样显示技术来显示第一指示。

图1a示出了当将包裹100装载到集装箱1000上时，电子设备200可以用于感测第一指示110以检索(retrieve)与包裹100相关联的信息。例如，电子设备200可以相对靠近第一指示100，这样，可以使用电子设备200的摄像头读取包含或指向与包裹相关联的信息的打印图像数据。如果第一指示110包括所有信息，则可以直接从第一指示110读取与包裹100相关联的信息。可替代地，电子设备200可以访问服务器以检索与第一指示110所参考或指向的包裹100相关联的信息。电子设备200可以以无线方式(例如经由Wi-Fi网络访问或使用RF通信)服务器300。然而，可以采用促进电子设备200与服务器300之间的通信的任何通信方式。例如，电子设备200可以经由电缆或光缆或有线局域网与服务器300通信。

图1a示出了示例性场景，其中电子设备200可以读取第一指示110。在所示的场景中，第一指示110采取打印标签的形式，该打印标签包含视觉图像，该视觉图像包含或被编码为包含与包裹100相关联的信息。使用电子设备200的摄像头捕获显示在第一指示110上的视觉图像。电子设备200配置为从捕获的第一指示110的图像数据中获得(derive)信息，并通过网络将该信息发送到服务器300。

在服务器300处，可以基于从电子设备200接收到的信息来确定包裹100用其信息已经存储在服务器300中的包裹之一来标识。可替代地，服务器300可以从接收到的信息中确定包裹100与已经在服务器300上存储了信息的包裹不匹配。如果包裹100的信息尚未存储在服务器300上，则服务器300可以实施登记过程，在这个过程中，所接收的有关包裹100的信息用于在服务器300上登记包裹。

第二指示120可以附接在集装箱1000的外表面上。第二指示120包括或被编码为包括或用作对与集装箱1000的标识相关联的信息的参考。第二指示120可以以任何形式附接并显示在集装箱1000上。

在图1b中，将包裹100装载到集装箱1000中。在该特定示例中，包裹100被放置在集装箱1000的最右下角。集装箱1000可以包括第一成像设备1010和第二成像设备1020，其安装在集装箱1000的内部。第一成像设备1010和第二成像设备1020可配置为对集装箱1000的内部成像。第一成像设备1010和第二成像设备1020可配置为优选地以无线方式(例如经由Wi-Fi网络或RF通信网络)与电子设备200进行通信。

因此，在图1b所示的场景中，可以通过第一成像设备1010和第二成像设备1020获得集装箱1000内部的图像。可选地，集装箱1000可以包括至少一个或多个其他成像设备(未示出)，其也可以配置为对集装箱内部成像。集装箱1000内部的图像包括新装载的包裹100。

至少由第一成像设备1010和第二成像设备1020捕获的集装箱1000内部的图像可以传输到电子设备200。图像可以由电子设备200处理以获得相对于整个集装箱1000的空间包层的包裹100的位置信息。例如，电子设备200可以包括被配置为使用至少由第一成像设备和第二成像捕获设备1010、1020提供的图像来对在集装箱1000内的包裹100的位置进行三角测量的软件。三角测量在后文中将详细描述。包裹100的位置信息可以由电子设备200发送到服务器300。

可替代地，包裹100的图像可以由第一成像设备1010和第二成像设备1020直接发送到服务器300，而不被发送到电子设备200。图像可以由服务器300处理，例如以上述关于电子用户设备200的方式，使用三角测量算法来获得包裹100相对于集装箱1000的空间包层(envelope)的位置信息。

可替代地，可以首先将包裹100的图像发送到电子设备200，然后电子设备200可以将包裹100的图像发送到服务器300。该图像可以由服务器300处理以获得包裹100的位置信息。与电子设备200相比，服务器300可以具有更大的计算能力来处理图像并提取包裹100的位置信息。另一方面，若由成像设备1010、1020获得的图像文件或视频文件很大，传输可能花费很长时间或者可能与电子设备200和服务器300之间可用的网络能力不兼容。因此，可以考虑硬件和网络条件来确定存储和处理由成像设备1010、1020获得的图像的方式。

在服务器300上，如果有关包裹100的信息已经存储在服务器300中，则通过处理由成像设备1010、1020所获得的图像来获得在集装箱1000内的包裹100位置，位置可以被附加到与包裹100相关联的信息，即在将包裹100装载到集装箱1000之后。

包裹100的位置信息可以是在由集装箱内部限定的三维空间中的坐标的形式。位置信息可以是可用于增强现实界面的任何形式的数据，从而例如帮助用户或操作机械臂的计算机无难度地识别包裹100的位置。

优选地，包裹100的位置信息还可以包括包裹100所占据的体积的范围。包裹100的位置信息在其为标准形状的情况下还可以包括包裹100的相关尺寸，例如一个立方体的三个侧面。在包括100偏离立方体的标准形状的情况下，包裹100的位置信息还可以包括有关包裹100的形状的任何信息。包裹100的位置信息还可以包括与在集装箱1000的内部堆叠和布置包裹100有关的任何信息。例如，可以包括是否可以在包裹100的顶部堆叠任何其他包裹。

当第一成像设备1010和第二成像设备1020获得的图像被发送到服务器300，或者电子设备200获得的位置信息被发送到服务器时，集装箱1000的标识可以被同时发送。集装箱1000的标识可以由附接在集装箱1000的外表面上的第二指示120指示。当包裹100被装载时，第二指示120可以被电子设备200扫描以指示与新装载的包裹100和集装箱1000相关。可替代地，用户可以输入集装箱1000的标识。可替代地，集装箱的标识可以与安装在集装箱1000内部的第一成像设备1010和第二成像设备1020中的一个相关联并且存储在其中。当由成像设备1010、1020获得的图像被发送时，可以通过第一成像设备1010和/或第二成像设备1020同时发送集装箱的标识。当所获得的图像被发送到电子设备200或服务器300时，集装箱的标识也可以作为由成像设备1010、1020获得的图像的一部分被发送。例如，由第一成像设备1010和第二成像设备1020获得的图像可以连同所记录的时间一起用集装箱的标识来标记。可替代地，可以将集装箱1000的标识作为文本写在集装箱100的内部的壁的各个部分上，并由成像设备1010、1020成像。这些文本可以通过诸如光学字符识别(OCR)等的各种方法转换成机器兼容的形式。

在图1c中，服务器300可以生成第二指示120的电子形式。第二指示102可以包括或被编码为包括与包裹100相关联的信息，包括包裹100的位置信息和/或与集装箱1000的标识相关联的在集装箱1000内部的包裹100的坐标。可替代地，第二指示可以包括或被编码为包括与和包裹100相关联的信息的参考，该信息与包裹100的位置信息、包裹100的坐标与集装箱1000的标识相关联。服务器300可以将第二指示120的电子形式发送给电子设备200。

替代地，电子设备200可以与服务器300通信以访问存储在服务器300中的信息。电子设备200随后可以生成第二指示120的电子形式，该第二指示包括或被编码为包括或用作对与包裹100相关联的信息的参考，包括包裹100的位置信息，与集装箱1000的标识相关联的包裹100的坐标。

第二指示120的电子形式可以是诸如图像文件的电子文件。第二指示120的电子形式可以是可以容易地变成可附接并显示在包裹100上的打印标签的任何形式。例如，如果第二指示120的电子形式是图像文件，第二指示120可以被打印以附接在集装箱1000的外表面上。可以使用第二指示120的任何其他形式的硬拷贝或显示可附接到集装箱1000的第一指示的方式。例如，平板个人电脑(PC)类型的监视器或电子墨水类型的监视器可以永久地附接到可以在其上显示第二指示120的集装箱1000。第二指示120可以包含或被编码为包含与包裹100相关联的信息。

第二指示120可以是随后可以被电子设备200读取或感测的任何合适形式。其示例包括但不限于条形码、RFID或文本。优选地，第二指示120可以是QR码。

除了在图1b的情况中新装载的包裹100外，集装箱1000还可以包含一个以上的包裹。在这种情况下，第二指示120可以包括或被编码为包括信息或包括对当前装载在集装箱1000中的在服务器300中登记的所有包裹的信息的参考。因此，每当将新包裹100装载到集装箱1000中时，服务器300就会生成新的第二指示120。每当关于集装箱1000中装载的包裹的信息被更新时，新生成的第二指示120可以被发送到电子设备200。可替代地，仅当用户请求时才可以新生成第二指示120并将其发送到电子设备200。

待附接在包裹100上的第一指示110和待附接在集装箱上的第二指示120可以具有相同格式或不同格式。由于第二指示120可以包含集装箱1000内部的所有包裹的所有信息，因此如果第二指示120包含或被编码为包含装载在集装箱1000中的包裹100的信息，则第二指示120可以采用可以包含大量数据的格式。在一个实施例中，第一指示110可以是条形码，第二指示120可以是QR码。然而，如果第二指示120仅用作对存储在服务器300中的集装箱内装载的包裹100的信息的参考，则第二指示120可以是可以容纳与该参考相对应的足够信息的格式。

在集装箱1000装载有包裹100之后，并且在将更新的第二指示120附接到集装箱1000或显示在集装箱1000上之后，可以将集装箱1000运出或运输到目的地。

可以将集装箱1000上的第二指示120布置成使得在运输的任何阶段，使用电子设备200来操纵集装箱1000的人员都可以访问第二指示120。

附接在集装箱1000上的第二指示120可以用作一种方便的标签，该标签包含各包裹的库存信息和包裹100的各个位置。

图2a、2b和2c描述了示例性场景，该场景是如何从第一成像设备1010和第二成像设备1020获得的图像中获得包裹100的位置信息或包裹100的位置的三维坐标。特别是，在此特定场景中使用了三角测量算法。然而，可以使用适合于使用成像设备1010、1020获得包裹100的位置信息的任何其他算法。

图3示出了计算集装箱1000内部的包裹100的位置信息或三维坐标的方法的流程图。在使用图2的示例说明该方法时，将参考流程图中的每个步骤。

图2a显示了该集装箱1000以及安装在该集装箱1000内部的第一成像设备1010和第二成像设备1020。在此特定示例中，该包裹被装载到该集装箱1000的最右下角。

集装箱1000可以包括集装箱1000的门1030，通过该门可以将包裹100转移并装载到集装箱1000的内部。在该特定示例中，假定集装箱1000为立方体形状，门1030设置在集装箱1000的右向壁上。优选地，至少两个成像设备1010、1020可用于获得集装箱1000的内部中的包裹100的图像。除了第一成像设备1010和第二成像设备1020之外，还可以使用一个或更多成像设备。在集装箱1000为立方体形状的情况下，优选地，第一成像设备1010可以设置在与包括门1030在内的壁相对的壁上、第二成像设备1020布置在向下面向集装箱1000的内部的顶壁上。然而，第一成像设备1010和第二成像设备1020的布置不限于该示例。可以使用适合于实现三角测量算法的成像设备1010、1020的任何布置。

第一成像设备1010和第二成像设备1020的示例可以包括但不限于与闭路电视(closed-circuit television,CCTV)系统、闭路数字摄影(closed-circuit digitalphotography，CCDP)系统兼容的相机的类型，以及IP摄像机。

在优选的实施例中，可以通过三角测量算法来计算在由集装箱的内部限定的三维空间中的包裹100的空间位置。三角测量算法已广泛用于各种技术领域，例如测量(surveying)。为了实现三角测量算法，至少需要两个成像设备，并且两个成像设备之间的距离应该是已知的。因此，当将第一成像设备1010和第二成像设备1020安装在集装箱1000的内部包层时，可以测量第一成像设备1010和第二成像设备1020之间的距离。可替代地，可以预定(predetermine)第一成像设备1010和第二成像设备1020之间的距离，并且可以相应地安装第一成像设备1010和第二成像设备1020。优选地，集装箱1000的内部空间的尺寸是已知并与集装箱1000的标识相关联的，并且相应地预定第一成像设备1010和第二成像设备1020的精确位置。

在三角测量算法中，两个成像设备的位置与要识别其三维位置的对象形成一个三角形。通过对对象成像，可以识别三角形的平面并确定角度。如果第一成像设备1010和第二成像设备1020的位置是预定的，则在安装第一成像设备1010和第二成像设备1020之前就已知三角形的该平面。若第一成像设备1010和第二成像设备1020不是预定的，则至少在安装之后必须测量第一成像设备1010和第二成像设备1020之间的距离。优选地，可以在安装第一成像设备1010和第二成像设备1020之后测量第一成像设备1010和第二成像设备1020的精确位置。可替代地，使用集装箱1000的已知尺寸和由电子设备200或服务器300拍摄的描绘集装箱1000内部的图像，可以估计第一成像设备1010和第二成像设备1020的空间坐标。

为了增强由第一成像设备1010和第二成像设备1020获得的图像中的包裹100的对比度(contrast)，集装箱的壁可以具有与包裹的壁不同的颜色。当在电子设备200或服务器300处处理由第一成像设备1010和第二成像设备1020获得的图像时，颜色的差异可以使包裹的识别更加明确。

可替代地，预定标签可以被附接到包裹100。预定标签的示例可以包括具有特定形状或颜色的对象，使得在电子设备200和服务器300的处理期间可以容易地识别或跟踪该对象。在电子设备200或服务器300处处理由第一成像设备1010和第二成像设备1020获得的图像时，可以通过识别该预定标签的位置来识别包裹100。

可替代地，可以通过在将包裹100装载到集装箱1000之前和之后所拍摄的图像之间的差异来识别包裹100的位置。该方法不需要对包裹或壁的颜色进行任何布置或者不需要准备任何标签。下面将针对这种获取前后图像之间的差异的特定方法来说明图3的流程图中描述的三角测量算法。

在图2a中，通过第一成像设备1010、第二成像设备1020和包裹100在集装箱1000的内部限定了一个三角形。

可以将第一角度θ1定义为由连接第一成像设备1010和第二成像设备1020的位置而定义的线1015和由连接第一成像设备1010和包裹100的位置而定义的线1016之间的角度。

可以将第二角度θ2定义为由连接第一成像设备1010和第二成像设备1020的位置所限定的线1015和由连接第二成像设备1020和包裹100的位置所限定的线的线1017之间的角度。

在步骤S300中，识别尺寸(在该示例中为集装箱1000的内部的侧面的长度)。这些尺寸可以存储在服务器300中和/或与集装箱1000的标识相关联。集装箱的标识可以与安装在集装箱1000中的第一成像设备1010的标识以及第二成像设备1020的标识相关联。可替代地，当装载包裹100或电子设备200读取第一指示110时，用户可以输入这些尺寸。

在步骤S310中，可以识别第一成像设备1010和第二成像设备1020相对于集装箱1000的相应位置。如上所述，这些位置可以在安装第一成像设备1010和第二成像设备1020的阶段确定，或者第一成像设备1010和第二成像设备1020在集装箱1000的内部空间中的位置可以先预定，然后第一成像设备1010和第二成像设备1020可以被相应地安装。在任何情况下，至关重要的是预先知道第一成像设备1010和第二成像设备1020相对于集装箱1000的内部的壁的位置，以执行三角测量算法。这些位置以及集装箱1000的尺寸可以用于处理由第一成像设备1010和第二成像设备1020获得的图像。

因此，第一成像设备1010和第二成像设备1020之间的距离因此可以在该步骤建立，并用于处理由第一成像设备1010和第二成像设备1020获得的图像。

在步骤S320中，通过第一成像设备1010和第二成像设备1020获得图像。第一成像设备1010和第二成像设备1020可以连续运行。由第一成像设备1010和第二成像设备1020拍摄的图像可以加上时间标签或时间戳。可替代地，第一成像设备1010和第二成像设备1020可以仅在门1030打开之后的预定持续时间之后拍摄快照。可替代地，第一成像设备1010和第二成像设备1020可以以有规律的间隔(例如，每分钟)拍摄快照或短时视频镜头，使得在捕获所有与装载或卸载集装箱1000有关的事件时减少了生成的图像的数量。

图2b示出了在装载包裹100之前和之后由第一成像设备1010获得的图像。在图2所示的特定示例中，包裹100是要装载进集装箱1000的第一个包裹。

图2c示出了在装载包裹100之前和之后由第二成像设备1020获得的图像。在该示例中，假设第二成像设备1020能够对集装箱1000的内部的整个区域进行成像。然而，情况并非如此。在集装箱1000的内部可能存在一个死区，第一成像设备1010和第二成像设备1020均不能捕获该死区。在这种情况下，可以安装第三成像设备1030以覆盖该集装箱1000的内部的死区。至少要使用两个成像设备是执行三角测量算法的前提条件，但是，如本例中那样，成像设备的数量不限于两个。

在处理这些图像时，电子设备200或服务器300可以比较在装载包裹100之前和之后的两个图像。这两个图像之间的差异可以用作原始图像(raw image)，该原始图像将用于计算集装箱100在集装箱1000中的位置。

为了确定在装载包裹100之前和之后的时间点，用户可以使用电子设备200来指定时间点，其分别对应于装载包裹100之前和之后的时间。例如，在用户将包裹100放置在集装箱1000内之前，用户可以主动指示第一成像设备1010和第二成像设备1020在电子设备200上拍摄图像。用户随后可以指示第一成像设备1010和第二成像设备1010在用户将包裹100放置在集装箱1000内之后拍摄另一个图像。

可替代地，电子设备200或服务器300可以被配置为确定分别对应于装载包裹100之前和之后的代表性时间点。例如，如果图像静止的时间长于预定时间段，则该时间段内任何特定时间点的图像都可以用作代表性图像，该图像可以分配在装载包裹100之前或之后。可以识别两个这样的图像，它们在时间上基本上彼此靠近并且在图像的局部部分中表现出明显的差异，以用作前后图像。

可以采用其他方法来确定前后图像。例如，如果第一成像设备1010和第二成像设备1020被布置为以预定间隔规则地拍摄图像并且所获得的图像被加上时间戳，则电子设备200或服务器300中的处理器可以被布置为确定图中门1030第一次被打开口的图像。然后，电子设备200或服务器300中的处理器可以将在打开门之前的帧指定为“之前的”图像，而将在关闭门1030之后的图像再指定为“之后的”图像。

如果在门1030关闭的同时拍摄图像，则第一成像设备1010和第二成像设备1020可以配备有照明设备，例如闪光灯或LED灯。

比较图2b和图2c所示的图像而不是使用包裹100上的预定标签的优势在于，不仅包裹100的代表性位置，而且包裹100所占据的体积或包裹100的尺寸都可以被预估，因为第一成像设备1010和第二成像设备1020记录了包裹100的三维投影。

将图2b和图2c所示的图像与使用单个图像与包裹100进行比较的优点是，当在集装箱1000内存储许多包裹时，可能难以识别和处理附加包裹100。例如，如果包裹100将通过预定标签由第一成像设备1010和第二成像设备1020识别，并且新加载的包裹100的标签被隐藏在其他包裹的后面，则第一个成像设备1010和第二成像设备1020无法正确记录标签，因此可能无法执行三角测量算法。

包裹100的位置可以被确定为包裹100的估计的中心。例如，第一成像设备1010和第二成像设备1020可以识别包裹100的至少两个侧面。然后假设包裹100为作为立方形状，可以估计包裹100的中心位置和包裹100的侧面的尺寸，并将其作为包裹100的信息的一部分存储在服务器300中。下文将对此进行更详细的讨论。

在第一成像设备1010和第二成像设备1020仅能够识别包裹100的一个面的情况下，相邻包裹的信息可以用于估计包裹100的尺寸和中心点。

如果包裹100的形状不是立方体，则可以应用其他常见形状的预定模板来估计包裹100的中心位置和可识别面。例如，可以准备用于圆柱形包裹的处理程序。可以将尺寸可变的其他已知形状的模板存储在服务器300中，以处理包裹100的位置和体积。

在步骤S330中，第一成像设备1010用在步骤S320中获得的图像识别第一角度。

在步骤S340中，第二成像设备1020用在步骤S320中获得的图像识别第二角度。

可替代地，可以同时使用由第一成像设备1010和第二成像设备1020获得的图像来识别第一角度和第二角度。

第一成像设备1010和第二成像设备1020获得的图像是二维的。在步骤S330和S340中，考虑第一成像设备1010和第二成像设备1020的已知位置以及集装箱1000的尺寸，可以估测包裹100的三维坐标。例如，可以确定由第一成像设备1010和第二成像设备1020获得的图像中的第一角度和第二角度与包裹100内的各个位置之间的对应关系。可以预先获得由第一成像设备1010和第二成像设备1020获得的二维图像中的坐标与集装箱1000的内部空间内的三维坐标之间的对应关系。例如，当安装成像设备时，可以将包含对应关系的映射信息制成表格并存储在服务器300中，该信息与集装箱1000的标识相关联。如果图3的计算是由电子设备200执行的，则电子设备200可以访问服务器300以检索映射信息。

在步骤S350中，可以使用第一角度、第二角度以及第一成像设备和第二成像设备之间的距离来计算包裹100的三维坐标。这种简单的计算是在电子设备200或服务器300上执行的。

包裹100的位置可以是三维坐标的形式。例如，如果包裹100为立方体形状，则可以将集装箱1000的内部的最右下角视为三维坐标的原点。包裹100的位置可以表示为任何距离单位(例如厘米)的三维坐标。包裹100的位置可以指向由第一成像设备1010和第二成像设备1020获得的图像所估计的包裹的中心位置。例如，当包裹100为立方体形状时，中心位置可通过取两个相对面的中点来估计包裹的厚度。例如，在图2a中，如果立方包裹100的尺寸为100cm x200cm x400cm，并且如果包裹100放置在最右下角附近(原点)，包裹100的位置坐标对应为(50，100，200)，它指向包裹的中心点。

图2中示出的示例仅示出了要装载的第一个包裹100。但是，可以将相同的原理应用于后续的包裹。对于后续包裹的图像的处理可以考虑存储在服务器300中的先前装载的包裹的位置和体积。因此，集装箱1000内部的所有包裹100的三维图可以被构造。

图4a、4b、4c和4d描述了一旦集装箱1000到达目的地或放置集装箱1000的中间位置，如何能够取回并定位在集装箱内的包裹100。在这些位置，可能需要打开集装箱1000，并且可能需要以高效的方式将包裹100放置并从集装箱1000中取出。

在图4a中，附接并显示在集装箱1000上的第二指示120可由电子设备200感测或读取。电子设备200随后可以使用第二指示120作为参考与服务器300通信以检索与登记为包括在集装箱1000中的所有包裹100相关联的信息。

可替代地，第二指示120不仅可以是存储在服务器300中的信息的指针或参考，还可以存储与集装箱1000内的所有包裹100相关联的必要信息。例如，第二指示可以是文本形式以及电子设备200能够使用诸如光学字符识别(OCR)之类的方法扫描并接收来自第二指示的输入。

图4b示出了电子设备200中包括的第一用户界面210。一旦通过上述方法被电子设备200接收到，与集装箱1000中包括的所有包裹100相关联的信息就可以被列出。第一用户界面210可以允许用户查看包括在集装箱1000中的所有包裹100-1、100-2、100-3、100-4、100-5的信息。第一用户界面210可以允许用户选择用户想要从集装箱1000中卸下的包裹100-1、100-2、100-3、100-4、100-5中的一个或多个。如果电子设备200是手机，则包裹100-1、100-2、100-3、100-4、100-5的列表显示在手机屏幕上，用户可以通过触摸屏幕选择包裹100-1、100-2、100-3、100-4、100-5中的一个或多个。在此示例中，集装箱1000中有5个包裹。用户可以选择其中一个包裹，在该示例中为3号包裹100-3，以检索有关包裹100-3的三维位置的信息。

图4b还示出了电子设备200中包括的第二用户界面220。第二用户界面220可以被布置为当用户选择第一用户界面210中列出的包裹之一时出现。第二用户界面220可以提示用户选择用户是否希望在增强现实界面410、420上可视化集装箱的内部或集装箱的外部。在该示例中，用户选择查看集装箱的内部。可替代地，第二用户界面220可能不是必需的。电子设备中的处理器可以被布置为基于由电子设备200获得的图像来确定用户正在查看集装箱1000的外部还是内部。

图4c示出了增强现实界面410。增强现实界面410可以被包括在电子设备200中。例如，当电子设备是手机时，增强现实设备可以被实现为安装在电子设备200的存储器中的专用软件应用，例如手机使用的内部相机。手机的相机可以对集装箱1000成像，并且增强现实界面410可以在电子设备中显示的图像上指示包裹100-3的三维位置，这样就可以根据用户在显示图像中的空间感知直观地显示出包裹100-3的三维位置。用户可以通过握住包含增强现实界面410的电子设备200来移动增强现实界面410。包裹100-3的三维位置的指示的位置可以被移动，使得该指示在用户看来好像它是场景的一部分一样。

图4d示出了替代的增强现实界面420。增强现实界面420可以是用户可以佩戴在其头部上的独立的护目镜型设备。护目镜型的增强现实界面420可以以与增强现实界面410类似的方式操作。用户通过护目镜型的增强现实界面420观看的场景被包裹100-3的三维位置的指示所增强。独立的护目镜型增强现实界面420可以被配置为以无线方式或经由电缆或电线与电子设备200通信。

可替代地，电子设备200也可以被包括在具有用户输入能力的独立的护目镜型增强现实界面420中，例如，在增强现实界面420的护目镜部分的边缘周围安装的输入按钮。第一指示110和第二指示120可以使用独立的护目镜型增强现实界面420作为电子设备200来读取。

通过使用增强现实界面410、420，无需搜索并感测附接在包裹100-1、100-2、100-3、100-4、100-5中的每一个上的第一指示110，查阅界面的用户或机器人设备被引导到集装箱1000内部的包裹100-3的位置。当集装箱1000中有大量的包裹时，这尤其有效。

图5a、5b、6a和6b示出了如何使用增强现实界面410、420搜索和卸载包裹100-3以对集装箱内部进行成像。

在图5a中，为了在集装箱1000内定位所需的包裹100-3，可以使用增强现实界面410、420来观察集装箱1000的内部，如上面图4中所述的。对于此操作模式，可以打开门1030，以对集装箱内部进行观察和成像以及卸载包裹100-3。在此特定示例中，将所需的包裹100-3定位在集装箱1000的最左下角，并且在集装箱1000内部的最左上角还有一个包裹。

在图5b中，图5b的上部描述了用户通过门1030所观察到的集装箱1000的内部。将第一成像设备1010和第二成像设备1020示出为分别将第一成像设备1010和第二成像设备1020定位在集装箱1000的内部的后壁和顶壁上。图5b的下部示出了增强现实界面410的显示器411。在此示例中，假定用户正在握住增强现实界面410，使得增强现实界面410的内部相机对集装箱1000的内部进行成像。在图4b中描述的过程中，其中包括增强现实界面410的电子设备200接收包裹100-3的位置信息，尤其是包裹100-3的三维坐标。将增强现实界面410覆盖在集装箱1000的内部的图像，增强现实界面410可以处理包裹100-3的三维坐标并示出指示所需的包裹100-3的指针412。

在此示例中，增强现实界面410、420的类型不限于移动电话应用类型410或独立的护目镜类型420。

为了显示所需的包裹100-3的位置，增强现实界面410、420必须能够识别集装箱1000内部的各个部分。当增强现实界面410、420对集装箱1000的内部进行成像时，必须由电子设备200的处理器识别在图像中所述集装箱内部的壁。为此，增强现实界面410、420可以使用集装箱1000内部的已知尺寸。增强现实界面410、420可以检测所述壁。增强现实界面410、420可以检测在所述壁的边界处限定的线。增强现实界面410、420还可检测第一成像设备1010和第二成像设备1020的位置。集装箱1000的壁可以容纳增强现实界面410、420识别的预定标记。

图6a示出了与图5a类似的示例。在该特定示例中，所需的包裹100-3再次定位在集装箱1000的最左下角，并且在所需的包裹100-3周围和顶部堆叠有七个其他包裹，使得所需的包裹100-3被其它包裹隐藏。

在图6b中，图6b的上部描述了用户通过门1030所观察到的集装箱1000的内部。图6b的下部示出了增强现实界面420的显示器421。增强现实界面的具体类型是无关的。在集装箱1000的内部的图像的顶部上，增强现实界面420可以示出指示所需的包裹100-3的指示422。为了指示还有一个其他的包裹阻止用户访问所需的包裹100-3，指示422可以包括两个箭头。在显示器421上指示所需的包裹100-3的位置的具体方式不限于此示例，即，箭头的数量。对于另一个示例，可以显示包裹堆的轮廓的三维表示，以将用户引导到所需的包裹100-3的位置。

在卸载所需的包裹100-3之后，需要重新布置其余的包裹。可以通过第一成像设备1010和第二成像设备1020检测所述包裹的最终重新布置。在卸载所需的包裹100-3之后，增强现实界面410、420可以向用户推荐重新布置包裹的合适方式。

在卸载所需的包裹100-3之后，可以通过第一成像设备1010和第二成像设备1020将所述包裹的重新布置发送到服务器300，可以直接发送到服务器300或者通过电子设备200发送或者通过增强现实设备410、420发送。

在其余的包裹被重新布置之后，增强现实界面410、420可以提示用户识别一些包裹，使得在服务器300中更新这些包裹的位置信息。

在这种情况下，服务器300可以再次生成第二指示120，以更新列表和集装箱1000中包裹的新布置。

通过使用增强现实界面410、420，无需搜索并感测附接在每个所述包裹上的第一指示110，即使当包裹100-3被其他包裹隐藏时，用户也能通过增强现实界面410、420从视图中被引导到包裹1000-3在集装箱1000内部的位置。

图7a和7b示出了当使用增强现实界面410、420对集装箱的外部进行成像时如何使用增强现实界面410、420来定位包裹100-3以及如何引导用户。

在图7a中，为了在集装箱1000内定位所需的包裹100-3，可以使用增强现实界面410、420来观察集装箱1000的外部。对于此操作模式，可以保持门1030关闭。当需要在不打开集装箱1000的门1030的情况下识别包裹100-3的位置时，或者在打开门1030之前需要识别多个包裹的位置时，可以使用这种操作模式。在此特定示例中，将所需的包裹100-3定位在集装箱1000的最左上角，并且没有其他包裹。

在图7b中，图7b的上部描述了使用者所观察到的集装箱1000的外部。图7b的下部示出了增强现实界面410的显示器411。再次，增强现实界面的具体类型是无关的。工作原理与图4c和图5b中所描述的相似。将集装箱1000外部的内部的图像覆盖与增强现实界面420相覆盖，增强现实界面420可以显示三个附加的隐藏表面以及所需的包裹100-3所占据的体积。

如图6b所示，在所需的包裹100-3周围还有其他包裹的情况下，可以使用所述包裹的适当三维表示或标记或指示的适当形式来引导用户查看增强现实界面410、420的显示器411、421。

为了显示所需的包裹100-3的位置，增强现实界面410、420必须能够识别集装箱1000外部的部分。当增强现实界面410、420对集装箱1000的外部进行成像时，必须通过电子设备200的处理器识别图像中集装箱的外表面。为此，增强现实界面410、420可以使用集装箱1000的外部的已知尺寸。增强现实界面410、420可以检测可见的所述壁。增强现实界面410、420可以检测在所述壁的边界处限定的线。集装箱1000的外壁可以包含用于增强现实界面410、420识别的预定标记。增强现实界面410、420可以检测集装箱1000的外表面上的文字或图片或商标。

如到目前为止描述的实施例所示，本文描述的装置和方法的优点在于，由于附接在集装箱1000上的第二指示120用作方便的标签，因此不需要由用户单独记录或记住在集装箱1000内的包裹的细节。因为增强现实界面410、420向用户立即显示了所述包裹在集装箱1000中定位的位置，每个包裹的定位和卸载将是高效率的。由于在增强现实界面410、420上的三维表示是直观的，因此即使当所需的包裹100-3被其他包裹完全覆盖，也可以方便地识别所述包裹。如果由增强现实界面410,420对集装箱1000的外部进行成像，则集装箱1000的门1030不需要打开。

图8至图10示出了根据上述实施例和替代方案的装载和卸载集装箱的方法。

在附图中示出并在上面描述的本发明的实施例仅是示例性实施例，并且不旨在限制本发明的范围，本发明的范围由下面的权利要求书限定。意图在此描述的非互斥特征的任何组合都在本发明的范围内。

Claims (13)

1.一种将包裹装载到集装箱内的方法，其特征在于，所述方法包括：

用电子设备读取包含所述包裹的信息的第一指示；

将所述包裹的信息和所述集装箱的标识发送到服务器；

在将所述包裹装载到所述集装箱内部之后，通过控制第一成像设备和第二成像设备来识别所述包裹在所述集装箱中的位置，所述第一成像设备和第二成像设备布置成对所述集装箱的内部空间成像；

将所述包裹的位置发送到所述服务器；

生成第二指示，所述第二指示包含所述包裹的信息、所述包裹的位置和所述集装箱的标识。

2.一种将包裹装载到集装箱内部的方法，其特征在于，所述方法包括：

接收第一指示，所述第一指示包含通过电子设备读取的所述包裹的信息和所述集装箱的标识；

在将所述包裹装载到所述集装箱内部之后，通过控制第一成像设备和第二成像设备来识别所述包裹的位置，所述第一成像设备和第二成像设备布置成对所述集装箱的内部空间成像；

生成第二指示，所述第二指示包含所述包裹的信息、所述包裹的位置和所述集装箱的标识。

3.根据权利要求1或2所述的方法，其特征在于，所述识别包括：通过三角测量算法来估计所述包裹相对于所述集装箱的壁的位置。

4.根据权利要求3所述的方法，其特征在于，所述集装箱的壁与所述包裹的壁具有不同的颜色。

5.根据权利要求3所述的方法，其特征在于，将预定标签附接到所述包裹，其中所述预定标签可通过所述第一成像设备和所述第二成像设备识别。

6.根据权利要求3所述的方法，其特征在于，所述识别进一步包括：在将所述包裹装载到所述集装箱中之前获得第一图像；在将所述包裹装载到所述集装箱中之后获得第二图像；以及将所述第一图像和所述第二图像进行比较。

7.根据前述任一项权利要求所述的方法，其特征在于，将所述第一成像设备安装在所述集装箱的侧表面上，并且将所述第二成像设备安装在所述集装箱的顶表面上。

8.一种在集装箱内定位包裹的方法，其特征在于，所述方法包括：

用电子设备读取分配给所述集装箱的指示；

通过使用所述指示访问服务器，检索所述集装箱的标识信息、所述集装箱内装载的包裹的信息和各个包裹的位置；

在所述电子设备上提供装载在所述集装箱内的包裹的列表；

接收用户输入，所述用户输入选择显示在所述电子设备上的包裹中的一个；

在增强现实界面上显示所选择的包裹的位置并覆盖在所述集装箱的图像上。

9.根据权利要求8所述的方法，其特征在于，所述电子设备包括所述增强现实界面，并且所述电子设备进一步包括成像设备，使得所述增强现实界面显示通过所述成像设备获得的图像。

10.根据权利要求8或9所述的方法，其特征在于，所述方法进一步包括：接收另一用户输入，所述另一用户输入关于将所述集装箱的外部还是内部成像在所述增强现实界面上。

11.根据权利要求10所述的方法，其特征在于，如果接收到用于对所述集装箱内部进行成像的用户输入，则在所述增强现实界面上的显示进一步包括：

由所述集装箱内部的图像确定与所述集装箱内部的壁相对应的表面；

显示与确定的表面的组合相对应的三维对象，使得所述三维对象表示所述集装箱内部空间，并覆盖所显示的集装箱内部的图像；以及

显示指向所选择的包裹的位置的指针，所述指针覆盖在所述集装箱内部空间的图像上。

12.根据权利要求11所述的方法，其特征在于，如果至少一个或多个包裹阻挡所选择的包裹在所述增强现实界面上显示，则在所述增强现实界面上的显示进一步包括：显示指向阻挡所选择的包裹的一个或多个包裹的指针。

13.根据权利要求10所述的方法，其特征在于，如果接收到用于对所述集装箱外部进行成像的用户输入，则在所述增强现实界面上的显示进一步包括：

由所述集装箱外部的图像确定对应于所述集装箱的壁的可见的外表面和隐藏的外表面；

显示与所确定的表面的组合相对应的三维对象，使得所述三维对象表示所述集装箱所占据的空间，并覆盖所述集装箱的显示图像；以及

显示指示所选择的包裹在所述三维对象中的位置的指针。

Images