CN108885792B - 使用物理长度单位进行的货板检测 - Google Patents

使用物理长度单位进行的货板检测 Download PDF

Info

Publication number
CN108885792B
CN108885792B CN201780022963.3A CN201780022963A CN108885792B CN 108885792 B CN108885792 B CN 108885792B CN 201780022963 A CN201780022963 A CN 201780022963A CN 108885792 B CN108885792 B CN 108885792B
Authority
CN
China
Prior art keywords
template
value
cells
distance
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780022963.3A
Other languages
English (en)
Other versions
CN108885792A (zh
Inventor
S·飞利浦
S·帕迪耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Equipment Corp
Original Assignee
Crown Equipment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Equipment Corp filed Critical Crown Equipment Corp
Publication of CN108885792A publication Critical patent/CN108885792A/zh
Application granted granted Critical
Publication of CN108885792B publication Critical patent/CN108885792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种获取包括多个像素的物理环境的图像，每个像素包括图像平面中的二维像素位置和与物理环境的区域和图像平面之间的距离对应的深度值。对于每个像素，二维像素位置和深度值被转换为由三个坐标分量定义的物理环境中对应的三维点，每个坐标分量具有以物理测量单位计的值。至少部分地基于多个点的z坐标分量，在多个三维点内确定一组边缘点，并且生成包括单元格矩阵的距离地图。为距离地图的每个单元格分配距离值，该距离值表示单元格与该单元格的最接近边缘点之间的距离。

Description

使用物理长度单位进行的货板检测
技术领域
本发明一般涉及材料搬运车辆，更具体地说，涉及一种用于成像和定位待由车辆拣选的货板的系统。
背景技术
在典型的仓库或配送中心中，货板化的库存物品被储存在支架或其他储存结构中，该支架或其他储存结构与通常长的、平行延伸通道的每一侧对齐。为了最大化可用空间，通常将多个储存结构竖直堆叠，使得库存物可以升高的高度储存。因此，可以要求正在取回和/或放好的库存物的材料搬运车辆的操作者从车辆的操作位置向上看，以识别用于待取回或放好的库存物的货叉的适当高度和横向位置。
定位叉车托架以拾取或放好货板化材料在高度增大时变得越来越困难。视觉的角度变得更加困难。可能需要广泛的训练，以有效地执行必要的定位调整。即使具有足够的能力，正确的定位也可能比有效使用材料搬运车辆和操作者所需的时间更多。此外，在利用完全自动驾驶车辆来拾取或放置物品的储存或仓储设施或其他材料搬运环境中，支架和货板的布局和定位趋向于被严格控制，使得在自动驾驶车辆所服务的区域内，各种支架结构和各种货板之间的竖直间隔和/或水平间隔是均匀的。能够在由完全自动驾驶车辆服务的区域中，使用支架的非均匀的尺寸和间隔将是有益的。
发明内容
本发明的一个方面涉及一种分析图像的方法。获取物理环境的图像，图像包括多个像素，每个像素包括图像平面中的二维像素位置和深度值，所述深度值对应于物理环境的区域和图像平面之间的距离。对于每个像素，将二维像素位置和深度值转换为由三个坐标分量定义的物理环境中的对应三维点，每个坐标分量具有以物理测量单位的值。至少部分地基于多个点的z坐标分量，在多个三维点内确定一组边缘点，并且生成包括单元格矩阵的距离地图。对于距离地图的每个单元格，分配距离值，该距离值表示单元格与该单元格的最接近边缘点之间的距离。
根据本发明的这个方面，对于三维点中的每一个点，当计算机确定一组边缘点时可以进行以下操作：a)将三维点的z坐标分量与三维点的每个三维点在预定邻域中的相应z坐标分量进行比较，以确定相关的边缘值；以及b)当其相关的边缘值高于预定阈值时，确定该三维点位于一组该边缘点中。此外，每个单元格在距离地图中的相应距离值与该点的三个坐标分量(x,y,z)以相同的物理测量单位，其中，物理测量单位是厘米或毫米中的一个。
根据本发明的一个方面，计算机可以在距离地图上的第一组多个不同位置处定位第一模板，其中，在所述第一组多个不同的位置中的每一位置处，第一模板与第一组多个单元格(其中第一模板包括识别相关的多个第一单元格的数据)对齐，并且具有与单元格中的一个相关的原点；以及在第一组多个不同位置中的每一位置处，计算相关的一个单元格的第一对应成本函数值。特别地，第一模板可以是支架模板和货板模板中的一个，其中，第一模板包括多个模板点，每个模板点由两个坐标分量(m,n)定义，每个坐标分量具有以物理测量单位计的值。此外，对于第一模板中的每个模板点，其对应的坐标分量值m、n的每一个与对应于图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
根据本发明的另一方面，可以基于第一组多个单元格中的每一个单元格与其相应最接近的一个边缘点之间的距离，来计算每个第一对应成本函数值。作为示例，可以通过以下方式计算第一对应成本函数：a)将来第一组多个单元格的每个相应距离值与它们自身相乘以生成多个平方值；以及b)确定多个平方值的平均值的平方根。
此外，计算机可以识别距离地图的每个单元格，每个单元格具有低于第一预定阈值的第一对应成本函数值。
对应地，计算机还可以在距离地图上的第二组多个不同位置处定位第二模板，其中在第二组多个不同位置中的每一位置处，第二模板与第二组单元格对齐，并且具有与单元格中的一个相关的原点；并且在第二组多个不同位置中的每一位置处，计算相关的一个单元格的第二对应成本函数值。然后，计算机可以识别距离地图的每个单元格，其具有：a)低于第一预定阈值的第一对应成本函数值，以及b)低于第二预定阈值的第二对应成本函数值。如上所述，第一模板可以是支架模板，第二模板可以是货板模板。
特别地，距离地图的单元格矩阵可以包括i列单元格和j行单元格，其定义(i×j)单元格，每列由第一索引值a引用，a介于1和i之间；每行由第二索引值b引用，b介于1和j之间；每个单元格由索引对(a,b)引用；其中，对于距离地图的每个单元格，其对应的索引对值a、b的每一个与对应于图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。此外，基于每个边缘点的相应(x,y)坐标分量和该单元格的(a,b)索引对，来确定距离地图的单元格的最接近的一个边缘点，并且最接近的一个边缘点与距离地图的单元格之间的距离与最接近的一个边缘点的(x,y)坐标分量与单元格的(a,b)索引对之间的欧几里德距离有关。
此外，计算机可以：a)从所有边缘点中识别x坐标分量的最大值；以及b)从所有边缘点中识别y坐标分量的最大值；其中i＝x坐标分量的最大值；以及j＝y坐标分量的最大值。
本发明的一个方面涉及一种用于分析图像的系统，该系统包括存储可执行指令的存储设备和与存储设备通信的处理器。当处理器执行可执行指令时：a)获取物理环境的图像，其中图像包括多个像素，每个像素包括图像的平面中的二维像素位置和深度值，该深度值对应于物理环境的区域和图像的平面之间的距离；b)对于每个像素，将二维像素位置和深度值转换为物理环境中的对应三维点，其中，对应于像素的每个相应三维点由三个坐标分量(x,y,z)定义，每个坐标分量都具有物理测量单位的值；c)至少部分地基于多个点中的一个或多个点的z坐标分量，来确定多个三维点内的一组边缘点；d)生成距离地图，其中，距离地图包括单元格矩阵；e)针对所述距离地图的每个单元格，识别最接近的一个边缘点；以及f)为距离地图的每个单元格分配相应距离值，所述相应距离值表示该单元格与该单元格的最接近的一个边缘点之间的距离。
根据本发明的这个方面，对于三维点中的每一个点，当计算机确定一组边缘点时可以进行以下操作：a)将三维点的z坐标分量与每个三维点在所述三维点的预定邻域中的相应z坐标分量进行比较，以确定相关的边缘值；以及b)当其相关的边缘值高于预定阈值时，确定该三维点位于一组该边缘点中。此外，每个单元格在距离地图中的相应距离值与该点的三个坐标分量(x,y,z)以相同的物理测量单位，其中，物理测量单位是厘米或毫米中的一个。
根据本发明的一个方面，处理器可以在距离地图上的第一组多个不同位置处定位第一模板，其中在第一组多个不同位置中的每一位置处，第一模板与第一组多个单元格(其中第一模板包括识别相关的第一组多个单元格的数据)对齐，并且具有与单元格中的一个相关的原点；以及在第一组多个不同位置中的每一位置处，计算相关的一个单元格的第一对应成本函数值。特别地，第一模板可以是支架模板和货板模板中的一个，其中，第一模板包括多个模板点，每个模板点由两个坐标分量(m,n)定义，每个坐标分量具有以物理测量单位计的值。此外，对于第一模板的每个模板点，其对应的坐标分量值m、n的每一个与对应于图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
根据本发明的另一方面，可以基于多个第一单元格中的每一个单元格与它们相应最接近的一个边缘点之间的距离，来计算每个第一对应成本函数值。作为示例，可以通过以下方式计算第一对应成本函数：a)将来自多个第一单元格的每个相应距离值与它们自身相乘以生成多个平方值；以及b)确定多个平方值的平均值的平方根。
此外，当处理器执行可执行指令时，可以识别距离地图的每个单元格，每个单元格具有低于第一预定阈值的第一对应成本函数值。
对应地，处理器还可以在距离地图上的第二组多个不同位置处定位第二模板，其中在第二组多个不同位置中的每一位置处，第二模板与第二组多个单元格对齐，并且具有与单元格中的一个相关的原点；以及在第二组多个不同位置中的每一位置处，计算相关的一个单元格的第二对应成本函数值。然后，处理器可以识别距离地图的每个单元格，其具有：a)低于第一预定阈值的第一对应成本函数值，以及b)低于第二预定阈值的第二对应成本函数值。如上所述，第一模板可以是支架模板，第二模板可以是货板模板。
特别地，距离地图的单元格矩阵可以包括i列单元格和j行单元格，其定义(i×j)单元格，每列由第一索引值a引用，a介于1和i之间；每行由第二索引值b引用，b介于1和j之间；每个单元格由索引对(a,b)引用；其中，对于距离地图的每个单元格，单元格对应的索引对值a、b的每一个与对应于图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。此外，基于每个边缘点和该单元格的(a,b)索引对的相应(x,y)坐标分量，来确定距离地图的单元格的最接近的一个边缘点，并且最接近的一个边缘点与距离地图的单元格之间的距离与最接近的一个边缘点的(x,y)坐标分量与单元格的(a,b)索引对之间的欧几里德距离有关。
此外，当处理器执行可执行指令时可以：a)从所有边缘点中识别x坐标分量的最大值；以及b)从所有边缘点中识别y坐标分量的最大值；其中i＝x坐标分量的最大值；以及j＝y坐标分量的最大值。
附图说明
图1A和图1B示出了可结合本发明的叉车或车辆。
图2A-2C示出了根据本发明原理的针孔照相机的透视投影模型。
图3描绘了根据本发明的原理识别物理环境中的区域与成像相机的关系的几何模型。
图4A和图4B示出了根据本发明原理的在两个不同位置具有相应原点的图像平面。
图5是根据本发明原理的用于利用3D图像的图像分析来定位物理环境中的支架和/或货板的示例性算法的流程图。
图6描绘了可以根据本发明的原理使用图5的算法的物理环境的特征。
图7A和图7B示出了根据本发明原理的物理环境的两种不同可视化。
图8是根据本发明原理的用于识别3D图像中的边缘的示例性算法的流程图。
图9A和9B描绘了根据本发明的原理、将图8的算法应用于3D点云的可视化。
图10是根据本发明原理的用于创建距离地图的示例性算法的流程图。
图11A-图11D是根据图10的流程图创建的距离地图的一系列图示。
图12A是根据本发明原理的示例性支架模板(template)。
图12B是根据本发明原理的示例性货板模板。
图13A-图13D提供了描绘根据本发明原理的如何在距离地图的多个不同位置上移动模板的一系列图示。
图14是根据本发明原理的用于将支架模板应用于距离地图的示例性算法的流程图。
图15是根据本发明原理的用于将货板模板应用于距离地图的示例性算法的流程图。
图16是根据本发明原理的距离地图的示例性货板搜索区域。
具体实施方式
以下结合附图阐述的详细描述旨在作为本发明的各种实施例的描述，而不意在表示仅可实践本发明的实施例。为了提供对本发明的透彻理解，详细描述包括具体细节。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明。在一些实例中，众所周知的结构和组件以框图形式示出，以避免模糊本发明的概念。
现在参考图1A，其示出了可以结合本发明的叉车或车辆10。车辆10包括动力单元或主体20，动力单元或主体20包括操作者的隔间22。车辆10还包括杆组件30和叉架设备40，如图1B中最佳示出。虽然这里参照立式平衡重卡车描述了本发明，但是对于本领域技术人员来说显而易见的是，本发明和本发明的变型可以更普遍地应用于各种其他材料搬运车辆，该车辆包括具有单杆的扶手到达式升降式叉车(rider reach fork lift truck)，例如美国专利申请公开No.2010/0065377中所述，其全部公开内容通过引用并入本文。其中可以结合本发明的实施例的不同类型的车辆10包括手动车辆、半自动车辆和自动车辆。如前所述，将本发明的实施例应用在自动车辆上的一个好处是：它可以允许这些车辆在这样的支架和/或货板上执行操作，该支架和/或货不必在工作区域中均匀配置。
杆组件30包括第一杆焊件32、第二杆焊件34和第三杆焊件36，其中第二杆焊件34嵌套在第一杆焊件32内，第三杆焊件36嵌套在第二杆焊件34内。第一杆焊件32固定联结到卡车主体20。第二或中间杆焊件34能够相对于第一杆焊件32竖直移动。第三或内部杆焊件36能够相对于第一杆焊件32和第二杆焊件34竖直移动。
第一和第二提升柱塞/缸组件35(图1A中仅示出第一组件)联结到第一杆焊件32和第二杆焊件34，以实现第二杆焊件34相对于第一杆焊件32的移动。链条35A(图1A中仅示出第一组件的链条)固定到第一和第二提升组件和第三杆焊件36的缸体上，并且在联结到对应的一个柱塞的滑轮35B上延伸(图1A中仅示出第一组件的滑轮)，使得第一和第二提升组件的柱塞的移动实现了第三杆焊件36相对于第一杆焊件32和第二杆焊件34的移动。
叉架设备40联结到第三级焊件36，以便相对于第三级焊件36竖直移动。叉架设备40也与第三级焊件36相对于第一杆焊件32和第二杆焊件34第竖直移动。
在所示的实施例中，叉架设备40包括叉架机构44，第一货叉42A和第二货叉42B安装在该叉架机构44上，参见图1A和1B。叉架机构44安装到伸展机构46，该伸展机构46又安装到杆托架组件48。杆托架组件48可移动地联结到第三杆焊件36。伸展机构46包括架式或剪刀型结构46A，其实现叉架机构44以及第一货叉42A和第二货叉42A和42B朝向和远离杆托架组件48和第三杆焊件36的移动。
叉架机构44包括托架支撑结构44A和叉架框架44B。货叉42A和42B安装在叉架框架44B上。框架44B联结到托架支撑结构44A，用于相对于支撑结构44A横向和可枢转移动。侧移活塞/缸单元44C安装到托架支撑结构44A和叉架框架44B，以实现叉架框架44B相对于托架支撑结构44A的横向移动。
仅在图1A中示出的倾斜活塞/缸单元44D固定地附接到托架支撑结构44A并且接触叉架框架44B，以实现叉架框架44B相对于托架支撑结构44A的可枢转移动。
站在隔间22中的操作者可以经由操纵杆12控制卡车10的行进方向。操作者还可以控制卡车10、叉架设备和杆组件延伸件的行进速度，以及经由多功能控制器14控制第一货叉42A和第二货叉42B的倾斜和侧移。
根据本发明，提供了一种基于图像的货板和/或支架检测系统100，用于在叉架设备40升高和降低时捕获物理世界场景的一个或多个深度图像，识别图像帧中的一个或多个物体(其可包括一个或多个货板和/或支架)，确定它们相对于叉架设备40的位置，以及生成货板和/或支架位置信息，并将这些信息发送到位于车辆动力单元20上的车辆计算机50中。
系统100包括联结到叉架框架44B的图像分析计算机110、联结到叉架框架44B的下部段144B的可选光或照明源120、联结到叉架框架44B的下部段144B的3D成像相机130(例如飞行时间相机)，以及位于操作隔间22中以致动系统100的触发开关140。虽然一些安装位置可能比其他安装位置更优选，但是成像相机130可以位于货叉的上方或下方。希望相机与货叉一起侧移，但不一定需要与货叉一起倾斜。然而，安装了相机和可选的灯，货叉应位于视野的底部，以便给出对接近货板的最大警告。在所示实施例中，成像相机130位于货叉下方，参见图1A。计算机110可以位于卡车上的任何位置。物品110、120和130也可以组合成单个封包，其包括智能相机。图像分析计算机110可以使用有线电缆或者将货板识别和位置信息无线地发送到车辆计算机50，使得车辆计算机50可以在竖直和横向方向上精确地定位货叉42A和42B，如参见图1A中由Y轴和X轴分别所定义的。
车辆和图像分析计算机50和110可以包括任何类型的装置，其接收输入数据，通过计算机指令处理该数据，并生成输出数据。这种计算机可以是手持装置、膝上计算机或笔记本电脑、台式计算机、微型计算机，数字信号处理器(DSP)、大型机、服务器、手机、个人数字助理、其他可编程计算机设备或其任何组合。这种计算机也可以使用可编程逻辑装置(例如现场可编程门阵列(FPGA))来实现，或者可选地，实现为专用集成电路(ASIC)或类似装置。术语“计算机”还旨在包括两个或更多上述装置的组合，例如，两个或更多微计算机。车辆和图像分析计算机50和110可以彼此无线连接或硬连线。还考虑到计算机50和110可以组合为单个计算机。因此，本发明的各方面可以完全作为硬件实现、完全作为软件(包括固件、驻留软件、微代码等)或者在组合的软件和硬件实现中被实现，这些实现在本文中通常都可以称为“电路”、“模块”、“组件”或“系统”。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，其具有包含在其上的计算机可读程序代码。
当操作者希望拾取货板P时，操作者操纵车辆10，使得其直接定位在要拾取的支架R上的所需货板P前方，并且通常在X方向上与货板P横向对齐，参见图1A。然后，操作者经由多功能控制器14的致动，将货叉42A和42B在Y方向上竖直升高到最后一个货板P(其被忽略)上方的位置。当叉架设备40继续竖直移动时，图像分析计算机110使成像相机130例如以10-30fps(帧/秒)的速度拍摄图像帧。如下面将更详细讨论的，图像分析计算机110分析图像、识别图像帧中的一个或多个物体、确定一个或多个物体中的哪个物体最可能包括货板和/或支架、确定物体相对于世界坐标原点的位置，以及生成货板位置信息并将该信息发送到车辆计算机50。图像分析计算机110也可以向车辆计算机50无线地发送货板位置信息，以便车辆计算机50可以在竖直和横向方向上精确地定位货叉42A和42B，使得货叉42A和42B直接定位在货板中的开口的前面。此后，操作者只需要使叉架设备向货板移动，使得货叉进入货板开口。可替选地，刚刚描述的所有或一些操作可以由车辆在车辆计算机50和图像分析计算机110的控制下自动地执行。
图5是用于通过分析货板和支架所在的位置的物理环境的图像来估算支架和/或货板位置的示例性算法的流程图。所示算法可以例如由图像分析计算机110执行。作为初始步骤，在步骤502中，捕获物理环境的一个或多个图像。如上所述，成像相机130可以位于车辆10上，使得其可以捕获或获取车辆10前方的物理环境的图像。尽管可以分析单个图像以确定货板或支架的位置，但也可以使用一个以上的图像。例如，如果相机130以30fps的速度捕获图像，则可以将多个这样的帧一起平均，或者以其他方式进行统计组合，以生成合成图像用于分析。具体地，如下面更全面地描述的，用于分析的图像可以来自3D相机并且由多个像素组成，每个像素包括图像平面中的二维像素位置和与物理环境的区域和图像平面之间的距离对应的深度值。
在步骤504中，将像素转换为3D点云。对于每个像素，二维像素位置和深度值被转换为物理环境中的对应3D点，其中3D点由三个坐标分量(XC,YC,ZC)定义。可以参考例如位于相机130的面部中心的原点来计算3D坐标分量。此外，这些3D坐标分量中的每一个具有物理测量单位(诸如毫米、厘米、英寸等)计的值。
3D点的集合可以被认为是3D点云，其在步骤506中被分析，以确定任何边缘在3D图像中的位置。如下面更全面地描述的，3D点可以模拟其对应像素在3D图像的图像平面中的布置方式而合逻辑地布置。“边缘”被认为是当与来自图像的相邻像素对应的两个3D点的相应ZC坐标分量之间存在不连续性的情况。特别地，位于边缘处的3D点云中的点被识别为“边缘点”。然后，如下面更全面地解释的，可以创建距离地图，其允许在步骤508中执行距离变换。距离地图包括单元格矩阵，并且距离变换计算每个单元格的距离值，该距离值表示该单元格与该单元格最接近的一个边缘点之间的距离，其中边缘点与其最接近的边缘点之间的距离为“0”。而且，如下面更全面地说明的，距离地图的不同单元格位置对应于到距离地图的原点的不同距离。例如，可以在与3D点云的点的坐标分量(XC,YC,ZC)相同的物理测量单位测量这些到原点的不同距离。
在步骤510中，可以在距离地图的各个位置上覆盖支架的模型或模板和/或货板的模板，其作为搜索物理环境的图像场景中是否存在货板或支架的方法。模板可以包括多个模板点，使得当覆盖在距离地图上时，每个模板点覆盖距离地图的一个单元格。然后，可以基于那些覆盖的单元格的距离值来计算分数，以在步骤512中确定在模板的当前位置处是否发生匹配。支架模板与货板模板不同；因此，步骤510中的搜索和步骤512中的匹配确定可以分别针对支架模板和货板模板执行。因为货板通常位于支架结构上，所以可以首先执行对定位可能支架的搜索，并且搜索定位可能的货板可以限于距离地图的、位于可能支架上方一定距离内的部分。对于货板模板和支架模板，距离地图上可能存在多于一个的模板位置，这些位置生成指示货板和/或支架发生匹配的分数。因此，可以考虑最高分数或其他因素，来减少距离地图上被识别为匹配支架和/或货板的位置的数量。
在步骤514中，计算货板和/或支架的位置。首先，确定导致匹配的模板的位置，其识别距离地图的哪些单元格被该位置处的模板覆盖。如上所述，每个单元格位置与距离地图的原点的距离不同，因此，覆盖的单元格可用于确定货板和/或支架相对于距离地图的原点的位置，并且这又可以用于确定货板和/或支架相对于相机的位置。
图6示出了可以执行图5的算法的示例性环境，在该环境中存在单个货板604。示出的成像相机130没有车辆10的结构，以使其模糊。然而，当车辆10在物理环境中移动并且其货叉和托架升高时，相机130可以到达距离货板604和支架602为距离606并且也处于高度608的位置。当相机130处于图6所示的位置，本发明的实施例将确定货板604和/或支架602的位置，使得车辆10的货叉可以自动地或在车辆10的操作者的控制下插入货板604内的开口中。
如上所述，成像相机130例如可以是飞行时间相机，使得由相机130产生的图像被认为是物理世界中的场景的深度图像，其中图像由多个像素位置组成，每个像素位置具有相关的对应深度值。与传统的图像捕获装置非常相似，飞行时间相机可以具有包括在图像平面上以矩阵布置的多个像素位置的图像，使得每个像素位置对应于物理世界场景中、通过相机投影回到图像平面的区域。然而，飞行时间相机测量每个像素位置的距离或深度值。普通技术人员将理解，在不脱离本发明的范围的情况下，存在用于生成或获取具有类似数据结构的深度图像的其他功能等同技术。
如下面更详细地解释的，每个像素位置被转换为3D点，其对应于从一组世界坐标测量的物理世界中的位置。通过选择当前相机位置作为世界坐标的原点，简化了用于将图像数据转换成3D点的一些计算。该转换基于图像平面上的2D像素位置(或像素坐标)以及与该像素位置相关的深度信息。
图2A-2C示出了简单的针孔相机透视投影模型，以帮助解释本发明的各个方面。相机130被认为具有位于原点(0,0,0)的相机中心，原点定义具有X轴、Y轴和Z轴的相机坐标系。例如，在图2A中，Y轴沿纸张向外，并且标记了X轴和Z轴。图像平面位于距相机中心的距离f处，其中f是相机130的焦距。由相机130成像的物理世界场景中的小区域或位置位于坐标(XC,YC,ZC)处，下标“C”表示坐标相对于相机坐标系原点。图2B类似于图2A，但是来自下行到纸张中的X轴的角度看，Y轴和Z轴如图所示排列。
基于相似三角形原理，可以根据以下公式计算值x'和y'：
等式1
Figure BDA0001825166760000131
等式2
Figure BDA0001825166760000132
图2C描绘了投影到X-Y平面上的区域(XC,YC,ZC)，其中Z轴沿纸张向外。值f、x'和y'的度量单位是长度而不是“像素”，因此需要转换为“像素”以确定图像中的特定像素位置。假设在X轴方向上以像素测量的焦距f是fx并且在Y轴方向上测量的焦距f测量为fy，并且假设每个像素在X轴方向上具有长度mx并且在Y轴方向上具有长度my，其中mx和my中的每一个都是：
(物理长度(例如，mm))/像素
那么，对应于x'和y'的图像平面中的像素值u和v可以根据以下公式计算：
等式3
Figure BDA0001825166760000133
等式4
Figure BDA0001825166760000134
其中：
等式5f＝fx*mx
等式6f＝fy*my
图2A-2C表示简单的透视投影，认为其没有相机镜头畸变或镜头倾斜。此外，可以做出的附加假设包括将世界坐标系原点与相机坐标系原点对齐，使得两者之间不存在旋转或平移差异。最初，假设光轴穿过的图像平面的中心位于像素位置(0,0)处的图像平面中。然而，普通技术人员将认识到，这些简化假设不是必需的，并且众所周知的投影矩阵和公式可用于解释平移、失真、旋转、轴、倾斜等。
如上所述，相机130捕获每个像素位置的相应深度值，并且该信息将被转换为真实世界坐标，使得每个像素被变换为具有与物理世界中的位置或区域相关坐标的3D点。基于上述假设，这些坐标恰好相对于位于相机130中心的原点。因此，等式3和等式4可以被重写为：
等式7
Figure BDA0001825166760000141
等式8
Figure BDA0001825166760000142
另外，图3中描绘的几何关系示出了可以根据以下公式计算距世界(和相机)原点的点或区域(XC,YC,ZC)的距离d：
等式9A
Figure BDA0001825166760000143
或等式9B
Figure BDA0001825166760000144
重新排列等式9B可以提供
等式10
Figure BDA0001825166760000145
该等式提供了一种直接的方法来确定或计算三个坐标XC、YC和ZC中每一个的值。在每种情况下，等式10的两侧乘以要求解的坐标的平方，然后等式7和等式8用于替换已知值。例如，为了求解XC，等式10变为：
等式11
Figure BDA0001825166760000151
等式12
Figure BDA0001825166760000152
等式13
Figure BDA0001825166760000153
Figure BDA0001825166760000154
等式14
Figure BDA0001825166760000155
以类似的方式，YC和ZC可以通过以下等式求解：
等式15
Figure BDA0001825166760000156
等式16
Figure BDA0001825166760000157
因此，根据上述等式，在图像平面上具有像素坐标(u,v)的每个像素位置及其相关的深度值d可以被变换为具有坐标分量(XC,YC,ZC)的物理世界中的对应位置。这些坐标的测量单位可以与由相机130确定的距离d值采用相同的测量单位(例如，毫米)。
上述等式中的初始假设中的一个是光轴穿过图像平面的原点(0,0)，从原点(0,0)的位置测量像素位置。利用该假设的示例性图像平面在图4B中示出。然而，如果原点(0,0)位于其他地方，例如左上角，那么在应用等式14-16之前可以使用偏移值Ox和Oy。在图4A和图4B中，像素402位于图像平面上的相同物理斑点处，但是其像素位置或像素坐标可以根据原点(0,0)被定义为的位置而变化。例如，如果成像相机130从位于图像平面的左上角的原点计算像素坐标(u',v')，则这些像素坐标(u',v')可以被转换为从位于光轴穿过图像平面的原点处计算得出的像素坐标(u,v)。
等式17u＝u'-Ox
等式18v＝v'-Oy
然后，可以在上述等式中使用这些平移的像素坐标(u,v)来找到一组3D坐标、以及成像相机与未平移的像素坐标(u',v')相关的深度值d。
针对深度图像的每个像素计算的3D坐标可以被布置为3D点云，该3D点云是具有用于图像的每个像素位置的相应条目的阵列。例如，具有尺寸为500×500像素的图像平面的成像相机130将具有250,000个单独的像素或像素位置。因此，3D点云的阵列将具有250,000个单独条目的索引，并且每个条目可以包括一组坐标(或坐标分量)(XC,YC,ZC)。
可以布置3D点云的元素的另一种方式是在深度地图中，其允许3D点云被可视化。图7A示出了可以由相机130捕获的图像中的示例性场景，并且图7B示出了从该图像的像素构造的深度地图702。示例性图像尺寸为160x120像素，因此，阵列3D点云中有19,200个3D点，其可以通过范围从0到19,199的索引变量编索引。然后，可以将深度地图702的元素布置为列和行，模拟像素在图像平面中的布置，其限定宽度(例如，160)和高度(例如，120)，使得列可以被范围从0到159的索引变量编索引，并且行可以被范围从0到119的索引变量编索引。深度地图的元素可以用dm[g,h]表示，它对应于可以由pc[g+(h*宽度)]表示的阵列3D点云的元素。换句话说，深度地图dm[17,22]的示例性元素对应于点云元素pc[3537]。因此，在元素dm[17,22]处的深度地图702中绘制的值是点云元素pc[3537]的ZC坐标分量值。深度地图702提供来自3D点云中点的深度信息的可视化，其可以揭示诸如货板开口706和支架面704的特征。
3D点云中的点也可以被布置为“有组织的点云”。类似于距离地图，有组织的点云可以按行和列排列，其对应于所获取图像的像素的排列。因此，有组织的点云的每个元素可以由opc[g，h]表示，其中索引变量g和h与上述针对距离地图的描述相同。不同之处在于，有组织的点云的每个元素包括3D点的所有坐标分量值(XC,YC,ZC)，而深度地图元素具有仅表示ZC坐标分量的值。有组织的3D点云的每个元素还可以包括与其在阵列3D点云中的索引值对应的值；尽管也可以基于如上关于深度地图所讨论的值g和h来计算该值。在3D点云的阵列结构中，难以确定哪些元素对应于图像中的接近或相邻像素。然而，因为有组织的点云被布置成类似于图像的像素，所以可以识别3D点云的“相邻”或“接近”元素并将其用于分析。
前面描述的分析中的一个步骤是确定3D点云的哪些点属于边缘。在下面的图8和后面讨论的流程图中，简化符号p→ZC用于表示3D点p的ZC坐标分量的值，无论该点是否在阵列3D点云中、有组织的点云中，或者深度地图中。通常，可以根据图8的示例性流程图来执行边缘检测。在步骤802中，可以构建有组织的点云或深度地图，然后，在步骤804和分组为806的步骤中，对于点云中的每个点p，p→ZC与围绕p预定义邻域中所有3D点的q→ZC进行比较。因此，在步骤808中，流程图循环通过预定义邻域中的所有点q，使得可以在步骤812中确定是否|(p→ZC)–(q→ZC)|≥T。预定义邻域的一个示例包括与有组织的点云中的点p相邻的8个点。示例性阈值T可以是例如20至40mm。
如果对于任何预定义邻域点，两个ZC值之间的差值幅度大于阈值T，则在步骤814中将相邻点的索引添加到“边缘点”的列表中。因此，“边缘”指的是在Z轴上、对应于图像平面中相邻像素的两个点之间的不连续性。
以这种方式完成针对有组织的3D点云中的每个点的边缘检测，以构建完整的边缘点列表。用于识别边缘列表中的点的索引可以是阵列3D点云中的点的索引值，或者是用于识别有组织的点云中的3D点的索引值对。除了生成边缘列表之外，可以构造边缘有组织的点云，使得不在边缘列表中的任何点的ZC坐标分量的值可以被设置为“非数字”。因此，只有边缘有组织的点云中的边缘点才具有有用的ZC坐标分量。设置为“非数字”的点或值是占位符。其仍然存在，但不包含任何可用值。例如，p→ZC超过相机最大范围的点p可以被认为是Z轴方向上的“非数字”并且其ZC坐标分量相应地设置。该约定允许识别可以跳过某些分析步骤的3D点云的元素。
边缘检测算法有时可以为边缘产生粗线，其中相邻点的ZC值没有单一的急剧变化。因此，在步骤816中，可以从边缘列表中移除点，以便使检测到的边缘细化。边缘细化技术的一个示例是识别边缘列表中包括其所有8个相邻点的任何边缘点。任何这样识别的点都可以将其ZC值设置为“非数字”。
普通技术人员将认识到，可以使用许多不同的边缘检测算法，并且图8是用于边缘检测和细化的一般框架。可以使用的一种特定算法称为Canny边缘检测算子。在Canny边缘检测算子中，例如，点p及其8个相邻点的ZC值被加权并加在一起以生成梯度值。如果该梯度值与预定标准匹配，则该点p被认为是边缘点。特别地，如果点p的梯度值高于上阈值，则该点被接受为位于边缘上。如果梯度值低于下阈值，则认为该点不位于边缘上。如果梯度值在两个阈值之间，则仅当其相近的相邻点中的至少一个具有高于上阈值的梯度值时，才接受该点作为边缘点。作为示例，使用下阈值20和上阈值40来生成图9B的边缘有组织的点云。
通过显示任何点在边缘列表中的ZC值并将“非数字”显示为黑色，可以绘制或可视化边缘有组织的点云。图9A是有组织的点云的ZC值的曲线图，图9B是在应用类似于图8的边缘检测和细化算法之后的边缘有组织的点云的曲线图。
一旦构造了边缘列表，就可以执行图5的步骤508。在图10的流程图中提供了步骤508的一些细节。在步骤1002中构造矩阵，该矩阵与由点云或有组织的点云中的3D点描述的物理维度相关。特别地，可以构造新的边缘点云，其仅包括边缘列表中识别的ZC值不是“非数字”的3D点。分析这个新的边缘点云，以确定所有点的XC的最高值和所有点的YC的最高值。矩阵的尺寸使得列数基于最高XC值，且行数基于最高YC值的尺寸。图11中示出了示例性矩阵1101。
矩阵1101的特定单元格(例如，1102)可以由M[a，b]表示，其中a的范围是1和最高XC值之间的值(例如，其可以用i表示)，b的范围是1和最高YC值之间的值(例如，其可以用j表示)。矩阵1101的单元格中的值最初被设置以生成矩阵，其中每个单元格对应于新边缘点云中的被设置为“0”的点，例如如图11B所示。图像分析计算机110(例如在步骤1004中)可以处理新边缘点云中的每个3D点e，以便确定e→XC和e→YC。然后，可以使用这些值来设置矩阵1101的特定单元格的值。具体地，在步骤1006中，可以将单元格M[e→XC,e→YC]设置为“0”。然后，在步骤1008中，可以对矩阵1101的非零值单元格执行距离变换，以在每个这样的单元格中放置一个值，该值表示其到具有值“0”的最接近单元格的距离，如图11C所示。换句话说，计算单元格与其最接近边缘点之间的距离。放置在图11C的示例性单元格中计算的非零距离值的范围从d1到d7。
可以根据这两个单元格之间的欧几里德距离来计算每个单元格与具有值“0”的最接近单元格之间的距离。例如，可以根据以下公式计算第一非零值矩阵单元格M[a1,b1]和第二零值矩阵单元格M[a2,b2]之间的欧几里德距离：
Figure BDA0001825166760000191
然而，存在这样的情况：不需要精确的欧几里德距离，并且通过估算该距离可以避免计算其计算量。虽然有许多已知估算欧几里德距离的距离变换，但可以使用的示例包括：城市街区方法、棋盘方法、八角形方法、倒角3-4方法和倒角5-7-11方法。普通技术人员将认识到，在不脱离本发明的范围的情况下，也可以使用其他距离变换。无论用于计算每个非零单元格的距离值的方法如何，在步骤1010中，该计算的距离值与其矩阵1101的相应单元格相关联，以便构建如图11C所示的距离地图。
图11A-图11C的矩阵仅作为示例提供，并且可以由图9B的边缘点云产生的实际距离地图可以具有更多的单元格，并且具有比图11C中所示的更多的距离值。例如，如果距离地图的单元格的每个距离值对应于不同的灰度级，则图9B的边缘点云将生成如图11D所示的距离地图。
距离地图的每个单元格不仅具有指示从该单元格到最接近边缘的距离的相关值，而且由于矩阵1101的构造方式，矩阵的每个元素或单元格也表示从该单元格到距离地图原点的距离。特别地，用于参考距离地图的单元格的索引值对也揭示该单元格与距离地图的原点之间的距离。例如，矩阵单元格或元素M[a,b]距x方向上的距离地图的原点为a毫米的距离，以及距y方向上的距离地图的原点为b毫米的距离。结果，对于距离地图M[a3,b3]和M[a4,b4]的两个不同单元格，它们之间在x方向上的距离为|a3–a4|毫米，在y方向上的距离为|b3–b4|毫米。单位“毫米”是3D坐标分量(XC,YC,ZC)采用物理测量单位(例如，毫米)计的结果。如果3D坐标分量采用某些其他测量单位，则生成的距离地图同样可以是这样。而且，如下面更全面地讨论的，边缘有组织的点云和距离地图的坐标分量值可以例如按比例从毫米转换为厘米，以减少计算距离地图和随后分析步骤的计算量。换句话说，即使边缘点的XC和YC的值计算并存储(以毫米为单位)，也可以将它们转换为厘米，以确定与该边缘点对应的距离地图的单元格。
如图11D所示，一旦构建了距离地图并且其所有单元格填充有相应的距离值，就可以将其与模板一起使用，以识别距离地图中、与模板类似的部分。模板可以例如是支架模板或货板模板。模板是描述其所代表的结构的一个或多个边缘的点云。例如，支架模板包括描述支架的边缘地图的点，并且货板地图可以描述货板开口的边缘地图。
图12A中示出了示例性支架模板，图12B中示出了示例性货板模板。每个模板的构造基本相同，因此只提供了支架模板的详细说明。模板通常具有与距离地图相同尺寸的元素或点，尽管可以实现两种不同尺寸之间的适当缩放。例如，如上所述，距离地图可以具有能够表示厘米而不是毫米的单元格。因此，不是具有2000×2000个单元格的距离地图，而是具有200×200个单元格的距离地图。因此，模板元素或点也将以厘米为单位。
然后，图12A的支架模板还可以具有多个模板点，这些模板点可以由两个坐标分量(m,n)定义，每个坐标分量具有物理测量单位计(例如厘米)的值。在图12A中，支架模板包括八十个点，或者换句话说，在点云中有八十个点，其描述了支架模板。该模板点云可以被排列和存储为元素阵列，使得每个元素保持八十个点中的一个的相应的两个坐标分量(m,n)。其中，在图12A中明确标出两个点；一个点是具有坐标值(1,1)的点1201和另一个点是具有坐标值(975,66)的第二点1202。支架模板点云的其他78个点中的每一个都有它自己唯一的坐标值。支架模板的每个点代表物理世界中的一平方厘米以及距离地图的一个单元格。因此，模板中的点1202在点1201下方65厘米处，并且该距离近似为其顶部边缘与其底部边缘之间的支架面的宽度。因此，不同尺寸的支架将具有不同尺寸的模板。
对于图12B的货板模板，该模板描述了货板的两个开口周围的边缘，其中可以插入货叉。每个开口由48个单独的点定义，导致该模板的点云具有96个点。对于每个开口，最左侧的点距离最右侧点约52.5cm，并且顶部边缘和底部边缘相隔约10cm。因此，类似于支架模板，该货板模板可以直接利用其单元格尺寸以厘米为单位设定的距离地图，而无需调整模板的尺寸或比例。
根据本发明的原理，模板在距离地图上移动，或者有时称为“距离变换地图”，以确定模板在该地图上最适合的位置。图12A和12B的支架和/或货板模板的模板点的数量以及图11D的单元格在距离地图中的数量使得它们易于被描述和示出，但是关于图13A-13D的系列图描述了它们的操作原理。
在附图中，示例性模板1302可能具有可能对应于边缘的12个单元格或点，并且在示例性模板1302中，选择四个点来表示边缘或对边缘建模。四点是(1,1)、(4,1)、(4,2)以及(4,3)。因此，示例性模板1302的点云具有4个点。示例性模板1302的一个点1304可以用作模板的参考点或“原点”。例如，当示例性模板1302的点(1,1)覆盖在距离地图1102上时，如图13B所示，示例性模板1302的点(1,1)覆盖距离地图1101的单元格(1,1)。该事件对应于其原点与距离地图的单元格(1,1)相关联的模板1302，并且表示将模板1302放置在距离地图1101上的一个“位置”(即，1,1)处。在该位置，示例性模板1302的点与距离地图1101的多个单元格对齐，多个单元格例如单元格(1,1)、(4,1)、(4,2)以及(4,3)，以便可以基于与示例性模板1302对齐的4个单元格中的每一个中的相应距离值，在距离地图1101的位置(1,1)处计算成本函数。
Figure BDA0001825166760000221
根据以下等式，可以为位于距离地图的该位置的模板计算成本函数，例如平方根：
Figure BDA0001825166760000222
在上面的等式中，乘法因子“1/3”用作示例以说明使用3-4倒角计算的距离地图。
然后，可以将示例性模板1302移动到距离地图1101上的新位置(2,1)，例如图13C中所示的位置。在该位置处，示例性模板1302的点与距离地图1101的多个单元格对齐，诸如单元格(2,1)、(5,1)、(5,2)和(5,3)，因此，可以基于与示例性模板1302对齐的4个单元格中的每一个中的相应距离值，在距离地图1101的位置(2,1)处计算成本函数。
Figure BDA0001825166760000223
根据以下等式，可以为位于距离地图的该位置的模板计算成本函数，例如平方根：
Figure BDA0001825166760000231
示例性模板1302可以最终移动到距离地图1101上的新位置(2,3)，例如图13D中所示的位置。在该位置处，示例性模板1302的点与距离地图1101的多个单元格对齐，例如单元格(2,3)、(5,3)、(5,4)以及(5,5)，因此，可以基于与示例性模板1302对齐的4个单元格中的每一个中的相应距离值，在距离地图1101的位置(2,3)处计算成本函数。
Figure BDA0001825166760000232
根据以下等式，可以为位于距离地图的该位置的模板计算成本函数，例如平方根：
Figure BDA0001825166760000233
示例性模板1302可以例如位于距离地图1101上的每个位置处，其中，整个模板1302可以适合而不延伸超过距离地图1101的边缘。在上面的示例中，示例性模板1302可以覆盖或定位在从(1,1)到(7,7)的49个不同距离地图位置中的任何一个位置上，并且可以是这49个位置中的每一个位置计算的相应成本函数值。
距离地图1101上的特定位置的成本函数的值反映了该位置与由示例性模板1302的点建模的边缘结构的相似程度。位置的成本函数值越低，该位置越类似于示例性模板的点。在图13C-13D中所示的示例性模板1302的放置中，(2,3)处的成本函数值是“0”，这意味着距离地图上的位置可能对应于真实世界位置，其中结构类似于由模板建模的结构定位在该真实世界位置中。因此，将匹配的支架和/或货板定位在3D图像中包括将模板定位在距离地图上的多个不同位置处，其中在多个不同位置中的每一位置处，模板与多个单元格对齐并且具有与一个单元格相关联的原点，以便可以为该相关联的一个单元格计算相应的成本函数值。基于多个计算的成本函数，可以识别距离地图上的“最佳拟合”位置，并且可以用于确定支架和/或货板在物理环境中可以定位的位置。
图14是根据本发明原理的用于将模板应用于距离地图的一次迭代的示例性算法的流程图。每次根据本发明的原理分析图像时，可以执行图14的算法。在步骤1402中，作为初步事项，定义支架模板TR点云，并且如上所述构造距离地图M。然后，在步骤1404中，模板TR覆盖在地图M上的初始位置。可以多种不同方式选择初始位置。例如，初始位置可以是左下角(这允许模板TR完全适合地图M，而不延伸超过地图M的任何边缘)。初始位置可以是随机选择的，也可以是地图M的中心单元格位置。如果已分析先前的图像并且先前在特定位置识别出与支架模板TR匹配的位置，则步骤1404中的初始位置可以是先前识别的位置。
在步骤1406中，从与模板点对齐的地图M的单元格中提取距离值。如上所述，关于图12A和13A-13D，支架模板TR具有被认为是模板TR的原点的点，并且其他模板点由相对于该原点的2D坐标描述。因此，如果模板TR覆盖在位置M[a,b]，并且80个模板点中的每一个模板点具有可以由TR(mi,ni)表示的2D坐标值，那么由M[a+mi,b+ni]引用的距离地图的80个单元格中的每一个单元格与80个模板点对齐。
在步骤1408中，这些提取的距离值可以以各种方式组合在一起，以计算成本函数的值，或“分数”，其指示模板TR所在的地图M上的位置与模板TR描述的边缘的匹配程度。距离值的平方根是可以计算的一个示例性分数。在步骤1410中，确定当前分数是否指示比该距离地图M的不同位置处的任何先前计算的分数更好的匹配(即，更低)。如果是，则当前分数变为新的“最佳”分数，并且距离地图M上与该“最佳”分数相关的位置也被保留。否则，“最佳”分数保持不变。
在步骤1412中，确定是否完成了对与支架模板TR匹配的距离地图M的区域的搜索。在不脱离本发明的范围的情况下，结束搜索的标准可以变化。可以有最大数量的可以尝试的地图位置。例如，如果模板TR将拟合在40,000个位置处的距离地图M，那么一旦尝试了任意数量(例如，20,000)的那些位置，搜索就可以结束。可替选地，可以在结束搜索之前尝试所有40,000个那些位置。如果发现“最佳”分数超过已找到匹配的某个阈值或置信水平，则搜索也可以结束。
如果搜索没有完成，则在步骤1414中，确定地图M上的下一个位置以覆盖支架模板TR，以便可以为该新地图位置计算下一个“分数”。下一个地图位置可以是与支架模板TR的当前位置相邻的单元格。可以选择相邻的单元格，以便连续放置模板TR，使其向下和向右(或向上和向左)行进。例如，可以选择相邻的单元格，使得支架模板TR被连续放置，使得它以围绕在步骤1404中选择的初始位置、以不断膨胀螺旋的方式行进。为了减少搜索中测试的单元格的数量，可以跳过一个方向上的两个相邻单元格，使得模板TR在地图M上覆盖在每第三个单元格上。
如果搜索结束，则在步骤1416中，算法识别距离地图M上的“最佳”分数及其相关位置(表示为M[ar,br])。
图15是根据本发明原理的用于将货板模板应用于距离地图的示例性算法的流程图。在匹配货板模板TP的距离地图M上执行搜索某位置在原理上与关于图14描述的支架的搜索算法基本相同。
然而，为了开始货板搜索，在步骤1502中，确定对于距离地图M计算的最佳支架分数是否小于预定阈值或置信度值。例如，可以选择1.75厘米的阈值，使得低于该值的任何最佳支架分数将指示在图14的搜索算法期间将支架定位。
如果最佳支架分数高于阈值，则通过算法第一次执行步骤1504，以选择初始地图位置M[a,b]以定位模板TP。在通过算法的后续循环中，执行步骤1506，以选择地图M上的新位置，以定位货板模板TP。如上面关于支架模板TR所描述的，可以多种不同方式选择模板TP的起始位置和后续位置。
如果最佳支架分数低于阈值，则可以使用与最佳支架分数相关联的位置来定义用于定位货板TP的搜索区域。假设距离地图的参考原点的位置是左上角(如图11A所示)，并且根据图12B的货板模板确定货板模板TP的点，则可以定义搜索区域以搜索货板，如图16所示。如果假设与最佳支架分数相关联的位置M[ar,br]将br显示为与支架模板的上边缘相关联的y坐标值，则当货板被假定为位于支架上时，货板搜索区域可以在该点之上开始。货板搜索区域1602可以具有部分基于货板模板TP的尺寸的上限。在图12B的示例性货板模板中，任何模板点的y方向上的最大坐标值是“100”。搜索区域1602的高度可以定义为最大坐标值的两倍(即“200”)。关于货板的x方向位置不作假设，因此，搜索区域延伸距离地图M的整个宽度。因此，货板模板TP可以放置的位置可以限于距离地图M的那些单元格，其中货板模板TP在搜索区域1602内将完全拟合那些单元格。在步骤1508中，第一次通过该算法的循环，定义搜索区域1602，并选择将货板模板TP放置在该搜索区域1602内的起始位置。在通过算法的后续循环中，在步骤1510中，确定放置货板模板TP的下一个或后续位置。例如，货板模板TP可以放置在搜索区域的左上角，然后连续被放置成，使其向下和向右移动，直到整个搜索区域1602被搜索。
在步骤1512中，从地图M的单元格中提取距离值，该单元格与货板模板TP的模板点对齐。如上所述，关于图12B和13A-13D，货板模板TP具有被认为是模板TP的原点的点，并且其他模板点由相对于该原点的2D坐标描述。因此，如果模板TP在位置M[a,b]处被覆盖，并且96个模板点中的每一个模板点具有可以由TR(mi,ni)表示的2D坐标值，那么由M[a+mi,b+ni]引用的距离地图的96个单元格的每个单元格与96个模板点对齐。
这些提取的距离值可以在步骤1514中以各种方式组合在一起，以计算成本函数的值，或“分数”，其指示模板TP所在的地图M上的位置与由模板TP所描述的边缘的匹配程度。距离值的平方根是可以被计算得到的一个示例性分数。在步骤1516中，确定当前货板与分数匹配是否指示比与该距离地图M的不同位置处的任何先前计算的货板匹配分数更好的匹配(即，更低)。如果是，则当前分数变为新的“最佳”货板匹配分数，并且与该“最佳”货板匹配分数相关联的距离地图M上的位置也被保留。否则，“最佳”货板匹配分数保持不变。
在步骤1518中，确定是否完成了对与货板模板TP匹配的距离地图M的区域的搜索。如上所述，在不脱离本发明的范围的情况下，结束搜索的标准可以变化。可以有最大数量的可以尝试地图位置。在一个示例中，确定是否定义了搜索区域1602以及是否已经搜索了整个搜索区域。在另一个示例中，如果模板TP将在40,000个位置处拟合距离地图M，则一旦尝试了那些位置的任意数量(例如，20,000)，则搜索就可以结束。可替选地，可以在结束搜索之前尝试所有40,000个那些位置。如果发现“最佳”货板匹配分数超过已经发现匹配的置信水平(例如，其阈值可以在约1.25至约1.50之间，使得低于该阈值的匹配分数将指示超过置信水平)，则搜索也可结束。
如果搜索没有完成，则算法循环返回并执行步骤1510和1506中的一个，以确定地图M上的下一个位置以覆盖货板模板TP，以便可以为这个新的地图位置计算下一个“分数”。如果搜索结束，则在步骤1520中，算法识别距离地图M上的“最佳”货板匹配分数及其相关位置(表示为M[ap,bp])。
可以分析最佳货板匹配分数，以确定其是否具有指示相机130基本上如图6所示而被定位的值。例如，高于1.75的最佳货板匹配分数可能表示当前图像帧中没有任何内容与应用的模板匹配。然而，如果最佳货板匹配分数低于1.75，则可以利用与最佳货板匹配分数相关联的坐标位置来执行附加步骤。坐标位置M[ap,bp]被认为是货板物体(或适当情况下的支架)的位置。因为货板物体的尺寸大于单个坐标位置，所以坐标位置M[ap,bp]对应于货板物体上的某个位置，其具有与货板模板的单元格[0,0]的物理结构类似的物理结构。
通过如图12B所示定义货板模板TP(其原点位于左上角)构建图11D的距离地图，其中相对于左上角测量其单元格，并且以与像素布置在图像平面中相同的布置来组织3D点云，位置M[ap,bp]可以直接映射回有组织的3D点云中的一个点。然而，在上述许多步骤中，可以不同地定义各种模板、点云和距离地图的相应原点，使得特定距离地图位置与有组织的点云中的点之间的映射仍然可以通过适当考虑各种原点位置来完成。
由于相机130可以被认为是在点云坐标中位于(0,0)，所计算的货板物体的(XC,YC)坐标被认为是在物理测量单位中相对于相机位置的位置。货板物体的(XC,YC)坐标，YC坐标值例如可以与车辆10的货叉的当前高度进行比较，以确定货叉是否位于适当的高度，以向前延伸到检测到的货板中。在做出该确定时，货板物体的YC坐标可能不完全对应于货板孔的高度，而是货板孔实际上可以位于物体在原始点云坐标系中的YC坐标上方或下方7cm处。当考虑车辆10的货叉是否与物理环境中的物理货板孔竖直对齐时，可以使用该额外的7cm值。以类似的方式，针对货叉是否处于期望的高度，可以考虑货叉的高度和相机130的位置之间的竖直偏移。
计算出的其他坐标XC和ZC也可用于确定车辆10的货叉相对于相机130在不同轴上的位置。因此，一旦确定有组织的点云的一个点(或多个点)可能表示支架上的货板结构的开口可能所处的位置，则可以分析这些点的一个或多个坐标分量，以确定它们是否揭示货叉相对于货板结构定位在所需位置。如果是这样，则货叉位于卡车的货叉可以自动停止的位置。因此，成像分析计算机110可以指示车辆计算机50停止货叉的移动。然后，可以自动地或由车辆操作者向前移动货叉。
提供先前的描述是为了使所属领域的技术人员能够实践本文中所描述的各种实施例。对于本领域技术人员来说，对这些实施例的各种修改是显而易见的，并且这里定义的一般原理可以应用于其他实施例。因此，权利要求不旨在限于这里示出的实施例，而是与符合每个权利要求的语言的全部范围相一致，其中对单数形式元素的引用不旨在表示“一个且仅一个”而是“一个或多个”，除非特别如此陈述。本领域普通技术人员已知或以后将知道的贯穿本公开内容所描述的各种实施例的元件的所有结构和功能等同物通过引用将其明确地并入本文，并且旨在由权利要求书所涵盖。此外，无论在权利要求中是否明确地叙述了这样的公开内容，本文所公开的内容都不旨在奉献给公众。根据35U.S.C§112第六段的条款，不得解释任何权利要求的元素，除非使用短语“用于...的装置”明确地叙述该元素，或者在方法权利要求的情况下，使用短语“用于...的步骤”来叙述该元素。

Claims (42)

1.一种分析图像的方法，包括：
通过计算机获取物理环境的图像，其中，所述图像包括多个像素，每个像素包括所述图像的平面中的二维像素位置和深度值，所述深度值对应于所述物理环境的区域和所述图像的平面之间的距离；
对于每个像素，通过所述计算机将所述二维像素位置和所述深度值转换为所述物理环境中的对应三维点，其中，对应于像素的每个相应三维点由三个坐标分量(x,y,z)定义，每个坐标分量都具有以物理测量单位计的值；
至少部分地基于多个点中的一个或多个点的z坐标分量，由所述计算机确定多个三维点内的一组边缘点；
由所述计算机生成距离地图，其中，所述距离地图包括单元格矩阵；
针对所述距离地图的每个单元格，通过所述计算机识别最接近的一个边缘点；以及
通过所述计算机为所述距离地图的每个单元格分配相应距离值，所述相应距离值表示所述单元格与到所述单元格的最接近的一个边缘点之间的距离。
2.如权利要求1所述的方法，包括：
通过所述计算机在所述距离地图上的第一组多个不同位置处定位第一模板，其中，在所述第一组多个不同位置中的每一位置处，所述第一模板与第一组多个单元格对齐，并且具有与所述单元格中的一个相关的原点；以及
在所述第一组多个不同位置中的每一位置处，由所述计算机计算相关的一个单元格的第一对应成本函数值。
3.如权利要求2所述的方法，其中，所述第一模板是支架模板和货板模板中的一个。
4.如权利要求2所述的方法，其中，所述第一模板包括多个模板点，每个模板点由两个坐标分量(m,n)定义，每个坐标分量具有以物理测量单位计的值。
5.如权利要求4所述的方法，其中，对于所述第一模板中的每个模板点，其对应的坐标分量值m、n的每一个与对应于所述图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
6.如权利要求2所述的方法，其中，基于所述第一组多个单元格中的每一个单元格与其相应最接近的一个边缘点之间的距离，来计算每个第一对应成本函数值。
7.如权利要求6所述的方法，其中，通过以下方式计算所述第一对应成本函数：
a)将来自所述第一组多个单元格的每个相应距离值与它们自身相乘以生成多个平方值；以及
b)确定所述多个平方值的平均值的平方根。
8.如权利要求6所述的方法，包括：
通过所述计算机识别所述距离地图的每个单元格，每个单元格具有低于第一预定阈值的第一对应成本函数值。
9.如权利要求8所述的方法，包括：
通过所述计算机在所述距离地图上的第二组多个不同位置处定位第二模板，其中，在所述第二组多个不同位置中的每一位置处，所述第二模板与第二组多个单元格对齐，并且具有与所述单元格中的一个相关的原点；以及
在所述第二组多个不同位置中的每一位置处，由所述计算机计算相关的一个单元格的第二对应成本函数值。
10.如权利要求9所述的方法，包括：
通过所述计算机识别所述距离地图的每个单元格，每个单元格具有：
第一对应成本函数值，其低于所述第一预定阈值，以及
第二对应成本函数值，其低于第二预定阈值。
11.如权利要求9所述的方法，其中，所述第一模板是支架模板，所述第二模板是货板模板。
12.如权利要求2所述的方法，其中，所述第一模板包括识别相关的第一组多个单元格的数据。
13.如权利要求1所述的方法，其中，所述距离地图的单元格矩阵包括定义(i×j)单元格的i列单元格和j行单元格，其中：
每一列由第一索引值a引用，a介于1和i之间；
每一行由第二索引值b引用，b介于1和j之间；以及
每个单元格由索引对(a,b)引用。
14.如权利要求13所述的方法，其中，对于所述距离地图的每个单元格，其对应的索引对值a、b的每一个与对应于所述图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
15.如权利要求14所述的方法，其中，基于每个边缘点的相应(x,y)坐标分量和所述单元格的(a,b)索引对，来确定所述距离地图的单元格的最接近的一个边缘点。
16.如权利要求15所述的方法，其中，所述最接近的一个边缘点与所述距离地图的单元格之间的距离与所述最接近的一个边缘点的(x,y)坐标分量与所述单元格的(a,b)索引对之间的欧几里德距离有关。
17.如权利要求13所述的方法，包括：
通过所述计算机识别所有所述边缘点中的x坐标分量的最大值；以及
通过所述计算机识别所有所述边缘点中的y坐标分量的最大值。
18.如权利要求17所述的方法，其中：
i＝x坐标分量的最大值；以及
j＝y坐标分量的最大值。
19.如权利要求1所述的方法，其中，确定一组所述边缘点包括：
对于每个所述三维点：
将所述三维点的z坐标分量与每个三维点在所述三维点的预定义邻域中的相应z坐标分量进行比较，以确定相关的边缘值；以及
当所述三维点的相关的边缘值高于预定阈值时，确定所述三维点在一组所述边缘点中。
20.如权利要求1所述的方法，其中，每个单元格在所述距离地图中的相应距离值与所述点的三个坐标分量(x,y,z)以相同的物理测量单位计。
21.如权利要求1所述的方法，其中，所述物理测量单位是厘米或毫米中的一个。
22.一种用于分析图像的系统，所述系统包括：
存储可执行指令的存储设备；以及
处理器，其与所述存储设备通信，其中，当所述处理器执行可执行指令时：
获取物理环境的图像，其中，所述图像包括多个像素，每个像素包括所述图像的平面中的二维像素位置和深度值，所述深度值对应于所述物理环境的区域和所述图像的平面之间的距离；
对于每个像素，将所述二维像素位置和所述深度值转换为所述物理环境中的对应三维点，其中，对应于像素的每个相应三维点由三个坐标分量(x,y,z)定义，每个坐标分量都具有以物理测量单位计的值；
至少部分地基于多个点中的一个或多个点的z坐标分量，来确定所述多个三维点内的一组边缘点；
生成距离地图，其中，所述距离地图包括单元格矩阵；
针对所述距离地图的每个单元格，识别最接近的一个边缘点；以及
为所述距离地图的每个单元格分配相应距离值，所述相应距离值表示所述单元格与到所述单元格的最接近的一个边缘点之间的距离。
23.如权利要求22所述的系统，其中，当执行所述可执行指令时所述处理器：
在所述距离地图上的第一组多个不同位置处定位第一模板，其中，在所述第一组多个不同位置中的每一位置处，所述第一模板与第一组多个单元格对齐，并且具有与所述单元格中的一个相关的原点；以及
在所述第一组多个不同位置中的每一位置处，计算相关的一个单元格的第一对应成本函数值。
24.如权利要求23所述的系统，其中，所述第一模板是支架模板和货板模板中的一个。
25.如权利要求23所述的系统，其中，所述第一模板包括多个模板点，每个模板点由两个坐标分量(m,n)定义，每个坐标分量具有以物理测量单位计的值。
26.如权利要求25所述的系统，其中，对于所述第一模板中的每个模板点，其对应的坐标分量值m、n的每一个与对应于所述图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
27.如权利要求23所述的系统，其中，基于所述第一组多个单元格中的每一个单元格与其相应最接近的一个边缘点之间的距离，来计算每个第一对应成本函数值。
28.如权利要求27所述的系统，其中，通过以下方式计算所述第一对应成本函数：
a)将来自所述第一组多个单元格的每个相应距离值与它们自身相乘以生成多个平方值；以及
b)确定所述多个平方值的平均值的平方根。
29.如权利要求27所述的系统，其中，当执行所述可执行指令时所述处理器：
识别所述距离地图的每个单元格，每个单元格具有低于第一预定阈值的第一对应成本函数值。
30.如权利要求29所述的系统，其中，当执行所述可执行指令时所述处理器：
在所述距离地图上的第二组多个不同位置处定位第二模板，其中，在所述第二组多个不同位置中的每一位置处，所述第二模板与第二组多个单元格对齐，并且具有与所述单元格中的一个相关的原点；以及
在所述第二组多个不同位置中的每一位置处，计算相关的一个单元格的第二对应成本函数值。
31.如权利要求30所述的系统，其中，当所述处理器执行所述可执行指令时：
识别所述距离地图的每个单元格，每个单元格具有：
第一对应成本函数值，其低于所述第一预定阈值，以及
第二对应成本函数值，其低于第二预定阈值。
32.如权利要求30所述的系统，其中，所述第一模板是支架模板，所述第二模板是货板模板。
33.如权利要求23所述的系统，其中，所述第一模板包括识别相关的第一组多个单元格的数据。
34.如权利要求22所述的系统，其中，所述距离地图的所述单元格矩阵包括定义(i×j)单元格的i列单元格和j行单元格，其中：
每一列由第一索引值a引用，a介于1和i之间；
每一行由第二索引值b引用，b介于1和j之间；以及
每个单元格由索引对(a,b)引用。
35.如权利要求34所述的系统，其中，对于所述距离地图的每个单元格，其对应的索引对值a、b的每一个与对应于所述图像的像素的三维点的三个坐标分量(x,y,z)以相同的物理测量单位计。
36.如权利要求35所述的系统，其中，基于每个边缘点的相应(x,y)坐标分量和所述单元格的(a,b)索引对，来确定所述距离地图的单元格的最接近的一个边缘点。
37.如权利要求36所述的系统，其中，所述最接近的一个边缘点与所述距离地图的单元格之间的距离与所述最接近的一个边缘点的(x,y)坐标分量与所述单元格的(a,b)索引对之间的欧几里德距离有关。
38.如权利要求34所述的系统，其中，当执行所述可执行指令时所述处理器：
识别所有所述边缘点中的x坐标分量的最大值；以及
识别所有所述边缘点中的y坐标分量的最大值。
39.如权利要求38所述的系统，其中，
i＝x坐标分量的最大值；以及
j＝y坐标分量的最大值。
40.如权利要求22所述的系统，其中，当所述处理器确定一组边缘点时：
对于每个所述三维点：
将所述三维点的z坐标分量与每个三维点在所述三维点的预定义邻域中的相应z坐标分量进行比较，以确定相关的边缘值；以及
当所述三维点的相关的边缘值高于预定阈值时，确定所述三维点在一组所述边缘点中。
41.如权利要求22所述的系统，其中，每个单元格在所述距离地图中的相应距离值与所述点的三个坐标分量(x,y,z)以相同的物理测量单位计。
42.如权利要求22所述的系统，其中，所述物理测量单位是厘米或毫米中的一个。
CN201780022963.3A 2016-04-27 2017-04-07 使用物理长度单位进行的货板检测 Active CN108885792B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/139,394 2016-04-27
US15/139,394 US9990535B2 (en) 2016-04-27 2016-04-27 Pallet detection using units of physical length
PCT/US2017/026493 WO2017189210A1 (en) 2016-04-27 2017-04-07 Pallet detection using units of physical length

Publications (2)

Publication Number Publication Date
CN108885792A CN108885792A (zh) 2018-11-23
CN108885792B true CN108885792B (zh) 2021-08-31

Family

ID=58692560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780022963.3A Active CN108885792B (zh) 2016-04-27 2017-04-07 使用物理长度单位进行的货板检测

Country Status (9)

Country Link
US (1) US9990535B2 (zh)
EP (1) EP3449466B1 (zh)
KR (1) KR102326097B1 (zh)
CN (1) CN108885792B (zh)
AU (1) AU2017255410B2 (zh)
BR (1) BR112018069528A2 (zh)
CA (1) CA3020661A1 (zh)
MX (1) MX2018013090A (zh)
WO (1) WO2017189210A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201405527D0 (en) * 2014-03-27 2014-05-14 Mill Facility The Ltd A driveable vehicle unit
EP3497672B1 (en) * 2016-08-10 2021-04-28 John Bean Technologies Corporation Pallet localization systems and methods
DE102016115703A1 (de) * 2016-08-24 2018-03-01 Jungheinrich Aktiengesellschaft Flurförderzeug sowie Verfahren zur Steuerung eines Flurförderzeugs
US10122995B2 (en) * 2016-09-22 2018-11-06 X Development Llc Systems and methods for generating and displaying a 3D model of items in a warehouse
JP6420296B2 (ja) * 2016-12-01 2018-11-07 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
JP6880950B2 (ja) * 2017-04-05 2021-06-02 村田機械株式会社 陥凹部検出装置、搬送装置、および、陥凹部検出方法
US10942519B2 (en) * 2017-07-07 2021-03-09 Autox, Inc. System and method for navigating an autonomous driving vehicle
US10671087B2 (en) * 2017-07-28 2020-06-02 Crown Equipment Corporation Traffic management for materials handling vehicles in a warehouse environment
US10640347B2 (en) * 2017-12-22 2020-05-05 X Development Llc Pallet tracking during engagement and disengagement
JP7300646B2 (ja) * 2018-08-07 2023-06-30 住友ナコ フォ－クリフト株式会社 搬送装置
US11379788B1 (en) 2018-10-09 2022-07-05 Fida, Llc Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency
US11046519B2 (en) 2019-02-25 2021-06-29 Rehrig Pacific Company Delivery system
US11049282B2 (en) * 2019-02-28 2021-06-29 Intelligrated Headquarters, Llc Vision calibration system for robotic carton unloading
JP7252581B2 (ja) * 2019-03-19 2023-04-05 株式会社豊田自動織機 物品検出装置、物品検出方法、及び産業車両
US11600019B2 (en) 2019-09-23 2023-03-07 International Business Machines Corporation Image-based inventory estimation
US11345577B2 (en) 2019-11-01 2022-05-31 Teradyne, Inc. Mobile automated guided vehicle pallet stacker and destacker system and method therefor
CN110889828A (zh) * 2019-11-07 2020-03-17 浙江大华技术股份有限公司 预定场景中的栈板识别方法、终端设备、计算机存储介质
FR3103941B1 (fr) 2019-11-29 2022-06-03 Balyo Procede de determination de la position relative d’un prehenseur
US11276156B2 (en) * 2020-01-07 2022-03-15 GM Global Technology Operations LLC Gaussian image quality analysis tool and method for operation
US11465839B2 (en) 2020-02-25 2022-10-11 Crown Equipment Corporation System comprising a multilevel warehouse racking system comprising tote transfer zones, materials handling vehicles, and transporters, and methods of use thereof
US11465843B2 (en) 2020-02-25 2022-10-11 Crown Equipment Corporation Materials handling vehicle and goods storage and retrieval system comprising mobile storage carts, transporters, and materials handling vehicles
DE102020105215A1 (de) 2020-02-27 2021-09-02 Jungheinrich Aktiengesellschaft Verfahren zum Kalibrieren einer Sensoreinheit eines Flurförderzeugs
US11922253B2 (en) 2020-04-20 2024-03-05 Rehrig Pacific Company Camera enabled portal
CN112070838B (zh) * 2020-09-07 2024-02-02 洛伦兹（北京）科技有限公司 基于二维-三维融合特征的对象识别与定位方法及装置
CN112070759B (zh) * 2020-09-16 2023-10-24 浙江光珀智能科技有限公司 一种叉车托盘检测与定位方法及系统
CN112707340B (zh) * 2020-12-10 2022-07-19 安徽有光图像科技有限公司 基于视觉识别的设备控制信号生成方法、装置及叉车
US11834065B2 (en) * 2020-12-21 2023-12-05 Argo AI System, method, and computer program product for detecting road marking points from LiDAR data
US11734883B2 (en) * 2021-04-14 2023-08-22 Lineage Logistics, LLC Generating mappings of physical spaces from point cloud data
US11823440B2 (en) 2021-08-19 2023-11-21 Rehrig Pacific Company Imaging system with unsupervised learning
EP4174787A3 (en) 2021-11-01 2023-05-10 Rehrig Pacific Company Delivery system
WO2024047724A1 (ja) * 2022-08-30 2024-03-07 株式会社日立製作所 フォークリフト、および自動倉庫システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520721A (zh) * 2011-12-08 2012-06-27 北京控制工程研究所 一种基于双目立体视觉的巡视探测器自主避障规划方法
CN102763132A (zh) * 2010-02-24 2012-10-31 佳能株式会社 三维测量设备、处理方法和非暂态计算机可读存储介质

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
US3672470A (en) 1969-11-26 1972-06-27 Eaton Yale & Towne Photoelectric control for load handling device
US3854820A (en) 1972-09-13 1974-12-17 Clark Equipment Co Light reference system for aiding operator positioning of load handling devices and the like
US4122957A (en) 1977-10-06 1978-10-31 The Raymond Corporation Lift truck having height indicating means
SE7804927L (sv) 1978-04-28 1979-10-29 Volvo Ab Anordning for att orientera exempelvis ett lyftdon i forhallande till en last
US4224657A (en) 1979-02-08 1980-09-23 Cascade Corporation Light assembly for positioning lift truck load-handling device
US4547844A (en) 1979-03-16 1985-10-15 The Raymond Corporation Shelf height selector
US4331417A (en) 1980-03-07 1982-05-25 Rapitsan Division, Lear Siegler, Inc. Vehicle alignment and method
US4411577A (en) 1980-03-07 1983-10-25 Rapistan Division, Lear Siegler, Inc. Vehicle sensor monitoring system
US4490848A (en) 1982-03-31 1984-12-25 General Electric Company Method and apparatus for sorting corner points in a visual image processing system
US4564085A (en) 1985-01-22 1986-01-14 Towmotor Corporation Controlling arrangement
US4678329A (en) 1985-10-18 1987-07-07 Calspan Corporation Automatically guided vehicle control system
US4684247A (en) 1985-10-18 1987-08-04 Calspan Corporation Target member for use in a positioning system
KR880700512A (ko) 1985-10-18 1988-03-15 소나 루 홀트 자동유도차량 위치설정용 타게트 및 제어시스템
US4679329A (en) 1986-08-04 1987-07-14 Goldsmith Wesley R Combined primary and secondary sine bars
US5208753A (en) 1991-03-28 1993-05-04 Acuff Dallas W Forklift alignment system
DE4141925A1 (de) 1991-12-19 1993-06-24 Walter Ketterer Vorrichtung zum aufnehmen von guetern und gabelzinke fuer eine solche vorrichtung
US5318219A (en) 1992-06-05 1994-06-07 Four M Manufacturing Group Of Cpc, Inc. Collapsible pallet mounted container
US5749696A (en) 1992-07-23 1998-05-12 Scott Westlake Height and tilt indicator for forklift truck
US5300869A (en) 1992-07-30 1994-04-05 Iowa State University Research Foundation, Inc. Nonholonomic camera space manipulation
JPH07112383A (ja) 1993-08-23 1995-05-02 Mazda Motor Corp 物品の位置認識方法並びに物品の移載制御方法及び移載制御装置
DE4405770A1 (de) 1994-02-23 1995-08-31 Joerg Heintz Vorrichtung und Verfahren zum Aufnehmen und Absetzen von Lasten
JP3163215B2 (ja) 1994-03-07 2001-05-08 日本電信電話株式会社 直線抽出ハフ変換画像処理装置
JPH07257270A (ja) 1994-03-22 1995-10-09 Toyota Autom Loom Works Ltd フォークリフト
IT1275664B1 (it) 1994-11-16 1997-10-17 Consorzio Telerobot Sistema per il controlllo e guida automatica di un gruppo elevatore a forche
CA2144886A1 (en) 1995-03-17 1996-09-18 William J. Doherty Video camera guidance system for forklifts
US5586620A (en) 1995-05-12 1996-12-24 Crown Equipment Corporation Remote viewing apparatus for fork lift trucks
JP2986382B2 (ja) 1995-07-19 1999-12-06 一夫 吉田 フォークリフト
DE19613386A1 (de) 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
JPH09278397A (ja) 1996-04-10 1997-10-28 Sumitomo Heavy Ind Ltd 無人フォ−クリフトにおける多段棚への安定格納装置
US5920480A (en) 1997-01-10 1999-07-06 Nakamura; Kaoru Method and apparatus for detecting pallet full load state in sheet metal machining line and method and apparatus for controlling sheet metal machining line and work identifying apparatus
US6760061B1 (en) 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
US6052637A (en) 1997-06-09 2000-04-18 Eaton Corporation Clutch adjustment determination
JPH10338496A (ja) 1997-06-11 1998-12-22 Toyota Autom Loom Works Ltd 産業車両の揺動制御装置及び前後重心位置推定装置
US6111983A (en) 1997-12-30 2000-08-29 The Trustees Of Columbia University In The City Of New York Determination of image shapes using training and sectoring
DE19814779A1 (de) 1998-04-02 1999-10-07 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zum Steuern eines beweglichen Gegenstandes
JP3316842B2 (ja) 1998-08-06 2002-08-19 村田機械株式会社 無人搬送車システムと無人搬送車の誘導方法
US6150938A (en) 1998-09-09 2000-11-21 Sower; Forrest D. Laser lighting assembly mounted on a forklift to project a light beam parallel to and in the same plane as a fork and utilized to accurately direct the fork into a fork receiving volume of a pallet, thereby avoiding any fork damage to a load on a pallet
JP2000226199A (ja) 1999-02-04 2000-08-15 Nippon Yusoki Co Ltd フォ−クリフト
JP2001002395A (ja) 1999-06-21 2001-01-09 Nippon Yusoki Co Ltd フォークリフトの荷役補助装置
JP3659474B2 (ja) 1999-10-22 2005-06-15 日本輸送機株式会社 フォークリフト
US6194860B1 (en) * 1999-11-01 2001-02-27 Yoder Software, Inc. Mobile camera-space manipulation
JP3690642B2 (ja) 1999-11-12 2005-08-31 日本輸送機株式会社 車両の位置決め装置
JP2001139298A (ja) 1999-11-15 2001-05-22 Nippon Yusoki Co Ltd フォークリフトの電源装置
JP2001206684A (ja) 2000-01-25 2001-07-31 Toyota Autom Loom Works Ltd 荷役車両の照明装置
JP2001226092A (ja) 2000-02-10 2001-08-21 Nippon Yusoki Co Ltd フォークリフト
FR2815450A1 (fr) 2000-10-12 2002-04-19 Sertel Vision Dispositif adaptable sur un chariot elevateur permettant d'effectuer les inventaires et pour aider a la surveillance des produits dans une plate-forme logistique ou un entrepot
US6411210B1 (en) 2000-11-20 2002-06-25 Forrest D. Sower Laser lighting assembly mounted on a forklift
JP3932811B2 (ja) 2001-02-16 2007-06-20 株式会社豊田自動織機 産業車両におけるカメラ昇降装置
WO2002064490A1 (fr) 2001-02-16 2002-08-22 Kabushiki Kaisha Toyota Jidoshokki Dispositif de levage d"appareil photographique et dispositif support pour manipulation de charge d"un vehicule industriel et vehicule industriel associe
US6713750B2 (en) 2001-02-26 2004-03-30 L. A. Goddard Visible light forklift alignment apparatus
EP1402230A1 (en) 2001-06-29 2004-03-31 Square D Company Overhead dimensioning system and method
GB0116575D0 (en) 2001-07-06 2001-08-29 Randox Lab Ltd Biochip deposition system and method
WO2003008325A1 (fr) 2001-07-17 2003-01-30 Kabushiki Kaisha Toyota Jidoshokki Vehicule industriel equipe d'un controleur de travaux de manipulation de materiaux
US6952488B2 (en) 2001-08-27 2005-10-04 Carnegie Mellon University System and method for object localization
US7221776B2 (en) 2001-10-31 2007-05-22 Arcsoft, Inc. Video stabilizer
JP2003192295A (ja) 2001-12-28 2003-07-09 Nippon Yusoki Co Ltd フォークリフト
US7010404B2 (en) 2002-01-23 2006-03-07 Kabushiki Kaisha Toyota Jidoshokki Position control apparatus and position control method for cargo carrying apparatus in industrial vehicle
US7035431B2 (en) 2002-02-22 2006-04-25 Microsoft Corporation System and method for probabilistic exemplar-based pattern tracking
JP2003341996A (ja) 2002-05-22 2003-12-03 Nippon Yusoki Co Ltd フォークリフト用マーカ装置
JP3865703B2 (ja) 2002-10-25 2007-01-10 ファナック株式会社 物品搬送システム及び搬送方法
DE60333597D1 (de) 2002-12-10 2010-09-09 Chep Technology Pty Ltd Automatisierte palletteninspektion und -reparatur
JP2004198211A (ja) 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
DE10323641A1 (de) 2003-05-26 2005-01-05 Daimlerchrysler Ag Bewegliche Sensoreinrichtung am Lastmittel eines Gabelstaplers
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP3911492B2 (ja) 2003-06-26 2007-05-09 トヨタ自動車株式会社 車両用走行支援装置
FR2857131A1 (fr) 2003-07-01 2005-01-07 Thomson Licensing Sa Procede de recalage automatique d'un modele geometrique d'une scene sur une image de la scene, dispositif de mise en oeuvre et support de programmation.
JP4298453B2 (ja) 2003-09-30 2009-07-22 住友ナコ マテリアル ハンドリング株式会社 荷役補助装置、及び、監視装置
EP1524622A1 (en) 2003-10-17 2005-04-20 Koninklijke Philips Electronics N.V. Method and image processing device for analyzing an object contour image, method and image processing device for detecting an object, industrial vision apparatus, smart camera, image display, security system, and computer program product
ZA200605018B (en) 2003-12-19 2007-10-31 Chep Technology Pty Ltd Software and methods for automated pallet inspection and repair
US8974169B2 (en) 2004-03-15 2015-03-10 Richard J. Mizner Fork lift attachment tools and methods
US9090441B2 (en) 2004-03-15 2015-07-28 Richard J. Mizner Truck fork attachment including adjustable mast for ground clearance
CN101090840A (zh) 2004-05-03 2007-12-19 杰维斯·B·韦布国际公司 运输装置的自动装货系统和方法
DE102004021919A1 (de) 2004-05-04 2005-12-01 Robert Bosch Gmbh Vorrichtung zum Fördern von Kraftstoff aus einem Vorratsbehälter zu einer Brennkraftmaschine
DE102004027446B4 (de) 2004-06-04 2007-08-23 Jungheinrich Aktiengesellschaft Vorrichtung zur Unterstützung des Ein- und Ausstapelns bei einem Stapler
NZ533533A (en) 2004-06-11 2006-11-30 Avalon Engineering Ltd Deployment method and apparatus for moving stacked articles in varying orientations
US20060018524A1 (en) 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
DE102005018830B3 (de) 2005-04-22 2006-08-03 Daimlerchrysler Ag Rahmenkonstruktion zur Aufnahme eines schwenkbar gelagerten Fahrerhauses eines Lastkraftwagens
DE102005035746B4 (de) 2005-07-29 2010-02-18 Siemens Ag Verfahren zur Bestimmung einer Relativposition einer mobilen Einheit durch Vergleich von Scans einer Umgebung und mobile Einheit
US20070154295A1 (en) 2005-12-01 2007-07-05 Jerr-Dan Corporation Side loading vehicle system
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US20070213869A1 (en) 2006-02-08 2007-09-13 Intermec Ip Corp. Cargo transporter with automatic data collection devices
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
US7403643B2 (en) 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
JP4479710B2 (ja) 2006-11-01 2010-06-09 ソニー株式会社 液晶用駆動装置、液晶用駆動方法及び液晶表示装置
WO2008057504A2 (en) 2006-11-06 2008-05-15 Aman James A Load tracking system based on self- tracking forklift
WO2008079748A1 (en) 2006-12-20 2008-07-03 Cytyc Corporation Method and system for locating and focusing on fiducial marks on specimen slides
US7844105B2 (en) 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images
US8009864B2 (en) 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US8565913B2 (en) 2008-02-01 2013-10-22 Sky-Trax, Inc. Apparatus and method for asset tracking
JP5442959B2 (ja) 2008-04-25 2014-03-19 ニチユ三菱フォークリフト株式会社 荷役作業用車輌における表示装置
US8243987B2 (en) 2008-06-06 2012-08-14 International Business Machines Corporation Object tracking using color histogram and object size
JP5451593B2 (ja) 2008-06-09 2014-03-26 パナソニック株式会社 撮像装置、撮像方法
EP2138027B9 (en) 2008-06-25 2018-10-24 CLAAS E-Systems KGaA mbH & Co KG A transfering device and an agricultural vehicle
US8705792B2 (en) 2008-08-06 2014-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Object tracking using linear features
CN102149624B (zh) 2008-09-12 2014-08-20 克朗设备公司 用于物料搬运车辆的单门架
US7893416B2 (en) 2008-09-17 2011-02-22 Eastman Kodak Company Detecting printing plate edge alignment
KR101271098B1 (ko) 2008-09-24 2013-06-04 삼성테크윈 주식회사 디지털 촬영장치, 추적방법 및 추적방법을 실행시키기 위한프로그램을 저장한 기록매체
US9105080B2 (en) 2008-10-01 2015-08-11 Hi-Key Limited Method and a system for calibrating an image capture device
US8422777B2 (en) 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US20100091094A1 (en) 2008-10-14 2010-04-15 Marek Sekowski Mechanism for Directing a Three-Dimensional Camera System
CN201327383Y (zh) 2008-12-15 2009-10-14 浙江大学 一种叉车货叉自然下滑量的自动测量系统
US8939842B2 (en) 2009-01-13 2015-01-27 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
CN102317044B (zh) 2009-02-12 2014-03-26 三菱电机株式会社 产业用机器人系统
CN201458666U (zh) 2009-07-06 2010-05-12 杭州浙力叉车集团有限公司 叉车货叉位置显示装置
US8472698B2 (en) 2009-11-24 2013-06-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining poses of objects
TWI416068B (zh) 2009-12-10 2013-11-21 Ind Tech Res Inst 跨感測器間之物體追蹤方法與系統
US8553982B2 (en) 2009-12-23 2013-10-08 Intel Corporation Model-based play field registration
US8306314B2 (en) 2009-12-28 2012-11-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of objects
US8866901B2 (en) 2010-01-15 2014-10-21 Honda Elesys Co., Ltd. Motion calculation device and motion calculation method
DE102010002250B4 (de) 2010-02-23 2022-01-20 pmdtechnologies ag Überwachungssystem
US8508590B2 (en) 2010-03-02 2013-08-13 Crown Equipment Limited Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion
US8538577B2 (en) 2010-03-05 2013-09-17 Crown Equipment Limited Method and apparatus for sensing object load engagement, transportation and disengagement by automated vehicles
US8155447B2 (en) 2010-03-24 2012-04-10 Mitsubishi Electric Research Laboratories, Inc. Determining points of parabolic curvature on surfaces of specular objects
JP5589527B2 (ja) 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
KR101149329B1 (ko) 2010-06-30 2012-05-23 아주대학교산학협력단 감시카메라를 이용한 능동적 객체 추적 장치 및 방법
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US20120082385A1 (en) 2010-09-30 2012-04-05 Sharp Laboratories Of America, Inc. Edge based template matching
US20120095575A1 (en) 2010-10-14 2012-04-19 Cedes Safety & Automation Ag Time of flight (tof) human machine interface (hmi)
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
US20120121166A1 (en) * 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
US20120123614A1 (en) 2010-11-17 2012-05-17 INRO Technologies Limited Method and apparatus for virtualizing industrial vehicles to automate task execution in a physical environment
US8561897B2 (en) 2010-11-18 2013-10-22 Sky-Trax, Inc. Load tracking utilizing load identifying indicia and spatial discrimination
US8744196B2 (en) 2010-11-26 2014-06-03 Hewlett-Packard Development Company, L.P. Automatic recognition of images
DE102010055774A1 (de) 2010-12-23 2012-06-28 Jungheinrich Aktiengesellschaft Flurförderzeug mit einem Sensor zur Erfassung einer räumlichen Umgebung und Verfahren zum Betreiben eines solchen Flurförderzeugs
US8655588B2 (en) 2011-05-26 2014-02-18 Crown Equipment Limited Method and apparatus for providing accurate localization for an industrial vehicle
US20130054129A1 (en) 2011-08-26 2013-02-28 INRO Technologies Limited Method and apparatus for using unique landmarks to locate industrial vehicles at start-up
US9056754B2 (en) * 2011-09-07 2015-06-16 Crown Equipment Limited Method and apparatus for using pre-positioned objects to localize an industrial vehicle
US8995743B2 (en) 2011-10-19 2015-03-31 Crown Equipment Corporation Identifying and locating possible lines corresponding to pallet structure in an image
US9111349B2 (en) 2011-12-16 2015-08-18 Microsoft Technology Licensing, Llc Object identification using 3-D curve matching
DE202012004864U1 (de) 2012-05-16 2012-12-10 Fusionsystems Gmbh Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor)
US8965561B2 (en) * 2013-03-15 2015-02-24 Cybernet Systems Corporation Automated warehousing using robotic forklifts
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
EP3000771B1 (en) 2014-09-25 2017-11-22 Toyota Material Handling Manufacturing Sweden AB Fork-lift truck
US9561941B1 (en) 2015-03-30 2017-02-07 X Development Llc Autonomous approach and object pickup
JP6469506B2 (ja) 2015-04-16 2019-02-13 株式会社豊田中央研究所 フォークリフト

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763132A (zh) * 2010-02-24 2012-10-31 佳能株式会社 三维测量设备、处理方法和非暂态计算机可读存储介质
CN102520721A (zh) * 2011-12-08 2012-06-27 北京控制工程研究所 一种基于双目立体视觉的巡视探测器自主避障规划方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于二维彩色图像和深度图的复杂三维场景的计算全息图;曹雪梅 等;《中国激光》;20140630;第41卷(第6期);全文 *

Also Published As

Publication number Publication date
AU2017255410A1 (en) 2018-10-04
MX2018013090A (es) 2019-03-28
AU2017255410B2 (en) 2021-10-14
EP3449466B1 (en) 2020-11-11
KR102326097B1 (ko) 2021-11-16
BR112018069528A2 (pt) 2019-01-22
CA3020661A1 (en) 2017-11-02
US9990535B2 (en) 2018-06-05
WO2017189210A1 (en) 2017-11-02
EP3449466A1 (en) 2019-03-06
KR20190003602A (ko) 2019-01-09
CN108885792A (zh) 2018-11-23
US20170316253A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
CN108885792B (zh) 使用物理长度单位进行的货板检测
JP5343042B2 (ja) 点群データ処理装置および点群データ処理プログラム
US8934672B2 (en) Evaluating features in an image possibly corresponding to an intersection of a pallet stringer and a pallet board
JP3795647B2 (ja) ハンドポインティング装置
EP3176678B1 (en) Gesture-based object measurement method and apparatus
JP3868876B2 (ja) 障害物検出装置及び方法
KR102012254B1 (ko) 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
JP2012013660A (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
WO2015026569A1 (en) System and method for creating an interacting with a surface display
KR101330531B1 (ko) ３차원 카메라를 이용한 가상 터치 방법 및 장치
JP2013149228A (ja) 位置検出装置、および位置検出プログラム
RU2658092C2 (ru) Способ и система навигации подвижного объекта с использованием трехмерных датчиков
JP2018037766A (ja) 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム
US20160292841A1 (en) Image processing device, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant