CN110928291A - 信息处理装置、信息处理方法、信息处理系统和存储介质 - Google Patents

Abstract

公开了信息处理装置、信息处理方法、信息处理系统和存储介质。确定用于控制用以运送货物的车辆的位置的控制值的信息处理装置包括：取得单元，被配置成基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及确定单元，被配置成基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

Description

信息处理装置、信息处理方法、信息处理系统和存储介质

技术领域

本发明涉及用于执行车辆的移动控制的技术。

背景技术

存在被称为自动导引车辆(AGV)的车辆的例子。通常，当在诸如工厂或物流仓库之类的环境中使此车辆行进时，使用某种技术来稳定地对车辆执行移动控制。例如，日本专利申请公开No.2010-33434中所讨论的技术已知在通过使用安装在车辆上的传感器检测粘在地面上的胶带的同时使车辆行进。

然而，为了稳定地移动装载有未指定的货物的车辆，有必要根据将被装载在车辆上的货物的量和形状来改变移动路径。更具体地说，手动地设置行进路径以使得车辆在保持车辆或货物与环境中的障碍物之间的合适距离的同时行进一直是必要的。

发明内容

本发明致力于稳定地执行对于能够装载多种类型的货物的车辆的移动控制。

根据本发明的一方面，确定用于控制用以运送货物的车辆的位置的控制值的信息处理装置包括：取得单元，被配置成基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及确定单元，被配置成基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

从以下参照附图对示例性实施例的描述，本发明的更多特征将变得清楚。

附图说明

图1图示出车辆系统在其中行进的环境的例子。

图2图示出信息处理系统的系统配置的例子。

图3是图示出车辆系统的功能配置的例子的框图。

图4图示出信息处理装置的硬件配置的例子。

图5是图示出由信息处理装置执行的处理的流程图。

图6A和图6B图示出车辆系统的行进路径的例子。

图7是图示出车辆系统的功能配置的另一个例子的框图。

图8是图示出由信息处理装置执行的另一个处理的流程图。

图9图示出用于呈现显示信息的图形用户界面(GUI)的例子。

图10是图示出车辆系统的功能配置的又一个例子的框图。

图11是图示出由信息处理装置执行的又一个处理的流程图。

图12是图示出车辆系统的功能配置的又一个例子的框图。

图13图示出用于呈现显示信息的GUI的另一个例子。

图14是图示出由信息处理装置执行的又一个处理的流程图。

具体实施方式

下面将参照附图详细描述示例性实施例。以下示例性实施例中描述的配置应被认为是说明性的，并且本发明不限于图示出的配置。

下面将集中于装载货物的自动导引车辆(AGV)的移动控制来描述第一示例性实施例。在下文中，自动导引车辆被称为车辆。此车辆能够装载多种类型的货物。车辆的可通行路径随着装载在车辆上的货物的形状而改变。车辆系统12能够基于安装在车辆主体上的相机的图像来辨识空间的三维结构。参照图1，当车辆在其中存在天花板中的横梁以及墙壁和货架的突出物的环境中移动时，车辆的可通行路径依赖于货物的存在和高度。更具体地说，当货物的高度低于虚线A时，车辆系统12可以笔直向前进。然而，因为货物15的高度在这种情况下达到虚线B，所以需要执行移动控制以使得车辆系统12不笔直向前进，而是绕过笔直路径。此外，如果货物15在车辆系统12的宽度方向上突出，则车辆系统12需要在考虑到货物15的形状的移动路径上行进。工厂或仓库里所用的车辆(诸如自动导引车辆)依赖于任务运送各种货物，并且在指定的位置处装货和卸货。在用于执行某个任务的处理中，装载在车辆上的货物15的量和尺寸不一定是恒定的。即使关于货物15的形状的信息首先被给出，在装载和卸载货物15之前和之后，也更新关于货物15的形状的信息，这一直是必要的。下面描述基于从图像获得的关于货物15的三维形状(长度、高度和深度)的信息来确定用于控制车辆的位置以使得车辆系统12在货物15不接触障碍物的移动路径上行进的控制值(朝向和速度)的方法。图2图示出信息处理系统的配置的例子。车辆系统12是基于货物15的三维形状和车辆系统12的位置和朝向信息而被控制的，货物15的三维形状是基于由货物传感器110捕获的图像估计的，车辆系统12的位置和朝向信息是基于由安装在车辆系统12上的环境传感器120捕获的图像估计的。

(配置的描述)

图2图示出根据本示例性实施例的用于控制被称为AGV的车辆的位置的信息处理系统的配置的例子。根据本示例性实施例的信息处理系统1包括至少一个车辆系统12、车辆管理系统13和处理管理系统14。信息处理系统1例如是物流系统或生产系统。

车辆系统12是用于根据在诸如工厂和物流仓库之类的环境中执行任务所需的处理的调度来运送货物15的AGV。多个车辆系统12正在环境中移动(行进)。车辆系统12经由无线通信(诸如Wi-Fi通信)双向地向车辆管理系统13和其他车辆系统12发送并且从其接收各种种类的信息。车辆系统12安装信息处理装置10、致动器单元130、货物传感器110和环境传感器120，信息处理装置10用于确定用以控制车辆的位置的控制值，致动器单元130用于基于控制值来对车辆执行移动控制，货物传感器110用于捕获货物15的图像，环境传感器120用于观察车辆的周围环境。

车辆管理系统13是用于管理车辆系统12的系统。例如，车辆管理系统13可以是计算机服务器、个人计算机(PC)、嵌入式系统或可编程逻辑控制器(PLC)。车辆管理系统13经由无线通信(诸如Wi-Fi通信)双向地向车辆系统12发送并且从车辆系统12接收用于对车辆系统12执行移动控制的各种种类的信息。车辆管理系统13与处理管理系统14进行通信。

处理管理系统14管理工厂和物流仓库中的由信息处理系统1执行的处理的调度。例如，处理管理系统14可以是生产管理系统、物流管理系统或制造执行系统(MES)。处理管理系统14与车辆管理系统13进行通信。

货物15是车辆系统12运送的货物。例如，货物15是运送目标物体，诸如存储多个工业零件的容器或者包括多个容器和纸板盒的堆叠的货运(freight)。货物15通过被装载在车辆系统12上或者被车辆系统12拉动而被运送。

图3图示出根据本示例性实施例的包括信息处理装置10的车辆系统12的功能配置的例子。信息处理装置10包括：货物图像输入单元1110、货物信息取得单元1120、环境图像输入单元1130、位置和朝向信息取得单元1140、存储单元1150和确定单元1160。货物图像输入单元1110与安装在车辆系统12上的货物传感器110连接。环境图像输入单元1130与安装在车辆系统12上的环境传感器120连接。确定单元1160与致动器单元130连接。除了这些单元之外，通信装置(未图示)双向地向车辆管理系统13发送信息并且从车辆管理系统13接收信息，并且将数据输入到信息处理装置10的各功能组件并且从信息处理装置10的各功能组件输出数据。然而，图3图示出装置配置的例子，并且不限制本发明的范围。

货物传感器(第一传感器)110是用于测量由车辆系统12运送的货物15的测量装置。根据本示例性实施例，货物传感器10是用于捕获深度图图像的基于飞行时间(ToF)的深度相机，在深度图中每个像素存储深度信息。货物传感器110输出深度图。假定货物传感器110与车辆系统12之间的位置和朝向关系以及货物传感器110与环境传感器120之间的位置关系已经进行了预校准。

货物传感器110例如可以是分别用于捕获灰度图像或彩色图像的灰度相机或彩色相机。在这种情况下，为了估计货物15的形状，例如，基于彩色图像，通过使用基于卷积神经网络(CNN)的学习方法，货物传感器110直接估计表示货物15的形状的三维边界框。更具体地说，货物传感器110通过使用经过学习的模型(CNN)来估计货物15的三维形状，该经过学习的模型输入彩色图像和距离值并且输出货物15的尺寸的绝对值。经过学习的模型已经预先通过使用监督数据进行了学习，监督数据由被赋予关于距离值的信息的各种物体的图像以及物体尺寸组成。可替代地，经过学习的模型可以通过使用CNN来学习用于基于单眼彩色图像估计深度图的网络，并且通过使用基于彩色图像估计的深度图来执行根据本示例性实施例的处理。经过学习的模型可以执行预存在存储设备(未图示)中的CAD数据与由货物传感器10取得的图像之间的匹配，以使得能够基于具有最高匹配度的CAD数据的尺寸来估计货物15的轮廓形状。例如作为用于直线地感测从传感器到目标物体的距离的线传感器的货物传感器100可以测量货物15的形状。在对于货物15的形状测量中，货物传感器110可以根据货物15的移动(例如，在货物15被装载在车辆上时)来扫描线。然后，经过学习的模型获得货物15的三维点组以估计轮廓形状。如上所述，只要关于货物15的形状的信息被取得，对于所使用的传感器就没有限制，即，任何类型的传感器都可以被用作货物传感器110。

环境传感器120是用于测量车辆在其中行进的周围环境的测量装置。根据本示例性实施例，环境传感器120是深度相机。环境传感器120输出作为对于车辆的周围环境的观测的深度图。深度图在这种情况下是指针对由环境传感器120取得的图像的每个像素保持有与到测量目标的距离(深度)相关的值的图像。通常，与到测量目标的距离相关的值是可以被配置成正常图像的整数值。此值在被乘以基于焦距而确定的预定系数时可以被转换为到测量目标的物理距离(例如，以毫米为单位)。对用于测量用于生成深度图的距离的方法没有特别限制。用于测量距离的方法的例子包括：用于用相机捕获照射到测量目标上的多狭缝线的图像并且通过三角测量来执行距离测量的主动立体视觉方法，使用光飞行时间的ToF法(诸如光检测和测距(LiDAR))，以及用于通过三角测量来基于由立体相机捕获的图像计算各像素的深度的被动方法。根据本示例性实施例，环境传感器120是基于ToF的深度相机。环境传感器120将测得的深度图发送到环境图像输入单元1130。

致动器单元130基于由确定单元1160确定的控制值(例如，关于车轮的旋转扭矩和行进方向的移动控制信息)来驱动车轮。根据本示例性实施例的移动控制是指控制车辆中的作为致动器的马达以及用于改变车轮的朝向的转向器。控制这些设备使得能够将车辆移到预定目的地。控制值是用于控制车辆的指令值，更具体地说，是用于控制车辆的车轮的行进方向、加速度和转速的指令值。在这种情况下，装载有货物15的车辆基于控制值在朝向目的地的最佳路径(例如，最短路径)上行进。

根据本示例性实施例的环境传感器120的位置和朝向是指六个参数，包括指示出环境传感器120在真实空间中定义的世界坐标系中的位置的三个参数以及指示出环境传感器120的朝向的三个参数。在这种情况下，世界坐标系被定义为包括用于定义地面的两个轴以及与这两个轴垂直相交并且表示高度方向的一个轴的坐标系。环境传感器120相对于车辆的重心位置的附连位置是在车辆(诸如AGV)的设计阶段测得的。表示上述附连位置和朝向的矩阵被存储在外部存储器H14中。车辆的重心位置可以通过将环境传感器120的位置和朝向乘以上述表示附连位置和朝向的矩阵来取得。更具体地说，车辆系统12在世界坐标系中的位置和朝向可以通过取得环境传感器120在世界坐标系中的位置和朝向来容易地取得。成像装置中定义的三维坐标系(其具有作为Z轴的货物传感器110的光轴、作为X轴的图像的水平方向、以及作为Y轴的图像的垂直方向)被称为第一坐标系。同样地成像装置上定义的三维坐标系(其具有作为Z轴的环境传感器120的光轴、作为X轴的图像的水平方向、以及作为Y轴的图像的垂直方向)被称为第二坐标系。同样地车辆系统12上定义的三维坐标系(其具有作为X轴的车辆的行进方向、作为Z轴的车辆的高度方向、以及作为Y轴的与X轴和Z轴垂直相交的轴)被称为第三坐标系。

货物图像输入单元(第一输入单元)1110以时间序列的方式(例如，每秒60帧)输入深度图作为由取得传感器110取得的视觉信息。深度图存储所观测的货物15的场景图像的每个像素的深度值。然后，货物图像输入单元1110将深度图输出到货物信息取得单元1120。深度值是指货物传感器110与由AGV运送的货物15之间的距离。

货物信息取得单元(第一取得单元)1120基于由货物图像输入单元1110输入的深度图来取得关于货物15的三维形状的信息(第一信息)。根据本示例性实施例，由货物15的三维边界框表示的轮廓形状(指示出重心位置的三个参数和指示出边界框的尺寸的三个参数)被估计为关于货物15的形状的信息。更具体地说，装载有货物15的车辆的高度和在宽度方向上货物15从车辆突出的部分的尺寸被指示。货物信息取得单元1120还将取得的货物形状输出到确定单元1160。

环境图像输入单元(第二输入单元)1130以时间序列的方式(例如，每秒60帧)输入来自环境传感器120的深度图。深度图存储车辆在其中移动的环境的所捕获的场景图像的每个像素的深度值。然后，环境图像输入单元1130将深度图输出到位置和朝向信息取得单元1140。深度值是指环境传感器120与周围环境中的物体(例如，墙壁和障碍物)之间的距离。

位置和朝向信息取得单元(第二取得单元)1140存储用作用于位置和朝向取得的索引的位置和朝向估计图，并且通过使用由环境图像输入单元1130输入的深度图以及位置和朝向估计图来取得关于货物传感器110的位置和朝向的信息(第二信息)。在这种情况下，位置和朝向估计图是表示环境形状的三维点组数据。根据本示例性实施例，假定位置和朝向取得单元1140将点云存储为存储有任意的世界坐标系中的三维坐标(X,Y,Z)的三个值的数据列表。位置和朝向估计图是预先通过将环境的CAD模型转换为指示出物体表面的深度的三维点组而生成的。控制图信息(下面描述)可以用作位置和朝向估计图。位置和朝向信息取得单元1140还将取得的位置和朝向输出到确定单元1160。环境传感器120与车辆之间的位置关系是预校准的。因此，如果环境传感器120的位置和朝向已知，则车辆的位置和行进方向是给定的。

存储单元1150将占有图(occupancy map)存储为控制图信息。占有图是指其中场景以格子形态被划分并且存储每个格子的障碍物存在概率的图。占有图被存储为世界坐标系中的三维体素空间(X,Y,Z)或不包括关于高度方向的信息的二维网格空间(X,Y)。根据本示例性实施例，占有图被存储为三维体素空间中的信息。像位置和朝向估计图那样，占有图也是通过对环境的CAD模型进行转换而生成的。除了占有图之外，存储单元1150还存储表示作为AGV的目的地的三维坐标和朝向的目标位置和朝向信息。可能存在一个或多个目标位置和朝向。然而，为了简单起见，下面将描述针对一个点的目标位置和朝向的示例情况。存储单元1150还存储关于车辆的轮廓形状(包括车辆的高度、宽度和深度)的信息。因为货物15的轮廓形状可能由于货物15的装载和卸载而改变，所以存储单元1150将货物15没有被装载的状态下的信息存储为初始值。关于货物15的信息是在车辆系统12开始其中车辆运送货物15的任务的定时用(下面描述的)方法取得的。如果有必要，存储单元1150将从位置和朝向估计图或占有图取得的图信息输出到确定单元1160。存储单元1150还将目标位置和朝向输出到确定单元1160。

确定单元1160基于由货物信息取得单元1120取得的货物15的三维形状来确定控制值以使得车辆和货物15在维持距环境(障碍物)固定距离或更长距离的同时移动。如果有必要，确定单元1160利用由位置和朝向信息取得单元1140取得的环境传感器120的位置和朝向以及存储在存储单元1150中的控制图信息和关于目标位置和朝向的信息。确定单元1160将确定的控制值输出到致动器单元130。

图4图示出信息处理装置10的硬件配置。中央处理单元(CPU)H11控制连接到系统总线H21的各种设备。只读存储器(ROM)H12存储基本输入/输出系统(BIOS)的程序和启动程序。随机存取存储器(RAM)H13用作CPU H11的主存储器单元。外部存储器H14存储要由信息处理装置10处理的程序。包括键盘、鼠标和机器人控制器的输入单元H15执行与信息输入相关的处理。显示单元H16根据来自CPU H11的指令将信息处理装置10的计算结果输出到显示装置。显示装置是液晶显示装置、投影仪、发光二极管(LED)指示器和任何其他类型的显示器。信息处理装置10的显示单元H16可以用作显示装置。通信接口H17通过网络执行信息通信，并且可以是Ethernet(注册商标)、通用串行总线(USB)、串行通信接口、无线通信接口和任何其他类型的通信接口。通信接口H17经由通信接口H17与上述车辆管理系统13交换信息。输入/输出单元H18输入来自成像装置H19的视觉信息。成像装置H19是指上述货物传感器110或环境传感器120。控制装置H20是指上述致动器单元130。

下面将描述根据本示例性实施例的处理。图5是图示出由根据本示例性实施例的信息处理装置10执行的处理的流程图。该流程图在CPU H11执行控制程序时实现。该流程图包括处理步骤S110、S120、S130、S140、S150、S160和S170。

在步骤S110中，信息处理装置10对系统进行初始化。更具体地说，CPU H11从外部存储器H14读取程序，并且将信息处理装置10设置为操作状态。CPU H11还将连接到信息处理装置10的每个装置的参数(货物传感器110和环境传感器120的相机内部参数和外部参数)以及货物传感器110的初始位置和朝向读取到RAM H13中。然后，CPU H11启动AGV的每个设备以将AGV设置为可控状态。另外，CPU H11经由通信接口(I/F)H17从车辆管理系统13接收AGV的目的地的三维坐标，并且将这些三维坐标存储在存储单元1150中。

在步骤S120中，货物图像输入单元1110输入作为由货物传感器110捕获的货物15的图像的深度图。更具体地说，货物图像输入单元1110输入由深度相机捕获的货物15的场景图像的深度图。根据本示例性实施例，深度图是指存储每个像素的深度值的二维布置列表。

在步骤S130中，货物信息取得单元1120通过使用由货物图像输入单元1110输入的深度图(第一图像)来取得用于识别货物15的三维形状的信息(第一信息)。根据本示例性实施例，用于识别货物15的三维形状的信息是指轮廓形状、还有表示三维边界框的六个参数(三个位置参数和三个尺寸参数)。更具体地说，货物信息取得单元1120取得包括货物15在车辆坐标系中的高度、宽度、深度和重心位置的轴对齐边界框(AABB)。

更具体地说，在取得货物15的轮廓形状时，货物信息取得单元1120首先从深度图取得在第一坐标系中定义的三维点组。货物信息取得单元1120通过将在归一化的图像坐标系中的图像坐标乘以深度图中的每个像素的深度值来取得三维点组。然后，货物信息取得单元1120将取得的三维点组的坐标系从货物成像坐标系转换为车辆坐标系。此外，货物信息取得单元1120通过使用随机抽样一致性(RANSAC)算法来从三维点组移除平面以使作为货物坐标的三维点与作为地面背景的三维点组分离。最后，基于货物坐标的三维点组，货物信息取得单元1120取得三维点组的每个轴的最小值和最大值以取得货物15在车辆坐标系中的高度、宽度、深度和重心位置(AABB)作为货物15的轮廓形状。最后，货物信息取得单元1120将取得的轮廓形状的值输出到确定单元1160。

在步骤S140中，环境图像输入单元1130取得作为车辆的周围环境的观测的深度图。此深度图由环境传感器120取得。根据本示例性实施例，深度图是指存储每个像素的深度值的二维布置列表。

在步骤S150中，位置和朝向信息取得单元1140通过使用由环境图像输入单元1130输入的深度图以及位置和朝向估计图来取得环境传感器120的位置和朝向(第二信息)。更具体地说，位置和朝向信息取得单元1140从深度图取得在第二坐标系中定义的三维点组。位置和朝向信息取得单元1140通过将在归一化的图像坐标系中的图像坐标乘以深度图中的每个像素的深度值来取得三维点组。然后，位置和朝向信息取得单元1140通过使用前一次的环境传感器120的位置和朝向来将三维点组转换为位置和朝向坐标系中前一次的三维点组。更具体地说，三维点组被乘以前一次的位置和朝向的矩阵。位置和朝向信息取得单元1140取得位置和朝向以便使取得的三维点组中的最近的三维点与存储在存储单元1150中的图信息的点云之间的距离之和最小化。更具体地说，位置和朝向信息取得单元1140通过使用迭代最近点(ICP)算法来取得环境传感器120相对于前一次的位置和朝向的位置和朝向。最后，位置和朝向信息取得单元1140将位置和朝向转换为世界坐标系中的位置和朝向，并且将世界坐标系中的位置和朝向输出到确定单元1160。可以通过以这种方式获得车辆的位置和朝向来取得周围环境与车辆之间的距离。

在步骤S160中，基于关于车辆在其中移动的环境的三维信息(第二信息)和用于识别货物15的高度的信息(第一信息)，确定单元1160确定用于防止货物15和障碍物彼此比预定距离更靠近的控制值。更具体地说，确定单元1160确定使得装载有货物15的车辆在具有足以使车辆通过的高度的移动路径上移动的控制值。图6A和图6B中图示出了例子。参照图6A，车辆E12a正在执行用于将货物运送到目的地E16a的任务。首先，确定单元1160就包括货物的车辆E12a的高度提取占有图E11以获得三维占有图E13a。然后，确定单元1160将占有图E13a投影到平坦的地面表面以获得二维占有图E14a。在二维占有图E14a上，确定单元1160计算用于从车辆的位置和朝向E15a移到目的地的位置和朝向E16a的最佳路径E17a。例如，当车辆E12a笔直向前进时，车辆E12a的货物将接触环境(例如，图6A所示的障碍物X)，进而可能使货物倒塌。为了避免选择移动路径，确定单元1160确定用于沿着移动路径E17a通过的控制值，移动路径E17a不通过障碍物存在于其中的区域。图6B图示出货物在高度上不同的另一种情况。三维占有图E13b是就车辆E12b的高度提取的。障碍物X不显示在就占有图E13b的高度投影的二维占有图E14b上。在不同的占有图中，将被计算的路径和控制值也是不同的。更具体地说，当车辆E12b运送比车辆E12a少的量的货物时，车辆E12b前面的移动路径(障碍物X存在于其中的路径)是可通行的，因此车辆E12b沿着移动路径E17b通过以前进到目的地E16b。

下面将描述步骤S160中的处理。首先，基于由位置和朝向信息取得单元1140估计的货物在车辆坐标系中的轮廓形状(AABB)以及AGV在车辆坐标系中的轮廓形状(AABB)，确定单元1160取得包括这些轮廓形状的整个车辆的高度、宽度和深度的轮廓形状。确定单元1160通过取高度、宽度和深度的最小值和最大值来取得整个车辆的轮廓形状。然后，确定单元1160从存储在存储单元1150中的三维网格占有图提取车辆可以接触到障碍物的范围的部分图。更具体地说，在占有图中整个车辆的重心位置为(Xw,Yw,Zw)、三维(3D)边界框的尺寸为(Sx,Sy,Sz)的情况下，确定单元1160对在从地面起的高度方向上在Zw±Sz/2的范围内的占有图进行切片。以这种方式提取的图被取得作为部分占有图。然后，确定单元1160在从地面起的高度方向(z方向)上投影部分占有图以获得二维网格占有图。在高度方向上的投影是指用于在z方向上扫描占有格子(x,y,z)以获得每个(x,y)处的障碍物存在概率的最大值的操作。同样地确定单元1160将被表示为世界坐标系中的三维位置和朝向的车辆系统12的目标和当前位置和朝向投影到二维平面上以获得具有总共三个自由度(两个位置自由度加上一个朝向自由度)的参数。在这种情况下，两个位置自由度是指在相对于环境地面的水平平面上的位置X和Y，一个朝向自由度是指在相对于环境地面的水平平面上的旋转方向。最后，基于关于二维网格占有图以及目标和当前位置和朝向的信息，确定单元1160确定用于在使这些位置和朝向最小化的同时避免具有高障碍物存在概率的格子的控制值。更具体地说，基于输入车辆的当前位置和朝向以及输入的目标位置和朝向，确定单元1160计算用于使两个不同的位置和朝向之间的欧几里得距离最小化的控制值(前进速度、转弯方向和转弯速度)的所有可能的变化，作为控制值候选。关于控制值候选中的每个，确定单元1160计算控制之后的位置和朝向作为预测位置和朝向。确定单元1160参照二维网格占有图来获得与每个预测位置和朝向相对应的障碍物存在概率。确定单元1160计算具有零障碍物存在概率的控制值候选，以提取没有碰撞发生的控制值候选。确定单元1160从提取的控制值候选确定用于使目标与预测位置和朝向之间的欧几里得距离最小化的控制值，作为最终的控制值。然后，确定单元1160将确定的控制值输出到致动器单元130。然后，致动器单元130通过使用由确定单元1160确定的控制值来控制AGV。更具体地说，致动器单元130调整作为致动器的马达的旋转量和用于改变车轮的朝向的转向的角度值以使得获得由确定单元1160确定的控制值(前进速度、转弯方向和转弯速度)。

在步骤S170中，确定单元1160确定是否结束系统。更具体地说，当存储在存储单元1150中的目的地坐标与由位置和朝向信息取得单元1140取得的来自环境传感器120的位置和朝向之间的欧几里得距离小于等于预定阈值(例如，1m)时，确定单元1160确定车辆已经到达目的地(在步骤S170中为是)，并且确定单元1160结束系统。另一方面，当该欧几里得距离超过预定阈值(在步骤S170中为否)时，处理返回到步骤S140。然后，信息处理装置10继续进行处理。

根据第一示例性实施例，货物传感器110取得货物的三维轮廓形状。然后，信息处理装置10取得包括货物的整个车辆的轮廓形状，取得包括货物的车辆沿着其不接触环境中的障碍物的移动路径，并且对车辆执行移动控制。这使得能够基于将被运送的货物的尺寸(货物的高度和货物从车辆突出的部分)来执行稳定的且安全的控制，在该控制中，货物不与环境中的障碍物碰撞。此外，在货物在尺寸上对于每次运送不同的情况下，能够在不预设货物的尺寸的情况下，即，能够以减少的时间和精力对车辆系统12执行移动控制。

(变形例1-1)

尽管在本示例性实施例中，货物15被货物传感器110成像，但是本发明不限于此。例如，代替货物传感器110，环境传感器120可以被用来对货物15进行成像。在这种情况下，环境传感器120和货物传感器110可以是相同的装置。例如，既用作货物传感器110又用作环境传感器120的广域相机被安装在车辆上。安装在环境中的对车辆进行成像的监视相机可以被替换为广角相机或全景相机来同时捕获环境和装载有货物的车辆。货物传感器110不仅对环境进行成像，而且还对货物进行成像，以使得能够通过使用更少的成像装置来基于货物的形状、位置和类型对车辆执行移动控制。货物图像可以通过以关联的方式使用多个传感器来捕获。例如，图像是从安装在车辆上的深度相机和安装在环境中的至少一个广域相机取得的。使用多个传感器使死角减少，从而使得能够正确地估计关于货物的信息。

(变形例1-2)

尽管本示例性实施例假定货物传感器110附连到车辆系统12，但是本发明不限于此。例如，安装在能够观测车辆和货物的地方并且能够与处理管理系统14或车辆系统12进行通信的监视相机可以用作货物传感器110。在这种情况下，监视相机是用于监视操作环境(诸如工厂或物流仓库)的状况的红、绿和蓝(RGB)彩色相机。处理管理系统14或车辆系统12中的存储单元存储监视相机在环境的世界坐标系中的位置和朝向。作为货物传感器110的监视相机观测货物15的形状、位置和朝向。通过使用监视相机在世界坐标系中的位置和朝向以及环境传感器120的位置和朝向，通过观测获得的信息被转换为关于货物15在车辆坐标系中的形状和位置的信息，然后被输入到确定单元1160。用作货物传感器110的外部相机不限于监视相机。例如，货物传感器110可以是安装在用于将货物装载在车辆上的自动化机器的侧面的相机。代替相机，货物传感器110也可以是二维距离传感器，诸如线传感器。除了安装在环境中的相机之外，货物传感器110也可以是安装在另一个AGV上的相机或被用户拿着的相机。对于用作货物传感器110的传感器没有特别限制，只要传感器能够测量货物15并且取得关于车辆系统12上的货物15的信息即可。

(变形例1-3)

尽管在本示例性实施例中货物信息取得单元1120取得三维边界框的值作为货物15的三维轮廓形状，但是本发明不限于此。例如，深度图中的货物候选的三维点组可以被存储为形状，或者从该三维点组生成的网(mesh)可以被作为三维多边形模型进行处理。可替代地，通过使用诸如截断符号距离函数(TSDF)体之类的、其中对每个体素存储到最近邻三维表面的带符号的距离的方法来存储货物的形状。可替代地，以其中物体存在概率被存储在体素中的占有图的形式来表示形状。对于用于估计和表达货物的形状的方法没有特别限制。同样地，用于存储和表示存储在确定单元1160中的车辆的形状的方法不限于使用轮廓形状(比如边界框)的方法。可以通过使用上述方法来存储详细的形状。对于由位置和朝向信息取得单元1140取得的关于货物的形状信息没有限制。任何形式的形状信息都可以被使用，只要该形状信息可以表达货物15的形状和尺寸即可。

(变形例1-4)

尽管在本示例性实施例中，货物信息取得单元1120基于平面部分和货物候选部分的分割来确定货物候选的三维点组，但是本发明不限于此。例如，假设装载在车辆系统12上或者被车辆系统12拉动的货物15与货物传感器110之间的总体位置关系是已知的。在这种情况下，可以在货物15存在的范围被作为深度图中的3D感兴趣区域(ROI)给出的前提下执行处理。在这种情况下，不是对平面部分执行分割，而是货物信息取得单元1120通过使用表示货物15存在的范围的3D ROI来提取3D ROI内的三维点组作为货物候选的三维点组。可替代地，如果货物的部分的形状是已知的，比如堆叠的盒子的货物，则可以通过基于模板匹配或特征点匹配的三维物体检测来获得整个货物15的形状和位置。

(变形例1-5)

根据本示例性实施例，控制图不限于预设的占有图。例如，可以通过基于从环境传感器120取得的深度图以及由位置和朝向信息取得单元1140估计的关于位置和朝向的信息计算障碍物存在的区域和障碍物不存在的区域来动态地更新占有图。在没有先验信息的情况下，占有图是从零生成的。可替代地，可以通过更新预存的占有图来取得占有图。对于用于生成和更新占有图的方法没有特别限制，只要该方法可以表达关于周围环境中的障碍物的信息即可。通过动态地更新占有图，可以考虑到在预先生成的占有图中不包括的障碍物(诸如放置在环境中的新的行李)来控制车辆。

(变形例1-6)

上面已经基于使用三维占有图作为控制图的方法以及估计具有六个自由度的位置和朝向参数作为环境传感器120的位置和朝向信息的方法描述了本示例性实施例，本发明不限于此。例如，没有关于高度方向的信息的二维占有图是适用的。可替代地，相对于环境地面的水平平面上的二维点组数据(与颜色信息组合)或相对于环境地面的水平平面上的二维模型被用作控制图。位置和朝向信息可以是在环境的世界坐标系中的车辆系统12的具有总共三个自由度(即，两个位置自由度加上一个朝向自由度)的位置和朝向参数。在这种情况下，两个位置自由度是指在相对于环境地面的水平平面上的位置X和Y，一个朝向自由度是指在相对于环境地面的水平平面上的旋转方向。对于用于存储和表达控制图的方法没有限制。任何方法都可以被使用，只要该方法可以以确定单元1160可用的形式存储关于周围环境中的障碍物的信息即可。

(变形例1-7)

尽管在本示例性实施例中，位置和朝向信息取得单元1140基于使用表示环境中的场景的三维点组和深度图的ICP算法来取得环境传感器120的位置和朝向，但是用于取得位置和朝向的方法不限于此。例如，位置和朝向估计图不是预先生成的，而是通过在环境内移动车辆系统12而生成的。更具体地说，三维点组数据是通过在用遥控器操作车辆系统12或者用手推车辆系统12的同时就多个视点整合从安装在车辆系统12上的环境传感器120取得的深度图而生成的。作为位置和朝向估计图，环境的计算机辅助设计(CAD)制图或图图像可以照原样使用，或者在数据格式转换之后被使用。以这种方式生成的位置和朝向估计图可以用于取得位置和朝向。作为环境传感器120，用于捕获环境中的作为彩色图像或灰度图像的场景图像的成像装置可以被用来代替深度传感器。在这种情况下，将被捕获的图像可以是彩色图像或灰度图像。在这种情况下，基于输入的彩色图像或灰度图像来生成包括三维特征点的特征点图。然后，输入到环境图像输入单元1130的图像中的特征点被与特征点图中的特征点关联以取得位置和朝向。用于在创建图信息的同时执行位置和朝向估计的许多同时定位和图构建(SLAM)技术已被提出。这些技术可以用于执行上述处理。另外，当位置和朝向信息取得单元1140估计位置和朝向信息时，Wi-Fi通信状况和安装在环境中的信标可以被一起使用。对于位置和朝向信息取得单元1140所用的取得方法没有特别限制。任何取得方法都可以被使用，只要该方法可以取得车辆12在世界坐标系中的位置和朝向即可。

(变形例1-8)

上面已经集中于用于取得物体的形状的方法描述了本示例性实施例。由货物信息取得单元1120估计的货物信息不限于形状。例如，货物信息取得单元1120可以取得诸如物体的类型和状态的语义信息，确定单元1160可以基于该信息来确定控制值。更具体地说，例如，玻璃、液体和其他易碎材料以及不得随意摇动的货物类型是预定的。基于由货物传感器110成像的包括货物15的彩色图像，通过经由用于对每个像素确定物体类型的语义分割来估计货物候选区域的语义类别，来估计货物类型。如果估计的物体类型包括在预定的易碎货物类型中，则确定单元1160中的作为控制值的最大速度受到限制。例如，当货物被估计是由玻璃制成的时，信息处理装置10以尽可能小的振动来执行移动控制。通过根据货物类型执行速度控制，变得能够对车辆执行移动控制以使得货物不容易摇动或倒塌。

(变形例1-9)

尽管在本示例性实施例中，基于输入到货物图像输入单元1110的货物的捕获图像的深度图，形状被测量为货物信息，但是本发明不限于此。例如，可以通过使用应用于货物的标识(ID)标签来取得货物信息。更具体地说，例如，货物被应用存储有关于货物15的形状和类型的信息或与之相关联的信息的ID标签。可替代地，货物信息取得单元1120从由货物传感器110或环境传感器120捕获的图像辨识ID标签以取得关于货物15的形状和类型的信息。另外，用于取得货物信息的方法不限于使用图像的方法。例如，处理管理系统14或车辆管理系统13管理每个货物的形状、类型和位置。在步骤S110中，货物图像输入单元1110在目标位置和朝向被接收到时接收关于将被装载的货物的信息。关于货物15的形状和类型的信息可以以这样的方式取得。在这种情况下，货物传感器110无需连接到货物图像输入单元1110。即使货物传感器110不存在，也没有特定的问题发生。

(变形例1-10)

根据本示例性实施例，车辆系统12适用于各种形式的AGV。AGV的形态的例子包括用于通过在货物下推动而运送货物的车辆、以及具有可垂直地和水平地移动的车轮的AGV。在这种情况下，确定单元1160不仅计算用于前后移动的控制值，而且还计算用于横向移动的控制值，以确定最佳的控制值。AGV的形态的例子还包括牵引式AGV。在这种情况下，获得考虑到将被拉动的货物和与滑动台架的接合部的移动的控制值。因为牵引式AGV容易有横向摇动，所以可以依赖于车辆的形态来改变用于确定控制值的方法，例如，以使得AGV沿着足够宽的路径通过。另外，车辆系统12可以是自动化操作车辆或自主移动机器人。根据本示例性实施例的信息处理装置10可以被应用于这些装置。本示例性实施例可以被应用于具有叉形可移动部分的自动化运送叉车。本示例性实施例可以被应用于诸如无人机之类的飞行车辆。

(变形例1-11)

尽管在本示例性实施例中，确定单元1160基于由货物信息取得单元1120估计的货物15的轮廓形状来确定考虑到包括货物15的车辆与障碍物之间的接触的控制值，但是本发明不限于此。例如，确定单元1160可以与车辆管理系统13和处理管理系统14进行通信以执行系统操作以便使用具有使货物15与周围环境中的障碍物之间不接触的形状的车辆。更具体地说，车辆管理系统13存储关于多个车辆系统中的每个的轮廓形状的信息。确定单元1160取得与多个车辆系统的轮廓形状相对应的多个二维占有格子。然后，确定单元1160确定具有使得能够在最短路径中进行运送的形状的车辆系统。然后，确定单元1160与车辆管理系统13进行通信以使得所确定的车辆运送货物。通过根据货物的形状选择性地操作具有不同形状的多个车辆，而不是仅控制一个车辆，变得能够执行操作控制来实现整个系统的最佳操作。

(变形例1-12)

以下描述由确定单元1160执行的通过使用作为提取车辆接触到障碍物的范围的结果的用于三维控制的部分图—而不是通过二维投影三维控制图—来确定车辆的控制值的方法。在图5所示的步骤S160中，确定单元1160确定用于控制AGV的控制值。更具体地说，基于在占有图上定义的目的地坐标以及占有图上的车辆的位置和朝向，确定单元1160确定用于避免占有图上的具有高障碍物存在概率的格子并且使目的地坐标与车辆的位置和朝向之间的欧几里得距离最小化的控制值。

首先，确定单元1160基于由货物信息取得单元1120估计的货物在车辆坐标系中的轮廓形状(AABB)来取得整个车辆的轮廓形状。然后，像第一示例性实施例那样，确定单元1160从存储在存储单元1150中的三维占有图提取车辆可以接触到障碍物的范围的部分的占有图作为部分占有图。然后，基于车辆的当前位置和朝向以及输入的目标位置和朝向，确定单元1160取得用于使两个不同的位置和朝向之间的欧几里得距离最小化的控制值(前进速度、转弯方向和转弯速度)的所有可能的变化，作为控制值候选。关于每个控制值候选，确定单元1160取得控制之后的预测位置和朝向。然后，确定单元1160用部分占有图来确定在预测位置和朝向的车辆的碰撞。更具体地说，当确定碰撞时，确定单元1160在预测位置和朝向的车辆的轮廓形状的范围内扫描部分占有图。当存在具有高于预定值的障碍物存在概率的占有格子时，确定单元1160确定碰撞的危险，并且取消关于其取得预测位置和朝向的控制值候选。从没有被取消的控制值候选之中，确定单元1160确定用于使目标与预测位置和朝向之间的欧几里得距离最小化的控制值作为最终的控制值。然后，确定单元1160将确定的控制值输出到致动器单元130。然后，致动器单元130通过使用由确定单元1160确定的控制值来控制AGV。这使得能够依赖于将被运送的货物的尺寸来执行稳定的且安全的控制，在该控制中，货物不与环境中的障碍物碰撞。此外，在货物在尺寸上对于每次运送不同的情况下，能够在不预设货物的尺寸的情况下，即，能够以减少的时间和精力对车辆系统12执行移动控制。

(变形例1-13)

尽管存储单元1150将占有图存储为控制图并且基于该占有图来确定最佳路径，并且确定单元1160确定车辆的控制值，但是本发明不限于此。只要确定单元1160确定用于使得车辆能够以车辆不接触环境中的障碍物的方式到达目的地的控制值，确定单元1160就可以确定任何类型的控制值。例如，确定单元1160可以将多个深度图存储为关键帧，并且将控制图存储为一组关键帧。在这种情况下，在执行用于使目标与当前位置和朝向之间的欧几里得距离最小化的移动控制的同时，确定单元1160计算例如当前位置和朝向的最接近关键帧中的深度图与整个车辆的轮廓形状之间的最近距离。当该距离小于等于预定值时，确定单元1160执行使车辆停止移动并且转弯的控制。当用于确定障碍物的阈值超过0时，例如，确定单元1160确定障碍物存在。本发明不一定限于将深度图存储为关键帧。确定单元1160可以计算输入到环境图像输入单元1130的深度图与整个车辆的轮廓形状之间的最近距离来控制车辆。

作为控制图，确定单元1160可以基于存储有到最近障碍物的带符号的距离的欧几里得符号距离场(ESDF)来计算用于避免障碍物的控制值，并且执行移动控制。作为控制图，确定单元1160存储成本图，该成本图存储有随着到目的地的距离缩短而减小的值。确定单元1160可以通过使用深度加强学习机器作为已经学习了通过输入成本图和所输入的深度图来确定控制值的神经网络来确定控制值。通过计算包括货物的整个车辆的形状与障碍物(诸如墙壁)之间的接触并且确定用于避免接触的控制值，AGV可以被以稳定的且安全的方式操作。

(变形例1-14)

根据本示例性实施例，确定单元1160使用动态窗口方法来基于车辆的当前位置和朝向以及输入的目标位置和朝向计算用于使某个时间的两个不同的位置和朝向之间的欧几里得距离最小化的控制值的所有可能的变化，作为控制值候选。然而，用于计算控制值的方法不限于此，只要AGV的移动路径可以在避免与障碍物具有高碰撞概率的区域的同时被设置即可。例如，确定单元1160可以使用图搜索方法作为用于计算在多个未来时间的控制值的变化、计算在多个时间的位置和朝向(预测路径)、以及选择用于跟踪预测路径的控制值的技术。在这种情况下，确定单元1160选择仅通过二维网格占有图中的具有零障碍物存在概率的区域的预测路径，并且计算在多个时间的用于跟踪此预测路径的控制值。当选择预测路径时，确定单元1160可以选择其中移动路径最小化的预测路径、其中到占有图中的具有非零障碍物存在概率的区域的距离最大化的预测路径、或其中转弯的变化最小化的预测路径。另外，诸如随机化方法的任何其他技术也是适用的。此技术在当前位置从二维空间随机地取样没有障碍物的固定区域，通过使用当前位置作为节点来重复地随机取样周围空间来生成预测路径，并且选择生成的预测路径。

尽管在本示例性实施例中，对范围Zw±Sz/2内的占有图进行切片以取得部分占有图，但是范围Zw-Sz/2<Z<Zw+Sz/2+Δm(Δm是裕量)内的占有图可以被切片。以这样的方式执行处理使得AGV能够离开障碍物达大于等于预定裕量的距离，从而实现安全的AGV操作。

所述预定值Δm可以由用户预设或者依赖于车辆的行进速度而改变。例如，用户进行设置以使得考虑到工厂规章制度，AGV离开占有图中物体存在概率超过0的位置达Δm＝1m行进。通过以这种方式对障碍物或周围环境与货物之间的距离提供裕量，即使货物稍微滑动，货物也可以被稳定地运送。当依赖于车辆的行进速度设置预定值Δm时，确定单元1160确定预定值Δm以使得行进速度与该预定值成比例。更具体地说，当车辆以1m/s行进时，Δm被设置为1m。当车辆以2m/s行进时，Δm被设置为2m。

还可能的是，位置和朝向信息取得单元1140取得方差值作为计算位置和朝向时的位置和朝向的变化程度的值，并且确定单元1160基于取得的方差值来设置Δm。例如，确定单元1160确定预定值Δm以便使其与方差值成比例。另外，确定单元1160可以预先测量车辆控制中的变化，并且确定预定值Δm以便使其与变化成比例。车辆控制中的变化是指当车辆被设置为在同一路径上行进并且被移动时测得的移动路径的变化程度。同样地，确定单元1160可以基于由位置和朝向信息取得单元1140测得的车辆的行进环境中的水平差异的高度来确定预定距离。预定值Δm可以被设置为与当车辆移动时测得的车辆的垂直摇动或倾斜成比例。例如，在行进路径上的任何部分具有水平差异或倾斜的情况下，存在车辆垂直摇动并且货物与天花板或监视相机碰撞的风险。在这种情况下，可以就整个行进路径或具有有着预定高度或不均匀性的水平差异的区域的水平差异的高度来设置预定值Δm。关于行进表面上的不均匀性的数据，优选的是预先在行进路径上行进车辆并且测量高度方向上的三维位置的变化。在障碍物与货物之间维持预定距离或更长距离使得能够进一步限制货物与障碍物碰撞的可能性。

根据第一示例性实施例，存储单元1150将占有图存储为控制图，并且基于该占有图来取得最佳路径，确定单元1160取得车辆的控制值。下面将基于通过根据由环境传感器120捕获的图像计算包括货物的车辆的位置来控制车辆而不存储控制图的方法来描述第二示例性实施例。

图7图示出根据本示例性实施例的信息处理装置10的功能配置的例子。根据本示例性实施例的信息处理装置10与根据第一示例性实施例的信息处理装置10的不同之处在于存储单元1150是不存在的。下面将仅集中于新添加的组件和具有与根据第一示例性实施例的组件不同的功能的组件来描述本示例性实施例。其他组件假定具有与图1和图2所示的那些组件相同的功能，它们的冗余描述将被省略。

确定单元1160基于环境图像、由位置和朝向信息取得单元1140取得的环境传感器120的位置和朝向信息、由货物信息取得单元1120取得的货物的轮廓形状、以及目标位置和朝向来确定用于对AGV执行移动控制的控制值。不同于第一示例性实施例，车辆的目标位置和朝向是经由通信装置(未图示)直接从车辆管理系统13输入到确定单元1160的。确定单元1160将确定的控制值输出到致动器单元130。

根据本示例性实施例的整个处理的过程类似于图5所示的过程。下面将仅集中于相比于根据第一示例性实施例的过程而言执行不同处理的过程来描述本示例性实施例。其他过程假定具有与图5所示的那些处理相同的处理，它们的冗余描述将被省略。

在图5所示的步骤S160中，基于由货物信息取得单元1120估计的货物15的轮廓形状、输入到环境图像输入单元1130的深度图、以及车辆的目标位置，确定单元1160确定在避免障碍物的同时移到目标位置的车辆的控制值。更具体地说，基于车辆的当前位置和朝向以及输入的目标位置和朝向，确定单元1160取得用于使两个不同的位置和朝向之间的欧几里得距离最小化的控制值(前进速度、转弯方向和转弯速度)的所有可能的变化，作为控制值候选。对于每个控制值候选，确定单元1160取得控制之后的预测位置和朝向。然后，确定单元1160计算包括货物的车辆在预测位置和朝向的轮廓形状和位置与从自环境图像输入单元1130输入的深度图获得的三维点组之间的最近距离。当该距离小于等于预定值时，确定单元1160确定碰撞的危险，因此取消所取得的预测位置和朝向的控制值候选。在没有被取消的控制值候选之中，确定单元1160选择用于使目标与预测位置和朝向之间的欧几里得距离最小化的控制值作为最终的控制值。确定单元1160将确定的控制值输出到致动器单元130。

上面已经集中于基于从环境传感器120输入的图像来取得包括货物的车辆的轮廓形状和位置从而控制车辆而不存储控制图的方法描述了第二示例性实施例。即使在控制图没有被存储的情况下，也可以通过从自环境传感器120按时间顺序输入的、每次观测的范围内的图像取得车辆与环境中的障碍物之间的距离来安全地执行车辆控制。

根据第一示例性实施例，信息处理装置10从由货物传感器110取得的深度图测量货物15的轮廓形状仅一次，取得考虑到包括测得形状的货物的车辆与场景中的障碍物之间的接触的移动路径，并且控制车辆。下面将集中于用于通过一直跟踪货物15的形状和位置来基于货物的形状和位置控制车辆的方法来描述第三示例性实施例。

根据本示例性实施例的信息处理装置10的配置类似于根据第一示例性实施例的配置(图3)，其冗余描述将被省略。货物信息取得单元1120不仅存储根据第一示例性实施例的关于货物15的轮廓形状信息，而且还存储前一次的关于货物15的形状和位置的信息以使得轮廓形状的时间序列变化可以被计算。然后，货物信息取得单元1120还将关于货物15的时间序列变化信息输出到确定单元1160。确定单元1160不仅基于根据第一示例性实施例的信息、而且还基于由货物信息取得单元1120取得的关于货物15的时间变化信息来确定用于控制AGV的控制值。本示例性实施例与第一示例性实施例的不同之处在于这一点。

图8图示出由根据本示例性实施例的应用于被称为自动导引车辆(AGV)的车辆的信息处理装置10执行的处理。下面将仅集中于相比于根据第一示例性实施例的过程而言执行不同处理的过程来描述本示例性实施例。其他过程假定具有与图5所示的那些处理相同的处理，它们的冗余描述将被省略。

在步骤S230中，像根据第一示例性实施例的步骤S130那样，货物信息取得单元1120从深度图取得关于三维边界框的信息作为货物15的轮廓形状。然后，货物信息取得单元1120取得前一次的三维边界框的存储值与本次的值之间的差值以取得自从前一次以来直到本次的货物15的轮廓形状和位置的变化。货物信息取得单元1120将总共六个参数存储为变化，这六个参数包括边界框的尺寸(高度、宽度和深度)变化的三个参数和位置变化的三个参数。最后，货物信息取得单元1120将本次的货物15的轮廓形状的取得值及其变化输出到确定单元1160。

在步骤S260中，基于由货物信息取得单元1120估计的货物15的轮廓形状和存储在存储单元1150中的占有图，确定单元1160确定在避免障碍物的同时朝向目标位置和朝向移动的车辆的控制值。根据本示例性实施例，确定单元1160还基于由货物信息取得单元1120取得的货物15的形状和位置的变化来确定控制值。在通过根据第一示例性实施例的处理确定车辆控制值之后，确定单元1160进一步基于由货物信息取得单元1120取得的货物15的形状和位置的变化来确定车辆的最终控制值。

更具体地说，确定单元1160检查货物15的轮廓形状和位置的变化。当变化中的任何一个或两个大于等于预定值时，确定单元1160确定货物15的倒塌或滑动的发生，并且取得用于使车辆减速或停止的控制值。另一方面，当货物15的变化为零或很小时，确定单元1160确定货物15的稳定运送，并且使用通过根据第一示例性实施例的步骤S160中描述的方法取得的控制值。另外，当货物15的变化既不大到使货物15倒塌或滑动也不小到被认为为零时，确定单元1160确定货物15发生摇动，确定摇动的范围，并且取得控制值。更具体地说，确定单元1160将表示货物15的轮廓形状的三维边界框以及货物15的形状和位置的变化的值相加以取得包括最大摇动宽度的货物的轮廓形状。基于此，确定单元1160取得步骤S160中描述的整个车辆的轮廓形状，并且确定控制值。确定单元1160将确定的控制值输出到致动器单元130。

在步骤S170中，确定单元1160确定系统是否将被结束。更具体地说，像根据第一示例性实施例的步骤S170那样，当存储在存储单元1150中的目的地坐标与由位置和朝向信息取得单元1140取得的环境传感器120的位置和朝向之间的欧几里得距离小于等于预定阈值(例如，1m)时，确定单元1160确定车辆已经到达目的地(在步骤S170中为是)，并且确定单元1160结束系统。另一方面，当欧几里得距离超过预定阈值(在步骤S170中为否)时，处理返回到步骤S120。然后，信息处理装置10继续进行处理。

上面已经集中于用于对于每个帧测量并且跟踪货物15的形状和位置以取得形状和位置的变化、基于变化来确定货物15的状态转变(诸如滑动或倒塌)、并且改变车辆控制的方法描述了第三示例性实施例。当存在货物15的状态转变时，信息处理装置10停止车辆，限制最大速度，并且考虑到货物15的摇动宽度来基于车辆与环境之间的接触计算执行其他控制。这使得能够考虑到货物15的倒塌、滑动、摇动和其他时间变化来进行安全的车辆控制。

(修改3-1)

尽管在本示例性实施例中，确定单元1160基于货物15的形状和位置的变化来确定车辆的控制值，但是本发明不限于此。例如，当基于变化确定货物15的倒塌或滑动的发生时，信息处理装置10生成向外部呈现异常状况的警报(未图示)，而不是取得控制值。可替代地，信息处理装置10开启指示器(未图示)来呈现异常状况。可替代地，信息处理装置10与车辆管理系统13进行通信以通知异常状况已经发生。

下面将描述对于第一示例性实施例至第三示例性实施例共同适用的用户界面(UI)。以下描述用于确认由成像装置H19取得的视觉信息、由取得单元取得的位置和朝向信息、物体检测结果以及图信息的用户操作。以下还描述了AGV通过自动化控制进行操作并因此由用户输入控制。为了使得用户能够确认AGV的状况并且控制AGV，在作为显示装置的显示器上显示图形用户界面(GUI)。用户从诸如鼠标和触摸板之类的输入装置输入操作。尽管在第四示例性实施例中，显示器被安装在AGV上，但是本发明不限于这样的配置。更具体地说，连接到车辆管理系统13的液晶显示器经由通信I/F H17用作显示装置。车辆管理系统13使用用户的移动终端的显示器作为显示装置。当使用安装在AGV上的显示装置时，或者当使用没有安装在AGV上的显示装置时，显示信息可以由信息处理装置10生成。当使用没有安装在AGV上的显示装置时，包括在显示装置中的计算机可以从信息处理装置10取得生成显示信息所需的信息，并且生成显示信息。

根据第四示例性实施例的装置的配置具有图3所示的功能配置，并且包括图10所示的生成单元1170。生成单元1170基于由货物传感器110取得的货物图像、由位置和朝向信息取得单元1140取得的车辆的位置和朝向、由环境传感器120取得的图像、由第一取得单元1120测得的货物信息、以及由确定单元1160取得的控制值来生成显示信息。显示单元140在安装在AGV上的触摸板显示器上显示生成的显示信息。下面将详细描述显示信息。

图9图示出作为由根据本示例性实施例的显示装置呈现的显示信息的例子的GUI100。窗口G110呈现二维占有图。窗口G120呈现存储在存储单元1150中的三维占有图。窗口G130呈现由环境传感器120取得的图像。窗口G140呈现由货物传感器110取得的图像。窗口G150呈现由位置和朝向信息取得单元1140取得的位置和朝向、由货物信息取得单元1120测得的关于货物15的信息、以及与确定单元1160确定的控制值相关的显示信息。

窗口G110呈现作为存储在存储单元1150中的三维占有图在平坦的地面表面上的投影的二维占有图的例子。AGV G111安装环境传感120和货物传感器110。AGV G111显示基于由货物传感器110测得的货物15的轮廓形状计算的AGV的轮廓形状。位置和朝向信息取得单元1140基于环境传感器120的位置和朝向(AGV的位置和朝向)来在二维(2D)图上组合AGV的轮廓形状。气球G112是警示警告的示例呈现。例如，当确定单元1160通过使用根据第二示例性实施例的方法、基于由货物信息取得单元1120取得的货物15的变化检测到货物15倒塌或滑动时，气球G112显示警告。箭头G113是基于由确定单元1160确定的控制值的、AGV的预定行进路径的示例呈现。参照图9，AGV正在向目的地G114前进。以这种方式呈现2D图、AGV位置、异常状况警告和移动路径使得用户能够容易地掌握AGV的操作状态。物体G111至G114可以在颜色、线宽和形状上做出改变以使得用户更容易地掌握操作状况。

窗口G120呈现存储在存储单元1150中的三维占有图的例子。物体G121在AGV模型上呈现由货物信息取得单元1120取得的货物15的轮廓形状。物体G122是作为提取障碍物可以接触包括货物15的AGV的轮廓形状的范围的结果的部分图的示例呈现。窗口G110呈现作为此范围内的三维占有图在平坦的地面表面上的投影的二维占有图。以这种方式呈现三维占有图使得用户能够在监视环境中存在的具有不同高度的障碍物与AGV和货物之间的三维接触的同时掌握操作状况。

窗口G130呈现由环境传感器120取得的图像的例子。像窗口G130那样，另一个AGV的行进方向可以用箭头显示。箭头显示是基于从车辆管理系统13取得的信息生成的。

窗口G140呈现由货物传感器110取得的货物15的捕获图像的例子。物体G141是由根据第一示例性实施例的货物信息取得单元1120取得的关于货物15的轮廓形状和位置以及货物类型的信息的示例呈现。箭头G142呈现根据第二示例性实施例的货物15的轮廓形状的例子，该轮廓形状包括从货物15的形状和位置的变化获得的货物15的摇动宽度。尽管在这种情况下显示了与三个轴相关的箭头，但是货物存在的范围可以被显示为线框。这使得用户能够直观地掌握包括货物15的尺寸和位置的货物状况。

窗口G150呈现用于手动地操作AGV的GUI、由位置和朝向信息取得单元1140取得的AGV的位置和朝向、由确定单元1160确定的控制值、以及AGV的目标位置和朝向的例子。通过用手指触摸紧急停止按钮G151,用户可以停止AGV的移动。鼠标光标G152可以响应于用户通过鼠标、控制器和触摸板(未图示)的触摸操作而被移动。GUI中的按钮和单选按钮可以通过使用鼠标光标G152来操作。物体G153是AGV的控制器的示例呈现。通过在控制器内部水平地和垂直地移动圆圈，响应于这些输入，用户可以执行AGV的前后操作和横向操作。物体G154是AGV的内部状态的示例呈现。物体G154图示出AGV正在以0.5m/s自动行进的操作状态的例子。与行进速度一起，物体G154还呈现了自AGV开始行进起的时间、到达目的地的剩余时间、以及诸如与预期到达时间的差值之类的目标位置和朝向。物体G156是用于设置AGV的操作和显示信息的GUI。用户可以执行用于指定是否生成图信息以及是否呈现检测到的物体的操作。物体G157是AGV的目标位置和朝向的示例呈现。物体G157呈现由第二取得单元1140取得的位置和朝向、从车辆管理系统13接收的目的地坐标、以及由AGV运送的物品的名称的例子。以这种方式呈现目标位置和朝向以及与用户输入相关的GUI使得用户能够更直观地操作AGV。

下面将参照图11来描述由信息处理装置10执行的处理。在步骤S565中，生成单元1170基于捕获的图像、由货物信息取得单元1120取得的货物的形状、由位置和朝向信息取得单元1140取得的车辆的位置和朝向、以及由确定单元1160确定的占有图或控制值来生成显示信息。然后，生成单元1170将显示信息输出到显示单元140。

根据第四示例性实施例，生成单元1170基于捕获的图像、由货物信息取得单元1120取得的货物的形状、由位置和朝向信息取得单元1140取得的车辆的位置和朝向、以及由确定单元1160确定的占有图或控制值来生成显示信息。这使得用户能够容易地确认信息处理装置10的状态。用户还输入AGV的控制值、各种参数和显示模式，使得改变和移动AGV的各种设置更加容易。以这种方式呈现GUI使得能够容易地操作AGV。

下面将集中于用于基于车辆的目的地和货物类型来向用户推荐使得能够有效执行任务的运送量和移动路径的信息处理装置描述第五示例性实施例。通常，例如，当几次(或者用几个车辆)运送同一货物时，可以通过对于每次运送装载尽可能大的量的货物来缩短任务所需的总时间。然而，依赖于环境，当运送大量货物时，车辆可以沿着其行进的路径是受限的。在这样的情况下，由于绕道，所以需要的时间可能增加。更具体地说，对于使需要的时间最小化而言最佳的货物量和堆叠货物的方法可以依赖于环境。根据本示例性实施例，考虑到货物尺寸和环境结构，运送量和运送路径的最佳组合被呈现给用户。这使得可以有效地控制车辆。

下面将参照图12来描述信息处理装置10的功能配置的例子。对于与第一示例性实施例的那些功能组件类似的功能组件，它们的冗余描述将被省略。

任务输入单元(第三输入单元)1200输入指示出基于任务将被运送的货物的目的地坐标或总量和尺寸的任务信息。任务信息中包括的目的地坐标将被与存储在存储单元1150中的控制图关联。基于任务将被运送的货物的总量也包括在任务信息中。指示出如下三维形状数据的货物信息假定是已知的，该三维形状数据指示出每一货物单位的尺寸。例如，货物信息指示出货物是立方体和长方形的长方体并且10个货物单位被运送。车辆在一次处理中的运送量(例如，4个货物单位)可以由用户使用UI输入。堆叠货物的方法可以由用户指定。例如，当在车辆上装载四件立方体货物时，用户输入堆叠方法(平坦堆叠(4×1堆叠)、2×2堆叠或简单堆叠(1×4堆叠))。

候选取得单元(第三取得单元)1220基于任务信息和控制图来取得运送量和移动路径的组合的至少一个候选。运送量和移动路径的组合的候选例如是以下信息。对于运送量4和路线1的移动路径的组合，将需要的时间为50秒。对于运送量5和路线1的移动路径的组合，将需要的时间为1分钟。关于这些信息，候选取得单元1220取得考虑到货物的尺寸和车辆的行进环境的结构的运送量和移动路径的组合。当运送多个货物时，因为整个货物的形状随着堆叠方法而改变，所以候选取得单元1220取得堆叠方法的多个变化。

生成单元1170生成用于在显示器上显示由候选取得单元1220取得的候选的显示信息。当向用户推荐运送量时，例如，需要的时间最短的运送量被推荐。在运送量固定的情况下，堆叠方法和路径的候选可以被推荐。当推荐堆叠方法时，移动路径和需要的时间与每种堆叠方法(例如，平坦堆叠或简单堆叠)的候选相关联。当推荐路径时，最佳的运送量或堆叠方法与每个路径的候选相关联。例如，对于短的货物和平坦的货物堆叠，具有部分低的天花板的移动路径可以被推荐。对于具有部分低的天花板的移动路径，可以行进的车辆是有限的，因此多个车辆的混淆可以避免。例如，上述多条信息通过如图13所示的GUI被呈现给用户。图像G160指示基于货物的装载量(运送量)的货物形状的估计值。例如，当运送量为4时，假定货物被装载成如图13所示的阴影部分所绘制的形状。候选取得单元1220通过使用货物的这个形状来取得路径的候选。控制图G171指示出目的地G172和与运送量的候选相对应的路径。该图例如是上述控制图(占有图)。作为示例路径的路线R1包括足够宽度和高度的通路。路线R2具有足够的高度和比路线R1小的宽度。路线R3具有最小宽度和高度的通路。列表G181指示出运送量和移动路径的组合的候选。列表G181还显示与运送量和移动路径相对应的所需时间的预测值。

确定单元1160基于根据运送量和移动路径的组合的候选的预定准则来确定控制值。作为预定准则的例子，需要的时间最短的组合被确定。确定单元1160可以根据用户的指令来确定控制值。可替代地，用户可以通过从诸如图13所示的列表G181之类的列表选择运送量和移动路径的可取组合来确定控制值。根据需要，确定单元1260基于与从货物信息取得单元1120取得的关于实际装载的货物的信息(第一信息)的匹配来确定控制值。

下面将参照图14来描述信息处理系统1执行的处理。在步骤S1410中，信息处理系统1对车辆的当前位置、货物信息、控制图和任务信息进行初始化。在步骤S1420中，任务输入单元1200输入指示出基于任务将被运送的货物的目的地坐标或总量和尺寸的任务信息。在这种情况下，目的地坐标假定被用户输入到任务输入单元1200。关于目的地的信息可以经由通信单元(未图示)从处理管理系统14取得。任务输入单元1200输入指示出货物的总量的任务信息。在步骤S1430中，候选取得单元1220基于任务信息和控制图来取得运送量和移动路径的至少一个组合。首先，基于在步骤S1410中取得的货物信息，候选取得单元1220估计可以被装载在车辆上的货物的量。货物信息是每一货物单位的三维形状数据。车辆的装载空间的三维形状假定是已知的。候选取得单元1220基于车辆的装载空间的三维形状和每一货物单位的三维形状来估计最大运送量。候选取得单元1220还基于货物的量(从一个货物单位到最大运送量)来估计堆叠货物的方法和货物的形状。基于估计的三维形状、任务信息和控制图，候选取得单元1220估计运送量X的货物的车辆可以沿着其行进的移动路径。然后，候选取得单元1220取得行进移动路径所需的时间。在步骤S1440中，生成单元1170生成用于在显示器上显示由候选取得单元1220取得的组合(更具体地说，移动路径)的显示信息。例如，显示信息显示用于估计当货物被装载时的视图的图像、以及从车辆的当前位置到目的地的移动路径。在步骤S1450中，确定单元1160基于根据预定准则的运送量和移动路径的组合的候选来确定控制值。当对于某个运送量存在多个候选时，确定单元1260从候选之中确定满足预定条件的运送量。例如，当用户想要在车辆可以在最短时间内行进的移动路径上行进车辆时，确定单元1260通过将时间指定为条件而确定运送量和移动路径的如下组合，就该组合而言，任务所需的总时间最小化。确定单元1260基于已经确定的运送量和移动路径来获得控制值。根据用户输入，确定单元1260可以从列表G181中呈现的组合候选之中确定运送量或移动路径。在步骤S1460中，货物传感器110捕获装载在车辆上的货物的图像。在步骤S1470中，货物信息取得单元1120基于步骤S1460中捕获的货物的图像来取得货物信息(第一信息)。在步骤S1480中，货物信息取得单元1120将第一信息与货物和控制值的确定的组合进行比较以确认在步骤S1450中确定的货物是否被装载。当货物信息取得单元1120确认指定的货物被正确装载(在步骤S1480中为是)时，处理进行到步骤S1490。另一方面，当已经确定的货物的量与从第一信息获得的货物的量之间的差值大于预定值(例如，大于或小于一个货物单位)(在步骤S1480中为否)时，处理返回到步骤S1450。在步骤S1490中，致动器单元130根据与确定的路径相对应的控制值来行进车辆。上述处理使得能够合适地组合将被装载在车辆上的货物的量和移动路径，从而实现车辆的有效控制。

(其他修改)

当用于实现根据上述示例性实施例的功能中的至少一个的程序经由网络或存储介质被供应给系统或装置、并且该系统或装置的计算机中的至少一个处理器读取并且执行该程序时，本发明也可以得以实现。此外，本发明也可以由用于实现至少一个功能的电路(例如，专用集成电路(ASIC))实现。

根据本发明的环境图像输入单元1130可以是任何类型，只要它输入由安装在车辆上的环境传感器120取得的关于周围环境的信息即可。将被输入的关于周围环境的信息是以下项中的至少一个：正常图像、视差图像、其中深度值被存储在图像的每个像素中的深度图、以及存储有成像装置H19的场景的点的三维坐标的点云。除了这些之外，环境图像输入单元1130还可以输入由三维测量装置(诸如LiDAR相机或ToF相机)测得的三维信息、以及经由通信I/F H17从车辆管理系统13接收的车辆的目标位置和朝向以及当前位置和朝向。与这些信息一起，成像装置H19的参数(诸如焦距、透镜中心和透镜畸变)也可以被输入到信息处理装置10。

根据本发明的位置和朝向信息取得单元1140可以是任何类型，只要它通过使用由环境图像输入单元1130输入的关于周围环境的信息来取得车辆的位置和朝向即可。位置和朝向取得单元1140可以通过使用表示环境中的场景的三维点组和从环境图像输入单元1130输入的深度图来基于ICP算法获得车辆的位置和朝向、或者基于使用灰度图像的SLAM技术来获得车辆的位置和朝向。位置和朝向信息取得单元1140可以通过一起使用Wi-Fi通信状况和安装在环境中的信标来获得车辆的位置和朝向。

根据本发明的存储单元1150可以是任何类型，只要它存储将被参照来控制车辆的控制图即可。控制图可以是任何类型，只要它表示环境结构和空间即可。占有图是控制图的例子。在占有图中，场景被以格子形态划分，并且每个格子的障碍物存在概率被存储。占有图可以被存储为世界坐标系中的三维体素空间(X,Y,Z)或从其排除高度方向信息的二位网格空间(X,Y)。可替代地，像位置和朝向估计图那样，例如，三维点组数据(与颜色信息组合)、一组关键帧数据(与环境中的位置和朝向相关联的深度图和颜色信息的组合)、以及环境的三维模型也是适用的。

根据本发明的货物图像输入单元1110可以是任何类型，只要它输入关于由车辆运送的货物的形状、位置和/或物体类型的信息即可。货物的形状例如是由货物的三维边界框(指示出重心位置的三个参数以及指示出边界框的尺寸的三个参数)所表示的轮廓形状信息。货物的形状也可以用三维点组数据(与颜色信息组合)和三维网数据来表示。另外，货物的形状也可以被表示为像控制图那样的占有图。

根据本发明的确定单元1160可以是任何类型，只要它确定用于控制车辆的移动的控制值即可。例如，基于存储在存储单元1150中的占有图和通过第一输入单元输入的货物形状，确定单元1160确定货物不接触周围环境的控制值。在确定控制值时，确定单元1160通过确定并且提取货物可以接触周围环境的范围的控制图来确定控制值。可替代地，确定单元1160通过使用作为三维控制图在平坦的地面表面上的投影的二维控制图来确定控制值。

本发明也可以通过执行以下处理来实现。更具体地说，用于实现上述示例性实施例的功能的软件(程序)经由数据通信网络或各种类型的存储介质被供应给系统或装置，该系统或装置的计算机(CPU或微处理单元(MPU))读取并且执行该程序。该程序可以以记录在计算机可读记录介质中的形态提供。

其他实施例

本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而通过由系统或装置的计算机执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参照示例性实施例描述了本发明，但是要理解本发明不限于所公开的示例性实施例。权利要求的范围要被给予最广泛的解释以便包含所有的这样的修改以及等同的结构和功能。

Claims (20)

1.一种确定用于控制用以运送货物的车辆的位置的控制值的信息处理装置，该信息处理装置包括：

取得单元，被配置成基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及

确定单元，被配置成基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

2.根据权利要求1所述的信息处理装置，其中，取得单元基于经过学习的模型来取得第一信息，该经过学习的模型输入第一图像并且输出货物的尺寸。

3.根据权利要求1或2所述的信息处理装置，

其中，取得单元基于第二图像来取得车辆的位置，并且

其中，确定单元确定用于从车辆的位置到达预定的目的地位置的控制值。

4.根据权利要求1到3中任一项所述的信息处理装置，其中，第一信息是指示出货物在高度方向上的尺寸的信息。

5.根据权利要求1到4中任一项所述的信息处理装置，其中，确定单元基于在环境中的行进路径上存在的水平差异的高度来确定所述预定距离。

6.根据权利要求1到5中任一项所述的信息处理装置，其中，第一信息是指示出货物在宽度方向上从车辆突出的部分的尺寸的信息。

7.根据权利要求1到6中任一项所述的信息处理装置，其中，第一图像是由安装在车辆上的成像装置捕获的。

8.根据权利要求1到6中任一项所述的信息处理装置，其中，第一图像是由设置在能够观测车辆和货物的位置处的成像装置捕获的。

9.根据权利要求1到8中任一项所述的信息处理装置，其中，第二图像是由安装在车辆上的成像装置捕获的。

10.根据权利要求1到9中任一项所述的信息处理装置，还包括存储单元，该存储单元被配置成存储用于指示出物体在环境中的位置的图，

其中，确定单元基于该图来确定控制值以使得车辆在不存在物体的路径上行进。

11.根据权利要求10所述的信息处理装置，

其中，图是表示三维环境的图，并且

其中，确定单元基于从该图提取的货物的高度来确定控制值以使得车辆在不存在物体的路径上行进。

12.根据权利要求1到11中任一项所述的信息处理装置，

其中，取得单元基于第一图像来取得指示出货物的类型的信息，并且

其中，确定单元基于指示出货物的类型的信息来确定依赖于货物的类型的控制值。

13.根据权利要求1到12中任一项所述的信息处理装置，

其中，取得单元基于第一图像的变化来更新第一信息，并且

其中，在货物的形状变化的情况下，确定单元基于更新的第一信息来确定依赖于货物的形状的控制值。

14.根据权利要求1到13中任一项所述的信息处理装置，还包括显示单元，该显示单元被配置成基于由确定单元确定的控制值来示出指示出车辆的移动路径的显示信息。

15.根据权利要求1到14中任一项所述的信息处理装置，

其中，基于第一信息，取得单元还取得包括货物的高度的环境的三维图，并且

其中，确定单元基于该三维图来确定控制值。

16.一种确定用于控制用以运送货物的车辆的位置的控制值的信息处理装置，该信息处理装置包括：

取得单元，被配置成基于用于识别货物的三维形状的信息和车辆在其中移动的环境的图来取得货物的量和移动路径的组合，用于识别货物的三维形状的信息是基于由安装在车辆上的成像装置捕获的图像而估计的；以及

确定单元，被配置成基于所述组合来确定用于在货物和环境中的物体彼此不干扰的移动路径上行进的控制值。

17.一种确定用于控制用以运送货物的车辆的位置的控制值的信息处理装置，该信息处理装置包括：

取得单元，被配置成基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及

确定单元，被配置成基于第一信息和第二信息来确定用于在货物和物体彼此不碰撞的路径上行进的控制值。

18.一种确定用于控制用以运送货物的车辆的位置的控制值的信息处理方法，该信息处理方法包括：

基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及

基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

19.一种信息处理系统，包括成像装置和信息处理装置，该信息处理装置确定用于控制用以运送货物的车辆的位置的控制值，

其中，成像装置被设置在能够观测车辆和货物的位置处，并且

其中，信息处理装置包括：

取得单元，被配置成基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及

确定单元，被配置成基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

20.一种非暂时性计算机可读存储介质，存储有使计算机执行确定用于控制用以运送货物的车辆的位置的控制值的信息处理方法的程序，该信息处理方法包括：

基于作为货物的捕获图像的第一图像，取得用于识别货物的三维形状的第一信息，并且基于作为车辆在其中移动的环境的捕获图像的第二图像，取得用于识别车辆与环境中的物体之间的距离的第二信息；以及

基于第一信息和第二信息来确定用于防止货物和物体比预定距离更靠近的控制值。

Images