CN113366533A - 图像处理系统、图像处理方法、学习完毕模型的生成方法以及学习用数据集 - Google Patents

Abstract

在本发明的图像处理系统中，数据取得部取得作业机械的搬运物的卸载对象所映现的拍摄图像。区域确定部从拍摄图像确定包含卸载对象的区域。卸载对象确定部从包含卸载对象的区域确定卸载对象的至少一个规定的面。

Description

图像处理系统、图像处理方法、学习完毕模型的生成方法以及 学习用数据集

技术领域

本发明涉及图像处理系统、图像处理方法、学习完毕模型的生成方法以及学习用数据集。

本申请针对2019年2月1日日本提出申请的特愿2019－017400号主张优先权，在此处引用其内容。

背景技术

在专利文献1中公开了通过从由液压挖掘机所具备的拍摄装置拍摄到的图像提取边缘来确定自卸车的卸斗的位置的技术。

现有技术文献

专利文献

专利文献1：日本特开2000－192514号公报

发明内容

发明将要解决的课题

然而，有时在存在装载机械的现场中未铺装道路，在地表生成车辙。若从车辙与自卸车映现的图像提取边缘，则除了自卸车的边缘之外，还产生车辙的边缘。因此，在通过专利文献1所记载的技术从拍摄图像确定自卸车的卸斗位置的情况下，由于车辙的存在，有可能无法适当地确定卸斗的位置。

本发明的目的在于提供能够提高从拍摄图像确定搬运物的卸载对象的处理的鲁棒性的图像处理系统、图像处理方法、学习完毕模型的生成方法以及学习用数据集。

用于解决课题的手段

根据本发明的一方式，图像处理系统具备：数据取得部，其取得作业机械的搬运物的卸载对象所映现的拍摄图像；区域确定部，其从所述拍摄图像确定包含所述卸载对象的区域；以及卸载对象确定部，其从包含所述卸载对象的区域确定所述卸载对象的至少一个规定的面。

发明效果

根据上述方式，图像处理系统能够提高确定卸载对象的处理的鲁棒性。

附图说明

图1是表示一实施方式的装载场的构成的图。

图2是一实施方式的液压挖掘机的外观图。

图3是表示第一实施方式的控制装置的构成的概略框图。

图4是表示第一实施方式的图像的分割的例子的图。

图5是表示神经网络的构成的例子的图。

图6是指引信息的一个例子。

图7是表示第一实施方式的控制装置对指引信息的显示方法的流程图。

图8是表示第一实施方式的分割模型的学习方法的流程图。

图9是表示第二实施方式的控制装置的构成的概略框图。

图10是表示第二实施方式的液压挖掘机的控制方法的流程图。

图11是表示第三实施方式的控制装置的构成的概略框图。

图12是第三实施方式的指引信息的一个例子。

图13是表示第三实施方式的控制装置对指引信息的显示方法的流程图。

图14是表示第五实施方式的图像的分割的例子的图。

图15是表示第五实施方式的控制装置对指引信息的显示方法的流程图。

具体实施方式

〈第一实施方式〉

以下，一边参照附图，一边详细地说明实施方式。

图1是表示一实施方式的装载场的构成的图。

在装载场配备作为装载机械的液压挖掘机100与作为搬运车辆的自卸车200。液压挖掘机100从施工现场掬取砂土等搬运物L，并装载到自卸车200。自卸车200将通过液压挖掘机100装载的搬运物L搬运到规定的卸土场。自卸车200具备收容搬运物L的容器即卸斗210。卸斗210是搬运物L的卸载对象的一个例子。装载场是现场的一个例子。现场指的是由装载机械进行作业的土地。

《液压挖掘机的构成》

图2是一实施方式的液压挖掘机的外观图。

液压挖掘机100具备通过液压工作的工作装置110、支承工作装置110的旋转体120、与支承旋转体120的行驶体130。

工作装置110具备动臂111、斗杆112、铲斗113、动臂缸114、斗杆缸115、与铲斗缸116。

动臂111是支持斗杆112以及铲斗113的支柱。动臂111的基端部经由动臂销P1安装于旋转体120的前部。

斗杆112将动臂111与铲斗113连结。斗杆112的基端部经由斗杆销P2安装于动臂111的前端部。

铲斗113是具有用于挖掘砂土等的铲的容器。铲斗113的基端部经由铲斗销P3安装于斗杆112的前端部。

动臂缸114是用于使动臂111工作的液压缸。动臂缸114的基端部安装于旋转体120。动臂缸114的前端部安装于动臂111。

斗杆缸115是用于驱动斗杆112的液压缸。斗杆缸115的基端部安装于动臂111。斗杆缸115的前端部安装于斗杆112。

铲斗缸116是用于驱动铲斗113的液压缸。铲斗缸116的基端部安装于斗杆112。铲斗缸116的前端部安装于铲斗113。

在旋转体120中具备操作人员搭乘的驾驶室121。在旋转体120的前方并且工作装置110的左侧(+Y侧)具备驾驶室121。

《液压挖掘机的控制系统》

液压挖掘机100具备工作装置位置检测器122、位置方位运算器123、倾斜检测器124、立体相机125、操作装置126、控制装置127、与显示装置128。

工作装置位置检测器122检测工作装置110的角度。第一实施方式的工作装置位置检测器122是检测动臂缸114、斗杆缸115以及铲斗缸116各自的行程长度的行程检测器。由此，后述的控制装置127能够基于动臂缸114、斗杆缸115以及铲斗缸116各自的行程长度来检测工作装置110的角度。另一方面，在其他实施方式中，并不局限于此，作为工作装置位置检测器122，也可以代替行程检测器或者与行程检测器并用来使用IMU、旋转编码器、水平器等角度检测器。

位置方位运算器123运算旋转体120的位置以及旋转体120朝向的方位。位置方位运算器123具备从构成GNSS(Global Navigation Satellite System)的人工卫星接收定位信号的两个接收器。两个接收器分别设置于旋转体120的不同的位置。位置方位运算器123基于至少一方的接收器接收到的定位信号，检测现场坐标系中的旋转体120的代表点(车身坐标系的原点)的位置。

位置方位运算器123使用两个接收器分别接收到的定位信号，基于检测出的两个定位信号所示的位置与两个接收器的接地位置运算旋转体120的方位。另外，其他实施方式的位置方位运算器123也可以取代两个接收器而具备旋转编码器、IMU等其他装置来测量旋转体120的方位。

倾斜检测器124测量旋转体120的加速度以及角速度，并基于测量结果来检测旋转体120的倾斜(例如表示相对于X轴的旋转的侧倾、表示相对于Y轴的旋转的俯仰以及表示相对于Z轴的旋转的横摆)。倾斜检测器124例如设置于驾驶室121的下表面。倾斜检测器124例如能够使用作为惯性测量装置的IMU(Inertial Measurement Unit)。

立体相机125设于驾驶室121的上部。立体相机125设置于驾驶室121内的前方(+X方向)并且上方(+Z方向)。立体相机125通过驾驶室121前面的前挡风玻璃拍摄驾驶室121的前方(+X方向)。立体相机125具备至少一对相机。

操作装置126设于驾驶室121的内部。操作装置126通过由操作人员操作而向工作装置110的促动器供给工作油。根据操作装置126的操作量向动臂缸114、斗杆缸115、铲斗缸116以及未图示的回旋马达供给工作油，工作装置110以及旋转体120驱动。

控制装置127从工作装置位置检测器122、位置方位运算器123、倾斜检测器124以及立体相机125取得信息，生成表示铲斗113与自卸车200的卸斗的位置关系的指引信息。

显示装置128显示控制装置127生成的指引信息。

另外，根据实施方式，液压挖掘机100也可以不具备工作装置位置检测器122、位置方位运算器123、倾斜检测器124、立体相机125以及显示装置128。

《立体相机的构成》

在第一实施方式中，立体相机125具备右侧相机1251以及左侧相机1252。作为各相机的例子，例如可列举使用了CCD(Charge Coupled Device)传感器以及CMOS(Complementary Metal Oxide Semiconductor)传感器的相机。

右侧相机1251与左侧相机1252分别以光轴与驾驶室121的地板面大致平行的方式沿左右方向(Y轴向)隔开间隔地设置。立体相机125是拍摄装置的一个例子。控制装置127能够通过使用右侧相机1251拍摄到的图像与左侧相机1252拍摄到的图像来计算立体相机125与拍摄对象的距离。以下，也将右侧相机1251拍摄到的图像称作右眼图像。另外，也将左侧相机1252拍摄到的图像称作左眼图像。另外，也将立体相机125的各相机拍摄到的图像的组合称作立体图像。另外，在其他实施方式中，立体相机125也可以由三个以上的相机构成。

《控制装置的构成》

图3是表示第一实施方式的控制装置的构成的概略框图。

控制装置127具备处理器91、主存储器92、储存器93、接口94。

在储存器93中存储有用于控制工作装置110的程序。作为储存器93的例子，可列举HDD(Hard Disk Drive)、非易失性存储器等。储存器93可以是与控制装置127的总线直接连接的内部介质，也可以是经由接口94或者通信线路连接于控制装置127的外部介质。储存器93是存储部的一个例子。

处理器91从储存器93读出程序并在主存储器92中展开，按照程序执行处理。此外，处理器91按照程序在主存储器92中确保存储区域。主存储器92是存储部的一个例子。接口94与工作装置位置检测器122、位置方位运算器123、倾斜检测器124、立体相机125、显示装置128、及其他周边设备连接，进行信号的授受。

第一实施方式的控制装置127在显示装置128显示表示作业机械与搬运物的卸载对象的相对位置的指引信息。由此，操作人员即使在难以目视确认卸载对象的情况下，也能够通过参照指引信息来识别卸载对象。

因此，处理器91通过程序的执行而具备数据取得部1701、区域确定部1702、三维数据生成部1703、卸载对象确定部1704、模型拟合部1705、工作装置位置确定部1706、指引信息生成部1707、显示控制部1708、学习部1709。另外，在储存器93中存储相机参数CP、分割模型M以及对象模型D。相机参数CP指的是表示旋转体120与右侧相机1251的位置关系以及旋转体120与左侧相机1252的位置关系的信息。对象模型D是表示卸斗210的形状的三维数据。

另外，程序也可以用于实现使控制装置127发挥的功能的一部分。例如程序也可以通过与已存储于储存器93的其他程序的组合、或者与安装于其他装置的其他程序的组合来发挥功能。另外，在其他实施方式中，控制装置127也可以除了上述构成之外、或者取代上述构成而具备PLD(Programmable Logic Device)等定制LSI(Large Scale IntegratedCircuit)。作为PLD的例子，可列举PAL(Programmable Array Logic)、GAL(Generic ArrayLogic)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable GateArray)。在该情况下，由处理器实现的功能的一部分或者全部也可以通过该集成电路来实现。

数据取得部1701经由接口94从工作装置位置检测器122、位置方位运算器123、倾斜检测器124以及立体相机125取得数据。即，数据取得部1701取得工作装置110的角度、旋转体120的位置、方位以及倾斜、还有立体图像。数据取得部1701是图像取得部的一个例子。以下，也将旋转体120的位置、方位以及倾斜称作旋转体120的姿势。此外，由于立体相机125设于旋转体120，因此旋转体120的位置、方位以及倾斜表示立体相机125的姿势。

图4是表示第一实施方式的图像的分割的例子的图。

区域确定部1702将数据取得部1701取得的立体图像的右眼图像输入到存储于储存器93的分割模型M，从而将右眼图像分割为已知的多个物体所对应的多个区域。例如区域确定部1702如图4所示那样生成将作为输入图像的右眼图像分割为与自卸车200的车身、卸斗210、搬运物L、工作装置110以及地面这五个物体对应的多个区域的分段图像。另外，已知的多个物体至少包含作为装载对象的卸斗210。分段图像的各像素的值采取表示与该像素对应的输入图像的像素中映现的物体的种类的值。即，分段图像被分为由采取相同的值的多个像素构成的多个区域(区段)。区域确定部1702基于分割模型M的分段图像，在数据取得部1701取得的立体图像中确定卸斗映现的区域。

分割模型M包含图5所示的神经网络140。图5是表示神经网络的构成的例子的图。分割模型M例如由DNN(Deep Neural Network)的学习完毕模型实现。学习完毕模型由学习模型与学习完毕参数的组合构成。

如图5所示，神经网络140包含输入层141、一个或者多个中间层142(隐藏层)以及输出层143。各层141、142、143具备一个或者多个神经元。中间层142的神经元的数量可以适当设定。输出层143能够根据输出图像的尺寸适当设定。

相互邻接的层的神经元彼此结合，并对各结合设定了权重(结合载荷)。神经元的结合数也可以适当设定。对各神经元设定阈值，根据向各神经元的输入值与权重的积的和是否超过了阈值来决定各神经元的输出值。

输入层141被输入图像。向输入层141输入的图像是相当于多个区域(多个物体)的至少一个的物体所映现的图像。输出层143被输入各像素的值采取表示向与该像素对应的输入层141输入的图像的对应的像素中映现的物体的种类的值的分段图像。即，分割模型M是以如下方式训练了的学习完毕模型：若被输入图像，则输出按照该图像映现的物体类别的分区后的分段图像。

分割模型M例如使用以在装载场拍摄到的图像作为学习数据、以按照自卸车200的车身、卸斗210、搬运物L、工作装置110以及地面的每个划分了像素的值的分段图像作为教师数据的学习用数据集而训练。另外，在本实施方式中，“学习数据”指的是在训练学习模型时输入到输入层的数据。在本实施方式中，“教师数据”指的是成为用于与神经网络140的输出层的值比较的正解的数据。在本实施方式中，“学习用数据集”指的是学习数据与教师数据的组合。

通过学习而获得的分割模型M的学习完毕参数存储于储存器93。学习完毕参数例如包含神经网络140的层数、各层中的神经元的个数、神经元彼此的结合关系、各神经元间的结合的权重以及各神经元的阈值。

作为分割模型M的神经网络140的构成，使用通常用于图像分割的DNN构成。分割模型M也可以通过在现有的学习完毕的分割模型中使用上述的学习用数据集而进行迁移学习而成。另外，其他实施方式的分割模型M也可以通过无监督学习或者强化学习训练而成。

三维数据生成部1703基于区域确定部1702确定的卸斗210所映现的区域，从立体图像的右眼图像以及左眼图像的各个提取由该区域所涉及的像素构成的部分右眼图像以及部分左眼图像。另外，三维数据生成部1703也可以不仅从被分类为卸斗210的区域、还从也包含被分类为卸斗210的区域的附近的区域提取部分右眼图像以及部分左眼图像。例如三维数据生成部1703也可以提取将与被分类为卸斗210的区域外接的矩形上下左右扩展了规定像素数的区域作为部分右眼图像以及部分左眼图像。另外，通过提取还包含被分类为卸斗210的区域的附近的区域，即使在由于分割的错误而将卸斗的一部分分类为其他物体的情况下，也能够防止卸斗210映现的区域的缺失。

三维数据生成部1703基于部分右眼图像以及部分左眼图像、存储于储存器93的相机参数CP、数据取得部1701取得的旋转体120的位置、方位以及倾斜，生成表示卸斗210映现的区域的现场坐标系中的位置的点群数据。具体而言，三维数据生成部1703通过以下的方法生成点群数据。首先，三维数据生成部1703通过基于部分右眼图像、部分左眼图像、相机参数CP的三角测量，生成车身坐标系所涉及的点群数据。接下来，三维数据生成部1703基于旋转体120的位置、方位以及倾斜，将车身坐标系中的各点的位置转换为现场坐标系中的各点的位置。点群数据是表示拍摄图像的被拍摄体的三维形状的三维数据的一个例子。在其他实施方式中，作为三维数据，也可以使用深度图像、多边形、CAD模型等。

卸载对象确定部1704对于三维数据生成部1703生成的点群数据的各点，确定三维特征量(3D点群特征量)。作为三维特征量的例子，可列举法线特征、SHOT(Signature ofHistograms of OrienTations)特征、PFH(Point Feature Histograms)特征等。例如点群所含的点(关注点)的法线特征能够通过求出关注点的周围的点群的协方差矩阵的最小固有值所涉及的固有矢量而获得。卸载对象确定部1704基于特征量，按照卸斗210的每个面将点群数据分组。具体而言，卸载对象确定部1704基于特征量，将点群数据分为相当于前面板的组、相当于侧挡板的组、相当于后挡板的组以及相当于底面的组。另外，这里列举的点群数据的分割方法是一个例子，也可以分为上述四个以外的组。例如，在其他实施方式中，由于被卸载对象隐藏的可能性较高，因此卸载对象确定部1704也可以不进行向相当于底面的组的分组。卸载对象确定部1704是卸斗面确定部的一个例子。

模型拟合部1705基于按照每个面分组的点群数据的位置，在由现场坐标系表示的虚拟空间配置对象模型D，从而确定卸斗210的现场坐标系中的位置、方位以及倾斜。例如模型拟合部1705以使点群数据的组的代表性的法线特征与卸斗210的各面的法线特征在规定的误差范围内一致的方式配置对象模型D。另外，其他实施方式的模型拟合部1705也可以确定车身坐标系或者相机坐标系中的各面的位置。模型拟合部1705是姿势确定部的一个例子。模型拟合部1705是姿势确定部的一个例子。

工作装置位置确定部1706基于数据取得部1701取得的工作装置110的角度与旋转体120的位置、方位以及倾斜，确定现场坐标系中的动臂111、斗杆112以及铲斗113的位置。

指引信息生成部1707基于模型拟合部1705确定的卸斗210的位置、工作装置位置确定部1706确定的动臂111、斗杆112以及铲斗113的位置、数据取得部1701取得的旋转体120的位置、方位以及倾斜，生成表示卸斗210与铲斗113的位置关系的指引信息。

图6是指引信息的一个例子。指引信息生成部1707例如如图6所示，基于工作装置位置确定部1706确定的动臂111、斗杆112以及铲斗113的位置和旋转体120的位置、方位以及倾斜，在虚拟空间上配置液压挖掘机100的三维模型。此外，指引信息生成部1707以使自卸车200的三维模型的三维特征量与模型拟合部1705确定的卸斗210的三维特征量之差成为最小的方式配置液压挖掘机100的三维模型。指引信息生成部1707通过从任意的视点绘制在虚拟空间上配置的液压挖掘机100以及自卸车200，生成表示液压挖掘机100的铲斗113与自卸车200的卸斗210的位置关系的指引信息。

另外，其他实施方式的指引信息也可以不以图形的方式描绘铲斗113与卸斗210的位置关系。例如其他实施方式的指引信息也可以是在从上方的俯视时表示铲斗113是否位于卸斗210的外框内的信息。另外，其他实施方式的指引信息可以是针对于铲斗113的目标的挖掘位置的显示或者铲斗113的挖掘位置的指引信息(例如表示现状的铲斗113的位置与目标的挖掘位置的差分的信息或者显示)。另外，也可以是表示到目标的挖掘位置需要多少操作的信息或者显示。另外，也可以至少仅显示卸斗210与铲斗113。

显示控制部1708将显示指引信息的显示信号向显示装置128输出。

学习部1709进行分割模型M的学习处理。另外，学习部1709也可以设于与控制装置127独立的装置。在该情况下，将在独立的装置中学习的学习完毕模型记录于储存器93。

《显示方法》

图7是表示第一实施方式的控制装置对指引信息的显示方法的流程图。

首先，数据取得部1701经由接口94从工作装置位置检测器122取得工作装置110的角度，从位置方位运算器123取得旋转体120的位置以及方位，从倾斜检测器124取得旋转体120的倾斜，从立体相机125取得立体图像(步骤S1)。另外，在其他实施方式中，数据取得部1701也可以不取得工作装置110的角度、旋转体120的位置、方位以及倾斜。接下来，区域确定部1702将数据取得部1701取得的立体图像的右眼图像向存储于储存器93的分割模型M输入，从而获得按照映现的每个物体分割为多个区域的分段图像(步骤S2)。另外，在其他实施方式中，区域确定部1702也可以从左眼图像获得分段图像。区域确定部1702基于分段图像，在数据取得部1701取得的立体图像中确定卸斗映现的区域(步骤S3)。

三维数据生成部1703分别从立体图像的右眼图像以及左眼图像提取在步骤S3中确定的卸斗210映现的区域所涉及的部分右眼图像以及部分左眼图像(步骤S4)。三维数据生成部1703通过基于部分右眼图像以及部分左眼图像、相机参数CP的三角测量，生成车身坐标系所涉及的点群数据(步骤S5)。接下来，三维数据生成部1703基于在步骤S1中取得的旋转体120的位置、方位以及倾斜，将点群数据的车身坐标系中的各点的位置转换为现场坐标系中的各点的位置(步骤S6)。即，三维数据生成部1703基于在步骤S1中取得的旋转体120的位置使点群数据平行移动，基于方位以及倾斜使点群数据旋转。另外，从车身坐标系向现场坐标系的坐标转换也可以在后述的步骤S7之后或者步骤S8之后进行。

卸载对象确定部1704对于在步骤S6中获得的点群数据的各点确定三维特征量，基于三维特征量将点群数据按照卸斗210的每个面分组(步骤S7)。由此，卸载对象确定部1704能够从点群数据确定卸斗210的各面。

模型拟合部1705以使各组的点群数据的三维特征量与存储于储存器93的对象模型D的三维特征量之差成为最小的方式，在由现场坐标系表示的虚拟空间配置对象模型D，从而确定卸斗210的现场坐标系中的位置、方位以及倾斜(步骤S8)。模型拟合部1705基于点群数据将对象模型D配置于虚拟空间，从而即使在立体图像中卸斗210的一部分等被障碍物隐藏的情况下，也能够推断卸斗210的隐藏的部分，能够提高卸斗210的识别精度。另外，在其他实施方式中，模型拟合部1705也可以通过对在步骤S7中分组的后的某一面或者某一面的特定的点、与对象模型D的对应的面或者特定的点进行拟合，从而在现场坐标系中配置对象模型D。另外，控制装置127即使不进行对象模型D的拟合，也能够从在步骤S7中确定的各面确定卸斗210的位置、方位以及倾斜。例如控制装置127能够从确定的多个面的重心位置等确定卸斗210的位置，从相当于前面板或者后挡板的面的法线方向确定卸斗的方位，进而从卸斗210的底面的法线方向确定卸斗的倾斜。另一方面，点群数据中的各面不一定能够准确地提取，因此控制装置127通过进行对象模型D的拟合，能够在卸斗210的位置、方位以及倾斜的确定中进一步提高鲁棒性。

工作装置位置确定部1706基于数据取得部1701取得的工作装置110的角度与旋转体120的位置、方位以及倾斜，确定现场坐标系中的动臂111、斗杆112以及铲斗113的位置(步骤S9)。

指引信息生成部1707基于在步骤S8中确定的卸斗210的位置、方位以及倾斜、在步骤S9中确定的动臂111、斗杆112以及铲斗113的位置、在步骤S1中取得的旋转体120的位置、方位以及倾斜，生成图6所示的指引信息(步骤S10)。显示控制部1708将显示指引信息的显示信号向显示装置128输出(步骤S11)。

《学习方法》

图8是表示第一实施方式的分割模型的学习方法的流程图。数据取得部1701取得学习数据(步骤S101)。例如分割模型M中的学习数据是在装载场拍摄到的图像、或者由3DCG、CAD数据生成的图像。在分割模型M的学习中使用的多个学习数据至少包含卸斗210映现的图像。学习数据也可以从立体相机125拍摄的图像取得。另外，也可以从其他作业机械拍摄到的图像取得。

接下来，学习部1709进行分割模型M的学习。学习部1709将在步骤S101中取得的学习数据与分割为学习数据的图像中映现的物体所对应的多个区域的分段图像即教师数据的组合作为学习用数据集，进行分割模型M的学习(步骤S102)。例如学习部1709将学习数据用作输入来进行神经网络140的正向传播方向的运算处理。由此，学习部1709获得从神经网络140的输出层143输出的输出值。另外，学习用数据集也可以存储于主存储器92、或者储存器93。接下来，学习部1709计算来自输出层143的输出值与教师数据的误差。学习部1709基于计算出的输出值的误差，更新各神经元间的结合的权重。

学习部1709将学习用数据集中的未使用于分割模型M的学习的数据集作为评价数据集，将评价数据集所涉及的学习数据向分割模型M输入，判定来自分割模型M的输出值是否与评价数据集所涉及的教师数据一致(步骤S103)。另外，如果输出值与教师数据不同的像素的数量在规定数量以内，则也可以判定为一致。在来自分割模型M的输出值与教师数据不一致的情况下(步骤S103：NO)，重复上述的处理，直至来自分割模型M的输出值与教师数据一致。由此，分割模型M的参数得以优化，能够使分割模型M学习。

在来自分割模型M的输出值与教师数据一致的情况下(步骤S103：YES)，学习部1709将包含通过学习而优化的参数的学习完毕模型即分割模型M记录于储存器93(步骤S104)。

《作用·效果》

如此，根据第一实施方式，控制装置127从搬运物L的卸载对象即卸斗210映现的拍摄图像确定卸斗210映现的区域，基于该区域确定卸斗210的位置。如此，第一实施方式的控制装置127能够无关于图像所含的边缘地确定卸载对象的位置。由此，第一实施方式的控制装置127即使在由于卸载对象的变形等而难以检测边缘的情况下，也能够提高确定搬运物L的卸载对象的位置的处理的鲁棒性。另外，若在卸斗210上堆叠搬运物L，则卸斗210整体的表面形状变化，但通过确定卸斗210映现的区域，能够识别搬运物L与卸斗210，因此能够提高所识别的鲁棒性。另外，根据实施方式，也可以不实施图7所示的控制装置127的处理中的步骤S2～步骤S6、步骤S8～S11的处理。

另外，第一实施方式的控制装置127显示指引信息。由此，即使在操作人员由于液压挖掘机100与自卸车200的相对位置而难以目视确认卸斗210的情况下，控制装置127也能够使操作人员识别卸载对象。另外，通过以作为指引信息显示的卸斗210为指标操作工作装置110，能够提高作业效率。

另外，根据第一实施方式，控制装置127基于分割模型M与拍摄图像在拍摄图像中确定所述卸载对象映现的区域。已知能够通过机器学习下的学习完毕模型高精度地实现图像所含的物体的区分即分割，因此，根据第一实施方式，控制装置127通过使用分割模型M识别卸斗210，能够高精度地确定卸斗210的规定的部分的位置。另外，在其他实施方式中，并不局限于此，控制装置127也可以通过机器学习技术以外的方法在图像上进行映现的物体的区分。

另外，根据第一实施方式，控制装置127使用所确定的区域的部分右眼图像以及部分左眼图像生成点群数据。由此，与使用立体图像的全部像素生成点群数据的情况比较，能够减少计算量。另外，由于省略了通过分割确定的区域以外的多余区域(例如搬运物L、工作装置110、地面等区域)，因此能够减少噪声混入卸载对象确定部1704的点群数据的组中的可能性。另外，其他实施方式的控制装置127也可以使用立体图像的全像素生成点群数据，提取从该点群数据确定的区域所涉及的部分。

另外，在其他实施方式中，也可以取代立体图像，而是使用激光扫描仪生成的距离图像生成三维数据。

另外，第一实施方式的控制装置127根据拍摄图像生成点群数据，基于旋转体120的位置、方位以及倾斜，将点群数据配置于现场坐标系。由此，即使在立体相机125的位置、方位以及倾斜由于液压挖掘机100的动作而改变的情况下，也能够确定现场坐标系中的卸斗210的位置、方位以及倾斜。另外，在其他实施方式中，在立体相机125固设于施工现场的情况下，也可以不获得旋转体120的位置、方位以及倾斜地将点群数据配置于现场坐标系。

〈第二实施方式〉

以下，一边参照附图一边对第二实施方式进行说明。第一实施方式的控制装置127基于所确定的卸斗210的位置、方位以及倾斜生成指引信息，并将其向操作人员提示。与此相对，第二实施方式的控制装置127基于所确定的卸斗210的位置、方位以及倾斜控制工作装置的装载作业。

《控制装置的构成》

图9是表示第二实施方式的控制装置的构成的概略框图。

第二实施方式的处理器91取代第一实施方式的指引信息生成部1707以及显示控制部1708而具备作业机械控制部1711。

作业机械控制部1711在由操作人员按下了设于操作装置126的自动装载按钮的情况下，基于模型拟合部1705确定的卸斗210的位置、方位以及倾斜，控制旋转体120以及工作装置110的行为。

《液压挖掘机的控制方法》

图10是表示第二实施方式的液压挖掘机的控制方法的流程图。

若自动装载按钮被按下，则控制装置127通过与第一实施方式的步骤S1至步骤S9相同的处理，确定卸斗210以及工作装置110的现场坐标系中的位置。然后，作业机械控制部1711基于卸斗210以及工作装置110的现场坐标系中的位置，生成旋转体120以及工作装置110的控制信号并输出(步骤S31)。

例如作业机械控制部1711在铲斗113的高度比卸斗210的高度低的情况下，生成提升动臂111的控制信号。作业机械控制部1711在铲斗113的高度为卸斗210的高度以上的情况下，停止提升动臂111的控制信号的输出，开始使旋转体120回旋的控制信号的输出。作业机械控制部1711在铲斗113的高度为卸斗210的高度以上并且从铲斗113的上方俯视时的位置位于根据卸斗210的位置确定的卸斗210的范围内的情况下，停止使旋转体120回旋的控制信号的输出，生成使铲斗113倾卸的控制信号。

《作用·效果》

如此，根据第二实施方式，控制装置127能够基于拍摄图像自动控制液压挖掘机100。

〈第三实施方式〉

以下，一边参照附图一边对第三实施方式进行说明。第三实施方式的控制装置127使表示卸斗210中的搬运物L的量的分布的卸斗图显示于显示装置128。由此，控制装置127使操作人员识别用于将搬运物L平衡良好地装载于卸斗210的搬运物L的卸载位置。

图11是表示第三实施方式的控制装置的构成的概略框图。

第三实施方式的控制装置127取代第一实施方式的工作装置位置确定部1706而具备分布确定部1721。另外，第三实施方式的区域确定部1702、三维数据生成部1703、指引信息生成部1707与第一实施方式相比处理不同。

区域确定部1702除了立体图像中的卸斗210映现的区域之外，还确定搬运物L映现的区域。

三维数据生成部1703生成卸斗210映现的区域的三维数据即卸斗点群数据以及搬运物L映现的区域的三维数据即搬运物点群数据。另外，三维数据生成部1703也可以不仅从被分类为搬运物L的区域、还从也包含被分类为搬运物L的区域的附近的区域生成搬运物点群数据。例如三维数据生成部1703也可以基于将与被分类为搬运物L的区域外接的矩形上下左右扩展了规定像素数的区域生成搬运物点群数据。另外，通过提取还包含被分类为搬运物L的区域的附近的区域，即使在由于分割的错误而将搬运物L的一部分分类为其他物体的情况下，也能够防止搬运物L映现的区域的缺失。

分布确定部1721基于模型拟合部1705确定的卸斗210的底面的三维位置与三维数据生成部1703生成的搬运物点群数据，生成表示卸斗210中的搬运物L的量的分布的卸斗图。卸斗图例如是以卸斗210的底面为基准的搬运物L的立面(elevation)图。

指引信息生成部1707根据分布确定部1721生成的卸斗图生成指引信息。

图12是第三实施方式的指引信息的一个例子。指引信息生成部1707例如如图12所示，生成指引信息，该指引信息显示表示从卸斗210的底面到搬运物L的表面的高度的分布的二维的热图。图12所示的热图中的纵向以及横向的分割的粒度是一个例子，在其他实施方式中，并不限定于此。另外，其他实施方式的热图例如也可以表示搬运物L的高度相对于卸斗210的堆叠上限所涉及的高度的比例。

《显示方法》

图13是表示第三实施方式的控制装置对指引信息的显示方法的流程图。

首先，数据取得部1701经由接口94从位置方位运算器123取得旋转体120的位置以及方位，从倾斜检测器124取得旋转体120的倾斜，从立体相机125取得立体图像(步骤S51)。另外，在其他实施方式中，数据取得部1701也可以不取得工作装置110的角度、旋转体120的位置、方位以及倾斜。接下来，区域确定部1702通过将数据取得部1701取得的立体图像向存储于储存器93的分割模型M输入，从而获得按照映现的每个物体分割为多个区域的分段图像(步骤S52)。区域确定部1702基于分段图像，在数据取得部1701取得的立体图像中确定卸斗210映现的区域以及搬运物L映现的区域(步骤S53)。

三维数据生成部1703分别从立体图像的右眼图像以及左眼图像提取在步骤S3中确定的卸斗210映现的区域所涉及的部分右眼图像以及部分左眼图像及搬运物L映现的区域所涉及的部分右眼图像及部分左眼图像(步骤S54)。三维数据生成部1703通过基于卸斗210映现的区域所涉及的部分右眼图像以及部分左眼图像与相机参数CP的三角测量，生成车身坐标系所涉及的卸斗点群数据。另外，三维数据生成部1703通过基于搬运物L映现的区域所涉及的部分右眼图像以及部分左眼图像与相机参数CP的三角测量，生成车身坐标系所涉及的搬运物点群数据。(步骤S55)。三维数据生成部1703基于旋转体120的位置、方位以及倾斜，将卸斗点群数据以及搬运物点群数据的车身坐标系中的各点的位置转换为现场坐标系中的各点的位置(步骤S56)。

卸载对象确定部1704对于在步骤S56中获得的卸斗点群数据的各点确定三维特征量，基于三维特征量将卸斗点群数据按照卸斗210的每个面分组(步骤S57)。模型拟合部1705以使各组的卸斗点群数据的三维特征量与存储于储存器93的对象模型D的三维特征量之差成为最小的方式，将对象模型D配置于由现场坐标系表示的虚拟空间，从而确定卸斗210的现场坐标系中的位置、方位以及倾斜(步骤S58)。

分布确定部1721基于在步骤S55中生成的搬运物点群数据与在步骤S58中配置的对象模型D，以卸斗210的底面为基准高度，生成表示铅垂上方向的高度的立面图即卸斗图(步骤S59)。卸斗图可包含不具有高度数据的栅格。另外，在步骤S5中，点群数据被转换为卸斗坐标系的情况下，分布确定部1721能够通过求出以XY平面为基准高度、以Z轴方向为高度方向的立面图而生成卸斗图。

指引信息生成部1707基于卸斗图，生成图12所示的指引信息(步骤S60)。显示控制部1708将显示指引信息的显示信号向显示装置128输出(步骤S61)。

《作用·效果》

如此，根据第三实施方式，控制装置127基于拍摄图像，确定搬运物L的表面以及卸斗210的底面的三维位置，并基于它们生成表示卸斗210中的搬运物L的量的分布的卸斗图。由此，控制装置127能够确定卸斗210中的搬运物L的分布。操作人员通过识别卸斗210中的搬运物L的分布，能够识别用于将搬运物L平衡良好地装载于卸斗210的搬运物L的卸载位置。

另外，在第三实施方式中，控制装置127基于卸斗图生成指引信息，但并不限定于此。例如在其他实施方式中，控制装置127也可以基于卸斗图如第二实施方式那样控制液压挖掘机100。例如作业机械控制部1711在铲斗113的高度比卸斗210的高度或者卸斗图中的搬运物L的分布的峰值的高度低的情况下，生成提升动臂111的控制信号。作业机械控制部1711在铲斗113的高度为卸斗210的高度以及卸斗图中的搬运物L的分布的峰值的高度以上的情况下，停止提升动臂111的控制信号的输出，开始使旋转体120回旋的控制信号的输出。作业机械控制部1711在铲斗113的高度为卸斗210的高度以及卸斗图中的搬运物L的分布的峰值的高度以上、并且从铲斗113的上方俯视时的位置位于根据卸斗210的位置确定的卸斗210的范围内的情况下，停止使旋转体120回旋的控制信号的输出，生成使铲斗113倾卸的控制信号。

〈第四实施方式〉

第三实施方式的控制装置127通过使对象模型D与卸斗点群数据匹配来确定卸斗210的底面的三维位置。与此相对，第四实施方式的控制装置127不使用对象模型D地确定卸斗210的底面的三维位置。即，第四实施方式的控制装置127也可以不在储存器93中存储对象模型D。

第四实施方式的模型拟合部1705基于卸斗点群数据，使没有顶面的立方体多边形变形为与该卸斗点群数据最匹配。模型拟合部1705将匹配后的立方体多边形的底面的位置确定为卸斗210的底面的位置。

如此，根据第四实施方式，无需使用卸斗210的对象模型D，就能够确定卸斗210的底面的位置。此外，根据第四实施方式，即使在卸斗点群数据中包含噪声，也能够确定卸斗210的底面的位置。

〈第五实施方式〉

图14是表示第五实施方式的图像的分割的例子的图。

在由第一至第四实施方式的分割模型M生成的分段图像中，利用一个区段表示了卸斗210映现的区域。第五实施方式的分割模型M使用被训练成对于卸斗210映现的图像如图14所示那样生成分为防护框映现的区域、前面板映现的区域、侧挡板映现的区域以及后挡板映现的区域的分段图像的模型。

第五实施方式的控制装置127也可以不具备第一实施方式的构成中的卸载对象确定部1704。另一方面，第五实施方式的控制装置127的区域确定部1702、三维数据生成部1703以及模型拟合部1705的动作不同。

区域确定部1702将由数据取得部1701取得的立体图像的右眼图像向存储于储存器93的分割模型M输入，从而将右眼图像分割为与已知的多个物体对应的多个区域。此时，已知的多个物体至少包含防护框、前面板、侧挡板以及后挡板。

三维数据生成部1703根据立体图像生成防护框、前面板、侧挡板以及后挡板各自的区域所涉及的点群数据。

模型拟合部1705基于防护框、前面板、侧挡板以及后挡板各自的点群数据的位置，在由现场坐标系表示的虚拟空间中配置对象模型D，从而确定卸斗210的现场坐标系中的位置、方位以及倾斜。

《显示方法》

图15是表示第五实施方式的控制装置对指引信息的显示方法的流程图。

首先，数据取得部1701经由接口94从工作装置位置检测器122取得工作装置110的角度，从位置方位运算器123取得旋转体120的位置以及方位，从倾斜检测器124取得旋转体120的倾斜，从立体相机125取得立体图像(步骤S71)。另外，在其他实施方式中，数据取得部1701也可以不取得工作装置110的角度、旋转体120的位置、方位以及倾斜。接下来，区域确定部1702将数据取得部1701取得的立体图像向存储于储存器93的分割模型M输入，从而获得按照映现的每个物体分割为多个区域的分段图像(步骤S72)。区域确定部1702基于分段图像，在数据取得部1701取得的立体图像中按照卸斗210的每个面确定区域(步骤S73)。即，区域确定部1702分别确定防护框映现的区域、前面板映现的区域、侧挡板映现的区域以及后挡板映现的区域。

三维数据生成部1703分别从立体图像的右眼图像以及左眼图像中提取在步骤S73中确定的各面所涉及的部分右眼图像以及部分左眼图像(步骤S74)。三维数据生成部1703通过基于部分右眼图像以及部分左眼图像、相机参数CP的三角测量，生成车身坐标系所涉及的各面的点群数据(步骤S75)。接下来，三维数据生成部1703基于旋转体120的位置、方位以及倾斜，将各面的点群数据的车身坐标系中的各点的位置转换为现场坐标系中的各点的位置(步骤S76)。此时，点群数据在不确定三维特征量的情况下，已经被分为每个面的组。

模型拟合部1705以使各组所涉及的点群数据的位置与存储于储存器93的对象模型D的各面的位置之差成为最小的方式将对象模型D配置于由现场坐标系表示的虚拟空间，从而确定卸斗210的现场坐标系中的位置、方位以及倾斜(步骤S77)。

工作装置位置确定部1706基于数据取得部1701取得的工作装置110的角度与旋转体120的位置、方位以及倾斜，确定现场坐标系中的动臂111、斗杆112以及铲斗113的位置(步骤S78)。

指引信息生成部1707基于在步骤S77中确定的卸斗210的位置、方位以及倾斜、在步骤S78中确定的动臂111、斗杆112以及铲斗113的位置、在步骤S71中取得的旋转体120的位置、方位以及倾斜，生成指引信息(步骤S79)。显示控制部1708将显示指引信息的显示信号向显示装置128输出(步骤S80)。

《作用·效果》

如此，根据第五实施方式，控制装置127的分割模型M将卸斗210的各面分割为不同的区域。由此，控制装置127能够不计算三维特征量地进行三维数据与三维模型的匹配。

〈其他实施方式〉

以上，参照附图详细地说明了一个实施方式，但具体构成并不限定于上述，能够进行各种设计变更等。

例如在上述的实施方式中，控制装置127基于三角测量根据立体图像生成三维数据，但并不限定于此。例如其他实施方式的控制装置127也可以使用通过输入立体图像而输出深度图像的学习完毕模型生成三维数据。此外，在其他实施方式中，分割模型M也可以被学习为通过输入立体图像而输出被分割为每个物体的区域的深度图像。

另外，在上述的实施方式中，控制装置127确定卸斗210的位置、方位以及倾斜，但在其他实施方式中，并不限定于此。例如其他实施方式的控制装置127也可以确定卸斗210的位置，不确定方位以及倾斜。此外，例如其他实施方式的控制装置127也可以确定卸斗210的位置以及方位，不确定倾斜。

另外，上述的实施方式的控制装置127搭载于液压挖掘机100，但并不限定于此。例如其他实施方式的控制装置127也可以设于远程的服务器装置。另外，控制装置127也可以由多个计算机实现。在该情况下，也可以将控制装置127的一部分的构成设于远程的服务器装置。即，控制装置127也可以作为由多个装置构成的图像处理系统而安装。另外，液压挖掘机100也可以是完全自主型、一部分自主型的液压挖掘机。另外，也可以将显示指引信息的显示信号发送至用于对作业机械进行远程操作的远程驾驶室。

另外，上述的实施方式的卸载对象是自卸车200的卸斗210，但并不限定于此。例如其他实施方式的卸载对象也可以是料斗等其他卸载对象。

另外，在上述的实施方式中使用流程图说明的动作并不限定于按照上述的顺序执行。例如在图7所示的指引信息的显示方法中，在步骤S6中将点群数据的坐标系转换为现场坐标系之后，进行步骤S7中的面的分组以及步骤S8中的卸斗的姿势确定，但并不限定于此。例如在其他实施方式中，也可以在步骤S7中的面的分组或者步骤S8中的卸斗的姿势确定之后进行坐标转换。同样，可以也对于其他动作更换适当处理的顺序。

另外，在上述的实施方式中，由液压挖掘机100的控制装置确定卸斗210的位置，但并不限定于此。例如在其他实施方式中，也可以由移动式起重机等其他作业机械的控制装置、自卸车、轮式装载机、推土机等作业机械的控制装置、或者设置在现场的监视装置确定卸斗210的位置。

工业上的可利用性

根据本发明的公开，图像处理系统能够提高确定卸载对象的处理的鲁棒性。

附图标记说明

100…液压挖掘机 110…工作装置 120…旋转体 130…行驶体 122…工作装置位置检测器 123…位置方位运算器 124…倾斜检测器 125…立体相机 127…控制装置128…显示装置 1701…数据取得部 1702…区域确定部 1703…三维数据生成部 1704…卸载对象确定部 1705…模型拟合部 1706…工作装置位置确定部 1707…指引信息生成部1708…显示控制部 1709…学习部。

Claims (12)

1.一种图像处理系统，具备：

数据取得部，其取得作业机械的卸斗所映现的拍摄图像；

区域确定部，其从所述拍摄图像确定包含所述卸斗的区域；以及

卸斗面确定部，其从由所述区域确定部确定的区域确定所述卸斗的至少一个规定的面。

2.根据权利要求1所述的图像处理系统，其中，

所述区域确定部基于分割模型与所述拍摄图像，确定包含所述卸斗的区域，该分割模型是如下学习完毕模型：通过输入输入图像，输出多个像素各自的值采取表示与该像素对应的所述输入图像的像素中映现的物体的种类的值的输出图像。

3.根据权利要求1或2所述的图像处理系统，其中，

具备基于所确定的所述面确定所述卸斗的位置的姿势确定部。

4.根据权利要求3所述的图像处理系统，其中，

所述姿势确定部基于所确定的所述面进一步确定所述卸斗的方位以及姿势。

5.根据权利要求3或4所述的图像处理系统，其中，

具备三维数据生成部，该三维数据生成部基于所述拍摄图像生成表示所述拍摄图像的被拍摄体的三维形状的三维数据，

所述姿势确定部基于所述区域所涉及的三维数据中的所述至少一个规定的面确定所述卸斗的位置。

6.根据权利要求5所述的图像处理系统，其中，

所述姿势确定部基于所述区域所涉及的三维数据中的所述至少一个规定的面和作为表示所述卸斗的形状的三维模型的对象模型，确定所述卸斗的位置。

7.根据权利要求3至6中任一项所述的图像处理系统，其中，

所述数据取得部取得拍摄所述拍摄图像的拍摄装置的拍摄姿势，

所述姿势确定部基于所述区域与所述拍摄姿势，确定所述卸斗的现场中的三维位置。

8.根据权利要求5或6所述的图像处理系统，其中，

所述三维数据生成部基于所述拍摄图像，生成表示装载于所述卸斗的搬运物的三维位置的搬运物三维数据，

所述图像处理系统具备分布确定部，该分布确定部基于所述卸斗中的所述搬运物三维数据和所述卸斗的至少一部分的三维位置，生成表示所述卸斗中的搬运物的量的分布的分布信息。

9.一种图像处理方法，具备如下步骤：

取得作业机械的搬运物的卸斗所映现的拍摄图像；

确定所述拍摄图像中的包含所述卸斗的区域；以及

从包含所述卸斗的区域确定所述卸斗的至少一个规定的面。

10.一种学习完毕模型的生成方法，生成通过输入作业机械的搬运物的卸斗所映现的拍摄图像而输出包含所述卸斗的区域的分割模型的学习完毕模型，所述生成方法具备如下步骤：

取得作业机械的搬运物的卸斗所映现的拍摄图像；以及

将所述卸斗所映现的拍摄图像和表示包含映现于所述拍摄图像的卸斗的区域的信息作为学习用数据集，学习所述分割模型，从而生成学习完毕模型。

11.一种学习用数据集，使用于计算机，用于使分割模型进行学习，其中，

所述学习用数据集包含作业机械的搬运物的卸斗所映现的拍摄图像和表示作业机械的搬运物的卸斗的区域的信息，

通过所述计算机而用于使所述分割模型进行学习的处理。

12.一种图像处理系统，具备：

数据取得部，其取得作业机械的搬运物的卸载对象所映现的拍摄图像；

区域确定部，其从所述拍摄图像确定包含所述卸载对象的区域；以及

卸载对象确定部，其从包含所述卸载对象的区域确定所述卸载对象的至少一个规定的面。

Images