CN109858437B - 基于生成查询网络的行李体积自动分类方法 - Google Patents

Abstract

本发明公开了一种基于生成查询网络的行李体积自动分类方法，包括如下步骤：(1)提供一包括相机的场景图像获取子系统、一包括生成查询网络的三维模型生成子系统、场景分割子系统以及一行李分类子系统；(2)通过相机对包含行李的当前实际场景进行图片采集；(3)将步骤(2)获得的图片序列作为生成查询网络的输入；(4)通过场景分割子系统将步骤(3)获得的三维模型转变为点云文件，将点云文件进行分割；(5)通过行李分类子系统根据获得的每个行李的点云数据计算每个行李的体积，并将每个行李标识为其体积所在的体积范围。本发明由于采用人工智能方法，不需要人工过多的干预，即可实现资助定位和体积预估，具有更为广泛的应用性。

Description

基于生成查询网络的行李体积自动分类方法

技术领域

本发明涉及人工智能及控制技术领域，具体涉及一种基于生成查询网络的行李体积自动分类方法。

背景技术

在登机时，需要办理行李托运手续，由于一般航空公司对托运行李的重量和体积上限出台相应的限制要求，因此在行李托运办理时，值机人员需要对行李进行称重并目测体积大小，保证行李符合托运的规定重量和体积要求。由于办理行李托运手续的旅客数量较多，而值机人员有限，采用人眼目测行李体积大小的方法容易造成部分超大体积的行李被遗漏检查，给行李托运带来不便，且人眼目测的方式检查效率低下，延长了办理行李托运手续的时间。

发明内容

本发明的目的是提供一种基于生成查询网络的行李体积自动分类方法，不需要过多的人工干预，即可实现行李的自主定位和体积预估，具有更为广泛的应用性。

为实现上述发明目的，本发明提供以下的技术方案：一种基于生成查询网络的行李体积自动分类方法，包括如下步骤：

(1)提供一场景图像获取子系统、一三维模型生成子系统、场景分割子系统、一行李体积计算子系统以及一行李分类子系统，所述场景图像获取子系统包括相机，所述三维模型生成子系统包括生成查询网络，所述场景分割子系统包括点云库；

(2)通过所述相机对包含行李的当前实际场景进行图片采集，形成带有空间姿态信息的图片序列；

(3)将步骤(2)获得的图片序列作为所述生成查询网络的输入，获得与当前实际场景相互映射的三维模型；

(4)通过所述点云库将步骤(3)获得的三维模型转变为点云文件，将所述点云文件进行分割，获得每个行李的点云数据；

(5)通过所述行李分类子系统根据获得的每个行李的点云数据计算每个行李的体积，并将每个行李标识为其体积所在的体积范围。

优选的，通过在不同拍摄姿态间切换的一台相机或分别处于不同拍摄姿态的多台相机获取当前场景的图片序列。

优选的，所述相机为单目相机。

优选的，带有空间姿态信息的图片序列定义为

其中，i∈{1，…，N}，k∈{1，…，K}，i是数据中场景的数目，k是每个场景中图片的数目，/>

是拍摄方位,/>

是从拍摄方位/>

拍摄到的图像。/>

优选的，拍摄方位

用五个维度的向量(pos_x，pos_y，pos_z，yaw，pitch)表示，pos_x表示相机在三维坐标系中的X轴位置,pos_y表示相机在三维坐标系中的Y轴位置,pos_z表示相机在三维坐标系中的Z轴位置,yaw表示相机的偏航角,pitch表示相机的俯仰角。

优选的，所述生成查询网络在训练时选用值逼近方法，即最小化上界，作为代价函数，采用小批量自适应梯度下降的更新方式更新参数，即将训练集划分为很多批，对每一批计算误差并更新参数，即所述生成查询网络的损失函数公式为：

其中，

θ是模型的待训练的参数；

表示当前函数有两个参数，分别为θ和φ；

(x，v)～D是待训练的准备数据D；

z～q_φ表示来自q_φ的高维隐变量；

表示在D和q_φ的条件下的期望；

g_θ(x|z，v^q，r)：生成模型，在隐变量z，视角v，从D中采样本处理后的r的条件下，生成的分布x，其参数为θ，在公式中为g；

π_θ(z|v^q，r)：先验模型，在视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为θ，在公式中为π；

q_φ(z|x^q，v^q，r)：推理模型，在预测图片x^q，视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为φ，在公式中为q；

l表示把隐变量z分成L组变成z_l，其中l∈[1，L]；

中η是卷积网络，将其输入u_L映射到高斯分布的均值g，其中u₀表示模型的初始状态；

相当于/>

即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型；

表示取该模型的负对数；

相当于/>

即在预测图片分布x^q，视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下的推理模型，其中/>

是推理模型的初始状态；

相当于/>

即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型，其中，/>

表示生成模型的初始状态；

中KL用来表示两个模型的相似度，也称KL散度；/>

将模型的所有KL散度相加求和；

求取期望。

优选的，所述场景分割子系统使用欧式距离聚类的方法，根据点与点之间距离的不同，将不同尺度范围内的点分成不同部分，以此对当前场景的点云文件进行分割进而将每个行李的点云从场景中分割出来，即得到了每个行李的点云数据。

优选的，所述行李体积计算系统通过每个行李的闭合点云数据计算其体积。

优选的，所述行李分类子系统中预设有体积分类标签C_i，其中，i∈{1，2，3，4}，C₁表示小体积，C₂表示中等体积，C₃表示大体积，C₄表示超大体积，所述行李分类子系统根据每个行李的体积所属不同的体积范围，与和其体积相对应的体积分类标签进行绑定，获得场景中每个行李物体的体积分类数据

其中，j∈{1，…，N}，i∈{1，…，M}，j是数据中场景的数目，m是每个场景中行李物体的数目，/>

代表第j个场景中的第m件行李。

优选的，每个体积分类标签的体积范围人为设定。

由于上述技术方案运用，本发明与现有技术相比具有以下优点：本发明公开的基于生成查询网络的行李体积自动分类方法，通过相机采集当前场景的图片序列，通过生成查询网络模型将二维图片转换为三维模型，将其应用到行李分拣中的定位与分类，具有现实作用。

附图说明

图1为本发明公开的基于生成查询网络的行李体积自动分类方法的流程图；

图2为本发明公开的生成查询网络的结构图；

图3为本发明公开的生成查询网络的表现层网络架构；

图4为本发明公开的生成查询网络的生成层网络核心架构。

具体实施方式

下面结合本发明的原理、附图以及实施例对本发明进一步描述

参见图1至图4，如其中的图例所示，一种基于生成查询网络的行李体积自动分类方法，包括如下步骤：

(1)提供一场景图像获取子系统、一三维模型生成子系统、场景分割子系统、一行李体积计算子系统以及一行李分类子系统，上述场景图像获取子系统包括相机，上述三维模型生成子系统包括生成查询网络，上述场景分割子系统包括点云库，上述相机为单目相机；

(2)通过上述相机对包含行李的当前实际场景进行图片采集，形成带有空间姿态信息的图片序列，通过在不同拍摄姿态间切换的一台相机或分别处于不同拍摄姿态的多台相机获取当前场景的图片序列，带有空间姿态信息的图片序列定义为

其中，i∈{1，…，N}，k∈{1，…，K}，i是数据中场景的数目，k是每个场景中图片的数目，/>

是拍摄方位,/>

是从拍摄方位/>

拍摄到的图像，拍摄方位/>

用五个维度的向量(pos_x，pos_y，pos_z，yaw，pitch)表示，pos_x表示相机在三维坐标系中的X轴位置,pos_y表示相机在三维坐标系中的Y轴位置,pos_z表示相机在三维坐标系中的Z轴位置,yaw表示相机的偏航角,pitch表示相机的俯仰角，上述行李分类子系统中预设有体积分类标签C_i，其中，i∈{1，２，3，4}，C₁表示小体积，C₂表示中等体积，C₃表示大体积，C₄表示超大体积，所述行李分类子系统根据每个行李的体积所属不同的体积范围，与和其体积相对应的体积分类标签进行绑定，获得场景中每个行李物体的体积分类数据/>

其中，j∈{1，…，N}，i∈{1，…，M}，j是数据中场景的数目，m是每个场景中行李物体的数目，/>

代表第j个场景中的第m件行李，每个体积分类标签的体积范围人为设定；

(3)将步骤(2)获得的图片序列作为所述生成查询网络的输入，获得与当前实际场景相互映射的三维模型；

(4)通过所述点云库将步骤(3)获得的三维模型转变为点云文件，将所述点云文件进行分割，获得每个行李的点云数据，使用欧式距离聚类的方法，根据点与点之间距离的不同，将不同尺度范围内的点分成不同部分，以此对当前场景的点云文件进行分割进而将每个行李的点云从场景中分割出来，即得到了每个行李的点云数据；

(5)通过上述行李分类子系统根据获得的每个行李的点云数据计算每个行李的体积，并将每个行李标识为其体积所在的体积范围。

上文中，上述生成查询网络在训练时选用值逼近方法，即最小化上界，作为代价函数，采用小批量自适应梯度下降的更新方式更新参数，即将训练集划分为很多批，对每一批计算误差并更新参数，即所述生成查询网络的损失函数公式为：

其中，

θ是模型的待训练的参数；

表示当前函数有两个参数，分别为θ和φ；

(x,v)～D是待训练的准备数据D；

z～q_φ表示来自q_φ的高维隐变量；

表示在D和q_φ的条件下的期望；

g_θ(x|z，v^q，r)：生成模型，在隐变量z，视角v，从D中采样本处理后的r的条件下，生成的分布x，其参数为θ，在公式中为g；

π_θ(z|v^q，r)：先验模型，在视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为θ，在公式中为π；

q_φ(z|x^q，v^q，r)：推理模型，在预测图片x^q，视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为φ，在公式中为q；

l表示把隐变量z分成L组变成z_l，其中l∈[1，L]；

中η是卷积网络，将其输入u_L映射到高斯分布的均值g，其中u₀表示模型的初始状态；

相当于/>

即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型；

表示取该模型的负对数；

相当于/>

即在预测图片分布x^q，视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下的推理模型，其中/>

是推理模型的初始状态；

相当于/>

即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型，其中，/>

表示生成模型的初始状态；

中KL用来表示两个模型的相似度，也称KL散度；

将模型的所有KL散度相加求和；

求取期望。

本发明是一种利用机器视觉进行自动化处理的办法，具体的说是根据行李体积进行行李分类的方法。本发明需要维度间数据转换，生成查询网络，获取环境信息，机器人进行自我学习，实现定位和分类。利用生成查询网络对图像生成场景的特性，结合显示网络(representation network)、生成网络(generation network)，集成一套完整的视觉定位算法。传统的方法能够拍到二维图像，而计算体积大小需要三维信息，因此利用普通摄像设备生成所摄场景和物体的三维模型。从而计算和判断物体的体积，是一个亟待解决的问题。本发明提供一种机器视觉定位方法，通过单目相机拍摄图片，获取场景图片序列。使用生成查询网络对拍摄该图片序列的场景进行建模，再将场景点云化处理，场景分割计算目标物体的在场景中的位置，实现目标物体的自主定位和体积预估。本发明由于采用人工智能的方法，不需要人工过多干预即可实现自主定位和体积预估，具有更为广泛的应用性。

基于机器视觉的场景图像获取子系统：包括一个相机，用于获取当前相机的图像。

生成查询网络模型训练生成子系统：输入当前环境场景的图片序列，使用生成查询网络构建场景的模型。

基于点云场景分割的物体定位与分类子系统：输入场景，对场景中的目标物体分类。

其中，基于机器视觉的场景图像获取子系统负责提供环境图像序列，这些图像序列经过处理称为其他子系统适用的图像数据序列。生成查询网络模型训练生成子系统，使用生成查询网络训练图像序列，生成对应三维立体的场景模型。基于点云场景分割的物体定位与分类子系统负责将场景分割，计算目标物体的体积并进行按照体积分类。

基于生成查询网络的行李分拣中定位与分类方法，需要多个阶段，包括设定体积分类标签、设定标签行为、场景数据准备、生成查询网络训练、场景分割、行李体积计算和行李分类，其中，场景数据准备对应着基于机器视觉的场景图像获取子系统，生成查询网络训练对应生成查询网络模型训练生成子系统，设定体积分类标签、设定标签行为、场景分割、行李体积计算和行李分类对应点云场景分割的物体定位与分类子系统。设定体积分类标签和设定标签行为是按照行李体积给行李分类，场景数据准备是提供场景的二维图像序列等场景信息，这些信息作为生成查询网络的训练数据。生成查询网络训练步骤，是将场景的照片序列放入到生成查询网络中训练生成三维场景模型。场景分割、行李体积计算和行李分类，是将场景点云化，然后进行场景分割，分离出目标物体点云数据，计算目标物体点云的中心坐标并预估其体积进行分类。详细步骤如下：

步骤一：设定体积分类标签

设定根据行李的体积进行行李分类的标签C_i，其中i∈{1，2，3，4}，C₁表示体积小的行李，C₂表示体积中等的行李，C₃表示体积大的行李，C₄表示体积超大的行李，每个标签指明当前表示的行李的体积在某个范围内，每个标签代表的行李的体积范围可人为设定。根据行李的实际体积给行李贴上标签，方便对不同体积范围的行李分类处理。

步骤二：设定标签行为

每件行李和与之体积想对应的分类标签绑定，根据分类标签的不同，对行李做不同的处理。例如，对C₃和C₄标签，即体积大和超大的行李分开处理。

步骤三：场景数据准备

打开相机，在一个场景下拍摄图片序列，序列中的图片是以行李为中心的照片序列，光照条件也在内。不同角度拍摄场景的图片越多，效果越好。拍摄照片时需要记下相机的坐标信息，即相机的X轴，Y轴，Z轴，俯仰角(pitch)和偏航角(yaw)。对于该图片序列，序列中每张图片都包含对应的相机的姿态信息，将相机的姿态信息封装到该姿态下拍摄的图片中，即形成了带有空间姿态信息的图片序列，该序列作为生成查询网络的待训练数据。此数据使用

其中i∈{1，…，N}，k∈{1，…，K}，i是数据中场景的数目，k是每个场景中记录的图片的数目，/>

是从视角/>

拍摄到的图像。其中，/>

是相机的姿态信息，用五个维度的向量(pos_x，pos_y，pos_z，yaw，pitch)表示，pos_x表示相机在三维坐标系中的X轴位置，pos_y表示相机在三维坐标系中的Y轴位置，pos_z表示相机在三维坐标系中的Z轴位置，yaw表示相机的偏航角(yaw)，pitch表示相机的俯仰角(pitch)。

步骤四：生成查询网络训练

在条件生成模型中，由于交叉熵作为代价函数需要对高维度的隐变量进行积分过于困难，所以选用值逼近方法，即最小化上界，作为代价函数。

采用小批量自适应梯度下降的更新方式更新参数，损失函数技术方式如下：

观察到的训练样本模型：

后验因子：

先验因子：

/>

后验样本：

其中，

是值逼近中的最小化上界方法，用来替代难以优化的交叉熵代价函数。θ是模型参数；x^q表示预测的图片；/>

是卷积网络，卷积核为2x2，步长2x2，为将输入映射到高斯分布的均值。/>

是卷积网络，卷积核为2x2，步长2x2，将各自的输入映射到高斯分布的充分统计量(标准差和均值)。/>

是卷积网络，卷积核为2x2，步长2x2，将推理网络状态映射到隐变量的变分后验的充分统计。

训练完成即可将元输入的二维图片序列生成一个三维场景模型。

步骤五：场景分割

在生成查询网络训练完成后，会得到一个三维的场景模型，使用点云库将模型变成点云文件，即得到一个场景模型的点云文件(scene.pcd)。使用欧式距离聚类的方法，根据点与点之间距离的不同，将不同尺度范围内的点分成不同部分，以此对场景点云文件(scene.pcd)分割。场景分割将会把行李物体的点云从场景中分割出来，即得到了行李物体的点云信息。若有多个行李物品，将会分割成多个单独的物体点云。运用场景分割的方法，可将行李的点云信息提取出来.

步骤六：行李体积计算

获取行李的点云信息，对行李的点云进行处理。得到行李的点云信息，可计算出该行李在空间的坐标位置。因为场景点云是由场景模型转换得来，所以该行李A的点云文件是封闭的，即行李A的点云文件是闭合的，所以可以计算其体积.

步骤七：行李分类

获取不同行李的体积，根据行李体积所属不同的体积范围，贴上分类标签C_i，其中i∈{1，2，3，4}。使用

表示，其中j∈{1，…，N}，i∈{1，…，M}，j是数据中场景的数目，m是每个场景中行李物体的数目，/>

代表第j个场景中的第m件行李，C_i代表该件行李的体积的分类标签。根据不同的标签，对不同体积的行李分类处理。

本发明通过使用单目相机，结合生成查询网络，将二维图片转化成三维模型，提供了一种新的处理不同维度间数据的办法，将其应用到行李分拣中的分类与定位，可以对不同体积的行李分类和定位，具有现实作用。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于生成查询网络的行李体积自动分类方法，其特征在于，包括如下步骤：(1)提供一场景图像获取子系统、一三维模型生成子系统、场景分割子系统以及一行李分类子系统，所述场景图像获取子系统包括相机，所述三维模型生成子系统包括生成查询网络，所述场景分割子系统包括点云库；(2)通过所述相机对包含行李的当前实际场景进行图片采集，形成带有空间姿态信息的图片序列；(3)将步骤(2)获得的图片序列作为所述生成查询网络的输入，获得与当前实际场景相互映射的三维模型；

所述生成查询网络在训练时选用值逼近方法，即最小化上界，作为代价函数，采用小批量自适应梯度下降的更新方式更新参数，即将训练集划分为很多批，对每一批计算误差并更新参数，即所述生成查询网络的损失函数公式为：

其中，θ是模型的待训练的参数；

表示当前函数有两个参数，分别为θ和φ；

(x，v)～D是待训练的准备数据D；

z～q_φ表示来自q_φ的高维隐变量；

表示在D和q_φ的条件下的期望；

g_θ(x|zv^q，r)为生成模型，在隐变量z，视角v，从D中采样本处理后的r的条件下，生成的分布x，其参数为θ，在公式中为g；

π_θ(z|v^q，r)为先验模型，在视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为θ，在公式中为π；

q_φ(z|x^q，v^q，r)为推理模型，在预测图片x_q，视角v，从D中采样本处理后的r的条件下，生成的隐变量z，其参数为φ，在公式中为q；

l表示把隐变量z分成L组变成zl，其中l∈[1，L]；

中η是卷积网络，将其输入u_L映射到高斯分布的均值g，其中u0表示模型的初始状态；

相当于/>

，即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型；

表示取该模型的负对数；

相当于/>

即在预测图片分布x^q，视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下的推理模型，其中/>

是推理模型的初始状态；

相当于/>

，即在视角v，从D中采样本处理后的r的条件，生成的隐变量z的组小于l下，对预测图片分布x^q的先验模型，其中，/>

表示生成模型的初始状态；

中KL用来表示两个模型的相似度，也称KL散度；

将模型的所有KL散度相加求和；

求取期望；(4)通过所述点云库将步骤(3)获得的三维模型转变为点云文件，将所述点云文件进行分割，获得每个行李的点云数据；(5)通过所述行李分类子系统根据获得的每个行李的点云数据计算每个行李的体积，并将每个行李标识为其体积所在的体积范围。

2.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，通过在不同拍摄姿态间切换的一台相机或分别处于不同拍摄姿态的多台相机获取当前场景的图片序列。

3.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，所述相机为单目相机。

4.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，带有空间姿态信息的图片序列定义为

，其中，i∈{1，…，N}，k∈{1，…，K}，i是数据中场景的数目，k是每个场景中图片的数目，/>

是拍摄方位,/>

是从拍摄方位/>

拍摄到的图像。

5.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，拍摄方位

用五个维度的向量/>

表示，/>

表示相机在三维坐标系中的X轴位置，/>

表示相机在三维坐标系中的Y轴位置，/>

表示相机在三维坐标系中的Z轴位置，yaw表示相机的偏航角，pitch表示相机的俯仰角。

6.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，所述场景分割子系统使用欧式距离聚类的方法，根据点与点之间距离的不同，将不同尺度范围内的点分成不同部分，以此对当前场景的点云文件进行分割进而将每个行李的点云从场景中分割出来，即得到了每个行李的点云数据。

7.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，所述行李体积计算系统通过每个行李的闭合点云数据计算其体积。

8.根据权利要求1所述的基于生成查询网络的行李体积自动分类方法，其特征在于，所述行李分类子系统中预设有体积分类标签Ci，其中，i∈{1 2 3 4}，C1表示小体积，C2表示中等体积，C3表示大体积，C4表示超大体积，所述行李分类子系统根据每个行李的体积所属不同的体积范围，与和其体积相对应的体积分类标签进行绑定，获得场景中每个行李物体的体积分类数据

其中，j∈{1，…，N}，i∈{1，…，M}，J是数据中场景的数目，m是每个场景中行李物体的数目，/>

代表第j个场景中的第m件行李。/>

9.根据权利要求8所述的基于生成查询网络的行李体积自动分类方法，其特征在于，每个体积分类标签的体积范围人为设定。

Images