CN109871892A - 一种基于小样本度量学习的机器人视觉认知系统 - Google Patents

Abstract

本发明公开了一种基于小样本度量学习的机器人视觉认知系统，包括：图像采集增强模块，负责获取图像信息并改善图像的质量，提高图像的判读和识别效果；特征映射模块，负责将输入的图像映射到一个能够更好区分类别的特征空间；原型特征总结模块，负责为每个类别的物体总结出一个整体特征原型，同时保存记录下每个类别原型信息加入到数据库中；分类查询模块，负责根据输入的特征和查询到的每个类别原型信息来完成分类的工作，并维护每个类别的特征原型信息。本发明可帮助机器人仅通过少量的图像数据就学习到对新类别的分类，不仅能够完成对数据库中已经定义的物体的快速识别分类，还能够适应对数据库中已经未定义的物体的快速识别分类。

Description

一种基于小样本度量学习的机器人视觉认知系统

技术领域

本发明涉及机器人视觉的技术领域，尤其是指一种基于小样本度量学习的机器人视觉认知系统。

背景技术

学习是人类所具有的一项十分重要的能力，是人类智能的表现，特别是人类学习具有的举一反三的能力，能够从少量样本中思考得到具有泛化意义的经验总结，而不是单纯机械的模仿重复。而目前在深度学习领域中，随着应用场景的不断丰富和扩展，人们越来越面临学习样本的不足，所以如何让深度学习模型获得类似人类的从小样本中学习的举一反三的能力，成为了一个重要的研究方向，即小样本学习领域。而基于度量的学习就是小样本学习研究的一个具有代表性的方法，基于度量的学习方法，它的学习目标是从数据源中构建一个新的特征空间，在这空间中每个类别都能够很好的被区分开来。

机器人由于其工作环境的复杂，完成任务的多样性，对机器人视觉认知系统提出了更进一步的智能化要求。而将小样本学习与机器人视觉认知系统相结合，能够赋予机器人仅从少量的训练样本中学会分类以前未训练过的新类别的能力，同时可以避免重新训练模型，减少了时间和资源的消耗。这对于机器人认知系统提高鲁棒性及减少后期扩展维护成本具有重要的意义。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于小样本度量学习的机器人视觉认知系统，在训练样本获取困难、数量稀少的条件下，可以高效、高质量地完成图像分类任务，在公开数据集上进行测试，验证了此方法的有效性。

为实现上述目的，本发明所提供的技术方案为：一种基于小样本度量学习的机器人视觉认知系统，包括：

图像采集增强模块，负责获取图像信息并改善图像的质量，提高图像的判读和识别效果；

特征映射模块，负责将输入的图像映射到一个能够更好区分类别的特征空间；

原型特征总结模块，负责为每个类别的物体总结出一个整体特征原型，同时保存记录下每个类别原型信息加入到数据库中；

分类查询模块，负责根据输入的特征和查询到的每个类别特征原型信息来完成分类的工作，并维护每个类别的特征原型信息。

进一步，所述图像采集增强模块通过装配在机器人上的摄像头获取待识别图像，然后进行图像增强工作，包括以下步骤：

1.1)图像归一化

图像归一化将采集到的图像转成标准模式，防止仿射变换和几何变换的影响，同时能够加快网络梯度下降的速度，给定均值(mR,mG,mB)和标准差(dR,dG,dB)，每个通道的像素cX将按照下列公式进行归一化，其中X表示对应通道：

1.2)图像旋转扩增

先将图像大小转换为224*224，然后对图像进行[30,60,90,120,180]度旋转，得到旋转后图像[P₁,P₂,P₃,P₄,P₅]和原图P₀共获得6张查询图片，组成输入网络的张量，其大小为6*224*224。

进一步，在所述特征映射模块中，图像经过一个特征提取网络FeatureExtractNet，得到1024维的特征表示，具体如下：

a、主要网络操作

网络基础模块包括BlockA即模块A和BlockB即模块B，网络基础模块中包含的操作有通道分割ChannalSplit、普通卷积Conv、深度可分类卷积DWConv、通道合并Concat、批标准化操作BN和非线性激活单元ReLU，具体如下：

通道分割ChannalSplit：将输入的张量进行通道分割，一部分直接输出，一部分进行卷积运算后输出；

普通卷积Conv：卷积核大小为1×1的一般卷积，用于降维和进行通道间信息交互；

深度可分离卷积DWConv：卷积核大小3×3的深度可分离卷积，先对每一个通道进行各自的卷积操作，再对得到新的通道特征图使用1×1卷积进行特征融合；

通道合并Concat：将多个张量进行合并；

批标准化操作BN：对数据进行归一化，使其均值变为0，方差变为1，用于缓解网络训练中的梯度消失/爆炸现象，加快模型的训练速度；

非线性激活单元ReLU：其公式表达为：

X＝max(X,0)

式中，X为输入的张量，max为取最大值运算；

b、特征提取网络FeatureExtractNet网络结构

特征提取网络FeatureExtractNet是一种能够运行在嵌入式平台上的轻量级网络，整体网络结构包含21个基本层，能够快速地将输入的大小为224*224的图像转化为1024维特征输出；网络分为三部分，首先通过1个普通卷积层Conv和1个最大池化层MaxPool，对输入进行预处理，然后通过模块A和模块B的组合集中提取特征，最后输出前经过1个普通卷积层，1个平均池化层AvgPool和一个平化层Flatten的后处理，最后得到1024维的特征输出。

进一步，所述原型特征总结模块对于每个类别的图像，总结其代表特征表示，并保存在数据库中，包括以下步骤：

3.1)总结类别特征原型

对于候选图像的类别，先通过特征提取网络FeatureExtractNet获取图像特征，然后计算特征均值来作为整个类别特征代表，其计算公式如下所示：

式中，m代表该类别所有图片数量，F代表通过网络获取特征，P_i为该类别下第i张图片，C为总结得到的类别特征原型；

3.2)储存类别特征

对于所有候选图像类别，将其通过特征提取网络FeatureExtractNet得到的对应的类别特征原型表达储存在数据库中备用，假设候选类别数量为K，则保存为[C₁,C₂,C₃,…C_K]。

进一步，所述分类查询模块负责根据输入的特征和查询到的每个类别原型信息来完成分类的工作，包含以下步骤：

4.1)查询图片处理

对于查询的图片，将6个不同角度旋转得到的图像，输入特征提取网络FeatureExtractNet得到6个1024维度特征，求均值，获得1024维待查询图像特征Q；

4.2)距离度量函数

D代表欧几里得距离度量公式，度量待查询图像特征Q＝(q₁,q₂,q₃,…q_n)和各类别特征原型C＝(c₁,c₂,c₃,…c_n)间距离，n为特征维数,q₁到q_n，c₁到c_n分别表示待查询图像和各类别特征原型对应维度上特征的数值大小，计算方式如下：

4.3)输出分类类别

计算待查询图像特征Q与数据库中所有候选特征原型[C₁,C₂,C₃,…C_K]的距离，K为候选特征原型数量，获取距离最近的特征原型的类别标签L_min和距离D_min；当这个最近距离D_min大于设定阈值G时，输出无查询结果，将查询物体加入未知类别，等待人工添加新类别；当这个最近距离小于设定阈值G时，输出L_min同时根据下面公式更新所属类别的原型特征：

C'＝Cq+(1-q)Q

式中，C'表示更新后的原型特征，C为更新前原型特征，Q为查询类别特征，q取值在(0,1)间为设定的系统更新学习率。

本发明与现有技术相比，具有如下优点与有益效果：

1、本系统采用了度量学习的思路，能够应用于小样本的场景下，解决了样本不足和采集困难的问题。

2、本系统中设计的网络结构简单，参数量少，充分考虑了嵌入式设备中算力限制，在提供计算速度的同时，也保证了算法精度。

3、在解决图像多分类问题上，本系统具有比采用其它技术的系统具有更高的分类精度。

4、本系统一旦部署在机器人上，不需要重新训练，并且能够在运行过程中不断更新系统，完成对新类别的识别，同时调整对已有类别的预测模型，对比其它系统具有更好的鲁棒性和可拓展性。

附图说明

图1是本发明系统的作业流程图。

图2是特征提取网络FeatureExtractNet基本模块结构图。

图3是特征提取网络FeatureExtractNet整体网络结构图。

图4是特征查询过程流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1所示，本实施例所提供的基于小样本度量学习的机器人视觉认知系统，包括：

图像采集增强模块，负责获取图像信息并改善图像的质量，提高图像的判读和识别效果；

特征映射模块，负责将输入的图像映射到一个能够更好区分类别的特征空间；

原型特征总结模块，负责为每个类别的物体总结出一个整体特征原型，同时保存记录下每个类别原型信息加入到数据库中；

分类查询模块，负责根据输入的特征和查询到的每个类别特征原型信息来完成分类的工作，并维护每个类别的特征原型信息。

在所述图像采集增强模块中，通过装配在机器人上的摄像头获取待识别图像，然后进行，图像增强工作，包含以下步骤：

1.1)图像归一化

图像归一化将采集到的图像转成标准模式，防止仿射变换和几何变换的影响，同时能够加快网络梯度下降的速度。给定均值(mR,mG,mB)和标准差(dR,dG,dB),每个通道的像素cX将按照下列公式进行归一化，其中X表示对应通道：

1.2)图像旋转扩增

先将图像大小转换为224*224，然后对图像进行[30,60,90,120,180]度旋转，得到旋转后图像[P₁,P₂,P₃,P₄,P₅]和原图P₀共获得6张查询图片。组成输入网络的张量，其大小为6*224*224。

在所述特征映射模块中，图像经过一个特征提取网络FeatureExtractNet，得到1024维的特征表示，主要包括以下内容：

a、主要网络操作

网络基础模块包括BlockA即模块A和BlockB即模块B，如图2所示，模块中主要包含通道分割ChannalSplit，深度可分类卷积DWConv，普通卷积Conv，通道合并Concat，批标准化操作BN，非线性激活单元ReLU等操作组成。各操作主要作用如下：

通道分割ChannalSplit：将输入的张量进行通道分割，一部分直接输出，一部分进行卷积运算后输出；

普通卷积Conv：卷积核大小为1x1的一般卷积，用于降维和进行通道间信息交互；

深度可分离卷积DWConv：卷积核大小3x3的深度可分离卷积，先对每一个通道进行各自的卷积操作，再对得到新的通道特征图使用1x1卷积进行特征融合；

通道合并Concat：将多个张量进行合并；

批标准化操作BN：对数据进行归一化，使其均值变为0，方差变为1，用于缓解网络训练中的梯度消失/爆炸现象，加快模型的训练速度；

非线性激活单元ReLU，其公式表达为：

X＝max(X,0)

式中，X为输入的张量，max为取最大值运算。

b、特征提取网络FeatureExtractNet网络结构

特征提取网络FeatureExtractNet是一种能够运行在嵌入式平台上的轻量级网络，整体网络结构包含21个基本层，能够快速地将输入的大小为224*224的图像转化为1024维特征输出，整体网络结构如图3所示，网络可分为三部分，首先通过1个普通卷积层Conv和1个最大池化层MaxPool，对输入进行预处理，然后通过模块A和模块B的组合集中提取特征，最后输出前经过1个普通卷积层，1个平均池化层AvgPool和一个平化层Flatten的后处理，最后得到1024维的特征输出。

所述特征总结模块对于每个类别的图像，总结其代表特征表示，并保存在数据库中，包含以下步骤：

3.1)总结类别特征原型

对于候选图像的类别，先通过特征提取网络FeatureExtractNet获取图像特征，然后计算特征均值来作为整个类别特征代表，其计算公式如下所示：

式中，m代表该类别所有图片数量，F代表通过网络获取特征，P_i为该类别下第i张图片，C为总结得到的类别特征原型。

3.2)储存类别特征

对于所有候选图像类别，将其通过特征提取网络FeatureExtractNet得到的对应的类别特征原型表达储存在数据库中备用。假设候选类别数量为K，则保存为[C₁,C₂,C₃,…C_K]。

所述分类查询模块负责根据输入的特征和查询到的每个类别原型信息来完成分类的工作，包含以下步骤：

4.1)查询图片处理

对于查询的图片，将6个不同角度旋转得到的图像，输入特征提取网络FeatureExtractNet得到6个1024维度特征，求均值，获得1024维待查询图像特征Q；

4.2)距离度量函数

D代表欧几里得距离度量公式，度量待查询图像特征Q＝(q₁,q₂,q₃,…q_n)和各类别特征原型C＝(c₁,c₂,c₃,…c_n)间距离，n为特征维数,q₁到q_n，c₁到c_n分别表示待查询图像和各类别特征原型对应维度上特征的数值大小，计算方式如下：

4.3)输出分类类别

计算待查询图像特征Q与数据库中所有候选特征原型[C₁,C₂,C₃,…C_K]的距离，K为候选特征原型数量，获取距离最近的特征原型的类别标签L_min和距离D_min。当这个最近距离D_min大于于设定阈值G时，输出无查询结果，将查询物体加入未知类别，等待人工添加新类别。当这个最近距离小于于设定阈值G时，输出L_min同时根据下面公式更新所属类别的原型特征：

C'＝Cq+(1-q)Q

式中，C'表示更新后的原型特征，C为更新前原型特征，Q为查询类别特征，q取值在(0,1)间为设定的系统更新学习率，具体流程参见图4。

为了验证我们提出系统的性能，我们在小样本学习数据集mini-ImageNet上与目前先进的小样本学习系统做了图像多分类精度对比，包括长短期记忆网络元学习器Meta-Learner LSTM,模型无关元学习器MAML，比较网络Matching Networks,原型网络Prototypical Networks,简单元学习器REPTILE,关系网络Relation Nets,元随机梯度下降器Meta-SGD共7种小样本学习算法，其对比结果见下表1。其中5-way 1-shot代表5分类实验，每个类别通过1张训练集样本图片总结原型特征，5-way 5-shot代表5分类实验，每个类别通过5张训练集样本图片总结原型特征。通过600次独立测试实验计算获得的精度，表示为预测精度均值±方差的形式，加粗标注的表示为该实验测试下最优结果。从图上可发现，我们提出的特征提取网络FeatureExtractNet小样本学习网络，达到了目前先进水平，并且在两个实验中都取得了不同程度的领先。

表1对比同类算法的图像分类实验精度

Model	5-way 1-shot	5-way 5-shot
			Meta-Learner LSTM	43.44±0.77	60.60±0.71
MAML	48.70±1.84	63.11±0.92
			Matching Networks	49.39±0.62	66.16±0.68
Prototypical Networks	49.42±0.78	68.20±0.66
			REPTILE	49.97±0.32	65.99±0.58
Relation Nets	50.44±0.82	65.32±0.70
			Meta-SGD	50.47±1.87	64.03±0.94
FeatureExtractNet(ours)	51.40±0.96	70.08±0.67

综上所述，本发明补充和完善了小样本条件下机器人视觉认知系统，能够帮助机器人仅通过少量的图像数据就学习到对新类别的分类，可以实现机器人在新环境下的自主学习，不仅能够完成对数据库中已经定义的物体的快速识别分类，还能够适应对数据库中已经未定义的物体的快速识别分类，并且自主更新丰富数据库中物体的类别，具有实际推广价值，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于小样本度量学习的机器人视觉认知系统，其特征在于，包括：

图像采集增强模块，负责获取图像信息并改善图像的质量，提高图像的判读和识别效果；

特征映射模块，负责将输入的图像映射到一个能够更好区分类别的特征空间；

原型特征总结模块，负责为每个类别的物体总结出一个整体特征原型，同时保存记录下每个类别原型信息加入到数据库中；

分类查询模块，负责根据输入的特征和查询到的每个类别特征原型信息来完成分类的工作，并维护每个类别的特征原型信息。

2.根据权利要求1所述的一种基于小样本度量学习的机器人视觉认知系统，其特征在于：所述图像采集增强模块通过装配在机器人上的摄像头获取待识别图像，然后进行图像增强工作，包括以下步骤：

1.1)图像归一化

图像归一化将采集到的图像转成标准模式，防止仿射变换和几何变换的影响，同时能够加快网络梯度下降的速度，给定均值(mR,mG,mB)和标准差(dR,dG,dB)，每个通道的像素cX将按照下列公式进行归一化，其中X表示对应通道：

1.2)图像旋转扩增

先将图像大小转换为224*224，然后对图像进行[30,60,90,120,180]度旋转，得到旋转后图像[P₁,P₂,P₃,P₄,P₅]和原图P₀共获得6张查询图片，组成输入网络的张量，其大小为6*224*224。

3.根据权利要求1所述的一种基于小样本度量学习的机器人视觉认知系统，其特征在于：在所述特征映射模块中，图像经过一个特征提取网络FeatureExtractNet，得到1024维的特征表示，具体如下：

a、主要网络操作

网络基础模块包括BlockA即模块A和BlockB即模块B，网络基础模块中包含的操作有通道分割ChannalSplit、普通卷积Conv、深度可分类卷积DWConv、通道合并Concat、批标准化操作BN和非线性激活单元ReLU，具体如下：

通道分割ChannalSplit：将输入的张量进行通道分割，一部分直接输出，一部分进行卷积运算后输出；

普通卷积Conv：卷积核大小为1×1的一般卷积，用于降维和进行通道间信息交互；

深度可分离卷积DWConv：卷积核大小3×3的深度可分离卷积，先对每一个通道进行各自的卷积操作，再对得到新的通道特征图使用1×1卷积进行特征融合；

通道合并Concat：将多个张量进行合并；

批标准化操作BN：对数据进行归一化，使其均值变为0，方差变为1，用于缓解网络训练中的梯度消失/爆炸现象，加快模型的训练速度；

非线性激活单元ReLU：其公式表达为：

X＝max(X,0)

式中，X为输入的张量，max为取最大值运算；

b、特征提取网络FeatureExtractNet网络结构

特征提取网络FeatureExtractNet是一种能够运行在嵌入式平台上的轻量级网络，整体网络结构包含21个基本层，能够快速地将输入的大小为224*224的图像转化为1024维特征输出；网络分为三部分，首先通过1个普通卷积层Conv和1个最大池化层MaxPool，对输入进行预处理，然后通过模块A和模块B的组合集中提取特征，最后输出前经过1个普通卷积层，1个平均池化层AvgPool和一个平化层Flatten的后处理，最后得到1024维的特征输出。

4.根据权利要求1所述的一种基于小样本度量学习的机器人视觉认知系统，其特征在于：所述原型特征总结模块对于每个类别的图像，总结其代表特征表示，并保存在数据库中，包括以下步骤：

3.1)总结类别特征原型

对于候选图像的类别，先通过特征提取网络FeatureExtractNet获取图像特征，然后计算特征均值来作为整个类别特征代表，其计算公式如下所示：

式中，m代表该类别所有图片数量，F代表通过网络获取特征，P_i为该类别下第i张图片，C为总结得到的类别特征原型；

3.2)储存类别特征

对于所有候选图像类别，将其通过特征提取网络FeatureExtractNet得到的对应的类别特征原型表达储存在数据库中备用，假设候选类别数量为K，则保存为[C₁,C₂,C₃,…C_K]。

5.根据权利要求1所述的一种基于小样本度量学习的机器人视觉认知系统，其特征在于：所述分类查询模块负责根据输入的特征和查询到的每个类别原型信息来完成分类的工作，包含以下步骤：

4.1)查询图片处理

对于查询的图片，将6个不同角度旋转得到的图像，输入特征提取网络FeatureExtractNet得到6个1024维度特征，求均值，获得1024维待查询图像特征Q；

4.2)距离度量函数

D代表欧几里得距离度量公式，度量待查询图像特征Q＝(q₁,q₂,q₃,…q_n)和各类别特征原型C＝(c₁,c₂,c₃,…c_n)间距离，n为特征维数,q₁到q_n，c₁到c_n分别表示待查询图像和各类别特征原型对应维度上特征的数值大小，计算方式如下：

4.3)输出分类类别

计算待查询图像特征Q与数据库中所有候选特征原型[C₁,C₂,C₃,…C_K]的距离，K为候选特征原型数量，获取距离最近的特征原型的类别标签L_min和距离D_min；当这个最近距离D_min大于设定阈值G时，输出无查询结果，将查询物体加入未知类别，等待人工添加新类别；当这个最近距离小于设定阈值G时，输出L_min同时根据下面公式更新所属类别的原型特征：

C'＝Cq+(1-q)Q

式中，C'表示更新后的原型特征，C为更新前原型特征，Q为查询类别特征，q取值在(0,1)间为设定的系统更新学习率。