CN114037889A - 一种图像识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像识别方法、装置、电子设备及存储介质，涉及图像处理技术，本申请实施例提供了一种图像识别方法，将获取的待识别图像输入到特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；将图像形态特征矩阵输入特征选择模块进行特征选择，确定得到隐藏信息特征矩阵，再将得到的两个均能表征图像中像素点信息的矩阵进行关联，获得的全局特征关联矩阵可以更好的确定图像中各个区域的边界，全局特征关联矩阵可以准确的表征出图像中各个区域边界像素点对应的类别信息，在进行图像识别时，就可以通过全局特征关联矩阵表征出的图像的像素点信息，准确的识别出待识别图像中的像素点对应的类别信息。

Description

一种图像识别方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像识别方法、装置、电子设备及存储介质。

背景技术

随着图像识别技术的发展，对图像识别技术的要求越来越高，而现有技术中通过图像识别技术，对整个图像进行识别的过程中，对图像中的各个区域边界的像素点所表征的特征信息识别的往往不够准确，不能很好的确定区域边界的类别信息，进行图像识别得到的识别结果往往精度不够高。

所以，如何实现一种高精度的图像识别，能够减少在图像识别过程中图像中的各个区域边界识别错误的问题，提高识别的准确度，是一个亟待解决的问题。

发明内容

为了解决现有技术中的问题，本申请实施例提供了一种图像识别方法。在图像识别的过程中，通过图像特征矩阵之间的关联，可以很好的抓取图像中像素点之间的关联信息，提高图像识别的精度。

第一方面，本申请实施例提供了一种图像识别方法，所述方法包括：

将待识别图像输入特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；

将所述图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵；

基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵；

将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息。

本申请实施例提供了一种图像识别方法，将获取的待识别图像输入到特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；将图像形态特征矩阵输入特征选择模块进行特征选择，确定得到隐藏信息特征矩阵，以根据图像形态特征矩阵和隐藏信息特征矩阵确定全局特征关联矩阵；可以对像素点所表征出的图像形态特征矩阵进行处理，得到隐藏信息特征矩阵，再将得到的两个均能表征图像中像素点信息的矩阵进行关联，获得的全局特征关联矩阵可以更好的确定图像中各个区域的边界，全局特征关联矩阵可以准确的表征出图像中各个区域边界像素点对应的类别信息，再将全局特征关联矩阵输入到分类模块，就可以通过全局特征关联矩阵表征出的图像的像素点信息，准确的识别出待识别图像中的像素点对应的类别信息。

在一种可能的实施方式中，所述特征选择模块包括特征拼接单元、压缩复制单元和卷积采样单元；所述将所述图像形态特征矩阵输入特征选择模块进行特征选择，得到隐藏信息特征矩阵，包括：

将所述图像形态特征矩阵输入所述特征拼接单元进行特征拼接，确定特征拼接矩阵；

将所述特征拼接矩阵输入所述压缩复制单元，通过所述压缩复制单元对所述特征拼接矩阵进行压缩得到压缩特征矩阵，并复制所述压缩特征矩阵得到复制特征矩阵；

将所述特征拼接矩阵和所述复制特征矩阵进行点乘，得到点乘特征矩阵；

将所述点乘特征矩阵输入所述卷积采样单元中，得到所述卷积采样单元输出的所述隐藏信息特征矩阵。

在一种可能的实施方式中，所述特征拼接单元包括多个卷积层；所述将所述图像形态特征矩阵输入特征拼接单元进行特征拼接，确定特征拼接矩阵，包括：

基于所述多个卷积层对所述图像形态特征矩阵进行卷积处理，得到多个卷积矩阵；其中，每个卷积层输出一个卷积矩阵；所述特征拼接单元的第一卷积层的输入为图像形态特征矩阵；除所述第一卷积层以外的每个卷积层的输入为各自对应的上一卷积层输出的卷积矩阵；

将多个卷积矩阵进行拼接，得到特征拼接矩阵。

在一种可能的实施方式中，所述卷积采样单元包括卷积采样层；将所述点乘特征矩阵输入所述卷积采样单元中，得到所述卷积采样单元输出的所述隐藏信息特征矩阵，包括：

将所述点乘特征矩阵输入所述卷积采样层中，得到卷积采样矩阵；

根据所述卷积采样矩阵对应的矩阵期望以及矩阵方差，对所述卷积采样矩阵按照高斯分布采样，得到高斯采样矩阵；

基于所述高斯采样矩阵以及激活函数，得到所述隐藏信息特征矩阵。

在一种可能的实施方式中，所述基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵，包括：

将所述图像形态特征矩阵和所述隐藏信息特征矩阵进行点乘，确定中间矩阵；

将所述中间矩阵和所述图像形态特征矩阵相加，得到所述全局特征关联矩阵。

在一种可能的实施方式中，所述待识别图像为机器人通过图像采集模块采集的家居环境图像；所述将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息之后，所述方法还包括：

若所述各个区域对应的类别信息中包含指定物品类别，则输出找到指定物品的提示信息；所述指定物品类别为在通过图像采集模块采集家居环境图像之前，获取的用户输入的物品类别。

在一种可能的实施方式中，所述分类模块的训练过程，包括：

获取第一图像训练集；所述第一图像训练集中包括未标注像素类别标签的第一样本图像；所述第一样本图像为将已知像素类别的原始图像切割并随机组合确定的；

基于所述第一图像训练集对所述分类模块进行迭代训练，其中，一次迭代训练过程包括：

从所述第一图像训练集中抽取第一样本图像输入所述特征提取模块，确定第一样本图像的图像形态特征矩阵；

将第一样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第一样本图像的隐藏信息特征矩阵；

基于第一样本图像对应的图像形态特征矩阵和第一样本图像的隐藏信息特征矩阵，得到第一样本图像的全局特征关联矩阵；

基于已训练的特征生成模块对第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成类别处理，得到第一样本图像的第一像素类别；

将第一样本图像的全局特征关联矩阵和与所述第一像素类别输入所述分类模块中，得到所述分类模块输出的第一样本图像的第二像素类别；

基于所述第一样本图像的第二像素类别以及所述第一像素类别，得到所述分类模块的分类概率；

基于所述分类概率，调整分类模块的网络参数，直至所述分类概率满足第一预设值，得到已训练的分类模块。

上述方法中利用第一图像训练集对分类模块进行训练，其中，第一图像训练集中可以包括第一样本图像，在具体的应用场景中，第一图像训练集可以为具体场景中使用的图像训练集，例如，若具体的使用场景为在家庭居住的房屋中寻找物品，则第一图像训练集可以为家庭居住的房屋中的所有物品的图像，利用已训练的特征生成模块对第一样本图像进行处理，已训练的特征生成模块可以很好的根据第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵进行识别，确定其对应的第一样本图像中像素点的类别信息，通过特征生成模块生成的第一像素类别，对分类模块进行训练，更新分类模块的网络权重参数，使得分类模块可以获得对未标注的图像的分类识别能力。并且，由于第一样本图像是已知像素类别的原始图像进行切割并随机组合得到的，所以，在训练分类模块的过程中，无需去获取大量的经过人工标注的样本图像，而是通过得到的第一样本图像的高精度的全局特征关联矩阵对分类模块进行训练，就可以使得分类模块获得很好的分类识别能力。实现了高精度的零数据学习功能，减少了人工标注的成本。

并且，由于全局特征关联矩阵中包含的图像的像素类别信息精度很高，所以，在识别过程中，若待识别图像中包含未经过训练的物体，但是此物体中可能会包含与训练过程的物体相同或者类似的全局特征关联矩阵，分类模块也可以将此物体在待识别图像中标注出来，实现了一种精度更高，更智能的图像识别方法。

在一种可能的实施方式中，所述特征生成模块的训练过程包括：

获取第二图像训练集；所述第二图像训练集包括已标注的像素类别的第二样本图像；

基于所述第二图像训练集对所述特征生成模块进行迭代训练；所述特征生成模块包括矩阵转化单元和类别生成单元；其中，一次迭代训练过程包括：

从所述第二图像训练集中抽取第二样本图像输入所述特征提取模块中，生成第二样本图像对应的图像形态特征矩阵；

将第二样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第二样本图像的隐藏信息特征矩阵；

基于第二样本图像对应的图像形态特征矩阵和第二样本图像的隐藏信息特征矩阵，得到第二样本图像的全局特征关联矩阵；

将第二样本图像对应的隐藏信息特征矩阵和第二样本图像的全局特征关联矩阵输入矩阵转换单元，确定掩码矩阵和词向量矩阵；

基于类别生成单元对所述掩码矩阵和所述词向量矩阵进行类别生成处理，确定所述类别生成单元生成的第三像素类别和所述已标注的像素类别之间的相关值，调整所述特征生成模块的网络参数，直至所述相关值满足第二预设值，得到已训练的特征生成模块。

上述方法通过已经标注了像素类别信息的第二样本图像对特征生成模块进行训练，使得特征生成模块获得根据高精度的全局特征关联矩阵就可以确定样本图像中的像素点的类别的能力，从而实现利用已训练的特征生成模块对分类模块的训练过程。

在一种可能的实施方式中，所述类别生成单元包括类别生成层和类别判断层；所述基于类别生成单元对所述掩码矩阵和所述词向量矩阵进行类别生成处理，确定所述类别生成单元生成的第三像素类别和所述已标注的像素类别之间的相关值，调整所述特征生成模块的网络参数，直至所述相关值满足第二预设值，得到已训练的特征生成模块，包括：

将所述掩码矩阵和所述词向量矩阵输入所述类别生成层中，生成所述第三像素类别；

将所述第三像素类别和所述已标注的像素类别输入类别判断层，输出相关值，并根据所述相关值调整所述特征生成模块的网络参数，直至所述相关值满足第二预设值，得到已训练的特征生成模块。

第二方面，本申请实施例提供了一种图像识别装置，所述装置包括：

获取单元，用于将待识别图像输入特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；

选择单元，用于将所述图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵；

关联单元，用于基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵；

分类识别单元，用于将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息。

在一种可能的实施方式中，所述选择单元，还用于：

将所述图像形态特征矩阵输入所述特征拼接单元进行特征拼接，确定特征拼接矩阵；

将所述特征拼接矩阵输入所述压缩复制单元，通过所述压缩复制单元对所述特征拼接矩阵进行压缩得到压缩特征矩阵，并复制所述压缩特征矩阵得到复制特征矩阵；

将所述特征拼接矩阵和所述复制特征矩阵进行点乘，得到点乘特征矩阵；

将所述点乘特征矩阵输入所述卷积采样单元中，得到所述卷积采样单元输出的所述隐藏信息特征矩阵。

在一种可能的实施方式中，所述选择单元，还用于：

基于所述多个卷积层对所述图像形态特征矩阵进行卷积处理，得到多个卷积矩阵；其中，每个卷积层输出一个卷积矩阵；所述特征拼接单元的第一卷积层的输入为图像形态特征矩阵；除所述第一卷积层以外的每个卷积层的输入为各自对应的上一卷积层输出的卷积矩阵；

将多个卷积矩阵进行拼接，得到特征拼接矩阵。

在一种可能的实施方式中，所述选择单元，还用于：

将所述点乘特征矩阵输入所述卷积采样层中，得到卷积采样矩阵；

根据所述卷积采样矩阵对应的矩阵期望以及矩阵方差，对所述卷积采样矩阵按照高斯分布采样，得到高斯采样矩阵；

基于所述高斯采样矩阵以及激活函数，得到所述隐藏信息特征矩阵。

在一种可能的实施方式中，所述关联单元，还用于：

将所述图像形态特征矩阵和所述隐藏信息特征矩阵进行点乘，确定中间矩阵；

将所述中间矩阵和所述图像形态特征矩阵相加，得到所述全局特征关联矩阵。

在一种可能的实施方式中，所述分类识别单元，还用于：

若所述各个区域对应的类别信息中包含指定物品类别，则输出找到指定物品的提示信息；所述指定物品类别为在通过图像采集模块采集家居环境图像之前，获取的用户输入的物品类别。

在一种可能的实施方式中，所述图像识别装置，还包括：

训练单元，用于获取第一图像训练集；所述第一图像训练集中包括未标注像素类别标签的第一样本图像；所述第一样本图像为将已知像素类别的原始图像切割并随机组合确定的；

基于所述第一图像训练集对所述分类模块进行迭代训练，其中，一次迭代训练过程包括：

从所述第一图像训练集中抽取第一样本图像输入所述特征提取模块，确定第一样本图像的图像形态特征矩阵；

将第一样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第一样本图像的隐藏信息特征矩阵；

基于第一样本图像对应的图像形态特征矩阵和第一样本图像的隐藏信息特征矩阵，得到第一样本图像的全局特征关联矩阵；

基于已训练的特征生成模块对第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成类别处理，得到第一样本图像的第一像素类别；

将第一样本图像的全局特征关联矩阵和与所述第一像素类别输入所述分类模块中，得到所述分类模块输出的第一样本图像的第二像素类别；

基于所述第一样本图像的第二像素类别以及所述第一像素类别，得到所述分类模块的分类概率；

基于所述分类概率，调整分类模块的网络参数，直至所述分类概率满足第一预设值，得到已训练的分类模块。

在一种可能的实施方式中，所述训练单元，还用于：获取第二图像训练集；所述第二图像训练集包括已标注的像素类别的第二样本图像；

基于所述第二图像训练集对所述特征生成模块进行迭代训练；所述特征生成模块包括矩阵转化单元和类别生成单元；其中，一次迭代训练过程包括：

从所述第二图像训练集中抽取第二样本图像输入所述特征提取模块中，生成第二样本图像对应的图像形态特征矩阵；

将第二样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第二样本图像的隐藏信息特征矩阵；

基于第二样本图像对应的图像形态特征矩阵和第二样本图像的隐藏信息特征矩阵，得到第二样本图像的全局特征关联矩阵；

将第二样本图像对应的隐藏信息特征矩阵和第二样本图像的全局特征关联矩阵输入矩阵转换单元，确定掩码矩阵和词向量矩阵；

基于类别生成单元对所述掩码矩阵和所述词向量矩阵进行类别生成处理，确定所述类别生成单元生成的第三像素类别和所述已标注的像素类别之间的相关值，调整所述特征生成模块的网络参数，直至所述相关值满足第二预设值，得到已训练的特征生成模块。

在一种可能的实施方式中，所述训练单元，还用于：

将所述掩码矩阵和所述词向量矩阵输入所述类别生成层中，生成所述第三像素类别；

将所述第三像素类别和所述已标注的像素类别输入类别判断层，输出相关值，并根据所述相关值调整所述特征生成模块的网络参数，直至所述相关值满足第二预设值，得到已训练的特征生成模块。

第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器上可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面中任一项所述的方法。

本申请实施例提供的第二方面到第四方面所起到的技术效果与第一方面中提供的图像识别方法的技术效果相同，此处不在进行赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像识别方法的流程示意图；

图2为本申请实施例提供的一种特征选择模块的结构示意图；

图3为本申请实施例提供的一种特征拼接单元的结构示意图；

图4为本申请实施例提供的一种特征选择模块处理图像形态特征矩阵的流程示意图；

图5为本申请实施例提供的一种分类模块训练过程的流程示意图；

图6为本申请实施例提供的一种特征生成模块训练过程的流程示意图；

图7为本申请实施例提供的一种特征生成模块的结构示意图；

图8为本申请实施例提供的一种图像识别装置的结构示意图；

图9为本申请实施例提供的另一种图像识别装置的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

需要说明的是，本申请的文件中涉及的术语“包括”和“具有”以及它们的变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决现有技术中图像识别不准确的问题，本申请实施例提供了一种图像识别方法，将获取的待识别图像输入到特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；将图像形态特征矩阵输入特征选择模块进行特征选择，确定得到隐藏信息特征矩阵，以根据图像形态特征矩阵和隐藏信息特征矩阵确定全局特征关联矩阵；可以对像素点所表征出的图像形态特征矩阵进行处理，得到隐藏信息特征矩阵，再将得到的两个均能表征图像中像素点信息的矩阵进行关联，获得的全局特征关联矩阵可以更好的确定图像中各个区域的边界，全局特征关联矩阵可以准确的表征出图像中各个区域边界像素点对应的类别信息，再将全局特征关联矩阵输入到分类模块，就可以通过全局特征关联矩阵表征出的图像的像素点信息，准确的识别出待识别图像中的像素点对应的类别信息。

图1示出了本申请实施例提供的一种图像着识别方法的流程示意图，该图像识别方法可以应用于电子设备，该电子设备可以是服务器，也可以是终端设备。如图1所示，本申请实施例提供的图像识别方法包括以下步骤：

步骤S101：将待识别图像输入特征提取模块，获得用于表征待识别图像中各个像素点的像素特征的图像形态特征矩阵。

将待识别图像输入特征提取模块中，可以选择不同的网络模型作为特征提取模块的主体。本申请实施例中可以选择Deeplabv2作为主体部分对待识别图像进行特征提取，可以获得用于表征待识别图像中各个像素点的像素特征的图像形态特征矩阵，也就是语义特征矩阵。

示例性地，将待识别图像输入到特征提取模块中，得到大小为(64，64，600)的图像形态特征矩阵。

步骤S102：将图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵。

将图像形态特征矩阵输入特征选择模块中进行处理，得到隐藏信息特征矩阵。其中，特征选择模块包括特征拼接单元、压缩复制单元和卷积采样单元。图2示出了一种特征选择模块的结构示意图。

将图像形态特征矩阵输入特征拼接单元进行特征拼接，确定特征拼接矩阵，将特征拼接矩阵输入压缩复制单元，通过压缩复制单元对特征拼接矩阵进行压缩得到压缩特征矩阵，并复制压缩特征矩阵得到复制特征矩阵，将特征拼接矩阵和复制特征矩阵进行点乘，得到点乘特征矩阵，将点乘特征矩阵输入卷积采样单元中，得到卷积采样单元输出的隐藏信息特征矩阵。

在一种可能的实施例中，特征拼接单元包括多个卷积层，将图像形态特征矩阵输入特征拼接单元进行特征拼接，是通过多个卷积先对图像形态特征矩阵进行处理，最终得到特征拼接矩阵。图3示出了一种特征拼接单元的结构示意图。

本申请实施例中以特征拼接单元包括三个卷积层为例，第一卷积层的输入为图像形态特征矩阵，第一卷积层的卷积核大小为3*3，步长为1，输出特征大小为(64，64，600)的第一卷积矩阵。

第二卷积层的输入为第一卷积矩阵，第二卷积层的卷积核大小为3*3，步长为1，间隔为2，输出特征大小为(64，64，600)的第二卷积矩阵。

第三卷积层包含一个空洞卷积层，输入为第二卷积矩阵，卷积核大小为3*3，步长为1，间隔为5，输出特征大小为(64，64，600)的第三卷积矩阵。

将第一卷积矩阵、第二卷积矩阵以及第三卷积矩阵在通道上进行特征拼接，得到大小为(64，64，1800)的特征矩阵，也就是特征拼接矩阵。

确定特征拼接矩阵之后，将特征拼接矩阵输入压缩复制单元，其中，压缩复制单元可以包括压缩卷积层和复制卷积层，先将特征拼接矩阵输入到压缩卷积层中，压缩卷积层的卷积核大小为3*3，步长为1，输出特征大小为(64，64，3)的压缩特征矩阵。将压缩特征矩阵输入复制卷积层中，将压缩特征矩阵的3个通道分别复制600次，得到特征大小为(64，64，1800)的复制特征矩阵。

将特征拼接矩阵和复制特征矩阵进行点乘得到特征大小为(64，64，1800)的点乘特征矩阵。

将点乘特征矩阵输入卷积采样单元中，得到隐藏信息特征矩阵。其中，卷积采样单元中包括卷积采样层。将点乘特征矩阵输入卷积采样层中进行卷积处理，输出特征大小为(64，64，600)的卷积采样矩阵。卷积采样层为一个卷积核大小为1*1的卷积层。

求出卷积采样矩阵的矩阵期望μ和矩阵方差σ，将卷积采样矩阵按照高斯分布N(μ，σ)进行采样得到特征大小为(64，64，600)的高斯采样矩阵。

将高斯采样矩阵利用激活函数进行处理，得到隐藏信息特征矩阵。图4示出了一种特征选择模块处理图像形态特征矩阵的流程示意图。可选地，激活函数可以为sigmod激活函数。确定隐藏信息特征矩阵之后，需要使用KL散度损失函数将隐藏信息特征矩阵约束到标准正态分布。

步骤S103：基于图像形态特征矩阵和隐藏信息特征矩阵，得到全局特征关联矩阵。

在一种可能的实施例中，将图像形态特征矩阵和隐藏信息特征矩阵进行点乘，确定中间矩阵，将中间矩阵和图像形态特征矩阵相加，得到全局特征关联矩阵。

步骤S104：将全局特征关联矩阵输入到分类模块，确定待识别图像中各个区域对应的类别信息。

将全局特征关联矩阵输入到分类模块，分类模块的主要作用为实现分类功能，分类模块可以由两层卷积核大小为1*1的卷积层和softmax组成。分类模块为已训练的分类模块，具备通过全局特征关联矩阵准确的标记处待识别图像中各个区域可以识别出的物体。

具体地，可以基于上述步骤中使用到的模块以及功能创建深度学习网络，可以称为上下文信息生成网络(CUG Net，Contextual Understandable Generation Net)。

上述过程中使用的分类模块可以采用图5所示的训练方法得到。如图5所示，分类模块的训练过程包括以下步骤：

步骤S501：获取第一图像训练集。

其中，第一图像训练集中包括未标注像素类别标签的第一样本图像，第一样本图像为将已知像素类别的原始图像切割并随机组合确定的。

在一种可能的实施例中，获取已知像素类别的原始图像，如猫的图像，整张图像上均是猫的特征，从这张图像中得到的全局特征关联矩阵对应的像素类别均为猫的像素类别。将原始图像进行切割后，可以选择将每张原始图像切割为大小相等的9份，将所有切割后的原始图像打乱，在进行随机组合，得到第一样本图像，通过此方式得到的第一样本图像不需要进行标注，但是基于第一样本图像确定的全局特征关联矩阵就可以确定第一样本图像中每个像素点对应的像素类别信息。

步骤S502：从第一图像训练集中抽取第一样本图像输入特征提取模块，确定第一样本图像的图像形态特征矩阵。

步骤S503：将第一样本图像的图像形态特征矩阵输入特征选择模块中，得到第一样本图像的隐藏信息特征矩阵。

步骤S504：基于第一样本图像对应的图像形态特征矩阵和第一样本图像的隐藏信息特征矩阵，得到第一样本图像的全局特征关联矩阵。

步骤S505：基于已训练的特征生成模块对第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成类别处理，得到第一样本图像的第一像素类别。

在一种可能的实施例中，将第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵输入到已训练的特征生成模块中，通过特征生成模块中生成第一样本图像的全局特征关联矩阵对应的第一像素类别。

上述过程中，已训练的特征生成模块可以根据第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成准确的第一样本图像的像素类别，所以，在训练分类模块的过程中，无需在使用大量的标注像素类别标签的样本图像就可以实现训练分类模块的过程，即，实现了零数据训练分类模块的过程，节省了大量人工的去给样本图像进行标注像素类别标签的过程。

步骤S506：将第一样本图像的全局特征关联矩阵和与第一像素类别输入分类模块中，得到分类模块输出的第一样本图像的第二像素类别。

步骤S507：基于第一样本图像的第二像素类别以及第一像素类别，得到分类模块的分类概率。

在一种可能的实施例中，将第一样本图像的全局特征关联矩阵输入到待训练的分类模块中，利用分类模块判断全局特征关联矩阵对应的像素类别，分类模块输出的第一样本图像的第二像素类别。基于已训练的特征生成模块生成的第一像素类别和第二像素类别，分类模块利用分类器可以判断生成的像素类别的分类概率。

步骤S508：判断分类概率是否满足第一预设值。若满足，则执行步骤S510；若不满足，则执行步骤S509。

步骤S509：根据分类概率对分类模块的网络参数进行调整。

步骤S510：将当前的网络参数作为分类模块的网络参数，获得已训练的分类模块。

在一种可能的实施例中，根据分类概率判断生成的第一样本图像的第二像素类别是否准确，若不满足第一预设值，则调整分类模块的网络参数，直至分类概率满足第一预设值，将当前的网络参数作为分类模块的网络参数，获得已训练的分类模块。

需要说明的是，通过上述方式得到的已训练的分类模块根据全局特征关联矩阵可以判断待识别图像中像素点的类别。由于通过全局特征关联矩阵可以准确的表征出像素点对应的类别信息，所以，若训练过程中分类模块训练用到的第一样本图像中包括电视机的全局特征关联矩阵，则在识别过程中，若待识别图像中包括电脑，由于电视机和电脑之间均具备液晶显示屏这样相同的像素点对应的全局特征关联矩阵，所以，分类模块也可以将待识别图像中的电脑也标注出来。可以实现通过少量第一样本图像进行训练，使用过程中，与第一样本图像中存在相同全局特征关联矩阵的一些图像也可以在识别过程中被标注出来。

上述训练分类模块的过程中使用的特征生成模块可以采用图6所示的训练方法得到。图7示出了一种特征生成模块的结构示意图。如图6所示，特征生成模块的训练过程包括以下步骤：

步骤S601：获取第二图像训练集。

其中，第二图像训练集包括已标注的像素类别的第二样本图像。

在一种可能的实施例中，训练特征生成模块的过程中使用的第二样本图像是经过标注像素类别的图像，训练特征生成模块的过程实质上是通过已标注像素类别标签的第二样本图像对应的全局特征关联矩阵和已标注的像素类别之间的对应关系，使得特征生成模块获得根据图像的全局特征关联矩阵生成准确的像素类别的过程。其中，特征生成模块包括矩阵转化单元和类别生成单元。

步骤S602：从第二图像训练集中抽取第二样本图像输入特征提取模块中，生成第二样本图像对应的图像形态特征矩阵。

步骤S603：将第二样本图像的图像形态特征矩阵输入特征选择模块中，得到第二样本图像的隐藏信息特征矩阵。

步骤S604：基于第二样本图像对应的图像形态特征矩阵和第二样本图像的隐藏信息特征矩阵，得到第二样本图像的全局特征关联矩阵。

步骤S605：将第二样本图像对应的隐藏信息特征矩阵和第二样本图像的全局特征关联矩阵输入矩阵转换单元，确定掩码矩阵和词向量矩阵。

在一种可能的实施例中，将第二样本图像对应的隐藏信息特征矩阵和第二样本图像的全局特征关联矩阵输入矩阵转换单元，确定第二样本图像对应的随机掩码矩阵，并且通过onehot编码的形式确定词向量矩阵。

步骤S606：基于类别生成单元对掩码矩阵和词向量矩阵进行类别生成处理，确定类别生成单元生成的第三像素类别和已标注的像素类别之间的相关值。

其中，类别生成单元包括类别生成层和类别判断层。

在一种可能的实施例中，将掩码矩阵和词向量矩阵输入类别生成层中，生成第三像素类别，将第三像素类别和已标注的像素类别输入类别判断层，输出相关值。可选地，类别生成单元可以为常规的GAN网络(生成式对抗网络)。

步骤S607：判断相关值是否满足第二预设值。若满足，则执行步骤S609；若不满足，则执行步骤S608。

步骤S608：根据相关值对特征生成模块的网络参数进行调整。

步骤S609：将当前网络参数作为特征生成模块的网络参数，获得已训练的特征生成模块。

上述方式训练得到的已训练的特征生成模块可以准确的通过图像的全局特征关联矩阵确定图像对应的像素类别，用在训练分类模块的过程中，就可以通过未标注的第二样本图像确定第二样本图像中的像素类别信息，并以此训练分类模块，实现了不需要大量的人工标注的样本图像就可以训练分类模块。

通过上述实施例中的训练过程以及使用过程，先进行训练特征生成模块，使用标注像素类别的第二样本图像对特征生成模块进行训练，得到已训练的特征生成模块，使得特征生成模块可以通过图像的全局特征关联矩阵确定图像的像素类别。

在使用已训练的特征生成模块训练分类模块时，就可以无需耗费大量的人工去标注样本图像了，使用已知像素类别的原始图像切割并随机组合的第一样本图像进行训练分类模块即可。在训练分类模块的过程中，通过将第一样本图像输入到特征提取模块以及特征选择模块中，可以获得第一样本图像对应的图像形态特征矩阵和第一样本图像对应的隐藏信息特征矩阵，通过两个矩阵进行关联，可以确定第一样本图像对应的全局特征关联矩阵，已训练的特征生成模块可以通过第一样本图像对应的全局特征关联矩阵确定出第一样本图像对应的第一像素类别，通过第一像素类别和第一样本图像对应的全局特征关联矩阵训练分类模块，得到已训练的分类模块。

分类模块在使用过程中就可以通过待识别图像的对应的全局特征关联矩阵判断该将待识别图像中的哪些区域标记出来。并且经过图像形态特征矩阵和隐藏信息特征矩阵关联得到的全局特征关联矩阵可以精确的表征出各个区域之间的边界的像素类别，也可以提高图像识别的精度。

进一步地，由于全局特征关联矩阵表征出的像素点的类别信息精度很高，针对两种具有相同的像素点的不同物体，如电视机和电脑，均可以具备液晶显示器，图像中若包括液晶显示器，无论是通过电视机液晶显示器或者是电脑液晶显示器中的液晶显示器这部分图像中的像素点进行一系列的处理所得到的全局特征关联矩阵可能是相同的。所以，若训练过程中使用包括电脑的样本图像训练过分类模块，则在识别过程中，即使没有使用包括电视机的样本图像训练过分类模块，分类模块也可以将电视机在待识别图像中标注出来。同理的，若针对包括猫的样本图像训练过分类模块，则在识别过程中，若待识别图像中包括老虎，豹子等与猫可能具有相同的像素点的动物，也可以在待识别图像中标注出来。

可选地，可以将图像识别方法应用在各种场景中，如路障识别场景中，将该方法应用于车载终端中，去识别车辆前方可能会存在的障碍物。

本申请实施例提供了另一种图像识别方法，具体应用于养老居家服务机器人，该方法可以包括以下步骤：

步骤一：通过图像采集设备采集视野范围内的家居环境图像。

养老居家服务机器人上安装有摄像头等图像采集模块。养老居家服务机器人在使用的过程中，可以利用图像采集模块获取视力不好的老人身边的环境图像。

步骤二：将家居环境图像输入特征提取模块中，获得用于表征家居环境图像中各个像素点的像素特征的图像形态特征矩阵。

步骤三：将图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵。

步骤四：基于图像形态特征矩阵和隐藏信息特征矩阵，得到全局特征关联矩阵。

步骤五：将全局特征关联矩阵输入到分类模块，确定家居环境图像中各个区域对应的类别信息。

步骤六：若各个区域对应的类别信息中包含指定物品类别，则输出找到指定物品的提示信息。

其中，指定物品类别为在通过图像采集模块采集家居环境图像之前，获取的用户输入的物品类别。养老居家服务机器人可以具备寻物功能，可以预先根据老人所居住的房屋内部的所有的物品的图像，也就是家居环境图像对分类模块进行训练，得到已训练的分类模块之后。已训练的分类模块可以通过判断全局特征关联矩阵中表征的像素点的类别信息，确定家居环境图像中各个区域对应的类别信息。将图像识别方法应用在养老居家服务机器人上，老人在寻找东西时，可以选择开启寻物功能，输入所要寻找的物品的物品类别，养老居家服务机器人通过摄像头获取家居环境图像，并将获取到的家居环境图像进行分类识别，如果家居环境图像的各个区域对应的类别信息中包含指定物品类别，则可以认为已找到指定的物品，输出找到指定物品的提示信息，该提示信息可以通过语音播报的形式告知老人。

可选地，也可以对视力不好的老人观察房间中的物品，以免碰伤。对一些大型的物品或者猫狗等动物进行设置为指定物品，在老人行进的过程中若采集到的家居环境图像中出现指定物品，则发出语音播报，通过语音播报的方式给老人提供建议，告知老人前方存在动物或者前方存在大花盆等物体，保证老人行进过程中的安全。

可选地，若使用在居住的房屋内部的养老居家服务机器人需要使用在屋外的环境中，只需要将新的使用场景中可能会出现的标志性物品的少量图像作为训练图像集，重新利用新的训练图像集训练分类模块，得到已训练的分类模块之后，此机器人就可以适配到新的应用场景中，所以，本申请中的图像识别方法具有很强的扩展性，训练过程无需大量的标注的样本图像就可以训练完成，所以，应用于机器人之后，机器人可以适应很多场景的运用。

与上述方法实施例基于同一发明构思，本申请实施例还提供一种图像识别装置。图8示出了本申请实施例提供的一种图像识别装置的结构示意图。该图像识别装置，应用于电子设备，如图8所示，该图像识别装置包括：

获取单元801，用于将待识别图像输入特征提取模块，获得用于表征待识别图像中各个像素点的像素特征的图像形态特征矩阵；

选择单元802，用于将图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵；

关联单元803，用于基于图像形态特征矩阵和隐藏信息特征矩阵，得到全局特征关联矩阵；

分类识别单元804，用于将全局特征关联矩阵输入到分类模块，确定待识别图像中各个区域对应的类别信息。

在一种可能的实施方式中，选择单元802，还用于：

将图像形态特征矩阵输入特征拼接单元进行特征拼接，确定特征拼接矩阵；

将特征拼接矩阵输入压缩复制单元，通过压缩复制单元对特征拼接矩阵进行压缩得到压缩特征矩阵，并复制压缩特征矩阵得到复制特征矩阵；

将特征拼接矩阵和复制特征矩阵进行点乘，得到点乘特征矩阵；

将点乘特征矩阵输入卷积采样单元中，得到卷积采样单元输出的隐藏信息特征矩阵。

在一种可能的实施方式中，选择单元802，还用于：

基于多个卷积层对图像形态特征矩阵进行卷积处理，得到多个卷积矩阵；其中，每个卷积层输出一个卷积矩阵；特征拼接单元的第一卷积层的输入为图像形态特征矩阵；除第一卷积层以外的每个卷积层的输入为各自对应的上一卷积层输出的卷积矩阵；

将多个卷积矩阵进行拼接，得到特征拼接矩阵。

在一种可能的实施方式中，选择单元802，还用于：

将点乘特征矩阵输入卷积采样层中，得到卷积采样矩阵；

根据卷积采样矩阵对应的矩阵期望以及矩阵方差，对卷积采样矩阵按照高斯分布采样，得到高斯采样矩阵；

基于高斯采样矩阵以及激活函数，得到隐藏信息特征矩阵。

在一种可能的实施方式中，关联单元803，还用于：

将图像形态特征矩阵和隐藏信息特征矩阵进行点乘，确定中间矩阵；

将中间矩阵和图像形态特征矩阵相加，得到全局特征关联矩阵。

在一种可能的实施方式中，所述分类识别单元，还用于：

若所述各个区域对应的类别信息中包含指定物品类别，则输出找到指定物品的提示信息；所述指定物品类别为在通过图像采集模块采集家居环境图像之前，获取的用户输入的物品类别。

在一种可能的实施方式中，图9示出了本申请实施例提供的另一种图像识别装置，该图像识别装置还包括：

训练单元901，用于获取第一图像训练集；第一图像训练集中包括未标注像素类别标签的第一样本图像；第一样本图像为将已知像素类别的原始图像切割并随机组合确定的；

基于第一图像训练集对分类模块进行迭代训练，其中，一次迭代训练过程包括：

从第一图像训练集中抽取第一样本图像输入特征提取模块，确定第一样本图像的图像形态特征矩阵；

将第一样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第一样本图像的隐藏信息特征矩阵；

基于第一样本图像对应的图像形态特征矩阵和第一样本图像的隐藏信息特征矩阵，得到第一样本图像的全局特征关联矩阵；

基于已训练的特征生成模块对第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成类别处理，得到第一样本图像的第一像素类别；

将第一样本图像的全局特征关联矩阵和与第一像素类别输入分类模块中，得到分类模块输出的第一样本图像的第二像素类别；

基于第一样本图像的第二像素类别以及第一像素类别，得到分类模块的分类概率；

基于分类概率，调整分类模块的网络参数，直至分类概率满足第一预设值，得到已训练的分类模块。

在一种可能的实施方式中，训练单元901，还用于：

获取第二图像训练集；第二图像训练集包括已标注的像素类别的第二样本图像；

基于第二图像训练集对特征生成模块进行迭代训练；特征生成模块包括矩阵转化单元和类别生成单元；其中，一次迭代训练过程包括：

从第二图像训练集中抽取第二样本图像输入特征提取模块中，生成第二样本图像对应的图像形态特征矩阵；

将第二样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第二样本图像的隐藏信息特征矩阵；

基于第二样本图像对应的图像形态特征矩阵和第二样本图像的隐藏信息特征矩阵，得到第二样本图像的全局特征关联矩阵；

将第二样本图像对应的隐藏信息特征矩阵和第二样本图像的全局特征关联矩阵输入矩阵转换单元，确定掩码矩阵和词向量矩阵；

基于类别生成单元对掩码矩阵和词向量矩阵进行类别生成处理，确定类别生成单元生成的第三像素类别和已标注的像素类别之间的相关值，调整特征生成模块的网络参数，直至相关值满足第二预设值，得到已训练的特征生成模块。

在一种可能的实施方式中，训练单元901，还用于：

将掩码矩阵和词向量矩阵输入类别生成层中，生成第三像素类别；

将第三像素类别和已标注的像素类别输入类别判断层，输出相关值，并根据相关值调整特征生成模块的网络参数，直至相关值满足第二预设值，得到已训练的特征生成模块。

本申请实施例还提供了一种电子设备，该电子设备可以用于执行图像识别方法的流程，该电子设备可以是服务器，也可以是终端设备，具体地，该电子设备可以是机器人，利用机器人执行图像识别方法的流程。该电子设备至少包括用于存储数据的存储器和处理器，其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本申请实施例的图像识别方法的流程中的各个步骤。

图10为本申请实施例提供的一种电子设备的结构示意图。如图10所示，电子设备1000包括存储器1001、处理器1002、图像采集模块1003和总线1004。该存储器1001、处理器1002和图像采集模块1003均通过总线1004连接，该总线1004用于该存储器1001、处理器1002和图像采集模块1003之间传输数据。

其中，存储器1001可用于存储软件程序以及模块，处理器1002通过运行存储在存储器1001中的软件程序以及模块，从而执行电子设备1000的各种功能应用以及数据处理，如本申请实施例提供的图像识别方法。存储器1001可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备1000的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1002是电子设备1000的控制中心，利用总线1004以及各种接口和线路连接整个电子设备1000的各个部分，通过运行或执行存储在存储器1001内的软件程序和/或模块，以及调用存储在存储器1001内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1002可包括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处理单元等。

图像采集模块1003用于获取数据，如待识别图像，以及本申请实施例所使用的第一图像训练集或者第二图像训练集等。具体地，若电子设备为机器人，则图像采集模块可以为摄像头，摄像头用于采集家居环境图像或者各种应用场景中的待识别图像。

本申请实施例还提供了一种计算机可读存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机程序被处理器执行时可用于实现本申请任一实施例所记载的图像识别方法。

在一些可能的实施方式中，本申请提供的图像识别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的图像识别方法的步骤，例如，所述计算机设备可以执行如图1所示的步骤S101～S104的图像识别方法的流程。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像识别方法，其特征在于，所述方法包括：

将待识别图像输入特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；

将所述图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵；

基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵；

将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息。

2.根据权利要求1所述的方法，其特征在于，所述特征选择模块包括特征拼接单元、压缩复制单元和卷积采样单元；所述将所述图像形态特征矩阵输入特征选择模块进行特征选择，得到隐藏信息特征矩阵，包括：

将所述图像形态特征矩阵输入所述特征拼接单元进行特征拼接，确定特征拼接矩阵；

将所述特征拼接矩阵输入所述压缩复制单元，通过所述压缩复制单元对所述特征拼接矩阵进行压缩得到压缩特征矩阵，并复制所述压缩特征矩阵得到复制特征矩阵；

将所述特征拼接矩阵和所述复制特征矩阵进行点乘，得到点乘特征矩阵；

将所述点乘特征矩阵输入所述卷积采样单元中，得到所述卷积采样单元输出的所述隐藏信息特征矩阵。

3.根据权利要求2所述的方法，其特征在于，所述特征拼接单元包括多个卷积层；所述将所述图像形态特征矩阵输入特征拼接单元进行特征拼接，确定特征拼接矩阵，包括：

基于所述多个卷积层对所述图像形态特征矩阵进行卷积处理，得到多个卷积矩阵；其中，每个卷积层输出一个卷积矩阵；所述特征拼接单元的第一卷积层的输入为图像形态特征矩阵；除所述第一卷积层以外的每个卷积层的输入为各自对应的上一卷积层输出的卷积矩阵；

将多个卷积矩阵进行拼接，得到特征拼接矩阵。

4.根据权利要求2所述的方法，其特征在于，所述卷积采样单元包括卷积采样层；将所述点乘特征矩阵输入所述卷积采样单元中，得到所述卷积采样单元输出的所述隐藏信息特征矩阵，包括：

将所述点乘特征矩阵输入所述卷积采样层中，得到卷积采样矩阵；

根据所述卷积采样矩阵对应的矩阵期望以及矩阵方差，对所述卷积采样矩阵按照高斯分布采样，得到高斯采样矩阵；

基于所述高斯采样矩阵以及激活函数，得到所述隐藏信息特征矩阵。

5.根据权利要求1所述的方法，其特征在于，所述基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵，包括：

将所述图像形态特征矩阵和所述隐藏信息特征矩阵进行点乘，确定中间矩阵；

将所述中间矩阵和所述图像形态特征矩阵相加，得到所述全局特征关联矩阵。

6.根据权利要求1～5中任一项所述的方法，其特征在于，所述待识别图像为机器人通过图像采集模块采集的家居环境图像；所述将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息之后，所述方法还包括：

若所述各个区域对应的类别信息中包含指定物品类别，则输出找到指定物品的提示信息；所述指定物品类别为在通过图像采集模块采集家居环境图像之前，获取的用户输入的物品类别。

7.根据权利要求1所述的方法，其特征在于，所述分类模块的训练过程，包括：

获取第一图像训练集；所述第一图像训练集中包括未标注像素类别标签的第一样本图像；所述第一样本图像为将已知像素类别的原始图像切割并随机组合确定的；

基于所述第一图像训练集对所述分类模块进行迭代训练，其中，一次迭代训练过程包括：

从所述第一图像训练集中抽取第一样本图像输入所述特征提取模块，确定第一样本图像的图像形态特征矩阵；

将第一样本图像对应的图像形态特征矩阵输入特征选择模块中，得到第一样本图像的隐藏信息特征矩阵；

基于第一样本图像对应的图像形态特征矩阵和第一样本图像的隐藏信息特征矩阵，得到第一样本图像的全局特征关联矩阵；

基于已训练的特征生成模块对第一样本图像的隐藏信息特征矩阵和第一样本图像的全局特征关联矩阵生成类别处理，得到第一样本图像的第一像素类别；

将第一样本图像的全局特征关联矩阵和与所述第一像素类别输入所述分类模块中，得到所述分类模块输出的第一样本图像的第二像素类别；

基于所述第一样本图像的第二像素类别以及所述第一像素类别，得到所述分类模块的分类概率；

基于所述分类概率，调整分类模块的网络参数，直至所述分类概率满足第一预设值，得到已训练的分类模块。

8.一种图像识别装置，其特征在于，所述装置包括：

获取单元，用于将待识别图像输入特征提取模块，获得用于表征所述待识别图像中各个像素点的像素特征的图像形态特征矩阵；

选择单元，用于将所述图像形态特征矩阵输入特征选择模块中进行特征选择，得到隐藏信息特征矩阵；

关联单元，用于基于所述图像形态特征矩阵和所述隐藏信息特征矩阵，得到全局特征关联矩阵；

分类识别单元，用于将所述全局特征关联矩阵输入到分类模块，确定所述待识别图像中各个区域对应的类别信息。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，实现权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～7中任一项所述的方法。

Images