CN112926441B - 基于机器视觉的家居识别方法、系统、装置及介质 - Google Patents

Abstract

本发明提供的基于机器视觉的家居识别方法、系统、装置及存储介质，方法包括：获确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据；根据所述家居数据训练神经网络模型，通过训练后的神经网络模型识别所述家居，其中，训练神经网络模型的步骤包括：根据所述家居数据进行物体识别，并切割得到若干子图像；对所述子图像进行细粒度分类，确定所述子图像中的所述家居。方法解决了神经网络训练数据集的规模制作成本高昂，可用性较差的问题，并降低了人工识别筛选所导致的误差，识别结果更为精准，并提高了家居识别筛选的效率，可广泛应用于机器视觉技术领域。

Description

基于机器视觉的家居识别方法、系统、装置及介质

技术领域

本发明涉及机器视觉技术领域，尤其是基于机器视觉的家居识别方法、系统及存储介质。

背景技术

随着经济社会的不断发展，家居个性化定制已经成为一种大趋势。快速、智能的家居设计模式是家居设计软件适应个性化定制潮流的重要因素。家居个性化定制主要需求场景有：用户提供一张家居图像，设计师根据图像进行建模和报价。然而，这种纯人工设计模式耗时比较长，并且需要依赖设计师的专业知识以及对现有家居产品库的熟悉程度。随着家居产品库的不断丰富、以及家居产品的更新换代加速，传统的家居设计模式对设计师的要求越来越高，并且家居设计周期长，设计成本高。

为了降低家居设计对设计师专业技能的依赖，减轻前端设计师的工作压力，机器视觉家居识别系统以大数据作为驱动力，利用深度学习技术识别家居及其组成部件。该系统能让设计师快速识别图像中家居的信息(家居的种类、组成部件种类)，进而辅助设计师快速地进行产品建模，并快速估算家居价格，可以大大地缩短建模时间、降低建模成本和提高顾客成单率。在新产品研发过程中，智能的家居识别系统可以帮助设计师快速地对竞品的家居进行建模并进行改进，符合产品快速迭代升级的需求。

现有的家居识别产品的方法只通过算法识别出来出图片中的家居后，就通过相似度匹配查找数据库中与其最相似的家居输出给设计师进行模型重建，这样难以满足多样化、个性化的家居产品需求；此外在家居行业个性化定制中，即便是同一品牌、系列以及花色的产品，用户实际需求与喜好不同，定制的差异较大，仅通过整体相似度匹配的方法无法更好地辅助设计师快速建模。设计师后期需要花费大量时间对重建模型进行修改以满足客户个性化定制的需求，这样耗费时间较长。同时训练一个精准度高的识别家居模型需要大量的家居数据，但目前开源的家居数据集匮乏，制作一个符合项目需求的数据集机制制作成本高，数据集收集难等一系列问题。

发明内容

有鉴于此，为至少部分解决上述技术问题之一，本发明实施例目的在于提供一种便捷高效、可用度高且能够满足个性化需求的基于机器视觉的家居识别方法，同时本申请还提供了对应的实现该方法的系统、装置及计算机可读存储介质。

第一方面，本发明的技术方案提供了基于机器视觉的家居识别方法，其步骤包括：

确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据；

根据所述家居数据训练神经网络模型，通过训练后的神经网络模型识别所述家居，其中，训练神经网络模型的步骤包括：

根据所述家居数据进行物体识别，并切割得到若干子图像；

对所述子图像进行细粒度分类，确定所述子图像中的所述家居。

在本申请方案的一种可行的实施例中，所述确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据这一步骤，其包括：

确定图像数据采集点的第一坐标位置，确定目标家居的第二坐标位置；

确定所述目标家居在视场范围内，根据所述第一坐标位置以及所述第二坐标位置采集所述家居数据。

在本申请方案的一种可行的实施例中，所述确定所述目标家居在视场范围内，根据所述第一坐标位置以及所述第二坐标位置采集所述家居数据这一步骤，其包括：

确定所述视场范围内墙面的左端点与右端点；

根据所述左端点、所述第一坐标位置以及所述第二坐标位置得到第一夹角，根据所述右端点、所述第一坐标位置以及所述第二坐标位置得到第二夹角；

确定所述第一夹角与所述第二夹角均小于所述视场范围的视角的一半，遍历所述视场范围确定目标家居，生成所述目标家居的包围盒；

当所述包围盒的顶点均在所述视场范围内，确定所述目标家居在视场范围内。

在本申请方案的一种可行的实施例中，所述根据所述家居数据进行物体识别，并切割得到若干子图像这一步骤，其包括：

根据所述家居数据提取得到第一特征图，在所述第一特征图中设置若干第一兴趣区域；

通过分类确定所述家居所属类别；

对确定类别后的家居进行边框回归，将所述第一兴趣区域进行过滤得到第二兴趣区域；

将所述第二兴趣区域生成掩膜，根据所述掩膜与所述家居数据得到包含所述家居的子图像。

在本申请方案的一种可行的实施例中，所述对所述子图像进行细粒度分类，确定所述子图像中的所述家居这一步骤，其包括：

根据所述子图像进行特征提取得到第二特征图，根据所述第二特征图进行卷积得到若干注意力图；

对所述注意力图进行特征增强，根据特征增强后的注意力图与所述第二特征图进行逐元素相乘得到第三特征图，对所述第三特征图进行卷积降维生成特征矩阵；

根据所述特征矩阵通过分类确定所述子图像中的所述家居对应部件的编码信息，根据所述编码信息确定所述家居的信息。

在本申请方案的一种可行的实施例中，所述训练神经网络模型的步骤还包括：

获取所述神经网络模型的交叉熵损失函数以及均方差损失函数，根据所述交叉熵损失函数以及所述均方差损失函数对所述神经网络模型进行参数优化。

在本申请方案的一种可行的实施例中，所述家居识别方法，其还包括以下步骤：

获取训练后的神经网络模型的识别结果中的预测概率；

确定所述预测概率不小于第一预设值，根据所述识别结果在产品信息库中匹配得到对应的产品信息以及价格尺度；

确定所述预测概率小于所述第一预设值，从所述产品信息库中根据用户选择频率，筛选得到对应的家居，并获取所述家居的产品信息以及价格尺度。

第二方面，本发明的技术方案还提供基于机器学习的家居识别系统，包括：

数据获取单元，用于确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据；

模型训练单元，用于根据所述家居数据训练神经网络模型，其中，训练神经网络模型的步骤包括：根据所述家居数据进行物体识别，并切割得到若干子图像；对所述子图像进行细粒度分类，确定所述子图像中的所述家居；

识别预测单元，用于通过训练后的神经网络模型识别所述家居。

第三方面，本发明的技术方案还提供基于机器视觉的家居识别装置，其包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中的基于机器视觉的家居识别方法。

第四方面，本发明的技术方案还提供了一种存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于运行第一方面中的方法。

本发明的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本发明的具体实施方式了解得到：

本申请所提供的技术方案通过确定的坐标位置，根据坐标位置进行数据的初步的筛选和清洗，解决了神经网络训练数据集的规模制作成本高昂，可用性较差的问题。通过机器学习的方式确定场景空间中家居的信息等，取代了借助行业经验以及数值估算的方法，降低了人工识别筛选所导致的误差，识别结果更为精准，并提高了家居识别筛选的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于机器视觉的家居识别方法实施例的步骤流程图；

图2为本发明另一种基于机器视觉的家居识别方法实施例的步骤流程图；

图3为本发明中基于机器视觉的家居识别装置实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本申请的技术方案首先为了解决家居数据集缺乏、数据收集难和制作成本高等问题，其次解决家居识别重建缺乏个性化的问题，以减少设计师重建模型后修改模型的时间。技术方案主要通过DIYHome 3D引擎进行自动化制作数据集；其次，根据深度学习的实例分割算法和细粒度分类算法对家居进行实例分割和部件分类；最后，根据分类的结果估确定该家居的各种属性信息以及价格信息等。

在第一方面，如图1所示，本申请提供了基于机器视觉的家居识别方法，包括步骤S01-S02：

S01、确定家居所在空间，确定家居在空间中的坐标位置，根据坐标位置采集家居数据。

具体地，在摆放有家居产品的空间内设置图像采集工具，例如照相机，并根据该家居产品在该空间的具体坐标位置，以及采集工具的位置进行必要的调整，以获取最佳的家居产品图像数据，从而解决空间中其他物体遮挡或者阴影和灯光而导致的误差，提高数据集中数据的可用性。另外，如果是单空间，直接计算该空间的中心位置；如果是多空间，则先判断该家居所在空间，并锁定该空间，并将其余空间全部隐藏，从而解决其他空间遮挡的影响，再计算当前空间的中心位置。

在一些可选的实施例中，确定目标家居在视场范围内，根据第一坐标位置以及第二坐标位置采集家居数据这一步骤S01，可以进一步细分为步骤S011-S012：

S011、确定图像数据采集点的第一坐标位置，确定目标家居的第二坐标位置；

S012、确定目标家居在视场范围内，根据第一坐标位置以及第二坐标位置采集家居数据。

其中，视场范围即为采集装置所能够捕捉并成像的视野空间，具体地，首先初始化图像采集装置的位置，确定其在空间坐标系中坐标位置，即第一坐标位置，利用空间的所有墙体的俯视信息，根据凸多边形的求中心点原理，计算在俯视图(二维图像)下的中心点，从而得到中心点的x，y坐标，再根据当前户型的高，取其一半作为z轴坐标，从而得到空间中心点的坐标(x，y，z)，也是图像采集装置的初始坐标A。然后获取图像采集装置观察目标(家居)点的位置，确定其在空间坐标系中坐标位置，即第二坐标位置，根据家居的轴对齐包围盒计算家居的中心点，然后计算该中心点距离该空间所有墙面的距离，选择距离最小的墙面作为该家居依附的墙面。计算该墙面的中心点坐标，即为相机观察目标点的坐标B。确定坐标B处于坐标A处的图像采集装置视场范围中，再根据坐标A和坐标B进行调整，以确保采集得到的图像数据高度可用。

在一些可选的实施例中，确定目标家居在视场范围内，根据第一坐标位置以及第二坐标位置采集家居数据这一步骤，可以进一步细分为步骤S012a-S012d：

S012a、确定视场范围内墙面的左端点与右端点；

S012b、根据左端点、第一坐标位置以及第二坐标位置得到第一夹角，根据右端点、第一坐标位置以及第二坐标位置得到第二夹角；

S012c、确定第一夹角与第二夹角均小于视场范围的视角的一半，遍历视场范围确定目标家居，生成目标家居的包围盒；

S012d、当包围盒的顶点均在视场范围内，确定目标家居在视场范围内。

具体地，确定相机的视角范围确定当前墙面是否都在相机视场范围内，避免出现因背景不统一或者背景灯光的影响而产生的误差。首先，确定在视场范围中墙面的左右两条侧边之间能够形成水平连线的端点C和端点D，即分别为左端点和右端点。确定端点C，D与线段AB的夹角(线段AB即为坐标A与B之间的连线)，并且，当且仅有∠CAB与∠DAB都小于相机视角的一半，进入下一步判断夹角是否在合理范围内，否则，将A点沿线段BA方向增加一个步长，该步长可以根据实际空间大小进行预先设置，根据该步长对该视场范围进行遍历，直至满足∠CAB与∠DAB都小于相机视角的一半。然后，计算线段AB与墙体基线的夹角，判断∠ACB与∠ADB是否都在合理范围内，合理范围指如果这两个角度合适，图像采集装置能够获取到家居正面；如若不合理，则将A往向量AB处旋转一个随机角度，直到处于合理范围中。进一步，判断此时是否家居在相机视场范围内，计算家居的包围盒的8个顶点，计算这8个顶点和A的连线与AB的夹角是否小于相机视角的一半，当且仅有8个顶点都在视场范围内，进入后续调整，否则，将A点沿BA方向增加一个步长，该步长可以根据实际空间大小进行预先设置。确定A点相机坐标合理后，调用3D引擎调整相机坐标为A点。进一步，判断此时家居包围盒各点与镜头之间是否有墙体遮挡，如果有，则将A往向量AB处旋转一个随机角度，若无论如何进行角度旋转都找不到，则放弃该家居的数据采集；在确定没有墙体遮挡后，再判断此时家居是否在标准设备坐标内，当且仅当家居包围盒所有点都在标准设备坐标内，则说明该家居无遮挡可见。否则重新确定包围盒的顶点，并进行判别。自动导出该视角下的家居数据。完成导出后，将A往向量AB处旋转一个随机角度，重复调整图像采集装置位置，直到保存三个镜头的数据，作为完整的数据记录。根据若干通过步骤S012a-S012d所得到的数据记录得到家居数据的数据集。

S02、根据家居数据训练神经网络模型，通过训练后的神经网络模型识别家居；即根据深度学习的实例分割算法和细粒度分类算法对家居进行实例分割和部件分类，并进而获取该家居的详细属性信息以及价格信息等。

其中，训练神经网络模型的步骤包括步骤S021和S022：

S021、根据家居数据进行物体识别，并切割得到若干子图像；

S022、对子图像进行细粒度分类，确定子图像中的家居。

在实施例中，根据家居数据进行物体识别，并切割得到若干子图像这一步骤S021，可进一步细分为步骤S021a-S021d：

S021a：根据家居数据提取得到第一特征图，在第一特征图中设置若干第一兴趣区域；

S021b：通过分类确定所述家居所属类别；

S021c：对确定类别后的家居进行边框回归，将第一兴趣区域进行过滤得到第二兴趣区域；

S021d：将第二兴趣区域生成掩膜，根据掩膜与家居数据得到包含家居的子图像。

具体地，实施例中采用Mask-Rcnn算法对输入的家居图片进行初步的物体识别和分割，首先把DIYHome 3D引擎生成的数据集输入到一个的神经网络ResNet架构中，获取对应的特征图(feature map)，即为第一特征图，并通过对feature map中的每一点设定若干个的兴趣区域(region of interest，ROI)，即第一兴趣区域，来获得多个候选ROI，ROI的数量参数可根据实际情况预先进行设置。将这些候选的ROI输入到区域域生成网络(RPN)中进行分类和边框回归(Bounding-box)，过滤掉一些候选的ROI，然后对剩下的这些ROI进行ROIAlign操作进行区域特征聚集，ROIAlign操作可以将原图和feature map的像素(pixel)对应起来，然后将feature map和固定的特征对应起来，最后下面详细描述本发明的实施例对剩下的这些ROI进行分类、Bounding-box回归并生成对应的掩膜(Mask)，用掩膜对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计，用相似性变量或图像匹配方法检测和提取图像中与掩膜相似的结构特征，就能识别出图片中的家居以及分割出家居的部件。

在实施例中，对子图像进行细粒度分类，确定子图像中的家居这一步骤可进一步细分为步骤S022a-S022c：下面详细描述本发明的实施例

S022a、根据子图像进行特征提取得到第二特征图，根据第二特征图进行卷积得到若干注意力图；

S022b、对注意力图进行特征增强，与第二特征图进行逐元素相乘得到第三特征图，对第三特征图进行卷积降维生成特征矩阵；

S022c、根据特征矩阵通过分类确定子图像中的家居对应部件的编码信息，根据编码信息确定所述家居的信息。

具体地，实施例对图片分割出来的家居部分使用WS-DAN算法进行细粒度分类。首先，根据步骤S021分割出来的家居部分，输入到WS-DAN算法模型中，通过算法模型的主干网络Inceptionv3提取特征，得到特征图F，即第二特征图，然后对F进行1*1卷积操作，生成32个注意力图(attention maps)，在对该注意力图进行特征增强，实施例中主要通过注意力剪裁和注意力删除的方式进行特征增强。最后增强的数据再输入到网络中训练。将特征图F与每个通道(channel)中的attention map进行数组元素依次相乘(element-wisemultiplication)，得到32个子特征图(Part Feature Maps)组合，即第三特征图的组合，对每个Part Feature Maps组合进行全局平均池化(GAP)，进行降维后得到一组一维张量(tensor)，然后拼接在一起得到特征矩阵(Feature Matrix)。最后把Feature Matrix输入到分类层计算出家居的类别。

在一些可行的实施例中，步骤S02中训练神经网络模型的过程，还包括步骤S023、获取神经网络模型的交叉熵损失函数以及均方差损失函数，根据交叉熵损失函数以及均方差损失函数对神经网络模型进行参数优化。

具体地，获取家居数据的原始图像输出类别的分类损失函数为交叉熵损失函数，数据增强部分的输出类别的分类损失函数为均方差损失函数，根据两种损失函数对该神经网络模型进行参数优化。

应用优化后的神经网络模型，根据实时采集得到可能包含有家居产品的图像，对其进行识别并从数据库中匹配得到相应的属性信息和价格信息等。

在一些可选的实施例中，家居识别方法，其还可以包括步骤S03-S04：

S03、获取训练后的神经网络模型的识别结果中的预测概率；

S04、确定预测概率不小于第一预设值，根据识别结果在产品信息库中匹配得到对应的产品信息以及价格尺度；确定预测概率小于第一预设值，从产品信息库中根据用户选择频率，筛选得到对应的家居，并获取家居的产品信息以及价格尺度。

例如，第一预设值设为70％时，根据细粒度预测的结果可知部件的类别型号和概率，判断分类的概率是否大于70％，对于分类的概率大于70％的部件结果，根据部件的类别型号名称匹配产品信息库中相应的编码(code)，通过code可以得到部件的型号、花色、材质和价格尺度等信息。对分类的概率小于70％的情况，从产品信息库中推荐该部件中用户选择频率，即人气值最高的几个型号，选作该部件。如图2所示，最后基于家居制造的工艺规则，筛选过滤出符合制造需求的部件组合结果，根据数值计算的方法估算出整个家居的价格尺度，然后就可以通过价格尺度计算出实际需求尺寸大小的价格。

第二方面，本发明的一种软件系统实施例，基于机器视觉的家居识别系统，包括：

信数据获取单元，用于确定家居所在空间，确定家居在空间中的坐标位置，根据坐标位置采集家居数据；

模型训练单元，用于根据家居数据训练神经网络模型，其中，训练神经网络模型的步骤包括：根据家居数据进行物体识别，并切割得到若干子图像；对子图像进行细粒度分类，确定子图像中的家居；

识别预测单元，用于通过训练后的神经网络模型识别家居。

第三方面，如图3所示，本发明实施例还提供基于机器视觉的家居识别装置，其包括至少一个处理器；至少一个存储器，用于存储至少一个程序；当至少一个程序被至少一个处理器执行，使得至少一个处理器运行如第一方面中的基于机器视觉的家居识别方法。

本发明实施例还提供了一种存储介质内存储有程序，程序被处理器执行，实现如第一方面中的方法。

从上述具体的实施过程，可以总结出，本发明所提供的技术方案相较于现有技术存在以下优点或优势：

本申请的方法实现了大量训练数据集的自动采集、清洗和标注，解决了神经网络训练数据集的大规模制作成本高昂的问题。通过深度学习的算法获取家居组成部件的型号信息；并通过数值计算方法结合行业经验，自动地估算出家居产品的价格。解决了家居材质、价格人工识别、估算效率低下问题。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

其中，功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.基于机器视觉的家居识别方法，其特征在于，包括以下步骤：

确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据；

根据所述家居数据训练神经网络模型，通过训练后的神经网络模型识别所述家居，其中，训练神经网络模型的步骤包括：

根据所述家居数据进行物体识别，并切割得到若干子图像；

对所述子图像进行细粒度分类，确定所述子图像中的所述家居；

所述确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据，其包括：

确定图像数据采集点的第一坐标位置，确定目标家居的第二坐标位置；

所述确定所述目标家居在视场范围内，根据所述第一坐标位置以及所述第二坐标位置采集所述家居数据这一步骤，其包括：

确定所述视场范围内墙面的左端点与右端点；

根据所述左端点、所述第一坐标位置以及所述第二坐标位置得到第一夹角，根据所述右端点、所述第一坐标位置以及所述第二坐标位置得到第二夹角；所述第一夹角是以所述第一坐标位置为顶点的夹角；所述第二夹角是以所述第一坐标位置为顶点的夹角；

确定所述第一夹角与所述第二夹角均小于所述视场范围的视角的一半，遍历所述视场范围确定目标家居，生成所述目标家居的包围盒；

当所述包围盒的顶点均在所述视场范围内，确定所述目标家居在视场范围内。

2.根据权利要求1所述的基于机器视觉的家居识别方法，其特征在于，所述确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据这一步骤，其还包括：

确定所述目标家居在视场范围内，根据所述第一坐标位置以及所述第二坐标位置采集所述家居数据。

3.根据权利要求1所述的基于机器视觉的家居识别方法，其特征在于，所述根据所述家居数据进行物体识别，并切割得到若干子图像这一步骤，其包括：

根据所述家居数据提取得到第一特征图，在所述第一特征图中设置若干第一兴趣区域；

通过分类确定所述家居所属类别；

对确定类别后的家居进行边框回归，将所述第一兴趣区域进行过滤得到第二兴趣区域；将所述第二兴趣区域生成掩膜，根据所述掩膜与所述家居数据得到包含所述家居的子图像。

4.根据权利要求3所述的基于机器视觉的家居识别方法，其特征在于，所述对所述子图像进行细粒度分类，确定所述子图像中的所述家居这一步骤，其包括：

根据所述子图像进行特征提取得到第二特征图，根据所述第二特征图进行卷积得到注意力图；

对所述注意力图进行特征增强，根据特征增强后的注意力图与所述第二特征图进行逐元素相乘得到第三特征图，对所述第三特征图进行卷积降维生成特征矩阵；

根据所述特征矩阵通过分类确定所述子图像中的所述家居对应部件的编码信息，根据所述编码信息确定所述家居的信息。

5.根据权利要求1所述的基于机器视觉的家居识别方法，其特征在于，所述训练神经网络模型的步骤还包括：

获取所述神经网络模型的交叉熵损失函数以及均方差损失函数，根据所述交叉熵损失函数以及所述均方差损失函数对所述神经网络模型进行参数优化。

6.根据权利要求1-5任一项所述的基于机器视觉的家居识别方法，其特征在于，所述家居识别方法，其还包括以下步骤：

获取训练后的神经网络模型的识别结果中的预测概率；

确定所述预测概率不小于第一预设值，根据所述识别结果在产品信息库中匹配得到对应的产品信息以及价格尺度；

确定所述预测概率小于所述第一预设值，从所述产品信息库中根据用户选择频率，筛选得到对应的家居，并获取所述家居的产品信息以及价格尺度。

7.基于机器视觉的家居识别系统，其特征在于，包括：

数据获取单元，用于确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据；

模型训练单元，用于根据所述家居数据训练神经网络模型，其中，训练神经网络模型的步骤包括：根据所述家居数据进行物体识别，并切割得到若干子图像；对所述子图像进行细粒度分类，确定所述子图像中的所述家居；

识别预测单元，用于通过训练后的神经网络模型识别所述家居；

所述确定家居所在空间，确定所述家居在所述空间中的坐标位置，根据所述坐标位置采集家居数据，其包括：

确定图像数据采集点的第一坐标位置，确定目标家居的第二坐标位置；

所述确定所述目标家居在视场范围内，根据所述第一坐标位置以及所述第二坐标位置采集所述家居数据这一步骤，其包括：

确定所述视场范围内墙面的左端点与右端点；

根据所述左端点、所述第一坐标位置以及所述第二坐标位置得到第一夹角，根据所述右端点、所述第一坐标位置以及所述第二坐标位置得到第二夹角；所述第一夹角是以所述第一坐标位置为顶点的夹角；所述第二夹角是以所述第一坐标位置为顶点的夹角；

确定所述第一夹角与所述第二夹角均小于所述视场范围的视角的一半，遍历所述视场范围确定目标家居，生成所述目标家居的包围盒；

当所述包围盒的顶点均在所述视场范围内，确定所述目标家居在视场范围内。

8.基于机器视觉的家居识别装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求1-6任一项所述的基于机器视觉的家居识别方法。

9.一种存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-6中任一项所述的基于机器视觉的家居识别方法。

Images