CN116740384B - 洗地机的智能控制方法及系统 - Google Patents

洗地机的智能控制方法及系统 Download PDF

Info

Publication number
CN116740384B
CN116740384B CN202310717361.7A CN202310717361A CN116740384B CN 116740384 B CN116740384 B CN 116740384B CN 202310717361 A CN202310717361 A CN 202310717361A CN 116740384 B CN116740384 B CN 116740384B
Authority
CN
China
Prior art keywords
feature
feature map
shallow
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310717361.7A
Other languages
English (en)
Other versions
CN116740384A (zh
Inventor
朱英明
谢洪香
沈超基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Shangsimai Intelligent Technology Co ltd
Original Assignee
Dongguan Shangsimai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Shangsimai Intelligent Technology Co ltd filed Critical Dongguan Shangsimai Intelligent Technology Co ltd
Priority to CN202310717361.7A priority Critical patent/CN116740384B/zh
Publication of CN116740384A publication Critical patent/CN116740384A/zh
Application granted granted Critical
Publication of CN116740384B publication Critical patent/CN116740384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/29—Floor-scrubbing machines characterised by means for taking-up dirty liquid
    • A47L11/30—Floor-scrubbing machines characterised by means for taking-up dirty liquid by suction
    • A47L11/302—Floor-scrubbing machines characterised by means for taking-up dirty liquid by suction having rotary tools
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B40/00—Technologies aiming at improving the efficiency of home appliances, e.g. induction cooking or efficient technologies for refrigerators, freezers or dish washers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种洗地机的智能控制方法及系统。其首先提取待清洁区域的图像的方向梯度直方图，接着，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合后通过浅层特征提取器以得到清洁区域浅层特征图，然后，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图，接着，将所述多尺度清洁区域特征图通过深层特征提取器以得到清洁区域深层特征图，然后，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否增大滚刷转速的分类结果。这样，可以提高洗地机的清洁效率和清洁质量。

Description

洗地机的智能控制方法及系统
技术领域
本申请涉及智能控制领域，且更为具体地，涉及一种洗地机的智能控制方法及系统。
背景技术
洗地机是一种专门用于清洁地面的机器设备，它可以自动地洗刷地面，并将污水吸入机器内部进行处理。随着科技技术的发展，洗地机已经逐渐普及到越来越多的家庭中。洗地机上通常会设置有显示屏，便于用户在使用洗地机的过程中对洗地机的清洗状态进行监测和控制。然而，传统的洗地机需要人工控制清洁力度，包括喷水量、滚刷转速和吸力等，无法自动适应地面污渍程度的变化，导致清洁效率低下且清洁质量不稳定。
因此，期望一种优化的洗地机的智能控制方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种洗地机的智能控制方法及系统。其首先提取待清洁区域的图像的方向梯度直方图，接着，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合后通过浅层特征提取器以得到清洁区域浅层特征图，然后，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图，接着，将所述多尺度清洁区域特征图通过深层特征提取器以得到清洁区域深层特征图，然后，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否增大滚刷转速的分类结果。这样，可以提高洗地机的清洁效率和清洁质量。
根据本申请的一个方面，提供了一种洗地机的智能控制方法，其包括：
获取由洗地机的视觉导航系统采集的待清洁区域的图像；
提取所述待清洁区域的图像的方向梯度直方图；
将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；
将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；
将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；
将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；
融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。
在上述的洗地机的智能控制方法中，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图，包括：
使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
在上述的洗地机的智能控制方法中，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
在上述的洗地机的智能控制方法中，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图，包括：
使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
在上述的洗地机的智能控制方法中，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，包括：
以如下优化公式对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合以得到所述分类特征图；
其中，所述优化公式为：
其中，M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，是所述清洁区域深层特征图的第i个特征矩阵的转置矩阵，且Mfi是所述分类特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
在上述的洗地机的智能控制方法中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速，包括：
将所述分类特征图按照行向量或者列向量展开为分类特征向量；
使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种洗地机的智能控制系统，其包括：
图像采集模块，用于获取由洗地机的视觉导航系统采集的待清洁区域的图像；
方向梯度直方图提取模块，用于提取所述待清洁区域的图像的方向梯度直方图；
图聚合模块，用于将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；
浅层特征提取模块，用于将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；
池化模块，用于将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；
深层特征提取模块，用于将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；
融合模块，用于融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及
分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。
在上述的洗地机的智能控制系统中，所述浅层特征提取模块，用于：
使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
在上述的洗地机的智能控制系统中，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
在上述的洗地机的智能控制系统中，所述深层特征提取模块，用于：
使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
与现有技术相比，本申请提供的洗地机的智能控制方法及系统，其首先提取待清洁区域的图像的方向梯度直方图，接着，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合后通过浅层特征提取器以得到清洁区域浅层特征图，然后，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图，接着，将所述多尺度清洁区域特征图通过深层特征提取器以得到清洁区域深层特征图，然后，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否增大滚刷转速的分类结果。这样，可以提高洗地机的清洁效率和清洁质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的洗地机的智能控制方法的应用场景图。
图2为根据本申请实施例的洗地机的智能控制方法的流程图。
图3为根据本申请实施例的洗地机的智能控制方法的架构示意图。
图4为根据本申请实施例的洗地机的智能控制方法的子步骤S180的流程图。
图5为根据本申请实施例的洗地机的智能控制系统的框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
如上所述，传统的洗地机需要人工控制清洁力度，包括喷水量、滚刷转速和吸力等，无法自动适应地面污渍程度的变化，导致清洁效率低下且清洁质量不稳定。因此，期望一种优化的洗地机的智能控制方案。
相应地，考虑到在实际进行洗地机的控制过程中，为了能够优化洗地机的清洗效率和质量，期望通过视觉导航系统和传感器对地面的污渍程度进行识别，并根据识别结果自动调节清洁力度，包括喷水量、滚刷转速和吸力。并且还考虑到地面的污渍程度可以通过对采集的待清洁区域的图像进行图像智能分析来获得，这样能够节省人力，提高效率。但是，由于所述待清洁区域的图像中存在有大量的信息量，而关于地物污渍程度状态的特征为小尺度的隐含特征信息，难以通过传统的特征提取方式进行有效捕捉。因此，在此过程中，难点在于如何进行所述待清洁区域的图像中关于地面污渍程度状态的隐含特征分布信息的充分表达，以此基于地面的污渍程度状态情况来进行洗地机的清洁力度的自适应控制，从而提高洗地机的清洁效率和清洁质量。
近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述待清洁区域的图像中关于地面污渍程度状态的隐含特征分布信息提供了新的解决思路和方案。
具体地，在本申请的技术方案中，首先，获取由洗地机的视觉导航系统采集的待清洁区域的图像。接着，考虑到在实际进行地面污渍程度的检测时，地面污渍状态一般表现在所述待清洁区域的图像的纹理特征中。也就是说，在清洁地面时，我们通常需要了解地面上不同区域的污渍程度，而地面上的污渍通常表现为不同的纹理或颜色。因此，在本申请的技术方案中，进一步提取所述待清洁区域的图像的方向梯度直方图，以获取到所述待清洁区域的纹理信息，从而可以更加准确地识别污渍的程度，进而有利于后续进行清洁力度的自适应控制。
进一步地，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像，以此来将所述方向梯度直方图和所述待清洁区域的图像共同作为输入数据，从而获得更加全面的地面污渍信息，以提高后续对于所述待清洁区域的污渍程度的识别检测精度。
然后，考虑到在实际进行地面污渍程度检测时，由于地面污渍特征通常在纹理端有所表现，因此，为了能够进行地面污渍程度状态特征的充分表达，在特征提取时应更加关注于所述多通道清洁区域的纹理等浅层特征信息，这些浅层特征对于地面污渍程度检测具有重要意义。基于此，在本申请的技术方案中，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器中进行特征提取以得到清洁区域浅层特征图。
接着，为了在不同尺度下提取更加丰富的特征信息，在本申请的技术方案中，进一步将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图。应可以理解，由于深度学习模型在处理高分辨率图像时往往存在内存和计算资源的限制，因此需要对图像进行降维。但是，传统的池化操作只能在一个固定大小的窗口上进行，并且通常采用固定步长进行采样，容易出现信息丢失和过度平滑的问题。而所述空间金字塔池化模块可以提供多个不同大小的池化窗口，从而使网络能够更好地探索不同尺度的特征，同时还可以避免采样后的特征过度平滑的问题，进而提高模型的鲁棒性和准确性，有助于更好地检测地面污渍程度。
进一步地，使用基于第二卷积神经网络模型的深层特征提取器来进行所述多尺度清洁区域特征图的特征挖掘，以进一步提取图像中更加抽象和深层的特征表达，从而得到清洁区域深层特征图。应可以理解，所述浅层特征提取器可以提取到所述地面污渍程度的一些基础和局部的表面浅层特征信息，但是在处理复杂场景或者较为单一目标时，可能会出现一些不准确、不完整或过于简单的特征表达。因此，在本申请的技术方案中，通过使用所述深层特征提取器，可以获取更加具有地面污渍程度代表性的全局深层特征和语义特征，有助于提高对于地面污渍程度检测的准确率和鲁棒性。同时，所述深层特征提取器还可以通过大量的训练数据进行调整，在保证特征的有效性的前提下，进一步优化网络参数和模型结构，从而获得更好的泛化能力和可扩展性。
继而，再融合所述清洁区域浅层特征图和所述清洁区域深层特征图，以此来融合所述待清洗区域的地面污渍程度状态的浅层纹理特征信息和深层语义特征信息，从而得到具有关于所述地面污渍程度的多尺度深浅融合特征的分类特征图，有利于提高后续对于洗地机的清洁力度控制的精准度。
然后，将所述分类特征图通过分类器中进行分类处理以得到用于表示是否增大滚刷转速的分类结果。也就是说，以所述待清洁区域中关于地面污渍程度的深浅融合特征来进行分类，以此基于实际的地面污渍程度情况来进行洗地机清洁力度的自适应调节，例如是否增大滚刷转速、是否增大喷水量、是否增大吸力等。具体地，在本申请的技术方案中，所述分类器的标签包括增大滚刷转速(第一标签)，以及，不增大滚刷转速(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“是否增大滚刷转速”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，是否增大滚刷转速的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“是否增大滚刷转速”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否增大滚刷转速的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来进行洗地机的清洁力度的自适应控制，从而提高洗地机的清洁效率和清洁质量。
特别地，在本申请的技术方案中，考虑到基于第一卷积神经网络模型的浅层特征提取器从所述多通道清洁区域图像提取到图像源语义的浅层空间局部关联特征，而在所述清洁区域浅层特征图通过空间金字塔池化模块和基于第二卷积神经网络模型的深层特征提取器之后，进一步在所述清洁区域浅层特征图的图像源语义的浅层空间局部关联特征的基础上进一步获得空间多尺度特征表示的高阶深层空间局部关联特征。因此，在融合所述清洁区域浅层特征图和所述清洁区域深层特征图得到所述分类特征图时，需要考虑到所述清洁区域浅层特征图和所述清洁区域深层特征图各自的空间图像语义关联特征表示来进行融合。
基于此，本申请的申请人对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合，具体表示为：
M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，且Mfi是所述分类特征图的第i个特征矩阵。
这里，为了聚集在所述清洁区域浅层特征图和所述清洁区域深层特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别(spatial frame-level)的显式上下文相关性，来富化(enriching)全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述清洁区域浅层特征图和所述清洁区域深层特征图的跨通道的空间共享上下文语义的同化(assimilation)融合，以提升所述分类特征图对所述清洁区域浅层特征图和所述清洁区域深层特征图的融合效果。这样，能够基于地面的污渍程度情况来进行洗地机的清洁力度的自适应控制，从而提高洗地机的清洁效率和清洁质量。
图1为根据本申请实施例的洗地机的智能控制方法的应用场景图。如图1所示，在该应用场景中，首先，获取由洗地机(例如，图1中所示意的C)的视觉导航系统采集的待清洁区域的图像(例如，图1中所示意的D)，然后，将所述待清洁区域的图像输入至部署有洗地机的智能控制算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述洗地机的智能控制算法对所述待清洁区域的图像进行处理以得到用于表示是否增大滚刷转速的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的洗地机的智能控制方法的流程图。如图2所示，根据本申请实施例的洗地机的智能控制方法，包括步骤：S110，获取由洗地机的视觉导航系统采集的待清洁区域的图像；S120，提取所述待清洁区域的图像的方向梯度直方图；S130，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；S140，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；S150，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；S160，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；S170，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及，S180，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。
图3为根据本申请实施例的洗地机的智能控制方法的架构示意图。如图3所示，在该网络架构中，首先，获取由洗地机的视觉导航系统采集的待清洁区域的图像；接着，提取所述待清洁区域的图像的方向梯度直方图；然后，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；接着，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；然后，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；接着，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；然后，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。
更具体地，在步骤S110中，获取由洗地机的视觉导航系统采集的待清洁区域的图像。在实际进行洗地机的控制过程中，为了能够优化洗地机的清洗效率和质量，可以通过视觉导航系统和传感器对地面的污渍程度进行识别，并根据识别结果自动调节清洁力度，包括喷水量、滚刷转速和吸力。并且还考虑到地面的污渍程度可以通过对采集的待清洁区域的图像进行图像智能分析来获得，这样能够节省人力，提高效率。
更具体地，在步骤S120中，提取所述待清洁区域的图像的方向梯度直方图。在实际进行地面污渍程度的检测时，地面污渍状态一般表现在所述待清洁区域的图像的纹理特征中。也就是说，在清洁地面时，我们通常需要了解地面上不同区域的污渍程度，而地面上的污渍通常表现为不同的纹理或颜色。因此，在本申请的技术方案中，进一步提取所述待清洁区域的图像的方向梯度直方图，以获取到所述待清洁区域的纹理信息，从而可以更加准确地识别污渍的程度，进而有利于后续进行清洁力度的自适应控制。
更具体地，在步骤S130中，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像。以此来将所述方向梯度直方图和所述待清洁区域的图像共同作为输入数据，从而获得更加全面的地面污渍信息，以提高后续对于所述待清洁区域的污渍程度的识别检测精度。
更具体地，在步骤S140中，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图。在实际进行地面污渍程度检测时，由于地面污渍特征通常在纹理端有所表现，因此，为了能够进行地面污渍程度状态特征的充分表达，在特征提取时应更加关注于所述多通道清洁区域的纹理等浅层特征信息，这些浅层特征对于地面污渍程度检测具有重要意义。
相应地，在一个具体示例中，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图，包括：使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
更具体地，在步骤S150中，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图。从而在不同尺度下提取更加丰富的特征信息。
应可以理解，由于深度学习模型在处理高分辨率图像时往往存在内存和计算资源的限制，因此需要对图像进行降维。但是，传统的池化操作只能在一个固定大小的窗口上进行，并且通常采用固定步长进行采样，容易出现信息丢失和过度平滑的问题。而所述空间金字塔池化模块可以提供多个不同大小的池化窗口，从而使网络能够更好地探索不同尺度的特征，同时还可以避免采样后的特征过度平滑的问题，进而提高模型的鲁棒性和准确性，有助于更好地检测地面污渍程度。
相应地，在一个具体示例中，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
更具体地，在步骤S160中，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图。这样，可以进一步提取图像中更加抽象和深层的特征表达，从而得到清洁区域深层特征图。
应可以理解，卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。
相应地，在一个具体示例中，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图，包括：使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
更具体地，在步骤S170中，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图。以此来融合所述待清洗区域的地面污渍程度状态的浅层纹理特征信息和深层语义特征信息，从而得到具有关于所述地面污渍程度的多尺度深浅融合特征的分类特征图，有利于提高后续对于洗地机的清洁力度控制的精准度。
特别地，在本申请的技术方案中，考虑到基于第一卷积神经网络模型的浅层特征提取器从所述多通道清洁区域图像提取到图像源语义的浅层空间局部关联特征，而在所述清洁区域浅层特征图通过空间金字塔池化模块和基于第二卷积神经网络模型的深层特征提取器之后，进一步在所述清洁区域浅层特征图的图像源语义的浅层空间局部关联特征的基础上进一步获得空间多尺度特征表示的高阶深层空间局部关联特征。因此，在融合所述清洁区域浅层特征图和所述清洁区域深层特征图得到所述分类特征图时，需要考虑到所述清洁区域浅层特征图和所述清洁区域深层特征图各自的空间图像语义关联特征表示来进行融合。基于此，本申请对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合。
相应地，在一个具体示例中，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，包括：以如下优化公式对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合以得到所述分类特征图；其中，所述优化公式为：
其中，M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，是所述清洁区域深层特征图的第i个特征矩阵的转置矩阵，且Mfi是所述分类特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
这里，为了聚集在所述清洁区域浅层特征图和所述清洁区域深层特征图之间关联分布的本地空间语义之间的上下文空间关联语义，所述全局上下文空间关联富化融合通过聚焦于特征图的特征矩阵所表示的空间帧级别的显式上下文相关性，来富化全局感知野下的特征矩阵的帧级别的空间语义融合式表达，从而实现所述清洁区域浅层特征图和所述清洁区域深层特征图的跨通道的空间共享上下文语义的同化融合，以提升所述分类特征图对所述清洁区域浅层特征图和所述清洁区域深层特征图的融合效果。这样，能够基于地面的污渍程度情况来进行洗地机的清洁力度的自适应控制，从而提高洗地机的清洁效率和清洁质量。
更具体地，在步骤S180中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。在得到所述分类结果后，可基于所述分类结果来进行洗地机的清洁力度的自适应控制，从而提高洗地机的清洁效率和清洁质量。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，如图4所示，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速，包括：S181，将所述分类特征图按照行向量或者列向量展开为分类特征向量；S182，使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，S183，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的洗地机的智能控制方法，其首先提取待清洁区域的图像的方向梯度直方图，接着，将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合后通过浅层特征提取器以得到清洁区域浅层特征图，然后，将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图，接着，将所述多尺度清洁区域特征图通过深层特征提取器以得到清洁区域深层特征图，然后，融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，最后，将所述分类特征图通过分类器以得到用于表示是否增大滚刷转速的分类结果。这样，可以提高洗地机的清洁效率和清洁质量。
图5为根据本申请实施例的洗地机的智能控制系统100的框图。如图5所示，根据本申请实施例的洗地机的智能控制系统100，包括：图像采集模块110，用于获取由洗地机的视觉导航系统采集的待清洁区域的图像；方向梯度直方图提取模块120，用于提取所述待清洁区域的图像的方向梯度直方图；图聚合模块130，用于将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；浅层特征提取模块140，用于将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；池化模块150，用于将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；深层特征提取模块160，用于将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；融合模块170，用于融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及，分类模块180，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速。
在一个示例中，在上述洗地机的智能控制系统100中，所述浅层特征提取模块140，用于：使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
在一个示例中，在上述洗地机的智能控制系统100中，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
在一个示例中，在上述洗地机的智能控制系统100中，所述深层特征提取模块160，用于：使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
在一个示例中，在上述洗地机的智能控制系统100中，所述融合模块170，用于：以如下优化公式对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合以得到所述分类特征图；其中，所述优化公式为：
其中，M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，是所述清洁区域深层特征图的第i个特征矩阵的转置矩阵，且Mfi是所述分类特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
在一个示例中，在上述洗地机的智能控制系统100中，所述分类模块180，用于：将所述分类特征图按照行向量或者列向量展开为分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述洗地机的智能控制系统100中的各个模块的具体功能和操作已经在上面参考图1到图4的洗地机的智能控制方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的洗地机的智能控制系统100可以实现在各种无线终端中，例如具有洗地机的智能控制算法的服务器等。在一个示例中，根据本申请实施例的洗地机的智能控制系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该洗地机的智能控制系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该洗地机的智能控制系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该洗地机的智能控制系统100与该无线终端也可以是分立的设备，并且该洗地机的智能控制系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。
相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (9)

1.一种洗地机的智能控制方法，其特征在于，包括：
获取由洗地机的视觉导航系统采集的待清洁区域的图像；
提取所述待清洁区域的图像的方向梯度直方图；
将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；
将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；
将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；
将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；
融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速；
融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图，包括：
以如下优化公式对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合以得到所述分类特征图；
其中，所述优化公式为：
其中，M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，是所述清洁区域深层特征图的第i个特征矩阵的转置矩阵，且Mfi是所述分类特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
2.根据权利要求1所述的洗地机的智能控制方法，其特征在于，将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图，包括：
使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
3.根据权利要求2所述的洗地机的智能控制方法，其特征在于，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
4.根据权利要求3所述的洗地机的智能控制方法，其特征在于，将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图，包括：
使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
5.根据权利要求4所述的洗地机的智能控制方法，其特征在于，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速，包括：
将所述分类特征图按照行向量或者列向量展开为分类特征向量；
使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。
6.一种洗地机的智能控制系统，其特征在于，包括：
图像采集模块，用于获取由洗地机的视觉导航系统采集的待清洁区域的图像；
方向梯度直方图提取模块，用于提取所述待清洁区域的图像的方向梯度直方图；
图聚合模块，用于将所述方向梯度直方图和所述待清洁区域的图像沿着通道维度进行聚合以得到多通道清洁区域图像；
浅层特征提取模块，用于将所述多通道清洁区域图像通过基于第一卷积神经网络模型的浅层特征提取器以得到清洁区域浅层特征图；
池化模块，用于将所述清洁区域浅层特征图通过空间金字塔池化模块以得到多尺度清洁区域特征图；
深层特征提取模块，用于将所述多尺度清洁区域特征图通过基于第二卷积神经网络模型的深层特征提取器以得到清洁区域深层特征图；
融合模块，用于融合所述清洁区域浅层特征图和所述清洁区域深层特征图以得到分类特征图；以及
分类模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大滚刷转速；
所述融合模块，用于以如下优化公式对所述清洁区域浅层特征图和所述清洁区域深层特征图进行全局上下文空间关联富化融合以得到所述分类特征图；
其中，所述优化公式为：
其中，M1i和M2i分别是所述清洁区域浅层特征图和所述清洁区域深层特征图的第i个特征矩阵，是所述清洁区域深层特征图的第i个特征矩阵的转置矩阵，且Mfi是所述分类特征图的第i个特征矩阵，/>和/>分别是矩阵乘法和矩阵加法。
7.根据权利要求6所述的洗地机的智能控制系统，其特征在于，所述浅层特征提取模块，用于：
使用所述基于第一卷积神经网络模型的浅层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理和非线性激活处理以由所述基于第一卷积神经网络模型的浅层特征提取器的各层分别输出纹理特征图以得到所述清洁区域浅层特征图，其中，所述基于第一卷积神经网络模型的浅层特征提取器的第一层的输入为所述多通道清洁区域图像。
8.根据权利要求7所述的洗地机的智能控制系统，其特征在于，所述空间金字塔池化模块使用四种不同尺度的平均池化窗口，其中，所述四种不同尺度的平均池化窗口的尺度为1×1、2×2、3×3和6×6。
9.根据权利要求8所述的洗地机的智能控制系统，其特征在于，所述深层特征提取模块，用于：
使用所述基于第二卷积神经网络模型的深层特征提取器的各层在层的正向传递中对输入数据分别进行卷积处理、基于特征矩阵的均值池化处理和非线性激活处理以由所述基于第二卷积神经网络模型的深层特征提取器的各层分别输出纹理特征图以得到所述清洁区域深层特征图，其中，所述基于第二卷积神经网络模型的深层特征提取器的第一层的输入为所述多尺度清洁区域特征图。
CN202310717361.7A 2023-06-15 2023-06-15 洗地机的智能控制方法及系统 Active CN116740384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310717361.7A CN116740384B (zh) 2023-06-15 2023-06-15 洗地机的智能控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310717361.7A CN116740384B (zh) 2023-06-15 2023-06-15 洗地机的智能控制方法及系统

Publications (2)

Publication Number Publication Date
CN116740384A CN116740384A (zh) 2023-09-12
CN116740384B true CN116740384B (zh) 2024-03-29

Family

ID=87902433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310717361.7A Active CN116740384B (zh) 2023-06-15 2023-06-15 洗地机的智能控制方法及系统

Country Status (1)

Country Link
CN (1) CN116740384B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173415B (zh) * 2023-11-03 2024-01-26 南京特沃斯清洁设备有限公司 用于大型洗地机的视觉分析方法及系统
CN117392134B (zh) * 2023-12-12 2024-02-27 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110544261A (zh) * 2019-09-04 2019-12-06 东北大学 一种基于图像处理的高炉风口喷煤状态检测方法
CN112022003A (zh) * 2020-08-21 2020-12-04 苏州三六零机器人科技有限公司 扫地机器人及其控制方法、装置、计算机可读存储介质
CN113723366A (zh) * 2021-10-25 2021-11-30 山东力聚机器人科技股份有限公司 一种行人重识别方法、装置及计算机设备
CN115641442A (zh) * 2022-12-02 2023-01-24 耕宇牧星(北京)空间科技有限公司 一种基于融合网络的山体图像山脊线分割方法
CN115908311A (zh) * 2022-11-16 2023-04-04 湖北华鑫光电有限公司 基于机器视觉的镜片成型检测设备及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795377B2 (en) * 2018-01-03 2020-10-06 AI Incorporated Method for autonomously controlling speed of components and functions of a robot
KR102286132B1 (ko) * 2019-07-31 2021-08-06 엘지전자 주식회사 인공지능 로봇 청소기

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363204A (zh) * 2019-06-24 2019-10-22 杭州电子科技大学 一种基于多任务特征学习的对象表示方法
CN110544261A (zh) * 2019-09-04 2019-12-06 东北大学 一种基于图像处理的高炉风口喷煤状态检测方法
CN112022003A (zh) * 2020-08-21 2020-12-04 苏州三六零机器人科技有限公司 扫地机器人及其控制方法、装置、计算机可读存储介质
CN113723366A (zh) * 2021-10-25 2021-11-30 山东力聚机器人科技股份有限公司 一种行人重识别方法、装置及计算机设备
CN115908311A (zh) * 2022-11-16 2023-04-04 湖北华鑫光电有限公司 基于机器视觉的镜片成型检测设备及其方法
CN115641442A (zh) * 2022-12-02 2023-01-24 耕宇牧星(北京)空间科技有限公司 一种基于融合网络的山体图像山脊线分割方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A Shallow–Deep Feature Fusion Method for Pedestrian Detection;Daxue Liu 等;《Applied Sciences》;第11卷(第19期);第1-13页 *
A Shallow-to-Deep Feature Fusion Network for VHR Remote Sensing Image Classification;Sicong Liu 等;《IEEE Transactions on Geoscience and Remote Sensing》;第60卷;第1-13页 *
ExtriDeNet: an intensive feature extrication deep network for hand gesture recognition;Gopa Bhaumik 等;《The Visual Computer》;第38卷;第3853–3866页 *
Improved U-net remote sensing classification algorithm fusing attention and multiscale features;Xiangsuo Fan 等;《Remote Sensing》;第14卷(第15期);第1-24页 *
Msa-Net: A Medical Image Segmentation Network Based on Spatial Pyramid and Attention Mechanism;Zhaojin Fu 等;《Alexandria Engineering Journal》;第70卷;第453-473页 *
基于MobileNetV2和IFPN改进的SSD垃圾实时分类检测;赵珊 等;《计算机应用》(第S1期);第106-111页 *
基于多特征融合的深度置信网络图像分类算法;许庆勇 等;《计算机工程》;第41卷(第11期);第245-252页 *
融合上下文特征和空洞空间金字塔池化的语义分割;刘东东 等;《现代计算机》;第28卷(第11期);第41-45页 *
面向多尺度特征融合的混凝土路面裂缝检测算法研究;曹冲;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑(月刊)》(第3期);第C034-548页 *

Also Published As

Publication number Publication date
CN116740384A (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN116740384B (zh) 洗地机的智能控制方法及系统
CN108460356B (zh) 一种基于监控系统的人脸图像自动处理系统
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN103390279B (zh) 联合显著性检测与判别式学习的目标前景协同分割方法
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN105447532A (zh) 身份认证方法和装置
CN110298248A (zh) 一种基于语义分割的多目标跟踪方法及系统
CN113673482B (zh) 基于动态标签分配的细胞抗核抗体荧光识别方法及系统
CN116363738A (zh) 一种基于多移动目标的人脸识别方法、系统及存储介质
Rios et al. Feature visualization for 3D point cloud autoencoders
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN116704431A (zh) 水污染的在线监测系统及其方法
CN114863189B (zh) 一种基于大数据的图像智能识别方法
CN115035097B (zh) 基于域适应的跨场景带钢表面缺陷检测方法
CN117103790A (zh) 瓦楞纸板生产线及其控制方法
CN116403262A (zh) 一种基于机器视觉的在线学习专注度监测方法、系统及介质
CN113313179B (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN111160170A (zh) 一种自学习的人体行为识别与异常检测方法
CN113223037B (zh) 一种面向大规模数据的无监督语义分割方法及系统
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
CN107993311B (zh) 一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法
CN111160161B (zh) 一种基于噪声剔除的自步学习人脸年龄估计方法
CN116402777B (zh) 基于机器视觉的电力设备检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240119

Address after: Room 413, Unit 1, Building 1, Tian'an Digital City, No. 1 Huangjin Road, Nancheng Street, Dongguan City, Guangdong Province, 523000

Applicant after: Guangdong Lingdun Zhilian Information Technology Co.,Ltd.

Address before: 523000 Room 101, building 1, No. 8, Keyuan 8th Road, Tangxia Town, Dongguan City, Guangdong Province

Applicant before: Dongguan shangsimai Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240126

Address after: 523000 Room 101, building 1, No. 8, Keyuan 8th Road, Tangxia Town, Dongguan City, Guangdong Province

Applicant after: Dongguan shangsimai Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: Room 413, Unit 1, Building 1, Tian'an Digital City, No. 1 Huangjin Road, Nancheng Street, Dongguan City, Guangdong Province, 523000

Applicant before: Guangdong Lingdun Zhilian Information Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant