CN112926512A - 环境类型的识别方法、装置和计算机设备 - Google Patents

环境类型的识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN112926512A
CN112926512A CN202110322253.0A CN202110322253A CN112926512A CN 112926512 A CN112926512 A CN 112926512A CN 202110322253 A CN202110322253 A CN 202110322253A CN 112926512 A CN112926512 A CN 112926512A
Authority
CN
China
Prior art keywords
environment
image
current
type
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110322253.0A
Other languages
English (en)
Other versions
CN112926512B (zh
Inventor
贾盛泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Water World Co Ltd
Original Assignee
Shenzhen Water World Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Water World Co Ltd filed Critical Shenzhen Water World Co Ltd
Priority to CN202110322253.0A priority Critical patent/CN112926512B/zh
Publication of CN112926512A publication Critical patent/CN112926512A/zh
Application granted granted Critical
Publication of CN112926512B publication Critical patent/CN112926512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种环境类型的识别方法、装置和计算机设备，系统在移动设备的运动过程中按照预设频率采集当前场景的环境图像，并使用注意力机制算法，从环境图像中获取图像有效信息以及该环境图像对应的权重。系统将图像有效信息输入预先构建的深度学习网络中进行场景识别，得到环境图像对应的环境标签。系统根据连续采集的环境图像的权重以及环境标签的连续性，识别得到当前场景的当前环境类型。系统通过使用注意力机制算法消除环境图像中冗余的无效信息，能够减少数据处理量。而根据环境标签的权重以及连续性，识别得到当前场景的环境类型，则能够减少环境类型判断错误带来的干扰，提高识别准确度，响应速度快，整体上对硬件要求较低。

Description

环境类型的识别方法、装置和计算机设备
技术领域
本申请涉及清洁技术领域，特别涉及一种环境类型的识别方法、装置和计算机设备。
背景技术
近年来，随着人工智能技术的稳步发展，深度学习逐步应用于场景类型的识别，达到了良好的效果。但是，通过深度学习识别场景类型对应用设备的硬件要求较高，且因为在识别过程中需要处理的数据量巨大，其响应速度较慢，不适用于扫地机等小型移动设备。
发明内容
本申请的主要目的为提供一种环境类型的识别方法、装置和计算机设备，旨在解决现有识别场景类型的方法对硬件要求高、响应速度慢、不适用于小型移动设备的弊端。
为实现上述目的，本申请提供了一种环境类型的识别方法，包括：
按照预设频率采集当前场景的环境图像；
使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
进一步的，所述按照预设频率采集当前场景的环境图像的步骤，包括：
根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签的步骤，包括：
将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤，包括：
对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境标签分别对应的权重总和；
筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
进一步的，所述识别方法应用于扫地机，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
根据所述当前环境类型匹配对应的清扫策略；
控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
进一步的，所述环境地图包括多个第二区域位置，所述将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置的步骤之后，包括：
在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本申请还提供了一种环境类型的识别装置，包括：
采集模块，用于按照预设频率采集当前场景的环境图像；
提取模块，用于使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
第一识别模块，用于将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
第二识别模块，用于根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
进一步的，所述采集模块，包括：
根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述第一识别模块，包括：
识别单元，用于将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
进一步的，所述第二识别模块，包括：
计算单元，用于对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境标签分别对应的权重总和；
筛选单元，用于筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
判断单元，用于判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
判定单元，用于若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
进一步的，所述识别方法应用于扫地机，所述识别装置，还包括：
匹配模块，用于根据所述当前环境类型匹配对应的清扫策略；
第一控制模块，用于控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
进一步的，所述识别装置，还包括：
标记模块，用于将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
进一步的，所述环境地图包括多个第二区域位置，所述识别装置，还包括：
规划模块，用于在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
第二控制模块，用于控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请中提供的一种环境类型的识别方法、装置和计算机设备，系统在移动设备的运动过程中按照预设频率采集当前场景的环境图像，并使用注意力机制算法，从环境图像中获取图像有效信息，以及该环境图像对应的权重；其中，权重表征图像有效信息相对于环境图像包含的所有信息占据的比重。系统将图像有效信息输入预先构建的深度学习网络中进行场景识别，得到环境图像对应的环境标签。系统根据连续采集的环境图像对应的权重以及环境标签的连续性，识别得到当前场景的当前环境类型。本申请中，系统通过使用注意力机制算法消除环境图像中冗余的无效信息，能够减少数据处理量。而根据环境图像的权重以及环境标签的连续性，识别得到当前场景的环境类型，则能够减少环境类型判断错误带来的干扰，提高识别准确度，响应速度快，整体上对硬件要求较低，可以应用于小型移动设备。
附图说明
图1是本申请一实施例中环境类型的识别方法步骤示意图；
图2是本申请一实施例中环境类型的识别装置整体结构框图；
图3是本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种环境类型的识别方法，包括：
S1:按照预设频率采集当前场景的环境图像；
S2:使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
S3:将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
S4:根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
本实施例中，环境类型的识别方法优选应用于移动设备(比如扫地机器人、清洁机器人中)，在移动设备的运动过程中，系统通过移动设备上部署的摄像设备(比如摄像头)按照预设频率采集当前场景的环境图像，并将采集到的预设数量的环境图像作为一个图像队列，按照采集时间的先后顺序进行缓存，等待后续处理。优选的，系统在采集环境图像的过程中，当图像队列中环境图像的缓存数量达到预设数量后，按照采集时间删除图像队列中最早采集的一帧环境图像，并在图像队列中缓存新的一帧环境图像，从而在更新图像队列的过程中，保持图像队列中环境图像的总数量一直为预设数量。系统通过使用注意力机制算法，对每一帧环境图像中大量重复以及的单一信息则进行去除(例如可能去除的为重复瓷砖、天花板、或边边角角的信息)，进而提取出更加吸引视觉注意力和有利于场景识别的信息，从而提取得到图像队列中每一帧环境图像分别对应的图像有效信息。并且，系统通过计算图像有效信息相对于整张环境图像包含的所有信息所占据的比重，每一帧环境图像对应的权重(即每一帧环境图像的权重为该环境图像中有效信息所占据的比重)。系统将图像有效信息输入预先构建的深度学习网络中进行场景识别，得到环境图像对应的环境标签。其中，深度学习网络的网络参数在前期训练过程中，使用了大量标注有环境标签的图像(比如环境标签为厨房的图像、环境标签为客厅的图像)进行训练，从而使得训练后的深度学习网络能够根据输入的图像识别得到对应的环境标签。
优选的，由于系统是在移动设备的运动过程中持续采集环境图像，在每采集到一帧环境图像时即可提取图像有效信息和识别环境标签，不需要缓存到预设数量后再统一进行提取图像有效信息和识别环境标签。最后，系统在根据环境图像的权重以及环境标签的连续性，识别得到当前场景的当前环境类型时，则需要以一个满编图像队列(即图像队列中包括预设数量的环境图像)为基本单位进行数据处理。具体地，系统对一个图像队列中所有环境图像各自对应的环境标签，按照相同的环境标签进行标签权重的加和计算，从而得到图像队列中各个环境标签分别对应的权重总和。然后，系统筛选最大的权重总和对应的环境标签作为当前场景的初始环境类型。系统判断当前连续识别到的该初始环境类型对应的图像队列的数量是否大于阈值，如果该初始环境类型对应的图像队列的数量大于阈值，则将该初始环境类型作为当前场景的当前环境类型。比如设定的阈值为5次，本次得到的初始环境类型为厨房，如果在本次之前连续的5个图像队列所识别得到的初始环境类型也为厨房，则将当前场景的当前环境类型识别为厨房。如果在本次之前只有3个连续的图像队列所识别到的初始环境类型为厨房，则系统维持原先的环境类型，对当前场景的环境类型不做变更。本实施例中，系统通过使用注意力机制算法消除环境图像中冗余的无效信息，能够减少数据处理量。而根据环境图像的权重以及环境标签的连续性，识别得到当前场景的环境类型，则能够减少环境类型判断错误带来的干扰，提高识别准确度，响应速度快，整体上对硬件要求较低，可以应用于小型移动设备。
进一步的，所述按照预设频率采集当前场景的环境图像的步骤，包括：
S101:根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
S102:当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
本实施例中，系统在移动设备的运动过程中，按照预设频率采集环境图像，并将采集到的预设数量的环境图像作为一个图像队列进行缓存。其中，图像队列中的各个环境图像按照采集时间的先后进行顺序排列。当图像队列中的环境图像的缓存数量达到预设数量后，按照采集时间删除图像队列中最早采集的一帧图环境图像，并在图像队列中缓存新的一帧环境图像，形成新的一个图像队列进行缓存。比如设定的预设数量为5，图像队列中按照采集时间顺序排列后的环境图像分别为：环境图像A、环境图像B、环境图像C、环境图像D和环境图像E，当采集到新的环境图像F时，则将环境图像A从图像队列中删除，并将环境图像F加入图像队列中，使得新的图像队列为环境图像B、环境图像C、环境图像D、环境图像E和环境图像F。由于本实施例对环境类型的识别是以一个完整的图像队列作为基本单位进行数据处理，为了保证每次识别时的一致性，因此需要在图像队列的实时更新过程中，保持图像队列内环境图像数量的稳定，保证对当前场景的环境类型识别的准确度(如果不保持图像队列内环境图像数量一直为预设数量，比如第一次识别的图像队列内环境图像的数量为5，第二次识别的图像队列内环境图像的数量为6，则会因为两者的数量不一致，受到最早采集的环境图像的干扰导致识别后的结果准确度下降)。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签的步骤，包括：
S301:将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
本实施例中，深度学习网络优选为AlexNet深度学习网络，并且为了满足可以应用于小型移动设备，AlexNet深度学习网络的网络结构进行一定的裁剪，裁剪后的AlexNet深度学习网络的全连接层数量仅有4个，大幅度降低了对硬件的要求。AlexNet深度学习网络根据需要可以选用对应的图像作为训练样本进行训练，比如为了应用于家居环境，则采用标注有环境标签的家居图像进行训练，从而使得训练后的AlexNet深度学习网络能够根据输入图像提取图像特征并识别对应的环境标签。具体地，本实施例中系统提取得到的图像有效信息为环境图像的图像特征，系统将环境图像的图像有效信息输入AlexNet深度学习网络后，AlexNet深度学习网络会识别得到该环境图像所包含的若干个标签名称以及各个标签名称对应的相似度值，并选择相似度值最大的一个标签名称作为该环境图像的环境标签。其中，比如环境图像A通过AlexNet深度学习网络识别到3个标签名词，分别为：75％客厅，15％厨房，10％卧室，其中，标签名词(客厅)前面的百分比数值(比如75％)为各自对应的相似度值，最终会选择标签名称：客厅作为当前的环境图像对应的环境标签。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤，包括：
S401:对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境图像分别对应的权重总和；
S402:筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
S403:判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
S404:若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
本实施例中，系统对图像队列中所有的环境图像，基于相同的环境标签进行标签权重的加和计算，得到各个环境标签分别对应的权重总和。比如，图像队列共有环境图像A、B、C、D、E，其中，环境图像A的权重为75％，对应的环境标签为客厅；环境图像B的权重为65％，对应的环境标签：客厅；环境图像C的权重为80％，对应的环境标签：厨房；环境图像D的权重为70％，对应的环境标签为厨房；环境图像E的权重为90％，对应的环境标签为卧室。按照上述轨迹进行标签权重的加和计算后的结果为：140％客厅，150％厨房，90％卧室。系统筛选最大的权重总和对应的环境标签作为当前场景的初始环境类型，即按照上述所举的例子，选择权重总和为140％的环境标签厨房作为当前场景的初始环境类型。
在筛选得到初始环境类型后，系统还需要判断当前连续识别得到初始环境类型的图像队列的数量是否大于阈值，即判断初始环境类型的连续性是否达到预设要求。如果当前连续识别得到初始环境类型的图像队列的数量大于阈值(比如阈值为3，图像队列a、b、c、d、e为连续的5组图像队列，则这5组队列中只要有连续的三组以上图像队列的初始环境类型相同，比如图像队列b、c、d、e的初始环境类型均为厨房，则当前场景类型为厨房)，或者，在一个连续范围内的判定结果中，同一个初始环境类型的图像队列的占比达到预设值(比如预设值为60％，图像队列a、b、c、d、e为连续的5组图像队列，则这5组队列中只要有3组或以上的图像队列的初始环境类型相同，比如图像队列a、c、e初始环境类型均为厨房，则当前场景类型为厨房)，则将当前次识别得到初始环境类型作为当前场景的当前环境类型。如果当前连续识别得到初始环境类型的图像队列的数量小于或等于阈值，则系统维持原先的环境类型，对当前场景的环境类型不做变更。本实施例中，系统通过设置权重总和的计算规则，以及判断初始环境类型的连续性，能够减少场景判断错误的干扰，提高对场景环境类型的识别准确度。
进一步的，所述识别方法应用于扫地机，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S5:根据所述当前环境类型匹配对应的清扫策略；
S6:控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
本实施例中，该识别方法应用于扫地机，系统内部数据库存储有环境类型与清扫策略映射关系表，不同的清扫策略对应不同环境类型的场景区域，对扫地机的清扫次数、清扫功率等进行相应的设定。在实际应用时，系统根据识别得到的当前环境类型，从环境类型与清扫策略映射关系表中匹配得到与当前场景对应的清扫策略。然后，系统根据该清扫策略对扫地机的清扫参数进行相应的设置，使得设置后的扫地机可以按照该清扫策略对当前场景的区域进行清扫。比如，当前环境类型为厨房，匹配到的清扫策略A，清扫策略A具体为：清扫次数为两次，扫地机的风机吸力以及水箱出水量大于额定数值。本实施例中，系统能够通过根据不同的环境类型，自适应的提供不同的清扫策略，从而有效提升清扫效率和用户体验；同时，不同清扫策略之间的切换由系统自动识别，不需要进行人工切换，大幅度提高了扫地机的智能程度。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S7:将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
本实施例中，系统在识别得到当前环境类型后，将当前环境类型标记在环境地图中当前场景对应的第一区域位置并保存。其中，环境地图可以是预先构建好之后存储在系统内部数据库中，也可以是系统随着移动设备的运动过程实时构建。系统在环境地图中对各个区域位置进行相应的环境类型的标注，后续可以根据环境类型对各个区域位置进行相应的应用，比如应用于扫地机的清扫路径规划。
进一步的，所述环境地图包括多个第二区域位置，所述将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置的步骤之后，包括：
S8:在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
S9:控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本实施例中，环境地图为整个场景区域的全局地图，包括多个第二区域位置。系统按照步骤S7中的方式，得到环境地图中的各个第二区域位置分别对应的环境类型(即步骤S7中的第一区域位置包含于环境地图所对应的整个场景区域内，属于环境地图中多个第二区域位置中的一个；比如步骤S7中的当前场景为厨房，则在环境地图中第一区域位置对应的环境类型即为厨房；而整个场景区域所包含的所有第二区域位置对应的环境类型包括厨房、客厅、卧室、书房等，第一区域位置属于所有第二区域位置中的一个)，然后根据环境类型可以估算各个第二区域位置的垃圾清扫量。因此，在扫地机开始对整个场景区域进行清扫前，系统可以根据各个第二区域位置分别标记的环境类型，在环境地图中规划扫地机的清扫路径。具体地，系统可以按照各个环境类型对应的干净程度，从低到高依次循序打扫，避免首先清扫了脏的地方之后，将杂物带进较为干净的地方，影响清扫效果。比如，环境地图中包括卧室、客厅和厨房三种环境类型对应的第二区域位置，系统可以设定扫地机先清扫卧室对应的第二区域位置(卧室走动的人较少，一般比较干净)，其次清扫客厅对应的第二区域位置，最后清扫厨房对应的第二区域位置(厨房由于做饭时的厨余、水渍，通常会比较脏)；即系统规划后的清扫路径为：卧室—客厅—厨房。扫地机按照设定的清扫路径依次对全部区域进行清扫，从而有效提高清扫质量。
参照图2，本申请一实施例中还提供了一种环境类型的识别装置，包括：
采集模块1，用于按照预设频率采集当前场景的环境图像；
提取模块2，用于使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
第一识别模块3，用于将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
第二识别模块4，用于根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
进一步的，所述采集模块1，包括：
根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述第一识别模块3，包括：
识别单元，用于将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
进一步的，所述第二识别模块4，包括：
计算单元，用于对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境标签分别对应的权重总和；
筛选单元，用于筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
判断单元，用于判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
判定单元，用于若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
进一步的，所述识别方法应用于扫地机，所述识别装置，还包括：
匹配模块5，用于根据所述当前环境类型匹配对应的清扫策略；
第一控制模块6，用于控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
进一步的，所述识别装置，还包括：
标记模块7，用于将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
进一步的，所述环境地图包括多个第二区域位置，所述识别装置，还包括：
规划模块8，用于在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
第二控制模块9，用于控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本实施例中，识别装置各模块、单元用于对应执行与上述环境类型的识别方法中的各个步骤，其具体实施过程在此不做详述。
本实施例提供的一种环境类型的识别装置，系统在移动设备的运动过程中按照预设频率采集当前场景的环境图像，并使用注意力机制算法，从环境图像中获取图像有效信息，以及该环境图像对应的权重；其中，权重表征图像有效信息相对于环境图像包含的所有信息占据的比重。系统将图像有效信息输入预先构建的深度学习网络中进行场景识别，得到环境图像对应的环境标签。系统根据连续采集的环境图像对应的权重以及环境标签的连续性，识别得到当前场景的当前环境类型。本申请中，系统通过使用注意力机制算法消除环境图像中冗余的无效信息，能够减少数据处理量。而根据环境图像的权重以及环境标签的连续性，识别得到当前场景的环境类型，则能够减少环境类型判断错误带来的干扰，提高识别准确度，响应速度快，整体上对硬件要求较低，可以应用于小型移动设备。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储阈值等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种环境类型的识别方法。
上述处理器执行上述环境类型的识别方法的步骤：
S1:按照预设频率采集当前场景的环境图像；
S2:使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
S3:将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
S4:根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
进一步的，所述按照预设频率采集当前场景的环境图像的步骤，包括：
S101:根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
S102:当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签的步骤，包括：
S301:将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤，包括：
S401:对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境图像分别对应的权重总和；
S402:筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
S403:判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
S404:若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
进一步的，所述识别方法应用于扫地机，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S5:根据所述当前环境类型匹配对应的清扫策略；
S6:控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S7:将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
进一步的，所述环境地图包括多个第二区域位置，所述将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置的步骤之后，包括：
S8:在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
S9:控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种环境类型的识别方法，所述环境类型的识别方法具体为：
S1:按照预设频率采集当前场景的环境图像；
S2:使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
S3:将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
S4:根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
进一步的，所述按照预设频率采集当前场景的环境图像的步骤，包括：
S101:根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
S102:当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
进一步的，所述深度学习网络为AlexNet深度学习网络，所述将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签的步骤，包括：
S301:将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤，包括：
S401:对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境图像分别对应的权重总和；
S402:筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
S403:判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
S404:若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
进一步的，所述识别方法应用于扫地机，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S5:根据所述当前环境类型匹配对应的清扫策略；
S6:控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
进一步的，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
S7:将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
进一步的，所述环境地图包括多个第二区域位置，所述将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置的步骤之后，包括：
S8:在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
S9:控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、第一物体或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、第一物体或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、第一物体或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种环境类型的识别方法，其特征在于，包括：
按照预设频率采集当前场景的环境图像；
使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
2.根据权利要求1所述的环境类型的识别方法，其特征在于，所述按照预设频率采集当前场景的环境图像的步骤，包括：
根据所述预设频率采集预设数量的所述环境图像作为一个图像队列进行缓存；
当所述环境图像的缓存数量达到所述预设数量后，按照采集时间删除所述图像队列中最早采集的一帧环境图像，并在所述图像队列中缓存新的一帧环境图像，形成新的图像队列进行缓存。
3.根据权利要求2所述的环境类型的识别方法，其特征在于，所述深度学习网络为AlexNet深度学习网络，所述将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签的步骤，包括：
将所述图像有效信息输入所述AlexNet深度学习网络，得到所述环境标签。
4.根据权利要求3所述的环境类型的识别方法，其特征在于，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤，包括：
对所述图像队列中所有所述环境图像，基于相同的所述环境标签进行所述权重的加和计算，得到各所述环境标签分别对应的权重总和；
筛选最大的所述权重总和对应的所述环境标签作为所述当前场景的初始环境类型；
判断当前连续识别得到所述初始环境类型的图像队列的数量是否大于阈值；
若当前连续识别得到同一个所述初始环境类型的图像队列的数量大于阈值，或者，在一个连续范围内的判定结果中，同一个所述初始环境类型的图像队列的占比达到预设值，则将所述初始环境类型作为所述当前环境类型。
5.根据权利要求1所述的环境类型的识别方法，其特征在于，所述识别方法应用于扫地机，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型的步骤之后，包括：
根据所述当前环境类型匹配对应的清扫策略；
控制所述扫地机按照所述清扫策略对所述当前场景进行清扫。
6.根据权利要求1所述的环境类型的识别方法，其特征在于，所述根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型之后，包括：
将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置。
7.根据权利要求6所述的环境类型的识别方法，其特征在于，所述环境地图包括多个第二区域位置，所述将所述当前环境类型标记在环境地图中所述当前场景对应的第一区域位置的步骤之后，包括：
在所述环境地图中，根据各所述第二区域位置分别标记的环境类型规划清扫路径；
控制所述扫地机按照所述清扫路径对所述环境地图对应的全部区域进行清扫。
8.一种环境类型的识别装置，其特征在于，包括：
采集模块，用于按照预设频率采集当前场景的环境图像；
提取模块，用于使用注意力机制算法，从所述环境图像中获取图像有效信息，以及所述环境图像对应的权重，所述权重表征所述图像有效信息相对于所述环境图像包含的所有信息占据的比重；
第一识别模块，用于将所述图像有效信息输入预先构建的深度学习网络中进行场景识别，得到所述环境图像对应的环境标签；
第二识别模块，用于根据所述环境图像的所述权重、所述环境标签的连续性，识别得到所述当前场景的当前环境类型。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110322253.0A 2021-03-25 2021-03-25 环境类型的识别方法、装置和计算机设备 Active CN112926512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322253.0A CN112926512B (zh) 2021-03-25 2021-03-25 环境类型的识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322253.0A CN112926512B (zh) 2021-03-25 2021-03-25 环境类型的识别方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN112926512A true CN112926512A (zh) 2021-06-08
CN112926512B CN112926512B (zh) 2024-03-15

Family

ID=76176090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322253.0A Active CN112926512B (zh) 2021-03-25 2021-03-25 环境类型的识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN112926512B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024877A1 (en) * 2014-03-19 2017-01-26 Neurala, Inc. Methods and Apparatus for Autonomous Robotic Control
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
WO2019047656A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN109919116A (zh) * 2019-03-14 2019-06-21 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
CN111012261A (zh) * 2019-11-18 2020-04-17 深圳市杉川机器人有限公司 基于场景识别的清扫方法、系统、扫地设备及存储介质
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN111797763A (zh) * 2020-07-02 2020-10-20 北京灵汐科技有限公司 一种场景识别方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024877A1 (en) * 2014-03-19 2017-01-26 Neurala, Inc. Methods and Apparatus for Autonomous Robotic Control
WO2019047656A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 用于控制无人驾驶车辆的方法和装置
CN108710847A (zh) * 2018-05-15 2018-10-26 北京旷视科技有限公司 场景识别方法、装置及电子设备
CN109919116A (zh) * 2019-03-14 2019-06-21 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
CN111012261A (zh) * 2019-11-18 2020-04-17 深圳市杉川机器人有限公司 基于场景识别的清扫方法、系统、扫地设备及存储介质
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN111797763A (zh) * 2020-07-02 2020-10-20 北京灵汐科技有限公司 一种场景识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙宁 等: ""结合特权信息与注意力机制的场景识别"", 《郑州大学学报（工学版）》 *

Also Published As

Publication number Publication date
CN112926512B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111543902B (zh) 地面清洁方法、装置、智能清洁设备和存储介质
CN112283889A (zh) 空调的预启动时间控制方法、装置、设备及存储介质
CN111259786A (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110472594A (zh) 目标跟踪方法、信息插入方法及设备
CN109886192A (zh) 一种生态环境智能监测系统
KR20180034529A (ko) 차선 인식 모델링 방법, 장치, 저장 매체 및 기기, 및 인식 방법, 장치, 저장 매체 및 기기
CN112462780A (zh) 扫地控制方法、装置、扫地机器人及计算机可读存储介质
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN111643014A (zh) 智能清洁方法、装置、智能清洁设备和存储介质
CN112165684A (zh) 基于联合视觉和无线信号特征的高精度室内定位方法
KR20210108044A (ko) 디지털 트윈 기술을 위한 영상 분석 시스템
CN115423172A (zh) 智慧城市清洁路线管理方法、物联网系统及存储介质
CN115775085A (zh) 一种基于数字孪生的智慧城市管理方法及系统
CN114663735B (zh) 基于联合全局及局部卷积神经网络特征的双骨龄评估方法
CN111199050A (zh) 一种用于对病历进行自动脱敏的系统及应用
CN116448118A (zh) 一种扫地机器人的工作路径优化方法和装置
CN112926512A (zh) 环境类型的识别方法、装置和计算机设备
CN113963446A (zh) 一种基于人体骨架的行为识别方法及系统
CN117830711A (zh) 基于深度学习的自动图像内容审核方法
CN117831128A (zh) 一种基于姿态识别的人机交互方法、装置、设备及介质
CN116341391A (zh) 基于STPM-XGBoost模型的降水预测方法
CN112927269A (zh) 基于环境语义的地图构建方法、装置和计算机设备
CN115761519B (zh) 指标预测方法、装置、设备、存储介质及程序产品
CN110569717A (zh) 局部放电检测方法、装置、系统、设备及可读存储介质
CN112308045B (zh) 一种密集人群的检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant