CN111539398A - 自移动设备的控制方法、装置及存储介质 - Google Patents

自移动设备的控制方法、装置及存储介质 Download PDF

Info

Publication number
CN111539398A
CN111539398A CN202010666134.2A CN202010666134A CN111539398A CN 111539398 A CN111539398 A CN 111539398A CN 202010666134 A CN202010666134 A CN 202010666134A CN 111539398 A CN111539398 A CN 111539398A
Authority
CN
China
Prior art keywords
information
independent
area
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010666134.2A
Other languages
English (en)
Other versions
CN111539398B (zh
Inventor
汤盛浩
郁顺昌
王朕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuichuang Technology Suzhou Co Ltd
Original Assignee
Zhuichuang Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuichuang Technology Suzhou Co Ltd filed Critical Zhuichuang Technology Suzhou Co Ltd
Priority to CN202010666134.2A priority Critical patent/CN111539398B/zh
Priority to CN202111064935.2A priority patent/CN113920451A/zh
Publication of CN111539398A publication Critical patent/CN111539398A/zh
Priority to CA3185243A priority patent/CA3185243A1/en
Priority to KR1020237004202A priority patent/KR20230035610A/ko
Priority to EP21842796.1A priority patent/EP4163819A4/en
Priority to US18/015,719 priority patent/US20230270308A1/en
Priority to AU2021308246A priority patent/AU2021308246A1/en
Priority to PCT/CN2021/105792 priority patent/WO2022012471A1/zh
Priority to JP2023501666A priority patent/JP2023534932A/ja
Application granted granted Critical
Publication of CN111539398B publication Critical patent/CN111539398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种自移动设备的控制方法、装置及存储介质,属于计算机技术领域,该方法包括:获取自移动设备所处工作区域的边缘信息;获取移动时采集到的环境图像;基于环境图像获得通行门信息;基于通行门信息和边缘信息,对工作区域内的独立区域进行划分;可以解决现有技术无法实现对工作区域进行划分的问题;可以实现对工作区域进行划分,达到按照划分出的独立区域个性化工作的效果。另外,由于通行门可以是开放式的虚拟门,因此,可以将该虚拟门的信息和边缘信息结合得到每个独立区域的区域边界,从而划分出对应的独立区域,可以实现对开放门场景的区域划分,提高区域划分的准确度。

Description

自移动设备的控制方法、装置及存储介质
技术领域
本申请涉及一种自移动设备的控制方法、装置及存储介质,属于计算机技术领域。
背景技术
随着人工智能以及机器人行业的发展,扫地机器人等智能家用电器逐渐普及。
常见的扫地机器人通过固定在机身上方的摄像组件采集环境图片,使用图像识别算法仅能识别采集图片中的物品,并不能进行环境场景识别。
发明内容
本申请提供了一种自移动设备的控制方法、装置及存储介质,可以解决现有技术无法实现对自移动设备的工作区域进行划分的问题。本申请提供如下技术方案:
第一方面,提供了一种自移动设备的控制方法,方法包括:
获取所述自移动设备所处工作区域的边缘信息;
获取移动时采集到的环境图像;
基于所述环境图像获得通行门信息;
基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分。
可选地,所述基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分之后,还包括:
基于所述环境图像确定对应独立区域的场景预测结果;
根据所述独立区域的场景预测结果确定所述独立区域的场景类型。
可选地,所述基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分,包括:
获取所述通行门信息指示的对应通行门在所述工作区域中的位置信息;
将所述边缘信息和所述位置信息结合,得到结合后的边界信息;
将所述结合后的边界信息构成的各个封闭区域划分为对应的独立区域。
可选地,所述基于所述环境图像获得通行门信息,包括:
识别所述环境图像是否包括通行门的图像;
在所述环境图像包括通行门的图像时,获取所述通行门在所述工作区域中的位置信息。
可选地,所述通行门包括所述工作区域中的门框。
可选地,所述根据所述独立区域的场景预测结果确定所述独立区域的场景类型,包括:
获取每个独立区域的位姿信息,所述位姿信息包括对应独立区域在所述工作区域内的位置信息和方向信息;
结合每个独立区域的场景区域结果和每个独立区域的位姿信息,按照预先设置的概率分布策略确定各个独立区域的场景类型;
其中,概率分布策略用于对于每种目标场景类型,从各个独立区域中确定场景类型是所述目标场景类型的概率最高的独立区域。
可选地,所述基于所述环境图像确定对应独立区域的场景预测结果,包括:
获取图像识别模型,所述图像识别模型运行时占用的计算资源低于所述自移动设备提供的最大计算资源;
对于每个独立区域,将所述独立区域对应的环境图像输入所述图像识别模型获得对象识别结果,所述对象识别结果包括目标对象的属性信息;
获取场景识别模型,所述场景识别模型是使用对象的样本属性信息和样本场景类型训练得到的;
将所述对象识别结果输入所述场景识别模型,得到场景预测结果,所述场景预测结果包括所述独立区域的至少一种预测场景类型。
可选地,所述图像识别模型为基于小网络模型使用样本环境图像和样本对象结果训练得到的。
可选地,所述场景识别模型为基于概率模型使用对象的样本属性信息和样本场景训练得到的。
第二方面,提供了一种自移动设备的控制装置,装置包括:
第一信息获取模块,用于获取所述自移动设备所处工作区域的边缘信息;
环境图像获取模块,用于获取移动时采集到的环境图像;
第二信息获取模块,用于基于所述环境图像获得通行门信息;
区域划分控制模块,用于基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分。
第三方面,提供一种自移动设备的控制装置,装置包括处理器和存储器;存储器中存储有程序,程序由处理器加载并执行以实现第一方面提供的自移动设备的控制方法。
第四方面,提供一种计算机可读存储介质,存储介质中存储有程序,程序由处理器加载并执行以实现第一方面提供的自移动设备的控制方法。
第五方面,提供一种自移动设备,包括:
用于带动所述自移动设备移动的移动组件;
用于驱动所述移动组件运动的移动驱动组件;
安装在所述自移动设备上、用于采集行进方向上的环境图像的图像采集组件;
与所述移动驱动组件和所述图像采集组件通信相连的控制组件,所述控制组件与存储器通信相连;所述存储器中存储有程序,所述程序由所述控制组件加载并执行以实现第一方面提供的自移动设备的控制方法。
本申请的有益效果在于:通过获取自移动设备所处工作区域的边缘信息;获取移动时采集到的环境图像;基于环境图像获得通行门信息;基于通行门信息和边缘信息,对工作区域内的独立区域进行划分;可以解决现有技术无法实现对工作区域进行划分的问题;可以实现对工作区域进行划分,达到按照划分出的独立区域个性化工作的效果。另外,由于通行门可以是开放式的虚拟门,因此,可以将该虚拟门的信息和边缘信息结合得到每个独立区域的区域边界,从而划分出对应的独立区域,可以实现对开放门场景的区域划分,提高区域划分的准确度。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,并可依照说明书的内容予以实施,以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
图1是本申请一个实施例提供的自移动设备结构示意图;
图2是本申请一个实施例提供的自移动设备的控制方法的流程图;
图3是本申请另一个实施例提供的自移动设备的控制方法的流程图;
图4是本申请一个实施例提供的自移动设备的控制的示意图;
图5是本申请一个实施例提供的自移动设备的控制装置的框图;
图6是本申请一个实施例提供的自移动设备的控制装置的框图。
具体实施方式
下面结合附图和实施例,对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
首先,以下对本申请涉及的若干名词进行介绍。
模型压缩:是指降低训练后的网络模型中的参数冗余,从而减少网络模型的存储占用、通信带宽和计算复杂度的方式。
模型压缩包括但不限于:模型裁剪、模型量化和/或低轶分解。
模型裁剪:是指最优网络结构的搜索过程。模型裁剪过程包括:1、训练网络模型;2、剪裁不重要的权重或通道;3、微调或再训练已剪裁的网络。其中,第2个步骤通常借助迭代式逐层剪裁、快速微调或者权重重建以保持精度。
量化:量化模型是一种模型加速方法的总称,它是以更少位数的数据类型表示有限范围(如32位)浮点型数据的过程,从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。
低秩分解:将网络模型的权重矩阵分解成多个小矩阵,小矩阵计算量比原始矩阵的计算量小,以达到减少模型运算量,降低模型占用内存的目的。
YOLO模型:基础网络模型之一,是通过卷积神经网络(Convolutional NeuralNetworks,CNN)网络就能够实现目标的定位和识别的神经网络模型。YOLO模型包括YOLO、YOLO v2和YOLO v3。其中,YOLO v3是YOLO和YOLO v2之后的YOLO系列的又一种目标检测算法,是基于YOLO v2的改进。而YOLO v3-tiny为YOLO v3的简化版本,在YOLO v3的基础上去掉某些特征层,从而达到了模型运算量减少,运算更快的效果。
MobileNet模型:是基本单元是深度级可分离卷积(depthwise separableconvolution)的网络模型。其中,深度级可分离卷积可以分解为深度可分卷积(Depthwise,DW)和逐点卷积(Pointwise,PW)。DW和标准卷积不同,对于标准卷积其卷积核是用在所有的输入通道上的,而DW针对每个输入通道采用不同的卷积核,就是说一个卷积核对应一个输入通道。而PW就是普通的卷积,只不过其采用1x1的卷积核。对于深度级可分离卷积,其首先是采用DW对不同输入通道分别进行卷积,然后采用PW将上面的输出再进行结合,这样其实整体计算结果和一个标准卷积过程的计算结果近似相同,但是会大大减少计算量和模型参数量。
概率模型:是指在系统参数 w 下观测变量对(X,Y)的联合概率分布或条件概率分布的数学模型,即 P(Y,X|w)。其中,系统参数w可以通过大量的观测数据(或称训练数据)来确定。概率模型包括但不限于:贝叶斯概率模型(Bayesian Models)、和马尔可夫概率模型(Markov Models)等,本申请在此不再一一列举。
图1是本申请一个实施例提供的自移动设备的结构示意图,如图1所示,该系统至少包括:控制组件110和与控制组件110通信相连的图像采集组件120。
图像采集组件120用于采集自移动设备移动过程中的环境图像130;并将该环境图像130发送至控制组件110。可选地,图像采集组件120可以实现为照相机、摄像机等,本实施例不对图像采集组件120的实现方式作限定。
可选地,图像采集组件120的视场角在水平方向上为120°、竖直方向上为60°;当然,视场角也可以为其它数值,本实施例不对图像采集组件120的视场角的取值作限定。图像采集组件120的视场角可以保证能够采集到自移动设备的在行进方向上的环境图像130。
另外,图像采集组件120的数量可以是一个或多个,本实施例不对图像采集组件120的数量作限定。
控制组件110用于对自移动设备进行控制。比如:控制自移动设备的启动、停止;控制自移动设备中的各个组件(如图像采集组件120)的启动、停止等。
本实施例中,控制组件110与存储器通信相连;该存储器中存储有程序,该程序由控制组件110加载并执行至少实现以下步骤:用于获取自移动设备所处工作区域的边缘信息140;获取移动时采集到的环境图像130;基于环境图像130获得通行门信息;基于通行门信息和边缘信息140,对工作区域内的独立区域150进行划分。换句话说,该程序由控制组件110加载并执行以实现本申请提供的自移动设备的控制方法。
独立区域150是指工作区域中与其它区域的属性不同的区域。比如:房间中的卧室区域、客厅区域、餐厅区域、厨房区域等。由于不同的独立区域通常通过通行门和墙进行划分,其中,墙与地面之间的边界线可以通过边缘信息获得,通行门的位置可以通过通行门信息获得,因此,可以通过边缘信息和通行门信息结合进行区域划分。
其中,边缘信息140是指每个独立区域的地面边界的信息,该边缘信息包括对应地面边界的位置和长度。通行门信息是指每个独立区域中通行门的信息,通行门信息包括门框和/或门在工作区域中的位置信息。通行门是指供人、自移动设备和/或其他对象出入某个独立区域的门。通行门可以是开放式的虚拟门(即不存在门板等隔离物体的门)、或者是实体门,本实施例不对通行门的类型作限定。
需要补充说明的是,门框和/或门在工作区域中的位置信息是指:在向地面的垂直投影方向上,门框和/或门的投影位置在工作区域中的地理位置。
可选地,在对工作区域内的独立区域150进行划分之后,控制组件110还可以实现以下步骤:基于环境图像130确定对应独立区域150的场景预测结果160;根据独立区域150的场景预测结果160确定独立区域的场景类型170。
场景类型170用于指示自移动设备当前所处的独立区域的类型,场景类型170的划分方式根据自移动设备的工作区域设置。比如:自移动设备的工作区域为房间,则场景类型170包括:卧室类型、厨房类型、书房类型、卫生间类型等,本实施例不对场景类型170的划分方式作限定。
需要补充说明的是,本实施例中,自移动设备还可以包括其它组件,比如:用于带动自移动设备移动的移动组件(比如:车轮)、用于驱动移动组件运动的移动驱动组件(比如:电机)等,其中,移动驱动组件与控制组件110通信相连,在控制组件110的控制下移动驱动组件运行并带动移动组件运动,从而实现自移动设备的整体运动,本实施例在此对自移动设备包括的组件不再一一列举。
另外,自移动设备可以为扫地机器人、自动割草机或者其它具有自动行驶功能的设备,本申请不对自移动设备的设备类型作限定。
本实施例中,通过结合边缘信息和通行门信息将工作区域划分为多个独立区域,可以解决现有技术无法实现对工作区域进行划分的问题;可以实现对工作区域进行划分,达到按照划分出的独立区域个性化工作的效果。另外,由于通行门可以是开放式的虚拟门,因此,可以将该虚拟门的信息和边缘信息结合得到每个独立区域的区域边界,从而划分出对应的独立区域,可以实现对开放门场景的区域划分,提高区域划分的准确度。
下面对本申请提供的自移动设备的对象识别方法进行详细介绍。
图2是自移动设备的对象是别方法的流程图,图2中以该自移动设备的对象识别方法用于图1所示的自移动设备中、且各个步骤的执行主体为控制组件110为例进行说明,该方法至少包括以下几个步骤:
步骤201,获取自移动设备所处工作区域的边缘信息。
边缘信息是指每个独立区域的地面边界的信息,该边缘信息包括对应地面边界的位置和长度。边缘信息为自移动设备移动过程中,沿边行驶所获得的路径信息。
可选地,自移动设备具有沿边行驶的功能,在该功能下,若自移动设备沿着墙与地面形成的边界行驶,则可以获取到该边界的边缘信息;若自移动设备沿着物体(比如:柜子、桌子、床等)与地面形成的边界行驶,则可以获取到该边界的边缘信息。
步骤202,获取移动时采集到的环境图像。
自移动设备记录在工作区域内移动时的工作时间(或称时间戳)和该工作时间对应的环境图像。在对工作区域工作完成后,读取该环境图像。
在一个示例中,自移动设备在本次工作完成后,根据本次工作的开始时间和结束时间,从已存储的环境图像中读取开始时间至结束时间对应的时间段内的环境图像。
步骤203,基于环境图像获得通行门信息。
识别环境图像是否包括通行门的图像;在环境图像包括通行门的图像时,获取通行门在工作区域中的位置信息。
其中,通行门是指供自移动设备进入独立区域或者离开独立区域的通道。通行门可以是门框、栅栏口等,本实施例不对通行门的类型作限定。在一个示例中,通行门包括工作区域中的门框。
在一个示例中,自移动设备中存储有图像识别模型;自移动设备将环境图像输入图像识别模型,得到对象识别结果,该对象识别结果包括目标对象的属性信息。在对象识别结果包括通行门信息时,确定环境图像包括通行门的图像;在对象识别结果不包括通行门信息时,确定环境图像不包括通行门的图像。其中,目标对象包括通行门。
图像识别模型为基于小网络模型使用样本环境图像和样本对象结果训练得到的。
可选地,为了降低图像识别过程对自移动设备的硬件要求,图像识别模型运行时占用的计算资源低于自移动设备提供的最大计算资源。图像识别模型是基于小网络模型使用训练数据训练得到的。其中,训练数据包括自移动设备的工作区域中的各个对象的训练图像和每张训练图像的识别结果。其中,小网络模型是指模型层数小于第一数值;和/或,每层中的节点数量小于第二数值的网络模型。其中,第一数值和第二数值均为较小的整数。比如:小网络模型为微型的YOLO模型;或者,MobileNet模型。当然,小网络模型也可以是其它模型,本实施例在此不再一一列举。
可选地,为了进一步地压缩图像识别模型运行时占用的计算资源,在训练得到图像识别模型之后,自移动设备还可以对图像识别模型进行模型压缩处理。模型压缩处理包括但不限于:模型裁剪、模型量化和/或低轶分解等。
其中,对象识别结果包括目标对象的属性信息,比如:对象的类型、对象的大小、对象在环境图像中的位置信息。目标对象除了包括通行门之外,还可以包括床、桌子、沙发等家居用品,本实施例不对目标对象的类型作限定。
可选地,获取通行门在工作区域中的位置信息,包括:获取图像识别模型输出的环境图像中的通行门与自移动设备之间的第一距离;获取采集该环境图像时与边缘信息指示的边界之间的第二距离;根据第一距离和第二距离确定通行门相对于边缘信息指示的边界之间的位置,得到通行门的位置信息。或者,自移动设备上安装有定位组件,自移动设备获取图像识别模型输出的环境图像中的通行门与自移动设备之间的第一距离;获取采集到该环境图像时定位组件获取的定位信息;根据第一距离和定位信息得到通行门的位置信息。当然,自移动设备获取通行门的位置信息的方式还可以为其他方式,本实施例在此不再一一列举。
步骤204,基于通行门信息和边缘信息,对工作区域内的独立区域进行划分。
由于工作区域内的某个或多个独立区域可能不是完全封闭的,而是与工作区域中的其它区域连通的,比如:开放式厨房等区域,此时,仅根据自移动设备的边缘信息无法将该独立区域与其它区域区分开。基于此,本实施例中,通过将边缘信息与通行门信息相结合,可以确定出开放式的独立区域,提高区域划分的准确性。
基于通行门信息和边缘信息对工作区域内的独立区域进行划分,包括:获取通行门信息指示的对应通行门在工作区域中的位置信息;将边缘信息和位置信息结合,得到结合后的边界信息;将结合后的边界信息构成的各个封闭区域划分为对应的独立区域。
其中,边缘信息是自移动设备沿边行驶得到的。
比如:自移动设备为扫地机,扫地机对用户的整个房屋清洁完成后获取到房屋的边缘信息;之后,获取清扫过程中采集到的环境图像,对每张环境图像进行识别;在环境图像包括通行门的图像时获取该通行门的位置信息;将该位置信息与边缘信息结合即可多个封闭图形,每个封闭图形对应一个独立区域。
综上所述,本实施例提供的自移动设备的控制方法,通过获取自移动设备所处工作区域的边缘信息;获取移动时采集到的环境图像;基于环境图像获得通行门信息;基于通行门信息和边缘信息,对工作区域内的独立区域进行划分;可以解决现有技术无法实现对工作区域进行划分的问题;可以实现对工作区域进行划分,达到按照划分出的独立区域个性化工作的效果。另外,由于通行门可以是开放式的虚拟门,因此,可以将该虚拟门的信息和边缘信息结合得到每个独立区域的区域边界,从而划分出对应的独立区域,可以实现对开放门场景的区域划分,提高区域划分的准确度。
另外,通过对图像识别模型压缩处理,得到用于识别通行门的图像识别模型,可以进一步的缩小图像识别模型运行时占用的计算资源,提高识别速度,降低自移动设备对硬件的要求。
可选地,在获取到工作区域内的多个独立区域后,自移动设备还可以对每个独立区域的场景类型进行识别。此时,在步骤204之后,参考图3,自移动设备的控制方法还包括如下几个步骤:
步骤301,基于环境图像确定对应独立区域的场景预测结果。
场景预测结果用于指示自移动设备基于单个独立区域的相关信息预测得到的场景类型。场景预测结果的可以为一个或多个场景类型。
场景类型用于指示自移动设备当前所处的独立区域的类型。场景类型的划分方式根据自移动设备的工作区域设置。比如:自移动设备的工作区域为房间,则场景类型包括:卧室类型、厨房类型、书房类型、卫生间类型等,本实施例不对场景类型的划分方式作限定。
在一个示例中,基于环境图像确定对应独立区域的场景预测结果,包括:获取图像识别模型;对于每个独立区域,将独立区域对应的环境图像输入图像识别模型获得对象识别结果;获取场景识别模型;将对象识别结果输入场景识别模型,得到场景预测结果,场景预测结果包括独立区域的至少一种预测场景类型。
图像识别模型的相关描述详见步骤203,本实施例在此不再赘述。
场景识别模型为基于概率模型使用对象的样本属性信息和样本场景训练得到的。
可选地,场景识别模型输出的场景预测结果包括多个场景类型,此时,场景识别模型还会输出每个场景类型对应的置信度。置信度用于指示所输出的每个场景类型的准确度。
步骤302,根据独立区域的场景预测结果确定独立区域的场景类型。
在一个示例中,根据独立区域的场景预测结果确定独立区域的场景类型,包括:获取每个独立区域的位姿信息;结合每个独立区域的场景区域结果和每个独立区域的位姿信息,按照预先设置的概率分布策略确定各个独立区域的场景类型。其中,概率分布策略用于对于每种目标场景类型,从各个独立区域中确定场景类型是目标场景类型的概率最高的独立区域。
位姿信息包括对应独立区域在工作区域内位置信息和方向信息。其中,方向信息可以是通行门在对应独立区域中的方向。
在确定独立区域的场景类型时,自移动设备可以按照预先设置的概率分布策略,根据多个独立区域的场景预测结果确定每个独立区域的场景类型;
示意性地,概率分布策略为:对于每种场景类型存在对应的模板位姿信息;将独立区域的位姿信息与每种场景类型的模板位姿信息进行比较,得到位姿比较结果;对于每种目标场景类型,将该目标场景类型对应的场景预测结果和位姿比较结果与对应的权重相乘之和,得到概率结果;将概率结果最高的独立区域的类型确定为该场景类型。
为了更清楚地理解本申请提供的自移动设备的控制方法,下面对该方法举一个实例进行说明。参考图4,自移动设备在工作区域内工作完成后获取到工作区域内的边缘信息;将工作过程中图像采集组件采集到的环境图像输入图像识别模型41,得到对象信息42;结合对象信息42中的通行门信息和边缘信息划分工作区域,得到多个独立区域150;将对象信息输入场景识别模型后得到每个独立区域的场景预测结果160;结合多个独立区域的场景预测结果160基于概率分布策略得到每个独立区域的场景类型170。
综上所述,本实施例提供的自移动设备的控制方法,通过基于所述环境图像确定对应独立区域的场景预测结果;根据所述独立区域的场景预测结果确定所述独立区域的场景类型,可以使得自移动设备识别出整个工作区域中每个独立区域的场景类型,为用户提供更多的信息,可以使得自移动设备更加智能化。
图5是本申请一个实施例提供的自移动设备的控制装置的框图,本实施例以该装置应用于图1所示的自移动设备的控制系统中的控制组件110为例进行说明。该装置至少包括以下几个模块:第一信息获取模块510、环境图像获取模块520、第二信息获取模块530和区域划分控制模块540。
第一信息获取模块510,用于获取所述自移动设备所处工作区域的边缘信息;
环境图像获取模块520,用于获取移动时采集到的环境图像;
第二信息获取模块530,用于基于所述环境图像获得通行门信息;
区域划分控制模块540,用于基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分。
相关细节参考上述方法实施例。
需要说明的是:上述实施例中提供的自移动设备的控制装置在进行自移动设备的控制时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将自移动设备的控制装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的自移动设备的控制装置与自移动设备的控制方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请一个实施例提供的自移动设备的控制装置的框图,该装置可以是图1所示的自移动设备。该装置至少包括处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如:4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本申请中方法实施例提供的自移动设备的控制方法。
在一些实施例中,自移动设备的控制装置还可选包括有:外围设备接口和至少一个外围设备。处理器601、存储器602和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地,外围设备包括但不限于:射频电路、触摸显示屏、音频电路、和电源等。
当然,自移动设备的控制装置还可以包括更少或更多的组件,本实施例对此不作限定。
可选地,本申请还提供有一种计算机可读存储介质,计算机可读存储介质中存储有程序,程序由处理器加载并执行以实现上述方法实施例的自移动设备的控制方法。
可选地,本申请还提供有一种计算机产品,该计算机产品包括计算机可读存储介质,计算机可读存储介质中存储有程序,程序由处理器加载并执行以实现上述方法实施例的自移动设备的控制方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种自移动设备的控制方法,其特征在于,所述方法包括:
获取所述自移动设备所处工作区域的边缘信息;
获取移动时采集到的环境图像;
基于所述环境图像获得通行门信息;
基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分。
2.根据权利要求1所述的方法,其特征在于,所述基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分之后,还包括:
基于所述环境图像确定对应独立区域的场景预测结果;
根据所述独立区域的场景预测结果确定所述独立区域的场景类型。
3.根据权利要求1所述的方法,其特征在于,所述基于所述通行门信息和所述边缘信息,对所述工作区域内的独立区域进行划分,包括:
获取所述通行门信息指示的对应通行门在所述工作区域中的位置信息;
将所述边缘信息和所述位置信息结合,得到结合后的边界信息;
将所述结合后的边界信息构成的各个封闭区域划分为对应的独立区域。
4.根据权利要求1所述的方法,其特征在于,所述基于所述环境图像获得通行门信息,包括:
识别所述环境图像是否包括通行门的图像;
在所述环境图像包括通行门的图像时,获取所述通行门在所述工作区域中的位置信息。
5.根据权利要求4所述的方法,其特征在于,所述通行门包括所述工作区域中的门框。
6.根据权利要求2所述的方法,其特征在于,所述根据所述独立区域的场景预测结果确定所述独立区域的场景类型,包括:
获取每个独立区域的位姿信息,所述位姿信息包括对应独立区域在所述工作区域内的位置信息和方向信息;
结合每个独立区域的场景区域结果和每个独立区域的位姿信息,按照预先设置的概率分布策略确定各个独立区域的场景类型;
其中,概率分布策略用于对于每种目标场景类型,从各个独立区域中确定场景类型是所述目标场景类型的概率最高的独立区域。
7.根据权利要求2所述的方法,其特征在于,所述基于所述环境图像确定对应独立区域的场景预测结果,包括:
获取图像识别模型,所述图像识别模型运行时占用的计算资源低于所述自移动设备提供的最大计算资源;
对于每个独立区域,将所述独立区域对应的环境图像输入所述图像识别模型获得对象识别结果,所述对象识别结果包括目标对象的属性信息;
获取场景识别模型,所述场景识别模型是使用对象的样本属性信息和样本场景类型训练得到的;
将所述对象识别结果输入所述场景识别模型,得到场景预测结果,所述场景预测结果包括所述独立区域的至少一种预测场景类型。
8.根据权利要求7所述的方法,其特征在于,所述图像识别模型为基于小网络模型使用样本环境图像和样本对象结果训练得到的。
9.根据权利要求7所述的方法,其特征在于,所述场景识别模型为基于概率模型使用对象的样本属性信息和样本场景训练得到的。
10.一种自移动设备的控制装置,其特征在于,所述装置包括处理器和存储器;所述存储器中存储有程序,所述程序由所述处理器加载并执行以实现如权利要求1至9任一项所述的自移动设备的控制方法。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有程序,所述程序被所述处理器执行时用于实现如权利要求1至9任一项所述的自移动设备的控制方法。
12.一种自移动设备,其特征在于,包括:
用于带动所述自移动设备移动的移动组件;
用于驱动所述移动组件运动的移动驱动组件;
安装在所述自移动设备上、用于采集行进方向上的环境图像的图像采集组件;
与所述移动驱动组件和所述图像采集组件通信相连的控制组件,所述控制组件与存储器通信相连;所述存储器中存储有程序,所述程序由所述控制组件加载并执行以实现如权利要求1至9任一项所述的自移动设备的控制方法。
CN202010666134.2A 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质 Active CN111539398B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202010666134.2A CN111539398B (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质
CN202111064935.2A CN113920451A (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质
EP21842796.1A EP4163819A4 (en) 2020-07-13 2021-07-12 CONTROL METHOD FOR MOVING DEVICE, DEVICE, STORAGE MEDIUM AND SELF-MOVING DEVICE
KR1020237004202A KR20230035610A (ko) 2020-07-13 2021-07-12 자율 이동 디바이스의 제어 방법, 및 자율 이동 디바이스의 제어 디바이스
CA3185243A CA3185243A1 (en) 2020-07-13 2021-07-12 Control method for self-moving device, apparatus, storage medium, and self-moving device
US18/015,719 US20230270308A1 (en) 2020-07-13 2021-07-12 Control method for self-moving device and self-moving device
AU2021308246A AU2021308246A1 (en) 2020-07-13 2021-07-12 Control method for self-moving device, apparatus, storage medium, and self-moving device
PCT/CN2021/105792 WO2022012471A1 (zh) 2020-07-13 2021-07-12 自移动设备的控制方法、装置、存储介质及自移动设备
JP2023501666A JP2023534932A (ja) 2020-07-13 2021-07-12 自律移動機器の制御方法、装置、記憶媒体及び自律移動機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010666134.2A CN111539398B (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111064935.2A Division CN113920451A (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111539398A true CN111539398A (zh) 2020-08-14
CN111539398B CN111539398B (zh) 2021-10-01

Family

ID=71979832

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111064935.2A Pending CN113920451A (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质
CN202010666134.2A Active CN111539398B (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111064935.2A Pending CN113920451A (zh) 2020-07-13 2020-07-13 自移动设备的控制方法、装置及存储介质

Country Status (1)

Country Link
CN (2) CN113920451A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882677A (zh) * 2021-02-08 2021-06-01 洲磊新能源(深圳)有限公司 一种rgb led多重色彩光源处理的技术方法
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居系统
WO2022012471A1 (zh) * 2020-07-13 2022-01-20 追觅创新科技(苏州)有限公司 自移动设备的控制方法、装置、存储介质及自移动设备
WO2023109347A1 (zh) * 2021-12-13 2023-06-22 追觅创新科技(苏州)有限公司 自移动设备的重定位方法、设备及存储介质
WO2023179393A1 (zh) * 2022-03-24 2023-09-28 追觅创新科技(苏州)有限公司 区域划分方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120265391A1 (en) * 2009-06-18 2012-10-18 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
CN106983449A (zh) * 2010-07-01 2017-07-28 德国福维克控股公司 具有区域划分的测绘制图
CN109272554A (zh) * 2018-09-18 2019-01-25 北京云迹科技有限公司 一种识别目标的坐标系定位和语义地图构建的方法及系统
CN109871420A (zh) * 2019-01-16 2019-06-11 深圳乐动机器人有限公司 地图生成和分区方法、装置及终端设备
CN110070005A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像目标识别方法、装置、存储介质及电子设备
CN110450152A (zh) * 2019-06-24 2019-11-15 广东宝乐机器人股份有限公司 区域识别方法、机器人和存储介质
CN110897567A (zh) * 2018-12-13 2020-03-24 成都家有为力机器人技术有限公司 一种基于目标物识别的清洁方法及清洁机器人
CN111012261A (zh) * 2019-11-18 2020-04-17 深圳市杉川机器人有限公司 基于场景识别的清扫方法、系统、扫地设备及存储介质
CN111150330A (zh) * 2019-12-30 2020-05-15 北京太坦科技有限公司 清扫控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120265391A1 (en) * 2009-06-18 2012-10-18 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
CN106983449A (zh) * 2010-07-01 2017-07-28 德国福维克控股公司 具有区域划分的测绘制图
CN109272554A (zh) * 2018-09-18 2019-01-25 北京云迹科技有限公司 一种识别目标的坐标系定位和语义地图构建的方法及系统
CN110897567A (zh) * 2018-12-13 2020-03-24 成都家有为力机器人技术有限公司 一种基于目标物识别的清洁方法及清洁机器人
CN109871420A (zh) * 2019-01-16 2019-06-11 深圳乐动机器人有限公司 地图生成和分区方法、装置及终端设备
CN110070005A (zh) * 2019-04-02 2019-07-30 腾讯科技(深圳)有限公司 图像目标识别方法、装置、存储介质及电子设备
CN110450152A (zh) * 2019-06-24 2019-11-15 广东宝乐机器人股份有限公司 区域识别方法、机器人和存储介质
CN111012261A (zh) * 2019-11-18 2020-04-17 深圳市杉川机器人有限公司 基于场景识别的清扫方法、系统、扫地设备及存储介质
CN111150330A (zh) * 2019-12-30 2020-05-15 北京太坦科技有限公司 清扫控制方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012471A1 (zh) * 2020-07-13 2022-01-20 追觅创新科技(苏州)有限公司 自移动设备的控制方法、装置、存储介质及自移动设备
CN112882677A (zh) * 2021-02-08 2021-06-01 洲磊新能源(深圳)有限公司 一种rgb led多重色彩光源处理的技术方法
CN113341752A (zh) * 2021-06-25 2021-09-03 杭州萤石软件有限公司 一种智能门锁与清洁机器人联动的方法、智能家居系统
WO2023109347A1 (zh) * 2021-12-13 2023-06-22 追觅创新科技(苏州)有限公司 自移动设备的重定位方法、设备及存储介质
WO2023179393A1 (zh) * 2022-03-24 2023-09-28 追觅创新科技(苏州)有限公司 区域划分方法、设备及存储介质

Also Published As

Publication number Publication date
CN113920451A (zh) 2022-01-11
CN111539398B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN111539398B (zh) 自移动设备的控制方法、装置及存储介质
Gan et al. Look, listen, and act: Towards audio-visual embodied navigation
WO2021017606A1 (zh) 视频处理方法、装置、电子设备及存储介质
WO2020192736A1 (zh) 物体识别方法及装置
CN111539400A (zh) 自移动设备的控制方法、装置、存储介质及自移动设备
CN111539399B (zh) 自移动设备的控制方法、装置、存储介质及自移动设备
CN111832437A (zh) 建筑图纸识别方法、电子设备及相关产品
US20220138977A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
CN113128368B (zh) 一种人物交互关系的检测方法、装置及系统
CN111783997B (zh) 一种数据处理方法、装置及设备
CN108469772A (zh) 一种智能设备的控制方法和装置
CN111582654B (zh) 基于深度循环神经网络的服务质量评价方法及其装置
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
Schneider et al. Unsupervised anomaly detection from time-of-flight depth images
US20220138978A1 (en) Two-stage depth estimation machine learning algorithm and spherical warping layer for equi-rectangular projection stereo matching
US20230334774A1 (en) Site model updating method and system
CN117058235A (zh) 跨多种室内场景的视觉定位方法
US20230270308A1 (en) Control method for self-moving device and self-moving device
CN109726826A (zh) 随机森林的训练方法、装置、存储介质和电子设备
CN114237861A (zh) 一种数据处理方法及其设备
CN113536859A (zh) 行为识别模型训练方法、识别方法、装置及存储介质
CN111339952B (zh) 基于人工智能的图像分类方法、装置及电子设备
Shi et al. Parallel Optimization of Depth Learning Algorithm Based on Behavior Recognition
CN117934622A (zh) 一种相机智能布局方法、装置、电子设备和存储介质
US20230107917A1 (en) System and method for a hybrid unsupervised semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 215000 E3, building 16, No. 2288, Wuzhong Avenue, Yuexi, Wuzhong District, Suzhou City, Jiangsu Province

Applicant after: Pursuit innovation technology (Suzhou) Co.,Ltd.

Address before: 215000 E3, building 16, No. 2288, Wuzhong Avenue, Yuexi, Wuzhong District, Suzhou City, Jiangsu Province

Applicant before: ZHUICHUANG TECHNOLOGY (SUZHOU) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant