CN113647864B - 确定清洁机器人的运行方法、装置、电子设备及介质 - Google Patents

确定清洁机器人的运行方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113647864B
CN113647864B CN202110827485.1A CN202110827485A CN113647864B CN 113647864 B CN113647864 B CN 113647864B CN 202110827485 A CN202110827485 A CN 202110827485A CN 113647864 B CN113647864 B CN 113647864B
Authority
CN
China
Prior art keywords
image
region
cleaning robot
target
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110827485.1A
Other languages
English (en)
Other versions
CN113647864A (zh
Inventor
张志鹏
徐全飞
韩冲
徐晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Robozone Technology Co Ltd
Original Assignee
Midea Robozone Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Robozone Technology Co Ltd filed Critical Midea Robozone Technology Co Ltd
Priority to CN202110827485.1A priority Critical patent/CN113647864B/zh
Publication of CN113647864A publication Critical patent/CN113647864A/zh
Application granted granted Critical
Publication of CN113647864B publication Critical patent/CN113647864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种确定清洁机器人的运行方法、装置、电子设备及介质。其中，通过应用本申请的技术方案，可以将预先训练好的图像检测模型以及图像分类模型串行部署到清洁机器人中，从而首先利用图像检测模型提取当前区域图像中最有可能出现障碍物的感兴趣区域，并再将该感兴趣区域图像输入到图像分类模型中，以利用图像分类模型的输出结果确定当前区域是否存在障碍物。从而避免相关技术中清洁机器人利用传感器检测障碍物所导致的感知范围有限的弊端。

Description

确定清洁机器人的运行方法、装置、电子设备及介质
技术领域
本申请中涉及数据处理技术，尤其是一种确定清洁机器人的运行方法、装置、电子设备及介质。
背景技术
由于通信时代和社会的兴起，智能设备已经随着越来越多用户的使用而不断发展。
其中，随着通信时代的飞速发展，人们使用清洁机器人代替人工清洁已经成为了一种常态。进一步的，传统的清洁机器人在进行室内清扫时，通常需要避开障碍物以免出现机器人不断碰壁的情况。相关技术中，清洁机器人通常为基于激光雷达，超声波等传感器感知的方式来进行障碍物识别。
然而，上述方式会通常会存在由于感知范围有限所导致的清洁机器人无法区分障碍物与地形边缘的问题。这也导致机器人运行效率不高。
发明内容
本申请实施例提供一种确定清洁机器人的运行方法、装置、电子设备及介质，本申请实施例用于解决相关技术中存在的清洁机器人感知范围有限所导致的无法区分障碍物与地形边缘的问题。
其中，根据本申请实施例的一个方面，提供的一种确定清洁机器人的运行方法，其特征在于，应用于清洁机器人，包括：
获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；
将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；
将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；
基于所述分类结果，为所述清洁机器人确定运行路线。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，包括：
利用所述目标图像分类模型中的深度可分离卷积，提取所述感兴趣区域图像对应的多个特征图像；
将所述多个特征图像进行双向以及短接特征融合，得到对应的多个预测图像，其中每个预测图像的尺寸各不相同；
根据多个所述预测图像，得到所述感兴趣区域图像。
可选地，在基于本申请上述方法的另一个实施例中，所述根据多个所述预测图像，得到所述感兴趣区域图像，包括：
根据每个预测图像中存在的特征点信息，确定每个特征点为中心的检测框中对应的属性参数，所述属性参数用于反映对应检测框中障碍物的位置信息，存在障碍物的概率信息与障碍物的类别信息；
从多个检测框的属性参数中，选取目标属性参数对应的检测框作为所述待排查区域图像的目标检测框；
根据所述目标检测框，得到所述感兴趣区域图像。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述目标检测框，得到所述感兴趣区域图像，包括：
利用膨胀系数，将所述目标检测框放大至预设倍数，得到所述感兴趣区域图像。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，包括：
利用目标图像分类模型，识别所述感兴趣区域图像中，是否存在有目标物体特征，所述目标物体特征包括大小特征、色彩特征以及轮廓特征的至少一种；
确定存在所述目标物体特征，生成所述待排查区域图像中包含障碍物的分类结果。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取运行指令之前，还包括：
获取初始图像检测模型以及初始图像分类模型；
对所述初始图像检测模型进行模型压缩，得到所述目标图像检测模型；以及，对所述初始图像分类模型进行模型压缩，得到所述目标图像分类模型；
将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中。
可选地，在基于本申请上述方法的另一个实施例中，所述将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中，还包括：
将所述初始图像检测模型以及初始图像分类模型部署到服务器端；以及，将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中；
在所述获取运行指令之后，还包括：
基于所述清洁机器人的运行状态，确定排查模式，所述排查模式对应于利用所述服务器端进行障碍物排查，或，利用所述清洁机器人进行障碍物排查。
可选地，在基于本申请上述方法的另一个实施例中，在所述获取运行指令之后，还包括：
利用定位装置，获取所述待排查区域的坐标位置；
将所述坐标位置输入至拍摄方案列表，确定所述待排查区域对应的拍摄方案，其中不同的拍摄方案对应于不同的拍摄高度，和/或，拍摄视角；
基于所述待排查区域对应的拍摄方案，利用摄像采集装置采集所述待排查区域图像。
根据本申请实施例的另一个方面，提供的一种确定清洁机器人的运行装置，应用于清洁机器人，包括：
获取模块，被设置为获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；
生成模块，被设置为将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；
输入模块，被设置为将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；
确定模块，被设置为基于所述分类结果，为所述清洁机器人确定运行路线。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述确定清洁机器人的运行方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述确定清洁机器人的运行方法的操作。
本申请中，在获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；并将待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像；再将感兴趣区域图像输入至目标图像分类模型，得到待排查区域图像对应的用于反映待排查区域中是否存在障碍物的分类结果，以使基于分类结果，为清洁机器人确定运行路线。通过应用本申请的技术方案，可以将预先训练好的图像检测模型以及图像分类模型串行部署到清洁机器人中，从而首先利用图像检测模型提取当前区域图像中最有可能出现障碍物的感兴趣区域，并再将该感兴趣区域图像输入到图像分类模型中，以利用图像分类模型的输出结果确定当前区域是否存在障碍物。从而避免相关技术中清洁机器人利用传感器检测障碍物所导致的感知范围有限的弊端。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的确定清洁机器人的运行系统架构示意图；
图2为本申请提出的一种确定清洁机器人的运行方法的示意图；
图3a-图3c为本申请提出的清洁机器人采集图像的显示图；
图4为本申请提出的清洁机器人运行的流程图；
图5为本申请确定清洁机器人的运行装置的结构示意图；
图6为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
下面结合图1-图4来描述根据本申请示例性实施方式的用于进行确定清洁机器人的运行方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
图1示出了可以应用本申请实施例的确定清洁机器人的运行方法或确定清洁机器人的运行的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括清洁机器人101、102、103中的一种或多种，网络104和服务器105。网络104用以在清洁机器人101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
应该理解，图1中的清洁机器人、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的清洁机器人、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用清洁机器人101、102、103通过网络104与服务器105交互，以接收或发送消息，采集图像等。清洁机器人101、102、103可以包括具有显示屏，摄像采集装置的各种电子设备。
本申请中的清洁机器人101、102、103可以为提供各种服务的清洁机器人。例如用户通过清洁机器人103(也可以是清洁机器人101或102)实现：获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；基于所述分类结果，为所述清洁机器人确定运行路线。
在此需要说明的是，本申请实施例所提供的确定清洁机器人的运行方法可以由清洁机器人101、102、103中的一个或多个,和/或,服务器105执行，相应地，本申请实施例所提供的确定清洁机器人的运行装置一般设置于对应清洁机器人中,和/或，服务器105中，但本申请不限于此。
进一步的，本申请还提出一种确定清洁机器人的运行方法、装置、目标终端及介质。
图2示意性地示出了根据本申请实施方式的一种确定清洁机器人的运行方法的流程示意图。如图2所示，该方法应用于清洁机器人，包括：
S101，获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像。
其中，清洁机器人是智能家用电器的一种，能凭借一定的人工智能，自动在区域内完成地板清理工作。一般采用刷扫和真空方式，将地面杂物先吸纳进入自身的垃圾收纳盒，从而完成地面清理的功能。
需要说明的是，本申请中的运行指令可以是由用户生成的，也可以为根据预设规则生成的。例如每隔一段时间即可指示机器人进行用于清扫室内的运行指令等等。
另外，需要说明的是，本申请不对待排查区域进行限定。例如可以对应于卧室，也可以对应于厨房，还可以对应于办公区域等等。
还有，本申请也不对预设范围进行限定，例如可以为机器人正前方的若干距离，也可以为机器人周围的若干距离。
相关技术中，传统的清洁机器人在进行室内清扫时，通常需要避开障碍物以免出现机器人不断碰壁的情况。相关技术中，清洁机器人通常为基于激光雷达，超声波等传感器感知的方式来进行障碍物识别。进一步的，例如对于激光雷达，超声波等传感器的扫地机障碍物检测方案无法判断障碍物类别，无法区分障碍物与地形边缘，价格高昂且感受视野较小。无法分辨物体的种类以及及时获得物体的位置信息。
另外，随着识别种类的增加，检测模型的精度会有所下降，其中主要的失效模式就是在相似类别间混淆，如扫地机工作环境中常见的袜子与抹布，窗帘与墙壁等。
S102，将待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，感兴趣区域图像为待排查区域图像中的部分图像。
其中，本申请不对目标图像检测模型做具体限定。例如可以为卷积神经网络(Convolutional Neural Networks,CNN)。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。得益于CNN(卷积神经网络)对图像的强大特征表征能力，其在图像分类、目标检测、语义分割等领域都取得了令人瞩目的效果。
进一步的，本申请可以使用目标图像检测模型来检测机器人携带的摄像装置所采集到的多张待排查区域图像中的特征信息，进而对该特征信息进行特征识别，确定待排查区域图像中包含的目标物体(即感兴趣区域)。其中，需要将该待识别图像输入至预设的卷积神经网络模型中，并将卷积神经网络模型最后一层全连接层(FC，fully connectedlayer)的输出作为对该待识别图像对应的特征数据的识别结果。
进一步的，本申请在获取启动指令之后，需要首先将待排查区域图像输入至目标图像检测模型，以得到感兴趣区域图像。其中，该感兴趣区域图像即为经过第一个神经网络模型(目标图像检测模型)识别得到的可能存在有障碍物的图像。
例如如图3a所示，对于待排查区域对应于卧室来说，当机器人获取运行指令后，即可以利用部署在自身的摄像采集装置采集距离清洁机器人预设范围内的卧室区域的图像，以得到图3b(即待排查区域图像)。进一步的，本申请还可以将卧室区域的图像(即待排查区域图像)输入至目标图像检测模型，从而得到图3c(即感兴趣区域图像)，该感兴趣区域图像为用于反映厨房区域图像中，最可能存在有障碍物的图像，可以理解的，感兴趣区域图像为待排查区域图像中的部分图像。
S103，将感兴趣区域图像输入至目标图像分类模型，得到待排查区域图像对应的分类结果，分类结果用于反映待排查区域中是否存在障碍物。
进一步的，本申请可以将预先训练好的图像检测模型(即第一个神经网络模型)以及图像分类模型(即第二个神经网络模型)串行部署到清洁机器人中，从而首先利用目标图像检测模型提取当前区域图像中最有可能出现障碍物的感兴趣区域，并再将该感兴趣区域图像输入到目标图像分类模型中，以利用目标图像分类模型的分类结果确定当前区域是否存在障碍物。
同样的，本申请也不对目标图像分类模型做具体限定。例如可以为卷积神经网络(Convolutional Neural Networks,CNN)。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。得益于CNN(卷积神经网络)对图像的强大特征表征能力，其在图像分类、目标检测、语义分割等领域都取得了令人瞩目的效果。
进一步的，本申请可以使用目标图像分类模型来检测机器人携带的摄像装置所采集到的多张感兴趣区域图像中的特征信息，进而对该特征信息进行特征识别，确定感兴趣区域图像中包含的目标物体(即障碍物体)。其中，需要将该待识别图像输入至预设的卷积神经网络模型中，并将卷积神经网络模型最后一层全连接层(FC，fully connected layer)的输出作为对该待识别图像对应的特征数据的分类结果。
其中，该障碍物可能是宠物，杂物，人等等。本申请对此不作限定。
S104，基于分类结果，为清洁机器人确定运行路线。
本申请中，在获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；并将待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像；再将感兴趣区域图像输入至目标图像分类模型，得到待排查区域图像对应的用于反映待排查区域中是否存在障碍物的分类结果，以使基于分类结果，为清洁机器人确定运行路线。通过应用本申请的技术方案，可以将预先训练好的图像检测模型以及图像分类模型串行部署到清洁机器人中，从而首先利用图像检测模型提取当前区域图像中最有可能出现障碍物的感兴趣区域，并再将该感兴趣区域图像输入到图像分类模型中，以利用图像分类模型的输出结果确定当前区域是否存在障碍物。从而避免相关技术中清洁机器人利用传感器检测障碍物所导致的感知范围有限的弊端。
可选的，在本申请一种可能的实施方式中，在S102(将待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像)，包括：
利用目标图像检测模型中的深度可分离卷积，提取感兴趣区域图像对应的多个特征图像；
将多个特征图像进行双向以及短接特征融合，得到对应的多个预测图像，其中每个预测图像的尺寸各不相同；
根据多个预测图像，得到感兴趣区域图像。
可选的，在本申请一种可能的实施方式中，根据多个预测图像，得到感兴趣区域图像，包括：
根据每个预测图像中存在的特征点信息，确定每个特征点为中心的检测框中对应的属性参数，属性参数用于反映对应检测框中障碍物的位置信息，存在障碍物的概率信息与障碍物的类别信息；
从多个检测框的属性参数中，选取目标属性参数对应的检测框作为待排查区域图像的目标检测框；
根据目标检测框，得到感兴趣区域图像。
可选的，在本申请一种可能的实施方式中，根据目标检测框，得到感兴趣区域图像，包括：
利用膨胀系数，将目标检测框放大至预设倍数，得到感兴趣区域图像。
首先，对于本申请中的图像检测模型来说，不仅可以使用除普通卷积外，还采用了深度可分离卷积，从而减少了参数量，提升模型的运算效率。
具体的，对于标准卷积，训练参数为：
Channel(in)*k*k*Channel(out)
其中Channel(in)为输入通道数，k为卷积核尺寸，Channel(out)为输出通道数。
另外，对于本申请中图像检测模型的深度分离卷积来说，训练参数为：
Channel(in)*k*k+Channel(in)*1*1*Channel(out)
其中Channel(in)为输入通道数，k为卷积核尺寸，Channel(out)为输出通道数。
进一步的，本申请在利用目标图像检测模型中的深度可分离卷积提取出多张特征图后，可以对其进行双向的，带短接的特征融合，最终得到多张不同尺寸的预测图像。
一种方式中，该预测图像可以为n*n的预测图，也即其上共有n*n个特征点，代表以各特征点为中心的检测框中存在障碍物体的位置，概率与类别信息。
可以理解的，对于多个预测图对应的检测框来说，本申请可以利用阈值筛选，例如以非极大值抑制等方法对所有预测图包括的检测框进行过滤，最终得到一个或多个检测结果(即目标检测框)。并在后续将根据该目标检测框放大若干倍数后，将放大得到的检测框作为感兴趣区域图像。
具体的，本申请可以根据目标检测框矩形区域(x1,y1,x2,y2)求得其最小外接正方形(u1,v1,u2,v2)，宽为w，高为h，再乘以膨胀系数α以包含更多的背景信息，则最终的感兴区域图像的坐标为：
(m1,n1,m2,n2)＝(u1-w(α-1)/2,v1-h(α-1)/2,u2+w(α-1)/2,v2+h(α-1)/2)。
需要说明的是，本申请中在训练图像检测模型以及图像分类模型的过程中，可以根据如下损失函数训练得到：
Loss＝Lclass+Lconfidence+Lbbox；
其中Lclass为类别损失，Lconfidence为置信度损失，Lbbox为预测框损失。
进一步的，对于置信度损失来说，其表征的是预测框中存在物体的概率，一般由下述公式计算：
Lconfidence(p,y)＝-y x log(p)-(1-y)x log(1-p)；
其中，p为预测值，y为真实标签。
另外，为了控制正负样本和难易样本的权重，本申请还可以通过预设的权重项α和γ：
Lconfidence(p,y)＝-y xαx(1-p)γx log(p)-(1-y)x(1-α)x pγx log(1-p)；
需要说明的是，本申请对于对于预测框损失来说，为了全面的表征预测框损失，本申请在传统的IoU损失上增加了两个补充项，用以表征长宽比，中心偏移的损失，如下公式：
Lbbox＝1-IoU+ρ2(b,bgt)/c2+αv；
其中IoU代表预测框与真实框的交并比，ρ(b,bgt)是预测框与真实框中心点坐标的欧式距离，c则是它们最小外包方框的对角线距离，α是权重函数，v则用来度量宽高比的一致性。
可选的，在本申请一种可能的实施方式中，在S103(将感兴趣区域图像输入至目标图像分类模型，得到待排查区域图像对应的分类结果)，包括：
利用目标图像分类模型，识别感兴趣区域图像中，是否存在有目标物体特征，目标物体特征包括大小特征、色彩特征以及轮廓特征的至少一种；
确定存在目标物体特征，生成待排查区域图像中包含障碍物的分类结果。
进一步的，本申请可以首先由清洁机器人拍摄当前所处区域的若干张图像，并利用预设的目标图像检测模型对该多张待识别图像进行特征识别得到感兴趣区域图像，进而确定清洁机器人当前所处的区域中，是否存在有目标区域物体(即障碍物)特征。
具体的，例如对于目标物体特征的大小特征来说，可以通过确定其所占感兴趣区域图像的比例来判定，例如当其所占比例为一半以上时，即可认定该区域中存在有障碍物。又或，例如对于目标物体特征的轮廓特征来说，可以通过确定其轮廓是否为标定物品来确定，例如当根据该轮廓特征确定其为宠物，人，杂物等时，即可认定该区域中存在有障碍物。
可选的，在本申请一种可能的实施方式中，在S101(获取运行指令)之前，还包括：
获取初始图像检测模型以及初始图像分类模型；
对所述初始图像检测模型进行模型压缩，得到所述目标图像检测模型；以及，对所述初始图像分类模型进行模型压缩，得到所述目标图像分类模型；
将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中。
可选的，本申请将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中，还包括：
将所述初始图像检测模型以及初始图像分类模型部署到服务器端；以及，将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中；
可选的，本申请在所述获取运行指令之后，还包括：
基于所述清洁机器人的运行状态，确定排查模式，所述排查模式对应于利用所述服务器端进行障碍物排查，或，利用所述清洁机器人进行障碍物排查。
进一步的，本申请在训练得到初始图像检测模型以及初始图像分类模型之后，为了避免出现该初始模型的数据架构过大所导致的需要占用机器人较大内存的弊端。本申请还可以将其进行模型压缩，以得到对应的数据架构较小的目标图像检测模型以及目标图像分类模型。
可选的，本申请对第一目标图像检测模型进行模型压缩的方式可以为直接对其进行压缩的方法，例如可以包括模型核的稀疏化，和模型的裁剪两个方面。其中核的稀疏化需要一些稀疏计算库的支持，其加速的效果可能受到带宽、稀疏度等很多因素的制约。另外，模型的裁剪方法则需要直接在原有的模型上剔除掉不重要的滤波参数。由于神经网络的自适应能力很强，加上数据架构较大的模型往往冗余比较多，将一些参数剔除之后，通过重训练手段可以将由剔除参数而降低的性能恢复回来，因此只需要挑选一种合适的裁剪手段以及重训练方式，就能够有效的在已有模型的基础上对其进行很大程度的压缩，是目前使用最普遍的方法。
另外一种可选的方式，也可以根据下述公式对初始图像检测模型以及初始图像分类模型的参数进行参数量化调整以达到压缩模型的目的：
Q＝R/S+Z；
其中S为量化尺度，且S＝(Rmax-Rmin)/(Qmax-Qmin)，Z为量化零点，且Z＝Qmax-Rmax/S。
更进一步的，本申请在得到数据架构较小的目标图像检测模型以及目标图像分类模型之后，可以将其部署在清洁机器人上。从而后续可以由清洁机器人利用该压缩后的目标图像检测模型以及目标图像分类模型识别摄像装置采集的多张待识别图像，进而确定对应的分类结果。
另外一种方式中，本申请还可以将初始图像检测模型以及初始图像分类模型部署到服务器端；以及，将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中。以使后续可以根据机器人的运行状态，来实时的确定由部署到服务器或部署到机器人的图像模型来对应处理。
可选的，在本申请一种可能的实施方式中，在S101(获取运行指令)之后，还包括：
利用定位装置，获取所述待排查区域的坐标位置；
将所述坐标位置输入至拍摄方案列表，确定所述待排查区域对应的拍摄方案，其中不同的拍摄方案对应于不同的拍摄高度，和/或，拍摄视角；
基于所述待排查区域对应的拍摄方案，利用摄像采集装置采集所述待排查区域图像。
进一步的，本申请在确定清洁机器人当前所处的区域标识的方式中，还可以通过定位模块来确定机器人当前所处的位置坐标，并据此判断清洁机器人当前所处的区域标识。
一种方式中，在利用定位模块确定区域标识的过程中，可以针对于不同的区域，选择不同拍摄高度，和/或，拍摄视角得拍摄方案来采集待排查区域图像。例如对于卧室区域来说，其最显著的障碍物物体特征是书籍，衣物等杂物，而通常书籍，衣物等杂物是位于较低的水平位置上。因此本申请即可以在根据预先生成的拍摄方案列表中，确定某个待排查区域为卧室区域时，选择较低的拍摄高度以及较广的拍摄视角来生成拍摄方案。
又或，对于办公区域来说，其最显著的障碍物物体特征就是人，而通常人是位于较高的水平位置上，因此本申请即可以在根据预先生成的拍摄方案列表中，确定某个待排查区域为办公区域时，选择较高的拍摄高度来生成拍摄方案。从而针对性的利用该较高的拍摄高度组成的拍摄方案进行该办公区域的清扫运行线路的确定。
进一步的，如图4所示，为本申请提出的清洁机器人的运行方法的整体流程图，本申请中，在获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；并将待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像；再将感兴趣区域图像输入至目标图像分类模型，得到待排查区域图像对应的用于反映待排查区域中是否存在障碍物的分类结果，以使基于分类结果，为清洁机器人确定运行路线。
在本申请的另外一种实施方式中，如图5所示，本申请还提供一种确定清洁机器人的运行装置。其中，该装置包括获取模块201，确定模块202，运行模块203，其中，
获取模块，被设置为获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；
生成模块，被设置为将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；
输入模块，被设置为将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；
确定模块，被设置为基于所述分类结果，为所述清洁机器人确定运行路线。
通过应用本申请的技术方案，可以将预先训练好的图像检测模型以及图像分类模型串行部署到清洁机器人中，从而首先利用图像检测模型提取当前区域图像中最有可能出现障碍物的感兴趣区域，并再将该感兴趣区域图像输入到图像分类模型中，以利用图像分类模型的输出结果确定当前区域是否存在障碍物。从而避免相关技术中清洁机器人利用传感器检测障碍物所导致的感知范围有限的弊端。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用所述目标图像检测模型中的深度可分离卷积，提取所述感兴趣区域图像对应的多个特征图像；
获取模块201，被配置为将所述多个特征图像进行双向以及短接特征融合，得到对应的多个预测图像，其中每个预测图像的尺寸各不相同；
获取模块201，被配置为根据多个所述预测图像，得到所述感兴趣区域图像。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为根据每个预测图像中存在的特征点信息，确定每个特征点为中心的检测框中对应的属性参数，所述属性参数用于反映对应检测框中障碍物的位置信息，存在障碍物的概率信息与障碍物的类别信息；
获取模块201，被配置为从多个检测框的属性参数中，选取目标属性参数对应的检测框作为所述待排查区域图像的目标检测框；
获取模块201，被配置为根据所述目标检测框，得到所述感兴趣区域图像。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用膨胀系数，将所述目标检测框放大至预设倍数，得到所述感兴趣区域图像。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用目标图像分类模型，识别所述感兴趣区域图像中，是否存在有目标物体特征，所述目标物体特征包括大小特征、色彩特征以及轮廓特征的至少一种；
获取模块201，被配置为确定存在所述目标物体特征，生成所述待排查区域图像中包含障碍物的分类结果。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为获取初始图像检测模型以及初始图像分类模型；
获取模块201，被配置为对所述初始图像检测模型进行模型压缩，得到所述目标图像检测模型；以及，对所述初始图像分类模型进行模型压缩，得到所述目标图像分类模型；
获取模块201，被配置为将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为将所述初始图像检测模型以及初始图像分类模型部署到服务器端；以及，将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中；
在所述获取运行指令之后，还包括：
获取模块201，被配置为基于所述清洁机器人的运行状态，确定排查模式，所述排查模式对应于利用所述服务器端进行障碍物排查，或，利用所述清洁机器人进行障碍物排查。
在本申请的另一种实施方式中，获取模块201，还包括：
获取模块201，被配置为利用定位装置，获取所述待排查区域的坐标位置；
获取模块201，被配置为将所述坐标位置输入至拍摄方案列表，确定所述待排查区域对应的拍摄方案，其中不同的拍摄方案对应于不同的拍摄高度，和/或，拍摄视角；
获取模块201，被配置为基于所述待排查区域对应的拍摄方案，利用摄像采集装置采集所述待排查区域图像。
图6是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，电子设备300可以包括以下一个或多个组件：处理器301和存储器302。
处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中，电子设备300还可选包括有：外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口303相连。具体地，外围设备包括：射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时，显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时，显示屏305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏305可以为一个，设置电子设备300的前面板；在另一些实施例中，显示屏305可以为至少两个，分别设置在电子设备300的不同表面或呈折叠设计；在再一些实施例中，显示屏305可以是柔性显示屏，设置在电子设备300的弯曲表面上或折叠面上。甚至，显示屏305还可以设置成非矩形的不规则图形，也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地，摄像头组件306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器301进行处理，或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路307还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备300还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于：加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以电子设备300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器411采集的重力加速度信号，控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测电子设备300的机体方向及转动角度，陀螺仪传感器412可以与加速度传感器411协同采集用户对电子设备300的3D动作。处理器301根据陀螺仪传感器412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在电子设备300的侧边框和/或触摸显示屏305的下层。当压力传感器413设置在电子设备300的侧边框时，可以检测用户对电子设备300的握持信号，由处理器301根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏305的下层时，由处理器301根据用户对触摸显示屏305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹，由处理器301根据指纹传感器414采集到的指纹识别用户的身份，或者，由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时，指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中，处理器301可以根据光学传感器415采集的环境光强度，控制触摸显示屏305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏305的显示亮度；当环境光强度较低时，调低触摸显示屏305的显示亮度。在另一个实施例中，处理器301还可以根据光学传感器415采集的环境光强度，动态调整摄像头组件306的拍摄参数。
接近传感器416，也称距离传感器，通常设置在电子设备300的前面板。接近传感器416用于采集用户与电子设备300的正面之间的距离。在一个实施例中，当接近传感器416检测到用户与电子设备300的正面之间的距离逐渐变小时，由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态；当接近传感器416检测到用户与电子设备300的正面之间的距离逐渐变大时，由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对电子设备300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由电子设备300的处理器420执行以完成上述确定清洁机器人的运行方法，该方法包括：获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；基于所述分类结果，为所述清洁机器人确定运行路线。可选地，上述指令还可以由电子设备300的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备300的处理器420执行，以完成上述确定清洁机器人的运行方法，该方法包括获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；基于所述分类结果，为所述清洁机器人确定运行路线。可选地，上述指令还可以由电子设备300的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种确定清洁机器人的运行方法，其特征在于，应用于清洁机器人，包括：
获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；
将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；
将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；
基于所述分类结果，为所述清洁机器人确定运行路线；
其中，所述将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，包括：
利用目标图像分类模型，识别所述感兴趣区域图像中，是否存在有目标物体特征，所述目标物体特征包括大小特征、色彩特征以及轮廓特征的至少一种；
确定存在所述目标物体特征，生成所述待排查区域图像中包含障碍物的分类结果。
2.如权利要求1所述的方法，其特征在于，所述将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，包括：
利用所述目标图像检测模型中的深度可分离卷积，提取所述感兴趣区域图像对应的多个特征图像；
将所述多个特征图像进行双向以及短接特征融合，得到对应的多个预测图像，其中每个预测图像的尺寸各不相同；
根据多个所述预测图像，得到所述感兴趣区域图像。
3.如权利要求2所述的方法，其特征在于，所述根据多个所述预测图像，得到所述感兴趣区域图像，包括：
根据每个预测图像中存在的特征点信息，确定每个特征点为中心的检测框中对应的属性参数，所述属性参数用于反映对应检测框中障碍物的位置信息，存在障碍物的概率信息与障碍物的类别信息；
从多个检测框的属性参数中，选取目标属性参数对应的检测框作为所述待排查区域图像的目标检测框；
根据所述目标检测框，得到所述感兴趣区域图像。
4.如权利要求3所述的方法，其特征在于，所述根据所述目标检测框，得到所述感兴趣区域图像，包括：
利用膨胀系数，将所述目标检测框放大至预设倍数，得到所述感兴趣区域图像。
5.如权利要求1所述的方法，其特征在于，在所述获取运行指令之前，还包括：
获取初始图像检测模型以及初始图像分类模型；
对所述初始图像检测模型进行模型压缩，得到所述目标图像检测模型；以及，对所述初始图像分类模型进行模型压缩，得到所述目标图像分类模型；
将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中。
6.如权利要求5所述的方法，其特征在于，所述将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中，还包括：
将所述初始图像检测模型以及初始图像分类模型部署到服务器端；以及，将所述目标图像检测模型以及所述目标图像分类模型部署到所述清洁机器人中；
在所述获取运行指令之后，还包括：
基于所述清洁机器人的运行状态，确定排查模式，所述排查模式对应于利用所述服务器端进行障碍物排查，或，利用所述清洁机器人进行障碍物排查。
7.如权利要求1所述的方法，其特征在于，在所述获取运行指令之后，还包括：
利用定位装置，获取所述待排查区域的坐标位置；
将所述坐标位置输入至拍摄方案列表，确定所述待排查区域对应的拍摄方案，其中不同的拍摄方案对应于不同的拍摄高度，和/或，拍摄视角；
基于所述待排查区域对应的拍摄方案，利用摄像采集装置采集所述待排查区域图像。
8.一种确定清洁机器人的运行装置，其特征在于，应用于清洁机器人，包括：
获取模块，被设置为获取运行指令，利用摄像采集装置采集距离清洁机器人预设范围内的待排查区域图像；
生成模块，被设置为将所述待排查区域图像输入至目标图像检测模型，得到感兴趣区域图像，所述感兴趣区域图像为所述待排查区域图像中的部分图像；
输入模块，被设置为将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，所述分类结果用于反映所述待排查区域中是否存在障碍物；
确定模块，被设置为基于所述分类结果，为所述清洁机器人确定运行路线；
其中，所述将所述感兴趣区域图像输入至目标图像分类模型，得到所述待排查区域图像对应的分类结果，包括：
利用目标图像分类模型，识别所述感兴趣区域图像中，是否存在有目标物体特征，所述目标物体特征包括大小特征、色彩特征以及轮廓特征的至少一种；
确定存在所述目标物体特征，生成所述待排查区域图像中包含障碍物的分类结果。
9.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-7中任一所述确定清洁机器人的运行方法的操作。
10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述确定清洁机器人的运行方法的操作。
CN202110827485.1A 2021-07-21 2021-07-21 确定清洁机器人的运行方法、装置、电子设备及介质 Active CN113647864B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110827485.1A CN113647864B (zh) 2021-07-21 2021-07-21 确定清洁机器人的运行方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110827485.1A CN113647864B (zh) 2021-07-21 2021-07-21 确定清洁机器人的运行方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113647864A CN113647864A (zh) 2021-11-16
CN113647864B true CN113647864B (zh) 2022-09-02

Family

ID=78478083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110827485.1A Active CN113647864B (zh) 2021-07-21 2021-07-21 确定清洁机器人的运行方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113647864B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240118696A1 (en) * 2022-10-05 2024-04-11 Avidbots Corp System and method of semantic segmentation for a cleaning device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110936370A (zh) * 2018-09-25 2020-03-31 格力电器（武汉）有限公司 清扫机器人控制方法及装置
CN110622085A (zh) * 2019-08-14 2019-12-27 珊口（深圳）智能科技有限公司 移动机器人及其控制方法和控制系统
CN112155487A (zh) * 2019-08-21 2021-01-01 追创科技(苏州)有限公司 扫地机器人、扫地机器人的控制方法及存储介质
CN111643010B (zh) * 2020-05-26 2022-03-11 深圳市杉川机器人有限公司 清洁机器人控制方法、装置、清洁机器人和存储介质

Also Published As

Publication number Publication date
CN113647864A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN110210571B (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN110070056B (zh) 图像处理方法、装置、存储介质及设备
CN110795236B (zh) 调整服务器容量的方法、装置、电子设备及介质
WO2020221012A1 (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN110659542B (zh) 监控方法及装置
CN110933468A (zh) 播放方法、装置、电子设备及介质
US20230076109A1 (en) Method and electronic device for adding virtual item
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN114391777A (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
CN111680697A (zh) 实现领域自适应的方法、装置、电子设备及介质
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112749590B (zh) 目标检测方法、装置、计算机设备和计算机可读存储介质
CN113647864B (zh) 确定清洁机器人的运行方法、装置、电子设备及介质
CN112819103A (zh) 基于图神经网络的特征识别方法、装置、存储介质及终端
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111353513B (zh) 一种目标人群筛选的方法、装置、终端和存储介质
CN114498827A (zh) 清洁机器人的运行方法、装置、电子设备及介质
CN112882094A (zh) 初至波的获取方法、装置、计算机设备及存储介质
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN111210001A (zh) 调节座椅的方法、装置、电子设备及介质
CN115209032B (zh) 基于清洁机器人的图像采集方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant