CN114391777A - 清洁机器人的障碍躲避方法、装置、电子设备及介质 - Google Patents

清洁机器人的障碍躲避方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114391777A
CN114391777A CN202210018305.XA CN202210018305A CN114391777A CN 114391777 A CN114391777 A CN 114391777A CN 202210018305 A CN202210018305 A CN 202210018305A CN 114391777 A CN114391777 A CN 114391777A
Authority
CN
China
Prior art keywords
obstacle
cleaning robot
target
target obstacle
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210018305.XA
Other languages
English (en)
Other versions
CN114391777B (zh
Inventor
覃健洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Midea Robozone Technology Co Ltd
Original Assignee
Midea Robozone Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Midea Robozone Technology Co Ltd filed Critical Midea Robozone Technology Co Ltd
Priority to CN202210018305.XA priority Critical patent/CN114391777B/zh
Publication of CN114391777A publication Critical patent/CN114391777A/zh
Priority to PCT/CN2022/142944 priority patent/WO2023125698A1/zh
Application granted granted Critical
Publication of CN114391777B publication Critical patent/CN114391777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24Floor-sweeping machines, motor-driven
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002Installations of electric equipment
    • A47L11/4008Arrangements of switches, indicators or the like
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请公开了一种清洁机器人的障碍躲避方法、装置、电子设备及介质。若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;基于所述识别结果,选取对应的目标障碍躲避路线,运行所述清洁机器人。通过应用本申请的技术方案,可以在机器人检测到前方存在障碍物时,根据是否能对该障碍物的物体类别进行识别来对应选取不同的障碍躲避路线。从而实现依据不同类型的物体轮廓进行不同绕障方法的目的。进而提高清洁机器人的避障能力,实现免碰撞的功能,也就避免了由于机器人感知范围有限所导致的无法完全避开障碍物的问题。

Description

清洁机器人的障碍躲避方法、装置、电子设备及介质
技术领域
本申请中涉及数据处理技术,尤其是一种清洁机器人的障碍躲避方法、装置、电子设备及介质。
背景技术
由于通信时代和社会的兴起,智能设备已经随着越来越多用户的使用而不断发展。
其中,随着通信时代的飞速发展,人们使用清洁机器人代替人工清洁已经成为了一种常态。进一步的,传统的清洁机器人在进行室内清扫时,通常需要避开障碍物以免出现机器人不断碰壁的情况。相关技术中,清洁机器人通常为基于激光雷达,超声波等传感器感知的方式来进行障碍物识别。
然而,上述方式会通常会存在由于感知范围有限所导致的清洁机器人无法完全避开障碍物的问题。这也导致机器人的清洁运行效率不高。
发明内容
本申请实施例提供一种清洁机器人的障碍躲避方法、装置、电子设备及介质,本申请实施例用于解决相关技术中存在的,由于机器人感知范围有限所导致的无法完全避开障碍物的问题。
其中,根据本申请实施例的一个方面,提供的一种清洁机器人的障碍躲避方法,其特征在于,应用于清洁机器人,包括:
获取运行指令后,以第一速率在目标区域启动清洁功能;
若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;
基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;
基于所述目标障碍躲避路线,运行所述清洁机器人。
可选地,在基于本申请上述方法的另一个实施例中,所述基于所述识别结果,选取对应的目标障碍躲避路线,包括:
若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,所述第一障碍躲避路线为用于指示所述清洁机器人在不更改当前前进方向的情况下,绕开所述目标障碍物的路线;或,
若确定不能够识别所述目标障碍物对应的物体类别,选取第二障碍躲避路线,所述第二障碍躲避路线为用于指示所述清洁机器人以绕开所述目标障碍物的情况下,以其他前进方向运行的路线。
可选地,在基于本申请上述方法的另一个实施例中,所述若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,包括:
确定所述目标障碍物对应的物体类别,并基于预存的障碍物数据集合,得到所述物体类别对应的轮廓参数以及尺寸参数;
基于所述轮廓参数以及尺寸参数,计算得到所述目标障碍物的外切图像;
基于所述外切图像以及purePuresuit算法,计算生成所述第一障碍躲避路线。
可选地,在基于本申请上述方法的另一个实施例中,在所述计算生成所述第一障碍躲避路线之后,还包括:
选取所述第一障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人绕开所述目标障碍物且朝向至所述当前前进方向前进时,确定所述清洁机器人的障碍躲避完成。
可选地,在基于本申请上述方法的另一个实施例中,所述若确定不能够识别所述目标障碍物对应的物体类别,选取第二障碍躲避路线,包括:
若确定不能够识别所述目标障碍物对应的物体类别,获取所述目标障碍物与所述清洁机器人的平行角度差值;
基于所述平行角度差值,确定用于旋转所述清洁机器人前进方向的旋转角度,并基于所述旋转角度,计算生成所述第二障碍躲避路线。
可选地,在基于本申请上述方法的另一个实施例中,在所述计算生成所述第二障碍躲避路线之后,还包括:
选取所述第二障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人朝向所述其他前进方向前进并且距离所述目标障碍物超过第二距离时,确定所述清洁机器人的障碍躲避完成。
可选地,在基于本申请上述方法的另一个实施例中,在所述以第一速率在目标区域启动清洁功能之后,还包括:
若检测到当前前进方向的第二距离处存在有所述目标障碍物时,将所述第一速率切换为第二速率,其中,所述第二速率低于所述第一速率,所述第二距离大于所述第一距离;
检测所述目标障碍物是否位于所述当前前进方向的第一距离处。
可选地,在基于本申请上述方法的另一个实施例中,在所述以第一速率在目标区域启动清洁功能之前,还包括:
获取所述目标区域的初始栅格地图,机器姿态信息,样本障碍物信息,其中所述样本障碍物信息包括样本障碍物的参数以及所述样本障碍物对应的物体类别;
通过Bresenham算法,将各个样本障碍物投影到所述初始栅格地图上,生成语义地图;
所述获取运行指令后,以第一速率在目标区域启动清洁功能,包括:
当获取到所述运行指令后,基于所述语义地图以所述第一速率在所述目标区域启动清洁功能。
可选地,在基于本申请上述方法的另一个实施例中,所述基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果,包括:
利用所述摄像装置,获取所述目标障碍物图像;
利用图像检测分类模型,提取所述目标障碍物图像的物体特征,所述物体特征包括大小特征、色彩特征以及轮廓特征的至少一种;
确定存在所述物体特征,确定所述目标障碍物对应的物体类别的识别结果。
可选地,在基于本申请上述方法的另一个实施例中,在所述利用所述摄像装置,获取所述目标障碍物图像之前,还包括:
获取至少两个的样本图像,其中,所述样本图像中包括至少一个障碍物体特征;
基于所述障碍物的物体类别,对各个所述样本图像标注对应的类别标识;
利用所述标注有类别标识的样本图像,以及所述样本图像中包括的障碍物体特征,对预设的图像语义分割模型进行训练,得到满足预设条件的所述图像检测分类模型,所述图像检测分类模型用于确定所述目标障碍物对应的物体类别。
根据本申请实施例的另一个方面,提供的一种清洁机器人的障碍躲避装置,应用于清洁机器人,包括:
获取模块,被设置为获取运行指令后,以第一速率在目标区域启动清洁功能;
检测模块,被设置为若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;
选取模块,被设置为基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;
运行模块,被设置为基于所述目标障碍躲避路线,运行所述清洁机器人。
根据本申请实施例的又一个方面,提供的一种电子设备,包括:
存储器,用于存储可执行指令;以及
显示器,用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述清洁机器人的障碍躲避方法的操作。
根据本申请实施例的还一个方面,提供的一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述任一所述清洁机器人的障碍躲避方法的操作。
本申请中,在获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果;基于识别结果,选取对应的目标障碍躲避路线,目标障碍躲避路线对应于更改当前前进方向以及不更改当前前进方向的其中一种;基于目标障碍躲避路线,运行清洁机器人。通过应用本申请的技术方案,可以在机器人检测到前方存在障碍物时,根据是否能对该障碍物的物体类别进行识别来对应选取不同的障碍躲避路线。从而实现依据不同类型的物体轮廓进行不同绕障方法的目的。进而提高清洁机器人的避障能力,实现免碰撞的功能,也就避免了由于机器人感知范围有限所导致的无法完全避开障碍物的问题。
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请提出的清洁机器人的运行系统架构示意图;
图2为本申请提出的一种清洁机器人的障碍躲避方法的示意图;
图3为本申请提出的一种清洁机器人的生成障碍躲避路线的示意图;
图4为本申请提出的清洁机器人的障碍躲避的场景显示图;
图5为本申请提出的生成语义地图的流程架构图;
图6为本申请提出的清洁机器人运行的流程示意图;
图7为本申请提出的一种清洁机器人的障碍躲避的电子装置结构示意图;
图8为本申请提出的一种清洁机器人的障碍躲避的电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
需要说明的是,本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
下面结合图1-图6来描述根据本申请示例性实施方式的用于进行清洁机器人的障碍躲避方法。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
图1示出了可以应用本申请实施例的清洁机器人的障碍躲避方法或清洁机器人的障碍躲避的示例性系统架构100的示意图。
如图1所示,系统架构100可以包括清洁机器人101、102、103中的一种或多种,网络104和服务器105。网络104用以在清洁机器人101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
应该理解,图1中的清洁机器人、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的清洁机器人、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用清洁机器人101、102、103通过网络104与服务器105交互,以接收或发送消息,采集图像等。清洁机器人101、102、103可以包括具有显示屏,摄像采集装置的各种电子设备。
本申请中的清洁机器人101、102、103可以为提供各种服务的清洁机器人。例如用户通过清洁机器人103(也可以是清洁机器人101或102)实现:获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;基于所述目标障碍躲避路线,运行所述清洁机器人。
在此需要说明的是,本申请实施例所提供的清洁机器人的障碍躲避方法可以由清洁机器人101、102、103中的一个或多个,和/或,服务器105执行,相应地,本申请实施例所提供的清洁机器人的障碍躲避装置一般设置于对应清洁机器人中,和/或,服务器105中,但本申请不限于此。
进一步的,本申请还提出一种清洁机器人的障碍躲避方法、装置、目标终端及介质。
图2示意性地示出了根据本申请实施方式的一种清洁机器人的障碍躲避方法的流程示意图。如图2所示,该方法应用于清洁机器人,包括:
S101,获取运行指令后,以第一速率在目标区域启动清洁功能。
其中,清洁机器人是智能家用电器的一种,能凭借一定的人工智能,自动在区域内完成地板清理工作。一般采用刷扫和真空方式,将地面杂物先吸纳进入自身的垃圾收纳盒,从而完成地面清理的功能。
需要说明的是,本申请中的运行指令可以是由用户生成的,也可以为根据预设规则生成的。例如每隔一段时间即可指示机器人进行用于清扫室内的运行指令等等。
另外,需要说明的是,本申请不对目标区域进行限定。例如可以对应于卧室,也可以对应于厨房,还可以对应于办公区域等等。还有,本申请也不对第一速率进行限定,例如可以为一般运行速率,也可以为快速运行速率。
S102,若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果。
相关技术中,传统的清洁机器人在进行室内清扫时,通常需要避开障碍物以免出现机器人不断碰壁的情况。相关技术中,清洁机器人通常为基于激光雷达,超声波等传感器感知的方式来进行障碍物识别。进一步的,例如对于激光雷达,超声波等传感器的扫地机障碍物检测方案经常存在不能准确躲避障碍物的情况。
针对上述问题,本申请提出一种在检测到前方存在障碍物的情况下,可以首先对该障碍物进行一个用于确定其物体类别的识别事件。以由此确定该障碍物的物体类别,可以理解的,后续即可以根据该物体类别的识别结果,选择指示清洁机器人实施不同的障碍躲避路线。
一种方式中,本申请在得到用于确定所述目标障碍物对应的物体类别的识别结果的过程中,可以通过于设置在清洁机器人上的摄像装置来对前方的障碍物进行拍摄图像,以由此得到目标障碍物图像;并在后续利用预设的图像检测分类模型,提取该目标障碍物图像的对应于大小特征、色彩特征以及轮廓特征的至少一种物体特征,以使后续根据该物体特征,确定目标障碍物对应的物体类别。
其中,本申请不对图像检测分类模型做具体限定。例如可以为卷积神经网络(Convolutional Neural Networks,CNN)。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习的代表算法之一。卷积神经网络具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类。得益于CNN(卷积神经网络)对图像的强大特征表征能力,其在图像分类、目标检测、语义分割等领域都取得了令人瞩目的效果。
进一步的,本申请可以使用图像检测分类模型来检测机器人携带的摄像装置所采集到的多张目标障碍物图像中的特征信息,进而对该特征信息进行特征识别,确定目标障碍物图像中对应的物体类别。具体的,需要将该待识别图像输入至预设的卷积神经网络模型中,并将卷积神经网络模型最后一层全连接层(FC,fully connected layer)的输出作为对该待识别图像对应的特征数据的识别结果。
其中,本申请不对目标障碍物对应的物体类别进行具体限定,例如可以为动物粪便,袜子,鞋,电线,凳子,床,垃圾桶,桌子,马桶等等。
S103,基于识别结果,选取对应的目标障碍躲避路线,目标障碍躲避路线对应于更改当前前进方向以及不更改当前前进方向的其中一种。
可以理解的,基于该识别结果来说,可以分为两种情况,即能够识别出目标障碍物对应的物体类别的第一识别结果,以及不能够识别出目标障碍物对应的物体类别的第二识别结果。针对上述两种情况,本申请实施方式中可以采取不同的目标障碍躲避方案。具体为:
第一种情况:
若清洁机器人确定能够识别目标障碍物对应的物体类别,则可以选取用于指示清洁机器人在不更改当前前进方向的情况下,绕开目标障碍物的路线的第一障碍躲避路线,也即机器人在原有前进路线的情况下,选择一条可以绕开障碍物的路线。
进一步的,本申请实施例可以首先依据障碍物物体的类别与其对应的轮廓形状以及大小参数并基于预存的障碍物数据集合,计算得到所述目标障碍物的外切图像,并基于外切图像以及purePuresuit算法可以分成以下几类:
外切圆:如图3所示,如果多边形接近圆且障碍物是凳子腿,垃圾桶,桌子腿,马桶障碍物,则求外切圆,然后以直线距离为5CM确定轨迹点。
外切矩形:如果多边形接近矩形且障碍物为袜子,鞋,电线,桌子。则求外切矩形,然后以直线距离为5CM确定轨迹点。
包络体:如果多边形不是圆,且障碍物为动物粪便则求包络体,然后以直线距离为5CM确定轨迹点。
可以理解的,在生成轨迹点之后,即可以根据该轨迹点计算生成第一障碍躲避路线。
第二种情况:
若确定不能够识别目标障碍物对应的物体类别,则可以选取用于指示清洁机器人以绕开目标障碍物的情况下,以其他前进方向运行的路线的第二障碍躲避路线,也即机器人选择一条可以完全躲避障碍物的路线(例如原先前进方向为正北,第二障碍躲避路线的前进方向为正西)。
进一步的,由于在家居复杂的环境下,有许多未能识别物体分类的障碍物,本申请可以采用实时躲避的方法。具体来说,当机器人行进过程中,需要首先触发减速,以实现机器人进行减速,并当检测到距离障碍物一定距离后,机器人从虚拟碰撞接口获得角度信息,机器参考返回的角度,按以下算法计算出机器与障碍物平行的角度,机器转到与障碍物平行,然后,进行转弧,沿着障碍物进行行走。当虚拟碰撞又发生时,机器再按计算的角度旋转,然后转弧,如此循环直到机器旋转360度或回到原点,机器退出实时避障功能。
机器旋转角度的设计:机器正前方为0度,往顺时针方向为:0~-180度,逆时针为:0~180度。一种方式中,第二障碍躲避路线可以如下:
a)当障碍物角度(Obs_Angle):-60度<Obs_Angle<-30度时:机器旋转角度(Rotate_Angle)Rotate_Angle=-Obs_Angle;
b)当障碍物角度(Obs_Angle):-30度<Obs_Angle<30度时:机器旋转角度(Rotate_Angle)Rotate_Angle=90-Obs_Angle;
c)当障碍物角度(Obs_Angle):30度<Obs_Angle<60度时:机器旋转角度(Rotate_Angle)Rotate_Angle=180-Obs_Angle。
S103,基于目标障碍躲避路线,运行清洁机器人。
进一步的,本申请在确定目标障碍躲避路线后,即可以驱动机器人在该目标障碍躲避路线下运行,直至清洁机器人将目标区域清扫完毕。
本申请中,在获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果;基于识别结果,选取对应的目标障碍躲避路线,目标障碍躲避路线对应于更改当前前进方向以及不更改当前前进方向的其中一种;基于目标障碍躲避路线,运行清洁机器人。通过应用本申请的技术方案,可以在机器人检测到前方存在障碍物时,根据是否能对该障碍物的物体类别进行识别来对应选取不同的障碍躲避路线。从而实现依据不同类型的物体轮廓进行不同绕障方法的目的。进而提高清洁机器人的避障能力,实现免碰撞的功能,也就避免了由于机器人感知范围有限所导致的无法完全避开障碍物的问题。
可选的,在本申请一种可能的实施方式中,在S103(基于识别结果,选取对应的目标障碍躲避路线),还包括:
若确定能够识别目标障碍物对应的物体类别,选取第一障碍躲避路线,第一障碍躲避路线为用于指示清洁机器人在不更改当前前进方向的情况下,绕开目标障碍物的路线;或,
若确定不能够识别目标障碍物对应的物体类别,选取第二障碍躲避路线,第二障碍躲避路线为用于指示清洁机器人以绕开目标障碍物的情况下,以其他前进方向运行的路线。
可选的一种方式中,本申请在确定能够识别目标障碍物对应的物体类别,选取第一障碍躲避路线,包括:
确定目标障碍物对应的物体类别,并基于预存的障碍物数据集合,得到物体类别对应的轮廓参数以及尺寸参数;
基于轮廓参数以及尺寸参数,计算得到目标障碍物的外切图像;
基于外切图像以及purePuresuit算法,计算生成第一障碍躲避路线。
可选的一种方式中,本申请在计算生成所述第一障碍躲避路线之后,还包括:
选取第一障碍躲避路线并运行清洁机器人;
当检测到清洁机器人绕开目标障碍物且朝向至当前前进方向前进时,确定清洁机器人的障碍躲避完成。
一种方式中,清洁机器人若能够确定障碍物对应的物体类别,那么则可以根据预存的障碍物数据集合,确定该障碍物的轮廓形状以及大小。并根据该轮廓形状以及大小,生成一条躲避该障碍物的路线。
可以理解的,例如对于垃圾桶障碍物来说,其对应的轮廓形状和大小参数大都为半径0.5米内的圆柱形。因此针对该半径0.5米内的圆柱形来说,本申请实施例中即可以基于外切图像以及purePuresuit算法,得到一个可以绕开该半径0.5米内的圆柱形的轨迹点,并在后续根据该轨迹点生成一个第一障碍躲避路线。从而保证机器人在原有前进路线(例如原有前进路线为正北,第一障碍躲避路线在绕开该垃圾桶后,前进方向仍然为正北)的情况下,选择一条可以绕开障碍物的路线。
另一种方式中,例如对于方桌障碍物来说,其对应的轮廓形状和大小参数大都为长宽在1.5米内的矩形。因此针对该长宽在1.5米内的矩形来说,本申请实施例中即可以基于外切图像以及purePuresuit算法,得到一个可以绕开该长宽在1.5米内的矩形的轨迹点,并在后续根据该轨迹点生成一个第一障碍躲避路线。从而保证机器人在原有前进路线(例如原有前进路线为正西,第一障碍躲避路线在绕开该方桌后,前进方向仍然为正西)的情况下,选择一条可以绕开障碍物的路线。
可选的一种方式中,本申请在确定不能够识别目标障碍物对应的物体类别,选取第二障碍躲避路线,包括:
若确定不能够识别目标障碍物对应的物体类别,获取目标障碍物与清洁机器人的平行角度差值;
基于平行角度差值,确定用于旋转清洁机器人前进方向的旋转角度,并基于旋转角度,计算生成第二障碍躲避路线。
可选的一种方式中,本申请在计算生成所述第二障碍躲避路线之后,还包括:
选取第二障碍躲避路线并运行清洁机器人;
当检测到清洁机器人朝向其他前进方向前进并且距离目标障碍物超过第二距离时,确定清洁机器人的障碍躲避完成。
进一步的,例如如图4所示,当前方的障碍物组合过多或过大或预先没有注入相关参数的情况下,将会导致清洁机器人无法识别该障碍物对应的物体类别。那么在此情况下,为了保证清洁机器人的正常运行,本申请实施例中即可以选择在确定不能够识别目标障碍物对应的物体类别后,获取目标障碍物与清洁机器人的平行角度差值,并基于该平行角度差值,确定用于旋转清洁机器人前进方向的旋转角度,并基于旋转角度,得到第二障碍躲避路线。
可以理解的,该旋转角度即可以确保清洁机器人更改其前进方向(例如旋转角度可以为190度,则可以使得请求人进行掉头),从而保证机器人完全绕开目标障碍物,以其他前进方向的路线继续运行。
一种方式中,旋转角度可以由目标障碍物与清洁机器人的平行角度差值来确定,即二者的平行角度差值越大,则可以生成旋转清洁机器人前进方向的旋转角度越小的指令。同样的,当二者的平行角度差值越小,则可以生成旋转清洁机器人前进方向的旋转角度越大的指令。
一种方式中,可以根据当障碍物角度(Obs_Angle):-60度<Obs_Angle<-30度时:机器旋转角度(Rotate_Angle)Rotate_Angle=-Obs_Angle。或当障碍物角度(Obs_Angle):-30度<Obs_Angle<30度时:机器旋转角度(Rotate_Angle)Rotate_Angle=90-Obs_Angle;c)。又或当障碍物角度(Obs_Angle):30度<Obs_Angle<60度时:机器旋转角度(Rotate_Angle)Rotate_Angle=180-Obs_Angle来运行。
可选的,在本申请一种可能的实施方式中,在S101(以第一速率在目标区域启动清洁功能)之后,还包括:
若检测到当前前进方向的第二距离处存在有目标障碍物时,将第一速率切换为第二速率,其中,第二速率低于所述第一速率,第二距离大于第一距离;
检测目标障碍物是否位于当前前进方向的第一距离处。
例如以第一速为30cm/s来说,当清洁机器人以速度30cm/s运行时,当靠近障碍物时,清洁机器人即会减速到15cm/s(即第二速率)。可以理解的,上述减速方式可以避免机器人的用力碰撞障碍物。且更有利于机器人刹停,动作更流畅。还可以有利于利用摄像装置采集到更准确的图像数据(后续用于确定障碍物的物体类别)。
一种方式中,减速接口的设计如下,当障碍物落在减速距离阈值(SlowdownDistance),机身宽(Robot withd)构成的区域(即第二距离)内,则可以触发减速。
可选的,在本申请一种可能的实施方式中,在S101(以第一速率在目标区域启动清洁功能)之前,还包括:
获取目标区域的初始栅格地图,机器姿态信息,样本障碍物信息,其述样本障碍物信息包括样本障碍物参数以及样本障碍物对应的物体类别;
通过Bresenham算法,将各个样本障碍物投影到初始栅格地图上,生成语义地图;
当获取到运行指令后,基于语义地图在目标区域启动清洁功能。
进一步的,如图5所示,本申请中提出的清洁机器人的障碍躲避方法的清洁机器人包含LDS_SLAM,Recognition,Perception3D,Semantic_Map,Planer五个节点,其中:
LDS_SLAM节点负责构建定位与建图。LDS_SLAM节点从IMU,Odometry,Lidar传感器获取数据,创建地图以及输出机器的位姿。解决“我在那里?”的问题。
其中,Recognition节点通过AI技术实现物体识别。Recognition节点主要实现动物粪便,袜子,鞋,电线,凳子,床,垃圾桶,桌子,马桶等九类物体的识别。解决“它是什么?”的问题。
其中,Perception3D节点负责输出障碍物的深度信息。解决“它在哪里?”
其中,Semntic_map节点从Recognition与Perception3D中获到障碍物的空间位姿以及障碍物的类型,组合LDS_SLAM的Pose,通过Bresenham算法,将障碍物投影到占用栅格地图上,并给对应栅格打上物体类型的信息,生成语义地图。
其中,Planner节点主要依据语义地图的信息来实现智能避障。
进一步的,本申请中的语义地图生成是planner的其中一个功能。具体来说,需要首先启动一个线程来接受全局的栅格地图,机器位姿,障碍物bounding box,障碍物类别以及障碍的3D点云信息。接着对满足条件的点云(如高度h,满足groud<h<robot_hight范围内的点)与Recognition返回障碍物的boundingbox进行计算,得到每个点的类别,然后通过Bresennham算法,计算每个点落到栅格的位置及概率,并在对应的栅格上标记上障碍物的类别。至此就获得带有语义信息的占用栅格地图(即语义地图),并将其部署到清洁机器人上,以实现提供避障算法使用。
可选的,在本申请一种可能的实施方式中,在S102(基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果)中,可以包括以下步骤:
利用摄像装置,获取目标障碍物图像;
利用图像检测分类模型,提取目标障碍物图像的物体特征,物体特征包括大小特征、色彩特征以及轮廓特征的至少一种;
确定存在物体特征,确定目标障碍物对应的物体类别的识别结果。
可选的,本申请在利用所述摄像装置,获取目标障碍物图像之前,还包括:
获取至少两个的样本图像,其中,样本图像中包括至少一个障碍物体特征;
基于障碍物的物体类别,对各个样本图像标注对应的类别标识;
利用标注有类别标识的样本图像,以及样本图像中包括的障碍物体特征,对预设的图像语义分割模型进行训练,得到满足预设条件的图像检测分类模型,图像检测分类模型用于确定目标障碍物对应的物体类别。
进一步的,本申请在利用预设的图像检测分类模型识别目标障碍物图像之前,首先需要训练得到该图像检测分类模型。具体而言,需要首先获取一定数量的,包括多个障碍物体特征的样本图像。并利用该多个样本图像对基础的空白图像语义分割模型进行训练,进而得到满足预设条件的第一图像检测分类模型。
需要说明的是,本申请需要障碍物的物体类别,对各个样本图像标注对应的类别标识。例如当样本图像中存在有垃圾桶的障碍物时,需要对其样本图像标注有障碍物为垃圾桶的类别标识。又或当样本图像中出现床架的障碍物时,需要对其样本图像标注有障碍物为床架的类别标识。
本申请可以通过预设的图像语义分割模型,来识别样本图像所包括的至少一个障碍物体特征(例如可以为大小特征,轮廓特征,色彩特征等等)。更进一步而言,图像语义分割模型还可以对样本图像中的各个障碍物体特征进行分类,并且将属于同一类别的样本特征分为同一类型的物体,这样,样本图像进行语义分割之后所得到的多个样本特征可以为多个不同类型所组成的样本特征。
需要说明的是,神经网络图像分类模型对样本图像进行语义分割处理时,对样本图像中的像素点分类越准确,则识别样本图像中的标记对象的准确率越高。其中需要说明的是,预设条件可以是自定义设定的。
例如,可以设定预设条件为:对像素点的分类准确率达到70%以上,那么,多个样本图像对图像检测分类模型进行反复训练,在神经网络图像分类模型对像素点的分类准确率达到70%以上时,则此时该图像检测分类模型可以应用在本申请实施例中,对清洁机器人中摄像装置拍摄的多张障碍物图像进行图像特征识别。
更进一步的,如图6所示,为本申请提出的清洁机器人的运行方法的整体流程图,其中包括:
本申请中,在获取运行指令后,以第一速率在目标区域启动清洁功能,并在当检测到当前前进方向第一距离处存在有目标障碍物,基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果。
进一步的,还需要基于识别结果,选取对应的目标障碍躲避路线,目标障碍躲避路线对应于更改当前前进方向以及不更述当前前进方向的其中一种;最后,则需要基于目标障碍躲避路线,运行清洁机器人。
通过应用本申请的技术方案,可以在机器人检测到前方存在障碍物时,根据是否能对该障碍物的物体类别进行识别来对应选取不同的障碍躲避路线。从而实现依据不同类型的物体轮廓进行不同绕障方法的目的。进而提高清洁机器人的避障能力,实现免碰撞的功能,也就避免了由于机器人感知范围有限所导致的无法完全避开障碍物的问题。
在本申请的另外一种实施方式中,如图5所示,本申请还提供一种清洁机器人的障碍躲避装置。其中,该装置包括获取模块201,确定模块202,运行模块203,其中,
获取模块201,被设置为获取运行指令后,以第一速率在目标区域启动清洁功能;
检测模块202,被设置为若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;
选取模块203,被设置为基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;
运行模块204,被设置为基于所述目标障碍躲避路线,运行所述清洁机器人。
本申请中,在获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在清洁机器人上的摄像装置,得到用于确定目标障碍物对应的物体类别的识别结果;基于识别结果,选取对应的目标障碍躲避路线,目标障碍躲避路线对应于更改当前前进方向以及不更改当前前进方向的其中一种;基于目标障碍躲避路线,运行清洁机器人。通过应用本申请的技术方案,可以在机器人检测到前方存在障碍物时,根据是否能对该障碍物的物体类别进行识别来对应选取不同的障碍躲避路线。从而实现依据不同类型的物体轮廓进行不同绕障方法的目的。进而提高清洁机器人的避障能力,实现免碰撞的功能,也就避免了由于机器人感知范围有限所导致的无法完全避开障碍物的问题。
在本申请的另一种实施方式中,获取模块201,被配置为:
可选地,在基于本申请上述方法的另一个实施例中,所述基于所述识别结果,选取对应的目标障碍躲避路线,包括:
若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,所述第一障碍躲避路线为用于指示所述清洁机器人在不更改当前前进方向的情况下,绕开所述目标障碍物的路线;或,
若确定不能够识别所述目标障碍物对应的物体类别,选取第二障碍躲避路线,所述第二障碍躲避路线为用于指示所述清洁机器人以绕开所述目标障碍物的情况下,以其他前进方向运行的路线。
在本申请的另一种实施方式中,获取模块201,被配置为:
所述若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,包括:
确定所述目标障碍物对应的物体类别,并基于预存的障碍物数据集合,得到所述物体类别对应的轮廓参数以及尺寸参数;
基于所述轮廓参数以及尺寸参数,计算得到所述目标障碍物的外切图像;
基于所述外切图像以及purePuresuit算法,计算生成所述第一障碍躲避路线。
在本申请的另一种实施方式中,获取模块201,被配置为:
选取所述第一障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人绕开所述目标障碍物且朝向至所述当前前进方向前进时,确定所述清洁机器人的障碍躲避完成。
在本申请的另一种实施方式中,获取模块201,被配置为:
若确定不能够识别所述目标障碍物对应的物体类别,获取所述目标障碍物与所述清洁机器人的平行角度差值;
基于所述平行角度差值,确定用于旋转所述清洁机器人前进方向的旋转角度,并基于所述旋转角度,计算生成所述第二障碍躲避路线。
可选地,在基于本申请上述方法的另一个实施例中,在所述计算生成所述第二障碍躲避路线之后,还包括:
选取所述第二障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人朝向所述其他前进方向前进并且距离所述目标障碍物超过第二距离时,确定所述清洁机器人的障碍躲避完成。
在本申请的另一种实施方式中,获取模块201,被配置为:
若检测到当前前进方向的第二距离处存在有所述目标障碍物时,将所述第一速率切换为第二速率,其中,所述第二速率低于所述第一速率,所述第二距离大于所述第一距离;
检测所述目标障碍物是否位于所述当前前进方向的第一距离处。
在本申请的另一种实施方式中,获取模块201,被配置为:
获取所述目标区域的初始栅格地图,机器姿态信息,样本障碍物信息,其中所述样本障碍物信息包括样本障碍物的参数以及所述样本障碍物对应的物体类别;
通过Bresenham算法,将各个样本障碍物投影到所述初始栅格地图上,生成语义地图;
所述获取运行指令后,以第一速率在目标区域启动清洁功能,包括:
当获取到所述运行指令后,基于所述语义地图以所述第一速率在所述目标区域启动清洁功能。
在本申请的另一种实施方式中,获取模块201,被配置为:
利用所述摄像装置,获取所述目标障碍物图像;
利用图像检测分类模型,提取所述目标障碍物图像的物体特征,所述物体特征包括大小特征、色彩特征以及轮廓特征的至少一种;
确定存在所述物体特征,确定所述目标障碍物对应的物体类别的识别结果。
可选地,在基于本申请上述方法的另一个实施例中,在所述利用所述摄像装置,获取所述目标障碍物图像之前,还包括:
获取至少两个的样本图像,其中,所述样本图像中包括至少一个障碍物体特征;
基于所述障碍物的物体类别,对各个所述样本图像标注对应的类别标识;
利用所述标注有类别标识的样本图像,以及所述样本图像中包括的障碍物体特征,对预设的图像语义分割模型进行训练,得到满足预设条件的所述图像检测分类模型,所述图像检测分类模型用于确定所述目标障碍物对应的物体类别。
图6是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如,电子设备300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备300可以包括以下一个或多个组件:处理器301和存储器302。
处理器301可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器301可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器301还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器302可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器301所执行以实现本申请中方法实施例提供的互动特效标定方法。
在一些实施例中,电子设备300还可选包括有:外围设备接口303和至少一个外围设备。处理器301、存储器302和外围设备接口303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口303相连。具体地,外围设备包括:射频电路304、触摸显示屏305、摄像头306、音频电路307、定位组件308和电源309中的至少一种。
外围设备接口303可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器301和存储器302。在一些实施例中,处理器301、存储器302和外围设备接口303被集成在同一芯片或电路板上;在一些其他实施例中,处理器301、存储器302和外围设备接口303中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路304用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路304将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路304包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路304还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏305用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏305是触摸显示屏时,显示屏305还具有采集在显示屏305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器301进行处理。此时,显示屏305还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏305可以为一个,设置电子设备300的前面板;在另一些实施例中,显示屏305可以为至少两个,分别设置在电子设备300的不同表面或呈折叠设计;在再一些实施例中,显示屏305可以是柔性显示屏,设置在电子设备300的弯曲表面上或折叠面上。甚至,显示屏305还可以设置成非矩形的不规则图形,也即异形屏。显示屏305可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件306用于采集图像或视频。可选地,摄像头组件306包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件306还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器301进行处理,或者输入至射频电路304以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器301或射频电路304的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路307还可以包括耳机插孔。
定位组件308用于定位电子设备300的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件308可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源309用于为电子设备300中的各个组件进行供电。电源309可以是交流电、直流电、一次性电池或可充电电池。当电源309包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,电子设备300还包括有一个或多个传感器410。该一个或多个传感器410包括但不限于:加速度传感器411、陀螺仪传感器412、压力传感器413、指纹传感器414、光学传感器415以及接近传感器416。
加速度传感器411可以检测以电子设备300建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器411可以用于检测重力加速度在三个坐标轴上的分量。处理器301可以根据加速度传感器411采集的重力加速度信号,控制触摸显示屏305以横向视图或纵向视图进行用户界面的显示。加速度传感器411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器412可以检测电子设备300的机体方向及转动角度,陀螺仪传感器412可以与加速度传感器411协同采集用户对电子设备300的3D动作。处理器301根据陀螺仪传感器412采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器413可以设置在电子设备300的侧边框和/或触摸显示屏305的下层。当压力传感器413设置在电子设备300的侧边框时,可以检测用户对电子设备300的握持信号,由处理器301根据压力传感器413采集的握持信号进行左右手识别或快捷操作。当压力传感器413设置在触摸显示屏305的下层时,由处理器301根据用户对触摸显示屏305的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器414用于采集用户的指纹,由处理器301根据指纹传感器414采集到的指纹识别用户的身份,或者,由指纹传感器414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器301授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器414可以被设置电子设备300的正面、背面或侧面。当电子设备300上设置有物理按键或厂商Logo时,指纹传感器414可以与物理按键或厂商Logo集成在一起。
光学传感器415用于采集环境光强度。在一个实施例中,处理器301可以根据光学传感器415采集的环境光强度,控制触摸显示屏305的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏305的显示亮度;当环境光强度较低时,调低触摸显示屏305的显示亮度。在另一个实施例中,处理器301还可以根据光学传感器415采集的环境光强度,动态调整摄像头组件306的拍摄参数。
接近传感器416,也称距离传感器,通常设置在电子设备300的前面板。接近传感器416用于采集用户与电子设备300的正面之间的距离。在一个实施例中,当接近传感器416检测到用户与电子设备300的正面之间的距离逐渐变小时,由处理器301控制触摸显示屏305从亮屏状态切换为息屏状态;当接近传感器416检测到用户与电子设备300的正面之间的距离逐渐变大时,由处理器301控制触摸显示屏305从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对电子设备300的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器304,上述指令可由电子设备300的处理器420执行以完成上述清洁机器人的障碍躲避方法,该方法包括:获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;基于所述目标障碍躲避路线,运行所述清洁机器人。可选地,上述指令还可以由电子设备300的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序/计算机程序产品,包括一条或多条指令,该一条或多条指令可以由电子设备300的处理器420执行,以完成上述清洁机器人的障碍躲避方法,该方法包括:获取运行指令后,以第一速率在目标区域启动清洁功能;若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;基于所述目标障碍躲避路线,运行所述清洁机器人。可选地,上述指令还可以由电子设备300的处理器420执行以完成上述示例性实施例中所涉及的其他步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (13)

1.一种清洁机器人的障碍躲避方法,其特征在于,应用于清洁机器人,包括:
获取运行指令后,以第一速率在目标区域启动清洁功能;
若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;
基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;
基于所述目标障碍躲避路线,运行所述清洁机器人。
2.如权利要求1所述的方法,其特征在于,所述基于所述识别结果,选取对应的目标障碍躲避路线,包括:
若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,所述第一障碍躲避路线为用于指示所述清洁机器人在不更改当前前进方向的情况下,绕开所述目标障碍物的路线;或,
若确定不能够识别所述目标障碍物对应的物体类别,选取第二障碍躲避路线,所述第二障碍躲避路线为用于指示所述清洁机器人以绕开所述目标障碍物的情况下,以其他前进方向运行的路线。
3.如权利要求2所述的方法,其特征在于,所述若确定能够识别所述目标障碍物对应的物体类别,选取第一障碍躲避路线,包括:
确定所述目标障碍物对应的物体类别,并基于预存的障碍物数据集合,得到所述物体类别对应的轮廓参数以及尺寸参数;
基于所述轮廓参数以及尺寸参数,计算得到所述目标障碍物的外切图像;
基于所述外切图像以及purePuresuit算法,计算生成所述第一障碍躲避路线。
4.如权利要求3所述的方法,其特征在于,在所述计算生成所述第一障碍躲避路线之后,还包括:
选取所述第一障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人绕开所述目标障碍物且朝向至所述当前前进方向前进时,确定所述清洁机器人的障碍躲避完成。
5.如权利要求2所述的方法,其特征在于,所述若确定不能够识别所述目标障碍物对应的物体类别,选取第二障碍躲避路线,包括:
若确定不能够识别所述目标障碍物对应的物体类别,获取所述目标障碍物与所述清洁机器人的平行角度差值;
基于所述平行角度差值,确定用于旋转所述清洁机器人前进方向的旋转角度,并基于所述旋转角度,计算生成所述第二障碍躲避路线。
6.如权利要求5所述的方法,其特征在于,在所述计算生成所述第二障碍躲避路线之后,还包括:
选取所述第二障碍躲避路线并运行所述清洁机器人;
当检测到所述清洁机器人朝向所述其他前进方向前进并且距离所述目标障碍物超过第二距离时,确定所述清洁机器人的障碍躲避完成。
7.如权利要求1所述的方法,其特征在于,在所述以第一速率在目标区域启动清洁功能之后,还包括:
若检测到当前前进方向的第二距离处存在有所述目标障碍物时,将所述第一速率切换为第二速率,其中,所述第二速率低于所述第一速率,所述第二距离大于所述第一距离;
检测所述目标障碍物是否位于所述当前前进方向的第一距离处。
8.如权利要求1所述的方法,其特征在于,在所述以第一速率在目标区域启动清洁功能之前,还包括:
获取所述目标区域的初始栅格地图,机器姿态信息,样本障碍物信息,其中所述样本障碍物信息包括样本障碍物的参数以及所述样本障碍物对应的物体类别;
通过Bresenham算法,将各个样本障碍物投影到所述初始栅格地图上,生成语义地图;
所述获取运行指令后,以第一速率在目标区域启动清洁功能,包括:
当获取到所述运行指令后,基于所述语义地图以所述第一速率在所述目标区域启动清洁功能。
9.如权利要求1所述的方法,其特征在于,所述基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果,包括:
利用所述摄像装置,获取所述目标障碍物图像;
利用图像检测分类模型,提取所述目标障碍物图像的物体特征,所述物体特征包括大小特征、色彩特征以及轮廓特征的至少一种;
确定存在所述物体特征,确定所述目标障碍物对应的物体类别的识别结果。
10.如权利要求9所述的方法,其特征在于,在所述利用所述摄像装置,获取所述目标障碍物图像之前,还包括:
获取至少两个的样本图像,其中,所述样本图像中包括至少一个障碍物体特征;
基于所述障碍物的物体类别,对各个所述样本图像标注对应的类别标识;
利用所述标注有类别标识的样本图像,以及所述样本图像中包括的障碍物体特征,对预设的图像语义分割模型进行训练,得到满足预设条件的所述图像检测分类模型,所述图像检测分类模型用于确定所述目标障碍物对应的物体类别。
11.一种清洁机器人的障碍躲避装置,其特征在于,应用于清洁机器人,包括:
获取模块,被设置为获取运行指令后,以第一速率在目标区域启动清洁功能;
检测模块,被设置为若检测到当前前进方向第一距离处存在有目标障碍物,基于设置在所述清洁机器人上的摄像装置,得到用于确定所述目标障碍物对应的物体类别的识别结果;
选取模块,被设置为基于所述识别结果,选取对应的目标障碍躲避路线,所述目标障碍躲避路线对应于更改所述当前前进方向以及不更改所述当前前进方向的其中一种;
运行模块,被设置为基于所述目标障碍躲避路线,运行所述清洁机器人。
12.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;以及,
处理器,用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-10中任一所述清洁机器人的障碍躲避方法的操作。
13.一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1-10中任一所述清洁机器人的障碍躲避方法的操作。
CN202210018305.XA 2021-12-28 2022-01-07 清洁机器人的障碍躲避方法、装置、电子设备及介质 Active CN114391777B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210018305.XA CN114391777B (zh) 2022-01-07 2022-01-07 清洁机器人的障碍躲避方法、装置、电子设备及介质
PCT/CN2022/142944 WO2023125698A1 (zh) 2021-12-28 2022-12-28 清洁设备及其控制方法和控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210018305.XA CN114391777B (zh) 2022-01-07 2022-01-07 清洁机器人的障碍躲避方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114391777A true CN114391777A (zh) 2022-04-26
CN114391777B CN114391777B (zh) 2023-08-04

Family

ID=81228612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210018305.XA Active CN114391777B (zh) 2021-12-28 2022-01-07 清洁机器人的障碍躲避方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114391777B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114869175A (zh) * 2022-05-26 2022-08-09 美智纵横科技有限责任公司 清洁避障方法、装置、电子设备及存储介质
CN115185285A (zh) * 2022-09-06 2022-10-14 深圳市信诚创新技术有限公司 吸尘机器人的自动避障方法、装置、设备及存储介质
CN115376109A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质
WO2023125698A1 (zh) * 2021-12-28 2023-07-06 美智纵横科技有限责任公司 清洁设备及其控制方法和控制装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120046613A (ko) * 2010-11-02 2012-05-10 삼성중공업 주식회사 자율주행 로봇 및 경로설정 방법
CN110353583A (zh) * 2019-08-21 2019-10-22 追创科技(苏州)有限公司 扫地机器人及扫地机器人的自动控制方法
CN111067439A (zh) * 2019-12-31 2020-04-28 深圳飞科机器人有限公司 障碍物处理方法以及清洁机器人
CN112515563A (zh) * 2020-11-25 2021-03-19 深圳市杉川致行科技有限公司 障碍物的避让方法、扫地机器人及可读存储介质
CN113287991A (zh) * 2021-06-23 2021-08-24 深圳乐动机器人有限公司 清洁机器人的控制方法和控制装置
CN113768423A (zh) * 2021-08-11 2021-12-10 汇智机器人科技(深圳)有限公司 一种清洁作业控制方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120046613A (ko) * 2010-11-02 2012-05-10 삼성중공업 주식회사 자율주행 로봇 및 경로설정 방법
CN110353583A (zh) * 2019-08-21 2019-10-22 追创科技(苏州)有限公司 扫地机器人及扫地机器人的自动控制方法
CN111067439A (zh) * 2019-12-31 2020-04-28 深圳飞科机器人有限公司 障碍物处理方法以及清洁机器人
CN112515563A (zh) * 2020-11-25 2021-03-19 深圳市杉川致行科技有限公司 障碍物的避让方法、扫地机器人及可读存储介质
CN113287991A (zh) * 2021-06-23 2021-08-24 深圳乐动机器人有限公司 清洁机器人的控制方法和控制装置
CN113768423A (zh) * 2021-08-11 2021-12-10 汇智机器人科技(深圳)有限公司 一种清洁作业控制方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023125698A1 (zh) * 2021-12-28 2023-07-06 美智纵横科技有限责任公司 清洁设备及其控制方法和控制装置
CN114869175A (zh) * 2022-05-26 2022-08-09 美智纵横科技有限责任公司 清洁避障方法、装置、电子设备及存储介质
CN115185285A (zh) * 2022-09-06 2022-10-14 深圳市信诚创新技术有限公司 吸尘机器人的自动避障方法、装置、设备及存储介质
CN115376109A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 障碍物检测方法、障碍物检测装置以及存储介质

Also Published As

Publication number Publication date
CN114391777B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN114391777B (zh) 清洁机器人的障碍躲避方法、装置、电子设备及介质
CN110967011B (zh) 一种定位方法、装置、设备及存储介质
KR102595150B1 (ko) 다수의 가상 캐릭터를 제어하는 방법, 기기, 장치 및 저장 매체
CN110097576B (zh) 图像特征点的运动信息确定方法、任务执行方法和设备
US20170144311A1 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
CN108229332A (zh) 骨骼姿态确定方法、装置及计算机可读存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
KR20170083415A (ko) 영상처리장치 및 그 제어방법
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
CN111862148A (zh) 实现视觉跟踪的方法、装置、电子设备及介质
CN111327819A (zh) 选择图像的方法、装置、电子设备及介质
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN110633336B (zh) 激光数据搜索范围的确定方法、装置及存储介质
CN110775056B (zh) 基于雷达探测的车辆行驶方法、装置、终端及介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN113647864B (zh) 确定清洁机器人的运行方法、装置、电子设备及介质
CN114498827A (zh) 清洁机器人的运行方法、装置、电子设备及介质
CN111383243B (zh) 一种跟踪目标对象的方法、装置、设备和存储介质
CN111538009B (zh) 雷达点的标记方法和装置
CN112860046A (zh) 选择运行模式的方法、装置、电子设备及介质
CN111754564A (zh) 视频展示方法、装置、设备及存储介质
CN114115544B (zh) 人机交互方法、三维显示设备及存储介质
CN115731349A (zh) 户型图的展示方法、装置、电子设备及存储介质
CN111210001A (zh) 调节座椅的方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant