CN117860160B - 基于障碍物的处理方法、装置、设备及存储介质 - Google Patents
基于障碍物的处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117860160B CN117860160B CN202410263062.5A CN202410263062A CN117860160B CN 117860160 B CN117860160 B CN 117860160B CN 202410263062 A CN202410263062 A CN 202410263062A CN 117860160 B CN117860160 B CN 117860160B
- Authority
- CN
- China
- Prior art keywords
- obstacle
- unclean
- cleaning
- data table
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000010408 sweeping Methods 0.000 claims abstract description 133
- 238000004140 cleaning Methods 0.000 claims abstract description 131
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 abstract description 3
- 239000000428 dust Substances 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 241001417527 Pempheridae Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
Abstract
本发明属于机器人控制技术领域,公开了一种基于障碍物的处理方法、装置、设备及存储介质,方法包括:在扫地机器人执行清扫任务的过程中,若识别到障碍物,则判断所述障碍物是否为可移动障碍物;若是,则获取障碍物的位置并绕开障碍物;判断障碍物的位置是否在未清扫位置数据表中;若障碍物的位置在未清扫位置数据表中,则在未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后障碍物的位置的未清扫次数;若加1后障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成清扫任务后,向用户发出请用户移动所述障碍物,以便于扫地机器人对障碍物的位置进行清扫的提示。本发明使得扫地机器人能够做到更全面的清扫。
Description
技术领域
本发明涉及到机器人控制技术领域,特别涉及到一种基于障碍物的处理方法、装置、设备及存储介质。
背景技术
目前市面上的扫地机器人无法做到全面清扫,有些地方甚至堆积了大量的灰尘和垃圾,这就导致了不美观且难以清扫。因此,如何使得扫地机机器能够做到更全面的清扫是亟需解决的技术问题。
发明内容
本发明的主要目的为提供一种基于障碍物的处理方法、装置、设备及存储介质,旨在使得扫地机机器能够做到更全面的清扫。
为了实现上述发明目的,本发明第一方面提出一种基于障碍物的处理方法,包括:
在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;
采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;
根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;
若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;
判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;
若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;
若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;
若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。
进一步的,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,前往所述障碍物的位置,并在达到所述障碍物的位置后,播放语音提示;其中,所述语音提示为请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫。
进一步的,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,向与所述扫地机器人绑定的账号发送请用户移动所述障碍物的提示信息;所述提示信息包括所述障碍物的位置的图像;所述账号在用户终端设备登录。
进一步的,所述播放语音提示的步骤之后,所述方法还包括:
开始播放所述语音提示后,实时检测所述障碍物是否已经移动;
若在预设时间段内检测到所述障碍物已经移动,则对所述障碍物的位置的地面进行清扫。
进一步的,所述开始播放所述语音提示后,实时检测所述障碍物是否已经移动的步骤之后,还包括:
若在预设时间段内未检测到所述障碍物已经移动,则进行寻人;
若寻找不到人,则返回所述扫地机器人的基站;
若寻找到人时,播放第二语音提示;其中,所述第二语音提示为请用户确认是否需要跟随所述扫地机器人前往所述障碍物的位置;
若接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站;
若接收到用户发出的确认前往的语音指令,则返回所述障碍物的位置,以引导用户走到所述障碍物的位置移动所述障碍物;
在所述扫地机器人返回所述障碍物的位置后,检测预设第二时间段内所述障碍是否已经移动;若已经移动,则对所述障碍物的位置的地面进行清扫;若未移动,则返回所述扫地机器人的基站。
进一步的,所述对所述障碍物的位置的地面进行清扫的步骤包括:
获取所述加1后所述障碍物的位置的未清扫次数;
根据所述加1后所述障碍物的位置的未清扫次数确定扫地机器人的清扫次数;
根据所述扫地机器人的清扫次数对所述障碍物的位置的地面进行清扫。
进一步的,所述对所述障碍物的位置的地面进行清扫的步骤之后,还包括:
从所述未清扫位置数据表中删除所述障碍物的位置以及所述障碍物的位置的未清扫的次数。
第二方面,本申请实施例提供一种基于障碍物的处理装置,包括:
采集模块,用于在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;
分析模块,用于采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;
查询模块,用于根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;
获取模块,用于若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;
判断模块,用于判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;
累计模块,用于若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;
提示模块,用于若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;
记录模块,用于若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。
第三方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一项所述的基于障碍物的处理方法的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一项所述的基于障碍物的处理方法的步骤。
本申请实施例通过在执行清扫任务的过程中,识别到障碍物时,通过摄像头采集所述障碍物的图像,并基于所述障碍物的图像识别出所述障碍物的名称,根据所述障碍物的名称和预设的第一数据表判断所述障碍物是否为可移动的障碍物,当判定为可移动障碍物时,先绕开所述障碍物继续执行清扫任务,等清扫任务完成后,再根据所述障碍物的位置以及未清扫位置数据表判断所述障碍物的位置的未清扫次数是否大于设定的阈值,如果大于设定的阈值,则向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示,这样,可移动障碍物的区域也能够得到清扫,从而避免了可移动障碍物区域长期得不到清扫导致的灰尘、毛发、垃圾堆积,导致不美观以及难以清扫干净的问题,进而获得了扫地机器人能够做到更为全面的清扫的技术效果。另外,只有当可移动障碍物的未清扫次数大于设定的阈值时才向用户发出用户移动所述障碍物的提示,而无需每次清扫都发出提示,减少用户配合扫地机器人的次数,提高用户体验。另外,在识别到障碍物时,先绕开所述障碍物继续执行清扫任务,等清扫任务完成后,再执行后续的操作,能够提高清扫效率。
附图说明
图1是本申请一实施例提供的基于障碍物的处理方法的流程示意图;
图2是本申请一实施例提供的基于障碍物的处理装置得结构示意图;
图3为是本申请一实施例提供的计算机设备的结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图作进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
应当理解的是,下文所述的清扫也可以理解为清洁。
如图1所示,本申请实施例提供一种基于障碍物的处理方法,该方法应用在扫地机器人中,包括步骤S1至步骤S8:
S1、在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像。
在步骤S1中,所述摄像头设置在所述扫地机器人上,具体地,所述扫地机器人可以通过激光雷达识别清扫前进方向是否有障碍物,也可以通过图像识别前方是否为障碍物,或其他方式。当识别到清扫前进方向有障碍物时,通过摄像头采集所述障碍物的图像,并将所述障碍物的图像进行保存,以便于后续的处理。
S2、采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称。
在步骤S2中,目标检测算法是一种计算机视觉技术,可以在图像或视频中准确地定位和识别特定目标。具体的,可以采用YOLO(you only look once)目标检测算法、R-CNN(region with CNN features)、SSD(Single Shot MultiBox Detector)等目标检测算法识别障碍物,并给出障碍物的名称。比如,障碍物的名称是鞋子、玩具、有轮子的柜子等。
S3、根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物。
在步骤S3中,第一预设的数据表需要预先设置。比如,民用场景,有些家庭即使有鞋柜,由于懒惰,也喜欢将鞋子放置在鞋柜旁边,且长期都是如此,由于现有的扫地机器人的清扫方法是在遇到障碍物时会绕开障碍物,因此,无法对障碍物所在的区域进行清扫,这就导致扫地机器人无法对这个长期放鞋的地方进行清扫。因此,可以设置鞋子为可移动障碍物。又比如,有小孩的家庭,若玩具长期堆放在地面上的某个地方,扫地机器人也无法对这个地方进行清扫,因此,可以将玩具作为可移动障碍物,因此,是否为可移动障碍物根据实际情况设置。又比如,商用场景中,一些公司或大厦有一些可移动的小柜子,比如,有轮的小柜子,根据现有扫地机器人的清扫算法,如果这个机器人识别到这个小柜子为障碍物,那么会绕开这个小柜子,因此,这个小柜子底下就会积下很多灰尘、毛发或垃圾,长期下去,这个地方就会变得很难清扫,会留下被污染的痕迹。因此,可以将小柜子设置为可移动障碍物。第一预设的数据表的示例如表1所示:
表1
S4、若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物。
在步骤S4中,为了能够提高清扫效率,遇到可移动障碍物时,先绕开所述障碍物,继续执行清扫任务。为了后续能够对可移动障碍物的位置进行清扫,先获取所述可移动障碍物的位置。可移动障碍物的位置指的是可移动障碍物在环境地图中的位置,环境地图指的是机器人进行清扫所依赖的地图。具体的,可移动障碍物的位置可以根据机器人在环境地图中的位置信息以及可移动障碍物与扫地机器人的方向和距离以及环境地图计算得到。还需要说明的是,在执行清扫任务的过程中,无论识别到的障碍物是可移动障碍物还是不可移动的障碍物,都需要绕开所述障碍物继续执行清扫任务,直至清扫任务结束。
S5、判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数。
在本申请实施例中,未清扫位置指的是未清扫位置在环境地图中的位置,未清扫位置数据表记录有未清扫位置以及所述未清扫位置未清扫的次数,示意表如下表2所示。
表2
在判断所述障碍物的位置是否在未清扫位置数据表中时,具体的,可以判断未清扫位置数据表中是否存在一未清扫位置与所述障碍物的位置是否相同,如果相同,则判定所述障碍物的位置在未清扫位置数据表中,否则,判定所述障碍物的位置不在未清扫位置数据表中。也可以将所述障碍物的位置与所述未清扫的位置进行模糊匹配,如果障碍物的位置与未清扫位置之间的偏差在设定的范围内,那么,则判定障碍物的位置在未清扫位置数据表中,否则,判定障碍物的位置不在未清扫位置数据表中。
S6、若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数。
在步骤S6中,由于清扫任务执行过程中是绕开所述障碍物的,因此,若所述障碍物的位置在所述未清扫位置数据表中,那么需要在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1。
S7、若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示。
在步骤S7中,所述清扫次数阈值一开始是由工程师设置,后面用户可以通过应用软件(APP)进行调整。向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示具体可以通过语音提醒、声光提醒的方式提醒用户移动所述障碍物。
S8、若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。
在步骤S8中,若所述障碍物的的位置不在所述未清扫位置数据表中,为了后续能够对该障碍物的位置进行清扫提示,需将所述障碍物的位置的未清扫次数记为1。
本申请实施例通过在执行清扫任务的过程中,识别到障碍物时,通过摄像头采集所述障碍物的图像,并基于所述障碍物的图像识别出所述障碍物的名称,根据所述障碍物的名称和预设的第一数据表判断所述障碍物是否为可移动的障碍物,当判定为可移动障碍物时,先绕开所述障碍物继续执行清扫任务,等清扫任务完成后,再根据所述障碍物的位置以及未清扫位置数据表判断所述障碍物的位置的未清扫次数是否大于设定的阈值,如果大于设定的阈值,则向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示,这样,可移动障碍物的区域也能够得到清扫,从而避免了可移动障碍物区域长期得不到清扫导致的灰尘、毛发、垃圾堆积,导致不美观以及难以清扫干净的问题,进而获得了扫地机器人能够做到更为全面的清扫的技术效果。另外,只有当可移动障碍物的未清扫次数大于设定的阈值时才向用户发出用户移动所述障碍物的提示,而无需每次清扫都发出提示,减少用户配合扫地机器人的次数,提高用户体验。另外,在识别到障碍物时,先绕开所述障碍物继续执行清扫任务,等清扫任务完成后,再执行后续的操作,能够提高清扫效率。
在一实施例中,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,前往所述障碍物的位置,并在达到所述障碍物的位置后,播放语音提示;其中,所述语音提示为请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫。
在这一实施例中,其目的是通过语音令用户能够直观、快速获得提示信息,提高用户体验以及扫地机器人的智能化。具体地,在完成所述清扫任务时,获取所述扫地机器人当前的位置,然后根据扫地机器人当前的位置以及所述障碍物的位置进行路径规划,根据规划的路径前往所述障碍物的位置,并在达到所述障碍物的位置后,驱动安装在扫地机器人上的语音模块播放语音提示,该语音提示为请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫,语音提示可以包括障碍物的名称,比如,语音提示是:主人,这里很久没清扫过了,请移动一下这里的鞋子,让我清扫一下。当然,也可以不包括障碍物的名称,比如,语音提示是:主人,这里很久没清扫过了,请移动一下这里的东西,让我清扫一下。当存在多个可移动障碍物的未清扫次数大于设定的阈值时,根据设定的规则按顺序前往各个可移动障碍物的位置。所述设定的规则可以是从远到近,也可以是随机、还可以是从近到远等等。
在一实施例中,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,向与所述扫地机器人绑定的账号发送请用户移动所述障碍物的提示信息;所述提示信息包括所述障碍物的位置的图像;所述账号在用户终端设备登录。
在这一实施例中,其目的是让用户在远程也能够获得请用户移动所述障碍物的提示信息。比如,扫地机器人在家中执行清扫任务时,即使用户不在,用户通过用户终端也能够得知障碍物所在的位置长期未清扫过,这样,用户可以回到家后移动所述障碍物,用户自己进行清扫。或者,也可以通过一键触发的方式,命令扫地机器人前往所述提示对应的所述障碍物的位置进行清扫。由于障碍物的位置已经移动,扫地机器人在下一次清扫时,也可以对所述障碍物的位置进行清扫。这里需要说明的是,这里对所述障碍物的位置进行清扫指的是障碍物未移动前的位置。比如,提示用户对障碍物的位置A进行清扫,障碍物移动后,扫地机器人是对位置A进行清扫。另外,还要说明的是,当识别到障碍物的位置被清扫过后,需要将未清扫位置数据表中所述障碍物的位置以及其对应的未清扫次数删除。
在一实施例中,所述播放语音提示的步骤之后,所述方法还包括:
开始播放所述语音提示后,实时检测所述障碍物是否已经移动;
若在预设时间段内检测到所述障碍物已经移动,则对所述障碍物的位置的地面进行清扫。
在这一实施例中,其目的是使扫地机器人更加智能化,使扫地机器人能够做到更全面的清扫。具体地,开始播放所述语音提示后,通过计算机视觉技术实时检测所述障碍物是否已经移动,若已经移动,则对所述障碍物的位置的地面进行清扫。具体地,可以根据地面类型选择合适的清扫模式进行清扫,比如,瓷砖可以选择扫拖模式,地毯可以选择清扫模式。对所述障碍物的位置的地面进行清扫具体可以是对所述障碍物的位置以及所述障碍物的位置周围的位置进行清扫。
在一实施例中,所述开始播放所述语音提示后,实时检测所述障碍物是否已经移动的步骤之后,还包括:
若在预设时间段内未检测到所述障碍物已经移动,则进行寻人;
若寻找不到人,则返回所述扫地机器人的基站;
若寻找到人时,播放第二语音提示;其中,所述第二语音提示为请用户确认是否需要跟随所述扫地机器人前往所述障碍物的位置;
若接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站;
若接收到用户发出的确认前往的语音指令,则返回所述障碍物的位置,以引导用户走到所述障碍物的位置移动所述障碍物;
在所述扫地机器人返回所述障碍物的位置后,检测预设第二时间段内所述障碍是否已经移动;若已经移动,则对所述障碍物的位置的地面进行清扫;若未移动,则返回所述扫地机器人的基站。
在这一实施例中,其目的是进一步使扫地机器人能够清扫得更加全面,使扫地机器人更加智能化。具体地,通过若在预设时间段内未检测到所述障碍物已经移动,则通过计算机视觉在可通行的区域内进行寻人,以及引导寻找到的人走到所述障碍物的位置移动所述障碍物,这样,扫地机器人能够对所述障碍物的位置进行清扫,相比于现有的扫地机器人能够做到更为全面的清扫,另外,在预设时间段内未检测到所述障碍物已经移动则进行寻人,能够提高对障碍物的位置进行清扫的效率。此外,由于扫地机器人的基站具有充电功能、自动集尘等功能,因此,若寻找不到人,则返回所述扫地机器人的基站,或当接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站,能够对扫地机器人进行充电以及集尘工作。
在一实施例中,所述开始播放所述语音提示后,实时检测所述障碍物是否已经移动的步骤之后,还包括:
若在预设时间段内未检测到所述障碍物已经移动,通过计算机视觉进行寻人;
若通过计算机视觉寻找不到人,则搜索与所述扫地机器人处于同一局域网下且与所述扫地机器人绑定的智能移动终端;
若搜索到,则向所述智能移动终端发送第一控制指令,以控制所述智能移动终端显示所述障碍物的图像信息、位置信息以及第一虚拟按钮和第二虚拟按钮;其中,点击所述第一虚拟按钮表示同意移动所述障碍物;点击所述第二虚拟按钮表示不移动所述障碍物;
接收所述智能移动终端根据用户的操作生成的回应信息;
若所述回应信息为不移动所述障碍物,则返回所述扫地机器人的基站;
若所述回应信息为同意移动所述障碍物,则返回所述障碍物的位置并等待用户移动所述障碍物,若所述扫地机器人返回所述障碍物的位置预设第二时间段后,仍未检测到所述障碍物已移动,则返回所述扫地机器人的基站;
若通过计算机视觉寻找到人,播放第二语音提示;其中,所述第二语音提示为请用户确认是否需要跟随所述扫地机器人前往所述障碍物的位置;
若接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站;
若接收到用户发出的确认前往的语音指令,则返回所述障碍物的位置,以引导用户走到所述障碍物的位置移动所述障碍物;
在所述扫地机器人返回所述障碍物的位置后,检测预设第二时间段内所述障碍是否已经移动;若已经移动,则对所述障碍物的位置的地面进行清扫;若未移动,则返回所述扫地机器人的基站。
在这一实施例中,其目的是扫地机器人能够清扫得更加全面,使扫地机器人更加智能化。具体地,若在预设时间段内未检测到所述障碍物已经移动,则通过计算机视觉在可通行的区域内进行寻人,以及引导寻找到的人走到所述障碍物的位置移动所述障碍物,这样,扫地机器人能够对所述障碍物的位置进行清扫,相比于现有的扫地机器人能够做到更为全面的清扫,另外,在预设时间段内未检测到所述障碍物已经移动则进行寻人,能够提高对障碍物的位置进行清扫的效率。此外,当通过计算机视觉寻找不到人时,比如,对于复式建筑,若扫地机器人在一层进行清扫,那么,无法通过计算机视觉找到位于第二层的用户,这种情况可以搜索与扫地机器人处于同一局域网的智能移动终端,通过智能移动终端提示用户移动所述障碍物,在用户移动所述障碍物后,扫地机器人可以对障碍物的位置进行清扫,从而使扫地机器人能够清扫得更加全面,另外,为提高用户体验,本申请还提供第二虚拟按钮给用户点击,用户点击第二虚拟按钮后,用户不需移动所述障碍物,这情况令扫地机器人返回基站,由于扫地机器人的基站具有充电功能、自动集尘等功能,因此,返回所述扫地机器人的基站,能够对扫地机器人进行充电以及集尘工作。
另外,在这一实施例中,所述搜索与所述扫地机器人处于同一局域网下且与所述扫地机器人绑定的智能移动终端的步骤包括:搜索与所述扫地机器人处于同一局域网下的智能移动终端;
若搜索得到,获取搜索得到的智能移动终端的标识符;
根据所述智能移动终端的标识符判断所述扫地机器人是否与所述扫地机器人是否已经绑定;其中,所述标识符可以是设备的唯一ID(如MAC地址),另外,扫地机器人中保存已绑定的智能移动终端的标识符列表,当智能移动终端的标识符与列表中的任何一个匹配时,判断扫地机器人已经与该智能移动终端绑定,如果没有匹配的标识符,表示扫地机器人尚未与该智能移动终端绑定。
需要说明的是,当搜索到多个与所述所述扫地机器人处于同一局域网下且与所述扫地机器人绑定的智能移动终端时,向所有这种智能移动终端发送所述第一控制指令,当多个所述智能移动终端向所述扫地机器人发送根据用户的操作生成的回应信息时,所述扫地机器人根据回应信息的接收顺序执行相应的操作。
在这一实施例中,所述对所述障碍物的位置的地面进行清扫的步骤包括:
获取所述加1后所述障碍物的位置的未清扫次数;
根据所述加1后所述障碍物的位置的未清扫次数确定扫地机器人的清扫次数;
根据所述扫地机器人的清扫次数对所述障碍物的位置的地面进行清扫。
在这一实施例中,其目的是使扫地机器人能够做到清扫得更为干净。由前述实施例可知,会存在即使扫地机器人提示用户移动障碍物进行清扫的提示,用户也不会移动,这种情况,所述障碍物的位置不能被清扫到,垃圾、灰尘也不断的积累,因此,根据所述障碍物的位置的未清扫次数确定扫地机器人的清扫次数,即不同的未清扫次数对应不同的清扫次数,比如,障碍物的位置5次没有清扫,对应的扫地机器人的清扫次数是2次,即扫地机器人对所述障碍物的位置进行清扫时会对所述障碍物的位置清扫2次。又比如,障碍物的位置10次没有清扫,对应的扫地机器人的清扫次数是3次,即扫地机器人对所述障碍物得位置进行清扫时会对所述障碍物的位置清扫3次。
在一实施例中,所述对所述障碍物的位置的地面进行清扫的步骤之后,还包括:
从所述未清扫位置数据表中删除所述障碍物的位置以及所述障碍物的位置未清扫的次数。
在一实施例中,对所述障碍物的位置的地面进行清扫之后,需要从所述未清扫位置数据表中删除所述障碍物的位置以及所述障碍物的位置未清扫的次数,这样,才能够确保扫地机器人在正确的时间发出请用户移动障碍物,以便于扫地机器人对障碍物的位置进行清扫的提示。
如图2所示,本申请一实施例还提供一种基于障碍物的处理装置,包括:
采集模块1,用于在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;
分析模块2,用于采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;
查询模块3,用于根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;
获取模块4,用于若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;
判断模块5,用于判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;
累计模块6,用于若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;
提示模块7,用于若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;
记录模块8,用于若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。
在一实施例中,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示包括:
在完成所述清扫任务后,前往所述障碍物的位置,并在达到所述障碍物的位置后,播放语音提示;其中,所述语音提示为请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫。
在一实施例中,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示包括:
在完成所述清扫任务后,向与所述扫地机器人绑定的账号发送请用户移动所述障碍物的提示信息;所述提示信息包括所述障碍物的位置的图像;所述账号在用户终端设备登录。
在一实施例中,所述播放语音提示的步骤之后,所述方法还包括:
开始播放所述语音提示后,实时检测所述障碍物是否已经移动;
若在预设时间段内检测到所述障碍物已经移动,则对所述障碍物的位置的地面进行清扫。
在一实施例中,所述开始播放所述语音提示后,实时检测所述障碍物是否已经移动之后,还包括:
若在预设时间段内未检测到所述障碍物已经移动,则进行寻人;
若寻找不到人,则返回所述扫地机器人的基站;
若寻找到人时,播放第二语音提示;其中,所述第二语音提示为请用户确认是否需要跟随所述扫地机器人前往所述障碍物的位置;
若接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站;
若接收到用户发出的确认前往的语音指令,则返回所述障碍物的位置,以引导用户走到所述障碍物的位置移动所述障碍物;
在所述扫地机器人返回所述障碍物的位置后,检测预设第二时间段内所述障碍是否已经移动;若已经移动,则对所述障碍物的位置的地面进行清扫;若未移动,则返回所述扫地机器人的基站。
在一实施例,所述对所述障碍物的位置的地面进行清扫包括:
获取所述加1后所述障碍物的位置的未清扫次数;
根据所述加1后所述障碍物的位置的未清扫次数确定扫地机器人的清扫次数;
根据所述扫地机器人的清扫次数对所述障碍物的位置的地面进行清扫。
在一实施例中,所述对所述障碍物的位置的地面进行清扫之后,还包括:
从所述未清扫位置数据表中删除所述障碍物的位置以及所述障碍物的位置的未清扫的次数。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例所述的基于障碍物的处理方法。本实施例中的计算机可读存储介质可以是易失性可读存储介质,也可以为非易失性可读存储介质。
参照图3,本发明实施例还提供一种计算机设备,该计算机设备的内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于障碍物的处理方法的数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地,上述计算机设备还可以设置有输入装置和显示屏等。上述计算机程序被处理器执行时以实现基于障碍物的处理方法,包括如下步骤:在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM通过多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于障碍物的处理方法,其特征在于,包括:
在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;
采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;
根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;
若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;
判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;
若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;
若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;
若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1;
所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,前往所述障碍物的位置,并在达到所述障碍物的位置后,播放语音提示;其中,所述语音提示为请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫;
开始播放所述语音提示后,实时检测所述障碍物是否已经移动;
若在预设时间段内检测到所述障碍物已经移动,则对所述障碍物的位置的地面进行清扫;
若在预设时间段内未检测到所述障碍物已经移动,则通过计算机视觉在可通行的区域内进行寻人;
若寻找不到人,则返回所述扫地机器人的基站;
若寻找到人时,播放第二语音提示;其中,所述第二语音提示为请用户确认是否需要跟随所述扫地机器人前往所述障碍物的位置;
若接收到用户发出的确认不前往的语音指令,则返回所述扫地机器人的基站;
若接收到用户发出的确认前往的语音指令,则返回所述障碍物的位置,以引导用户走到所述障碍物的位置移动所述障碍物;
在所述扫地机器人返回所述障碍物的位置后,检测预设第二时间段内所述障碍是否已经移动;若已经移动,则对所述障碍物的位置的地面进行清扫;若未移动,则返回所述扫地机器人的基站。
2.根据权利要求1所述的基于障碍物的处理方法,其特征在于,所述在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示的步骤包括:
在完成所述清扫任务后,向与所述扫地机器人绑定的账号发送请用户移动所述障碍物的提示信息;所述提示信息包括所述障碍物的位置的图像;所述账号在用户终端设备登录。
3.根据权利要求1所述的基于障碍物的处理方法,其特征在于,所述对所述障碍物的位置的地面进行清扫的步骤包括:
获取所述加1后所述障碍物的位置的未清扫次数;
根据所述加1后所述障碍物的位置的未清扫次数确定扫地机器人的清扫次数;
根据所述扫地机器人的清扫次数对所述障碍物的位置的地面进行清扫。
4.根据权利要求1所述的基于障碍物的处理方法,其特征在于,所述对所述障碍物的位置的地面进行清扫的步骤之后,还包括:
从所述未清扫位置数据表中删除所述障碍物的位置以及所述障碍物的位置的未清扫的次数。
5.一种基于障碍物的处理装置,其特征在于,用于实现权利要求1-4任一项所述的基于障碍物的处理方法,包括:
采集模块,用于在扫地机器人执行清扫任务的过程中,若识别到障碍物,则通过摄像头采集所述障碍物的图像;
分析模块,用于采用目标检测算法对所述障碍物的图像进行分析,确定所述障碍物的名称;
查询模块,用于根据所述障碍物的名称在第一预设的数据表中查询所述障碍物是否为可移动的障碍物;其中,所述第一预设的数据表中记录有障碍物名称和障碍物类型之间的对应关系;所述障碍物类型包括可移动障碍物和不可移动障碍物;
获取模块,用于若所述障碍物为可移动障碍物,则获取所述障碍物的位置并绕开所述障碍物;
判断模块,用于判断所述障碍物的位置是否在未清扫位置数据表中;其中,所述未清扫位置数据表中记录有未清扫位置以及所述未清扫位置未清扫的次数;
累计模块,用于若所述障碍物的位置在所述未清扫位置数据表中,则在所述未清扫位置数据表中将所述障碍物的位置的未清扫次数加1,并获取加1后所述障碍物的位置的未清扫次数;
提示模块,用于若加1后所述障碍物的位置的未清扫次数大于设定的未清扫次数阈值,则在完成所述清扫任务后,向用户发出请用户移动所述障碍物,以便于所述扫地机器人对所述障碍物的位置进行清扫的提示;
记录模块,用于若所述障碍物的位置不在所述未清扫位置数据表中,则将所述障碍物的位置记录到所述未清扫位置数据表,并将所述障碍物的位置的未清扫次数记为1。
6.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于障碍物的处理方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的基于障碍物的处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263062.5A CN117860160B (zh) | 2024-03-08 | 2024-03-08 | 基于障碍物的处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263062.5A CN117860160B (zh) | 2024-03-08 | 2024-03-08 | 基于障碍物的处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117860160A CN117860160A (zh) | 2024-04-12 |
CN117860160B true CN117860160B (zh) | 2024-06-18 |
Family
ID=90581488
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410263062.5A Active CN117860160B (zh) | 2024-03-08 | 2024-03-08 | 基于障碍物的处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117860160B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106983454A (zh) * | 2017-05-12 | 2017-07-28 | 北京小米移动软件有限公司 | 扫地机器人清扫方法及扫地机器人 |
CN114569001A (zh) * | 2022-03-16 | 2022-06-03 | 北京石头世纪科技股份有限公司 | 一种智能移动设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107550399B (zh) * | 2017-08-17 | 2021-05-18 | 北京小米移动软件有限公司 | 定时清扫方法及装置 |
CN116172447A (zh) * | 2021-08-23 | 2023-05-30 | 追觅创新科技(苏州)有限公司 | 移动机器人的清扫方法及装置、存储介质、电子装置 |
-
2024
- 2024-03-08 CN CN202410263062.5A patent/CN117860160B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106983454A (zh) * | 2017-05-12 | 2017-07-28 | 北京小米移动软件有限公司 | 扫地机器人清扫方法及扫地机器人 |
CN114569001A (zh) * | 2022-03-16 | 2022-06-03 | 北京石头世纪科技股份有限公司 | 一种智能移动设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117860160A (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112462780B (zh) | 扫地控制方法、装置、扫地机器人及计算机可读存储介质 | |
US9298183B2 (en) | Robot and method for autonomous inspection or processing of floor areas | |
CN112168066B (zh) | 清洁机器人的控制方法、装置、清洁机器人及存储介质 | |
CN108606728B (zh) | 一种扫地机器人控制方法、设备、扫地机器人及存储介质 | |
CN110772178A (zh) | 扫地机清扫的方法、装置、计算机设备和存储介质 | |
EP3494446A1 (de) | Verfahren zur steuerung eines autonomen mobilen roboters | |
CN113670292B (zh) | 地图的绘制方法和装置、扫地机、存储介质、电子装置 | |
CN110450152A (zh) | 区域识别方法、机器人和存储介质 | |
CN107463177A (zh) | 控制移动的方法、装置及系统 | |
CN109316134B (zh) | 一种扫地机的清扫方法和扫地机 | |
CN111603100B (zh) | 扫地机清扫地图的存储和复用方法、及存储和复用装置 | |
CN112890680B (zh) | 跟随清洁作业方法、控制方法、装置、机器人及存储介质 | |
CN113180558B (zh) | 复杂区域深度作业方法、装置、计算机设备和存储介质 | |
CN110335495A (zh) | 车辆位置信息处理方法、装置、计算机设备和存储介质 | |
CN109343521B (zh) | 一种机器人清扫房间的方法及机器人 | |
Nguyen et al. | Low speed vehicle localization using wifi fingerprinting | |
CN111714028A (zh) | 清扫设备的禁区脱困方法、装置、设备及可读存储介质 | |
CN107807650A (zh) | 一种机器人的运动控制方法、装置及设备 | |
CN113191412A (zh) | 设备重定位方法、装置、计算机设备和存储介质 | |
CN117860160B (zh) | 基于障碍物的处理方法、装置、设备及存储介质 | |
CN115089077B (zh) | 清洁机器人的控制方法、清洁机器人及存储介质 | |
CN114625123A (zh) | 机器人的清扫规划路径实现方法、装置和计算机设备 | |
CN114489058A (zh) | 扫地机器人及其路径规划方法、装置和存储介质 | |
CN113243829A (zh) | 扫地机的跟踪清扫方法、装置和计算机设备 | |
CN112257510A (zh) | 一种在区域地图中确定对象的方法、系统及自移动机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |