CN112274065B - 清洁机器人及其控制方法 - Google Patents
清洁机器人及其控制方法 Download PDFInfo
- Publication number
- CN112274065B CN112274065B CN202011176819.5A CN202011176819A CN112274065B CN 112274065 B CN112274065 B CN 112274065B CN 202011176819 A CN202011176819 A CN 202011176819A CN 112274065 B CN112274065 B CN 112274065B
- Authority
- CN
- China
- Prior art keywords
- target image
- dirty
- image
- region
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
Landscapes
- Electric Vacuum Cleaner (AREA)
Abstract
本公开提供了一种清洁机器人及其控制方法,该清洁机器人包括图像采集模块,该图像采集模块用于获取清洁对象表面的图像信息,该控制方法包括:获取所述图像采集模块拍摄到的目标图像;获取所述目标图像上的脏污区域和所述脏污区域的位置信息;根据所述目标图像上的所有脏污区域的尺寸,确定相应的洁净度系数;若所述洁净度系数满足预设清洁条件,则根据所述脏污区域的位置信息,移动至所述脏污区域处,对所述脏污区域进行清洁。本公开通过上述控制方法,实现了自动感知地面洁净度和自动获取脏污区域的功能,以便清洁机器人能够对地面进行针对性地清洁,提升了地面的洁净程度,进而提升了用户的生活体验。
Description
技术领域
本公开属于智能机器人控制技术领域,具体提供了一种清洁机器人及其控制方法。
背景技术
随着智能家居时代的来临,清洁机器人作为智能家居清洁类产品,给人们的家居生活带来了极大的便利。与此同时人们对家居清洁度的要求也越来越高,由于现在很多家庭都选择纯色地板,这使得脏污区域很容易引起人们视觉的关注,导致用户对纯色地板的洁净度要求较高。
而现在的清洁机器人无法针对纯色地板上的脏污区域进行识别,也无法对纯色地板上的脏污区域进行针对性地清洁。为了清洁纯色地板上的脏污区域,现有的清洁机器人通常是根据用户的操作指令,对整个房间、整个分区再次进行清洁,不仅浪费了电能,而且还延长了清洁时间,降低了用户的使用体验。
发明内容
本公开旨在提供一种清洁机器人及其控制方法,以使清洁机器人能够自动感知清扫区域的洁净程度,并识别出脏污区域的位置,进而移动到该区域并对该区域进行清洁。
在第一方面,本公开提供了一种清洁机器人的控制方法,前述清洁机器人包括图像采集模块,前述图像采集模块用于获取清洁对象表面的图像信息,前述控制方法包括:
获取前述图像采集模块拍摄到的目标图像;
获取前述目标图像上的脏污区域和前述脏污区域的位置信息;
根据前述目标图像上的所有脏污区域的尺寸,确定相应的洁净度系数;
若前述洁净度系数满足预设清洁条件,则根据前述脏污区域的位置信息,移动至前述脏污区域处,对前述脏污区域进行清洁。
可选地,前述获取前述目标图像上的脏污区域,包括:
检测前述目标图像中的闭合区域;
从检测出的闭合区域中,确定满足预设脏污尺寸的闭合区域,以作为脏污区域。
可选地,前述预设脏污尺寸包括:
前述闭合区域的最小外接矩形的长宽比小于预设长宽比阈值;和/或,
前述闭合区域的面积大于面积阈值。
可选地,前述图像采集模块设置在前述清洁机器人的前侧,以使前述图像采集模块能够采集前述清洁机器人未清洁的表面的图像信息,并因此获得前述目标图像。
可选地,前述图像采集模块设置在前述清洁机器人的后侧,以使前述图像采集模块能够采集前述清洁机器人清洁过的表面的图像信息,并因此获得前述目标图像。
可选地,前述检测前述目标图像中的闭合区域,包括:
以轮廓检测的方式识别出前述目标图像中的闭合区域。
可选地,前述检测前述目标图像中的闭合区域,包括:
以斑点检测的方式识别出前述目标图像中的闭合区域。
可选地,前述以斑点检测的方式识别出前述目标图像中的闭合区域,包括:
根据预设的每一个像素阈值,分别获取前述目标图像的一个二值化图像;
确定每一个所述二值化图像中的闭合区域;
从确定出的闭合区域中滤除重复的闭合区域,以获取所述目标图像的闭合区域。
可选地,前述预设清洁条件包括:
前述目标图像内所有脏污区域的脏污面积与前述目标图像的分辨率的比值大于预设洁净度阈值。
在第二方面,本公开还提供了一种清洁机器人,该清洁机器人包括处理器、存储器和存储在前述存储器上的执行指令,前述执行指令设置成在被前述处理器执行时能够使前述清洁机器人执行第一方面中任一项的控制方法。
基于前文的描述,本领域技术人员能够理解的是,在本公开前述的技术方案中,通过获取目标图像的脏污区域和该脏污区域的位置信息,使得清洁机器人能够精准地识别出目标图像上的每一个脏污区域并对每一个脏污区域进行定位;通过目标图像上的所有脏污区域的尺寸来计算相应的洁净度系数,以便在目标图像的洁净度系数满足预设清洁条件时,使清洁机器人能够根据脏污区域的位置信息对相应的脏污区域进行精准定位,并直接移动至相应的脏污区域,对该脏污区域进行清洁。简而言之,本公开的清洁机器人能够准确地识别出地面上的脏污区域,并对该脏污区域进行定位,进而能够根据该定位迅速找到并移动到相应的脏污区域,对脏污区域进行精准清扫,避免了地面上存在的脏污区域引起用户不适的情形,提升了用户的生活体验。换句话说,本公开的清洁机器人能够对地面上的脏污区域进行靶向清洁。
进一步,通过检测目标图像中的闭合区域,并将从检测出的闭合区域中确定满足预设脏污尺寸的闭合区域来作为脏污区域,使得清洁机器人在识别脏污区域的过程中,能够有效排除地缝等非脏污的区域,进而提升了清洁机器人对脏污区域识别的准确率。
进一步,通过将图像采集模块设置在清洁机器人的前侧,使得清洁机器人能够通过图像采集模块采集到未清洁的地面的图像信息,进而能够对未清洁的地面进行提前预判,并在识别到未清洁的地面具有脏污区域时,直接移动到该脏污区域,对该脏污区域进行清理。换句话说,通过将图像采集模设置在清洁机器人的前侧,使得清洁机器人能够准确地识别出前方存在的脏污区域,进而只对该脏污区域进行清洁,而无需对前方洁净的区域和肉眼无法观察到脏污的区域进行清洁,提升了清洁机器人对地面的清洁效率。
进一步,通过将图像采集模块设置在清洁机器人的后侧,使得清洁机器人能够通过图像采集模块采集清洁机器人刚刚清洁过的地面的图像信息,进而能够主动识别清扫过后的地面是否存在难以一次清除的顽固脏污,如果存在则使清洁机器人移动到该处对地面进行再次清洁。换句话说,通过将图像采集模设置在清洁机器人的后侧,使得清洁机器人能够准确地识别出其后方上未清洁干净的脏污区域,进而能够在完成本次的遍历清扫作业之后,能够迅速到该脏污区域,对该脏污区域进行快速清洁,而无需再对整个区域(例如分区或整个房间)进行清洁,提升了清洁机器人对地面的清洁效率。
附图说明
下面参照附图来描述本公开的部分实施例,附图中:
图1是本公开第一实施例中清洁机器人的控制方法的主要步骤流程图;
图2是本公开第二实施例中清洁机器人的控制方法的主要步骤流程图;
图3是本公开第三实施例中清洁机器人的控制方法的主要步骤流程图;
图4是本公开第四实施例中清洁机器人的结构示意图。
具体实施方式
本领域技术人员应当理解的是,下文所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,该一部分实施例旨在用于解释本公开的技术原理,并非用于限制本公开的保护范围。基于本公开提供的实施例,本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例,仍应落入到本公开的保护范围之内。
需要说明的是,在本公开的描述中,术语“中心”、“上”、“下”、“顶部”“底部”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本公开的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
此外,还需要说明的是,在本公开的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本公开中的具体含义。
下面参照附图来对本公开的一些实施例进行详细说明。
在本公开的第一实施例中:
如图1所示,本实施例的清洁机器人的控制方法包括:
步骤S110,获取图像采集模块拍摄到的目标图像。
其中,图像采集模块可以拍摄或采集清洁机器人前方、侧方和/或后方的图像;图像采集模块在空间上可以设置在清洁机器人的前侧、顶部、后侧和/或侧方;并且图像采集模块也可是任意数量,例如1个、3个、4个等。进一步,图像采集模块可以是任意具有摄像功能的模块,例如,蓝牙摄像头、红外成像摄像头或普通枪式摄像头等。
其中,目标图像是指图像采集模块拍摄到的图像,其根据图像采集模块所在清洁机器人上的位置,可以是清洁机器人的前后预设拍摄范围内地面的图像。预设拍摄范围可以根据图像采集模块的数据来确定具体的数值。
作为示例一,清洁机器人通过设置在其前侧的图像采集模块获取前方地面的图像信息(即目标图像)。
作为示例二,清洁机器人通过设置在其后侧的图像采集模块获取前方地面的图像信息(即目标图像)。
作为示例三,清洁机器人通过设置在其侧方的图像采集模块获取左侧或右侧地面的图像信息(即目标图像)。
步骤S120,获取目标图像上的脏污区域和该脏污区域的位置信息。
具体地,通过预设的图像处理方法对目标图像进行图像处理,以在目标图像上存在脏污区域时,从目标图像上将该脏污区域提取出来,并记录脏污区域的位置信息。
其中,预设的图像处理方法可以包括下列方法中的一种或多种:轮廓检测、斑点检测和角点检测等。
作为可选的方式一,根据轮廓检测的方式识别出目标图像中的闭合区域。具体地,对目标图像进行二值化处理以获得二值化图像,然后利用轮廓检测获取二值化图像中的闭合区域。
作为可选的方式二,根据斑点检测的方式识别出所述目标图像中的闭合区域。具体如下:
预设一个像素阈值范围,并设定阈值步进;然后根据阈值步进在像素阈值范围内选取一系列像素阈值;然后根据预设的每一个像素阈值,分别获取目标图像的一个二值化图像;找到每一个所述二值化图像中的所有斑点;最后将所有二值化图像中的所有斑点进行整合,以获取目标图像中的所有闭合区域。
其中,像素阈值范围和阈值步进可以是任意可行的数据区间,本领域技术人员可以通过多次实验,来确定像素阈值范围和阈值步进的具体数据。
以获取的目标图像为彩色图像为例,对斑点检测进行详细说明:
选取四个像素阈值范围,即第一像素阈值范围(R50-R80,G60-G100, B50-70)、第二像素阈值范围(R80-R110,G90-G130,B80-100)、第三像素阈值范围(R110-R140,G90-G130,B110-130)、第四像素阈值范围(R140-R170, G120-G160,B140-160),则阈值步进为30。
第一步,先根据第一像素阈值范围(R50-R80,G60-G100,B50-70)获取目标图像的第一二值化图像。具体地,判断每一个像素点的像素值是否在第一像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第一二值化图像中的所有斑点,并记作第一斑点。
第二步,先根据第二像素阈值范围(R80-R110,G90-G130,B80-100)获取目标图像的第二二值化图像。具体地,判断每一个像素点的像素值是否在第二像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第二二值化图像中的所有斑点,并记作第二斑点。
第三步,先根据第三像素阈值范围(R110-R140,G90-G130,B110-130) 获取目标图像的第三二值化图像。具体地,判断每一个像素点的像素值是否在第三像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第三二值化图像中的所有斑点,并记作第三斑点。
第四步,先根据第四像素阈值范围(R140-R170,G120-G160,B140-160) 获取目标图像的第四二值化图像。具体地,判断每一个像素点的像素值是否在第四像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第四二值化图像中的所有斑点,并记作第四斑点。
第五步,将所有的第一斑点、所有的第二斑点、所有的第三斑点和所有的第四斑点整合到一起,并因此获取最终的闭合区域。具体地,将目标图像中被斑点覆盖的区域进行统计以获取最终的闭合区域。
作为可选的方式三,通过前述方式一中的轮廓检测方式和前述方式二中的斑点检测方法,分别对目标图像进行处理,并将通过两种处理方法获取的所有闭合区域进行整合,以获得最终的闭合区域。
步骤S130,根据目标图像上的所有脏污区域的尺寸,确定相应的洁净度系数。
其中,洁净度系数表示将目标图像上的所有脏污区域整合到一起之后所对应的参数,用来表示地面是否干净。具体地,洁净度系数与所有脏污区域的面积呈正相关,即,所有脏污区域的面积越大,洁净度系数越大,表示地面越脏。其原因是,脏污区域的面积越大,越容易引起用户的关注。
具体地,根据公式计算清洁度系数,其中a表示所述清洁度系数,n表示目标图像内所有脏污区域的数量,Gi表示目标图像内第i个脏污区域的面积,S表示目标图像的分辨率。其中,清洁度系数越大表示该脏污区域越明显。
步骤S140,判断洁净度系数是否满足预设清洁条件。
具体地,预设清洁条件包括洁净度阈值,当洁净度系数大于洁净度阈值时,表明该脏污区域的洁净度系数满足预设清洁条件,表示该脏污区域较脏,需要进行清洁,则执行步骤S150;如果不大于洁净度阈值,则表示该脏污区域不满足预设清洁条件,不需要进行清洁。其中,洁净度阈值可以是任意可行的数据,例如,0.04、0.05、0.09等。
本领域技术人员能够理解的是,清洁度系数越大表示该脏污区域越明显。因此,通过洁净度系数与洁净度阈值的对比,不仅可以使清洁机器人能够快速识别出地面上的脏污区域,还能够避免清洁机器人对地面过度清洁,进而避免了电力的浪费。
步骤S150,根据脏污区域的位置信息,移动至脏污区域处,对脏污区域进行清洁。
具体地,清洁机器人根据预先存储的位置信息,对脏污的区域进行定位并移动到该脏污区域,对该脏污区域进行清除。使清洁机器人能够直接前往未清洁或清洁不彻底的脏污区域,对该脏污区域进行清理。
基于前文的描述可知,本实施例中的清洁机器人通过获取图像采集模块拍摄到的目标图像,并对获取的目标图像进行图像处理,以获取目标图像上的脏污区域和脏污区域的位置信息;之后根据目标图像上的所有脏污区域的尺寸,确定相应的洁净度系数,以判断目标图像上是否存在需要脏污区域,从而实现对地面上脏污区域的识别。在洁净度系数满足预设清洁条件时,通过使清洁机器人根据脏污区域的位置信息,锁定识别出的脏污区域的坐标,以移动至脏污区域处,对脏污区域进行清洁。简而言之,本公开的清洁机器人能够准确地识别出地面上的脏污区域,并对该脏污区域进行定位,进而能够根据该定位迅速找到并移动到相应的脏污区域,对脏污区域进行精准清扫,避免了地面上存在的脏污区域引起用户不适的情形,提升了用户的生活体验。换句话说,本公开的清洁机器人能够对地面上的脏污区域进行靶向清洁。
在本公开的第二实施例中:
如图2所示,本实施例的清洁机器人的控制方法包括:
步骤S210,通过图像采集模块采集清洁机器人的后侧的图像。
其中,图像采集模块可以是任意具有摄像功能的模块,例如,蓝牙摄像头、红外成像摄像头或普通枪式摄像头等。目标图像是指清洁机器人后置图像采集模块预设拍摄范围内地面的图像。预设拍摄范围可以根据图像采集模块的数据来确定具体的数值。
具体地,通过设置在清洁机器人后侧的图像采集模块,采集清洁机器人的后侧的图像,以使清洁机器人能够自动检测清扫后的地面是否存在不能一次扫除的顽固脏污。
步骤S220,获取图像采集模块拍摄到的目标图像。
具体地,目标图像可以通过任意具有图片提取功能的方式获得,如,从拍摄的视频中提取或直接拍摄目标图像。
作为示例一,清洁机器人通过图像采集模块获取已经清扫过的地面的拍摄视频,然后通过对该视频进行帧提取,获得视频帧;最后将该视频帧进行分辨率缩放处理,以获得目标图像。其中,目标图像的缩放分辨率可以是任意可行的数据,例如,640*480ppi、800*600ppi、960*720ppi等。本领域技术人员可以通过多次实验,来确定缩放分辨率的具体数据。
作为示例二,清洁机器人每隔设定时间(例如1秒、2秒、3.5秒等)通过图像采集模拍摄一张照片,该照片即为目标图像。
步骤S230,根据图像检测获取目标图像中的闭合区域。
作为示例一:根据轮廓检测的方式识别出目标图像中的闭合区域。
具体地,对目标图像进行二值化处理以获得二值化图像,然后利用轮廓检测获取二值化图像中的闭合区域。
作为示例二:根据斑点检测的方式识别出所述目标图像中的闭合区域,以识别出较小的脏污区域形成的闭合区域。
具体地,斑点检测方法:预设一个像素阈值范围,并设定阈值步进;然后根据阈值步进在像素阈值范围内选取一系列像素阈值;然后根据预设的每一个像素阈值,分别获取目标图像的一个二值化图像;找到每一个所述二值化图像中的所有斑点;最后将所有二值化图像中的所有斑点进行整合,以获取目标图像中的所有闭合区域。
其中,像素阈值范围和阈值步进可以是任意可行的数据区间,本领域技术人员可以通过多次实验,来确定像素阈值范围和阈值步进的具体数据。
以获取的目标图像为彩色图像为例,对斑点检测进行详细说明:
选取四个像素阈值范围,即第一像素阈值范围(R50-R80,G60-G100, B50-70)、第二像素阈值范围(R80-R110,G90-G130,B80-100)、第三像素阈值范围(R110-R140,G90-G130,B110-130)、第四像素阈值范围(R140-R170, G120-G160,B140-160),则阈值步进为30。
第一步,先根据第一像素阈值范围(R50-R80,G60-G100,B50-70)获取目标图像的第一二值化图像。具体地,判断每一个像素点的像素值是否在第一像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第一二值化图像中的所有斑点,并记作第一斑点。
第二步,先根据第二像素阈值范围(R80-R110,G90-G130,B80-100)获取目标图像的第二二值化图像。具体地,判断每一个像素点的像素值是否在第二像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第二二值化图像中的所有斑点,并记作第二斑点。
第三步,先根据第三像素阈值范围(R110-R140,G90-G130,B110-130) 获取目标图像的第三二值化图像。具体地,判断每一个像素点的像素值是否在第三像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第三二值化图像中的所有斑点,并记作第三斑点。
第四步,先根据第四像素阈值范围(R140-R170,G120-G160,B140-160) 获取目标图像的第四二值化图像。具体地,判断每一个像素点的像素值是否在第四像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第四二值化图像中的所有斑点,并记作第四斑点。
第五步,将所有的第一斑点、所有的第二斑点、所有的第三斑点和所有的第四斑点整合到一起,并因此获取最终的闭合区域。具体地,将目标图像中被斑点覆盖的区域进行统计以获取最终的闭合区域。
作为示例三,通过示例一中的轮廓检测方式和示例二中的斑点检测方法,分别对目标图像进行处理,并将通过两种处理方法获取的所有闭合区域进行整合,以获得最终的闭合区域。
步骤S240,获取闭合区域和该闭合区域的位置信息,并判断该闭合区域是否满足预设脏污尺寸。
其中,预设脏污尺寸包括预设长宽比阈值和面积阈值,预设长宽比阈值和面积阈值其可以是任意可行的数据。例如,预设长宽比阈值为10、15、27等;面积阈值为0.2平方厘米、0.4平方厘米、0.9平方厘米等。
具体地,计算该闭合区域的最小外接矩形的长宽比和面积。当闭合区域满足最小外接矩形的长宽比小于预设长宽比阈值和/或闭合区域的面积大于面积阈值时,判定该闭合区域为脏污区域。
作为示例一:如果闭合区域的最小外接矩形的长宽比小于预设长宽比阈值,则判定该闭合区域是脏污区域,否则判定该区域不是脏污区域。通过闭合区域的最小外接矩形的长宽比与预设长宽比阈值的大小比较,使清洁机器人避开了地缝区域(地砖与地砖之间或地板与地板之间的衔接处),避免了清洁机器人对非脏污区域的无效清扫。本领域技术人员能够理解的是,由于地缝区域通常为一条细长的线,所以通过选定合适的预设长宽比阈值(如前所述),并使闭合区域的最小外接矩形的长宽比小于该预设长宽比阈值,能够有效剔除长宽比大于预设长宽比阈值的地缝区域。
作为示例二:如果闭合区域的最小外接矩形的长宽比小于预设长宽比阈值,以便剔除诸如地缝区域的长条区域;然后计算闭合区域的面积。如果闭合区域的面积大于面积阈值,再判定该区域是脏污区域,以便剔除面积过小而致使肉眼观察不到的区域。否则判定该区域不是脏污区域。通过对该闭合区域的最小外接矩形的长宽比和闭合区域的面积的计算,使清洁机器人避开了地缝区域的同时,还避免了清洁机器人对用户肉眼看不见的脏污进行清洁,从而在保证用户对地面清洁度要求的前提下,还避免了清洁机器人对地面的过度清洁。
作为示例三:如果闭合区域的面积大于面积阈值是,则判定该闭合区域是脏污区域,否则判定该区域不是脏污区域。
步骤S250,判断洁净度系数是否满足预设清洁条件。
其中,洁净度系数表示将目标图像上的所有脏污区域整合到一起之后所对应的参数,用来表示地面是否干净。
具体地,根据公式计算清洁度系数,其中a表示所述清洁度系数,n表示目标图像内所有有效脏污区域的数量,Gi表示目标图像内第i个有效脏污区域的面积,S表示缩放分辨率。其中,清洁度系数越大表示该脏污区域越明显。
具体地,预设清洁条件包括洁净度阈值,当洁净度系数大于洁净度阈值时,表明洁净度系数满足预设清洁条件。其中,洁净度阈值可以是任意可行的数据,例如,0.04、0.05、0.09等。本领域技术人员可以通过多次实验,来确定洁净度阈值的具体数据。如果洁净度系数大于洁净度阈值,则执行步骤S260。否则清洁机器人继续向前行驶。
本领域技术人员能够理解的是,清洁度系数越大表示该脏污区域越明显。因此,通过洁净度系数与洁净度阈值的对比,不仅能够使清洁机器人快速识别出地面上的脏污区域,还能够避免清洁机器人对地面过度清洁,进而避免了电力的浪费。
步骤S260,将满足预设清洁条件的脏污区域设置为待清扫区域。
具体地,当脏污区域的洁净度系数大于洁净度阈值时,对该脏污区域进行二次清洁。
基于前文的描述可知,本实施例中的清洁机器人通过将图像采集模块设置在清洁机器人的后侧,实现了自动获取清洁机器人清扫后地面的目标图像;通过检测目标图像中的闭合区域,实现了闭合区域的获取;通过获取闭合区域和闭合区域的位置信息,使得清洁机器人能够对每一个闭合区域进行定位,以便对判定为脏污区域的闭合区域进度清洁;通过判断闭合区域是否满足预设脏污尺寸,实现了脏污区域的获取,避免了清扫地缝或肉眼不可见的微小脏污区域。进一步地,如果闭合区域的洁净度系数满足预设清洁条件,则表明该脏污区域为肉眼可见的明显脏污区域,则对该脏污区域进行再次清扫。通过判断脏污区域洁净度系数是否满足预设清洁条件,实现了对肉眼可见的脏污区域的准确获取,也就是说,实现了清洁机器人自动感知清扫后地面的洁净程度,避免了对顽固脏污清扫不彻底的情况;通过对满足预设清洁条件的脏污区域进行再次清扫,实现了清洁机器人高效清扫顽固脏污,避免了大面积重复清扫带来的电力损耗。
在本公开的第三实施例中:
如图3所示,本实施例的清洁机器人的控制方法包括:
步骤S310,将图像采集模块设置在清洁机器人的前侧。
其中,图像采集模块可以是任意具有摄像功能的模块,例如,蓝牙摄像头、红外成像摄像头或普通枪式摄像头等。目标图像是指清洁机器人后置图像采集模块预设拍摄范围内地面的图像。预设拍摄范围可以根据图像采集模块的数据来确定具体的数值。
步骤S320,获取图像采集模块拍摄到的目标图像。
具体地,通过将设置在清洁机器人的前侧的图像采集模块,采集清洁机器人的后侧的图像,以使清洁机器人能够自动检测清洁机器人运动轨迹前方的地面是否存在脏污区域。
具体地,目标图像可以通过任意具有图片提取功能的方式获得,如,从拍摄的视频中提取或直接拍摄目标图像。
作为示例一,清洁机器人通过图像采集模块获取清洁机器人运动轨迹前方的地面的拍摄视频,然后通过对该视频进行帧提取,获得视频帧;最后将该视频帧进行分辨率缩放处理后,获得目标图像。其中,目标图像的缩放分辨率可以是任意可行的数据,例如,640*480ppi、800*600ppi、960*720ppi等。本领域技术人员可以通过多次实验,来确定缩放分辨率的具体数据。
作为示例二,清洁机器人每隔设定时间(例如1秒、2秒、3.5秒等)通过图像采集模拍摄一张照片,该照片即为目标图像。
步骤S330,根据图像检测获取目标图像中的闭合区域。
作为示例一:根据轮廓检测的方式识别出目标图像中的闭合区域。
具体地,对目标图像进行二值化处理以获得二值化图像,然后利用轮廓检测获取二值化图像中的闭合区域。
作为示例二:根据斑点检测的方式识别出所述目标图像中的闭合区域。
具体地,斑点检测方法:预设一个像素阈值范围,并设定阈值步进;然后根据阈值步进在像素阈值范围内选取一系列像素阈值;然后根据预设的每一个像素阈值,分别获取目标图像的一个二值化图像;找到每一个所述二值化图像中的所有斑点;将所有二值化图像中的所有斑点进行整合,以获取目标图像中的所有闭合区域。
其中,像素阈值范围和阈值步进可以是任意可行的数据,本领域技术人员可以通过多次实验,来确定像素阈值范围和阈值步进的具体数据。
以获取的目标图像为彩色图像,对斑点检测进行举例说明:
选取四个像素阈值范围,即第一像素阈值范围(R50-R80,G60-G100, B50-70)、第二像素阈值范围(R80-R110,G90-G130,B80-100)、第三像素阈值范围(R110-R140,G90-G130,B110-130)、第四像素阈值范围(R140-R170, G120-G160,B140-160),则阈值步进为30。
第一步,先根据第一像素阈值范围(R50-R80,G60-G100,B50-70)获取目标图像的第一二值化图像。具体地,判断每一个像素点的像素值是否在第一像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第一二值化图像中的所有斑点,并记作第一斑点。
第二步,先根据第二像素阈值范围(R80-R110,G90-G130,B80-100)获取目标图像的第二二值化图像。具体地,判断每一个像素点的像素值是否在第二像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第二二值化图像中的所有斑点,并记作第二斑点。
第三步,先根据第三像素阈值范围(R110-R140,G90-G130,B110-130) 获取目标图像的第三二值化图像。具体地,判断每一个像素点的像素值是否在第三像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第三二值化图像中的所有斑点,并记作第三斑点。
第四步,先根据第四像素阈值范围(R140-R170,G120-G160,B140-160) 获取目标图像的第四二值化图像。具体地,判断每一个像素点的像素值是否在第四像素阈值范围内,如果在,则将该像素点记作255;如果不在,则记作0。然后再找到第四二值化图像中的所有斑点,并记作第四斑点。
第五步,将所有的第一斑点、所有的第二斑点、所有的第三斑点和所有的第四斑点整合到一起,并因此获取最终的闭合区域。具体地,将目标图像中被斑点覆盖的区域进行统计以获取最终的闭合区域。
作为示例三,通过示例一中的轮廓检测方式和示例二中的斑点检测方法,分别对目标图像进行处理,并将通过两种处理方法获取的所有闭合区域进行整合,以获得最终的闭合区域。
步骤S340,获取闭合区域和闭合区域的位置信息,判断是否满足预设脏污尺寸。
其中,预设脏污尺寸包括预设长宽比阈值和面积阈值,预设长宽比阈值和面积阈值其可以是任意可行的数据。例如,预设长宽比阈值为10、15、27等;面积阈值为0.2平方厘米、0.4平方厘米、0.9平方厘米等。
具体地,计算该闭合区域的最小外接矩形的长宽比和面积。当闭合区域满足最小外接矩形的长宽比小于预设长宽比阈值和/或闭合区域的面积大于面积阈值时,判定该闭合区域为脏污区域。
作为示例一:如果闭合区域的最小外接矩形的长宽比小于预设长宽比阈值,则判定该闭合区域是脏污区域,否则判定该区域不是脏污区域。通过闭合区域的最小外接矩形的长宽比与预设长宽比阈值的大小比较,使清洁机器人避开了地缝区域(地砖与地砖之间或地板与地板之间的衔接处),避免了清洁机器人对非脏污区域的无效清扫。本领域技术人员能够理解的是,由于地缝区域通常为一条细长的线,所以通过选定合适的预设长宽比阈值(如前所述),并使闭合区域的最小外接矩形的长宽比小于该预设长宽比阈值,能够有效剔除长宽比大于预设长宽比阈值的地缝区域。
作为示例二:如果闭合区域的最小外接矩形的长宽比小于预设长宽比阈值以便剔除诸如地缝区域的长条区域;然后计算闭合区域的面积。如果闭合区域的面积大于面积阈值,再判定该区域是脏污区域,以便剔除面积过小而致使肉眼观察不到的区域。否则判定该区域不是脏污区域。通过对该闭合区域的最小外接矩形的长宽比和闭合区域的面积的计算,使清洁机器人避开了地缝区域的同时,还避免了清洁机器人对用户肉眼看不见的脏污进行清洁,从而在保证用户对地面清洁度要求的前提下,还避免了清洁机器人对地面的过度清洁。
作为示例三:如果闭合区域的面积大于面积阈值是,则判定该闭合区域是脏污区域,否则判定该区域不是脏污区域。
步骤S350,判断洁净度系数是否满足预设清洁条件,对满足预设清洁条件的脏污区域进行位置信息标记。
其中,洁净度系数表示将目标图像上的所有脏污区域整合到一起之后所对应的参数,用来表示地面是否干净。
具体地,根据公式计算清洁度系数,其中a表示所述清洁度系数,n表示目标图像内所有有效脏污区域的数量,Gi表示目标图像内第i个有效脏污区域的面积,S表示缩放分辨率。其中,清洁度系数越大表示该脏污区域越明显。
具体地,预设清洁条件包括洁净度阈值,当洁净度系数大于洁净度阈值时,表明该脏污区域的洁净度系数满足预设清洁条件。其中,洁净度阈值可以是任意可行的数据,例如,0.04、0.05、0.09等。本领域技术人员可以通过多次实验,来确定洁净度阈值的具体数据。如果洁净度系数大于洁净度阈值,则执行步骤S360。否则清洁机器人继续向前行驶。
本领域技术人员能够理解的是,清洁度系数越大表示该脏污区域越明显。因此,通过洁净度系数与洁净度阈值的对比,不仅可以使清洁机器人能够快速识别出地面上的脏污区域,还能够避免清洁机器人对地面过度清洁,进而避免了电力的浪费。
步骤S360,将满足预设清洁条件的脏污区域设置为待清扫区域。
具体地,当脏污区域的洁净度系数大于洁净度阈值时,对该脏污区域进行着重清洁。例如,据此更改清洁机器人滚刷的转速、吸尘风机的功率等。
基于前文的描述可知,本实施例中的清洁机器人通过将图像采集模块设置在清洁机器人的前侧,自动获取待清扫地面的目标图像,实现了提前预判地面情况;通过检测目标图像中的闭合区域,实现了闭合区域的获取;通过获取闭合区域和闭合区域的位置信息,使得清洁机器人能够对每一个闭合区域进行定位,以便对判定为脏污区域的闭合区域进度清洁;通过判断闭合区域是否满足预设脏污尺寸,实现了脏污区域的获取,避免了清扫地缝或肉眼不可见的微小脏污区域。进一步地,如果闭合区域的洁净度系数满足预设清洁条件,则表明该脏污区域为肉眼可见的明显脏污区域,则对该脏污区域进行再次清洁。通过判断脏污区域洁净度系数是否满足预设清洁条件,实现了对肉眼可见的脏污区域的准确获取,也就是说,实现了清洁机器人提前预判待清扫地面的洁净程度;通过对满足预设清洁条件的脏污区域进行着重清扫,实现了清洁机器人高效清扫顽固脏污,避免了大面积清扫带来的电力损耗和持续噪声污染。
在本公开的第四实施例中:
如图4所示,本公开还提供了一种清洁机器人。该清洁机器人在硬件层面上包括处理器,可选地还包括存储器和总线,此外该清洁机器人还允许包括其它业务所需要的硬件。
其中,存储器用于存放执行指令,该执行指令具体是能够被执行的计算机程序。进一步,存储器可以包括内存和非易失性存储器(non-volatile memory),并向处理器提供执行指令和数据。示例性地,内存可以是高速随机存取存储器 (Random-Access Memory,RAM),非易失性存储器可以是至少1个磁盘存储器。
其中,总线用于将处理器、存储器和网络接口相互连接到一起。该总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、 PCI(PeripheralComponent Interconnect,外设部件互连标准)总线、 EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为了便于表示,图4中仅用一个双向箭头表示,但这并不表示仅有一根总线或一种类型的总线。
在上述控制方法的一种可行的实施方式中,处理器可以先从非易失性存储器中读取对应的执行指令到内存中再运行,也可以先从其它设备上获取相应的执行指令再运行。处理器在执行存储器所存放的执行指令时,能够实现本公开上述任意一个控制方法实施例中的控制方法。
本领域技术人员能够理解的是,上述的控制方法可以应用于处理器中,也可以借助处理器来实现。示例性地,处理器是一种集成电路芯片,具有处理信号的能力。在处理器执行上述控制方法的过程中,上述控制方法的各步骤可以通过处理器中硬件形式的集成逻辑电路或软件形式的指令完成。进一步,上述处理器可以是通用处理器,例如中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、数字信号处理器(Digital Signal Processor, DSP)、专用集成电路(Application Specific IntegratedCircuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、微处理器以及其它任何常规的处理器。
本领域技术人员还能够理解的是,本公开上述控制方法实施例的步骤可以被硬件译码处理器执行完成,也可以被译码处理器中的硬件和软件模块组合执行完成。其中,软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等其它本领域成熟的存储介质中。该存储介质位于存储器中,处理器读取存储器中的信息之后结合其硬件完成上述控制方法实施例中步骤的执行。
至此,已经结合前文的多个实施例描述了本公开的技术方案,但是,本领域技术人员容易理解的是,本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下,本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合,也可以对相关技术特征作出等同的更改或替换,凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。
Claims (10)
1.一种清洁机器人的控制方法,其特征在于,所述清洁机器人包括图像采集模块,所述图像采集模块用于获取清洁对象表面的图像信息,所述控制方法包括:
获取所述图像采集模块拍摄到的目标图像;
获取所述目标图像上的脏污区域和所述脏污区域的位置信息;
所述获取所述目标图像上的所述脏污区域包括:将目标图像中的最小外接矩形的长宽比小于预设长宽比阈值的闭合区域作为所述脏污区域,以剔除长宽比大于预设长宽比阈值的地缝区域;
根据所述目标图像上的所有脏污区域的尺寸,确定相应的洁净度系数;
若所述洁净度系数满足预设清洁条件,则根据所述脏污区域的位置信息,移动至所述脏污区域处,对所述脏污区域进行清洁。
2.根据权利要求1所述的控制方法,其特征在于,所述获取所述目标图像上的脏污区域,包括:
检测所述目标图像中的闭合区域;
从检测出的闭合区域中,确定满足预设脏污尺寸的闭合区域,以作为脏污区域。
3.根据权利要求2所述的控制方法,其特征在于,所述预设脏污尺寸包括:
所述闭合区域的面积大于面积阈值。
4.根据权利要求1-3中任一项所述的控制方法,其特征在于,所述图像采集模块设置在所述清洁机器人的前侧,以使所述图像采集模块能够采集所述清洁机器人未清洁的表面的图像信息,并因此获得所述目标图像。
5.根据权利要求1-3中任一项所述的控制方法,其特征在于,所述图像采集模块设置在所述清洁机器人的后侧,以使所述图像采集模块能够采集所述清洁机器人清洁过的表面的图像信息,并因此获得所述目标图像。
6.根据权利要求2或3所述的方法,其特征在于,所述检测所述目标图像中的闭合区域,包括:
以轮廓检测的方式识别出所述目标图像中的闭合区域。
7.根据权利要求2或3所述的控制方法,其特征在于,所述检测所述目标图像中的闭合区域,包括:
以斑点检测的方式识别出所述目标图像中的闭合区域。
8.根据权利要求7所述的控制方法,其特征在于,所述以斑点检测的方式识别出所述目标图像中的闭合区域,包括:
根据预设的每一个像素阈值,分别获取所述目标图像的一个二值化图像;
确定每一个所述二值化图像中的闭合区域;
从确定出的闭合区域中滤除重复的闭合区域,以获取所述目标图像的闭合区域。
9.根据引用权利要求1至3中任一项所述的控制方法,其特征在于,所述预设清洁条件包括:
所述目标图像内所有脏污区域的脏污面积与所述目标图像的分辨率的比值大于预设洁净度阈值。
10.一种清洁机器人,其特征在于,所述清洁机器人包括处理器、存储器和存储在所述存储器上的执行指令,所述执行指令设置成在被所述处理器执行时能够使所述清洁机器人执行权利要求1至9中任一项所述的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011176819.5A CN112274065B (zh) | 2020-10-29 | 2020-10-29 | 清洁机器人及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011176819.5A CN112274065B (zh) | 2020-10-29 | 2020-10-29 | 清洁机器人及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112274065A CN112274065A (zh) | 2021-01-29 |
CN112274065B true CN112274065B (zh) | 2022-04-05 |
Family
ID=74372709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011176819.5A Active CN112274065B (zh) | 2020-10-29 | 2020-10-29 | 清洁机器人及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112274065B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117918752A (zh) * | 2021-06-15 | 2024-04-26 | 曲阜信多达智能科技有限公司 | 一种清洁机器人系统的控制方法 |
CN113907649A (zh) * | 2021-10-19 | 2022-01-11 | 微思机器人(深圳)有限公司 | 一种清扫的方法、装置、扫地机器人及存储介质 |
CN114129092B (zh) * | 2021-12-08 | 2022-10-14 | 上海景吾智能科技有限公司 | 清洁机器人清洁区域规划系统及方法 |
CN116509266A (zh) * | 2022-01-24 | 2023-08-01 | 追觅创新科技(苏州)有限公司 | 清洁设备的控制方法、设备及存储介质 |
CN115444325A (zh) * | 2022-07-21 | 2022-12-09 | 深圳银星智能集团股份有限公司 | 二次清洁方法、装置、清洁机器人及存储介质 |
CN115462709B (zh) * | 2022-08-09 | 2023-10-31 | 云鲸智能(深圳)有限公司 | 清洁方法、清洁机器人及清洁系统 |
CN115365196A (zh) * | 2022-08-19 | 2022-11-22 | 国网福建省电力有限公司福州供电公司 | 一种配网架空线路绝缘端子脏污清洗设备 |
CN116269061A (zh) * | 2022-09-07 | 2023-06-23 | 云鲸智能(深圳)有限公司 | 清洁机器人及其控制方法、装置、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105380575A (zh) * | 2015-12-11 | 2016-03-09 | 美的集团股份有限公司 | 扫地机器人的控制方法、系统、云服务器和扫地机器人 |
CN108937726A (zh) * | 2017-11-27 | 2018-12-07 | 炬大科技有限公司 | 一种基于清洁度识别的清洁机器人唤醒方法及装置 |
CN109330501A (zh) * | 2018-11-30 | 2019-02-15 | 深圳乐动机器人有限公司 | 一种清洁地面的方法及扫地机器人 |
CN109523527A (zh) * | 2018-11-12 | 2019-03-26 | 北京地平线机器人技术研发有限公司 | 图像中脏污区域的检测方法、装置和电子设备 |
CN110693397A (zh) * | 2019-10-29 | 2020-01-17 | 珠海市一微半导体有限公司 | 清洁机器人的控制方法、清洁机器人及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102071947B1 (ko) * | 2013-05-10 | 2020-01-31 | 삼성전자주식회사 | 청소 로봇 및 그 제어방법 |
-
2020
- 2020-10-29 CN CN202011176819.5A patent/CN112274065B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105380575A (zh) * | 2015-12-11 | 2016-03-09 | 美的集团股份有限公司 | 扫地机器人的控制方法、系统、云服务器和扫地机器人 |
CN108937726A (zh) * | 2017-11-27 | 2018-12-07 | 炬大科技有限公司 | 一种基于清洁度识别的清洁机器人唤醒方法及装置 |
CN109523527A (zh) * | 2018-11-12 | 2019-03-26 | 北京地平线机器人技术研发有限公司 | 图像中脏污区域的检测方法、装置和电子设备 |
CN109330501A (zh) * | 2018-11-30 | 2019-02-15 | 深圳乐动机器人有限公司 | 一种清洁地面的方法及扫地机器人 |
CN110693397A (zh) * | 2019-10-29 | 2020-01-17 | 珠海市一微半导体有限公司 | 清洁机器人的控制方法、清洁机器人及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112274065A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112274065B (zh) | 清洁机器人及其控制方法 | |
CN110693397B (zh) | 清洁机器人的控制方法、清洁机器人及介质 | |
CN106377209B (zh) | 可移动清洁设备及其控制方法 | |
JP5624998B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び移動体 | |
CN112716376A (zh) | 基于扫地机的清洁方法、装置、可读存储介质及电子设备 | |
CN111358362B (zh) | 视觉机器人的清扫控制方法、装置、芯片及扫地机器人 | |
CN109951636A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
CN112842184B (zh) | 一种清扫方法及清洁机器人 | |
JP2007524950A (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
JP5725194B2 (ja) | 夜景画像ボケ検出システム | |
KR20190046201A (ko) | 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법 | |
JP5454065B2 (ja) | 空気調和機 | |
CN105467985A (zh) | 自移动表面行走机器人及其图像处理方法 | |
CN111724383A (zh) | 基于转盘的摄像头模组黑斑检测系统 | |
CN108968825B (zh) | 一种扫地机器人和机器人扫地方法 | |
CN111012254A (zh) | 智能扫地机器人 | |
JP3112400B2 (ja) | 駐車場の空き場所認識装置および方法 | |
WO2023019793A1 (zh) | 一种确定方法、清洁机器人和计算机存储介质 | |
CN112971644B (zh) | 扫地机器人的清洁方法、装置、存储介质和扫地机器人 | |
JP2021051381A (ja) | 付着物検出装置および付着物検出方法 | |
CN116167969A (zh) | 镜头脏污检测方法、装置、车辆、存储介质及程序产品 | |
CN112748721A (zh) | 视觉机器人及其清洁控制方法、系统和芯片 | |
KR102504411B1 (ko) | 오염물 인식장치 | |
CN110430361B (zh) | 一种视窗清洁方法及装置 | |
CN110946512A (zh) | 基于激光雷达和摄像头的扫地机器人的控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |