CN113538358A - 机器人行走纠偏方法、装置、智能机器人和存储介质 - Google Patents
机器人行走纠偏方法、装置、智能机器人和存储介质 Download PDFInfo
- Publication number
- CN113538358A CN113538358A CN202110779858.2A CN202110779858A CN113538358A CN 113538358 A CN113538358 A CN 113538358A CN 202110779858 A CN202110779858 A CN 202110779858A CN 113538358 A CN113538358 A CN 113538358A
- Authority
- CN
- China
- Prior art keywords
- robot
- walking
- image
- real
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 abstract description 11
- 238000012937 correction Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 235000009508 confectionery Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005488 sandblasting Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Abstract
本申请适用于机器人技术领域,提供了一种机器人行走纠偏方法、装置、智能机器人和存储介质,所述机器人行走纠偏方法包括:机器人获取对目标进行作业的实时图像;对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;根据所述偏移值调整所述机器人的位置和姿态。本申请可提高机器人作业时行走纠偏的准确性和时效性,避免遗漏清洗区域,有效提高作业效率。
Description
技术领域
本申请涉及机器人技术领域,尤其涉及一种机器人行走纠偏方法、装置、智能机器人和存储介质。
背景技术
近年来,人工喷砂除锈逐渐被机器人超高压水除锈替代。利用爬壁机器人可实现船舶清洗除锈。
目前,作业于清洗除锈的爬壁机器人依赖人工手动遥控操作,通过人工手动遥控调整机器人的轨迹和姿态,然而,该种方式依赖于操作人员的肉眼观测,观测易出现误差,遇到复杂工作表面,机器人易打滑偏移,手动遥控调整机器人的偏移有延迟,调整准确性较低,这易造成遗漏清洗区域,且作业效率较低。
发明内容
本申请实施例提供了一种机器人行走纠偏方法、装置、智能机器人和存储介质,可以解决现有技术中机器人易打滑偏移,人工肉眼观测存在误差,手动遥控调整机器人的偏移有延迟及误差,这易造成遗漏清洗区域,作业效率较低的问题。
第一方面,本申请实施例提供了一种机器人行走纠偏方法,包括:
机器人获取对目标进行作业的实时图像;
对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;
根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;
根据所述偏移值调整所述机器人的位置和姿态。
在第一方面的一种可能的实现方式中,所述对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹的步骤,包括:
对所述实时图像进行仿射变换,获取感兴趣区域图像;
对所述感兴趣区域图像进行图像滤波处理;
基于所述图像滤波处理的结果,提取所述感兴趣区域图像的图像特征信息;
根据提取到的图像特征信息,确定所述机器人的行走轨迹。
在第一方面的一种可能的实现方式中,所述根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值的步骤,包括:
将所述行走轨迹与所述指定基准线进行特征点匹配;
若存在无法匹配的特征点,则确定所述机器人行走存在偏移;
根据所述无法匹配的特征点,确定所述机器人行走轨迹的偏移值。
在第一方面的一种可能的实现方式中,所述根据所述偏移值调整所述机器人的位置和姿态,包括:
判断所述偏移值是否在预设偏移阈值范围内;
若所述偏移值超出所述偏移阈值范围,则获取所述机器人当前的行走速度;
根据所述偏移值与所述行走速度,调整所述机器人的位置和姿态。
在第一方面的一种可能的实现方式中,在所述根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值的步骤之前,包括:
对所述实时图像进行异常检测,检测所述实时图像是否存在异常;
若所述实时图像存在异常,则重新获取所述机器人对所述目标进行作业的实时图像;
对所述重新获取的实时图像进行预处理,并根据预处理的结果获取所述机器人的行走轨迹。
在第一方面的一种可能的实现方式中,所述对所述实时图像进行异常检测,检测所述实时图像是否存在异常的步骤,包括:
获取所述机器人对目标进行作业的历史图像;
将所述历史图像与所述实时图像进行匹配,并根据匹配结果确定所述实时图像是否存在干扰;
若所述实时图像存在干扰,则确定所述实时图像存在异常。
在第一方面的一种可能的实现方式中,所述机器人行走纠偏方法还包括:
将所述实时图像与所述偏移值发送至遥控终端显示。
第二方面,本申请实施例提供了一种机器人行走纠偏装置,包括:
图像获取单元,用于机器人获取对目标进行作业的实时图像;
图像处理单元,用于对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;
偏移值确定单元,用于根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;
行走纠偏单元,用于根据所述偏移值调整所述机器人的位置和姿态。
第三方面,本申请实施例提供了一种智能机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的机器人行走纠偏方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的机器人行走纠偏方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在智能机器人上运行时,使智能机器人执行如上述第一方面所述的机器人行走纠偏方法。
本申请实施例中,通过机器人获取对目标进行作业的实时图像,然后对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹,再根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值,机器人根据所述偏移值自动调整所述机器人的位置和姿态,无需人工手动遥控调整,可提高机器人作业行走时纠偏的准确性和时效性,避免遗漏清洗区域,有效提高作业效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机器人行走纠偏方法的实现流程图;
图2是应用本申请实施例提供的机器人行走纠偏方法的一种机器人结构示意图;
图3是本申请实施例提供的机器人行走纠偏方法中步骤S102的具体实现流程图;
图4是本申请实施例提供的机器人行走纠偏方法中步骤S103的具体实现流程图;
图5是本申请实施例提供的机器人行走纠偏方法中图像异常时获取行走轨迹的一种具体实现流程图;
图6是本申请实施例提供的机器人行走纠偏方法中对图像进行异常检测的一种具体实现流程图;
图7是本申请实施例提供的机器人行走纠偏方法中步骤S104的具体实现流程图;
图8是本申请实施例提供的机器人行走纠偏装置的结构框图;
图9是本申请实施例提供的智能机器人的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例提供的机器人行走纠偏方法中,机器人在对目标进行作业时获取实时图像,并对该实时图像进行预处理,获取机器人的运动轨迹,然后根据该运动轨迹与指定基准线的比较结果,确定该机器人的实际位置和姿态与理想位置和姿态之间的偏移差值,进而根据该偏移差值调整机器人的位置和姿态,使得机器人的实际运动轨迹更好地接近理想的运动轨迹,从而避免清洗除锈作业过程中的漏打、重复打问题,无需人工肉眼远距离观测控制操作,可提高作业效率和作业效果。
图1示出了本申请实施例提供的机器人行走纠偏方法的实现流程,该方法流程包括步骤S101至S104。各步骤的具体实现原理如下:
S101:机器人获取对目标进行作业的实时图像。
上述机器人可以为清洗机器人、除锈机器人等智能机器人。上述目标可以为需清洗除锈的船舶表面。上述作业包括但不限于清洗、除锈。机器人在行走过程中执行清洗、除锈等操作。
在本申请实施例中,上述机器人装配有摄像头。该摄像头用于采集机器人在上述目标中行走作业的实时图像。
在一些实施方式中,上述实时图像包括第一图像和第二图像。上述机器人装配有双摄像头,即机器人装配有前置摄像头和后置摄像头。该前置摄像头用于采集机器人行走方向视野范围内的第一图像,该后置摄像头用于采集机器人行走方向的反方向视野范围内的第二图像。根据上述第一图像和上述第二图像,得到上述实时图像。
示例性地,图2示出的是应用本申请实施例提供的机器人行走纠偏方法的机器人的部分结构框图。参考图2,机器人包括:可调角度固定板1、工业防水相机2、防水光源3、清洗结构4、电控箱5,在一种可能的实施方式中,上述机器人还包括运动控制模块和图像模块,运动控制模块通过串口与图像模块进行通信,图像模块与遥控终端通过无线信号进行通信。本领域技术人员可以理解,图2中示出的机器人的结构并不构成对本申请实施例中机器人结构的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在一种可能的实施方式中,根据用户需求,机器人还包括各种功能模块例如AI模块、传感器模块、电池模块、存储模块等。上述传感器模块用于辅助机器人的摄像头侦测感应,可加强侦测的精度、灵敏度以及范围等。上述电池模块用于为机器人供电,以使得机器人可保持工作。上述存储模块具有存储功能,可将摄像头拍摄的图像和视频存储记录。进一步地,机器人通过网络通信模块将上述存储模块中存储的图像和视频上传至遥控终端,从而减轻存储模块存储空间压力。
S102:对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹。
本申请实施例中,通过对上述机器人获取的实时图像进行预处理,进而得到机器人的行走轨迹。
在一种可能的实施方式中,上述预处理包括及机器学习,具体地,将上述实时图像输入至训练好的机器学习模型,根据该机器学习模型的输出结果,获取所述机器人的行走轨迹。
在一种可能的实施方式中,上述预处理还包括对上述实时图像进行翻转、拉伸以完成图像归一化,以使得图像特征、物理尺寸和像素比例三者成正比。
在本申请实施例中,通过对实时图像进行归一化处理,使得用于获取机器人行走轨迹的实时图像的第一侧均为待作业区域,第二侧均为已作业区域。第一侧可以为左侧,第二侧为右侧,反之亦可。
作为本申请一种可能的实施方式,图3示出了本申请实施例提供的机器人行走纠偏方法步骤S102的具体实现流程,详述如下:
A1:对所述实时图像进行仿射变换,获取感兴趣区域图像。
本申请实施例中,通过仿射变换截取上述实时图像中的感兴趣区域图像。所述感兴趣区域图像包括上述目标的待作业区域和已作业区域,例如,待清洗区域和已清洗区域。其中,所述已清洗区域和所述待清洗区域指的是当前机器人的摄像头视野范围内的已清洗区域和待清洗区域,而不是上述目标中全部的已清洗区域和待清洗区域。例如,上述感兴趣区域图像中包括“有锈”区域和“无锈”区域。
A2:对所述感兴趣区域图像进行图像滤波处理。
本申请实施例中,上述滤波处理包括双边滤波处理、Candy滤波处理以及拉普拉斯算子滤波处理。具体地,对上述感兴趣区域图像进行双边滤波处理,去掉图像的干扰(锈斑、油漆残留等)信息,保留上述感兴趣区域图像的边界信息。对上述感兴趣区域图像进行Candy滤波,以提取感兴趣区域图像的边缘信息,所述Candy滤波用于提取图像的边缘信息。对上述感兴趣区域图像进行拉普拉斯算子滤波,进行图像增强。
A3:基于所述图像滤波处理的结果,提取所述感兴趣区域图像的图像特征信息。上述图像特征信息包括上述感兴趣区域图像中机器人行走轨迹的图像特征信息。
A4:根据提取到的图像特征信息,确定所述机器人的行走轨迹。
本申请实施例中,可对上述感兴趣区域图像的图像特征信息进行纹理验证,根据纹理验证的结果确定所述机器人的行走轨迹。
在可能的实施方式中,上述图像特征信息包括直线信息,通过霍夫线变换得到直线信息,根据该直线信息,对上述感兴趣区域图像的图像特征信息进行纹理验证。在另一可能的实施方式中,上述图像特征信息包括图像聚点信息,通过图像Hu矩得到图像聚点信息(可以理解为一个图像的重心)。根据上述直线信息或者图像聚点信息,验证上述图像特征信息中的杂点,利用开运算去除验证失败的杂点,然后将上述感兴趣区域图像经过先膨胀连接黑块,再用自定义的更大核尺寸的腐蚀,在不断线的情况下将膨胀的区间腐蚀回原位,据此完成一些断线重连,重复线的合并,从而确定所述机器人的行走轨迹。通过图像进行纹理验证,提高特征提取的准确性。
本申请实施例中,机器人通过对上述实时图像进行仿射变换,获取感兴趣区域图像,仅对感兴趣区域图像进行图像滤波处理,然后基于图像滤波处理的结果,提取所述感兴趣区域的图像特征信息,可提高特征提取的效率,再根据提取到的图像特征信息,确定机器人的行走轨迹,可提高行走轨迹确定的有效性。
S103:根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值。
机器人对目标进行作业时,需要沿着预定的轨迹行走,遍历完整个目标的作业区域,从而完成作业。想要使机器人能够准确地完成自动作业,其行走轨迹必须有个参考基准,本申请实施例中,上述指定基准线是上一道作业过的表面与尚未作业的表面的边界线,该边界线即为参考基准。
例如,机器人在船舶表面进行清洗作业时,需要沿着预定的行走轨迹运动,遍历完整个作业区域,从而完成整个指定作业面的清洗作业。上一道清洗过的表面与尚未清洗的表面的边界线即为行走轨迹的参考基准。在本申请实施例中,机器人刚开始作业时,这条边界线是不存在的,需要手动控制机器人先清洗出一道轨迹。此后,该轨迹作为参考基准,对下一道运动轨迹进行纠偏控制,如此周而复始,直至完成整个作业面的清洗作业。
作为本申请一种可能的实施方式,图4示出了本申请实施例提供的机器人行走纠偏方法步骤S103的具体实现流程,详述如下:
B1:将所述行走轨迹与所述指定基准线进行特征点匹配。
本申请实施例中,可采用现有的特征点匹配算法对上述行走轨迹和上述指定基准线进行特点匹配,此处不赘述。
B2:若存在无法匹配的特征点,则确定所述机器人行走存在偏移。
本申请实施例中,将提取的所述感兴趣区域图像的图像特征信息与上述指定基准线对应的图像特征信息进行相似性匹配,根据相似性匹配的结果确定上述机器人的行走是否存在偏移。具体地,若存在无法匹配的特征点,则确定该机器人行走存在偏移。
B3:根据所述无法匹配的特征点,确定所述机器人的偏移值。
本申请实施例中,根据所述无法匹配的特征点在上述感兴趣区域图像中的位置,确定所述机器人行走轨迹的偏移值。具体地,在上述感兴趣区域图像中上下无法匹配的点是机器人运动方向上前进后退的距离,在上述感兴趣区域图像中左右无法匹配的点则表示机器人左右发生偏移的方向。根据上述距离和上述方向,确定所述机器人的偏移值。
作为本申请一种可能的实施方式,如图5所示,本申请实施例提供的机器人行走纠偏方法中,在上述根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移的步骤之前,还包括:
C1:对所述实时图像进行异常检测,检测所述实时图像是否存在异常。
上述异常检测包括干扰检测。上述检测所述实时图像是否存在异常包括检测所述实时图像是否存在干扰。作为本申请一种可能的实施方式,如图6所示,本申请实施例提供的机器人行走纠偏方法中,在上述步骤C1具体包括:
C11:获取所述机器人对目标进行作业的历史图像。
上述历史图像可以为预设时长之前所述机器人对所述目标进行作业的图像。
C12:将所述历史图像与所述实时图像进行匹配,并根据匹配结果确定所述实时图像是否存在干扰。
上述干扰包括障碍物,本申请实施例中,通过将实时图像与历史图像进行匹配,根据匹配结果确定上述实时图像中是否存在障碍物干扰了图像特征的提取。上述图像匹配的算法参考现有技术,此处不赘述。
C13:若所述实时图像存在干扰,则确定所述实时图像存在异常。
若上述实时图像中存在干扰,则可确定该实时图像存在异常,该实时图像不准确。
C2:若所述实时图像存在异常,则重新获取所述机器人对所述目标进行作业的实时图像。
异常的图像会影响图像特征提取的准确性,若上述实时图像存在异常,则将该实时图像标记为异常,重新获取所述机器人对所述目标进行作业的实时图像。
C3:对所述重新获取的实时图像进行预处理,并根据预处理的结果获取所述机器人的行走轨迹。
本申请实施例中,通过检测实时图像是否存在异常,若确定实时图像存在异常,重新获取机器人对目标进行作业的实时图像,对所述重新获取的实时图像进行预处理,并根据预处理的结果获取所述机器人的行走轨迹,以提高行走轨迹确定的准确性。
S104:根据所述偏移值调整所述机器人的位置和姿态。
在本申请实施例中,上述偏移值包括偏移角度和偏移距离。在一些实施方式中,根据预设偏移值参量对照表,确定所述偏移值对应的调整参量值。所述预设偏移值参量对照表包括偏移角度、偏移距离以及调整参量值三者的映射关系。根据确定的上述调整参量值对机器人的参数进行调整,从而调整所述机器人的位置和姿态。
作为本申请一种可能的实施方式,图7示出了本申请实施例提供的机器人行走纠偏方法步骤S104的具体实现流程,详述如下:
D1:判断所述偏移值是否在预设偏移阈值范围内;
上述预设偏阈值范围可以是用户预先自定义的。判断上述偏移值是否落在上述预设偏移阈值范围内。
D2:若所述偏移值超出所述预设偏移阈值范围,则获取所述机器人当前的行走速度。
本申请实施例中,允许机器人在上述预设偏移阈值范围内的偏移。若上述偏移值落在上述预设偏移阈值范围内,即认为该机器人行走未偏移。当上述偏移值超出上述预设便宜阈值范围,即确定该机器人行走出现偏移,此时,获取所述机器人当前的行走速度。
D3:根据所述偏移值与所述行走速度,调整所述机器人的位置和姿态。
由于行走速度影响偏移值的大小,本申请实施例中,根据所述偏移方向、偏移距离以及所述行走速度,调整机器人的位置和姿态,以提高机器人位置姿态调整的有效性。
本申请实施例中,通过调整机器人左右电机的转速来调整机器人的位置和姿态。具体地,机器人根据当前的行走速度及上述偏移值确定对应的控制调整策略及调整参数值,基于该控制调整策略及调整参数值,确定机器人左右电机的转速差值,来控制机器人的左右电机按照不同的转速转动,从而调整机器人的位置和姿态,实现纠偏。
作为本申请一种可能的实施方式,本申请实施例提供的机器人行走纠偏方法中,机器人还将所述实时图像与所述偏移值发送至遥控终端显示。具体地,机器人将上述实时图像、经过预处理后的图像以及上述偏移值,均发送至遥控终端,并在所述遥控终端上显示,供操作人员监控、参考。操作人员可根据遥控终端上显示的信息远程判断机器人的行走轨迹是否符合预期等。
在一些实施方式中,上述机器人同时支持接收上述遥控终端发送的控制指令,基于该控制指令进行纠偏。即机器人依然可接收操作人员通过遥控终端发送的控制指令,可进一步确保对机器人行走纠偏的有效性。
由上可见,本申请实施例中,通过机器人获取对目标进行作业的实时图像,然后对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹,再根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值,机器人根据所述偏移值自动调整所述机器人的位置和姿态,无需人工手动遥控调整,可提高纠偏的准确性和时效性,避免遗漏清洗区域,有效提高作业效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的机器人行走纠偏方法,图8示出了本申请实施例提供的机器人行走纠偏装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图8,该机器人行走纠偏装置包括:图像获取单元81,图像处理单元82,偏移值确定单元83,行走纠偏单元84,其中:
图像获取单元81,用于机器人获取对目标进行作业的实时图像;
图像处理单元82,用于对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;
偏移值确定单元83,用于根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;
行走纠偏单元84,用于根据所述偏移值调整所述机器人的位置和姿态。
作为本申请一种可能的实施方式,上述图像处理单元82包括:
感兴趣区域确定模块,用于对所述实时图像进行仿射变换,获取感兴趣区域图像;
图像处理模块,用于对所述感兴趣区域图像进行图像滤波处理;
特征提取模块,用于基于所述图像滤波处理的结果,提取所述感兴趣区域图像的图像特征信息;
行走轨迹确定模块,用于根据提取到的图像特征信息,确定所述机器人的行走轨迹。
作为本申请一种可能的实施方式,上述偏移值确定单元83包括:
特征点匹配模块,用于将所述行走轨迹与所述指定基准线进行特征点匹配;
偏移确定模块,用于若存在无法匹配的特征点,则确定所述机器人行走存在偏移;
偏移值确定模块,用于根据所述无法匹配的特征点,确定所述机器人的偏移值。
作为本申请一种可能的实施方式,上述行走纠偏单元84包括:
偏移值范围判断模块,用于判断所述偏移值是否在预设偏移阈值范围内;
行走速度获取模块,用于若所述偏移值超出所述偏移阈值范围,则获取所述机器人当前的行走速度;
行走纠偏模块,用于根据所述偏移值与所述行走速度,调整所述机器人的位置和姿态。
作为本申请一种可能的实施方式,上述机器人行走纠偏装置还包括:
异常检测单元,用于对所述实时图像进行异常检测,检测所述实时图像是否存在异常;
上述图像获取单元81,还用于若所述实时图像存在异常,则重新获取所述机器人对所述目标进行作业的实时图像;
上述图像处理单元82,还用于对所述重新获取的实时图像进行预处理,并根据预处理的结果获取所述机器人的行走轨迹。
作为本申请一种可能的实施方式,上述异常检测单元包括:
历史图像获取模块,用于获取所述机器人对目标进行作业的历史图像;
干扰判断模块,用于将所述历史图像与所述实时图像进行匹配,并根据匹配结果确定所述实时图像是否存在干扰;
异常检测模块,用于若所述实时图像存在干扰,则确定所述实时图像存在异常。
作为本申请一种可能的实施方式,上述机器人行走纠偏装置还包括:
图像信息发送单元,用于将所述实时图像与所述偏移值发送至遥控终端显示。
由上可见,本申请实施例中,通过机器人获取对目标进行作业的实时图像,然后对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹,再根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值,机器人根据所述偏移值自动调整所述机器人的位置和姿态,无需人工手动遥控调整,可提高纠偏的准确性和时效性,避免遗漏清洗区域,有效提高作业效率。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如图1至图7表示的任意一种机器人行走纠偏方法的步骤。
本申请实施例还提供一种智能机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如图1至图7表示的任意一种机器人行走纠偏方法的步骤。
本申请实施例还提供一种计算机程序产品,当该计算机程序产品在智能机器人上运行时,使得智能机器人执行实现如图1至图7表示的任意一种机器人行走纠偏方法的步骤。
图9是本申请一实施例提供的智能机器人的示意图。如图9所示,该实施例的智能机器人9包括:处理器90、存储器91以及存储在所述存储器91中并可在所述处理器90上运行的计算机程序92。所述处理器90执行所述计算机程序92时实现上述各个机器人行走纠偏方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,所述处理器90执行所述计算机程序92时实现上述各装置实施例中各模块/单元的功能,例如图8所示单元81至84的功能。
示例性的,所述计算机程序92可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器91中,并由所述处理器90执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机程序92在所述智能机器人9中的执行过程。
所述智能机器人9可以为爬壁机器人。所述智能机器人9可包括,但不仅限于,处理器90、存储器91。本领域技术人员可以理解,图9仅仅是智能机器人9的示例,并不构成对智能机器人9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述智能机器人9还可以包括输入输出设备、网络接入设备、总线等。
所述处理器90可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91可以是所述智能机器人9的内部存储单元,例如智能机器人9的硬盘或内存。所述存储器91也可以是所述智能机器人9的外部存储设备,例如所述智能机器人9上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器91还可以既包括所述智能机器人9的内部存储单元也包括外部存储设备。所述存储器91用于存储所述计算机程序以及所述智能机器人所需的其他程序和数据。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种机器人行走纠偏方法,其特征在于,包括:
机器人获取对目标进行作业的实时图像;
对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;
根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;
根据所述偏移值调整所述机器人的位置和姿态。
2.根据权利要求1所述的机器人行走纠偏方法,其特征在于,所述对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹的步骤,包括:
对所述实时图像进行仿射变换,获取感兴趣区域图像;
对所述感兴趣区域图像进行图像滤波处理;
基于所述图像滤波处理的结果,提取所述感兴趣区域图像的图像特征信息;
根据提取到的图像特征信息,确定所述机器人的行走轨迹。
3.根据权利要求1所述的机器人行走纠偏方法,其特征在于,所述根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值的步骤,包括:
将所述行走轨迹与所述指定基准线进行特征点匹配;
若存在无法匹配的特征点,则确定所述机器人行走存在偏移;
根据所述无法匹配的特征点,确定所述机器人行走轨迹的偏移值。
4.根据权利要求1所述的机器人行走纠偏方法,其特征在于,所述根据所述偏移值调整所述机器人的位置和姿态,包括:
判断所述偏移值是否在预设偏移阈值范围内;
若所述偏移值超出所述偏移阈值范围,则获取所述机器人当前的行走速度;
根据所述偏移值与所述行走速度,调整所述机器人的位置和姿态。
5.根据权利要求1所述的机器人行走纠偏方法,其特征在于,在所述根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值的步骤之前,包括:
对所述实时图像进行异常检测,检测所述实时图像是否存在异常;
若所述实时图像存在异常,则重新获取所述机器人对所述目标进行作业的实时图像;
对所述重新获取的实时图像进行预处理,并根据预处理的结果获取所述机器人的行走轨迹。
6.根据权利要求5所述的机器人行走纠偏方法,其特征在于,所述对所述实时图像进行异常检测,检测所述实时图像是否存在异常的步骤,包括:
获取所述机器人对目标进行作业的历史图像;
将所述历史图像与所述实时图像进行匹配,并根据匹配结果确定所述实时图像是否存在干扰;
若所述实时图像存在干扰,则确定所述实时图像存在异常。
7.根据权利要求1至6任一项所述的机器人行走纠偏方法,其特征在于,所述机器人行走纠偏方法还包括:
将所述实时图像与所述偏移值发送至遥控终端显示。
8.一种机器人行走纠偏装置,其特征在于,包括:
图像获取单元,用于机器人获取对目标进行作业的实时图像;
图像处理单元,用于对所述实时图像进行预处理,并基于所述预处理的结果获取所述机器人的行走轨迹;
偏移值确定单元,用于根据所述行走轨迹与指定基准线,确定所述机器人行走轨迹的偏移值;
行走纠偏单元,用于根据所述偏移值调整所述机器人的位置和姿态。
9.一种智能机器人,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的机器人行走纠偏方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的机器人行走纠偏方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110779858.2A CN113538358A (zh) | 2021-07-09 | 2021-07-09 | 机器人行走纠偏方法、装置、智能机器人和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110779858.2A CN113538358A (zh) | 2021-07-09 | 2021-07-09 | 机器人行走纠偏方法、装置、智能机器人和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113538358A true CN113538358A (zh) | 2021-10-22 |
Family
ID=78127325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110779858.2A Pending CN113538358A (zh) | 2021-07-09 | 2021-07-09 | 机器人行走纠偏方法、装置、智能机器人和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113538358A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116901090A (zh) * | 2023-09-14 | 2023-10-20 | 浩科机器人(苏州)有限公司 | 多轴自由度机器人的控制方法 |
CN116954178A (zh) * | 2023-09-18 | 2023-10-27 | 深圳市新技智能设备有限公司 | 一种基于视觉定位的作业管控方法以及系统 |
CN117348577A (zh) * | 2023-12-05 | 2024-01-05 | 青岛宇方机器人工业股份有限公司 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108181896A (zh) * | 2017-11-21 | 2018-06-19 | 浙江大学 | 一种直圆管表面作业机器人及其位姿检测方法 |
CN108423141A (zh) * | 2018-02-05 | 2018-08-21 | 浙江大学 | 一种水下作业机器人及其控制方法 |
CN108921808A (zh) * | 2018-06-27 | 2018-11-30 | 清华大学 | 一种平面工件喷涂轨迹生成方法、系统及计算机存储介质 |
CN110362099A (zh) * | 2018-03-26 | 2019-10-22 | 科沃斯机器人股份有限公司 | 机器人清扫方法、装置、机器人及存储介质 |
CN110850872A (zh) * | 2019-10-31 | 2020-02-28 | 深圳市优必选科技股份有限公司 | 机器人巡检方法、装置、计算机可读存储介质及机器人 |
CN110888420A (zh) * | 2018-08-17 | 2020-03-17 | 苏州宝时得电动工具有限公司 | 行走校正方法、智能移动设备、电子设备和存储介质 |
CN111097664A (zh) * | 2019-12-20 | 2020-05-05 | 广西柳州联耕科技有限公司 | 基于机器人涂胶的实时纠偏方法 |
CN111708359A (zh) * | 2020-05-08 | 2020-09-25 | 中核武汉核电运行技术股份有限公司 | 一种基于焊缝识别的爬壁机器人行走纠偏方法 |
CN111932609A (zh) * | 2020-07-08 | 2020-11-13 | 广州科易光电技术有限公司 | 阀厅设备巡检机器人的云台校准方法及装置、存储介质 |
CN112465856A (zh) * | 2020-11-18 | 2021-03-09 | 珠海大横琴科技发展有限公司 | 基于无人机的船只轨迹修正方法、装置及电子设备 |
-
2021
- 2021-07-09 CN CN202110779858.2A patent/CN113538358A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108181896A (zh) * | 2017-11-21 | 2018-06-19 | 浙江大学 | 一种直圆管表面作业机器人及其位姿检测方法 |
CN108423141A (zh) * | 2018-02-05 | 2018-08-21 | 浙江大学 | 一种水下作业机器人及其控制方法 |
CN110362099A (zh) * | 2018-03-26 | 2019-10-22 | 科沃斯机器人股份有限公司 | 机器人清扫方法、装置、机器人及存储介质 |
CN108921808A (zh) * | 2018-06-27 | 2018-11-30 | 清华大学 | 一种平面工件喷涂轨迹生成方法、系统及计算机存储介质 |
CN110888420A (zh) * | 2018-08-17 | 2020-03-17 | 苏州宝时得电动工具有限公司 | 行走校正方法、智能移动设备、电子设备和存储介质 |
CN110850872A (zh) * | 2019-10-31 | 2020-02-28 | 深圳市优必选科技股份有限公司 | 机器人巡检方法、装置、计算机可读存储介质及机器人 |
CN111097664A (zh) * | 2019-12-20 | 2020-05-05 | 广西柳州联耕科技有限公司 | 基于机器人涂胶的实时纠偏方法 |
CN111708359A (zh) * | 2020-05-08 | 2020-09-25 | 中核武汉核电运行技术股份有限公司 | 一种基于焊缝识别的爬壁机器人行走纠偏方法 |
CN111932609A (zh) * | 2020-07-08 | 2020-11-13 | 广州科易光电技术有限公司 | 阀厅设备巡检机器人的云台校准方法及装置、存储介质 |
CN112465856A (zh) * | 2020-11-18 | 2021-03-09 | 珠海大横琴科技发展有限公司 | 基于无人机的船只轨迹修正方法、装置及电子设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116901090A (zh) * | 2023-09-14 | 2023-10-20 | 浩科机器人(苏州)有限公司 | 多轴自由度机器人的控制方法 |
CN116901090B (zh) * | 2023-09-14 | 2023-11-28 | 浩科机器人(苏州)有限公司 | 多轴自由度机器人的控制方法 |
CN116954178A (zh) * | 2023-09-18 | 2023-10-27 | 深圳市新技智能设备有限公司 | 一种基于视觉定位的作业管控方法以及系统 |
CN116954178B (zh) * | 2023-09-18 | 2023-12-01 | 深圳市新技智能设备有限公司 | 一种基于视觉定位的作业管控方法以及系统 |
CN117348577A (zh) * | 2023-12-05 | 2024-01-05 | 青岛宇方机器人工业股份有限公司 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
CN117348577B (zh) * | 2023-12-05 | 2024-03-12 | 青岛宇方机器人工业股份有限公司 | 一种生产工艺仿真检测方法、装置、设备以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538358A (zh) | 机器人行走纠偏方法、装置、智能机器人和存储介质 | |
US20200210702A1 (en) | Apparatus and method for image processing to calculate likelihood of image of target object detected from input image | |
CN109807882B (zh) | 把持系统、学习装置和把持方法 | |
Ortin et al. | Indoor robot motion based on monocular images | |
CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
US11625842B2 (en) | Image processing apparatus and image processing method | |
CN104915947A (zh) | 图像处理装置、系统、图像处理方法及图像处理程序 | |
CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
CN113781561B (zh) | 基于自适应高斯权快速点特征直方图的目标位姿估计方法 | |
CN110262487B (zh) | 一种障碍物检测方法、终端及计算机可读存储介质 | |
CN114851209B (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及系统 | |
CN107895344B (zh) | 视频拼接装置及方法 | |
CN115661076A (zh) | 一种铸件待打磨区域智能视觉评估及标定方法 | |
CN109671059B (zh) | 一种基于OpenCV的电池盒图像处理方法及系统 | |
CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
CN113989761A (zh) | 一种对象跟踪方法、装置、电子设备及存储介质 | |
CN113436262A (zh) | 一种基于视觉的车辆目标位置和姿态角度的检测方法 | |
Truong et al. | Lane boundaries detection algorithm using vector lane concept | |
CN114463244A (zh) | 一种视觉机器人抓取系统及其控制方法 | |
CN110084177B (zh) | 定位系统、方法、控制系统以及空调、存储介质 | |
CN116740036A (zh) | 一种钢管管端引熄弧板切割点位检测方法和系统 | |
Zhao et al. | POSITIONING AND GRABBING TECHNOLOGY OF INDUSTRIAL ROBOT BASED ON VISION. | |
EP3629292A1 (en) | Reference point selection for extrinsic parameter calibration | |
CN111437033B (zh) | 一种用于血管介入手术机器人系统的虚拟传感器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211022 |