CN116795117A - 机器人自动回充方法、装置、存储介质及机器人系统 - Google Patents
机器人自动回充方法、装置、存储介质及机器人系统 Download PDFInfo
- Publication number
- CN116795117A CN116795117A CN202310894464.0A CN202310894464A CN116795117A CN 116795117 A CN116795117 A CN 116795117A CN 202310894464 A CN202310894464 A CN 202310894464A CN 116795117 A CN116795117 A CN 116795117A
- Authority
- CN
- China
- Prior art keywords
- robot
- identification code
- distance
- preset
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 21
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请涉及智能机器人技术领域,提供了一种机器人自动回充方法、装置、存储介质及机器人系统。机器人自动回充方法包括:在机器人满足回充条件时,控制机器人移动到目标位置;通过搭载在机器人上的摄像头拍摄充电座上的特征识别码;其中,特征识别码的外边界设定有预设边长的黑色环形边,预设边长基于机器人的识别距离确定、特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于机器人的识别距离确定;根据特征识别码确定机器人的位姿估计,并根据位姿估计移动机器人,判断机器人是否成功充电,若是,则完成机器人回充。本申请克服了视觉回充的低纹理和暗光条件下视觉识别的缺陷,提高机器人系统的稳定性与场景适应性。
Description
技术领域
本申请涉及智能机器人技术领域,尤其涉及一种机器人自动回充方法、装置、存储介质及机器人系统。
背景技术
随着科学技术的不断进步,机器人获得了越来越广泛的应用,例如扫地机器人、家具安防机器人、行业咨询机器人等等,这些机器人一个最重要的特点是自动定位和自动回充。目前自动定位包含有多种技术,例如惯性导航、视觉导航、激光导航等等,他们的特点是能够自主导航,不需要依赖于外部装置的辅助,适用性比较强。
现有采用视觉导航的自动回充方式,一般会在充电座上设置用于视觉定位的特征识别码,但现有的特征识别码在低纹理、暗光场景下,识别效果较差,容易导致机器人定位回充失败。
发明内容
本申请提供一种机器人自动回充方法、装置、存储介质及机器人系统,以解决现有的特征识别码在低纹理、暗光场景下,识别效果较差,容易导致机器人定位回充失败的问题。
为解决上述问题,本申请采用如下技术方案:
本申请提供一种机器人自动回充方法,包括如下步骤:
在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
优选地,所述像素块为矩形像素块,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
提取位于所述特征识别码正中央的目标矩形像素块;其中,所述目标矩形像素块由使所述目标矩形像素块呈正方形形状的预设数量的所述矩形像素块构成;
确定所述目标矩形像素块的四个顶点及分别对应的坐标信息,根据位于最左侧的两个顶点及对应的坐标信息计算所述目标矩形像素块左侧的左侧像素长度;
根据位于最右侧的两个顶点及对应的坐标信息计算所述目标矩形像素块右侧的右侧像素长度;
根据所述左侧像素长度、右侧像素长度以及物象公式计算得到所述摄像头与所述目标矩形像素块的最左侧的左侧距离、与所述目标矩形像素块的最右侧的右侧距离;
根据所述左侧距离、右侧距离及三角定位原理计算得到所述机器人的位姿估计。
优选地,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
在所述特征识别码内部划定一个预设大小的区域;
计算所述区域内所有像素点的均值;
将所述均值的预设百分比作为目标均值,将所述区域内像素点的像素值小于所述目标均值的像素点设置为0,并将所述区域内像素点的像素值大于或等于所述目标均值的像素点设置为1,以生成目标特征识别码;
根据所述目标特征识别码确定所述机器人的位姿估计。
进一步地,所述根据所述位姿估计移动所述机器人的步骤之后,还包括:
当检测到机器人与充电座的距离小于预设距离时,通过搭载在所述机器人的激光雷达采集所述机器人与充电座的距离信息;
根据所述距离信息控制所述机器人的移动。
优选地,所述检测到机器人与充电座的距离小于预设距离的步骤,包括:
当所述机器人识别到最后一帧完整的特征识别码时,计算当前所述机器人与充电座的距离;
利用所述激光雷达获取所述充电座的深度信息,计算所述深度信息与预设深度信息的误差;
判断所述误差是否小于预设误差;
若是,则将当前所述机器人与充电座的距离作为所述预设距离。
优选地,所述判断所述机器人是否成功充电的步骤,包括:
当接收到所述充电座发射的充电信息时,则判定所述机器人成功充电;其中,所述充电信息是所述机器人移动到指定距离,并触发所述充电座内部的光电门后,通过所述充电座上的红外传感器发射的充电确认信息。
优选地,所述提取位于所述特征识别码正中央的目标矩形像素块的步骤,包括:
遍历所述特征识别码的所有外轮廓,分别筛选每个外轮廓的内轮廓,并提取每个外轮廓的内轮廓的内轮廓属性;
判断所述内轮廓属性是否满足预设条件;
若是,则从所有外轮廓中确定出内轮廓属性满足预设条件的目标外轮廓,根据所述目标外轮廓提取所述目标矩形像素块。
本申请提供的一种机器人自动回充装置,包括:
控制模块,用于在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
拍摄模块,用于通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
移动模块,用于根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
本申请提供的一种机器人系统,包括充电座和机器人,所述机器人包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如上任一项所述的机器人自动回充方法的步骤。
本申请提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述的机器人自动回充方法。
相对于现有技术,本申请的技术方案至少具备如下优点:
本申请提供的机器人自动回充方法、装置、存储介质及机器人系统,在机器人满足回充条件时,控制机器人移动到目标位置;通过搭载在机器人上的摄像头拍摄充电座上的特征识别码;其中,特征识别码包括以下特征:特征识别码的外边界设定有预设边长的黑色环形边,预设边长基于机器人的识别距离确定、特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于机器人的识别距离确定;根据特征识别码确定机器人的位姿估计,并根据位姿估计移动机器人,判断机器人是否成功充电,若是,则完成机器人回充。本申请的特征识别码通过在外边界设置预设边长的黑色环形边,并在内部设置多个黑白相间的像素块,且每个像素块的大小基于机器人的识别距离确定,可适应不同距离的充电,同时克服了视觉回充的低纹理和暗光条件下视觉识别的缺陷,提高机器人系统的稳定性与场景适应性,确保充电成功。
附图说明
图1为本申请机器人自动回充方法一种实施例流程框图;
图2为本申请机器人自动回充装置一种实施例模块框图;
图3为本申请一个实施例中机器人的内部结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S11、S12等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,本申请所提供的一种机器人自动回充方法,其中一种实施方式中,该机器人自动回充方法包括如下步骤:
S11、在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
S12、通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
S13、根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
如步骤S11所述,当机器人在电量不足等情况下需要进行回充以保证能够持续工作时,可以认为机器人满足回充条件。
优选地,在所述机器人满足以下条件中的至少一种时,则判定所述机器人满足回充条件:
所述机器人的电池电量低于预设电量值;
所述机器人执行完所有当前任务后;
所述机器人接收到回充指令;
所述机器人的充电过程被动中断。
在确定目标位置时,可以是机器人上的摄像头随意拍摄充电座,得到图像,此时对该图像经过图像处理即可获得与该充电座一定位置关系的目标位置,如距离充电座正前方五厘米的位置。
如步骤S12所述,对于低纹理的特征识别码,由于其色彩单一,在对其进行全局二值化时,极易将特征识别码的外轮廓与背景混淆,导致全局二值化后丢失外轮廓的特征,因此,本申请将特征识别码的外边界设定有预设边长的黑色环形边,该黑色环形边将特征识别码的内部与外界背景进行了有效隔离,以便区分外轮廓与背景,进行有效识别。具体的,特征识别码用于引导机器人进行视觉识别,所述特征识别码的外边界设定有预设边长的黑色环形边,以便于识别,所述预设边长基于所述机器人的识别距离确定,例如,当需要将机器人的充电距离设置为较长时,则可将预设边长设置为较长,因此预设边长与机器人的识别距离呈正比。此外,所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定,例如,当需要将机器人的充电距离设置为较长时,则可将每个像素块的大小设置为较大,因此每个像素块的大小也与机器人的识别距离呈正比。
在一实施例中,本申请对特征识别码进行自适应均值化方法处理,该自适应均值化方法使得场景二值化更加离散,能够保留更多的特征,避免低纹理的特征丢失。
本申请采用的特征识别码,其能有效避免低纹理场景下其他特征纹理的干扰,同时还能有效加密识别定位的特点。
如步骤S13所述,根据所述特征识别码确定所述机器人的位姿估计,并根据位姿估计移动所述机器人,在机器人移动到某一位置后,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
其中,位姿估计在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实以及其它方面都有着极大的应用。位姿估计这一过程的基础是找到现实世界和图像投影之间的对应点。然后根据这些点对的类型,如2D-2D,2D-3D,3D-3D,采取相应的位姿估计方法。当然同一类型的点对也有基于代数和非线性优化的方法之分,如直接线性变换和光束平差法。我们通常称把根据已知点对估计位姿的过程成为求解PnP。
本申请提供的机器人自动回充方法,在机器人满足回充条件时,控制机器人移动到目标位置;通过搭载在机器人上的摄像头拍摄充电座上的特征识别码;其中,特征识别码包括以下特征:特征识别码的外边界设定有预设边长的黑色环形边,预设边长基于机器人的识别距离确定、特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于机器人的识别距离确定;根据特征识别码确定机器人的位姿估计,并根据位姿估计移动机器人,判断机器人是否成功充电,若是,则完成机器人回充。本申请的特征识别码通过在外边界设置预设边长的黑色环形边,并在内部设置多个黑白相间的像素块,且每个像素块的大小基于机器人的识别距离确定,可适应不同距离的充电,同时克服了视觉回充的低纹理和暗光条件下视觉识别的缺陷,提高机器人系统的稳定性与场景适应性,确保充电成功。
在一实施例中,所述像素块为矩形像素块,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
提取位于所述特征识别码正中央的目标矩形像素块;其中,所述目标矩形像素块由使所述目标矩形像素块呈正方形形状的预设数量的所述矩形像素块构成;
确定所述目标矩形像素块的四个顶点及分别对应的坐标信息,根据位于最左侧的两个顶点及对应的坐标信息计算所述目标矩形像素块左侧的左侧像素长度;
根据位于最右侧的两个顶点及对应的坐标信息计算所述目标矩形像素块右侧的右侧像素长度;
根据所述左侧像素长度、右侧像素长度以及物象公式计算得到所述摄像头与所述目标矩形像素块的最左侧的左侧距离、与所述目标矩形像素块的最右侧的右侧距离;
根据所述左侧距离、右侧距离及三角定位原理计算得到所述机器人的位姿估计。
在本实施例中,通过摄像头获取特征识别码后,提取位于特征识别码正中央的目标矩形像素块,目标矩形像素块是由使目标矩形像素块呈正方形形状的预设数量的矩形像素块构成,如利用四个矩形像素块构成正方形形状的目标矩形像素块。
然后定位到目标矩形像素块的四个顶点,并确定四个顶点的坐标信息,根据位于目标矩形像素块左侧的顶点的坐标信息计算得到左侧像素长度,根据位于目标矩形像素块右侧的顶点的坐标信息计算得到右侧像素长度,通过物象公式可计算得到摄像头与目标矩形像素块最左侧的距离,得到左侧距离;通过物象公式可计算得到摄像头与目标矩形像素块最右侧的距离,得到右侧距离,根据所述左侧距离、右侧距离及三角定位原理计算得到所述机器人的位姿估计,从而精准地确定机器人的位姿估计。
其中,物象公式利用的是小孔成像原理,应用于相机小孔成像模型中,具体的,将相机CCD所在的平面作为成像平面,相机透镜作为小孔,所拍摄的目标作为物。
根据相似三角形的计算公式计算右侧距离:
D*h=d*H;
其中,d为相机CCD到相机透镜的距离,h为像的高度,D为物到相机透镜的距离,H为物的高度,在相机模型中,d和H为定值,即d*H=C。
其中,三角定位原理具体为:
根据余弦定理a2=b2+c2-2bccos∝,当三角形的三条边已知时,可计算出三角形任意内角的角度值。在这个三角模型中,相机摄像头到目标矩形像素块的最左侧距离a、最右侧距离b,以及像素块自身左侧到右侧的距离c,因此可以计算出整个三角形的参数。
在一实施例中,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
在所述特征识别码内部划定一个预设大小的区域;
计算所述区域内所有像素点的均值;
将所述均值的预设百分比作为目标均值,将所述区域内像素点的像素值小于所述目标均值的像素点设置为0,并将所述区域内像素点的像素值大于或等于所述目标均值的像素点设置为1,以生成目标特征识别码;
根据所述目标特征识别码确定所述机器人的位姿估计。
本实施例提供了一种改进的特征识别算法,以解决在低纹理、暗光场景下,全局条件二值化方法会因为图片呈现的“背景”在二值化过程中所占权重过大使得局部特征点被过滤,导致识别效果差的技术问题。因此,本申请采用局部的自适应均值二值化方法,避免“大背景”的干扰。
具体的,在特征识别码内部设定一个区域大小S(实际测试中设置为相机分辨率最短宽度的1/8效果最佳);
计算区域S的所有像素点的均值D,将所述均值的预设百分比作为目标均值,优选地,所述预设百分比为85%;
若该像素点小于均值D的85%,则将该像素点置为0,反之则置为1。
通过上述方法,使得该像素点不受全局条件的影响,只与邻近像素有关,适应性更强,在光照不均,背景过大的条件下二值化效果更好。
其中,所述计算区域S的所有像素点的均值D的步骤,具体包括:
假设当前像素的坐标为(x,y),正方形区域S的边长为s,像素值表示为Pxy,则均值其中,0≤x-s≤xi≤x,0≤y-s≤yi≤y。
在一实施例中,所述提取位于所述特征识别码正中央的目标矩形像素块的步骤,包括:
遍历所述特征识别码的所有外轮廓,分别筛选每个外轮廓的内轮廓,并提取每个外轮廓的内轮廓的内轮廓属性;
判断所述内轮廓属性是否满足预设条件;
若是,则从所有外轮廓中确定出内轮廓属性满足预设条件的目标外轮廓,根据所述目标外轮廓提取所述目标矩形像素块。
传统识别技术中的轮廓提取一般将所有特征识别码的轮廓建立两个等级关系,其中外层轮廓包含内层轮廓,内层轮廓还可以继续包含内嵌轮廓。内点的定位需要由外轮廓来筛选,但是由于内点能表示的距离更短,内轮廓(小像素块)之间排布密集且距离较近,导致识别距离很近,且容易相互干扰。因此本申请采用内轮廓(正方形个数、位置自定义设计)来筛选外轮廓,具体的,可遍历特征识别码的所有外轮廓,筛选每个外轮廓的内轮廓(环形边框内的小像素块轮廓)属性,当内轮廓属性满足所有条件时,如内轮廓中最左侧位置的坐标信息满足要求或内轮廓属性中含有与关键信息相匹配的特征点时,则确定出内轮廓属性满足所有条件的外轮廓,将其作为目标外轮廓,将目标外轮廓所包含的区域作为目标矩形像素块。由于目标外轮廓用来定位可以使得定位距离变远,以充分利用外轮廓更大的这个属性,并过滤不满足条件的轮廓,筛选出类正方形轮廓。其中,筛选条件如下:
含有子轮廓;
不含父轮廓;
轮廓最小外界矩形面积小于16(太小可能是噪点);
满足最大误差为4的四边形拟合;
特征识别码为凸多边形;
目标矩形像素块的对角边d1,d2,两条邻边d3,d4,轮廓面积area,周长p满足d3*4>d4&&d4*4>d3&&d3d4<area*1.5&&area>15&&d1>=0.15*p&&d2>=0.15*p。
筛选出的外轮廓,满足如下条件:
不含父轮廓;
子轮廓的数量满足:筛选出的轮廓数<=设计的正方形个数*1.5&&筛选出的轮廓数>=设计的正方形个数*0.5;
满足最大像素误差为3的四边形拟合;
过滤不像矩形的四边形;
目标矩形像素块的四个顶点进行亚像素提取;
至此,我们定位出了目标矩形像素块的4个顶点。
本实施例改进了现有关键点定位中的二值化方法,使得被二值化的像素不受全局条件的影响,只与邻近像素有关,适应性更强。在光照不均,背景较大、特征识别码较小的条件下二值化效果更好;同时通过内轮廓来筛选外轮廓的方式,外轮廓用来定位可以使得定位距离更远,以充分利用外轮廓更大的属性。
在一实施例中,所述根据所述位姿估计移动所述机器人的步骤之后,还包括:
当检测到机器人与充电座的距离小于预设距离时,通过搭载在所述机器人的激光雷达采集所述机器人与充电座的距离信息;
根据所述距离信息控制所述机器人的移动。
受限于机器人充电座的尺寸限制,视觉识别距离近,传动视觉定位码无法满足大场景下的远距离识别,导致机器人在回充过程中的异常情况处理能力弱。同时受限于RGBD相机镜头本身的技术特点,其在短距范围内存在着视觉盲区,且在暗光场景下运动识别极易失效,纯视觉回充的场景适用性差。例如,由于相机本身的技术限制,其在距离目标对象过近时会有一定距离(不同的相机对应值不同,一般可设定为10cm)的盲区,无法进行特征匹配与定位,如果此时只依赖里程计的运动信息会导致回充失败或损坏设备。
因此,为了克服上述技术问题,本申请融合了激光深度点云数据,在短距范围条件下自主切换激光匹配来执行回充指令,大大提高了自动回充技术的场景适应性,也解决了视觉识别的短距盲区和暗光条件下视觉识别的缺陷。
在一实施例中,所述检测到机器人与充电座的距离小于预设距离的步骤,包括:
当所述机器人识别到最后一帧完整的特征识别码时,计算当前所述机器人与充电座的距离;
利用所述激光雷达获取所述充电座的深度信息,计算所述深度信息与预设深度信息的误差;
判断所述误差是否小于预设误差;
若是,则将当前所述机器人与充电座的距离作为所述预设距离。
在本实施例中,在回充过程中的最后一段预设距离内,相机本身的焦距限制和特征识别码的大小导致相机无法识别特征识别码,此时机器人只能通过充电座的通信进行来进行运动控制以防止发生碰撞。但是,机器人与充电座之间的通信也无法进行位姿的调整,如果此时有外界的干扰(移动充电座、异常情况断电、异物进入等)均会导致回充失败。为了提高整个机器人系统的稳定性,本发明应用机器人固有的激光雷达获取机器人与充电桩的距离信息,一次来控制机器人的运动。
具体的,可利用激光雷达获取所述充电座的深度信息,基于深度信息进行帧间匹配,以确定深度信息与预设深度信息的误差。其中,帧间匹配算法包括激光强度信息帧间匹配算法和激光深度信息帧间匹配算法:
激光强度信息帧间匹配算法:激光强度信息表示不可见光波段光子从激光发生器发射至物体表面反射回激光接收器的光子强度,通过激光雷达以一定角度分辨率或时间收集到的所有点云数据作为当前周期的一帧数据。随着机器人运动,环境发生微小离散变化,再利用激光雷达每一帧实时强度信息数据作为感知识别此时的环境,通过比较匹配两帧激光强度点云的变化,得到相互变换关系,即为激光强度信息帧间匹配算法。
激光深度信息帧间匹配算法:激光深度信息与上述激光强度信息原理一致,不同的是激光深度信息为光子从发射到接收的飞行时长通过光速换算得到的距离信息。相对于激光强度信息而言,其帧间环境特征明显,匹配效果更佳,场景适用性更好。
然后判断所述误差是否小于预设误差,在所述误差小于预设误差时,则将当前所述机器人与充电座的距离作为所述预设距离,在所述预设距离内,将视觉识别定位方式切换为激光定位方式,实现短距离的精确定位,以确保充电成功。
在一实施例中,所述判断所述机器人是否成功充电的步骤,包括:
当接收到所述充电座发射的充电信息时,则判定所述机器人成功充电;其中,所述充电信息是所述机器人移动到指定距离,并触发所述充电座内部的光电门后,通过所述充电座上的红外传感器发射的充电确认信息。
当机器人识别到最后一帧完整的特征识别码时,计算得到机器人与充电座的距离,同时激光雷达获取充电座的深度信息进行对比,误差小于设定范围则表示确认该距离为机器人最后的回充距离。在此之后的回充,视觉识别定位失效,通过激光的深度信息来控制机器人运动的停止。当机器人运动到指定距离后触发充电座内部光电门,同时充电座与机器人通过红外传感器进行通信握手确认,确认后充电座上电,此时充电座上的红外传感器会向机器人发射充电确认信息,机器人接收到充电确认信息后,完成充电指令。
请参考图2,本申请的实施例还提供一种机器人自动回充装置,其中,
控制模块11,用于在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
拍摄模块12,用于通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
移动模块13,用于根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请提供的一种机器人系统,包括充电座和机器人,所述机器人包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行所述机器人自动回充方法的步骤。
在一实施例中,如图3所示。所述机器人包括处理器402、存储器403、输入单元404以及显示单元405等器件。本领域技术人员可以理解,图3示出的设备结构器件并不构成对所有设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储器403可用于存储计算机程序401以及各功能模块,处理器402运行存储在存储器403的计算机程序401,从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本申请所公开的存储器包括但不限于这些类型的存储器。本申请所公开的存储器只作为例子而非作为限定。
输入单元404用于接收信号的输入,以及接收用户输入的关键字。输入单元404可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元405可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元405可采用液晶显示器、有机发光二极管等形式。处理器402是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。
作为一个实施例,所述机器人包括:一个或多个处理器402,存储器403,一个或多个计算机程序401,其中所述一个或多个计算机程序401被存储在存储器403中并被配置为由所述一个或多个处理器402执行,所述一个或多个计算机程序401配置用于执行以上实施例所述的机器人自动回充方法。
在一个实施例中,本申请还提出了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述机器人自动回充方法。例如,所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(RandomAccess Memory,RAM)等。
综合上述实施例可知,本申请最大的有益效果在于:
本申请提供的机器人自动回充方法、装置、存储介质及机器人系统,在机器人满足回充条件时,控制机器人移动到目标位置;通过搭载在机器人上的摄像头拍摄充电座上的特征识别码;其中,特征识别码包括以下特征:特征识别码的外边界设定有预设边长的黑色环形边,预设边长基于机器人的识别距离确定、特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于机器人的识别距离确定;根据特征识别码确定机器人的位姿估计,并根据位姿估计移动机器人,判断机器人是否成功充电,若是,则完成机器人回充。本申请的特征识别码通过在外边界设置预设边长的黑色环形边,并在内部设置多个黑白相间的像素块,且每个像素块的大小基于机器人的识别距离确定,可适应不同距离的充电,同时克服了视觉回充的低纹理和暗光条件下视觉识别的缺陷,提高机器人系统的稳定性与场景适应性,确保充电成功。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种机器人自动回充方法,其特征在于,包括:
在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
2.根据权利要求1所述的方法,其特征在于,所述像素块为矩形像素块,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
提取位于所述特征识别码正中央的目标矩形像素块;其中,所述目标矩形像素块由使所述目标矩形像素块呈正方形形状的预设数量的所述矩形像素块构成;
确定所述目标矩形像素块的四个顶点及分别对应的坐标信息,根据位于最左侧的两个顶点及对应的坐标信息计算所述目标矩形像素块左侧的左侧像素长度;
根据位于最右侧的两个顶点及对应的坐标信息计算所述目标矩形像素块右侧的右侧像素长度;
根据所述左侧像素长度、右侧像素长度以及物象公式计算得到所述摄像头与所述目标矩形像素块的最左侧的左侧距离、与所述目标矩形像素块的最右侧的右侧距离;
根据所述左侧距离、右侧距离及三角定位原理计算得到所述机器人的位姿估计。
3.根据权利要求1所述的方法,其特征在于,所述根据所述特征识别码确定所述机器人的位姿估计的步骤,包括:
在所述特征识别码内部划定一个预设大小的区域;
计算所述区域内所有像素点的均值;
将所述均值的预设百分比作为目标均值,将所述区域内像素点的像素值小于所述目标均值的像素点设置为0,并将所述区域内像素点的像素值大于或等于所述目标均值的像素点设置为1,以生成目标特征识别码;
根据所述目标特征识别码确定所述机器人的位姿估计。
4.根据权利要求1所述的方法,其特征在于,所述根据所述位姿估计移动所述机器人的步骤之后,还包括:
当检测到机器人与充电座的距离小于预设距离时,通过搭载在所述机器人的激光雷达采集所述机器人与充电座的距离信息;
根据所述距离信息控制所述机器人的移动。
5.根据权利要求4所述的方法,其特征在于,所述检测到机器人与充电座的距离小于预设距离的步骤,包括:
当所述机器人识别到最后一帧完整的特征识别码时,计算当前所述机器人与充电座的距离;
利用所述激光雷达获取所述充电座的深度信息,计算所述深度信息与预设深度信息的误差;
判断所述误差是否小于预设误差;
若是,则将当前所述机器人与充电座的距离作为所述预设距离。
6.根据权利要求1所述的方法,其特征在于,所述判断所述机器人是否成功充电的步骤,包括:
当接收到所述充电座发射的充电信息时,则判定所述机器人成功充电;其中,所述充电信息是所述机器人移动到指定距离,并触发所述充电座内部的光电门后,通过所述充电座上的红外传感器发射的充电确认信息。
7.根据权利要求2所述的方法,其特征在于,所述提取位于所述特征识别码正中央的目标矩形像素块的步骤,包括:
遍历所述特征识别码的所有外轮廓,分别筛选每个外轮廓的内轮廓,并提取每个外轮廓的内轮廓的内轮廓属性;
判断所述内轮廓属性是否满足预设条件;
若是,则从所有外轮廓中确定出内轮廓属性满足预设条件的目标外轮廓,根据所述目标外轮廓提取所述目标矩形像素块。
8.一种机器人自动回充装置,其特征在于,包括:
控制模块,用于在机器人满足回充条件时,控制所述机器人移动到目标位置;其中,所述目标位置为与充电座在预设相对位置关系的位置;
拍摄模块,用于通过搭载在所述机器人上的摄像头拍摄所述充电座上的特征识别码;其中,所述特征识别码用于引导所述机器人视觉识别,所述特征识别码包括以下特征:所述特征识别码的外边界设定有预设边长的黑色环形边,所述预设边长基于所述机器人的识别距离确定、所述特征识别码的内部设置有多个黑白相间的像素块,每个像素块的大小基于所述机器人的识别距离确定;
移动模块,用于根据所述特征识别码确定所述机器人的位姿估计,并根据所述位姿估计移动所述机器人,判断所述机器人是否成功充电,若是,则完成所述机器人回充。
9.一种机器人系统,包括充电座和机器人,其特征在于,所述机器人包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的机器人自动回充方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现权利要求1-7任一项所述的机器人自动回充方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310894464.0A CN116795117A (zh) | 2023-07-19 | 2023-07-19 | 机器人自动回充方法、装置、存储介质及机器人系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310894464.0A CN116795117A (zh) | 2023-07-19 | 2023-07-19 | 机器人自动回充方法、装置、存储介质及机器人系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116795117A true CN116795117A (zh) | 2023-09-22 |
Family
ID=88039642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310894464.0A Withdrawn CN116795117A (zh) | 2023-07-19 | 2023-07-19 | 机器人自动回充方法、装置、存储介质及机器人系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116795117A (zh) |
-
2023
- 2023-07-19 CN CN202310894464.0A patent/CN116795117A/zh not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101618030B1 (ko) | 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇 | |
KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
CN101527046B (zh) | 一种运动检测方法、装置和系统 | |
CN110622085A (zh) | 移动机器人及其控制方法和控制系统 | |
CN113696180A (zh) | 机器人自动回充方法、装置、存储介质及机器人系统 | |
US9424649B1 (en) | Moving body position estimation device and moving body position estimation method | |
CN112004645A (zh) | 智能清洁机器人 | |
CN108481327B (zh) | 一种增强视觉的定位装置、定位方法及机器人 | |
CN109671115A (zh) | 使用深度值估计的图像处理方法和装置 | |
CN109213137A (zh) | 扫地机器人、扫地机器人系统及其工作方法 | |
CN110443186B (zh) | 立体匹配方法、图像处理芯片及移动载具 | |
CN110827361B (zh) | 基于全局标定架的相机组标定方法及装置 | |
CN112344923B (zh) | 一种机器人的定位方法及其定位装置 | |
CN112204345A (zh) | 移动设备的室内定位方法、移动设备及控制系统 | |
JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
CN110838144A (zh) | 一种充电设备识别方法、移动机器人和充电设备识别系统 | |
CN209991983U (zh) | 一种障碍物检测设备及无人机 | |
CN111168685A (zh) | 机器人控制方法、机器人和可读存储介质 | |
JP4967758B2 (ja) | 物体移動の検出方法及び検出装置 | |
CN111380535A (zh) | 基于视觉标签的导航方法、装置、移动式机器及可读介质 | |
CN116795117A (zh) | 机器人自动回充方法、装置、存储介质及机器人系统 | |
CN115526897A (zh) | 特高压换流站消防机器人火焰定位方法及系统 | |
CN112560606B (zh) | 挂车角度识别方法及装置 | |
CN117408935A (zh) | 障碍物检测方法、电子设备和存储介质 | |
CN113807118B (zh) | 机器人沿边工作方法、系统,机器人及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230922 |
|
WW01 | Invention patent application withdrawn after publication |