CN117842233B - 一种跨楼层巡检机器人及其控制方法 - Google Patents
一种跨楼层巡检机器人及其控制方法 Download PDFInfo
- Publication number
- CN117842233B CN117842233B CN202410263777.0A CN202410263777A CN117842233B CN 117842233 B CN117842233 B CN 117842233B CN 202410263777 A CN202410263777 A CN 202410263777A CN 117842233 B CN117842233 B CN 117842233B
- Authority
- CN
- China
- Prior art keywords
- robot
- legs
- stairs
- leg
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000033001 locomotion Effects 0.000 claims abstract description 35
- 210000001364 upper extremity Anatomy 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000009194 climbing Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000005021 gait Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- JWDYCNIAQWPBHD-UHFFFAOYSA-N 1-(2-methylphenyl)glycerol Chemical compound CC1=CC=CC=C1OCC(O)CO JWDYCNIAQWPBHD-UHFFFAOYSA-N 0.000 abstract 1
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明属于巡检机器人技术领域,提出了一种跨楼层巡检机器人及其控制方法,包括机器人本体和固定在机器人前后的深度相机,所述机器人具备可变形的六条腿,通过腿部的四连杆结构,可实现轮、腿、RHex移动模式的切换,在上楼梯时,机器人的六条腿分为前、中、后腿三对,通过三个阶段协同行进,首先前腿首先移动到台阶上,后两对腿向前支撑,其次,中腿移动到台阶上,前后两对腿向前支撑,最后后腿移动到台阶上,前中两对腿向前支撑,下楼梯时运动过程相反,所述深度相机用于感知周围环境和测量楼梯数据,机器人以此调整自身位置与姿态,实现跨楼层巡检的目的。
Description
技术领域
本发明属于巡检机器人技术领域,尤其是涉及一种跨楼层巡检机器人及其控制方法。
背景技术
机器人属于自动控制机器领域的一个重要分支。随着科技的不断发展,机器人技术在各个领域都得到了广泛应用。室内巡检机器人作为机器人技术的一个具体应用领域,主要专注于在室内环境中执行巡检、监控和安全保障任务。
现有的巡检机器人主要在同一楼层的室内平坦地面上执行巡检任务。在没有电梯的多层室内环境下,这些机器人无法完成跨楼层的巡检任务,因此在通用性上存在明显不足。
发明内容
有鉴于此,本发明旨在克服现有技术中上述问题的不足之处,提出一种跨楼层巡检机器人及其控制方法,巡检机器人采用了独特的变形结构,增强了其灵活性,使其能够轻松上下楼梯,同时,巡检机器人还能在楼层内平稳运动,从而有效地执行跨楼层的巡检任务。
为达到上述目的,本发明的技术方案是这样实现的:
本发明第一方面提供了一种跨楼层巡检机器人,包括机器人外壳,所述外壳的上面左右两边各设置一条滑轨,所述外壳的左右两侧中间位置分别固定设置支撑壳体,所述外壳内固定有12个支撑块,每个支撑块上固定一个电机,所述外壳的两侧分别等距的固定了三个同轴传动机构和腿,中间位置的同轴传动机构设在支撑壳体上,所述外壳的前后两端分别设置有感知模块;
所述同轴传动机构包括齿轮结构、一个外轴和一个内轴,所述齿轮结构包括2个齿轮,2个齿轮之间啮合,外轴套设在其中1个齿轮内,并与齿轮固定连接,内轴设置在外轴内,外轴和内轴之间装有轴承;
所述腿包括一个内轴杆、一个外轴杆、一段弧和直杆的组合体以及一段弧形杆,所述内轴杆和外轴杆之间通过键分别固定在内轴和外轴上;内轴杆还与弧和直杆的组合体连接,内轴杆连接到弧和直杆的组合体中弧和直杆的连接处,外轴杆和弧形杆连接,弧和直杆的组合体还与弧形杆连接;所述腿经所述同轴传动机构与所述电机相连;
每条腿由两个电机通过一个同轴传动机构带动,一个电机直接驱动内轴,另一个电机通过齿轮传动驱动外轴;
所述感知模块包括一个支撑架和一个深度相机,所述支撑架固定在外壳的两端,所述深度相机固定安装在支撑架上。
本发明第二方面提供了一种跨楼层巡检机器人控制方法,包括如下步骤:
步骤S1:通过固定在外壳两端的深度相机获取场景的RGB图像以及深度信息;
步骤S2:构建楼梯数据集,并利用构建的楼梯数据集对YOLO V3算法进行训练,经过调整算法内置参数和网络架构后,用调整好的YOLO V3算法识别楼梯;
步骤S3:基于识别楼梯的结果,定位楼梯在图像中的位置;
步骤S4:对深度相机进行标定,以确定相机的内部标定参数和外部参数,测量深度相机获取的图像中的每个像素点到相机的距离,生成深度图,深度图中的每个像素值代表了相应点距深度相机的距离,基于深度相机与机器人中心的位置利用坐标变换算法做三维变化,获取从二维图像中每个像素点在以机器人中心为原点建立的世界坐标系中的位置,整个过程概括为以下矩阵计算:
;
其中,k代表比例系数,p和q是矫正后的图像中的目标点在像素坐标系下的坐标,Xw、Yw、Zw是目标点在世界坐标系中的坐标,矩阵Q是坐标变换矩阵,计算如下:;
其中,R3×3和T分别是旋转矩阵和平移矩阵,它们是深度相机校准时所需的外部参数,p0和q0是相对于成像平面的主点坐标,fx和fy是深度相机的焦距,fc是坐标轴倾斜参数,用于深度相机校准时所用的内部标定参数;
利用坐标变化算法通过两个关键点之间的Yw、Zw之间的差值计算得出楼梯的参数,包含台阶数量和台阶高度、宽度的参数,具体为:以机器人中心为原点,垂直机器人身体向上为y轴,机器人前进方向为z轴建立坐标系,分别选取两级台阶上对应位置的关键点,计算两个关键点在y轴上的差值,得到台阶的高度,计算两个关键点在z轴上的差值,得到台阶的宽度,选取楼梯最下面和最上面的台阶中的对应点,计算在y轴上的差值,得到楼梯的高度,除以台阶的高度,得到台阶的数量;
步骤S5:机器人通过运动调整位置,使机器人位于楼梯的正前方;
步骤S6:机器人执行爬楼梯运动方法;
步骤S7:机器人运动到目标楼层后,爬楼结束;
步骤S8:机器人在该楼层执行巡检任务。
进一步的,所述步骤S1包括:
步骤S1.1:利用固定在机器人前后两端的深度相机抓取图像;
步骤S1.2:存储当前帧的图像与深度信息;
步骤S1.3:遍历图像像素点,分析图像,检查深度图像是否完整;
步骤S1.4:如果所有像素点都有有效的深度值,并且图像的清晰度满足预设的标准或阈值,则结束抓取过程;
步骤S1.5:如果深度图像稀疏,有部分像素点的深度信息缺失,则等待下一帧图像的捕获,使用基于光流算法的图像补全方法跟踪像素点,将下一帧中对应的像素点的深度信息映射到上一帧的像素点上,补全缺失的深度信息;
步骤S1.6:确保在动态环境中,上下帧之间的时间间隔小于0.03秒,以保持机器人运动的连续性和一致性,重复上述过程,直到补全深度图像,图像中各个像素点的深度信息完整后,结束抓取,用滤波器去除噪声和异常值,平滑深度图。
进一步的,所述步骤S1.5中,使用基于光流算法的图像补全方法跟踪像素点包括:
先标记出深度图像中的无深度信息的像素点,然后在有深度信息的像素点区域检测特征点,利用如下方法计算特征点在上下帧中的光流向量:;
其中,Ix和Iy分别是图像特征点在以二维图像的左上角为原点,以二维图像中的横坐标为x轴,纵坐标为y轴,建立的坐标系中x和y方向上的梯度,u和v是该点在x和y方向上的光流向量,It是该点在上下帧的两图之间的亮度差。
进一步的,所述步骤S3中,利用YOLO V3算法识别楼梯后,获取楼梯的识别边界框坐标(x0,y0,x1,y1),(x0,y0)为别边界框的左上角坐标,(x1,y1)为别边界框的右下角坐标,以边界框的中心坐标[centerx,centery]定位楼梯在图像中的位置;。
进一步的,所述步骤S6中,巡检机器人将六条腿按照前后顺序分为前腿、中腿和后腿三对,采用一种2-2-2步态,左右两边相同位置的腿采用相同的控制方法,运动过程分为支撑阶段和摆动阶段,在支撑阶段,腿与楼梯接触并提供支撑和推进力;在摆动阶段,腿离开楼梯向前或向后摆动,为下一步的位置做准备,爬楼梯运动方法具体包括如下步骤:
步骤S6.1:跨楼层巡检机器人腿部变形为爬楼梯初始姿态;
步骤S6.2:跨楼层巡检机器人前腿向前转动,支撑到楼梯上,调整身体的角度,使身体向上倾斜α度:
;
其中,在腿的四连杆结构中,以内轴杆和外轴杆连接的中心点为圆心,弧和直杆的组合体中的弧和弧形杆形成圆的一部分,构建圆形,R为圆形半径,L为前、后同轴传动机构之间的距离;
步骤S6.3:跨楼层巡检机器人中腿和后腿通过改变内轴杆和外轴杆之间的相位差从而改变腿部末端的位置支撑机器人向前移动,末端轨迹方程如下;
;
其中,x,y分别表示腿末端的位置,α为跨楼层巡检机器人与水平面形成的夹角,S为腿末端的步幅长度,W为步幅高度,t为时间,Tm为运动周期;
步骤S6.4:当跨楼层巡检机器人前腿到第二级台阶后,中腿移动到楼梯上,否则重复执行步骤S6.2与步骤S6.3;
步骤S6.5:重复执行步骤S6.2至步骤S6.4,直至所述跨楼层巡检机器人前腿到第三级台阶,之后机器人前腿末端接触楼梯,后腿不动,通过中腿内轴杆和外轴杆转动,支撑机器人提高身体的角度至β:
;
其中,以内轴为圆心、与身体平行为x轴,与身体垂直为y轴,建立坐标系;θ1为内轴杆与x轴的夹角,同理θ2为外轴杆与x轴的夹角;
步骤S6.6:通过规划的后腿末端轨迹设计内轴杆和外轴杆运动,驱动跨楼层巡检机器人后腿通过旋转变形移动到楼梯上,后腿末端轨迹计算如下:
;
其中,H为后腿末端到楼梯的距离,h为楼梯台阶的高度,为后腿与身体垂直方向的夹角;
步骤S6.7:跨楼层巡检机器人前腿、中腿、后腿利用步骤S6.3中的末端轨迹规划方法,控制腿运动,支撑机器人向前移动,贴近楼梯;
步骤S6.8:当跨楼层巡检机器人前腿尚未贴近下一级楼梯时,继续执行步骤S6.7,否则向下执行;
步骤S6.9:如果跨楼层巡检机器人的后腿到达最后一级楼梯,则结束爬楼梯的运动方法,机器人到达目标楼层,否则,重复执行步骤S6.2至步骤S6.8。
进一步的,还包括巡检机器人按照控制方法的逆流程利用后置的深度相机感知环境与楼梯信息,以倒退的方式在楼梯上下降。
相对于现有技术,本发明所述的一种跨楼层巡检机器人及其控制方法具有以下优势:
本发明创新性的提出了一种跨楼层巡检机器人,采用独特的机械结构,具备六条腿,中间的腿更为突出,通过四连杆结构实现了灵活的运动和稳定的行走。这种结构设计在穿越楼梯等复杂环境时能够有效避免干涉,保障机器人的安全性和稳定性;
本发明创新性的提出了一种控制机器人上下楼梯的方法-前后交替的波动步态,实现了巡检机器人通过楼梯在多楼层执行巡检任务的目的。
本发明的机器人配备深度相机,通过目标识别算法实现楼梯的识别和定位。利用深度相机获取深度数据,并通过三维重建算法得到楼梯位置的三维数据。这一设计使机器人能够准确感知楼梯的位置和形状,为安全穿越提供了关键信息;
本发明的控制方法创新性的提出了一种先进的视觉算法,从深度相机获取的数据中提取楼梯的关键点信息,实现对楼梯参数的精确提取。这为巡检机器人跨楼层的导航和运动提供了高度可靠的数据支持,使其能够在复杂的楼层环境中高效、准确地完成巡检任务。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一种跨楼梯巡检机器人的结构示意图;
图2为本发明一种跨楼梯巡检机器人的驱动结构示意图;
图3为本发明一种跨楼梯巡检机器人中腿部结构变化示意图;
图4为本发明图2中A处放大图;
图5为本发明图2中B处放大图;
图6为本发明一种跨楼梯巡检机器人中传动机构与腿连接的结构示意图;
图7为本发明一种跨楼梯巡检机器人的腿部结构示意图;
图8为本发明一种跨楼梯巡检机器人及其控制方法中获取深度图像信息的流程示意图;
图9为本发明一种跨楼梯巡检机器人控制方法的流程示意图;
图10为本发明一种跨楼梯巡检机器人爬楼梯方法的流程示意图;
附图标记说明
101-滑轨;102-外壳;103-支撑壳体;104-同轴传动机构;105-腿;106-感知模块;201-支撑块;202-电机;401-齿轮;402-外轴;403-内轴;501-深度相机;502-支撑架;601-键;701-内轴杆;702-外轴杆;703-弧和直杆的组合体;704-弧形杆。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1和图2所示,本发明提供了一种跨楼层巡检机器人,包括机器人外壳102,外壳的上面左右两边各设置了一条滑轨101,可以用来固定其他传感器,供机器人执行特殊的巡检任务,所述外壳102的左右两侧分别设置了支撑壳体103并被固定在中间,使得机器人的两条腿105能够向外突出3cm,使腿105与腿105不发生干涉的前提下,减小外壳102的长度,所述外壳102底板上固定有12个支撑块201,为每个电机增加了离板的高度,使得同轴传动机构104位于壳体102侧板的中间,每个支撑块201上固定一个电机202,所述外壳102的两侧分别等距的固定了三个同轴传动机构104和腿105,外壳的前后两端分别设置有感知模块106;
参照图3所示为跨楼梯巡检机器人的腿105变形后的另一种结构。
参照图4所示为跨楼梯巡检机器人的同轴传动结构104,包括齿轮结构、一个外轴402和一个内轴403,其中齿轮结构包括2个齿轮401,2个齿轮401之间啮合,外轴402套设在其中1个齿轮401内,并与齿轮401固定连接,内轴403设置在外轴402内,外轴402和内轴403之间装有轴承,使外轴402和内轴403之间不会摩擦,内轴杆701和外轴杆702之间通过键601分别固定在内轴403和外轴402上;
参照图5所示为跨楼梯巡检机器人的感知模块106,包括一个支撑架502和一个深度相机501;所述支撑架502被固定在外壳102的两端,所述深度相机501被固定安装在支撑架502上,通过感知模块106识别并定位楼梯,根据图像和深度信息计算楼梯的台阶数、高度和宽度数据。
参照图6所示,键601用来将内轴杆701和外轴杆702分别固定在内轴403和外轴402上。
参照图7所示,跨楼梯巡检机器人的每个腿105包括一个内轴杆701、一个外轴杆702、一段弧和直杆的组合体703以及一段弧形杆704,由四部分按顺序连接组合成四连杆结构,两段弧可以组合成一段弧形,根据内轴杆701和外轴杆702形成不同的相位差,腿部可变成不同的形状,使跨楼梯巡检机器人有不同的运动方式,包括但不限于轮式运动、腿式运动、爬楼梯等功能。其中,内轴杆701和外轴杆702之间通过键601分别固定在同轴传动结构104的内轴403和外轴402上;内轴杆701还与弧和直杆的组合体703通过螺栓连接,内轴杆701连接到弧和直杆的组合体703中弧和直杆的连接处,外轴杆702和弧形杆704也通过螺栓连接,弧和直杆的组合体703还与弧形杆704通过螺栓连接;腿105经所述同轴传动机构104与电机202相连。
具体的,跨楼梯巡检机器人由12个电机202提供动力,每个腿105由两个电机202控制,其中一个电机202直接驱动内轴403,另一个电机202通过齿轮401传动驱动外轴402,内轴403通过键601与内轴杆701固定相连,外轴402通过键601与外轴杆702固定相连,内轴杆701和外轴杆702是腿202部四连杆结构的一部分,通过驱动电机202改变内轴杆701和外轴杆702的相位差,实现四连杆结构的变形,因此跨楼梯巡检机器人具有多种步态和功能。
参照图8所示,跨楼梯巡检机器人通过感知模块106抓取图像,通过固定在机器人前后两端支撑架502上的深度相机501,连续抓取场景的图像,并将当前帧的图像与深度信息存储起来;为确保数据的准确性和可靠性,系统会对图像的像素点进行遍历,分析图像,检查深度图像是否完整,如果所有像素点都包含有效的深度值,并且图像的清晰度符合预设的标准或阈值,则终止抓取过程;然而,在现实应用中,可能会出现数据不完整或数据不清晰的问题;为解决这一问题,抓取图像方法设计了补充机制:若深度图像稀疏,即有部分像素点的深度信息缺失,系统将通过下一帧图像对应像素点的深度信息补充给上一帧中无深度信息的像素点,通过连续帧的补充和优化,提高数据的完整性和清晰度;在遍历所有图像帧后,如若还有部分像素点Pi深度信息缺失,剩余的无深度信息的像素点Pi将通过基于光流算法的图像补全方法跟踪像素点,将下一帧中对应的像素点的深度信息映射到上一帧的像素点上,补全缺失的深度信息,计算方法如下:
(1)
其中,其中,Ix和Iy分别是图像特征点在以二维图像的左上角为原点,以二维图像中的横坐标为x轴,纵坐标为y轴,建立的坐标系中x和y方向上的梯度,u和v是该点在x和y方向上的光流向量,It是该点在上下帧的两图之间的亮度差。之后利用非对称形式的高斯滤波器对图像进行平滑过滤;在此过程中,考虑到方法运行效率,以及防止意外情况发生,抓取图像方法将根据深度图补全前后像素点个数的差值的标准差来确定最终遍历邻接图像帧的帧数。重复以上过程,直至图像补充完整,结束抓取。这样,抓取图像方法能够确保获取到最完整、最清晰的数据,为后续处理和分析提供坚实基础。
参照图9所示的一种跨楼梯巡检机器人控制方法,跨楼梯巡检机器人首先通过固定在外壳102两端的深度相机501获取场景的RGB图像以及深度信息。考虑到所述方法应用于终端设备,所以方法要兼顾算力和准确度两大因素,针对目前的需求和目标,选择利用YOLO V3算法对获取的图像进行处理,识别楼梯,并得到识别楼梯的边界框坐标(x0,y0,x1,y1),以边界框的中心坐标[centerx,centery]定位楼梯在图像中的位置;
(2)
对深度相机进行标定,以确定相机的内部标定参数和外部参数,测量每个像素点到相机的距离,生成深度图。深度图中的每个像素值代表了相应点距深度相机的距离。基于深度相机与机器人中心的位置利用坐标变换算法做三维变化,获取从二维图像中每个像素点在以机器人中心为原点建立的世界坐标系中的位置,整个过程概括为以下矩阵计算:
(3)
其中,k代表比例系数,p和q是矫正后的图像中的目标点在像素坐标系下的坐标,Xw、Yw、Zw是目标点在世界坐标系中的坐标,矩阵Q是坐标变换矩阵,计算如下:
(4)
其中,R3×3和T分别是旋转矩阵和平移矩阵,它们是深度相机501校准时所需的一些外部参数。另外,p0和q0是相对于成像平面的主点坐标,fx和fy是深度相机501的焦距。fc是坐标轴倾斜参数,上述变量是用于深度相机501校准时所用的内部标定参数;
利用坐标变化算法通过两个关键点之间的Yw、Zw之间的差值计算得出楼梯的参数,包含台阶数量和台阶高度、宽度的参数,具体为:以机器人中心为原点,垂直机器人身体向上为y轴,机器人前进方向为z轴建立坐标系,分别选取两级台阶上对应位置的关键点,计算两个关键点在y轴上的差值,得到台阶的高度,计算两个关键点在z轴上的差值,得到台阶的宽度,选取楼梯最下面和最上面的台阶中的对应点,计算在y轴上的差值,得到楼梯的高度,除以台阶的高度,得到台阶的数量。
在确定楼梯的位置和参数后,跨楼梯巡检机器人调整位置,运动到楼梯的正前方。然后,机器人执行爬楼梯运动方法。在爬楼梯过程中,机器人需要根据楼梯的参数和自身的状态,调整运动的速度和姿态,确保稳定和安全。机器人运动到目标楼层后,爬楼结束。
在完成爬楼梯任务后,机器人在该楼层执行巡检任务。在巡检过程中,机器人可以执行各种任务,如环境监测、危险预警、物品搬运等。
参照图10所示为跨楼梯巡检机器人爬楼梯的运动方法流程图,跨楼梯巡检机器人首先将腿部变为爬楼梯初始姿态,以便适应楼梯环境。在这一过程中,机器人会通过电机202内置的传感器和控制系统来调整腿部的角度和位置,确保前腿都能正确地对准楼梯的台阶。
接着,跨楼梯巡检机器人前腿移动到楼梯上。在移动前,机器人会通过深度相机501和坐标变换算法来精确测量楼梯的高度和位置,以确保前腿能够准确地放置在楼梯上。利用式(5)机器人能调整身体的角度,向上倾斜α度,计算方式如下:
(5)
其中,在腿的四连杆结构中,以内轴杆和外轴杆连接的中心点为圆心,弧和直杆的组合体中的弧和弧形杆形成圆的一部分,构建圆形,R为圆形半径,L为前、后同轴传动机构之间的距离,L为前、后所述同轴传动机构104之间的距离;同时,机器人还会通过电机202内置的力传感器来检测前腿与楼梯之间的接触力,以调整前腿的姿势和力量,保持稳定。
在机器人前腿稳定在楼梯上后,通过规划跨楼层巡检机器人的中腿和后腿的末端轨迹支撑机器人向前移动,末端轨迹方程如下;
(6)
其中,x,y分别表示所述腿105末端的位置,α为跨楼层巡检机器人与水平面形成的夹角,S为腿105末端的步幅长度,W为步幅高度,t为时间,Tm为运动周期;
这一步骤是为了保持机器人的稳定性和平衡性,确保在爬楼梯过程中不会出现倾斜或摔倒的情况。在移动过程中,机器人会通过图像和深度信息来实时监测自身的姿态和运动状态,并通过调整中腿和后腿的力量和位置,以保持平衡。如果前腿尚未到达第二级台阶,则机器人需要重复执行前腿移动到楼梯上和中腿、后腿支撑向前移动的动作。
当跨楼梯巡检机器人前腿到达第二级台阶后,中腿移动到楼梯上。在这个过程中,机器人会通过深度相机501和三维重建算法来实时更新楼梯的位置和高度信息,以确保每个腿部都能准确地放置在正确的位置上。
同理,当跨楼梯巡检机器人前腿到达第三级台阶后,前腿和中腿支撑机器人提高身体的角度至β:
(7)
其中,以内轴为圆心、与身体平行为x轴,与身体垂直为y轴,建立坐标系;θ1为内轴杆701与x轴的夹角,同理θ2为外轴杆702与x轴的夹角;
如果前腿尚未到达第三级台阶,则机器人需要重复执行前腿移动到楼梯上、中腿移动到楼梯上以及中腿、后腿支撑向前移动的动作。在这个过程中,机器人会继续通过图像和深度信息来监测自身的姿态和运动状态,并通过控制系统来调整腿部位置,保持平衡。
随后,跨楼梯巡检机器人后腿移动到楼梯上,后腿末端轨迹计算如下:
(8)
其中,为后腿与身体垂直方向的夹角,H为后腿末端到楼梯的距离,h为楼梯台阶的高度;
此时,机器人的前腿、中腿和后腿共同支撑机器人向前移动。在机器人移动过程中,为了维持平衡,机器人配备的深度相机501将持续监测其姿态和运动状态。通过这些传感器的数据反馈,机器人控制系统将精确调节腿部关节的力量和位置,确保机器人在楼梯跨越过程中的稳定性和安全性。
在跨楼梯巡检机器人前腿、中腿和后腿共同支撑向前移动的过程中,如果机器人前腿没贴近下一级楼梯,则继续执行前腿、中腿和后腿支撑向前移动的动作。如果贴近则继续向下执行运动。
最后,当所述跨楼梯巡检机器人后腿到达最后一级楼梯时,结束爬楼梯的运动方法,机器人成功到达目标楼层。如果机器人后腿没到最后一级楼梯,则需要重复执行前腿移动到楼梯上、中腿移动到楼梯上、后腿移动到楼梯上以及前腿、中腿和后腿支撑向前移动的动作,让机器人持续跨越楼梯。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种跨楼层巡检机器人,其特征在于:包括机器人外壳(102),所述外壳(102)的上面左右两边各设置一条滑轨(101),所述外壳(102)的左右两侧中间位置分别固定设置支撑壳体(103),所述外壳(102)内固定有12个支撑块(201),每个支撑块(201)上固定一个电机(202),所述外壳(102)的两侧分别等间距固定三个同轴传动机构(104)和腿(105),中间位置的同轴传动机构(104)设在支撑壳体(103)上,所述外壳(102)的前后两端分别设置有感知模块(106);
所述同轴传动机构(104)包括齿轮结构、一个外轴(402)和一个内轴(403),所述齿轮结构包括2个齿轮(401),2个齿轮之间啮合,外轴(402)套设在其中1个齿轮(401)内,并与齿轮(401)固定连接,内轴(403)设置在外轴(402)内,外轴(402)和内轴(403)之间装有轴承;
所述腿(105)包括一个内轴杆(701)、一个外轴杆(702)、一段弧和直杆的组合体(703)以及一段弧形杆(704),所述内轴杆(701)和外轴杆(702)之间通过键(601)分别固定在内轴(403)和外轴(402)上;内轴杆(701)还与弧和直杆的组合体(703)连接,内轴杆(701)连接到弧和直杆的组合体(703)中弧和直杆的连接处,外轴杆(702)和弧形杆(704)连接,弧和直杆的组合体(703)还与弧形杆(704)连接;所述腿(105)经所述同轴传动机构(104)与所述电机(202)相连;
每条腿(105)由两个电机(202)通过一个同轴传动机构(104)带动,一个电机(202)直接驱动内轴(403),另一个电机(202)通过齿轮(401)传动驱动外轴(402);
所述感知模块(106)包括一个支撑架(502)和一个深度相机(501),所述支撑架(502)固定在外壳(102)的两端,所述深度相机(501)固定安装在支撑架(502)上。
2.一种跨楼层巡检机器人控制方法,其特征在于:应用于如权利要求1所述的跨楼层巡检机器人,包括如下步骤:
步骤S1:通过固定在外壳两端的深度相机获取场景的RGB图像以及深度信息;
步骤S2:构建楼梯数据集,并利用构建的楼梯数据集对YOLO V3算法进行训练,经过调整算法内置参数和网络架构后,用调整好的YOLO V3算法识别楼梯;
步骤S3:基于识别楼梯的结果,定位楼梯在图像中的位置;
步骤S4:对深度相机进行标定,以确定相机的内部标定参数和外部参数,测量深度相机获取的图像中的每个像素点到相机的距离,生成深度图,深度图中的每个像素值代表了相应点距深度相机的距离,基于深度相机与机器人中心的位置利用坐标变换算法做三维变化,获取从二维图像中每个像素点在以机器人中心为原点建立的世界坐标系中的位置,整个过程概括为以下矩阵计算:
;
其中,k代表比例系数,p和q是矫正后的图像中的目标点在像素坐标系下的坐标,Xw、Yw、Zw是目标点在世界坐标系中的坐标,矩阵Q是坐标变换矩阵,计算如下:
;
其中,R3×3和T分别是旋转矩阵和平移矩阵,它们是深度相机校准时所需的外部参数,p0和q0是相对于成像平面的主点坐标,fx和fy是深度相机的焦距,fc是坐标轴倾斜参数,用于深度相机校准时所用的内部标定参数;
利用坐标变化算法通过两个关键点之间的Yw、Zw之间的差值计算得出楼梯的参数,包含台阶数量和台阶高度、宽度的参数,具体为:以机器人中心为原点,垂直机器人身体向上为y轴,机器人前进方向为z轴建立坐标系,分别选取两级台阶上对应位置的关键点,计算两个关键点在y轴上的差值,得到台阶的高度,计算两个关键点在z轴上的差值,得到台阶的宽度,选取楼梯最下面和最上面的台阶中的对应点,计算在y轴上的差值,得到楼梯的高度,除以台阶的高度,得到台阶的数量;
步骤S5:机器人通过运动调整位置,使机器人位于楼梯的正前方;
步骤S6:机器人执行爬楼梯运动方法;
步骤S7:机器人运动到目标楼层后,爬楼结束;
步骤S8:机器人在该楼层执行巡检任务。
3.根据权利要求2所述的一种跨楼层巡检机器人控制方法,其特征在于:所述步骤S1包括:
步骤S1.1:利用固定在机器人前后两端的深度相机抓取图像;
步骤S1.2:存储当前帧的图像与深度信息;
步骤S1.3:遍历图像像素点,分析图像,检查深度图像是否完整;
步骤S1.4:如果所有像素点都有有效的深度值,并且图像的清晰度满足预设的标准或阈值,则结束抓取过程;
步骤S1.5:如果深度图像稀疏,有部分像素点的深度信息缺失,则等待下一帧图像的捕获,使用基于光流算法的图像补全方法跟踪像素点,将下一帧中对应的像素点的深度信息映射到上一帧的像素点上,补全缺失的深度信息;
步骤S1.6:确保在动态环境中,上下帧之间的时间间隔小于0.03秒,以保持机器人运动的连续性和一致性,重复上述过程,直到补全深度图像,图像中各个像素点的深度信息完整后,结束抓取,用滤波器去除噪声和异常值,平滑深度图。
4.根据权利要求3所述的一种跨楼层巡检机器人控制方法,其特征在于:所述步骤S1.5中,使用基于光流算法的图像补全方法跟踪像素点包括:
先标记出深度图像中的无深度信息的像素点,然后在有深度信息的像素点区域检测特征点,利用如下方法计算特征点在上下帧中的光流向量:
;
其中,Ix和Iy分别是图像特征点在以二维图像的左上角为原点,以二维图像中的横坐标为x轴,纵坐标为y轴,建立的坐标系中x和y方向上的梯度,u和v是该点在x和y方向上的光流向量,It是该点在上下帧的两图之间的亮度差。
5.根据权利要求2所述的一种跨楼层巡检机器人控制方法,其特征在于:所述步骤S3中,利用YOLO V3算法识别楼梯后,获取楼梯的识别边界框坐标(x0, y0, x1, y1),(x0,y0)为识别边界框的左上角坐标,(x1,y1)为识别边界框的右下角坐标,以边界框的中心坐标[centerx, centery]定位楼梯在图像中的位置;
。
6.根据权利要求2所述的一种跨楼层巡检机器人控制方法,其特征在于:所述步骤S6中,巡检机器人将六条腿按照前后顺序分为前腿、中腿和后腿三对,采用一种2-2-2步态,左右两边相同位置的腿采用相同的控制方法,运动过程分为支撑阶段和摆动阶段,在支撑阶段,腿与楼梯接触并提供支撑和推进力;在摆动阶段,腿离开楼梯向前或向后摆动,为下一步的位置做准备,爬楼梯运动方法具体包括如下步骤:
步骤S6.1:跨楼层巡检机器人腿部变形为爬楼梯初始姿态;
步骤S6.2:跨楼层巡检机器人前腿向前转动,支撑到楼梯上,调整身体的角度,使身体向上倾斜α度:
;
其中,在腿的四连杆结构中,以内轴杆和外轴杆连接的中心点为圆心,弧和直杆的组合体中的弧和弧形杆形成圆的一部分,构建圆形,R为圆形半径,L为前、后同轴传动机构之间的距离;
步骤S6.3:跨楼层巡检机器人中腿和后腿通过改变内轴杆和外轴杆之间的相位差从而改变腿部末端的位置支撑机器人向前移动,末端轨迹方程如下;
;
其中,x,y分别表示腿末端的位置,α为跨楼层巡检机器人与水平面形成的夹角,S为腿末端的步幅长度,W为步幅高度,t为时间,Tm为运动周期;
步骤S6.4:当跨楼层巡检机器人前腿到第二级台阶后,中腿移动到楼梯上,否则重复执行步骤S6.2与步骤S6.3;
步骤S6.5:重复执行步骤S6.2至步骤S6.4,直至跨楼层巡检机器人前腿到第三级台阶,之后机器人前腿末端接触楼梯,后腿不动,通过中腿内轴杆和外轴杆转动,支撑机器人提高身体的角度至β:
;
其中,以内轴为圆心,与身体平行为x轴,与身体垂直为y轴,建立坐标系;θ1为内轴杆与x轴的夹角,同理θ2为外轴杆与x轴的夹角;
步骤S6.6:通过规划的后腿末端轨迹设计内轴杆和外轴杆运动,驱动跨楼层巡检机器人后腿通过旋转变形移动到楼梯上,后腿末端轨迹计算如下:
;
其中,H为后腿末端到楼梯的距离,h为楼梯台阶的高度,为后腿与身体垂直方向的夹角;
步骤S6.7:跨楼层巡检机器人前腿、中腿、后腿利用步骤S6.3中的末端轨迹规划方法,控制腿运动,支撑机器人向前移动,贴近楼梯;
步骤S6.8:当跨楼层巡检机器人前腿尚未贴近下一级楼梯时,继续执行步骤S6.7,否则向下执行;
步骤S6.9:如果跨楼层巡检机器人的后腿到达最后一级楼梯,则结束爬楼梯的运动方法,机器人到达目标楼层,否则,重复执行步骤S6.2至步骤S6.8。
7.根据权利要求2所述的一种跨楼层巡检机器人控制方法,其特征在于:还包括巡检机器人按照控制方法的逆流程利用后置的深度相机感知环境与楼梯信息,以倒退的方式在楼梯上下降。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263777.0A CN117842233B (zh) | 2024-03-08 | 2024-03-08 | 一种跨楼层巡检机器人及其控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410263777.0A CN117842233B (zh) | 2024-03-08 | 2024-03-08 | 一种跨楼层巡检机器人及其控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117842233A CN117842233A (zh) | 2024-04-09 |
CN117842233B true CN117842233B (zh) | 2024-04-30 |
Family
ID=90529016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410263777.0A Active CN117842233B (zh) | 2024-03-08 | 2024-03-08 | 一种跨楼层巡检机器人及其控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117842233B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008132908A (ja) * | 2006-11-29 | 2008-06-12 | Koichi Okamoto | 階段昇降車 |
DE102013006692A1 (de) * | 2013-04-16 | 2014-10-16 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Universelles autonomes Fahrgestell zum Transport von Funktions- und Lastträgervorrichtungen |
CN211281262U (zh) * | 2019-12-31 | 2020-08-18 | 南京工程学院 | 一种多足爬梯机 |
CN115158919A (zh) * | 2022-07-14 | 2022-10-11 | 何小艳 | 一种垃圾分类机器人的带式垃圾分类装置 |
CN115674949A (zh) * | 2021-07-22 | 2023-02-03 | 腾讯科技(深圳)有限公司 | 变形轮、机器人及其控制方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7588105B2 (en) * | 2004-10-01 | 2009-09-15 | Applied Minds, Inc. | Virtual-wheeled vehicle |
-
2024
- 2024-03-08 CN CN202410263777.0A patent/CN117842233B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008132908A (ja) * | 2006-11-29 | 2008-06-12 | Koichi Okamoto | 階段昇降車 |
DE102013006692A1 (de) * | 2013-04-16 | 2014-10-16 | Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr | Universelles autonomes Fahrgestell zum Transport von Funktions- und Lastträgervorrichtungen |
CN211281262U (zh) * | 2019-12-31 | 2020-08-18 | 南京工程学院 | 一种多足爬梯机 |
CN115674949A (zh) * | 2021-07-22 | 2023-02-03 | 腾讯科技(深圳)有限公司 | 变形轮、机器人及其控制方法 |
CN115158919A (zh) * | 2022-07-14 | 2022-10-11 | 何小艳 | 一种垃圾分类机器人的带式垃圾分类装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117842233A (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9197810B2 (en) | Systems and methods for tracking location of movable target object | |
JP3330710B2 (ja) | 移動ロボットの位置検知および制御装置 | |
CN109636272B (zh) | 一种货架缺货智能检测装置及其检测方法 | |
JP2004255486A (ja) | 自動作業装置及び自動作業装置制御プログラム | |
CN109434795A (zh) | 一种具有目标跟踪和自动避障的载物爬楼机器人 | |
CN113821040A (zh) | 一种深度视觉相机与激光雷达融合导航的机器人 | |
CN112405490A (zh) | 一种具有自主导航定位功能的柔性装配机器人 | |
CN113096190A (zh) | 基于视觉建图的全向移动机器人导航方法 | |
CN113213336A (zh) | 一种起重机吊钩定位及防摇装置 | |
CN116289543A (zh) | 一种结合巡检与典检的桥梁支座实时监测系统及方法 | |
CN113375560B (zh) | 梁体预埋件进场检验系统及方法 | |
CN117842233B (zh) | 一种跨楼层巡检机器人及其控制方法 | |
CN207115187U (zh) | 一种面向长直廊环境的室内地图自动构建系统 | |
CN116399884A (zh) | 一种箱梁内部病害的自主扫描检测方法 | |
CN110696016A (zh) | 一种适用于地铁车辆列检工作的智能机器人 | |
CN207650650U (zh) | 基于深度视觉导航的重载多足机器人 | |
WO2021017083A1 (zh) | 一种工业机器人建图定位系统及机器人 | |
CN115256398A (zh) | 一种变电站室内多功能操作机器人 | |
CN210879689U (zh) | 一种适用于地铁车辆列检工作的智能机器人 | |
Yang et al. | A human-like dual-forklift collaborative mechanism for container handling | |
JP7358108B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN209615485U (zh) | 一种无线巡检机器人系统 | |
CN114137962A (zh) | 一种基于四足机器人的爬梯方法及系统 | |
CN112092929A (zh) | 一种勘测车 | |
CN110745702A (zh) | 基于单目相机的起重机工作空间多信息测量方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |