CN110315498B - 一种与mr眼镜联动的自主移动巡控机器人及其系统 - Google Patents

一种与mr眼镜联动的自主移动巡控机器人及其系统 Download PDF

Info

Publication number
CN110315498B
CN110315498B CN201910234319.3A CN201910234319A CN110315498B CN 110315498 B CN110315498 B CN 110315498B CN 201910234319 A CN201910234319 A CN 201910234319A CN 110315498 B CN110315498 B CN 110315498B
Authority
CN
China
Prior art keywords
panoramic
damping
robot
video
remote operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910234319.3A
Other languages
English (en)
Other versions
CN110315498A (zh
Inventor
孙贇
张宏志
陈宇
于琳琳
赵立
衡进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Telian Technology Group Co ltd
Beijing Weimo Zhuoran Technology Co ltd
Terminus Technology Group Co Ltd
Original Assignee
Terminus Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Beijing Technology Co Ltd filed Critical Terminus Beijing Technology Co Ltd
Priority to CN201910234319.3A priority Critical patent/CN110315498B/zh
Publication of CN110315498A publication Critical patent/CN110315498A/zh
Application granted granted Critical
Publication of CN110315498B publication Critical patent/CN110315498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0091Shock absorbers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/005Manipulators mounted on wheels or on carriages mounted on endless tracks or belts

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种自主移动巡控机器人,包括驱动装置、全景立体摄像云台、环境检测装置安装座、远程操作控制器和两个安装平台,两个安装平台各通过一个第一减震缓冲机构设置在驱动装置长度方向的两端的上方,两个第一减震缓冲机构分别设置在驱动装置长度方向的两端,每个第一减震缓冲机构的顶部均与对应的安装平台铰接,全景立体摄像云台和环境检测装置安装座各通过一个第二减震缓冲机构分别设置在两个安装平台上,每个第二减震缓冲机构均固定设置在对应安装平台的上端。本发明可以代替人们探查检测以及MR立体视频采集,人类在远距离头戴MR显示头盔观察机器人拍摄的场景,并且通过头部动作驱动MR来调节机器人的拍摄方向。

Description

一种与MR眼镜联动的自主移动巡控机器人及其系统
技术领域
本发明涉及基于物联网通信的机器人领域,具体地,涉及一种与MR眼镜联动的自主移动巡控机器人及其系统。
背景技术
具备自主移动功能的机器人设备作为一种多功能高性能的执行工具,集成到物联网系统之中,不但能够替代人类完成一些高体力、高难度、高危险系数的工种,促进传统产业升级换代,还能够在家居、旅游、安保、物流、建筑等很多领域改变现有的工作和产品形态。
MR(Mix reality)技术,即混合现实技术,指的是将真实事物和虚拟场景叠加后进行三维显示,真实事物与虚拟物体充分融合,彼此难以区分,并实时相互作用,从而创造了源自现实而又超出现实的全新环境和可视化体验。
对于自主移动能力的机器人来说,巡控功能即自主巡航和远距离遥控功能,是一个关键的应用,可以在物流配送、工业生产、人居服务、环境探查、安保监视、智慧旅游等方面发挥重要的作用。另外,机器人巡控必然搭载视频摄像机,可以将其与MR(混合现实)显示技术充分结合起来,即由机器人在前端采集全景立体视频,在后端则利用头戴MR显示眼镜将机器人采集的真实事物视频与虚拟场景视频相互叠加,共同对用户给予呈现,从而使用户达到沉浸式体验感。
例如,在智慧旅游应用中,一些古迹文物遗存、罕见地质景观、珍稀植物、危险动物处于保护的目的不允许游客过于接近,但是又希望满足游客近距离观赏其细节的愿望,就可以利用机器人在游客的控制下近距离拍摄目标,同时,在虚拟场景中可以预置各种风格的虚拟背景,将机器人采集的真实目标视频与虚拟背景二者叠加,人类在远距离位置处头戴MR显示眼镜观察机器人拍摄的场景与虚拟场景叠加的全景画面。
又例如,环境探查或者安保监视当中,自主移动机器人可以替代人类进入不熟悉的地形地貌或者是危险性场所(例如有毒气、有爆炸物、有辐射)进行探查,人类除了通过头戴MR显示眼镜观察机器人的周边情况或监视目标以外,还可以利用机器人搭载的各种传感器掌握温度、湿度、有害气体浓度等环境参数,并基于这些参数进行可视化处理生成虚拟场景,与机器人拍摄的真实视频叠加后进行MR全景显示。
但是,实践当中发现,与自主移动机器人与MR显示结合之后容易存在以下方面的缺陷。一是对机器人搭载的摄像机拍摄方向的操控不易进行;传统上用户是使用遥控器对机器人云台下达调整拍摄方向的操控命令,同时观察机器人及其周边物体的相对位置,但是在头戴MR显示眼镜的状态下用户的视野被MR显示眼镜所完全封闭,不能方便地使用遥控器,也不易于观察到机器人及其周边物体的相对位置,给拍摄方向的调整带来很大不方便。二是MR显示的全景立体视频很容易发生画面颤抖,增加用户的眩晕感;众所周知用户观看MR显示时本身就易于出现眩晕感,这是沉浸式视觉体验所带来的负面效果,不过现有的MR显示内容多为预制的游戏或者电影,其全景立体视频本身的画面还是稳定的;而在前端利用自主移动机器人采集全景立体视频并通过MR实时显示的情况下,机器人移动过程中受到路面等因素干扰,导致所采集的全景立体视频画面本身就存在一定幅度的抖动,再通过MR沉浸式显示时抖动给用户的感觉会更加明显,让用户产生周边环境都在震颤的错觉,极大增加了眩晕感。
发明内容
针对现有技术的不足,本发明提供一种与MR眼镜联动的自主移动巡控机器人及其系统。本发明的自主移动机器人具有减震缓冲结构,可以有效消减机器人搭载的摄像机所拍摄的全景立体视频本身的画面抖动;并且,对于所采集的全景立体视频还执行基于同场景判断的防抖信号处理;同时,使该机器人的摄像机云台与MR眼镜联动,从而用户可以通过头部动作调整MR眼镜的方向,使摄像机云台的拍摄方向随之发生变化。
本发明公开的一种自主移动巡控机器人,包括驱动装置、全景立体摄像云台、环境检测装置安装座、远程操作控制器和两个安装平台,两个安装平台各通过一个第一减震缓冲机构设置在驱动装置长度方向的两端的上方,两个第一减震缓冲机构分别设置在驱动装置长度方向的两端,每个第一减震缓冲机构的顶部均与对应的安装平台铰接,全景立体摄像云台和环境检测装置安装座各通过一个第二减震缓冲机构分别设置在两个安装平台上,每个第二减震缓冲机构均固定设置在对应安装平台的上端,远程操作控制器设置在驱动装置的顶部且位于两个安装平台之间,远程操作控制器控制驱动装置和全景立体摄像云台。
优选的,所述驱动装置包括驱动底盘、四个驱动轮和两个履带,四个驱动轮两两对称设置在驱动底盘宽度方向的两侧,两个履带分别设置在驱动底盘宽度方向两侧的两个驱动轮的外侧,每个履带均与对应的两个驱动轮啮合,驱动底盘内沿其长度方向的中间设置有主架,主架的两端各通过一个长轴套与安装平台的下端连接,两个长轴套设备设置在驱动底盘长度方向的两端且垂直于驱动底盘的长度方向,两个安装平台均设置在对应的长轴套上,两个第一减震缓冲机构分别设置在主架长度方向的两端,远程操作控制器设置在驱动底盘的顶部且位于两个安装平台之间。
优选的,每个所述第一减震缓冲机构包括活动座、两个倾斜支撑杆和两个第一减震弹簧,活动座固定设置在主架长度方向的一端且套设在长轴套上,两个倾斜支撑杆按倒八字型对称设置在安装平台和活动座之间,每个倾斜支撑杆的两端均分别与与安装平台和活动座铰接,两个第一减震弹簧分别套设在两个倾斜支撑杆上,两个第一减震弹簧的两端分别与活动座和安装平台的底部连接。
优选的,每个所述第二减震缓冲机构均包括顶板、底板、第二减震弹簧、中心减震装置和限位筒;其中,第二减震弹簧、中心减震装置和限位筒设置于顶板和底板之间,第二减震弹簧位于中心减震装置外周,限位筒位于中心减震装置顶部,第二减震弹簧、中心减震装置和限位筒的中轴线重合,底板通过下缓冲波形垫片固定设置在安装平台上,顶板通过上缓冲波形垫片分别与全景立体摄像云台或者环境检测装置安装座固定连接,下缓冲波形垫片固定设置在安装平台上端,上缓冲波形垫片分别固定设置在全景立体摄像云台或者环境检测装置安装座的下端。
优选的,所述中心减震装置包括竖向设置于顶板和底板之间的导杆,以及设置在导杆中部的压簧板,在压簧板和顶板之间设置有第三减震弹簧,在压簧板和底板之间堆叠有若干碟簧形成碟簧组,第三减震弹簧的两端分别与顶板和压簧板连接。
优选的,所述全景立体摄像云台包括云台安装座、若干支撑杆、若干全景摄像头和若干转盘,云台安装座通过若干个旋转马达固定设置在顶板上方,所有转盘均穿过云台安装座与对应的旋转马达固定连接,所有旋转马达均固定设置在顶板和云台安装座之间,所有支撑杆均竖直设置在对应的转盘上,所有全景摄像头均各通过一个连接杆设置在对应支撑杆上,连接杆的上端与对应的全景摄像头固定连接,连接杆的下端与对应的和支撑杆的上端铰接,每个旋转马达和全景摄像头均由远程操作控制器控制。
优选的,全部所述转盘上均竖直设置有一个电动推杆,每个电动推杆的顶部均正对对应位置的连接杆,每个电动推杆和对应的连接杆之间均通过一个滑块连接,每个连接杆在沿其长度方向的下端均设置有滑槽,滑块与滑槽之间滑动连接,滑块与对应的电动推杆之间交接,所有电动推杆均由远程操作控制器控制。
本发明还提供了一种与MR眼镜联动的自主移动巡控机器人系统,包括至少一个上面介绍的自主移动巡控机器人,以及包括立体全景视频生成单元、MR眼镜以及机器人控制单元;
所述自主移动巡控机器人的全部所述全景摄像头拍摄的视频画面被无线发送给所述立体全景视频生成单元;
所述立体全景视频生成单元利用这些视频画面通过拼接合成,并且与虚拟场景视频画面叠加,形成符合MR显示制式的全景立体视频;
所述MR眼镜从所述立体全景视频生成单元取得全景立体视频并执行MR显示,所述MR眼镜还内置三轴运动感应模块,该模块感应MR眼镜在X-Y-Z三轴上的偏转角度,三轴运动感应模块检测到的偏转角度被传输给机器人控制单元;
所述机器人控制单元根据检测到的X-Y-Z轴的偏转角度,相应生成拍摄方向调整指令,该指令包括所述全景摄像头在X-Y-Z轴向对应的转动角度;所述拍摄方向调整指令被所述机器人控制单元远程无线传输给远程操作控制器,由远程操作控制器控制实现对各个全景摄像头的调节。
优选的,所述机器人控制单元还根据用户的操作向机器人下达前进、后退、转弯的运动指令,该运动指令被远程无线发送给远程操作控制器,由远程操作控制器控制机器人执行相应方向的自主移动。
优选的,所述立体全景视频生成单元还包括画面抖动校正单元,对全景摄像头拍摄的视频画面进行抖动校正处理,然后以抖动校正处理之后的视频画面通过拼接合成形成全景立体视频。
有益效果:本发明的自主移动巡控机器人在进行环境探查和MR全景视频拍摄时,由驱动底盘驱动驱动轮和履带,使得机器人可在地面环境相对复杂的情况下可以安全和快速移动,主架和长轴套将第一减震缓冲机构和安装平台相对固定在对应位置。机器人在自主移动过程中,在遇到颠簸地面时方生震动,使得倾斜支撑杆发生转动,进而通过第一减震弹簧压缩和伸张来稳定安装平台,减少安装平台所受的震动影响。在震动传至安装平台时,震动由第二减震弹簧经拉伸或收缩以减弱震动,再由中心减震装置对传至顶板的震动减弱,限位筒用于限定和保护第二减震弹簧和中心减震装置。震动传至底板时,经第三减震弹簧和碟簧作用使得震动再次减弱,碟簧行程短,负荷大使得顶板和底板在震动时更加稳定。可见,通过三级减震,在物理上可以极大增加视频图像的拍摄稳定性,使得机器人实时采集和生成MR全景视频图像不发生抖动,从而降低用户观看的眩晕感;机器人在进行视频拍摄时,远程控制器控制旋转马达转动,从而带动转盘和支撑杆转动,进而带动连接杆和全景摄像头在转盘的圆周方向上转动,使得每个全景摄像头都可以转动的所需的位置;通过远程操作控制器控制每个电动推杆的伸缩,使得滑块在滑槽上滑动,进而改变连接杆上全景摄像头与地面的角度和高度。本发明可用来代替人们对地形地貌进行探查、在危险场所(例如有毒气、有爆炸物、有辐射)代替人类进行探查、以及在智慧旅游等场景下进行近距离观察。人类在远距离头戴MR显示头盔观察机器人拍摄的场景,同时可携带检测装置对环境进行检测,并且人类通过头部动作驱动MR,带动机器人的摄像头调整拍摄方向。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明的立体结构示意图一;
图2为本发明的立体结构示意图二;
图3为本发明的侧视图;
图4为本发明的主视图;
图5为本发明的俯视图;
图6为图5中C-C处的剖视图;
图7为图5中D-D处的剖视图;
图8为图4中E处的局部视图;
图9为与MR眼镜联动的自主移动巡控机器人系统的组成结构图。
附图标记说明:环境检测装置安装座1,远程操作控制器2,安装平台3,驱动底盘4,驱动轮5,履带6,主架7,长轴套8,活动座9,倾斜杆10,第一减震弹簧11,顶板12,底板13,第二减震弹簧14,限位筒15,导杆16,压簧板17,第三减震弹簧18,碟簧19,云台安装座20,支撑杆21,转盘22,旋转马达23,连接杆24,电动推杆25,滑块26,滑槽27,上缓冲波形垫片28,下缓冲波形垫片29,全景摄像头30。
具体实施方式
以下将以图式揭露本发明的多个实施方式,为明确说明起见,许多实务上的细节将在以下叙述中一并说明。然而,应了解到,这些实务上的细节不应用以限制本发明。也就是说,在本发明的部分实施方式中,这些实务上的细节是非必要的。此外,为简化图式起见,一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,并非特别指称次序或顺位的意思,亦非用以限定本发明,其仅仅是为了区别以相同技术用语描述的组件或操作而已,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
参照图1至图8所示一种自主移动巡控机器人的机械结构,包括驱动装置、全景立体摄像云台、环境检测装置安装座1、远程操作控制器2和前、后两个安装平台3。两个安装平台3各通过一个第一减震缓冲机构设置在驱动装置长度方向上的前、后两端的上方,两个第一减震缓冲机构分别设置在驱动装置长度方向的两端,每个第一减震缓冲机构的顶部均与对应的一个安装平台3铰接,全景立体摄像云台和环境检测装置安装座1各通过一个第二减震缓冲机构分别设置在两个安装平台3上,每个第二减震缓冲机构均固定设置在对应安装平台3的上端,远程操作控制器2设置在驱动装置的顶部且位于两个安装平台3之间,远程操作控制器2控制驱动装置和全景立体摄像云台。
所述驱动装置包括驱动底盘4、四个驱动轮5和两个履带6,四个驱动轮5两两对称设置在驱动底盘4宽度方向的两侧,两个履带6分别设置在驱动底盘4宽度方向两侧的两个驱动轮5的外侧,每个履带6均与对应的两个驱动轮5啮合,驱动底盘4内沿其长度方向的中间设置有主架7,主架7的两端各通过一个长轴套8与安装平台3的下端连接,两个长轴套8设备设置在驱动底盘4长度方向的两端且垂直于驱动底盘4的长度方向,两个安装平台3均设置在对应的长轴套8上,两个第一减震缓冲机构分别设置在主架7长度方向的前、后两端,远程操作控制器2设置在驱动底盘4的顶部且位于两个安装平台3之间。
每个所述第一减震缓冲机构均包括活动座9、两个倾斜杆10和两个第一减震弹簧11;活动座9固定设置在主架7长度方向的一端且套设在长轴套8上,两个倾斜杆10按倒八字型对称设置在安装平台3和活动座9之间,每个倾斜杆10的两端均分别与与安装平台3和活动座9铰接,两个第一减震弹簧11分别套设在两个倾斜杆10上,两个第一减震弹簧11的两端分别与活动座9和安装平台3的底部连接,从而每个第一减震缓冲机构顶部分别铰接一个对应的安装平台3。
在每个安装平台3之上分别设置一个第二减震缓冲机构。每个所述第二减震缓冲机构均包括:顶板12、底板13、第二减震弹簧14、中心减震装置和限位筒15;其中,第二减震弹簧14、中心减震装置和限位筒15设置于顶板12和底板13之间,第二减震弹簧14位于中心减震装置外周,限位筒15位于中心减震装置顶部,第二减震弹簧14、中心减震装置和限位筒15的中轴线重合,顶板12通过上缓冲波形垫片28分别与全景立体摄像云台或者是环境检测装置安装座1固定连接,下缓冲波形垫片29固定设置在安装平台3上端,上缓冲波形垫片28固定设置在全景立体摄像云台或者环境检测装置安装座1的下端。所述中心减震装置包括竖向设置于顶板12和底板13之间的导杆16,以及设置在导杆16中部的压簧板17,在压簧板17和顶板12之间设置有第三减震弹簧18,在压簧板17和底板13之间堆叠有若干碟簧19形成碟簧组,第三减震弹簧18的两端分别与顶板12和压簧板17连接。
所述全景立体摄像云台包括云台安装座20、若干支撑杆21、若干全景摄像头30和若干转盘22,云台安装座20通过若干个旋转马达23固定设置在顶板12上方,所有转盘22均穿过云台安装座20与对应的旋转马达23固定连接,所有旋转马达23均固定设置在顶板12和云台安装座20之间,所有支撑杆21均竖直设置在对应的转盘22上,所有全景摄像头30均各通过一个连接杆24设置在对应支撑杆21上,连接杆24的上端与对应的全景摄像头30固定连接,连接杆24的下端与对应的和支撑杆21的上端铰接,每个旋转马达23和全景摄像头30均由远程操作控制器2控制。
全部所述转盘22上均竖直设置有一个电动推杆25,每个电动推杆25的顶部均正对对应位置的连接杆24,每个电动推杆25和对应的连接杆24之间均通过一个滑块26连接,每个连接杆24在沿其长度方向的下端均设置有滑槽27,滑块26与滑槽27之间滑动连接,滑块26与对应的电动推杆25之间交接,所有电动推杆25均由远程操作控制器2控制。
工作原理:机器人在进行全景立体视频摄像和环境检测时,由驱动底盘4驱动驱动轮5和履带6,使得机器人可在地面环境相对复杂的情况下可以安全和快速移动,机器人在自主移动过程中,特别在遇到颠簸地面时会发生震动,使得倾斜杆10发生转动,进而通过第一减震弹簧11压缩和伸张来稳定安装平台3,减少安装平台3所受的震动影响,从而实现第一级减震;在震动传至安装平台3时,震动由第二减震弹簧14经拉伸或收缩以减弱震动,再由中心减震装置对传至顶板12的震动减弱,限位筒15用于限定和保护第二减震弹簧14和中心减震装置,实现第二级减震;震动传至底板13时,经第三减震弹簧18和碟簧19作用使得震动再次减弱,碟簧19行程短,负荷大使得顶板12和底板13在震动时更加稳定,实现第三级减震;以上三级减震使得全景立体摄像云台以及环境检测装置安装座1的物理震动被基本消除,确保了在机器人运动过程中拍摄的全景立体视频画面也达到稳定无抖动,以及增强了各种环境检测传感器检测结果的可靠性。机器人在进行全景立体视频采集时,远程操作控制器2无线接收远程发送过来的拍摄方向调整指令,控制旋转马达23转动,从而带动转盘22和支撑杆21转动,进而带动连接杆24和全景摄像头30在转盘22的圆周方向上转动,使得每个全景摄像头30都可以转动的所需的位置;并且,通过远程操作控制器2控制每个电动推杆25的伸缩,使得滑块26在滑槽27上滑动,进而改变连接杆24上全景摄像头30与地面的角度和高度;通过多个全景摄像头30可以全方向拍摄机器人周围的视频,所拍摄的视频可以用于处理产生符合MR显示制式的全景立体视频,以供MR显示。环境检测装置安装座1内则可以安装振动、声音、温度、湿度、气体浓度、辐射剂量等各种类型的传感器。另外,也可以拆下该环境检测装置安装座1而安装另外一组全景立体摄像云台。
图9示出了本发明所述与MR眼镜联动的自主移动巡控机器人系统的组成结构图,包括至少一个上面介绍的自主移动巡控机器人、立体全景视频生成单元、MR眼镜以及机器人控制单元。
其中,自主移动巡控机器人的全部所述全景摄像头30拍摄的视频画面被无线发送给所述立体全景视频生成单元;这些视频画面全方向记录了机器人周围的画面;所述立体全景视频生成单元利用这些视频画面通过拼接合成,并且与虚拟场景视频画面叠加,形成符合MR显示制式的全景立体视频,从而利用MR眼镜观看时用户可以产生身处机器人所在位置一般的沉浸式视觉感受。MR眼镜从所述立体全景视频生成单元取得全景立体视频并执行MR显示。
并且,所述MR眼镜还内置三轴运动感应模块,该模块可以感应MR眼镜在X-Y-Z三轴上的偏转角度,用户在佩戴MR眼镜时可以利用头部的转动使MR眼镜运动,三轴运动感应模块检测到的偏转角度被传输给机器人控制单元。所述机器人控制单元根据检测到的X-Y-Z轴的偏转角度,相应生成拍摄方向调整指令,该指令包括所述全景摄像头30在X-Y-Z轴向对应的转动角度;所述拍摄方向调整指令被所述机器人控制单元远程无线传输给远程操作控制器2,由远程操作控制器2控制实现对各个全景摄像头30的调节。此外,所述机器人控制单元还可以根据用户的操作向机器人下达前进、后退、转弯的运动指令,该运动指令被远程无线发送给远程操作控制器2,由远程操作控制器2控制机器人执行相应方向的自主移动;例如,可以检测用户手部的运动,根据手部的运动生成运动指令。这样,用户在佩戴MR眼镜的情况下,可以利用手部运动控制机器人的自主移动,同时利用头部带动MR眼镜运动,从而调节各个全景摄像头的拍摄方向,以上两方面共同作用,使得用户观察到的MR显示画面发生变化。
另外,为了进一步强化本发明所生成的全景视频画面的稳定无抖动的特性,使机器人运动过程中实时采集的全景视频画面就像预制的电影或者游戏一样平稳,除了机器人本身设置的多级减震防抖结构外,所述立体全景视频生成单元还可以包括画面抖动校正单元,对全景摄像头30拍摄的视频画面进行抖动校正处理,然后以抖动校正处理之后的视频画面通过拼接合成形成全景立体视频。具体来说,所述环境检测装置安装座1内安装的振动传感器检测振动位移量参数,并将该振动位移量参数无线发送给画面抖动校正单元;根据X-Y-Z轴向上的振动位移量,画面抖动校正单元将其对应为全景摄像头30的镜头位移量,并参照镜头位移量以及镜头成像参数计算视频画面抖动量,再根据该视频画面抖动量对全景摄像头30拍摄的视频画面相应执行抖动校正。此外,作为另一种抖动校正处理,所述画面抖动校正单元也可以根据采样时间,将所述环境检测装置安装座1内安装的振动传感器检测的振动位移量参数与全景摄像头30采集的视频画面关联起来,并且,将其中振动位移量参数小于上限值的视频画面作为基准画面;进而,比较非基准的视频画面与作为基准的视频画面的场景一致度,场景一致度的计算方法为:
对于一帧基准或者非基准的视频帧,计算该视频帧的平均视差矢量NV,
Figure BDA0002007684030000131
其中,在视频帧画面选取一定数量的采样点,M为采样点总数,
Figure BDA0002007684030000132
分别表示第i个采样点在横坐标和纵坐标上的运动矢量幅值;本领域技术人员知晓,运动矢量可以通过前、后帧的对比计算,在此不做阐述。将非基准视频帧的NV与其前、后最邻近的基准视频帧的NV进行对比,如果该非基准视频帧的NV与某一个基准视频帧NV差值在阈值范围T以内,则为二者属于场景一致度符合要求。如果一帧非基准的视频画面与一帧作为基准的视频画面二者的场景一致度符合要求,则可以参照该帧非基准视频画面相对于基准视频画面的位移量,对非基准视频画面进行校正。
本发明的自主移动巡控机器人在进行环境探查和MR全景视频拍摄时,由驱动底盘驱动驱动轮和履带,使得机器人可在地面环境相对复杂的情况下可以安全和快速移动,主架和长轴套将第一减震缓冲机构和安装平台相对固定在对应位置。机器人在自主移动过程中,在遇到颠簸地面时方生震动,使得倾斜支撑杆发生转动,进而通过第一减震弹簧压缩和伸张来稳定安装平台,减少安装平台所受的震动影响。在震动传至安装平台时,震动由第二减震弹簧经拉伸或收缩以减弱震动,再由中心减震装置对传至顶板的震动减弱,限位筒用于限定和保护第二减震弹簧和中心减震装置。震动传至底板时,经第三减震弹簧和碟簧作用使得震动再次减弱,碟簧行程短,负荷大使得顶板和底板在震动时更加稳定。可见,通过三级减震,在物理上可以极大增加视频图像的拍摄稳定性,使得机器人实时采集和生成MR全景视频图像不发生抖动,从而降低用户观看的眩晕感;机器人在进行视频拍摄时,远程控制器控制旋转马达转动,从而带动转盘和支撑杆转动,进而带动连接杆和全景摄像头在转盘的圆周方向上转动,使得每个全景摄像头都可以转动的所需的位置;通过远程操作控制器控制每个电动推杆的伸缩,使得滑块在滑槽上滑动,进而改变连接杆上全景摄像头与地面的角度和高度。本发明可用来代替人们对地形地貌进行探查、在危险场所(例如有毒气、有爆炸物、有辐射)代替人类进行探查、以及在智慧旅游等场景下进行近距离观察。人类在远距离头戴MR显示头盔观察机器人拍摄的场景,同时可携带检测装置对环境进行检测,并且人类通过头部动作驱动MR,带动机器人的摄像头调整拍摄方向。
上所述仅为本发明的实施方式而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等,均应包括在本发明的权利要求范围之内。

Claims (6)

1.一种自主移动巡控机器人,其特征在于:包括驱动装置、全景立体摄像云台、环境检测装置安装座(1)、远程操作控制器(2)和两个安装平台(3),两个安装平台(3)各通过一个第一减震缓冲机构设置在驱动装置长度方向的两端的上方,两个第一减震缓冲机构分别设置在驱动装置长度方向的两端,每个第一减震缓冲机构的顶部均与对应的安装平台(3)铰接,全景立体摄像云台和环境检测装置安装座(1)各通过一个第二减震缓冲机构分别设置在两个安装平台(3)上,每个第二减震缓冲机构均固定设置在对应安装平台(3)的上端,远程操作控制器(2)设置在驱动装置的顶部且位于两个安装平台(3)之间,远程操作控制器(2)控制驱动装置和全景立体摄像云台;其中
所述驱动装置包括驱动底盘(4)、四个驱动轮(5)和两个履带(6),四个驱动轮(5)两两对称设置在驱动底盘(4)宽度方向的两侧,两个履带(6)分别设置在驱动底盘(4)宽度方向两侧的两个驱动轮(5)的外侧,每个履带(6)均与对应的两个驱动轮(5)啮合,驱动底盘(4)内沿其长度方向的中间设置有主架(7),主架(7)的两端各通过一个长轴套(8)与安装平台(3)的下端连接,两个长轴套(8)设备设置在驱动底盘(4)长度方向的两端且垂直于驱动底盘(4)的长度方向,两个安装平台(3)均设置在对应的长轴套(8)上,两个第一减震缓冲机构分别设置在主架(7)长度方向的两端,远程操作控制器(2)设置在驱动底盘(4)的顶部且位于两个安装平台(3)之间;
每个所述第一减震缓冲机构包括活动座(9)、两个倾斜杆(10)和两个第一减震弹簧(11),活动座(9)固定设置在主架(7)长度方向的一端且套设在长轴套(8)上,两个倾斜杆(10)按倒八字型对称设置在安装平台(3)和活动座(9)之间,每个倾斜杆(10)的两端均分别与安装平台(3)和活动座(9)铰接,两个第一减震弹簧(11)分别套设在两个倾斜杆(10)上,两个第一减震弹簧(11)的两端分别与活动座(9)和安装平台(3)的底部连接;
每个所述第二减震缓冲机构均包括顶板(12)、底板(13)、第二减震弹簧(14)、中心减震装置和限位筒(15);其中,第二减震弹簧(14)、中心减震装置和限位筒(15)设置于顶板(12)和底板(13)之间,第二减震弹簧(14)位于中心减震装置外周,限位筒(15)位于中心减震装置顶部,第二减震弹簧(14)、中心减震装置和限位筒(15)的中轴线重合,顶板(12)均通过上缓冲波形垫片(28)分别与全景立体摄像云台或环境检测装置安装座(1)固定连接,下缓冲波形垫片(29)固定设置在安装平台(3)上端,上缓冲波形垫片(28)固定设置在全景立体摄像云台或者环境检测装置安装座(1)的下端;所述中心减震装置包括竖向设置于顶板(12)和底板(13)之间的导杆(16),以及设置在导杆(16)中部的压簧板(17),在压簧板(17)和顶板(12)之间设置有第三减震弹簧(18),在压簧板(17)和底板(13)之间堆叠有若干碟簧(19)形成碟簧组,第三减震弹簧(18)的两端分别与顶板(12)和压簧板(17)连接。
2.根据权利要求1所述的一种自主移动巡控机器人,其特征在于:所述全景立体摄像云台包括云台安装座(20)、若干支撑杆(21)、若干全景摄像头(30)和若干转盘(22),云台安装座(20)通过若干个旋转马达(23)固定设置在顶板(12)上方,所有转盘(22)均穿过云台安装座(20)与对应的旋转马达(23)固定连接,所有旋转马达(23)均固定设置在顶板(12)和云台安装座(20)之间,所有支撑杆(21)均竖直设置在对应的转盘(22)上,所有全景摄像头(30)均各通过一个连接杆(24)设置在对应支撑杆(21)上,连接杆(24)的上端与对应的全景摄像头(30)固定连接,连接杆(24)的下端与对应的和支撑杆(21)的上端铰接,每个旋转马达(23)和全景摄像头(30)均由远程操作控制器(2)控制。
3.根据权利要求2所述的一种自主移动巡控机器人,其特征在于:全部所述转盘(22)上均竖直设置有一个电动推杆(25),每个电动推杆(25)的顶部均正对对应位置的连接杆(24),每个电动推杆(25)和对应的连接杆(24)之间均通过一个滑块(26)连接,每个连接杆(24)在沿其长度方向的下端均设置有滑槽(27),滑块(26)与滑槽(27)之间滑动连接,滑块(26)与对应的电动推杆(25)之间铰接,所有电动推杆(25)均由远程操作控制器(2)控制。
4.一种与MR眼镜联动的自主移动巡控机器人系统,包括权利要求1-3中任一项所述的自主移动巡控机器人,以及包括立体全景视频生成单元、MR眼镜以及机器人控制单元;
所述自主移动巡控机器人的全部全景摄像头拍摄的视频画面被无线发送给所述立体全景视频生成单元;
所述立体全景视频生成单元利用这些视频画面通过拼接合成,并且与虚拟场景视频画面叠加,形成符合MR显示制式的全景立体视频;
所述MR眼镜从所述立体全景视频生成单元取得全景立体视频并执行MR显示,所述MR眼镜还内置三轴运动感应模块,该模块感应MR眼镜在X-Y-Z三轴上的偏转角度,三轴运动感应模块检测到的偏转角度被传输给机器人控制单元;
所述机器人控制单元根据检测到的X-Y-Z轴的偏转角度,相应生成拍摄方向调整指令,该指令包括所述全景摄像头在X-Y-Z轴向对应的转动角度;所述拍摄方向调整指令被所述机器人控制单元远程无线传输给远程操作控制器,由远程操作控制器控制实现对各个全景摄像头的调节。
5.根据权利要求4所述的自主移动巡控机器人系统,其特征在于,所述机器人控制单元还根据用户的操作向机器人下达前进、后退、转弯的运动指令,该运动指令被远程无线发送给远程操作控制器,由远程操作控制器控制机器人执行相应方向的自主移动。
6.根据权利要求5所述的自主移动巡控机器人系统,其特征在于,所述立体全景视频生成单元还包括画面抖动校正单元,对全景摄像头拍摄的视频画面进行抖动校正处理,然后以抖动校正处理之后的视频画面通过拼接合成形成全景立体视频。
CN201910234319.3A 2019-03-26 2019-03-26 一种与mr眼镜联动的自主移动巡控机器人及其系统 Active CN110315498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910234319.3A CN110315498B (zh) 2019-03-26 2019-03-26 一种与mr眼镜联动的自主移动巡控机器人及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910234319.3A CN110315498B (zh) 2019-03-26 2019-03-26 一种与mr眼镜联动的自主移动巡控机器人及其系统

Publications (2)

Publication Number Publication Date
CN110315498A CN110315498A (zh) 2019-10-11
CN110315498B true CN110315498B (zh) 2020-06-26

Family

ID=68112892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910234319.3A Active CN110315498B (zh) 2019-03-26 2019-03-26 一种与mr眼镜联动的自主移动巡控机器人及其系统

Country Status (1)

Country Link
CN (1) CN110315498B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432113B (zh) * 2019-12-30 2022-04-05 科沃斯机器人股份有限公司 数据校准方法、设备及存储介质
CN112422943A (zh) * 2020-11-23 2021-02-26 中国科学技术大学 移动运载式虚拟全景漫游系统及方法
CN114125248A (zh) * 2021-12-10 2022-03-01 深圳供电局有限公司 一种全景式巡视机器人
CN114454138B (zh) * 2022-01-26 2023-11-21 盐城工学院 一种巡检机器人的运动结构
CN115330945B (zh) * 2022-08-12 2023-09-08 南京三万物联网科技有限公司 一种机器人自主巡航及三维重建装置及方法
CN117381822B (zh) * 2023-12-11 2024-02-20 北京云中未来科技有限公司 一种用于乱绳检测的机械手控制装置以及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257299A (ja) * 1994-03-24 1995-10-09 Mutoh Ind Ltd 走行ロボットの衝突緩衝機構
CN201124745Y (zh) * 2007-12-11 2008-10-01 中国三江航天工业集团公司 多螺旋弹簧复合独立悬架装置
CN203422665U (zh) * 2013-06-04 2014-02-05 沈阳易思达智能通讯有限公司 一种变电站巡检机器人
CN108510833A (zh) * 2018-05-31 2018-09-07 中国人民解放军第四军医大学 模拟夜视镜下飞行的训练器材和提高夜间作训能力的方法
CN208325432U (zh) * 2018-06-06 2019-01-04 华夏同创建设有限公司 一种减震型矿山工程车
CN109130750A (zh) * 2018-08-29 2019-01-04 北京长城华冠汽车技术开发有限公司 防侧倾悬挂及车辆
CN109501879B (zh) * 2018-12-28 2020-01-24 尚一盛世(北京)科技有限公司 一种防撞能力强的可跟踪式履带机器人

Also Published As

Publication number Publication date
CN110315498A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110315498B (zh) 一种与mr眼镜联动的自主移动巡控机器人及其系统
KR102339142B1 (ko) 가상현실카메라 지지봉 장치
KR102066890B1 (ko) 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램
KR102060453B1 (ko) 화상 표시 시스템, 화상 표시 시스템의 제어방법, 화상 전송 시스템 및 헤드 마운트 디스플레이
CN104111658B (zh) 一种可通过智能眼镜进行监控拍摄及控制的无人机
JP5148652B2 (ja) プログラム、情報記憶媒体及び画像生成システム
US10551724B2 (en) Motorized monopod jib for cameras
CN205726125U (zh) 一种新型机器人远程监视系统
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
WO2017118309A1 (zh) 一种封闭性的可穿戴全景摄像与处理系统及其操作方法
WO2014077046A1 (ja) 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
CN107166153B (zh) 头部穿戴摄像机架
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
KR20180066370A (ko) Vr용 흔들림 보정 헤드버디캠
CN106559664A (zh) 三维全景图像的拍摄装置及设备
CN103888750A (zh) 三维影像拍摄控制系统及方法
CN105915772A (zh) 一种室内全景数据采集小车
EP3729166A1 (en) Head-mountable apparatus and methods
CN205643820U (zh) 基于双可控制镜头倾斜式音圈马达的立体数码摄像装置
CN203899120U (zh) 真实感的遥控体验游戏系统
CN203941453U (zh) 一种可通过智能眼镜进行监控拍摄及控制的无人机
CN205792907U (zh) 一种室内全景数据采集小车
CN108646776B (zh) 一种基于无人机的成像系统和方法
CN207448453U (zh) 一种机器人及机器人系统
EP3673348B1 (en) Data processing device, method and non-transitory machine-readable medium for detecting motion of the data processing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 101100 rooms 1-6, building 1, courtyard 3, binhuibei 1st Street, Tongzhou District, Beijing

Patentee after: Teslan Technology Group Co.,Ltd.

Address before: 100016 rooms 1-6, building 1, courtyard 3, binhuibei 1st Street, Tongzhou District, Beijing

Patentee before: Beijing telian Technology Group Co.,Ltd.

Address after: 100016 rooms 1-6, building 1, courtyard 3, binhuibei 1st Street, Tongzhou District, Beijing

Patentee after: Beijing telian Technology Group Co.,Ltd.

Address before: 100027 11 Floor West Tower of Qihao Building, 8 Xinyuan South Road, Chaoyang District, Beijing

Patentee before: TERMINUS (BEIJING) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231218

Address after: 100600 District C, Qiankun Building, Chaoyang District, Beijing

Patentee after: Beijing Weimo Zhuoran Technology Co.,Ltd.

Address before: 101100 rooms 1-6, building 1, courtyard 3, binhuibei 1st Street, Tongzhou District, Beijing

Patentee before: Teslan Technology Group Co.,Ltd.