CN106853638A - 一种基于增强现实的人体生物信号远程控制系统及方法 - Google Patents

一种基于增强现实的人体生物信号远程控制系统及方法 Download PDF

Info

Publication number
CN106853638A
CN106853638A CN201611262147.3A CN201611262147A CN106853638A CN 106853638 A CN106853638 A CN 106853638A CN 201611262147 A CN201611262147 A CN 201611262147A CN 106853638 A CN106853638 A CN 106853638A
Authority
CN
China
Prior art keywords
control
communication module
terminal
robot
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611262147.3A
Other languages
English (en)
Inventor
曹广忠
钟祥永
孙俊缔
梁誉馨
许展志
龚鼎
黄苏丹
邱洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201611262147.3A priority Critical patent/CN106853638A/zh
Publication of CN106853638A publication Critical patent/CN106853638A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于增强现实的人体生物信号远程控制系统及方法,其中,所述系统包括:作为控制端的AR智能设备,以及作为被控端的机器人终端;所述AR智能设备包括:控制端通讯模块;生物传感器,用于采集生物信号并进行识别处理后转换为控制信号发送至机器人终端、以控制机器人终端完成相应动作或任务;所述机器人终端包括:被控端通讯模块;控制模块,用于根据所接收的生物信号发送相应的控制指令至该指令的具体执行单元。本发明所提供的系统,使得AR智能设备可使用网络服务器、通过生物信号远程控制机器人终端,解决了现有技术中无法将增强现实技术与机器人远程控制结合在一起的问题。

Description

一种基于增强现实的人体生物信号远程控制系统及方法
技术领域
本发明涉及移动终端技术领域,尤其涉及的是一种基于增强现实的人体生物信号远程控制系统及方法。
背景技术
基于互联网的机器人能够在人类无法亲临现场的情况下实现远程对现场的勘测、排爆、侦察和探索等任务,甚至可以帮助人类远程与人互动与交流。
而增强现实技术(AR)是随着虚拟现实技术(VR)迅速发展和实际应用需要而出现的一种将真实世界信息与虚拟世界信息“无缝”集成的新技术,通过这种技术使虚拟环境与实际环境融为一体,提高了使用舒适性。
如何将增强现实技术与机器人远程控制结合在一起,是目前亟待解决的技术问题。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种基于增强现实的人体生物信号远程控制系统及方法,旨在解决现有技术中无法将增强现实技术与机器人远程控制结合在一起的问题。
本发明的技术方案如下:
一种基于AR的人体生物信号远程控制系统,其中,所述基于AR的人体生物信号远程控制系统包括:
作为控制端的AR智能设备,以及作为被控端的机器人终端,所述AR智能设备及机器人终端通过服务器进行网络连接;
所述AR智能设备包括:用于通过网络连接机器人终端、并与其进行数据及命令传输的控制端通讯模块;
与所述控制端通讯模块连接的生物传感器,用于采集生物信号并进行识别处理后转换为控制信号、通过控制端通讯模块发送至机器人终端、以控制机器人终端完成相应动作或任务;
所述机器人终端包括:用于通过网络连接AR智能设备、并与其进行数据及命令传输的被控端通讯模块;
与所述被控端通讯模块连接的控制模块,用于接收转换后的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述机器人终端还包括:
第一紫蜂协议设备,用于根据控制模块指令连接至少一个末端机器人、以实现多机器人协同作业;
所述末端机器人包括与所述第一紫蜂协议设备连接的第二紫蜂协议设备,用于接收来自于第一紫蜂协议设备的控制信号;
以及与第二紫蜂协议设备连接的末端控制模块,用于将第二紫蜂协议设备所接收的控制信号转换为控制指令,发送至该指令的具体执行单元。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述机器人终端还包括:
一与被控端通讯模块连接的视觉传感器,用于采集机器人终端所在场所的视觉信息,并将所采集视觉信息传输至被控端通讯模块;
以及一与被控端通讯模块连接的被控端麦克风,用于采集机器人终端所在场所的声音信息,并将所采集声音信息传输至被控端通讯模块;
所述AR智能设备还包括:一与控制端通讯模块连接的AR模块,用于显示视觉传感器所采集到的视觉信息;
以及一与控制端通讯模块连接的控制端扬声器,用于播放被控端麦克风所采集到的声音信息。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述AR智能设备还包括:
与控制端通讯模块连接的控制端麦克风,用于采集AR智能设备所在场所的声音信息,并将所采集声音信息发送至控制端通讯模块;
所述机器人终端还包括:
与被控端通讯模块连接的被控端扬声器,用于播放控制端所采集到的声音信息。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述机器人终端还包括:
与所述控制模块连接的移动模块,用于接收来自于控制模块的控制指令后,进行移动。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述机器人终端还包括:
与所述控制模块连接的陀螺仪,用于采集机器人终端的GPS信息或移动时的加速度信息,并将所采集到的信息反馈至控制模块。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述机器人终端还包括:
与所述控制模块连接的激光雷达,用于采集机器人终端所在环境的距离数据构建平面地图,从而实现其自身的室内定位及导航。
优选方案中,所述的基于AR的人体生物信号远程控制系统,其中,所述AR智能设备及机器人终端皆采用分布式控制。
一种通过如上任意一项所述基于AR的人体生物信号远程控制装置实现的远程控制方法,其中,所述远程控制方法包括步骤如下:
生物传感器采集生物信号并进行识别处理后转换为控制信号、发送至控制端通讯模块;
控制端通讯模块将转换后的控制信号,通过网络传输至服务器;
服务器将控制端通讯模块发送来的控制信号通过网络发送至被控端通讯模块;
被控端通讯模块接收服务器所发送来的控制信号,并将其转发至控制模块;
控制模块接收来自于被控端通讯模块的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。
与现有技术相比,本发明所提供的基于AR的人体生物信号远程控制系统,由于采用了作为控制端的AR智能设备,以及与AR智能设备通过服务器进行网络连接、作为被控端的机器人终端;并在AR智能设备内设置:用于通过网络连接机器人终端、并与其进行数据及命令传输的控制端通讯模块;与控制端通讯模块连接的生物传感器,用于采集生物信号并进行识别处理后转换为控制信号、通过控制端通讯模块发送至机器人终端、以控制机器人终端完成相应动作或任务;而对应的,在机器人终端内设置:用于通过网络连接AR智能设备、并与其进行数据及命令传输的被控端通讯模块;与被控端通讯模块连接的控制模块,用于接收转换后的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。使得AR智能设备可使用网络服务器、通过生物信号远程控制机器人终端,解决了现有技术中无法将增强现实技术与机器人远程控制结合在一起的问题。
附图说明
图1是本发明中远程控制方法较佳实施例的流程示意图。
图2是本发明基于AR的人体生物信号远程控制系统较佳实施例的功能原理框图。
具体实施方式
本发明提供一种基于增强现实的人体生物信号远程控制系统及方法,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明提供了一种基于AR的人体生物信号远程控制方法,其包括:
S100、生物传感器采集生物信号并进行识别处理后转换为控制信号、发送至控制端通讯模块。
AR,是(Augmented Reality)即增强现实。它通过计算机技术,将虚拟的信息应用到真实世界,真实的环境和虚拟的物体实时地叠加到了同一个画面或空间。
以麻省理工学院媒体实验室流体界面小组的研究成果SixthSense(第六感)为例简单介绍其工作原理。SixthSense设备主要包括摄像头、小型投影仪、智能手机和镜子,其投影仪可以将任何平面变成一个互动的显示屏。SixthSense利用摄像头和镜子来捕捉周围的环境,然后将这种图片传给手机(手机处理这种图片,获得GPS坐标以及从互联网上搜索相关信息),然后将这些信息从投影仪投射到用户面前的任何平面上,不管这种平面是一个手腕,还是一面墙。由于用户将摄像头佩戴在胸前,因此SixthSense设备能够增强他所看到的一切。例如,如果他在一个杂货店里挑选了一罐汤,SixthSense设备将能够搜索这罐汤的相关信息,例如成分、价格和营养价值甚或用户评论,然后将它们投射到平面上。
本发明较佳实施例中,生物信号是指如肌电、脑电、手势及姿态等人体生物信号。利用生物信号进行机器人的远程控制更接近人们的生活习惯,操作也更为方便、灵活。
该步骤中所述的识别处理,是指生物传感器检测并判断是否存在人体生物信号,若是,则将其转换为相应的信号,若否则不执行动作。
S200、控制端通讯模块将转换后的控制信号,通过网络传输至服务器。
S300、服务器将控制端通讯模块发送来的控制信号通过网络发送至被控端通讯模块。
具体实施时,服务器可将来自于控制端通讯模块发送来的控制信号进行存储后,再转发至被控端通讯模块,以实现远程通讯的同时进行大数据采集。
更佳的方案是,服务器可以将所有经过其传输的信息皆进行分类存储,一方面便于统计大数据,另一方面便于信息管理,在出现故障时,方便调出所存储的信息进行故障查找等。
S400、被控端通讯模块接收服务器所发送来的控制信号,并将其转发至控制模块。
S500、控制模块接收来自于被控端通讯模块的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。
所述根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元是指,根据控制信号的性质及针对对象进行信号处理,并控制相应的模块或组件执行相应的功能,如移动模块的移动、多机器人协同作业、采集视频信息或声音信息、采集机器人终端与周围障碍物的距离、播放视频或声音等等。
与现有技术相比,本发明所提供的基于AR的人体生物信号远程控制方法,由于采用了首先通过生物传感器采集生物信号并进行识别处理后转换为控制信号、发送至控制端通讯模块;其次利用控制端通讯模块将转换后的控制信号,通过网络传输至服务器;再次通过服务器将控制端通讯模块发送来的控制信号通过网络发送至被控端通讯模块;然后利用被控端通讯模块接收服务器所发送来的控制信号,并将其转发至控制模块;最后通过控制模块接收来自于被控端通讯模块的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。使得机器人终端可使用网络服务器、通过生物信号远程受控于AR智能设备,解决了现有技术中无法将增强现实技术与机器人远程控制结合在一起的问题。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S610、第一紫蜂协议设备接受到来自于控制模块的协同控制信号后,发送一条协同指令给至少一个末端机器人。
S620、末端机器人接受协同指令后运行协同控制算法,与机器人终端进行通信及协同作业。
多机器人协同作业其工作效率及工作完成度非单机器人作业、所能比较,而且本发明远程控制方法的多机器人协同作业是根据同一控制信号完成,控制方便,简化了控制难度,提高了机器人终端及末端机器人的作业精确性。
紫蜂协议设备即ZigBee设备,ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定,ZigBee技术是一种短距离、低功耗的无线通信技术。这一名称(又称紫蜂协议)来源于蜜蜂的八字舞,由于蜜蜂(bee)是靠飞翔和"嗡嗡"(zig)地抖动翅膀的"舞蹈"来与同伴传递花粉所在方位信息,也就是说蜜蜂依靠这样的方式构成了群体中的通信网络。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S630、视觉传感器采集机器人终端所在场所的视觉信息,并将所采集视觉信息传输至被控端通讯模块;
同时,被控端麦克风采集机器人终端所在场所的声音信息,并将所采集声音信息传输至被控端通讯模块。
S640、AR模块显示视觉传感器所采集到的视觉信息;同时,控制端扬声器播放被控端麦克风所采集到的声音信息。
需注意的是,S630与S610及S620无必然联系,此处只是为了对两个不同具体执行单元的工作步骤进行区分,而非先后顺序。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S710、方位传感器采集AR智能设备的偏移数据、并发送至控制端通讯模块。
具体实施时,方位传感器采集AR智能设备的偏移数据,并转换为第一数字信号发送至控制端通讯模块。
S720、控制端通讯模块接收来自于方位传感器的第一数字信号,并将其上传至服务器。
S730、服务器将所接收的第一数字信号发送至被控端通讯模块。
S740、被控端通讯模块将所述第一数字信号转发至控制模块。
S750、控制模块将所述第一数字信号转换为偏移控制指令,并将所转换偏移控制指令发送至正在采集视觉信息的视觉传感器。
S760、视觉传感器根据控制模块的指令在采集视觉信息的同时进行偏移。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S770、控制端麦克风采集AR智能设备所在场所的声音信息,并将所采集声音信息发送至控制端通讯模块。
S780、被控端扬声器播放控制端所采集到的声音信息。
用户可通过控制端麦克风及被控端扬声器实现,与机器人终端现场其他人的通话、记录现场情况或语音控制机器人终端执行任务等。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S650、移动模块接收来自于控制模块的控制指令后,进行移动。
移动模块可以是滚动轮、机器人仿生腿或其他可以实现移动的结构,此为现有技术,在此不进行具体限定。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S660、陀螺仪采集机器人终端的GPS信息或移动时的加速度信息,并将所采集到的信息反馈至控制模块。
陀螺仪是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。利用其他原理制成的角运动检测装置起同样功能的也称陀螺仪。陀螺仪分为,压电陀螺仪,微机械陀螺仪,光纤陀螺仪和激光陀螺仪,它们都是电子式的,并且它们可以和加速度计,磁阻芯片,GPS,做成惯性导航控制系统。
本发明进一步地较佳实施例中,所述远程控制方法还包括:
S670、激光雷达采集机器人终端所在环境的距离数据构建平面地图,从而实现其自身的室内定位及导航。
此处所述距离数据,是指机器人终端所检测其与室内物体之间的距离,当然还可以包括由机器人终端分别检测到的其与多个室内物体之间的距离后,计算所得各个室内物体之间的距离。
S100之前还包括步骤:
所述被控端和控制端通讯模块初始化,被控端通过账号和密钥连入网络端,控制端通过账号和密钥连入网络端,网络端初始化通信并建立两者连接;
被控端视觉传感器采集视觉信息并处理,控制端AR设备初始化。
如图2所示,本发明还提供了一种基于AR的人体生物信号远程控制系统,其包括AR智能设备100及机器人终端300,二者皆采用分布式控制,所述分布式控制是指每个模块都有自己的对应的处理器完成自己的工作,而非传统的集中控制,如:当被控端的控制模块故障,通讯模块依然可以正常工作,视觉信息声音信息依然可以远程传输。传统的集中控制一旦中央处理器故障,所有设备都将无法工作。
在控制端(AR智能设备)与被控端(机器人终端)之间设置有网络端即服务器200:网络端是具备公网IP的,其可以是是服务器也可以是服务器集群,其负责被控端和控制端的通信中转,其还负责云端多机器人与多控制端的信息收集和大数据处理。
AR智能设备优选为可穿戴设备,如AR眼镜等。
机器人终端的供电依靠太阳能充电或无线充电,其中无线充电实现可依靠供电设备及电池实现,为现有技术,不在此赘述。
机器人终端内设置有显示模块,其用于显示来自于被控端通讯模块的内容,该内容可以采集于AR智能设备,也可以采集于其自身所设置的视觉传感器。
机器人终端还设置有机械臂,其负责完成机器人的动作,其与控制模块连接,接收控制模块指令进行运动。
除以上内容外,所述基于AR的人体生物信号远程控制系统设置如下:
作为控制端的AR智能设备,以及作为被控端的机器人终端,所述AR智能设备及机器人终端通过服务器进行网络连接,具体如上述方法实施例所述;
所述AR智能设备包括:用于通过网络连接机器人终端、并与其进行数据及命令传输的控制端通讯模块,具体如上述方法实施例所述;
与所述控制端通讯模块连接的生物传感器,用于采集生物信号并进行识别处理后转换为控制信号、通过控制端通讯模块发送至机器人终端、以控制机器人终端完成相应动作或任务,具体如上述方法实施例所述;
所述机器人终端包括:用于通过网络连接AR智能设备、并与其进行数据及命令传输的被控端通讯模块,具体如上述方法实施例所述;
与所述被控端通讯模块连接的控制模块,用于接收转换后的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述机器人终端还包括:
第一紫蜂协议设备,用于根据控制模块指令连接至少一个末端机器人、以实现多机器人协同作业,具体如上述方法实施例所述;
所述末端机器人包括与所述第一紫蜂协议设备连接的第二紫蜂协议设备,用于接收来自于第一紫蜂协议设备的控制信号,具体如上述方法实施例所述;
以及与第二紫蜂协议设备连接的末端控制模块,用于将第二紫蜂协议设备所接收的控制信号转换为控制指令,发送至该指令的具体执行单元,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述机器人终端还包括:
一与被控端通讯模块连接的视觉传感器,用于采集机器人终端所在场所的视觉信息,并将所采集视觉信息传输至被控端通讯模块,具体如上述方法实施例所述;
以及一与被控端通讯模块连接的被控端麦克风,用于采集机器人终端所在场所的声音信息,并将所采集声音信息传输至被控端通讯模块,具体如上述方法实施例所述,具体如上述方法实施例所述;
所述AR智能设备还包括:一与控制端通讯模块连接的AR模块,用于显示视觉传感器所采集到的视觉信息,具体如上述方法实施例所述;
以及一与控制端通讯模块连接的控制端扬声器,用于播放被控端麦克风所采集到的声音信息,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述AR智能设备还包括:
与控制端通讯模块连接的方位传感器,用于采集AR智能设备的偏移数据、以实现视觉传感器与AR智能设备同步偏移,具体如上述方法实施例所述;
所述视觉传感器还用于在采集视觉信息时,根据控制模块的指令偏移,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述AR智能设备还包括:
与控制端通讯模块连接的控制端麦克风,用于采集AR智能设备所在场所的声音信息,并将所采集声音信息发送至控制端通讯模块,具体如上述方法实施例所述;
所述机器人终端还包括:
与被控端通讯模块连接的被控端扬声器,用于播放控制端所采集到的声音信息,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述机器人终端还包括:
与所述控制模块连接的移动模块,用于接收来自于控制模块的控制指令后,进行移动,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述机器人终端还包括:
与所述控制模块连接的陀螺仪,用于采集机器人终端的GPS信息或移动时的加速度信息,并将所采集到的信息反馈至控制模块,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述机器人终端还包括:
与所述控制模块连接的激光雷达,用于采集机器人终端所在环境的距离数据构建平面地图,从而实现其自身的室内定位及导航,具体如上述方法实施例所述。
本发明进一步地较佳实施例中,所述AR智能设备及机器人终端皆采用分布式控制,具体如上述方法实施例所述。
通过设置以上技术特征,本发明所提供的基于AR的人体生物信号远程控制系统,结合互联网远程控制、增强现实技术、人体生物信号控制等多项技术,使得用户只需通过佩戴AR头盔(含有耳机与麦克等设备)和人体生物传感器,即可控制远程机器人进行各项任务。用户视野中不但有该机器人的视野,更有各项图形界面,仿佛用户代替了机器人处于现场,用户可以通过人体生物信号(如脑电信号)对机器人进行控制,比如通过肌电信号控制机器人行走。通过麦克风和扬声器可与远程进行通话。通过采用模块化的分布式控制方案,使得机器人有更好的鲁棒性。采用多机器人协同控制算法,使得可以远程控制多机器人协同工作。采用云端接入技术,可以方便进行数据存储和数据挖掘。
控制端即AR智能设备中所述AR模块负责视觉信息的显示,其信息来源于通讯模块;所述扬声器模块负责声音信息的播放,所述声音信息来源于通讯模块;所述麦克风模块负责采集用户的声音,所述声音通过通讯模块传输;所述生物传感器模块负责生物体感信号的采集,并将信号传输至通讯模块;所述通讯模块负责控制端模块间的通信,负责控制端与网络端的通信;所述电源模块负责可穿戴设备的供电。
而被控端即机器人终端中所述视觉传感器模块负责现场视觉信息的采集,并将视觉信息传输给通讯模块;所述扬声器模块负责发出声音信息,声音信息来来自于通讯模块;所述麦克风模块负责采集现场声音信息,并将声音信息传输给通讯模块;所述显示模块负责显示和投影图像信息,图像信息来自于通讯模块;所述陀螺仪模块负责采集机器人加速度信息和GPS信息,并将信息传输至控制模块;所述激光雷达模块负责采集所诉机器人周围环境距离信息并将信息传输至控制模块;所述电源模块负责采集太阳能并给机器人供电;所述移动模块负责机器人的移动,移动模块连接至控制模块,并由控制模块进行控制;所述机械臂负责完成机器人的动作,其由控制模块控制;所述通讯模块负责机器人的通信,包含机器人与其周围机器人通信(通过通讯模块内部的Zigbee设备来实现和周围机器人的通信),包含机器人本身模块间的通信,包含机器人与网络端的通信;所述控制模块负责机器人的自主控制、移动控制。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于AR的人体生物信号远程控制系统,其特征在于,所述基于AR的人体生物信号远程控制系统包括:
作为控制端的AR智能设备,以及作为被控端的机器人终端,所述AR智能设备及机器人终端通过服务器进行网络连接;
所述AR智能设备包括:用于通过网络连接机器人终端、并与其进行数据及命令传输的控制端通讯模块;
与所述控制端通讯模块连接的生物传感器,用于采集生物信号并进行识别处理后转换为控制信号、通过控制端通讯模块发送至机器人终端、以控制机器人终端完成相应动作或任务;
所述机器人终端包括:用于通过网络连接AR智能设备、并与其进行数据及命令传输的被控端通讯模块;
与所述被控端通讯模块连接的控制模块,用于接收经过识别处理后的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。
2.根据权利要求1所述的基于AR的人体生物信号远程控制系统,其特征在于,所述机器人终端还包括:
第一紫蜂协议设备,用于根据控制模块指令连接至少一个末端机器人、以实现多机器人协同作业;
所述末端机器人包括与所述第一紫蜂协议设备连接的第二紫蜂协议设备,用于接收来自于第一紫蜂协议设备的控制信号;
以及与第二紫蜂协议设备连接的末端控制模块,用于将第二紫蜂协议设备所接收的控制信号转换为控制指令,发送至该指令的具体执行单元。
3.根据权利要求1所述的基于AR的人体生物信号远程控制系统,其特征在于,所述机器人终端还包括:
一与被控端通讯模块连接的视觉传感器,用于采集机器人终端所在场所的视觉信息,并将所采集视觉信息传输至被控端通讯模块;
以及一与被控端通讯模块连接的被控端麦克风,用于采集机器人终端所在场所的声音信息,并将所采集声音信息传输至被控端通讯模块;
所述AR智能设备还包括:一与控制端通讯模块连接的AR模块,用于显示视觉传感器所采集到的视觉信息;
以及一与控制端通讯模块连接的控制端扬声器,用于播放被控端麦克风所采集到的声音信息。
4.根据权利要求1所述的基于AR的人体生物信号远程控制系统,其特征在于,所述AR智能设备还包括:
与控制端通讯模块连接的控制端麦克风,用于采集AR智能设备所在场所的声音信息,并将所采集声音信息发送至控制端通讯模块;
所述机器人终端还包括:
与被控端通讯模块连接的被控端扬声器,用于播放控制端所采集到的声音信息。
5.根据权利要求1所述的基于AR的人体生物信号远程控制系统,其特征在于,所述机器人终端还包括:
与所述控制模块连接的移动模块,用于接收来自于控制模块的控制指令后,进行移动。
6.根据权利要求5所述的基于AR的人体生物信号远程控制系统,其特征在于,所述机器人终端还包括:
与所述控制模块连接的陀螺仪,用于采集机器人终端的GPS信息或移动时的加速度信息,并将所采集到的信息反馈至控制模块。
7.根据权利要求6所述的基于AR的人体生物信号远程控制系统,其特征在于,所述机器人终端还包括:
与所述控制模块连接的激光雷达,用于采集机器人终端所在环境的距离数据构建平面地图,从而实现其自身的室内定位及导航。
8.根据权利要求1至7中任意一项所述的基于AR的人体生物信号远程控制系统,其特征在于,所述AR智能设备及机器人终端皆采用分布式控制。
9.一种通过如权利要求1至8中任意一项所述基于AR的人体生物信号远程控制装置实现的远程控制方法,其特征在于,所述远程控制方法包括步骤如下:
生物传感器采集生物信号并进行识别处理后转换为控制信号、发送至控制端通讯模块;
控制端通讯模块将转换后的控制信号,通过网络传输至服务器;
服务器将控制端通讯模块发送来的控制信号通过网络发送至被控端通讯模块;
被控端通讯模块接收服务器所发送来的控制信号,并将其转发至控制模块;
控制模块接收来自于被控端通讯模块的控制信号、并根据所接收的控制信号发送相应的控制指令至该指令的具体执行单元。
CN201611262147.3A 2016-12-30 2016-12-30 一种基于增强现实的人体生物信号远程控制系统及方法 Pending CN106853638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611262147.3A CN106853638A (zh) 2016-12-30 2016-12-30 一种基于增强现实的人体生物信号远程控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611262147.3A CN106853638A (zh) 2016-12-30 2016-12-30 一种基于增强现实的人体生物信号远程控制系统及方法

Publications (1)

Publication Number Publication Date
CN106853638A true CN106853638A (zh) 2017-06-16

Family

ID=59127234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611262147.3A Pending CN106853638A (zh) 2016-12-30 2016-12-30 一种基于增强现实的人体生物信号远程控制系统及方法

Country Status (1)

Country Link
CN (1) CN106853638A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107538492A (zh) * 2017-09-07 2018-01-05 福物(上海)机器人科技有限公司 移动机器人的智能操控系统、方法及智能学习方法
CN108772839A (zh) * 2018-06-25 2018-11-09 中国人民解放军第二军医大学 主从操作与人机一体化系统
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110570645A (zh) * 2019-09-29 2019-12-13 百度在线网络技术(北京)有限公司 分布式红外控制系统、方法、设备及存储介质
CN112847301A (zh) * 2020-12-21 2021-05-28 山东华数智能科技有限公司 基于便携终端的机器人增强现实示教编程方法
CN113199469A (zh) * 2021-03-23 2021-08-03 中国人民解放军63919部队 空间机械臂系统、空间机械臂系统的控制方法及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004603A1 (en) * 2006-06-29 2008-01-03 Intuitive Surgical Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
CN102341046A (zh) * 2009-03-24 2012-02-01 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
CN104570967A (zh) * 2013-10-17 2015-04-29 北大方正集团有限公司 基于Android系统的远程控制方法及系统
CN105554128A (zh) * 2015-12-21 2016-05-04 深圳市金立通信设备有限公司 一种远程控制方法及终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080004603A1 (en) * 2006-06-29 2008-01-03 Intuitive Surgical Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
CN102341046A (zh) * 2009-03-24 2012-02-01 伊顿株式会社 利用增强现实技术的手术机器人系统及其控制方法
CN101794349A (zh) * 2010-02-09 2010-08-04 北京邮电大学 机器人遥操作增强现实实验系统及方法
CN104570967A (zh) * 2013-10-17 2015-04-29 北大方正集团有限公司 基于Android系统的远程控制方法及系统
CN105554128A (zh) * 2015-12-21 2016-05-04 深圳市金立通信设备有限公司 一种远程控制方法及终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107538492A (zh) * 2017-09-07 2018-01-05 福物(上海)机器人科技有限公司 移动机器人的智能操控系统、方法及智能学习方法
CN108772839A (zh) * 2018-06-25 2018-11-09 中国人民解放军第二军医大学 主从操作与人机一体化系统
CN108772839B (zh) * 2018-06-25 2021-07-20 中国人民解放军第二军医大学 主从操作与人机一体化系统
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
CN110570645A (zh) * 2019-09-29 2019-12-13 百度在线网络技术(北京)有限公司 分布式红外控制系统、方法、设备及存储介质
CN112847301A (zh) * 2020-12-21 2021-05-28 山东华数智能科技有限公司 基于便携终端的机器人增强现实示教编程方法
CN113199469A (zh) * 2021-03-23 2021-08-03 中国人民解放军63919部队 空间机械臂系统、空间机械臂系统的控制方法及存储介质

Similar Documents

Publication Publication Date Title
CN106853638A (zh) 一种基于增强现实的人体生物信号远程控制系统及方法
US10795445B2 (en) Methods, devices, and systems for determining contact on a user of a virtual reality and/or augmented reality device
CN101890719B (zh) 机器人远程控制装置及机器人系统
CN105094133B (zh) 一种基于多功能智能电子药箱的健康服务机器人
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
US20200093014A1 (en) Multipurpose accessory and storage system
CN110495819A (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
CN104618712A (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
CN109366504A (zh) 一种智能展会服务机器人系统
CN107378971A (zh) 一种智能机器人控制系统
CN103324309A (zh) 可穿戴计算机
CN210090827U (zh) 一种轻便化的ar眼镜实现系统
CN204442580U (zh) 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统
CN108245880A (zh) 基于多穿戴环带传感器融合的体感检测可视化方法和系统
CN205809568U (zh) 一种结合vr和机器人的智能家居系统
US11765462B1 (en) Detachable camera block for a wearable device
WO2017107275A1 (zh) 一种多功能无人机及无人机控制系统
CN206363263U (zh) 一种ar智能设备及配合其使用的机器人终端
WO2019102680A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106371455B (zh) 一种智能交互方法和系统
CN207172091U (zh) 一种智能机器人控制系统
WO2024001799A1 (zh) 虚拟现实vr设备的防碰撞方法和电子设备
CN203490651U (zh) 可穿戴计算机
US20230403460A1 (en) Techniques for using sensor data to monitor image-capture trigger conditions for determining when to capture images using an imaging device of a head- wearable device, and wearable devices and systems for performing those techniques
CN106155328A (zh) 一种可穿戴式单指操控无线鼠标装置及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170616

RJ01 Rejection of invention patent application after publication