CN112987723B - 一种基于智能终端控制的机器人系统 - Google Patents
一种基于智能终端控制的机器人系统 Download PDFInfo
- Publication number
- CN112987723B CN112987723B CN202110152824.0A CN202110152824A CN112987723B CN 112987723 B CN112987723 B CN 112987723B CN 202110152824 A CN202110152824 A CN 202110152824A CN 112987723 B CN112987723 B CN 112987723B
- Authority
- CN
- China
- Prior art keywords
- intelligent terminal
- robot
- bouncing
- module
- imu
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 45
- 230000001276 controlling effect Effects 0.000 claims abstract description 33
- 230000000875 corresponding effect Effects 0.000 claims abstract description 33
- 230000009471 action Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 9
- 230000004927 fusion Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 11
- 238000011161 development Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种基于智能终端控制的机器人系统,该系统包括:智能终端,设有第一IMU传感器、摄像头、显示触控屏和第一中央处理模块,用于远程控制机器人的运动;机器人,设有第二IMU传感器、第一预设数量的弹跳模块、语音播放器和第二中央处理模块,用于跟随智能终端运动轨迹执行相应动作。该方案中公开的基于智能终端控制的机器人系统,通过结合智能终端摄像头获取的图像信息和第一IMU传感器获取的智能终端IMU数据融合计算获取智能终端运动轨迹,进而控制机器人按照智能终端运动轨迹执行相应动作,机器人基于弹跳模块实现弹跳,机器人执行不同动作时机器人内部的语音播放器播放与动作相对应的语音包,提高人机互动趣味性,实现灵活控制机器人运动。
Description
技术领域
本发明涉及机器人领域,具体涉及一种基于智能终端控制的机器人系统。
背景技术
随着科技的飞速发展,机器人领域相关技术愈发成熟,机器人已经被广泛应用于各个行业与领域。机器人的控制方式主要可以分为自主控制和人机协作控制,其中,由于机器人自主控制的复杂程度较高,自主控制的方式在机器人领域的应用还不普遍,人机协作是机器人领域较为高效且可行性较高的机器人控制方式。
目前,智能终端设备已经成为日常生活中人手一台的必备产品。2012年工业和信息化部电信研究院发布的《移动终端白皮书》中对智能终端进行了具体定义,智能终端一般是指具有开放的操作系统平台、支持应用程序灵活开发、安装及运行,具备PC级处理能力,具备高速数据网络接入能力,具备丰富的人机交互界面。本发明申请中提及的智能终端可以是但不限于手机、平板电脑等具备联网能力、人机交互界面、丰富的感知能力的设备。现有技术中通过手机实现人机协作控制机器人的方法,主要是通过将手机佩戴在头部,指定头部的运动姿势、位置与机器人的运动姿势和位置之间的对应关系,基于陀螺仪传感器和加速度传感器获取手机在空间中的运动姿势和位置,以实现对机器人的控制,但是现有技术中手机需要佩戴于人体头部,仅通过手机IMU数据获取手机运动轨迹以实现控制机器人运动,限制了手机的运动姿态和位置的多样性,同时限制了机器人运动姿态的多样性和平衡性。
发明内容
为解决上述问题,本发明提供了一种基于智能终端控制的机器人系统,结合智能终端摄像头采集的图像信息结合智能终端IMU数据获取智能终端运动轨迹,提高机器人控制精准度,智能终端不限制绑定于某一身体部位进而提高机器人控制的灵活度,增加人机互动趣味性,丰富智能终端和机器人动作的多样性,机器人机身设置弹跳模块保证机器人运动的平衡。本发明的具体技术方案如下:
一种基于智能终端控制的机器人系统,该系统包括:智能终端,包括第一IMU传感器、摄像头、显示触控屏和第一中央处理模块,用于远程控制机器人运动;机器人,包括第二IMU传感器、第一预设数量的弹跳模块、行走模块和第二中央处理模块,用于跟随智能终端运动轨迹执行相应动作;其中,所述IMU传感器包括陀螺仪和加速度传感器;所述第一IMU传感器用于获取智能终端的IMU数据;所述第二IMU传感器用于获取机器人的IMU数据;所述第一预设数量是指大于或等于2的整数。该方案中公开的基于智能终端控制的机器人系统,通过结合智能终端摄像头获取的图像信息和第一IMU传感器获取的智能终端IMU数据融合计算获取智能终端运动轨迹,进而控制机器人按照智能终端运动轨迹执行相应动作,提高人机互动趣味性,实现灵活控制机器人运动。
进一步地,所述第一预设数量的弹跳模块均匀分布于所述机器人机身底部,以使得第二预设数量的弹跳模块工作时机器人能够保持平衡。该方案中公开的基于智能终端控制的机器人机身底部设有第一预设数量的弹跳模块,使得机器人在保持平衡站立的前提下实现前侧或后侧或左侧或右侧弹起。该方案中机器人机身底部设有弹跳模块,以实现机器人跟随智能终端运动时能够完成前侧或后侧或左侧或右侧弹起的动作,丰富机器人运动姿态多样性。
进一步地,所述弹跳模块包括弹簧装置和弹跳驱动装置,所述弹跳驱动装置与所述第二中央处理模块连接,用于控制所述弹簧装置的弹起或压缩;其中,第二预设数量为小于或等于第一预设数量的整数。该方案中公开的基于智能终端控制的机器人系统中所述机器人的弹跳模块包括弹簧装置和弹跳驱动装置,通过所述弹跳驱动装置实现对弹簧装置状态的控制,以达到灵活控制机器人部分或全部弹跳模块工作的效果,即达到机器人前侧或后侧或左侧或右侧或整体弹起的效果。
进一步地,所述弹跳驱动装置包括驱动电机和收放机构,所述收放机构用于控制弹簧收缩或弹起,所述驱动电机用于为收放机构控制弹簧收缩或弹起提供驱动力;所述弹跳驱动装置与机器人底部固定连接;所述弹簧装置包括一根或一根以上的弹簧;所述弹簧装置的一端与所述收放机构固定连接。该方案中公开的弹跳模块中所述弹跳驱动装置通过驱动电机为收放机构提供动力,进而使得收放机构转动控制弹簧装置的工作状态,使得机器人能够灵活控制弹跳模块的工作状态,丰富机器人运动姿态多样性。
进一步地,所述智能终端包含一个摄像头,所述摄像头用于获取智能终端初始图像和智能终端当前图像,以便于结合所述智能终端IMU数据以获取智能终端运动轨迹;所述智能终端摄像头设置于所述智能终端背面,即与所述显示触控屏相对的一面。该方案中通过智能终端上搭载的摄像头获取智能终端初始图象和智能终端当前图像,以便于与智能终端IMU数据进行视觉数据与IMU数据的融合运算,获取更精准的智能终端运动轨迹信息,且现有的智能终端基本上都设有摄像头,在保持系统成本不变的情况下提高机器人控制精准度。
进一步地,所述智能终端包含两个或两个以上的摄像头,所述一个以上的摄像头采集的图像信息分别用于获取智能终端运动轨迹和环境中物体识别;所述智能终端摄像头设置于与所述显示触控屏相对的一面。该方案中公开的智能终端上设置有两个或两个以上的摄像头,能够获取更全面的智能终端初始图象和智能终端当前图像,多个摄像头能够协同完成智能终端运动图像的多角度采集,提高智能终端图像信息精准度还能够基于采集的图像信息完成环境图像拼接。
进一步地,所述机器人还包括语音播放模块,用于机器人跟随智能终端运动轨迹执行不同动作时播放预设指定的语音包;其中,机器人每一种动作存在对应的预设指定的语音包。该方案中机器人内设有语音播放模块,能实现机器人执行不同动作时播放与所述不同动作对应的预设指定语音包,提高人机互动趣味性。
进一步地,所述机器人还包括碰撞传感器,用于感应机器人是否碰撞到障碍物;所述碰撞传感器结合所述语音播放模块,以达到机器人碰撞传感器感应到机器人碰撞到障碍物时所述语音播放模块播放碰撞提示语音包的目的。该方案中机器人上设有碰撞传感器,当机器人跟随智能终端运动并碰撞到障碍物时,碰撞传感器输出提示信号至第二中央模块,第二中央模块输出控制信号控制语音播放模块播放提示语音,以便于提示用户机器人发生碰撞,防止机器人碰撞后仍执行跟随智能终端运动轨迹对应动作导致机器人连续碰撞障碍物,有效延长机器人使用年限。
进一步地,所述智能终端和所述机器人分别还包括无线通信模块,所述无线通信模块用于将所述智能终端与所述机器人建立连接,以便于所述智能终端控制所述机器人跟随智能终端运动轨迹运动。该方案中机器人和智能终端的内部都设有无线通信模块,实现远程传输信息,以便于智能终端和机器人之间以无线的方式进行通信。
进一步地,所述第一中央处理模块内存储有VINS算法,用于将摄像头获取的图像信息结合第一IMU传感器获取的智能终端IMU数据获取智能终端运动轨迹并传输至机器人,以实现控制机器人跟随智能终端运动姿态运动的目的;所述第二中央处理模块内置于机器人内部,用于基于获取的智能终端运动轨迹结合第二IMU传感器获取的机器人的IMU数据规划机器人运动路线,并控制机器人跟随智能终端运动轨迹执行相应动作。该方案中智能终端的第一中央处理模块中预先存储有用于将视觉和IMU数据融合的VINS算法,以便于对智能终端图像信息和智能终端IMU数据进行融合运算获取高精度智能终端运动轨迹,并控制机器人按照智能终端运动轨迹执行相应动作。
附图说明
图1为本发明一种实施例所述基于智能终端控制的机器人系统模块示意图。
图2为本发明一种实施例所述基于智能终端控制的机器人系统的控制方法流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,下面将结合附图及实施例,对本申请进行详细描述说明。应当理解,下面所描述的具体实施例仅仅用于解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请的保护范围之内。
显而易见地,下面描述的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂且冗长的,然而对于本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行一些设计、制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例所描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中,在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域普通技术人员显式或隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或科学术语应当为本申请所述技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含,例如:包含了一系列步骤或模块的过程、方法、系统、产品或设备不限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。本申请所涉及的术语“第一”、“第二”、“第三”仅仅是为了便于相关特征的区分,不能理解为指示或暗示其相对重要性、次序的先后或技术特征的数量。在本申请中,需要理解的时术语“上”、“下”、“左”、“右”、“前”、“后”等指示方位或位置关系是基于附图所示的方位或位置关系,仅仅是为了方便描述本申请实施和简化描述,而不是指示或暗示所指的装置或模块必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
本发明实施例公开一种基于智能终端控制的机器人系统,如图1所示,该基于智能终端控制的机器人系统包括智能终端和机器人,所述智能终端包括摄像模块、第一IMU传感器、触控显示屏、第一中央处理模块和第一无线通信模块,所述摄像模块、所述第一IMU传感器、所述触控显示屏、所述第一无线通信模块均与所述第一中央处理模块连接;所述机器人包括第一预设数量的弹跳模块、第二IMU传感器、行走模块、第二中央处理模块和第二无线通信模块,所述第一预设数量的弹跳模块、所述第二IMU传感器、所述行走模块、所述第二无线通信模块均与所述第二中央处理模块连接。所述第一IMU传感器和所述第二IMU传感器分别设置于所述智能终端和所述机器人内部,用于采集IMU传感器所在装置或设备的IMU数据,以使得基于装置或设备的IMU数据控制该装置或设备的具体运动,在本发明实施例中,所述第一IMU传感器采集所述智能终端的运动状态数据,完成对智能终端运动相关信息的部分获取,所述第二IMU传感器采集所述机器人的运动状态数据,进而实现精准控制机器人跟随智能终端运动。所述第一无线通信模块和所述第二无线通信模块分别配置于所述智能终端和所述机器人内部,作为所述智能终端和所述机器人建立无线通信的工具,以实现智能终端和机器人之间的数据信息的无线传输,具体地,在本发明实施例中,所述第一无线通信模块用于将智能终端相关数据信息传输至机器人并接收第二无线通信模块传输的机器人相关数据信息,所述第二无线通信模块用于将机器人相关数据信息传输至智能终端并接收第一无线通信模块传输的智能终端相关数据信息。
需要说明的是,智能终端一般是指具有开放的操作系统平台、支持应用程序灵活开发、安装及运行,具备PC级处理能力,具备高速数据网络接入能力,具备丰富的人机交互界面。本发明申请实施例中提及的智能终端可以是但不限于手机、平板电脑等具备联网能力、人机交互界面、丰富的感知能力的设备。
所述摄像模块包括一个或一个以上的摄像头,用于采集环境图像信息,以便于结合环境图像信息获取智能终端运动相关信息;所述摄像头可以是但不限于单目摄像头、双目摄像头等具有采集图像信息功能的摄像头;所述摄像模块设置于智能终端背面,所述智能终端背面是指与所述触控显示屏相对的一面;所述摄像模块与所述第一中央处理模块电性连接,以实现所述摄像模块将采集的环境图像信息传输至所述第一中央处理单元并接收所述第一中央处理单元输出的关于摄像模块的控制指令;所述第一中央处理单元输出的关于摄像模块的控制指令包括控制摄像模块开启、控制摄像模块关闭和控制摄像模块工作时采集图像速度;所述控制摄像模块开启是指控制摄像模块采集环境图像信息,所述控制摄像模块关闭所述摄像模块采集的环境图像信息用于作为视觉数据与IMU数据进行融合运算,以获取智能终端运动轨迹、智能终端移动距离和智能终端移动角度等智能终端运动相关信息。
所述第一IMU传感器包括第一陀螺仪和第一加速计,所述第一陀螺仪用于获取智能终端三轴角速度信息,所述第一加速计用于获取智能终端三轴加速度信息;所述第一IMU传感器被配置于智能终端内部,并与所述第一中央处理模块电性连接,以实现所述第一IMU传感器将获取的智能终端IMU数据传输至所述第一中央处理模块并接收所述第一中央处理模块输出的关于第一IMU传感器的控制指令;所述第一中央处理模块输出的关于第一IMU传感器的控制指令包括控制第一IMU传感器开启的指令和控制第一IMU传感器关闭的指令,所述控制第一IMU传感器开启是指控制所述第一IMU传感器获取智能终端IMU数据,所述控制第一IMU传感器关闭是指控制所述第一IMU传感器停止获取智能终端IMU数据;所述第一IMU传感器获取的智能终端IMU数据用于与所述摄像模块采集的环境图像信息融合运算以获取智能终端运动轨迹、智能终端移动距离和智能终端移动角度等智能终端运动相关信息。
所述第一预设数量的弹跳模块均匀分布于所述机器人机身底部,以使得第二预设数量的弹跳模块工作时所述机器人能够保持平衡,其中,所述第二预设数量为小于或等于所述第一预设数量的整数,所述第一预设数量为大于或等于2的整数;所述弹跳模块与所述机器人机身底部固定连接,所述弹跳模块与所述第二中央处理单元电性连接,以实现所述弹跳模块接收所述第二中央处理模块输出的关于弹跳模块的控制指令;所述弹跳模块包括弹簧装置和弹跳驱动装置;所述弹簧装置包括一条或一条以上的弹簧,所述弹簧可以是但不限于压缩弹簧、渐进型弹簧等能够实现机器人弹起的弹簧;所述弹跳驱动装置包括驱动电机和收放机构,用于为所述弹簧提供改变工作状态的动力;所述驱动电机是指能够控制机械元件运转的发动机,在本发明申请的实施例中所述驱动电机用于为所述收放机构提供驱动动力;所述收放机构是指基于所述驱动电机提供的动力改变弹簧装置的工作状态的结构,所述弹簧装置的工作状态包括收缩状态和弹起状态;所述收缩状态是指所述弹簧受到所述收放机构的压力而收缩变形,在收缩状态下所述弹簧储存形变能;所述弹起状态是指所述收放机构解除对所述弹簧的压力,所述弹簧在收缩变形时储存的形变能在收放机构解除对所述弹簧的压力的瞬间释放,以实现弹簧弹起;具体地,所述第二中央处理模块输出端关于弹跳模块的控制指令包括但不限于控制弹跳模块开启的指令和控制弹跳模块关闭的指令,所述弹跳模块开启是指所述弹跳模块中的弹跳驱动装置控制所述弹簧装置弹起,所述弹跳模块关闭是指所述弹跳模块中的弹跳驱动装置控制所述弹簧装置收缩。
所述行走模块用于使得所述机器人能够实现灵活移动。所述行走模块与所述机器人机身固定连接,所述行走模块可以设置于但不限于所述机器人机身底部、所述机器人机身外部等能够实现所述机器人灵活移动的位置;所述行走模块与所述第二中央处理单元电性连接,以实现所述行走模块接收所述第二中央处理模块输出的关于行走模块的控制指令;所述行走模块包括行走装置和行走驱动装置,所述行走装置可以是但不限于行走轮、行走履带或步行结构等能够实现机器人灵活移动的装置,所述行走驱动装置用于为所述行走装置提供行走驱动力;所述行走模块与所述第二中央处理模块电性连接,以实现所述行走模块接收所述第二中央处理模块输出的关于行走模块的控制指令,所述关于行走模块的控制指令包括但不限于控制所述行走模块启动的指令、控制所述行走模块关闭的指令和调节所述行走模块行走速度的指令。
需要说明的是,所述弹跳模块设置于所述机器人机身底部,当全部弹跳模块处于关闭状态时,所述弹跳模块不影响所述行走模块的正常工作;所述第二预设数量的弹跳模块开启时,所述弹簧装置的弹起使得所述行走模块部分或全部悬空。
优选地,所述机器人还包括语音播放模块,用于机器人执行不同动作时播放该动作相对应的语音包。所述语音播放模块包括语音播放单元和语音存储单元,所述语音存储单元用于存储预设语音包,所述语音播放单元用于播放存储于所述语音存储单元的语音包。所述语音播放模块设置于所述机器人机身内部,与所述第二中央处理单元电性连接,以实现所述语音播放模块接收所述第二中央处理单元输出的关于语音播放模块的控制指令,所述第二中央处理单元输出的关于语音播放模块的控制指令包括但不限于控制语音播放模块开启的指令、控制语音播放模块关闭的指令、控制语音播放模块播放音量大小的指令。具体地,所述控制语音播放模块开启的指令是指用于控制所述语音播放模块中的语音播放单元播放与所述机器人执行动作指定对应的存储于所述语音存储单元的语音包;所述语音包与所述机器人执行的动作具有一对一对应关系,即所述机器人执行的每一种动作都有对应的预先存储于所述语音存储单元的预设语音包,特别地,每一个语音包可对应一种或一种以上的机器人动作。
优选地,所述机器人还包括碰撞传感器,用于检测机器人移动过程中是否与障碍物发生碰撞;所述碰撞传感器设置于所述机器人机身内部,所述碰撞传感器与所述第二中央处理模块电性连接,以实现所述碰撞传感器输出碰撞感应信号至所述第二中央处理模块并接收所述第二中央处理模块输出的关于碰撞传感器的控制指令;所述碰撞传感器在所述机器人与障碍物发生碰撞时输出所述碰撞感应信号并传输至所述第二中央处理模块;所述第二中央处理模块输出的关于碰撞传感器的控制指令包括但不限于控制碰撞传感器开启的指令和控制碰撞传感器关闭的指令。特别地,所述第二中央处理模块接收到所述碰撞传感器输出的碰撞感应信号后,输出控制所述语音播放模块开启的指令,以实现控制所述语音播放模块播放碰撞提示相关语音包。
本发明的另一种实施例中提供一种基于前述实施例所述的基于智能终端的机器人控制方法,如图2所示,所述基于智能终端的机器人控制方法具体包括如下步骤:
步骤S101:基于无线通信模块,将智能终端与机器人之间建立连接,然后进入步骤S102;其中,所述无线通信模块设置于所述智能终端内部和所述机器人内部,以便于所述智能终端和所述机器人之间以无线的方式进行通信,所述无线通信可以是但不限于WIFI、4G、5G或它们的组合等。
步骤S102:基于搭载于智能终端上的摄像头获取智能终端初始图像,对智能终端进行初始化处理,获取智能终端初始位姿信息,然后进入步骤S201;其中,所述对智能终端进行初始化处理包括:获取智能终端的初始重力方向、智能终端初始IMU数据、智能终端初始坐标信息和智能终端初始速度等智能终端相关信息,并进行相关计算,以获取智能终端初始位姿信息;所述摄像头可以是但不限于内置于智能终端或外置于智能终端背面的单目摄像头、双目摄像头等具有采集图像功能的摄像头;所述智能终端背面是指与智能终端显示屏相对的一面;所述智能终端初始IMU数据是通过智能终端内设的IMU传感器获取的,所述IMU传感器包括陀螺仪和加速计,所述智能终端初始IMU数据包括陀螺仪初始三轴角速度信息和加速计初始三轴加速度信息。
步骤S201:基于搭载于智能终端上的摄像头每隔第一预设时间采集一幅智能终端当前图像,基于设置于智能终端内部的IMU传感器每隔第一预设时间获取智能终端当前IMU数据,然后进入步骤S301;其中,所述第一预设时间是指预先设置于智能终端中央处理单元的摄像头采集图像信息的间隔时间以及智能终端IMU传感器获取智能终端当前IMU数据的间隔时间,以实现智能终端摄像头和智能终端IMU传感器每隔第一预设时间采集一幅智能终端当前图像和智能终端当前IMU数据,以便于将一幅或一幅以上的智能终端当前图像与智能终端初始图像、智能终端初始IMU数据与智能终端当前IMU数据进行比较计算,获取智能终端移动距离和智能终端移动角度;所述IMU传感器包括陀螺仪和加速计,所述智能终端当前IMU数据包括智能终端陀螺仪当前三轴角速度信息和智能终端加速计当前三轴加速度信息。
步骤S301:根据步骤S102中获取的所述智能终端初始IMU数据和步骤S201中获取的所述智能终端当前IMU数据进行比较计算,获取智能终端的第一移动距离和第一移动角度,然后进入步骤S302。
步骤S302:根据步骤S102中获取的所述智能终端初始图像和步骤S201中获取的所述智能终端当前图像进行比较,并融合步骤S102中获取的所述智能终端初始加速度和步骤S201中获取的所述智能终端当前加速度进行计算,获取智能终端的第二移动距离和第二移动角度,然后进入步骤S303。
优选地,步骤S301和步骤S302可以调换执行顺序,获取智能终端第一移动距离和第一移动角度的步骤和获取智能终端第二移动距离和第二移动角度的步骤可以相互调换执行顺序,也可以同时执行,从而通过比较计算智能终端初始图像和智能终端初始IMU数据与智能终端当前图像和智能终端当前IMU数据,来获取智能终端相对移动距离和智能终端相对移动角度。
步骤S303:基于预设的VINS算法结合智能终端的第一移动距离、第一移动角度、第二移动距离和第二移动角度,获取智能终端运动轨迹和智能终端当前位姿信息,然后进入步骤S304;具体地,所述VINS算法是将视觉数据与IMU数据融合运算获取运动相关信息的算法;基于所述VINS算法将智能终端摄像头获取的图像信息与智能终端IMU传感器获取的IMU数据融合计算,获取精准的智能终端运动轨迹;相较于仅通过IMU数据获取智能终端运动轨迹的方法,VINS算法将视觉数据与IMU数据融合,提高了获取的智能终端运动信息的精准度,实现更精准的控制机器人运动。
步骤S304:基于无线通信模块将智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息等智能终端运动相关信息由智能终端传输至机器人,然后进入步骤S401。
步骤S401:机器人基于接收的智能终端初始位姿信息和智能终端当前位姿信息进行位姿计算,获取位姿计算结果,然后进入步骤S402;具体地,所述位姿计算是基于所述智能终端初始位姿信息和所述智能终端当前位姿信息结合机器人与智能终端之间IMU数据存在的指定对应关系进行换算,得到与智能终端位姿信息相对应的机器人位姿信息,即所述位姿计算结果。
步骤S402:机器人基于接收的智能终端运动轨迹进行运动轨迹计算,获取运动轨迹计算结果,然后进入步骤S403;具体地,所述运动轨迹计算是指基于所述智能终端运动轨迹结合机器人与智能终端之间存在的IMU数据指定对应关系进行换算,得到与智能终端运动轨迹相对应的机器人运动轨迹,即所述运动轨迹计算结果。
优选地,步骤S401和步骤S402可以调换执行顺序,机器人基于智能终端初始位姿信息和智能终端当前位姿信息获取位姿计算结果和机器人基于智能终端运动轨迹获取运动轨迹计算结果可以相互调换执行顺序,也可以同时执行,从而获取机器人跟随智能终端运动所需执行相应动作,来控制机器人实现跟随智能终端运动姿态运动的目的,提高机器人控制精准度,丰富机器人运动姿态多样性。
步骤S403:机器人基于步骤S401获取的位姿计算结果和步骤S402获取的运动轨迹计算结果,跟随智能终端运动执行相应动作;具体地,所述智能终端的陀螺仪三轴角速度信息与所述机器人的陀螺仪三轴角速度信息存在指定对应关系;所述机器人跟随智能终端做出相应动作是指机器人按照指定对应关系执行与智能终端运动轨迹相对应的动作;所述相应动作可以是但不限于直行前进、拐弯、转圈、前侧或后侧或左侧或右侧弹跳抬起,其中,转圈是通过IMU传感器中的陀螺仪监测智能终端的偏航角信息获取,前侧或后侧或左侧或右侧弹跳抬起是通过IMU传感器中的陀螺仪监测智能终端的翻滚角信息和仰角信息获取。
优选地,机器人跟随智能终端运动执行相应动作时,内置于机器人的语音播放单元播放与所述相应动作对应的音频信息,如:机器人执行转圈动作时播放第一音频信息,机器人执行前侧弹跳抬起动作时播放第二音频信息,以此类推,每一个动作都有其对应的音频信息,同一音频信息可以对应一个或一个以上的动作,提高人机互动的趣味性。
本发明所提供的实施例中,应当理解到,所揭露的系统和方法可以通过其他的方式实现,以上描述的实施例仅仅是示意性的,例如:所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有其它划分方式,例如多个模块的全部或部分组件可以结合或集成到另一个系统,或一些特征可以忽略或不执行,可以根据实际的需求选择其中的部分或全部模块来实现本发明实施例方案的目的。
最后应当说明的是,以上各实施例仅仅是本发明的一部分实施例,而不是全部实施例,各个实施例之间的技术方案可以相互结合,实施例所公开的具体步骤可以根据实际需求调整顺序以达到相同的技术效果。本领域的普通技术人员应当理解,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,均应包括在本发明的保护范围之内。
Claims (9)
1.一种基于智能终端控制的机器人系统,其特征在于,该系统包括:
智能终端,包括第一IMU传感器、摄像头、显示触控屏和第一中央处理模块,用于远程控制机器人运动;
机器人,包括第二IMU传感器、第一预设数量的弹跳模块、行走模块和第二中央处理模块,用于跟随智能终端运动轨迹执行相应动作;
其中,所述第一IMU传感器和所述第二IMU传感器皆包括陀螺仪和加速度传感器;所述第一IMU传感器用于获取智能终端的IMU数据;所述第二IMU传感器用于获取机器人的IMU数据;所述第一预设数量是指大于或等于2的整数;
其中,所述第一中央处理模块内存储有VINS算法,用于将摄像头获取的图像信息结合第一IMU传感器获取的智能终端IMU数据获取智能终端运动轨迹并传输至机器人,以实现控制机器人跟随智能终端运动姿态运动的目的;所述第二中央处理模块内置于机器人内部,用于基于获取的智能终端运动轨迹结合第二IMU传感器获取的机器人的IMU数据规划机器人运动路线,并控制机器人跟随智能终端运动轨迹执行相应动作;
其中,机器人跟随智能终端运动轨迹执行相应动作包括:
基于搭载于智能终端上的摄像头获取智能终端初始图像,对智能终端进行初始化处理,以获取智能终端初始位姿信息;所述智能终端初始化处理包括智能终端初始IMU数据;
基于搭载于智能终端上的摄像头每间隔第一预设时间采集一幅智能终端当前图像,基于设置于智能终端内部的IMU传感器每间隔第一预设时间获取智能终端当前IMU数据;
根据智能终端初始IMU数据和智能终端当前IMU数据进行比较,获取智能终端的第一移动距离和第一移动角度;
根据智能终端初始图像和智能终端当前图像进行比较,并融合智能终端初始加速度和智能终端当前加速度进行计算,获取智能终端的第二移动距离和第二移动角度;
智能终端基于预设VINS算法结合智能终端的第一移动距离、第一移动角度、第二移动距离、第二移动角度,获取智能终端运动轨迹和智能终端当前位姿信息;
基于无线通信模块将智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息由智能终端传输至机器人;
机器人基于智能终端初始位姿信息和智能终端当前位姿信息获取位姿计算结果;
机器人基于智能终端运动轨迹获取运动轨迹计算结果;
机器人基于位姿计算结果和运动轨迹计算结果,跟随智能终端执行相应动作。
2.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述第一预设数量的弹跳模块均匀分布于所述机器人机身底部,以使得第二预设数量的弹跳模块工作时机器人能够保持平衡;其中,第二预设数量为小于或等于第一预设数量的整数。
3.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述弹跳模块包括弹簧装置和弹跳驱动装置,所述弹跳驱动装置与所述第二中央处理模块连接,用于控制所述弹簧装置的弹起或压缩。
4.根据权利要求3所述的基于智能终端控制的机器人系统,其特征在于,所述弹跳驱动装置包括驱动电机和收放机构,所述收放机构用于控制弹簧收缩或弹起,所述驱动电机用于为收放机构控制弹簧收缩或弹起提供驱动力;所述弹跳驱动装置与机器人底部固定连接;所述弹簧装置包括一根或一根以上的弹簧;所述弹簧装置的一端与所述收放机构固定连接。
5.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述智能终端包含一个摄像头,所述摄像头用于获取智能终端当前图像信息,以便于结合所述智能终端IMU数据以获取智能终端运动轨迹;所述智能终端摄像头设置于所述智能终端背面,即与所述显示触控屏相对的一面。
6.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述智能终端包含两个或两个以上的摄像头,所述两个或两个以上的摄像头采集的图像信息分别用于获取智能终端运动轨迹和环境中物体识别;所述智能终端摄像头设置于与所述显示触控屏相对的一面。
7.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述机器人还包括语音播放模块,用于机器人跟随智能终端运动执行不同动作时播放预设指定的语音包;其中,机器人每一种动作存在对应的预设指定的语音包。
8.根据权利要求7所述的基于智能终端控制的机器人系统,其特征在于,所述机器人还包括碰撞传感器,用于感应机器人是否碰撞到障碍物;所述碰撞传感器结合所述语音播放模块,以达到机器人碰撞传感器感应到机器人碰撞到障碍物时所述语音播放模块播放碰撞提示语音包的目的。
9.根据权利要求1所述的基于智能终端控制的机器人系统,其特征在于,所述智能终端和所述机器人分别还包括无线通信模块,所述无线通信模块用于将所述智能终端与所述机器人建立连接,以便于所述智能终端控制所述机器人跟随智能终端运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110152824.0A CN112987723B (zh) | 2021-02-04 | 2021-02-04 | 一种基于智能终端控制的机器人系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110152824.0A CN112987723B (zh) | 2021-02-04 | 2021-02-04 | 一种基于智能终端控制的机器人系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112987723A CN112987723A (zh) | 2021-06-18 |
CN112987723B true CN112987723B (zh) | 2024-06-18 |
Family
ID=76346674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110152824.0A Active CN112987723B (zh) | 2021-02-04 | 2021-02-04 | 一种基于智能终端控制的机器人系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112987723B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203355291U (zh) * | 2013-06-05 | 2013-12-25 | 汕头市博迪科技有限公司 | 利用手机遥控机器人玩具的装置 |
CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103738427B (zh) * | 2014-01-10 | 2016-03-23 | 桂林电子科技大学 | 空中姿态可调单腿连续跳跃机器人 |
CN203651955U (zh) * | 2014-01-10 | 2014-06-18 | 桂林电子科技大学 | 空中姿态可调单腿连续跳跃机器人 |
CN110053054B (zh) * | 2019-04-09 | 2020-07-28 | 浙江工业大学 | 基于Android手机IMU的机械臂示教方法 |
-
2021
- 2021-02-04 CN CN202110152824.0A patent/CN112987723B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203355291U (zh) * | 2013-06-05 | 2013-12-25 | 汕头市博迪科技有限公司 | 利用手机遥控机器人玩具的装置 |
CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112987723A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101890719B (zh) | 机器人远程控制装置及机器人系统 | |
WO2020221311A1 (zh) | 基于可穿戴设备的移动机器人控制系统及控制方法 | |
US20170348858A1 (en) | Multiaxial motion control device and method, in particular control device and method for a robot arm | |
CN202512439U (zh) | 一种网络摄像头与可穿戴式传感器的人机协作系统 | |
CN103324100B (zh) | 一种信息驱动的情感车载机器人 | |
CN101625573B (zh) | 基于数字信号处理器的巡线机器人单目视觉导航系统 | |
CN110039545A (zh) | 一种基于可穿戴设备的机器人远程控制系统及控制方法 | |
Aggarwal et al. | Design and implementation of a wireless gesture controlled robotic arm with vision | |
US20110118877A1 (en) | Robot system and method and computer-readable medium controlling the same | |
JP5145569B2 (ja) | 対象物特定方法および装置 | |
JP5318623B2 (ja) | 遠隔操作装置および遠隔操作プログラム | |
CN1982003A (zh) | 腿式移动机器人及其控制装置和控制方法 | |
JP2010231470A (ja) | 情報提供システム | |
CN106326881B (zh) | 用于实现人机交互的手势识别方法和手势识别设备 | |
CN102402290A (zh) | 一种肢体姿势识别方法及系统 | |
CN106527439A (zh) | 一种运动控制方法和装置 | |
CN107443374A (zh) | 机械手操控系统及其操控方法、操控装置、存储介质 | |
CN112987723B (zh) | 一种基于智能终端控制的机器人系统 | |
CN105549582A (zh) | 带体感控制的智能小车 | |
CN112722331B (zh) | 一种月面载人移动车系统的交互装置及交互控制方法 | |
CN106239511A (zh) | 一种基于头部运动的机器人移动控制方式 | |
JP2011000656A (ja) | 案内ロボット | |
CN105729485B (zh) | 一种服务用机器人 | |
CN112936269B (zh) | 一种基于智能终端的机器人控制方法 | |
CN210616536U (zh) | 一种基于vr技术的机器人控制装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd. Address before: 519000 room 105-514, No. 6, Baohua Road, Hengqin new area, Zhuhai City, Guangdong Province (centralized office area) Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |