CN112936269A - 一种基于智能终端的机器人控制方法 - Google Patents

一种基于智能终端的机器人控制方法 Download PDF

Info

Publication number
CN112936269A
CN112936269A CN202110152818.5A CN202110152818A CN112936269A CN 112936269 A CN112936269 A CN 112936269A CN 202110152818 A CN202110152818 A CN 202110152818A CN 112936269 A CN112936269 A CN 112936269A
Authority
CN
China
Prior art keywords
intelligent terminal
robot
information
motion
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110152818.5A
Other languages
English (en)
Other versions
CN112936269B (zh
Inventor
李永勇
肖刚军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Amicro Semiconductor Co Ltd
Original Assignee
Zhuhai Amicro Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Amicro Semiconductor Co Ltd filed Critical Zhuhai Amicro Semiconductor Co Ltd
Priority to CN202110152818.5A priority Critical patent/CN112936269B/zh
Publication of CN112936269A publication Critical patent/CN112936269A/zh
Application granted granted Critical
Publication of CN112936269B publication Critical patent/CN112936269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于智能终端的机器人控制方法,该方法包括:智能终端与机器人通过无线通信模块建立连接,对智能终端进行初始化处理,获取智能终端初始位姿信息;采集智能终端当前图像并获取智能终端当前IMU数据;基于预设算法对智能终端初始位姿信息、智能终端当前IMU数据和图像信息进行智能终端运动分析处理,获取智能终端运动轨迹和智能终端当前位姿信息,并将智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息传输至机器人;机器人基于接收智能终端运动相关信息进行动作分析处理,并做出相应动作。本发明通过将IMU数据与视觉数据融合获取智能终端运动轨迹,控制机器人跟随智能终端运动轨迹执行相应动作,实现高效精准的机器人控制,提高人机互动趣味性。

Description

一种基于智能终端的机器人控制方法
技术领域
本发明涉及机器人领域,具体涉及一种基于智能终端的机器人控制方法。
背景技术
随着科技的飞速发展,机器人控制技术愈加成熟,机器人已经被广泛应用于各行各业中。机器人的控制方式主要可以分为自主控制和人机协作控制,其中,由于机器人自主控制的复杂程度较高,自主控制的方式在机器人领域的应用还不普遍,人机协作是机器人领域较为高效且可行性较高的机器人控制方式。
目前,智能终端已经成为日常生活中人手一台的必备产品。2012年工业和信息化部电信研究院发布的《移动终端白皮书》中对智能终端进行了具体定义,智能终端一般是指具有开放的操作系统平台、支持应用程序灵活开发、安装及运行,具备PC级处理能力,具备高速数据网络接入能力,具备丰富的人机交互界面。本发明申请中提及的智能终端可以是但不限于手机、平板电脑等具备联网能力、人机交互界面、丰富的感知能力的设备。现有技术中通过手机实现人机协作控制机器人的方法,主要是通过将手机佩戴在头部,指定头部的运动姿势、位置与机器人的运动姿势和位置之间的对应关系,基于陀螺仪传感器和加速计获取手机在空间中的运动姿势和位置,以实现对机器人的控制,但是现有技术中手机需要佩戴于人体头部,限制了智能终端的运动姿态和位置的多样性,同时限制了机器人运动姿态的多样性。
发明内容
为解决上述问题,本发明提供了一种基于智能终端的机器人控制方法,基于VINS算法将智能终端摄像头采集的图像信息与IMU数据结合,获取智能终端运动轨迹和姿态进而控制机器人做出相应动作,提高了机器人控制的灵活性和精准度。本发明的具体技术方案如下:
一种跟基于智能终端的机器人控制方法,具体包括:步骤S1:智能终端与机器人通过无线通信模块建立连接,对智能终端进行初始化处理,获取智能终端初始位姿信息;步骤S2:采集智能终端当前图像并获取智能终端当前IMU数据;步骤S3:基于预设算法对获取的智能终端初始位姿信息、智能终端当前IMU数据和图像信息进行智能终端运动分析处理,获取智能终端运动轨迹和智能终端当前位姿信息,并将智能终端运动相关信息传输至机器人;步骤S4:机器人基于接收的智能终端运动相关信息进行动作分析处理,并执行相应动作;其中,所述预设算法是指预先设置于智能终端中央处理单元内,用于将视觉信息与IMU数据融合运算以获取运动信息;所述IMU数据包含智能终端陀螺仪三轴角速率信息和智能终端加速计三轴加速度信息;所述智能终端运动相关信息包括智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息。该方案通过结合IMU传感器和摄像头,融合IMU数据和图像信息,获取智能终端精准的运动轨迹和智能终端位姿信息,以使得更精准的控制机器人根据智能终端运动轨迹执行相应动作,提高了机器人控制的灵活度和精准度,进而保证智能终端运动姿态和位置的多样性,以及机器人运动姿态的多样性。
进一步地,步骤S1中所述初始化处理具体包括:在智能终端与机器人基于无线通信模块建立连接的启动阶段,基于搭载于智能终端上的摄像头采集智能终端初始图像,基于搭载于智能终端上的IMU传感器获取智能终端初始IMU数据并获取所述智能终端初始位姿信息;其中,所述IMU传感器包括陀螺仪和加速计。该方案中基于无线通信模块实现智能终端和机器人的通讯连接,以便于智能终端远程控制机器人运动,通过获取智能终端初始图像,对智能终端进行初始化处理,获取智能终端相关初始信息,将智能终端相关初始信息作为初始化标准,以便于后续与智能终端运动后获取的图像信息、IMU数据、位姿信息等进行比较计算,获得智能终端相对运动距离和角度。
进一步地,所述步骤S2具体包括:基于搭载于智能终端上的摄像头每隔第一预设时间采集智能终端当前图像并传输至智能终端中央处理器;基于搭载于智能终端上的IMU传感器每隔第一预设时间获取智能终端当前IMU数据并传输至智能终端中央处理器。该方案基于智能终端IMU传感器结合智能终端摄像头,每间隔第一预设时间获取智能终端当前图像和智能终端当前IMU数据,以实现与智能终端初始图像和智能终端初始IMU数据进行比较分析运算,获取智能终端相对运动信息。
进一步地,所述步骤3具体包括:基于预设算法对所述智能终端初始IMU数据和所述智能终端当前IMU数据进行计算,以获取智能终端的第一移动距离和第一移动角度;基于预设算法对所述图像信息、所述智能终端初始IMU数据中的加速度信息和所述智能终端当前IMU数据中的加速度信息进行计算,以获取智能终端的第二移动距离和第二移动角度;根据所述智能终端的第一移动距离、所述智能终端的第一移动角度、所述智能终端的第二移动距离和所述智能终端的第二移动角度,基于预设算法融合运算以获取智能终端运动轨迹和智能终端当前位姿信息,并通过所述无线通信模块将所述智能终端运动轨迹、所述智能终端初始位姿信息和所述智能终端当前位姿信息由智能终端传输至机器人;其中,所述图像信息包括智能终端摄像头在步骤S1初始化处理阶段采集的智能终端初始图像和步骤S2采集的智能终端当前图像。该方案中基于预设算法对视觉信息和IMU数据进行融合运算,以获取智能终端的相对运动轨迹和位姿信息,相较于现有的单一使用IMU数据获取智能终端运动轨迹和位姿信息,提高了获取的智能终端运动轨迹精准度,实现精准控制机器人跟随智能终端运动。
进一步地,所述步骤S4具体包括:基于所述智能终端初始位姿信息和所述智能终端当前位姿信息进行位姿计算,获取位姿计算结果;基于所述智能终端运动轨迹进行运动轨迹计算,获取运动轨迹计算结果;根据所述位姿计算结果和所述运动轨迹计算结果,控制机器人执行相应动作;其中,所述动作分析处理包括位姿计算和运动轨迹计算。该方案中机器人基于获取的智能终端运动轨迹和位姿信息进行相应动作分析处理,以获取与智能终端运动轨迹相对应的机器人动作,实现机器人跟随智能终端运动姿态执行相应动作,提高机器人动作控制的精准度和灵活性,提高人机互动趣味性。
进一步地,所述步骤S3中使用的预设算法是开源的VINS算法。该方案中使用开源的VINS算法获取智能终端运动轨迹,VINS算法是视觉与IMU的融合算法,通过摄像头获取的视觉数据结合IMU数据融合计算以获取路径信息,将VINS算法应用于该方案中,基于智能终端自带摄像头和IMU传感器,可减少所述跟随智能终端运动的机器人系统成本,并有效提高机器人跟随智能终端运动所执行动作的精准度。
进一步地,所述VINS算法基于搭载于智能终端上的IMU传感器获取的IMU数据和搭载于智能终端上的摄像头获取的图像信息进行即时定位与地图构建SLAM,获取当前环境地图和所述智能终端运动相关信息。该方案中使用VINS算法将智能终端摄像头获取的图像信息融合智能终端IMU数据进行即时定位与地图构建SLAM,获取当前环境地图和智能终端运动相关信息,既可用于控制机器人的动作还可以用于控制机器人的运动路径,环境地图信息可由智能终端提供给机器人,相较于机器人自身获取的环境地图精度更高,减少机器人的运算工作量。
进一步地,所述智能终端的陀螺仪三轴的角速度与所述机器人的陀螺仪三轴的角速度存在指定对应关系。该方案中公开的基于智能终端的机器人控制方法中智能终端的陀螺仪三轴角速度与机器人陀螺仪三轴角速度存在指定对应关系,以便于实现机器人跟随智能终端的运动轨迹和姿态进行运动。
进一步地,根据步骤S4中所述的动作分析处理结果,机器人执行相应动作时,控制设置于机器人内部的语音播放单元播放与所述相应动作对应的音频信息。该方案中的机器人内部设有语音播放单元,用于播放与机器人执行相应动作所对应的音频信息,提高人机互动的趣味性。
进一步地,所述机器人执行相应动作中所述相应动作包括:直行前进、拐弯、转圈、前侧或后侧或左侧或右侧抬起。该方案中机器人跟随智能终端的运动轨迹可作出多种类型的动作,丰富了机器人运动姿态的多样性,提高人机互动趣味性。
附图说明
图1为本发明一种实施例所述机器人控制方法的基本流程示意图。
图2为本发明一种实施例所述机器人控制方法的详细流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用于解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂且冗长的,然而对于本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行一些设计、制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例所描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中,在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其他实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地或隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或科学术语应当为本申请所述技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含,例如:包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。本申请所涉及的术语“第一”、“第二”、“第三”仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请实施例提供的一种基于智能终端的机器人控制方法,该方法基于智能终端IMU传感器结合智能终端自身配备的摄像头计算获取智能终端运动轨迹,并控制机器人做出相应动作,实现机器人跟随智能终端运动姿态运动。如图1所示,所述基于智能终端的机器人控制方法主要包括:
步骤S1:智能终端与机器人搭建连接关系后,对智能终端进行初始化处理,获取智能终端初始位姿信息,然后进入步骤S2。其中,所述智能终端可以是但不限于手机、平板电脑等具有联网能力、人机交互界面、丰富的感知能力和摄像头的设备。所述智能终端与机器人搭建连接关系的方式可以是但不限于无线通信、有线通信等能够实现信息数据远程传输的方式;所述初始化处理是指获取智能终端初始重力方向、智能终端初始IMU数据、智能终端初始图像信息,以便于与后续智能终端相关信息进行比较计算。
步骤S2:基于智能终端摄像头采集智能终端当前图像;基于智能终端IMU传感器获取智能终端当前IMU数据,然后进入步骤S3。其中,所述智能终端摄像头可以是但不限于单目摄像头、双目摄像头或多目摄像头等具有采集图像信息功能的摄像头;所述IMU传感器包括陀螺仪和加速计;所述IMU数据具体包括陀螺仪的三轴角速度信息和加速计的三轴加速度信息。
步骤S3:根据步骤S1中获取的智能终端初始位姿信息以及步骤S2中获取的智能终端当前IMU数据和智能终端当前图像,基于预设算法进行视觉与IMU数据的融合运算,对智能终端进行运动分析处理以获取智能终端运动轨迹和智能终端当前位姿信息,并基于智能终端与机器人之间的连接关系将智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息由智能终端传输至机器人,然后进入步骤S4。其中,所述预设算法是预先设置于智能终端内用于将视觉数据与IMU数据融合运算以获取智能终端运动相关信息的算法,所述预设算法可以是但不限定于VINS算法等具有将视觉与IMU数据融合运算功能的算法;所述智能终端运动相关信息包括智能终端运动轨迹和智能终端位姿信息等与智能终端运动相关的信息数据;所述对智能终端进行运动分析处理是指预设算法基于智能终端IMU传感器检测的IMU数据和智能终端摄像头采集的图像进行融合运算分析智能终端运动轨迹和智能终端相对移动距离。
步骤S4:机器人基于接收的智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息进行动作分析处理,并执行相应动作,以实现机器人跟随智能终端运动姿态运动的目的。其中,所述动作分析处理是指根据智能终端的IMU数据与机器人的IMU数据的指定对应关系以及接收的智能终端运动相关信息,分析出机器人需要对应执行的动作。
本申请实施例通过获取智能终端IMU数据和智能终端上搭载的摄像头采集的图像信息进行视觉与IMU数据的融合运算,从而获取智能终端的运动轨迹和智能终端相关运动信息,并根据智能终端IMU数据与机器人IMU数据的指定对应关系,控制机器人按照智能终端运动轨迹执行相应动作,能够精准实现机器人跟随智能终端运动,提高机器人控制效率,丰富机器人运动姿态多样性,提高人机互动趣味性。
作为本申请的一种实施例,所述基于智能终端的机器人控制方法流程具体如图2所示:
步骤S101:基于无线通信模块,将智能终端与机器人之间建立连接,然后进入步骤S102;其中,所述无线通信模块设置于所述智能终端内部和所述机器人内部,以便于所述智能终端和所述机器人之间以无线的方式进行通信,所述无线通信可以是但不限于WIFI、4G、5G或它们的组合等。
步骤S102:基于搭载于智能终端上的摄像头获取智能终端初始图像,对智能终端进行初始化处理,获取智能终端初始位姿信息,然后进入步骤S201;其中,所述对智能终端进行初始化处理包括:获取智能终端的初始重力方向、智能终端初始IMU数据、智能终端初始坐标信息和智能终端初始速度等智能终端相关信息,并进行相关计算,以获取智能终端初始位姿信息;所述摄像头可以是但不限于内置于智能终端或外置于智能终端背面的单目摄像头、双目摄像头等具有采集图像功能的摄像头;所述智能终端背面是指与智能终端显示屏相对的一面;所述智能终端初始IMU数据是通过智能终端内设的IMU传感器获取的,所述IMU传感器包括陀螺仪和加速计,所述智能终端初始IMU数据包括陀螺仪初始三轴角速度信息和加速计初始三轴加速度信息。
步骤S201:基于搭载于智能终端上的摄像头每隔第一预设时间采集一幅智能终端当前图像,基于设置于智能终端内部的IMU传感器每隔第一预设时间获取智能终端当前IMU数据,然后进入步骤S301;其中,所述第一预设时间是指预先设置于智能终端中央处理单元的摄像头采集图像信息的间隔时间以及智能终端IMU传感器获取智能终端当前IMU数据的间隔时间,以实现智能终端摄像头和智能终端IMU传感器每隔第一预设时间采集一幅智能终端当前图像和智能终端当前IMU数据,以便于将一幅或一幅以上的智能终端当前图像与智能终端初始图像、智能终端初始IMU数据与智能终端当前IMU数据进行比较计算,获取智能终端移动距离和智能终端移动角度;所述IMU传感器包括陀螺仪和加速计,所述智能终端当前IMU数据包括智能终端陀螺仪当前三轴角速度信息和智能终端加速计当前三轴加速度信息。
步骤S301:根据步骤S102中获取的所述智能终端初始IMU数据和步骤S201中获取的所述智能终端当前IMU数据进行比较计算,获取智能终端的第一移动距离和第一移动角度,然后进入步骤S302。
步骤S302:根据步骤S102中获取的所述智能终端初始图像和步骤S201中获取的所述智能终端当前图像进行比较,并融合步骤S102中获取的所述智能终端初始加速度和步骤S201中获取的所述智能终端当前加速度进行计算,获取智能终端的第二移动距离和第二移动角度,然后进入步骤S303。
优选地,步骤S301和步骤S302可以调换执行顺序,获取智能终端第一移动距离和第一移动角度的步骤和获取智能终端第二移动距离和第二移动角度的步骤可以相互调换执行顺序,也可以同时执行,从而通过比较计算智能终端初始图像和智能终端初始IMU数据与智能终端当前图像和智能终端当前IMU数据,来获取智能终端相对移动距离和智能终端相对移动角度。
步骤S303:基于预设的VINS算法结合智能终端的第一移动距离、第一移动角度、第二移动距离和第二移动角度,获取智能终端运动轨迹和智能终端当前位姿信息,然后进入步骤S304;具体地,所述VINS算法是将视觉数据与IMU数据融合运算获取运动相关信息的算法;基于所述VINS算法将智能终端摄像头获取的图像信息与智能终端IMU传感器获取的IMU数据融合计算,获取精准的智能终端运动轨迹;相较于仅通过IMU数据获取智能终端运动轨迹的方法,VINS算法将视觉数据与IMU数据融合,提高了获取的智能终端运动信息的精准度,实现更精准的控制机器人运动。
步骤S304:基于无线通信模块将智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息等智能终端运动相关信息由智能终端传输至机器人,然后进入步骤S401。
步骤S401:机器人基于接收的智能终端初始位姿信息和智能终端当前位姿信息进行位姿计算,获取位姿计算结果,然后进入步骤S402;具体地,所述位姿计算是基于所述智能终端初始位姿信息和所述智能终端当前位姿信息结合机器人与智能终端之间IMU数据存在的指定对应关系进行换算,得到与智能终端位姿信息相对应的机器人位姿信息,即所述位姿计算结果。
步骤S402:机器人基于接收的智能终端运动轨迹进行运动轨迹计算,获取运动轨迹计算结果,然后进入步骤S403;具体地,所述运动轨迹计算是指基于所述智能终端运动轨迹结合机器人与智能终端之间存在的IMU数据指定对应关系进行换算,得到与智能终端运动轨迹相对应的机器人运动轨迹,即所述运动轨迹计算结果。
优选地,步骤S401和步骤S402可以调换执行顺序,机器人基于智能终端初始位姿信息和智能终端当前位姿信息获取位姿计算结果和机器人基于智能终端运动轨迹获取运动轨迹计算结果可以相互调换执行顺序,也可以同时执行,从而获取机器人跟随智能终端运动所需执行相应动作,来控制机器人实现跟随智能终端运动姿态运动的目的,提高机器人控制精准度,丰富机器人运动姿态多样性。
步骤S403:机器人基于步骤S401获取的位姿计算结果和步骤S402获取的运动轨迹计算结果,跟随智能终端运动执行相应动作;具体地,所述智能终端的陀螺仪三轴角速度信息与所述机器人的陀螺仪三轴角速度信息存在指定对应关系;所述机器人跟随智能终端做出相应动作是指机器人按照指定对应关系执行与智能终端运动轨迹相对应的动作;所述相应动作可以是但不限于直行前进、拐弯、转圈、前侧或后侧或左侧或右侧弹跳抬起,其中,转圈是通过IMU传感器中的陀螺仪监测智能终端的偏航角信息获取,前侧或后侧或左侧或右侧弹跳抬起是通过IMU传感器中的陀螺仪监测智能终端的翻滚角信息和仰角信息获取。
优选地,机器人跟随智能终端运动执行相应动作时,内置于机器人的语音播放单元播放与所述相应动作对应的音频信息,如:机器人执行转圈动作时播放第一音频信息,机器人执行前侧弹跳抬起动作时播放第二音频信息,以此类推,每一个动作都有其对应的音频信息,同一音频信息可以对应一个或一个以上的动作,提高人机互动的趣味性。
显然,上述实施例中出现的“第一”、“第二”、“第三”等术语,是为了便于相关特征的区分,不能理解为指示或暗示其相对重要性、次序先后或技术特征的数量。
本发明所提供的实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现,以上描述的实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有其它划分方式,例如多个模块或组件可以结合或可以集成到另一个系统,或一些特征可以忽略或不执行,可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
最后应当说明的是,以上各实施例仅仅是本发明的一部分实施例,而不是全部实施例,各个实施例之间的技术方案可以相互结合,实施例所公开的具体步骤可以根据实际需求调整顺序以达到相同的技术效果。本领域的普通技术人员应当理解,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,均应包括在本发明的保护范围之内。

Claims (10)

1.一种基于智能终端的机器人控制方法,其特征在于,该方法具体包括:
步骤S1:智能终端与机器人通过无线通信模块建立连接,对智能终端进行初始化处理,获取智能终端初始位姿信息;
步骤S2:采集智能终端当前图像并获取智能终端当前IMU数据;
步骤S3:基于预设算法对获取的智能终端初始位姿信息、智能终端当前IMU数据和图像信息进行智能终端运动分析处理,获取智能终端运动轨迹和智能终端当前位姿信息,并将智能终端运动相关信息传输至机器人;
步骤S4:机器人基于接收的智能终端运动相关信息进行动作分析处理,并执行相应动作;
其中,所述预设算法是指预先设置于智能终端中央处理单元内,用于将视觉信息与IMU数据融合运算以获取运动信息;所述IMU数据包含智能终端陀螺仪三轴角速率信息和智能终端加速计三轴加速度信息;所述智能终端运动相关信息包括智能终端运动轨迹、智能终端初始位姿信息和智能终端当前位姿信息。
2.根据权利要求1所述的基于智能终端的机器人控制方法,其特征在于,步骤S1中所述初始化处理具体包括:在智能终端与机器人基于无线通信模块建立连接的启动阶段,基于搭载于智能终端上的摄像头采集智能终端初始图像,基于搭载于智能终端上的IMU传感器获取智能终端初始IMU数据并获取所述智能终端初始位姿信息;其中,所述IMU传感器包括陀螺仪和加速计。
3.根据权利要求2所述的基于智能终端的机器人控制方法,其特征在于,所述步骤S2具体包括:
基于搭载于智能终端上的摄像头每隔第一预设时间采集智能终端当前图像并传输至智能终端中央处理器;
基于搭载于智能终端上的IMU传感器每隔第一预设时间获取智能终端当前IMU数据并传输至智能终端中央处理器。
4.根据权利要求3所述的基于智能终端的机器人控制方法,其特征在于,所述步骤S3具体包括:
基于预设算法对所述智能终端初始IMU数据和所述智能终端当前IMU数据进行计算,以获取智能终端的第一移动距离和第一移动角度;
基于预设算法对所述图像信息、所述智能终端初始IMU数据中的加速度信息和所述智能终端当前IMU数据中的加速度信息进行计算,以获取智能终端的第二移动距离和第二移动角度;
根据所述智能终端的第一移动距离、所述智能终端的第一移动角度、所述智能终端的第二移动距离和所述智能终端的第二移动角度,基于预设算法融合运算以获取智能终端运动轨迹和智能终端当前位姿信息,并通过所述无线通信模块将所述智能终端运动轨迹、所述智能终端初始位姿信息和所述智能终端当前位姿信息由智能终端传输至机器人;
其中,所述图像信息包括智能终端摄像头在步骤S1初始化处理阶段采集的智能终端初始图像和步骤S2采集的智能终端当前图像。
5.根据权利要求4所述的基于智能终端的机器人控制方法,其特征在于,所述步骤S4具体包括:
基于所述智能终端初始位姿信息和所述智能终端当前位姿信息进行位姿计算,获取位姿计算结果;
基于所述智能终端运动轨迹进行运动轨迹计算,获取运动轨迹计算结果;
根据所述位姿计算结果和所述运动轨迹计算结果,控制机器人执行相应动作;
其中,所述动作分析处理包括位姿计算和运动轨迹计算。
6.根据权利要求1所述的基于智能终端的机器人控制方法,其特征在于,所述步骤S3中使用的预设算法是开源的VINS算法。
7.根据权利要求6所述的基于智能终端的机器人控制方法,其特征在于,所述VINS算法基于搭载于智能终端上的IMU传感器获取的IMU数据和搭载于智能终端上的摄像头获取的图像信息进行即时定位与地图构建(SLAM),获取当前环境地图和所述智能终端运动相关信息。
8.根据权利要求1所述的基于智能终端的机器人控制方法,其特征在于,所述智能终端的陀螺仪三轴角速度信息与所述机器人的陀螺仪三轴角速度信息存在指定对应关系。
9.根据权利要求1所述的基于智能终端的机器人控制方法,其特征在于,根据步骤S4中所述的动作分析处理结果,机器人执行相应动作时,控制设置于机器人内部的语音播放单元播放与所述相应动作对应的音频信息。
10.根据权利要求1所述的基于智能终端的机器人控制方法,其特征在于,步骤S4中所述机器人执行相应动作中所述相应动作包括:直行前进、拐弯、转圈、前侧或后侧或左侧或右侧抬起。
CN202110152818.5A 2021-02-04 2021-02-04 一种基于智能终端的机器人控制方法 Active CN112936269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110152818.5A CN112936269B (zh) 2021-02-04 2021-02-04 一种基于智能终端的机器人控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110152818.5A CN112936269B (zh) 2021-02-04 2021-02-04 一种基于智能终端的机器人控制方法

Publications (2)

Publication Number Publication Date
CN112936269A true CN112936269A (zh) 2021-06-11
CN112936269B CN112936269B (zh) 2022-07-08

Family

ID=76243651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110152818.5A Active CN112936269B (zh) 2021-02-04 2021-02-04 一种基于智能终端的机器人控制方法

Country Status (1)

Country Link
CN (1) CN112936269B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106239511A (zh) * 2016-08-26 2016-12-21 广州小瓦智能科技有限公司 一种基于头部运动的机器人移动控制方式
JP2017094466A (ja) * 2015-11-26 2017-06-01 株式会社デンソーウェーブ ロボットモニタシステム
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法
CN112154047A (zh) * 2018-05-21 2020-12-29 远程连接株式会社 远程操作系统、信息处理方法以及程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017094466A (ja) * 2015-11-26 2017-06-01 株式会社デンソーウェーブ ロボットモニタシステム
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106239511A (zh) * 2016-08-26 2016-12-21 广州小瓦智能科技有限公司 一种基于头部运动的机器人移动控制方式
CN108492316A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 一种终端的定位方法和装置
CN112154047A (zh) * 2018-05-21 2020-12-29 远程连接株式会社 远程操作系统、信息处理方法以及程序
CN110118554A (zh) * 2019-05-16 2019-08-13 深圳前海达闼云端智能科技有限公司 基于视觉惯性的slam方法、装置、存储介质和设备
CN110717927A (zh) * 2019-10-10 2020-01-21 桂林电子科技大学 基于深度学习和视惯融合的室内机器人运动估计方法

Also Published As

Publication number Publication date
CN112936269B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110140099B (zh) 用于跟踪控制器的系统和方法
CN103916875B (zh) 基于wifi无线网络多类控制终端的管理与规划系统
JP5318623B2 (ja) 遠隔操作装置および遠隔操作プログラム
US10169880B2 (en) Information processing apparatus, information processing method, and program
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CN103578135A (zh) 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN108885487B (zh) 一种可穿戴式系统的手势控制方法以及可穿戴式系统
CN103699219B (zh) 一种智能眼镜交互系统及智能交互方法
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
CN103619090A (zh) 基于微型惯性传感器舞台灯光自动定位和追踪系统和方法
CN106326881B (zh) 用于实现人机交互的手势识别方法和手势识别设备
CN113448343B (zh) 用于设定飞行器的目标飞行路径的方法、系统和可读介质
WO2018014420A1 (zh) 一种基于发光目标识别的无人机跟踪控制系统及方法
CN108828996A (zh) 一种基于视觉信息的机械臂遥操作系统及方法
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN113221726A (zh) 一种基于视觉与惯性信息融合的手部姿态估计方法及系统
JP2018151950A (ja) 情報処理装置、情報処理システム及びプログラム
CN112936269B (zh) 一种基于智能终端的机器人控制方法
CN206741431U (zh) 桌面型空间立体交互系统
Sung et al. Motion quaternion-based motion estimation method of MYO using K-means algorithm and Bayesian probability
JP5076081B2 (ja) 集団状態推定システムおよび集団注意制御システムならびにアクティブセンシングシステム
Oh A study on MTL device design and motion tracking in virtual reality environments
CN112987723A (zh) 一种基于智能终端控制的机器人系统
KR102245760B1 (ko) 테이블 탑 디바이스 및 이를 포함하는 테이블 탑 시스템
CN110083226B (zh) 虚空间定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 519000 2706, No. 3000, Huandao East Road, Hengqin new area, Zhuhai, Guangdong

Applicant after: Zhuhai Yiwei Semiconductor Co.,Ltd.

Address before: Room 105-514, No.6 Baohua Road, Hengqin New District, Zhuhai City, Guangdong Province

Applicant before: AMICRO SEMICONDUCTOR Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant