CN107168182A - 一种室内机器人vr应用的系统及方法 - Google Patents

一种室内机器人vr应用的系统及方法 Download PDF

Info

Publication number
CN107168182A
CN107168182A CN201710505390.1A CN201710505390A CN107168182A CN 107168182 A CN107168182 A CN 107168182A CN 201710505390 A CN201710505390 A CN 201710505390A CN 107168182 A CN107168182 A CN 107168182A
Authority
CN
China
Prior art keywords
robot
module
user
sent
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710505390.1A
Other languages
English (en)
Inventor
范崇山
罗智荣
刘乐
林秋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710505390.1A priority Critical patent/CN107168182A/zh
Publication of CN107168182A publication Critical patent/CN107168182A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25257—Microcontroller

Abstract

本发明公开了一种室内机器人VR应用的系统，包含有：机器人控制上位机、VR眼镜设备和机器人本体，各模块间通过网络连接，手机安装该机器人适用APP；用户佩戴装有手机的VR设备；用户头部转动和/或发出语音；手机陀螺仪获取用户头部转动、俯仰角度信息和/或语音处理；处理后的数据通过WIFI发送至机器人的通信模块；通信模块接收数据并处理，通信模块将处理后的数据发送到机器人的控制模块；控制模块对陀螺仪数据和/或语音数据进行解析处理，将处理后的数据发送到相应模块；机器人将摄像头采集的画面返回至手机APP和/或执行相关动作。通过该系统使机器人摄像头跟随用户头部转动，使用户通过语音对机器人进行室内远距离控制，增强了用户的体验感。

Description

一种室内机器人VR应用的系统及方法
技术领域
本发明涉及室内机器人控制领域，具体涉及一种室内机器人VR应用的系统及方法。
背景技术
目前室内机器人采用固定摄像头的方案，摄像头只能依靠机器人本体的转动实现不同角度的拍摄功能，不能随用户头部转动而转动，没有良好的用户体验。
目前室内机器人不能通过手机APP直接对机器人语音指令控制，而是通过机器人本体上的语音模块识别用户语音指令，不能实现对机器人较远距离的语音控制，识别率也受到用户与机器人距离限制。
发明内容
为解决上述技术问题，本发明提出了一种通过手机APP实现室内机器人VR应用的系统及方法，以达到机器人摄像头随着用户头部转动而转动和语音远距离控制机器人的目的。
为达到上述目的，本发明的技术方案如下：
一种室内机器人VR应用的系统，包含有：机器人控制上位机、VR眼镜设备和机器人本体，各模块间通过网络连接，
所述机器人控制上位机，用于接收用户语音指令及输入指令(打字控制)，并对指令进行处理，
所述VR眼镜设备，用于显示机器人摄像头视角，
所述机器人本体包括：电源模块、通信模块、控制模块、传感器模块、语音处理模块和运动模块，所述电源模块，用于提供各模块所需的电源电压，所述通信模块，用于上位机与下位机的通信，所述控制模块，用于处理用户指令，控制机器人行为，所述传感器模块，用于接受信号和发射信号，所述语音处理模块用于接收控制器的指令信息，解析命令，所述运动模块，用于接收控制器的运动指令。
作为优选的，所述通信模块采用JS9331为核心板模块和基于Atheros AR9331SOC方案的WIFI模块；
所述控制模块设置有ARM-Smart210控制开发板，所述ARM-Smart210控制开发板上设置有如下组件：三星S5PV210处理器、Flash存储器、复位电路、IO口和串口，所述S5PV210处理器，用于接收通信模块发送来的数据并处理；所述Flash存储器，用于储存用户初始化程序和应用程序；所述复位电路，用于整个开发板系统的复位；所述IO口，用于控制器将陀螺仪指令和机器人运动模块指令发送给各个执行模块；串口用于控制器将控制红外模块指令，控制语音模块指令发送给各个执行模块；
所述传感器模块包括：双云台摄像头和红外传感器，所述双云台摄像头，用于显示用户头部转动、俯仰动作同步的机器人视角信息，所述红外传感器，用于对家电的控制；
所述语音处理模块采用讯飞XFS5152语音合成模块，通过串口接收控制器的信息，并解析命令；
所述运动模块采用L298N电机驱动，通过IO接收控制器的运动指令，驱动电机控制机器人移动。
一种室内机器人VR应用的方法，其特征在于，其方法步骤如下：
(1).手机安装该机器人适用的APP；
(2).用户佩戴装有手机的VR设备；
(3).用户头部转动和/或发出语音；
(4).手机陀螺仪获取用户头部转动、俯仰角度信息和/或手机获取语音信息，并进行处理；
(5).处理后的数据通过WIFI发送至机器人本体；
(6).机器人本体接收数据并处理；
(7).机器人将摄像头采集的画面返回至手机APP和/或执行相关动作。
作为优选的，步骤(1)所述手机APP对语音指令进行分类，具体分为：控制运动指令、控制语音模块指令和控制红外模块指令，所述手机APP的功能包括获取用户头部转动、俯仰角度信息和语音信息并通过手机处理，显示机器人摄像头采集的图像信息。
作为优选的，步骤(2)所述VR设备装有手机陀螺仪传感器，将手机屏幕画面呈现给用户。
作为优选的，步骤(6)所述机器人接收到处理后的转动角度信息，云台舵机运动带动摄像头转动，显示机器人视角信息。
作为优选的，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至运动模块，驱动电机控制机器人移动。
作为优选的，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至语音模块，机器人通过喇叭发声。
作为优选的，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至红外传感器，红外传感器接收并解析命令，对家电进行控制。
作为优选的，步骤(7)所述摄像头随着云台转动，图像信息通过USB接口发送给通信模块,通信模块将给摄像头一个IP地址,上位机手机访问通信模块中的摄像头IP地址，获取摄像头图像数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例公开的系统整体构成示意图；
图2为本发明实施例公开的机器人本体构成示意图；
图3为本发明实施例公开的陀螺仪和双云台摄像头配合工作流程图；
图4为本发明实施例公开的用户语音控制流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
本发明提供了一种室内机器人VR应用的系统及方法，其工作原理是通过手机陀螺仪获取用户头部转动，俯仰角度信息，通过一系列模块控制双云台摄像头转动采集图像信息，通过手机APP处理用户语音，达到机器人摄像头随用户头部转动而转动和室内远距离控制机器人执行指令的目的。
如图1和图2所示，室内机器人VR应用的系统，包含有：机器人控制上位机、VR眼镜设备和机器人本体，各模块间通过网络连接，
机器人控制上位机，用于接收用户语音指令及输入指令(打字控制)，并对指令进行处理，
VR眼镜设备，用于显示机器人摄像头视角，
机器人本体包括：电源模块1、通信模块2、控制模块3、传感器模块4、语音处理模块5和运动模块6，所述电源模块1，用于提供各模块所需的电源电压，所述通信模块2，用于上位机与下位机的通信，所述控制模块3，用于处理用户指令，控制机器人行为，所述传感器模块4，用于接受信号和发射信号，所述语音处理模块5，用于接收控制器的指令信息，解析命令，所述运动模块6，用于接收控制器的运动指令。
通信模块1采用JS9331为核心板模块和基于Atheros AR9331SOC方案的WIFI模块；
控制模块2设置有ARM-Smart210控制开发板，所述ARM-Smart210控制开发板上设置有如下组件：三星S5PV210处理器、Flash存储器、复位电路、IO口和串口，所述S5PV210处理器，用于接收通信模块发送来的数据并处理；所述Flash存储器，用于储存用户初始化程序和应用程序；所述复位电路，用于整个开发板系统的复位；所述IO口，用于控制器将陀螺仪指令和机器人运动模块指令发送个各个执行模块；串口用于控制器将控制红外模块指令，控制语音模块指令发送给各个执行模块；
传感器模块4包括：双云台摄像头7和红外传感器8，所述双云台摄像头7，用于显示用户头部转动、俯仰动作同步的机器人视角信息，所述红外传感器8，用于对家电的控制；
语音处理模块5采用讯飞XFS5152语音合成模块，通过串口接收控制器的信息，并解析命令；
运动模块6采用L298N电机驱动，通过IO接收控制器的运动指令，驱动电机控制机器人移动。
如图2所示，用户通过VR眼镜看到机器人摄像头所呈现画面步骤如下:
步骤S101，用户佩戴装有手机APP的VR设备并进行头部转动；
步骤S102，手机陀螺仪获取用户头部转动、俯仰角度信息，由手机对角度信息进行处理，通过WIFI将处理后的数据发送给机器人本体的通信模块；
步骤S103，通信模块接收到手机发送来的陀螺仪数据指令，解析并处理，通信模块将解析后的数据通过串口发送到控制模块的ARM-Smart210控制开发板；
步骤S104，ARM-Smart210控制开发板接收信模块发送来的陀螺仪数据，并进行处理解析，ARM-Smart210控制开发板将处理后的数据通过IO口发送给云台舵机；
步骤S105，云台舵机接收机器人ARM-Smart210控制开发板发送来的指令，使云台转动；
步骤S106，摄像头随着云台的转动，图像信息通过USB接口发送给通信模块；
步骤S107，通信模块将给摄像头一个IP地址；
步骤S108，上位机手机通过WIFI访问通信模块中的摄像头IP地址，获取摄像头图像数据显示到上位机手机屏幕上。
如图3所示，用户通过语音控制机器人完成相关动作的步骤如下：
步骤S201，用户发出语音指令，语音指令以声波的形式传输到手机；
步骤S201，手机对用户发出的语音指令接收并处理，手机将处理后的数据通过WIFI发送到机器人上的通信模块；
步骤S203，通信模块接收到手机发送来的数据指令，解析并处理，通信模块将解析后的数据通过串口发送到控制模块的ARM-Smart210控制开发板；
步骤S204，ARM-Smart210控制开发板接收通信模块发送来的语音数据进行处理、解析，并通过接口将各指令发送到对应模块；
步骤S205，运动模块通过IO接收控制模块发送来的运动指令，运动模块根据指令驱动电机控制机器人完成相应运动；
步骤S206，语音处理模块通过串口接收控制模块发送的控制语音模块指令，并解析命令，通过机器人上的喇叭进行发声；
步骤S207，红外集成模块通过串口接收控制模块发送的控制红外模块指令，并解析命令，从而达到对家电的有效控制。
以上所述的仅是本发明所公开的一种用手机APP实现室内机器人VR应用的系统及方法的优选实施方式，应当指出，本发明不局限于手机APP，移动终端和PC电脑同样适用，还应当指出对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种室内机器人VR应用的系统，其特征在于，包含有：机器人控制上位机、VR眼镜设备和机器人本体，各模块间通过网络连接，
所述机器人控制上位机，用于接收用户语音指令及输入指令(打字控制)，并对指令进行处理，
所述VR眼镜设备，用于显示机器人摄像头视角，
所述机器人本体包括：电源模块、通信模块、控制模块、传感器模块、语音处理模块和运动模块，所述电源模块，用于提供各模块所需的电源电压，所述通信模块，用于上位机与下位机的通信，所述控制模块，用于处理用户指令，控制机器人行为，所述传感器模块，用于接受信号和发射信号，所述语音处理模块用于接收控制器的指令信息，解析命令，所述运动模块，用于接收控制器的运动指令。
2.根据权利要求1所述的室内机器人VR应用的系统，其特征在于，所述通信模块采用JS9331为核心板模块和基于Atheros AR9331 SOC方案的WIFI模块；
所述控制模块设置有ARM-Smart210控制开发板，所述ARM-Smart210控制开发板上设置有如下组件：三星S5PV210处理器、Flash存储器、复位电路、IO口和串口，所述S5PV210处理器，用于接收通信模块发送来的数据并处理；所述Flash存储器，用于储存用户初始化程序和应用程序；所述复位电路，用于整个开发板系统的复位；所述IO口，用于控制器将陀螺仪指令和机器人运动模块指令发送给各个执行模块；串口用于控制器将控制红外模块指令，控制语音模块指令发送给各个执行模块；
所述传感器模块包括：双云台摄像头和红外传感器，所述双云台摄像头，用于显示用户头部转动、俯仰动作同步的机器人视角信息，所述红外传感器，用于对家电的控制；
所述语音处理模块采用讯飞XFS5152语音合成模块，通过串口接收控制器的信息，并解析命令；
所述运动模块采用L298N电机驱动，通过IO接收控制器的运动指令，驱动电机控制机器人移动。
3.一种室内机器人VR应用的方法，其特征在于，其方法步骤如下：
(1).手机安装该机器人适用的APP；
(2).用户佩戴装有手机的VR设备；
(3).用户头部转动和/或发出语音；
(4).手机陀螺仪获取用户头部转动、俯仰角度信息和/或手机获取语音信息，并进行处理；
(5).处理后的数据通过WIFI发送至机器人本体；
(6).机器人本体接收数据并处理；
(7).机器人将摄像头采集的画面返回至手机APP和/或执行相关动作。
4.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(1)所述手机APP对语音指令进行分类，具体分为：控制运动指令、控制语音模块指令和控制红外模块指令，所述手机APP的功能包括获取用户头部转动、俯仰角度信息和语音信息并通过手机处理，显示机器人摄像头采集的图像信息。
5.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(2)所述VR设备装有手机陀螺仪传感器，将手机屏幕画面呈现给用户。
6.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(6)所述机器人接收到处理后的转动角度信息，云台舵机运动带动摄像头转动，显示机器人视角信息。
7.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至运动模块，驱动电机控制机器人移动。
8.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至语音模块，机器人通过喇叭发声。
9.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(6)所述机器人接收到处理后的语音信息，进行分析，将分析结果发送至红外传感器，红外传感器接收并解析命令，对家电进行控制。
10.根据权利要求3所述的室内机器人VR应用的方法，其特征在于，步骤(7)所述摄像头随着云台转动，图像信息通过USB接口发送给通信模块,通信模块将给摄像头一个IP地址,上位机手机访问通信模块中的摄像头IP地址，获取摄像头图像数据。
CN201710505390.1A 2017-06-28 2017-06-28 一种室内机器人vr应用的系统及方法 Pending CN107168182A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710505390.1A CN107168182A (zh) 2017-06-28 2017-06-28 一种室内机器人vr应用的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710505390.1A CN107168182A (zh) 2017-06-28 2017-06-28 一种室内机器人vr应用的系统及方法

Publications (1)

Publication Number Publication Date
CN107168182A true CN107168182A (zh) 2017-09-15

Family

ID=59826697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710505390.1A Pending CN107168182A (zh) 2017-06-28 2017-06-28 一种室内机器人vr应用的系统及方法

Country Status (1)

Country Link
CN (1) CN107168182A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703485A (zh) * 2017-09-16 2018-02-16 罗智荣 一种室内可见光定位系统
CN109434859A (zh) * 2018-11-27 2019-03-08 浙江理工大学 一种基于vr技术的远程机器人控制系统及方法
CN109521878A (zh) * 2018-11-08 2019-03-26 歌尔科技有限公司 交互方法、装置和计算机可读存储介质
CN111452046A (zh) * 2020-03-31 2020-07-28 佛山科学技术学院 基于虚拟现实的排爆机器人系统、控制方法及存储介质
CN112346443A (zh) * 2020-11-27 2021-02-09 杭州同绘科技有限公司 一种使用手机陀螺仪控制机器人前进的系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348068A (zh) * 2011-08-03 2012-02-08 东北大学 一种基于头部姿态控制的随动远程视觉系统
CN105955042A (zh) * 2016-05-27 2016-09-21 浙江大学 一种虚拟现实型的可见即可控智能家居控制系统及方法
CN205792715U (zh) * 2016-05-19 2016-12-07 科沃斯机器人股份有限公司 远程操控服务机器人系统
CN205809568U (zh) * 2016-06-21 2016-12-14 武汉方格信息技术有限公司 一种结合vr和机器人的智能家居系统
CN106256509A (zh) * 2016-08-15 2016-12-28 李文松 替身机器人
CN106406119A (zh) * 2016-11-15 2017-02-15 福州大学 基于语音交互、云技术及集成智能家居监控的服务机器人
US9586315B2 (en) * 2014-09-02 2017-03-07 The Johns Hopkins University System and method for flexible human-machine collaboration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348068A (zh) * 2011-08-03 2012-02-08 东北大学 一种基于头部姿态控制的随动远程视觉系统
US9586315B2 (en) * 2014-09-02 2017-03-07 The Johns Hopkins University System and method for flexible human-machine collaboration
CN205792715U (zh) * 2016-05-19 2016-12-07 科沃斯机器人股份有限公司 远程操控服务机器人系统
CN105955042A (zh) * 2016-05-27 2016-09-21 浙江大学 一种虚拟现实型的可见即可控智能家居控制系统及方法
CN205809568U (zh) * 2016-06-21 2016-12-14 武汉方格信息技术有限公司 一种结合vr和机器人的智能家居系统
CN106256509A (zh) * 2016-08-15 2016-12-28 李文松 替身机器人
CN106406119A (zh) * 2016-11-15 2017-02-15 福州大学 基于语音交互、云技术及集成智能家居监控的服务机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107703485A (zh) * 2017-09-16 2018-02-16 罗智荣 一种室内可见光定位系统
CN109521878A (zh) * 2018-11-08 2019-03-26 歌尔科技有限公司 交互方法、装置和计算机可读存储介质
CN109434859A (zh) * 2018-11-27 2019-03-08 浙江理工大学 一种基于vr技术的远程机器人控制系统及方法
CN111452046A (zh) * 2020-03-31 2020-07-28 佛山科学技术学院 基于虚拟现实的排爆机器人系统、控制方法及存储介质
CN112346443A (zh) * 2020-11-27 2021-02-09 杭州同绘科技有限公司 一种使用手机陀螺仪控制机器人前进的系统及方法

Similar Documents

Publication Publication Date Title
CN107168182A (zh) 一种室内机器人vr应用的系统及方法
CN104995558B (zh) 一种获取全景图像的方法及终端
CN107592451A (zh) 一种多模式辅助拍照方法、装置及计算机可读存储介质
CN107682536A (zh) 一种语音控制方法、终端和计算机可读存储介质
CN110495819A (zh) 机器人的控制方法、机器人、终端、服务器及控制系统
CN101732873B (zh) 一种用以响应用户需求的飞行器型手持终端
CN205516491U (zh) 智能交互儿童玩具
CN110213414A (zh) 一种驱动控制方法、终端及计算机可读存储介质
CN103280175A (zh) 一种投影装置
CN107666526A (zh) 一种具有摄像头的终端
CN107888728A (zh) 一种移动终端以及基于所述移动终端的拍摄方法
CN110313174B (zh) 一种拍摄控制方法、装置及控制设备、拍摄设备
CN103297735A (zh) 一种投影装置
CN107124552A (zh) 一种拍摄方法、终端及计算机可读存储介质
CN108171743A (zh) 拍摄图像的方法、设备及计算机可存储介质
CN109523253A (zh) 一种支付方法和装置
CN107704152A (zh) 一种相机应用显示方法、设备及计算机可读存储介质
CN108156386B (zh) 一种全景拍照方法及移动终端
CN205968983U (zh) 一种智能机器人及其控制系统
CN104038591A (zh) 一种录音方法及终端
CN205969039U (zh) 一种智能机器人及其控制系统
CN107329584A (zh) 一种文字输入处理方法、移动终端以及计算机可读存储介质
CN108351681A (zh) 电子设备及其托架
CN112204943A (zh) 拍摄方法、设备、系统及计算机可读存储介质
CN109711477A (zh) 一种自动驾驶模型的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170915

RJ01 Rejection of invention patent application after publication