CN109202914A - 一种基于设备端app操控智能终端的系统和方法 - Google Patents

一种基于设备端app操控智能终端的系统和方法 Download PDF

Info

Publication number
CN109202914A
CN109202914A CN201811395629.5A CN201811395629A CN109202914A CN 109202914 A CN109202914 A CN 109202914A CN 201811395629 A CN201811395629 A CN 201811395629A CN 109202914 A CN109202914 A CN 109202914A
Authority
CN
China
Prior art keywords
module
equipment end
intelligent terminal
robot
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811395629.5A
Other languages
English (en)
Inventor
庄永军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sanbao Innovation And Intelligence Co Ltd
Original Assignee
Shenzhen Sanbao Innovation And Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sanbao Innovation And Intelligence Co Ltd filed Critical Shenzhen Sanbao Innovation And Intelligence Co Ltd
Priority to CN201811395629.5A priority Critical patent/CN109202914A/zh
Publication of CN109202914A publication Critical patent/CN109202914A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • B25J11/0035Dancing, executing a choreography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/003Manipulators for entertainment
    • B25J11/004Playing a music instrument
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/06Control stands, e.g. consoles, switchboards

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于设备端APP操控智能终端的系统和方法,包括设备端以及智能终端,所述设备端与智能终端之间无线连接,所述智能终端包括主控制单元、通信模块、行为操控模块、摄像模块和信息库模块,本发明通过人工操作互动,用户站在机器人的视角与其他用户进行互动,设备端APP有对机器人身体方位控制、头部控制、手部控制、语言控制、情感控制和其他控制(唱歌、跳舞和电影等),让机器人更加地“生动”“有爱”“有趣”。机器人的移动和转向是通过APP控制的,相比于预先设定好的方位控制按钮,此控制方法更加灵活,更能促进用户的体验感。设备端APP上画面能实时展示机器人拍摄到的画面图像,让用户体验到亲临其境的感觉。

Description

一种基于设备端APP操控智能终端的系统和方法
技术领域
本发明涉及一种电子开关,具体是一种基于设备端APP操控智能终端的系统和方法。
背景技术
人机交互机器人是当前机器人学研究的前沿和热点之一,机器人远程控制在各个领域具有不可替代的作用,随着互联网的飞速发展,基于网络实现机器人远程控制拓展了其应用范围。基于远程操控的人机交互机器人,可以实现人控制机器人与人交互的过程。
在现有的机器人远程控制中,可以实现设备端通过无线网或蓝牙等通信技术与机器人建立通信连接,利用设备端进入机器人的设备系统进行操控,还可以实现手机APP对机器人的移动和转向的控制。
现有的技术中只是简单地利用人工操作控制机器人与用户之间的交流,只能控制机器人单一地呈现各种表达,其肢体、头部、语言和情感等表达无法一起呈现,而且人工操作机器人的移动和转向方向不够完善,无法让机器人更加“拟人化”。
发明内容
本发明的目的在于提供一种基于设备端APP操控智能终端的系统和方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于设备端APP操控智能终端的系统,包括设备端以及智能终端,所述设备端与智能终端之间无线连接,所述智能终端包括主控制单元、通信模块、行为操控模块、摄像模块和信息库模块,主控制单元分别连接通信模块、行为操控模块、摄像模块和信息库模块。
作为本发明的优选方案:所述设备端是智能手机、平板电脑、笔记本电脑、PDA、可穿戴设备或台式计算机。
作为本发明的优选方案:所述行为操控模块包括语音输出模块、表情输出模块、摄像截取模块和肢体控制模块,所述表情输出模块连接语音输出模块,语音输出模块还连接摄像截取模块,摄像截取模块还连接肢体控制模块。
作为本发明的优选方案:所述肢体控制模块包括头部控制装置、躯干控制装置和手部控制装置。
作为本发明的优选方案:所述摄像模块是摄像头。
作为本发明的优选方案:所述通信模块采用GPRS、ZigBee、WiFi、NFC或蓝牙等传输技术传输信息。
一种基于设备端APP操控智能终端的方法,包含以下步骤:
A、设备端与智能终端建立通信连接;
B、设备端向智能终端发送控制信号;
C、智能终端接收模块接收控制指令,机器人主控制单元调用行为操控模块,控制机器人运行。
与现有技术相比,本发明的有益效果是:本发明通过人工操作互动,用户站在机器人的视角与其他用户进行互动,设备端APP有对机器人身体方位控制、头部控制、手部控制、语言控制、情感控制和其他控制(唱歌、跳舞和电影等),让机器人更加地“生动”“有爱”“有趣”。机器人的移动和转向是通过APP控制的,相比于预先设定好的方位控制按钮,此控制方法更加灵活,更能促进用户的体验感。设备端APP上画面能实时展示机器人拍摄到的画面图像,让用户体验到亲临其境的感觉。
附图说明
图1是一种基于设备端APP操控智能终端的方法流程图
图2是一种基于设备端APP操控智能终端的系统结构示意图
图3是行为操控模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,实施例1:本发明实施例中,一种基于设备端APP操控智能终端的系统,包括:设备端以及智能终端;
所述设备端,用于操控指令输入,可以是智能手机、平板电脑、笔记本电脑、PDA、可穿戴设备、台式计算机等设备;
所述智能终端,用于接收所述设备端发送的控制指令;
所述设备端可以与所述智能终端连接,并发起服务请求;
所述智能终端用于根据设备端的请求指令提供反馈,所述反馈包括智能终端操作装置的运行;
所述操作装置主要用于对语音、表情、肢体的操控,实现设备端对智能终端的临场操控。
其中,所述机器人包括:机器人本体、设于机器人本体上的主控制单元、以及受控于主控制单元的:信息库模块、摄像模块、通信模块和行为操控模块。
所述主控制单元,用于解析所述设备端通过通信发送至所述智能终端的指令,以便调用各模块的运行操作;
所述信息库模块,用于存储数据信息,以供所述主控制单元调用,所述的数据信息包含但不局限于采集的图像/视频信息、语音、表情;
所述摄像模块,用于智能终端的图像采集,支持设备端通过APP界面或登录网页界面对智能终端前方的环境实时监控和采集;所述摄像模块可以是摄像头,或者是具有摄像/摄影功能的装备;
所述通信模块,用于建立设备端与智能终端之间的通信连接,设备端与智能终端之间的通信连接可通过但不局限于GPRS(General Packet Radio Service,通用分组无线服务)、ZigBee、WiFi、NFC(Near Field Communication,近距离无线通信)、蓝牙等传输技术传输信息。
所述行为操控模块,用于控制所述机器人本体的行为运行控制;其中,包括:所述设备端向所述智能终端发送请求指令;所述智能终端接收器接收所述设备端的请求指令;所述机器人本体上的主控制单元解析智能终端接收到的请求指令;主控制单元提取请求指令的操作信息,调用行为操控模块做出相应的反馈。
所述的反馈由各模块完成,即行为操控模块控制着机器人本体的行为操作,其特征在于,所述模块包括:语音输出模块、表情输出模块、摄像截取模块和肢体控制模块。
语音输出模块,用于所述设备端对所述机器人本体的语言输出控制,包括:
所述设备端发起语音请求指令,所述语音请求指令为设备端输入的文本信息,设备端的文本信息可以是文本录入,也可以是语音切换成文本输入;
所述智能终端接收语音请求指令,机器人本体上的主控制单元解析语音请求指令;
主控制单元提取文本信息,调用受控于主控制单元的语音输出模块,语音输出文本信息。
表情输出模块,用于所述机器人对所述设备端的表情控制输出,包括:
所述设备端发起表情请求指令,所述表情请求指令可以是设备端的预设表情程序,也可以是设备端APP/登录网页界面上的表情包;
所述智能终端接收表情请求指令,机器人本体上的主控制单元解析表情请求指令;
主控制单元提取表情信息,调用受控于主控制单元的表情输出模块,通过机器人本体上的屏幕输出表情。
摄像截取模块,用于所述设备端监视所述机器人本体视觉前方的画面图像,其中包括:所述设备端与所述智能终端建立通信连接;所述机器人本体调用受控于主控制单元的摄像截取模块;所述的摄像截取模块把拍摄机器人本体视觉前方的画面反馈到所述设备端APP/登录网页界面的画面展示区域中;
以及支持所述设备端通过机器人本体对视觉前方画面的拍照和录像,其中包括:所述设备端发起拍照/录像请求指令,所述智能端接收器接收拍照/录像请求;机器人主控制单元解析接受的请求指令,调用摄像截取模块;若存在拍照指令时,所述设备端对当前机器人本体视角前方画面的图像截取;若存在录像指令时,所述设备端对当前机器人本体视角前方画面进行开始录制,主控制单元再次检测到录制指令时,停止录制;所述拍照的图像以及录像的视频,均存储于信息库单元中。
肢体控制模块,用于控制机器人的肢体运动;其中,包括
所述设备端发起肢体请求指令,所述肢体请求指令可以是设备端输入预设表情程序/动作包,也可以是设备端APP/登录网页界面上的肢体移动方位的点击/滑动进行控制;
所述智能终端接收肢体请求指令,机器人本体上的主控制单元解析肢体请求指令;
主控制单元提取肢体运动信息,调用受控于主控制单元的肢体控制模块,通过机器人本体移动或转动完成肢体输出。
所述肢体控制模块包括头部控制装置、手部控制装置、躯干控制装置;
头部控制装置:用于控制机器人头部的转动,即控制机器人头部上抬、下低、左摆和右摆达到机器人的上、下、左和右方位视角控制;所述设备端头部控制,可以实现机器人头部的上、下、左或右微调,也可以实现机器人头部的上、下、左或右逐步调整至最大角度,还可以是机器人头部的复位控制;
手部控制装置:用于机器人检测到所述设备端发起的指令为手部控制指令,对机器人本体的左手和右手单独运动控制;
躯干控制装置:用于控制机器人身体的运动和移向;其中包括:所述设备端发起身体方位请求指令,主控制单元解析到请求指令为身体方位指令;主控制单元提取方位信息,调用躯干控制装置控制机器人身体前进、后退、左转或右转,所述的机器人的移动或转向不局限于机器人的前进、后退、左转或右转,还可以是前进的距离、左转/右转的角度、左转/右转到达控制的角度后前进等方位控制方式。
实施例2:在实施例1的基础上,设计了一种基于设备端APP操控智能终端的方法,如图1所示,其特征在于,所述方法包括如下步骤:A、设备端与智能终端建立通信连接;B、设备端向智能终端发送控制信号;C、智能终端接收模块接收控制指令,机器人主控制单元调用行为操控模块,控制机器人运行。
所述智能终端的控制通过所述设备端APP发起,或者通过APP预设程序/网页上的请求模块发起;所述智能终端接收模块,控制机器人运行,包括:接收设备端的请求指令,所述请求指令通过所述设备端APP触发;获取所述请求指令中的运行操作信息;控制所述机器人执行所述获取操作信息中的行为操作。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。

Claims (7)

1.一种基于设备端APP操控智能终端的系统,包括设备端以及智能终端,其特征在于,所述设备端与智能终端之间无线连接,所述智能终端包括主控制单元、通信模块、行为操控模块、摄像模块和信息库模块,主控制单元分别连接通信模块、行为操控模块、摄像模块和信息库模块。
2.根据权利要求1所述的一种基于设备端APP操控智能终端的系统,其特征在于,所述设备端是智能手机、平板电脑、笔记本电脑、PDA、可穿戴设备或台式计算机。
3.根据权利要求2所述的一种基于设备端APP操控智能终端的系统,其特征在于,所述行为操控模块包括语音输出模块、表情输出模块、摄像截取模块和肢体控制模块,所述表情输出模块连接语音输出模块,语音输出模块还连接摄像截取模块,摄像截取模块还连接肢体控制模块。
4.根据权利要求3所述的一种基于设备端APP操控智能终端的系统,其特征在于,所述肢体控制模块包括头部控制装置、躯干控制装置和手部控制装置。
5.根据权利要求3所述的一种基于设备端APP操控智能终端的系统,其特征在于,所述摄像模块是摄像头。
6.根据权利要求1-5任一所述的一种基于设备端APP操控智能终端的系统,其特征在于,所述通信模块采用GPRS、ZigBee、WiFi、NFC或蓝牙传输技术传输信息。
7.一种基于设备端APP操控智能终端的方法,其特征在于,包含以下步骤:
A、设备端与智能终端建立通信连接;
B、设备端向智能终端发送控制信号;
C、智能终端接收模块接收控制指令,机器人主控制单元调用行为操控模块,控制机器人运行。
CN201811395629.5A 2018-11-22 2018-11-22 一种基于设备端app操控智能终端的系统和方法 Pending CN109202914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811395629.5A CN109202914A (zh) 2018-11-22 2018-11-22 一种基于设备端app操控智能终端的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811395629.5A CN109202914A (zh) 2018-11-22 2018-11-22 一种基于设备端app操控智能终端的系统和方法

Publications (1)

Publication Number Publication Date
CN109202914A true CN109202914A (zh) 2019-01-15

Family

ID=64994040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811395629.5A Pending CN109202914A (zh) 2018-11-22 2018-11-22 一种基于设备端app操控智能终端的系统和方法

Country Status (1)

Country Link
CN (1) CN109202914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112338907A (zh) * 2019-08-09 2021-02-09 深圳市三宝创新智能有限公司 一种用于助教机器人的客户端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075269A (ko) * 2007-02-12 2008-08-18 (주)아이티시에스 다양한 춤동작 표현이 가능한 휴머노이드형 로봇
CN102500113A (zh) * 2011-11-11 2012-06-20 山东科技大学 基于智能手机交互的综合型迎宾机器人
CN105345820A (zh) * 2015-12-01 2016-02-24 南通唐人文化传播有限公司 儿童成长智能机器人及其控制方法
CN106737736A (zh) * 2016-12-22 2017-05-31 深圳市智能机器人研究院 一种智能画像机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080075269A (ko) * 2007-02-12 2008-08-18 (주)아이티시에스 다양한 춤동작 표현이 가능한 휴머노이드형 로봇
CN102500113A (zh) * 2011-11-11 2012-06-20 山东科技大学 基于智能手机交互的综合型迎宾机器人
CN105345820A (zh) * 2015-12-01 2016-02-24 南通唐人文化传播有限公司 儿童成长智能机器人及其控制方法
CN106737736A (zh) * 2016-12-22 2017-05-31 深圳市智能机器人研究院 一种智能画像机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112338907A (zh) * 2019-08-09 2021-02-09 深圳市三宝创新智能有限公司 一种用于助教机器人的客户端

Similar Documents

Publication Publication Date Title
CN109361869B (zh) 一种拍摄方法及终端
CN112988102B (zh) 投屏方法和装置
WO2020224449A1 (zh) 一种分屏显示的操作方法及电子设备
CN104777991B (zh) 一种基于手机的远程互动投影系统
WO2021212922A1 (zh) 一种对象拖拽方法及设备
JP7403648B2 (ja) 同期方法及び電子機器
KR20160045269A (ko) 웨어러블 디바이스 및 상기 디바이스와 통신 가능한 이동 단말기
EP3223147A2 (en) Method for accessing virtual desktop and mobile terminal
CN106896920B (zh) 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
CN115437541A (zh) 一种对电子设备的操作方法及电子设备
CN107390874A (zh) 一种基于人眼的智能终端控制方法及控制装置
WO2020063136A1 (zh) 应用程序的启动方法及终端设备
US20220113922A1 (en) Electronic face mask control system
JP2016127379A (ja) 情報処理装置、制御方法、およびプログラム
CN109202914A (zh) 一种基于设备端app操控智能终端的系统和方法
KR200473246Y1 (ko) 안경형 원격 제어 장치
CN104796850A (zh) 移动终端逆向控制系统及方法
KR20160018109A (ko) 푸쉬 투 토크 서비스 제공 방법
CN107864316B (zh) 一种拍摄装置、控制方法、终端和计算机可读存储介质
CN103414867A (zh) 多媒体通话控制方法、终端及系统
CN103596025B (zh) 视频聊天的画面调整方法、装置及相应的视频终端
CN105786169A (zh) 多个电子设备进行协同动作的方法、电子设备
WO2022267640A1 (zh) 视频共享方法、电子设备及存储介质
CN109542218A (zh) 一种移动终端、人机交互系统及方法
CN109712380A (zh) 寻找遥控设备的方法及装置、存储介质、终端设备、遥控设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190115