CN112379821A - 一种服务型机器人的交互系统 - Google Patents
一种服务型机器人的交互系统 Download PDFInfo
- Publication number
- CN112379821A CN112379821A CN202011330621.8A CN202011330621A CN112379821A CN 112379821 A CN112379821 A CN 112379821A CN 202011330621 A CN202011330621 A CN 202011330621A CN 112379821 A CN112379821 A CN 112379821A
- Authority
- CN
- China
- Prior art keywords
- robot
- information
- module
- user
- joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 23
- 230000003993 interaction Effects 0.000 claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000009471 action Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 21
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000001276 controlling effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种服务型机器人的交互系统，涉及交互系统领域，解决了现有交互系统难以供用户了解到处理过程，难以做到提高用户的体验及起到教育的功能，其技术方案要点是包括有机器人，还包括有设置于机器人上用于触控操作机器人的触控显示屏、用于拍摄获取机器人视野范围内图像的摄像头、用于无线控制机器人的终端设备；触控显示屏上设置有供用户进行操作及查看的显示界面，显示界面上设置有若干子模块，且每个子模块均链接有对该子模块所属的信息在触控显示屏上进行展示以供用户操作及查看的二级界面，本发明的一种服务型机器人的交互系统，能够实现用户与机器人良好的交互，可视化的处理过程提高用户交互过程的体验及了解。
Description
技术领域
本发明涉及交互系统，特别涉及一种服务型机器人的交互系统。
背景技术
人机交互是一门研究系统与用户之间的交互关系的学问，其对象系统可以是各种各样的机器，也可以是计算机化的系统和软件。交互界面通常是指用户可见的部分，用户通过交互界面与系统交流，并进行操作。
人机交互界面作为人与服务型机器人最基本的交互方式，在服务型机器人的研究与控制领域当中扮演着引导者的角色，所以作为机器人大脑数据发送终端，一个直观、方便又功能齐全的人机交互界面是尤为重要的。
但是现有的服务型机器人的人机交互，存在各种各样的缺陷，在与机器人进行交互的时候，往往只重视使用功能，忽视了交互性、教育等功能，用户只能便捷的了解到交互的结果，而难以接触到交互数据处理的过程，难以做到提高用户的体验及起到教育的功能。
发明内容
本发明的目的是提供一种服务型机器人的交互系统，能够实现用户与机器人良好的交互，可视化的处理过程提高用户交互过程的体验及了解。
本发明的上述技术目的是通过以下技术方案得以实现的：
一种服务型机器人的交互系统，包括有机器人，还包括有设置于机器人上用于触控操作机器人的触控显示屏、用于拍摄获取机器人视野范围内图像的摄像头、用于无线控制所述机器人的终端设备；
所述触控显示屏上设置有供用户进行操作及查看的显示界面，所述显示界面上设置有若干子模块，且每个子模块均链接有对该子模块所属的信息在触控显示屏上进行展示以供用户操作及查看的二级界面。
作为优选，所述子模块包括有
语音交互模块，供用户操作并与机器人进行语音交互；
技能动作模块，供用户选取并控制机器人完成设定技能及动作；
视觉信息模块，用于获取并显示机器人视觉范围内图像信息；
关节控制模块，设置有供用户查看并调整的机器人的关节信息；
运动控制模块，供用户操作以控制机器人进行移动。
作为优选，所述视觉信息模块包括有通过摄像头拍摄获取的图像、对图像进行检测分析并输出的检测信息，所述图像及检测信息显示于所述视觉信息模块的二级界面；所述终端设备无线通信以同步显示视觉信息模块的图像及检测信息。
作为优选，所述语音交互模块的二级界面显示有用户与机器人语音交互的语音识别信息、对语音识别信息进行分析的分析信息；所述语音交互模块的二级界面还设置有供用户对交互进行控制选择的交互按钮组；
所述视觉信息模块的检测信息包括有对检测到的人物进行分析后输出的人物基本信息及情绪感知信息；所述语音交互模块的二级界面还显示有根据视觉信息模块检测获取到的用户的情绪感知信息。
作为优选，所述关节控制模块包括有机器人各关节角度的关节信息及供用户对机器人各关节角度进行调整的关节调整单元；所述关节控制模块的二级界面显示有关节信息及关节调整单元。
作为优选，所述关节控制模块还包括有机器人各关节的温度信息，所述关节控制模块的二级界面还显示有所述温度信息。
作为优选，所述运动控制模块的二级界面显示有供操作者控制机器人移动及转向的运动按钮组。
作为优选，所述技能动作模块的二级界面显示有机器人可完成的技能/动作图标，还显示与技能/动作图标对应以供用户进行选定控制机器人操作的选定按钮组。
综上所述，本发明具有以下有益效果：
机器人的触控显示屏上的显示界面，显示各个供用户操作及查看的子模块，用户通过触控显示屏上的各子模块实现与机器人的交互及控制，而二级界面的设置能够将对应的信息进行显示，直观的供用户查看，实现数据的可视化，且终端设备的设置，配合于触控显示屏，能够实现远程的控制，方便交互方式选择的多样性。
附图说明
图1为触控显示屏上显示界面的框图；
图2为本系统模式构架框图；
图3为本系统操作流程框图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
根据一个或多个实施例，本发明公开的一种服务型机器人的交互系统，如图1所示，包括有机器人，机器人上设置有触控显示屏，触控显示屏固定安装在机器人的胸前，方便直观的将信息进行展示及实现与用户的交互。机器人上还设置有用于获取视觉信息的摄像头，通过摄像头获取图像模拟机器人视觉，并且可通过触控显示屏进行显示，方便对机器人获取的图像进行查看及分析。还包括有无线控制机器人的终端设备。
如图1所示，触控显示屏上设置有供用户进行操作及查看的显示界面，显示界面上设置有若干子模块，子模块包括有语音交互模块、技能动作模块、视觉信息模块、关节控制模块、运动控制模块。每个模块对应于用户与机器人进行交互的具体功能。
各个子模块在显示界面进行显示，且每个子模块均链接有二级界面，所对应的二级界面将各个子模块所属的信息在触控显示屏上进行显示，以供用户进行操作及查看。
视觉信息模块根据机器人的摄像头获取的图像，将视觉信息模块的信息在显示界面视觉信息模块的二级界面进行展示。视觉信息模块将实时拍摄获取的图像展示于触控显示屏上，并且对获取的图像进行分析输出检测信息；当检测到的图像中为人物面部时，则对人物面部信息进行分析，在二级界面上框选人物面部，形成检测框，并对检测框内人物属性进行检测，在二级界面上则对应的显示检测到的人物属性，包括有人物性别、年龄等信息；同时对于检测到的人物面部进行情绪感知检测，输出人物的情绪感知信息。且无线通信的终端设备，可同步显示视觉信息模块获取的图像及检测结果。
终端设备可为手机、电脑等，通过无线通信连接实现对机器人的控制及信号的收发传送。
视觉信息模块的二级界面上，可完成修改分辨、翻转图片、拍摄快照等操作，设置有分辨率按钮，点击分辨率按钮可选择并修改机器人摄像头的分辨率；设置有翻转按钮，点击翻转按钮可将显示的图像左右翻转进行显示；设置有快照按钮，点击快照按钮可暂停图像的实时刷新，将显示的图像定个在按下快照按钮的当前一帧。
语音交互模块用于供用户与机器人进行语音交互，且在语音交互的二级界面上设置有用户与机器人语音交互的语音识别信息，以及对语音识别信息进行分析的分析信息。语音交互模块将用户的语音信息进行识别后显示在触控显示屏上，且机器人进行智能回复后语音信息也一同显示在触控显示的语音交互模块的二级界面上。分析信息包括有显示在二级界面上供用户查看并对选取的语句进行语义分析的结果。分析信息由句法分析，中文分词，语义关键词等部分组成，其中句法分析隐藏，当用户点击对应的词语时，句法分析信息在词语上方浮现。通过触控显示屏的二级界面将识别的语音信息进行显示，供用户查看，且对识别到的语句进行分析，方便用户与机器人的互动，观察到交互过程中的数据处理，提高体验感。
语音交互模块的二级界面还根据视觉信息模块获取的人物的情绪感知信息，显示有进行语音交互的用户的情绪感知信息。在语音交互模块的二级界面上还显示有供用户进行控制选择的交互按钮组，通过交互按钮组实现语音交互的控制。交互按钮组包括有供用户手动控制麦克风录音开始及终止的录音按钮，在用户与机器人进行语音交互的过程中，可通过点击录音按钮进行录音的控制。交互按钮组还包括有供用户进行选择是否执行相关动作的选项按钮，当用户的语音指令触发机器人的内置命令时，二级界面对应关联显示选项按钮的确认按钮及取消按钮，以让用户进一步确认是否执行该操作。在语音交互模块的二级界面上，设置有提示栏，提示栏设置于二级界面的底部，以设定的5s周期循环显示用于使用语音功能所需的注意事项。
语音交互模块将机器人对自然语言的处理过程进行可视化，包括语音识别结果、情感倾向分析、句法分析、关键词提取，让用户了解机器人是如何听懂、分析、理解人类语言的。
技能动作模块的二级界面在触控显示屏上显示有机器人可完成的技能及动作的图标，图标与机器人所能完成的技能及/动作相同，且对应的显示有供用户选择，以控制机器人完成对应的技能/动作的选定按钮组，选定按钮组优选分别与技能/动作对应的图标对应，即图标即为该技能/动作的选定按钮。各图标在二级界面上横向排列，且以设定的周期进行滚动显示，周期优选设置为3s。
技能动作模块将机器人内部控制机器人动作的各种接口可视化为按钮，用户可以便捷地让机器人做出各种动作。
运动控制模块的二级界面显示有供用户控制进行移动及转向的运动按钮组，运动按钮组由方向控制按钮、角度控制按钮及左右翻转按钮组成；方向控制按钮分为向前、后、左、右移动，用于供用户控制机器人进行方向上的移动；角度控制按钮包括左转和右转及进行调整转动的角度，用于供用户对机器人进行自由设置移动角度上的调整；在关节控制界面上，考虑到用户操作场景、习惯的不同，通过点击左右翻转按钮，对左右移动、和转动进行颠倒。例如显示器在机身正面的机器人，用户按下“左移”按钮时机器人实际应该向右移动，翻转按钮可以解决这个问题。
关节控制模块包括有机器人的各关节的关节信息及供用户对人的各关节角度进行调整的关节调整单元。关节控制模块的二级界面上显示有关节信息及关节调整单元，关节信息包括有机器人各关节的角度信息及各关节的温度信息，根据显示的各关节的角度信息，用户可直观的查看机器人的各关节角度情况，了解关节在机器人本体上的对应位置，并且通过关节调整单元的实时调整，可直观的查看到调整过程，了解到机器人的关节姿态，同时也可以记录机器人处于该姿态下的数据。显示的温度信息能够供用户时刻监测机器人关节是否过热等信息，在机器人出现异常时可据此排查故障。在关节控制模块的二级界面上还设置有消除对应关节刚度的刚度按钮，通过控制使得各关节不受到电机力的驱动，而再次点击后则可恢复刚度，让各关节重新受到电机的控制。能根据机器人的当前状态实时更新机器人的关节角度、刚度、温度，集成了关节监测和控制两大功能。
本系统的后端采用基于Python语言的tornado作为服务器架构。Tornado全称Tornado Web Server。Tornado是异步网络框架，它采用非阻塞IO，支持并发访问，所以非常适合于长轮询，以及其他需要持久连接的应用场景。在本系统中，考虑到在本系统中可以在服务型机器人端和电脑端同时访问服务器，选用tornado作为上位机框架。
在本系统中，服务器框架的作用是用户界面与服务型机器人系统之间的中介。前端界面发送来的指令，经过服务器框架解析后，发送给机器人，完成相应动作；机器人系统将任务执行结果、机器人状态等信息被服务器框架编码，发送给前端并在界面上显示出来。
通过五个子模块，语音交互模块、技能动作模块、视觉信息模块、关节控制模块、运动控制模块依据不同的功能和技术，对机器人的众多基本功能进行了模块化封装并可视化，各模块在功能、交互、教育等方面各有侧重。后端使用的tornado是一种Web框架，用户不仅可以在机器人的显示界面供用户操作，操作者还可以在电脑和手机等多终端访问界面并操作机器人，通过设置的终端设备进行操控。
本系统采用MVC模式设计，MVC是软件工程中的一种软件架构模式，把软件系统分为三个基本部分：模型(Model)、视图(View)和控制器(Controller)。MVC模式的目的是实现一种动态的程序设计，使后续对程序的修改和扩展简化，并且使程序某一部分的重复利用成为可能。除此之外，此模式透过对复杂度的简化，使程序结构更加直观。软件系统透过对自身基本部分分离的同时也赋予了各个基本部分应有的功能。MVC模式的系统架构如图2所示。
本系统的视图，负责将机器人的各种功能，用图形化界面展示出来。本系统图形化界面的编写主要使用了HTML、JavaScript和Tornado模板语言。HTML是一种用于创建网页的标准标记语言。HTML是一种基础技术，常与CSS、JavaScript一起被众多网站用于设计网页、网页应用程序以及移动应用程序的用户界面。网页浏览器可以读取HTML文件，并将其渲染成可视化网页；JavaScript是一种高级的、解释型的、基于原型、函数先行的语言，是一门多范式的语言，它支持面向对象编程，命令式编程，以及函数式编程。
同时由于本系统需要实时在页面上显示交互信息、摄像头图像、关节角度值与温度等信息，因此还使用了AJAX技术。AJAX应用可以仅向服务器发送并取回必须的数据，例如获取当前交互的文本信息，读取关节传感器信息等，后端也可以在机器人内部触发的事件反馈给视图模块，可以实现在不刷新整个页面的情况下动态更新页面某个区域的内容。
本系统的控制器，负责转发请求。如图3所示，到不同层面间的组织作用，用于控制应用程序的流程。它处理事件并作出响应。“事件”包括用户的行为和数据Model上的改变。视图模块通过HTTP请求的形式向本系统后端发送数据，其中GET请求用于进入某个界面时获取图形化界面，POST请求用于按下某个按钮时发送请求。控制器在接收到HTTP请求后，根据请求路径将该请求转发到相应的功能模块，对应的路由映射见下表：
| 请求路径 | 功能模块 |
| /home | 主页面 |
| /talk | 语音交互 |
| /vision | 视觉信息 |
| /skill | 技能动作 |
| /motion | 运动控制 |
| /joint | 关节信息 |
本系统的模型，用于封装与应用程序的业务逻辑相关的数据以及对数据的处理方法。
本系统的后端模型，有对机器人直接操作和访问数据的权力，例如对数据库的访问、读取机器人传感器数值、控制机器人关节姿态、让机器人说话等操作。
显示界面，主要功能是返回相应界面；
语音交互模块，主要功能包括：麦克风的开启与关闭，对语音进行识别，对文本进行语义分析，对文本进行语音合成，命令触发功能。
视觉信息模块，主要功能包括：摄像头数据读取，人脸检测，人物属性识别等功能。
技能动作模块，主要功能是让机器人做出各种动作。
运动控制模块，主要功能是机器人运动控制接口的调用。
关节信息模块，主要功能是各关节角度传感器和温度传感器的数据读取。
结合本文所揭示实施例描述的各种例示性逻辑块模块均可借助通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文所描述功能的任何组合来实施或执行。通用处理器可以是微处理器，但另一选择为，所述处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合或任何其它这种配置。
在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
Claims (8)
1.一种服务型机器人的交互系统，包括有机器人，其特征是：还包括有设置于机器人上用于触控操作机器人的触控显示屏、用于拍摄获取机器人视野范围内图像的摄像头、用于无线控制所述机器人的终端设备；
所述触控显示屏上设置有供用户进行操作及查看的显示界面，所述显示界面上设置有若干子模块，且每个子模块均链接有对该子模块所属的信息在触控显示屏上进行展示以供用户操作及查看的二级界面。
2.根据权利要求1所述的服务型机器人的交互系统，其特征是：所述子模块包括有
语音交互模块，供用户操作并与机器人进行语音交互；
技能动作模块，供用户选取并控制机器人完成设定技能及动作；
视觉信息模块，用于获取并显示机器人视觉范围内图像信息；
关节控制模块，设置有供用户查看并调整的机器人的关节信息；
运动控制模块，供用户操作以控制机器人进行移动。
3.根据权利要求2所述的服务型机器人的交互系统，其特征是：所述视觉信息模块包括有通过摄像头拍摄获取的图像、对图像进行检测分析并输出的检测信息，所述图像及检测信息显示于所述视觉信息模块的二级界面；所述终端设备无线通信以同步显示视觉信息模块的图像及检测信息。
4.根据权利要求3所述的服务型机器人的交互系统，其特征是：所述语音交互模块的二级界面显示有用户与机器人语音交互的语音识别信息、对语音识别信息进行分析的分析信息；所述语音交互模块的二级界面还设置有供用户对交互进行控制选择的交互按钮组；
所述视觉信息模块的检测信息包括有对检测到的人物进行分析后输出的人物基本信息及情绪感知信息；所述语音交互模块的二级界面还显示有根据视觉信息模块检测获取到的用户的情绪感知信息。
5.根据权利要求2所述的服务型机器人的交互系统，其特征是：所述关节控制模块包括有机器人各关节角度的关节信息及供用户对机器人各关节角度进行调整的关节调整单元；所述关节控制模块的二级界面显示有关节信息及关节调整单元。
6.根据权利要求5所述的服务型机器人的交互系统，其特征是：所述关节控制模块还包括有机器人各关节的温度信息，所述关节控制模块的二级界面还显示有所述温度信息。
7.根据权利要求2所述的服务型机器人的交互系统，其特征是：所述运动控制模块的二级界面显示有供操作者控制机器人移动及转向的运动按钮组。
8.根据权利要求2所述的服务型机器人的交互系统，其特征是：所述技能动作模块的二级界面显示有机器人可完成的技能/动作图标，还显示与技能/动作图标对应以供用户进行选定控制机器人操作的选定按钮组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011330621.8A CN112379821A (zh) | 2020-11-24 | 2020-11-24 | 一种服务型机器人的交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011330621.8A CN112379821A (zh) | 2020-11-24 | 2020-11-24 | 一种服务型机器人的交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112379821A true CN112379821A (zh) | 2021-02-19 |
Family
ID=74588311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011330621.8A Pending CN112379821A (zh) | 2020-11-24 | 2020-11-24 | 一种服务型机器人的交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112379821A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631221A (zh) * | 2013-11-20 | 2014-03-12 | 华南理工大学广州学院 | 一种遥操作服务机器人系统 |
| CN108297098A (zh) * | 2018-01-23 | 2018-07-20 | 上海大学 | 人工智能驱动的机器人控制系统及方法 |
| CN108818569A (zh) * | 2018-07-30 | 2018-11-16 | 浙江工业大学 | 面向公共服务场景的智能机器人系统 |
| US20190240842A1 (en) * | 2018-02-08 | 2019-08-08 | Yonglin Biotech Corp. | Robot assisted interaction system and method thereof |
| CN111191765A (zh) * | 2019-12-31 | 2020-05-22 | 华为技术有限公司 | 一种情绪信息的处理方法及装置 |
| CN111185916A (zh) * | 2020-01-20 | 2020-05-22 | 安徽明思科技有限公司 | 一种早教机器人语音互动教育系统 |
-
2020
- 2020-11-24 CN CN202011330621.8A patent/CN112379821A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103631221A (zh) * | 2013-11-20 | 2014-03-12 | 华南理工大学广州学院 | 一种遥操作服务机器人系统 |
| CN108297098A (zh) * | 2018-01-23 | 2018-07-20 | 上海大学 | 人工智能驱动的机器人控制系统及方法 |
| US20190240842A1 (en) * | 2018-02-08 | 2019-08-08 | Yonglin Biotech Corp. | Robot assisted interaction system and method thereof |
| CN108818569A (zh) * | 2018-07-30 | 2018-11-16 | 浙江工业大学 | 面向公共服务场景的智能机器人系统 |
| CN111191765A (zh) * | 2019-12-31 | 2020-05-22 | 华为技术有限公司 | 一种情绪信息的处理方法及装置 |
| CN111185916A (zh) * | 2020-01-20 | 2020-05-22 | 安徽明思科技有限公司 | 一种早教机器人语音互动教育系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112162628A (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| CN110928418A (zh) | 一种基于mr的航空线缆辅助装配方法及系统 | |
| JP7381581B2 (ja) | マシン相互作用 | |
| CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
| JP2002238856A (ja) | 眼球追跡データを分析するシステムおよび方法 | |
| Kumar et al. | Chromium based framework to include gaze interaction in web browser | |
| CN111862280A (zh) | 虚拟角色控制方法、系统、介质及电子设备 | |
| US10838585B1 (en) | Interactive content element presentation | |
| US10565243B2 (en) | Application-independent transformation and progressive rendering of queries for constrained user input devices and data model enabling same | |
| Zyrianov et al. | Automated recording and semantics-aware replaying of high-speed eye tracking and interaction data to support cognitive studies of software engineering tasks | |
| DE112020000573T5 (de) | Anzeigen von darstellungen von umgebungen | |
| CN113822187A (zh) | 手语翻译、客服、通信方法、设备和可读介质 | |
| US10244342B1 (en) | Spatially representing graphical interface elements as binaural audio content | |
| CN112379821A (zh) | 一种服务型机器人的交互系统 | |
| CN113253838A (zh) | 基于ar的视频教学方法、电子设备 | |
| Stockman et al. | The influence of screen-readers on web cognition | |
| Kooijmans et al. | Interaction debugging: an integral approach to analyze human-robot interaction | |
| CN107291571B (zh) | Vr一体机的调试方法及装置 | |
| JP2018181294A (ja) | カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム | |
| JP6938562B2 (ja) | オンライン販売システム、オンライン販売方法、コンピュータプログラム | |
| CN113822186B (zh) | 手语翻译、客服、通信方法、设备和可读介质 | |
| US20240086049A1 (en) | Intelligent drawing method and system for human machine interaction hmi design prototype | |
| CN116909465B (zh) | 一种智能触摸一体机的交互系统及方法 | |
| Jeanne et al. | Empirical Evaluation of Metaverse Accessibility for People Who Use Alternative Input/Output Methods | |
| US20240232510A1 (en) | Methods for recognizing and interpreting graphic elements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210219 |