CN114020225A - 一种讲解机器人双屏交互系统和交互方法 - Google Patents
一种讲解机器人双屏交互系统和交互方法 Download PDFInfo
- Publication number
- CN114020225A CN114020225A CN202111239774.6A CN202111239774A CN114020225A CN 114020225 A CN114020225 A CN 114020225A CN 202111239774 A CN202111239774 A CN 202111239774A CN 114020225 A CN114020225 A CN 114020225A
- Authority
- CN
- China
- Prior art keywords
- explanation
- service
- screen
- robot
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000002452 interceptive effect Effects 0.000 claims abstract description 40
- 230000006870 function Effects 0.000 claims abstract description 6
- 238000004806 packaging method and process Methods 0.000 claims abstract description 4
- 238000004891 communication Methods 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 4
- 230000008140 language development Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种讲解机器人双屏交互系统和交互方法，属于人工智能领域。该方案主要将提供一种讲解机器人双屏交互软件系统，系统分为前台交互界面，后台Restful服务，决策执行服务，语音交互服务以及Mqtt中间组件。前提是在室内服务讲解机器人上有两个屏幕，上屏是用户点击操作的交互屏幕，下屏是展示广告以及讲解点信息内容的屏幕。前端操作软件基于Vue开发完成，利用Electron打包生成可执行文件上传到机器人，Electron将前端页面分屏显示，前端操作软件通过调用后台Restful服务，决策执行服务以及语音交互服务提供主要的讲解功能。
Description
技术领域
本发明涉及一种讲解机器人双屏交互系统和交互方法，属于人工智能技术领域。
背景技术
参观游览时如果有讲解员进行深入讲解，会对了解主题有很大帮助，现有技术中一般是陪伴跟随的讲解员或者在展区固定设置用于讲解的多媒体系统，这两种方式一个需要培养讲解人员，耗费大量人力、物力及时间，一个需要根据展区数量设置相应的多媒体系统，导致基建和运维成本大，难以大面积推广。 随着机器人和人工智能的发展，智能机器人越来越多的应用到各种服务行业，作为服务机器人的一种讲解机器人的出现，可以节约人力成本。当前讲解机器人单屏操作，很容易将信息进行覆盖，导致交互不便捷，用户体验差，急需一种交互方便的双屏讲解机器人。
发明内容
本发明目的是提供了一种讲解机器人双屏交互系统和交互方法，更好的给用户提供高质量的体验效果，为用户和使用者提供了更便利的方式。
本发明为实现上述目的，通过以下技术方案实现：
一种讲解机器人双屏交互系统，包括：上屏和下屏，前台交互界面，后台Restful服务，决策执行服务，语音交互服务，Mqtt中间组件；
前台交互界面：Vue开发，依赖Electron打包生成Ubuntu可执行应用程序，用于讲解机器人人机交互，用户可以通过触控或者语音下发的方式进行讲解任务下发；
后台Restful服务：为前台交互界面提供接口支持，Golang语言开发；
决策执行服务：用户具体下发某个执行任务时，前后调用后台Restful服务，然后后台Restful调用决策执行服务，控制整个任务的执行过程，并通过彼此互相通信的方式进行整个讲解过程；
语音交互服务：采集用户与机器人语音交互的语句，并通过语义理解后得到答案，一起将语句和答案返回到前端交互界面；
Mqtt中间组件：各单元模块之间通信的载体。
优选的，所述讲解机器人双屏交互软件系统操作有选择上屏触控和语音下发命令两种方式。
优选的，所述讲解机器人双屏交互软件系统是通过双屏完成操作的，上屏是所有功能菜单的入口，首页有讲解，引领的菜单页面，点击后进入功能的页面，然后选择具体的点位进行操作，下发命令后上屏显示点位的名称，讲解或引领结束后返回主页；
下屏是展示信息的页面，展示宣传广告图片，轮播展示广告，滚动展示需要讲解的内容和图片。
优选的，讲解机器人双屏交互软件系统各模块间的交互是通过Http或者Mqtt主题订阅发布实现；前端页面与后台Restful服务交互是通过Http的GET和POST请求调用；前端页面与决策执行模块交互是通过Mqtt通信；前端页面与语音交互服务通信是通过Mqtt；后台Restful服务与决策模块交互是通过Http方式调用。
一种讲解机器人双屏交互方法，包括以下步骤：
步骤一：用户通过屏幕触控或语音唤醒方式发布讲解任务；
步骤二：前台交互界面获取到需要讲解的信息，调用后台Restful服务的Http接口，传输讲解的信息；
步骤三：后台Restful服务拿到前台的信息，数据库获取讲解信息，组装成讲解任务请求，然后调用决策执行服务的Http接口，发送讲解任务请求；
步骤四：决策执行服务获取到讲解任务请求，先是调用ROSBridge相关接口控制机器人导航至讲解点位，导航结束后，决策执行服务获取导航结束的信息；
步骤五：决策执行服务将导航结束的消息发送至Mqtt主题，前台交互界面订阅Mqtt主题获取导航命令结束，关闭导航界面；
步骤六：前台交互界面讲解具体的讲解展位点信息，下屏滚动展示具体的讲解内容，讲解结束后，前台获取到讲解结束的信息；
步骤七：前台交互界面将讲解结束的消息发送至Mqtt主题，决策执行服务通过订阅Mqtt主题获取到信息，控制机器人继续执行任务，前往下一个点位或者返回出发点。
本发明的优点在于：从软件设计层面上，分为了四个模块与一个组件，做到了更优的架构设计，从编码上看这是更高效的。从页面上看分两个屏幕处理页面展示，更好的给用户提供高质量的体验效果。可以选择语音交互的方式进行讲解控制，为用户和使用者提供了更便利的方式。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明各个组成模块和中间组件的关系调用图示例。
图2为本发明业务功能的流程图示例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种讲解机器人双屏交互软件系统包括：1）前台交互界面2）后台Restful服务3）决策执行服务4）语音交互服务5）Mqtt中间组件。其中：
前台交互界面：用于讲解机器人人机交互，用户可以通过触控或者语音下发的方式进行讲解任务下发。Vue开发，依赖Electron打包生成Ubuntu可执行应用程序。双屏操作界面通过Electron分屏方法进行分屏展示界面。
后台Restful服务：为前台交互界面提供接口支持，Golang语言开发。
决策执行服务：用户具体下发某个执行任务时，前后调用后台Restful服务，然后后台Restful调用决策执行服务，控制整个任务的执行过程，并通过彼此互相通信的方式进行整个讲解过程。
语音交互服务：采集用户与机器人语音交互的语句，并通过语义理解后得到答案，一起将语句和答案返回到前端交互界面。
Mqtt中间组件：各单元模块之间通信的载体。
各模块之间的具体调用方式：
页面上的数据展示是前台交互界面通过Http调用后台Restful服务后返回展示的，具体的有讲解点内容，热门的讲解点，推荐的热门引领点信息等。
在讲解任务下发时，前台交互界面调用后台Restful服务Http接口，后台服务生成任务请求，然后通过Http请求发送至决策执行服务。决策执行服务调用RosBridge的具体接口，控制机器人执行。具体执行内容决策执行服务发布至Mqtt，前台交互界面通过订阅Mqtt获取任务执行具体内容，当获知需要讲解时，具体执行操作。
语音交互服务与前台交互界面之间通过Mqtt主题订阅发布通信。语音获取到的语音对话内容，前台交互界面通过Mqtt主题获取内容，做页面展示。
为了更好的理解各个模块之间的通信，可以参照附图中的图1。
具体工作步骤如下，也可参考图2所示：
步骤一：用户通过两种方式下发讲解任务，第一种上屏触控进入讲解页面选择要讲解的展位点名称；第二种语音唤醒机器人“小A小A”，“带我去XXX展位”。
步骤二：前台交互界面获取到需要讲解的信息，调用后台Restful服务的Http接口，传输讲解的信息。
步骤三：后台Restful服务拿到前台的信息，数据库获取讲解信息，组装成讲解任务请求，然后调用决策执行服务的Http接口，发送讲解任务请求。
步骤四：决策执行服务获取到讲解任务请求，先是调用ROSBridge相关接口控制机器人导航至讲解点位，导航结束后，决策执行服务获取导航结束的信息。
步骤五：决策执行服务将导航结束的消息发送至Mqtt主题。前台交互界面订阅Mqtt主题获取导航命令结束，关闭导航界面。
步骤六：前台交互界面讲解具体的讲解展位点信息。下屏滚动展示具体的讲解内容。讲解结束后，前台获取到讲解结束的信息。
步骤七：前台交互界面将讲解结束的消息发送至Mqtt主题。决策执行服务通过订阅Mqtt主题获取到信息。控制机器人继续执行任务，前往下一个点位或者返回出发点。
Claims (5)
1.一种讲解机器人双屏交互系统，其特征在于，包括：上屏和下屏，前台交互界面，后台Restful服务，决策执行服务，语音交互服务，Mqtt中间组件；
前台交互界面：Vue开发，依赖Electron打包生成Ubuntu可执行应用程序，用于讲解机器人人机交互，用户可以通过触控或者语音下发的方式进行讲解任务下发；
后台Restful服务：为前台交互界面提供接口支持，Golang语言开发；
决策执行服务：用户具体下发某个执行任务时，前后调用后台Restful服务，然后后台Restful调用决策执行服务，控制整个任务的执行过程，并通过彼此互相通信的方式进行整个讲解过程；
语音交互服务：采集用户与机器人语音交互的语句，并通过语义理解后得到答案，一起将语句和答案返回到前端交互界面；
Mqtt中间组件：各单元模块之间通信的载体。
2.根据权利要求1所述的讲解机器人双屏交互系统，其特征在于，所述讲解机器人双屏交互软件系统操作有选择上屏触控和语音下发命令两种方式。
3.根据权利要求1所述的讲解机器人双屏交互系统，其特征在于，所述讲解机器人双屏交互软件系统是通过双屏完成操作的，上屏是所有功能菜单的入口，首页有讲解，引领的菜单页面，点击后进入功能的页面，然后选择具体的点位进行操作，下发命令后上屏显示点位的名称，讲解或引领结束后返回主页；
下屏是展示信息的页面，展示宣传广告图片，轮播展示广告，滚动展示需要讲解的内容和图片。
4.根据权利要求1所述的讲解机器人双屏交互系统，其特征在于，讲解机器人双屏交互软件系统各模块间的交互是通过Http或者Mqtt主题订阅发布实现；前端页面与后台Restful服务交互是通过Http的GET和POST请求调用；前端页面与决策执行模块交互是通过Mqtt通信；前端页面与语音交互服务通信是通过Mqtt；后台Restful服务与决策模块交互是通过Http方式调用。
5.一种使用权利要求1-4任一所述的讲解机器人双屏交互方法，其特征在于，包括以下步骤：
步骤一：用户通过屏幕触控或语音唤醒方式发布讲解任务；
步骤二：前台交互界面获取到需要讲解的信息，调用后台Restful服务的Http接口，传输讲解的信息；
步骤三：后台Restful服务拿到前台的信息，数据库获取讲解信息，组装成讲解任务请求，然后调用决策执行服务的Http接口，发送讲解任务请求；
步骤四：决策执行服务获取到讲解任务请求，先是调用ROSBridge相关接口控制机器人导航至讲解点位，导航结束后，决策执行服务获取导航结束的信息；
步骤五：决策执行服务将导航结束的消息发送至Mqtt主题，前台交互界面订阅Mqtt主题获取导航命令结束，关闭导航界面；
步骤六：前台交互界面讲解具体的讲解展位点信息，下屏滚动展示具体的讲解内容，讲解结束后，前台获取到讲解结束的信息；
步骤七：前台交互界面将讲解结束的消息发送至Mqtt主题，决策执行服务通过订阅Mqtt主题获取到信息，控制机器人继续执行任务，前往下一个点位或者返回出发点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239774.6A CN114020225A (zh) | 2021-12-30 | 2021-12-30 | 一种讲解机器人双屏交互系统和交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111239774.6A CN114020225A (zh) | 2021-12-30 | 2021-12-30 | 一种讲解机器人双屏交互系统和交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114020225A true CN114020225A (zh) | 2022-02-08 |
Family
ID=80057478
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111239774.6A Pending CN114020225A (zh) | 2021-12-30 | 2021-12-30 | 一种讲解机器人双屏交互系统和交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020225A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109101018A (zh) * | 2018-07-30 | 2018-12-28 | 浙江工业大学 | 面向Windows环境的服务机器人运行控制系统 |
| CN109801703A (zh) * | 2017-11-16 | 2019-05-24 | 兆银资讯系统股份有限公司 | 医疗前端互动对话智能服务装置 |
| CN109940638A (zh) * | 2019-04-26 | 2019-06-28 | 北京猎户星空科技有限公司 | 机器人、机器人控制方法、装置、存储介质和控制器 |
| CN113488040A (zh) * | 2021-06-28 | 2021-10-08 | 山东新一代信息产业技术研究院有限公司 | 一种博物馆机器人的功能实现方法、设备及介质 |
-
2021
- 2021-12-30 CN CN202111239774.6A patent/CN114020225A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801703A (zh) * | 2017-11-16 | 2019-05-24 | 兆银资讯系统股份有限公司 | 医疗前端互动对话智能服务装置 |
| CN109101018A (zh) * | 2018-07-30 | 2018-12-28 | 浙江工业大学 | 面向Windows环境的服务机器人运行控制系统 |
| CN109940638A (zh) * | 2019-04-26 | 2019-06-28 | 北京猎户星空科技有限公司 | 机器人、机器人控制方法、装置、存储介质和控制器 |
| CN113488040A (zh) * | 2021-06-28 | 2021-10-08 | 山东新一代信息产业技术研究院有限公司 | 一种博物馆机器人的功能实现方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7561899B2 (en) | Method and apparatus for controlling and applying resource of idle screen on mobile | |
| CN102830964B (zh) | 一种显示多任务界面的方法及装置 | |
| CN102830972A (zh) | 互联网浏览器的多网页浏览装置 | |
| CN113253880B (zh) | 互动场景的页面的处理方法、装置及存储介质 | |
| CN102932694B (zh) | 智能网络电视界面显示方法和装置 | |
| CN103412957A (zh) | 一种基于时间轴的数据显示方法和装置 | |
| CN112422405B (zh) | 消息互动方法、装置及电子设备 | |
| CN103648043B (zh) | 对智能电视的搜索控制方法和控制装置 | |
| CN117939229A (zh) | 基于媒体信息流的内容展示方法、装置、设备及存储介质 | |
| CN105760156A (zh) | 一种基于Android系统的主菜单导航方法 | |
| CN103561347A (zh) | 一种基于浏览器的快捷菜单生成方法和装置 | |
| CN114679621A (zh) | 一种视频展示方法、装置及终端设备 | |
| CN102023805B (zh) | 一种软件界面文本信息的辅助浏览方法 | |
| Wessner et al. | L3-An infrastructure for collaborative learnflow | |
| TWI505701B (zh) | A system and method for IPTV interactive channel service | |
| CN114020225A (zh) | 一种讲解机器人双屏交互系统和交互方法 | |
| CN107306360A (zh) | 一种交互式网络电视业务的访问方法及装置 | |
| CN103092615A (zh) | 一种任务预览的方法和装置 | |
| CN109657023B (zh) | 景区动态电子地图绘制方法、服务器及系统 | |
| CN106407025A (zh) | 一种数据调用系统、方法及装置 | |
| CN104915208A (zh) | 应用程序头图显示控制方法和装置 | |
| CN115391398A (zh) | 信息搜索方法、装置、电子设备及可读存储介质 | |
| US20230082668A1 (en) | Methods for storing, accessing and rendering multimedia file and its metadata | |
| Barreto et al. | Providing multimodal and multi-user interactions for digital tv applications | |
| CN102662589A (zh) | 一种智能手机菜单操作改进方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220208 |