CN110825233A - 一种基于ar引导的人机交互系统 - Google Patents
一种基于ar引导的人机交互系统 Download PDFInfo
- Publication number
- CN110825233A CN110825233A CN201911093509.4A CN201911093509A CN110825233A CN 110825233 A CN110825233 A CN 110825233A CN 201911093509 A CN201911093509 A CN 201911093509A CN 110825233 A CN110825233 A CN 110825233A
- Authority
- CN
- China
- Prior art keywords
- assembly
- worker
- voice
- guidance
- animation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Electrically Operated Instructional Devices (AREA)
- General Factory Administration (AREA)
Abstract
本发明公开了一种基于AR引导的人机交互系统，该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导。在实际的装配过程中，显示当前工序的装配动画以及注意事项，同时AR眼镜上的摄像头会对整个装配过程进行实施录像，后台也可以实时以第一人称视角观察当前工人的装配情况。
Description
技术领域
本发明涉及人机交互领域，具体来讲是一种基于AR引导的人机交互系统。
背景技术
（1）传统的装配过程主要是依靠工人经验进行零件的装配，经验不足的工人在装配过程中容易出错。
（2）工人技术水平参差不齐，培养合格的维修人员花费的时间长，特别是针对新来的工人尤为明显。
（3）大部分装配资料都是纸质文档，不便于工人的实时查阅。
（4）通常情况下都是事先熟悉好相关的装配流程，在实际的装配过程中很少翻阅技术文档，对工人的学习与记忆能力要求高。
（5）对于装配过程中出现的特殊情况不能够及时的反映到后台进行处理，只能当时在现场做记录，事后在提交到相关处理中心。
（6）装配批次较多时，需要灵活的在多个装配工艺文件之间来回切换，大脑容易疲倦。
（7）装配技术文档为静态图片和文字显示，不能够进行三维装配过程展示，对于特定的装配过程有相关的装配注意事项时，头脑不能够及时的反映过来，导致装配的产品不合格。
发明内容
因此，为了解决上述不足，本发明在此提供一种基于AR引导的人机交互系统；本发明对应的基于AR人机交互系统可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导。
本发明是这样实现的，构造一种基于AR引导的人机交互系统，其特征在于：该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导；
该系统预留有相关接口，能够与服务器与机械臂进行交互，能够发送命令读取服务器相关文件资料，向服务器推送当前工位的装配进度，以及装配过程中出现的异常情况；可发送相关命令控制机械臂的运动，实现抓取相应的零件；
该系统可实现手动点击按钮或发送语音命令获取相应装配零件的三维效果展示以及装配动画的播放和相关文档的查询与阅读。
根据本发明所述一种基于AR引导的人机交互系统，其特征在于：AR人机交互系统基于AR的装配引导流程如下：
（1）打开AR装配引导软件应用，工作人员根据自己所在装配部门提供的用户名与密码登录该系统，该系统会自动加载当前装配过程所需的装配文件；
（2）工作人员选择需要进行装配的工位序号，选择完成后系统会自动进入到所选工位的引导界面，显示所选工位的装配动画与零件图；
（3）工作人员选择交互方式：
（3.1）手动交互方式：工作人员通过手动点击图片按钮，系统会自动播放该零件的装配动画，如果有该零件的装配注意事项，系统会弹出相应的提示框，来提醒工作人员；工作人员可通过滑动操作，实现不同零件图片的切换，同时系统会显示当前零件的编号，通过点击不同的零件图片，系统会播放不同的装配动画，点击相同的装配图片，可实现当前零件动画的重复播放，工作人员通过手动操作来实现装配过程的引导；
（3.2）语音交互方式：工作人员在进入装配界面后，通过点击语音控制按钮，打开语音识别开关，系统进入语音识别模式，工作人员发出“开始”语音指令时，系统开始播放第一个装配零件所对应的装配动画；工作人员发出“播放”语音指令时，系统会对当前装配动画进行重复播放；工作人员发出“下一步”语音指令时，系统会自动切换到下一张零件图片并更新零件的编号，同时系统会播放该零件的装配动画；当工作人员发出其他语音指令时，系统会提示语音指令错误；工作人员通过不断的发出语音指令来实现装配零件图片的切换与装配动画的播放，以此来通过语音命令实现整个装配过程的三维引导；
（4）当系统检测到工作人员已完成当前工位的最后一个零件装配时，系统会弹出装配完成提示框，工作人员可选择继续进行当前工位装配过程的引导，也可选择退出当前工位装配引导；工作人员选择继续进行当前工位的装配引导后，系统会自动切换到当前工位的开始引导界面；工作人员选择退出当前工位装配引导后，系统会返回到主界面上，工作人员可选择其他工位进行装配引导。
本发明具有如下优点：本发明通过改进在此提供一种基于AR引导的人机交互系统，该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导。在实际的装配过程中，显示当前工序的装配动画以及注意事项，同时AR眼镜上的摄像头会对整个装配过程进行实施录像，后台也可以实时以第一人称视角观察当前工人的装配情况。
本专利具有如下优点及有益效果：
1）实现了装配资料的线下和线上学习，打破了需要有经验的装配工人才能进行装配的壁垒，降低了人力成本；
2）实现了装配过程的实时三维动画引导与注意事项提醒，便于及时查阅相关电子文档，不再需要纸质的装配工艺文件，提高了装配效率与装配质量；
3）实现了AR眼镜与服务器和机械臂的通信，扩大了AR的工业应用范围。
附图说明
图1是本发明AR人机交互系统示意图；
图2是本发明AR装配引导流程示意图。
具体实施方式
下面将结合附图1-图2对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明通过改进在此提供一种基于AR引导的人机交互系统，其特征在于：该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导；
该系统预留有相关接口，能够与服务器与机械臂进行交互，能够发送命令读取服务器相关文件资料，向服务器推送当前工位的装配进度，以及装配过程中出现的异常情况；可发送相关命令控制机械臂的运动，实现抓取相应的零件；
该系统可实现手动点击按钮或发送语音命令获取相应装配零件的三维效果展示以及装配动画的播放和相关文档的查询与阅读。
在实际的装配过程中，显示当前工序的装配动画以及注意事项，同时AR眼镜上的摄像头会对整个装配过程进行实施录像，后台也可以实时以第一人称视角观察当前工人的装配情况。
本发明AR人机交互系统基于AR的装配引导流程如下：
（1）打开AR装配引导软件应用，工作人员根据自己所在装配部门提供的用户名与密码登录该系统，该系统会自动加载当前装配过程所需的装配文件；
（2）工作人员选择需要进行装配的工位序号，选择完成后系统会自动进入到所选工位的引导界面，显示所选工位的装配动画与零件图；
（3）工作人员选择交互方式：
（3.1）手动交互方式：工作人员通过手动点击图片按钮，系统会自动播放该零件的装配动画，如果有该零件的装配注意事项，系统会弹出相应的提示框，来提醒工作人员；工作人员可通过滑动操作，实现不同零件图片的切换，同时系统会显示当前零件的编号，通过点击不同的零件图片，系统会播放不同的装配动画，点击相同的装配图片，可实现当前零件动画的重复播放，工作人员通过手动操作来实现装配过程的引导；
（3.2）语音交互方式：工作人员在进入装配界面后，通过点击语音控制按钮，打开语音识别开关，系统进入语音识别模式，工作人员发出“开始”语音指令时，系统开始播放第一个装配零件所对应的装配动画；工作人员发出“播放”语音指令时，系统会对当前装配动画进行重复播放；工作人员发出“下一步”语音指令时，系统会自动切换到下一张零件图片并更新零件的编号，同时系统会播放该零件的装配动画；当工作人员发出其他语音指令时，系统会提示语音指令错误；工作人员通过不断的发出语音指令来实现装配零件图片的切换与装配动画的播放，以此来通过语音命令实现整个装配过程的三维引导；
（4）当系统检测到工作人员已完成当前工位的最后一个零件装配时，系统会弹出装配完成提示框，工作人员可选择继续进行当前工位装配过程的引导，也可选择退出当前工位装配引导；工作人员选择继续进行当前工位的装配引导后，系统会自动切换到当前工位的开始引导界面；工作人员选择退出当前工位装配引导后，系统会返回到主界面上，工作人员可选择其他工位进行装配引导。
本专利具有如下优点及有益效果：
1）实现了装配资料的线下和线上学习，打破了需要有经验的装配工人才能进行装配的壁垒，降低了人力成本；
2）实现了装配过程的实时三维动画引导与注意事项提醒，便于及时查阅相关电子文档，不再需要纸质的装配工艺文件，提高了装配效率与装配质量；
3）实现了AR眼镜与服务器和机械臂的通信，扩大了AR的工业应用范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (2)
1.一种基于AR引导的人机交互系统，其特征在于：该基于AR人机交互系统与机械臂和服务器进行无线通信，可用于线下的实时培训资料学习，工人可在任何时间与地点进行学习，并且不需要来回翻阅大量的纸质文档，可通过语音或文字输入方式来查阅相关文档，对于学习过程中出现的任何问题都可实时记录并反应到后台服务器端，相关专家可对工作人员学习过程中遇到的问题作出反馈；线上的装配过程的三维引导，即在正式的装配过程中可通过三维装配动画进行装配过程的引导；
该系统预留有相关接口，能够与服务器与机械臂进行交互，能够发送命令读取服务器相关文件资料，向服务器推送当前工位的装配进度，以及装配过程中出现的异常情况；可发送相关命令控制机械臂的运动，实现抓取相应的零件；
该系统可实现手动点击按钮或发送语音命令获取相应装配零件的三维效果展示以及装配动画的播放和相关文档的查询与阅读。
2.根据权利要求1所述一种基于AR引导的人机交互系统，其特征在于：AR人机交互系统基于AR的装配引导流程如下：
（1）打开AR装配引导软件应用，工作人员根据自己所在装配部门提供的用户名与密码登录该系统，该系统会自动加载当前装配过程所需的装配文件；
（2）工作人员选择需要进行装配的工位序号，选择完成后系统会自动进入到所选工位的引导界面，显示所选工位的装配动画与零件图；
（3）工作人员选择交互方式：
（3.1）手动交互方式：工作人员通过手动点击图片按钮，系统会自动播放该零件的装配动画，如果有该零件的装配注意事项，系统会弹出相应的提示框，来提醒工作人员；工作人员可通过滑动操作，实现不同零件图片的切换，同时系统会显示当前零件的编号，通过点击不同的零件图片，系统会播放不同的装配动画，点击相同的装配图片，可实现当前零件动画的重复播放，工作人员通过手动操作来实现装配过程的引导；
（3.2）语音交互方式：工作人员在进入装配界面后，通过点击语音控制按钮，打开语音识别开关，系统进入语音识别模式，工作人员发出“开始”语音指令时，系统开始播放第一个装配零件所对应的装配动画；工作人员发出“播放”语音指令时，系统会对当前装配动画进行重复播放；工作人员发出“下一
步”语音指令时，系统会自动切换到下一张零件图片并更新零件的编号，同时系统会播放该零件的装配动画；当工作人员发出其他语音指令时，系统会提示语音指令错误；工作人员通过不断的发出语音指令来实现装配零件图片的切换与装配动画的播放，以此来通过语音命令实现整个装配过程的三维引导；
（4）当系统检测到工作人员已完成当前工位的最后一个零件装配时，系统会弹出装配完成提示框，工作人员可选择继续进行当前工位装配过程的引导，也可选择退出当前工位装配引导；工作人员选择继续进行当前工位的装配引导后，系统会自动切换到当前工位的开始引导界面；工作人员选择退出当前工位装配引导后，系统会返回到主界面上，工作人员可选择其他工位进行装配引导。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911093509.4A CN110825233A (zh) | 2019-11-11 | 2019-11-11 | 一种基于ar引导的人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911093509.4A CN110825233A (zh) | 2019-11-11 | 2019-11-11 | 一种基于ar引导的人机交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110825233A true CN110825233A (zh) | 2020-02-21 |
Family
ID=69553753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911093509.4A Pending CN110825233A (zh) | 2019-11-11 | 2019-11-11 | 一种基于ar引导的人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825233A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580024A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 基于增强现实的车间辅助作业实现方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| KR20190076770A (ko) * | 2017-12-22 | 2019-07-02 | 주식회사 이엠아이티 | 증강현실 기반 조립 가이드 시스템 |
| CN110196580A (zh) * | 2019-05-29 | 2019-09-03 | 中国第一汽车股份有限公司 | 装配指导方法、系统、服务器及存储介质 |
| CN110299138A (zh) * | 2019-06-28 | 2019-10-01 | 北京机械设备研究所 | 一种增强现实装配工艺指导系统及方法 |
-
2019
- 2019-11-11 CN CN201911093509.4A patent/CN110825233A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能系统及其实现方法 |
| KR20190076770A (ko) * | 2017-12-22 | 2019-07-02 | 주식회사 이엠아이티 | 증강현실 기반 조립 가이드 시스템 |
| CN110196580A (zh) * | 2019-05-29 | 2019-09-03 | 中国第一汽车股份有限公司 | 装配指导方法、系统、服务器及存储介质 |
| CN110299138A (zh) * | 2019-06-28 | 2019-10-01 | 北京机械设备研究所 | 一种增强现实装配工艺指导系统及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580024A (zh) * | 2019-09-17 | 2019-12-17 | Oppo广东移动通信有限公司 | 基于增强现实的车间辅助作业实现方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106920071B (zh) | 变电站现场作业辅助方法和系统 | |
| JP4769723B2 (ja) | 作業手順をナビゲートするシステム | |
| US20030090491A1 (en) | Simulation device | |
| US11733667B2 (en) | Remote support via visualizations of instructional procedures | |
| US11586852B2 (en) | System and method to modify training content presented by a training system based on feedback data | |
| US11455300B2 (en) | Interactive industrial automation remote assistance system for components | |
| US11556875B2 (en) | Generating visualizations for instructional procedures | |
| CN108965968A (zh) | 智能电视操作提示的展示方法、装置及计算机存储介质 | |
| CN110825233A (zh) | 一种基于ar引导的人机交互系统 | |
| JP2003295754A (ja) | 手話教育用システム及び該システムを実現するためのプログラム | |
| CN111487933B (zh) | 产业设备管理系统、产业设备管理方法以及存储介质 | |
| JP7252703B2 (ja) | 操作支援装置、操作支援方法、操作支援プログラム及び記録媒体 | |
| US20230092405A1 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US11586946B2 (en) | System and method to generate training content based on audio and image feedback data | |
| US11500915B2 (en) | System and method to index training content of a training system | |
| US11340693B2 (en) | Augmented reality interactive messages and instructions for batch manufacturing and procedural operations | |
| CN114928585B (zh) | 消息处理方法、装置、电子设备和可读存储介质 | |
| US11651528B2 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US20230089251A1 (en) | Systems and methods for providing context-based data for an industrial automation system | |
| US20230091778A1 (en) | Systems and methods for modifying context-based data provided for an industrial automation system | |
| JP6997996B2 (ja) | 情報処理方法、情報処理装置、プログラム、及び情報処理システム | |
| CN106792955A (zh) | 切换模拟网络方法、装置和终端设备 | |
| JP2016124076A (ja) | 操作受付装置 | |
| US11829126B2 (en) | Systems and methods for providing context-based data for an industrial automation system based on a virtual coordinate system | |
| JP3469231B2 (ja) | アニメーション検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |