CN107065810A - 一种增强现实工业操作辅助的方法及系统 - Google Patents

一种增强现实工业操作辅助的方法及系统 Download PDF

Info

Publication number
CN107065810A
CN107065810A CN201710415302.9A CN201710415302A CN107065810A CN 107065810 A CN107065810 A CN 107065810A CN 201710415302 A CN201710415302 A CN 201710415302A CN 107065810 A CN107065810 A CN 107065810A
Authority
CN
China
Prior art keywords
augmented reality
diagram picture
guidance model
reality industrial
operating instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710415302.9A
Other languages
English (en)
Inventor
徐泽明
周长耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Augmented Reality Technology Co Ltd
Original Assignee
Shenzhen Augmented Reality Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Augmented Reality Technology Co Ltd filed Critical Shenzhen Augmented Reality Technology Co Ltd
Priority to CN201710415302.9A priority Critical patent/CN107065810A/zh
Publication of CN107065810A publication Critical patent/CN107065810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种增强现实工业操作辅助的方法，包括下述步骤：预先建立操作说明或指导模型并存储；捕捉采集工作人员的实际操作动作；拍摄传输操作图像，并显示操作图像；监控产品的组装，并反馈感知信息；获取所述操作图像及所述感知信息；判断操作动作是否合规；若是，则进行下一步；若否，则报警提示重新操作。还公开了一种增强现实工业操作辅助系统，包括：工作站计算机，用于建立和存储操作说明与指导模型；体感摄像机，用于捕捉采集工作人员实际操作动作，拍摄传输操作图像；显示设备，用于显示各种画面信息；传感器，用于监控产品组装，并反馈感知信息；所述体感摄像机、显示设备与传感器，分别于工作站计算机连接。

Description

一种增强现实工业操作辅助的方法及系统
技术领域
本发明实施例涉及工业装配领域，尤其是涉及一种增强现实工业操作辅助方法及系统。
背景技术
工业行业中，需要装配的器件相当繁多且复杂，组装过程中，也大多是人为操作，虽然有些器件会有图纸辅助，但工作人员需要花时间去了解图纸，增加工作时间，而且一旦理解错误造成装配出错，不能及时发现，就会需要重新操作，严重的还会造成零件损坏，这样人力物力财力都浪费，整个工期也会滞后。
现有技术中的工作方式，人力物资损耗率高，生产效率低，并缺乏相应的查询分析，不便于管理。
发明内容
本发明实施例主要解决的技术问题是提供一种能够对装配工作提供辅助信息，培养工作人员正确操作习惯，提供生产效率并便于生产管理分析的系统及方法。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种工业操作辅助的方法，包括下述步骤：
预先建立操作说明或指导模型并存储；
捕捉采集工作人员的实际操作动作；
拍摄传输操作图像，并显示操作图像；
监控产品的组装，并反馈感知信息；
获取所述操作图像及所述感知信息；
判断操作动作是否合规；
若是，则进行下一步；若否，则报警提示重新操作。
进一步地，在所述预先建立操作说明或指导模型并存储，步骤之后，还包括：
显示出所述的操作说明或指导模型，以供工作人员参考。
进一步地，在所述判断操作动作是否合规，步骤之后，还包括：
若是，则继续显示出下一步的操作说明或指导模型；若否，则暂停投影或显示下一步的操作说明或指导模型。
进一步地，在所述判断操作动作是否合规，步骤之后，还包括：存储所述操作图像及判断结果。
进一步地，所述报警提示，是在显示设备上文字提示。
进一步地，所述报警提示，还包括语音提示。
为解决上述技术问题，本发明实施例还提供一种工业操作辅助的系统，包括：
工作站计算机，用于建立和存储操作说明与指导模型；体感摄像机，用于捕捉采集工作人员实际操作动作，拍摄传输操作图像；显示设备，用于显示各种画面信息；传感器，用于监控产品组装，并反馈感知信息；所述体感摄像机、显示设备与传感器，分别于工作站计算机连接。
进一步地，所述显示设备为两台，一台用于显示实际操作动作画面和报警提示，一台用于显示操作说明或指导模型。
进一步地，所述显示设备可以是投影仪或显示屏
进一步地，所述系统还包括扬声器，用于语音提示；所述扬声器与工作站计算机连接。
本发明实施例的有益效果是：能拍摄操作动作，监控产品的组装，基于视觉和感知反馈即时发现及提示操作错误现象，降低人力物资的损耗，培养工作人员正确操作习惯，提高工作效率，并能将操作图像进行存档，便于生产管理分析，进一步提供生产效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例增强现实工业操作辅助的方法基本流程图；
图2为本发明实施例增强现实工业操作辅助系统结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1为本实施例增强现实工业操作辅助的方法基本流程图。
如图1所示，一种增强现实工业操作辅助的方法，包括下述步骤：
S11：预先存储建立操作说明或指导模型。操作说明或指导模型的建立并存储都是在工作站计算机上实现。
S12：捕捉采集工作人员实际操作动作。较佳的，可预先安装体感摄像机在待装配设备或装配区域的周围，捕捉采集工作人员的动作。
S13：拍摄、传输、显示操作图像。较佳的，由体感摄像机拍摄图像，并传输到工作站计算机，然后传输到显示器或显示屏上显示。
S14：监控产品组装、反馈感知信息。较佳的，在装配区域或待装配设备上安装传感器，由传感器监控产品的组装过程，并即时反馈感知信息给工作中。
S15：获取操作图像、感知信息。较佳的，工作站获取体感摄像机传输的操作图像和传感器反馈的感知信息。
S16：判断操作动作是否合规。较佳的，基于基于视觉和感知反馈工作站计算机将模型与操作图像和感知信息进行识别比对，来进行判断。
S17：若是，则可进行下一步。
S18：若否，则给予报警提示，并重新操作。
本实施例中，工作人员可以在操作过程中，及时发现错误，降低了人力物力的损耗。
在一些实施例中，还可以显示出操作说明或指导模型，以供工作人员参考。这样工作人员不仅可以在操作过程中，及时发现错误，降低了人力物力的损耗，还可以减少理解图纸时间，提高工作效率。
在一些实施例方式中，还可存储操作图像和判断结果，以便生产上用于分析和管理。企业可以通过分析，知道哪些步骤容易出错，加以强调分析，并对工作人员的出错率做出统计，方便绩效的管理。
请参阅图2，图2为本实施例增强现实工业操作辅助系统的机构示意图。
如图2所示，一种增强现实工业操作辅助系统，包括：
工作站计算机，用于建模、存储模型、分解模型；体感摄像机，用于捕捉采集工作人员实际操作动作，拍摄传输操作图像；显示设备，用于显示各种画面信息；传感器，用于监控产品组装，并反馈感知信息；所述体感摄像机、显示设备与传感器，分别于工作站计算机连接。
本实施例，采用的显示设备可以是显示屏、显示器或投影仪，投影仪可以直接投影到工作台上。
本实施，提供一种增强现实工业操作辅助的系统，可辅助助工作人员进行装配工作，即时反馈错误信息，规范工作人员的操作习惯，大大提供生产效率。
在一些实施例中，显示设备有两台，一台用于显示实际操作动作画面和报警提示，一台用于显示操作说明或指导模型。
在一些实施例中，还包括有扬声器，用于语音提示。
需要说明的是，本发明的说明书及其附图中给出了本发明的较佳的实施例，但是，本发明可以通过许多不同的形式来实现，并不限于本说明书所描述的实施例，这些实施例不作为对本发明内容的额外限制，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。并且，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；进一步地，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种增强现实工业操作辅助的方法，其特征在于，包括下述步骤：
预先建立操作说明或指导模型并存储；
捕捉采集工作人员的实际操作动作；
拍摄传输操作图像，并显示操作图像；
监控产品的组装，并反馈感知信息；
获取所述操作图像及所述感知信息；
判断操作动作是否合规；
若是，则进行下一步；若否，则报警提示重新操作。
2.根据权利要求1所述增强现实工业操作辅助的方法，其特征在于，在所述建立操作说明或指导模型并存储，步骤之后，还包括：
显示出所述的操作说明或指导模型，以供工作人员参考。
3.根据权利要求2所述增强现实工业操作辅助的方法，其特征在于，在所述判断操作动作是否合规，步骤之后，还包括：
若是，则继续显示出下一步的操作说明或指导模型；若否，则暂停显示下一步的操作说明或指导模型。
4.根据权利要求1-3所述增强现实工业操作辅助的方法，其特征在于，在所述判断操作动作是否合规，步骤之后，还包括：
存储所述操作图像及判断结果。
5.根据权利要求1-3所述的增强现实工业操作辅助的方法，其特征在于，所述报警提示，是在显示设备上文字提示。
6.根据权利要求5所述的增强现实工业操作辅助的方法，其特征在于，所述报警提示，还包括语音提示。
7.一种增强现实工业操作辅助系统，其特征在于，包括：
工作站计算机，用于建立和存储操作说明与指导模型；体感摄像机，用于捕捉采集工作人员实际操作动作，拍摄传输操作图像；显示设备，用于显示各种画面信息；传感器，用于监控产品组装，并反馈感知信息；所述体感摄像机、显示设备与传感器，分别于工作站计算机连接。
8.根据权利要求7所述增强现实工业操作辅助系统，其特征在于，包括：所述显示设备为两台，一台用于显示实际操作动作画面和报警提示，一台用于显示操作说明或指导模型。
9.根据权利要求7或8所述增强现实工业操作辅助系统，其特征在于，包括：所述显示设备可以是投影仪或显示屏。
10.根据权利要求7所述的增强现实工业操作辅助系统，其特征在于，还包括：
扬声器，用于语音提示；所述扬声器与工作站计算机连接。
CN201710415302.9A 2017-06-05 2017-06-05 一种增强现实工业操作辅助的方法及系统 Pending CN107065810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710415302.9A CN107065810A (zh) 2017-06-05 2017-06-05 一种增强现实工业操作辅助的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710415302.9A CN107065810A (zh) 2017-06-05 2017-06-05 一种增强现实工业操作辅助的方法及系统

Publications (1)

Publication Number Publication Date
CN107065810A true CN107065810A (zh) 2017-08-18

Family

ID=59617347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710415302.9A Pending CN107065810A (zh) 2017-06-05 2017-06-05 一种增强现实工业操作辅助的方法及系统

Country Status (1)

Country Link
CN (1) CN107065810A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
CN108919882A (zh) * 2018-04-24 2018-11-30 北京拓盛智联技术有限公司 一种基于ar技术的设备主动安全操作方法和系统
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN110309779A (zh) * 2019-07-01 2019-10-08 南昌青橙视界科技有限公司 装配场景中零件操作动作的监测方法、装置及电子设备
CN110543149A (zh) * 2019-07-22 2019-12-06 国营芜湖机械厂 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748617A (zh) * 2011-08-25 2014-04-23 赛多利斯史泰迪生物技术有限责任公司 组装方法、监控方法、增强现实系统和计算机程序产品
CN103824143A (zh) * 2012-11-19 2014-05-28 鸿富锦精密工业（深圳）有限公司 零件组装指示系统及方法
CN106257356A (zh) * 2016-03-25 2016-12-28 深圳增强现实技术有限公司 智能头戴设备及智能穿戴系统
CN106325494A (zh) * 2016-03-25 2017-01-11 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748617A (zh) * 2011-08-25 2014-04-23 赛多利斯史泰迪生物技术有限责任公司 组装方法、监控方法、增强现实系统和计算机程序产品
CN103824143A (zh) * 2012-11-19 2014-05-28 鸿富锦精密工业（深圳）有限公司 零件组装指示系统及方法
CN106257356A (zh) * 2016-03-25 2016-12-28 深圳增强现实技术有限公司 智能头戴设备及智能穿戴系统
CN106325494A (zh) * 2016-03-25 2017-01-11 深圳增强现实技术有限公司 基于智能穿戴设备的工作辅助系统和方法
CN106340217A (zh) * 2016-10-31 2017-01-18 华中科技大学 基于增强现实技术的制造装备智能系统及其实现方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
CN107784885A (zh) * 2017-10-26 2018-03-09 歌尔科技有限公司 基于ar设备的操作培训方法及ar设备
CN108919882A (zh) * 2018-04-24 2018-11-30 北京拓盛智联技术有限公司 一种基于ar技术的设备主动安全操作方法和系统
CN109032348A (zh) * 2018-06-26 2018-12-18 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN109032348B (zh) * 2018-06-26 2021-09-14 亮风台（上海）信息科技有限公司 基于增强现实的智能制造方法与设备
CN110309779A (zh) * 2019-07-01 2019-10-08 南昌青橙视界科技有限公司 装配场景中零件操作动作的监测方法、装置及电子设备
CN110543149A (zh) * 2019-07-22 2019-12-06 国营芜湖机械厂 一种基于智能眼镜的航空座椅装退弹辅助系统及使用方法

Similar Documents

Publication Publication Date Title
CN107065810A (zh) 一种增强现实工业操作辅助的方法及系统
CN112018892B (zh) 一种电力运维远程指导系统
CN103062862B (zh) 用于智能空调的远程故障处理方法
EP3570494A3 (en) A framework for intelligent automated operations for network, service & customer experience management
CN108521457B (zh) 一种设备控制命令的跟踪方法及系统
CN105209993B (zh) 用于创建或更改焊接序列的系统和方法
CN104167818B (zh) 一种与gis变电站综合自动化系统联动的远程智能巡检系统及方法
WO2019021592A1 (ja) 作業改善支援システムおよび方法
CN110796727A (zh) 基于虚拟现实技术的机房远程全景监控方法
EP1411454A3 (en) Multiple coupled browsers for an industrial workbench
CN103443725B (zh) 伺服控制装置的异常诊断装置及异常诊断系统
CN103325153A (zh) 一种巡检方法和巡检系统
JP2012055020A5 (zh)
CN103197640B (zh) 生产工艺智能管控系统和方法
CN104836699A (zh) 设备状态处理方法与设备状态处理系统
CN110909898A (zh) 基于ar眼镜的零知识银行机房故障诊断维修指导系统及方法
CN106502187A (zh) 一种智能工业设备报修管理系统
CN109290658A (zh) 焊接定序器零部件检查器
CN115860410A (zh) 一种基于微信的大型土木工程施工安全隐患管理系统
CN104298671B (zh) 数据统计分析方法及装置
CN106846529A (zh) 电缆的巡检方法和巡检装置
CN109702437A (zh) 白车身质量在线管理方法及其系统
CN110097328A (zh) 基于bim的工程施工现场管理方法及系统
CN101808235A (zh) 智能视频变电站巡检质量认证系统
CN108401121A (zh) 一种交互式单元节点管理云屏系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818