CN110196580B - 装配指导方法、系统、服务器及存储介质 - Google Patents
装配指导方法、系统、服务器及存储介质 Download PDFInfo
- Publication number
- CN110196580B CN110196580B CN201910456908.6A CN201910456908A CN110196580B CN 110196580 B CN110196580 B CN 110196580B CN 201910456908 A CN201910456908 A CN 201910456908A CN 110196580 B CN110196580 B CN 110196580B
- Authority
- CN
- China
- Prior art keywords
- information
- assembly
- user
- guided
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003190 augmentative effect Effects 0.000 claims abstract description 89
- 238000004891 communication Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000000463 material Substances 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31027—Computer assisted manual assembly CAA, display operation, tool, result
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种装配指导方法、系统、服务器及存储介质。该方法包括：接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。上述技术方案利用增强现实技术全面立体地展示装配指导信息，便于用户观看和学习，并且减少使用实物零件和指导文件等，降低装配指导的成本，提高装配指导效率。
Description
技术领域
本发明实施例涉及汽车装配技术领域，尤其涉及一种装配指导方法、系统、服务器及存储介质。
背景技术
汽车产品(包括整车及总成等)的装配是汽车产品制造过程中最重要工艺环节之一，是把检验合格的各种零部件按照一定的技术要求组装成整车及发动机、变速器等总成的工艺过程。在进行汽车装配之前，需要对装配人员进行专业的指导，使其充分了解装配流程。
现有的装配指导方法主要是依靠指导者的人工指导，或者以语音、纸质或视频等形式展示装配指导信息，从而对汽车相关总成、零件的装配过程等进行指导，装配指导信息的显示方式固定，不利于装配人员全面、准确地学习装配指导信息；并且学习过程中需要有指导者、指导文件或实物零件等，指导投入成本较高，且指导效率低下。
发明内容
本发明提供了一种装配指导方法、系统、服务器及存储介质，以实现降低装配指导的成本，提高装配指导效率。
第一方面，本发明实施例提供一种装配指导方法，包括：
接收待指导项目信息，所述待指导项目由用户佩戴的增强现实(AugmentedReality，AR)装置通过识别用户输入的手势操作确定；
根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
进一步的，所述方法还包括：
接收拧紧机采集的扭矩信息，所述扭矩信息由拧紧机在用户对紧固件进行紧固操作时采集；
根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，以及将所述扭矩信息发送至增强现实装置，以使所述增强现实装置将所述扭矩信息以设定颜色标记在对应的紧固件三维模型上。
进一步的，根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，包括：
若所述扭矩信息在预设扭矩范围内，则确定所述紧固结果为合格；
若所述扭矩信息不在预设扭矩范围内，则确定所述紧固结果为不合格。
进一步的，所述根据所述待指导项目信息生成装配指导信息，包括：
提取所述待指导项目信息中的车型配置信息及待指导任务项；
调用对应所述车型配置信息的装配信息集，从所述装配信息集中查找各所述待指导任务项对应的装配指导信息；
其中，所述装配指导信息包括：对应待指导任务项的零部件三维模型、装配动画、语音提示信息和文字提示信息。
进一步的，在接收用户的手势操作信息之前，还包括：
接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
第二方面，本发明实施例提供一种装配指导系统，包括：增强现实装置以及服务器；
所述服务器与所述增强现实装置建立通信连接；
其中，所述服务器包括：
接收模块，用于接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；
信息生成模块，用于根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
进一步的，所述系统还包括：与所述服务器建立通信连接的拧紧机，用于采集目标零件三维模型的拧紧操作的扭矩信息，并将所述扭矩信息发送至所述服务器。
进一步的，所述系统还包括：人脸识别装置；
所述人脸识别装置用于接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
第三方面，本发明实施例提供一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的装配指导方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的装配指导方法。
本发明实施例提供了一种装配指导方法、系统、服务器及存储介质。该方法包括：接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。上述技术方案利用增强现实技术全面立体地展示装配指导信息，便于用户观看和学习，并且减少使用实物零件和指导文件等，降低装配指导的成本，提高装配指导效率。
附图说明
图1为本发明实施例一提供的一种装配指导方法的流程图；
图2为本发明实施例二提供的一种装配指导方法的流程图；
图3为本发明实施例二提供的一种装配指导方法的实现示意图；
图4为本发明实施例三提供的一种装配指导系统的结构示意图；
图5为本发明实施例四提供的一种服务器的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种装配指导方法的流程图，本实施例可适用于利用增强现实技术对装配人员进行装配指导的情况。具体的，该装配指导方法可以通过软件和/或硬件的方式实现，并集成在装配指导系统中。
进一步的，所述装配指导系统包括：增强现实装置以及服务器；所述服务器与所述增强现实装置建立通信连接；其中，所述服务器包括：接收模块，用于接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；信息生成模块，用于根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。进一步的，服务器包括但不限定于：工业集成服务器、系统后台服务器以及云端服务器。
参考图1，该方法具体包括如下步骤：
S110、接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定。
具体的，待指导项目是指待用户学习的、在汽车装配过程中将各种零部件按照技术要求组装成整车、发动机、变速器等总成的项目。通过增强现实技术识别用户输入的手势操作以确定待指导项目信息。所述增强现实装置用于对现实场景的事物(如汽车)进行感知和计算，在现实场景的基础上叠加各零件的虚拟图像、动画和三维模型等，生成装配指导信息并进行显示。增强现实装置通过识别用户的手势操作可基于所生成的装配指导信息与用户进行互动。示例性的，增强现实装置识别用户的手势操作以完成人机交互，用户可通过点击、滑动、拖动等手势选择汽车型号、操作步骤等，从而确定待指导项目信息。
进一步的，增强现实装置包括虚拟场景生成器、显示器、摄像机和传感器，所述虚拟场景生成器用于零件三维模型的建模、管理和绘制等并叠加在现实场景中，构成装配指导的虚拟场景，即生成装配指导信息；显示器用于以三维形式投射所述装配指导信息供用户学习；所述显示器优选为头戴式显示器；摄像机用于采集现实场景中的图像或视频；传感器用于测量和跟踪摄像机位姿以及用户的视野或视线的变化，用户移动时可从不同的视野观察到装配指导信息。
进一步的，增强现实装置还包括用户追踪器，用于获取用户输入的手势操作，进而实现与用户的交互。例如，用户追踪器可以为红外传感器、佩戴在用户的手上的手柄、手环等，通过识别用户手部的移动、点击、触摸等操作确定待指导项目并发送至服务器。
S120、根据所述待指导项目信息生成装配指导信息。
具体的，服务器根据接收到的待指导项目信息生成对应的装配指导信息。例如，用户通过手势操作选择对目标型号的汽车安装后视镜的装配过程进行学习，则待指导项目信息为对目标型号的汽车安装后视镜，服务器据此生成对应的零件三维模型、安装动画和文字提示信息等，以生成装配指导信息。
S130、将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
具体的，服务器将生成的装配指导信息发送至增强现实装置，增强现实装置将装配指导信息以三维形式进行显示。装配指导信息包括零件三维模型，三维模型通过增强现实装置显示在用户的视野中，并且与现实场景相融合，配合装配动画、文字提示信息等，与现实场景中的实物零件相结合，从而将汽车零件的装配方式和工艺流程展现给用户。用户通过自身的移动环绕可对装配指导信息进行全方位的观察。此外，装配动画能够反复播放，便于用户全面掌握各种零件的安装位置与安装方式，降低装配出错率，有效提高指导效率和装配质量。
优选的，增强现实装置包括头戴式显示器，便于用户佩戴和灵活移动，对用户的手势操作影响程度较低，用户在佩戴增强现实装置的同时可边观察、边实践，装配指导效果更好。
本发明实施例一提供的一种装配指导方法，通过接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息，利用增强现实技术全面立体地展示装配指导信息，使得各种零件的装配操作具体步骤更加形象具体，便于用户观看和学习；装配指导信息与现实场景中真实的实物零件融合，给用户更加直观的装配学习感受，也可减少使用实物零件和指导文件等，从而降低装配指导的成本，提高装配指导效率。
实施例二
图2为本发明实施例二提供的一种装配指导方法的流程图，本实施例是在上述实施例的基础上进行优化，增加了确定用户的登录权限以及对拧紧操作的装配指导的步骤。需要说明的是，未在本实施例中详尽描述的技术细节可参见上述任意实施例。
具体的，参考图2，该方法具体包括如下步骤：
S210、接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
具体的，在确定待指导项目信息之前，首先通过面部识别技术确定用户的登录权限。示例性的，利用人脸识别装置采集用户的面部图像并发送至服务器，服务器将接收到的面部图像与数据库中预存的具有登录权限的面部图像比对，进行生物识别，符合预存的面部图像的用户具有登录权限，以此作为启动装配指导系统的方式，从而保证装配指导过程的安全性。进一步的，装配指导系统在人脸识别装置确定用户的登录权限之后启动，在装配指导的过程中记录用户身份信息和指导记录。
可选的，在采集用户的面部图像之后，也可由人脸识别装置直接根据所述面部图像确定用户的登录权限，并将登录权限的验证结果发送至服务器，服务器根据登录权限验证结果决定是否允许用户登录或使用装配指导系统。
S220、接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定。
具体的，增强现实装置识别用户输入的手势操作，实现车型配置选择和待指导任务项选择，从而接收待指导项目信息。
S230、提取所述待指导项目信息中的车型配置信息及待指导任务项。
具体的，待指导项目信息包括用户通过手势操作所选择的车型配置信息和待指导任务项。例如，待指导任务项为目标型号的汽车安装后视镜。
S240、调用对应所述车型配置信息的装配信息集，从所述装配信息集中查找各所述待指导任务项对应的装配指导信息。
具体的，服务器本地数据库或者远程的网络数据中预存了各个车型配置信息的装配信息集，装配信息集中存储了各待指导任务项对应的装配指导信息，供服务器调用并发送至增强现实装置进行显示。例如，在目标型号的车型配置信息的装配信息集中查找与安装后视镜对应的装配指导信息。
进一步的，所述装配指导信息包括：对应待指导任务项的零件三维模型、装配动画、语音提示信息和文字提示信息。
具体的，装配工艺通过文字形式显示在零件三维模型旁，并伴随语音播放。在零件三维模型中还可显示零件形状、名称及零件号。通过构建零件三维模型和装配动画等，使用户全方位的、更加真实的了解零件真实的立体形状、安装位置和装配工艺。
S250、将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
S260、接收拧紧机采集的扭矩信息，所述扭矩信息由拧紧机在用户对紧固件进行紧固操作时采集。
具体的，拧紧机是一种电动扳手工具，用于实现对紧固件的拧紧操作。在涉及紧固件拧紧操作的情况下，通过拧紧机采集实时的扭矩信息并发送至服务器。可选的，拧紧机设置有专门的服务节点，即拧紧机服务器，拧紧机采集的扭矩信息经过拧紧机服务器转发至服务器。
S270、根据所述扭矩信息确定装配操作中针对紧固件的紧固结果。
进一步的，根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，包括：若所述扭矩信息在预设扭矩范围内，则确定所述紧固结果为合格，若所述扭矩信息不在预设扭矩范围内，则确定所述紧固结果为不合格。
具体的，将扭矩信息与预设扭矩范围进行比较以确定紧固结果，在零件三维模型拧紧操作的相应位置显示扭矩信息，利用不同颜色显示扭矩信息以提示用户本次拧紧操作的扭矩是否合格。例如，在汽车车门安装后视镜的待指导项目中，涉及对三枚螺钉进行紧固操作，预设扭矩范围为8-12N·m，目标扭矩为10N·m，在显示装配指导信息的同时用户可进行实践，在用户使用拧紧机完成第一枚螺钉的紧固后，在用户视野中后视镜三维模型的相应位置会显示本次拧紧操作的扭矩信息，若扭矩信息在预设扭矩范围内，则紧固结果为合格，扭矩信息显示为绿色，进入下一个拧紧点的操作；若扭矩信息不在预设扭矩范围内，则紧固结果为不合格，扭矩信息显示为红色，提示用户重复该拧紧点的拧紧操作，直到该拧紧点扭矩合格，进入下一拧紧点操作，直到三个拧紧点全部合格。
进一步的，调取拧紧机的实时扭矩信息，针对待指导项目中涉及拧紧操作的步骤，通过拧紧机附带的参数选择器，选择相对应的拧紧程序，基于对应的拧紧程序产生的扭矩信息才会被采集并显示。采集到的实时扭矩信息通过增强现实装置显示在零件三维模型的相应拧紧点。
进一步的，同一拧紧程序中存在多个拧紧点时，在一个拧紧点的实时扭矩信息合格的情况下，自动进入下一拧紧点；若扭矩信息不合格，则重复拧紧点的拧紧操作，直到该拧紧点扭矩合格后才能进入下一拧紧点。
S280、将所述扭矩信息发送至增强现实装置，以使所述增强现实装置将所述扭矩信息以设定颜色标记在对应的紧固件三维模型上。
具体的，将所述扭矩信息发送至增强现实装置，在拧紧操作的相应位置显示扭矩信息，通过设定不同颜色提示用户本次操作扭矩信息是否合格，显示为绿色表示合格，显示为红色表示不合格，从而区分是否达到工艺要求，实现拧紧操作的扭矩信息实时监控、反馈。
本实施例整合了对于汽车装配工艺中较为关键的拧紧操作的装配指导，有效避免了拧紧操作的错误率和不合格率，可广泛应用于汽车总装生产线上的装配人员的装配工艺指导，适用性广。
图3为本发明实施例二提供的一种装配指导方法的实现示意图。如图3所示，增强现实装置用于识别用户的手势操作，从而确定待指导项目信息并发送至服务器；增强现实装置还用于向用户以三维形式投射装配指导信息，供用户学习；人脸识别装置用于采集用户的面部图像，验证用户的登录权限；图3中示例性的为拧紧机设置了独立的服务节点，即拧紧机服务器，拧紧机服务器调取拧紧机采集的实时扭矩信息，并将扭矩信息发送至服务器，服务器将扭矩信息发送至增强现实装置进行显示；其中，服务器通过无线网络与各设备进行通讯。
进一步的，增强现实装置优选为头戴式增强现实装置，如Microsoft HoloLens头显等。通过人脸识别装置预先采集具有登录权限的用户的面部图像，形成面部图像数据库，在进行装配指导之前，采集当前用户的面部图像并识别其面部特征，依据面部图像数据库判断是否允许当前用户登录，验证登录权限后用户才可登录装配指导系统。用户登录系统后，可选择已加载至增强现实装置中的待指导项目，通过手势操作选择需要学习的车型配置信息和对应的待指导项目。增强现实装置中即开始展示该待指导项目对应的装配指导信息，包括所涉及的零件三维模型、零件名称及零件号、装配动画和文字提示信息、语音提示信息等。可选的，用户对装配指导信息中的零件三维模型与实物进行对比，确认零件三维模型的结构、外形均正确，保证选择无误。确认所选择的待指导项目与实物零件无误后，进入装配指导界面，增强现实装置将各零件三维模型投影在现实场景中，并反复播该步骤放被装配零件的装配操作动画、操作步骤的文字描述、语音提示。例如，在汽车车门装配的过程中，其中安装后视镜的操作步骤中，头戴式增强现实装置在显示空间中投影出油漆后车门钣金总成的三维模型，并将后视镜的三维模型放置在对应的安装位置，并提示相关卡入、拧紧操作的操作步骤。
进一步的，在拧紧操作的装配指导的过程中，在拧紧点的位置会提示对应的拧紧程序编号，在使用拧紧机完成拧紧操作后，通过头戴式增强现实装置显示本次拧紧扭矩，并通过不同颜色提示用户紧固结果。
本发明实施例二提供的一种装配指导方法，在上述实施例的基础上进行优化，通过识别用户的面部图像验证登录权限，保证装配指导的安全性；通过识别用户的手势操作确定待指导项目信息，调用车型配置信息的装配信息集，生成对应的装配指导信息并以三维形式投射，利用增强现实技术全面立体地展示装配指导信息，使得零件和装配操作具体步骤更加形象具体，便于用户观看和学习；通过采集和显示扭矩信息，对拧紧操作进行装配指导，配合用户的实践，有效避免了拧紧操作的错误率和不合格率，可广泛应用于汽车总装生产线上的装配人员的装配工艺指导。
实施例三
图4为本发明实施例三提供的一种装配指导系统的结构示意图。本实施例提供的装配指导系统300包括：增强现实装置320以及服务器310；
所述服务器310与所述增强现实装置320建立通信连接；
其中，所述服务器310包括：
接收模块311，用于接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；
信息生成模块312，用于根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置320，使得所述增强现实装置320以三维形式投射所述装配指导信息。
本发明实施例三提供的一种装配指导系统，通过接收模块接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；通过信息生成模块根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息，利用增强现实技术全面立体地展示装配指导信息，便于用户观看和学习，并且减少使用实物零件和指导文件等，降低装配指导的成本，提高装配指导效率。
在上述实施例的基础上，所述装配指导系统300，还包括：
与所述服务器建立通信连接的拧紧机，用于采集目标零件三维模型的拧紧操作的扭矩信息，并将所述扭矩信息发送至所述服务器310。
在上述实施例的基础上，所述服务器310，还用于：
接收拧紧机采集的扭矩信息，所述扭矩信息由拧紧机在用户对紧固件进行紧固操作时采集；
根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，以及将所述扭矩信息发送至增强现实装置320，以使所述增强现实装置320将所述扭矩信息以设定颜色标记在对应的紧固件三维模型上。
进一步的，根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，包括：
若所述扭矩信息在预设扭矩范围内，则确定所述紧固结果为合格，
若所述扭矩信息不在预设扭矩范围内，则确定所述紧固结果为不合格。
进一步的，所述信息生成模块312包括：
提取单元，用于提取所述待指导项目信息中的车型配置信息及待指导任务项；
调用单元，用于调用对应所述车型配置信息的装配信息集，从所述装配信息集中查找各所述待指导任务项对应的装配指导信息；
其中，所述装配指导信息包括：对应待指导任务项的零部件三维模型、装配动画、语音提示信息和文字提示信息。
进一步的，所述装配指导系统300，还包括：人脸识别装置；
所述人脸识别装置用于接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
本发明实施例三提供的装配指导系统可以用于执行上述任意实施例提供的装配指导方法，具备相应的功能和有益效果。
实施例四
图5为本发明实施例四提供的一种服务器的硬件结构示意图。如图5所示，本实施例提供的一种服务器，包括：处理器410和存储装置420。该服务器中的处理器可以是一个或多个，图5中以一个处理器410为例，所述服务器中的处理器410和存储装置420可以通过总线或其他方式连接，图5中以通过总线连接为例。
所述一个或多个程序被所述一个或多个处理器410执行，使得所述一个或多个处理器实现上述实施例中任意所述的装配指导方法。
该服务器中的存储装置420作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中装配指导方法对应的程序指令/模块(例如，附图3所示的装配指导系统中的模块，包括：接收模块311以及信息生成模块312)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的装配指导方法。
存储装置420主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等(如上述实施例中的待指导项目信息、装配指导信息等)。此外，存储装置420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且，当上述服务器中所包括一个或者多个程序被所述一个或者多个处理器410执行时，进行如下操作：接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
本实施例提出的服务器与上述实施例提出的装配指导方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述任意实施例，并且本实施例具备与执行装配指导方法相同的有益效果。
在上述实施例的基础上，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被装配指导装置执行时实现本发明上述任意实施例中的装配指导方法，该方法包括：接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的装配指导方法操作,还可以执行本发明任意实施例所提供的装配指导方法中的相关操作，且具备相应的功能和有益效果。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的装配指导方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种装配指导方法，其特征在于，包括：
接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；
根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息；
还包括：接收拧紧机采集的扭矩信息，所述扭矩信息由拧紧机在用户对紧固件进行紧固操作时采集；
将所述扭矩信息发送至增强现实装置，以使所述增强现实装置将所述扭矩信息以设定颜色标记在对应的紧固件三维模型上。
2.根据权利要求1所述的方法，其特征在于，还包括：
根据所述扭矩信息确定装配操作中针对紧固件的紧固结果。
3.根据权利要求2所述的方法，其特征在于，根据所述扭矩信息确定装配操作中针对紧固件的紧固结果，包括：
若所述扭矩信息在预设扭矩范围内，则确定所述紧固结果为合格；
若所述扭矩信息不在预设扭矩范围内，则确定所述紧固结果为不合格。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待指导项目信息生成装配指导信息，包括：
提取所述待指导项目信息中的车型配置信息及待指导任务项；
调用对应所述车型配置信息的装配信息集，从所述装配信息集中查找各所述待指导任务项对应的装配指导信息；
其中，所述装配指导信息包括：对应待指导任务项的零部件三维模型、装配动画、语音提示信息和文字提示信息。
5.根据权利要求1所述的方法，其特征在于，在接收用户的手势操作信息之前，还包括：
接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
6.一种装配指导系统，其特征在于，包括：增强现实装置以及服务器；
所述服务器与所述增强现实装置建立通信连接；
其中，所述服务器包括：
接收模块，用于接收待指导项目信息，所述待指导项目由用户佩戴的增强现实装置通过识别用户输入的手势操作确定；
信息生成模块，用于根据所述待指导项目信息生成装配指导信息，并将所述装配指导信息发送至所述增强现实装置，使得所述增强现实装置以三维形式投射所述装配指导信息；
还包括：与所述服务器建立通信连接的拧紧机，用于采集目标零件三维模型的拧紧操作的扭矩信息，并将所述扭矩信息发送至所述服务器。
7.根据权利要求6所述的系统，其特征在于，还包括：人脸识别装置；
所述人脸识别装置用于接收用户的面部图像，并根据所述面部图像确定用户的登录权限。
8.一种服务器，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的装配指导方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的装配指导方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456908.6A CN110196580B (zh) | 2019-05-29 | 2019-05-29 | 装配指导方法、系统、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910456908.6A CN110196580B (zh) | 2019-05-29 | 2019-05-29 | 装配指导方法、系统、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110196580A CN110196580A (zh) | 2019-09-03 |
| CN110196580B true CN110196580B (zh) | 2020-12-15 |
Family
ID=67753432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910456908.6A Active CN110196580B (zh) | 2019-05-29 | 2019-05-29 | 装配指导方法、系统、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110196580B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110658731B (zh) * | 2019-10-21 | 2020-07-03 | 珠海格力电器股份有限公司 | 一种智能家电配网方法、存储介质和智能终端 |
| CN110744549A (zh) * | 2019-11-11 | 2020-02-04 | 电子科技大学 | 一种基于人机协同的智能装配工艺 |
| CN110825233A (zh) * | 2019-11-11 | 2020-02-21 | 电子科技大学 | 一种基于ar引导的人机交互系统 |
| CN111583419A (zh) * | 2020-05-25 | 2020-08-25 | 重庆忽米网络科技有限公司 | 一种基于5g的现实增强辅助装配方法及系统 |
| CN115407420B (zh) * | 2022-07-15 | 2024-05-07 | 中国第一汽车股份有限公司 | 一种汽车风窗表面检测系统和方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009112063A9 (en) * | 2007-09-18 | 2009-12-23 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| CN106569769A (zh) * | 2016-11-09 | 2017-04-19 | 唐雪松 | 基于ar技术的机器操作指导信息展示方法及装置 |
| CN108470485A (zh) * | 2018-02-07 | 2018-08-31 | 深圳脑穿越科技有限公司 | 场景式培训方法、装置、计算机设备和存储介质 |
| CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
| CN109427102A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的教程演示方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106200982A (zh) * | 2016-07-26 | 2016-12-07 | 南京意斯伽生态科技有限公司 | 一种基于虚拟现实技术的医学手术训练系统 |
| US10388075B2 (en) * | 2016-11-08 | 2019-08-20 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| CN109032348B (zh) * | 2018-06-26 | 2021-09-14 | 亮风台（上海）信息科技有限公司 | 基于增强现实的智能制造方法与设备 |
-
2019
- 2019-05-29 CN CN201910456908.6A patent/CN110196580B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009112063A9 (en) * | 2007-09-18 | 2009-12-23 | Vrmedia S.R.L. | Information processing apparatus and method for remote technical assistance |
| CN106569769A (zh) * | 2016-11-09 | 2017-04-19 | 唐雪松 | 基于ar技术的机器操作指导信息展示方法及装置 |
| CN109427102A (zh) * | 2017-08-30 | 2019-03-05 | 深圳市掌网科技股份有限公司 | 基于增强现实的教程演示方法和装置 |
| CN108470485A (zh) * | 2018-02-07 | 2018-08-31 | 深圳脑穿越科技有限公司 | 场景式培训方法、装置、计算机设备和存储介质 |
| CN109144244A (zh) * | 2018-07-03 | 2019-01-04 | 世雅设计有限公司 | 一种增强现实辅助的方法、装置、系统及增强现实设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110196580A (zh) | 2019-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110196580B (zh) | 装配指导方法、系统、服务器及存储介质 | |
| US20180357978A1 (en) | Method and devices used for implementing augmented reality interaction and displaying | |
| EP3111297B1 (en) | Tracking objects during processes | |
| EP2876484B1 (en) | Maintenance assistant system | |
| KR102132330B1 (ko) | 하이퍼모션 단계 처리가 가능한 증강현실 및 기계학습 기반 원격 가이던스 장치 및 그 방법 | |
| CN106845624A (zh) | 与智能机器人的应用程序有关的多模态交互方法及系统 | |
| CN111105506A (zh) | 一种基于混合现实的实时监控方法及装置 | |
| CN108345907A (zh) | 识别方法、增强现实设备及存储介质 | |
| CN106453228B (zh) | 一种用于智能机器人的用户登录方法以及系统 | |
| CN107004165A (zh) | 标识和维修辅助设备与方法 | |
| CN113380088A (zh) | 一种交互式模拟培训保障系统 | |
| JP2018055614A (ja) | ジェスチャ操作システム、ジェスチャ操作方法およびプログラム | |
| CN112083795A (zh) | 对象控制方法及装置、存储介质和电子设备 | |
| CN113326713A (zh) | 一种动作识别方法、装置、设备及介质 | |
| CN112257645B (zh) | 人脸的关键点定位方法和装置、存储介质及电子装置 | |
| CN111273762A (zh) | 基于ar设备的连接器送销方法、装置、ar设备及存储介质 | |
| CN115130979A (zh) | 一种基于mr的烟机辅助巡检装置及方法 | |
| Gupta et al. | Hand gesture based region marking for tele-support using wearables | |
| CN111660294B (zh) | 一种液压重载机械臂增强现实操控系统 | |
| CN113539010B (zh) | 一种驾驶模拟方法、装置、设备及存储介质 | |
| WO2022032688A1 (en) | Method for remote assistance and device | |
| CN114567535A (zh) | 一种基于增强现实的产品交互与故障诊断方法 | |
| CN114694166A (zh) | 设备控制方法及系统、存储介质、电子装置 | |
| CN113561988A (zh) | 一种基于视线追踪的语音控制方法、汽车及可读存储介质 | |
| Palomino et al. | AI-Powered Augmented Reality Training for Metal Additive Manufacturing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |