CN115576434A - 基于ar的设备操作指导方法、系统及相关设备 - Google Patents
基于ar的设备操作指导方法、系统及相关设备 Download PDFInfo
- Publication number
- CN115576434A CN115576434A CN202211577449.5A CN202211577449A CN115576434A CN 115576434 A CN115576434 A CN 115576434A CN 202211577449 A CN202211577449 A CN 202211577449A CN 115576434 A CN115576434 A CN 115576434A
- Authority
- CN
- China
- Prior art keywords
- equipment
- target
- guidance
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002452 interceptive effect Effects 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims description 47
- 230000003993 interaction Effects 0.000 claims description 19
- 238000011900 installation process Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 239000007788 liquid Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 230000009286 beneficial effect Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于AR的设备操作指导方法、系统及相关设备，方法包括：获取目标设备对应的目标图像集合；根据目标图像集合，通过设备识别模型获取目标设备对应的设备型号；根据目标设备对应的设备型号，从设备操作指导数据库中查找获取目标设备对应的目标设备指导信息，包括目标设备三维模型；通过指导对象的第一AR设备和被指导对象的第二AR设备分别向指导对象和被指导对象输出目标设备指导信息；获取指导对象通过第一AR设备输入的指导交互指令，根据指导交互指令更新目标设备三维模型，通过第一AR设备和第二AR设备实时输出更新后的目标设备三维模型。本发明有利于提高设备操作指导效果和设备操作指导的实时性。
Description
技术领域
本发明涉及设备操作指导技术领域，尤其涉及的是一种基于AR的设备操作指导方法、系统及相关设备。
背景技术
随着科学技术的发展，各种设备的应用越来越广泛。而各种设备的功能和结构也越来越复杂，因此，用户在使用各种设备的过程中可能会遇到各种操作问题，例如，不清楚对应的结构部件应该如何安装或拆卸、不清楚想要实现某种功能时应该点击哪几个按键等。
现有技术中，设备生产厂商通常为对应的设备制作使用说明书以指导用户操作。现有技术的问题在于，使用说明书难以直观的为操作对象（即使用设备的用户）展示对应的操作，并且难以覆盖操作对象遇到的所有问题，难以对操作对象在实际操作中遇到的实际问题进行针对性指导，不利于提高设备操作指导效果。且操作对象需要耗费大量时间翻阅说明书，不利于提高设备操作指导的实时性。
因此，现有技术还有待改进和发展。
发明内容
本发明的主要目的在于提供一种基于AR的设备操作指导方法、系统及相关设备，旨在解决现有技术中通过制作使用说明书以指导用户操作的方案不利于提高设备操作指导效果和指导的实时性的问题。
为了实现上述目的，本发明第一方面提供一种基于AR的设备操作指导方法，其中，上述基于AR的设备操作指导方法包括：
获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同；
根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号；
根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型；
通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息；
获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
可选的，上述目标图像集合中还包括上述目标设备对应的多张深度图像，上述深度图像与上述表面图像一一对应，且上述深度图像与该深度图像对应的表面图像的采集角度相同，其中，上述表面图像为表面RGB图像。
可选的，上述设备识别模型根据如下步骤进行训练：
将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入上述设备识别模型，通过上述设备识别模型获取对应的预测设备型号，其中，上述训练数据包括多组训练表面图像、多组训练深度图像以及对应的多个标注设备型号，一组训练表面图像、一组训练深度图像和一个标注设备型号之间相互对应；
根据上述预测设备型号和对应的标注设备型号对上述设备识别模型的模型参数进行调整，并继续执行上述将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入上述设备识别模型的步骤，直至满足预设训练条件，以得到已训练的设备识别模型。
可选的，上述设备操作指导数据库用于存储多个待指导设备对应的设备指导信息，上述根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，包括：
根据上述目标设备对应的设备型号匹配获取上述设备操作指导数据库中的目标待指导设备，其中，上述目标待指导设备的设备型号与上述目标设备的设备型号相同；
将上述目标待指导设备对应的设备指导信息作为上述目标设备指导信息。
可选的，上述目标设备指导信息还包括目标设备操作指导动画和目标设备操作指导文本，上述设备操作指导数据库中任意一个待指导设备对应的设备指导信息根据如下步骤生成：
获取上述待指导设备对应的设备资料信息和部件图像，其中，上述设备资料信息包括上述待指导设备的设备型号、设备尺寸、电机参数、机电液系统信息、安装过程信息、操作步骤信息和检修步骤信息，上述部件图像包括电主轴图像、丝攻图像、转台图像、线轨图像、五轴头图像、电机装置图像和进给装置图像；
根据上述设备资料信息和部件图像，通过预设的三维模型处理软件生成上述待指导设备对应的目标设备三维模型；
根据上述目标设备三维模型和上述设备资料信息获取上述待指导设备对应的目标设备操作指导动画和目标设备操作指导文本。
可选的，上述通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息，包括：
通过上述第一AR设备向上述指导对象输出上述目标设备三维模型；
通过上述第二AR设备向上述被指导对象输出上述目标设备三维模型、上述目标设备操作指导动画和上述目标设备操作指导文本。
可选的，上述方法还包括：
通过上述第二AR设备获取上述被指导对象输入的实际操作指令；
根据上述实际操作指令更新上述目标设备三维模型，通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型；
获取上述指导对象输入的指导答复信息并将上述指导答复信息发送给上述被指导对象，上述指导答复信息包括语音答复信息。
本发明第二方面提供一种基于AR的设备操作指导系统，其中，上述基于AR的设备操作指导系统包括：
图像获取模块，用于获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同；
设备型号识别模块，用于根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号；
设备匹配模块，用于根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型；
数据输出模块，用于通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息；
交互指导模块，用于获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
本发明第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于AR的设备操作指导程序，上述基于AR的设备操作指导程序被上述处理器执行时实现上述任意一种基于AR的设备操作指导方法的步骤。
本发明第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于AR的设备操作指导程序，上述基于AR的设备操作指导程序被处理器执行时实现上述任意一种基于AR的设备操作指导方法的步骤。
由上可见，本发明方案中，获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同；根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号；根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型；通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息；获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
与现有技术中相比，本发明方案中，采集目标设备的表面图像并据此识别目标设备的设备型号，从而在预设的设备操作指导数据库中自动匹配获取目标设备指导信息。如此，在用户（即被指导对象）对应拥有多个设备时，无需用户寻找对应设备的说明书。同时，目标设备指导信息中包括目标设备三维模型，通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备输出目标设备对应的目标设备指导信息，用户可以直观地看到具体的设备模型，有利于进行理解，指导对象也可以根据直观的设备模型进行指导，有利于提高设备操作指导效果。同时，还可以由指导对象进行实时指导，具体的，指导对象可以通过第一AR设备输入指导交互指令，根据指导交互指令更新目标设备三维模型，而第一AR设备和第二AR设备也会实时输出更新后的目标设备三维模型，即指导对象对目标设备三维模型进行的操作都可以实时输出给被指导对象，以便被指导对象进行实时观察和学习，并根据指导操作目标设备，有利于提高设备操作指导效果和设备操作指导的实时性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于AR的设备操作指导方法的流程示意图；
图2是本发明实施例提供的一种基于AR的设备操作指导系统的结构示意图；
图3是本发明实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当…时”或“一旦”或“响应于确定”或“响应于分类到”。类似的，短语“如果确定”或“如果分类到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦分类到[所描述的条件或事件]”或“响应于分类到[所描述条件或事件]”。
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
随着科学技术的发展，各种设备的应用越来越广泛。而各种设备的功能和结构也越来越复杂，因此，用户在使用各种设备的过程中可能会遇到各种操作问题，例如，不清楚对应的结构部件应该如何安装或拆卸、不清楚想要实现某种功能时应该点击哪几个按键等。
现有技术中，设备生产厂商通常为对应的设备制作使用说明书以指导用户操作。现有技术的问题在于，使用说明书难以直观的为操作对象（即使用设备的用户）展示对应的操作，并且难以覆盖操作对象遇到的所有问题，难以对操作对象在实际操作中遇到的实际问题进行针对性指导，不利于提高设备操作指导效果。且操作对象需要耗费大量时间翻阅说明书，不利于提高设备操作指导的实时性。
同时，一个说明书通常只与一个型号的设备对应，当操作对象具有多个设备时，还需要根据当前设备的型号查找对应的说明书，从而造成时间浪费，影响设备操作指导效率。
在一种应用场景中，还可以预先录制一段视频作为设备操作的指导视频，但录制的视频只能播放，无法进行交互，且视频中的具体内容也需要操作对象自行查找和定位，不能根据操作对象遇到的实际问题进行实时指导，不利于提高设备操作指导的效果和实时性，不能为操作对象提供较好的指导体验。
为了解决上述多个问题中的至少一个问题，本发明方案中，获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同；根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号；根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型；通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息；获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
与现有技术中相比，本发明方案中，采集目标设备的表面图像并据此识别目标设备的设备型号，从而在预设的设备操作指导数据库中自动匹配获取目标设备指导信息。如此，在用户（即被指导对象）对应拥有多个设备时，无需用户寻找对应设备的说明书。同时，目标设备指导信息中包括目标设备三维模型，通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备输出目标设备对应的目标设备指导信息，用户可以直观地看到具体的设备模型，有利于进行理解，指导对象也可以根据直观的设备模型进行指导，有利于提高设备操作指导效果。同时，还可以由指导对象进行实时指导，具体的，指导对象可以通过第一AR设备输入指导交互指令，根据指导交互指令更新目标设备三维模型，而第一AR设备和第二AR设备也会实时输出更新后的目标设备三维模型，即指导对象对目标设备三维模型进行的操作都可以实时输出给被指导对象，以便被指导对象进行实时观察和学习，并根据指导操作目标设备，有利于提高设备操作指导效果和设备操作指导的实时性。
示例性方法
如图1所示，本发明实施例提供一种基于AR的设备操作指导方法，具体的，上述方法包括如下步骤：
步骤S100，获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同。
其中，上述目标设备是需要进行操作指导的设备，具体的，被指导对象（即操作或使用目标设备的用户，也即目标设备的操作对象）在操作目标设备时，可以根据指导对象的指导进行操作。
本实施例中，被指导对象在使用或操作目标设备之前，扫描获取目标设备对应的目标图像集合。具体的，上述目标设备对应的目标图像集合中的图像可以通过预先设置的摄像头或被指导对象所佩戴的第二AR设备采集，还可以有其它采集方式，例如由被指导对象使用携带的智能移动终端（例如手机、智能手表或平板电脑）采集，在此不作具体限定。
具体的，上述目标图像集合中的各个表面图像对应的采集角度不同（可以预设多个角度的图像采集设备或由被指导对象移动图像采集设备的位置），从而实现多角度的图像采集，以便更好地识别出对应的目标设备的型号。
进一步的，上述目标图像集合中还包括上述目标设备对应的多张深度图像，上述深度图像与上述表面图像一一对应，且上述深度图像与该深度图像对应的表面图像的采集角度相同，其中，上述表面图像为表面RGB图像。
如此，使用表面RGB图像，可以利用目标设备表面各个部位以及该目标设备总体的形状、颜色进行设备识别。同时，结合深度图像可以更好地提取出目标设备表面的结构特征细节，提高设备识别效率和准确性。
在一种应用场景中，若上述目标设备是经过自定义涂装的设备，则可以使用表面灰度图像替换上述表面RGB图像，或采集与各个表面RGB图像的采集角度相同的表面RGB图像加入到上述目标图像集合中，结合灰度图像降低表面涂装的颜色对设备识别过程的影响，进一步提高设备识别效率和准确性。
在另一种应用场景中，对于采集获取的表面图像（和表面深度图像），还可以进行标准化处理（例如处理成统一的预设尺寸）和图像增强处理，以使得后续针对图像的处理操作更加方便和快速，从而提升设备识别效率和效果。
步骤S200，根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号。
本实施例中，使用预先设置的已训练的设备识别模型识别获取目标设备对应的设备型号。其中，上述已训练的设备识别模型是预先训练好的神经网络模型，被训练用于根据输入的图像识别出图像中设备对应的型号。
其中，上述设备识别模型根据如下步骤进行训练：将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入上述设备识别模型，通过上述设备识别模型获取对应的预测设备型号，其中，上述训练数据包括多组训练表面图像、多组训练深度图像以及对应的多个标注设备型号，一组训练表面图像、一组训练深度图像和一个标注设备型号之间相互对应；根据上述预测设备型号和对应的标注设备型号对上述设备识别模型的模型参数进行调整，并继续执行上述将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入上述设备识别模型的步骤，直至满足预设训练条件，以得到已训练的设备识别模型。
其中，上述预设训练条件是预先设置的迭代训练停止条件，包括迭代次数达到预设的迭代阈值或损失值小于预设的损失阈值，还可以包括其它条件，在此不作具体限定。其中，上述损失值是根据预设的损失函数计算出的预测设备型号及其对应的标注设备型号之间的损失值。
需要说明的是，上述设备识别模型在训练过程中输入的训练数据中还可以包括其它类型的图像（例如训练表面灰度图像），对应的使用训练好的该模型进行设备识别时也需要输入对应类型的图像。
步骤S300，根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型。
其中，上述预设的设备操作指导数据库是预先设置的用于存储多个待指导设备所对应的指导信息的数据库，且上述设备操作指导数据库中的各个待指导设备所对应的设备型号唯一（即各不相同）。
具体的，上述设备操作指导数据库用于存储多个待指导设备对应的设备指导信息，上述根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，包括：根据上述目标设备对应的设备型号匹配获取上述设备操作指导数据库中的目标待指导设备，其中，上述目标待指导设备的设备型号与上述目标设备的设备型号相同；将上述目标待指导设备对应的设备指导信息作为上述目标设备指导信息。
如此，通过设备型号的匹配自动查找获取对应的目标设备指导信息，被指导对象无需手动查阅说明书，有利于节省操作时间，且提高操作指导效率和准确性。
本实施例中，上述目标设备指导信息还包括目标设备操作指导动画和目标设备操作指导文本，上述设备操作指导数据库中任意一个待指导设备对应的设备指导信息根据如下步骤生成：获取上述待指导设备对应的设备资料信息和部件图像，其中，上述设备资料信息包括上述待指导设备的设备型号、设备尺寸、电机参数、机电液系统信息、安装过程信息、操作步骤信息和检修步骤信息，上述部件图像包括电主轴图像、丝攻图像、转台图像、线轨图像、五轴头图像、电机装置图像和进给装置图像；根据上述设备资料信息和部件图像，通过预设的三维模型处理软件生成上述待指导设备对应的目标设备三维模型；根据上述目标设备三维模型和上述设备资料信息获取上述待指导设备对应的目标设备操作指导动画和目标设备操作指导文本。
其中，上述预设的三维模型处理软件包括solidworks和3Dmax。具体的，上述目标设备操作指导动画和目标设备操作指导文本可以结合目标设备三维模型和对应的安装过程信息、操作步骤信息和检修步骤信息生成。例如，在一种应用场景中，获得目标设备三维模型之后，根据对应的安装过程信息对目标设备三维模型中的各个部件进行组装，可以生成用于指导安装操作的目标设备操作指导动画，而将安装过程转换为文字描述的方式则可以获得对应的目标设备操作指导文本。同样的，也可以生成对应的拆解指导动画、拆解指导文本、使用指导动画和使用指导文本，在此不作具体限定。
本实施例中，上述待指导设备和上述目标设备为桥式五轴龙门加工中心。其中，上述电机参数包括伺服电机参数和力矩电机参数。丝攻即丝锥，上述丝攻图像中标注了各个丝攻的所处的位置，以便进行操作指导。需要说明的是，在采集到上述各个部件图像之后，可以根据预设的数据增强步骤对上述部件图像进行数据增强并获得增强后的部件图像，在后续处理过程中使用增强后的部件图像，以提高处理效率和准确性。
在一种应用场景中，预先一次性对待指导设备进行图像采集获取多个图像，然后对采集的上述图像数据样本增强以提升后续部件识别的精度和效率。然后使用预先设置的部件识别模型或部件识别算法（例如yolo5算法）对增强后的图像进行部件识别，从而根据识别出的部件筛选（或截取）获得对应的部件图像。
需要说明的是，上述设备资料信息和部件图像中具体包括的信息和图像可以根据实际需求进行确定和调整，例如，还可以包括除上述列出来的信息和图像以外的其它图像，也可以仅包括上述列出来的信息和图像中的一部分而非全部，在此不作具体限定。
步骤S400，通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息。
其中，上述指导对象是对目标设备操作过程进行指导的用户，上述指导对象可以进行远程指导，因此指导对象不需要在目标设备的使用现场。被指导对象则是直接对目标设备进行操作的用户，因此上述被指导对象在目标设备的使用现场并对目标设备进行指导。上述第一AR设备是指导对象佩戴的AR设备，上述第二AR设备是指导对象是被指导对象佩戴的AR设备，上述第一AR设备可以是AR眼镜、AR头盔，也可以是支持AR功能的手机、电脑等，以方便指导对象进行交互指导。上述第二AR设备优选为AR眼镜、AR头盔或支持AR功能的手机，以便被指导对象在观看第二AR设备的输出内容的同时操作目标设备。
本实施例中，上述通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息，包括：通过上述第一AR设备向上述指导对象输出上述目标设备三维模型；通过上述第二AR设备向上述被指导对象输出上述目标设备三维模型、上述目标设备操作指导动画和上述目标设备操作指导文本。
具体的，针对指导对象只需要输出目标设备三维模型以便指导对象针对该目标设备三维模型进行交互和操作指导。针对被指导对象则输出述目标设备三维模型、上述目标设备操作指导动画和上述目标设备操作指导文本，能够降低需要传输的数据量，提高指导的实时性，同时能够更好的对被指导对象进行操作指导。
步骤S500，获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
本实施例中，指导对象可以通过第一AR设备输入对应的指导交互指令，具体的输入方式取决于第一AR设备的具体类型，例如可以通过屏幕点击、鼠标操作或手势操作的方式输入指导交互指令。上述指导交互指令可以用于控制和更新对应的目标设备三维模型，并输出给被指导对象，从而方便被指导对象直观的看到需要如何操作（例如需要组装哪个部件、拆解哪个部件或电机哪个按键）。其中，上述指导交互指令包括针对目标设备的按键点击、部件拖拽、部件组合、参数标注、部件翻转等多种操作中的一种或多种，还可以包括其它具体操作，在此不作具体限定。
需要说明的是，本实施例中上述第一AR设备和第二AR设备实时同步的展示目标设备三维模型及其更新过程，有利于进行实时指导。
进一步的，上述方法还包括：通过上述第二AR设备获取上述被指导对象输入的实际操作指令；根据上述实际操作指令更新上述目标设备三维模型，通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型；获取上述指导对象输入的指导答复信息并将上述指导答复信息发送给上述被指导对象，上述指导答复信息包括语音答复信息。
其中，上述被指导对象输入的实际操作指令包括针对目标设备实体的操作指令和针对目标设备三维模型的操作指令。将被指导对象的实际操作指令也实时反映到目标设备三维模型中，以便指导对象及时查看设备操作情况，进行下一步指导或纠错。本实施例中，指导对象通过指导答复信息进行下一步指导或纠错。
在一种应用场景中，如果上述实际操作指令是针对目标设备实体的操作指令，则将被指导对象针对上述目标对象实体的具体操作视频也传输给第一AR设备并向指导对象输出，以便指导对象进一步进行查看和分析。上述指导答复信息还可以包括基于目标设备三维模型的标注信息、视频答复信息、操作演示动画信息等，在此不作具体限定。
需要说明的是，指导对象和被指导对象都可以通过对应的AR设备主动向对方发起语音通话或视频通话，从而进行远程指导或远程问询，进行实时操作指导。
由上可见，本发明方案中，采集目标设备的表面图像并据此识别目标设备的设备型号，从而在预设的设备操作指导数据库中自动匹配获取目标设备指导信息。如此，在用户（即被指导对象）对应拥有多个设备时，无需用户寻找对应设备的说明书。同时，目标设备指导信息中包括目标设备三维模型，通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备输出目标设备对应的目标设备指导信息，用户可以直观地看到具体的设备模型，有利于进行理解，指导对象也可以根据直观的设备模型进行指导，有利于提高设备操作指导效果。同时，还可以由指导对象进行实时指导，具体的，指导对象可以通过第一AR设备输入指导交互指令，根据指导交互指令更新目标设备三维模型，而第一AR设备和第二AR设备也会实时输出更新后的目标设备三维模型，即指导对象对目标设备三维模型进行的操作都可以实时输出给被指导对象，以便被指导对象进行实时观察和学习，并根据指导操作目标设备，有利于提高设备操作指导效果和设备操作指导的实时性。
示例性设备
如图2中所示，对应于上述基于AR的设备操作指导方法，本发明实施例还提供一种基于AR的设备操作指导系统，上述基于AR的设备操作指导系统包括：
图像获取模块610，用于获取目标设备对应的目标图像集合，其中，上述目标图像集合中包括上述目标设备对应的多张表面图像，各上述表面图像对应的图像采集角度不同；
设备型号识别模块620，用于根据上述目标图像集合，通过已训练的设备识别模型获取上述目标设备对应的设备型号；
设备匹配模块630，用于根据上述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与上述目标设备对应的目标设备指导信息，其中，上述目标设备指导信息包括目标设备三维模型；
数据输出模块640，用于通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向上述指导对象和上述被指导对象输出上述目标设备指导信息；
交互指导模块650，用于获取上述指导对象通过上述第一AR设备输入的指导交互指令，根据上述指导交互指令更新上述目标设备三维模型，并通过上述第一AR设备和上述第二AR设备实时输出更新后的目标设备三维模型，其中，上述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
具体的，本实施例中，上述基于AR的设备操作指导系统及其各模块的具体功能可以参照上述基于AR的设备操作指导方法中的对应描述，在此不再赘述。
需要说明的是，上述基于AR的设备操作指导系统的各个模块的划分方式并不唯一，在此也不作为具体限定。
在另一种应用场景中，上述基于AR的设备操作指导系统还可以包括加工中心资料信息收集模块、部件图像收集模块、建模渲染与剪辑模块、机床部件识别模块、远程交互模块以及终端展示模块。上述加工中心资料信息收集模块用于预先收集各个加工中心（即待指导设备）对应的资料信息，上述资料信息包括机床型号、尺寸、伺服电机参数、力矩电机参数、机电液系统信息、安装过程、操作方法和检修方法。上述部件图像收集模块用于采集各加工中心的部件对应的图像，部件包括电主轴、丝攻、转台、线轨、五轴头、电机装置、进给装置等。上述建模渲染与剪辑模块用于根据上述加工中心资料信息和部件对应的图像，利用solidworks对加工中心进行精密建模，通过3Dmax对模型进行渲染，放入所使用的AR设备中生成动画。上述机床部件识别模块用于进行部件识别，具体的，首先把收集到的机床各部件图像数据进行数据样本增强以提升模型识别精度与效率，利用yolo5算法进行部件识别，其中，上述yolo5算法写入所使用的AR设备中，以便直接根据AR设备进行部件识别。上述远程交互与运维模块基于Unity 3D进行开发，可以实现设备展示、安装调试、仿真操作、检修工艺、AR功能以及远程操作培训等功能；终端展示模块包括指导对象对应的第一终端（即第一AR设备）和被指导对象对应的第二终端（即第二AR设备），具体的，可以在第一终端（例如电脑端）和第二终端（例如手机端）同步实时展示出机床（即目标设备）对应的爆炸图及实时交互操作视频。如此，结合增强现实技术（AR，Augmented Reality）进行操作指导，并使用yolo算法提高设备部件识别效率，有利于提高操作指导效率和效果，并降低操作指导过程中的成本，降低设备对应的售后服务成本，提升售后服务体验。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图3所示。上述智能终端包括处理器及存储器。该智能终端的存储器包括基于AR的设备操作指导程序，存储器为基于AR的设备操作指导程序的运行提供环境。该基于AR的设备操作指导程序被处理器执行时实现上述任意一种基于AR的设备操作指导方法的步骤。需要说明的是，上述智能终端还可以包括其它功能模块或单元，在此不作具体限定。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体地智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于AR的设备操作指导程序，上述基于AR的设备操作指导程序被处理器执行时实现本发明实施例提供的任意一种基于AR的设备操作指导方法的步骤。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的系统/智能终端和方法，可以通过其它的方式实现。例如，以上所描述的系统/智能终端实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于AR的设备操作指导方法，其特征在于，所述方法包括：
获取目标设备对应的目标图像集合，其中，所述目标图像集合中包括所述目标设备对应的多张表面图像，各所述表面图像对应的图像采集角度不同；
根据所述目标图像集合，通过已训练的设备识别模型获取所述目标设备对应的设备型号；
根据所述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与所述目标设备对应的目标设备指导信息，其中，所述目标设备指导信息包括目标设备三维模型；
通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向所述指导对象和所述被指导对象输出所述目标设备指导信息；
获取所述指导对象通过所述第一AR设备输入的指导交互指令，根据所述指导交互指令更新所述目标设备三维模型，并通过所述第一AR设备和所述第二AR设备实时输出更新后的目标设备三维模型，其中，所述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
2.根据权利要求1所述的基于AR的设备操作指导方法，其特征在于，所述目标图像集合中还包括所述目标设备对应的多张深度图像，所述深度图像与所述表面图像一一对应，且所述深度图像与该深度图像对应的表面图像的采集角度相同，其中，所述表面图像为表面RGB图像。
3.根据权利要求2所述的基于AR的设备操作指导方法，其特征在于，所述设备识别模型根据如下步骤进行训练：
将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入所述设备识别模型，通过所述设备识别模型获取对应的预测设备型号，其中，所述训练数据包括多组训练表面图像、多组训练深度图像以及对应的多个标注设备型号，一组训练表面图像、一组训练深度图像和一个标注设备型号之间相互对应；
根据所述预测设备型号和对应的标注设备型号对所述设备识别模型的模型参数进行调整，并继续执行所述将训练数据中的一组训练表面图像及其对应的一组训练深度图像输入所述设备识别模型的步骤，直至满足预设训练条件，以得到已训练的设备识别模型。
4.根据权利要求1所述的基于AR的设备操作指导方法，其特征在于，所述设备操作指导数据库用于存储多个待指导设备对应的设备指导信息，所述根据所述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与所述目标设备对应的目标设备指导信息，包括：
根据所述目标设备对应的设备型号匹配获取所述设备操作指导数据库中的目标待指导设备，其中，所述目标待指导设备的设备型号与所述目标设备的设备型号相同；
将所述目标待指导设备对应的设备指导信息作为所述目标设备指导信息。
5.根据权利要求4所述的基于AR的设备操作指导方法，其特征在于，所述目标设备指导信息还包括目标设备操作指导动画和目标设备操作指导文本，所述设备操作指导数据库中任意一个待指导设备对应的设备指导信息根据如下步骤生成：
获取所述待指导设备对应的设备资料信息和部件图像，其中，所述设备资料信息包括所述待指导设备的设备型号、设备尺寸、电机参数、机电液系统信息、安装过程信息、操作步骤信息和检修步骤信息，所述部件图像包括电主轴图像、丝攻图像、转台图像、线轨图像、五轴头图像、电机装置图像和进给装置图像；
根据所述设备资料信息和部件图像，通过预设的三维模型处理软件生成所述待指导设备对应的目标设备三维模型；
根据所述目标设备三维模型和所述设备资料信息获取所述待指导设备对应的目标设备操作指导动画和目标设备操作指导文本。
6.根据权利要求5所述的基于AR的设备操作指导方法，其特征在于，所述通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向所述指导对象和所述被指导对象输出所述目标设备指导信息，包括：
通过所述第一AR设备向所述指导对象输出所述目标设备三维模型；
通过所述第二AR设备向所述被指导对象输出所述目标设备三维模型、所述目标设备操作指导动画和所述目标设备操作指导文本。
7.根据权利要求1所述的基于AR的设备操作指导方法，其特征在于，所述方法还包括：
通过所述第二AR设备获取所述被指导对象输入的实际操作指令；
根据所述实际操作指令更新所述目标设备三维模型，通过所述第一AR设备和所述第二AR设备实时输出更新后的目标设备三维模型；
获取所述指导对象输入的指导答复信息并将所述指导答复信息发送给所述被指导对象，所述指导答复信息包括语音答复信息。
8.一种基于AR的设备操作指导系统，其特征在于，所述系统包括：
图像获取模块，用于获取目标设备对应的目标图像集合，其中，所述目标图像集合中包括所述目标设备对应的多张表面图像，各所述表面图像对应的图像采集角度不同；
设备型号识别模块，用于根据所述目标图像集合，通过已训练的设备识别模型获取所述目标设备对应的设备型号；
设备匹配模块，用于根据所述目标设备对应的设备型号，从预设的设备操作指导数据库中查找获取与所述目标设备对应的目标设备指导信息，其中，所述目标设备指导信息包括目标设备三维模型；
数据输出模块，用于通过指导对象对应的第一AR设备和被指导对象对应的第二AR设备分别向所述指导对象和所述被指导对象输出所述目标设备指导信息；
交互指导模块，用于获取所述指导对象通过所述第一AR设备输入的指导交互指令，根据所述指导交互指令更新所述目标设备三维模型，并通过所述第一AR设备和所述第二AR设备实时输出更新后的目标设备三维模型，其中，所述指导交互指令包括按键点击、部件拖拽、部件组合、参数标注、部件翻转中的至少一种。
9.一种智能终端，其特征在于，所述智能终端包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的基于AR的设备操作指导程序，所述基于AR的设备操作指导程序被所述处理器执行时实现如权利要求1-7任意一项所述基于AR的设备操作指导方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于AR的设备操作指导程序，所述基于AR的设备操作指导程序被处理器执行时实现如权利要求1-7任意一项所述基于AR的设备操作指导方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211577449.5A CN115576434B (zh) | 2022-12-09 | 2022-12-09 | 基于ar的设备操作指导方法、系统及相关设备 |
| PCT/CN2022/140074 WO2024119542A1 (zh) | 2022-12-09 | 2022-12-19 | 基于ar的设备操作指导方法、系统及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211577449.5A CN115576434B (zh) | 2022-12-09 | 2022-12-09 | 基于ar的设备操作指导方法、系统及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115576434A true CN115576434A (zh) | 2023-01-06 |
| CN115576434B CN115576434B (zh) | 2023-04-25 |
Family
ID=84590421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211577449.5A Active CN115576434B (zh) | 2022-12-09 | 2022-12-09 | 基于ar的设备操作指导方法、系统及相关设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115576434B (zh) |
| WO (1) | WO2024119542A1 (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080269919A1 (en) * | 2007-04-27 | 2008-10-30 | Oluf Nissen | Bringing user attention to guidance information presented on a display device |
| CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
| CN110751735A (zh) * | 2019-09-30 | 2020-02-04 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
| CN111273762A (zh) * | 2019-08-27 | 2020-06-12 | 上海飞机制造有限公司 | 基于ar设备的连接器送销方法、装置、ar设备及存储介质 |
| CN113222184A (zh) * | 2021-01-29 | 2021-08-06 | 国网辽宁省电力有限公司大连供电公司 | 基于增强现实ar的设备巡检系统及方法 |
| CN114694139A (zh) * | 2022-06-01 | 2022-07-01 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床复杂结构件加工特征识别方法及系统 |
| CN115437507A (zh) * | 2022-11-07 | 2022-12-06 | 中科航迈数控软件(深圳)有限公司 | 基于ar眼镜的设备维修指导方法、系统及相关设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112288889A (zh) * | 2020-10-30 | 2021-01-29 | 北京市商汤科技开发有限公司 | 指示信息展示方法、装置、计算机设备及存储介质 |
| CN112288883B (zh) * | 2020-10-30 | 2023-04-18 | 北京市商汤科技开发有限公司 | 作业指导信息的提示方法、装置、电子设备及存储介质 |
| CN115392512B (zh) * | 2022-10-28 | 2023-02-14 | 中科航迈数控软件(深圳)有限公司 | 基于ar技术的设备检修方法、系统及相关设备 |
-
2022
- 2022-12-09 CN CN202211577449.5A patent/CN115576434B/zh active Active
- 2022-12-19 WO PCT/CN2022/140074 patent/WO2024119542A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080269919A1 (en) * | 2007-04-27 | 2008-10-30 | Oluf Nissen | Bringing user attention to guidance information presented on a display device |
| CN107784885A (zh) * | 2017-10-26 | 2018-03-09 | 歌尔科技有限公司 | 基于ar设备的操作培训方法及ar设备 |
| CN111273762A (zh) * | 2019-08-27 | 2020-06-12 | 上海飞机制造有限公司 | 基于ar设备的连接器送销方法、装置、ar设备及存储介质 |
| CN110751735A (zh) * | 2019-09-30 | 2020-02-04 | 亮风台（上海）信息科技有限公司 | 一种基于增强现实的远程指导的方法与设备 |
| CN113222184A (zh) * | 2021-01-29 | 2021-08-06 | 国网辽宁省电力有限公司大连供电公司 | 基于增强现实ar的设备巡检系统及方法 |
| CN114694139A (zh) * | 2022-06-01 | 2022-07-01 | 中科航迈数控软件(深圳)有限公司 | 一种数控机床复杂结构件加工特征识别方法及系统 |
| CN115437507A (zh) * | 2022-11-07 | 2022-12-06 | 中科航迈数控软件(深圳)有限公司 | 基于ar眼镜的设备维修指导方法、系统及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024119542A1 (zh) | 2024-06-13 |
| CN115576434B (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Palmarini et al. | A systematic review of augmented reality applications in maintenance | |
| CN112346567B (zh) | 基于ai的虚拟交互模型生成方法、装置及计算机设备 | |
| CN112541957B (zh) | 动画生成方法、装置、电子设备以及计算机可读介质 | |
| CN109034069B (zh) | 用于生成信息的方法和装置 | |
| CN110446063A (zh) | 视频封面的生成方法、装置及电子设备 | |
| CN112585661A (zh) | 用于生成虚拟现实训练会话的方法和系统 | |
| US9697432B2 (en) | Generating support instructions by leveraging augmented reality | |
| CN110968712B (zh) | Bim族模型获取的方法、装置及系统 | |
| CN112241565A (zh) | 建模方法及相关装置 | |
| CN114169248B (zh) | 产品缺陷数据分析方法、系统、电子设备及可读存储介质 | |
| CN110706300A (zh) | 虚拟形象生成方法及装置 | |
| CN115437507B (zh) | 基于ar眼镜的设备维修指导方法、系统及相关设备 | |
| CN113297701B (zh) | 多种类工业零件堆叠场景的仿真数据集生成方法及装置 | |
| CN112489513A (zh) | 一种用于变电行业设备虚拟培训的系统及方法 | |
| CN111915032A (zh) | 一种基于ar技术对设备使用和维护方法 | |
| CN116737883A (zh) | 人机交互方法、装置、设备及存储介质 | |
| CN117992587A (zh) | 一种基于大模型的人机交互方法、装置及介质 | |
| Yafei et al. | Generative AI in Industrial Revolution: A Comprehensive Research on Transformations, Challenges, and Future Directions | |
| CN112766130A (zh) | 一种课堂教学质量监测方法、系统、终端及存储介质 | |
| CN115576434B (zh) | 基于ar的设备操作指导方法、系统及相关设备 | |
| CN112016077A (zh) | 一种基于滑动轨迹模拟的页面信息获取方法、装置和电子设备 | |
| CN116339512A (zh) | 一种基于桌面投影的增强现实辅助装配系统及方法 | |
| CN116167118A (zh) | 一种面向新装备的沉浸式虚拟设备维修性验证方法及系统 | |
| CN116226526A (zh) | 一种知识产权智能检索平台及方法 | |
| CN115375965A (zh) | 一种目标场景识别的预处理方法、目标场景识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231016 Address after: 518000 A-301, office building, Shenzhen Institute of advanced technology, No. 1068, Xue Yuan Avenue, Shenzhen University Town, Shenzhen, Guangdong, Nanshan District, China Patentee after: Shenzhen shen-tech advanced Cci Capital Ltd. Address before: No.1068, Xueyuan Avenue, University Town, Xili street, Nanshan District, Shenzhen, Guangdong 518000 Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240115 Address after: 200120 Building 1, No. 1235 and 1237, Miaoxiang Road, Lingang New Area, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: SHANGHAI NOZOLI MACHINE TOOLS TECHNOLOGY Co.,Ltd. Address before: 518000 A-301, office building, Shenzhen Institute of advanced technology, No. 1068, Xue Yuan Avenue, Shenzhen University Town, Shenzhen, Guangdong, Nanshan District, China Patentee before: Shenzhen shen-tech advanced Cci Capital Ltd. |
|
| TR01 | Transfer of patent right |