CN115244489A - 计算机增强维护系统 - Google Patents
计算机增强维护系统 Download PDFInfo
- Publication number
- CN115244489A CN115244489A CN202080098038.0A CN202080098038A CN115244489A CN 115244489 A CN115244489 A CN 115244489A CN 202080098038 A CN202080098038 A CN 202080098038A CN 115244489 A CN115244489 A CN 115244489A
- Authority
- CN
- China
- Prior art keywords
- machine
- augmented reality
- user interface
- relative
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 43
- 230000003190 augmentative effect Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 26
- 239000003550 marker Substances 0.000 claims description 12
- 239000011435 rock Substances 0.000 claims description 9
- 230000010399 physical interaction Effects 0.000 claims description 5
- 238000013024 troubleshooting Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000008439 repair process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001050 lubricating effect Effects 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000008247 solid mixture Substances 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000012144 step-by-step procedure Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Finance (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Development Economics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Exchange Systems With Centralized Control (AREA)
- Hardware Redundancy (AREA)
Abstract
一种用于辅助维护机器的设备。所述设备具有：用户界面，用于显示增强现实场景；相机，用于捕捉关注区域的实时视频，用于包含在所述增强现实场景中；定位模块，用于确定所述设备相对于所述机器的位置；形状辨识模块，用于辨识所述视频中的所述机器的实际部件；数据库，所述数据库是能够在所述增强现实场景中显示的虚拟部件和相关联的维护、组装和/或拆卸指令的数据库；以及匹配模块，用于将所述虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方以及哪一个链接到所述数据库，以提供维护指令。
Description
技术领域
本发明涉及一种用于辅助维护诸如移动式碎石机和筛分器之类的作业机器的设备和方法，特别涉及机械中的故障的识别和部件的更换。
背景技术
破碎机是一种被设计用以将大岩石破碎成较小的岩石、砾石或岩屑的机器。破碎机可以用于减小废料的尺寸或改变废料的形式，以便使它们更容易处理或回收，或减小原材料(如岩石矿石)的固体混合物的尺寸，以便可以区分不同成分的碎块。
采矿、采石拆除和回收操作使用破碎机，该破碎机通常根据破碎机破碎起始材料的程度进行分类，其中初级和二级破碎机处理粗材料，三级和四级破碎机将矿石颗粒降低到更细的等级。每个破碎机被设计用于处理一定最大尺寸的原材料，并且通常将其输出运送到筛分机，该筛分机对产品进行分选并和引导产品以进行进一步加工。
图1a是破碎机的第一侧视图，图1b是破碎机的第二侧视图，图1c是破碎机的平面图。在这些图中，示出了破碎机1包括用于接收未加工岩石的料斗3、在其中破碎岩石的破碎机箱5、侧输送机7、液压控制箱9、主输送机11、电源组13、电气控制箱15、料斗门17和履带19。非驱动侧21和驱动侧23在图1c中示出。一种变体可以包括在进料输送机和破碎机之间的筛网。另外，机器可以使用柴油/液压系统或柴油/电力系统提供动力。
图2是类似破碎机的透视图，在该破碎机中示出了下列特征。带有履带的底盘、液压罐、进料输送机、支腿、控制柜、主输出输送机、驱动护罩和皮带张紧系统、圆锥破碎机和进料箱、维护走道、圆锥润滑罐、电源组和料斗。
诸如图1a至图1c和图2中所示的破碎机之类的机器复杂、昂贵，并且采用由高规格材料制成的高质量部件建造，以允许部件承受极端温度和天气条件下的恶劣环境，并且其中，大量灰尘和岩石颗粒存在于本地环境中。
这些机器包含范围广泛的传感器，这些传感器以多种不同的方式测量机器的性能，例如燃料效率、消耗性部件的使用等。传感器还提供故障查找信息，并且在一些情况下，传感器可以经由集成到机器中的计算装置将维修和故障信息传达给制造商。
因而，对这些机器进行定期维护并更换故障或磨损的部件是至关重要的。考虑到它们的高成本和购买破碎机所需的大量投资，机械故障和离线时间是非常不期望的。
通常，机器维修由制造商的分销商进行。一般而言，授权给不同类型的分销商以执行维护的专业知识和级别有多种。主分销商拥有更高水平的专业知识，因为他们有更多的工作，更多的员工，因此提供更多不同类型的服务。另外，制造商可以控制对进行某些类型的维修和修理所需的信息的访问，其中访问权限是取决于分销商的重要性和资历授予的。机器操作员和所有者也可以有权进行某些类型的修理和维护。
与这些机器的操作和维护相关联的一个问题在于这些机器经常在非常偏远的地点用于露天采矿等。因此，如果这些机器需要维护，则所需的成本和时间会显著增加，尤其是对于未联网或位于连接性较差的地点的机器来说。一些相关联的问题如下。
1.关闭机器并将其运输到主分销商进行例行维护是不切实际且非常昂贵的。
2.工程师前往机器处评估维护问题的成本。
3.工程师前往机器处修理机器、更换零件或提供例行维护的可能的单独费用。
发明内容
根据本发明的第一方面，提供了一种用于辅助维护机器的设备，所述设备包括：
用户界面，所述用户界面用于显示增强现实场景；
相机，所述相机用于捕捉关注区域的实时视频，用于包含在所述增强现实场景中；
定位模块，所述定位模块用于确定所述设备相对于所述机器的位置；
形状辨识模块，所述形状辨识模块用于辨识所述视频中的所述机器的实际部件；
数据库，所述数据库是能够在所述增强现实场景中显示的虚拟部件和相关联的维护指令的数据库；
匹配模块，所述匹配模块用于将所述虚拟部件与对应的所述实际部件进行匹配，从而向用户显示需要维护的地方以及哪一个链接到所述数据库，以提供维护指令。
应明白，术语“增强现实(AR)”可以用术语“混合现实(MR)”代替。这两个术语都传达的是使用技术来提供融合现实世界和虚拟世界的用户界面。
另外，术语“维护”包括诸如部件的组装和拆卸之类的任务。
在至少一个实施例中，设备是手持设备。
在至少一个实施例中，手持设备是平板计算机或智能手机。
在至少一个实施例中，设备是增强现实头显。
术语“头显”包括、但不限于头戴式设备、眼镜式装备和其它类似的可穿戴技术。
在至少一个实施例中，用户界面是图形用户界面。
在至少一个实施例中，用户界面是音频输出。
在至少一个实施例中，用户界面结合了图形用户界面和音频输出。
在至少一个实施例中，图形用户界面通过与手持设备的物理交互来控制。
在至少一个实施例中，图形用户界面通过与增强现实环境中的对象交互的手势来控制。
在至少一个实施例中，图形用户界面包括与指令窗口结合的增强现实体验或游戏对象和动画。
在至少一个实施例中，指令包括故障查找指令。
在至少一个实施例中，指令包括部件更换或部件组装或部件拆卸指令。
在至少一个实施例中，定位模块包括GPS定位设备。
在至少一个实施例中，定位模块包括本地网络设备，该本地网络设备确定设备相对于本地网络中的节点的位置。
在至少一个实施例中，定位模块包括GPS和本地网络的组合。
本地网络可以包括(Wi-FiTM、BluetoothTM、网状网络等)，或者可替选地是通过互联网连接(GSM、3G、4G、5G)连接到机器远程信息处理API。
在至少一个实施例中，定位模块检测并绘制设备相对于机器的位置。
在至少一个实施例中，定位模块提供更新的设备位置信息，以允许增强现实场景反映设备相对于机器的地点的变化。
在至少一个实施例中，定位模块提供更新的设备位置信息，以允许改变虚拟部件相对于机器的位置，如关注区域的增强现实体验或游戏对象所示的那样。
在至少一个实施例中，匹配模块利用虚拟游戏对象覆盖实际部件。
在至少一个实施例中，匹配由用户界面上的警报指示。
在至少一个实施例中，警报是闪烁的虚拟部件。
在至少一个实施例中，警报是虚拟部件的颜色的变化。
在一个实施例中，警报是声音。
在至少一个实施例中，机器是碎石机。
在至少一个实施例中，机器是筛分器。
在至少一个实施例中，参考标记被设置在机器上的预定地点处，以相对于机器定位设备。
在至少一个实施例中，参考标记是条形码。
在至少一个实施例中，参考标记是QR码。
在至少一个实施例中，参考标记被扫描，并且增强现实场景相对于该参考点被映射到用户界面上。
在至少一个实施例中，参考标记被设置在机器上的预定地点处，从而相对于机器定向AR体验。
在至少一个实施例中，参考标记是条形码。
在至少一个实施例中，参考标记是QR码。
在至少一个实施例中，参考标记被扫描，并且增强现实场景相对于该参考点被映射到设备中。
在至少一个实施例中，GPS检测并映射到AR场景中，改变头显相对于机器的位置。
根据本发明的第二方面，提供了一种用于辅助维护机器的计算机实施的方法，所述方法包括下列步骤：
使用设备实时捕捉关注区域的视频，以包含在所述设备的用户界面上的增强现实场景中；
确定所述设备相对于需要维护的机器的位置；
辨识所述视频中的所述机器的实际部件；
访问能够在所述增强现实场景中显示的虚拟部件和相关联的维护指令的数据库；
将所述虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方以及哪一个链接到所述数据库，以提供维护指令。
在至少一个实施例中，设备是手持设备。
在至少一个实施例中，手持设备是平板计算机或智能手机。
在至少一个实施例中，设备是增强现实头显。
在至少一个实施例中，用户界面是图形用户界面。
在至少一个实施例中，用户界面是音频输出。
在至少一个实施例中，用户界面结合了图形用户界面和音频输出。
在至少一个实施例中，图形用户界面通过与手持设备的物理交互来控制。
在至少一个实施例中，图形用户界面通过与增强现实环境中的对象交互的手势来控制。
在至少一个实施例中，图形用户界面包括与指令窗口结合的增强现实体验或游戏对象和动画。
在至少一个实施例中，指令包括故障查找指令。
在至少一个实施例中，指令包括部件更换或部件组装或部件拆卸指令。
在至少一个实施例中，使用GPS来确定设备相对于机器的位置。
在至少一个实施例中，定位模块包括本地网络设备，该本地网络设备确定设备相对于本地网络中的节点的定位。
在至少一个实施例中，定位模块包括GPS和本地网络的组合。
本地网络可以包括(Wi-Fi、Bluetooth、网状网络等)，或者可替选地是通过互联网连接(GSM、3G、4G、5G)连接到机器远程信息处理API。
在至少一个实施例中，定位模块检测并绘制设备相对于机器的位置。
在至少一个实施例中，设备位置信息被更新，以允许增强现实场景反映设备相对于机器的地点的变化。
在至少一个实施例中，设备位置信息被更新，以允许改变虚拟部件相对于机器的位置，如关注区域的视频图像所示的那样。
在至少一个实施例中，匹配模块利用虚拟游戏对象覆盖实际部件。
在至少一个实施例中，匹配由用户界面上的警报指示。
在至少一个实施例中，警报是闪烁的虚拟部件。
在至少一个实施例中，警报是虚拟部件的颜色的变化。
在至少一个实施例中，警报是声音。
在至少一个实施例中，参考标记被设置在机器上的预定地点处，以相对于机器定向AR体验。
在至少一个实施例中，参考标记是条形码。
在至少一个实施例中，参考标记是QR码。
在至少一个实施例中，参考标记被扫描，并且增强现实场景相对于该参考点被映射到设备中。
在至少一个实施例中，GPS检测并映射到AR场景中，改变头显相对于机器的位置。
附图说明
参考附图，通过仅以示例方式给出的本发明实施例的以下描述将更清楚地理解本发明，在附图中：
图1a是破碎机的第一侧视图，图1b是破碎机的第二侧视图，图1c是破碎机的平面图；
图2是另一破碎机的透视图；
图3是根据本发明的设备的实施例的示意图；
图4是示出连接到机器的本发明的示例的示意图；
图5是示出根据本发明的计算机实施的方法的第一示例的流程图；并且
图6a至图6g是来自AR界面的一系列屏幕截图，示出了根据本发明的设备的使用示例。
具体实施方式
本发明的设备提供了一种具有增强现实界面的设备，该设备辅助用户进行诸如小维修和部件更换等任务，而无需由高技能工程师完成这项工作。在作业机器位于对于工程师来说可能难以接近并且与机器之间的数据通信可能是断断续续的偏远地点的情况下，响应于机器上的物理变化将增强现实体验上传和存储在机器上以用作维护工具的能力是极为有用的。
本发明的设备可以实施为AR头显或手持设备，诸如结实的平板计算机。
机器或远程维修平板计算机充当其自己的独立服务器，以存储需要在头戴式设备上显示的增强现实内容。该独立服务器消除了对互联网连接的需要，因此用户可以利用离线、远程地理地点的体验。基于机器是否正在运行，在机器上或机器周围显示数字内容，以通知用户“未看到的”的危险。这些通知可以根据用户相对于机器的地点进行调整(tailored)。
另外，通过将平板计算机连接到AR头显和作业机器，平板计算机可以与AR头显结合使用，其中，平板计算机具有附加功能，例如，该附加功能可以用于订购备件，以创建可以发送给分销商或制造商的批准订单。在本发明的至少一个实施例中，存在直接从头戴式设备发送请求或订单的选项。
在本发明的一个或多个实施例中，使用GPS以允许计算头显的位置的变化，并用于映射头显相对于机器的某些零件的初始位置，如下面例示的那样。
1.具有多种传感器的机器使用传感器检测到机器的部件的故障。
2.该故障显示在机器的驾驶室中的屏幕上，并带有QR码。
3.用户使用增强现实头显或诸如手机或平板计算机等其它设备扫描该QR码。
4.嵌入在机器计算机中的技术支持则会引导用户通过一系列逐步程序来修复或调查故障，直至其授权和/或能力级别。
在一些情况下，GPS可以被本地网络(例如使用Wi-Fi)取代或增强。
图3是示出根据本发明的设备的示例的示意图。设备61包括用户界面63，该用户界面63可以是平板计算机上的图形用户界面和音频输出，或者可以是增强现实环境，例如，如可以使用Microsoft HoloLensTM或类似设备所提供的那样。设备还具有相机65，该相机65用于将设备的周围环境，特别是需要维护的机器捕捉为视频。在本发明的至少一个实施例中，在带宽和地点允许的情况下，可以流式传输视频并提供实时远程支持。
设备使用定位模块67，该定位模块67确定设备相对于机器的位置并且可以使用诸如QR码的参考标记作为参考标记，从而相对于机器定向设备。使用形状辨识模块69来辨识视频中的机器的实际部件。虚拟部件和相关联的维护指令73的数据库能够显示在增强现实场景中。匹配模块71将虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方以及哪一个链接到数据库，以提供维护指令。图4示出了被实施为AR头显75的设备，该设备能够经由Wi-Fi链路连接77到机器79。
在如图5中所示的本发明的方法的一个示例中，
101.AR设备实时捕捉关注区域的视频。
102.将所述视频结合到在设备用户界面上显示的增强现实场景中。
103.确定设备相对于作业机器的位置。
104.确定机器的实际部件在视频中的位置。
105.访问能够在增强现实场景中显示的虚拟部件和相关维护指令的数据库。
106.将虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方。
107.链接到数据库，以提供维护指令。
这种体验也可以下载/安装到设备上，以供离线使用。
在本发明的另一示例中，引导用户进行如参考图6a至图6g所示的使用交互式作业指令的AR体验，图6a至图6g是来自根据本发明的设备的示例的AR GUI的屏幕截图。
201.用户戴上AR头显，看向机器控制面板81，如图6a中所示。控制面板81具有覆盖在实际部件(AC)控制面板81上的虚拟部件(VC)控制面板83。
202.VC控制面板83被突出显示，并向用户提供音频提示，以起动在AC控制面板81上的机器点火。
203.用户在AR环境中使用手势选择VC控制面板83。故障窗口85打开。
204.用户做手势选择“故障1”，其涉及更换机油滤清器。
205.用户可以选择解决问题，以获得完整的诊断说明89。
206.用户视野中出现VC机油滤清器，AR头显引导用户到故障部位，该故障部位为位于机器的后部处的滤清器组件。用户将AR设备移动到机器的后部，将相机对准机器，以使VC机油滤清器的覆盖定位成与真实机油滤清器的位置相匹配。
207.当用户到达滤清器组件时，GUI上出现指令窗口。
208.用户做手势以确认他们准备好继续。
209.用户界面通知用户修理的第一步骤是检查和清洁压力开关，该步骤在图6c的VC压力开关89上示出。
210.用户做手势确认步骤完成。
211.突出显示要更换的滤清器并提供音频解释。
212.用户做手势确认步骤完成。
213.指示用户在滤清器下方放置容器以收集废油。VC以动画形式示出油落入容器中，并且滤清器被放入到容器97中，图6g。
214.选择VC滤清器并且该动作将该VC滤清器添加到图6e的在线门户上的购物车93中，以允许订购替换件。
215.移除AC滤清器。
216.点击进入下一步骤。
217.VC新滤清器被示出为95(图6f)，并且带有用于润滑的音频指令和在GUI上提供的视觉组装说明。
218.组装并填充新滤清器。
219.完成后，确认工作完成。
220.在主控制面板上发出起动机器并确认故障被清除的指令(图6g)。
在本发明的另一实施例中，用户按照基本的逐步体验来了解所涉及的作业，但随后发送请求让胜任的维修技术人员前来并代表他们执行活动。
下面将本发明的另一示例描述为一系列处理步骤。
301.开启AR头显或手持设备，以显示设备图形用户界面(GUI)。
302.检查安全和准备“采取5”通知。
303.加载作业指令。
304.有关惰轮更换的指令。
305.GUI上出现书面指令。
306.图形对象出现在图形用户界面上，其显示了对应于机器的实际部件(在这种情况下是机柜门)的虚拟部件(VC)。
307.设备指向机器(头显或移动设备)。
308.当设备相机将实际部件(AC)门如GUI上显示的那样定位，并且VC门和AC门的位置匹配或重叠到预定程度时，该部件在设备屏幕上突出显示。
309.用户通过在设备GUI上的点击或其它手势确认该部件是正确部件。
310.GUI显示用于松开VC螺栓的VC工具(扳手)，以在GUI上示出机柜门的打开。GUI显示了应当使用VC扳手的地点以及要打开机柜的话VC扳手应当转动的方向。播放音频以加强和补充GUI上的信息，其告知用户如何使用扳手打开机柜门。
311.GUI然后显示VC机柜门闪烁绿色，然后被打开，并且显示位于机柜门后方的另一VC部件。这邀请用户物理地打开实际的机柜门。
312.用户物理地拧下螺栓并打开机柜门。
313.GUI然后显示VC固定杆，该VC固定杆类似于收放在门内的AC固定杆。
314.GUI然后显示VC固定杆被移动到被固定在门和隔间之间的固定位置以便保持机柜打开的位置。
315.用户完成该任务。
316.用户返回作业指令并选择下一步骤，该下一步骤是拧下机柜内部的转动扣上的锁紧螺母的步骤。
317.设备GUI指向AC，并显示VC机柜和转动扣。
318.然后，设备GUI显示VC扳手向VC转动扣的地点移动。动画伴随有强化指令的音频。
319.如前所述，GUI结合了示出部件的图形对象和实时相机图像，以在GUI上创建增强现实场景。比较屏幕上AR部件和VR部件的位置，并使用它们的相对地点来辅助所需的维护任务。
320.然后，如所引导的那样，用户使用扳手将转动扣上的锁紧螺母拧松。
321.用户返回作业指令并选择下一步骤，在该下一步骤中：
i.使用调节杆提升惰轮组件；
ii.使用调节杆转动顶部连杆体，以伸展枢轴臂；并且
iii.重复，以确保枢轴臂避开驱动皮带。
322.用户返回作业指令并选择下一步骤，该下一步骤是连接可伸缩支撑连杆的步骤。
323.设备指向AC并且在GUI上将VC机柜显示为AR图像，并且设备为用户示出了用户完成的步骤322。
324.用户返回作业指令并选择下一步骤，该下一步骤是测量并记录锥锁(taperlock)相对于轴的位置。
325.设备指向AC并且在GUI上将VC机柜显示为AR图像，并且设备为用户示出用户完成的步骤324。
326.用户返回作业指令并选择下一步步骤，该下一步骤是移除锥锁螺钉并松开皮带轮轮毂中的锥锁。
327.设备指向AC并且在GUI上将VC机柜显示为AR图像并且设备为用户示出用户完成的步骤326。
328.用户返回作业指令并选择下一步骤，该下一步骤是从轴上移除锥锁轮毂。
329.设备指向AC并且在GUI上将VC机柜显示为AR图像并且设备为用户示出用户完成的步骤328。
330.用户返回作业指令并选择下一步骤，该下一步骤是安装预组装的锥锁和皮带轮。
331.设备指向AC并且在GUI上将VC机柜显示为AR图像并且设备为用户示出用户完成的步骤330。
332.后续步骤涉及部件的重新组装。
本发明的描述，包括参考附图描述本发明的示例的描述可以包括计算机装置和/或在计算机装置中执行的进程。然而，本发明还扩展到计算机程序，特别是存储在适于将本发明付诸实践的载体上或载体中的计算机程序。程序可以是源代码、目标代码或在源代码和目标代码中间的代码的形式，诸如部分编译形式或适合用于实施根据本发明的方法的任何其它形式。载体可以包括诸如ROM(例如，CD ROM)的存储介质，或磁记录介质，例如记忆棒或硬盘。载体可以是可以经由电缆或光缆或通过无线电或其它手段传输的电信号或光信号。
包括描述本发明示例的本发明的描述描述了增强现实(AR)系统和装置的使用。
AR将虚拟对象覆盖到现实世界环境上。像微软HoloLens和各种企业级“智能眼镜”这样的AR设备都是透明的，让你看到眼前的一切，就好像戴着一副弱太阳镜一样。该技术专为完全自由移动而设计，同时将图像投射到您所看到的任何东西上。术语“混合现实”将虚拟对象覆盖并锚定到现实世界。
在本说明书中，术语“包含…、包含…、含有…和包含…”或其任何变体和术语“包括…、包括…、具有…和包括…”或其任何变体被认为是完全可互换的，并且它们都应该被给予最广泛的可能解释，并且反之亦然。
本发明不限于上述实施例，而是可以在结构和细节上有所变化。
Claims (46)
1.一种用于辅助维护机器的设备，所述设备包括：
用户界面，所述用户界面用于显示增强现实场景；
相机，所述相机用于捕捉关注区域的实时视频，用于包含在所述增强现实场景中；
定位模块，所述定位模块用于确定所述设备相对于所述机器的位置；
形状辨识模块，所述形状辨识模块用于辨识所述视频中的所述机器的实际部件；
数据库，所述数据库是能够在所述增强现实场景中显示的虚拟部件和相关联的维护指令的数据库；
匹配模块，所述匹配模块用于将所述虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方以及哪一个链接到所述数据库，以提供维护指令。
2.根据权利要求1所述的设备，其中，所述设备是手持设备。
3.根据权利要求2所述的设备，其中，所述手持设备是平板计算机或智能手机。
4.根据权利要求1所述的设备，其中，所述设备是增强现实头显。
5.根据前述权利要求中的任一项所述的设备，其中，所述用户界面是图形用户界面。
6.根据前述权利要求中的任一项所述的设备，其中，所述用户界面是音频输出。
7.根据前述权利要求中的任一项所述的设备，其中，所述用户界面结合了图形用户界面和音频输出。
8.根据权利要求5所述的设备，其中，所述图形用户界面通过与所述手持设备的物理交互来控制。
9.根据权利要求8所述的设备，其中，所述物理交互包括与所述增强现实环境中的对象交互的手势和/或语音和/或键盘和/或鼠标。
10.根据权利要求5所述的设备，其中，所述图形用户界面包括与指令窗口结合的增强现实体验或游戏对象和动画。
11.根据前述权利要求中的任一项所述的设备，其中，所述指令包括故障查找指令。
12.根据前述权利要求中的任一项所述的设备，其中，所述指令包括部件更换或部件组装或部件拆卸指令。
13.根据前述权利要求中的任一项所述的设备，其中，所述定位模块包括GPS定位设备。
14.根据前述权利要求中的任一项所述的设备，其中，所述定位模块包括Wi-Fi设备，所述Wi-Fi设备确定所述设备相对于本地Wi-Fi网络中的节点的位置。
15.根据前述权利要求中的任一项所述的设备，其中，所述定位模块检测并绘制所述设备相对于所述机器的位置。
16.根据前述权利要求中的任一项所述的设备，其中，所述定位模块使用与所述机器相距一设定距离定位的游戏对象构成的格状/网状网络检测并绘制所述设备的位置。
17.根据前述权利要求中的任一项所述的设备，其中，所述定位模块提供更新的设备位置信息，以允许所述增强现实场景反映所述设备相对于所述机器的地点的变化。
18.根据前述权利要求中的任一项所述的设备，其中，所述定位模块提供更新的设备位置信息，以允许改变所述虚拟部件相对于所述机器的位置，如所述关注区域的视频图像所示的那样。
19.根据前述权利要求中的任一项所述的设备，其中，所述匹配模块利用从所述相机接收的实际部件图像覆盖所述虚拟部件。
20.根据前述权利要求中的任一项所述的设备，其中，匹配由所述用户界面上的警报指示。
21.根据权利要求20所述的设备，其中，所述警报是闪烁的虚拟部件。
22.根据权利要求20所述的设备，其中，所述警报是所述虚拟部件的颜色的变化。在一个实施例中，所述警报是声音。
23.根据前述权利要求中的任一项所述的设备，其中，所述机器是碎石机。
24.根据权利要求1至22所述的设备，其中，所述机器是筛分器。
25.根据前述权利要求中的任一项所述的设备，其中，参考标记被设置在所述机器上的预定地点处，以相对于所述机器定向所述设备。
26.根据权利要求25所述的设备，其中，所述参考标记是条形码。
27.根据权利要求25所述的设备，其中，所述参考标记是QR码。
28.根据权利要求25至27所述的设备，其中，所述参考标记被扫描，并且所述增强现实场景相对于所述参考点被映射到所述用户界面上。
29.根据权利要求25至27所述的设备，其中，所述参考标记被GPS检测并映射到所述AR场景中，改变所述头显相对于所述机器的位置。
30.根据前述权利要求中的任一项所述的设备，其中，提供到在线电子商务平台的链接，以用于从所述AR体验内订购零件和/或服务。
31.一种用于辅助维护机器的计算机实施的方法，所述方法包括下列步骤：
使用设备实时捕捉关注区域的视频，以包含在所述设备的用户界面上的增强现实场景中；
确定所述设备相对于需要维护的机器的位置；
辨识所述视频中的所述机器的实际部件；
访问能够在所述增强现实场景中显示的虚拟部件和相关联的维护指令的数据库；
将所述虚拟部件与对应的所述实际部件进行匹配，以向用户显示需要维护的地方以及哪一个链接到所述数据库，以提供维护指令。
32.根据权利要求31所述的方法，其中，所述图形用户界面通过与所述手持设备的物理交互来控制。
33.根据权利要求32所述的方法，其中，所述图形用户界面通过与增强现实环境中的对象交互的手势来控制。
34.根据权利要求31至33所述的方法，其中，所述指令包括故障查找指令。
35.根据权利要求31至33所述的方法，其中，所述指令包括部件更换或部件组装或部件拆卸指令。
36.根据权利要求31至35所述的方法，其中，使用GPS来确定所述设备相对于所述机器的位置。
37.根据权利要求31至36所述的方法，其中，使用Wi-Fi确定所述设备相对于所述机器的位置。
38.根据权利要求31至37所述的方法，其中，所述定位模块检测并绘制所述设备相对于所述机器的位置。
39.根据权利要求31至38所述的方法，其中，所述设备的位置信息被更新，以允许所述增强现实场景反映所述设备相对于所述机器的地点的变化。
40.根据权利要求31至38所述的方法，其中，所述设备的位置信息被更新，以允许改变所述虚拟部件相对于所述机器的位置，如所述关注区域的视频图像所示的那样。
41.根据权利要求31至40所述的方法，其中，用从所述相机接收的实际部件图像覆盖所述虚拟部件。
42.根据权利要求31至41所述的方法，其中，匹配由所述用户界面上的警报指示。
43.根据权利要求31至42所述的方法，其中，参考标记被设置在所述机器上的预定地点处，以相对于所述机器定向所述AR体验。
44.根据权利要求43所述的方法，其中，所述参考标记被扫描，并且所述增强现实场景相对于所述参考点被映射到所述设备中。
45.根据权利要求31至44所述的方法，其中，GPS检测并映射到所述AR场景中，改变所述头显相对于所述机器的位置。
46.根据权利要求31至45所述的方法，其中，所述设备被链接到在线电子商务平台，以从所述AR体验内订购零件和/或服务。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2020/056034 WO2021175439A1 (en) | 2020-03-06 | 2020-03-06 | Computer enhanced maintenance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115244489A true CN115244489A (zh) | 2022-10-25 |
Family
ID=69780202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080098038.0A Pending CN115244489A (zh) | 2020-03-06 | 2020-03-06 | 计算机增强维护系统 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230186573A1 (zh) |
| EP (1) | EP4115263A1 (zh) |
| CN (1) | CN115244489A (zh) |
| AU (1) | AU2020433699A1 (zh) |
| CA (1) | CA3169785A1 (zh) |
| WO (1) | WO2021175439A1 (zh) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
| US20100108092A1 (en) * | 2008-11-05 | 2010-05-06 | Leon Edward Zaharis | Ultrasonic powered sugarbeet and cut sugar cane cleaning method using a stainless steel flume |
| JP5728159B2 (ja) * | 2010-02-02 | 2015-06-03 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10573037B2 (en) * | 2012-12-20 | 2020-02-25 | Sri International | Method and apparatus for mentoring via an augmented reality assistant |
| WO2014127249A1 (en) * | 2013-02-14 | 2014-08-21 | Apx Labs, Llc | Representing and interacting with geo-located markers |
| US10056054B2 (en) * | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
| US10198620B2 (en) * | 2015-07-06 | 2019-02-05 | Accenture Global Services Limited | Augmented reality based component replacement and maintenance |
| US10427039B2 (en) * | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
| US9754397B1 (en) * | 2017-04-07 | 2017-09-05 | Mirage Worlds, Inc. | Systems and methods for contextual augmented reality sharing and performance |
| JP6845072B2 (ja) * | 2017-04-21 | 2021-03-17 | ファナック株式会社 | 工場設備の保守支援装置及び保守支援システム |
| EP3486110A1 (en) * | 2017-11-15 | 2019-05-22 | Danfoss Mobile Electrification Oy | Electrically driven working machine with battery and grid connection |
| US20190236844A1 (en) * | 2018-02-01 | 2019-08-01 | Isg Central Services Limited | Augmented reality system |
| US10768605B2 (en) * | 2018-07-23 | 2020-09-08 | Accenture Global Solutions Limited | Augmented reality (AR) based fault detection and maintenance |
| US10698603B2 (en) * | 2018-08-24 | 2020-06-30 | Google Llc | Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface |
| US10885819B1 (en) * | 2019-08-02 | 2021-01-05 | Harman International Industries, Incorporated | In-vehicle augmented reality system |
-
2020
- 2020-03-06 WO PCT/EP2020/056034 patent/WO2021175439A1/en unknown
- 2020-03-06 CA CA3169785A patent/CA3169785A1/en active Pending
- 2020-03-06 AU AU2020433699A patent/AU2020433699A1/en active Pending
- 2020-03-06 EP EP20710124.7A patent/EP4115263A1/en active Pending
- 2020-03-06 US US17/908,949 patent/US20230186573A1/en active Pending
- 2020-03-06 CN CN202080098038.0A patent/CN115244489A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4115263A1 (en) | 2023-01-11 |
| WO2021175439A1 (en) | 2021-09-10 |
| CA3169785A1 (en) | 2021-09-10 |
| AU2020433699A1 (en) | 2022-09-29 |
| US20230186573A1 (en) | 2023-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11761176B2 (en) | Method and device for maintaining and/or repairing a construction machine | |
| CN104823194B (zh) | 采矿作业控制和审查 | |
| CN106029993B (zh) | 用于监视粉碎元件的磨损的系统和方法 | |
| CN104321809B (zh) | 工业车辆的管理系统 | |
| US20060184295A1 (en) | On-board datalogger apparatus and service methods for use with vehicles | |
| US20070078579A1 (en) | Service for improving haulage efficiency | |
| Peterson | New forces at work in mining: industry views of critical technologies | |
| CN108766081A (zh) | 一种基于vr的汽车拆装培训系统 | |
| CN105474635A (zh) | 作业机械的周围监视装置 | |
| JP6906209B2 (ja) | 建設機械稼働状況管理システム及び管理方法 | |
| CN111985112A (zh) | 一种基于Unity3D的高炉数字孪生系统 | |
| CN115244489A (zh) | 计算机增强维护系统 | |
| CN108663373A (zh) | 一种电能表外观结构和元器件信息采集比对方法及系统 | |
| Leonida | Optimizing autonomous haulage | |
| US20230143767A1 (en) | Computer enhanced safety system | |
| CN117181406B (zh) | 一种矿山井下自主作业岩石破碎机及远程遥控控制方法 | |
| Morton | Automation Path for Everyone? | |
| US20240161437A1 (en) | Systems and methods for a virtual lift device | |
| US20240183132A1 (en) | Systems and methods for identifying and locating missing or damaged ground-engaging tools | |
| CN220526358U (zh) | 一种基于ar眼镜的煤矿下智能化作业指导及监测系统 | |
| Fiscor | What You Might Have Seen at MINExpo | |
| Hutchins et al. | Precision surface mining, the next steps | |
| Poole | Load-haul-dump machine automation at Inco's Ontario division | |
| Dévényi | Functional safety of road vehicle infotainment systems | |
| Peterson et al. | Rand report: Third installment: Critical technologies for process optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |