ITBO20130466A1 - METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT - Google Patents
METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANTInfo
- Publication number
- ITBO20130466A1 ITBO20130466A1 IT000466A ITBO20130466A ITBO20130466A1 IT BO20130466 A1 ITBO20130466 A1 IT BO20130466A1 IT 000466 A IT000466 A IT 000466A IT BO20130466 A ITBO20130466 A IT BO20130466A IT BO20130466 A1 ITBO20130466 A1 IT BO20130466A1
- Authority
- IT
- Italy
- Prior art keywords
- image
- components
- inspection
- maintenance
- video frame
- Prior art date
Links
- 238000007689 inspection Methods 0.000 title claims description 59
- 238000012423 maintenance Methods 0.000 title claims description 43
- 238000000034 method Methods 0.000 title claims description 25
- 238000009434 installation Methods 0.000 claims description 20
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000003190 augmentative effect Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 239000007943 implant Substances 0.000 claims 4
- 239000003826 tablet Substances 0.000 claims 2
- 230000001427 coherent effect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02B—BOARDS, SUBSTATIONS OR SWITCHING ARRANGEMENTS FOR THE SUPPLY OR DISTRIBUTION OF ELECTRIC POWER
- H02B3/00—Apparatus specially adapted for the manufacture, assembly, or maintenance of boards or switchgear
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
DESCRIZIONE DESCRIPTION
del brevetto per invenzione industriale dal titolo: of the patent for industrial invention entitled:
“METODO DI ISPEZIONE E/O MANUTENZIONE DI UNA PARTE DI UN IMPIANTO INDUSTRIALE MEDIANTE REALTA' AUMENTATA, E CORRISPONDENTE SISTEMA PER GUIDARE L'ISPEZIONE E/O LA MANUTENZIONE DELLA PARTE DI IMPIANTO INDUSTRIALE†⠀ œMETHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT USING AUGMENTED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT PARTâ €
La presente invenzione à ̈ relativa ad un metodo di ispezione e/o manutenzione di una parte di un impianto industriale mediante realtà aumentata, e ad un corrispondente sistema per guidare l’ispezione e/o la manutenzione di una parte di un impianto industriale mediante realtà aumentata. The present invention relates to a method of inspection and / or maintenance of a part of an industrial plant by means of augmented reality, and to a corresponding system for guiding the inspection and / or maintenance of a part of an industrial plant by means of augmented reality.
In particolare, la presente invenzione trova vantaggiosa, ma non esclusiva, applicazione nella ispezione e/o manutenzione di quadri elettrici di impianti industriali, cui la descrizione che segue farà esplicito riferimento senza per questo perdere in generalità . In particular, the present invention finds advantageous, but not exclusive, application in the inspection and / or maintenance of electrical panels of industrial plants, to which the following description will make explicit reference without thereby losing generality.
I quadri elettrici di impianti industriale comprendono tipicamente una elevato numero di componenti elettrici collegati in modo complesso tra di loro. Inoltre, un impianto industriale può comprendere un numero altrettanto elevato di quadri elettrici tutti diversi tra loro per dimensione e combinazione di componenti elettrici. Un tecnico manutentore che deve intervenire su un quadro elettrico per effettuarne la manutenzione ordinaria o straordinaria, ad esempio per riparare o sostituire uno o più componenti mal funzionanti, ha la necessità di conoscere non soltanto quali sono gli eventuali componenti da riparare o sostituire, ma anche le caratteristiche degli altri componenti del quadro elettrico e delle loro interconnessioni con i componenti da riparare o sostituire. The electrical panels of industrial plants typically comprise a large number of electrical components connected in a complex way to each other. Furthermore, an industrial plant can include an equally large number of electrical panels, all different from each other in terms of size and combination of electrical components. A maintenance technician who has to intervene on an electrical panel to carry out ordinary or extraordinary maintenance, for example to repair or replace one or more malfunctioning components, needs to know not only which components, if any, need to be repaired or replaced, but also the characteristics of the other components of the electrical panel and their interconnections with the components to be repaired or replaced.
Normalmente, il tecnico manutentore che interviene per la manutenzione del quadro elettrico non ha a portata di mano tutte le informazioni del quadro elettrico necessarie a portare a termine l’intervento di manutenzione in modo efficace ed efficiente e quindi rischia di commettere errori durante l’interconnessione dei componenti sostituiti o di perdere tempo per reperire le informazioni mancanti, cercando su documentazione cartacea o comunicando frequentemente con una centrale operativa durante l’intervento di manutenzione. Normally, the maintenance technician who intervenes for the maintenance of the electrical panel does not have at hand all the information of the electrical panel necessary to carry out the maintenance operation effectively and efficiently and therefore risks making mistakes during the ™ interconnection of replaced components or wasting time finding the missing information, searching paper documents or communicating frequently with an operations center during maintenance.
Sono noti sistemi per guidare un tecnico durante il montaggio o la manutenzione di prodotti industriali mediante l’impiego della realtà aumentata. Tali sistemi comprendono particolari dispositivi di visione costruiti ad hoc che sovrappongono uno strato informativo virtuale alle immagini di una parte di un impianto o di una macchina da montare o su cui fare della manutenzione. Tali dispositivi di visione comprendono tipicamente un visore binoculare provvisto di una videocamera, indossabile dal tecnico e connesso in modo permanente con un computer configurato per generare lo strato informativo virtuale. In sostanza, i sistemi conosciuti per la manutenzione di impianti basati sulla realtà aumentata sono costosi e particolarmente difficoltosi da utilizzare. Systems are known to guide a technician during the assembly or maintenance of industrial products through the use of augmented reality. These systems include special vision devices built ad hoc that superimpose a virtual information layer on the images of a part of a plant or machine to be assembled or maintained. Such vision devices typically comprise a binocular viewer equipped with a video camera, wearable by the technician and permanently connected to a computer configured to generate the virtual information layer. Basically, the known systems for the maintenance of plants based on augmented reality are expensive and particularly difficult to use.
Scopo della presente invenzione à ̈ di fornire un metodo di ispezione e/o manutenzione di una parte di un impianto industriale, ed in particolare di un quadro elettrico, mediante l’impiego di realtà aumentata, e un corrispondente sistema per guidare l’ispezione e/o la manutenzione della parte di impianto, i quali metodo e sistema siano esenti dagli inconvenienti sopra descritti e, nello stesso tempo, siano di facile utilizzo. The purpose of the present invention is to provide a method of inspection and / or maintenance of a part of an industrial plant, and in particular of an electrical panel, through the use of augmented reality, and a corresponding system to guide the inspection and / or maintenance of the plant part, which method and system are free from the drawbacks described above and, at the same time, are easy to use.
In accordo con la presente invenzione vengono forniti un metodo di ispezione e/o manutenzione di una parte di un impianto industriale mediante realtà aumentata, ed un sistema per guidare l’ispezione e/o la manutenzione di una parte di un impianto industriale mediante realtà aumentata, secondo quanto definito nelle rivendicazioni allegate. In accordance with the present invention, a method of inspection and / or maintenance of a part of an industrial plant by means of augmented reality is provided, and a system for guiding the inspection and / or maintenance of a part of an industrial plant by means of reality. increased, as defined in the attached claims.
La presente invenzione verrà ora descritta con riferimento ai disegni annessi, che ne illustrano un esempio di attuazione non limitativo, in cui: The present invention will now be described with reference to the attached drawings, which illustrate a non-limiting example of embodiment, in which:
- la figura 1 illustra, secondo una vista frontale, un quadro elettrico su cui effettuare una manutenzione; Figure 1 shows, according to a front view, an electrical panel on which maintenance is to be carried out;
- la figura 2 illustra, in maniera schematica, il sistema per guidare, mediante realtà aumentata, l’ispezione e/o la manutenzione del quadro elettrico della figura 1, il quale sistema à ̈ realizzato e funziona secondo i dettami della presente invenzione; - figure 2 schematically illustrates the system for guiding, by means of augmented reality, the inspection and / or maintenance of the electrical panel of figure 1, which system is made and works according to the dictates of the present invention;
- la figura 3 illustra un esempio di immagine di un quadro elettrico in cui à ̈ mostrata una fase intermedia del metodo della presente invenzione; e Figure 3 illustrates an example of an image of an electrical panel in which an intermediate step of the method of the present invention is shown; And
- la figura 4 illustra un esempio di un fotogramma video del quadro elettrico della figura 1 con sovrapposte alcune informazioni in realtà aumentata generate secondo il metodo della presente invenzione. Figure 4 illustrates an example of a video frame of the electrical panel of Figure 1 with some information in augmented reality generated according to the method of the present invention superimposed.
Nella figura 1, con 1 à ̈ genericamente indicato, nel suo complesso, un quadro elettrico di tipo noto, il quale comprende una pluralità di barre DIN, non visibili nella figura 1, ed una pluralità di componenti elettrici 2, i quali sono costituiti da rispettivi moduli DIN installati lungo le barre DIN in modo da formare file 3 di componenti 2 parallele ad una direzione 4 normalmente orizzontale. In Figure 1, 1 generally indicates, as a whole, an electrical panel of a known type, which comprises a plurality of DIN bars, not visible in Figure 1, and a plurality of electrical components 2, which consist of respective DIN modules installed along the DIN bars so as to form rows 3 of components 2 parallel to a normally horizontal direction 4.
In particolare, il quadro elettrico 1 comprende una telaio 5 a forma di cornice rettangolare, il quale à ̈ normalmente montato su una parete (non illustrata) con il lato maggiore verticale, ed una pluralità di pannelli 6 frontali rettangolari, i quali coprono rispettive barre DIN e sono montati in modo noto sul telaio 5 in modo da risultare contigui tra loro in corrispondenza dei lati maggiori, con questi ultimi paralleli alla direzione 4. In ciascun pannello 6 sono ricavate delle aperture allineate parallelamente alla direzione 4 da cui sporgono le parti frontali di rispettivi componenti 2 montati sulla sottostante barra DIN. In particular, the electrical panel 1 comprises a frame 5 in the shape of a rectangular frame, which is normally mounted on a wall (not shown) with the longest side vertical, and a plurality of rectangular front panels 6, which cover respective bars DIN and are mounted in a known way on the frame 5 so as to be contiguous to each other in correspondence with the major sides, with the latter parallel to the direction 4. In each panel 6 there are cutouts aligned parallel to the direction 4 from which the front parts protrude of respective components 2 mounted on the underlying DIN bar.
Il quadro elettrico 1 comprende, inoltre, una pluralità di elementi fiduciali artificiali 8, altrimenti noti come “marker†, disposti in rispettivi punti distintivi del quadro elettrico 1. Ad esempio, la figura 1 mostra quattro elementi fiduciali 8 applicati esternamente ai quattro angoli del telaio 5, in modo da essere ben visibili dalla vista frontale del quadro elettrico 1, e costituiti, ciascuno, da un rispettivo elemento adesivo avente forma circolare ed un colore che contrasta con il colore del telaio 5. The electrical panel 1 also comprises a plurality of artificial fiducial elements 8, otherwise known as â € œmarkers ", arranged in respective distinctive points of the electrical panel 1. For example, figure 1 shows four fiducial elements 8 applied externally to the four corners of the frame 5, so as to be clearly visible from the front view of the electrical panel 1, and each consisting of a respective adhesive element having a circular shape and a color that contrasts with the color of the frame 5.
Secondo una variante dell’invenzione, ciascun elemento fiduciale artificiale à ̈ stampato sulla superficie esterna del telaio 5. According to a variant of the invention, each artificial fiducial element is printed on the external surface of the frame 5.
Secondo una variante dell’invenzione, ciascun elemento fiduciale à ̈ costituito da uno specifico modulo DIN, il quale à ̈ montato su una barra DIN in una specifica posizione come uno qualsiasi degli altri componenti ed à ̈ tipo passivo, ossia presenta un segno grafico facilmente identificabile, o di tipo attivo, ossia presenta elemento luminoso, per esempio un LED. According to a variant of the invention, each fiducial element is constituted by a specific DIN module, which is mounted on a DIN bar in a specific position like any of the other components and is passive type, i.e. it has a graphic sign easily identifiable, or of the active type, ie it has a luminous element, for example a LED.
Nella figura 2, con 10 à ̈ genericamente indicato il sistema per guidare l’ispezione e/o la manutenzione del quadro elettrico 1 mediante realtà aumentata, realizzato e funzionante secondo la presente invenzione. In Figure 2, 10 generically indicates the system for guiding the inspection and / or maintenance of the electrical panel 1 by means of augmented reality, made and operating according to the present invention.
Con riferimento alla figura 2, il sistema 10 comprende una memoria 12 per memorizzare una banca dati (“database†) 13 comprendente informazioni che sono relative a tutti i componenti installabili nel quadro elettrico 1 e che, in particolare, comprendono, per ciascuno dei componenti installabili, rispettivi dati geometrici, rispettive informazioni visuali da visualizzare in realtà aumentata, ed un rispettivo descrittore numerico indicativo di certe caratteristiche visuali locali del componente. I dati geometrici contengono le dimensioni e le proporzioni geometriche del relativo componente. Le informazioni visuali comprendono: le specifiche tecniche, e/o la funzione, e/o il gruppo logico di appartenenza, e/o le modalità di interconnessione del relativo componente. Il descrittore numerico di ciascun componente à ̈ un vettore di valori numerici calcolati su un’immagine del componente secondo tecniche note. With reference to Figure 2, the system 10 comprises a memory 12 for storing a database 13 comprising information relating to all the components that can be installed in the electrical panel 1 and which, in particular, include, for each of the installable components, respective geometric data, respective visual information to be displayed in augmented reality, and a respective numerical descriptor indicative of certain local visual characteristics of the component. Geometric data contains the geometric dimensions and proportions of its component. The visual information includes: the technical specifications, and / or the function, and / or the logical group to which it belongs, and / or the methods of interconnection of the relative component. The numerical descriptor of each component is a vector of numerical values calculated on an image of the component according to known techniques.
Secondo una preferita forma di attuazione della presente invenzione, i valori numerici di ciascun descrittore numerico sono relativi a caratteristiche visuali del componente campionate in una pluralità di punti dell’immagine del componente. I punti di campionamento sono i vertici di una griglia a maglia regolare oppure sono individuati in regioni salienti del componente, ad esempio agli angoli del corpo del componente. Nell’intorno di ciascun punto di campionamento vengono calcolati valori numerici rappresentativi di alcune caratteristiche dell’immagine, ad esempio il gradiente dell’immagine (modulo e fase), la risposta a filtri bidimensionali, le componenti colore, ecc.. Pertanto, un descrittore numerico à ̈ rappresentabile in linea di principio come una matrice di valori numerici relativi a caratteristiche visuali del componente e calcolati nell’intorno di ciascuno di più punti di un’immagine del componente. Supponendo che il numero dei punti di campionamento sia N e che il numero di caratteristiche visuali calcolate per ciascun punto sia M, il descrittore à ̈ rappresentabile come una matrice di N x M valori numerici, che per comodità di calcolo à ̈ memorizzata come un vettore di N x M valori numerici. According to a preferred embodiment of the present invention, the numerical values of each numerical descriptor relate to visual characteristics of the component sampled in a plurality of points of the image of the component. The sampling points are the vertices of a regular mesh grid or are identified in salient regions of the component, for example at the corners of the component body. In the neighborhood of each sampling point, numerical values representative of some characteristics of the image are calculated, for example the gradient of the image (module and phase), the response to two-dimensional filters, the color components, etc. , a numerical descriptor can be represented in principle as a matrix of numerical values relating to the visual characteristics of the component and calculated in the neighborhood of each of several points of an image of the component. Assuming that the number of sampling points is N and that the number of visual characteristics calculated for each point is M, the descriptor can be represented as a matrix of N x M numerical values, which for convenience of calculation is stored as a vector of N x M numerical values.
Il sistema 10 comprende, inoltre, un dispositivo di installazione 14, il quale à ̈ costituito per esempio da un personal computer o un laptop computer in grado di acquisire dati dalla banca dati 13, ed un dispositivo di ispezione mobile 15, il quale à ̈ tipicamente costituito da uno smartphone o un tablet computer di ultima generazione ed à ̈ quindi provvisto di una rispettiva videocamera digitale. La memoria 12 à ̈ costituita, per esempio, da un disco di rete facente parte di una rete dati remota, oppure à ̈ disposta all’interno di un server remoto. In entrambi i casi, il dispositivo di installazione 14 deve essere provvisto di propri mezzi di comunicazione wired o wireless per potersi collegare alla rete dati remota o al server remoto. Secondo una variante non illustrata della presente invenzione, la memoria 12 à ̈ un componente interno al dispositivo di installazione 14. The system 10 also comprises an installation device 14, which is constituted for example by a personal computer or a laptop computer capable of acquiring data from the database 13, and a mobile inspection device 15, which is typically consisting of a latest generation smartphone or tablet computer and is therefore equipped with a respective digital video camera. The memory 12 is constituted, for example, by a network disk which is part of a remote data network, or it is arranged inside a remote server. In both cases, the installation device 14 must be provided with its own wired or wireless communication means in order to be able to connect to the remote data network or to the remote server. According to a not illustrated variant of the present invention, the memory 12 is a component inside the installation device 14.
Il sistema 10 comprende, inoltre, un dispositivo di descrizione 16 (figure 1 e 2), il quale à ̈ atto ad essere montato a bordo del quadro elettrico 1 e comprende una memoria 17 per memorizzare informazioni relative al quadro elettrico 1, come verrà spiegato meglio nel seguito, una unità di controllo 18 ed un modulo di comunicazione 19 per comunicare con il dispositivo di ispezione mobile 15 e, opzionalmente, con il dispositivo di installazione 14. Il dispositivo di descrizione 16 à ̈ costituito, per esempio, da un singolo chip integrato RFID per comunicare via radio tramite noti protocolli radio standard, ad esempio lo standard NFC (Near Field Communication), con analoghi moduli RFID integrati nei dispositivi 14 e 15. In alternativa, il dispositivo di descrizione 16 à ̈ costruito ad hoc, ed in particolare l’unità di controllo 18 à ̈ costituita da un microcontrollore di tipo industriale ed il modulo di comunicazione 19 comprende una interfaccia RFID e/o una interfaccia Wi-Fi e/o una interfaccia seriale (RS-232). The system 10 also comprises a description device 16 (Figures 1 and 2), which is adapted to be mounted on board the electrical panel 1 and comprises a memory 17 for storing information relating to the electrical panel 1, as will be explained better hereinafter, a control unit 18 and a communication module 19 for communicating with the mobile inspection device 15 and, optionally, with the installation device 14. The description device 16 consists, for example, of a single integrated RFID chip to communicate via radio using known standard radio protocols, for example the NFC (Near Field Communication) standard, with similar RFID modules integrated in the devices 14 and 15. Alternatively, the description device 16 is built ad hoc, and in particular, the control unit 18 consists of an industrial type microcontroller and the communication module 19 includes an RFID interface and / or a Wi-Fi interface and / or a to serial interface (RS-232).
Il sistema 10 comprende infine, come parte di uno dei dispositivi 14 o 15, oppure come dispositivo a se stante, un dispositivo di acquisizione di immagini costituito, per esempio, da una fotocamera digitale di tipo noto, e quindi non illustrata, per acquisire almeno una immagine del quadro elettrico 1. Finally, the system 10 comprises, as part of one of the devices 14 or 15, or as a separate device, an image acquisition device consisting, for example, of a digital camera of a known type, and therefore not shown, to acquire at least an image of the electrical panel 1.
Il dispositivo di installazione 14, il dispositivo di ispezione mobile 15 ed il dispositivo di descrizione 16 comprendono rispettivi oggetti software, nel caso dei dispositivi 14 e 15, o firmware, nel caso del dispositivo 16, memorizzati nelle rispettive memorie e progettati per implementare, quando eseguiti sulle rispettive unità di elaborazione o di controllo, le seguenti fasi del metodo di ispezione e/o manutenzione della presente invenzione. The installation device 14, the mobile inspection device 15 and the description device 16 comprise respective software objects, in the case of the devices 14 and 15, or firmware, in the case of the device 16, stored in the respective memories and designed to implement, when performed on the respective processing or control units, the following steps of the inspection and / or maintenance method of the present invention.
Durante il montaggio o il collaudo iniziale del quadro elettrico 1, oppure quando un tecnico manutentore si appresta a fare una ispezione e/o manutenzione del quadro elettrico 1 per la prima volta, il dispositivo di descrizione 16 à ̈ soggetto ad una fase di installazione, in cui il tecnico acquisisce, usando il dispositivo di acquisizione di immagini, almeno una immagine digitale IM della vista frontale del quadro elettrico 1 e trasferisce l’immagine IM al dispositivo di installazione 14, il quale à ̈ programmato per creare un modello generale MD del quadro elettrico 1 sulla base dell’immagine IM ricevuta e delle informazioni contenute e acquisite dalla banca dati 13. Il modello generale MD comprende un modello geometrico MG del quadro elettrico 1 e le informazioni visuali relative ai componenti 2 installati nel quadro elettrico 1. During the assembly or initial testing of the electrical panel 1, or when a maintenance technician is preparing to carry out an inspection and / or maintenance of the electrical panel 1 for the first time, the description device 16 is subject to an installation phase, in which the technician acquires, using the image acquisition device, at least one IM digital image of the front view of the electrical panel 1 and transfers the IM image to the installation device 14, which is programmed to create a general MD model of the electrical panel 1 on the basis of the image IM received and the information contained and acquired from the database 13. The general model MD includes a geometric model MG of the electrical panel 1 and the visual information relating to the components 2 installed in the electrical panel 1.
In particolare, il software con cui à ̈ programmato il dispositivo di installazione 14 permette a quest’ultimo di riconoscere, nell’immagine IM, i componenti 2 sulla base di tutti i descrittori numerici acquisiti dalla banca dati 13 e di determinare, sulla base dei dati geometrici dei componenti 2 che sono stati riconosciuti, le coordinate di posizione, riferite all’immagine IM, dei componenti 2 riconosciuti. Il modello geometrico MG creato comprende le coordinate, riferite all’immagine IM, della posizione dei componenti 2 riconosciuti. In particular, the software with which the installation device 14 is programmed allows the latter to recognize, in the IM image, the components 2 on the basis of all the numerical descriptors acquired from the database 13 and to determine, on the base of the geometric data of the components 2 that have been recognized, the position coordinates, referred to the IM image, of the components 2 recognized. The geometric model MG created includes the coordinates, referred to the image IM, of the position of the recognized components 2.
Il riconoscimento dei componenti 2 nella immagine IM viene effettuato calcolando, per diverse zone dell’immagine IM, rispettivi descrittori numerici dello stesso tipo dei descrittori numerici memorizzati nella banca dati 13 e, poi, confrontando ciascun descrittore numerico calcolato con almeno parte dei descrittori numerici memorizzati nella banca dati 13 per trovarne, tra questi ultimi, uno che sia equivalente al descrittore numerico calcolato. In altre parole, se il descrittore numerico calcolato in una certa zona presenta una elevata similarità con un descrittore numerico memorizzato nella banca dati 13, allora significa che à ̈ altamente probabile che in quella zona ci sia il componente a cui à ̈ associato quel descrittore numerico memorizzato. Il confronto tra due descrittori numerici consiste, per esempio, nel calcolare la distanza euclidea, nello spazio a N x M dimensioni, tra i due vettori che definiscono i due descrittori numerici. The recognition of the components 2 in the IM image is carried out by calculating, for different areas of the IM image, respective numerical descriptors of the same type as the numerical descriptors stored in the database 13 and, then, by comparing each calculated numerical descriptor with at least part of the numerical descriptors stored in the database 13 to find, among the latter, one that is equivalent to the calculated numerical descriptor. In other words, if the numerical descriptor calculated in a certain area has a high similarity with a numerical descriptor stored in the database 13, then it is highly probable that in that area there is the component to which that numerical descriptor is associated. stored. The comparison between two numerical descriptors consists, for example, in calculating the Euclidean distance, in the space of N x M dimensions, between the two vectors that define the two numerical descriptors.
Nel caso particolare di applicazione dell’invenzione al quadro elettrico 1, il riconoscimento dei componenti 2 avviene dopo una preliminare individuazione, nell’immagine IM, di porzioni di immagine lineari orizzontali in cui sono presenti le file 3 di componenti 2. In the particular case of application of the invention to the electrical panel 1, the recognition of the components 2 takes place after a preliminary identification, in the image IM, of portions of the horizontal linear image in which the rows 3 of components 2 are present.
Con riferimento alla figura 3, che illustra un esempio dell’immagine IM di un quadro elettrico 1 in cui ci sono pannelli 6 privi di componenti 2, le porzioni di immagini lineari da individuare sono indicate con 9 e coincidono sostanzialmente con strisce dell’immagine IM parallele alla direzione 4 e strette, in una direzione 7 ortogonale alla direzione 4, attorno ai componenti 2. With reference to Figure 3, which illustrates an example of the image IM of an electrical panel 1 in which there are panels 6 without components 2, the portions of linear images to be identified are indicated by 9 and substantially coincide with strips of the IM image parallel to direction 4 and narrow, in a direction 7 orthogonal to direction 4, around components 2.
Più in dettaglio, viene eseguita una scansione dell’immagine IM per registrare il tasso di variabilità del contrasto di immagine nella direzione 4 al variare della posizione lungo la direzione 7, secondo tecniche di calcolo note nel campo della visione artificiale. Poi, vengono cercati gli intervalli di posizioni lungo la direzione 7 in cui il tasso di variabilità del contrasto di immagine supera un certo valore di soglia. Infatti, nelle posizioni lungo la direzione 7 corrispondenti a zone delle immagini dove non ci sono componenti 2 il tasso di variabilità del contrasto à ̈ necessariamente molto bassa. Le porzioni di immagine 9 sono, dunque, definite dalle posizioni lungo la direzione 7 in cui il tasso di variabilità del contrasto di immagine supera il valore di soglia. Una volta individuate le porzioni di immagine 9, viene calcolato un descrittore numerico in ciascuna di una pluralità di zone all’interno di ciascuna porzione di immagine 9 utilizzando un passo di campionatura costante nella direzione 4 e di valore compreso tra 2 e 10 pixel. More in detail, a scan of the IM image is performed to record the rate of variability of the image contrast in direction 4 as the position varies along direction 7, according to known calculation techniques in the field of computer vision. Then, the ranges of positions along the 7 direction in which the rate of variability of the image contrast exceeds a certain threshold value are searched. In fact, in the positions along direction 7 corresponding to areas of the images where there are no 2 components, the rate of contrast variability is necessarily very low. The portions of the image 9 are, therefore, defined by the positions along the direction 7 in which the rate of variability of the image contrast exceeds the threshold value. Once the portions of image 9 have been identified, a numerical descriptor is calculated in each of a plurality of zones inside each portion of image 9 using a constant sampling step in direction 4 and of a value between 2 and 10 pixels.
Vale la pena di osservare che ricercare i componenti 2 in tutta l’immagine IM in modo esaustivo à ̈ senz’altro possibile, ma à ̈ costoso dal punto di vista computazionale, in quanto occorrerebbe calcolare descrittori numerici in un elevato numero di zone dell’immagine IM. L’individuazione delle porzioni di immagine 9 consente di scartare gran parte delle zone non significative dell’immagine IM, focalizzando in tal modo il calcolo dei descrittori numerici soltanto nelle zone i cui à ̈ più probabile trovare dei componenti 2, abbattendo di conseguenza i tempi di elaborazione del dispositivo di istallazione 14. It is worth noting that searching for components 2 in the whole IM image in an exhaustive way is certainly possible, but it is expensive from the computational point of view, as it would be necessary to calculate numerical descriptors in a large number of zones of the IM image. The identification of the portions of image 9 allows to discard most of the insignificant areas of the IM image, thus focusing the calculation of the numerical descriptors only in the areas where it is more likely to find components 2, consequently reducing the processing times of the installation device 14.
Il modello MD viene trasferito dal dispositivo di installazione 14 al dispositivo di descrizione 16 per essere memorizzato nella memoria 17. Il trasferimento del modello MD dal dispositivo di installazione 14 al dispositivo di descrizione 16 avviene in maniera indiretta mediante una prima trasmissione dati dal dispositivo di installazione 14 al dispositivo di ispezione 15 ed una seconda trasmissione dati dal dispositivo di ispezione 15 al dispositivo di descrizione 16, oppure in maniera diretta mediante un collegamento provvisorio stabilito durante la sola fase di installazione, ad esempio mediante un cavo seriale RS-232, tra il dispositivo di installazione 14 ed il dispositivo di descrizione 16. A questo punto, la fase di installazione del dispositivo descrittore 16 Ã ̈ conclusa ed il modello MD del quadro elettrico 1 Ã ̈ disponibile per le successive fasi di ispezione e/o manutenzione del quadro elettrico 1. The MD model is transferred from the installation device 14 to the description device 16 to be stored in the memory 17. The transfer of the MD model from the installation device 14 to the description device 16 takes place indirectly by means of a first data transmission from the installation device 14 to the inspection device 15 and a second data transmission from the inspection device 15 to the description device 16, or directly by means of a temporary connection established only during the installation phase, for example by means of an RS-232 serial cable, between the installation device 14 and the description device 16. At this point, the installation phase of the descriptor device 16 is completed and the MD model of the electrical panel 1 is available for the subsequent inspection and / or maintenance phases of the electrical panel 1.
Considerando che il numero dei descrittori memorizzati nella banca dati 13 à ̈ potenzialmente elevato e che ciascuno dei componenti installabili può essere montato in diverse posizioni all’interno del quadro elettrico 1, e nonostante che i descrittori numerici vengano calcolati solo in alcune zone all’interno di ciascuna delle porzioni di immagine 9, il tempo richiesto per la fase di installazione del dispositivo descrittore 16 non à ̈ trascurabile. Tuttavia, si tratta di una fase eseguita una tantum e quindi non va ad influenzare la praticità complessiva del metodo. Considering that the number of descriptors stored in the database 13 is potentially high and that each of the installable components can be mounted in different positions inside the electrical panel 1, and despite the fact that the numerical descriptors are calculated only in some areas at ™ inside each of the portions of image 9, the time required for the installation phase of the descriptor device 16 is not negligible. However, it is a one-off phase and therefore does not affect the overall practicality of the method.
Ad ogni evento di ispezione e/o manutenzione, il tecnico comanda il dispositivo di ispezione 15 affinché esso acquisisca il modello MD del quadro elettrico 1 dal dispositivo di descrizione 16 e lo carichi nella propria memoria. Il tecnico posiziona il dispositivo di ispezione 15 in modo che quest’ultimo inquadri, con la propria videocamera digitale, il quadro elettrico 1 in modo sostanzialmente frontale. Il dispositivo di ispezione 15 esegue, in modo automatico dopo il caricamento del modello MD, oppure su esplicito successivo comando immesso dal tecnico, una acquisizione continua di fotogrammi video del quadro elettrico 1. I comandi vengono immessi tramite il display touchscreen o la tastiera di cui à ̈ dotato il dispositivo di ispezione 15. Il dispositivo di ispezione 15 à ̈ programmato per visualizzare in tempo reale almeno parte delle informazioni visuali contenute del modello MD in funzione del modello geometrico MG ed in modo coerente con la visualizzazione in tempo reale dei fotogrammi video per guidare il tecnico durante l’evento di ispezione e/o manutenzione. In particolare, il software con cui à ̈ programmato il dispositivo di ispezione 15 permette a quest’ultimo di fare le seguenti elaborazioni. At each inspection and / or maintenance event, the technician commands the inspection device 15 so that it acquires the MD model of the electrical panel 1 from the description device 16 and loads it into its memory. The technician positions the inspection device 15 so that the latter frames, with his own digital video camera, the electrical panel 1 in a substantially frontal way. The inspection device 15 performs, automatically after loading the MD model, or upon explicit subsequent command entered by the technician, a continuous acquisition of video frames from the electrical panel 1. The commands are entered via the touchscreen display or the keyboard referred to The inspection device 15 is equipped. The inspection device 15 is programmed to display in real time at least part of the visual information contained in the MD model as a function of the geometric model MG and in a manner consistent with the real-time display of the video frames. to guide the technician during the inspection and / or maintenance event. In particular, the software with which the inspection device 15 is programmed allows the latter to perform the following processing.
Per prima cosa, il dispositivo di ispezione 15 analizza ciascun fotogramma video per individuare in tempo reale la posizione di punti fiduciali del quadro elettrico 1 nel fotogramma video. In particolare, il dispositivo di ispezione 15 cerca gli elementi fiduciali 8 nel fotogramma video e ne determina le coordinate di posizione, riferite al fotogramma video. La conoscenza dei punti fiduciali nel fotogramma video consente al dispositivo di ispezione 15 di dedurre la propria distanza ed il proprio orientamento rispetto al quadro elettrico 1. First of all, the inspection device 15 analyzes each video frame to identify in real time the position of fiducial points of the electrical panel 1 in the video frame. In particular, the inspection device 15 searches for the fiducial elements 8 in the video frame and determines their position coordinates, referred to the video frame. The knowledge of the fiducial points in the video frame allows the inspection device 15 to deduce its distance and its orientation with respect to the electrical panel 1.
Poi, il dispositivo di ispezione 15 determina in tempo reale, in ciascun fotogramma video, la posizione dei componenti 2 in funzione del modello geometrico MG e della posizione dei punti fiduciali nel fotogramma video. In particolare, il dispositivo di ispezione 15 calcola le coordinate di posizione dei componenti 2 mediante una trasformazione prospettica delle coordinate di posizione dei componenti del modello geometrico MG, in funzione delle coordinate di posizione dei punti fiduciali nel fotogramma video. La trasformazione prospettica, altrimenti nota come “image warping†, permette di localizzare, nei fotogrammi video, i componenti del modello geometrico MG anche se varia l’angolo di ripresa video. Then, the inspection device 15 determines in real time, in each video frame, the position of the components 2 as a function of the geometric model MG and the position of the fiducial points in the video frame. In particular, the inspection device 15 calculates the position coordinates of the components 2 by means of a perspective transformation of the position coordinates of the components of the geometric model MG, as a function of the position coordinates of the fiducial points in the video frame. The perspective transformation, otherwise known as â € œimage warpingâ €, allows to locate, in the video frames, the components of the geometric model MG even if the video shooting angle varies.
Infine, il dispositivo di ispezione 15 sovrappone in tempo reale almeno parte delle informazioni visuali estratte dal modello MD a ciascun fotogramma video in funzione della posizione dei componenti 2 nel fotogramma video. Il dispositivo di ispezione 15 visualizza, sul proprio display, la sequenza di fotogrammi video in tempo reale con sovrapposte le relative informazioni visuali, realizzando così una visualizzazione in realtà aumentata del quadro elettrico 1 che guida il tecnico durante l’ispezione e/o manutenzione. Finally, the inspection device 15 superimposes in real time at least part of the visual information extracted from the MD model on each video frame as a function of the position of the components 2 in the video frame. The inspection device 15 displays, on its display, the sequence of video frames in real time with the relative visual information superimposed, thus creating an augmented reality display of the electrical panel 1 which guides the technician during the inspection and / or maintenance.
Opzionalmente, il dispositivo di ispezione 15 gestisce la sovrapposizione delle informazioni visuali ai fotogrammi video in modo interattivo, per permettere al tecnico di selezionare, per esempio tramite il display touchscreen o la tastiera del dispositivo di ispezione 15, i componenti 2 per i quali desidera che vengano visualizzate le relative informazioni. Optionally, the inspection device 15 manages the superposition of visual information on the video frames in an interactive way, to allow the technician to select, for example via the touchscreen display or the keyboard of the inspection device 15, the components 2 for which he wishes to related information is displayed.
La figura 4 illustra un esempio di visualizzazione in realtà aumentata del quadro elettrico 1 della figura 1, in cui vengono visualizzate le informazioni relative a due componenti selezionati dal tecnico e indicati con 2a e 2b. Figure 4 illustrates an example of display in augmented reality of the electrical panel 1 of Figure 1, in which the information relating to two components selected by the technician and indicated with 2a and 2b are displayed.
Le informazioni comprendono prime informazioni relative al gruppo logico di appartenenza dei componenti 2a e 2b, indicate con DEVICE-A e DEVICE-B, e seconde informazioni relative allo stato di funzionamento dei due componenti 2a e 2b, indicate con STATUS-A e STATUS-B. La figura 3 illustra anche un’etichetta, indicata con DATASHEET, che à ̈ cliccabile per accedere ad uno o più files esterni al modello MD contenenti informazioni più dettagliate sulle specifiche tecniche dei componenti 2 presenti nel quadro elettrico 1. The information includes first information relating to the logical group to which components 2a and 2b belong, indicated with DEVICE-A and DEVICE-B, and second information relating to the operating status of the two components 2a and 2b, indicated with STATUS-A and STATUS- B. Figure 3 also illustrates a label, indicated with DATASHEET, which can be clicked to access one or more files external to the MD model containing more detailed information on the technical specifications of the components 2 present in the electrical panel 1.
Durante l’ispezione e/o manutenzione del quadro elettrico 1, il tecnico potrebbe riparare o sostituire un componente installato 2 mal funzionante, oppure semplicemente rilevare che il componente installato 2 non funziona correttamente. Ogni modifica al quadro elettrico 1 oppure ogni segnalazione di mal funzionamento di alcuni componenti 2 deve essere registrata nel dispositivo di descrizione 16. A tale scopo, il tecnico immette nel dispositivo di ispezione 15 le informazioni relative al componente sostituito o mal funzionante e il dispositivo di ispezione 15 le trasmette al dispositivo di descrizione 16 affinché quest’ultimo le memorizzi nella memoria 17 tra le informazioni visuali di tale componente. During the inspection and / or maintenance of the electrical panel 1, the technician may repair or replace a malfunctioning installed component 2, or simply detect that the installed component 2 is not functioning correctly. Any modification to the electrical panel 1 or any indication of malfunctioning of some components 2 must be recorded in the description device 16. For this purpose, the technician enters the information relating to the replaced or malfunctioning component and the control device into the inspection device 15. inspection 15 transmits them to the description device 16 so that the latter stores them in the memory 17 among the visual information of this component.
Secondo una ulteriore forma di attuazione della presente invenzione, il quadro elettrico 1 à ̈ privo degli elementi fiduciali artificiali 8 della figura 1 ed il dispositivo di installazione 14 à ̈ programmato per individuare, nell’immagine IM, elementi fiduciali del quadro elettrico 1 e per includere la geometria degli elementi fiduciali nel modello generale MD da memorizzare nel dispositivo di descrizione 16. Gli elementi fiduciali da individuare nell’immagine IM sono costituiti da elementi distintivi particolari che caratterizzano la vista frontale del quadro elettrico 1, per esempio i bordi esterni o interni del telaio 5. Durante, l’ispezione e/o manutenzione del quadro elettrico 1, il dispositivo di ispezione 15 individua i punti fiduciali in ciascun fotogramma in funzione della geometria degli elementi fiduciali contenuta nel modello MD. According to a further embodiment of the present invention, the electrical panel 1 is devoid of the artificial fiducial elements 8 of figure 1 and the installation device 14 is programmed to identify, in the image IM, fiducial elements of the electrical panel 1 and to include the geometry of the fiducial elements in the general model MD to be stored in the description device 16. The fiducial elements to be identified in the IM image consist of particular distinctive elements that characterize the front view of the electrical panel 1, for example the external edges or interior of the frame 5. During the inspection and / or maintenance of the electrical panel 1, the inspection device 15 identifies the fiducial points in each frame according to the geometry of the fiducial elements contained in the MD model.
I vantaggi del metodo di ispezione e/o manutenzione di un quadro elettrico mediante realtà aumentata fornito con la presente invenzione, appaiono evidenti da quanto sopra descritto. In particolare, il metodo di ispezione e/o manutenzione in realtà aumentata ed il corrispondente sistema 10 per guidare l’ispezione e/o manutenzione mediante realtà aumentata permettono al tecnico manutentore di avere accesso, in tempo reale durante l’intervento di ispezione e/o manutenzione, alle caratteristiche di tutti i componenti 2 del quadro elettrico e disporre di informazioni spesso di difficile reperimento, soprattutto se il tecnico manutentore non à ̈ sufficientemente esperto dello specifico quadro elettrico 1. The advantages of the method of inspection and / or maintenance of an electrical panel by means of augmented reality provided with the present invention, appear evident from what has been described above. In particular, the inspection and / or maintenance method in augmented reality and the corresponding system 10 to guide the inspection and / or maintenance by augmented reality allow the maintenance technician to have access, in real time during the inspection intervention and / or maintenance, the characteristics of all the components 2 of the electrical panel and have information that is often difficult to find, especially if the maintenance technician is not sufficiently expert in the specific electrical panel 1.
Vale la pena di osservare, il metodo di ispezione e/o manutenzione dell’invenzione si adatta bene alla ispezione e/o manutenzione di una qualsiasi parte di un impianto industriale comprendente una pluralità di componenti ivi installati. It is worth observing, the method of inspection and / or maintenance of the invention is well suited to the inspection and / or maintenance of any part of an industrial plant comprising a plurality of components installed therein.
Claims (9)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000466A ITBO20130466A1 (en) | 2013-08-29 | 2013-08-29 | METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT |
| PCT/IB2014/064140 WO2015028978A1 (en) | 2013-08-29 | 2014-08-29 | Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000466A ITBO20130466A1 (en) | 2013-08-29 | 2013-08-29 | METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ITBO20130466A1 true ITBO20130466A1 (en) | 2015-03-01 |
Family
ID=49261609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT000466A ITBO20130466A1 (en) | 2013-08-29 | 2013-08-29 | METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT |
Country Status (2)
| Country | Link |
|---|---|
| IT (1) | ITBO20130466A1 (en) |
| WO (1) | WO2015028978A1 (en) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10950051B2 (en) | 2015-03-27 | 2021-03-16 | Rockwell Automation Technologies, Inc. | Systems and methods for presenting an augmented reality |
| CN104834379A (en) * | 2015-05-05 | 2015-08-12 | 江苏卡罗卡国际动漫城有限公司 | Repair guide system based on AR (augmented reality) technology |
| DE102015007624A1 (en) | 2015-06-16 | 2016-12-22 | Liebherr-Components Biberach Gmbh | Method for mounting electrical switchgear and assembly auxiliary device for facilitating the assembly of such switchgear |
| EP3387589A1 (en) * | 2015-12-11 | 2018-10-17 | SMS Group GmbH | Mobile visual assistance in steel, rolling, forging and pipe mills |
| DE102016201373A1 (en) * | 2016-01-29 | 2017-08-03 | Robert Bosch Gmbh | Method for recognizing objects, in particular of three-dimensional objects |
| EP3229175B1 (en) * | 2016-04-08 | 2022-11-16 | ABB Schweiz AG | Mobile device and method to generate input data for building automation configuration from cabinet images |
| CN109074414B (en) * | 2016-05-02 | 2023-06-20 | 维纳尔电气系统有限公司 | Method and system for configuring distribution box |
| ES2643863B1 (en) * | 2016-05-24 | 2018-10-26 | Sonovisión Ingenieros España, S.A.U. | METHOD FOR PROVIDING BY GUIDED INCREASED REALITY, INSPECTION AND SUPPORT IN INSTALLATION OR MAINTENANCE OF PROCESSES FOR COMPLEX ASSEMBLIES COMPATIBLE WITH S1000D AND DEVICE THAT MAKES SAME USE |
| US20180357922A1 (en) | 2017-06-08 | 2018-12-13 | Honeywell International Inc. | Apparatus and method for assessing and tracking user competency in augmented/virtual reality-based training in industrial automation systems and other systems |
| CN109598177B (en) * | 2017-09-30 | 2023-12-01 | 施耐德电气工业公司 | Method and device for detecting the state of an electrical device |
| CN109118515B (en) * | 2018-06-26 | 2022-04-01 | 全球能源互联网研究院有限公司 | Video tracking method and device for power equipment |
| PL3605758T3 (en) * | 2018-08-03 | 2021-10-04 | Rittal Gmbh & Co. Kg | Device and method for testing the content of a control cabinet after planning-based installation |
| CN109636944A (en) * | 2018-12-12 | 2019-04-16 | 国网重庆市电力公司信息通信分公司 | Wearable device power grid based on augmented reality makes an inspection tour repair method and its system |
| DE102021205859A1 (en) | 2021-06-10 | 2022-12-15 | Sms Group Gmbh | Audiovisual assistance system, method and computer program for supporting maintenance work, repair work or installation work in an industrial plant |
| WO2024068816A1 (en) * | 2022-09-30 | 2024-04-04 | Murrelektronik Gmbh | Method for operating a connection module |
| EP4345554A1 (en) * | 2022-09-30 | 2024-04-03 | Murrelektronik GmbH | Method for computer-assisted installation of electrical components of a machine arranged in a spatially decentralised manner |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030080978A1 (en) * | 2001-10-04 | 2003-05-01 | Nassir Navab | Augmented reality system |
| US20040105427A1 (en) * | 2000-08-22 | 2004-06-03 | Wolfgang Friedrich | System and method for communication between a mobile data processing device and a stationary data processing device |
| US20060244565A1 (en) * | 2004-10-15 | 2006-11-02 | Siemens Aktiengesellschaft | Transmission of data into and out of automation components |
| WO2007066166A1 (en) * | 2005-12-08 | 2007-06-14 | Abb Research Ltd | Method and system for processing and displaying maintenance or control instructions |
| US20110115816A1 (en) * | 2009-11-16 | 2011-05-19 | Alliance For Sustainable Energy, Llc. | Augmented reality building operations tool |
-
2013
- 2013-08-29 IT IT000466A patent/ITBO20130466A1/en unknown
-
2014
- 2014-08-29 WO PCT/IB2014/064140 patent/WO2015028978A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040105427A1 (en) * | 2000-08-22 | 2004-06-03 | Wolfgang Friedrich | System and method for communication between a mobile data processing device and a stationary data processing device |
| US20030080978A1 (en) * | 2001-10-04 | 2003-05-01 | Nassir Navab | Augmented reality system |
| US20060244565A1 (en) * | 2004-10-15 | 2006-11-02 | Siemens Aktiengesellschaft | Transmission of data into and out of automation components |
| WO2007066166A1 (en) * | 2005-12-08 | 2007-06-14 | Abb Research Ltd | Method and system for processing and displaying maintenance or control instructions |
| US20110115816A1 (en) * | 2009-11-16 | 2011-05-19 | Alliance For Sustainable Energy, Llc. | Augmented reality building operations tool |
Non-Patent Citations (1)
| Title |
|---|
| NAKAGAWA T ET AL: "Plant maintenance support system by augmented reality", SYSTEMS, MAN, AND CYBERNETICS, 1999. IEEE SMC '99 CONFERENCE PROCEEDIN GS. 1999 IEEE INTERNATIONAL CONFERENCE ON TOKYO, JAPAN 12-15 OCT. 1999, PISCATAWAY, NJ, USA,IEEE, US, vol. 1, 12 October 1999 (1999-10-12), pages 768 - 773, XP010363359, ISBN: 978-0-7803-5731-0, DOI: 10.1109/ICSMC.1999.814188 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015028978A1 (en) | 2015-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ITBO20130466A1 (en) | METHOD OF INSPECTION AND / OR MAINTENANCE OF A PART OF AN INDUSTRIAL PLANT BY INCREASED REALITY, AND CORRESPONDING SYSTEM TO GUIDE THE INSPECTION AND / OR MAINTENANCE OF THE INDUSTRIAL PLANT | |
| US10482659B2 (en) | System and method for superimposing spatially correlated data over live real-world images | |
| CN103821126B (en) | A kind of monitoring method of foundation ditch 3 D deformation | |
| CN102369549B (en) | Device for creating information for positional estimation of matter, and method for creating information for positional estimation of matter | |
| WO2012170953A3 (en) | Systems and methods for intelligent monitoring of thoroughfares using thermal imaging | |
| CN102831751B (en) | Road high-dangerous slope monitoring method based on double-camera imaging technology | |
| CN101853387A (en) | Stereoscopic warehouse goods checking method and system | |
| CN102737373A (en) | Visual image label, infrared image label and infrared image link | |
| US9864908B2 (en) | Slow change detection system | |
| KR101752554B1 (en) | System and method for nuclear fuel assembly deformation measurement | |
| CN102414718A (en) | Object position inference device, object position inference method, and program | |
| CN107786850A (en) | A kind of master control room intelligent monitor system and method | |
| WO2017037730A3 (en) | Analytics system and method | |
| CN108510528A (en) | A kind of method and device of visible light and infrared image registration fusion | |
| CN106744332B (en) | A kind of hanged alignment system of visual crane | |
| CN107918954A (en) | The method that 3D for 2D points of interest maps | |
| JP2017076943A (en) | Content projector, content projection method and content projection program | |
| CN105955260A (en) | Mobile robot position perception method and device | |
| CN103322980A (en) | Fruit attitude detection method based on stereoscopic vision | |
| KR20190049330A (en) | Method and apparatus for detecting defect of solar panel using unmanned aerial vehicle | |
| US20210201542A1 (en) | Building maintaining method and system | |
| CN107749069A (en) | Image processing method, electronic equipment and image processing system | |
| CN106056030A (en) | Method and Apparatus for counting the number of person | |
| CN108305346A (en) | Equipment routing inspection method, apparatus | |
| CN105588608B (en) | The detection device of power pipe |