CH712380A2

CH712380A2 - Real-time remote assistance method and system using computer vision and augmented reality.

Info

Publication number: CH712380A2
Application number: CH00526/16A
Authority: CH
Inventors: Moccetti Dante; Rezzonico Fabio; Veragouth Pietro; Tramonte Antonio; Campo Lorenzo; Bosio Jacopo; Leonardo Jacopo Murciano Antonio
Original assignee: Newbiquity Sagl C/O Amministra Sa
Priority date: 2016-04-20
Filing date: 2016-04-20
Publication date: 2017-10-31

Abstract

Il metodo di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata, comprende le seguenti fasi: fornire un motore di realtà aumentata presentante programmi di computing vision e residente in parte in un dispositivo elettronico di un richiedente assistenza ed in parte in una rete informatica di cloud computing; ed in cui sono eseguite in tempo reale le seguenti fasi: acquisire, con una telecamera del dispositivo elettronico del richiedente assistenza, un video di un ambiente di lavoro; trasmettere e visualizzare detto video su un dispositivo elettronico di un fornitore assistenza; apporre, da parte di detto fornitore assistenza, un marcatore grafico in realtà aumentata su un punto da segnalare in detto video; eseguire detti programmi di computing vision così da visualizzare detto video recante detto marcatore grafico sul dispositivo elettronico di detto richiedente assistenza, le coordinate spaziali del marcatore grafico essendo ricalcolate così che nella sequenza di immagini del video visualizzato su detto dispositivo elettronico di detto richiedente assistenza il marcatore grafico punta permanentemente sul punto segnalato.The real-time remote assistance method with the use of computer vision and augmented reality includes the following steps: providing an augmented reality engine presenting computing vision programs and partly residing in an electronic device of a requestor and partly in a cloud computing computer network; and in which the following steps are performed in real time: acquire, with a camera of the electronic device of the requesting assistance, a video of a work environment; transmit and view said video on an electronic device of a service provider; to affix, by said assistance provider, a graphic marker in augmented reality on a point to be reported in said video; carrying out said computing vision programs so as to display said video bearing said graphic marker on the electronic device of said requesting assistance, the spatial coordinates of the graphic marker being recalculated so that in the sequence of images of the video displayed on said electronic device of said requesting assistance the marker graph points permanently on the marked point.

Description

Descrizione [0001] La présente invenzione si riferisce ad un metodo ed un sistema di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata.Description [0001] The present invention refers to a method and a real-time remote assistance system using computer vision and augmented reality.

[0002] Più in particolare, quindi, la présente invenzione riguarda un metodo di manutenzione/assistenza cliente a distanza che utilizza la computer vision per consentire, in real time, ad un utente esperto, di arricchire di contenuto l’ambiente di un utente nécessitante supporta.[0002] More particularly, therefore, the present invention relates to a remote customer maintenance / assistance method which uses the computer vision to allow, in real time, to an expert user, to enrich the environment of a non-existent user with content. It supports.

[0003] I meccanismi di computer vision utilizzati consentono di estrarre «features» caratteristiche dall’ambiente per poter cosi riconoscere oggetti, texture, parti di oggetti, rispetto ad un’immagine. I contenuti che vengono apposti all’ambiente che la videocamera del richiedente supporta cattura sono «tag» esposti corne simboli grafici in realtà aumentata.[0003] The computer vision mechanisms used allow to extract "features" features from the environment in order to be able to recognize objects, textures, parts of objects, with respect to an image. The contents that are affixed to the environment that the applicant's video camera supports capture are "tags" displayed as graphic symbols in augmented reality.

[0004] Per realtà aumentata (in inglese augmented reality, abbreviato AR), o realtà mediata dall’elaboratore, si intende l’arricchimento délia percezione sensoriale umana mediante informazioni, in genere manipolate e convogliate elettronica-mente, che non sarebbero percepibili con i cinque sensi.[0004] By augmented reality (in English augmented reality, abbreviated AR), or reality mediated by the computer, we mean the enrichment of human sensory perception by means of information, generally manipulated and electronically conveyed, which would not be perceptible with the five senses.

[0005] La realtà aumentata - già usata in ambiti molto specifici corne militare, medicale o ricerca - nel 2009 grazie al miglioramento délia tecnologia è arrivata al grande pubblico sia nella forma di campagne di comunicazione «augmented advertising» pubblicate sui giornali o sulla rete, sia attraverso un numéro sempre crescente di applicazioni per smartphone che hanno obiettivi di intrattenimento (giochi) o di approfondimento mediante l’arricchimento di contenuti da associare all’ambiente. Sono noti sistemi di manutenzione/supporto che utilizzano la realtà aumentata.[0005] Augmented reality - already used in very specific areas such as military, medical or research - in 2009, thanks to the improvement of technology, it reached the general public both in the form of "augmented advertising" communication campaigns published in newspapers or on the web, and through an ever-increasing number of smartphone applications that have entertainment (games) or in-depth objectives through the enrichment of content to associate with the environment. Maintenance / support systems that use augmented reality are known.

[0006] Tali sistemi software consentono ad un operatore non specializzato che non conosce quindi l’ambiente e l’oggetto su cui deve operare di ricevere una sérié di informazioni di realtà aumentata per svolgere l’operazione richiesta.[0006] Such software systems allow an unskilled operator who does not know the environment and the object on which he must operate to receive an augmented reality information to carry out the requested operation.

[0007] In genere per la manutenzione/supporto con tecniche di realtà aumentata vengono utilizzate informazioni che il sistema possiede già in memoria.[0007] In general, for maintenance / support with augmented reality techniques, information is used that the system already has in memory.

[0008] In questo caso quindi non esiste un rapporta real time tra operatore esperto e operatore richiedente supporta.[0008] In this case, therefore, there is no real time relationship between expert operator and requesting operator support.

[0009] In questi casi il riconoscimento dell’ambiente si basa sui riconoscimento di un oggetto specifico e il supporta fornito dal sistema è quindi limitato ad un oggetto particolare su cui il sistema è stato «addestrato» e su una sequenza di contenuti rigida. In questi casi non vi è quindi analisi di un ambiente variabile e il riconoscimento dell’oggetto puô avvenire o attraverso markers fisici apposti sull’oggetto oppure attraverso image récognition specifica a cui il sistema viene addestrato.[0009] In these cases the recognition of the environment is based on the recognition of a specific object and the support provided by the system is therefore limited to a particular object on which the system has been "trained" and on a rigid sequence of contents. In these cases there is therefore no analysis of a variable environment and the recognition of the object can take place either through physical markers affixed to the object or through specific image recognition to which the system is trained.

[0010] Esistono poi sistemi «live» che presuppongono un rapporta tra richiedente e operatore esterno che offre supporta. Tali sistemi prevedono in genere solo l’invio di immagini statiche. In altre parole l’operatore esperto lavora su un frame statico e l’operatore che richiede supporta riceve una fotografia su cui sono stati apposti dei contenuti «illustrativi».[0010] There are also "live" systems which presuppose a relationship between the applicant and the external operator that offers supports. Such systems generally provide only the sending of static images. In other words, the expert operator works on a static frame and the operator requesting support receives a photograph on which "illustrative" contents have been affixed.

[0011] Infine sono ipotizzabili sistemi nei quali viene utilizzata una videochiamata per offrire un supporta live sui video. In questi casi tuttavia i calcoli vengono svolti interamente localmente sui processore del device che o cattura o il video o aggiunge contenuti di realtà aumentata. Questo approccio potrebbe risultare efficace nel caso in cui il device che svolge i calcoli fosse un elaboratore potente. In questi casi perô si evidenzierebbero due tipologie di problematiche dovute al fatto che i calcoli di computer vision, utilizzati in parallelo ad uno streaming video, impegnano in maniera robusta la CPU dei device mobili.[0011] Finally, systems in which a video call is used to offer live video support are conceivable. In these cases, however, the calculations are performed entirely locally on the processor of the device that either captures the video or adds augmented reality content. This approach could be effective if the device performing the calculations was a powerful computer. In these cases, however, two types of problems would be highlighted due to the fact that computer vision calculations, used in parallel with a video streaming, engage the CPU of mobile devices in a robust manner.

[0012] In primo luogo uno scostamento temporale tra il momento in cui viene rilevato l’ambiente in cui l’operatore non esperto deve operare e le informazioni di risposta su cosa fare che causa grosse difficoltà sulla corretta interpretazione da parte dell’operatore non esperto su cosa fare e dove farlo.[0012] First of all, a temporal deviation between the moment in which the environment in which the non-expert operator must operate is detected and the response information on what to do which causes great difficulties on the correct interpretation by the non-expert operator what to do and where to do it.

[0013] In secondo luogo l’uso di algoritmi veloci benché poco sofisticati causa un grande numéro di falsi positivi e di falsi negativi (in altri termini rilevazioni erronee).[0013] Secondly, the use of fast algorithms although not very sophisticated causes a great number of false positives and false negatives (in other words erroneous detections).

[0014] Questi problemi emergerebbero in maniera molto marcata qualora il richiedente supporta abbia modificato il proprio punto di osservazione rispetto a quello che ha determinato la rilevazione dell’ambiente e dell’oggetto in cui operare.[0014] These problems would emerge in a very marked manner if the applicant supported changed their observation point with respect to the one that determined the detection of the environment and the object in which to operate.

[0015] Questo perché i calcoli in questa casistica si devono susseguire in maniera più veloce e devono contemporanea-mente offrire risultati robusti.[0015] This is because the calculations in this series must be followed more quickly and at the same time must offer robust results.

[0016] Compito tecnico dell’invenzione è porre rimedio agli inconvenienti lamentati nella tecnica nota fermo restando l’utilizzo di un sistema che fa le proprie operazioni in real time.[0016] The technical task of the invention is to remedy the drawbacks claimed in the known art, without prejudice to the use of a system which performs its operations in real time.

[0017] Nell’ambito di questo compito tecnico, uno scopo délia présente invenzione è fornire un metodo ed un sistema di assistenza a distanza con impiego di computer vision e realtà aumentata, che garantiscano assistenza efficiente ed affidabile in tempo reale.[0017] Within the scope of this technical task, an object of the present invention is to provide a remote assistance method and system using computer vision and augmented reality, which guarantee efficient and reliable assistance in real time.

[0018] Questo e altri scopi délia présente invenzione sono conseguiti da un metodo di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata, caratterizzato dal fatto di comprendere le seguenti fasi: - fornire una rete informatica di cloud computing - fornire un motore di realtà aumentata présentante programmi di computing vision residenti in un dispositivo elettronico mobile di un richiedente assistenza ed in detta rete informatica di cloud computing; ed in cui sono eseguite in tempo reale le seguenti fasi: - acquisire, con una telecamera del dispositivo elettronico del richiedente assistenza, un video di un ambiente di lavoro; - trasmettere e visualizzare detto video su un dispositivo elettronico di un fornitore assistenza; - apporre, da parte di detto fornitore assistenza, un marcatore grafico in realtà aumentata su un punto da segnalare in detto video; - eseguire detti programmi di computing vision cosi da visualizzare detto video recante detto marcatore grafico sul dispositivo elettronico di detto richiedente assistenza, le coordinate spaziali del marcatore grafico essendo ricalcolate cosi che nella sequenza di immagini del video visualizzato su detto dispositivo elettronico di detto richiedente assistenza il marcatore grafico punta permanentemente sul punto segnalato.[0018] This and other purposes of the present invention are achieved by a real-time remote assistance method using computer vision and augmented reality, characterized by comprising the following steps: - providing a cloud computing information network - providing an augmented reality engine presenting computing vision programs resident in a mobile electronic device of an assistance applicant and in said cloud computing computer network; and in which the following steps are performed in real time: - acquiring, with a video camera of the electronic device of the requesting assistance, a video of a work environment; - transmit and view said video on an electronic device of a service provider; - affix, by said assistance provider, a graphic marker in augmented reality on a point to be reported in said video; - executing said computing vision programs so as to display said video bearing said graphic marker on the electronic device of said requesting assistance, the spatial coordinates of the graphic marker being recalculated so that in the sequence of images of the video displayed on said electronic device of said requesting assistance the graphic marker permanently points to the marked point.

[0019] In un modo di realizzazione preferito dell’invenzione detti programmi residenti in detta rete informatica di cloud computing operano in modalità on demand quando detti programmi residenti in detto dispositivo elettronico di detto richiedente assistenza non forniscono un risultato affidabile.[0019] In a preferred embodiment of the invention, said programs residing in said cloud computing computer network operate in on demand mode when said programs resident in said electronic device of said requesting assistance do not provide a reliable result.

[0020] In un modo di realizzazione preferito dell’invenzione detta rete di cloud computing comprende un server di streaming.[0020] In a preferred embodiment of the invention said cloud computing network comprises a streaming server.

[0021] In un modo di realizzazione preferito dell’invenzione detti programmi comprendono un programma di estrazione di immagini da un video e trasformazione delle immagini in matrici di punti.[0021] In a preferred embodiment of the invention, said programs comprise a program for extracting images from a video and transforming the images into dot matrices.

[0022] In un modo di realizzazione preferito dell’invenzione detti programmi comprendono un filtro di realtà aumentata.[0022] In a preferred embodiment of the invention, said programs comprise an augmented reality filter.

[0023] In un modo di realizzazione preferito dell’invenzione detto filtro di realtà aumentata opéra su dette matrici di punti per ricalcolare le coordinate spaziali del marcatore grafico.[0023] In a preferred embodiment of the invention, said augmented reality filter operates on said dot matrices to recalculate the spatial coordinates of the graphic marker.

[0024] In un modo di realizzazione preferito dell’invenzione detto video acquisito da detto dispositivo elettronico di detto richiedente assistenza è trasmesso a detto server di streaming da cui è a sua volta trasmesso a detto dispositivo elettronico di detto fornitore assistenza che appone detto marcatore grafico e restituisce le coordinate spaziali del punto segnalato a detto server di streaming. In un modo di realizzazione preferito dell’invenzione dette coordinate spaziali sono rese disponibili a detto filtro di realtà aumentata per essere elaborate.[0024] In a preferred embodiment of the invention said video acquired by said electronic device of said requesting assistance is transmitted to said streaming server from which it is in turn transmitted to said electronic device of said assistance provider which affixes said graphic marker and returns the spatial coordinates of the reported point to said streaming server. In a preferred embodiment of the invention said spatial coordinates are made available to said augmented reality filter to be processed.

[0025] In un modo di realizzazione preferito dell’invenzione dette coordinate spaziali elaborate sono rese disponibili a detto dispositivo elettronico di richiesta assistenza e a detto dispositivo elettronico di fornitura assistenza.[0025] In a preferred embodiment of the invention, said processed spatial coordinates are made available to said electronic assistance request device and to said electronic assistance supply device.

[0026] La présente invenzione rivela altresl un sistema di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata, caratterizzato dal fatto di comprendere i seguenti componenti: - un dispositivo elettronico di un richiedente assistenza munito di telecamera e schermo di visualizzazione ed un dispositivo elettronico di un fornitore assistenza munito di schermo di visualizzazione; - una rete informatica di cloud computing comprendente almeno un server di streaming; - un motore di realtà aumentata présentante programmi di computing vision residenti in detto dispositivo elettronico di detto richiedente assistenza ed in detta rete informatica di cloud computing; detto motore di realtà aumentata essendo configurato in modo taie da visualizzare su detto dispositivo elettronico del richiedente assistenza un video acquisito da detto richiedente assistenza a cui dal fornitore assistenza è apposto in realtà aumentata un marcatore grafico su un punto le cui coordinate spaziali sono ricalcolate cosi che nella sequenza di immagini del video il marcatore grafico punta permanentemente sul punto segnalato.[0026] The present invention also reveals a real-time remote assistance system using computer vision and augmented reality, characterized in that it comprises the following components: - an electronic device of an assistance applicant equipped with a video camera and display screen and an electronic device from a service provider equipped with a display screen; - a cloud computing computer network including at least one streaming server; - an augmented reality engine presenting computing vision programs resident in said electronic device of said requesting assistance and in said cloud computing computer network; said augmented reality engine being configured in such a way as to display on said electronic device of the requestor assistance a video acquired by said requesting assistance to which the service provider is affixed in augmented reality a graphic marker on a point whose spatial coordinates are recalculated so that in the video image sequence the graphic marker permanently points to the marked point.

[0027] Il motore di realtà aumentata présenta quindi programmi di computing vision suddivisi in due differenti parti, una prima parte che disegna i contenuti di realtà aumentata, ed una seconda parte, differente dalla prima parte, che fa i calcoli di computer vision necessari a stabilire dove disegnare i contenuti di realtà aumentata. Il metodo di assistenza distanza conforme all’invenzione si basa su un rilevamento dell’ambiente che awiene in maniera duplice sul dispositivo elettronico del richiedente assistenza ed in cloud. Taie sistema, mantenendo una modalità real time nel rapporto tra fornitore assistenza e richiedente assistenza, si rivela maggiormente affidabile, anche nei casi in cui la scena cambia variando la posizione del richiedente assistenza, e maggiormente veloce dei sistemi oggi noti.[0027] The augmented reality engine therefore presents computing vision programs divided into two different parts, a first part that draws the contents of augmented reality, and a second part, different from the first part, which makes the computer vision calculations necessary for determine where to draw augmented reality content. The distance assistance method according to the invention is based on an environmental survey that takes place in a dual manner on the electronic device of the requesting assistance and in the cloud. By maintaining a real time mode in the relationship between the assistance provider and the requesting assistance, this system proves to be more reliable, even in cases where the scene changes by varying the position of the requestor, and faster than the systems currently known.

[0028] Tali vantaggi derivano dallo spostare parte del calcolo (la parte più pesante e complessa) su di una rete di cloud computing e nell’utilizzare quindi in parallelo sia risorse di calcolo distribuite, vale a dire risorse locali nel dispositivo elettronico del richiedente assistenza, che risorse centrali, vale a dire risorse délia rete di cloud computing.[0028] These advantages derive from moving part of the calculation (the heaviest and most complex part) on a cloud computing network and therefore using in parallel both distributed computing resources, ie local resources in the electronic device of the requesting assistance , that central resources, ie resources of the cloud computing network.

[0029] I calcoli complessi, che utilizzano algoritmi di computer vision pesanti, anziché quindi essere svolti «localmente» vengono svolti in «cloud» in una modalità on demand quando i calcoli svolti localmente danno risultati non sufficientemente affidabili, mentre i calcoli più leggeri vengono svolti localmente in maniera continuativa.[0029] Complex calculations, which use heavy computer vision algorithms, instead of being performed "locally" are performed in "cloud" in an on demand mode when the calculations carried out locally give not sufficiently reliable results, while the lightest calculations are performed locally on an ongoing basis.

[0030] Svolgendo i calcoli più onerosi in cloud diventa quindi più accessibile e più agile un’integrazione del servizio in applicazioni terze.[0030] By performing the most expensive calculations in the cloud, the integration of the service into third-party applications becomes more accessible and more agile.

[0031] Essendo perô i calcoli effettuati in cloud svolti solo on demand, quando le probabilità di errore dei calcoli locali si rivelano troppo elavati, l’architettura consente di contenere i costi infrastrutturali del cloud.[0031] However, since the calculations carried out in the cloud are performed only on demand, when the probability of error in local calculations is too high, the architecture can contain the infrastructure costs of the cloud.

[0032] Inoltre, essendo i calcoli svolti in cloud, diventa più semplice affinare la qualité del processo di posizionamento del marcatore grafico.[0032] Furthermore, since the calculations are carried out in the cloud, it becomes easier to refine the quality of the graphic marker positioning process.

[0033] Questo per due différent! ragioni: da un lato non vi sono limitazioni stringenti relative aile risorse di calcolo e si possono utilizzare parallelamente diversi algoritmi; dall’altro lato gli algoritmi in cloud vengono utilizzati quando gli algoritmi più «veloci e leggeri» utilizzati localmente falliscono.[0033] This for two différent! reasons: on the one hand there are no stringent limitations related to the computing resources and different algorithms can be used in parallel; on the other hand, cloud algorithms are used when the "fastest and lightest" algorithms used locally fail.

[0034] Questo migliora l’affidabilità e la precisione del sistema. Parte del motore di realtà aumentata puô essere migliorato e implementato senza richiedere agli utenti di installare aggiornamenti o nuove versioni di software dato che gli aggiorna-menti software possono direttamente essere fatti sul cloud. Questi ed altri aspetti dell’invenzione saranno maggiormente chiariti alla lettura délia descrizione che segue di un suo modo di realizzazione preferito, in cui: - la fig. 1 mostra uno schéma a blocchi di funzionamento del sistema di assistenza.[0034] This improves the reliability and accuracy of the system. Part of the augmented reality engine can be improved and implemented without requiring users to install updates or new software versions as software updates can be directly made in the cloud. These and other aspects of the invention will be better clarified by reading the following description of a preferred embodiment thereof, in which: - fig. 1 shows a block diagram of the assistance system operation.

[0035] Il sistema di assistenza a distanza in tempo reale con impiego di computer vision e realtà aumentata, comprende un dispositivo elettronico 1 di un richiedente assistenza, un dispositivo elettronico 2 di un fornitore assistenza, una rete informatica 3 di cloud computing comprendente almeno un server di streaming 4, ed un motore di realtà aumentata 5, 6, 7, 8, 9 présentante programmi di computing vision residenti nel dispositivo elettronico 1 del richiedente assistenza e nella rete informatica 3 di cloud computing.[0035] The real-time remote assistance system using computer vision and augmented reality, comprises an electronic device 1 of an assistance requestor, an electronic device 2 of an assistance provider, a cloud computing computer network 3 comprising at least one streaming server 4, and an augmented reality engine 5, 6, 7, 8, 9 presenting computing vision programs resident in the electronic device 1 of the requesting assistance and in the cloud computing computer network 3.

[0036] I dispositivi elettronici 1, 2 a cui faremo riferimento di seguitosono in particolare dispositivi portatili quali smartphone, restando inteso che qualunque dispositivo elettronico di altro tipo idoneo allô scopo puô essere impiegato.[0036] The electronic devices 1, 2 to which we will refer below are in particular portable devices such as smartphones, it being understood that any electronic device of another type suitable for the purpose may be used.

[0037] Il motore di realtà aumentata 5, 6, 7, 8, 9 prevede pertanto una parte 7,8, 9 residente localmente sullo smartphone 1 del richiedente assistenza e una parte 5, 6 residente nella rete di cloud computing 3.[0037] The augmented reality engine 5, 6, 7, 8, 9 therefore envisages a part 7.8, 9 resident locally on the smartphone 1 of the requesting assistance and a part 5, 6 residing in the cloud computing network 3.

[0038] Il metodo di assistenza si articola nelle seguenti fasi.[0038] The assistance method is divided into the following phases.

[0039] Il richiedente assistenza, tramite il suo smartphone, contatta il fornitore assistenza sul suo smartphone.[0039] The requestor, via his smartphone, contacts the service provider on his smartphone.

[0040] Quando il fornitore assistenza risponde alla richiesta di supporta si attiva una video chiamata a senso unico in cui il richiedente assistenza invia il video, catturato dalla videocamera del proprio smartphone, allô smartphone del fornitore assistenza.[0040] When the assistance provider responds to the request for support, a one-way video call is activated in which the requestor sends the video, captured by the camera of his smartphone, to the assistance provider's smartphone.

[0041] Il richiedente assistenza inquadra col proprio smartphone l’oggetto sul quale desidera ricevere supporta.[0041] The applicant requesting assistance with his smartphone will frame the object on which he wishes to receive support.

[0042] Il fornitore assistenza riceve il video e mediante un’apposita interfaccia puô apporre dei tag in realtà aumentata sull’oggetto. I tag funzionano corne riferimenti che indicano specifiche parti délia scena su cui si sta dando supporta.[0042] The service provider receives the video and through an appropriate interface can tag the object in augmented reality. The tags work as references that indicate specific parts of the scene on which you are giving support.

[0043] I tag vengono mantenuti nella corretta posizione anche quando il richiedente assistenza sposta il proprio smartphone. Ciô è reso possibile mediante il supporta dei suddetti programmi di computer vision, ad esempio ma non neces-sariamente programmi resi disponibili dalla libreria open source OpenCV.[0043] Tags are kept in the correct position even when the requestor moves his smartphone. This is made possible by the support of the aforementioned computer vision programs, for example but not necessarily programs made available by the open source OpenCV library.

[0044] I programmi di computer vision vengono attivati corne segue.[0044] Computer vision programs are activated as follows.

[0045] Il fornitore assistenza, quando pone un tag sul video che riceve dallo smartphone del richiedente assistenza, invia, mediante il server di streaming 4, le coordinate x e y del punto da «segnalare». Tali coordinate segnalano quindi un punto su un’immagine.[0045] When the service provider places a tag on the video it receives from the smartphone of the requestor, it sends, via the streaming server 4, the x and y coordinates of the point to be "signaled". These coordinates then indicate a point on an image.

[0046] Gli algoritmi di computer vision possono cosl analizzare parte délia scena procedendo a estrarre delle «features» caratteristiche che serviranno, via via che si susseguono le immagini del video, a ricalcolare le coordinate x e y del punto da segnalare, potendolo cosl spostare a seconda dell’evolversi délia situazione per mantenerlo sull’oggetto o parte dell’oggetto da segnalare. Gli algoritmi di computer vision utilizzati servono quindi a raccogliere delle «features» caratteristiche utilizzabili per denotare una parte di informazione rilevante all’interno delle immagini che si susseguono nello streaming video.[0046] The computer vision algorithms can thus analyze part of the scene by proceeding to extract characteristic "features" that will serve, as the images in the video follow one another, to recalculate the x and y coordinates of the point to be signaled, thus being able to move according to of the evolution of the situation to keep it on the object or part of the object to be reported. The computer vision algorithms used thus serve to collect the "features" features that can be used to denote a relevant piece of information within the images that follow one another in video streaming.

[0047] Queste «features» caratteristiche permettono quindi agli algoritmi stessi di calcolare e ricalcolare via via la corretta posizione in cui poi i tag devono essere disegnati e inseriti con un metodo di realtà aumentata.[0047] These "features" characteristics therefore allow the algorithms themselves to calculate and recalculate gradually the correct position in which the tags must then be drawn and inserted with an augmented reality method.

[0048] Nello specifico gli algoritmi utilizzati svolgono operazioni di «vicinanza» applicate ad una immagine, strutture specifiche dell’immagine in sé, a punti o linee in un’immagine fino a strutture complesse corne oggetti in immagini.[0048] Specifically, the algorithms used perform operations of "closeness" applied to an image, specific structures of the image itself, points or lines in an image up to complex structures like objects in images.

[0049] Le «features» caratteristiche possono anche essere in relazione a una sequenza di immagini in movimento, a forme definite in termini di curve o confini tra différent! regioni dell’immagine o a propriété specifiche di una regione dell’immagine.[0049] The "features" features can also be related to a sequence of moving images, to shapes defined in terms of curves or borders between différent! regions of the image or specific properties of a region of the image.

[0050] Alcuni algoritmi sono molto veloci e «leggeri» in termine di risorse di calcolo, corne ad esempio gli algoritmi basati su trasformazioni geometriche.[0050] Some algorithms are very fast and "light" in terms of computational resources, such as algorithms based on geometric transformations.

[0051] Questi algoritmi possono quindi essere svolti sullo smartphone del richiedente assistenza.[0051] These algorithms can then be carried out on the smartphone of the requestor.

[0052] Altri algoritmi invece sono più lenti e consumano maggiori risorse. Tali algoritmi più pesanti sono utilizzati in cloud e risultano quindi più affidabili.[0052] Other algorithms, on the other hand, are slower and consume more resources. These heavier algorithms are used in the cloud and are therefore more reliable.

[0053] Va notato infatti corne gli algoritmi più veloci e leggeri tendano ad avéré margini di errore maggiori in specifiche condizioni, corne ad esempio nei casi in cui la scena cambia completamente e poi si ritorna su quella scena stessa.[0053] It should be noted in fact that the faster and lighter algorithms tend to have greater margins of error in specific conditions, as for example in cases where the scene changes completely and then returns to that scene itself.

[0054] In altri termini il metodo di assistenza prevede di utilizzare laddove le risorse sono limitate, quindi sullo smartphone del richiedente assistenza, algoritmi efficienti ed economici, e invece laddove le risorse sono scalabili, quindi in rete cloud, algoritmi più affidabili e potenti.[0054] In other words, the assistance method envisages using where resources are limited, then on the smartphone of the requesting assistance, efficient and economic algorithms, and instead where the resources are scalable, therefore in the cloud network, more reliable and powerful algorithms.

[0055] In questo modo si hanno a disposizione dei risultati in maniera veloce e tali risultati, quando considerati inadeguati vengono aggiustati mediante calcoli più robusti.[0055] In this way, results are available quickly and these results, when considered inadequate, are adjusted by more robust calculations.

[0056] Allô stesso tempo dove i calcoli veloci falliscono si possono provare calcoli più complessi che possono invece dare risultati. Di seguito viene descritto più in dettaglio il funzionamento del sistema di assistenza.[0056] At the same time where fast calculations fail you can try more complex calculations that can give results instead. The operation of the assistance system is described in more detail below.

[0057] Lo smartphone 1 del richiedente assistenza invia al server di streaming 4, basato ad esempio sul software pro-prietario Wowza, il flusso video catturato dalla propria videocamera.[0057] The smartphone 1 of the requesting assistance sends to the streaming server 4, based for example on the pro-proprietary software Wowza, the video stream captured by the own video camera.

[0058] Il server di streaming 4 rende disponibile taie flusso video allô smartphone 2 del fornitore assistenza che lo visua-lizza.[0058] The streaming server 4 makes the video stream available to the smartphone 2 of the service provider displaying it.

[0059] Lo smartphone 2 del fornitore assistenza è opportunamente dotato di interfaccia grafica e comandi che consentono di posizionare su un punto da segnalare sullo schermo un marker grafico. Una volta posizionato il marker grafico vengono inviati al server di streaming 4 dei metadati che rappresentano le coordinate spaziali x e y del punto da segnalare.[0059] The smartphone 2 of the service provider is appropriately equipped with a graphic interface and commands that allow a graphic marker to be positioned on a point to be displayed on the screen. Once the graphic marker is positioned, 4 metadata representing the spatial coordinates x and y of the point to be reported are sent to the streaming server.

[0060] Tali metadati (coordinate spaziali x e y) vengono resi disponibili ed utilizzati dal programma?, 8 del motore di realtà aumentata residente nello smartphone 1 del richiedente assistenza per svolgere dei calcoli di posizionamento e computer vision «leggeri e veloci». Tali calcoli consentono di riposizionare il punto da segnalare nel susseguirsi delle immagini video.[0060] These metadata (spatial coordinates x and y) are made available and used by the program ?, 8 of the augmented reality engine residing in the smartphone 1 of the requesting assistance to perform positioning calculations and "light and fast" computer vision. These calculations allow you to reposition the point to be reported in the succession of video images.

[0061] Taie meccanismo consente di «legare» un marker grafico a elementi, o a parti di elementi, presenti sullascenacosl corne ripresa dallo smartphone 1 del richiedente assistenza. In pratica un programma 7 del motore di realtà aumentata residente nello smartphone 1 del richiedente assistenza scompone il video in immagini e le trasforma in matrici di punti, ed un programma 8 del motore di realtà aumentata sempre residente nello smartphone 1 dei richiedente assistenza esegue i calcoli sulle matrici di punti per il ricalcolo delle coordinate spaziali x e y da segnalare sulle immagini del video.[0061] This mechanism makes it possible to "tie" a graphic marker to elements, or to parts of elements, present on the ascent as resumed by the smartphone 1 of the requestor. In practice, a program 7 of the augmented reality engine residing in the smartphone 1 of the requestor breaks down the video into images and turns them into dot matrixes, and an augmented reality engine program 8 resident in the smartphone of the requestor performs the calculations on the dot matrices for the recalculation of the x and y spatial coordinates to be reported on the video images.

[0062] Infine, un programma 9 del motore di realtà aumentata sempre residente nello smartphone 1 del richiedente assistenza utilizza le coordinate spaziali x e y, cosl ricalcolate, per disegnare il «tag» in realtà aumentata sulle immagini del video.[0062] Finally, a program 9 of the augmented reality engine still residing in the smartphone 1 of the requesting assistance uses the spatial coordinates x and y, thus recalculated, to draw the «tag» in augmented reality on the images of the video.

[0063] I calcoli utilizzati localmente dallo smartphone 1 del richiedente assistenza per il posizionamento sono calcoli basati su matrici di punti e sulle loro trasformazioni nel susseguirsi delle immagini video e richiedono un’estrazione di «features» caratteristiche dell’immagine relativamente moderata.[0063] The calculations used locally by the smartphone 1 of the requesting assistance for positioning are calculations based on matrices of points and on their transformations in the succession of video images and require an extraction of "features" characteristics of the relatively moderate image.

[0064] Questa scelta consente grande velocità e basso consumo di risorse di calcolo.[0064] This choice allows great speed and low consumption of computing resources.

[0065] Tuttavia in situazioni peculiari o complesse esso si espone ad un incremento di falsi positivi o falsi negativi nel riconoscimento. Per questo motivo il motore di realtà aumentata présenta anche programmi di supporto residenti nella rete di cloud computing che non è sottoposta a limitazioni stringenti nelle risorse di calcolo ed interviene quando i programmi del motore di realtà aumentata residenti localmente nello smartphone 1 del richiedente assistenza evidenziano un riconoscimento non sufficientemente attendibile. Disponendo delle immagini video che mediante il server di streaming 4 gli giungono dallo smartphone 1 del richiedente assistenza e dei metadati relativi aile coordinate spaziali x, y del punto da segnalare che mediante il server di streaming 4 gli giungono dallo smartphone 2 del fornitore assistenza, i programmi di supporto residenti nella rete di cloud computing 3 dispongono delle informazioni necessarie al loro funzionamento.[0065] However, in peculiar or complex situations it is exposed to an increase in false positives or false negatives in recognition. For this reason, the augmented reality engine also presents support programs resident in the cloud computing network that is not subject to stringent limitations in computing resources and intervenes when the augmented reality engine programs residing locally in smartphone 1 of the requesting assistance show a recognition not sufficiently reliable. Having video images that via the streaming server 4 reach him from the smartphone 1 of the requestor and the metadata related to the x, y spatial coordinates of the point to signal that through the streaming server 4 they reach him from the smartphone 2 of the assistance provider, the support programs residing in the cloud computing network 3 have the information necessary for their operation.

[0066] I programmi di supporto residenti nella rete di cloud computing 3 sono almeno due.[0066] There are at least two support programs resident in the cloud computing network 3.

[0067] Il primo programma di supporto 5 residente nella rete di cloud computing ha il compito di scorporare dal flusso video inviato dallo smartphone 1 del richiedente assistenza le singole immagini che verranno trasformate in matrici.[0067] The first support program 5 resident in the cloud computing network has the task of separating the individual images that will be transformed into matrices from the video stream sent by the smartphone 1 of the requestor.

[0068] Il secondo programma di supporto 6 residente nella rete di cloud computing, ad esempio scritto in Java e basato sulla libreria di Computer Vision denominata OpenCV, ha il compito di analizzare le matrici create a partire dalle immagini del video e, utilizzando i metadati inviati dallo smartphone 2 del fornitore assistenza, effettuare i calcoli necessari per fornire nuovi metadati, vale a dire le coordinate spaziali x e y del punto da segnalare per ogni immagine video.[0068] The second support program 6 resident in the cloud computing network, for example written in Java and based on the Computer Vision library called OpenCV, has the task of analyzing the matrices created starting from the images of the video and, using the metadata sent by the service provider's smartphone 2, make the necessary calculations to provide new metadata, ie the x and y spatial coordinates of the point to be reported for each video image.

[0069] Il primo programma di supporto 5 si rende necessario poiché gli algoritmi di computer vision analizzano immagini (quindi frame) trasformate in matrici.[0069] The first support program 5 becomes necessary because computer vision algorithms analyze images (hence frames) transformed into matrices.

[0070] Le matrici descrivono relazioni tra immagini délia stessa scena.[0070] The matrices describe relations between images of the same scene.

[0071] Data la proiezione di un punto délia scena in una delle immagini si puô cercare il punto corrispondente nell’altra immagine.[0071] Given the projection of a point of the scene in one of the images it is possible to search for the corresponding point in the other image.

[0072] Il flusso normale dello streaming attraverso il server di streaming 4 non permetterebbe di svolgere operazioni di calcolo su matrici di punti.[0072] The normal flow of the stream through the streaming server 4 would not allow performing calculation operations on dot matrices.

[0073] Infatti il server di streaming 4, di per sé, serve unicamente a ricevere un flusso video da una fonte e renderlo disponibile a un audience.[0073] In fact the streaming server 4, by itself, serves only to receive a video stream from a source and make it available to an audience.

Claims

[0074] The first support program 5, relying on a function made available by the streaming server 4 to access the images of the video, transforms the images into dot matrices which can now be processed by the second support program 6. [0075] The second program supports 6 then, using different computer vision algorithms based on the concept of image recognition, is able to remap the x and y coordinates positioned by the smartphone of the service provider 2 on each successive image of the video stream. [0076] The second support program 6 makes available new metadata when locally performed calculations are deemed not sufficiently reliable. [0077] In this way both smartphones 1,2 receive 4 new x and y coordinates from the streaming server which can be used to draw markers on video images. The method and system of remote assistance in real time using computer vision and augmented reality thus conceived are susceptible of numerous modifications and variations, all of which are within the scope of the inventive concept described and claimed. claims

1. A real-time remote assistance method using computer vision and augmented reality, characterized by the fact that it includes the following steps: - providing a cloud computing computer network; - providing an augmented reality engine presenting computing vision programs resident in an electronic device of a requesting assistance and in said cloud computing computer network; and in which the following steps are performed in real time: - acquiring, with a video camera of the electronic device of the requesting assistance, a video of a work environment; - transmit and view said video on an electronic device of a service provider; - affix, by said assistance provider, a graphic marker in augmented reality on a point to be reported in said video; - executing said computing vision programs so as to display said video bearing said graphic marker on the electronic device of said requesting assistance, the spatial coordinates of the graphic marker being recalculated so that in the sequence of images of the video displayed on said electronic device of said requesting assistance the graphic marker permanently points to the marked point.

2. A real-time remote assistance method using computer vision and augmented reality according to the preceding claim, characterized in that said programs resident in said cloud computing computer network operate in on demand mode when said resident programs in said electronic device of said requesting assistance does not provide a reliable result.

3. Method of remote assistance in real time using computer vision and augmented reality according to claim 1, characterized in that said cloud computing network comprises a streaming server.

4. Method of remote assistance in real time using computer vision and augmented reality according to any previous claim, characterized in that said programs comprise a program for extracting images from a video and transforming the images into dot matrices.

5. Method of remote assistance in real time using computer vision and augmented reality according to any previous claim, characterized in that said programs comprise an augmented reality filter.

6. A real-time remote assistance method using computer vision and augmented reality according to the previous claim, characterized in that said augmented reality filter operates on said dot matrices to recalculate the spatial coordinates of the graphic marker.

7. Method of remote assistance in real time using computer vision and augmented reality according to any previous claim, characterized in that said video acquired by said electronic device of said requesting assistance is transmitted to said streaming server from which it is in turn transmitted to said electronic device of said assistance provider which affixes said graphic marker and returns the spatial coordinates of the point reported to said streaming server.

8. Remote assistance method in real time using computer vision and augmented reality according to the previous claim, characterized in that said spatial coordinates are made available to said augmented reality filter to be processed.

9. A real-time remote assistance method using computer vision and augmented reality according to the previous claim, characterized in that said processed spatial coordinates are made available to said electronic assistance request device and to said electronic assistance supply device.

10. Real-time remote assistance system using computer vision and augmented reality, characterized in that it comprises the following components: - an electronic device of an assistance requestor equipped with a video camera and display screen and an electronic device of a supplier assistance with display screen; - a cloud computing computer network including at least one streaming server; - an augmented reality engine presenting computing vision programs and resident in said electronic device of said requesting assistance and in said cloud computing computer network; said augmented reality engine being configured in such a way as to display on said electronic device of the requesting assistance a video acquired by said requesting assistance to which from the assistance provider is affixed in augmented reality a graphic marker on a point whose spatial coordinates are recalculated so that in the video images sequence the graphic marker permanently points to the point indicated.