BR112021004985A2

BR112021004985A2 - method and system for providing annotations in augmented reality

Info

Publication number: BR112021004985A2
Application number: BR112021004985-1A
Authority: BR
Inventors: Asa MacWilliams; Peter Schopf; Sebastian Fey; Lucia Grom-Baumgarten; Anna Schröder; Felix Winterhalter
Original assignee: Siemens Aktiengesellschaft
Priority date: 2018-10-04
Filing date: 2019-07-03
Publication date: 2021-06-08
Also published as: EP3834102A1; DE102018217032A1; CN112753030A; WO2020069780A1; US20210390305A1

Abstract

MÉTODO E SISTEMA PARA A PROVISÃO DE ANOTAÇÕES EM REALIDADE AUMENTADA. A presente invenção refere-se a método e dispositivos (sistema) para a provisão de anotações relacionadas a um local ou relacionadas a um objeto em realidade aumentada, AR, o método compreendendo as etapas de recuperar, por parte de um dispositivo cliente de um usuário, uma lista candidata, CL, de bolhas de realidade aumentada disponíveis, ARB, para a dita localização e/ou objeto em resposta a uma consulta, Q, com base em uma geolocalização aproximada do dito dispositivo cliente e/ou com base em dados de informação de usuário; selecionar pelo menos uma bolha de realidade aumentada, ARB, da lista candidata recuperada, CL, de bolhas de realidade aumentada disponíveis; carregar, por meio do dispositivo cliente consultante de um banco de dados, um mapa local preciso e um conjunto de anotações para cada bolha de realidade aumentada selecionada, ARB, e rastrear de modo preciso o dito dispositivo cliente dentro da bolha de realidade aumentada selecionada, ARB, usando o mapa local preciso carregado da respectiva bolha de realidade aumentada, ARB, a fim de prover anotações em realidade aumentada nas posições exatas do dispositivo cliente rastreado.METHOD AND SYSTEM FOR PROVIDING NOTEBOOKS IN AUGMENTED REALITY. The present invention relates to a method and devices (system) for the provision of annotations related to a location or related to an object in augmented reality, AR, the method comprising the steps of retrieving, by a client device of a user , a candidate list, CL, of available augmented reality bubbles, ARB, for said location and/or object in response to a query, Q, based on an approximate geolocation of said client device and/or based on data from user information; select at least one augmented reality bubble, ARB, from the retrieved candidate list, CL, of available augmented reality bubbles; upload, via the inquiring client device of a database, an accurate local map and a set of annotations for each selected augmented reality bubble, ARB, and accurately track said client device within the selected augmented reality bubble, ARB, using the loaded accurate local map of the respective augmented reality bubble, ARB, in order to provide augmented reality annotations at the exact positions of the tracked client device.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO E SISTEMA PARA A PROVISÃO DE ANOTAÇÕES EM REALIDADE AUMENTADA".Descriptive Report of the Patent of Invention for "METHOD AND SYSTEM FOR THE PROVISION OF NOTES IN AUGMENTED REALITY".

[0001] A realidade aumentada (AR) provê uma experiência interativa a um usuário em um ambiente de mundo real. Objetos que residem no ambiente de mundo real são aumentados por informações geradas pelo computador. As informações sobrepostas exibidas podem ser entrelaçadas na realidade aumentada com o mundo real físico de tal modo que as mesmas sejam percebidas pelo usuário como um aspecto imersivo do ambiente real. A realidade aumentada pode ser usada para melhorar ambientes ou situações naturais e oferecer experiências perceptivamente enriquecidas ao usuário ou operador. Com a ajuda de tecnologias avançadas de realidade aumentada, as informações sobre o ambiente de mundo real circundante do usuário poderão se tornar interativas e poderão ser manipuladas pelo usuário. Na realidade aumentada, as informações sobre o ambiente e seus objetos são sobrepostas ao mundo real. As informações exibidas poderão ser virtuais ou reais, por exemplo, permitindo perceber outras informações detectadas ou medidas como reais, tais como ondas de rádio eletromagnéticas sobrepostas em alinhamento exato com o lugar onde as mesmas realmente se encontram no espaço. As técnicas de aumento são normalmente executadas em tempo real e em um contexto semântico com elementos ou objetos ambientais.[0001] Augmented reality (AR) provides an interactive experience to a user in a real world environment. Objects that reside in the real world environment are augmented by computer-generated information. The displayed overlay information can be intertwined in augmented reality with the physical real world in such a way that it is perceived by the user as an immersive aspect of the real environment. Augmented reality can be used to enhance natural environments or situations and provide perceptually enriched experiences to the user or operator. With the help of advanced augmented reality technologies, information about the user's surrounding real world environment can become interactive and can be manipulated by the user. In augmented reality, information about the environment and its objects is superimposed on the real world. The information displayed may be virtual or real, for example, allowing you to perceive other detected or measured information as real, such as superimposed electromagnetic radio waves in exact alignment with where they actually meet in space. Augmentation techniques are typically performed in real-time and in a semantic context with environmental elements or objects.

[0002] Em muitos casos de uso, é necessário colocar anotações de realidade aumentada com relação a um local ou objeto específico no mundo real físico. Posteriormente, outros usuários poderão desejar recuperar, visualizar ou editar essas informações quando estiverem próximos do respectivo local ou objeto.[0002] In many use cases, it is necessary to place augmented reality annotations with respect to a specific location or object in the physical real world. Later, other users may want to retrieve, view, or edit this information when they are near the respective location or object.

[0003] Existem muitas abordagens diferentes para a criação de um conteúdo de realidade aumentada e, posteriormente, para a recuperação desse conteúdo de realidade aumentada. Essas abordagens convencionais incluem a realidade aumentada baseada em marcador, na qual um conteúdo de realidade aumentada é criado em um ambiente de programação gráfica tridimensional e ancorado a um marcador visual bidimensional. O conteúdo de realidade aumentada é em seguida recuperado quando esse marcador visual bidimensional está dentro de uma câmera de um dispositivo cliente manuseado por um usuário. A realidade aumentada baseada em marcador é normalmente usada para aplicativos de marketing de realidade aumentada, por exemplo, para colocar modelos tridimensionais em cima de uma propaganda de revista.[0003] There are many different approaches to creating augmented reality content and subsequently retrieving that augmented reality content. These conventional approaches include marker-based augmented reality, in which augmented reality content is created in a three-dimensional graphical programming environment and anchored to a two-dimensional visual marker. Augmented reality content is then retrieved when that two-dimensional visual marker is inside a camera on a client device handled by a user. Marker-based augmented reality is commonly used for augmented reality marketing applications, for example, to place three-dimensional models on top of a magazine advertisement.

[0004] Outra abordagem convencional é a realidade aumentada baseada em objeto. O conteúdo de realidade aumentada é criado em um ambiente de programação gráfica tridimensional e, em seguida, ancorado em um modelo de dados de desenho assistido por computador tridimensional, CAD. O conteúdo de realidade aumentada é recuperado quando o objeto real é detectado por um dispositivo cliente usando uma abordagem de rastreamento baseada em modelo. A realidade aumentada baseada em objeto é frequentemente usada para aplicações de manutenção em um ambiente industrial.[0004] Another conventional approach is object-based augmented reality. Augmented reality content is created in a three-dimensional graphical programming environment and then anchored in a three-dimensional computer-aided design data model, CAD. Augmented reality content is retrieved when the real object is detected by a client device using a model-based tracking approach. Object-based augmented reality is often used for maintenance applications in an industrial environment.

[0005] Outra abordagem convencional é a realidade aumentada georreferenciada. O conteúdo de realidade aumentada é gerado e então recuperado em um conteúdo geograficamente referenciado.[0005] Another conventional approach is the geo-referenced augmented reality. Augmented reality content is generated and then retrieved into geographically referenced content.

[0006] Uma outra abordagem convencional é colocar hologramas, que são basicamente modelos tridimensionais, dentro de um ambiente aumentado que um dispositivo cliente de um usuário poderá reconhecer. Posteriormente, quando outro usuário usar o mesmo dispositivo cliente no mesmo local, um dispositivo de realidade aumentada Hololens poderá reconhecer o local com base na reconstrução tridimensional do ambiente e mostrar o holograma no mesmo lugar.[0006] Another conventional approach is to place holograms, which are basically three-dimensional models, within an augmented environment that a user's client device will be able to recognize. Later, when another user uses the same client device in the same location, a Hololens augmented reality device can recognize the location based on the three-dimensional reconstruction of the environment and show the hologram in the same place.

[0007] As anotações de realidade aumentada na maioria das vezes são relacionadas a um lugar (local) e/ou objeto (coisa) específico no mundo físico. A geolocalização de um dispositivo cliente é convencionalmente executada por uma unidade de detecção ou determinação de geolocalização integrada no dispositivo cliente, tal como um receptor GPS que recebe sinais de satélite GPS de satélites GPS no sentido de determinar uma posição corrente do dispositivo cliente. No entanto, a geolocalização provida por uma unidade de detecção de geolocalização convencional, em muitas aplicações, não será suficientemente precisa e exata. Em particular, em um ambiente tecnológico, tal como uma fábrica que compreende máquinas com subcomponentes complexos, a geolocalização convencional não permitirá a provisão de anotações a um usuário em posições exatas. Além disso, as unidades de detecção de geolocalização poderão não funcionar em lugares fechados de tal maneira que as mesmas não conseguirão prover a geolocalização ou a posição exata do dispositivo cliente com precisão suficiente dentro de um prédio, tal como uma fábrica.[0007] Augmented reality annotations are most often related to a specific place (location) and/or object (thing) in the physical world. The geolocation of a client device is conventionally performed by a geolocation detection or determination unit integrated in the client device, such as a GPS receiver which receives GPS satellite signals from GPS satellites in order to determine a current position of the client device. However, the geolocation provided by a conventional geolocation detection unit, in many applications, will not be sufficiently precise and accurate. In particular, in a technological environment, such as a factory comprising machines with complex subcomponents, conventional geolocation will not allow the provision of annotations to a user in exact positions. In addition, geolocation detection units may not function indoors in such a way that they will not be able to provide the exact geolocation or position of the client device with sufficient accuracy within a building, such as a factory.

[0008] Por conseguinte, é um objeto da presente invenção prover um método e aparelho para a provisão de anotações de modo preciso em posições exatas.[0008] Therefore, it is an object of the present invention to provide a method and apparatus for the provision of annotations accurately in exact positions.

[0009] Este objeto é obtido de acordo com um método que compreende as características da reivindicação 1.[0009] This object is obtained according to a method comprising the features of claim 1.

[0010] A presente invenção provê, de acordo com um primeiro aspecto, um método para a provisão de anotações relacionadas a um local ou relacionadas a um objeto em realidade aumentada, cujo método compreende as etapas de: - recuperar, por parte de um dispositivo cliente de um usuário, uma lista candidata de bolhas de realidade aumentada disponíveis para a dita localização e/ou objeto em resposta a uma consulta com base em uma geolocalização aproximada do dito dispositivo cliente e/ou com base em dados de informação de usuário, - selecionar pelo menos uma bolha de realidade aumentada da lista candidata recuperada de bolhas de realidade aumentada disponíveis, - carregar, por meio do dispositivo cliente consultante a partir de um banco de dados, um mapa local preciso e um conjunto de anotações para cada bolha de realidade aumentada selecionada, e - executar o rastreamento preciso do dito dispositivo cliente dentro da bolha de realidade aumentada selecionada usando o mapa local preciso carregado da respectiva bolha de realidade aumentada para a provisão de anotações em realidade aumentada nas posições exatas do dispositivo cliente rastreado.[0010] The present invention provides, according to a first aspect, a method for the provision of annotations related to a location or related to an object in augmented reality, which method comprises the steps of: - retrieving, by part of a device client of a user, a candidate list of augmented reality bubbles available for said location and/or object in response to a query based on an approximate geolocation of said client device and/or based on user information data, - select at least one augmented reality bubble from the retrieved candidate list of available augmented reality bubbles, - load, via the inquiring client device from a database, a precise local map and a set of annotations for each reality bubble selected augmented reality, and - perform accurate tracking of said client device inside the selected augmented reality bubble using the accurate local map carr the respective augmented reality bubble for provision of augmented reality annotations at the exact positions of the tracked client device.

[0011] As anotações providas pelo método de acordo com a presente invenção podem auxiliar um usuário a executar ações nas posições exatas, e aumentar a precisão dessas ações.[0011] The annotations provided by the method according to the present invention can help a user to perform actions in the exact positions, and increase the accuracy of those actions.

[0012] Em uma modalidade possível do método de acordo com o primeiro aspecto da presente invenção, a seleção da pelo menos uma bolha de realidade aumentada a partir de uma lista candidata recuperada de bolhas de realidade aumentada disponíveis pode ser feita de modo preciso .[0012] In a possible embodiment of the method according to the first aspect of the present invention, selecting the at least one augmented reality bubble from a retrieved candidate list of available augmented reality bubbles can be done accurately.

[0013] De acordo com uma modalidade possível, a seleção de pelo menos uma bolha de realidade aumentada da lista candidata recuperada de bolhas de realidade aumentada disponíveis compreende: - a captura de imagens e/ou sons do ambiente do dispositivo cliente, - o processamento de imagens capturadas e/ou sons capturados a fim de extrair tags comparadas com as tags de identificação de bolha predefinidas associadas às bolhas de realidade aumentada da lista candidata recuperada, e - a determinação das bolhas de realidade aumentada relevantes da lista candidata recuperada, dependendo dos resultados da comparação.[0013] According to a possible modality, the selection of at least one augmented reality bubble from the retrieved candidate list of available augmented reality bubbles comprises: - capturing images and/or sounds from the environment of the client device, - processing of captured images and/or captured sounds in order to extract tags compared to the predefined bubble identification tags associated with the augmented reality bubbles of the retrieved candidate list, and - the determination of the relevant augmented reality bubbles of the retrieved candidate list, depending on the comparison results.

[0014] Em ainda outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, a seleção de pelo menos uma bolha de realidade aumentada da lista candidata recuperada de bolhas de realidade aumentada disponíveis pode ser feita em resposta a um comando de entrada de usuário selecionando uma bolha de realidade aumentada com base nos nomes das bolhas de realidade aumentada disponíveis exibidas em um dispositivo de vídeo de uma interface de usuário do dispositivo cliente para o usuário.[0014] In yet another possible embodiment of the method according to the first aspect of the present invention, the selection of at least one augmented reality bubble from the retrieved candidate list of available augmented reality bubbles can be done in response to an input command user selecting an augmented reality bubble based on the names of available augmented reality bubbles displayed on a display device from a client device UI to the user.

[0015] Em uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, o mapa local carregado pelo dispositivo cliente compreende um mapa local de recursos, em particular um mapa SLAM (de localização e mapeamento simultâneos) e/ou um modelo de desenho assistido por computador, CAD, de um objeto dentro da bolha de realidade aumentada selecionada.[0015] In another possible embodiment of the method according to the first aspect of the present invention, the local map loaded by the client device comprises a local resource map, in particular a SLAM (simultaneous location and mapping) map and/or a computer-aided CAD drawing model of an object within the selected augmented reality bubble.

[0016] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, a geolocalização aproximada do dispositivo cliente é detectada por uma unidade de detecção de geolocalização do dito dispositivo cliente.[0016] In yet another possible embodiment of the method according to the first aspect of the present invention, the approximate geolocation of the client device is detected by a geolocation detection unit of said client device.

[0017] Em uma modalidade possível do método de acordo com o primeiro aspecto da presente invenção, a unidade de detecção de geolocalização do dito dispositivo cliente é adaptada de modo a determinar a geolocalização aproximada do dispositivo cliente em resposta aos sinais recebidos pela unidade de detecção de geolocalização a partir de fontes de sinal externas, incluindo satélites[0017] In a possible embodiment of the method according to the first aspect of the present invention, the geolocation detection unit of said client device is adapted in order to determine the approximate geolocation of the client device in response to the signals received by the detection unit geolocation from external signal sources including satellites

GPS e/ou estações de WiFi.GPS and/or WiFi stations.

[0018] Em uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações da posição corrente exata rastreada do dispositivo cliente são emitidas através de uma interface de usuário do dispositivo cliente para um usuário ou operador.[0018] In another possible embodiment of the method according to the first aspect of the present invention, the annotations of the exact current position tracked from the client device are issued through a user interface of the client device to a user or operator.

[0019] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações compreendem anotações estáticas, incluindo anotações de texto, anotações acústicas e/ou anotações visuais (incluindo experiências de realidade virtual) relacionadas a um local e/ou relacionadas a um objeto físico.[0019] In yet another possible embodiment of the method according to the first aspect of the present invention, the annotations comprise static annotations, including text annotations, acoustic annotations and/or visual annotations (including virtual reality experiences) related to a location and/or related to a physical object.

[0020] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações compreendem anotações estáticas incluindo anotações de texto, anotações acústicas e/ou anotações visuais (incluindo experiências de realidade virtual) relacionadas à bolha de realidade aumentada propriamente dita.[0020] In yet another possible embodiment of the method according to the first aspect of the present invention, the annotations comprise static annotations including text annotations, acoustic annotations and/or visual annotations (including virtual reality experiences) related to the reality bubble increased itself.

[0021] Isso significa que a anotação não está vinculada a um local específico ou a um objeto físico específico dentro da bolha de realidade aumentada. Ao invés disso, a anotação é vinculada à bolha de realidade aumentada inteira; em outras palavras, a anotação é vinculada a toda a bolha de realidade aumentada propriamente dita. Nesses casos em que a bolha de realidade aumentada corresponde a uma sala (física), a presente modalidade poderá também ser referida como "posterior à sala". Uma vantagem de se vincular uma notação a, por exemplo, uma sala inteira é que a colocação da anotação é simplificada e também funcionará caso haja problemas com o escaneamento da sala.[0021] This means that the annotation is not tied to a specific location or a specific physical object within the augmented reality bubble. Instead, the annotation is linked to the entire augmented reality bubble; in other words, the annotation is linked to the entire augmented reality bubble itself. In those cases where the augmented reality bubble corresponds to a (physical) room, the present modality can also be referred to as "after the room". An advantage of linking a notation to, for example, an entire room is that the placement of the note is simplified and will also work if there are problems with scanning the room.

[0022] De acordo com outra alternativa, as anotações também podem compreender informações hápticas relacionadas a um objeto específico. Esta alternativa poderá ser especificamente relevante no que diz respeito ao uso de luvas de dados.[0022] According to another alternative, annotations can also comprise haptic information related to a specific object. This alternative may be specifically relevant with regard to the use of data gloves.

[0023] A provisão de informações hápticas permite ao usuário uma interação simplificada e mais intuitiva com o conteúdo digital. A provisão e a recuperação de informações hápticas são vantajosamente executadas com uma luva de dados, que registra as respectivas informações.[0023] The provision of haptic information allows the user a simplified and more intuitive interaction with digital content. The provision and retrieval of haptic information is advantageously performed with a data glove, which records the respective information.

[0024] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações compreendem links para fontes que proveem anotações estáticas e/ou anotações dinâmicas ao vivo, incluindo fluxos de dados.[0024] In yet another possible embodiment of the method according to the first aspect of the present invention, the annotations comprise links to sources that provide static annotations and/or live dynamic annotations, including data streams.

[0025] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações são associadas a diferentes camadas de anotação digital selecionáveis e/ou filtradas de acordo com os dados de informação de usuário, incluindo direitos de acesso de usuário e/ou tarefas de usuário.[0025] In yet another possible embodiment of the method according to the first aspect of the present invention, the annotations are associated with different selectable digital annotation layers and/or filtered according to the user information data, including access rights user tasks and/or user tasks.

[0026] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, cada bolha de realidade aumentada é representada por um conjunto de dados armazenado em um banco de dados de uma plataforma, sendo que o conjunto de dados compreende: - um nome de bolha da bolha de realidade aumentada, - um ponto de âncora anexado a um local e/ou anexado a um objeto e que tem as coordenadas globais de um sistema global de coordenadas, - um mapa local espacial preciso que inclui, dentro de uma esfera da dita bolha de realidade aumentada, os dados de rastreamento usados para rastrear de modo preciso os dispositivos clientes dentro da dita esfera, e que tem as coordenadas locais de um sistema local de coordenadas em torno de um ponto de cor da dita bolha de realidade aumentada, - anotações relacionadas a locais e/ou objetos dentro da esfera da dita bolha de realidade aumentada, e - tags de identificação de bolha usadas para identificar a bolha de realidade aumentada por meio da comparação com as tags extraídas.[0026] In yet another possible embodiment of the method according to the first aspect of the present invention, each augmented reality bubble is represented by a set of data stored in a database of a platform, the data set comprising : - an augmented reality bubble bubble name, - an anchor point attached to a location and/or attached to an object and which has the global coordinates of a global coordinate system, - an accurate spatial local map that includes, within a sphere of said augmented reality bubble, the tracking data used to accurately track client devices within said sphere, and which has the local coordinates of a local coordinate system around a color point of said sphere. augmented reality bubble, - annotations related to locations and/or objects within the sphere of said augmented reality bubble, and - bubble identification tags used to identify the augmented reality bubble by comparing with the extracted tags.

[0027] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as tags de identificação de bolha de um conjunto de dados de bolha de realidade aumentada compreendem recursos detectáveis dentro da esfera da bolha de realidade aumentada, incluindo recursos textuais, recursos acústicos, e/ou recursos visuais dentro de um ambiente da esfera da bolha de realidade aumentada.[0027] In yet another possible embodiment of the method according to the first aspect of the present invention, the bubble identification tags of an augmented reality bubble dataset comprise detectable resources within the sphere of the augmented reality bubble, including textual features, acoustic features, and/or visuals within an Augmented Reality Bubble Sphere environment.

[0028] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as imagens e/ou sons do ambiente do dispositivo cliente são capturados pelos sensores do dispositivo cliente e processados por um algoritmo de reconhecimento de tag ou por uma rede neural treinada a fim de classificar as imagens e/ou sonos, e extrair as tags usadas para fins comparação com as tags de identificação de bolha predefinidas.[0028] In yet another possible embodiment of the method according to the first aspect of the present invention, the images and/or sounds of the environment of the client device are captured by the sensors of the client device and processed by a tag recognition algorithm or by a trained neural network in order to classify the images and/or sounds, and extract the tags used for comparison purposes with the predefined bubble identification tags.

[0029] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, várias bolhas de realidade aumentada são agrupadas em uma meta bolha de realidade aumentada e as ditas bolhas de realidade aumentada fazem parte da lista candidata.[0029] In yet another possible embodiment of the method according to the first aspect of the present invention, several augmented reality bubbles are grouped into an augmented reality meta bubble and said augmented reality bubbles are part of the candidate list.

[0030] As bolhas de realidade aumentada aderidas a uma meta bolha de realidade aumentada (abreviando: uma meta bolha) podem ser providas com marcadores internos. Uma meta bolha pode compreender um mapa local preciso que cobre todas as bolhas de realidade aumentada que estão agrupadas na meta bolha.[0030] Augmented reality bubbles attached to an augmented reality meta bubble (short: a meta bubble) can be provided with internal markers. A meta bubble can comprise an accurate local map that covers all the augmented reality bubbles that are grouped in the meta bubble.

[0031] Para dar um exemplo concreto, uma meta bolha pode corresponder a um edifício de conferência. Neste exemplo, a meta bolha pode compreender uma pluralidade de bolhas de realidade aumentada que se aderem à meta bolha, sendo que cada bolha de realidade aumentada corresponderá a uma sala de conferência do edifício da conferência. Quando um usuário chega a uma determinada sala de conferência do edifício de conferência, esse usuário será localizado de forma manual ou automática com precisão e poderá receber as respetivas anotações pertencentes à sala específica na qual ele se encontra presente.[0031] To give a concrete example, a bubble goal can correspond to a conference building. In this example, the meta bubble can comprise a plurality of augmented reality bubbles that adhere to the meta bubble, with each augmented reality bubble corresponding to a conference room in the conference building. When a user arrives at a certain conference room of the conference building, that user will be located manually or automatically with precision and will be able to receive the respective annotations belonging to the specific room in which he is present.

[0032] Uma meta bolha poderá compreender os termos de uso que regem os direitos de acesso a todas as bolhas de realidade aumentada agrupadas na meta bolha. Desta forma, será possível evitar que a estrutura interna de um edifício, por exemplo, a quantidade e os números de suas salas, sejam reconhecidos de fora.[0032] A meta bubble may comprise the terms of use that govern access rights to all augmented reality bubbles grouped in the meta bubble. In this way, it will be possible to prevent the internal structure of a building, for example, the number and numbers of its rooms, from being recognized from the outside.

[0033] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, uma das bolhas de realidade aumentada disponíveis é vinculada à posição de um dispositivo do usuário. O dispositivo poderá ser, por exemplo, um smartfone do usuário.[0033] In yet another possible embodiment of the method according to the first aspect of the present invention, one of the available augmented reality bubbles is linked to the position of a user device. The device could be, for example, a user's smartphone.

[0034] Essa bolha de realidade aumentada poderá também ser referida como uma "bolha de flutuação livre" ou uma "bolha do usuário". Isso significa que um usuário tem a sua própria bolha pessoal que ele poderá abrir a qualquer momento, uma vez que a bolha está vinculada ao seu smartfone e, portanto, o segue onde quer que vá. A bolha do usuário poderá também ser aberta caso o usuário já esteja localizado em outra bolha (cenário "bolha em bolha").[0034] This augmented reality bubble may also be referred to as a "free-floating bubble" or a "user bubble". This means that a user has his own personal bubble that he can open at any time, as the bubble is linked to his smartphone and therefore follows him wherever he goes. The user bubble can also be opened if the user is already located in another bubble ("bubble bubble" scenario).

[0035] De acordo com uma primeira alternativa ("bolha de flutuação livre"), as anotações na bolha do usuário só poderão ser vistas e editadas pelo usuário a quem a bolha pertence. Nesse caso, a bolha do usuário poderá ser visto como uma área de transferência pessoal do usuário.[0035] According to a first alternative ("free floating bubble"), the annotations in the user bubble can only be seen and edited by the user to whom the bubble belongs. In that case, the user bubble could be seen as a user's personal clipboard.

[0036] De acordo com uma segunda alternativa ("bolha do usuário"), as anotações na bolha do usuário podem também ser visíveis e editáveis por outros usuários localizados na ou perto da bolha do usuário. Nesse caso, o usuário poderá deixar notas em sua bolha de usuário que gostaria de compartilhar com outras pessoas.[0036] According to a second alternative ("user bubble"), annotations in the user bubble may also be visible and editable by other users located in or near the user bubble. In that case, the user can leave notes in their user bubble that they would like to share with others.

[0037] Por meio de bolhas de flutuação livre ou bolhas de usuário, os usuários podem transportar e acessar informações a qualquer momento e em qualquer lugar de modo preciso. Além disso, a edição e interação dessas informações são otimizadas.[0037] By means of free-floating bubbles or user bubbles, users can accurately transport and access information anytime and anywhere. In addition, editing and interacting with this information is streamlined.

[0038] As bolhas de flutuação livre e as bolhas de usuário de modo geral requerem a intercalação de dados de localização (dados de rastreamento geográfico) com os dados obtidos a partir de um dispositivo de determinação de localização a fim de vincular corretamente as anotações das bolhas de flutuação livre e das bolhas de usuário com a posição do respectivo usuário (por exemplo, seu smartfone).[0038] Free-floating bubbles and user bubbles generally require the interleaving of location data (geographic tracking data) with data obtained from a location determination device in order to correctly link the annotations of the free-floating bubbles and user bubbles with the position of the respective user (eg your smartphone).

[0039] Para as bolhas de usuário, a comunicação entre os dispositivos de várias pessoas é necessária, por exemplo, em um espaço comum que é também conhecido como "espaço mundial".[0039] For user bubbles, communication between devices of multiple people is required, for example, in a common space which is also known as "world space".

[0040] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, a consulta poderá ser feita através de uma interface de usuário do dispositivo cliente e suprida através de uma rede local e/ou global para um servidor que tem um mecanismo de pesquisa que, em resposta a uma consulta recebida, determina as bolhas de realidade aumentada disponíveis na geolocalização aproximada detectada do dispositivo cliente consultante e retorna a lista candidata de bolhas de realidade aumentada disponíveis de volta para o dispositivo cliente consultante.[0040] In yet another possible embodiment of the method according to the first aspect of the present invention, the query may be made through a user interface of the client device and supplied through a local and/or global network to a server that has a search engine which, in response to an incoming query, determines the available augmented reality bubbles at the detected approximate geolocation of the inquiring client device and returns the candidate list of available augmented reality bubbles back to the inquiring client device.

[0041] Em particular, o dispositivo cliente pode ainda transmitir dados de sensor para o servidor ao transmitir a sua geolocalização aproximada para o servidor.[0041] In particular, the client device can further transmit sensor data to the server by transmitting its approximate geolocation to the server.

[0042] A título de exemplo, o dispositivo cliente não apenas enviará informações de GPS, mas também, por exemplo, uma pequena quantidade de dados de sensor (áudio, vídeo, etc.) para o servidor. O servidor poderá, em seguida, comparar os dados de sensor recebidos com os dados existentes da respectiva bolha de realidade aumentada. Isso terá a vantagem de que a quantidade de dados enviados da bolha para o servidor poderá ser reduzida, desta forma o consumo de energia do dispositivo cliente será reduzido, e a vida útil da bateria do dispositivo cliente poderá ser prolongada. Além disso, a exibição de hologramas complexos poderá ser ativada. Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, o rastreamento preciso do dispositivo cliente dentro de uma esfera de uma bolha de realidade aumentada selecionada usando o mapa local exato carregado da respectiva bolha de realidade aumentada se baseia nos recursos de baixo nível extraídos das imagens e/ou sons capturados pelos sensores do dispositivo cliente.[0042] By way of example, the client device will not only send GPS information, but also, for example, a small amount of sensor data (audio, video, etc.) to the server. The server can then compare the received sensor data with existing data from its Augmented Reality bubble. This will have the advantage that the amount of data sent from the bubble to the server can be reduced, thus the power consumption of the client device will be reduced, and the battery life of the client device can be extended. Also, the display of complex holograms can be enabled. In yet another possible embodiment of the method according to the first aspect of the present invention, accurate tracking of the client device within a sphere of a selected augmented reality bubble using the exact loaded local map of the respective augmented reality bubble is based on the low-level resources extracted from the images and/or sounds captured by the sensors of the client device.

[0043] Em ainda outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, as anotações relacionadas a um local e/ou a um objeto são criadas e/ou editadas e/ou atribuídas a uma camada digital específica por um usuário através de uma interface de usuário de um dispositivo cliente do respectivo usuário.[0043] In yet another possible embodiment of the method according to the first aspect of the present invention, annotations related to a location and/or an object are created and/or edited and/or assigned to a specific digital layer by a user through a user interface of a client device of the respective user.

[0044] Deve-se observar que os direitos de acesso a camadas específicas poderão, por exemplo, ser armazenados nas configurações definidas pelo usuário. Os mesmos poderão ser visualizados e editados, por exemplo, no aplicativo que provê as bolhas de realidade aumentada anotadas para o usuário. Configurações de segurança, tal como uma proteção por senha das configurações, poderão ser providas. O acesso a uma bolha de realidade aumentada poderá, além disso, ser provido por um link da web ou provedores similares.[0044] It should be noted that access rights to specific layers may, for example, be stored in user-defined settings. They can be viewed and edited, for example, in the application that provides the annotated augmented reality bubbles for the user. Security settings, such as password protection of settings, can be provided. Access to an augmented reality bubble can furthermore be provided by a web link or similar providers.

[0045] Em ainda uma outra modalidade possível do método de acordo com o primeiro aspecto da presente invenção, os objetos compreendem objetos físicos que incluem os objetos imóveis localizados em locais fixos no ambiente de mundo real, ou objetos móveis que se deslocam no ambiente de mundo real e que apresentam localizações variáveis.[0045] In yet another possible embodiment of the method according to the first aspect of the present invention, the objects comprise physical objects that include immobile objects located in fixed locations in the real world environment, or mobile objects moving in the environment of real world and that have variable locations.

[0046] De acordo com ainda outra modalidade da invenção, o layout de uma bolha de realidade aumentada que se adere a uma empresa específica poderá se adaptar à identidade corporativa (ao desenho corporativo) daquele design. Isso se aplica, por exemplo, à interface do usuário, às camadas ou anotações que são exibidas na respectiva bolha.[0046] According to yet another modality of the invention, the layout of an augmented reality bubble that adheres to a specific company may adapt to the corporate identity (corporate design) of that design. This applies, for example, to the user interface, layers or annotations that are displayed in the respective bubble.

[0047] A presente invenção provê ainda, de acordo com um segundo aspecto, um sistema para a provisão de anotações relacionadas a localizações e/ou relacionadas a objetos em realidade aumentada, compreendendo as características da reivindicação 21.[0047] The present invention further provides, according to a second aspect, a system for the provision of annotations related to locations and/or related to objects in augmented reality, comprising the characteristics of claim 21.

[0048] O sistema de acordo com o segundo aspecto compreende dispositivos clientes conectados através de uma rede local e/ou uma rede remota a um servidor adaptado para recuperar, em resposta a uma consulta recebida de um dispositivo cliente consultante de um usuário, uma lista candidata de bolhas de realidade aumentada disponíveis com base em uma geolocalização aproximada do dispositivo cliente consultante e/ou com base em dados de informação de usuário, e retornar a lista candidata recuperada para o dispositivo cliente consultante do usuário para a seleção de pelo menos uma bolha de realidade aumentada da lista candidata retornada, sendo que um mapa local preciso e um conjunto de anotações para cada bolha de realidade aumentada selecionada são carregados a partir de um banco de dados do servidor pelo dispositivo cliente usado para rastrear o dispositivo cliente dentro da bolha de realidade aumentada selecionada, e prover anotações de realidade aumentada nas posições exatas do dispositivo cliente rastreado.[0048] The system according to the second aspect comprises client devices connected through a local network and/or a remote network to a server adapted to retrieve, in response to a query received from an inquiring client device of a user, a list candidate of available augmented reality bubbles based on an approximate geolocation of the inquiring client device and/or based on user information data, and return the retrieved candidate list to the inquiring client device of the user for selection of at least one bubble of the returned candidate list, where an accurate local map and set of annotations for each selected augmented reality bubble are loaded from a server database by the client device used to track the client device within the selected augmented reality, and provide augmented reality annotations at the exact positions of the device. ivo tracked customer.

[0049] Em uma modalidade possível do sistema de acordo com o segundo aspecto da presente invenção, o dispositivo cliente compreende um processador que é adaptado para processar imagens capturadas de modo preciso e/ou sons capturados do ambiente do dispositivo cliente a fim de extrair de modo preciso as tags comparadas com as tags predefinidas associadas às bolhas de realidade aumentada disponíveis, sendo que as tags extraídas são comparadas com as tags de identificação de bolha predefinidas associadas às bolhas de realidade aumentada da lista candidata recuperada a fim de determinar de modo preciso a bolha de realidade aumentada mais relevante a partir das listas candidatas recuperadas.[0049] In a possible embodiment of the system according to the second aspect of the present invention, the client device comprises a processor that is adapted to process accurately captured images and/or captured sounds from the environment of the client device in order to extract from accurately matches the tags against the predefined tags associated with the available augmented reality bubbles, and the extracted tags are compared with the predefined bubble identification tags associated with the augmented reality bubbles from the retrieved candidate list to accurately determine the most relevant augmented reality bubble from the retrieved candidate lists.

[0050] A seguir, possíveis modalidades dos diferentes aspectos da presente invenção serão descritas em mais detalhes com referência às figuras em anexo.[0050] In the following, possible embodiments of the different aspects of the present invention will be described in more detail with reference to the attached figures.

[0051] A Figura 1 mostra um diagrama de blocos esquemático para ilustrar uma modalidade exemplar possível de um método e aparelho de acordo com a presente invenção;[0051] Figure 1 shows a schematic block diagram to illustrate a possible exemplary embodiment of a method and apparatus according to the present invention;

[0052] A Figura 2 mostra um fluxograma de uma modalidade possível de um método para a provisão de anotações de acordo com um aspecto da presente invenção;[0052] Figure 2 shows a flowchart of a possible embodiment of a method for providing annotations in accordance with an aspect of the present invention;

[0053] A Figura 3 mostra um diagrama de sinalização para ilustrar uma modalidade exemplar possível de um método e aparelho de acordo com a presente invenção;[0053] Figure 3 shows a signaling diagram to illustrate a possible exemplary embodiment of a method and apparatus according to the present invention;

[0054] A Figura 4 mostra um diagrama esquemático para ilustrar um caso de uso exemplar possível para um método e aparelho de acordo com a presente invenção;[0054] Figure 4 shows a schematic diagram to illustrate a possible exemplary use case for a method and apparatus according to the present invention;

[0055] A Figura 5 mostra um diagrama esquemático para ilustrar um outro caso de uso exemplar possível para um método e aparelho de acordo com a presente invenção.[0055] Figure 5 shows a schematic diagram to illustrate another possible exemplary use case for a method and apparatus according to the present invention.

[0056] Tal como se pode observar no diagrama de blocos da Figura 1, a presente invenção provê, de acordo com um aspecto, um sistema 1 para a provisão de anotações relacionadas a localizações e/ou relacionadas a um objeto em realidade aumentada. O sistema 1 compreende uma nuvem de rede 2 tendo redes locais e/ou redes remotas que conectam dispositivos clientes 3 a pelo menos um servidor 4 compreendendo um mecanismo de pesquisa 5. O mecanismo de pesquisa 5 do servidor 4 pode ter acesso a um banco de dados central 6 ou a bancos de dados distribuídos 6.[0056] As can be seen in the block diagram of Figure 1, the present invention provides, according to an aspect, a system 1 for the provision of annotations related to locations and/or related to an object in augmented reality. The system 1 comprises a network cloud 2 having local networks and/or remote networks which connect client devices 3 to at least one server 4 comprising a search engine 5. The search engine 5 of the server 4 may have access to a database of central data 6 or distributed databases 6.

[0057] O sistema 1 pode compreender uma pluralidade de diferentes dispositivos clientes 3 que são conectados direta ou indiretamente (roteador, dispositivo periférico) através de links com fio ou sem fio à nuvem de rede 2. Os dispositivos clientes de realidade aumentada 3 podem compreender, por exemplo, smartfones, tablets, ou dispositivos clientes com dispositivos de vídeo usados na cabeça (óculos ou capacetes de realidade virtual). Os dispositivos clientes 3 compreendem conectividade de rede remota. O dispositivo cliente 3 pode compreender um hardware sensorial de sensores, em particular, uma câmera 7 e/ou um microfone 8, tal como ilustrado na Figura 1. Os sensores 7, 8 do dispositivo cliente 3 podem prover uma unidade de processamento 9 do dispositivo cliente 3 com dados de sensor. A câmera 7 do dispositivo cliente 3 é adaptada no sentido de capturar imagens do ambiente do dispositivo cliente. O microfone 8 é adaptado para capturar os sons do ambiente do dispositivo cliente 3. O dispositivo cliente 3 compreende, na modalidade ilustrada, uma interface de comunicação 10 a fim de conectar o dispositivo cliente 3 à nuvem de rede 2 por meio de um link de dados sem fio ou com fio. O dispositivo cliente 3 compreende ainda uma interface de usuário 11 para a exibição de informações a um usuário U e/ou para o recebimento de comandos de entrada de usuário.[0057] The system 1 can comprise a plurality of different client devices 3 that are connected directly or indirectly (router, peripheral device) through wired or wireless links to the network cloud 2. The augmented reality client devices 3 can comprise , for example, smartphones, tablets, or client devices with head-worn video devices (virtual reality goggles or helmets). Client devices 3 comprise remote network connectivity. The client device 3 may comprise sensor sensor hardware, in particular a camera 7 and/or a microphone 8, as illustrated in Figure 1. The sensors 7, 8 of the client device 3 may provide a processing unit 9 of the device. client 3 with sensor data. The camera 7 of the client device 3 is adapted in order to capture images of the environment of the client device. The microphone 8 is adapted to capture the sounds of the environment of the client device 3. The client device 3 comprises, in the illustrated embodiment, a communication interface 10 in order to connect the client device 3 to the network cloud 2 via a network link. wireless or wired data. The client device 3 further comprises a user interface 11 for displaying information to a user U and/or for receiving user input commands.

[0058] De acordo com a modalidade ilustrada na Figura 1, o dispositivo cliente 3 compreende ainda uma unidade de detecção de geolocalização 12. A unidade de detecção de geolocalização 12 provê uma geolocalização aproximada do dispositivo cliente 3. A unidade de detecção de geolocalização 12 do dispositivo cliente 3 é adaptada para determinar a geolocalização aproximada do dispositivo cliente 3 em resposta aos sinais recebidos por um receptor do dispositivo cliente 3 a partir de fontes de sinal externas. Estas fontes de sinal externas podem incluir satélites GPS que enviam sinais de satélite GPS para a unidade de detecção de geolocalização 12 do dispositivo cliente 3 e/ou estações de WiFi que transmitem sinais de WiFi. O dispositivo cliente 3 pode conter um receptor GPS, um dispositivo de detecção de geolocalização 12 baseado em WiFi ou similar. A unidade de detecção de geolocalização 12 permite que o dispositivo cliente 3 determine a sua posição dentro de uma certa precisão (relativamente baixa) de aproximadamente 5 metros ao ar livre e 50 metros em lugares fechados. A unidade de detecção de geolocalização 12 pode ser integrada no dispositivo cliente 3, tal como ilustrado na Figura 1, ou em outro dispositivo que é conectado ao dispositivo cliente 3. Por exemplo, quando o dispositivo cliente 3 não compreende uma unidade de detecção de geolocalização, o mesmo poderá ser ligado em outro dispositivo que tenha uma unidade de detecção de geolocalização 12.[0058] According to the embodiment illustrated in Figure 1, the client device 3 further comprises a geolocation detection unit 12. The geolocation detection unit 12 provides an approximate geolocation of the client device 3. The geolocation detection unit 12 of the client device 3 is adapted to determine the approximate geolocation of the client device 3 in response to signals received by a receiver of the client device 3 from external signal sources. These external signal sources may include GPS satellites which send GPS satellite signals to the geolocation detection unit 12 of the client device 3 and/or WiFi stations which transmit WiFi signals. The client device 3 may contain a GPS receiver, a 12 WiFi-based geolocation detection device or similar. The geolocation detection unit 12 allows the client device 3 to determine its position within a certain (relatively low) accuracy of approximately 5 meters outdoors and 50 meters indoors. The geolocation detection unit 12 can be integrated in the client device 3, as illustrated in Figure 1, or in another device that is connected to the client device 3. For example, when the client device 3 does not comprise a geolocation detection unit , it can be connected to another device that has a geolocation detection unit 12.

Este dispositivo externo poderá ser, por exemplo, um smartfone que opera como um ponto de acesso móvel e compreende um receptor GPS.This external device could be, for example, a smartphone that operates as a mobile access point and comprises a GPS receiver.

[0059] O dispositivo cliente 3 compreende uma câmera 7 capaz de tirar fotografias ou imagens do ambiente que poderão ser supridas para a unidade de processamento 9 do dispositivo cliente 3. A unidade de processamento 9 compreende pelo menos um microprocessador que poderá, de acordo com uma modalidade possível, executar um algoritmo de reconhecimento de imagem a fim de executar tarefas de reconhecimento de imagem. De modo alternativo, as imagens geradas pela câmera 7 do dispositivo cliente 3 poderão também ser enviadas através da nuvem de rede 2 para o servidor 4 que tem um processador adaptado para executar a requerida tarefa de reconhecimento de imagem. De modo similar, os sons capturados pela câmera 8 poderão ser processados por um microprocessador integrado na unidade de processamento 9 do dispositivo cliente ou por um processador do servidor remoto 4. O dispositivo cliente 3 compreende a câmera 7, uma tela e/ou um hardware sensorial apropriado a fim de permitir uma interação de realidade aumentada com o usuário U. Uma memória do dispositivo cliente 3 pode compreender um software executável capaz de executar um software SLAM local (de localização e mapeamento simultâneos) em realidade aumentada. Um exemplo pode incluir um iPhone da Apple com ARKit 2 ou o dispositivo Hololens da Microsoft. O software SLAM pode criar um mapa SLAM tridimensional das características ópticas locais do ambiente do dispositivo cliente ou do mundo real, e poderá salvar esse mapa no servidor 4. Além disso, esse software pode ser adaptado para a recuperação de um mapa de recursos pré-armazenados do banco de dados 6 do servidor 4, e usar esses recursos recuperados para rastrear de modo preciso o dispositivo cliente 3. O tamanho do mapa local de recursos LMAP pode ser limitado a uma determinada área tridimensional. Esta área tridimensional ou bolha pode compreender, em uma implementação possível, o tamanho de aproximadamente 10x10x10 metros. O tamanho do mapa local pode corresponder ao tamanho aproximado das diferentes salas dentro de um edifício. O tamanho do mapa local de recursos LMAP pode variar dependendo do caso de uso. No sistema 1 de acordo com a presente invenção, tal como ilustrado na Figura 1, o dispositivo cliente 3 é capaz de exibir ou emitir anotações em realidade aumentada AR através da interface de usuário 11 para um usuário ou operador U. O dispositivo cliente 3 pode recuperar essas anotações ANN do servidor 4 e permitir que a anotação recuperada seja vista e/ou ouvida pelo usuário U por meio da interface de usuário 11. Essas anotações ANN podem incluir fala (áudio ou conversão de fala em texto), modelos tridimensionais flutuantes, tais como setas, desenhos, fotografias e/ou vídeos capturados pelo dispositivo cliente 3 e/ou outros documentos. As anotações podem compreender anotações estáticas e/ou anotações dinâmicas ao vivo. As anotações estáticas podem, em geral, compreender anotações de texto, anotações acústicas, e/ou anotações visuais relacionadas a um local e/ou relacionadas a um objeto. As anotações podem compreender ainda links para fontes que proveem anotações estáticas ou anotações dinâmicas ao vivo, incluindo fluxos de dados.[0059] The client device 3 comprises a camera 7 capable of taking photographs or images of the environment that may be supplied to the processing unit 9 of the client device 3. The processing unit 9 comprises at least one microprocessor which may, according to one possible embodiment is to run an image recognition algorithm in order to perform image recognition tasks. Alternatively, the images generated by the camera 7 of the client device 3 could also be sent via the network cloud 2 to the server 4 which has a processor adapted to perform the required image recognition task. Similarly, the sounds captured by camera 8 may be processed by a microprocessor integrated in the processing unit 9 of the client device or by a processor of the remote server 4. The client device 3 comprises the camera 7, a screen and/or hardware appropriate sensory in order to allow an augmented reality interaction with the user U. A memory of the client device 3 can comprise an executable software capable of running a local SLAM software (simultaneous location and mapping) in augmented reality. An example might include an Apple iPhone with ARKit 2 or Microsoft's Hololens device. The SLAM software can create a three-dimensional SLAM map of the local optical characteristics of the client device environment or the real world, and it can save this map on the server 4. In addition, this software can be adapted to retrieve a pre-resource map. stored from the database 6 of the server 4, and use these retrieved resources to accurately track the client device 3. The local map size of LMAP resources can be limited to a certain three-dimensional area. This three-dimensional area or bubble can comprise, in a possible implementation, the size of approximately 10x10x10 meters. The size of the local map can correspond to the approximate size of different rooms within a building. The size of the LMAP resource local map may vary depending on the use case. In the system 1 according to the present invention, as illustrated in Figure 1, the client device 3 is capable of displaying or outputting annotations in augmented reality AR through the user interface 11 to a user or operator U. The client device 3 can retrieve these ANN annotations from server 4 and allow the retrieved annotation to be seen and/or heard by user U through UI 11. These ANN annotations can include speech (audio or speech-to-text conversion), floating three-dimensional models, such as arrows, drawings, photographs and/or videos captured by the client device 3 and/or other documents. Annotations can comprise static annotations and/or live dynamic annotations. Static annotations can generally comprise text annotations, acoustic annotations, and/or visual annotations related to a location and/or related to an object. Annotations can further comprise links to sources that provide static annotations or live dynamic annotations, including data streams.

[0060] As anotações ANN podem compreender dados e/ou fluxos de dados providos por outros sistemas, por exemplo, um sistema SCADA. De acordo com uma modalidade possível, o dispositivo cliente 3 é capaz de ser conectado por meio de uma rede local a um controlador local ou dispositivo periférico, ou por meio de uma nuvem a uma plataforma de agregação de dados IoT (de Internet das Coisas) ao vivo. As anotações podem conter links para fluxos de dados ao vivo, por exemplo, um gráfico de um sensor de temperatura localizado dentro de uma máquina ou objeto. As anotações podem ser estruturadas em camadas lógicas digitais L. Uma camada L é um grupo de anotações que são relevantes para certos tipos de usuários U em determinados momentos, por exemplo, informações de manutenção, informações de construção, informações turísticas, ou informações de uso. Um usuário U pode escolher entre diferentes camadas digitais L de anotações a serem exibidas para o mesmo por meio da interface de usuário 11. As anotações são associadas a diferentes camadas de anotação digital L que podem ser selecionadas por meio da interface de usuário 11, cuja interface poderá ser filtrada usando algoritmos de filtragem. A seleção de camadas de anotação digital poderá ser feita com base nos dados de informação de usuário, incluindo os direitos de acesso de usuário dos usuários e/ou as tarefas de usuário armazenadas dos respectivos usuários. É possível que um usuário possa gerar ou criar anotações conectadas a objetos e/ou a locais, e atribuir essas anotações criadas a diferentes camadas digitais L dependendo de um uso pretendido. De acordo com uma modalidade possível, o usuário poderá gerenciar o acesso de outros usuários às respectivas camadas digitais L, desta forma permitindo que outros usuários acessem as anotações que criaram.[0060] ANN annotations can comprise data and/or data streams provided by other systems, for example, a SCADA system. According to one possible modality, the client device 3 is capable of being connected via a local network to a local controller or peripheral device, or via a cloud to an IoT (Internet of Things) data aggregation platform live. Annotations can contain links to live data streams, for example a graph of a temperature sensor located inside a machine or object. Annotations can be structured into digital logical layers L. An L layer is a group of annotations that are relevant to certain types of U users at certain times, for example maintenance information, building information, tourist information, or usage information . A user U can choose between different digital layers L of annotations to be displayed to him through user interface 11. Annotations are associated with different digital annotation layers L that can be selected through user interface 11, whose interface can be filtered using filtering algorithms. The selection of digital annotation layers may be made based on user information data, including the users' user access rights and/or the stored user tasks of the respective users. It is possible that a user can generate or create annotations connected to objects and/or places, and assign these created annotations to different digital layers L depending on an intended use. According to a possible modality, the user will be able to manage the access of other users to the respective digital layers L, thus allowing other users to access the annotations they created.

[0061] Os diferentes dispositivos clientes 3 são conectados através da nuvem de rede 2 a pelo menos um servidor 4, tal como mostrado na Figura 1. O servidor 4 pode compreender um servidor na nuvem ou um servidor local ou periférico. O servidor 4 tem acesso a um banco de dados 6 a fim de armazenar dados para os diferentes clientes. O banco de dados 6 pode armazenar as chamadas bolhas de realidade aumentada ARB representadas por conjuntos de dados correspondentes. Um conjunto de dados de uma bolha de realidade aumentada ARB pode compreender, de acordo com uma modalidade possível, um nome de bolha da respectiva bolha de realidade aumentada, um ponto de âncora anexado a um local e/ou anexado a um objeto e tem as coordenadas globais de um sistema global de coordenadas (mundiais). O conjunto de dados compreende ainda um mapa local espacial preciso, por exemplo, um mapa SLAM que inclui dentro de uma esfera dos ditos dados de rastreamento de bolha de realidade aumentada ARB usados para rastrear de modo preciso os dispositivos clientes 3 dentro da esfera, e tem as coordenadas locais de um sistema local de coordenadas em torno do ponto de âncora da bolha de realidade aumentada.[0061] The different client devices 3 are connected via the network cloud 2 to at least one server 4, as shown in Figure 1. The server 4 can comprise a cloud server or a local or peripheral server. Server 4 has access to a database 6 in order to store data for different clients. Database 6 can store so-called ARB augmented reality bubbles represented by corresponding datasets. A dataset of an ARB augmented reality bubble can comprise, according to a possible modality, a bubble name of the respective augmented reality bubble, an anchor point attached to a location and/or attached to an object and has the global coordinates of a global (world) coordinate system. The dataset further comprises an accurate spatial local map, for example a SLAM map which includes within a sphere said ARB augmented reality bubble tracking data used to accurately track the client devices 3 within the sphere, and has the local coordinates of a local coordinate system around the anchor point of the augmented reality bubble.

As coordenadas locais são precisas e exatas.Local coordinates are precise and exact.

A coordenada local poderá indicar uma localização com uma alta precisão de poucos centímetros ou até mesmo de poucos milímetros.The local coordinate can indicate a location with a high accuracy of a few centimeters or even a few millimeters.

O conjunto de dados compreende anotações ANN relacionadas a locais e/ou objetos dentro da esfera da dita bolha de realidade aumentada, além das tags de identificação de bolhas usadas para identificar a bolha de realidade aumentada por meio da comparação com as tags extraídas.The dataset comprises ANN annotations related to locations and/or objects within the sphere of said augmented reality bubble, in addition to the bubble identification tags used to identify the augmented reality bubble by comparing with the extracted tags.

A bolha de realidade aumentada ARB compreende, dependendo da tecnologia, uma esfera ou área ou zona com um diâmetro de uma dimensão de, por exemplo, aproximadamente 10 metros.The ARB Augmented Reality Bubble comprises, depending on the technology, a sphere or area or zone with a diameter of a dimension of, for example, approximately 10 meters.

O tamanho de uma bolha ARB pode variar dependendo da tecnologia implementada e/ou ainda do caso de uso.The size of an ARB bubble can vary depending on the technology implemented and/or the use case.

A mesma poderá abranger um único cômodo ou um andar inteiro de fábrica em um edifício.It can cover a single room or an entire factory floor in a building.

A bolha de realidade aumentada pode ter um formato esférico, mas também outros formatos geométricos (por exemplo, cúbico). A bolha de realidade aumentada ARB pode compreender uma localização geográfica fixa ou variável definida por suas coordenadas de geolocalização.The augmented reality bubble can have a spherical shape, but also other geometric shapes (eg cubic). The ARB augmented reality bubble can comprise a fixed or variable geographic location defined by its geolocation coordinates.

A bolha de realidade aumentada ARB pode compreender um nome amigável ao usuário que foi inserido pelo usuário U que criou a respectiva bolha de realidade aumentada ARB.The ARB augmented reality bubble can comprise a user-friendly name that was entered by the user U who created the respective ARB augmented reality bubble.

Um nome típico para uma bolha de realidade aumentada ARB poderá ser, por exemplo, "Sala de Máquinas 33". O conjunto de dados de bolha de realidade aumentada armazenado no banco de dados 6 compreende ainda um mapa SLAM espacial gerado pelos dispositivos clientes 3 a fim de permitir um rastreamento preciso.A typical name for an ARB augmented reality bubble might be, for example, "Engine Room 33". The augmented reality bubble dataset stored in the database 6 further comprises a spatial SLAM map generated by the client devices 3 in order to allow accurate tracking.

O conjunto de dados compreende ainda referências a outras informações que permitirão aos dispositivos clientes 3 identificar as mesmas mais facilmente.The dataset further comprises references to other information that will allow client devices 3 to identify it more easily.

Por exemplo, o conjunto de dados de bolha de realidade aumentada poderá incluir as tags de identificação de bolha BITs usadas para identificar a bolha de realidade aumentada por meio da comparação com as tags extraídas.For example, the augmented reality bubble dataset might include the BITs bubble identification tags used to identify the augmented reality bubble by comparing it to the extracted tags.

Essas tags de identificação de bolha BITs podem compreender, por exemplo, informações textuais, tais como um número de sala que poderá ser detectado por um reconhecimento de texto em fotos capturadas pela câmera 7 do dispositivo cliente 3. As tags de identificação de bolha BITs podem compreender ainda, por exemplo, um ID de código de barras ou quaisquer outros recursos de alto nível que poderão ser detectados usando o reconhecimento de imagem.These BITs bubble identification tags can comprise, for example, textual information such as a room number that can be detected by a text recognition in photos captured by the camera 7 of the client device 3. The BITs bubble identification tags can further understand, for example, a barcode ID or any other high level features that could be detected using image recognition.

A bolha de realidade aumentada ARB compreende ainda as anotações ANN relacionadas aos locais e/ou objetos dentro de uma esfera da dita bolha de realidade aumentada ARB.The ARB augmented reality bubble further comprises the ANN annotations related to locations and/or objects within a sphere of said ARB augmented reality bubble.

Essas anotações poderão compreender todos os dados de anotações criadas, inclusive texto, áudio, fotos, vídeos, documentos, etc. agrupados dentro das camadas lógicas digitais L.These annotations can comprise all the data of annotations created, including text, audio, photos, videos, documents, etc. grouped within the L digital logical layers.

De acordo com uma modalidade possível, o servidor 4 compreende o mecanismo de pesquisa 5 que recebe consultas Q de diferentes dispositivos clientes 3 através da rede em nuvem 2. As consultas Q poderão incluir a geolocalização aproximada dos dispositivos clientes consultantes 3. O mecanismo de pesquisa 5 poderá determinar, com base na informação recebida contida nas consultas recebidas Q, em quais bolhas de realidade aumentada ARB os dispositivos clientes consultantes 3 correntemente se encontram (ou próximos a quais bolhas os mesmos se encontram). De acordo com uma modalidade possível, o servidor 4 poderá compreender ainda uma funcionalidade de reconhecimento de imagem que permite o processamento das imagens carregadas pelos diferentes dispositivos clientes 3.According to a possible modality, the server 4 comprises the search engine 5 which receives Q queries from different client devices 3 via the cloud network 2. The Q queries may include the approximate geolocation of the consulting client devices 3. The search engine 5 will be able to determine, based on the received information contained in the received queries Q, in which augmented reality bubbles ARB the inquiring client devices 3 are currently located (or close to which bubbles they are located). According to a possible modality, the server 4 may also comprise an image recognition functionality that allows the processing of images loaded by the different client devices 3.

[0062] A Figura 2 mostra um fluxograma de uma modalidade exemplar possível de um método para a provisão de anotações relacionadas a um local ou relacionadas a um objeto em realidade aumentada AR, de acordo com um aspecto da presente invenção.[0062] Figure 2 shows a flowchart of a possible exemplary embodiment of a method for providing annotations related to a location or related to an object in AR augmented reality, in accordance with an aspect of the present invention.

[0063] Em uma primeira etapa S1, uma lista candidata CL de bolhas de realidade aumentada ARB disponíveis é recuperada por parte de um dispositivo cliente 3 em resposta a uma consulta Q com base em uma geolocalização aproximada do dispositivo cliente 3 e/ou com base em dados de informação de usuário de um usuário que manipula o dispositivo cliente 3. O dispositivo cliente 3 de um usuário U pode submeter ou enviar uma consulta Q para o servidor 4 do sistema 1 que compreende um mecanismo de pesquisa 5, tal como ilustrado na Figura 1. A consulta Q pode compreender uma geolocalização aproximada determinada ou detectada do respectivo dispositivo cliente consultante 3. O mecanismo de pesquisa 5 tem acesso ao banco de dados 6 a fim de encontrar as bolhas de realidade aumentada ARB disponíveis relacionadas a uma geolocalização indicada e/ou relacionadas a um objeto específico. Um objeto específico que é determinado na consulta Q poderá compreender um objeto imóvel localizado em uma posição fixa ou um objeto móvel, por exemplo, um veículo, compreendendo posições variáveis. Uma lista candidata recuperada CL de bolhas de realidade aumentada ARB disponíveis é retornada ao dispositivo cliente consultante 3.[0063] In a first step S1, a CL candidate list of available ARB augmented reality bubbles is retrieved by a client device 3 in response to a Q query based on an approximate geolocation of the client device 3 and/or based in user information data of a user manipulating the client device 3. The client device 3 of a user U can submit or send a query Q to the server 4 of the system 1 comprising a search engine 5 as illustrated in Figure 1. The Q query may comprise a determined or detected approximate geolocation of the respective inquiring client device 3. The search engine 5 has access to the database 6 in order to find the available ARB augmented reality bubbles related to an indicated geolocation and /or related to a specific object. A specific object that is determined in the Q query may comprise an immobile object located in a fixed position or a mobile object, for example a vehicle, comprising variable positions. A candidate list retrieved CL of available ARB augmented reality bubbles is returned to the inquiring client device 3.

[0064] Em uma etapa adicional S2, pelo menos uma bolha de realidade aumentada ARB da lista candidata recuperada CL de bolhas de realidade aumentada disponíveis é selecionada. A seleção de bolhas de realidade aumentada ARB da lista candidata retornada CL de bolhas de realidade aumentada disponíveis pode ser feita de modo preciso e/ou em resposta aos comandos do usuário. De acordo com uma modalidade possível, pelo menos uma bolha de realidade aumentada ARB é selecionada a partir da lista candidata recuperada CL capturando as imagens e/ou sons do ambiente do dispositivo cliente e processando as imagens capturadas ou os sons capturados no sentido de extrair as tags comparadas com as tags de identificação de bolhas predefinidas associadas às bolhas de realidade aumentada da lista candidata CL recuperada. Por fim, as bolhas de realidade aumentada ARB relevantes da lista candidata recuperada são determinadas dependendo dos resultados da comparação. Por conseguinte, a lista candidata CL recuperada de bolhas de realidade aumentada disponíveis é reduzida com base nas tags extraídas das imagens capturadas e/ou dos sons capturados. De acordo com uma modalidade possível, a lista candidata CL de bolhas de realidade aumentada ARB disponíveis é exibida para um usuário por meio da interface de usuário 11 do dispositivo cliente 3 mostrando os nomes das respectivas bolhas de realidade aumentada ARB. O usuário U poderá selecionar diversas bolhas dentre as bolhas de realidade aumentada que são exibidas e inserir um comando de usuário correspondente para a seleção das bolhas de realidade aumentada requeridas ou desejadas.[0064] In an additional step S2, at least one augmented reality bubble ARB from the retrieved candidate list CL of available augmented reality bubbles is selected. Selection of ARB augmented reality bubbles from the CL returned candidate list of available augmented reality bubbles can be done accurately and/or in response to user commands. According to a possible modality, at least one ARB augmented reality bubble is selected from the retrieved candidate list CL capturing the images and/or sounds of the environment of the client device and processing the captured images or the captured sounds in order to extract the tags compared to the predefined bubble identification tags associated with the augmented reality bubbles of the retrieved CL candidate list. Finally, the relevant ARB augmented reality bubbles from the retrieved candidate list are determined depending on the comparison results. Therefore, the CL candidate list retrieved from available augmented reality bubbles is reduced based on the tags extracted from the captured images and/or the captured sounds. According to a possible embodiment, the candidate list CL of available ARB augmented reality bubbles is displayed to a user via the user interface 11 of the client device 3 showing the names of the respective ARB augmented reality bubbles. User U will be able to select several bubbles from the augmented reality bubbles that are displayed and enter a corresponding user command for selection of required or desired augmented reality bubbles.

[0065] Em uma etapa adicional S3, o dispositivo cliente consultante 3 pode carregar do banco de dados 6 do servidor 4 um mapa local preciso, por exemplo, um mapa SLAM, bem como um conjunto de anotações para cada bolha de realidade aumentada selecionada.[0065] In an additional step S3, the inquiring client device 3 can load from the database 6 of the server 4 a precise local map, for example a SLAM map, as well as a set of annotations for each selected augmented reality bubble.

[0066] Em uma etapa adicional S4, é feito um rastreamento preciso do dispositivo cliente 3 dentro de uma bolha de realidade aumentada ARB selecionada usando o mapa local preciso carregado da respectiva bolha de realidade aumentada a fim de prover anotações em realidade aumentada AR através da interface de usuário 11 nas posições exatas do dispositivo cliente rastreado 3.[0066] In an additional step S4, an accurate tracking of the client device 3 within a selected ARB augmented reality bubble is made using the loaded accurate local map of the respective augmented reality bubble in order to provide AR augmented reality annotations via the user interface 11 in the exact positions of the tracked client device 3.

[0067] De acordo com uma implementação possível, um usuário U poderá ativar uma funcionalidade tal como encontrar bolha em seu dispositivo cliente 3. O dispositivo cliente 3, nesse caso, determinará a geolocalização aproximada do dispositivo cliente e suprirá de forma automática uma consulta Q correspondente para o servidor 4 a fim de encontrar bolhas de realidade aumentada ARB na respectiva geolocalização determinada (localização aproximada do dispositivo cliente 3). Se houver mais de uma bolha de realidade aumentada ARB possível dentro da faixa de precisão da geolocalização, o dispositivo cliente 3 poderá solicitar ao usuário U para apontar a câmera 7 do dispositivo cliente 3 para tags de identificação de bolha facilmente identificáveis, tais como partes de texto (por exemplo, uma placa com um número de sala), códigos de barras (por exemplo, uma tag de número de série de máquina), ou qualquer outro recurso visual distinto de alto nível do ambiente, tal como um pôster em uma parede mostrando uma imagem específica, por exemplo, uma laranja cortada. De acordo com uma modalidade possível, o dispositivo cliente 3 poderá, nesse caso, enviar as imagens capturadas para o servidor 4 para processamento de imagem de modo a prover um refinamento da consulta original baseada em geolocalização Q. O servidor 4 pode extrair, por exemplo, um texto das imagens recebidas, por exemplo, Sala 33.464 como o número da sala, 123472345 como o código de barras ou "Laranja". De acordo com uma modalidade alternativa, o reconhecimento de imagem poderá também ser feito pela unidade de processamento 9 do dispositivo cliente 3. De acordo com uma modalidade possível, as imagens e/ou os sons do ambiente do dispositivo cliente poderão ser capturados pelos sensores do dispositivo cliente 3 e processados por um algoritmo de reconhecimento de tag ou por uma rede neural treinada a fim de classificar os mesmos e extrair as tags usadas para fins de comparação com as tags de identificação de bolha predefinidas armazenadas no banco de dados 6. A partir das tags extraídas, uma lista candidata CL mais curta de bolhas de realidade aumentada potenciais ou disponíveis poderá ser retornada ao dispositivo cliente consultante 3. O dispositivo cliente 3 poderá, então, apresentar ao usuário U através de sua interface de usuário 11 uma lista candidata CL de bolhas de realidade aumentada possíveis juntamente com nomes amigáveis ao usuário das respectivas bolhas de realidade aumentada e imagens potencialmente identificadoras. O usuário U poderá, em seguida, selecionar através da interface de usuário 11 as bolhas de realidade aumentada por meio de uma entrada de comando de usuário. O processo de seleção pode ser assistido por uma seleção automática usando as tags extraídas. Depois de selecionar uma ou mais bolhas de realidade aumentada ARB a partir da lista candidata recuperada CL de bolhas de realidade aumentada disponíveis, um mapa local preciso para cada bolha de realidade aumentada ARB selecionada será precisamente carregada pelo dispositivo cliente 3 do servidor 4 juntamente com um conjunto de anotações para cada bolha de realidade aumentada selecionada. Os mapas locais precisos baixados, tais como os mapas SLAM e as anotações associadas, poderão ser armazenados em uma memória local do dispositivo cliente[0067] According to a possible implementation, a user U can activate a functionality such as finding bubble on his client device 3. The client device 3, in this case, will determine the approximate geolocation of the client device and will automatically supply a Q query corresponding to server 4 in order to find ARB Augmented Reality bubbles at its determined geolocation (approximate location of client device 3). If there is more than one possible ARB Augmented Reality bubble within the geolocation accuracy range, client device 3 may ask user U to point camera 7 of client device 3 at easily identifiable bubble identification tags, such as parts of text (eg a room number plate), barcodes (eg a machine serial number tag), or any other high-level, distinct visual feature of the room, such as a poster on a wall showing a specific image, for example a cropped orange. According to a possible modality, the client device 3 may, in that case, send the captured images to the server 4 for image processing in order to provide a refinement of the original query based on geolocation Q. The server 4 can extract, for example , a text of the images received, eg Room 33,464 as the room number, 123472345 as the barcode or "Orange". According to an alternative modality, image recognition can also be done by the processing unit 9 of the client device 3. According to a possible modality, the images and/or sounds of the environment of the client device can be captured by the sensors of the client device 3 and processed by a tag recognition algorithm or a trained neural network in order to classify them and extract the tags used for comparison purposes with the predefined bubble identification tags stored in the database 6. From of the extracted tags, a shorter CL candidate list of potential or available augmented reality bubbles can be returned to the inquiring client device 3. Client device 3 can then present to user U through its user interface 11 a CL candidate list of possible augmented reality bubbles along with user-friendly names of the respective augmented reality bubbles and potentially identifying images. User U will then be able to select through the user interface 11 the augmented reality bubbles via a user command input. The selection process can be assisted by an automatic selection using the extracted tags. After selecting one or more ARB augmented reality bubbles from the CL retrieved candidate list of available augmented reality bubbles, an accurate local map for each selected ARB augmented reality bubble will be precisely loaded by client device 3 from server 4 along with a set of annotations for each selected augmented reality bubble. Downloaded accurate local maps, such as SLAM maps and associated annotations, can be stored in a local memory of the client device.

3. Após o download do mapa local preciso, o dispositivo cliente 3 poderá ser automática e precisamente rastreado dentro da bolha de realidade aumentada selecionada usando o mapa local carregado e prover anotações em realidade aumentada nas posições exatas do dispositivo cliente rastreado.3. After downloading the accurate local map, the client device 3 can be automatically and accurately tracked inside the selected augmented reality bubble using the loaded local map and provide augmented reality annotations at the exact positions of the tracked client device.

[0068] De acordo com uma modalidade possível, quando nenhuma bolha de realidade aumentada ARB puder ser encontrada na área do dispositivo cliente do usuário 3, o usuário terá a possibilidade de criar uma nova bolha de realidade aumentada.[0068] According to a possible modality, when no ARB augmented reality bubble can be found in user 3's client device area, the user will have the possibility to create a new augmented reality bubble.

Se outras bolhas ARB já existirem, o usuário U terá também a possibilidade de adicionar outras bolhas ARB.If other ARB bubbles already exist, user U will also have the possibility to add other ARB bubbles.

Por exemplo, o dispositivo cliente 3 poderá solicitar ao usuário U por meio da interface de usuário 11 para gerar uma bolha de realidade aumentada no local corrente.For example, client device 3 may ask user U via user interface 11 to generate an augmented reality bubble at the current location.

Um usuário U poderá ativar uma nova funcionalidade de bolha através da interface de usuário 11 do dispositivo cliente de realidade aumentada 3. De acordo com uma primeira etapa, o dispositivo cliente 3 determina por meio de sua unidade de detecção de geolocalização 12 a sua geolocalização corrente, ou seja, uma posição aproximada, a fim de prover ao usuário U um feedback se a geolocalização determinada é precisa o suficiente para criar uma bolha de realidade aumentada.A user U will be able to activate a new bubble functionality through the user interface 11 of the augmented reality client device 3. According to a first step, the client device 3 determines through its geolocation detection unit 12 its current geolocation , that is, an approximate position, in order to provide user U with feedback whether the given geolocation is accurate enough to create an augmented reality bubble.

Em seguida, o dispositivo cliente 3 solicita que o usuário U tire fotografias ou imagens dos elementos ou objetos visualmente interessantes dentro do ambiente do dispositivo cliente, tal como um nome da sala, tags ou números de série, cartazes, etc., que poderão ser usados para ajudar a desambiguar as diferentes bolhas de realidade aumentada mais tarde.Next, the client device 3 asks user U to take photographs or images of the visually interesting elements or objects within the environment of the client device, such as a room name, tags or serial numbers, posters, etc., which may be used to help disambiguate the different augmented reality bubbles later on.

O dispositivo cliente 3 pode ainda solicitar que o usuário U tire algumas fotos de visão geral da bolha de realidade aumentada a ser apresentada aos demais usuários da plataforma.The client device 3 can also ask user U to take some overview photos of the augmented reality bubble to be presented to other platform users.

O usuário que está criando a bolha de realidade aumentada poderá inserir um único nome amigável do ARB da bolha de realidade aumentada a ser criada.The user creating the augmented reality bubble will be able to enter a unique friendly name of the ARB of the augmented reality bubble to be created.

Em seguida, o usuário U poderá caminhar pela área da bolha de realidade aumentada, dando ao dispositivo cliente de realidade aumentada 3 uma ampla oportunidade para a criação de um mapa local de recursos detalhado ou um mapa SLAM da área.User U can then walk through the augmented reality bubble area, giving augmented reality client device 3 ample opportunity to create a detailed local resource map or a SLAM map of the area.

Quando o dispositivo cliente 3 cria um mapa local de recursos suficientemente detalhado, o dispositivo cliente informa ao usuário U e carrega o mapa local de recursos detalhado (mapa SLAM) e todos os outros dados relevantes da bolha de realidade aumentada ARB para o servidor 4 que armazenará os dados no banco de dados 6. Para cada bolha de realidade aumentada, o banco de dados 6 poderá armazenar um conjunto de dados correspondente, incluindo um nome de bolha de realidade aumentada, um ponto de âncora da bolha de realidade aumentada compreendendo as coordenadas locais de um sistema global de coordenadas, um mapa local espacial preciso (mapa SLAM), as tags de identificação de bolha que podem ser usadas para a identificação automática da bolha de realidade aumentada criada, bem como as anotações relacionadas à bolha de realidade aumentada.When client device 3 creates a sufficiently detailed local resource map, the client device informs user U and loads the detailed local resource map (SLAM map) and all other relevant data from the ARB augmented reality bubble to server 4 that will store the data in database 6. For each augmented reality bubble, database 6 can store a corresponding dataset, including an augmented reality bubble name, an augmented reality bubble anchor point comprising the coordinates. locations from a global coordinate system, an accurate spatial local map (SLAM map), bubble identification tags that can be used for automatic identification of the created augmented reality bubble, as well as annotations related to the augmented reality bubble.

[0069] O dispositivo cliente de realidade aumentada 3 pode permitir que o usuário crie um novo conteúdo a partir de uma bolha de realidade aumentada criada ou já existente ao selecionar uma funcionalidade "adicionar anotação". Isso pode ser tão simples como tocar em uma tela da interface de usuário 11 ou tão simples como falar em um microfone 8 do dispositivo cliente 3. A nova anotação textual, acústica ou visual é armazenada no conjunto de dados da bolha de realidade aumentada ARB.[0069] Augmented reality client device 3 can allow the user to create new content from a created or existing augmented reality bubble by selecting an "add annotation" functionality. This can be as simple as touching a UI screen 11 or as simple as speaking into a microphone 8 on the client device 3. The new textual, acoustic or visual annotation is stored in the ARB augmented reality bubble dataset.

[0070] O usuário U pode visualizar o conteúdo de diferentes camadas lógicas digitais L. De acordo com uma modalidade possível, assim que o usuário U seleciona uma bolha de realidade aumentada ARB da lista candidata CL, o usuário U poderá visualizar as diferentes camadas L de conteúdo que estão disponíveis na bolha de realidade aumentada selecionada ARB. Por exemplo, a bolha de realidade aumentada com o nome "Sala de Máquinas 33" selecionada manualmente ou de modo preciso pode ter uma camada lógica L de "construção de edifício", "comissionamento de máquina", "operação de máquina" e "manutenção de máquina". Por exemplo, o usuário U específico poderá estar autorizado apenas para visualizar ou editar as camadas de "comissionamento de máquina", de "operação de máquina" e de "manutenção da máquina", e não a camada de "construção civil". O usuário U poderá, nesse caso, selecionar que deseja visualizar apenas as camadas L de "manutenção de máquina" e "comissionamento de máquina". De acordo com uma implementação, a mesma bolha de realidade aumentada, ARB, poderá ser selecionada em diferentes camadas L quando as anotações diferem para as diferentes camadas L (anotações de camada L e bolha ARB). De acordo com outra implementação, uma estrutura adicional será provida na qual o usuário primeiramente seleciona a camada L e, em seguida, obtém as bolhas de realidade aumentada, ARB, com anotações naquela camada L para a seleção de uma bolha de realidade aumentada (ARB) (anotação de camada L e bolha ARB). Por exemplo, quando um usuário U seleciona a camada "manutenção", ele poderá ter um conjunto único de bolhas ARB e uma biblioteca de objetos de anotação específicos à camada (tais como objetos 3D específicos).[0070] User U can view the content of different digital logical layers L. According to a possible modality, as soon as user U selects an augmented reality bubble ARB from the candidate list CL, user U will be able to view the different layers L content that are available in the selected ARB augmented reality bubble. For example, the augmented reality bubble named "Machine Room 33" manually or precisely selected might have a logical layer L of "building construction", "machine commissioning", "machine operation" and "maintenance of machine". For example, the specific user U may only be authorized to view or edit the "machine commissioning", "machine operation" and "machine maintenance" layers, not the "building construction" layer. User U can, in this case, select that he wants to view only the L layers of "Machine Maintenance" and "Machine Commissioning". According to one implementation, the same augmented reality bubble, ARB, can be selected on different L layers when annotations differ for different L layers (ARB bubble and L layer annotations). According to another implementation, an additional structure will be provided in which the user first selects layer L and then gets the augmented reality bubbles, ARB, with annotations on that layer L for selecting an augmented reality bubble (ARB ) (layer L and ARB bubble annotation). For example, when a user U selects the "maintenance" layer, he can have a unique set of ARB bubbles and a library of layer-specific annotation objects (such as specific 3D objects).

[0071] Quando o usuário U seleciona pelo menos uma camada lógica digital L, o usuário U poderá visualizar o conteúdo, em particular as anotações que foram criadas por ele ou por outros usuários U na respectiva camada L. Para esse fim, o usuário U poderá olhar ao redor com o seu dispositivo cliente de realidade aumentada 3. Todas as anotações na bolha de realidade aumentada selecionada ARB e as camadas digitais L selecionadas serão visualmente representadas ao usuário U por meio da interface de usuário 11 do dispositivo cliente de usuário 3. Por exemplo, ao bater, bater no ar ou ao olhar para uma anotação exibida, o usuário U poderá visualizar ou ouvir informações adicionais em uma anotação específica, por exemplo, uma anotação de filme poderá ser exibida ao usuário U.[0071] When user U selects at least one digital logical layer L, user U will be able to view the content, in particular the annotations that were created by him or by other users U in the respective layer L. For this purpose, user U you can look around with your client device Augmented Reality 3. All annotations in the ARB selected Augmented Reality bubble and the selected L digital layers will be visually represented to User U via UI 11 of User Client Device 3. For example, by tapping, tapping in the air or looking at a displayed annotation, user U can see or hear additional information in a specific annotation, for example, a movie annotation can be displayed to user U.

[0072] De acordo com uma modalidade possível, o dispositivo cliente 3 pode compreender um mecanismo para garantir que novas informações sejam adicionadas no sentido de corrigir camadas digitais L. Este mecanismo pode permitir que o usuário U escolha se o usuário U está correntemente editando a camada L de "comissionamento de máquina" ou de "manutenção de máquina". Em contrapartida, o mecanismo poderá primeiramente adicionar todas as anotações a uma camada L chamada "minhas novas anotações" e, em seguida, prover uma possibilidade de mover a anotação para outras camadas digitais L diferentes.[0072] According to a possible embodiment, the client device 3 can comprise a mechanism to ensure that new information is added in order to correct digital layers L. This mechanism can allow user U to choose whether user U is currently editing the layer L of "machine commissioning" or "machine maintenance". In contrast, the engine could first add all annotations to a layer L called "my new annotations" and then provide a possibility to move the annotation to other different digital layers L.

[0073] O usuário U poderá ainda adicionar anotações ao vivo a uma bolha de realidade aumentada. Por exemplo, em um dispositivo cliente de realidade aumentada 3, que pode ser formado por um smartfone, o usuário U poderá criar um gráfico de informações a partir dos sensores dentro de uma máquina ou objeto próximo (depois de ter estabelecido uma conexão com esta máquina através de alguma rede ou conexão em nuvem). Assim que um usuário U cria este gráfico, o usuário U poderá compartilhar o gráfico criado como uma anotação ao vivo na bolha de realidade aumentada ARB. Posteriormente, outros usuários poderão ver o gráfico criado no mesmo lugar, mas com dados mais atuais. Por conseguinte, as anotações de uma bolha de realidade aumentada ARB podem compreender anotações estáticas, mas também anotações dinâmicas ao vivo que compreendem links, ou seja, links de dados para fontes de dados que proveem anotações dinâmicas ao vivo, inclusive fluxos de dados, em particular, fluxos de dados de sensor.[0073] User U will still be able to add live annotations to an augmented reality bubble. For example, on an augmented reality client device 3, which can consist of a smartphone, user U will be able to create an information graphic from sensors inside a machine or nearby object (after having established a connection with this machine through some network or cloud connection). Once User U creates this chart, User U will be able to share the created chart as a live annotation in the ARB Augmented Reality Bubble. Later, other users will be able to see the chart created in the same place, but with more current data. Therefore, the annotations of an ARB augmented reality bubble can comprise static annotations, but also live dynamic annotations that comprise links, that is, data links to data sources that provide live dynamic annotations, including data streams, in in particular, sensor data streams.

[0074] Um usuário U pode também criar novas camadas adicionais L dando às mesmas um nome exclusivo, por exemplo, "dicas de manutenção". O dispositivo cliente do usuário 3 pode consultar o servidor 4 em busca de nomes de camadas digitais L existentes que se encontram disponíveis para outras bolhas de realidade aumentada. Quando a camada L desejada ainda não existe, o usuário U poderá criar uma nova camada digital L.[0074] A user U can also create new additional layers L by giving them a unique name, eg "maintenance tips". User's client device 3 can query server 4 for existing L-digit layer names that are available to other augmented reality bubbles. When the desired layer L does not yet exist, user U can create a new digital layer L.

[0075] Um usuário U de um dispositivo cliente 3 tem a possibilidade de compartilhar conteúdo com outros usuários da plataforma ou sistema 1. O dispositivo cliente 3 provê uma interface de usuário 11 que poderá prover ao usuário U a opção de compartilhar as camadas L que o usuário criou em uma bolha de realidade aumentada específica com outros usuários da plataforma. Dependendo dos detalhes do sistema de gerenciamento de funções, cujo sistema pode ser baseado em grupos de usuários, por exemplo, todos os funcionários de manutenção poderão ter acesso à camada de manutenção L em todas as bolhas de realidade aumentada. Além disso, o usuário U poderá incluir direitos de acesso diferentes para diferentes camadas lógicas L. Os direitos de acesso podem ser definidos para uma camada digital inteira L em todas as bolhas de realidade aumentada, ou poderão ser específicos a uma única bolha de realidade aumentada. Esse conceito permite a criação de multidão com grupos específicos de interesse que proveem conteúdo para tópicos específicos, aberto para todos ou com acesso limitado para modificação. O sistema 1, tal como ilustrado na Figura 1, pode compreender ainda, além dos dispositivos de realidade aumentada 3, outros dispositivos que incluem dispositivos de não realidade aumentada AR. Esses dispositivos clientes não realidade aumentada AR podem compreender, por exemplo, computadores ou computadores pessoais que permitem aos usuários realizar tarefas administrativas, tais como gerenciamento de direitos ou importação de dados em massa. Esses dispositivos poderão incluir ainda a colocação de dados em geolocalizações específicas, tais como as de um sistema de Modelagem de Informação de Construção BIM/de Informação Geográfica GIS, ou a importação de dados de modelos de Desenho Assistido por Computador CAD.[0075] A user U of a client device 3 has the possibility to share content with other users of the platform or system 1. The client device 3 provides a user interface 11 that can provide the user U with the option to share the L layers that the user created in a specific augmented reality bubble with other platform users. Depending on the details of the role management system, which system might be based on user groups, for example, all maintenance workers will be able to have access to maintenance layer L in all augmented reality bubbles. In addition, user U can include different access rights for different logical layers L. Access rights can be set for an entire digital layer L in all augmented reality bubbles, or they can be specific to a single augmented reality bubble . This concept allows the creation of crowds with specific interest groups that provide content for specific topics, open to all or with limited access for modification. The system 1, as illustrated in Figure 1, may further comprise, in addition to augmented reality devices 3, other devices including non-augmented reality AR devices. These non-augmented reality AR client devices can comprise, for example, computers or personal computers that allow users to perform administrative tasks such as rights management or bulk data import. Such devices may also include placing data in specific geolocations, such as those from a BIM Building Information Modeling/GIS Geographic Information system, or importing data from CAD Computer Aided Design models.

[0076] O sistema 1 permite ainda a criação e atualização automáticas de conteúdo com base em plataformas de Internet das Coisas IoT, tais como os sistemas MindSphere e SCADA. O conteúdo de uma bolha de realidade aumentada pode mudar em tempo real, por exemplo, com anotações ao vivo que mostram dados, por exemplo, dos sistemas SCADA ou de uma plataforma de Internet das Coisas IoT, tal como o sistema MindSphere.[0076] System 1 also allows the automatic creation and updating of content based on IoT Internet of Things platforms, such as MindSphere and SCADA systems. The content of an augmented reality bubble can change in real time, for example, with live annotations that show data from, for example, SCADA systems or an Internet of Things IoT platform such as the MindSphere system.

[0077] A Figura 3 mostra um diagrama de sinalização a fim de ilustrar a recuperação de um conteúdo que inclui anotações por parte de um usuário de uma plataforma tal como ilustrada na Figura 1. Como se pode observar, um usuário poderá fazer uma consulta Q por meio de uma interface de usuário UI, tal como a interface de usuário[0077] Figure 3 shows a signaling diagram in order to illustrate the retrieval of content that includes annotations by a user of a platform as illustrated in Figure 1. As can be seen, a user can make a Q query through a UI user interface, such as the user interface

11. O dispositivo cliente 3 poderá transmitir a consulta feita Q para um mecanismo de pesquisa (SE) 5 de um servidor 4 a fim de recuperar uma lista candidata CL das bolhas de realidade aumentada ARB, tal como mostrado na Figura 3. Uma lista candidata CL das bolhas de realidade aumentada disponíveis é retornada através da rede em nuvem 2 de volta para o dispositivo cliente consultante 3, tal como ilustrado na Figura 3. A lista candidata CL das bolhas de realidade aumentada disponíveis poderá ser exibida por meio da interface de usuário 11 para o usuário U para seleção manual. O usuário U poderá selecionar uma ou mais bolhas de realidade aumentada disponíveis ao fazer um comando de seleção correspondente (SEL CMD). Por exemplo, o usuário U poderá pressionar os nomes exibidos das bolhas de realidade aumentada disponíveis. De modo alternativo, a seleção das bolhas de realidade aumentada em questão da lista candidata CL poderá também ser feita de modo preciso ou semiautomática com base nas tags extraídas em comparação com as tags de identificação de bolha predefinidas. Pelo menos uma bolha de realidade aumentada selecionada (sel ARB) é retornada para o mecanismo de pesquisa (SE) 5 que recupera para a bolha de realidade aumentada selecionada um mapa local de recursos preciso (mapa SLAM) com um conjunto de anotações relacionadas para a respectiva bolha de realidade aumentada. O mapa local de recursos preciso (LMAP) e o conjunto de anotações ANN são retornados para o dispositivo cliente consultante 3, tal como mostrado na Figura 3. Em seguida, é feito um rastreamento preciso (TRA) do dispositivo cliente 3 dentro das bolhas de realidade aumentada selecionadas usando o mapa local de recursos (LMAP) preciso baixado da bolha de realidade aumentada ARB para a provisão de anotações ANN em realidade aumentada AR nas posições exatas do dispositivo cliente rastreado 3.11. The client device 3 may transmit the query Q made to a search engine (SE) 5 of a server 4 in order to retrieve a candidate list CL from the augmented reality bubbles ARB, as shown in Figure 3. A candidate list CL of available augmented reality bubbles is returned via the cloud network 2 back to the inquiring client device 3 as illustrated in Figure 3. The CL candidate list of available augmented reality bubbles can be displayed through the user interface 11 for user U for manual selection. User U will be able to select one or more available augmented reality bubbles by making a corresponding selection command (SEL CMD). For example, user U can press the displayed names of available augmented reality bubbles. Alternatively, selection of the subject augmented reality bubbles from the CL candidate list can also be done accurately or semi-automatically based on the extracted tags against the predefined bubble identification tags. At least one selected augmented reality bubble (sel ARB) is returned to the search engine (SE) 5 which retrieves for the selected augmented reality bubble an accurate local resource map (SLAM map) with a set of related annotations for the respective augmented reality bubble. The accurate local resource map (LMAP) and set of ANN annotations are returned to the inquiring client device 3, as shown in Figure 3. Then an accurate tracking (TRA) of the client device 3 is done within the bubbles. selected augmented reality using the accurate local resource map (LMAP) downloaded from the ARB augmented reality bubble for the provision of ANN annotations in AR augmented reality at the exact positions of the tracked client device 3.

[0078] A Figura 4 mostra esquematicamente um caso de uso para a ilustração do funcionamento do método e aparelho de acordo com a presente invenção. No caso de uso ilustrado, o usuário que carrega um dispositivo cliente 3 e entra em um edifício em uma sala R0. O dispositivo cliente 3 compreende uma unidade de determinação de geolocalização, por exemplo, um receptor GPS, que permite determinar a geolocalização aproximada do dispositivo 3 antes de entrar no edifício. Com base na geolocalização aproximada (aprox. GL) do dispositivo cliente 3, o dispositivo cliente 3 do usuário U obtém uma lista candidata CL de bolhas de realidade aumentada ARB disponíveis para o respectivo local e/ou para qualquer objeto em resposta a uma consulta Q. A lista candidata recuperada CL de bolhas de realidade aumentada disponíveis compreende as bolhas de realidade aumentada nas proximidades da geolocalização aproximada que poderá ser pré-selecionada ou filtrada com base nos dados de informação de usuário a respeito do usuário U, em particular, os direitos de acesso e/ou as tarefas a serem executadas pelo usuário U. Depois de entrar no edifício na sala R0, o usuário U faz uma varredura, no caso de uso exemplar ilustrado, do ambiente na frente da sala R1, onde uma tag de identificação de bolha predefinida BITs pode ser anexada mostrando o número de sala da sala R1. A partir do dispositivo de vídeo da interface de usuário 11 do dispositivo cliente 3, o usuário U poderá ver uma lista de bolhas de realidade aumentada disponíveis, tais como ARB-R1, ARB-R2 e ARB-R3, para as diferentes salas R1, R2, R3 do edifício.[0078] Figure 4 schematically shows a use case for illustrating the operation of the method and apparatus according to the present invention. In the illustrated use case, the user who loads a client device 3 and enters a building in room R0. The client device 3 comprises a geolocation determination unit, for example a GPS receiver, which makes it possible to determine the approximate geolocation of the device 3 before entering the building. Based on the approximate geolocation (approx. GL) of client device 3, user U's client device 3 obtains a candidate list CL of ARB Augmented Reality bubbles available for the respective location and/or for any object in response to a Q query The CL retrieved candidate list of available augmented reality bubbles comprises the augmented reality bubbles in the vicinity of the approximate geolocation which can be pre-selected or filtered based on user information data regarding user U, in particular, rights of access and/or the tasks to be performed by user U. After entering the building in room R0, user U scans, in the illustrated exemplary use case, the environment in front of room R1, where an identification tag of predefined bubble BITs can be attached showing the room number of room R1. From the video device user interface 11 of client device 3, user U can see a list of available augmented reality bubbles such as ARB-R1, ARB-R2 and ARB-R3 for the different rooms R1, R2, R3 of the building.

As diferentes bolhas ARB podem ou não se sobrepor.The different ARB bubbles may or may not overlap.

Em geral, as bordas das esferas de bolha ARB não ficarão precisamente alinhadas (tal como mostrado na Figura 4), mas sim ficarão sobrepostas ou ficarão espaçadas entre si.In general, the edges of the ARB bubble spheres will not be precisely aligned (as shown in Figure 4), but will overlap or be spaced apart from each other.

O usuário U poderá escanear a tag de identificação de bolha BITs na entrada da sala a fim de fazer uma seleção automática da bolha de realidade aumentada mais relevante.User U will be able to scan the BITs bubble identification tag at the entrance to the room in order to make an automatic selection of the most relevant augmented reality bubble.

No exemplo dado, a bolha de realidade aumentada para a primeira sala R1 (ARB-R1) é precisamente selecionada com base nas tags extraídas e nas tags de identificação de bolha predefinidas.In the given example, the augmented reality bubble for the first room R1 (ARB-R1) is precisely selected based on the extracted tags and the predefined bubble identification tags.

Assim que a bolha de realidade aumentada ARB é selecionada de modo preciso ou em resposta a um comando de usuário, um mapa local de recursos preciso (mapa SLAM) é baixado juntamente com um conjunto de anotações ANN para o dispositivo cliente 3 do usuário U.Once the ARB Augmented Reality bubble is selected accurately or in response to a user command, an accurate local resource map (SLAM map) is downloaded along with a set of ANN annotations to user U's 3 client device.

O usuário U entra na sala R1 e o movimento do usuário U e seu dispositivo cliente 3 dentro da bolha de realidade aumentada ARB-R1 é rastreada de modo preciso e precisa usando o mapa local de recursos preciso baixado (mapa SLAM) a fim de prover anotações ANN em realidade aumentada nas posições exatas correntes do dispositivo cliente rastreado 3. De acordo com o exemplo ilustrado na Figura 4, o dispositivo cliente 3 do usuário U primeiramente se move ou é carregado para o objeto OBJA a fim de obter anotações ANN para esse objeto.User U enters room R1 and the movement of user U and his client device 3 within the ARB-R1 augmented reality bubble is accurately and accurately tracked using the downloaded accurate resource local map (SLAM map) in order to provide ANN annotations in augmented reality at the exact current positions of the tracked client device 3. According to the example illustrated in Figure 4, user U's client device 3 first moves or is loaded into the OBJA object in order to get ANN annotations for that object object.

Em seguida, o usuário U juntamente com o dispositivo cliente 3 se desloca para o objeto 0BJB a fim de obter anotações para esse objeto.Then user U along with client device 3 moves to object 0BJB to get annotations for that object.

Posteriormente, o usuário U se movimenta para a segunda sala R2 do edifício a fim de inspecionar o objeto 0BJC e o objeto 0BJD.Afterwards, user U moves to the second room R2 of the building to inspect object 0BJC and object 0BJD.

Um mecanismo de transferência poderá ser implementado se um dispositivo cliente 3 se deslocar de uma bolha de realidade aumentada, por exemplo, a bolha de realidade aumentada ARB-R1 para a sala R1, para uma outra bolha de realidade aumentada, por exemplo, a bolha de realidade aumentada ARB-R2 para a sala R2, tal como ilustrado na Figura 4 Durante o movimento dentro das salas R, a câmera 7 do dispositivo cliente 3 permanece ligada ou ativada no sentido de detectar e extrair as tags associadas às bolhas de realidade aumentada. Antes de entrar na segunda sala R2, uma câmera 7 poderá extrair as tags associadas à segunda bolha de realidade aumentada ARB-R2, a qual poderá ser fixada a um escudo ou placa que indica o número de sala da segunda sala R2. O usuário U juntamente com o seu dispositivo cliente 3 poderá deixar a segunda sala R2 e finalmente entrar na última sala R3 a fim de inspecionar os objetos OBJE e 0BJF. Os diferentes objetos ilustrados na Figura 4 podem compreender qualquer tipo de objeto, em particular máquinas dentro de uma fábrica. Os objetos também podem ser outros tipos de objetos, tais como objetos de arte em uma galeria de arte. As anotações ANN providas para os diferentes objetos podem compreender anotações estáticas, mas também anotações ao vivo, incluindo os fluxos de dados providos pelos sensores de objetos ou máquinas.A transfer mechanism could be implemented if a client device 3 moves from an augmented reality bubble, for example, augmented reality bubble ARB-R1 to room R1, to another augmented reality bubble, for example, the bubble ARB-R2 augmented reality camera for room R2, as illustrated in Figure 4 While moving within rooms R, camera 7 of client device 3 remains turned on or activated in order to detect and extract the tags associated with augmented reality bubbles . Before entering the second room R2, a camera 7 can extract the tags associated with the second augmented reality bubble ARB-R2, which can be attached to a shield or plaque that indicates the room number of the second room R2. User U together with his client device 3 can leave the second room R2 and finally enter the last room R3 in order to inspect the OBJE and 0BJF objects. The different objects illustrated in Figure 4 can comprise any type of object, in particular machines within a factory. Objects can also be other types of objects, such as art objects in an art gallery. The ANN annotations provided for the different objects can comprise static annotations, but also live annotations, including the data streams provided by object or machine sensors.

[0079] A Figura 5 ilustra um outro caso de uso no qual o método e o sistema 1 de acordo com a presente invenção poderão ser implementados. De acordo com o exemplo ilustrado na Figura 5, uma primeira bolha de realidade aumentada ARB está relacionada a um objeto fixo, por exemplo, uma estação de trem, e uma outra bolha de realidade aumentada ARB está relacionada a um objeto móvel, por exemplo, um trem que entrou na estação de trem TR-S ou está parado perto da estação ferroviária. Um usuário U parado com o seu dispositivo cliente 3 próximo ao trem TR poderá obter o conteúdo de realidade aumentada de ambas as bolhas de realidade aumentada, ou seja, da bolha de realidade aumentada ARB da estação de trem TR-S e da bolha de realidade aumentada ARB do trem TR parado na estação de trem. Por exemplo, o usuário U poderá ser informado qual trem TR está naquele instante esperando parado em qual estação de trem TR-S.[0079] Figure 5 illustrates another use case in which the method and system 1 according to the present invention may be implemented. According to the example illustrated in Figure 5, a first ARB bubble is related to a fixed object, for example, a train station, and another ARB augmented reality bubble is related to a mobile object, for example, a train that has entered the TR-S train station or is standing near the train station. A user U standing with his client device 3 next to the TR train will be able to get the augmented reality content of both augmented reality bubbles, ie the TR-S train station ARB augmented reality bubble and the reality bubble increased ARB from the TR train stopped at the train station. For example, user U can be told which train TR is currently waiting and parked at which train station TR-S.

[0080] Uma bolha de realidade aumentada ARB do sistema 1 de acordo com a presente invenção é uma área espacial (em um local fechado ou em uma área externa) de um tamanho predeterminado (por exemplo, aproximadamente 10 metros de largura) em torno de um local físico e/ou de um objeto físico em particular. Este objeto OBJ pode ser um objeto estático, tal como uma estação de trem TR-S, mas poderá ser também um objeto móvel, tal como um trem TR. Um outro exemplo pode compreender um edifício de subestação para a eletrificação de ferrovias, para os postes instalados ou que serão instalados ao longo de uma ferrovia (em um local futuro), uma turbina a gás dentro de uma central elétrica a gás, uma estação de bombeamento para transporte de petróleo e gás. Uma bolha de realidade aumentada ARB contém um conjunto de anotações ANN que normalmente se referem a objetos do mundo real dentro de uma esfera da bolha de realidade aumentada. As anotações ANN relacionadas ao local e/ou objeto de uma bolha de realidade aumentada ARB podem ser criadas e/ou editadas e/ou atribuídas a camadas digitais específicas L por um usuário U através de uma interface de usuário UI de um dispositivo cliente 3 do respectivo usuário. Os objetos OBJ podem compreender objetos físicos, incluindo os objetos imóveis situados em um local fixo em um ambiente do mundo real ou objetos móveis que se deslocam em um ambiente do mundo real e com localizações variáveis. O rastreamento preciso do dispositivo cliente 3 dentro de uma esfera de uma bolha de realidade aumentada ARB selecionada com o mapa local de recursos preciso baixado da respectiva bolha de realidade aumentada poderá se basear, em uma modalidade preferida, nos recursos de baixo nível extraídos das imagens e/ou sons capturados pelos sensores do dispositivo cliente 3. Esses recursos de baixo nível podem ser, por exemplo, os acessórios de uma superfície de objeto e/ou os recursos geométricos, tais como bordas ou linhas, de um objeto.[0080] An ARB system 1 augmented reality bubble according to the present invention is a spatial area (in an indoor or outdoor area) of a predetermined size (eg approximately 10 meters wide) around a physical location and/or a particular physical object. This OBJ object can be a static object, such as a TR-S train station, but it can also be a moving object, such as a TR train. Another example might comprise a substation building for the electrification of railroads, for poles installed or to be installed along a railroad (in a future location), a gas turbine inside a gas power plant, a power station. pumping for oil and gas transport. An ARB augmented reality bubble contains a set of ANN annotations that typically refer to real-world objects within an augmented reality bubble sphere. ANN annotations related to the location and/or object of an ARB augmented reality bubble can be created and/or edited and/or assigned to specific digital layers L by a user U through a UI user interface of a 3rd client device. respective user. OBJ objects can comprise physical objects, including immobile objects situated at a fixed location in a real-world environment or moving objects in a real-world environment with varying locations. Accurate tracking of client device 3 within a sphere of an ARB augmented reality bubble selected with the accurate resource location map downloaded from the respective augmented reality bubble may be based, in a preferred modality, on the low-level resources extracted from the images and/or sounds captured by the sensors of the client device 3. These low-level features can be, for example, the fixtures of an object's surface and/or the geometric features, such as edges or lines, of an object.

As anotações ANN poderão ser criadas pelos usuários U e poderão incluir, por exemplo, modelos tridimensionais, animações, documentos de instrução, fotografias ou vídeos.ANN annotations can be created by U users and can include, for example, three-dimensional models, animations, instructional documents, photographs or videos.

As anotações ANN podem incluir ainda links de dados para fontes de dados ao vivo, tais como sensores, em particular, sensores de máquinas dentro de uma fábrica.ANN annotations can further include data links to live data sources such as sensors, in particular machine sensors within a factory.

O sistema 1 de acordo com a presente invenção provê uma transição de um rastreamento impreciso aproximado com base na geolocalização para um rastreamento local preciso com base em um mapa local de recursos preciso baixado, em particular um mapa SLAM.The system 1 according to the present invention provides a transition from an approximate imprecise tracking based on geolocation to an accurate local tracking based on a downloaded accurate local resource map, in particular a SLAM map.

O sistema 1 provê um armazenamento de dados escalável para edição simultânea por parte de múltiplos usuários U.System 1 provides scalable data storage for simultaneous editing by multiple U users.

O sistema 1 permite a colocação de hologramas georreferenciados por meio da execução de uma operação de arrastar e soltar dos hologramas em um mapa de um sistema de back-end (do lado do servidor) e/ou baseado em navegador.System 1 allows for the placement of geo-referenced holograms by performing a drag and drop operation of the holograms on a map of a back-end (server-side) and/or browser-based system.

O sistema 1 provê uma integração de dados de plataforma de Internet das Coisas IoT com o conteúdo de realidade aumentada georreferenciada, permitindo atualizações de status em tempo real como também a visualização de dados ou fluxos de dados (anotações ao vivo). O sistema 1 de acordo com a presente invenção combina um rastreamento global aproximado (por exemplo, um rastreamento com base em coordenadas GPS) com os dispositivos clientes de rastreamento preciso e exato que usam mapas SLAM.System 1 provides an Internet of Things IoT platform data integration with geo-referenced augmented reality content, allowing for real-time status updates as well as data visualization or data streams (live annotations). The system 1 according to the present invention combines a global coarse tracking (for example a tracking based on GPS coordinates) with precise and accurate tracking client devices using SLAM maps.

Além disso, esse sistema permite a autoria no local de anotações ANN relacionadas a bolhas de realidade aumentada ARB georreferenciadas, bem como o ajuste do conteúdo de realidade aumentada. O sistema 1 de acordo com a presente invenção provê anotações precisas e exatas e pode empregar um conceito de camada. O método e o sistema 1 de acordo com a presente invenção podem ser usados para fins de consumo privado, bem como para aplicações industriais. Em comparação com as opções de plataforma georreferenciada convencionais atuais, o sistema 1 de acordo com a presente invenção provê recursos mais precisos e oferece uma quantidade maior de recursos, tais como criação pelo lado do servidor (back-end), como também elaboração no local, integração industrial de Internet das Coisas (IoT), atualização e modificação em tempo real. Em uma variante possível do sistema 1 de acordo com a presente invenção, as bolhas de realidade aumentada ARB não se baseiam em uma localização geográfica, mas sim envolvem um objeto específico geometricamente reconhecível que pode estar em um local fixo, mas também pode ser móvel no ambiente do mundo real. Um exemplo de objeto OBJ com localização fixa é uma máquina de produção ou qualquer tipo de máquina dentro de uma fábrica. Um exemplo de um objeto móvel é, por exemplo, uma locomotiva de um trem. De acordo com uma modalidade possível, o sistema 1 compreende um dispositivo cliente de realidade aumentada 3 que suporta algum tipo de reconhecimento e rastreamento de objetos (por exemplo, conforme disponível no sistema ARKit 2). Assim como o mapa mundial SLAM para bolhas de realidade aumentada georreferenciadas é armazenado no banco de dados 6 do servidor 4, uma descrição visual e geométrica do objeto (descrição de rastreamento de objeto) poderá ser armazenada no banco de dados 6 do servidor 4.In addition, this system allows for in-place authoring of ANN annotations related to ARB georeferenced augmented reality bubbles, as well as the adjustment of augmented reality content. System 1 according to the present invention provides precise and accurate annotations and can employ a layer concept. The method and system 1 according to the present invention can be used for private consumption purposes as well as for industrial applications. Compared to current conventional geo-referenced platform options, the system 1 according to the present invention provides more accurate features and offers a greater amount of features, such as server-side (back-end) creation as well as in-place elaboration , Internet of Things (IoT) industrial integration, real-time updating and modification. In a possible variant of system 1 according to the present invention, the ARB augmented reality bubbles are not based on a geographic location, but rather involve a specific geometrically recognizable object that can be in a fixed location, but can also be mobile in the real world environment. An example of a fixed location OBJ object is a production machine or any type of machine within a factory. An example of a moving object is, for example, a train locomotive. According to one possible modality, system 1 comprises an augmented reality client device 3 that supports some type of object recognition and tracking (eg as available in the ARKit 2 system). Just as the SLAM world map for georeferenced augmented reality bubbles is stored in database 6 on server 4, a visual and geometric description of the object (object tracking description) can be stored in database 6 on server 4.

[0081] Ao invés de fazer uma pesquisa inicial para possíveis bolhas de realidade aumentada compatíveis com base em uma consulta de GPS e geolocalização, o dispositivo cliente de realidade aumentada 3 poderá fazer uma pesquisa baseada em imagem a partir de uma imagem de câmera a fim de identificar quais objetos relevantes se encontram no campo de visão FoV da câmera 7 e poderá, nesse caso, carregar as descrições de rastreamento do servidor 4 do sistema 1.[0081] Rather than doing an initial search for possible compatible augmented reality bubbles based on a GPS and geolocation query, the augmented reality client device 3 will be able to do an image-based search from a camera image in order to identify which relevant objects are in the FoV field of view of the camera 7 and can, in that case, load the tracking descriptions from the server 4 of the system 1.

[0082] Isso poderá ser feito de modo mais eficiente se informações adicionais estiverem disponíveis sobre quais objetos OBJ poderão ser encontrados em quais locais. Por exemplo, quando há um sistema que rastreia qual locomotiva está em qual posição GPS, a consulta inicial Q ao servidor 4 que se baseia em uma geolocalização não precisa (posição GPS), nesse caso, retornará o mapa SLAM não apenas para a bolha de realidade aumentada ARB geográfica, mas também para um objeto que rastreia a descrição das locomotivas dos objetos móveis que se encontram naquele momento em uma área especificada.[0082] This can be done more efficiently if additional information is available about which OBJ objects can be found in which locations. For example, when there is a system that tracks which locomotive is in which GPS position, the initial Q query to server 4 that is based on a geolocation is not accurate (GPS position), in that case it will return the SLAM map not just for the bubble. augmented reality ARB geographic, but also for an object that tracks the description of the locomotives of the mobile objects that are at that moment in a specified area.

[0083] De acordo com uma modalidade possível, um usuário U poderá, nesse caso, visualizar e editar as camadas digitais L que pertencem a diferentes bolhas de realidade aumentada ARB simultaneamente, assim como as diferentes camadas que são exibidas para uma única bolha de realidade aumentada. Por exemplo, o usuário U poderá visualizar ao mesmo tempo tanto as anotações ANN que estão relacionadas aos trilhos do trem como também as anotações ANN que estão relacionadas ao objeto em movimento (locomotiva).[0083] According to a possible modality, a user U will be able, in this case, to view and edit the digital layers L belonging to different ARB bubbles simultaneously, as well as the different layers that are displayed for a single reality bubble increased. For example, user U will be able to view both ANN annotations that are related to the train tracks and ANN annotations that are related to the moving object (locomotive) at the same time.

[0084] Quando um objeto se encontra em movimento e é rastreado, por exemplo, por um sensor GPS, nesse caso a sua bolha de realidade aumentada baseada em objeto ARB se movimentará juntamente com o objeto em movimento. Exemplos de aplicação para tal objeto em movimento compreendem veículos totalmente autônomos ou parcialmente autônomos em fábricas, as quais informam por meio de anotações (hologramas, símbolos, texto ou figuras de realidade aumentada AR) sobre a corrente ordem de trabalho ou atividade de trabalho dos mesmos. Além disso, esses veículos poderão indicar que têm espaço para mais ocupantes com relação ao seu destino alvo ou poderão prover informações sobre questões de ordem social e/ou industrial.[0084] When an object is in motion and is tracked, for example, by a GPS sensor, in that case its ARB object-based augmented reality bubble will move along with the moving object. Examples of applications for such a moving object include fully autonomous or partially autonomous vehicles in factories, which inform through annotations (holograms, symbols, text or AR augmented reality pictures) about the current work order or work activity of the same. . In addition, these vehicles may indicate that they have space for more occupants in relation to their target destination or may provide information on social and/or industrial issues.

[0085] Os trens que chegam TR em uma estação ferroviária TR-S podem prover anotações de realidade aumentada a respeito de suas rotas, horários e opções de conexão aos usuários.[0085] Trains arriving TR at a TR-S train station can provide users with augmented reality notes regarding their routes, times and connection options.

[0086] Os usuários poderão também prover informações a outros usuários. Por exemplo, um operário da construção civil poderá informar a outro usuário U sobre o seu tipo de participação na equipe ou sobre o status corrente do fluxo de trabalho. Por exemplo, os visitantes externos do local podem informar aos usuários U sobre os seus direitos de acesso à planta industrial ou ao local em um contexto social de acordo com seus interesses e status social.[0086] Users may also provide information to other users. For example, a construction worker might inform another user U about his type of participation in the team or about the current status of the workflow. For example, external visitors to the site can inform U users about their access rights to the industrial plant or the site in a social context according to their interests and social status.

[0087] Em uma outra modalidade possível do sistema 1 de acordo com a presente invenção, poderão ser providas bolhas de tipo de objeto e bolhas de instância de objeto. De acordo com esta modalidade, haverá bolhas de realidade aumentada ARB baseadas em torno de tipos de objetos (por exemplo, todas as locomotivas Vectron), e em torno de instâncias de objetos específicos (por exemplo, uma locomotiva de número 12345). As informações ou anotações desses dois tipos de bolhas de realidade aumentada poderão ser exibidas simultaneamente em diferentes camadas lógicas L. Isso poderá ser particularmente útil para distinguir entre instruções gerais de reparo e históricos de reparo específicos.[0087] In another possible embodiment of the system 1 according to the present invention, object type bubbles and object instance bubbles may be provided. Under this modality, there will be ARB bubbles based around object types (eg all Vectron locomotives), and around specific object instances (eg locomotive number 12345). Information or annotations from these two types of augmented reality bubbles can be displayed simultaneously on different logical layers L. This can be particularly useful for distinguishing between general repair instructions and specific repair histories.

[0088] O sistema 1 de acordo com a presente invenção pode compreender ainda camadas digitais L que não são estruturadas em bolhas de realidade aumentada, mas simplesmente processam dados de sistemas geográficos, enquanto que outras camadas lógicas L são estruturadas em bolhas de realidade aumentada. Além disso, as bolhas de realidade aumentada ARB não poderão ser estruturadas nas camadas digitais L, mas simplesmente ter todas as suas anotações de realidade aumentada em uma estrutura plana.[0088] The system 1 according to the present invention can further comprise digital layers L that are not structured in augmented reality bubbles, but simply process data from geographic systems, while other logical layers L are structured in augmented reality bubbles. Also, ARB Augmented Reality Bubbles cannot be structured in digital L layers, but simply have all your augmented reality annotations in a flat structure.

[0089] Outra variante do sistema 1 inclui a possibilidade de criar conteúdo de modo remoto, em realidade virtual VR, ou em um programa de modelagem 3D, e colocar esse conteúdo no espaço tridimensional virtualmente. Outras variantes poderão incluir a integração de opções de realidade virtual VR e/ou realidade aumentada AR. Por exemplo, uma opção para ir a qualquer localização GPS em um equipamento de realidade virtual VR, e exibir o conteúdo da bolha de realidade aumentada ARB totalmente em realidade virtual VR, desta maneira aumentando a visualização e as opções de visualização possíveis. Esta aplicação poderá ser mais relevante quando os dispositivos clientes 3 convergem a realidade virtual VR e a realidade aumentada AR, e são capazes de processar essas duas realidades.[0089] Another variant of system 1 includes the possibility to create content remotely, in virtual reality VR, or in a 3D modeling program, and place that content in three-dimensional space virtually. Other variants may include the integration of virtual reality VR and/or augmented reality AR options. For example, an option to go to any GPS location on a VR virtual reality device, and display the contents of the ARB augmented reality bubble fully in VR virtual reality, thus increasing the viewing and viewing options possible. This application may be more relevant when client devices 3 converge virtual reality VR and augmented reality AR, and are capable of processing these two realities.

[0090] O sistema 1 de acordo com a presente invenção pode ser integrado com outros sistemas de autoria. Isso permitirá a criação e a atualização automáticas de um conteúdo de realidade aumentada georreferenciado por meio da autoria de um conteúdo em uma ferramenta de design estabelecida ou banco de dados determinado, tais como ferramentas NX ou Teamcenter.[0090] The system 1 according to the present invention can be integrated with other authoring systems. This will allow you to automatically create and update geo-referenced augmented reality content by authoring content in an established design tool or database such as NX or Teamcenter tools.

[0091] Além disso, com o sistema 1 de acordo com a presente invenção, visualizações inovadoras poderão ser incluídas, tais como recursos de raios-X de hologramas que proveem acesso específico, por exemplo, a modelos de desenho CAD em um servidor de back- end. Um modo intuitivo de exibição para a seleção de camadas L em um local poderá ser provido, tal como uma pilha de cartas de jogo virtual. O sistema 1 de acordo com a presente invenção pode ser combinado com outros sistemas usados para serviço digital e comissionamento digital. Esse sistema pode também ser combinado com sistemas de vendas em uma plataforma de Internet das Coisas IoT, por exemplo, o sistema MindSphere, para opções de visualização de dados coletados. A plataforma de realidade aumentada de acordo com a presente invenção pode ser integrada em aplicações de inteligência artificial e em aplicações analíticas. Por exemplo, uma zona de segurança poderá ser definida levando-se em consideração o nível de tensão em um sistema elétrico ou o nível de pressão em um determinado tanque. Uma bolha de realidade aumentada ARB pode compreender um tamanho ou diâmetro que corresponde aproximadamente ao tamanho de uma sala ou área, por exemplo, um diâmetro de aproximadamente 10 metros. O tamanho da bolha de realidade aumentada ARB corresponde ao tamanho (tamanho do arquivo) do mapa local de recursos exato baixado, deste modo cobrindo a respectiva zona ou área. De acordo com uma modalidade possível, a esfera da bolha de realidade aumentada ARB é também exibida em realidade aumentada AR para o usuário U através do dispositivo de vídeo da interface de usuário 11. Por conseguinte, o usuário U tem a possibilidade de ver quando ele se move de uma bolha de realidade aumentada para outra bolha de realidade aumentada. De acordo com uma outra modalidade, um usuário U poderá se mover de uma bolha ARB para a bolha ARB seguinte de forma contínua sem avisar que ele mudou da primeira bolha ARB para uma segunda bolha ARB.[0091] In addition, with system 1 according to the present invention, innovative views may be included, such as X-ray features of holograms that provide specific access, for example, to CAD drawing models on a back server - end. An intuitive display mode for selecting L layers in one location can be provided, such as a virtual playing card pile. The system 1 according to the present invention can be combined with other systems used for digital service and digital commissioning. This system can also be combined with sales systems on an Internet of Things IoT platform, for example, the MindSphere system, for options to visualize collected data. The augmented reality platform according to the present invention can be integrated into artificial intelligence applications and into analytical applications. For example, a safety zone can be defined taking into account the voltage level in an electrical system or the pressure level in a particular tank. An ARB augmented reality bubble can comprise a size or diameter that roughly corresponds to the size of a room or area, for example, a diameter of approximately 10 meters. The size of the ARB Augmented Reality bubble corresponds to the size (file size) of the exact downloaded resource location map, thus covering the respective zone or area. According to a possible modality, the ARB augmented reality bubble sphere is also displayed in AR augmented reality to user U through UI video device 11. Therefore, user U has the possibility to see when he moves from one augmented reality bubble to another augmented reality bubble. According to another modality, a user U can move from one ARB bubble to the next ARB bubble continuously without warning that he has changed from the first ARB bubble to a second ARB bubble.

[0092] Os metadados das bolhas ARB poderão também ser exibidos (por exemplo, hora de criação, quando o usuário criou a bolha ARB, etc.).[0092] Metadata of ARB bubbles can also be displayed (eg creation time, when the user created the ARB bubble, etc.).

[0093] O método e sistema 1 de acordo com a presente invenção proveem uma ampla variedade de casos de uso possíveis. Por exemplo, informações relevantes de comissionamento de máquina, de serviço e manutenção, por exemplo, o tipo de material, parâmetros, etc., poderão ser antecipadamente providas e/ou persistentemente anotadas durante as atividades de comissionamento, de serviço e manutenção.[0093] The method and system 1 according to the present invention provide a wide variety of possible use cases. For example, relevant machine commissioning, service and maintenance information, eg material type, parameters, etc., may be provided in advance and/or persistently noted during commissioning, service and maintenance activities.

[0094] Além disso, canteiros de obras podem ser digitalmente construídos em seus locais posteriores em tempo real durante um processo de desenho, combinando modelos tridimensionais e informações com dados georreferenciados. Isso permitirá discussões mais eficazes de planejamento e projeto no local, verificação da instalação, detecção de conflitos e melhor eficiência durante a construção e/ou instalação.[0094] Furthermore, construction sites can be digitally built at their back locations in real time during a design process, combining three-dimensional models and information with geo-referenced data. This will allow for more effective planning and design discussions on site, installation verification, conflict detection, and better efficiency during construction and/or installation.

[0095] O sistema 1 de acordo com a presente invenção proporciona facilidade de operação. Por exemplo, poderão ser providas e integradas as alimentações de dados ao vivo das máquinas. Dados gráficos do sistema MindSphere poderão ser disponibilizados a qualquer hora, em qualquer lugar, em qualquer forma requerida através da realidade aumentada AR.[0095] The system 1 according to the present invention provides ease of operation. For example, live data feeds from machines can be provided and integrated. Graphic data from the MindSphere system can be made available anytime, anywhere, in any form required through augmented reality AR.

[0096] Além disso, poderão ser providos recursos e áreas relevantes à segurança. Será possível prover uma atualização em tempo real de acordo com os dados de desempenho, por exemplo, dos sistemas MindSphere e/ou SCADA.[0096] In addition, resources and areas relevant to security may be provided. It will be possible to provide a real-time update according to performance data, for example, from MindSphere and/or SCADA systems.

Claims

1. Method for the provision of annotations related to a location or related to an object in augmented reality, AR, characterized by the fact that it understands the steps of: (a) retrieving (S1), by a client device (3) of a user, a candidate list, CL, of available augmented reality bubbles, ARB, for said location and/or object in response to a query, Q, based on an approximate geolocation of said client device (3) and/or based on user information data; (b) select (S2) at least one augmented reality bubble, ARB, from the retrieved candidate list, CL, of available augmented reality bubbles; (c) upload (S3), via the inquiring client device (3), from a database (6), a precise local map and a set of annotations, ANN, for each selected augmented reality bubble, ARB , and (d) accurately track (S4) said client device (3) within the selected augmented reality bubble, ARB, using the loaded accurate local map of the respective augmented reality bubble, ARB, in order to provide annotations in augmented reality at the exact positions of the tracked client device (3).

2. Method according to claim 1, characterized in that at least one augmented reality bubble, ARB, is selected from the retrieved candidate list, CL, by: - capturing images and/or sounds from the device's environment client, - process the captured images and/or captured sounds in order to extract the tags compared to the predefined bubble identification tags, BITs, associated with the augmented reality bubbles, ARB, from the retrieved candidate list, CL, and through : - determine the relevant augmented reality bubbles, ARB, from the retrieved candidate list, CL, depending on the results of the comparison and/or in response to a user command input through a user interface (11) of said client device ( 3) comprising a bubble name from the selected augmented reality bubble, ARB.

3. Method according to claim 1 or 2, characterized in that the local map loaded by the client device (3) comprises a local resource map, in particular a SLAM (simultaneous location and mapping) map of the environment of the selected augmented reality bubble and/or a CAD (computer aided design) model of an object within the selected augmented reality bubble, ARB.

4. Method according to any one of claims 1 to 3, characterized in that the approximate geolocation of said client device (3) is detected by a geolocation detection unit (12) of said client device (3) adapted for determining the approximate location of said client device (3) in response to signals received by the geolocation detection unit (12) from external signal sources, including GPS satellites and/or WiFi stations.

5. Method according to any one of claims 1 to 3, characterized in that the annotations, ANN, in the exact current tracked position of the client device (3) are issued through a user interface (11) of the device customer (3).

6. Method according to any one of claims 1 to 5, characterized in that the annotations, ANN, comprise static annotations, including text annotations,

acoustic annotations and/or visual annotations related to a location and/or related to a physical object.

7. Method according to any one of claims 1 to 5, characterized in that the annotations, ANN, comprise static annotations, including text annotations, acoustic annotations and/or visual annotations related to the augmented reality bubble, ARB, itself.

8. Method, according to any one of claims 1 to 7, characterized in that the annotations, ANN, comprise links to sources that provide static annotations and/or live dynamic annotations, including data streams.

9. Method according to any one of claims 1 to 8, characterized in that the annotations, ANN, are associated with different layers of digital annotation, L, selectable and/or filtered according to the user information data , including user access rights and/or user tasks.

10. Method according to claim 9, characterized in that the layers from which the respective annotations, ANN, are displayed are prioritized according to a classification that is determined by one or more users or by an algorithm.

11. Method according to any one of claims 1 to 10, characterized in that each augmented reality bubble, ARB, is represented by a set of ARB bubble data stored in a database (6) of a platform, where the ARB bubble dataset comprises: - an augmented reality bubble bubble name, ARB; - an anchor point attached to a location and/or object and which has the global coordinates of a global coordinate system;

- an accurate spatial local map, which includes, within a sphere of said augmented reality bubble, ARB, the tracking data used to accurately track client devices (3) within said sphere, and which has the local coordinates of a local coordinate system around the anchor point of said augmented reality bubble; - annotations related to locations and/or physical objects within the sphere of said augmented reality bubble; and - bubble identification tags, BITs, used to identify the augmented reality bubble, ARB, by comparing them to the extracted tags.

12. Method according to claim 11, characterized in that the bubble identification tags, BITs, of the augmented reality bubble dataset comprise detectable features within the sphere of the augmented reality bubble, including textual features, Acoustic features and/or visuals within an Augmented Reality Bubble Sphere environment.

13. Method according to any one of claims 1 to 12, characterized in that the images and/or sounds of the device environment are captured by sensors (7, 8) of the client device (3) and processed by an algorithm recognition tag or by a trained neural network in order to classify them and extract the tags used for comparison with the predefined bubble identification tags, BITs.

14. Method according to any one of claims 1 to 13, characterized by the fact that several augmented reality bubbles, ARB, are grouped into an augmented reality goal bubble, ARB goal, and so-called augmented reality bubbles, ARB , are part of the candidate list, CL.

15. Method according to any one of claims 1 to 14, characterized in that one of the available augmented reality bubbles, ARB, is linked to the position of a user's device, in particular, a user's smartphone.

16. Method according to any one of claims 1 to 15, characterized in that the query, Q, is made through a user interface (11) of the client device (3) and supplied through a local network and/or remote (2) to a server (4) that has a search engine (5) that, in response to an incoming query, Q, determines the augmented reality bubbles, ARB, available in the detected approximate geolocation of the client device inquiring (3), and returns the candidate list (4) of available augmented reality bubbles, ARB, back to the inquiring client device (3).

17. Method according to claim 16, characterized in that the client device (3) also transmits sensor data to the server (4) by transmitting its approximate geolocation to the server (4).

18. Method according to any one of claims 1 to 17, characterized in that the accurate tracking of the client device (3) within a sphere of a selected augmented reality bubble, ARB, using the loaded accurate local map of the respective augmented reality bubble, ARB, is based on the low-level resources extracted from the images and/or sounds captured by the sensors (7, 8) of the client device (3).

19. Method according to any one of claims 1 to 18, characterized in that the annotations, ANN, related to a location and/or a physical object are created and/or edited and/or assigned to specific digital layers , L, by a user through a user interface (11) of the client device (3) of the respective user.

20. Method according to any one of claims 1 to 19, characterized in that the physical objects are located in fixed locations in a real world environment or comprise mobile objects that move in the real world environment and have a location variable.

21. System for the provision of annotations related to locations and/or related to objects in augmented reality, AR, characterized by the fact that it comprises: - client devices (3) connected through a local network and/or a remote network (2) to a server (4) adapted to retrieve in response to a query, Q, received from an inquiring client device (3) from a user, a candidate list, CL, of available augmented reality bubbles, ARB, based on a geolocation approximated the inquiring client device (3) and/or based on user information data, and adapted to return the retrieved candidate list, CL, to the inquiring client device (3) of the user for selection of at least one bubble of augmented reality, ARB, from the returned can list, CL, - where a precise local map and a set of annotations, ANN, for each selected augmented reality bubble, ARB, are loaded from a database (6) from the server (4) by di client device (3) used to track the client device (3) within the selected augmented reality bubble, ARB, and provide in augmented reality, AR, annotations, ANN, at the exact positions of the tracked client device (3).