BR102013030771A2

BR102013030771A2 - augmented reality media device superimposed on user reflection

Info

Publication number: BR102013030771A2
Application number: BR102013030771A
Authority: BR
Inventors: Theo Brito Ribeiro; Thiago Gonçalves Pereira Trindade
Original assignee: Fictix Soluç Es Tecnologicas Ltda Me
Priority date: 2013-11-29
Filing date: 2013-11-29
Publication date: 2015-10-27

Abstract

dispositivo de mídia de realidade aumentada sobreposta ao reflexo de usuário. a presente invenção trata-se de um dispositivo de mídia que permite a um usuário visualizar efeitos visuais adicionados ao seu próprio reflexo em tempo real. o dispositivo possui sua face frontal um vidro refletivo, com efeito similar a um espelho onde o usuário ao posicionar-se em frente ao mesmo pode enxergar a sua própria imagem e através de um arranjo de técnicas ópticas de estereoscopia, sensores e câmeras, o sistema gera uma imagem, que sob a visão do usuário, imagens digitais são sobrepostas a sua própria imagem. de forma mais ampla, o objetivo do sistema é proporcionar ao usuário a experiência de associar a sua própria imagem, uma forma digital e os conceitos subjetivos associados a ela. tecnicamente, o sistema propõe uma melhoria tecnológica disruptiva que permite ganho de performance em alguns aspectos relevantes em relação a sistemas semelhantes do estado da técnica. além disso, propõe um método próprio de calibragem.augmented reality media device superimposed on user reflection. The present invention is a media device that allows a user to view visual effects added to their own reflection in real time. The device has a reflective glass on its front face, with a mirror-like effect where the user, when facing it, can see his own image and through an array of optical stereoscopic techniques, sensors and cameras, the system generates an image, which under the user's view, digital images are superimposed on their own image. More broadly, the purpose of the system is to provide the user with the experience of associating their own image, a digital form and the subjective concepts associated with it. technically, the system proposes a disruptive technological improvement that allows performance gain in some relevant aspects in relation to similar systems of the state of the art. It also proposes its own calibration method.

Description

DISPOSITIVO DE MÍDIA DE REALIDADE AUMENTADA SOBREPOSTA AOINCREASED REALITY MEDIA DEVICE OVERLOOKED

REFLEXO DE USUÁRIO A presente invenção trata-se de um dispositivo de midia que permite a um usuário visualizar efeitos visuais adicionados ao seu próprio reflexo em tempo real. O sistema revela em sua face frontal um vidro refletivo, com efeito similar a um espelho onde o usuário ao posicionar-se em frente ao mesmo pode enxergar a sua própria imagem. Através de um arranjo de técnicas ópticas l de estereoscopia, sensores e câmeras, o dispositivo gera uma imagem, que sob a visão do usuário, é sobreposta ao seu próprio reflexo.1 De forma mais ampla, o objetivo do presente dispositivo é proporcionar ao usuário a experiência de associar a sua , própria imagem uma forma digital e os conceitos subjetivos associados a ela. Tecnicamente, o sistema propõe uma melhoria tecnológica disruptiva que permite ganho de performance em alguns aspectos relevantes em relação a sistemas semelhantes do estado da técnica. Além disso, propõe um método próprio de calibragem.USER REFLECTION The present invention is a media device that allows a user to view visual effects added to their own reflection in real time. The system reveals a reflective glass on its front face, with a mirror-like effect where the user can be seen in front of it by seeing their own image. Through an array of optical stereoscopic techniques, sensors and cameras, the device generates an image, which under the user's view, is superimposed on its own reflection.1 More broadly, the purpose of the present device is to provide the user the experience of associating her own image with a digital form and the subjective concepts associated with it. Technically, the system proposes a disruptive technological improvement that allows performance gain in some relevant aspects in relation to similar systems of the state of the art. It also proposes its own calibration method.

Campo técnico A presente invenção refere-se a um dispositivo de mídia aplicado* a comunicação. Aplica técnicas de visão computacional, óptica, autoestereoscopia e sensores infravermelhos.Technical Field The present invention relates to a media device applied to communication. It applies techniques of computer vision, optics, auto stereoscopy and infrared sensors.

Fundamentos da técnica Aplicativos de realidade aumentada (augmented reallity) rapidamente ganharam popularidade a partir do momento que as pessoas e a indústria criativa perceberam as vantagens de fundir elementos digitais aos objetos do mundo real. Estes aplicativos são explorados em diversos campos, tais como: Varejo, indústria, jogos, sistemas de localização, dentre outros. No varejo, por exemplo, técnicas de realidade aumentada podem auxiliar uma pessoa a visualizar se um óculos combina com seu rosto, sem que de fato os óculos existam fisicamente.Fundamentals of the technique Augmented reallity applications quickly gained popularity as people and the creative industry realized the advantages of merging digital elements with real-world objects. These applications are explored in various fields such as: Retail, industry, games, location systems, among others. In retail, for example, augmented reality techniques can help a person to see if a glasses suits his face, without actually having the glasses physically exist.

Com a popularização de smartphones e tablets, a realidade aumentada popularizou-se ainda mais, já que praticamente todos esses dispositivos possuem uma câmera integrada e um sistema operacional próprio, capaz de rodar os aplicativos de realidade aumentada. A integração da técnica com outros sistemas e hardwares permite desdobramentos ainda mais elaborados, com aplicações nas mais variadas áreas da atividade humana.With the popularization of smartphones and tablets, augmented reality has become even more popular as virtually all of these devices have their own built-in camera and operating system capable of running augmented reality applications. The integration of the technique with other systems and hardware allows even more elaborate developments, with applications in the most varied areas of human activity.

Antecedentes da invenção O principal campo técnico abordado pela invenção é a realidade aumentada (augmented reallity). Convencionalmente abrevia-se o termo com a sigla "AR". A realidade aumentada consiste na fusão de uma imagem real com um modelo digital, de forma que os dois respeitem os mesmo parâmetros de tempo e espaço. Na prática, uma câmera captura uma imagem e um sistema de processamento, tal como um computador, e a reproduz em um sistema de visualização, que pode ser uma tela, uma projeção, dentre outros. Um aplicativo interpreta a imagem capturada e vasculha símbolos ou formas previamente conhecidos. Ao encontrar as formas conhecidas, através de algoritmos de visão computacional, o aplicativo as atribui uma coordenada. Através do conjunto de coordenadas, torna-se conhecida a posição dos objetos capturados na imagem.Background of the Invention The principal technical field addressed by the invention is augmented reality. Conventionally abbreviated the term with the acronym "AR". Augmented reality is the fusion of a real image with a digital model, so that both respect the same parameters of time and space. In practice, a camera captures an image and a processing system, such as a computer, and reproduces it in a visualization system, which can be a screen, a projection, among others. An application interprets the captured image and scours previously known symbols or shapes. By finding known shapes through computer vision algorithms, the application assigns them a coordinate. Through the set of coordinates, the position of the objects captured in the image becomes known.

Respeitando os parâmetros, o aplicativo renderiza uma objeto digital na mesma cena de forma a manter uma coerência com a imagem real.Respecting the parameters, the application renders a digital object in the same scene to maintain consistency with the actual image.

Os campos da realidade aumentada com sistemas com maior grau de similaridade ao da presente invenção são os que utilizam as partes do corpo de um indivíduo como insumo para o efeito final. Muitos algoritmos rastreiam a posição dos olhos (eyc tracklng) e a posição da cabeça do indivíduo (head tracking) . Existem também os sistemas que rastreiam os membros em geral e até a posição dos dedos da mão. Em alguns casos, tal como o Kinect (dispositivo da Microsoft, cuja técnica é referenciada na patente US20050285966) , são aplicados dispositivos que utilizam emissão de luz infravermelha.The fields of augmented reality with systems of greater similarity to the present invention are those that use an individual's body parts as input for the ultimate effect. Many algorithms track the eye position (eyc tracklng) and the head position of the individual (head tracking). There are also systems that track the limbs in general and even the position of the fingers. In some cases, such as Kinect (a device from Microsoft, the technique of which is referenced in US20050285966), devices using infrared light emission are applied.

No estado da técnica, pode-se citar o Fitnect, como um aplicativo de realidade aumentada associado ao Kinect. Basicamente, o aplicativo, rodando a partir de um computador, captura a imagem de um indivíduo através da câmera RGB (Vermelho, Verde e Azul) do Kinect e a reproduz em uma tela. Um sensor de profundidade do Kinect auxilia no reconhecimento da imagem e parâmetros da fisiologia do indivíduo. O aplicativo então, renderiza um modelo de uma roupa e assessórios sobrepondo-os ao corpo da pessoa. 0 objetivo do produto é possibilitar ao usuário experimentar roupas de forma dinâmica e interativa. Referência: http://www.fitnect.hu/ Tais sistemas de realidade, tanto os que utilizam câmeras quanto os que utilizam câmeras com infravermelho e sensor de profundidade, como o caso do kinect, apresentam telas convencionais como interface com usuário. As referidas telas convencionais podem ser: monitores, projeção, telas de aparelho celular, dentre outros. A imagem visualizada pelo usuário é basicamente uma reprodução de uma imagem capturada pela câmera. Dessa forma, algumas limitações são identificadas.In the prior art, one can cite Fitnect as an augmented reality application associated with Kinect. Basically, the application, running from a computer, captures an individual's image via Kinect's RGB (Red, Green and Blue) camera and plays it on a screen. A Kinect depth sensor assists in recognizing the image and parameters of the individual's physiology. The app then renders a model of an outfit and accessories overlaying them on the person's body. The purpose of the product is to enable the user to try on clothes in a dynamic and interactive way. Reference: http://www.fitnect.hu/ Such reality systems, both camera users and those using infrared and depth sensor cameras, such as the kinect case, feature conventional screens as a user interface. These conventional screens can be: monitors, projection, cell phone screens, among others. The image viewed by the user is basically a reproduction of an image captured by the camera. Thus, some limitations are identified.

Como uma dessas limitações temos a distorção geométrica da imagem que um sistema de captura e reprodução gera. Ou seja, a imagem capturada por uma câmera, e reproduzida um monitor possibilita que o usuário visualize a imagem capturada pela perspectiva da câmera. Essa dinâmica não gera uma sensação realistica para o observadorPara que o usuário visualize sua imagem de forma realistica, é necessário que a imagem reproduzida leve em consideração a sua perspectiva de visão. Naturalmente, um espelho, por exemplo, realiza essa função. Quando um observador visualiza sua imagem em um espelho plano, é capaz de observar as suas proporções corretamente, sem que haja distorção da imagem.One of these limitations is the geometric distortion of the image that a capture and reproduction system generates. That is, the image captured by a camera and reproduced on a monitor enables the user to view the image captured from the camera's perspective. This dynamic does not create a realistic feel for the viewer. In order for the user to view their image in a realistic way, the reproduced image must take into account their perspective of view. Of course, a mirror, for example, performs this function. When an observer views your image in a flat mirror, you can observe its proportions correctly without distorting the image.

Uma outra deficiência das técnicas tradicionais de reprodução de imagens com efeitos de realidade aumentada através de um monitor ou projeção é que a qualidade da imagem final depende da resolução e características ópticas das mídias em questão.Another shortcoming of traditional augmented reality image reproduction techniques through a monitor or projection is that the final image quality depends on the resolution and optical characteristics of the media in question.

No estado da técnica, é possível encontrar instalações que utilizam técnicas de realidade aumentada associadas a vidro refletivo, também chamado de "vidro reflexivo". Na língua inglesa pode ser chamado de "Spy Mirror" (Espelho espião), "Spy Glass" (Vidro espião), "Spy Pane" (painel espião) ou "partially translucent mirror" (espelho parcialmente translúcido). Esse vidro possui a seguinte característica: Possui reflexão e transparência simultaneamente. Quando uma luz incide sobre ele, grande parte dessa luz é refletida de volta, mas outra parte dessa luz atravessa o vidro atingindo o lado oposto. O Observador, no entanto, visualiza a luz predominante, seja ela refletida na superfície ou refratada da parte de trás do vidro. Nesse caso, se ao fundo do vidro refletivo não existir nenhuma fonte de luz, ao olhar para o vidro, o usuário verá apenas seu reflexo. No entanto, em outro caso, se atrás do vidro refletivo existir uma fonte de luz, o usuário verá essa fonte, caso a emissão de luz seja mais forte do que a luz de seu próprio reflexo. Tem-se então, as imagens refletida e refratada sobreposta. Fazendo uma referência, esse vidro é utilizado para esconder as câmeras filmadoras em programas como o "Big Brother". Também é possível citar as salas de interrogatório, que se utilizam dessa técnica para que o observador possa ver o interrogado sem ser visto a partir da própria sala. O objetivo de empregar o vidro refletivo associado a técnica de realidade aumentada é contornar as deficiências citadas dos sistemas de reprodução de video que distorcem as imagens e tiram a sensação realistica, como é o caso da instalação da empresa brasileira SuperUber no Museu das Minas e do Metal em Belo Horizonte, MG, Brasil. Referência: http://www.youtube.com/watch?v=ZQJw5hApPxU.In the prior art, it is possible to find installations using augmented reality techniques associated with reflective glass, also called "reflective glass". In the English language it can be called "Spy Mirror", "Spy Glass", "Spy Pane" or "partially translucent mirror". This glass has the following characteristics: It has reflection and transparency simultaneously. When a light falls on it, much of that light is reflected back, but another part of that light goes through the glass to the opposite side. The Observer, however, sees the predominant light, either reflected off the surface or refracted from the back of the glass. In this case, if there is no light source at the bottom of the reflective glass, when looking at the glass, the user will only see its reflection. However, in another case, if behind the reflective glass there is a light source, the user will see that source if the light emission is stronger than the light of his own reflection. One then has the images reflected and refracted superimposed. Making a reference, this glass is used to hide camcorders in programs like "Big Brother". It is also possible to cite the interrogation rooms, which use this technique so that the observer can see the interrogated without being seen from the room itself. The objective of using reflective glass associated with augmented reality technique is to overcome the aforementioned deficiencies of video playback systems that distort images and make them feel realistic, such as the installation of the Brazilian company SuperUber at the Museum of Mines and the Metal in Belo Horizonte, MG, Brazil. Reference: http://www.youtube.com/watch?v=ZQJw5hApPxU.

Nesta instalação um monitor é posicionado atrás do vidro refletivo e quando uma imagem é reproduzida no monitor, um observador é capaz de ver simultaneamente o seu reflexo no vidro refletivo e a imagem gerada pelo monitor. Uma câmera captura a imagem do observador posicionado a frente do sistema e o aplicativo detecta a posição dos seus olhos através de algoritmos de "eye tracking". Com base nas coordenadas dos olhos, o aplicativo, que roda a partir de um computador, renderiza e reproduz no monitor uma imagem apropriada para o ponto de visão do usuário. A imagem, por ser luminosa, se sobrepõe ao reflexo do obeservador em determinados pontos, completando assim o efeito desejado. A instalação apresentada possui deficiências intrínsecas a sua técnica. 0 ser humano possui visão estéreo. Os olhos movimentam-se a fim de convergir em um ponto, percebendo assim, sua profundidade. Naturalmente este ponto fica no foco enquanto que as demais áreas da visão ficam fora de foco, embaçadas. A capacidade de focalizar está diretamente relacionada com a distância entre um objeto e o observador. A instalação em questão apresenta duas imagens distintas que o usuário deve perceber: O seu próprio reflexo e a imagem digital gerada pelo monitor. As imagens obrigatoriamente revelam-se em distâncias expressivamente distintas em relação ao observador, logo, este não consegue focalizar as duas simultaneamente. Tal deficiência deprecia significativamente a qualidade final da técnica.In this installation a monitor is positioned behind the reflective glass and when an image is reproduced on the monitor, an observer is able to simultaneously see its reflection on the reflective glass and the image generated by the monitor. A camera captures the image of the observer positioned in front of the system and the application detects the position of its eyes through eye tracking algorithms. Based on eye coordinates, the application, which runs from a computer, renders and reproduces on the monitor an image appropriate to the user's point of view. The image, being luminous, overlaps the observer's reflection at certain points, thus completing the desired effect. The installation presented has intrinsic deficiencies to its technique. The human being has stereo vision. The eyes move in order to converge on a point, thus realizing its depth. Of course this point is in focus while the other areas of vision are blurred, out of focus. The ability to focus is directly related to the distance between an object and the observer. The installation in question presents two distinct images that the user must perceive: his own reflection and the digital image generated by the monitor. The images necessarily reveal themselves at significantly different distances from the observer, so the observer cannot focus on both simultaneously. Such deficiency significantly detracts from the final quality of the technique.

Um sistema mais elaborado do estado da técnica, que em determinados aspectos contorna alguns problemas técnicos dos outros sistemas similares, é a instalação Holoflector da empresa Microsoft. Referência: http://www.youtube.com/watch?v=SBHb2wAKRqUA more elaborate state-of-the-art system, which in some respects circumvents some technical problems with other similar systems, is Microsoft's Holoflector installation. Reference: http://www.youtube.com/watch?v=SBHb2wAKRqU

De acordo com esta tecnologia, o usuário é capaz de visualizar uma imagem digital sobreposta a sua imagem digital em um vidro refletivo, assim como os sistemas citados anteriormente. No entanto é possível que o observador visualize seu reflexo e a imagem digital gerada por um monitor/projeção no mesmo foco em determinadas circunstâncias. Nesse caso, o usuário consegue ter a real percepção de que uma imagem digital é coerente com a sua imagem virtual refletida. No entanto, essa técnica possui deficiências comprometedoras para seu desempenho. O efeito apenas funciona quando o observador encontra-se a uma distância específica do vidro refletivo. Quando posiciona-se em uma faixa anterior ou posterior ao ponto ótimo de visualização, a paralaxe da imagem e do seu reflexo são diferentes. Isso ocorre porque a distância entre o observador e seu reflexo é diferente da distância entre o observador e a imagem digital. O sistema não é capaz de ajustar a primeira distância em função da segunda. Uma segunda deficiência do . sistema é o expressivo volume necessário para que a técnica funcione. A estrutura apresenta um recuo traseiro. Ao fundo do recuo, é gerada a imagem digital por um monitor/projeção que é visualizada através do vidro refletivo. Aumentando o espaçamento entre a imagem digital e o vidro refletivo, consequentemente aumenta-se a distância entre a imagem digital e o observador. A imagem digital e o reflexo do observador encontram-se no mesmo foco quando a distância entre o monitor/projeção e os olhos do observador é igual à distância entre a imagem refletida do observador e seus olhos. Dessa forma, o ponto de visualização ótimo do sistema está relacionado à distância entre a imagem digital e o vidro refletivo. Quanto maior a distância entre monitor/projeção e vidro refletivo, maior a distância entre ponto ótimo de observação e vidro refletivo. Nesse caso, se a posição ótima de observação for a dois metros do vidro refletivo, por exemplo, é necessário um recuo de pelo menos dois metros na traseira do sistema. Esse recuo é expressivo e o seu volume compromete aplicações práticas do sistema.According to this technology, the user is able to view a digital image superimposed on his digital image on a reflective glass, just like the systems mentioned above. However, it is possible for the viewer to view their reflection and the digital image generated by a monitor / projection in the same focus under certain circumstances. In this case, the user can have the real perception that a digital image is consistent with his reflected virtual image. However, this technique has compromising deficiencies in its performance. The effect only works when the viewer is at a specific distance from the reflective glass. When you are in a range before or after the optimal viewing point, the parallax of the image and its reflection are different. This is because the distance between the observer and its reflection is different from the distance between the observer and the digital image. The system is not able to adjust the first distance as a function of the second. A second deficiency of. The system is the expressive volume required for the technique to work. The frame has a rear indentation. At the bottom of the indentation, the digital image is generated by a monitor / projection that is viewed through the reflective glass. Increasing the spacing between the digital image and the reflective glass consequently increases the distance between the digital image and the viewer. The digital image and the observer's reflection are in the same focus when the distance between the monitor / projection and the observer's eyes is equal to the distance between the reflected image of the observer and his eyes. Thus, the optimal viewing point of the system is related to the distance between the digital image and the reflective glass. The greater the distance between monitor / projection and reflective glass, the greater the distance between the optimal observation point and reflective glass. In this case, if the optimum observation position is two meters from the reflective glass, for example, a retreat of at least two meters at the rear of the system is required. This indentation is significant and its volume compromises practical applications of the system.

Com o objetivo de viabilizar soluções para o estado da técnica, é possível implementar melhorias que potencializam a eficiência da tecnologia. Nos sistemas similares, a discrepância entre o foco da imagem digital e o reflexo do observador ocorrem devido a paralaxe dos olhos do usuário. Caso apresentem a mesma paralaxe, o observador compreende as imagens como pertencentes ao mesmo plano espacial, logo, no mesmo foco. Algumas técnicas podem ser empregadas para que, artificialmente, o cérebro do usuário perceba uma imagem com profundidade diferente do plano em que é gerada de fato. É o caso das técnicas estereoscópicas. Nessas técnicas, pontos de vista diferentes de uma imagem são gerados para cada olho do observador. 0 ângulo formado pela distância entre estes pontos de vista é denominado paralaxe. Quanto maior a distância entre cada imagem gerada, maior é a paralaxe e consequentemente, maior é a sensação de distância do objeto. Existem diversas técnicas capazes de gerar a imagem estereoscópica. Podendo estas utilizar óculos apropriados ou não. Popularmente, os monitores que reproduzem a imagem estereoscópica são denominados monitores 3D. Existem vários tipos de monitor 3D. Existem os que utilizam óculos e os que não utilizam óculos para gerar o efeito 3D. Os monitores que não utilizam óculos são chamados de monitores autoestereoscópicos ou corriqueiramente chamados de "glasses-free" (livres de óculos) . A invenção em questão foca nos modelos autoestereoscópicos devido a melhor usabilidade, pois não demandam óculos. Existem diversas técnicas para gerar a estereoscopia, Luz polarizada, lenticular, anaglifo, projeções alternadas de imagens em alta frequência, visíveis com óculos comandados eletronicamente. É possível citar a seguintes patentes que fazem referência a tecnologia: WO2012026128 e WO2012118482.In order to enable state of the art solutions, it is possible to implement improvements that enhance the efficiency of the technology. In similar systems, the discrepancy between digital image focus and observer reflection occurs due to parallax of the user's eyes. If they have the same parallax, the viewer understands the images as belonging to the same spatial plane, thus in the same focus. Some techniques can be employed so that, artificially, the user's brain perceives an image with a different depth from the plane in which it is actually generated. This is the case with stereoscopic techniques. In these techniques, different viewpoints of an image are generated for each eye of the observer. The angle formed by the distance between these views is called parallax. The greater the distance between each image generated, the greater the parallax and, consequently, the greater the sense of distance from the object. There are several techniques capable of generating stereoscopic imaging. Whether they can wear appropriate glasses or not. Popularly, monitors that reproduce the stereoscopic image are called 3D monitors. There are several types of 3D monitor. There are those who wear glasses and those who do not use glasses to generate the 3D effect. Monitors that do not wear glasses are referred to as auto-stereoscopic monitors or commonly referred to as "glasses-free". The invention in question focuses on auto-stereoscopic models due to their better usability, as they do not require glasses. There are several techniques for generating stereoscopy, polarized light, lenticular, anaglyph, alternating projections of high frequency images visible with electronically controlled glasses. The following technology-related patents may be cited: WO2012026128 and WO2012118482.

Quando os monitores autoestereoscópicos são empregados atrás de um vidro refletivo, sua imagem, aos olhos do usuário, pode artificialmente reproduzir a sensação de que encontra-se mais distante do que de fato está. A paralaxe pode ser ajustada para que a imagem encontre-se no mesmo foco do reflexo do observador, independente de qual distância esteja posicionado em relação ao vidro refletivo.When auto-stereoscopic monitors are employed behind reflective glass, their image, in the user's eyes, can artificially reproduce the feeling that they are farther than they actually are. Parallax can be adjusted so that the image is in the same focus as the observer's reflection, regardless of how far away it is from the reflective glass.

Um outro benefício da aplicação de autoestereoscopia é a capacidade de reduzir o recuo necessário na parte traseira do sistema. Um monitor nessa categoria pode virtualmente simular uma imagem a qualquer distância, mesmo posicionado imediatamente atrás do vidro refletivo. Dessa forma, a estrutura do sistema deve ter um recuo com o espaço de apenas alguns centímetros, suficiente para a espessura do monitor.Another benefit of applying auto stereoscopy is the ability to reduce the necessary indentation at the rear of the system. A monitor in this category can virtually simulate an image at any distance, even just behind reflective glass. Thus, the system frame should be indented with a space of only a few centimeters, sufficient for the thickness of the monitor.

Breve Sumário da Invenção O dispositivo de mídia de realidade aumentada sobreposta trata-se de um equipamento de mídia voltado para comunicação. O efeito final do dispositivo é uma imagem sobreposta ao reflexo de uma pessoa. Quando uma pessoa posiciona-se em frente ao espelho, ela visualiza sua própria imagem e através do presente dispositivo, além da própria imagem, a pessoa é capaz de visualizar uma imagem digital sobreposta ou alinhada a sua. Por exemplo: ao olhar para o próprio reflexo, o usuário pode ver acima da sua cabeça um chapéu digital que não existe de fato. Em outro exemplo, o usuário pode ver o reflexo de sua própria imagem com um óculos digital, ou seja o objeto físico não existe de fato. O dispositivo pode ser pequeno e apenas refletir parte do corpo de uma pessoa ou pode refletir o corpo inteiro ou mesmo um ambiente com diversas pessoas. Nesse caso, o dispositivo pode inserir elementos virtuais sobre todo o corpo da pessoa, simulando uma roupa ou até um personagem, ou ainda inserir elementos no ambiente em torno da pessoa. 0 campo primário de atuação é o setor fashion, que também engloba o mercado de artigos estéticos. No setor fashion, a principal aplicação é simular já no próprio comprador as roupas a serem adquiridas na loja. O mesmo é válido para o setor de acessórios. Nesse caso o produto pode ser aplicado junto a locais onde convencionalmente utilizam-se espelhos. Por exemplo, substituindo os espelhos das cabines de experimentação de roupa.Brief Summary of the Invention The overlay augmented reality media device is a media device geared toward communication. The final effect of the device is an image superimposed on a person's reflection. When a person stands in front of the mirror, he visualizes his own image and through this device, in addition to his own image, the person is able to visualize a digital image superimposed or aligned with his own. For example, when looking at the reflection itself, the user may see above his head a digital hat that does not actually exist. In another example, the user can see the reflection of his own image with a digital glasses, ie the physical object does not actually exist. The device may be small and only reflect part of a person's body or it may reflect the whole body or even a multi-person environment. In this case, the device can insert virtual elements over the whole body of the person, simulating an outfit or even a character, or even insert elements in the environment around the person. The primary field of activity is the fashion sector, which also encompasses the aesthetic articles market. In the fashion sector, the main application is to simulate the clothes to be purchased at the store. The same is true for the accessories industry. In this case the product can be applied near places where mirrors are conventionally used. For example, replacing the mirrors of the experimentation booths.

Um segundo mercado é o estético-farmaceutico. Através do espelho, um usuário pode simular uma maquiagem ou um novo corte de cabelo, podendo alterar também, no reflexo, algumas características do seu corpo e rosto. Nesse caso, o produto pode ser aplicado em totens ou em substituição ao espelho de um salão de beleza, por exemplo.A second market is aesthetic-pharmaceutical. Through the mirror, a user can simulate a makeup or a new haircut, and can also change, in the reflection, some features of his body and face. In this case, the product can be applied on totems or as a mirror replacement for a beauty salon, for example.

Outra aplicação é seu uso em publicidade. A instalação pode ser utilizada como meio de divulgação de produtos e serviços através de conceitos criativos que envolvam a própria imagem do público a ser impactado pela campanha. Nesse caso, o sistema pode ser empregado em banheiros de shopping, paredes espelhadas ou no formato de um tótem.Another application is its use in advertising. The installation can be used as a means of publicizing products and services through creative concepts that involve the public image to be impacted by the campaign. In this case, the system can be employed in mall toilets, mirrored walls or in the shape of a totem.

Descrição detalhada da invenção 0 Dispositivo de mídia de realidade aumentada sobreposta ao reflexo de usuário, objeto da presente invenção, em sua forma mais usual, configura basicamente um monolito no qual, internamente, são posicionados os equipamentos eletrônicos e externamente, uma carenagem (10) com um vidro ref letivo (12) na face frontal, aqui também referida como "face espelhada". O equipamento pode ser autoportante, apoiando-se diretamente sobre o chão (14), fixado a parede (13) ou apoiado sobre uma bancada. Sua face frontal pode abranger uma pequena área, equivalente a um monitor de computador pessoal ou pode ultrapassar a altura de uma pessoa, dependendo da aplicação desejada. A carenagem (10) pode ser de metal, enquanto que, em sua face frontal, a área destinada à interface com usuário (30), encontra-se um vidro refleti vo (12). A invenção emprega o vidro refletivo, pois com essa técnica é possível que o usuário veja seu próprio reflexo e uma imagem digital gerada atrás do vidro sobrepondo-se a sua própria imagem. A luminosidade dos elementos digitais a serem gerados atrás do vidro refletivo (12) é provida por um monitor. A tela do monitor emite luz quando gera uma imagem. No entanto, quando os pixels da tela estão pretos, tem-se a ausência da luz. Sendo assim, quando um pixel está preto, ele não é visto através do vidro refletivo, no entanto, quando o pixel apresenta qualquer outra cor, a luz emitida é vista através do vidro refletivo. Exemplificando: Quando o monitor reproduz a imagem de uma maçã com todo o fundo preto, a maça é vista através do espelho. Porém o fundo preto não é visto. Ao invés de visualizar o fundo preto, um observador visualiza o reflexo do vidro refletivo. O efeito final é de uma maçã flutuando no reflexo do espelho.DETAILED DESCRIPTION OF THE INVENTION The augmented reality media device superimposed on the user reflex, object of the present invention, in its most usual form, basically consists of a monolith in which the electronic equipment is positioned internally and an external fairing (10). with a reflective glass (12) on the front face, herein also referred to as "mirrored face". The equipment can be self-supporting by resting directly on the floor (14), fixed to the wall (13) or resting on a workbench. Its front face may cover a small area equivalent to a personal computer monitor or may exceed a person's height depending on the desired application. The fairing (10) may be metal, while on its front face the area for the user interface (30) is a reflective glass (12). The invention employs reflective glass, because with this technique it is possible for the user to see his own reflection and a digital image generated behind the glass overlapping his own image. The brightness of the digital elements to be generated behind the reflective glass (12) is provided by a monitor. The monitor screen emits light when it generates an image. However, when the screen pixels are black, there is the absence of light. Therefore, when a pixel is black, it is not seen through the reflective glass; however, when the pixel is any other color, the emitted light is seen through the reflective glass. Example: When the monitor reproduces the image of an apple with its entire black background, the apple is viewed through the mirror. But the black background is not seen. Instead of viewing the black background, an observer visualizes the reflection of the reflective glass. The end effect is of an apple floating in the reflection of the mirror.

Quando um observador, o usuário (30) do dispositivo, se olha em um espelho ou vidro refletivo, ele visualiza sua própria imagem. Convencionalmente, na geometria óptica, seu reflexo c denominado imagem virtual. Nesse caso, a imagem virtual refletida do usuário (30) é formada atrás do plano da face espelhada. Ou seja, os olhos do usuário (41) convertem o foco da visão em um ponto posterior à face espelhada.When an observer, the device user 30 looks at himself in a mirror or reflective glass, he sees his own image. Conventionally, in optical geometry, its reflection is called a virtual image. In this case, the reflected virtual image of the user (30) is formed behind the mirror face plane. That is, the user's eyes (41) convert the focus of the vision to a point posterior to the mirror face.

Quando um objeto luminoso, tal como uma imagem digital (50) gerada por um monitor convencional, encontra-se atrás de um vidro refletivo, seu foco não sofre interferência do vidro refletivo. Isso acontece porque a imagem visualizada em um monitor convencional é visualizada pelo usuário exatamente no mesmo plano da tela do monitor.When a luminous object, such as a digital image (50) generated by a conventional monitor, is behind a reflective glass, its focus is not interfered with the reflective glass. This is because the image viewed on a conventional monitor is viewed by the user in exactly the same plane as the monitor screen.

Quando um objeto luminoso hipotético (34) está na mesma distância em relação a um vidro refletivo do que os olhos do observador estão em relação ao mesmo vidro refletivo, as imagens de ambos, objeto e observador, encontram-se no mesmo foco, tal como na figura 3. Nesse caso, o usuário consegue visualizar o objeto luminoso e sua própria imagem sobrepostas no mesmo foco.When a hypothetical light object (34) is at the same distance from a reflective glass as the observer's eyes are from the same reflective glass, the images of both object and observer are in the same focus as In Figure 3. In this case, the user can see the luminous object and his own image overlaid on the same focus.

Um monitor autoestereoscópico (22), mesmo posicionado imediatamente atrás do vidro refletivo, é capaz de gerar uma imagem digital em um foco diferente de sua posição real aos olhos do usuário (41) . Esse tipo de monitor possui a capacidade de "enganar" a visão do usuário. Com esse artificio, o monitor autoestereoscópico (22) pode gerar uma imagem digital (50) que, aos olhos do usuário (41) encontra-se no mesmo plano da imagem virtual do usuário (30) ao ser refletida no vidro refletivo (12). O ser humano possui uma visão estereoscópica, ou seja, como cada olho captura uma imagem diferente para que seja possível perceber a profundidade dos objetos e ambientes. Quanto mais próximo um objeto do observador, mais os olhos convergem. 0 monitor autoestereoscópico, vulgarmente chamado de monitor 3D, é capaz de gerar uma imagem distinta para cada olho de um observador, conforme figura 4. Através desse artifício, é possível imprimir a sensação de que a imagem digital (50) gerada está em um plano diferente do plano do monitor. Portanto, é possível gerar a sensação de que a imagem digital do monitor está relativamente próxima, de acordo com a figura 5a ou mais afastada, de acordo com a figura 5b. Automaticamente, os olhos do observador ajustam seu ângulo para focalizar corretamente o objeto da distância simulada. Essa variável é chamada de paralaxe (33) . A imagem, a ser veiculada no monitor autoestereoscópico, é decodificada por um aplicativo de forma a enviar um sinal de vídeo ao monitor autoestereoscópico, capaz de atender suas especificações. O usuário (40) pode posicionar em diferentes locais em relação ao dispositivo. Sua posição horizontal e a distância podem ser variáveis. Nesse caso, a paralaxe da imagem digital (do monitor) deve assumir diferentes valores para atender cada distância e translação lateral para que sempre fique alinhada e focalizada em relação ao observador. Para isso, o sistema em questão deve detectar constantemente a posição do usuário (40).A self-stereoscopic monitor (22), even positioned immediately behind the reflective glass, is capable of generating a digital image at a different focus from its actual position in the user's eyes (41). This type of monitor has the ability to "mislead" the user's view. With this artifice, the auto-stereoscopic monitor (22) can generate a digital image (50) which, in the eyes of the user (41) is in the same plane as the user's virtual image (30) when reflected in the reflective glass (12) . The human being has a stereoscopic vision, that is, how each eye captures a different image so that it is possible to perceive the depth of objects and environments. The closer an object to the observer, the more the eyes converge. The auto-stereoscopic monitor, commonly called the 3D monitor, is capable of generating a distinct image for each eye of an observer, as shown in Figure 4. Through this device, it is possible to give the impression that the generated digital image (50) is in a plane. different from the monitor plane. Therefore, it is possible to generate the sense that the digital image of the monitor is relatively close according to figure 5a or further away according to figure 5b. Automatically, the observer's eyes adjust their angle to correctly focus the object from the simulated distance. This variable is called parallax (33). The image, to be served on the autosteoscopic monitor, is decoded by an application to send a video signal to the autosteoscopic monitor capable of meeting its specifications. The user (40) may position at different locations relative to the device. Your horizontal position and distance may vary. In this case, the parallax of the digital (monitor) image must assume different values to meet each distance and lateral translation so that it is always aligned and focused in relation to the observer. For this, the system in question must constantly detect the user's position (40).

Existem diversos tipos de dispositivos que detectam a posição de uma pessoa no espaço. Alguns recursos utilizam uma webcam simples e através de algoritimos de visão computacional detectam a posição do corpo. Especificamente, alguns aplicativos de "eye tracking" detectam a posição dos olhos da pessoa posicionada em frente à câmera.There are several types of devices that detect a person's position in space. Some features use a simple webcam and through computer vision algorithms detect the body position. Specifically, some eye tracking applications detect the eye position of the person positioned in front of the camera.

Alguns sistemas mais avançados utilizam luz infravermelha para detectar a distância dos objetos em frente ao sensor. Nesse caso, podemos citar o Kinect da Microsoft que tem tido bastante repercussão nesse campo. 0 sensor infravermelho/webcam (21) é fixado à carenagem (10) do dispositivo. Na forma mais usual, posiciona-se na extremidade superior, conforme figura 2. Ao capturar a imagem do usuário que encontra-se a sua frente, o sensor infravermelho/webcam envia as informações para o computador, que através do aplicativo, reconhece a posição dos olhos do usuário em tempo real. Então, imediatamente gera uma imagem sincronizada com a posição do observador. O aplicativo é responsável pela execução das funcionalidades do dispositivo. Ele roda a partir de um computador (20) que é parte integrante do dispositivo. O computador (20), portanto, gerencia o sensor infravermelho/webcam (21) e o monitor (22). 0 aplicativo importa os dados captados pelo sensor e baseado neles, gera um conteúdo que é então decodificado pelo próprio aplicativo para ser exibido na tela de forma estereoscópica. 0 conteúdo exibido é um modelo 3D renderizado em tempo real. Ou seja, a imagem digital (50) do monitor altera-se instantaneamente em função da posição da pessoa captada pelo sensor. O sistema e técnica descritos compõem as características básicas do Dispositivo de mídia de realidade aumentada sobreposta ao reflexo de usuário: Gerar uma imagem digital em tempo real sobreposta ao reflexo do usuário em função da posição do seu corpo, com técnicas inventivas capazes de proporcionar a experiência a qualquer distância do dispositivo compacto.Some more advanced systems use infrared light to detect the distance of objects in front of the sensor. In this case, we can mention the Microsoft Kinect that has had a lot of repercussions in this field. The infrared sensor / webcam (21) is attached to the fairing (10) of the device. In the most common form, it is positioned at the upper end, as shown in Figure 2. When capturing the image of the user in front of it, the infrared sensor / webcam sends the information to the computer, which through the application recognizes the position. from the user's eyes in real time. Then immediately generates an image synchronized with the position of the observer. The application is responsible for the performance of device functionality. It runs from a computer (20) which is an integral part of the device. The computer (20) therefore manages the infrared / webcam sensor (21) and the monitor (22). The application imports the data captured by the sensor and based on it, generates content that is then decoded by the application itself to be displayed on the screen in a stereoscopic manner. The displayed content is a 3D model rendered in real time. That is, the digital image (50) of the monitor changes instantly depending on the position of the person captured by the sensor. The described system and technique make up the basic features of the user reflection superimposed augmented reality media device: Generate a real-time digital image superimposed on the user's reflection based on his body position, with inventive techniques capable of providing the experience. at any distance from the compact device.

Em uma configuração mais elaborada, o usuário pode interagir com o sistema de forma a ampliar sua experiência. Como exemplo, a interação permite que um usuário que esteja visualizando no dispositivo uma peça de roupa em realidade aumentada possa ativar um comando para trocar a peça ou mesmo modificar a sua cor. 0 usuário pode ainda entrar com dados, tal como e-mail. A interação pode ser realizada através de botões, de uma superfície touch screen (tela sensível ao toque) ou mesmo gestos. Aplicações do Kinect, por exemplo, permitem o reconhecimento de gestos da mão e movimentos do corpo. É fundamental para o desempenho do dispositivo que a imagem digital (50) e a imagem virtual do usuário (30) estejam alinhadas aos olhos do usuário (41). 0 alinhamento deve ocorrer independente da posição do usuário em relação a parte frontal do dispositivo. Para atender 'esse propósito, a invenção contempla um sistema de calibragem.In a more elaborate configuration, the user can interact with the system to broaden their experience. As an example, interaction allows a user viewing an augmented reality garment on the device to activate a command to change the garment or even change its color. The user can also enter data such as email. Interaction can be accomplished through buttons, a touch screen surface or even gestures. Kinect applications, for example, allow recognition of hand gestures and body movements. It is critical to device performance that the digital image (50) and the user's virtual image (30) are aligned with the user's eyes (41). Alignment should occur regardless of the user's position relative to the front of the device. To serve this purpose, the invention contemplates a calibration system.

Basicamente, o aplicativo deve estabelecer um parâmetro entre a posição do sensor infravermelho/webcam (21) e a posição do plano do vidro refletivo (12). O sensor infravermelho/webcam (21) é responsável pelas coordenadas da imagem veiculada no monitor, enquanto que o vidro refletivo é responsável pela imagem virtual refletida do usuário (40). A primeira imagem citada é digital e a segunda puramente óptica, portanto, os fluxos de geração das imagens funcionam independentemente e não interferem entre si. É necessário, portanto um parâmetro em comum para realizar a calibragem. Para realizar tarefas desse tipo, normalmente são empregados alvos ou marcadores. São símbolos fisicos, em geral planos, de alto contraste e geometria simples, tal como um impresso rígido de um tabuleiro de xadrez preto e branco. A forma é previamente memorizada pelo aplicativo. Quando o marcador é apresentado a uma câmera, o aplicativo reconhece os padrões da sua imagem comparando-o com padrão memorizado E processa a imagem, através de um algoritmo de visão computacional, desta forma o aplicativo identifica qual a posição do marcador em relação à câmera. O sistema de calibragem do dispositivo utiliza dois módulos auxiliares: Um marcador de calibragem (60) e uma câmera de apoio para calibragem (62) de acordo com a figura 6. O sistema de calibragem é realizado por um operador, um técnico treinado para a realização da tarefa. A câmera de apoio para calibragem (62) é uma webcam conectada ao computador (20) e gerenciada pelo aplicativo do sistema. É utilizada apenas no procedimento de calibragem, sendo dispensável nos demais processos relacionados ao dispositivo. Possui um fio extenso o suficiente para a câmera deslocar-se além da carenagem do dispositivo, mantendo sua conexão. O marcador de calibragem (60) é posicionado em frente à face frontal do dispositivo, portanto, o sensor infravermelho/webcam (21) captura-o em seu campo de visão. 0 marcador de calibragem pode apoiar-se em um tripé a fim de manter a sua posição fixa. O operador ativa um comando para o aplicativo memorizar a imagem capturada pelo sensor infravermelho/webcam (21) contendo a imagem do marcador de calibragem (60). O operador posiciona a câmera de apoio para calibragem de forma a sua lente capturar simultaneamente o marcador de calibragem (60) e seu reflexo no vidro refletivo (12) , a imagem virtual do marcador de calibragem (61). O operador, então, ativa um comando do aplicativo para memorizar a imagem capturada pela câmera de apoio para calibragem (62).Basically, the application should set a parameter between the infrared sensor / webcam position (21) and the reflective glass plane position (12). The infrared / webcam sensor (21) is responsible for the coordinates of the image displayed on the monitor, while the reflective glass is responsible for the user's reflected virtual image (40). The first image cited is digital and the second purely optical, so the imaging streams work independently and do not interfere with each other. Therefore, a common parameter is required to perform the calibration. To perform such tasks, targets or markers are usually employed. These are generally flat physical symbols of high contrast and simple geometry, such as a rigid print of a black and white chessboard. The shape is previously memorized by the application. When the marker is presented to a camera, the application recognizes the patterns of its image by comparing it with a memorized pattern. And processes the image through a computer vision algorithm, in this way the application identifies the position of the marker in relation to the camera. . The device calibration system uses two auxiliary modules: A calibration marker (60) and a calibration support camera (62) according to figure 6. The calibration system is performed by an operator, a trained technician for accomplishment of the task. The calibration support camera (62) is a webcam connected to the computer (20) and managed by the system application. It is used only in the calibration procedure and is not necessary in other processes related to the device. It has a wire long enough for the camera to travel beyond the device's fairing while maintaining its connection. The calibration marker (60) is positioned in front of the front face of the device, so the infrared / webcam sensor (21) captures it in your field of view. The calibration marker may be supported by a tripod to maintain its fixed position. The operator activates a command for the application to memorize the image captured by the infrared sensor / webcam (21) containing the calibration marker image (60). The operator positions the calibration support camera so that its lens simultaneously captures the calibration marker (60) and its reflection in the reflective glass (12), the virtual image of the calibration marker (61). The operator then activates an application command to memorize the image captured by the calibration support camera (62).

Com base nas fotografias registradas a partir de ambas as câmeras, o aplicativo identifica simultaneamente qual a posição do sensor infravermelho/webcam (21) em relação ao marcador de calibragem (61) e qual a posição imagem virtual do marcador de calibragem (61) em relação ao marcador de calibragem (61). O objetivo é estabelecer uma relação entre a posição do sensor infravermelho/webcam (21) e do vidro refletivo com base em um parâmetro comum, no caso, o marcador de calibragem (61). Computacionalmente, a comparação dos parâmetros é realizada através de matrizes de transformação.Based on the photographs taken from both cameras, the application simultaneously identifies the position of the infrared sensor / webcam (21) relative to the calibration marker (61) and which virtual image position of the calibration marker (61) in relation to the calibration marker (61). The objective is to establish a relationship between the position of the infrared / webcam sensor (21) and the reflective glass based on a common parameter, in this case, the calibration marker (61). Computationally, the comparison of the parameters is performed through transformation matrices.

Realizado o procedimento, o aplicativo memoriza a relação espacial entre o sensor infravermelho/webcam (21) e a chapa do vidro refletivo (12) de forma a estabelecer o parâmetro de calibragem utilizado na operação do dispositivo.Performed the procedure, the application memorizes the spatial relationship between the infrared sensor / webcam (21) and the reflective glass plate (12) in order to establish the calibration parameter used in the device operation.

Breve descrição dos desenhos Fig.l revela uma representação esquemática da forma mais usual da estrutura e seu posicionamento, fixado a parede, exibindo o acabamento externo e o usuário. O vidro refletivo reflete a imagem do usuário enquanto a realidade aumentada da imagem de um chapéu sobrepõe o seu reflexo.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 shows a schematic representation of the most usual form of the structure and its positioning, fixed to the wall, showing the external finish and the user. Reflective glass reflects the wearer's image while the augmented reality of a hat's image overlaps its reflection.

Fig.2 revela uma representação esquemática do interior do dispositivo apresentado na figura 1, exibindo os dispositivos que o compõem.Fig. 2 shows a schematic representation of the interior of the device shown in Fig. 1, showing the devices that compose it.

Fig.3 é a representação esquemática da vista superior, em uma situação hipotética, do usuário, enquanto posiciona-se em frente a um vidro refletivo e um objeto luminoso hipotético posiciona-se do lado oposto. O objeto luminoso encontra-se na mesma distância em relação ao vidro que os olhos do usuário encontram-se em relação ao vidro, possibilitando, como ilustra a figura, que tenham o mesmo foco.Fig.3 is the schematic representation of the user's top view, in a hypothetical situation, as it is positioned in front of a reflective glass and a hypothetical light object is positioned on the opposite side. The light object is at the same distance from the glass as the user's eyes are from the glass, allowing, as the figure illustrates, to have the same focus.

Fig.4 é a representação esquemática do funcionamento do monitor autoestereoscópico do estado da técnica. A figura reproduz a vista superior de um monitor e uma representação dos olhos do usuário. A figura demonstra como a técnica exibe uma imagem para apenas um dos olhos. A área rachurada representa os campos de visão em que o observador não visualiza a emissão luminosa do pixel indicado.Fig. 4 is a schematic representation of the state of the art autosteoscopic monitor operation. The figure reproduces the top view of a monitor and a representation of the user's eyes. The figure demonstrates how the technique displays an image for only one eye. The cracked area represents the fields of view where the observer does not see the light emission of the indicated pixel.

Fig.5a e Fig.5b exibem uma representação esquemática da vista superior de um monitor, dos olhos do usuário e da posição dos pixels na tela. A linha pontilhada representa o percurso da luz de um pixel até um dos olhos do usuário.Fig.5a and Fig.5b show a schematic representation of a monitor's top view, user's eyes, and the position of pixels on the screen. The dotted line represents the light's path from one pixel to one of the user's eyes.

Fig.5a São exibidos na tela dois pixels. Um emite luz para um olho enquanto o outro emite luz para o outro olho do observador.Fig.5a Two pixels are displayed on the screen. One emits light to one eye while the other emits light to the other eye of the beholder.

Fig.5b É exibido uma disposição de pixels com maior distância entre si, quando comparado a figura 4a.Fig.5b An array of pixels with greater distance from each other is shown when compared to figure 4a.

Fig.6 exibe uma perspectiva do método de calibração. É demonstrado o marcador de calibragem e seu reflexo no vidro refletivo.Fig.6 shows a perspective of the calibration method. The calibration marker and its reflection on the reflective glass is shown.

Exemplos Os exemplos mostrados a seguir são meramente ilustrativos do presente relatório descritivo e não devem ser considerados como limitativos da presente invenção.Examples The examples shown below are merely illustrative of the present specification and should not be construed as limiting the present invention.

De acordo com a presente invenção além da clara aplicação do dispositivo ao setor fashion e estético-comercial, podemos citar a aplicação do presente dispositivo em situações de entretenimento doméstico, uso em jogos, marketing, campanhas promocionais, exposições etc.In accordance with the present invention in addition to the clear application of the device to the fashion and aesthetic-commercial sector, we may cite the application of this device in situations of home entertainment, use in games, marketing, promotional campaigns, exhibitions etc.

Muito embora modalidades particulares da presente invenção tenham sido mostradas e descritas, várias combinações, mudanças e modificações podem ser feitas na presente invenção para satisfazer necessidades especificas sem se afastar da invenção nos seus aspectos mais amplos. Além disso, enquanto uma característica particular da invenção pode ter sido divulgada com respeito a apenas uma das várias formas de realização, tal característica pode ser combinada com uma ou mais outras características das outras formas de realização, na medida em que pode ser desejado e vantajoso para qualquer aplicação particular.Although particular embodiments of the present invention have been shown and described, various combinations, changes and modifications may be made to the present invention to meet specific needs without departing from the invention in its broadest aspects. Furthermore, while a particular feature of the invention may have been disclosed with respect to only one of several embodiments, such feature may be combined with one or more other features of the other embodiments, as may be desired and advantageous. for any particular application.

Claims

1 . Augmented reality media device superimposed on the user reflex characterized in that it comprises fairing (10) with a reflective glass (12), computer (20), infrared sensor or webcam (21) and autosteoscopic monitor (22).

Media device according to claim 1, characterized in that its fairing may be self-supporting, wall mounted or supported on a workbench.

Media device according to claim 1 or 2, characterized in that the autosteoscopic monitor (22) is faced in its front area by a reflective glass (12), so that the light emission from the monitor can be observed through said reflective glass (12).

Media device according to any one of claims 1, 2 and 3, characterized in that the light emission from the monitor (22) overlaps with the user's reflection on the reflective glass (12) from the point of view of the user (30).

Media device according to any one of claims 1, 2, 3 or 4, characterized in that the infrared sensor (21) is capable of detecting volumes and silhouette of persons located in its field of vision.

Media device according to any one of claims 1, 2, 3, 4 or 5, characterized in that the infrared sensor or webcam (21) is capable of defining the position of a person's eyes and body parts. and assign coordinates to these elements in real time through computer vision algorithm.

Media device according to any one of claims 1, 2, 3, 4, 5 or 6, characterized in that the application establishes, in real time, a value for the "user eye parallax" variable according to its distance from the face of the reflective glass (12).

Media device according to any one of claims 1, 2, 3, 4, 5, 6 or 7, characterized by the fact that the application generates a real-time rendered 3D model as a function of the parallax of the eyes of the position relative to the monitor so that the displayed image aligns with the user's reflection.

Media device according to any one of claims 1, 2, 3, 4, 5, 6, 7 or 8, characterized in that the 3D rendering is computationally decoded to meet the video signal requirements of the monitor. stereoscopic (22).

Calibration system characterized in that it is applied to the device of claim 1 and is capable of establishing a spatial parameter between the position of the infrared sensor / webcam (21), the auto-stereoscopic monitor (22) and the reflective glass (12) .

Calibration system according to claim 10, characterized in that it comprises a calibration marker, a calibration webcam and application calibration modules, which are employed in addition to the device equipment for its calibration.

Calibration system according to Claim 10 or 11, characterized in that the calibration marker is physical, high contrast and has simple geometry, and its image has been previously memorized by the application.

Calibration system according to any one of claims 10, 11 or 12, characterized in that the application, by means of a marker image in a fixed position, captured by the infrared camera / webcam recognizes the marker image patterns, compare it with the image memorized by the application and establish a spatial coordinate for the marker through computer vision algorithm.

Calibration system according to any one of claims 10, 11, 12 or 13, characterized in that the application, by means of a marker image captured by the calibration camera in a fixed position and its reflection on the reflective glass, recognizes the image patterns of the marker and its reflection, compare it with the image memorized by the application and establish a spatial coordinate for the marker through a computer vision algorithm.

Calibration system according to any one of claims 10, 11, 12, 13 or 14, characterized in that the application establishes a spatial parameter between the infrared sensor or webcam coordinate of claim 14 via a transformation matrix and the coordinate of the claim glass 15 through the calibration marker as a common parameter.