BR112019000101B1 - APPARATUS, AND METHOD OF OPERATING AN APPARATUS - Google Patents
APPARATUS, AND METHOD OF OPERATING AN APPARATUS Download PDFInfo
- Publication number
- BR112019000101B1 BR112019000101B1 BR112019000101-8A BR112019000101A BR112019000101B1 BR 112019000101 B1 BR112019000101 B1 BR 112019000101B1 BR 112019000101 A BR112019000101 A BR 112019000101A BR 112019000101 B1 BR112019000101 B1 BR 112019000101B1
- Authority
- BR
- Brazil
- Prior art keywords
- light
- user
- emitting portion
- light emitting
- semantic information
- Prior art date
Links
Abstract
De acordo com um aspecto, é fornecido um aparelho (100) que compreende uma superfície de exibição (102) para apresentar uma imagem de um usuário; uma porção emissora de luz (104) para usar luz para transmitir informações semânticas ao usuário; um sensor (108) para medir a posição do usuário em relação à porção emissora de luz (104); e uma unidade de controle (106) configurada para controlar a porção emissora de luz (104) com base na posição medida do usuário em relação à porção emissora de luz (104) de modo a minimizar o efeito da luz que transmite as informações semânticas fornecidas pela porção emissora de luz (104) na imagem do usuário apresentada.According to one aspect, there is provided an apparatus (100) comprising a display surface (102) for displaying an image of a user; a light emitting portion (104) for using light to convey semantic information to the user; a sensor (108) for measuring the user's position relative to the light emitting portion (104); and a control unit (106) configured to control the light emitting portion (104) based on the measured position of the user relative to the light emitting portion (104) so as to minimize the effect of light conveying the provided semantic information by the light emitting portion (104) on the displayed user image.
Description
[001] A invenção se refere a um aparelho que compreende uma superfície de exibição, como uma superfície reflexiva/espelho ou uma tela de exibição, e que pode usar luz para fornecer informações semânticas a um usuário do aparelho.[001] The invention relates to a device comprising a display surface, such as a reflective/mirror surface or a display screen, and which can use light to provide semantic information to a user of the device.
[002] Durante atividades de cuidados pessoais, um espelho é frequentemente usado. Tais espelhos devem fornecer ao usuário uma boa visibilidade da face e/ou do corpo, por exemplo para possibilitar a aplicação de maquiagem na face, a realização de atividades de tratamento de pele, cuidados pessoais (por exemplo, barbeamento ou aparamento de pelos), tratamento bucal, colocação ou remoção de lentes de contato, etc.[002] During grooming activities, a mirror is often used. Such mirrors must provide the user with good visibility of the face and/or body, for example to enable the application of make-up to the face, the performance of skin care activities, personal care (e.g. shaving or hair trimming), oral care, placement or removal of contact lenses, etc.
[003] Para melhorar as condições de iluminação e, dessa forma, melhorar a visibilidade da face e/ou do corpo do usuário no espelho, uma ou mais fontes de luz são frequentemente usadas para iluminar o usuário. Essas fontes de luz podem ser integradas ao espelho (por exemplo, localizadas em uma ou mais bordas do espelho), ou elas podem ser separadas do espelho.[003] To improve lighting conditions and thereby improve the visibility of the user's face and/or body in the mirror, one or more light sources are often used to illuminate the user. These light sources can be integrated into the mirror (for example, located at one or more edges of the mirror), or they can be separate from the mirror.
[004] Como alternativa aos tradicionais espelhos que incluem uma superfície reflexiva, têm sido desenvolvidos os assim chamados “espelhos virtuais” ou “espelhos digitais” que usam uma ou mais câmeras ou outros dispositivos de captura de imagem ou vídeo para capturar imagens ou vídeo do usuário e apresentá-los em uma tela de exibição em tempo real (ou em tempo quase real). Esses espelhos virtuais podem ter também um sistema de iluminação integrado ou separado para melhorar as condições de iluminação e, dessa forma, melhorar a imagem mostrada do usuário.[004] As an alternative to traditional mirrors that include a reflective surface, so-called “virtual mirrors” or “digital mirrors” have been developed that use one or more cameras or other image or video capture devices to capture images or video from the user and present them on a display screen in real time (or near real time). These virtual mirrors can also have an integrated or separate lighting system to improve lighting conditions and thus improve the image shown to the user.
[005] O documento WO2009/077946A1 revela um espelho que tem um sistema de iluminação para iluminar o usuário, sendo que o sistema de iluminação compreende múltiplos elementos de iluminação que podem ser acionados independentemente uns dos outros em dependência de um detector. O detector é disposto para detectar a localização do usuário.[005] Document WO2009/077946A1 discloses a mirror that has a lighting system to illuminate the user, the lighting system comprising multiple lighting elements that can be activated independently of each other depending on a detector. The detector is arranged to detect the location of the user.
[006] O documento WO2011/158143A1 revela uma disposição de tela e iluminação que pode proporcionar uma forma fácil e intuitiva de adaptar a iluminação das fontes de luz de modo a ser "lisonjeira" para a pessoa que observa sua própria imagem. Por exemplo, uma luz quente pode ser usada quando uma pele branca/clara é identificada pelo sistema de sensor, e uma luz fria pode ser usada quando uma pele negra/escura é identificada pelo sistema de sensor. Entretanto, a iluminação pode também ser adaptada se forem identificadas rugas (sombras na face).[006] Document WO2011/158143A1 discloses a screen and lighting arrangement that can provide an easy and intuitive way to adapt the lighting of light sources in order to be "flattering" for the person who observes his own image. For example, a warm light can be used when white/light skin is identified by the sensor system, and a cool light can be used when black/dark skin is identified by the sensor system. However, the lighting can also be adapted if wrinkles (shadows on the face) are identified.
[007] O documento JP2002/199995A revela um aparelho de espelho que tem uma unidade emissora de luz colocada na parte traseira do espelho.[007] Document JP2002/199995A discloses a mirror apparatus having a light emitting unit placed at the rear of the mirror.
[008] O documento US2015/254881A1 revela um dispositivo eletrônico disposto para obter uma imagem de um operador situado em frente a um espelho, correlacionando a imagem obtida com uma imagem virtual e processando uma instrução específica com base em uma operação do operador na imagem virtual.[008] Document US2015/254881A1 discloses an electronic device arranged to obtain an image of an operator located in front of a mirror, correlating the obtained image with a virtual image and processing a specific instruction based on an operator operation on the virtual image .
[009] O documento WO2016/048102A1 revela um dispositivo que inclui uma tela e um espelho, sendo o dispositivo disposto para mostrar informações ao usuário em um local de exibição. O local de exibição é determinado pela localização da imagem refletida do usuário.[009] Document WO2016/048102A1 discloses a device that includes a screen and a mirror, the device being arranged to show information to the user in a display location. The display location is determined by the location of the user's reflected image.
[010] O documento KR2016/044405A revela um aparelho para iluminar uma cena a ser capturada, sendo que o dispositivo tem uma fonte de iluminação, um elemento óptico adaptativo configurado para ser controlado para alterar uma iluminação na cena pela fonte de iluminação; e um controlador configurado para determinar um padrão de iluminação que corresponde à cena e configurado para controlar o elemento óptico adaptativo para alterar a iluminação da cena pela fonte de iluminação com base no padrão de iluminação determinado.[010] Document KR2016/044405A discloses an apparatus for illuminating a scene to be captured, the device having a light source, an adaptive optical element configured to be controlled to change an illumination in the scene by the light source; and a controller configured to determine a lighting pattern corresponding to the scene and configured to control the adaptive optical element to alter the illumination of the scene by the lighting source based on the determined lighting pattern.
[011] O documento JP2015/029168A revela um dispositivo de espelho eletrônico para mostrar a imagem em espelho da face do usuário na tela do dispositivo eletrônico, tendo uma câmera para imageamento da face do usuário através de um filtro de luz polarizada e um iluminador de polarização para irradiar luz polarizada na face do usuário.[011] Document JP2015/029168A discloses an electronic mirror device to show the mirror image of the user's face on the screen of the electronic device, having a camera for imaging the user's face through a polarized light filter and a light illuminator polarization to shine polarized light at the user's face.
[012] Para melhorar o desempenho das atividades de cuidados pessoais, tem sido sugerido que os espelhos (virtuais ou de superfície reflexiva) podem ser usados para apresentar informações ao usuário sobre a atividade de cuidados pessoais enquanto o usuário está usando o espelho. De modo similar, enquanto um usuário está usando um espelho, o espelho pode ser usado para apresentar outras informações relevantes ao usuário, por exemplo as manchetes de notícias ou informações sobre o tempo.[012] To improve the performance of personal care activities, it has been suggested that mirrors (virtual or reflective surface) can be used to present information to the user about the personal care activity while the user is using the mirror. Similarly, while a user is using a mirror, the mirror can be used to present other relevant information to the user, for example news headlines or weather information.
[013] Para algumas informações semânticas (por exemplo, informações relacionadas ao desempenho das atividades de cuidados pessoais ou outras informações úteis para o usuário) é possível fornecer as informações ao usuário por meio de uma tela integrada no espelho. Entretanto, isso nem sempre é desejável já que as informações mostradas podem interferir (por exemplo, por sobreposição) com a imagem refletida do usuário. Portanto, o uso de uma tela integrada dentro do espelho nem sempre é uma solução ideal. Em vez disso, propõe-se apresentar “informações semânticas” ao usuário com o uso de um sistema de iluminação que é integrado ou usado com espelhos, ou um sistema de iluminação separado que é fornecido em, sobre ou com o espelho para o propósito específico de fornecer informações semânticas.[013] For some semantic information (for example, information related to the performance of personal care activities or other useful information for the user) it is possible to provide the information to the user through a screen integrated in the mirror. However, this is not always desirable as the displayed information may interfere (eg by overlapping) with the user's reflected image. Therefore, the use of an integrated screen inside the mirror is not always an ideal solution. Instead, it is proposed to present “semantic information” to the user with the use of a lighting system that is integrated or used with mirrors, or a separate lighting system that is provided in, on or with the mirror for the specific purpose. to provide semantic information.
[014] Entretanto, é desejável também que o usuário seja uniformemente iluminado (com a luz ambiente ou pelo sistema de iluminação integrado ou separado) de modo que o usuário possa ver sua face e/ou seu corpo de forma ideal no espelho durante uma atividade de cuidados pessoais, e o uso de luz para apresentar informações semânticas ao usuário pode afetar a uniformidade da iluminação do usuário (e, portanto, da imagem do usuário apresentada pelo espelho). Por exemplo, uma luz vermelha pode ser usada para indicar ao usuário que ele não escovou os dentes por uma quantidade suficiente de tempo, mas isso também projetará luz vermelha sobre a face do usuário e/ou criará sombras na face do usuário, que serão visíveis para o usuário no espelho.[014] However, it is also desirable for the user to be evenly lit (either with ambient light or by the integrated or separate lighting system) so that the user can ideally see his face and/or body in the mirror during an activity of personal care, and the use of light to present semantic information to the user can affect the uniformity of the user's illumination (and therefore the image of the user presented by the mirror). For example, a red light can be used to indicate to the user that they haven't brushed their teeth for a sufficient amount of time, but this will also project red light onto the user's face and/or create shadows on the user's face that will be visible. to the user in the mirror.
[015] Portanto, existe a necessidade de um aparelho e de um método de operação de um aparelho aprimorados que minimizem o efeito da luz que transmite informações semânticas sobre uma imagem apresentada de um usuário. A invenção é definida no quadro reivindicatório em anexo.[015] Therefore, there is a need for an improved device and method of operating a device that minimize the effect of light transmitting semantic information on a displayed image of a user. The invention is defined in the attached set of claims.
[016] De acordo com um primeiro aspecto, é fornecido um aparelho que compreende uma superfície de exibição para apresentar uma imagem de um usuário; uma porção emissora de luz para usar luz para transmitir informações semânticas ao usuário; um sensor para medir a posição do usuário em relação à porção emissora de luz; e uma unidade de controle configurada para controlar a porção emissora de luz com base na posição medida do usuário em relação à porção emissora de luz de modo a minimizar o efeito da luz que transmite as informações semânticas fornecidas pela porção emissora de luz na imagem do usuário apresentada.[016] According to a first aspect, there is provided an apparatus comprising a display surface for displaying an image of a user; a light emitting portion for using light to convey semantic information to the user; a sensor for measuring the user's position relative to the light emitting portion; and a control unit configured to control the light-emitting portion based on the measured position of the user relative to the light-emitting portion so as to minimize the effect of light conveying the semantic information provided by the light-emitting portion on the user's image presented.
[017] De acordo com a invenção, a superfície de exibição pode apresentar a imagem do usuário em tempo real. Será reconhecido que a imagem em tempo real pode ser uma imagem dinâmica e em movimento, de outro modo chamada de imagem ao vivo do usuário.[017] According to the invention, the display surface can present the user's image in real time. It will be recognized that the real-time image may be a dynamic and moving image, otherwise called a live user image.
[018] De acordo com a invenção, o efeito que é minimizado é um efeito de sombreamento e/ou de projeção de cor da luz que transmite as informações semânticas fornecidas pela porção emissora de luz no usuário e na imagem do usuário apresentada.[018] According to the invention, the effect that is minimized is a shading effect and/or light color projection that conveys the semantic information provided by the light-emitting portion on the user and on the displayed user image.
[019] Em algumas modalidades, a superfície de exibição é um espelho ou outra superfície reflexiva. Em outras modalidades, a superfície de exibição é uma tela de exibição que mostra imagens ou vídeo capturado ou obtido por uma ou mais câmeras ou outros dispositivos de captura de imagem ou vídeo. Nessas modalidades, o aparelho pode ser um espelho virtual, um espelho digital ou um espelho inteligente.[019] In some embodiments, the display surface is a mirror or other reflective surface. In other embodiments, the display surface is a display screen that displays images or video captured or obtained by one or more cameras or other image or video capture devices. In these modalities, the device can be a virtual mirror, a digital mirror or a smart mirror.
[020] Em algumas modalidades, a unidade de controle é configurada para controlar a porção emissora de luz por meio do ajuste do brilho ou da intensidade da luz usada para transmitir as informações semânticas com base na posição medida do usuário em relação à porção emissora de luz. Em algumas modalidades, a unidade de controle é configurada para controlar o brilho ou a intensidade da porção emissora de luz de modo que o brilho ou a intensidade da luz que transmite as informações semânticas seja mais baixo quando o usuário está mais perto da porção emissora de luz do que quando o usuário está mais distante da porção emissora de luz.[020] In some embodiments, the control unit is configured to control the light-emitting portion by adjusting the brightness or intensity of the light used to transmit the semantic information based on the measured position of the user in relation to the light-emitting portion light. In some embodiments, the control unit is configured to control the brightness or intensity of the light-emitting portion so that the brightness or intensity of the light conveying the semantic information is lower when the user is closer to the light-emitting portion. light than when the user is further away from the light emitting portion.
[021] Em algumas modalidades, a unidade de controle é configurada para controlar a porção emissora de luz mediante o ajuste da cor, da saturação de cor e/ou da mistura de cores da luz usada para fornecer as informações semânticas com base na posição medida do usuário em relação à porção emissora de luz.[021] In some embodiments, the control unit is configured to control the light emitting portion by adjusting the color, color saturation and/or color mixing of the light used to provide the semantic information based on the measured position of the user in relation to the light emitting portion.
[022] Em algumas modalidades, a porção emissora de luz compreende uma pluralidade de elementos emissores de luz que podem ser usados para transmitir as informações semânticas, e a unidade de controle é configurada para controlar o número de elementos emissores de luz usados para transmitir as informações semânticas com base na posição medida do usuário em relação à porção emissora de luz. A unidade de controle pode ser configurada para controlar o número de elementos emissores de luz usados para transmitir as informações semânticas de modo que o número de elementos emissores de luz usados para transmitir a informação semântica seja menor quando o usuário está mais perto da porção emissora de luz do que quando o usuário está mais distante da porção emissora de luz.[022] In some embodiments, the light-emitting portion comprises a plurality of light-emitting elements that can be used to transmit the semantic information, and the control unit is configured to control the number of light-emitting elements used to transmit the semantic information. semantic information based on the user's measured position relative to the light-emitting portion. The control unit can be configured to control the number of light emitting elements used to transmit the semantic information so that the number of light emitting elements used to transmit the semantic information is smaller when the user is closer to the emitting portion of light than when the user is further away from the light emitting portion.
[023] Em algumas modalidades, a porção emissora de luz compreende uma pluralidade de elementos emissores de luz que podem ser usados para transmitir a informação semântica, e a unidade de controle é configurada para controlar um ângulo de emissão de luz ou foco da luz emitida pelos elementos emissores de luz com base na posição medida do usuário em relação à porção emissora de luz.[023] In some embodiments, the light-emitting portion comprises a plurality of light-emitting elements that can be used to convey the semantic information, and the control unit is configured to control a light-emitting angle or focus of the emitted light by the light emitting elements based on the user's measured position relative to the light emitting portion.
[024] Em algumas modalidades, o sensor compreende um sensor de distância, um sensor de proximidade, um sensor de câmera ou de imagem.[024] In some embodiments, the sensor comprises a distance sensor, a proximity sensor, a camera or image sensor.
[025] Em algumas modalidades, o aparelho compreende adicionalmente um sensor para obter uma ou mais imagens ou uma sequência de vídeo de um usuário do aparelho; sendo que a unidade de controle é configurada adicionalmente para analisar a uma ou mais imagens ou sequência de vídeo obtidas para determinar um efeito da luz que transmite as informações semânticas sobre o usuário e/ou para determinar a uniformidade de iluminação no usuário; e controlar a porção emissora de luz com base na posição medida do usuário em relação à porção emissora de luz e o efeito determinado da luz e/ou uniformidade determinada da iluminação, de modo a minimizar o efeito da luz que transmite as informações semânticas fornecidas pela porção emissora de luz na imagem do usuário apresentada. Essa modalidade tem uma vantagem de que pode ajustar a porção emissora de luz para levar em consideração o efeito real da luz que transmite as informações semânticas sobre o usuário.[025] In some embodiments, the apparatus further comprises a sensor for obtaining one or more images or a video sequence of a user of the apparatus; wherein the control unit is further configured to analyze the one or more images or video sequence obtained to determine a light effect that conveys semantic information about the user and/or to determine uniformity of illumination on the user; and controlling the light emitting portion based on the measured position of the user relative to the light emitting portion and the determined effect of light and/or determined uniformity of illumination, so as to minimize the effect of light conveying the semantic information provided by the light-emitting portion of the displayed user image. This modality has an advantage that it can adjust the light emitting portion to take into account the actual effect of the light conveying the semantic information about the user.
[026] Em algumas modalidades, o aparelho compreende adicionalmente um sensor para detectar um nível de luz ambiente ou contribuição de luz ambiente; e a unidade de controle é configurada para controlar a porção emissora de luz de modo a minimizar o efeito das informações semânticas fornecidas pela porção emissora de luz na imagem do usuário apresentada com base na luz ambiente e na posição medida do usuário em relação à porção emissora de luz. Nessas modalidades, o sensor para detectar um nível de luz ambiente ou uma contribuição de luz ambiente pode ser um sensor de luz, uma câmera ou um sensor de imagem. Essa modalidade tem uma vantagem de que o nível de luz ambiente é levado em consideração ao ajustar a porção emissora de luz para efetuar um nível adequado de ajuste à luz que transmite as informações semânticas.[026] In some embodiments, the apparatus further comprises a sensor for detecting an ambient light level or ambient light contribution; and the control unit is configured to control the light emitting portion so as to minimize the effect of semantic information provided by the light emitting portion on the displayed user image based on ambient light and the measured position of the user relative to the emitting portion of light. In these embodiments, the sensor for detecting an ambient light level or an ambient light contribution may be a light sensor, a camera, or an image sensor. This embodiment has an advantage that the ambient light level is taken into account when adjusting the light emitting portion to effect an adequate level of adjustment to the light that conveys the semantic information.
[027] Em algumas modalidades, a superfície de exibição é uma superfície reflexiva, por exemplo, como em um espelho convencional. Em outras modalidades, a superfície de exibição é uma tela de exibição que exibe uma imagem ou sequência de vídeo obtida usando uma câmera ou um sensor de imagem, ou seja, um espelho virtual.[027] In some embodiments, the display surface is a reflective surface, for example, as in a conventional mirror. In other embodiments, the display surface is a display screen that displays an image or video sequence obtained using a camera or an image sensor, i.e. a virtual mirror.
[028] De acordo com um segundo aspecto, é apresentado um método de operação de um aparelho para transmitir informações semânticas a um usuário do aparelho, sendo que o aparelho compreende uma superfície de exibição para exibir uma imagem do usuário, sendo que o método compreende medir a posição de um usuário em relação a uma porção emissora de luz do aparelho; e controlar a porção emissora de luz para emitir luz para transmitir a informação semântica ao usuário, sendo que a porção emissora de luz é controlada com base na posição medida de modo a minimizar o efeito da luz que transmite as informações semânticas em uma imagem do usuário apresentada na superfície de exibição.[028] According to a second aspect, a method of operating an apparatus for transmitting semantic information to a user of the apparatus is presented, the apparatus comprising a display surface for displaying an image of the user, the method comprising measuring a user's position relative to a light emitting portion of the apparatus; and controlling the light-emitting portion to emit light to convey the semantic information to the user, the light-emitting portion being controlled based on the measured position so as to minimize the effect of light conveying the semantic information on an image of the user displayed on the display surface.
[029] De acordo com a invenção, a superfície de exibição pode apresentar a imagem do usuário em tempo real. Será reconhecido que a imagem em tempo real pode ser uma imagem dinâmica e em movimento, de outro modo chamada de imagem ao vivo do usuário.[029] According to the invention, the display surface can present the user's image in real time. It will be recognized that the real-time image may be a dynamic and moving image, otherwise called a live user image.
[030] De acordo com a invenção, o efeito que é minimizado é um efeito de sombreamento e/ou de projeção de cor da luz que transmite as informações semânticas fornecidas pela porção emissora de luz no usuário e na imagem do usuário apresentada.[030] According to the invention, the effect that is minimized is a shading effect and/or light color projection that conveys the semantic information provided by the light-emitting portion on the user and on the displayed user image.
[031] Em algumas modalidades, a superfície de exibição é um espelho ou outra superfície reflexiva. Em outras modalidades, a superfície de exibição é uma tela de exibição que mostra imagens ou vídeo capturado ou obtido por uma ou mais câmeras ou outros dispositivos de captura de imagem ou vídeo. Nessas modalidades, o aparelho pode ser um espelho virtual, um espelho digital ou um espelho inteligente.[031] In some embodiments, the display surface is a mirror or other reflective surface. In other embodiments, the display surface is a display screen that displays images or video captured or obtained by one or more cameras or other image or video capture devices. In these modalities, the device can be a virtual mirror, a digital mirror or a smart mirror.
[032] Em algumas modalidades, a etapa de controle compreende controlar a porção emissora de luz mediante o ajuste do brilho ou da intensidade da luz usada para transmitir a informação semântica com base na posição medida do usuário em relação à porção emissora de luz. Em algumas modalidades, a etapa de controle compreende controlar o brilho ou a intensidade da porção emissora de luz de modo que o brilho ou a intensidade da luz que transmite as informações semânticas seja menor quando o usuário está mais perto da porção emissora de luz do que quando o usuário está mais distante da porção emissora de luz.[032] In some embodiments, the control step comprises controlling the light-emitting portion by adjusting the brightness or intensity of the light used to convey the semantic information based on the measured position of the user relative to the light-emitting portion. In some embodiments, the control step comprises controlling the brightness or intensity of the light emitting portion such that the brightness or intensity of the light conveying the semantic information is less when the user is closer to the light emitting portion than when the user is further away from the light emitting portion.
[033] Em algumas modalidades, a etapa de controle compreende controlar a porção emissora de luz mediante o ajuste da cor, saturação de cor e/ou mistura de cores da luz usada para fornecer as informações semânticas com base na posição medida do usuário em relação à porção emissora de luz.[033] In some embodiments, the control step comprises controlling the light emitting portion by adjusting the color, color saturation and/or color mixing of the light used to provide the semantic information based on the measured position of the user in relation to to the light-emitting portion.
[034] Em algumas modalidades, a porção emissora de luz compreende uma pluralidade de elementos emissores de luz que podem ser usados para transmitir a informação semântica, e a etapa de controle compreende controlar o número de elementos emissores de luz usados para transmitir a informação semântica com base na posição medida do usuário em relação à porção emissora de luz. A etapa de controle pode compreender controlar o número de elementos emissores de luz usados para transmitir as informações semânticas de modo que o número de elementos emissores de luz usados para transmitir a informação semântica seja menor quando o usuário está mais perto da porção emissora de luz do que quando o usuário está mais distante da porção emissora de luz.[034] In some embodiments, the light-emitting portion comprises a plurality of light-emitting elements that can be used to convey the semantic information, and the controlling step comprises controlling the number of light-emitting elements used to convey the semantic information based on the user's measured position relative to the light-emitting portion. The control step may comprise controlling the number of light emitting elements used to convey the semantic information such that the number of light emitting elements used to convey the semantic information is less when the user is closer to the light emitting portion of the than when the user is further away from the light emitting portion.
[035] Em algumas modalidades, a porção emissora de luz compreende uma pluralidade de elementos emissores de luz que podem ser usados para transmitir a informação semântica, e a etapa de controle compreende controlar um ângulo de emissão de luz ou foco da luz emitida pelos elementos emissores de luz com base na posição medida do usuário em relação à porção emissora de luz.[035] In some embodiments, the light-emitting portion comprises a plurality of light-emitting elements that can be used to convey the semantic information, and the control step comprises controlling a light-emitting angle or focus of light emitted by the elements light emitting portions based on the user's measured position relative to the light emitting portion.
[036] Em algumas modalidades, a etapa de medição da posição do usuário em relação à porção emissora de luz do aparelho compreende medir a posição com o uso de um sensor de distância, um sensor de proximidade, um sensor de câmera ou de imagem.[036] In some embodiments, the step of measuring the user's position in relation to the light-emitting portion of the apparatus comprises measuring the position using a distance sensor, a proximity sensor, a camera or image sensor.
[037] Em algumas modalidades, o método compreende adicionalmente as etapas de obter uma ou mais imagens ou uma sequência de vídeo de um usuário do aparelho; analisar a uma ou mais imagens ou sequência de vídeo obtidas para determinar um efeito da luz que transmite as informações semânticas sobre o usuário e/ou para determinar a uniformidade de iluminação no usuário; e a etapa de controle compreende controlar a porção emissora de luz com base na posição medida do usuário em relação à porção emissora de luz e o efeito determinado da luz e/ou uniformidade determinada da iluminação, de modo a minimizar o efeito da luz que transmite as informações semânticas fornecidas pela porção emissora de luz sobre a imagem do usuário apresentada. Essa modalidade tem uma vantagem de que pode ajustar a porção emissora de luz para levar em consideração o efeito real da luz que transmite as informações semânticas sobre o usuário.[037] In some embodiments, the method further comprises the steps of obtaining one or more images or a video sequence of a user of the apparatus; analyzing the one or more images or video sequence obtained to determine a light effect that conveys semantic information about the user and/or to determine uniformity of illumination on the user; and the controlling step comprises controlling the light emitting portion based on the measured position of the user relative to the light emitting portion and the determined effect of light and/or determined uniformity of illumination, so as to minimize the effect of light transmitting the semantic information provided by the light emitting portion about the presented user image. This modality has an advantage that it can adjust the light emitting portion to take into account the actual effect of the light conveying the semantic information about the user.
[038] Em algumas modalidades, o método compreende adicionalmente a etapa de detecção de um nível de luz ambiente ou contribuição de luz ambiente; e a etapa de controle compreende controlar a porção emissora de luz de modo a minimizar o efeito das informações semânticas fornecidas pela porção emissora de luz sobre a imagem do usuário apresentada com base na luz ambiente e na posição medida do usuário em relação à porção emissora de luz. Nessas modalidades, o sensor para detectar um nível de luz ambiente ou uma contribuição de luz ambiente pode ser um sensor de luz, uma câmera ou um sensor de imagem. Essa modalidade tem uma vantagem de que o nível de luz ambiente é levado em consideração ao ajustar a porção emissora de luz para efetuar um nível adequado de ajuste à luz que transmite as informações semânticas.[038] In some embodiments, the method additionally comprises the step of detecting an ambient light level or ambient light contribution; and the control step comprises controlling the light-emitting portion so as to minimize the effect of the semantic information provided by the light-emitting portion on the displayed user image based on ambient light and the measured position of the user relative to the light-emitting portion light. In these embodiments, the sensor for detecting an ambient light level or an ambient light contribution may be a light sensor, a camera, or an image sensor. This embodiment has an advantage that the ambient light level is taken into account when adjusting the light emitting portion to effect an adequate level of adjustment to the light that conveys the semantic information.
[039] Para garantir um melhor entendimento da invenção, e para mostrar mais claramente como ela pode ser levada a efeito, será feita agora referência, apenas a título de exemplo, aos desenhos em anexo, nos quais:[039] To ensure a better understanding of the invention, and to show more clearly how it can be carried out, reference will now be made, by way of example only, to the attached drawings, in which:
[040] A Figura 1 é um diagrama de blocos de um aparelho de acordo com uma modalidade da invenção;[040] Figure 1 is a block diagram of an apparatus according to an embodiment of the invention;
[041] A Figura 2 ilustra exemplos de fornecimento de informações semânticas por meio de luz;[041] Figure 2 illustrates examples of providing semantic information through light;
[042] A Figura 3 é um fluxograma que ilustra um método de operação de um aparelho de acordo com uma modalidade da invenção;[042] Figure 3 is a flowchart illustrating a method of operating an apparatus according to an embodiment of the invention;
[043] A Figura 4 ilustra exemplos de controle de uma porção emissora de luz de acordo com as modalidades da invenção; e[043] Figure 4 illustrates control examples of a light emitting portion according to the embodiments of the invention; It is
[044] A Figura 5 ilustra um exemplo alternativo de controle de uma porção emissora de luz de acordo com uma modalidade da invenção.[044] Figure 5 illustrates an alternative example of controlling a light emitting portion according to an embodiment of the invention.
[045] A Figura 1 mostra um exemplo de um aparelho 100 de acordo com uma modalidade da invenção. O aparelho 100 serve, de modo geral, para possibilitar que um usuário veja a si próprio e para fornecer informações semânticas ao usuário. Dessa forma, o aparelho 100 compreende uma superfície de tela 102 que se destina a apresentar uma imagem de um usuário (isto é, o reflexo do usuário) do aparelho 100. Em algumas modalidades, a superfície de exibição 102 é uma superfície reflexiva (isto é, espelhada) como aquela encontrada em um espelho convencional e, dessa forma, a superfície de exibição 102 simplesmente apresenta um reflexo dos arredores, incluindo o usuário quando o aparelho 100 está em uso. Alternativamente, o aparelho 100 pode ser um assim chamado “espelho virtual”, “espelho inteligente” ou “espelho digital” e, dessa forma, a superfície de exibição 102 pode ser uma tela de exibição que mostra uma imagem ou uma sequência de vídeo obtida por uma câmera, um sensor de imagem ou um sensor de vídeo associado ao aparelho 100. Essa câmera, sensor de imagem ou sensor de vídeo não é mostrado na Figura 1. A câmera, o sensor de imagem ou o sensor de vídeo podem ser dispostos ou orientados em relação à superfície de exibição 102 de modo que, quando um usuário está na frente da superfície de exibição 102, a superfície de exibição 102 mostra a imagem capturada ou a sequência de vídeo capturada do usuário. Será reconhecido que a imagem ou a sequência de vídeo capturada pode ser refletida em torno de um eixo vertical para que a imagem ou a sequência de vídeo mostrada na tela de exibição represente o “reflexo” do usuário.[045] Figure 1 shows an example of an apparatus 100 according to an embodiment of the invention. Apparatus 100 serves generally to enable a user to see himself and to provide semantic information to the user. Accordingly, apparatus 100 comprises a screen surface 102 which is intended to present an image of a user (i.e., the user's reflection) of apparatus 100. In some embodiments, display surface 102 is a reflective surface (i.e., the user's reflection). i.e., mirrored) like that found in a conventional mirror, and in this way, the display surface 102 simply presents a reflection of the surroundings, including the user, when apparatus 100 is in use. Alternatively, the apparatus 100 may be a so-called "virtual mirror", "smart mirror" or "digital mirror", and in this way the display surface 102 may be a display screen showing an image or a video sequence taken by a camera, an image sensor, or a video sensor associated with apparatus 100. This camera, image sensor, or video sensor is not shown in Figure 1. The camera, image sensor, or video sensor can be disposed or oriented with respect to the display surface 102 such that when a user is in front of the display surface 102, the display surface 102 shows the captured image or captured video sequence of the user. It will be recognized that the captured image or video sequence can be reflected around a vertical axis so that the image or video sequence shown on the display screen represents the “reflection” of the user.
[046] No caso em que a superfície de exibição 102 é uma tela de exibição que mostra imagens ou vídeo do usuário, será reconhecido que a superfície de exibição 102 apresenta, de preferência, uma imagem ou uma sequência de vídeo em tempo real ou ao vivo do usuário. Dessa forma, a imagem ou o vídeo é apresentado na tela de exibição 102 tão rapidamente quanto possível após a captura pela câmera, sensor de imagem ou sensor de vídeo para que o aparelho 100 opere tão próximo quanto possível de um espelho de superfície reflexiva convencional. É claro que será reconhecido que haverá, inevitavelmente, um pequeno atraso entre a captura das imagens ou do vídeo e a exibição na tela de exibição (por exemplo, devido ao processamento de imagem ou vídeo pela câmera, sensor de imagem ou sensor de vídeo e pela tela de exibição), mas isso será suficientemente curto para que as imagens ou vídeo apresentados na tela de exibição pareçam estar em tempo real ou ao vivo da perspectiva do usuário (e, dessa forma, as imagens ou vídeo mostrados parecerão ao usuário ser um reflexo do usuário).[046] In the case where the display surface 102 is a display screen that shows images or video of the user, it will be recognized that the display surface 102 preferably presents an image or a video sequence in real time or at live user. In this way, the image or video is displayed on the display screen 102 as quickly as possible after capture by the camera, image sensor or video sensor so that the apparatus 100 operates as close as possible to a conventional reflective surface mirror. It will of course be recognized that there will inevitably be a slight delay between the capture of images or video and their display on the display screen (e.g. due to image or video processing by the camera, image sensor or video sensor and through the display screen), but this will be short enough so that the images or video displayed on the display screen appear to be real-time or live from the user's perspective (and thus the images or video shown will appear to the user to be a user reflection).
[047] As informações semânticas são fornecidas ao usuário com o uso de uma porção emissora de luz 104. Em particular, a porção emissora de luz 104 serve para emitir luz em certas configurações, padrões, cores, etc. para transmitir informações ao usuário. A porção emissora de luz 104 pode ser configurada ou controlável para fornecer ou mostrar palavras, números, símbolos, imagens e/ou padrões que estão cada um associados a certas informações semânticas. As informações semânticas podem ser informações relacionadas ao desempenho de uma atividade de cuidados pessoais executada pelo usuário ou a outras informações que sejam úteis para o usuário.[047] The semantic information is provided to the user using a light emitting portion 104. In particular, the light emitting portion 104 serves to emit light in certain configurations, patterns, colors, etc. to transmit information to the user. Light emitting portion 104 may be configured or controllable to provide or display words, numbers, symbols, pictures and/or patterns that are each associated with certain semantic information. Semantic information can be information related to the performance of a personal care activity performed by the user or other information that is useful to the user.
[048] A porção emissora de luz 104 compreende tipicamente uma pluralidade de elementos emissores de luz. Os elementos emissores de luz podem ser diodos emissores de luz, LEDs, LEDs orgânicos, OLEDs, lâmpadas de filamento, lâmpadas fluorescentes compactas, CFLs, lâmpadas de halogênio, etc. Os elementos emissores de luz podem ter diferentes tamanhos, formatos e/ou cores (ou ter uma cor controlável) e cada elemento emissor de luz pode ser controlado individualmente ou em combinação com um ou mais outros elementos emissores de luz. Um ou mais dos elementos emissores de luz, ou todos eles, podem ser controlados em qualquer dado momento para fornecer informações semânticas ao usuário.[048] The light emitting portion 104 typically comprises a plurality of light emitting elements. The light emitting elements can be light emitting diodes, LEDs, organic LEDs, OLEDs, filament lamps, compact fluorescent lamps, CFLs, halogen lamps, etc. The light emitting elements can be of different sizes, shapes and/or colors (or have a controllable color) and each light emitting element can be controlled individually or in combination with one or more other light emitting elements. One or more of the light emitting elements, or all of them, can be controlled at any given time to provide semantic information to the user.
[049] É fornecida uma unidade de controle 106 que pode controlar a operação da porção emissora de luz 104. Em particular, a unidade de controle 106 pode controlar a porção emissora de luz 104 para fornecer informações semânticas ao usuário, conforme necessário. Quando a porção emissora de luz 104 compreende uma pluralidade de elementos emissores de luz, a unidade de controle 106 pode controlar os elementos emissores de luz, individualmente e/ou em combinação, para fornecer as informações semânticas. Será reconhecido que a unidade de controle 106 pode determinar as informações semânticas a serem fornecidas ao usuário com o uso da porção emissora de luz 104, por exemplo por meio do monitoramento do usuário com o uso de um ou mais sensores ou dispositivos de cuidados pessoais, e/ou mediante a obtenção de informações a serem apresentadas ao usuário (por exemplo, manchetes de notícias ou informações sobre o tempo) obtidas de uma fonte de informações externa (por exemplo, a Internet).[049] A control unit 106 is provided which can control the operation of the light emitting portion 104. In particular, the control unit 106 can control the light emitting portion 104 to provide semantic information to the user as needed. When the light emitting portion 104 comprises a plurality of light emitting elements, the control unit 106 can control the light emitting elements, individually and/or in combination, to provide the semantic information. It will be recognized that the control unit 106 can determine the semantic information to be provided to the user using the light emitting portion 104, for example by monitoring the user using one or more sensors or personal care devices, and/or by obtaining information to be presented to the user (eg news headlines or weather information) obtained from an external information source (eg the Internet).
[050] A unidade de controle 106 pode ser implementada de várias maneiras, com software e/ou hardware, para executar as funções necessárias. A unidade de controle 106 pode usar um ou mais microprocessadores que podem ser programados com o uso de software para executar as funções necessárias. A unidade de controle 106 pode ser implementada como uma combinação de hardware dedicado para executar algumas funções e um processador (por exemplo, um ou mais microprocessadores programados e circuitos associados) para executar outras funções. Exemplos de componentes de controlador que podem ser empregados em várias modalidades da presente revelação incluem, mas não se limitam a, microprocessadores convencionais, circuitos integrados de aplicação específica (ASICs - Application Specific Integrated Circuits) e matriz de porta programável em campo (FPGAs - Field-Programmable Gate Arays).[050] The control unit 106 can be implemented in various ways, with software and/or hardware, to perform the necessary functions. Control unit 106 may use one or more microprocessors which may be programmed using software to perform required functions. Control unit 106 may be implemented as a combination of dedicated hardware to perform some functions and a processor (e.g., one or more programmed microprocessors and associated circuitry) to perform other functions. Examples of controller components that may be employed in various embodiments of the present disclosure include, but are not limited to, conventional microprocessors, Application Specific Integrated Circuits (ASICs) and Field Programmable Gate Arrays (FPGAs). -Programmable Gate Arrays).
[051] Em algumas modalidades, para que a face e/ou o corpo do usuário sejam bem iluminados quando o aparelho 100 é usado (isto é, para tornar mais fácil para o usuário ver-se na superfície de exibição 102), o aparelho 100 pode compreender adicionalmente outra fonte de luz (não mostrada na Figura 1) que é fornecida com o propósito de iluminar uniformemente o usuário enquanto ele está usando o aparelho 100. Como com a porção emissora de luz 104 acima, essa fonte de luz pode compreender um ou mais LEDs, OLEDs, lâmpadas à base de filamento, CFLs, lâmpadas de halogênio, etc.[051] In some embodiments, in order for the user's face and/or body to be well lit when the apparatus 100 is used (i.e., to make it easier for the user to see himself on the display surface 102), the apparatus 100 may further comprise another light source (not shown in Figure 1) which is provided for the purpose of uniformly illuminating the user while he is wearing apparatus 100. As with the light emitting portion 104 above, such light source may comprise one or more LEDs, OLEDs, filament-based bulbs, CFLs, halogen bulbs, etc.
[052] Alternativamente, onde apenas parte da porção emissora de luz 104 está sendo usada para fornecer informações semânticas ao usuário em qualquer dado momento, a outra parte da porção emissora de luz 104 pode ser usada para iluminar o usuário do aparelho 100. Isso evita a necessidade de que uma fonte de luz separada seja fornecida para iluminar o usuário.[052] Alternatively, where only part of the light emitting portion 104 is being used to provide semantic information to the user at any given time, the other part of the light emitting portion 104 can be used to illuminate the user of the apparatus 100. This avoids the need for a separate light source to be provided to illuminate the user.
[053] Em algumas modalidades, a porção emissora de luz 104 (e, portanto, os elementos emissores de luz) é disposta próxima a, sobre, ou circundando parcialmente ou completamente a superfície de exibição 102. Dessa forma, por exemplo, a porção emissora de luz 104 pode formar uma borda para a superfície de exibição 102, embora os versados na técnica estarão cientes de outras formas nas quais a porção emissora de luz 104 e a superfície de exibição 102 podem ser dispostas. Por exemplo, a porção emissora de luz 104 pode ser disposta ao longo de um ou mais lados da superfície de exibição 104, ou disposta para iluminar principalmente uma parede ou outra superfície atrás da superfície de exibição 102, de modo que o usuário possa perceber as informações semânticas a partir da luz que ilumina a parede ou outra superfície.[053] In some embodiments, the light-emitting portion 104 (and therefore the light-emitting elements) is disposed close to, on, or partially or completely surrounding the display surface 102. In this way, for example, the portion light emitting portion 104 can form a border for display surface 102, although those skilled in the art will be aware of other ways in which light emitting portion 104 and display surface 102 can be disposed. For example, the light emitting portion 104 may be arranged along one or more sides of the display surface 104, or arranged to primarily illuminate a wall or other surface behind the display surface 102 so that the user can perceive the semantic information from the light illuminating the wall or other surface.
[054] Em alguns exemplos, as informações semânticas fornecidas pela porção emissora de luz podem estar relacionadas ao tempo, por exemplo um contador, um temporizador ou uma barra de progresso referente ao tempo restante em um contador para uma atividade de cuidados pessoais, como escovação dos dentes. Outro exemplo de informações semânticas relacionadas a uma atividade de cuidados pessoais pode ser uma indicação de quais áreas da face foram/não foram limpas ou barbeadas, ou quais quadrantes da boca foram/não foram escovados durante a escovação dos dentes. Um exemplo adicional de informações semânticas pode incluir uma indicação da pressão aplicada pelo usuário na escovação dos dentes ou na esfoliação de sua pele ser suficiente (ou excessiva). Um exemplo adicional de informações semânticas é uma indicação da posição ou orientação de um dispositivo de cuidados pessoais (por exemplo, uma escova de dentes, barbeador, aparador de pelos etc.) estar correta. Ainda outro exemplo de informações semânticas que podem ser mostradas pela porção emissora de luz 104 inclui informações de saúde como peso corporal, tendências de peso corporal. Os versados na técnica estarão cientes de muitos outros tipos de informações semânticas que poderiam ser apresentadas a um usuário com o uso de luz a partir de uma porção emissora de luz 104.[054] In some examples, the semantic information provided by the light-emitting portion may be related to time, for example a counter, a timer or a progress bar referring to the time remaining on a counter for a personal care activity such as brushing of the teeth. Another example of semantic information related to a grooming activity could be an indication of which areas of the face were/were not cleaned or shaved, or which quadrants of the mouth were/were not brushed during tooth brushing. An additional example of semantic information might include an indication that the pressure applied by the user in brushing his teeth or exfoliating his skin is sufficient (or excessive). An additional example of semantic information is an indication that the position or orientation of a personal care device (eg, a toothbrush, shaver, hair trimmer, etc.) is correct. Yet another example of semantic information that may be displayed by the light emitting portion 104 includes health information such as body weight, body weight trends. Those skilled in the art will be aware of many other types of semantic information that could be presented to a user using light from a light emitting portion 104.
[055] A Figura 2 ilustra quatro exemplos de como as informações semânticas podem ser indicadas a um usuário por meio de luz. Na Figura 2, o aparelho 100 é mostrado com uma superfície de exibição circular 102 onde a porção emissora de luz 104 se estende ao redor de toda a periferia da superfície de exibição. Será reconhecido que a superfície de exibição 102 pode ter um formato diferente daquele mostrado, e/ou a porção emissora de luz 104 pode ser disposta de modo diferente (por exemplo, apenas em parte dos lados, ou na periferia da superfície de exibição 102).[055] Figure 2 illustrates four examples of how semantic information can be indicated to a user by means of light. In Figure 2, the apparatus 100 is shown with a circular display surface 102 where the light emitting portion 104 extends around the entire periphery of the display surface. It will be appreciated that the display surface 102 may be shaped differently from that shown, and/or the light emitting portion 104 may be disposed differently (e.g. only on part of the sides, or at the periphery of the display surface 102) .
[056] Dessa forma, na Figura 2a, as informações semânticas são fornecidas por meio da emissão de luz de um pequeno segmento 150 da porção emissora de luz 104, e do movimento do segmento 150 ao redor da superfície de exibição 104 ao longo do tempo, conforme indicado pela seta 151. Isso pode ser usado, por exemplo, para indicar um tempo decorrido ou o tempo restante de uma atividade de cuidados pessoais. Será reconhecido que a porção emissora de luz 104 em si não se move e, dessa forma, o “movimento” do segmento 150 é obtido pela iluminação seletiva de diferentes partes (por exemplo, sucessivas) da porção emissora de luz 104 ao longo do tempo. O segmento 150 pode ser fornecido por um ou mais dos elementos emissores de luz na porção emissora de luz 104. Em algumas modalidades, a outra parte 152 da porção emissora de luz 104 (isto é, as partes além do segmento 150) pode ser apagada enquanto o segmento 150 é aceso, mas, em outras modalidades, a parte 152 pode ficar continuamente acesa e/ou acesa em uma cor ou intensidade diferente do segmento 150 para iluminar o usuário.[056] Thus, in Figure 2a, semantic information is provided through the emission of light from a small segment 150 of the light emitting portion 104, and the movement of the segment 150 around the display surface 104 over time , as indicated by arrow 151. This can be used, for example, to indicate an elapsed time or time remaining for a personal care activity. It will be recognized that the light-emitting portion 104 itself does not move, and thus the "movement" of the segment 150 is achieved by selectively illuminating different (e.g., successive) parts of the light-emitting portion 104 over time. . The segment 150 may be provided by one or more of the light-emitting elements in the light-emitting portion 104. In some embodiments, the other portion 152 of the light-emitting portion 104 (i.e., the portions beyond the segment 150) may be erased. while segment 150 is lit, but in other embodiments, portion 152 may be continuously lit and/or lit in a different color or intensity than segment 150 to illuminate the user.
[057] A iluminação mostrada na Figura 2b pode ser usada para ilustrar o tempo decorrido. Nesse exemplo, o tamanho de um segmento de barra de progresso/temporizador 154 é gradualmente aumentado à medida que o tempo transcorre. Dessa forma, à medida que o tempo transcorre, mais partes da porção emissora de luz 104 são acesas para formar a barra de progresso/temporizador 154, conforme indicado pela seta 155. Como no exemplo da Figura 2a, o segmento remanescente 156 da porção emissora de luz 104 pode ser desligado até que seja necessário, ou pode ficar continuamente aceso e/ou aceso em uma cor ou intensidade diferente da barra 154 para iluminar o usuário.[057] The lighting shown in Figure 2b can be used to illustrate the elapsed time. In this example, the size of a progress bar/timer segment 154 is gradually increased as time elapses. In this way, as time elapses, more parts of the light emitting portion 104 are lit to form the progress bar/timer 154, as indicated by arrow 155. As in the example of Figure 2a, the remaining segment 156 of the emitting portion of light 104 can be turned off until needed, or can be continuously lit and/or lit in a different color or intensity than bar 154 to illuminate the user.
[058] Na Figura 2c, as informações semânticas estão sob a forma de um indicador de tendência/status 158, 160, onde o status/tendência em relação a um alvo é indicado por quanto da barra de tendência/status 158, 160 está acesa. Isso pode ser usado, por exemplo, para mostrar se o usuário está aplicando a pressão correta com uma escova de dentes, onde a quantidade correta de pressão corresponde à barra 158 completamente acesa, e onde uma quantidade excessiva de pressão corresponde à barra 160 iluminada também (por exemplo, em vermelho para indicar que o usuário está pressionando com força demais). Como nos exemplos das Figuras 2a e 2b, os segmentos remanescentes 162 da porção emissora de luz 104 podem ser apagados, ou eles podem ficar continuamente acesos e/ou acesos em uma cor ou intensidade diferentes da barra 158, 160 para iluminar o usuário.[058] In Figure 2c, the semantic information is in the form of a trend/status indicator 158, 160, where the status/trend relative to a target is indicated by how much of the trend/status bar 158, 160 is lit . This can be used, for example, to show whether the user is applying the correct pressure with a toothbrush, where the correct amount of pressure corresponds to bar 158 fully lit, and where an excessive amount of pressure corresponds to bar 160 also lit. (for example, in red to indicate that the user is pressing too hard). As in the examples of Figures 2a and 2b, the remaining segments 162 of the light emitting portion 104 can be turned off, or they can be continuously lit and/or lit in a different color or intensity from the bar 158, 160 to illuminate the user.
[059] A Figura 2d mostra uma forma de iluminação que pode ser usada para representar se um usuário escovou os dentes em cada quadrante de sua boca corretamente. Dessa forma, a porção emissora de luz 104 é dividida em quatro segmentos 164, 166, 168 e 170, que representam, cada um, um respectivo quadrante da boca. Nesse exemplo, a cor de cada segmento 164, 166, 168 e 170 é usada para indicar se o quadrante correspondente foi escovado corretamente. Dessa forma, os segmentos 168 e 170 poderiam ser verdes para indicar que aqueles quadrantes foram escovados corretamente, o segmento 166 poderia ser amarelo para indicar que aquele quadrante foi apenas parcialmente escovado e o segmento 164 poderia ser vermelho para indicar que aquele quadrante não foi escovado. A cor de cada segmento pode ser controlada e atualizada conforme o usuário escova os dentes.[059] Figure 2d shows a form of lighting that can be used to represent whether a user has brushed their teeth in each quadrant of their mouth correctly. In this way, the light emitting portion 104 is divided into four segments 164, 166, 168 and 170, each representing a respective quadrant of the mouth. In this example, the color of each segment 164, 166, 168, and 170 is used to indicate whether the corresponding quadrant was brushed correctly. Thus, segments 168 and 170 could be green to indicate that those quadrants were brushed correctly, segment 166 could be yellow to indicate that quadrant was only partially brushed, and segment 164 could be red to indicate that quadrant was not brushed. . The color of each segment can be controlled and updated as the user brushes their teeth.
[060] Conforme indicado acima, existe um problema relacionado ao fato de que é desejável que um usuário seja uniformemente iluminado (pela luz ambiente ou pela porção emissora de luz 104 ou por uma fonte de luz separada) de modo que o usuário possa ver de forma ideal sua face e/ou seu corpo na superfície de exibição 102, mas o uso de luz para apresentar informações semânticas ao usuário pode afetar a uniformidade da iluminação no usuário (e, dessa forma, na imagem do usuário apresentada pela superfície de exibição). Por exemplo, o fornecimento de informações semânticas através da emissão de luz (particularmente luz não branca) pode causar sombreamento ou projeção de cor sobre o usuário.[060] As indicated above, there is a problem related to the fact that it is desirable for a user to be uniformly illuminated (either by ambient light or by the light emitting portion 104 or by a separate light source) so that the user can see from optimally shape your face and/or body on the display surface 102, but the use of light to present semantic information to the user can affect the uniformity of the lighting on the user (and thus the image of the user presented by the display surface) . For example, providing semantic information through the emission of light (particularly non-white light) can cause shading or color cast on the user.
[061] Foi reconhecido que o efeito da luz usada para transmitir as informações semânticas depende de quão próximo o usuário está da porção emissora de luz 104 (por exemplo, o sombreamento e/ou a projeção de cor sobre o usuário são mais pronunciados quando o usuário está mais perto da porção emissora de luz 104 do que quando ele está mais distante) e, portanto, descobriu-se que as características da luz usada para transmitir as informações semânticas podem ser ajustadas para minimizar o efeito de sombreamento ou a projeção de cor. Dessa forma, de acordo com a invenção, o aparelho 100 é dotado de um sensor 108 para medir a posição do usuário em relação à porção emissora de luz 104, e a unidade de controle 106 é configurada para controlar a porção emissora de luz 104 com base na posição medida do usuário em relação à porção emissora de luz 104 de modo a minimizar o efeito da luz usada para transmitir as informações semânticas fornecidas pela porção emissora de luz 104 na imagem do usuário apresentada.[061] It was recognized that the effect of the light used to convey the semantic information depends on how close the user is to the light emitting portion 104 (for example, the shading and/or color cast on the user is more pronounced when the user is closer to the light emitting portion 104 than when he is further away) and therefore it has been found that the characteristics of the light used to convey the semantic information can be adjusted to minimize the shading effect or color cast . Thus, according to the invention, the apparatus 100 is provided with a sensor 108 for measuring the user's position in relation to the light emitting portion 104, and the control unit 106 is configured to control the light emitting portion 104 with based on the measured position of the user relative to the light emitting portion 104 so as to minimize the effect of the light used to convey the semantic information provided by the light emitting portion 104 on the displayed user image.
[062] O sensor 108 é configurado para medir a posição do usuário em relação à porção emissora de luz 104. Em algumas modalidades, o sensor 108 é um sensor de distância que mede diretamente a distância da porção emissora de luz 104 até o usuário (ou, de modo mais genérico, do sensor 108 no aparelho 100 até o usuário). O sensor 108 pode emitir um sinal representando a distância medida para a unidade de controle 106, ou emitir um sinal para a unidade de controle 106 que pode ser processado ou analisado pela unidade de controle 106 para determinar a distância. O sensor 108 pode ser qualquer tipo adequado de sensor de distância, por exemplo um sensor de proximidade infravermelho, um sensor de distância ultrassônico ou uma câmera ou outro sensor de imagem (cujas imagens podem ser processadas, por exemplo, pela unidade de controle 106, para determinar a distância até um usuário na imagem, ou para determinar uma distância associada com um certo nível de foco automático). Quando o aparelho 100 é um “espelho virtual” ou “espelho digital”, as imagens ou sequências de vídeo capturadas usando a câmera ou outro tipo de sensor de imagem presente no aparelho 100 podem ser analisadas para determinar a posição do usuário em relação à porção emissora de luz 104 e, dessa forma, não é necessário um sensor separado 108.[062] The sensor 108 is configured to measure the position of the user relative to the light emitting portion 104. In some embodiments, the sensor 108 is a distance sensor that directly measures the distance from the light emitting portion 104 to the user ( or, more generally, from sensor 108 on apparatus 100 to the user). Sensor 108 can output a signal representing the measured distance to control unit 106, or output a signal to control unit 106 that can be processed or analyzed by control unit 106 to determine distance. The sensor 108 can be any suitable type of distance sensor, for example an infrared proximity sensor, an ultrasonic distance sensor or a camera or other image sensor (the images of which can be processed, for example, by the control unit 106, to determine the distance to a user in the image, or to determine a distance associated with a certain level of autofocus). When the apparatus 100 is a "virtual mirror" or "digital mirror", the images or video sequences captured using the camera or other type of image sensor present in the apparatus 100 can be analyzed to determine the position of the user in relation to the portion emitting light 104 and thus a separate sensor 108 is not required.
[063] Em algumas modalidades, o sensor 108 pode medir indiretamente a distância da porção emissora de luz 104 até o usuário determinando quando um usuário está dentro de uma distância limite da porção emissora de luz 104 (ou, de modo mais genérico, dentro de uma distância limite do aparelho 100). Nessas modalidades, o sensor 108 pode ser um sensor de proximidade (por exemplo, um sensor de proximidade infravermelho), e o sensor 108 pode emitir um sinal que indica se o usuário está ou não dentro da distância limite.[063] In some embodiments, the sensor 108 can indirectly measure the distance from the light emitting portion 104 to the user by determining when a user is within a threshold distance of the light emitting portion 104 (or, more generally, within a limiting distance from the apparatus 100). In these embodiments, the sensor 108 can be a proximity sensor (for example, an infrared proximity sensor), and the sensor 108 can emit a signal that indicates whether or not the user is within the threshold distance.
[064] Conforme indicado acima, a unidade de controle 106 é configurada para controlar a porção emissora de luz 104 com base na posição medida do usuário em relação à porção emissora de luz 104. Em particular, a unidade de controle 106 pode controlar o brilho ou a intensidade da luz que fornece as informações semânticas; a cor, a saturação de cor, o equilíbrio de cores ou a mistura de cores da luz que fornece as informações semânticas; o número de elementos emissores de luz usados para fornecer a luz para as informações semânticas; o foco ou o ângulo de emissão de luz dos elementos emissores de luz usados para fornecer as informações semânticas; ou qualquer combinação dos mesmos.[064] As indicated above, the control unit 106 is configured to control the light emitting portion 104 based on the user's measured position relative to the light emitting portion 104. In particular, the control unit 106 can control the brightness or the light intensity that provides the semantic information; the color, color saturation, color balance, or color mixing of the light providing the semantic information; the number of light-emitting elements used to provide light for the semantic information; the focus or angle of light emission of the light emitting elements used to provide the semantic information; or any combination thereof.
[065] Dessa forma, a unidade de controle 106 pode reduzir o brilho ou a intensidade da luz que transmite as informações semânticas quando o usuário está perto da porção emissora de luz 104 em comparação com quando o usuário está mais distante da porção emissora de luz 104.[065] In this way, the control unit 106 can reduce the brightness or intensity of the light that conveys the semantic information when the user is close to the light-emitting portion 104 compared to when the user is farther from the light-emitting portion 104.
[066] Além disso ou alternativamente, a unidade de controle 106 pode alterar a cor, a saturação de cor, o equilíbrio de cores ou a mistura de cores da luz que transmite as informações semânticas quando o usuário está próximo da porção emissora de luz 104, de modo que a luz não cause (ou cause uma quantidade insignificante de) projeção de cor no usuário em comparação com a cor, a saturação de cor, o equilíbrio de cores ou a mistura de cores da luz que é usada quando o usuário está mais distante da porção emissora de luz 104 e a projeção de cor é menos provável que ocorra. Por exemplo, quando o usuário está perto da porção emissora de luz 104, a unidade de controle 106 pode controlar a cor, a saturação de cor, o equilíbrio de cores ou a mistura de cores da luz que transmite as informações semânticas de modo que a luz seja misturada até alcançar um tom neutro branco ou cinza no ponto em que ela atinge a face do usuário, ou tenha sua saturação reduzida a tal ponto que o efeito de projeção de cor seja insignificante para o usuário.[066] In addition or alternatively, the control unit 106 can change the color, color saturation, color balance or color mixing of the light that transmits the semantic information when the user is close to the light emitting portion 104 , so that the light does not cause (or causes an insignificant amount of) color cast on the user compared to the color, color saturation, color balance, or color mixing of the light that is used when the user is more distant from the light emitting portion 104 and color casting is less likely to occur. For example, when the user is close to the light emitting portion 104, the control unit 106 can control the color, color saturation, color balance or color mixing of the light that conveys the semantic information so that the light is blended to a neutral white or gray tone at the point where it hits the user's face, or has its saturation reduced to such an extent that the color cast effect is negligible to the user.
[067] Além disso ou alternativamente, a unidade de controle 106 pode reduzir o número de elementos emissores de luz usados para fornecer a luz que transmite as informações semânticas quando o usuário está perto da porção emissora de luz 104 em comparação com quando o usuário está mais distante da porção emissora de luz 104. O uso de um número menor de elementos emissores de luz reduz a saída de luz total pela porção emissora de luz 104 e, dessa forma, reduz a quantidade de iluminação adicional do usuário fornecida pelas informações semânticas.[067] Additionally or alternatively, the control unit 106 can reduce the number of light-emitting elements used to provide the light that conveys the semantic information when the user is close to the light-emitting portion 104 compared to when the user is more distant from the light emitting portion 104. Using a smaller number of light emitting elements reduces the total light output by the light emitting portion 104 and thereby reduces the amount of additional user illumination provided by the semantic information.
[068] Além disso ou alternativamente, a unidade de controle 106 pode alterar o foco ou o ângulo de emissão de luz dos elementos emissores de luz usados para fornecer as informações semânticas (particularmente quando os elementos emissores de luz emitem uma mistura de cores) de modo que a luz seja misturada a uma distância mais curta (isto é, mais perto) da porção emissora de luz 104 quando o usuário está perto da porção emissora de luz 104 em comparação com quando o usuário está mais distante da porção emissora de luz 104.[068] Additionally or alternatively, the control unit 106 can change the focus or light emitting angle of the light emitting elements used to provide the semantic information (particularly when the light emitting elements emit a mixture of colors) from so that the light is mixed at a shorter distance (i.e., closer) to the light emitting portion 104 when the user is close to the light emitting portion 104 compared to when the user is further away from the light emitting portion 104 .
[069] Será reconhecido que, em algumas modalidades, os parâmetros da porção emissora de luz 104 podem ser controlados continuamente ou semi-continuamente com base na posição ou na distância medida (isto é, os parâmetros mudam dinamicamente com a posição ou a distância medida). Em outras modalidades, os parâmetros da porção emissora de luz 104 podem ser alterados de maneira gradual com base na posição ou na distância medida. Em modalidades adicionais, os parâmetros da porção emissora de luz 104 podem ter duas configurações: uma configuração baseada no fato de o usuário estar perto da porção emissora de luz 104 (por exemplo, quando o usuário está dentro de uma distância limite da porção emissora de luz 104) e outra configuração baseada no fato de o usuário estar suficientemente distante da porção emissora de luz 104 (por exemplo, quando o usuário está a mais do que a distância limite da porção emissora de luz 104).[069] It will be recognized that, in some embodiments, the parameters of the light emitting portion 104 may be controlled continuously or semi-continuously based on the measured position or distance (i.e., the parameters change dynamically with the measured position or distance ). In other embodiments, the parameters of the light emitting portion 104 can be gradually changed based on the measured position or distance. In further embodiments, the parameters of the light-emitting portion 104 can have two settings: a setting based on whether the user is close to the light-emitting portion 104 (e.g., when the user is within a threshold distance of the light-emitting portion light 104) and another configuration based on whether the user is far enough away from the light emitting portion 104 (for example, when the user is further than the threshold distance from the light emitting portion 104).
[070] O controle da porção emissora de luz 104 conforme descrito acima com base na posição medida do usuário reduz o efeito de sombreamento ou projeção de cor da luz que transmite as informações semânticas sobre o usuário quando o usuário está perto do aparelho 100. Embora em algumas modalidades esse efeito seja obtido em detrimento do brilho ou da saturação da luz que transmite as informações semânticas, quando o usuário não está perto da porção emissora de luz 104, uma luz mais clara e/ou mais saturada pode ainda ser usada para fornecer as informações semânticas.[070] Controlling the light emitting portion 104 as described above based on the measured position of the user reduces the shading effect or color projection of the light that conveys the semantic information about the user when the user is close to the apparatus 100. Although in some embodiments this effect is achieved at the expense of brightness or saturation of the light conveying the semantic information, when the user is not close to the light emitting portion 104, brighter and/or more saturated light can still be used to provide the semantic information.
[071] O fluxograma da Figura 3 ilustra um método de operação do aparelho 100 de acordo com a invenção. Na etapa 1001, é medida a posição de um usuário em relação a uma porção emissora de luz 104 do aparelho 100. Conforme indicado acima, a posição pode ser medida com o uso de um sensor 108 no aparelho 100. Em algumas modalidades, a posição é medida em termos da distância entre o usuário e a porção emissora de luz 104 ou o aparelho 100, ou como uma indicação de o usuário estar ou não dentro de uma distância limite da porção emissora de luz 104.[071] The flowchart of Figure 3 illustrates a method of operating the apparatus 100 according to the invention. In step 1001, a user's position relative to a light-emitting portion 104 of apparatus 100 is measured. As noted above, position can be measured using a sensor 108 on apparatus 100. In some embodiments, position is measured in terms of the distance between the user and the light emitting portion 104 or the appliance 100, or as an indication of whether or not the user is within a threshold distance of the light emitting portion 104.
[072] Quando o aparelho 100 é destinado a fornecer informações semânticas ao usuário com o uso de luz a partir de uma porção emissora de luz 104 do aparelho 100, a unidade de controle 106 controla a porção emissora de luz 104 para fornecer as informações semânticas e, em particular, controla a porção emissora de luz 104 com base na posição medida, de modo a minimizar o efeito (por exemplo, projeção de cor e/ou sombreamento) da luz que transmite as informações semânticas na imagem do usuário apresentada (etapa 1003).[072] When the apparatus 100 is intended to provide semantic information to the user with the use of light from a light emitting portion 104 of the apparatus 100, the control unit 106 controls the light emitting portion 104 to provide the semantic information and, in particular, controls the light emitting portion 104 based on the measured position, so as to minimize the effect (e.g., color cast and/or shading) of the light that conveys the semantic information in the presented user image (step 1003).
[073] Dessa forma, na etapa 1003, a unidade de controle 106 controla a porção emissora de luz 104 com base na posição medida do usuário em relação à porção emissora de luz 104 para controlar o brilho ou a intensidade da luz que fornece as informações semânticas; a cor, a saturação de cor, o equilíbrio de cores ou a mistura de cores da luz que fornece as informações semânticas; o número de elementos emissores de luz usados para fornecer a luz para as informações semânticas; e/ou o foco ou o ângulo de emissão de luz dos elementos emissores de luz usados para fornecer as informações semânticas.[073] Thus, in step 1003, the control unit 106 controls the light emitting portion 104 based on the user's measured position relative to the light emitting portion 104 to control the brightness or intensity of the light that provides the information semantics; the color, color saturation, color balance, or color mixing of the light providing the semantic information; the number of light-emitting elements used to provide light for the semantic information; and/or the focus or angle of light emission of the light emitting elements used to provide the semantic information.
[074] A Figura 4 ilustra vários exemplos de como a porção emissora de luz 104 pode ser controlada de acordo com modalidades da invenção. O aparelho 100 ilustrado na Figura 4 é similar ao aparelho 100 mostrado na Figura 2 e, dessa forma, compreende uma superfície de exibição circular 102 onde a porção emissora de luz 104 se estende ao redor de toda a periferia da superfície de exibição 102. Como na Figura 2, será reconhecido que a superfície de exibição 102 pode ter um formato diferente daquele mostrado, e/ou a porção emissora de luz 104 pode ser disposta de modo diferente (por exemplo, apenas em parte das laterais, ou na periferia da superfície de exibição 102).[074] Figure 4 illustrates several examples of how the light emitting portion 104 can be controlled in accordance with embodiments of the invention. The apparatus 100 illustrated in Figure 4 is similar to the apparatus 100 shown in Figure 2 and, as such, comprises a circular display surface 102 where the light emitting portion 104 extends around the entire periphery of the display surface 102. in Figure 2, it will be recognized that the display surface 102 may have a different shape than that shown, and/or the light emitting portion 104 may be disposed differently (e.g. only on part of the sides, or on the periphery of the surface). display 102).
[075] As Figuras 4a e 4b mostram um primeiro exemplo de como a porção emissora de luz 104 pode ser controlada para minimizar o efeito, sobre o usuário, da luz que transmite as informações semânticas. As informações semânticas nas Figuras 4a e 4b, ou a maneira de indicar as informações semânticas, é similar àquela mostrada na Figura 2a e, dessa forma, compreende um segmento 202 que é movido ao redor da periferia da superfície de exibição 102 para indicar, por exemplo, um tempo decorrido ou um tempo restante de uma atividade de cuidados pessoais. O segmento restante 204 da porção emissora de luz 104 não é usado para transmitir as informações semânticas (por exemplo, o segmento restante 204 não emite nenhuma luz ou é usado para iluminar o usuário em geral). O segmento 202 é formado de uma pluralidade de elementos emissores de luz.[075] Figures 4a and 4b show a first example of how the light emitting portion 104 can be controlled to minimize the effect, on the user, of the light that transmits the semantic information. The semantic information in Figures 4a and 4b, or the manner of indicating the semantic information, is similar to that shown in Figure 2a and as such comprises a segment 202 which is moved around the periphery of the display surface 102 to indicate, for for example, an elapsed time or a remaining time of a personal care activity. The remaining segment 204 of the light-emitting portion 104 is not used to convey the semantic information (eg, the remaining segment 204 does not emit any light or is used to illuminate the user in general). Segment 202 is formed from a plurality of light emitting elements.
[076] Quando o usuário está perto da porção emissora de luz 104, a luz do segmento 202 pode causar sombreamento ou projeção de cor sobre a face do usuário, e isso pode ser visível para o usuário na imagem apresentada na superfície de exibição 104. Dessa forma, quando é determinado que o usuário não está perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a mais do que uma distância limite da porção emissora de luz 104), o segmento 202 pode ser conforme mostrado na Figura 4a. Entretanto, se o usuário está perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a menos do que uma distância limite da porção emissora de luz 104), o tamanho do segmento 202 pode ser reduzido (por exemplo, por meio da representação do segmento 202 com menos elementos emissores de luz do que na Figura 4a), conforme mostrado na Figura 4b.[076] When the user is close to the light emitting portion 104, the light from the segment 202 may cause shadowing or color cast on the user's face, and this may be visible to the user in the image presented on the display surface 104. Thus, when it is determined that the user is not close to the light emitting portion 104 (e.g., the measured position indicates that the user is more than a threshold distance from the light emitting portion 104), the segment 202 can be as shown in Figure 4a. However, if the user is close to the light emitting portion 104 (e.g., the measured position indicates that the user is less than a threshold distance from the light emitting portion 104), the size of the segment 202 can be reduced (e.g. example, by representing the segment 202 with less light emitting elements than in Figure 4a), as shown in Figure 4b.
[077] Será reconhecido que a alteração no número de elementos emissores de luz que formam o segmento 202 não é restrita ao tipo de fornecimento de informações semânticas por meio de segmentos em movimento 202 mostrado nas Figuras 4a e 4b, e ela pode ser aplicada a qualquer maneira pela qual as informações semânticas são transmitidas ao usuário.[077] It will be recognized that the change in the number of light-emitting elements forming the segment 202 is not restricted to the type of providing semantic information via moving segments 202 shown in Figures 4a and 4b, and it can be applied to any way in which semantic information is conveyed to the user.
[078] As Figuras 4c e 4d mostram um segundo exemplo de como a porção emissora de luz 104 pode ser controlada para minimizar o efeito, sobre o usuário, da luz que transmite as informações semânticas. As informações semânticas na Figura 4c compreendem dois segmentos 210 que são posicionados em lados opostos da superfície de exibição 102 (embora deva ser reconhecido que as posições ilustradas dos segmentos 210 não são limitadoras). Os segmentos restantes 212 da porção emissora de luz 104 não são usados para transmitir as informações semânticas (por exemplo, os segmentos restantes 212 não emitem nenhuma luz ou são usados para iluminar o usuário em geral). O segmento 210 pode ser formado de um ou mais elementos emissores de luz. Na Figura 4c, o usuário não está perto da porção emissora de luz 104 e, portanto, os segmentos 210 transmitem as informações semânticas com o uso de luz com uma saturação de cor, uma cor ou uma mistura de cores desejadas.[078] Figures 4c and 4d show a second example of how the light emitting portion 104 can be controlled to minimize the effect, on the user, of the light that transmits the semantic information. The semantic information in Figure 4c comprises two segments 210 that are positioned on opposite sides of the display surface 102 (although it should be recognized that the illustrated positions of the segments 210 are not limiting). The remaining segments 212 of the light emitting portion 104 are not used to convey the semantic information (eg, the remaining segments 212 do not emit any light or are used to illuminate the user in general). Segment 210 may be formed from one or more light emitting elements. In Figure 4c, the user is not close to the light emitting portion 104 and therefore the segments 210 transmit the semantic information using light with a desired color saturation, color or mix of colors.
[079] Quando o usuário está perto da porção emissora de luz 104, a luz do segmento 210 pode causar sombreamento ou projeção de cor sobre a face do usuário, e isso pode ser visível para o usuário na imagem apresentada na superfície de exibição 104. Dessa forma, quando é determinado que o usuário está perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a menos do que uma distância limite da porção emissora de luz 104), a unidade de controle 106 pode controlar a porção emissora de luz 104 de modo que a saturação de cor, a cor ou a mistura de cores da luz que forma os segmentos 210 cause menos sombreamento ou projeção de cor sobre o usuário. Dessa forma, conforme mostrado na Figura 4d, a porção emissora de luz 104 pode ser controlada de modo que as informações semânticas sejam transmitidas com o uso de um segmento 214 (que é menor do que o segmento 210 na Figura 4c) com luz com a mesma saturação de cor, a mesma cor ou a mesma mistura de cores do segmento 210 na Figura 4c, e com o fornecimento de outros dois segmentos menores 216 de cada lado do segmento 214 que têm uma saturação de cor, uma cor ou uma mistura de cores diferente do segmento 214, de modo que o efeito combinado dos segmentos 214 e 216 seja que o sombreamento ou a projeção de cor no usuário são reduzidos em comparação àqueles do segmento 210 na Figura 4c.[079] When the user is close to the light emitting portion 104, the light from the segment 210 may cause shading or color cast onto the user's face, and this may be visible to the user in the image displayed on the display surface 104. In this way, when it is determined that the user is close to the light emitting portion 104 (for example, the measured position indicates that the user is less than a threshold distance from the light emitting portion 104), the control unit 106 can controlling the light emitting portion 104 so that the color saturation, color or color mixing of the light forming the segments 210 causes less shading or color cast on the user. In this way, as shown in Figure 4d, the light emitting portion 104 can be controlled so that semantic information is transmitted using a segment 214 (which is smaller than the segment 210 in Figure 4c) with light having the same color saturation, same color, or same color mix as segment 210 in Figure 4c, and with providing two other smaller segments 216 on either side of segment 214 that have a color saturation, color, or mix of different colors from segment 214, so the combined effect of segments 214 and 216 is that the shading or color cast on the user is reduced compared to that of segment 210 in Figure 4c.
[080] Por exemplo, os segmentos 210 podem ter uma cor vermelha brilhante, e quando o usuário está mais perto da porção emissora de luz 104, o tamanho da porção emissora de luz que tem uma cor vermelha brilhante (segmento 214) pode ser reduzido, e os segmentos vizinhos 216 com uma cor menos saturada (por exemplo, rosa claro) podem ser usados para reduzir a projeção de cor e sombreamento no usuário.[080] For example, segments 210 can have a bright red color, and when the user is closer to the light-emitting portion 104, the size of the light-emitting portion that has a bright red color (segment 214) can be reduced , and neighboring segments 216 with a less saturated color (eg light pink) can be used to reduce color cast and shading on the user.
[081] Será reconhecido que a alteração na saturação de cor, na cor ou na mistura de cores do segmento 210 não é restrita ao tipo de informações semânticas mostrado nas Figuras 4c e 4d, e ela pode ser aplicada a qualquer maneira pela qual as informações semânticas são transmitidas ao usuário.[081] It will be recognized that the change in color saturation, color or color mixing of segment 210 is not restricted to the type of semantic information shown in Figures 4c and 4d, and it can be applied to any way in which the information semantics are transmitted to the user.
[082] As Figuras 4e e 4f mostram um terceiro exemplo de como a porção emissora de luz 104 pode ser controlada para minimizar o efeito, sobre o usuário, da luz que transmite as informações semânticas. As informações semânticas nas Figuras 4e e 4f compreendem quatro segmentos que são individualmente controláveis para transmitir informações semânticas ao usuário. O tipo de informação semântica fornecido nas Figuras 4e e 4f pode ser conforme mostrado na Figura 2d, por exemplo, com cada segmento indicando se um quadrante na boca do usuário foi escovado corretamente.[082] Figures 4e and 4f show a third example of how the light emitting portion 104 can be controlled to minimize the effect, on the user, of the light that transmits the semantic information. The semantic information in Figures 4e and 4f comprises four segments that are individually controllable to convey semantic information to the user. The type of semantic information provided in Figures 4e and 4f could be as shown in Figure 2d, for example, with each segment indicating whether a quadrant in the user's mouth was brushed correctly.
[083] Dessa forma, na Figura 4e, são fornecidos quatro segmentos 220 que mostram uma cor específica em um brilho ou um nível de intensidade específicos. Os segmentos restantes 222 da porção emissora de luz 104 não são usados para transmitir as informações semânticas (por exemplo, os segmentos restantes 222 não emitem nenhuma luz ou são usados para iluminar o usuário em geral). Cada segmento 220 pode ser formado de um ou mais elementos emissores de luz. Na Figura 4e, o usuário não está perto da porção emissora de luz 104 e, portanto, os segmentos 220 transmitem as informações semânticas com o uso de luz com brilho ou intensidade desejados.[083] Thus, in Figure 4e, four segments 220 are provided that show a specific color at a specific brightness or intensity level. The remaining segments 222 of the light-emitting portion 104 are not used to convey the semantic information (eg, the remaining segments 222 do not emit any light or are used to illuminate the user in general). Each segment 220 may be formed from one or more light emitting elements. In Figure 4e, the user is not near the light emitting portion 104 and therefore the segments 220 transmit the semantic information using light of desired brightness or intensity.
[084] Quando o usuário está perto da porção emissora de luz 104, a luz dos segmentos 220 pode causar sombreamento ou projeção de cor sobre a face do usuário, e isso pode ser visível para o usuário na imagem apresentada na superfície de exibição 104. Dessa forma, quando é determinado que o usuário está perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a menos do que uma distância limite da porção emissora de luz 104), a unidade de controle 106 pode controlar a porção emissora de luz 104 de modo que o brilho ou a intensidade da luz que forma os segmentos 220 cause menos sombreamento ou projeção de cor sobre o usuário. Dessa forma, conforme mostrado na Figura 4f, a porção emissora de luz 104 pode ser controlada de modo que as informações semânticas sejam transmitidas com o uso dos segmentos 224 com luz de uma intensidade de brilho ou saturação de cor menores do que a usada no segmento 220 na Figura 4e (os segmentos 226 não são usados para transmitir informações semânticas, semelhantemente aos segmentos 222 na Figura 4e). Dessa forma, o brilho e/ou a intensidade menores dos segmentos 224 na Figura 4f reduzirão o sombreamento ou a projeção de cor sobre o usuário em comparação àqueles dos segmentos 220 na Figura 4e.[084] When the user is close to the light emitting portion 104, the light from the segments 220 may cause shading or color cast on the user's face, and this may be visible to the user in the image presented on the display surface 104. In this way, when it is determined that the user is close to the light emitting portion 104 (for example, the measured position indicates that the user is less than a threshold distance from the light emitting portion 104), the control unit 106 can controlling the light emitting portion 104 so that the brightness or intensity of the light forming the segments 220 causes less shading or color cast on the user. In this way, as shown in Figure 4f, the light emitting portion 104 can be controlled so that semantic information is transmitted using segments 224 with light of a lower brightness intensity or color saturation than that used in the segment. 220 in Figure 4e (segments 226 are not used to convey semantic information, similar to segments 222 in Figure 4e). Thus, the lower brightness and/or intensity of segments 224 in Figure 4f will reduce the shading or color cast on the user compared to those of segments 220 in Figure 4e.
[085] Será reconhecido que a alteração na intensidade do brilho ou da saturação de cor dos segmentos 220 não é restrita ao tipo de informações semânticas mostrado nas Figuras 4e e 4f, e ela pode ser aplicada a qualquer maneira pela qual as informações semânticas são transmitidas ao usuário.[085] It will be recognized that changing the intensity of the brightness or color saturation of the segments 220 is not restricted to the type of semantic information shown in Figures 4e and 4f, and it can be applied to any manner in which the semantic information is conveyed to the user.
[086] As Figuras. 4g e 4 h mostram um quarto exemplo de como a porção emissora de luz 104 pode ser controlada para minimizar o efeito, sobre o usuário, da luz que transmite as informações semânticas. As informações semânticas nas Figuras 4g e 4 h são semelhantes àquelas mostradas nas Figuras 4a e 4b e, portanto, compreendem um segmento 228 que se move ao redor da porção emissora de luz 104. Neste exemplo, o segmento remanescente 230 da porção emissora de luz 104 não é usado para transmitir as informações semânticas, mas é usado para iluminar o usuário em geral.[086] The Figures. 4g and 4h show a fourth example of how the light emitting portion 104 can be controlled to minimize the effect on the user of the light that conveys the semantic information. The semantic information in Figures 4g and 4h is similar to that shown in Figures 4a and 4b and therefore comprises a segment 228 that moves around the light emitting portion 104. In this example, the remaining segment 230 of the light emitting portion 104 is not used to convey the semantic information but is used to enlighten the general user.
[087] Neste exemplo, o segmento móvel 228 é formado de um segmento vermelho 228r, um segmento verde 228g e um segmento azul 228b que, em média, produzem luz que tem a mesma cor (isto é, branca) e a mesma intensidade que as do o segmento restante 230. Entretanto, quando o usuário se aproxima da porção emissora de luz 104, o usuário pode perceber os segmentos vermelhos, verdes e azuis em vez da luz branca “média” intencionada (e, dessa forma, as luzes vermelha, verde e azul podem ser projetadas sobre o usuário) e, portanto, quando o usuário está mais perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a menos do que uma distância limite da porção emissora de luz 104), o tamanho dos segmentos vermelho, verde e azul 228 pode ser reduzido conforme mostrado pelos segmentos 232r, 232g e 232b na Figura 4h. Essa alteração no tamanho dos segmentos 232 significa que os segmentos vermelho, verde e azul podem ainda criar a mistura de luz desejada para a distância menor e, assim, o usuário ainda perceberá a cor “média” (por exemplo, branca) intencionada (e geralmente no tamanho pretendido), e a projeção de cores vermelha, verde e azul no usuário será reduzida.[087] In this example, the moving segment 228 is formed from a red segment 228r, a green segment 228g and a blue segment 228b that, on average, produce light that has the same color (i.e., white) and the same intensity as those of the remaining segment 230. However, when the user approaches the light emitting portion 104, the user may perceive the red, green and blue segments instead of the intended "average" white light (and thus the red lights , green and blue can be projected onto the user) and therefore when the user is closer to the light emitting portion 104 (e.g. the measured position indicates that the user is less than a threshold distance from the light emitting portion 104 light 104), the size of the red, green and blue segments 228 can be reduced as shown by segments 232r, 232g and 232b in Figure 4h. This change in the size of the 232 segments means that the red, green and blue segments can still create the desired light mix for the shorter distance, and thus the user will still perceive the intended (e.g. white) “average” color (and usually at the intended size), and the red, green, and blue color cast on the user will be reduced.
[088] Conforme indicado acima, em algumas modalidades, a unidade de controle 106 pode alterar o foco ou o ângulo de emissão de luz dos elementos emissores de luz usados para fornecer as informações semânticas (particularmente quando os elementos emissores de luz emitem uma mistura de cores) de modo que a luz seja misturada a uma distância mais curta (isto é, mais perto) da porção emissora de luz 104 quando o usuário está perto da porção emissora de luz 104 em comparação com quando o usuário está mais distante da porção emissora de luz 104. Isso é ilustrado na Figura 5. As Figuras 5a e 5b mostram três elementos emissores de luz 250 que têm uma disposição óptica ajustável 252 (por exemplo, uma disposição de lentes ou lentes ajustáveis) que pode mudar o foco da luz emitida por cada elemento emissor de luz 250 ou que pode mudar o ângulo de emissão da luz de cada elemento emissor de luz 250. O ajuste da disposição óptica 252 pode alterar a distância da porção emissora de luz 104 na qual a luz de cada elemento emissor de luz 250 é misturada. Por exemplo, conforme mostrado na Figura 5a, quando o usuário não está perto da porção emissora de luz 104 (por exemplo, a posição medida indica que o usuário está a mais do que uma distância limite da porção emissora de luz 104), as disposições ópticas 252 podem ser ajustadas pela unidade de controle 106 de modo que a luz seja misturada em um ponto mais distante da porção emissora de luz 104 (ou seja, o ângulo de emissão é mais estreito) do que quando o usuário está perto da porção emissora de luz 104 (como mostrado na Figura 5b), isto é, o foco está mais perto da porção emissora de luz 104 (isto é, o ângulo de emissão é mais amplo).[088] As indicated above, in some embodiments, the control unit 106 can change the focus or light emission angle of the light emitting elements used to provide the semantic information (particularly when the light emitting elements emit a mixture of colors) so that the light is mixed at a shorter distance (i.e., closer) to the light emitting portion 104 when the user is close to the light emitting portion 104 compared to when the user is further away from the emitting portion of light 104. This is illustrated in Figure 5. Figures 5a and 5b show three light emitting elements 250 that have an adjustable optical arrangement 252 (e.g., an array of lenses or adjustable lenses) that can change the focus of the emitted light by each light emitting element 250 or which can change the light emitting angle of each light emitting element 250. Adjusting the optical arrangement 252 can change the distance from the light emitting portion 104 at which light from each light emitting element 250 light is mixed. For example, as shown in Figure 5a, when the user is not close to the light emitting portion 104 (for example, the measured position indicates that the user is more than a threshold distance from the light emitting portion 104), the provisions optics 252 can be adjusted by the control unit 106 so that the light is mixed at a point farther from the light emitting portion 104 (i.e., the emission angle is narrower) than when the user is close to the emitting portion of light 104 (as shown in Figure 5b), i.e., the focus is closer to the light emitting portion 104 (i.e., the emission angle is wider).
[089] Em algumas modalidades, o controle da porção emissora de luz 104 baseado na posição medida descrita acima pode ser predeterminado e o controle necessário programado na unidade de controle 106 (isto é, para uma posição medida específica, a porção emissora de luz 104 deve ser controlada de uma certa forma). Entretanto, em outras modalidades, a unidade de controle 106 pode prever um efeito de projeção de cor ou sombreamento da luz usada para transmitir a informação semântica, e usar essa previsão com a posição medida para determinar como controlar a porção emissora de luz 104. Por exemplo, em algumas modalidades o aparelho 100 pode compreender um sensor para detectar um nível de luz ambiente ou a contribuição de luz ambiente (por exemplo, um sensor de luz ou um sensor de câmera ou de imagem) e a unidade de controle 106 pode controlar a porção emissora de luz 104 com base na posição medida e no nível de luz ambiente medido ou na contribuição de luz ambiente detectada. Por exemplo, a luz usada para fornecer informações semânticas ao usuário é mais propensa a causar sombreamento ou projeção de cor quando o nível de luz ambiente é baixo do que quando o nível de luz ambiente é normal ou mais alto. Da mesma forma, a luz usada para fornecer informações semânticas ao usuário é mais propensa a causar sombreamento ou projeção de cor em partes do usuário onde a contribuição para a iluminação do usuário devida à iluminação ambiente é baixa. Dessa forma, se for determinado que o nível de luz ambiente ou a contribuição de luz ambiente são baixos, a unidade de controle 106 pode fazer um ajuste maior no(s) parâmetro(s) da porção emissora de luz 104 que determina as características das informações semânticas quando o usuário estiver perto da porção emissora de luz 104 do que quando o nível de luz ambiente ou a contribuição de luz ambiente forem altos ou normais. Em algumas modalidades nas quais o sensor de nível de luz ambiente é um sensor de câmera ou de imagem, a unidade de controle 106 pode determinar o nível de luz ambiente ou a contribuição de luz ambiente por meio de uma comparação entre imagens nas quais o usuário está iluminado com luz do aparelho 100 (incluindo a luz que transmite as informações semânticas) e imagens nas quais o usuário não está iluminado (ou não está uniformemente iluminado) com luz do aparelho 100. Em particular, a unidade de controle 106 pode “subtrair” as imagens nas quais o usuário não está iluminado de imagens nas quais o usuário está iluminado para determinar o nível de luz ambiente ou a contribuição de luz ambiente.[089] In some embodiments, the control of the light emitting portion 104 based on the measured position described above can be predetermined and the necessary control programmed into the control unit 106 (i.e., for a specific measured position, the light emitting portion 104 must be controlled in a certain way). However, in other embodiments, the control unit 106 can predict a color cast or shading effect of the light used to convey the semantic information, and use that prediction with the measured position to determine how to control the light emitting portion 104. For example, in some embodiments apparatus 100 may comprise a sensor for sensing an ambient light level or ambient light input (e.g., a light sensor or camera or image sensor) and control unit 106 may control the light emitting portion 104 based on the measured position and the measured ambient light level or the detected ambient light contribution. For example, light used to provide semantic information to the user is more likely to cause shading or color cast when the ambient light level is low than when the ambient light level is normal or higher. Likewise, light used to provide semantic information to the user is more likely to cause shading or color cast in parts of the user where the contribution to the user's illumination due to ambient lighting is low. Thus, if the ambient light level or ambient light contribution is determined to be low, the control unit 106 can make a major adjustment to the parameter(s) of the light emitting portion 104 which determines the characteristics of the semantic information when the user is near the light emitting portion 104 than when the ambient light level or ambient light contribution is high or normal. In some embodiments in which the ambient light level sensor is a camera or image sensor, the control unit 106 can determine the ambient light level or the ambient light contribution through a comparison between images in which the user is illuminated with light from device 100 (including the light that conveys the semantic information) and images in which the user is not illuminated (or is not uniformly illuminated) with light from device 100. In particular, control unit 106 can "subtract ” the images in which the user is not illuminated from images in which the user is illuminated to determine the ambient light level or the ambient light contribution.
[090] Em algumas modalidades, o controle da porção emissora de luz 104 pode ser baseado na posição medida do usuário em relação à porção emissora de luz 104 e em uma análise ou uma observação da luz que transmite as informações semânticas no usuário. Nessas modalidades, o aparelho 100 pode compreender um sensor de câmera ou outro sensor de imagem (que pode ser o mesmo sensor de câmera ou de imagem descrito nas modalidades acima) que obtém uma ou mais imagens ou uma sequência de vídeo do usuário conforme as informações semânticas são transmitidas ao usuário com o uso da porção emissora de luz 104, e a unidade de controle 106 analisa as imagens ou a sequência de vídeo obtidas para determinar o efeito, sobre o usuário, da luz que transmite as informações semânticas e/ou para determinar a uniformidade de iluminação sobre o usuário (por exemplo, determinar se ou quais partes do usuário estão mais sombreadas do que outras). A unidade de controle 106 pode, então, determinar um ajuste da porção emissora de luz 104 para minimizar o efeito, sobre o usuário, da luz que transmite as informações semânticas. Por exemplo, se as informações semânticas forem transmitidas com o uso de luz vermelha, a unidade de controle 106 pode analisar as imagens ou a sequência de vídeo para determinar se a luz vermelha está sendo projetada sobre o usuário e, se estiver, a unidade de controle 106 pode controlar a porção emissora de luz 104 para reduzir o brilho, a intensidade ou a saturação de cor, ou alterar a cor ou a mistura de cores para minimizar a projeção de luz no usuário. Será reconhecido que, nessas modalidades, a unidade de controle 106 pode primeiro fazer um ajuste ou um controle da porção emissora de luz 104 com base na posição do usuário medida em relação à porção emissora de luz 104 e, então, analisar imagens ou uma sequência de vídeo do usuário para determinar se é necessário um ajuste ou um controle adicional. Alternativamente, será reconhecido que, nessas modalidades, a unidade de controle 106 pode controlar a porção emissora de luz 104 para apresentar as informações semânticas ao usuário e fazer um único ajuste ou controle da porção emissora de luz 104 com base na posição do usuário medida em relação à porção emissora de luz 104 e uma análise de imagens ou uma sequência de vídeo do usuário.[090] In some embodiments, the control of the light emitting portion 104 may be based on the measured position of the user relative to the light emitting portion 104 and on an analysis or observation of the light that conveys the semantic information on the user. In these embodiments, the apparatus 100 may comprise a camera sensor or another image sensor (which may be the same camera or image sensor described in the above embodiments) that obtains one or more images or a video sequence of the user in accordance with the information semantic information is transmitted to the user using the light emitting portion 104, and the control unit 106 analyzes the obtained images or video sequence to determine the effect, on the user, of the light that conveys the semantic information and/or to determining the uniformity of lighting over the user (for example, determining whether or which parts of the user are shaded more than others). Control unit 106 can then determine an adjustment of the light emitting portion 104 to minimize the effect on the user of the light that conveys the semantic information. For example, if semantic information is transmitted using red light, the control unit 106 can analyze the images or video sequence to determine whether the red light is being projected onto the user and, if so, the control unit. control 106 can control light emitting portion 104 to reduce brightness, intensity or color saturation, or alter color or color mixing to minimize light projection on the user. It will be recognized that, in these embodiments, the control unit 106 can first make an adjustment or a control of the light emitting portion 104 based on the user's measured position relative to the light emitting portion 104 and then analyze images or a sequence of the user's video to determine if further adjustment or control is needed. Alternatively, it will be recognized that, in such embodiments, the control unit 106 can control the light emitting portion 104 to present the semantic information to the user and make a single adjustment or control of the light emitting portion 104 based on the position of the user measured in with respect to the light emitting portion 104 and an analysis of images or a video sequence of the user.
[091] Dessa forma, são fornecidos um aparelho e um método de operação de um aparelho aprimorados que minimizam o efeito da luz que transmite informações semânticas sobre uma imagem apresentada de um usuário.[091] In this way, an apparatus and an improved apparatus operation method are provided that minimize the effect of light that conveys semantic information about a presented image of a user.
[092] Variações das modalidades apresentadas podem ser entendidas e realizadas pelos versados na técnica na prática da invenção reivindicada, a partir de um estudo dos desenhos, da revelação e das reivindicações em anexo. Nas reivindicações, a expressão “que compreende” não exclui outros elementos ou outras etapas, e o artigo indefinido “um” ou “uma” não exclui uma pluralidade. Um único processador ou outra unidade pode executar as funções de vários itens mencionados nas reivindicações. O simples fato de certas medidas serem mencionadas em reivindicações dependentes mutuamente diferentes não indica que uma combinação dessas medidas não possa ser usada com vantagem. Um programa de computador pode ser armazenado/distribuído em uma mídia adequada, como uma mídia de armazenamento óptico ou uma mídia de estado sólido, fornecida juntamente com outro hardware, ou como parte do mesmo, porém pode também ser distribuído de outras formas, como através da Internet ou outros sistemas de telecomunicação com ou sem fio.[092] Variations of the presented modalities can be understood and carried out by those skilled in the art in the practice of the claimed invention, from a study of the drawings, the disclosure and the attached claims. In claims, the expression "comprising" does not exclude other elements or other steps, and the indefinite article "a" or "an" does not exclude a plurality. A single processor or other unit can perform the functions of multiple items mentioned in the claims. The mere fact that certain measures are mentioned in mutually different dependent claims does not indicate that a combination of these measures cannot be used to advantage. A computer program may be stored/distributed on suitable media, such as optical storage media or solid state media, provided with or as part of other hardware, but may also be distributed in other ways, such as via the Internet or other wired or wireless telecommunication systems.
[093] Nenhum sinal de referência nas reivindicações deve ser interpretado como limitador do escopo da invenção.[093] No reference sign in the claims should be interpreted as limiting the scope of the invention.
Claims (15)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16178600 | 2016-07-08 | ||
| EP16178600.9 | 2016-07-08 | ||
| PCT/EP2017/066431 WO2018007285A1 (en) | 2016-07-08 | 2017-07-03 | An apparatus for providing semantic information and a method of operating the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112019000101A2 BR112019000101A2 (en) | 2019-04-09 |
| BR112019000101B1 true BR112019000101B1 (en) | 2023-06-13 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7792334B2 (en) | Locating blood vessels | |
| EP2699146B1 (en) | Device and method for vital sign measurement of a person | |
| US10767822B2 (en) | Automatic light control for illumination of a feature of interest | |
| US20200121245A1 (en) | Anatomical surface assessment methods, devices and systems | |
| US11747004B2 (en) | Apparatus for providing semantic information and a method of operating the same | |
| Goodlin | Photographic-assisted diagnosis and treatment planning. | |
| JP2010187746A5 (en) | ||
| JP6201956B2 (en) | Gaze detection device and gaze detection method | |
| JPWO2015029537A1 (en) | Organ imaging device | |
| JP7264188B2 (en) | MEDICAL IMAGING DEVICE, IMAGING METHOD AND PROGRAM | |
| WO2016076059A1 (en) | Organ image capture device and program | |
| TW201716826A (en) | Illuminator | |
| ES2965228T3 (en) | Device for use in the diagnosis of skin and scalp, and method of using said device | |
| JP6695021B2 (en) | Lighting equipment | |
| JP2007184910A5 (en) | ||
| JP2010097126A (en) | Face illuminating device and color measuring device using the same | |
| KR20200030017A (en) | Methods and apparatus for optimizing image acquisition of objects subject to illumination patterns | |
| BR112019000101B1 (en) | APPARATUS, AND METHOD OF OPERATING AN APPARATUS | |
| JP2016171849A (en) | Diagnosis support device and diagnosis support method | |
| CN106725266A (en) | A kind of stomatology endoscope that can be positioned according to focal length | |
| JP2009254479A (en) | Light environment evaluation method and light environment evaluation system | |
| JP6471533B2 (en) | Gaze detection device and gaze detection method | |
| WO2015068495A1 (en) | Organ image capturing device | |
| JP2017148188A (en) | Oral cavity imaging device | |
| JP2005331798A (en) | Illuminator for photography |