BR102014028946B1

BR102014028946B1 - METHOD FOR DYNAMICALLY ADJUSTING THE DISPLAY OF A VIRTUAL KEYBOARD

Info

Publication number: BR102014028946B1
Application number: BR102014028946-1A
Authority: BR
Inventors: João Paulo Fernandes Ventura; Tatiane Godoy Santos; Antônio Henrique Barbosa Postal
Original assignee: Samsung Eletrônica Da Amazônia Ltda
Priority date: 2014-11-19
Filing date: 2014-11-19
Publication date: 2023-01-10
Also published as: BR102014028946A2

Abstract

MÉTODO PARA AJUSTAR DINAMICAMENTE A EXIBIÇÃO DE UM TECLADO VIRTUAL. A presente invenção se refere a um método para ajustar dinamicamente a exibição de um teclado virtual em uma tela de dispositivo móvel de usuário, o dispositivo móvel tendo uma pluralidade de sensores de inclinação e/ou proximidade e uma câmera embutidos e um dispositivo ponteiro, o método compreendendo as etapas de: - obter medições a partir da pluralidade de sensores de inclinação e/ou proximidade e da câmera do dispositivo móvel, onde a inclinação é medida em relação à linha de referência vertical ou à linha de visão do usuário; - calcular o nível de transparência do teclado virtual com base nas medições e imagens obtidas a partir dos sensores e da câmera;- definir uma relação entre uma cor dominante e uma cor contrastante /complementar da imagem obtida a partir da tela atual; e - alterar em tempo real o estado do teclado virtual entre um estado de visibilidade máxima (311, 403, 503, 613) e um estado de visibilidade mínima (312, 401, 501, 611) a transparência, de acordo com o valor do nível de transparência calculado, e o contraste, o gradiente e a cor do texto com a relação entre as cores dominante e contrastante/complementar definidas.METHOD FOR DYNAMICALLY ADJUSTING THE DISPLAY OF A VIRTUAL KEYBOARD. The present invention relates to a method for dynamically adjusting the display of a virtual keyboard on a user's mobile device screen, the mobile device having a plurality of tilt and/or proximity sensors and a built-in camera and a pointing device, the method comprising the steps of: - obtaining measurements from the plurality of inclination and/or proximity sensors and from the camera of the mobile device, where the inclination is measured in relation to the vertical reference line or the user's line of sight; - calculate the level of transparency of the virtual keyboard based on the measurements and images obtained from the sensors and the camera;- define a relation between a dominant color and a contrasting/complementary color of the image obtained from the current screen; and - change in real time the state of the virtual keyboard between a state of maximum visibility (311, 403, 503, 613) and a state of minimum visibility (312, 401, 501, 611) the transparency, according to the value of calculated transparency level, and the contrast, gradient, and text color with the relationship between the defined dominant and contrasting/complementary colors.

Description

Field of Invention

[0001] A presente invenção refere-se à exibição de um teclado virtual em uma tela de dispositivo móvel. Mais especificamente, refere-se a um método para ajustar dinamicamente a exibição de um teclado virtual sendo exibido na tela de um dispositivo móvel à medida que um dispositivo ponteiro se aproxima do dispositivo móvel ou em que o dispositivo móvel é inclinado em relação a uma linha de referência, a linha vertical ou a linha de visão do usuário.[0001] The present invention relates to the display of a virtual keyboard on a mobile device screen. More specifically, it relates to a method of dynamically adjusting the display of a virtual keyboard being displayed on the screen of a mobile device as a pointing device approaches the mobile device or where the mobile device is tilted relative to a line. of reference, the vertical line, or the user's line of sight.

Background of the Invention

[0002] A presente invenção está relacionada com a experiência do usuário (UX) e interface de usuário (UI) para dispositivos móveis. A maioria das interfaces de usuário de dispositivos móveis, incluindo o Android, fornece um teclado virtual em dois posicionamentos: paisagem e retrato. Em modo retrato, o teclado virtual ocupa metade da tela deixando o espaço limitado para a aplicação em execução, enquanto no modo paisagem o teclado virtual ocupa a maior parte da área da tela.[0002] The present invention is related to the user experience (UX) and user interface (UI) for mobile devices. Most mobile device user interfaces, including Android, provide a virtual keyboard in two positions: landscape and portrait. In portrait mode, the virtual keyboard occupies half of the screen leaving limited space for the running application, while in landscape mode the virtual keyboard occupies most of the screen area.

[0003] Apesar de tanto as dimensões quanto resolução das telas terem crescido no decorrer dos anos, a experiência de usuário com o teclado virtual atual causa um desperdício de uma grande área útil da mesma ao bloquear a visualização de uma parte significativa da aplicação em execução. No Google Android, o teclado no modo paisagem preenche quase toda a tela do dispositivo, fazendo com que o usuário não seja capaz de visualizar o contexto (e-mails, SMS, imagens, etc.) e escrever um novo texto ao mesmo tempo. Isso afeta principalmente programas de bate-papo (SMS, Viber, WhatsApp, Facebook Messenger, Google Hangout, etc.) ou aplicações de e-mail, porque cada vez que o usuário começa a digitar, o histórico da conversa é automaticamente ocultado e o dispositivo exibe apenas a caixa de texto e o teclado virtual. Da mesma forma, ao usar um navegador web no dispositivo móvel, uma parcela significativa da página web exibida na tela é coberta pelo teclado virtual.[0003] Although both the dimensions and the resolution of the screens have grown over the years, the user experience with the current virtual keyboard causes a waste of a large useful area of the same by blocking the visualization of a significant part of the running application . On Google Android, the keyboard in landscape mode fills almost the entire screen of the device, making the user unable to view the context (emails, SMS, images, etc.) and write a new text at the same time. This mainly affects chat programs (SMS, Viber, WhatsApp, Facebook Messenger, Google Hangout, etc.) or email applications, because each time the user starts typing, the conversation history is automatically hidden and the device only displays the text box and virtual keyboard. Likewise, when using a web browser on a mobile device, a significant portion of the web page displayed on the screen is covered by the virtual keyboard.

[0004] O documento de patente US 7,515,135 B2, intitulado: “Virtual Keypad for Touchscreen Display”, de Research in Motion Ltd, publicado em 07 de abril de 2009, propõe um método para alterar um nível de transparência de um teclado virtual em uma tela de exibição, deslizando um dispositivo ponteiro (uma caneta ou ponta do dedo, por exemplo) sobre uma tela de exibição por uma distância pré- determinada; tal que etapa de deslizamento faz com que o nível de transparência mude. A presente invenção difere do documento de patente US 7,515,135 B2 pois, ao invés de acionar a mudança de transparência ao arrastar o dispositivo ponteiro e tocar a tela sensível ao toque, ela modula a transparência do teclado de software de acordo com a distância do dispositivo ponteiro para a tela e/ou a inclinação do plano da tela em relação a linha vertical. Além disso, diferentemente da patente US 7,515,135 B2 onde o grau da transparência é estaticamente ajustado, a presente invenção o modula dinamicamente e em tempo real.[0004] US patent document 7,515,135 B2, entitled: “Virtual Keypad for Touchscreen Display”, by Research in Motion Ltd, published on April 7, 2009, proposes a method to change a level of transparency of a virtual keyboard in a display screen by sliding a pointing device (a pen or fingertip, for example) over a display screen a predetermined distance; such that sliding step causes the transparency level to change. The present invention differs from the patent document US 7,515,135 B2 because, instead of triggering the change of transparency when dragging the pointing device and touching the touch screen, it modulates the transparency of the software keyboard according to the distance from the pointing device for the screen and/or the inclination of the screen plane in relation to the vertical line. Furthermore, unlike US patent 7,515,135 B2 where the degree of transparency is statically adjusted, the present invention modulates it dynamically and in real time.

[0005] O documento de patente US 8,019,390 B2, intitulado: “Statically Oriented On-Screen Translucent Keyboard”, de Pradeep Sindhu, publicado em 13 de setembro de 2011, descreve uma técnica para exibir um teclado virtual transparente estaticamente orientado (i.e. apenas na orientação paisagem ou retrato) em uma tela, tal que a exibição e o ocultamento do teclado virtual são acionados pela mudança de orientação do dispositivo. A presente invenção difere do documento de patente US 8,019,390 B2 que aciona o teclado virtual pela mudança de orientação do dispositivo, ao fornecer um método de modulação de transparência acionado pela aproximação de um dispositivo ponteiro em relação a tela (caneta, ponta do dedo, etc.) e/ou alteração da inclinação da tela em relação à vertical e/ou variação da posição da tela com relação aos olhos do usuário. Além disso, a matéria revelada no documento US 7,515,135 B2 usa um valor de transparência estático definido pelo usuário, enquanto que a presente invenção o define dinamicamente uma vez que responde ao sensores de inclinação ou proximidade do dispositivo ponteiro em tempo real.[0005] US patent document 8,019,390 B2, entitled: “Statically Oriented On-Screen Translucent Keyboard”, by Pradeep Sindhu, published on September 13, 2011, describes a technique to display a statically oriented transparent virtual keyboard (i.e. only in the landscape or portrait orientation) on a screen, such that showing and hiding the virtual keyboard is triggered by changing the device's orientation. The present invention differs from the patent document US 8,019,390 B2, which activates the virtual keyboard by changing the device's orientation, by providing a transparency modulation method triggered by the approximation of a pointing device to the screen (pen, fingertip, etc. .) and/or changing the screen inclination in relation to the vertical and/or changing the position of the screen in relation to the user's eyes. Furthermore, the subject matter disclosed in US 7,515,135 B2 uses a user-defined static transparency value, whereas the present invention dynamically sets it as it responds to tilt or proximity sensors of the pointing device in real time.

[0006] O documento de patente US 7,659,885 B2, intitulado: “Method and System for Using a Keyboard Overlay with a Touch-Sensitive Display Screen”, de Microsoft Corporation, publicado em 9 de fevereiro de 2010, descreve a implementação de um teclado virtual transparente para dispositivos móveis, tal que os aplicativos respondem diferentemente de acordo com quão transparente o teclado seja. A presente invenção difere do documento de patente US 7,659,885 B2 pelo fato de que não altera o comportamento padrão dos aplicativos instalados no dispositivo, exceto o próprio teclado virtual. Assim, ao invés de comprometer o comportamento das aplicações tradicionais de predição de palavras como SwiftKey (da SwiftKey) ou Swype (da Nuance Communications Inc), ela pode ser utilizada como uma melhoria da experiência de usuário combinada com tais aplicações.[0006] US patent document 7,659,885 B2, entitled: “Method and System for Using a Keyboard Overlay with a Touch-Sensitive Display Screen”, by Microsoft Corporation, published on February 9, 2010, describes the implementation of a virtual keyboard transparent for mobile devices, such that apps respond differently depending on how transparent the keyboard is. The present invention differs from the patent document US 7,659,885 B2 by the fact that it does not change the default behavior of the applications installed on the device, except the virtual keyboard itself. Thus, instead of compromising the behavior of traditional word prediction applications such as SwiftKey (from SwiftKey) or Swype (from Nuance Communications Inc), it can be used as an enhancement to the user experience combined with such applications.

[0007] O documento de patente US 8,606,331 B2, intitulado: “Soft Keyboard Display Method and Mobile Terminal”, de Huawei, publicado em 10 de dezembro de 2013, propõe um método para combinar o terminal móvel com um teclado virtual com base em um fator -blending (i.e. um parâmetro de transparência introduzido pelo usuário), que, uma vez definido, não se altera durante o tempo de vida do teclado. A presente invenção difere da matéria do documento US 8,606,331 B2 porque, ao invés de simplesmente definir estaticamente o fator -blending, o método ajusta dinamicamente a transparência do teclado virtual de acordo com a interação do usuário, tal como a proximidade do dedo e/ou caneta com relação à tela do dispositivo móvel ou sua inclinação, não se limitando a estes.[0007] US patent document 8,606,331 B2, entitled: “Soft Keyboard Display Method and Mobile Terminal”, by Huawei, published on December 10, 2013, proposes a method to combine the mobile terminal with a virtual keyboard based on a -blending factor (i.e. a user-entered transparency parameter), which, once set, does not change for the lifetime of the keyboard. The present invention differs from the subject matter of document US 8,606,331 B2 because, instead of simply statically defining the -blending factor, the method dynamically adjusts the transparency of the virtual keyboard according to user interaction, such as finger proximity and/or stylus with respect to, but not limited to, the mobile device's screen or tilt.

[0008] O documento de patente US 6,501,464 B1, intitulado: “On-Screen Transparent Keyboard Interface”, de Intel Corporation, publicado em 31 de dezembro de 2002, propõe um método para implementar uma interface gráfica de usuário na forma de uma teclado transparente sobreposto à tela pré-existente de um computador. Ao contrário do documento US 6,501,464 B1, que não ajusta o nível de transparência em tempo real, a presente pois esse ajuste é realizado simultaneamente à qualquer mudança na inclinação do dispositivo, posicionamento dos olhos do usuário e/ou distância do dispositivo ponteiro (dedo ou uma caneta) em relação a tela.[0008] US patent document 6,501,464 B1, entitled: “On-Screen Transparent Keyboard Interface”, by Intel Corporation, published on December 31, 2002, proposes a method to implement a graphical user interface in the form of a transparent keyboard superimposed on a pre-existing computer screen. Unlike document US 6,501,464 B1, which does not adjust the level of transparency in real time, the present one, because this adjustment is performed simultaneously with any change in device inclination, positioning of the user's eyes and/or distance from the pointing device (finger or pen) relative to the screen.

[0009] O documento de patente KR 101186817 B1, intitulado: “Method for Providing User Interface a Protection of Privacy and Terminal”, de SK TELECOM, publicado em 28 de Setembro de 2012, descreve um método para proteger a privacidade do usuário através do escurecimento do display de acordo com um valor de evento detectado por um sensor, tal como a força do toque do usuário. A presente invenção difere da patente KR 101186817 B1 pois ambas têm propósitos bastante diferentes: enquanto a prior-art tem como objetivo a proteção de privacidade escurecendo a tela inteira do dispositivo, a presente invenção tem o objetivo de melhorar a experiência de usuário (UX) durante a alternância dinâmica entre a leitura e a escrita usando um teclado virtual, através da modulação de sua translucidez. O documento do estado da técnica citado descreve um método sequencial de escurecer sem qualquer preocupação com a interação de escrita e leitura (I/O) do usuário. Se o método da prior-art fosse aplicada ao teclado virtual, a UX seria descontínua e inconveniente, forçando o usuário a interromper a digitação para ajustar o fator de tranparência para leitura e novamente reajustar a transparência para voltar a digitar. Embora exista alguma similaridade no efeito de modulação da tela obtido, seja a translucidez ou o escurecimento, os métodos utilizados são bastante diferentes. A presente invenção não se limita à aproximação do dedo do usuário ou ponteiro, mas também apresenta outros métodos convenientes para viabilizar a alternância dinâmica da leitura e escrita, como por exemplo, o ângulo de inclinaçao do aparelho em relação a referência da linha de visada entre o usuário e a câmera frontal do dispositivo - quando o dispostivo é inclinado para trás em relação a esta referência, favorece a escrita, e quando é inclinado para a frente, favorece a leitura (Figura 6).[0009] Patent document KR 101186817 B1, entitled: “Method for Providing User Interface a Protection of Privacy and Terminal”, by SK TELECOM, published on September 28, 2012, describes a method to protect user privacy through the dimming of the display according to an event value detected by a sensor, such as the strength of the user's touch. The present invention differs from the patent KR 101186817 B1 because both have quite different purposes: while the prior-art aims to protect privacy by dimming the entire screen of the device, the present invention aims to improve the user experience (UX) during dynamic switching between reading and writing using a virtual keyboard, by modulating its translucency. The cited prior art document describes a sequential method of dimming without any concern for user write and read (I/O) interaction. If the prior-art method were applied to the virtual keyboard, the UX would be discontinuous and inconvenient, forcing the user to stop typing to adjust the transparency factor for reading and again readjust the transparency to go back to typing. Although there is some similarity in the screen modulation effect obtained, be it translucency or darkening, the methods used are quite different. The present invention is not limited to approaching the user's finger or pointer, but also presents other convenient methods to enable the dynamic alternation of reading and writing, such as, for example, the angle of inclination of the device in relation to the line of sight reference between the user and the device's front camera - when the device is tilted backwards in relation to this reference, it favors writing, and when it is tilted forwards, it favors reading (Figure 6).

[0010] O documento de patente US 7515135, intitulado: “Title Virtual Keypad for Touchscreen Display”, da Research In Motion, publicado em 07 de Abril de 2009, descreve um método de alterar o nível de transparência do teclado virtual sobreposto no visor em um valor predeterminado em resposta a arrastar um dispositivo ponteiro (caneta Stylus pen, dedo) em uma dada distância. A presente invenção difere da patente US 7515135 pois a patente em questão teria passos sequenciais para alternar entre a leitura da tela do fundo e a escrita no teclado virtual, não oferecendo ao usuário uma experiência e contínua e fluida, como na presente invenção. Enquanto na presente invenção o usuário continuamente se alterna entre a leitura e a escrita no teclado virtual, esta mesma ação seria descontínua e pouco conveniente se aplicada o método da pantete em questão: o usuário interrompe leitura de conteúdo em tela cheia, deve deslizar a caneta para tornar o teclado virtual visível, escreve, deve deslizar a caneta para fazer teclado invisível, retoma a leitura de conteúdo em tela cheia. A interatividade pobre do teclado virtual é justamente o problema resolvido por essa invenção: o método apresentado permite que o usuário module de forma dinâmica e contínua o fator de transparência do teclado de acordo com as suas necessidades de leitura ou escrita, sem interrupções entre a leitura e a escrita de texto.[0010] US patent document 7515135, entitled: “Title Virtual Keypad for Touchscreen Display”, by Research In Motion, published on April 7, 2009, describes a method of changing the level of transparency of the virtual keyboard superimposed on the display in a predetermined value in response to dragging a pointing device (Stylus pen, finger) a given distance. The present invention differs from the US 7515135 patent because the patent in question would have sequential steps to switch between reading the background screen and writing on the virtual keyboard, not offering the user a continuous and fluid experience, as in the present invention. While in the present invention the user continually alternates between reading and writing on the virtual keyboard, this same action would be discontinuous and not very convenient if the method in question were applied: the user interrupts reading content in full screen, he must slide the pen to make the virtual keyboard visible, write, slide the pen to make the keyboard invisible, resume reading content in full screen. The poor interactivity of the virtual keyboard is precisely the problem solved by this invention: the presented method allows the user to dynamically and continuously modulate the keyboard transparency factor according to his reading or writing needs, without interruptions between readings. and writing text.

[0011] A aplicação do Google Play http://goo.gl/Pvkceu, intitulada: “Transparent Keyboard Phone”, de Touchscape Software, e a aplicação http://goo.gl/QNZ0h5, intitulada: “Transparent Keyboard”, de Shota Iuchi, fornecem um teclado virtual com cores e efeitos de sombra ajustáveis. Uma vez definidos esses atributos, eles permanecem constantes. A presente invenção difere destas aplicações porque, além de usar a cor do texto padrão branco sobre um teclado preto transparente como nas aplicações acima, o método da presente invenção também oferece a possibilidade de detectar de forma dinâmica a cor de fundo dominante e ajustar automaticamente a cor do texto do teclado virtual de acordo com uma cor complementar. Além disso, ao contrário das aplicações do estado da técnica citadas, a presente invenção é capaz de ajustar dinamicamente a transparência do teclado virtual de acordo com a interação do usuário, tal como a proximidade do dedo e/ou a caneta com o dispositivo móvel, posicionamento dos olhos do usuário e/ou a inclinação do dispositivo móvel, não se limitando a estes.[0011] The Google Play application http://goo.gl/Pvkceu, entitled: “Transparent Keyboard Phone”, by Touchscape Software, and the application http://goo.gl/QNZ0h5, entitled: “Transparent Keyboard”, by Shota Iuchi provide a virtual keyboard with adjustable color and shadow effects. Once these attributes are defined, they remain constant. The present invention differs from these applications because, in addition to using the default white text color on a transparent black keyboard as in the above applications, the method of the present invention also offers the possibility to dynamically detect the dominant background color and automatically adjust the virtual keyboard text color according to a complementary color. In addition, unlike the cited state of the art applications, the present invention is able to dynamically adjust the transparency of the virtual keyboard according to user interaction, such as the proximity of the finger and/or pen to the mobile device, positioning of the user's eyes and/or the inclination of the mobile device, but not limited to these.

Summary of the Invention

[0012] O teclado virtual presente na maioria dos dispositivos móveis inteligentes, como telefones celulares, é uma boa alternativa para a substituição do hardware do teclado, mas ainda apresenta algumas desvantagens: frequentemente uma parte importante da informação na tela é coberta, dificultando a escrita e visualização simultâneas do conteúdo do aplicativo (mensagens anteriores, por exemplo).[0012] The virtual keyboard present in most smart mobile devices, such as cell phones, is a good alternative for replacing the keyboard hardware, but it still has some disadvantages: often an important part of the information on the screen is covered, making it difficult to write and simultaneous viewing of application content (previous messages, for example).

[0013] Ao contrário de outras implementações, a presente invenção apresenta uma solução conveniente e intuitiva para este problema, permitindo ao usuário inserir informações sem comprometer a visualização da informação.Ele fornece uma experiência de usuário do teclado virtual cuja transparência é ajustada de acordo com os seguintes métodos, não se limitando a estes: • Distanciamento/aproximação do dedo e/ou caneta com relação à tela; • Inclinação do dispositivo móvel em relação à linha vertical; e • Inclinação do dispositivo móvel em relação à linha dos olhos do usuário.[0013] Unlike other implementations, the present invention presents a convenient and intuitive solution to this problem, allowing the user to enter information without compromising the visualization of the information. It provides a user experience of the virtual keyboard whose transparency is adjusted according to the following methods, not being limited to these: • Distance/approximation of the finger and/or pen in relation to the screen; • Inclination of the mobile device in relation to the vertical line; and • Tilt of the mobile device relative to the user's eye line.

[0014] Ao invés de ser uma ferramenta de entrada passiva que bloqueia a visualização de dados, este método transforma o teclado virtual em um agente capaz de diferenciar a intenção do usuário entre digitação e visualização. Consequentemente, torna-se visível apenas quando realmente for necessário e proporciona uma melhor experiência ao usuário e uma digitação mais fluida.[0014] Instead of being a passive input tool that blocks data visualization, this method transforms the virtual keyboard into an agent capable of differentiating the user's intention between typing and visualization. Consequently, it becomes visible only when really needed and provides a better user experience and smoother typing.

[0015] Os objetivos propostos são alcançados por meio de um Método para ajustar dinamicamente a exibição de um teclado virtual em uma tela de dispositivo móvel de usuário, o dispositivo móvel tendo uma pluralidade de sensores de inclinação e/ou proximidade e uma câmera embutidos e um dispositivo ponteiro, o método compreendendo as etapas de: • obter medições a partir da pluralidade de sensores de inclinação e/ou proximidade e da câmera do dispositivo móvel; • calcular o nível de transparência do teclado virtual com base nas medições e imagens obtidas a partir dos sensores e da câmera; • definir uma relação entre uma cor dominante e uma cor contrastante/complementar da imagem obtida a partir da tela atual; e • alterar em tempo real o estado do teclado virtual entre um estado de visibilidade máxima e um estado de visibilidade mínima a transparência, de acordo com o valor do nível de transparência calculado, e o contraste, o gradiente e a cor do texto com a relação entre as cores dominante e contrastante/complementar definidas.[0015] The proposed objectives are achieved by means of a method for dynamically adjusting the display of a virtual keyboard on a user mobile device screen, the mobile device having a plurality of tilt and/or proximity sensors and a built-in camera and a pointing device, the method comprising the steps of: • obtaining measurements from the plurality of tilt and/or proximity sensors and the camera of the mobile device; • calculate the level of transparency of the virtual keyboard based on the measurements and images obtained from the sensors and the camera; • define a relationship between a dominant color and a contrasting/complementary color of the image obtained from the current screen; and • change in real time the state of the virtual keyboard between a state of maximum visibility and a state of minimum visibility the transparency, according to the value of the calculated transparency level, and the contrast, gradient and color of the text with the relationship between dominant and contrasting/complementary colors defined.

[0016] A presente invenção ajusta não somente a transparência do teclado virtual, mas também seu contraste, gradiente, cor do plano de fundo e fontes em tempo real e harmoniosamente.[0016] The present invention adjusts not only the transparency of the virtual keyboard, but also its contrast, gradient, background color and fonts in real time and smoothly.

[0017] A modulação dinâmica é alcançada por três métodos associados às entradas de hardware: • sensores de proximidade: o hardware é capaz de detectar a distância e a posição do ponteiro relacionado com a tela do dispositivo móvel. Esses sensores podem ser utilizados como reguladores da transparência do teclado virtual (e outros atributos de UI) com modulação dinâmica. O dedo do usuário ou uma caneta Stylus podem ser utilizados como ponteiro, não se limitando a estes. Exemplos de sensores para detectar a proximidade do ponteiro do dispositivo ou do dedo incluem sensores magnéticos, térmicos, capacitivos, indutivos e visuais (e.g. uso de câmera frontal). • Sensores de inclinação: sensores de gravidade, acelerômetro e giroscópio que fornecem uma orientação precisa sobre o espaço cartesiano, resultando no ajuste dinâmico de acordo com a inclinação do dispositivo. • câmera frontal e reconhecimento facial: a câmera frontal é utilizada para detectar a posição dos olhos do usuário e, então, calcular a inclinação da tela em relação a eles, assim eles podem também ser usados para disparar a modulação da transparência dinâmica de acordo com a variação angular em relação à linha dos olhos do usuário. Um recurso semelhante conhecido como "Samsung Smart Scroll" está presente em um aparelho conhecido do estado da técnica. Sensores de inclinação e câmera frontal podem ser usados em combinação para um ajuste ainda mais preciso, e/ou métodos independentes.[0017] Dynamic modulation is achieved by three methods associated with hardware inputs: • proximity sensors: the hardware is capable of detecting the distance and position of the pointer related to the mobile device's screen. These sensors can be used as sliders of virtual keyboard transparency (and other UI attributes) with dynamic modulation. The user's finger or a stylus pen can be used as a pointer, but is not limited to these. Examples of sensors to detect proximity to the device pointer or finger include magnetic, thermal, capacitive, inductive, and visual sensors (e.g. use of front camera). • Tilt Sensors: Gravity, accelerometer and gyroscope sensors that provide precise guidance over Cartesian space, resulting in dynamic adjustment according to device tilt. • front camera and face recognition: the front camera is used to detect the position of the user's eyes and then calculate the tilt of the screen relative to them, so they can also be used to trigger dynamic transparency modulation according to the angular variation in relation to the line of the user's eyes. A similar feature known as "Samsung Smart Scroll" is present in a known prior art device. Tilt sensors and front camera can be used in combination for even more precise adjustment, and/or standalone methods.

[0018] A experiência de usuário convencional exibe o teclado virtual cobrindo o conteúdo da aplicação em execução, a qual é movida para o fundo, atrás do teclado virtual, e o seu conteúdo é parcialmente ou completamente sobreposto. A presente invenção melhora a experiência do usuário oferecendo uma abordagem dinâmica e intuitiva de transparência, permitindo a modulação da exibição simultânea do texto no fundo e do teclado virtual em primeiro plano, coma a conveniência do usuário. O teclado virtual é naturalmente visível quando solicitado pelo usuário e sem comprometer a visualização da informação. Breve Descrição das Figuras[0018] The conventional user experience displays the virtual keyboard covering the content of the running application, which is moved to the background, behind the virtual keyboard, and its content is partially or completely overlapped. The present invention improves the user experience by offering a dynamic and intuitive approach to transparency, allowing modulation of the simultaneous display of the text in the background and the virtual keyboard in the foreground, at the user's convenience. The virtual keyboard is naturally visible when requested by the user and without compromising the visualization of information. Brief Description of Figures

[0019] Os objetivos e vantagens da presente invenção se tornarão mais claros através da descrição detalhada a seguir de uma concretização preferida, mas não limitativa da invenção, tendo em vista as figuras anexas, em que:[0019] The objectives and advantages of the present invention will become clearer through the detailed description below of a preferred, but not limiting, embodiment of the invention, in view of the attached figures, in which:

[0020] A Figura 1 apresenta um dispositivo móvel exemplar com teclado virtual nos modos retrato e paisagem, de acordo com o estado da técnica.[0020] Figure 1 shows an exemplary mobile device with a virtual keyboard in portrait and landscape modes, according to the state of the art.

[0021] A Figura 2 apresenta uma aplicação exemplar de teclado virtual, de acordo com o estado da técnica.[0021] Figure 2 shows an exemplary virtual keyboard application, according to the state of the art.

[0022] A Figura 3 apresenta um diagrama de estados representando o ciclo de vida do teclado virtual, de acordo com a concretização preferida da presente invenção.[0022] Figure 3 shows a state diagram representing the life cycle of the virtual keyboard, according to the preferred embodiment of the present invention.

[0023] A Figura 4 apresenta uma modulação de transparência por proximidade do dedo e/ou caneta, de acordo com a concretização preferida da presente invenção.[0023] Figure 4 shows a transparency modulation by proximity of the finger and/or pen, according to the preferred embodiment of the present invention.

[0024] A Figura 5 apresenta uma modulação de transparência através da variação da inclinação do dispositivo em relação à linha vertical, de acordo com a concretização preferida da presente invenção.[0024] Figure 5 shows a modulation of transparency by varying the inclination of the device in relation to the vertical line, according to the preferred embodiment of the present invention.

[0025] A Figura 6 apresenta uma modulação de transparência através da variação da inclinação do dispositivo em relação à linha de visão do usuário, de acordo com a concretização preferida da presente invenção.[0025] Figure 6 shows a modulation of transparency by varying the inclination of the device in relation to the user's line of sight, according to the preferred embodiment of the present invention.

[0026] A Figura 7 apresenta uma roda de cores exemplar, de acordo com uma concretização preferida da presente invenção.[0026] Figure 7 shows an exemplary color wheel, in accordance with a preferred embodiment of the present invention.

Detailed Description of the Invention

[0027] A presente invenção descreve um método para uma transparência responsiva para teclados virtuais que pode ser aplicado (e não está limitado) a dispositivos móveis, tais como smartphones, tablets, ultrabooks, notebooks, etc. Outros atributos estéticos como gradiente, contraste, cores de fundo e de primeiro plano, fonte do texto e sua cor, também podem ser ajustados dinamicamente por este método.[0027] The present invention describes a method for responsive transparency for virtual keyboards that can be applied (and is not limited) to mobile devices such as smartphones, tablets, ultrabooks, notebooks, etc. Other aesthetic attributes like gradient, contrast, background and foreground colors, text font and its color can also be dynamically adjusted by this method.

[0028] Com o intuito de fornecer uma descrição concisa, ambas as implementações detalhadas em hardware e software serão omitidas, porém, sem comprometer a sua compreensão. No entanto, alguns conceitos teóricos serão previamente apresentados.[0028] In order to provide a concise description, both detailed hardware and software implementations will be omitted, however, without compromising their understanding. However, some theoretical concepts will be previously presented.

[0029] Os monitores coloridos convencionais normalmente usam o sistema RGB (Red, Green, Blue ou vermelho, verde e azul). Trata-se de um sistema aditivo de cores, assim quase todas as cores perceptíveis aos humanos podem ser criadas através de uma combinação diferenciada de cores da base RGB. Em uma representação decimal, cada cor varia de 0 a 255. Com o intuito de criar o efeito de transparência, o RGBA (vermelho, verde, azul e alfa) foi criado. O , ou alfa, é o fator multiplicador, também entre 0 (transparente) a 255 (opaco). Isto significa que a cor RGBA 0xffff00b4:

[0029] Conventional color monitors normally use the RGB system (Red, Green, Blue or red, green and blue). It is an additive color system, so almost all colors perceptible to humans can be created through a differentiated combination of colors from the RGB base. In a decimal representation, each color varies from 0 to 255. In order to create the transparency effect, the RGBA (red, green, blue and alpha) was created. The , or alpha, is the multiplier factor, also between 0 (transparent) to 255 (opaque). This means the RGBA color 0xffff00b4:

[0030] é interpretada pelos seres humanos como amarelo com 30% transparente (ou 70% opaco). Observe que pode ser interpretado como um valor percentual de 0 a 1 também. Finalmente cada pixel do teclado virtual é combinado com a imagem de fundo, criando o efeito de transparência sobre a tela atual da aplicação.[0030] is interpreted by humans as yellow with 30% transparent (or 70% opaque). Note that it can be interpreted as a percentage value from 0 to 1 as well. Finally, each pixel of the virtual keyboard is combined with the background image, creating a transparency effect on the current application screen.

[0031] Sensores de hardware podem detectar a proximidade do dedo ou caneta em relação à tela de exibição do dispositivo móvel, permitindo que o dispositivo móvel possa determinar com certa precisão a posição dos dedos ou uma caneta em relação à tela do dispositivo.[0031] Hardware sensors can detect the proximity of the finger or pen in relation to the mobile device's display screen, allowing the mobile device to determine with certain precision the position of the fingers or a pen in relation to the device's screen.

[0032] Durante o ciclo de vida do teclado virtual, a sua transparência pode ter inúmeros estados de , onde 0 1<2<...<(n-1)<n1, isto é, variando de transparente para opaco.[0032] During the life cycle of the virtual keyboard, its transparency can have several states, where 0 1<2<...<(n-1)<n1, that is, varying from transparent to opaque.

[0033] Enquanto n corresponde ao dedo ou uma caneta ao tocar na tela, 1 é a distância infinita para o dedo ou a caneta. Se a distância para a tela diminuir, aumenta; consequentemente, se a distância aumenta então diminui.[0033] While n corresponds to the finger or a pen touching the screen, 1 is the infinite distance for the finger or the pen. If the distance to the screen decreases, it increases; consequently, if the distance increases then it decreases.

[0034] A fim de beneficiar também os usuários que já possuem dispositivos móveis incapazes de detectar a proximidade do dedo ou da caneta, este método também prevê a modulação fazendo uso dos sensores aceleração e giroscópio já presentes nesses dispositivos. Definindo vertical, como a direção paralela à aceleração gravitacional, e horizontal a direção perpendicular à vertical, o valor diminui e o teclado virtual torna-se mais transparente. Assim, se o dispositivo se aproxima da inclinação horizontal, o valor aumenta e torna-se mais opaco.[0034] In order to also benefit users who already have mobile devices unable to detect the proximity of the finger or pen, this method also provides for modulation using the acceleration and gyroscope sensors already present in these devices. Defining vertical as the direction parallel to the gravitational acceleration, and horizontal as the direction perpendicular to the vertical, the value decreases and the virtual keyboard becomes more transparent. Thus, if the device approaches the horizontal tilt, the value increases and becomes more opaque.

[0035] Para o método de inclinação, além de utilizar a variação angular na linha de referência vertical, é possível determinar, alternativamente, a variação angular da linha de visão de referência dos olhos do usuário, usando o reconhecimento da face/olhos através da câmera frontal do dispositivo.[0035] For the inclination method, in addition to using the angular variation in the vertical reference line, it is possible to determine, alternatively, the angular variation of the reference line of sight of the user's eyes, using face/eye recognition through the device's front camera.

[0036] Nota-se que o valor é ajustado dinamicamente, também podendo ser aplicado a outros atributos como contraste, gradiente, não se limitando a estes. Com o intuito de fornecer uma experiência de usuário com o teclado virtual ainda mais requintada, o método pode se estender a outros, mas não se limitando a atributos tais como contrate e gradiente. De acordo com a teoria de cores, temos: - cor dominante: a cor mais presente na totalidade de uma imagem; e - cores contrastantes: duas cores que quando combinadas na proporção certa, resultam na cor branca ou preta.[0036] Note that the value is dynamically adjusted, and can also be applied to other attributes such as contrast, gradient, not limited to these. In order to provide an even more refined user experience with the virtual keyboard, the method can be extended to others, but not limited to attributes such as contrast and gradient. According to color theory, we have: - dominant color: the most present color in the entirety of an image; and - contrasting colors: two colors that when combined in the right proportion, result in white or black.

[0037] Ao invés de simplesmente usar o branco como a cor do texto no teclado virtual, esses conceitos fundamentais de teoria das cores podem ser aplicados na presente invenção como uma ferramenta estética secundária da seguinte forma: o método determina a cor dominante do conteúdo da tela atual e, com base nisso, definida uma cor do texto no teclado virtual considerando propriedades tais como o contraste e/ou complemento, não se limitando a estes.[0037] Instead of simply using white as the text color on the virtual keyboard, these fundamental concepts of color theory can be applied in the present invention as a secondary aesthetic tool as follows: the method determines the dominant color of the content of the current screen and, based on that, define a text color on the virtual keyboard considering properties such as contrast and/or complement, not being limited to these.

[0038] A Figura 1 apresenta um telefone móvel exemplar, conhecido do estado da técnica, que utiliza um teclado virtual ativado da seguinte maneira: 1. Usuário chama o teclado virtual, selecionando um campo de entrada de texto; 2. O conteúdo torna-se a aplicação da camada do fundo da tela do terminal móvel, ainda preenchendo toda a tela; 3. O teclado virtual e a caixa de texto vão para a camada de primeiro plano. De acordo com o giroscópio e o acelerômetro, o teclado pode ser exibido em uma das seguintes posições na tela: a. Retrato: cobrindo cerca de metade do fundo, deixando a outra metade para exibir o conteúdo de fundo; b. Paisagem: cobrindo quase toda a tela e pouco e nenhum conteúdo de fundo é exibido; 4. Uma vez que a digitação é concluída, o usuário libera o teclado virtual e o fundo ocupa inteiramente a tela.[0038] Figure 1 shows an exemplary mobile phone, known from the state of the art, which uses a virtual keyboard activated as follows: 1. User calls the virtual keyboard, selecting a text input field; 2. The content becomes the background layer application of the mobile terminal screen, still filling the entire screen; 3. The virtual keyboard and text box move to the foreground layer. According to the gyroscope and accelerometer, the keyboard can be displayed in one of the following positions on the screen: a. Portrait: covering about half of the background, leaving the other half to show background content; B. Landscape: covering almost the entire screen and little to no background content is displayed; 4. Once typing is completed, the user releases the virtual keyboard and the background occupies the entire screen.

[0039] Em uma concretização preferencial da presente invenção, é apresentado na Figura 3 um método para controlar o ciclo de vida do teclado virtual capaz de modular o teclado virtual entre os estados de visibilidade máxima 311 e visibilidade mínima 312, sendo iniciado juntamente com o carregamento do teclado quando o usuário seleciona uma área de entrada de texto em um campo 301, e terminado depois que o teclado é ocultado pelo usuário 302. O usuário geralmente libera o teclado, movendo o foco para longe dele, selecionando a tecla Enter, ou pressionando a tecla voltar para dispositivos com sistema Android. Entre estes dois estados 311, 312 o teclado virtual pode assumir infinitos valores de transparência, entre o máximo (completamente apagado) e mínimo (completamente exibido).[0039] In a preferred embodiment of the present invention, Figure 3 shows a method for controlling the life cycle of the virtual keyboard capable of modulating the virtual keyboard between the states of maximum visibility 311 and minimum visibility 312, being started together with the keyboard loading when the user selects a text entry area in a field 301, and terminated after the keyboard is hidden by the user 302. The user usually releases the keyboard, moving focus away from it, selecting the Enter key, or pressing the back key for devices with Android system. Between these two states 311, 312 the virtual keyboard can assume infinite values of transparency, between the maximum (completely erased) and minimum (completely displayed).

[0040] Em uma concretização preferencial da presente invenção, é apresentado na Figura 4 um método alternativo para modular a transparência no teclado virtual em um dispositivo móvel capaz de fazer uso dos sensores de proximidade, de campo magnético induzido, térmicos, capacitivos, visuais (baseado em câmera), de infravermelho, não se limitando a esses, a fim de mensurar a variação da distância de um dispositivo ponteiro, como o dedo do usuário ou uma caneta Stylus com relação a tela do dispositivo móvel. Essas variações são utilizadas como referência no cálculo do nível de transparência, sendo ela modulada dinamicamente de acordo com tais variações, assim conforme o usuário aproxima o ponteiro 413, seja o dedo ou caneta, o teclado virtual em primeiro plano assume a visibilidade máxima; e conforme o usuário afasta o ponteiro 403 do teclado virtual, ele assume visibilidade mínima, enquanto o conteúdo de exibição do fundo da aplicação torna-se mais opaco e visível (assumindo a visibilidade mínima ou máxima, respectivamente) e vice-versa.[0040] In a preferred embodiment of the present invention, Figure 4 shows an alternative method for modulating transparency on the virtual keyboard in a mobile device capable of making use of proximity sensors, induced magnetic field, thermal, capacitive, visual ( camera-based), infrared, but not limited to these, in order to measure the variation in the distance of a pointing device, such as the user's finger or a stylus pen, in relation to the mobile device's screen. These variations are used as a reference in calculating the level of transparency, which is dynamically modulated according to such variations, so as the user approaches the pointer 413, either with a finger or a pen, the virtual keyboard in the foreground assumes maximum visibility; and as the user moves the pointer 403 away from the virtual keyboard, it assumes minimum visibility, while the background display content of the application becomes more opaque and visible (assuming minimum or maximum visibility, respectively) and vice versa.

[0041] Em uma concretização preferencial da presente invenção, é apresentado nas Figura 5 e 6 um método para modular a transparência do teclado virtual em um dispositivo móvel, de modo a permitir a visualização simultânea do teclado no primeiro plano e do conteúdo da aplicação na tela de fundo de acordo com a conveniência do usuário em que o dispositivo móvel utiliza os sensores de inclinação embutidos já presentes incluindo gravidade, acelerômetro e giroscópio (conforme Figura 5), e câmera frontal (conforme Figura 6) não se limitando a estes, a fim de medir o ângulo de inclinação em relação à linha de referência vertical (Figura 5), ou a linha de visão de referência dos olhos (Figura 6) e aplicar essa medida para calcular o nível de transparência, em que a transparência é modulada dinamicamente de acordo com o ângulo de inclinação. Conforme o usuário inclina o dispositivo para trás, o teclado virtual do telefone 513, 603 em primeiro plano assume a visibilidade máxima 503, 613 e conforme o usuário inclina o dispositivo para a frente 511, 601 o teclado virtual assume a visibilidade mínima 501, 611, enquanto a visibilidade do conteúdo da aplicação é exibido no fundo de maneira oposta (assumindo a visibilidade mínima ou máxima, respectivamente).[0041] In a preferred embodiment of the present invention, Figures 5 and 6 show a method for modulating the transparency of the virtual keyboard on a mobile device, in order to allow simultaneous visualization of the keyboard in the foreground and the application content in the background screen according to the user's convenience in which the mobile device uses the built-in inclination sensors already present including gravity, accelerometer and gyroscope (as shown in Figure 5), and front camera (as shown in Figure 6) not being limited to these, the in order to measure the angle of inclination relative to the vertical reference line (Figure 5), or the eye reference line of sight (Figure 6) and apply this measurement to calculate the transparency level, where the transparency is dynamically modulated according to the angle of inclination. As the user tilts the device back, the phone's virtual keyboard 513, 603 in the foreground assumes maximum visibility 503, 613 and as the user tilts the device forward 511, 601 the virtual keyboard assumes minimum visibility 501, 611 , while the visibility of the application's content is displayed in the background in the opposite way (assuming minimum or maximum visibility, respectively).

[0042] Adicionalmente, o método de acordo com uma concretização preferida da presente invenção capaz de modular a cor do texto no teclado virtual, em que o dispositivo móvel é capaz de determinar a cor dominante do conteúdo do fundo da tela atual, onde a cor dominante é a mais atual na tela de exibição. Com base nisso, é capaz de definir a cor do texto no teclado virtual usando propriedades como o contraste e/ou complementaridade, conforme ilustrado na roda de cores da Figura 7, porém não se limitando a isto.[0042] Additionally, the method according to a preferred embodiment of the present invention is able to modulate the text color on the virtual keyboard, in which the mobile device is able to determine the dominant color of the background content of the current screen, where the color dominant is the most current on the display. Based on this, it is able to define the text color on the virtual keyboard using properties such as contrast and/or complementarity, as illustrated in the color wheel in Figure 7, but not limited to this.

[0043] Embora a presente invenção tenha sido descrita em conexão com uma concretização preferencial, deve ser entendido que não se pretende limitar a invenção àquela concretização particular. Ao contrário, pretende-se cobrir todas as alternativas, modificações e equivalentes possíveis dentro do espírito e do escopo da invenção, conforme definido pelas reivindicações em anexo.[0043] While the present invention has been described in connection with a preferred embodiment, it is to be understood that it is not intended to limit the invention to that particular embodiment. Rather, it is intended to cover all possible alternatives, modifications and equivalents within the spirit and scope of the invention as defined by the appended claims.

Claims

1. Method for dynamically adjusting the display of a virtual keyboard on a user's mobile device screen, the mobile device having a plurality of tilt and/or proximity sensors and/or a built-in camera and a pointing device, the method characterized by understand the steps of: - obtaining measurements from the plurality of tilt and/or proximity sensors and the mobile device camera; - calculate the transparency level of the virtual keyboard based on the measurements and images obtained from the sensors and the camera; - define a relationship between a dominant color and a contrasting/complementary color of the image obtained from the current screen; and - change in real time the state of the virtual keyboard between a state of maximum visibility (311, 503, 613) and a state of minimum visibility (312, 501, 611) the transparency, according to the calculated transparency level value , and the contrast, gradient, and text color with the relationship between the defined dominant and contrasting/complementary colors.

2. Method for adjusting the display of a virtual keyboard, according to claim 1, characterized in that the built-in tilt sensors comprise gravity sensors, accelerometer, gyroscope and front camera, among others.

3. Method to adjust the display of a virtual keyboard, according to claim 1, characterized in that the proximity sensors comprise magnetic field sensors, induction, thermal, capacitive, camera, infrared, among others.

4. Method for adjusting the display of a virtual keyboard, according to claim 1 and 3, characterized in that the step of calculating the level of transparency comprises establishing a maximum visibility (311, 403) as one approaches pointer (413) and a minimum visibility (312, 401) as a pointer (411) is moved away.

5. Method for adjusting the display of a virtual keyboard, according to claim 1 and 2, characterized in that the step of calculating the level of transparency comprises establishing a maximum visibility (311, 503) of the virtual keyboard as the user tilts the mobile device approaching the horizontal orientation (513) and minimal visibility (312, 501) as the user tilts the mobile device approaching the vertical orientation (511).

6. Method for adjusting the display of a virtual keyboard, according to claim 1 and 2, characterized in that the step of calculating the level of transparency comprises establishing a maximum visibility (311, 613) of the virtual keyboard as the user tilts the mobile device backwards (603) relative to the eye's reference line of sight and a minimum visibility (312, 611) as the user tilts the mobile device (601) forward.

7. Method for adjusting the display of a virtual keyboard, according to claim 1, characterized in that the step of defining a relationship between the dominant and contrasting/complementary color comprises associating a color of the current screen content with the dominant color and a contrasting/complementary keyboard color associated with the dominant color by a contrast and/or complement ratio.

8. Method for adjusting the display of a virtual keyboard, according to claim 1, characterized in that it modulates the virtual keyboard between the states of maximum visibility (311) and minimum visibility (312), being started together with the display of the keyboard when the user selects a text entry area in a field (301), and finished after the keyboard is hidden by the user (302), and between these two states the virtual keyboard assumes numerous values of transparency, between maximum visibility (311) and minimal visibility (312).