BR112017007752B1 - Método, dispositivo, e sistema de processamento de interação por toque - Google Patents

Método, dispositivo, e sistema de processamento de interação por toque Download PDF

Info

Publication number
BR112017007752B1
BR112017007752B1 BR112017007752-3A BR112017007752A BR112017007752B1 BR 112017007752 B1 BR112017007752 B1 BR 112017007752B1 BR 112017007752 A BR112017007752 A BR 112017007752A BR 112017007752 B1 BR112017007752 B1 BR 112017007752B1
Authority
BR
Brazil
Prior art keywords
touch
start time
information
hand gesture
signal collection
Prior art date
Application number
BR112017007752-3A
Other languages
English (en)
Other versions
BR112017007752A2 (pt
Inventor
Qiang Ding
Xiaorong Gao
Xiaoshan HUANG
Original Assignee
Huawei Technologies Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co., Ltd filed Critical Huawei Technologies Co., Ltd
Publication of BR112017007752A2 publication Critical patent/BR112017007752A2/pt
Publication of BR112017007752B1 publication Critical patent/BR112017007752B1/pt

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

SISTEMA, DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE INTERAÇÃO POR TOQUE. Um método, dispositivo e sistema de processamento de interação por toque são fornecidos. O método de processamento de interação por toque inclui: receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização (101); caso seja determinado que um intervalo de tempo entre um primeiro tempo de início de toque e um segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente a um gesto de mão é igual a uma quantidade de pontos de toque que está incluída nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações coordenadas de cada ponto de toque (103); e realiza uma operação de interação correspondente à instrução de toque (105). De acordo com o método, dispositivo e sistema de processamento, pode ser implantado o fato de que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de interação por toque simultaneamente (...).

Description

CAMPO DA TÉCNICA
[0001] As modalidades da presente invenção se referem ao campo de interação homem-máquina e, em particular, a um sistema, dispositivo e método de processamento de interação por toque.
ANTECEDENTES
[0002] Uma tecnologia de toque é uma dentre as tecnologias-chave para a interação homem-máquina e é classificada em uma tecnologia de único toque e uma tecnologia de múltiplos toques de acordo com uma quantidade de pontos de toque. A tecnologia de único toque pode identificar e suportar uma tocadela ou um toque realizado com o uso de apenas um dedo por vez. A tecnologia de múltiplos toques é denominada também de tecnologia de captação de múltiplos toques e de múltiplos pontos e pode coletar simultaneamente um sinal de múltiplos pontos e identificar um gesto, de modo a implantar a identificação e suporte de uma tocadela ou uma ação de toque realizada com o uso simultâneo de cinco dedos. Devido ao fato de que uma operação de toque é conveniente, natural e de fácil utilização, a operação de toque é amplamente aplicada a vários campos.
[0003] No estado da técnica, a instrução de toque é identificada detectando-se um ponto de toque em uma interface: um ponto de toque indica uma operação de único toque, e múltiplos pontos de toque indicam uma operação de múltiplos toques, porém, um usuário que realiza uma operação de toque e uma mão e os dedos que são usados para realizar a operação de toque não podem ser identificados. Quando um único usuário realiza uma operação de múltiplos toques com uma única mão, devido ao fato de que os dedos não podem ser identificados, apenas algumas instruções de múltiplos toques podem ser identificadas, por exemplo, um movimento realizado com o uso de um dedo indicador e um polegar e um movimento realizado com uso de um dedo médio e um polegar são, ambos, identificados como uma operação de escalonamento. Quando um único usuário realiza uma operação de toque com duas mãos, devido ao fato de que a mão esquerda e a mão direita não podem ser identificadas, uma instrução de toque equívoca é facilmente causada, por exemplo, movimentos simultâneos de um único dedo da mão esquerda e um único dedo da mão direita são identificados incorretamente como uma operação de escalonamento realizada com o uso de um dedo indicador e um polegar de uma única mão. Quando múltiplos usuários realizam operações de toque, devido ao fato de que os usuários não podem ser identificados, não pode ser implantado o fato de múltiplos usuários realizarem operações de toque simultaneamente em uma mesma região.
[0004] Em conclusão, a técnica anterior tem a seguinte desvantagem: Uma instrução de toque equívoca é facilmente causada quando um único usuário realiza uma operação de toque com duas mãos ou quando múltiplos usuários realizam simultaneamente as operações de toque em uma mesma região.
[0005] O documento US 20100302137 A1 descreve um aparelho de exibição sensível ao toque usando entrada de sensor.
SUMÁRIO
[0006] As modalidades da presente invenção fornecem um método, dispositivo e sistema de processamento de interação por toque, de modo a implantar o fato de que um único usuário realiza uma interação por operação de toque com duas mãos ou múltiplos usuários realizam operações de interação por toque simultaneamente em uma mesma região.
[0007] Um primeiro aspecto da presente invenção é descrito pela matéria da reivindicação 1. Maneiras de implementação adicionalmente possíveis do primeiro aspecto são descritas pelas reivindicações dependentes 2 a 3.
[0008] Um segundo aspecto da presente invenção é descrito pela matéria da reivindicação 4. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 5 a 7.
[0009] Um terceiro aspecto da presente invenção é descrito pela matéria da reivindicação 8. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 9 a 10.
[0010] Um quarto aspecto da presente invenção é descrito pela matéria da reivindicação 11. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 12 a 14.
[0011] De acordo com o método, o dispositivo e o sistema de processamento de interação por toque que são fornecidos nas modalidades da presente invenção, uma instrução de toque é gerada de acordo com as primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e com as segundas informações enviadas por um dispositivo de captura de localização e uma operação de interação correspondente é realizada. Devido ao fato de que um identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, é implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
BREVE DESCRIÇÃO DOS DESENHOS
[0012] Para descrever as soluções técnicas nas modalidades da presente invenção ou no estado da técnica mais claramente, a seguir é uma introdução breve dos desenhos anexos exigidos para descrever as modalidades ou a técnica anterior. Evidentemente, os desenhos anexos na descrição a seguir mostram apenas algumas modalidades da presente invenção, e as pessoas de habilidade comum na técnica ainda podem derivar outros desenhos a partir desses desenhos anexos sem esforços criativos.
[0013] A Figura 1 é um fluxograma de uma primeira modalidade de um método de processamento de interação por toque, de acordo com a presente invenção;
[0014] A Figura 2 é um fluxograma de uma segunda modalidade de um método de processamento de interação por toque, de acordo com a presente invenção;
[0015] A Figura 3 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção;
[0016] A Figura 4 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção;
[0017] A Figura 5 é um diagrama estrutural esquemático de uma primeira modalidade de um sistema de processamento de toque, de acordo com a presente invenção;
[0018] A Figura 6 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção;
[0019] A Figura 7 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção; e
[0020] A Figura 8 é um diagrama estrutural esquemático de uma segunda modalidade de um sistema de processamento de toque, de acordo com a presente invenção.
DESCRIÇÃO DAS MODALIDADES
[0021] A fim de esclarecer os objetivos, soluções técnicas e vantagens das modalidades da presente invenção, as soluções técnicas nas modalidades da presente invenção são descritas clara e completamente a seguir com referência aos desenhos anexos nas modalidades da presente invenção. Evidentemente, as modalidades descritas são algumas, porém, não todas as modalidades da presente invenção. Todas as outras modalidades obtidas pelas pessoas de habilidade comum na técnica com base nas modalidades da presente invenção sem esforços criativos devem ser abrangidas pelo escopo de proteção da presente invenção.
[0022] A Figura 1 é um fluxograma de uma primeira modalidade de um método de processamento de interação por toque, de acordo com a presente invenção. O método de processamento de interação por toque pode ser executado por um dispositivo de processamento, tal como um chip ou terminal móvel. O dispositivo de processamento pode ser integrado em um dispositivo de processamento, e o dispositivo de processamento pode ser um terminal móvel, um computador, um servidor, ou semelhantes, e o chip pode ser integrado em um terminal móvel, um computador ou semelhantes. O dispositivo de processamento e o dispositivo de processamento pode ser qualquer dispositivo, e o dispositivo que tem uma função de armazenamento ou cálculo que não são limitados nessa modalidade da presente invenção. Conforme mostrado na Figura 1, o método de processamento de interação por toque pode incluir:
[0023] Etapa 101: Receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização.
[0024] As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico (eletromiográfico, EMG a título de concisão), um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0025] Nessa modalidade, o dispositivo de coleta de sinal eletromiográfico e o dispositivo de captura de localização podem identificar separadamente um evento de operação de toque do usuário em uma mesma região de operação de toque. Deve-se verificar que o dispositivo de coleta de sinal eletromiográfico pode ser qualquer dispositivo que pode coletar um sinal eletromiográfico de superfície (eletromiográfico de superfície, sEMG a título de concisão) de múltiplos canais. De preferência, o dispositivo de coleta de sinal eletromiográfico pode ser dispositivo em um braço do usuário, e o dispositivo de captura de localização pode ser qualquer dispositivo que pode identificar a operação de toque do usuário. O evento de operação de toque do usuário que é identificado pelo dispositivo de coleta de sinal eletromiográfico pode ser definido como um evento de toque eletromiográfico Touch_EMG. O evento de operação de toque do usuário que é identificado pelo dispositivo de captura de localização pode ser definido como um evento de rastreamento de toque Touch_TrackSys. O evento de toque eletromiográfico Touch_EMG inclui três parâmetros, que são respectivamente: o identificador de dispositivo (ID de dispositivo) do dispositivo de coleta de sinal eletromiográfico, o gesto de mão (G) no qual o usuário realiza o toque e o primeiro tempo de início de toque (T1). O evento de rastreamento de toque Touch_TrackSys inclui três parâmetros, que são respectivamente: a quantidade (N2) dos pontos de toque com a qual usuário realiza o toque, o segundo tempo de início de toque (T2) e as informações de coordenada (L) de cada ponto de toque.
[0026] O ID de dispositivo pode ser usado para distinguir exclusivamente entre os dispositivos de coleta de sinal eletromiográfico. O ID de dispositivo pode ser um número, uma letra ou pode ser estar em qualquer forma, o que não está limitado nessa modalidade da presente invenção. Por exemplo, quando dois usuários realizam simultaneamente as operações de toque, um usuário A usa tanto a mão esquerda quanto a mão direita para realizar uma operação de toque e um usuário B usa apenas a mão direita para realizar uma operação de toque, um dispositivo de coleta de sinal eletromiográfico precisa ser disposto em cada braço dos usuários. Um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 210 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão esquerda do usuário A, um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 211 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão direita do usuário A, e um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 220 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão direita do usuário B. Devido ao fato de fato de que o ID de dispositivo 210, o ID de dispositivo 211 e o ID de dispositivo 220 podem ser usados para distinguir exclusivamente entre diferentes dispositivos de coleta de sinal eletromiográfico, uma operação de toque realizada pelo usuário A com o uso da mão esquerda, uma operação de toque realizada pelo usuário A com o uso da mão direita e a operação de toque realizada pelo usuário B com o uso da mão direita podem ser identificadas. Portanto, o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir entre uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, de modo que possa implantado que um único usuário realize uma operação de toque com duas mãos ou múltiplos usuários realizem operações de toque em uma mesma região simultaneamente sem causar uma operação de toque equívoca.
[0027] O gesto de mão G no qual o usuário realiza o toque pode ser um gesto de mão de um único dedo de uma única mão ou pode ser um gesto de mão de múltiplos dedos de uma única mão. Uma quantidade correspondente (N1) de pontos de toque pode ser determinada de acordo com o gesto de mão G. Por exemplo, o gesto de mão de um único dedo de uma única mão pode ser um gesto de mão de um polegar, um dedo indicador ou um dedo anelar e, nesse caso, a quantidade N1 do pontos de toque que é correspondente ao gesto de mão G é 1; o gesto de mão de múltiplos dedos de uma única mão pode ser um gesto de mão de uma combinação de um dedo indicador e um dedo anelar e, nesse caso, a quantidade N1 dos pontos de toque que é correspondente ao gesto de mão G é 2. Opcionalmente, o dispositivo de coleta de sinal eletromiográfico predefine uma definição de gesto de mão e apenas um gesto de mão na definição pode ser identificado. O gesto de mão na definição pode incluir um gesto de mão comum na técnica ou pode ser um novo gesto de mão predefinido, o que não é limitado nessa modalidade da presente invenção.
[0028] O primeiro tempo de início de toque T1 representa um tempo de início do evento de toque eletromiográfico Touch_EMG e é o tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque T2 representa um tempo de início do evento de rastreamento de toque Touch_TrackSys e é o tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0029] As informações de coordenada L de cada ponto de toque representa coordenadas de localização de N2 pontos de toque que são identificadas pelo dispositivo de captura de localização em uma região de toque e L={l1, 12, ..., IN2}, em que li (i=1, 2, ..., N2) representa coordenadas bidimensionais de cada ponto de toque que são identificadas pelo dispositivo de captura de localização.
[0030] Etapa 103: Caso seja determinado que um intervalo de tempo entre um primeiro tempo de início de toque e um segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente a um gesto de mão é igual a uma quantidade de pontos de toque que está incluída nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque.
[0031] O limite predefinido T_th pode ser definido de acordo com uma exigência.
[0032] De maneira específica, o intervalo de tempo T_gap entre o primeiro tempo de início de toque T1 no evento de toque eletromiográfico Touch_EMG que é identificado pelo dispositivo de coleta de sinal eletromiográfico e o segundo tempo de início de toque T2 no evento de rastreamento de toque Touch_TrackSys que é identificado pelo dispositivo de captura de localização é igual a |T1-T2|; quando o intervalo de tempo T_gap é menor que o limite predefinido T_th e a quantidade N1 dos pontos de toque que é correspondente ao gesto de mão G no evento de toque eletromiográfico Touch_EMG é igual à quantidade N2 dos pontos de toque no qual o usuário realiza o toque no evento de rastreamento de toque Touch_TrackSys, ou seja, T_gap=|T1—T2|<T_th and N1=N2, isso indica que o evento de toque eletromiográfico Touch_EMG identificado pelo dispositivo de coleta de sinal eletromiográfico e o evento de rastreamento de toque Touch_TrackSys identificado pelo dispositivo de captura de localização são um mesmo evento de operação de toque e a instrução de toque Touch_eff pode ser gerada de acordo com a operação de toque. A instrução de toque Touch_eff inclui três parâmetros, que são respectivamente: o identificador de dispositivo (ID de dispositivo) do dispositivo de coleta de sinal eletromiográfico, o gesto de mão (G) no qual o usuário realiza o toque e as informações de coordenada (L) de cada ponto de toque.
[0033] Opcionalmente, a instrução de toque Touch_eff pode ser uma instrução de toque comum, tal como selecionar, mover, escalonar ou girar ou pode ser uma instrução de toque recém adicionada, tal como um desenho a traço ou ajuste de volume definido por usuário, o que não é limitado nessa modalidade da presente invenção.
[0034] Etapa 105: Executar uma operação de interação correspondente à instrução de toque.
[0035] De maneira específica, após a instrução de toque Touch_eff ser gerada, a operação de interação correspondente à instrução de toque Touch_eff é realizada.
[0036] Deve-se verificar que a instrução de toque Touch_eff inclui o gesto de mão G e um recurso adicional pode ser definido para o gesto de mão G, de modo a enriquecer as informações incluídas na instrução de toque Touch_eff. Por exemplo, quando o gesto de mão G é um gesto de um único dedo de uma única mão, as diferentes instruções de toque Touch_eff podem ser geradas de acordo com diferentes dedos, e pode ser definido que um polegar representa um movimento panorâmico de objeto, um dedo indicador representa uma seleção por meio de tocadela, e semelhantes; quando o gesto de mão G for um gesto de um único dedo de uma única mão e uma instrução de toque gerada for um desenho a traço, pode ser definido que dedos diferentes representam diferentes cores ou tipos de traços; ou quando o gesto de mão G for um gesto de múltiplos dedos de uma única mão, diferentes instruções de toque Touch_eff podem ser geradas de acordo com uma combinação de diferentes dedos e pode ser definido que um polegar mais um dedo indicador representam escalonamento, um polegar mais um dedo anelar representam ajuste de brilho, um dedo indicador mais um dedo anelar representam um ajuste de volume e semelhantes. Uma definição específica do gesto de mão G não é limitada nessa modalidade da presente invenção.
[0037] Além disso, após a etapa 105, o método pode incluir adicionalmente:
[0038] Etapa 107: Receber continuamente o gesto de mão no qual um usuário realiza um toque e que é enviado pelo dispositivo de coleta de sinal eletromiográfico e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização; e atualizar a instrução de toque.
[0039] De acordo com o método de processamento de interação por toque fornecido nessa modalidade da presente invenção, uma instrução de toque é gerada de acordo com primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e com segundas informações enviadas por um dispositivo de captura de localização e uma operação de interação correspondente é realizada. Devido ao fato de que um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0040] Opcionalmente, na modalidade supracitada, as primeiras informações podem incluir adicionalmente a força operacional com a qual o usuário realiza o toque, e a instrução de toque inclui adicionalmente a força operacional.
[0041] A força operacional (S) na qual o usuário realiza o toque é correspondente ao gesto de mão G no qual o usuário realiza o toque e representa um nível da força operacional com a qual o usuário realiza a operação de toque. Pode-se entender que uma operação de toque válida tem necessariamente a força operacional e, caso a força operacional seja excessivamente leve, pode-se entender que uma operação de toque é um toque realizada por um usuário por acidente em uma região de toque e não é uma operação de toque válida. Opcionalmente, o dispositivo de coleta de sinal eletromiográfico predefine um primeiro limite predefinido S_th(G) correspondente a cada gesto de mão G. Quando a força operacional S correspondente ao gesto de mão G for maior que o primeiro limite predefinido S_th(G) correspondente ao gesto de mão G, considera-se que o gesto de mão G é um gesto de mão válido, e a operação de toque é definida como o evento de toque eletromiográfico Touch_EMG. O primeiro limite predefinido S_th(G) pode ser definido de acordo com uma exigência.
[0042] Deve-se verificar que a instrução de toque Touch_eff pode incluir a força operacional S e uma recurso adicional pode ser definido para a força operacional S, de modo a enriquecer as informações incluídas na instrução de toque Touch_eff. Por exemplo, quando a instrução de toque gerada Touch_eff for um desenho a traço, pode ser definido que um valor da força operacional S representa uma largura de um traço; ou quando a instrução de toque gerada Touch_eff for um ajuste de volume, pode ser definido que um valor da força operacional S representa um valor de volume. Uma definição específica da força operacional S não é limitada nessa modalidade da presente invenção.
[0043] Além disso, na modalidade supracitada, após a etapa 105, o método pode incluir adicionalmente:
[0044] Etapa 109: Receber continuamente o gesto de mão no qual o usuário realiza o toque e da força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização; e atualizar a instrução de toque.
[0045] Etapa 111: Caso seja determinado que a força operacional é menor que um segundo limite predefinido, apagar a instrução de toque.
[0046] Um dispositivo de processamento pode predefinir um segundo limite predefinido S2_th(G) correspondente a cada gesto de mão G. Quando a força operacional S correspondente ao gesto de mão G for menor que o segundo limite predefinido S2_th(G) correspondente ao gesto de mão G, é considerado que a instrução de toque Touch_eff termina, e a instrução de toque Touch_eff é apagada. O segundo limite predefinido S2_th(G) pode ser definido de acordo com uma exigência.
[0047] Opcionalmente, a etapa 111 pode ser realizada antes da etapa 109.
[0048] Opcionalmente, na modalidade supracitada, o método pode incluir adicionalmente: manter uma lista de instruções de toque, de modo a armazenar a instrução de toque. Quando uma nova instrução de toque é gerada, a instrução de toque é adicionada à lista de instruções de toque; e quando é determinado que uma instrução de toque termina, a instrução de toque é apagada da lista de instruções de toque.
[0049] A Figura 2 é um fluxograma de uma segunda modalidade de um método de processamento de interação por toque, de acordo com a presente invenção. O método de processamento de interação por toque pode ser executado por um dispositivo de coleta de sinal eletromiográfico, por exemplo, múltiplas placas de eletrodo de coleta de sinal eletromiográfico ou um dispositivo de coleta de sinal eletromiográfico do tipo pulseira. O dispositivo de coleta de sinal eletromiográfico pode ser qualquer dispositivo que possa coletar um sinal eletromiográfico de superfície de múltiplos canais, que não é limitado nessa modalidade da presente invenção. Nessa modalidade, o dispositivo de coleta de sinal eletromiográfico pode identificar um evento de operação de toque de um usuário e pode definir o evento de operação de toque do usuário com um evento de toque eletromiográfico Touch_EMG. Conforme mostrado na Figura 2, o método de processamento de interação por toque pode incluir:
[0050] Etapa 201: O dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície S1 de múltiplos canais.
[0051] O dispositivo de coleta de sinal eletromiográfico pode incluir múltiplos eletrodos que podem coletar sinais eletromiográficos de superfície, e cada eletrodo coleta um sinal eletromiográfico de superfície de um canal. Quando o usuário realiza uma operação de múltiplos toques, o dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície S1 dos múltiplos canais. Um período de coleta pode ser definido de acordo com uma exigência. Opcionalmente, o pré-processamento pode ser realizado nos sinais eletromiográficos de superfície S1 dos múltiplos canais. Um processo de pré-processamento pode incluir: realizar um processamento de amplificação de sinal, interferência de frequência de potência e processamento de interceptação, processamento de filtragem ou semelhantes nos sinais eletromiográficos de superfície coletados S1 dos múltiplos canais.
[0052] De preferência, o dispositivo de coleta de sinal eletromiográfico pode ser disposto em um braço do usuário. Caso tanto a mão esquerda quanto a mão direita do usuário sejam usados para realizar uma operação de toque, um dispositivo de coleta de sinal eletromiográfico precisa ser disposto em cada braço. Cada dispositivo de coleta de sinal eletromiográfico tem um identificador de dispositivo (ID de dispositivo) correspondente ao dispositivo de coleta de sinal eletromiográfico. O ID de dispositivo pode ser usado para distinguir exclusivamente entre os dispositivos de coleta de sinal eletromiográfico. O ID de dispositivo pode ser um número, uma letra ou pode ser estar em qualquer forma, o que não está limitado nessa modalidade da presente invenção. Quando um usuário realizar uma operação de múltiplos toques, o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir entre uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, de modo que possa implantado que um único usuário realize uma operação de toque com duas mãos ou múltiplos usuários realizem operações de toque em uma mesma região simultaneamente sem causar uma operação de toque equívoca.
[0053] Etapa 203: O dispositivo de coleta de sinal eletromiográfico determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determina um primeiro tempo de início de toque de acordo com o gesto de mão. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico.
[0054] Opcionalmente, em que o dispositivo de coleta de sinal eletromiográfico determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão (G) no qual um usuário realiza a toque pode incluir especificamente:
[0055] O dispositivo de coleta de sinal eletromiográfico determina o gesto de mão G de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão. De maneira específica, um tipo do gesto de mão G é determinado com o uso de um algoritmo de análise discriminante linear (Linear Discriminant Analysis, LDA a título de concisão) ou um algoritmo de máquina de vetores de suporte (Support Vector Machine, SVM a título de concisão). Um método para determinar o tipo do gesto de mão não é limitado nessa modalidade da presente invenção.
[0056] O tipo do gesto de mão G pode ser um gesto de mão de um único dedo de uma única mão ou pode ser um gesto de mão de múltiplos dedos de uma única mão. Cada tipo de gesto de mão G tem uma quantidade N1 de pontos de toque que é correspondente ao tipo de gesto de mão G. Por exemplo, uma quantidade N1 de pontos de toque que é correspondente a um gesto de um polegar de uma única mão é 1, e uma quantidade N1 de pontos de toque que é correspondente a um gesto de uma combinação de um dedo indicador e um dedo anelar que são de uma única mão é 2. O tipo do gesto de mão G não é limitada nessa modalidade da presente invenção. Opcionalmente, a fim de identificar um gesto de mão, uma definição de gesto de mão é predefinida e apenas um gesto de mão na definição pode ser identificado. O gesto de mão na definição pode incluir um gesto de mão comum na técnica ou pode ser um novo gesto de mão predefinido, o que não é limitado nessa modalidade da presente invenção.
[0057] Opcionalmente, a determinação de um primeiro tempo de início de toque (T1) de acordo com o gesto de mão G pode incluir especificamente o seguinte: após adquirir o gesto de mão G, o dispositivo de coleta de sinal eletromiográfico define a operação de toque como o evento de toque eletromiográfico Touch_EMG e adquire um tempo de sistema atual e usa o tempo de sistema atual como o primeiro tempo de início de toque T1 no evento de toque eletromiográfico Touch_EMG.
[0058] Etapa 205: O dispositivo de coleta de sinal eletromiográfico envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0059] De acordo com o método de processamento de interação por toque fornecido nessa modalidade da presente invenção, um dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície de múltiplos canais, determina um gesto de mão de uma operação de toque e determina um primeiro tempo de início de toque de acordo com o gesto de mão. O dispositivo de coleta de sinal eletromiográfico envia as primeiras informações que incluem um identificador de dispositivo, o gesto de mão e o primeiro tempo de início de toque a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0060] Opcionalmente, na modalidade supracitada, o método pode incluir adicionalmente: determinar, pelo dispositivo de coleta de sinal eletromiográfico de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, a força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. A determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.
[0061] Opcionalmente, a determinação da força operacional (S) na qual o usuário realiza o toque pode incluir especificamente: adquirir, por meio do dispositivo de coleta de sinal eletromiográfico, um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e o cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.
[0062] A janela de tempo deslizante inclui uma largura I da janela de tempo deslizante e uma etapa de deslizamento J da janela de tempo deslizante. Os valores dos parâmetros podem ser definidos de acordo com uma exigência. Opcionalmente, a janela de tempo deslizante pode incluir adicionalmente uma quantidade de tempo de cálculo K da janela de tempo deslizante, em que K é um número inteiro maior que 1. A largura I da janela de tempo deslizante representa uma amplitude média Z1 realizando-se um cálculo de média em I valores do sinal eletromiográfico de canal único S2. A etapa de deslizamento J da janela de tempo deslizante representa calcular uma amplitude média de I valores do sinal eletromiográfico de canal único S2 em um intervalo de tempo regular J. A quantidade dos tempos de cálculo K da janela de tempo deslizante representa obter uma amplitude média Z2 realizando-se um cálculo de média em K resultados de cálculo. A amplitude média Z1 ou a amplitude média Z2 pode ser usada como a força operacional S. Por exemplo, é definida que I são cinco segundos, J é um segundo e K são 3. As etapas específicas do cálculo de uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e o uso da amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S são: calcular uma amplitude média Z1 do sinal eletromiográfico de canal único S2 em cinco segundos, calcular uma amplitude média Z1 a cada segundo, obter uma amplitude média Z2 realizando- se o cálculo de média em três amplitudes médias consecutivas Z1, e usar a amplitude média Z2 como a força operacional S.
[0063] Opcionalmente, a determinação do primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir especificamente: após o gesto de mão G e a força operacional S serem adquiridos, determinar o primeiro tempo de início de toque T1 consultando-se uma tabela, em que um primeiro limite predefinido S_th(G) de força operacional correspondente a cada gesto de mão G é pré-armazenado na tabela; e caso a força operacional S adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido S_th(G), adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque T1.
[0064] Na definição de gesto de mão predefinida, um primeiro limite predefinido correspondente S_th(G) é predefinida para cada gesto de mão G. O primeiro limite predefinido S_th(G) pode ser definido de acordo com uma exigência. Após o gesto de mão G e a força operacional correspondente S serem adquiridas, caso seja determinado que a força operacional S é maior que o primeiro limite predefinido S_th(G) correspondente ao gesto de mão G, ou seja, S>S_th(G), considera-se que a operação de toque é uma operação de toque válida e a operação de toque é definida como o evento de toque eletromiográfico Touch_EMG, e o tempo de sistema atual é adquirido e usado como o primeiro tempo de início de toque T1 do evento de toque eletromiográfico Touch_EMG.
[0065] Opcionalmente, na modalidade supracitada, em que o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização inclui: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.
[0066] Deve-se verificar que a instrução de toque inclui o gesto de mão G e um recurso adicional pode ser definido para o gesto de mão G, de modo a enriquecer as informações incluídas na instrução de toque. Por exemplo, quando o gesto de mão for um gesto de um único dedo de uma única mão, as instruções de toque diferentes podem ser geradas de acordo com dedos diferentes e pode ser definido que um polegar representa o movimento panorâmico de objeto, um dedo indicador representa a seleção por meio de tocadela e semelhantes; quando o gesto de mão for um gesto de um único dedo de uma única mão e uma instrução de toque gerada for um desenho a traço, pode ser definido que dedos diferentes representam cores ou tipos de traço diferentes; ou quando o gesto de mão for um gesto de múltiplos dedos de uma única mão, as instruções de toque diferentes podem ser geradas de acordo com uma combinação de diferentes dedos e pode ser definido que um polegar mais um dedo indicador representam escalonamento, um dedo indicador mais um dedo anelar representam ajuste de volume e um polegar mais um dedo anelar representam ajuste de brilho. Uma definição específica do gesto de mão G não é limitada nessa modalidade da presente invenção.
[0067] Deve-se verificar que a instrução de toque pode incluir adicionalmente a força operacional S e um recurso adicional pode ser definido para a força operacional S, de modo a enriquecer as informações incluídas na instrução de toque. Por exemplo, quando a instrução de toque gerada for um desenho a traço, pode ser definido que um valor da força operacional representa uma largura de um traço; ou quando a instrução de toque gerada for um ajuste de volume, pode ser definido que um valor da força operacional representa um valor de volume. Uma definição específica da força operacional S não é limitada nessa modalidade da presente invenção.
[0068] A Figura 3 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção. Conforme mostrado na Figura 3, o dispositivo de processamento pode incluir: um módulo de recebimento de informações 11, configurado para receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações incluem uma quantidade de pontos de toque nos quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque; sendo que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificada pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificada pelo dispositivo de captura de localização; um módulo de geração de instrução 13 configurado para: caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluído nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e um módulo de execução de instrução 15 configurado para realizar uma operação de interação correspondente à instrução de toque.
[0069] Além disso, o módulo de geração de instrução 13 é configurado adicionalmente para atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque que é enviado pelo dispositivo de coleta de sinal eletromiográfico e que é recebido continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.
[0070] Opcionalmente, as primeiras informações podem incluir adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque pode incluir adicionalmente a força operacional.
[0071] Opcionalmente, o módulo de geração de instrução 13 é configurado adicionalmente para atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque e a força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e que são recebidos continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.
[0072] Opcionalmente, o módulo de geração de instrução 13 é configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que a instrução de toque termina e apagar a instrução de toque.
[0073] Opcionalmente, o dispositivo de coleta de sinal eletromiográfico pode incluir adicionalmente um módulo de armazenamento 17 configurado para manter uma lista de instruções de toque e configurado para armazenar a instrução de toque.
[0074] Deve-se verificar que uma forma do dispositivo de processamento não é limitada nessa modalidade da presente invenção. O dispositivo de processamento pode ser um chip, um telefone inteligente, um computador, um servidor ou semelhantes ou pode ser outro dispositivo que tem uma capacidade de cálculo ou de armazenamento.
[0075] De acordo com o dispositivo de processamento fornecido nessa modalidade da presente invenção, um módulo de recebimento de informações recebe primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização; um módulo de geração de instrução gera uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão e informações de coordenada de cada ponto de toque; e um módulo de execução de instrução realiza uma operação de interação correspondente à instrução de toque. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0076] A Figura 4 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção. Conforme mostrado na Figura 4, o dispositivo de coleta de sinal eletromiográfico pode incluir: um módulo de coleta 21 configurado para coletar periodicamente os sinais eletromiográficos de superfície S1 a partir de múltiplos canais; um módulo de processamento 23 configurado para determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e um módulo de envio 25 configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize a operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0077] Opcionalmente, em que um módulo de processamento 23 determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque inclui: o módulo de processamento 23 determina o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.
[0078] Opcionalmente, o módulo de processamento 23 pode ser configurado adicionalmente para determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, a força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. Consequentemente, a determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.
[0079] Opcionalmente, em que o módulo de processamento 23 determina a força operacional com a qual o usuário realiza o toque pode incluir: o módulo de processamento 23 obtém um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcula uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usa a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.
[0080] Opcionalmente, em que o módulo de processamento 23 determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir: após adquirir o gesto de mão e a força operacional, o módulo de processamento 23 determina o primeiro tempo de início de toque consultando-se uma tabela, em que um primeiro limite predefinido de força operacional correspondente a cada gesto de mão é pré-armazenado na tabela; e caso a força operacional adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido, adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque.
[0081] Opcionalmente, em que o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização pode incluir: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.
[0082] Deve-se verificar que uma forma do dispositivo de coleta de sinal eletromiográfico não é limitada nessa modalidade da presente invenção. O dispositivo de coleta de sinal eletromiográfico pode estar em uma forma de um dispositivo vestível, tal como uma pulseira, ou um relógio ou pode ser múltiplos eletrodos que podem coletar um sinal eletromiográfico de superfície.
[0083] De acordo com o dispositivo de coleta de sinal eletromiográfico fornecido nessa modalidade da presente invenção, um módulo de coleta sinais eletromiográficos de superfície S1 de múltiplos canais; um módulo de processamento determina um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; e um módulo de envio envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0084] A Figura 5 é um diagrama estrutural esquemático de uma primeira modalidade de um sistema de processamento de toque, de acordo com a presente invenção. Conforme mostrado na Figura 5, o sistema de processamento de toque pode incluir um dispositivo de captura de localização 105, um dispositivo de processamento 103 e pelo menos um dispositivo de coleta de sinal eletromiográfico 101. O dispositivo de captura de localização 105 pode ser qualquer dispositivo existente que pode adquirir uma quantidade de pontos de toque de uma operação de toque, um tempo de início de toque e coordenadas de um ponto de toque. O dispositivo de processamento 103 pode usar uma estrutura do dispositivo modalidade na Figura 3 e, consequentemente, pode executar uma solução técnica do método modalidade na Figura 1. O dispositivo de coleta de sinal eletromiográfico 101 pode usar uma estrutura do dispositivo modalidade na Figura 4 e, consequentemente, pode executar a solução técnica do método modalidade na Figura 2.
[0085] Tanto o dispositivo de coleta de sinal eletromiográfico 101 quanto o dispositivo de captura de localização 105 são conectados comunicativamente ao dispositivo de processamento 103. O dispositivo de coleta de sinal eletromiográfico 101 e o dispositivo de captura de localização 105 podem se comunicar separadamente com o dispositivo de processamento 103 com o uso de uma rede cabeada, de uma rede sem fio, Bluetooth, WiFi ou semelhantes.
[0086] Opcionalmente, o dispositivo de captura de localização 105 pode incluir um módulo de captação capacitivo 1031, um módulo de captação infravermelho 1033 e um módulo de captação ultrassônico 1035. O módulo de captação capacitivo 1031 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de uma tela sensível ao toque capacitiva. O módulo de captação infravermelho 1033 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque infravermelho. O módulo de captação ultrassônico 1035 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque ultrassônico.
[0087] Opcionalmente, o dispositivo de captura de localização 105 e o dispositivo de processamento 103 podem ser integrados ou podem ser dispostos independentemente.
[0088] Opcionalmente, o sistema de processamento de toque pode incluir adicionalmente um aparelho de retroalimentação de usuário 107, configurado para exibir um resultado de execução de uma instrução de toque; por exemplo, o aparelho de retroalimentação de usuário 107 é uma tela de exibição de LED, um dispositivo de exibição projetor, um alto-falante ou um aparelho de retroalimentação tátil. Opcionalmente, o aparelho de retroalimentação de usuário 107 pode incluir um módulo de exibição 1071, um módulo de som 1073 e um módulo de retroalimentação tátil 1075.
[0089] Deve-se verificar que o sistema de processamento de toque fornecido nessa modalidade da presente invenção pode ser aplicado a um dispositivo de toque eletrônico tradicional, tal como um telefone móvel sensível ao toque ou um computador sensível ao toque, ou pode ser aplicado a múltiplos campos, tais como educação, escritório empresarial, entretenimento e exibição de anúncios; por exemplo, a área de trabalho de uma mesa é usada para ensinar arte, a área de trabalho da mesa é usada como um papel para pintura, um dedo é usado como uma caneta para pintura e múltiplos estudantes completam uma pintura juntos no papel para pintura.
[0090] A Figura 6 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção. Conforme mostrado na Figura 6, o dispositivo de processamento pode incluir um receptor 31, uma primeira memória 33 e um processador 35, em que o receptor 31 e a primeira memória 33 são conectados separadamente ao processador 35 com o uso de um barramento.
[0091] O receptor 31 é configurado para receber as primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0092] A primeira memória 33 é configurada para armazenar uma instrução.
[0093] O processador 35 é configurado para executar a instrução armazenada na primeira memória 33 de modo a realizar as seguintes etapas:
[0094] Caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluído nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e realizar uma operação de interação correspondente à instrução de toque.
[0095] Opcionalmente, o processador 35 pode ser configurado adicionalmente para realizar a seguinte etapa: atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque que é enviado pelo dispositivo de coleta de sinal eletromiográfico e que é recebido continuamente por um módulo de recebimento de informações, e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.
[0096] Opcionalmente, as primeiras informações podem incluir adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque pode incluir adicionalmente a força operacional.
[0097] Opcionalmente, o processador 35 pode ser configurado adicionalmente para: atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque e com a força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e que são recebidos continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.
[0098] Opcionalmente, o processador 35 pode ser configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que a instrução de toque termina e apagar a instrução de toque.
[0099] Opcionalmente, o dispositivo de processamento pode incluir adicionalmente uma segunda memória 37, configurada para manter uma lista de instruções de toque, em que a instrução de toque é armazenada na lista de instruções de toque. A segunda memória 37 é conectada ao processador 35 com o uso de um barramento.
[0100] Deve-se verificar que uma forma do dispositivo de processamento não é limitada nessa modalidade da presente invenção. O dispositivo de processamento pode ser um chip, um telefone inteligente, um computador, um servidor ou semelhantes ou pode ser outro dispositivo que tem uma capacidade de cálculo ou de armazenamento.
[0101] De acordo com o dispositivo de processamento fornecido nessa modalidade da presente invenção, um receptor recebe primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização; e um processador gera uma instrução de toque e realiza uma operação de interação correspondente à instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão e informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0102] A Figura 7 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção. Conforme mostrado na Figura 7, o dispositivo de coleta de sinal eletromiográfico pode incluir um processador 41, um transmissor 43 e uma terceira memória 45, em que o transmissor 43 e a terceira memória 45 são conectados separadamente ao processador 41 com o uso de um barramento.
[0103] A terceira memória 45 é configurada para armazenar uma instrução.
[0104] O processador 41 é configurado para executar a instrução armazenada na terceira memória 45 de modo a realizar as seguintes etapas: coletar periodicamente sinais eletromiográficos de superfície S1 dos múltiplos canais; e determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico.
[0105] Opcionalmente, a determinação, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, de um gesto de mão no qual um usuário realiza um toque pode incluir: determinar o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.
[0106] O transmissor 43 é configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize a operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
[0107] Opcionalmente, o processador 41 pode ser configurado adicionalmente para realizar as seguintes etapas: determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. Consequentemente, a determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.
[0108] Opcionalmente, a determinação da força operacional com a qual o usuário realiza o toque pode incluir: obter um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e o cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.
[0109] Opcionalmente, a determinação do primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir: após adquirir o gesto de mão e a força operacional, determinar o primeiro tempo de início de toque consultando-se uma tabela, em que um primeiro limite predefinido de força operacional correspondente a cada gesto de mão é pré- armazenado na tabela; e caso a força operacional adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido, adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque.
[0110] Opcionalmente, o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização pode incluir: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.
[0111] Deve-se verificar que uma forma do dispositivo de coleta de sinal eletromiográfico não é limitada nessa modalidade da presente invenção. O dispositivo de coleta de sinal eletromiográfico pode estar em uma forma de um dispositivo vestível, tal como uma pulseira, ou um relógio ou pode ser múltiplos eletrodos que podem coletar um sinal eletromiográfico de superfície.
[0112] De acordo com o dispositivo de coleta de sinal eletromiográfico fornecido nessa modalidade da presente invenção, um processador coleta sinais eletromiográficos de superfície S1 de múltiplos canais e determina um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; e um transmissor envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.
[0113] A Figura 8 é um diagrama estrutural esquemático de uma segunda modalidade de um sistema de processamento de toque, de acordo com a presente invenção. Conforme mostrado na Figura 8, o sistema de processamento de toque pode incluir um dispositivo de captura de localização 205, um dispositivo de processamento 203 e pelo menos um dispositivo de coleta de sinal eletromiográfico 201. O dispositivo de captura de localização 205 pode ser qualquer dispositivo existente que pode adquirir uma quantidade de pontos de toque de uma operação de toque, um tempo de início de toque e coordenadas de um ponto de toque. O dispositivo de processamento 203 pode usar uma estrutura do dispositivo modalidade na Figura 6 e, consequentemente, pode executar uma solução técnica do método modalidade na Figura 1. O dispositivo de coleta de sinal eletromiográfico 201 pode usar uma estrutura do dispositivo modalidade na Figura 7 e, consequentemente, pode executar a solução técnica do método modalidade na Figura 2.
[0114] Tanto o dispositivo de coleta de sinal eletromiográfico 201 quanto o dispositivo de captura de localização 205 são conectados comunicativamente ao dispositivo de processamento 203. O dispositivo de coleta de sinal eletromiográfico 201 e o dispositivo de captura de localização 205 podem se comunicar separadamente com o dispositivo de processamento 203 com o uso de uma rede cabeada, de uma rede sem fio, Bluetooth, WiFi ou semelhantes.
[0115] Opcionalmente, o dispositivo de captura de localização 205 pode incluir um sensor capacitivo 2031, um sensor infravermelho 2033 e um sensor ultrassônico 2035. O sensor capacitivo 2031 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de uma tela sensível ao toque capacitiva. O sensor infravermelho 2033 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque infravermelho. O sensor ultrassônico 2035 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque ultrassônico.
[0116] Opcionalmente, o dispositivo de captura de localização 205 e o dispositivo de processamento 203 podem ser integrados ou podem ser dispostos independentemente.
[0117] Opcionalmente, o sistema de processamento de toque pode incluir adicionalmente um dispositivo de retroalimentação de usuário 207, configurado para exibir um resultado de execução de uma instrução de toque; por exemplo, o dispositivo de retroalimentação de usuário 207 é uma tela de exibição de LED, um dispositivo de exibição projetor, um alto-falante ou um dispositivo de retroalimentação tátil. Opcionalmente, o dispositivo de retroalimentação de usuário 207 pode incluir um dispositivo de exibição 2071, um dispositivo de som 2073 e um dispositivo de retroalimentação tátil 2075.
[0118] Deve-se verificar que o sistema de processamento de toque fornecido nessa modalidade da presente invenção pode ser aplicado a um dispositivo de toque eletrônico tradicional, tal como um telefone móvel sensível ao toque ou um computador sensível ao toque ou pode ser aplicado a múltiplos campos, tais como educação, escritório empresarial, entretenimento e exibição de anúncio; por exemplo, uma área de trabalho de uma mesa é usada para é usada para ensinamento de arte, a área de trabalho da mesa é usada como um papel para pintura, um dedo é usado como uma caneta para pintura e múltiplos estudantes completam uma pintura juntos no papel para pintura.
[0119] Por fim, deve-se observar que as modalidades mencionadas anteriormente estão destinadas simplesmente a descrever as soluções técnicas da presente invenção e não a limitar a presente invenção. Embora a presente invenção seja descrita detalhadamente com referência às modalidades mencionadas anteriormente, as pessoas de habilidade comum na técnica devem entender que é possível, ainda, realizar modificações nas soluções técnicas descritas nas modalidades mencionadas anteriormente ou realizar as substituições equivalentes em alguns ou todos os recursos técnicos, sem que haja afastamento do espírito e escopo das soluções técnicas das modalidades do presente pedido.

Claims (15)

1. Método de processamento de interação por toque, CARACTERIZADO pelo fato de que compreende: receber (101), por meio de um dispositivo de processamento, primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações compreendem uma quantidade de pontos de toque em que o usuário realiza o toque, um segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; o primeiro tempo de início de toque é um tempo de início em que o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização; caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido, e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então gerar (103), pelo dispositivo de processamento, uma instrução de toque, em que a instrução de toque compreende o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e realizar (105), por meio do dispositivo de processamento, uma operação de interação correspondente à instrução de toque; caso seja determinado que o intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque não é menor que um limite predefinido, ou que a quantidade de pontos de toque que é correspondente ao gesto de mão não é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então a instrução de toque não é gerada.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as primeiras informações compreendem adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque compreende adicionalmente a força operacional.
3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o método compreende adicionalmente: caso seja determinado que a força operacional é menor que um segundo limite predefinido, apagar, por meio do dispositivo de processamento, a instrução de toque.
4. Método de processamento de interação por toque, CARACTERIZADO pelo fato de que compreende: coletar periodicamente (201), por meio de um dispositivo de coleta de sinal eletromiográfico, sinais eletromiográficos de superfície S1 a partir de múltiplos canais; determinar (203), por meio do dispositivo de coleta de sinal eletromiográfico de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início em que o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e enviar (205), por meio do dispositivo de coleta de sinal eletromiográfico, primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com segundas informações que são enviadas por um dispositivo de captura de localização quando o primeiro tempo de início de toque e um segundo tempo de inicio de toque forem menores que um limite predefinido, e uma quantidade de pontos de toque que é correspondente ao gesto de mão for igual à uma quantidade dos pontos de toque que está compreendida nas segundas informações, e realize uma operação de interação correspondente, sendo que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e o primeiro tempo de início de toque; as segundas informações compreendem a quantidade de pontos de toque no qual o usuário realiza o toque, o segundo tempo de início de toque e informações de coordenada de cada ponto de toque; sendo que o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que a determinação, por meio do dispositivo de coleta de sinal eletromiográfico de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, de um gesto de mão no qual um usuário realiza um toque compreende: determinar, por meio do dispositivo de coleta de sinal eletromiográfico, o gesto de mão de acordo com uma amplitude e uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.
6. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que compreende adicionalmente: determinar, por meio do dispositivo de coleta de sinal eletromiográfico de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque, sendo que as primeiras informações compreendem adicionalmente a força operacional, e a determinação de um primeiro tempo de início de toque de acordo com o gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.
7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que a determinação de força operacional com a qual o usuário realiza o toque compreende: adquirir, por meio do dispositivo de coleta de sinal eletromiográfico, um sinal eletromiográfico de canal único S2 realizando-se sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante, e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.
8. Dispositivo de processamento, CARACTERIZADO pelo fato de que compreende: um módulo de recebimento de informações (11), configurado para receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações compreendem uma quantidade de pontos de toque nos quais o usuário realiza o toque, um segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização; um módulo de geração de instrução (13) configurado para: caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido, e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então gerar uma instrução de toque, em que a instrução de toque compreende o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e as informações de coordenada de cada ponto de toque, caso seja determinado que o intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque não é menor que um limite predefinido, ou que a quantidade de pontos de toque que é correspondente ao gesto de mão não é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então a instrução de toque não é gerada; e um módulo de execução de instrução (15) configurado para realizar uma operação de interação correspondente à instrução de toque.
9. Dispositivo de processamento, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que as primeiras informações compreendem adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque compreende adicionalmente a força operacional.
10. Dispositivo de processamento, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o módulo de geração de instrução é configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que instrução de toque termina, e apagar a instrução de toque.
11. Dispositivo de coleta de sinal eletromiográfico, CARACTERIZADO pelo fato de que compreende: um módulo de coleta (21), configurado para coletar periodicamente sinais eletromiográficos de superfície S1 a partir de múltiplos canais; um módulo de processamento (23), configurado para determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e um módulo de envio (25), configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com segundas informações que são enviadas por um dispositivo de captura de localização quando o primeiro tempo de início de toque e um segundo tempo de início de toque forem menores que um limite predefinido, e uma quantidade de pontos de toque que é correspondente ao gesto de mão for igual à uma quantidade dos pontos de toque que está compreendida nas segundas informações, e realize uma operação de interação correspondente, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e o primeiro tempo de início de toque; as segundas informações compreendem a quantidade de pontos de toque na qual o usuário realiza o toque, o segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.
12. Dispositivo de coleta, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que um módulo de processamento determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque compreende: o módulo de processamento que determina o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.
13. Dispositivo de coleta, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o módulo de processamento é configurado adicionalmente para determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque, em que as primeiras informações compreendem adicionalmente a força operacional, e a determinação de um primeiro tempo de início de toque de acordo com o gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.
14. Dispositivo de coleta, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o módulo de processamento determina força operacional com a qual o usuário realiza o toque compreende: o módulo de processamento obtém um sinal eletromiográfico de canal único S2 realizando-se sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcula uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante, e usa a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.
15. Sistema de processamento de toque, compreendendo um dispositivo de captura de localização, CARACTERIZADO pelo fato de que o dispositivo de processamento é conforme definido em qualquer uma das reivindicações 8 a 10, e pelo menos um dispositivo de coleta de sinal eletromiográfico é conforme definido em qualquer uma das reivindicações 11 a 14, em que o dispositivo de coleta de sinal eletromiográfico e o dispositivo de captura de localização são ambos conectados comunicativamente ao dispositivo de processamento.
BR112017007752-3A 2014-10-16 2015-05-29 Método, dispositivo, e sistema de processamento de interação por toque BR112017007752B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410549003.0A CN105573536B (zh) 2014-10-16 2014-10-16 触控交互的处理方法、装置和系统
CN201410549003.0 2014-10-16
PCT/CN2015/080243 WO2016058387A1 (zh) 2014-10-16 2015-05-29 触控交互的处理方法、装置和系统

Publications (2)

Publication Number Publication Date
BR112017007752A2 BR112017007752A2 (pt) 2018-02-06
BR112017007752B1 true BR112017007752B1 (pt) 2023-01-31

Family

ID=55746078

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112017007752-3A BR112017007752B1 (pt) 2014-10-16 2015-05-29 Método, dispositivo, e sistema de processamento de interação por toque

Country Status (7)

Country Link
US (1) US10372325B2 (pt)
EP (1) EP3200051B1 (pt)
JP (1) JP6353982B2 (pt)
KR (1) KR101875350B1 (pt)
CN (1) CN105573536B (pt)
BR (1) BR112017007752B1 (pt)
WO (1) WO2016058387A1 (pt)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
JP6504256B2 (ja) * 2015-09-25 2019-04-24 株式会社リコー 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11049053B2 (en) * 2018-03-29 2021-06-29 Ricoh Company, Ltd. Communication terminal, sharing system, communication method, and non-transitory recording medium storing program
EP3853698A4 (en) * 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
CN109542278B (zh) * 2018-09-27 2022-02-11 江苏特思达电子科技股份有限公司 触摸数据的处理方法、装置及触摸设备
US10908783B2 (en) * 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
CN111338516B (zh) * 2020-02-26 2022-05-10 业成科技（成都）有限公司 手指触控的检测方法和装置、电子设备、存储介质
CN111783056B (zh) * 2020-07-06 2024-05-14 诺百爱（杭州）科技有限责任公司 一种基于肌电信号识别用户身份的方法、装置和电子设备
CN112506379A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 触控事件的处理方法、装置、设备以及存储介质
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113126771A (zh) * 2021-05-07 2021-07-16 浙江柔灵科技有限公司 一种具有反馈信息功能的肌电手势识别系统
CN114642440B (zh) * 2022-05-23 2022-08-12 博睿康科技（常州）股份有限公司 获取刺激系统预设时长的方法、刺激系统及其调控方法
CN116243825B (zh) * 2023-05-06 2023-07-25 成都市芯璨科技有限公司 一种基于电容检测的触控检测芯片及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (ja) * 1994-03-08 1995-09-26 Sharp Corp 筋電信号を用いた制御装置
EP1330777A1 (en) 2000-10-27 2003-07-30 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
JP4099117B2 (ja) * 2003-07-22 2008-06-11 シャープ株式会社 仮想キーボードシステム
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8022941B2 (en) 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
JP4988016B2 (ja) 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
KR20110032640A (ko) 2009-09-23 2011-03-30 삼성전자주식회사 멀티 터치 인식 디스플레이 장치
CN102117150A (zh) * 2011-03-30 2011-07-06 汉王科技股份有限公司 字符后处理方法及系统
CN102184056B (zh) * 2011-04-26 2013-02-13 广东威创视讯科技股份有限公司 多触摸点识别方法及装置
US8692799B1 (en) 2011-07-05 2014-04-08 Cypress Semiconductor Corporation Single layer multi-touch capacitive sensor
CN103930858A (zh) * 2012-01-05 2014-07-16 索尼爱立信移动通讯有限公司 调整触摸输入的坐标
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9201546B2 (en) 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9011232B2 (en) * 2012-05-18 2015-04-21 Universal Entertainment Corporation Gaming machine and gaming method
JP5929572B2 (ja) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 操作表示装置およびプログラム
US9223459B2 (en) * 2013-01-25 2015-12-29 University Of Washington Through Its Center For Commercialization Using neural signals to drive touch screen devices

Also Published As

Publication number Publication date
EP3200051B1 (en) 2018-12-12
EP3200051A4 (en) 2017-09-20
EP3200051A1 (en) 2017-08-02
WO2016058387A1 (zh) 2016-04-21
CN105573536A (zh) 2016-05-11
JP6353982B2 (ja) 2018-07-04
BR112017007752A2 (pt) 2018-02-06
CN105573536B (zh) 2018-09-07
JP2017534980A (ja) 2017-11-24
KR20170067873A (ko) 2017-06-16
US20170220245A1 (en) 2017-08-03
US10372325B2 (en) 2019-08-06
KR101875350B1 (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
BR112017007752B1 (pt) Método, dispositivo, e sistema de processamento de interação por toque
US11042290B2 (en) Touch screen track recognition method and apparatus
TWI579734B (zh) ３ｄ視覺化技術
TWI537814B (zh) 顯示，觸碰及觸控筆同步化
US20180253163A1 (en) Change of active user of a stylus pen with a multi-user interactive display
US9946395B2 (en) User interface method and apparatus
WO2014000513A1 (zh) 一种触摸轨迹跟踪方法
WO2014062583A1 (en) Character deletion during keyboard gesture
KR20110116463A (ko) 인터페이스 방법 및 장치
TW201426431A (zh) 觸感回饋系統及其提供觸感回饋的方法
CN103823630A (zh) 一种虚拟鼠标
CN104007920A (zh) 在电子测试装备上选择波形的方法
US20180210597A1 (en) Information processing device, information processing method, and program
CN104965657B (zh) 触摸控制方法及装置
US10095309B2 (en) Input device, system and method for finger touch interface
JP5736551B1 (ja) 電子機器及び制御方法
JP6411067B2 (ja) 情報処理装置及び入力方法
JP2016066254A (ja) タッチ検出装置を備えた電子装置
US20140143726A1 (en) Method of choosing software button
KR102094751B1 (ko) 사용자 인터페이스 방법 및 장치
JP2016045553A (ja) 情報処理装置とその指先操作識別方法並びにプログラム
US20150042586A1 (en) Input Device
CN104484117A (zh) 人机交互方法及装置
WO2020124422A1 (zh) 手写系统的控制方法和手写系统
CN105117127A (zh) 一种基于不同人群切换输入法的方法

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 29/05/2015, OBSERVADAS AS CONDICOES LEGAIS