BR112017007752B1 - METHOD, DEVICE, AND TOUCH INTERACTION PROCESSING SYSTEM - Google Patents

METHOD, DEVICE, AND TOUCH INTERACTION PROCESSING SYSTEM Download PDF

Info

Publication number
BR112017007752B1
BR112017007752B1 BR112017007752-3A BR112017007752A BR112017007752B1 BR 112017007752 B1 BR112017007752 B1 BR 112017007752B1 BR 112017007752 A BR112017007752 A BR 112017007752A BR 112017007752 B1 BR112017007752 B1 BR 112017007752B1
Authority
BR
Brazil
Prior art keywords
touch
start time
information
hand gesture
signal collection
Prior art date
Application number
BR112017007752-3A
Other languages
Portuguese (pt)
Other versions
BR112017007752A2 (en
Inventor
Qiang Ding
Xiaorong Gao
Xiaoshan HUANG
Original Assignee
Huawei Technologies Co., Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co., Ltd filed Critical Huawei Technologies Co., Ltd
Publication of BR112017007752A2 publication Critical patent/BR112017007752A2/en
Publication of BR112017007752B1 publication Critical patent/BR112017007752B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

SISTEMA, DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE INTERAÇÃO POR TOQUE. Um método, dispositivo e sistema de processamento de interação por toque são fornecidos. O método de processamento de interação por toque inclui: receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização (101); caso seja determinado que um intervalo de tempo entre um primeiro tempo de início de toque e um segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente a um gesto de mão é igual a uma quantidade de pontos de toque que está incluída nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações coordenadas de cada ponto de toque (103); e realiza uma operação de interação correspondente à instrução de toque (105). De acordo com o método, dispositivo e sistema de processamento, pode ser implantado o fato de que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de interação por toque simultaneamente (...).SYSTEM, DEVICE AND TOUCH INTERACTION PROCESSING METHOD. A touch interaction processing method, device and system are provided. The touch interaction processing method includes: receiving first information sent by an electromyographic signal collection device and second information sent by a location capturing device (101); if it is determined that a time interval between a first touch start time and a second touch start time is less than a predefined threshold and an amount of touch points that corresponds to a hand gesture is equal to an amount of touchpoints that is included in the second piece of information, generate a touch instruction, where the touch instruction includes a device identifier of the EMG signal collection device, the hand gesture, and the coordinate information of each touchpoint ( 103); and performs an interaction operation corresponding to the touch instruction (105). According to the method, device and processing system, the fact that a single user performs a touch operation with two hands or multiple users perform touch interaction operations simultaneously can be implemented (...).

Description

CAMPO DA TÉCNICAFIELD OF TECHNIQUE

[0001] As modalidades da presente invenção se referem ao campo de interação homem-máquina e, em particular, a um sistema, dispositivo e método de processamento de interação por toque.[0001] The embodiments of the present invention relate to the field of human-machine interaction and, in particular, to a system, device and method of processing interaction by touch.

ANTECEDENTESBACKGROUND

[0002] Uma tecnologia de toque é uma dentre as tecnologias-chave para a interação homem-máquina e é classificada em uma tecnologia de único toque e uma tecnologia de múltiplos toques de acordo com uma quantidade de pontos de toque. A tecnologia de único toque pode identificar e suportar uma tocadela ou um toque realizado com o uso de apenas um dedo por vez. A tecnologia de múltiplos toques é denominada também de tecnologia de captação de múltiplos toques e de múltiplos pontos e pode coletar simultaneamente um sinal de múltiplos pontos e identificar um gesto, de modo a implantar a identificação e suporte de uma tocadela ou uma ação de toque realizada com o uso simultâneo de cinco dedos. Devido ao fato de que uma operação de toque é conveniente, natural e de fácil utilização, a operação de toque é amplamente aplicada a vários campos.[0002] A touch technology is one of the key technologies for human-machine interaction and is classified into a single-touch technology and a multi-touch technology according to a number of touch points. Single-touch technology can identify and support a tap or tap performed using just one finger at a time. Multi-touch technology is also called multi-touch and multi-point capture technology and can simultaneously collect a signal from multiple points and identify a gesture, so as to implement the identification and support of a touch or a touch action performed. with the simultaneous use of five fingers. Due to the fact that one touch operation is convenient, natural and user-friendly, touch operation is widely applied to various fields.

[0003] No estado da técnica, a instrução de toque é identificada detectando-se um ponto de toque em uma interface: um ponto de toque indica uma operação de único toque, e múltiplos pontos de toque indicam uma operação de múltiplos toques, porém, um usuário que realiza uma operação de toque e uma mão e os dedos que são usados para realizar a operação de toque não podem ser identificados. Quando um único usuário realiza uma operação de múltiplos toques com uma única mão, devido ao fato de que os dedos não podem ser identificados, apenas algumas instruções de múltiplos toques podem ser identificadas, por exemplo, um movimento realizado com o uso de um dedo indicador e um polegar e um movimento realizado com uso de um dedo médio e um polegar são, ambos, identificados como uma operação de escalonamento. Quando um único usuário realiza uma operação de toque com duas mãos, devido ao fato de que a mão esquerda e a mão direita não podem ser identificadas, uma instrução de toque equívoca é facilmente causada, por exemplo, movimentos simultâneos de um único dedo da mão esquerda e um único dedo da mão direita são identificados incorretamente como uma operação de escalonamento realizada com o uso de um dedo indicador e um polegar de uma única mão. Quando múltiplos usuários realizam operações de toque, devido ao fato de que os usuários não podem ser identificados, não pode ser implantado o fato de múltiplos usuários realizarem operações de toque simultaneamente em uma mesma região.[0003] In the prior art, the touch instruction is identified by detecting a touch point on an interface: a touch point indicates a single touch operation, and multiple touch points indicate a multiple touch operation, however, a user performing a touch operation and a hand and the fingers that are used to perform the touch operation cannot be identified. When a single user performs a multi-touch operation with a single hand, due to the fact that fingers cannot be identified, only a few multi-touch instructions can be identified, for example, a movement performed using an index finger and a thumb and a movement performed using a middle finger and a thumb are both identified as a scaling operation. When a single user performs a two-handed touch operation, due to the fact that the left hand and right hand cannot be identified, an equivocal touch instruction is easily caused, for example, simultaneous movements of a single hand finger left hand and a single finger of the right hand are incorrectly identified as a scaling operation performed using the index finger and thumb of a single hand. When multiple users perform touch operations, due to the fact that users cannot be identified, the fact that multiple users perform touch operations simultaneously in the same region cannot be implemented.

[0004] Em conclusão, a técnica anterior tem a seguinte desvantagem: Uma instrução de toque equívoca é facilmente causada quando um único usuário realiza uma operação de toque com duas mãos ou quando múltiplos usuários realizam simultaneamente as operações de toque em uma mesma região.[0004] In conclusion, the above technique has the following drawback: An equivocal touch instruction is easily caused when a single user performs a touch operation with two hands or when multiple users simultaneously perform touch operations on the same region.

[0005] O documento US 20100302137 A1 descreve um aparelho de exibição sensível ao toque usando entrada de sensor.[0005] Document US 20100302137 A1 describes a touch-sensitive display device using sensor input.

SUMÁRIOSUMMARY

[0006] As modalidades da presente invenção fornecem um método, dispositivo e sistema de processamento de interação por toque, de modo a implantar o fato de que um único usuário realiza uma interação por operação de toque com duas mãos ou múltiplos usuários realizam operações de interação por toque simultaneamente em uma mesma região.[0006] Embodiments of the present invention provide a method, device and touch interaction processing system, in order to implement the fact that a single user performs an interaction by touch operation with two hands or multiple users perform interaction operations by touching the same region simultaneously.

[0007] Um primeiro aspecto da presente invenção é descrito pela matéria da reivindicação 1. Maneiras de implementação adicionalmente possíveis do primeiro aspecto são descritas pelas reivindicações dependentes 2 a 3.[0007] A first aspect of the present invention is described by the subject matter of claim 1. Further possible ways of implementing the first aspect are described by dependent claims 2 to 3.

[0008] Um segundo aspecto da presente invenção é descrito pela matéria da reivindicação 4. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 5 a 7.[0008] A second aspect of the present invention is described by the subject matter of claim 4. Further possible ways of implementing the second aspect are described by dependent claims 5 to 7.

[0009] Um terceiro aspecto da presente invenção é descrito pela matéria da reivindicação 8. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 9 a 10.[0009] A third aspect of the present invention is described by the subject matter of claim 8. Further possible ways of implementing the second aspect are described by dependent claims 9 to 10.

[0010] Um quarto aspecto da presente invenção é descrito pela matéria da reivindicação 11. Maneiras de implementação adicionalmente possíveis do segundo aspecto são descritas pelas reivindicações dependentes 12 a 14.[0010] A fourth aspect of the present invention is described by the subject matter of claim 11. Further possible ways of implementing the second aspect are described by dependent claims 12 to 14.

[0011] De acordo com o método, o dispositivo e o sistema de processamento de interação por toque que são fornecidos nas modalidades da presente invenção, uma instrução de toque é gerada de acordo com as primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e com as segundas informações enviadas por um dispositivo de captura de localização e uma operação de interação correspondente é realizada. Devido ao fato de que um identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, é implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0011] According to the method, the device and the touch interaction processing system that are provided in the embodiments of the present invention, a touch instruction is generated according to the first information sent by an electromyographic signal collection device and with the second information sent by a location capture device and a corresponding interaction operation is performed. Due to the fact that a device identifier corresponding to the EMG signal collection device can be used to distinguish between one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the left-handed and right-handed, it is implemented that a single user performs a touch operation with two hands or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

BREVE DESCRIÇÃO DOS DESENHOSBRIEF DESCRIPTION OF THE DRAWINGS

[0012] Para descrever as soluções técnicas nas modalidades da presente invenção ou no estado da técnica mais claramente, a seguir é uma introdução breve dos desenhos anexos exigidos para descrever as modalidades ou a técnica anterior. Evidentemente, os desenhos anexos na descrição a seguir mostram apenas algumas modalidades da presente invenção, e as pessoas de habilidade comum na técnica ainda podem derivar outros desenhos a partir desses desenhos anexos sem esforços criativos.[0012] To describe the technical solutions in the embodiments of the present invention or the prior art more clearly, below is a brief introduction of the attached drawings required to describe the embodiments or the prior art. Of course, the accompanying drawings in the following description show only some embodiments of the present invention, and people of ordinary skill in the art can still derive other drawings from these accompanying drawings without creative efforts.

[0013] A Figura 1 é um fluxograma de uma primeira modalidade de um método de processamento de interação por toque, de acordo com a presente invenção;[0013] Figure 1 is a flowchart of a first embodiment of a touch interaction processing method according to the present invention;

[0014] A Figura 2 é um fluxograma de uma segunda modalidade de um método de processamento de interação por toque, de acordo com a presente invenção;[0014] Figure 2 is a flow chart of a second embodiment of a touch interaction processing method according to the present invention;

[0015] A Figura 3 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção;[0015] Figure 3 is a schematic structural diagram of a first embodiment of a processing device, according to the present invention;

[0016] A Figura 4 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção;[0016] Figure 4 is a schematic structural diagram of a first embodiment of an electromyographic signal collection device according to the present invention;

[0017] A Figura 5 é um diagrama estrutural esquemático de uma primeira modalidade de um sistema de processamento de toque, de acordo com a presente invenção;[0017] Figure 5 is a schematic structural diagram of a first embodiment of a touch processing system, in accordance with the present invention;

[0018] A Figura 6 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção;[0018] Figure 6 is a schematic structural diagram of a first embodiment of a processing device according to the present invention;

[0019] A Figura 7 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção; e[0019] Figure 7 is a schematic structural diagram of a first embodiment of an electromyographic signal collection device according to the present invention; It is

[0020] A Figura 8 é um diagrama estrutural esquemático de uma segunda modalidade de um sistema de processamento de toque, de acordo com a presente invenção.[0020] Figure 8 is a schematic structural diagram of a second embodiment of a touch processing system, in accordance with the present invention.

DESCRIÇÃO DAS MODALIDADESDESCRIPTION OF MODALITIES

[0021] A fim de esclarecer os objetivos, soluções técnicas e vantagens das modalidades da presente invenção, as soluções técnicas nas modalidades da presente invenção são descritas clara e completamente a seguir com referência aos desenhos anexos nas modalidades da presente invenção. Evidentemente, as modalidades descritas são algumas, porém, não todas as modalidades da presente invenção. Todas as outras modalidades obtidas pelas pessoas de habilidade comum na técnica com base nas modalidades da presente invenção sem esforços criativos devem ser abrangidas pelo escopo de proteção da presente invenção.[0021] In order to clarify the objectives, technical solutions and advantages of the embodiments of the present invention, the technical solutions in the embodiments of the present invention are described clearly and completely below with reference to the attached drawings in the embodiments of the present invention. Evidently, the described embodiments are some, however, not all embodiments of the present invention. All other embodiments obtainable by persons of ordinary skill in the art based on the embodiments of the present invention without creative efforts shall fall within the scope of protection of the present invention.

[0022] A Figura 1 é um fluxograma de uma primeira modalidade de um método de processamento de interação por toque, de acordo com a presente invenção. O método de processamento de interação por toque pode ser executado por um dispositivo de processamento, tal como um chip ou terminal móvel. O dispositivo de processamento pode ser integrado em um dispositivo de processamento, e o dispositivo de processamento pode ser um terminal móvel, um computador, um servidor, ou semelhantes, e o chip pode ser integrado em um terminal móvel, um computador ou semelhantes. O dispositivo de processamento e o dispositivo de processamento pode ser qualquer dispositivo, e o dispositivo que tem uma função de armazenamento ou cálculo que não são limitados nessa modalidade da presente invenção. Conforme mostrado na Figura 1, o método de processamento de interação por toque pode incluir:[0022] Figure 1 is a flowchart of a first embodiment of a touch interaction processing method according to the present invention. The touch interaction processing method can be performed by a processing device such as a chip or mobile terminal. The processing device can be integrated into a processing device, and the processing device can be a mobile terminal, a computer, a server, or the like, and the chip can be integrated into a mobile terminal, a computer, or the like. The processing device and the processing device can be any device, and the device having a storage or calculation function are not limited in that embodiment of the present invention. As shown in Figure 1, the touch interaction processing method can include:

[0023] Etapa 101: Receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização.[0023] Step 101: Receive first information sent by an electromyographic signal collection device and second information sent by a location capture device.

[0024] As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico (eletromiográfico, EMG a título de concisão), um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0024] The first information includes a device identifier of the electromyographic signal collection device (electromyographic, EMG for brevity), a hand gesture in which a user performs a tap, and a first tap start time. The second piece of information includes a number of tap points on which the user taps, a second tap start time, and coordinate information for each tap point. The first touch start time is a start time at which the user performs a touch operation and which is identified by the EMG signal collection device. The second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device.

[0025] Nessa modalidade, o dispositivo de coleta de sinal eletromiográfico e o dispositivo de captura de localização podem identificar separadamente um evento de operação de toque do usuário em uma mesma região de operação de toque. Deve-se verificar que o dispositivo de coleta de sinal eletromiográfico pode ser qualquer dispositivo que pode coletar um sinal eletromiográfico de superfície (eletromiográfico de superfície, sEMG a título de concisão) de múltiplos canais. De preferência, o dispositivo de coleta de sinal eletromiográfico pode ser dispositivo em um braço do usuário, e o dispositivo de captura de localização pode ser qualquer dispositivo que pode identificar a operação de toque do usuário. O evento de operação de toque do usuário que é identificado pelo dispositivo de coleta de sinal eletromiográfico pode ser definido como um evento de toque eletromiográfico Touch_EMG. O evento de operação de toque do usuário que é identificado pelo dispositivo de captura de localização pode ser definido como um evento de rastreamento de toque Touch_TrackSys. O evento de toque eletromiográfico Touch_EMG inclui três parâmetros, que são respectivamente: o identificador de dispositivo (ID de dispositivo) do dispositivo de coleta de sinal eletromiográfico, o gesto de mão (G) no qual o usuário realiza o toque e o primeiro tempo de início de toque (T1). O evento de rastreamento de toque Touch_TrackSys inclui três parâmetros, que são respectivamente: a quantidade (N2) dos pontos de toque com a qual usuário realiza o toque, o segundo tempo de início de toque (T2) e as informações de coordenada (L) de cada ponto de toque.[0025] In this mode, the electromyographic signal collection device and the location capture device can separately identify a user touch operation event in the same touch operation region. It should be noted that the EMG signal collection device can be any device that can collect a surface EMG signal (Surface EMG, sEMG for brevity) from multiple channels. Preferably, the electromyographic signal collection device can be device on a user's arm, and the location capture device can be any device that can identify the user's touch operation. The user touch operation event that is identified by the EMG signal collection device can be defined as a Touch_EMG EMG touch event. The user touch operation event that is identified by the location capture device can be defined as a Touch_TrackSys touch tracking event. The electromyographic touch event Touch_EMG includes three parameters, which are respectively: the device identifier (device ID) of the electromyographic signal collection device, the hand gesture (G) in which the user performs the touch and the first time of ring start (T1). The Touch_TrackSys touch tracking event includes three parameters, which are respectively: the number (N2) of touch points with which the user performs the touch, the second touch start time (T2) and the coordinate information (L) of each touch point.

[0026] O ID de dispositivo pode ser usado para distinguir exclusivamente entre os dispositivos de coleta de sinal eletromiográfico. O ID de dispositivo pode ser um número, uma letra ou pode ser estar em qualquer forma, o que não está limitado nessa modalidade da presente invenção. Por exemplo, quando dois usuários realizam simultaneamente as operações de toque, um usuário A usa tanto a mão esquerda quanto a mão direita para realizar uma operação de toque e um usuário B usa apenas a mão direita para realizar uma operação de toque, um dispositivo de coleta de sinal eletromiográfico precisa ser disposto em cada braço dos usuários. Um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 210 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão esquerda do usuário A, um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 211 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão direita do usuário A, e um dispositivo de coleta de sinal eletromiográfico com um ID de dispositivo 220 coleta um sinal eletromiográfico de superfície de múltiplos canais da mão direita do usuário B. Devido ao fato de fato de que o ID de dispositivo 210, o ID de dispositivo 211 e o ID de dispositivo 220 podem ser usados para distinguir exclusivamente entre diferentes dispositivos de coleta de sinal eletromiográfico, uma operação de toque realizada pelo usuário A com o uso da mão esquerda, uma operação de toque realizada pelo usuário A com o uso da mão direita e a operação de toque realizada pelo usuário B com o uso da mão direita podem ser identificadas. Portanto, o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir entre uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, de modo que possa implantado que um único usuário realize uma operação de toque com duas mãos ou múltiplos usuários realizem operações de toque em uma mesma região simultaneamente sem causar uma operação de toque equívoca.[0026] The Device ID can be used to uniquely distinguish between EMG signal collection devices. The device ID can be a number, a letter or it can be in any form, which is not limited in this embodiment of the present invention. For example, when two users simultaneously perform touch operations, User A uses both the left hand and the right hand to perform a touch operation, and User B uses only the right hand to perform a touch operation, a device EMG signal collection needs to be placed on each user's arm. An EMG signal collection device with a device ID of 210 collects a multi-channel surface EMG signal from User A's left hand, an EMG signal collection device with a device ID of 211 collects a multiple-channel surface EMG signal channels from user A's right hand, and an EMG signal collection device with a device ID of 220 collects a multi-channel surface EMG signal from user B's right hand. , device ID 211 and device ID 220 can be used to uniquely distinguish between different EMG signal collection devices, a touch operation performed by user A using the left hand, a touch operation performed by user A with the use of the right hand and the touch operation performed by user B with the use of the right hand can be identified. Therefore, the device identifier of the EMG signal collection device can be used to distinguish between one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the left hand and of the right hand, so that it can be implemented for a single user to perform a touch operation with two hands or multiple users to perform touch operations in the same region simultaneously without causing an equivocal touch operation.

[0027] O gesto de mão G no qual o usuário realiza o toque pode ser um gesto de mão de um único dedo de uma única mão ou pode ser um gesto de mão de múltiplos dedos de uma única mão. Uma quantidade correspondente (N1) de pontos de toque pode ser determinada de acordo com o gesto de mão G. Por exemplo, o gesto de mão de um único dedo de uma única mão pode ser um gesto de mão de um polegar, um dedo indicador ou um dedo anelar e, nesse caso, a quantidade N1 do pontos de toque que é correspondente ao gesto de mão G é 1; o gesto de mão de múltiplos dedos de uma única mão pode ser um gesto de mão de uma combinação de um dedo indicador e um dedo anelar e, nesse caso, a quantidade N1 dos pontos de toque que é correspondente ao gesto de mão G é 2. Opcionalmente, o dispositivo de coleta de sinal eletromiográfico predefine uma definição de gesto de mão e apenas um gesto de mão na definição pode ser identificado. O gesto de mão na definição pode incluir um gesto de mão comum na técnica ou pode ser um novo gesto de mão predefinido, o que não é limitado nessa modalidade da presente invenção.[0027] The G hand gesture on which the user performs the tap can be a single finger hand gesture of a single hand or it can be a multiple finger hand gesture of a single hand. A corresponding amount (N1) of touch points can be determined according to the hand gesture G. For example, the hand gesture of a single finger of a single hand can be a hand gesture of a thumb, an index finger or a ring finger, in which case the N1 quantity of touch points that corresponds to the G hand gesture is 1; the multi-finger hand gesture of a single hand can be a hand gesture of a combination of an index finger and a ring finger, and in that case, the N1 quantity of touch points that is corresponding to the G hand gesture is 2 Optionally, the EMG signal collection device predefines a hand gesture definition and only one hand gesture in the definition can be identified. The hand gesture in the definition may include a hand gesture common in the art or it may be a new predefined hand gesture, which is not limited in that embodiment of the present invention.

[0028] O primeiro tempo de início de toque T1 representa um tempo de início do evento de toque eletromiográfico Touch_EMG e é o tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque T2 representa um tempo de início do evento de rastreamento de toque Touch_TrackSys e é o tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0028] The first touch start time T1 represents a start time of the electromyographic touch event Touch_EMG and is the start time at which the user performs the touch operation and which is identified by the electromyographic signal collection device. The second touch start time T2 represents a Touch_TrackSys touch tracking event start time and is the start time at which the user performs the touch operation and which is identified by the location capture device.

[0029] As informações de coordenada L de cada ponto de toque representa coordenadas de localização de N2 pontos de toque que são identificadas pelo dispositivo de captura de localização em uma região de toque e L={l1, 12, ..., IN2}, em que li (i=1, 2, ..., N2) representa coordenadas bidimensionais de cada ponto de toque que são identificadas pelo dispositivo de captura de localização.[0029] The L coordinate information of each touch point represents location coordinates of N2 touch points that are identified by the location capture device in a touch region and L={l1, 12, ..., IN2} , where li (i=1, 2, ..., N2) represents two-dimensional coordinates of each touch point that are identified by the location capture device.

[0030] Etapa 103: Caso seja determinado que um intervalo de tempo entre um primeiro tempo de início de toque e um segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente a um gesto de mão é igual a uma quantidade de pontos de toque que está incluída nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque.[0030] Step 103: If it is determined that a time interval between a first tap start time and a second tap start time is less than a predefined threshold and an amount of tap points that is corresponding to a tap gesture hand is equal to an amount of touch points that is included in the second piece of information, generate a touch instruction, where the touch instruction includes a device identifier of the EMG signal collection device, the hand gesture, and the information of coordinate of each touch point.

[0031] O limite predefinido T_th pode ser definido de acordo com uma exigência.[0031] The preset T_th threshold can be set according to a requirement.

[0032] De maneira específica, o intervalo de tempo T_gap entre o primeiro tempo de início de toque T1 no evento de toque eletromiográfico Touch_EMG que é identificado pelo dispositivo de coleta de sinal eletromiográfico e o segundo tempo de início de toque T2 no evento de rastreamento de toque Touch_TrackSys que é identificado pelo dispositivo de captura de localização é igual a |T1-T2|; quando o intervalo de tempo T_gap é menor que o limite predefinido T_th e a quantidade N1 dos pontos de toque que é correspondente ao gesto de mão G no evento de toque eletromiográfico Touch_EMG é igual à quantidade N2 dos pontos de toque no qual o usuário realiza o toque no evento de rastreamento de toque Touch_TrackSys, ou seja, T_gap=|T1—T2|<T_th and N1=N2, isso indica que o evento de toque eletromiográfico Touch_EMG identificado pelo dispositivo de coleta de sinal eletromiográfico e o evento de rastreamento de toque Touch_TrackSys identificado pelo dispositivo de captura de localização são um mesmo evento de operação de toque e a instrução de toque Touch_eff pode ser gerada de acordo com a operação de toque. A instrução de toque Touch_eff inclui três parâmetros, que são respectivamente: o identificador de dispositivo (ID de dispositivo) do dispositivo de coleta de sinal eletromiográfico, o gesto de mão (G) no qual o usuário realiza o toque e as informações de coordenada (L) de cada ponto de toque.[0032] Specifically, the T_gap time interval between the first T1 touch start time in the Touch_EMG electromyographic touch event that is identified by the EMG signal collection device and the second T2 touch start time in the tracking event touch_TrackSys that is identified by the location capture device is equal to |T1-T2|; when the time interval T_gap is smaller than the predefined threshold T_th and the N1 quantity of touch points that corresponds to the hand gesture G in the electromyographic touch event Touch_EMG is equal to the N2 quantity of touch points on which the user performs the touch the Touch_TrackSys touch tracking event, i.e. T_gap=|T1—T2|<T_th and N1=N2, this indicates that the EMG touch event Touch_EMG identified by the EMG signal collection device and the touch tracking event Touch_TrackSys identified by location capture device are same touch operation event and touch instruction Touch_eff can be generated according to touch operation. The touch instruction Touch_eff includes three parameters, which are respectively: the device identifier (device ID) of the EMG signal collection device, the hand gesture (G) on which the user performs the touch, and the coordinate information ( L) of each touch point.

[0033] Opcionalmente, a instrução de toque Touch_eff pode ser uma instrução de toque comum, tal como selecionar, mover, escalonar ou girar ou pode ser uma instrução de toque recém adicionada, tal como um desenho a traço ou ajuste de volume definido por usuário, o que não é limitado nessa modalidade da presente invenção.[0033] Optionally, the Touch_eff touch instruction can be a common touch instruction, such as select, move, scale, or rotate, or it can be a newly added touch instruction, such as a line drawing or user-defined volume adjustment , which is not limited in this embodiment of the present invention.

[0034] Etapa 105: Executar uma operação de interação correspondente à instrução de toque.[0034] Step 105: Perform an interaction operation corresponding to the touch instruction.

[0035] De maneira específica, após a instrução de toque Touch_eff ser gerada, a operação de interação correspondente à instrução de toque Touch_eff é realizada.[0035] Specifically, after the Touch_eff touch instruction is generated, the interaction operation corresponding to the Touch_eff touch instruction is performed.

[0036] Deve-se verificar que a instrução de toque Touch_eff inclui o gesto de mão G e um recurso adicional pode ser definido para o gesto de mão G, de modo a enriquecer as informações incluídas na instrução de toque Touch_eff. Por exemplo, quando o gesto de mão G é um gesto de um único dedo de uma única mão, as diferentes instruções de toque Touch_eff podem ser geradas de acordo com diferentes dedos, e pode ser definido que um polegar representa um movimento panorâmico de objeto, um dedo indicador representa uma seleção por meio de tocadela, e semelhantes; quando o gesto de mão G for um gesto de um único dedo de uma única mão e uma instrução de toque gerada for um desenho a traço, pode ser definido que dedos diferentes representam diferentes cores ou tipos de traços; ou quando o gesto de mão G for um gesto de múltiplos dedos de uma única mão, diferentes instruções de toque Touch_eff podem ser geradas de acordo com uma combinação de diferentes dedos e pode ser definido que um polegar mais um dedo indicador representam escalonamento, um polegar mais um dedo anelar representam ajuste de brilho, um dedo indicador mais um dedo anelar representam um ajuste de volume e semelhantes. Uma definição específica do gesto de mão G não é limitada nessa modalidade da presente invenção.[0036] It should be verified that the touch instruction Touch_eff includes the hand gesture G and an additional resource can be defined for the hand gesture G, in order to enrich the information included in the touch instruction Touch_eff. For example, when the hand gesture G is a single-finger gesture of a single hand, the different Touch_eff touch instructions can be generated according to different fingers, and a thumb can be defined to represent an object pan movement, an index finger represents a tap selection, and the like; when the hand gesture G is a single-finger gesture of a single hand and a generated touch instruction is a line drawing, different fingers can be defined to represent different colors or types of strokes; or when the hand gesture G is a multi-finger gesture of a single hand, different touch instructions Touch_eff can be generated according to a combination of different fingers and it can be defined that a thumb plus an index finger represent scaling, a thumb plus a ring finger represent brightness adjustment, an index finger plus ring finger represent volume adjustment and the like. A specific definition of the hand gesture G is not limited in this embodiment of the present invention.

[0037] Além disso, após a etapa 105, o método pode incluir adicionalmente:[0037] Also, after step 105, the method may additionally include:

[0038] Etapa 107: Receber continuamente o gesto de mão no qual um usuário realiza um toque e que é enviado pelo dispositivo de coleta de sinal eletromiográfico e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização; e atualizar a instrução de toque.[0038] Step 107: Continuously receive the hand gesture in which a user performs a touch and that is sent by the electromyographic signal collection device and the coordinate information of each touch point that is sent by the location capture device; and update the touch instruction.

[0039] De acordo com o método de processamento de interação por toque fornecido nessa modalidade da presente invenção, uma instrução de toque é gerada de acordo com primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e com segundas informações enviadas por um dispositivo de captura de localização e uma operação de interação correspondente é realizada. Devido ao fato de que um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0039] According to the touch interaction processing method provided in this embodiment of the present invention, a touch instruction is generated according to first information sent by an electromyographic signal collection device and second information sent by a recording device. location capture and a corresponding interaction operation is performed. Due to the fact that a device identifier of the EMG signal collection device can be used to distinguish one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the hand left- and right-handed, it can be implemented that a single user performs a two-handed touch operation or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0040] Opcionalmente, na modalidade supracitada, as primeiras informações podem incluir adicionalmente a força operacional com a qual o usuário realiza o toque, e a instrução de toque inclui adicionalmente a força operacional.[0040] Optionally, in the aforementioned mode, the first information may additionally include the operational force with which the user performs the touch, and the touch instruction additionally includes the operational force.

[0041] A força operacional (S) na qual o usuário realiza o toque é correspondente ao gesto de mão G no qual o usuário realiza o toque e representa um nível da força operacional com a qual o usuário realiza a operação de toque. Pode-se entender que uma operação de toque válida tem necessariamente a força operacional e, caso a força operacional seja excessivamente leve, pode-se entender que uma operação de toque é um toque realizada por um usuário por acidente em uma região de toque e não é uma operação de toque válida. Opcionalmente, o dispositivo de coleta de sinal eletromiográfico predefine um primeiro limite predefinido S_th(G) correspondente a cada gesto de mão G. Quando a força operacional S correspondente ao gesto de mão G for maior que o primeiro limite predefinido S_th(G) correspondente ao gesto de mão G, considera-se que o gesto de mão G é um gesto de mão válido, e a operação de toque é definida como o evento de toque eletromiográfico Touch_EMG. O primeiro limite predefinido S_th(G) pode ser definido de acordo com uma exigência.[0041] The operational force (S) in which the user performs the touch corresponds to the hand gesture G in which the user performs the touch and represents a level of operational strength with which the user performs the touch operation. It can be understood that a valid touch operation necessarily has the operational force, and in case the operational force is excessively light, it can be understood that a touch operation is a touch performed by a user by accident in a touch region and not is a valid touch operation. Optionally, the EMG signal collection device predefines a first predefined threshold S_th(G) corresponding to each hand gesture G. When the operating force S corresponding to the hand gesture G is greater than the first predefined threshold S_th(G) corresponding to the G hand gesture, the G hand gesture is considered to be a valid hand gesture, and the touch operation is defined as the electromyographic touch event Touch_EMG. The first predefined limit S_th(G) can be set according to a requirement.

[0042] Deve-se verificar que a instrução de toque Touch_eff pode incluir a força operacional S e uma recurso adicional pode ser definido para a força operacional S, de modo a enriquecer as informações incluídas na instrução de toque Touch_eff. Por exemplo, quando a instrução de toque gerada Touch_eff for um desenho a traço, pode ser definido que um valor da força operacional S representa uma largura de um traço; ou quando a instrução de toque gerada Touch_eff for um ajuste de volume, pode ser definido que um valor da força operacional S representa um valor de volume. Uma definição específica da força operacional S não é limitada nessa modalidade da presente invenção.[0042] It should be verified that the touch instruction Touch_eff can include the operational force S and an additional resource can be defined for the operational force S, in order to enrich the information included in the touch instruction Touch_eff. For example, when the generated touch instruction Touch_eff is a line drawing, it can be defined that an operating force value S represents a width of a line; or when the generated touch instruction Touch_eff is a volume adjustment, it can be defined that an operating force value S represents a volume value. A specific definition of operational force S is not limited in this embodiment of the present invention.

[0043] Além disso, na modalidade supracitada, após a etapa 105, o método pode incluir adicionalmente:[0043] In addition, in the aforementioned embodiment, after step 105, the method may additionally include:

[0044] Etapa 109: Receber continuamente o gesto de mão no qual o usuário realiza o toque e da força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização; e atualizar a instrução de toque.[0044] Step 109: Continuously receive the hand gesture in which the user performs the touch and the operational force with which the user performs the touch that are sent by the electromyographic signal collection device and the coordinate information of each point of ringtone that are sent by the location capture device; and update the touch instruction.

[0045] Etapa 111: Caso seja determinado que a força operacional é menor que um segundo limite predefinido, apagar a instrução de toque.[0045] Step 111: If it is determined that the operating force is less than a second preset limit, delete the touch instruction.

[0046] Um dispositivo de processamento pode predefinir um segundo limite predefinido S2_th(G) correspondente a cada gesto de mão G. Quando a força operacional S correspondente ao gesto de mão G for menor que o segundo limite predefinido S2_th(G) correspondente ao gesto de mão G, é considerado que a instrução de toque Touch_eff termina, e a instrução de toque Touch_eff é apagada. O segundo limite predefinido S2_th(G) pode ser definido de acordo com uma exigência.[0046] A processing device may preset a second predefined threshold S2_th(G) corresponding to each hand gesture G. When the operating force S corresponding to the hand gesture G is less than the second preset threshold S2_th(G) corresponding to the gesture of G hand, the touch instruction Touch_eff is considered to be finished, and the touch instruction Touch_eff is erased. The second preset limit S2_th(G) can be set according to a requirement.

[0047] Opcionalmente, a etapa 111 pode ser realizada antes da etapa 109.[0047] Optionally, step 111 can be performed before step 109.

[0048] Opcionalmente, na modalidade supracitada, o método pode incluir adicionalmente: manter uma lista de instruções de toque, de modo a armazenar a instrução de toque. Quando uma nova instrução de toque é gerada, a instrução de toque é adicionada à lista de instruções de toque; e quando é determinado que uma instrução de toque termina, a instrução de toque é apagada da lista de instruções de toque.[0048] Optionally, in the aforementioned embodiment, the method may additionally include: maintaining a list of touch instructions, in order to store the touch instruction. When a new touch instruction is generated, the touch instruction is added to the touch instruction list; and when a touch instruction is determined to have ended, the touch instruction is cleared from the touch instruction list.

[0049] A Figura 2 é um fluxograma de uma segunda modalidade de um método de processamento de interação por toque, de acordo com a presente invenção. O método de processamento de interação por toque pode ser executado por um dispositivo de coleta de sinal eletromiográfico, por exemplo, múltiplas placas de eletrodo de coleta de sinal eletromiográfico ou um dispositivo de coleta de sinal eletromiográfico do tipo pulseira. O dispositivo de coleta de sinal eletromiográfico pode ser qualquer dispositivo que possa coletar um sinal eletromiográfico de superfície de múltiplos canais, que não é limitado nessa modalidade da presente invenção. Nessa modalidade, o dispositivo de coleta de sinal eletromiográfico pode identificar um evento de operação de toque de um usuário e pode definir o evento de operação de toque do usuário com um evento de toque eletromiográfico Touch_EMG. Conforme mostrado na Figura 2, o método de processamento de interação por toque pode incluir:[0049] Figure 2 is a flowchart of a second embodiment of a touch interaction processing method according to the present invention. The touch interaction processing method may be performed by an EMG signal collection device, for example, multiple EMG signal collection electrode plates or a bracelet-type EMG signal collection device. The electromyographic signal collection device can be any device that can collect a multi-channel surface electromyographic signal, which is not limited in this embodiment of the present invention. In this embodiment, the EMG signal collection device can identify a touch operation event of a user and can define the user touch operation event with an EMG touch event Touch_EMG. As shown in Figure 2, the touch interaction processing method can include:

[0050] Etapa 201: O dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície S1 de múltiplos canais.[0050] Step 201: The electromyographic signal collection device periodically collects surface electromyographic signals S1 from multiple channels.

[0051] O dispositivo de coleta de sinal eletromiográfico pode incluir múltiplos eletrodos que podem coletar sinais eletromiográficos de superfície, e cada eletrodo coleta um sinal eletromiográfico de superfície de um canal. Quando o usuário realiza uma operação de múltiplos toques, o dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície S1 dos múltiplos canais. Um período de coleta pode ser definido de acordo com uma exigência. Opcionalmente, o pré-processamento pode ser realizado nos sinais eletromiográficos de superfície S1 dos múltiplos canais. Um processo de pré-processamento pode incluir: realizar um processamento de amplificação de sinal, interferência de frequência de potência e processamento de interceptação, processamento de filtragem ou semelhantes nos sinais eletromiográficos de superfície coletados S1 dos múltiplos canais.[0051] The electromyographic signal collection device may include multiple electrodes that can collect surface electromyographic signals, and each electrode collects a surface electromyographic signal from one channel. When the user performs a multitouch operation, the EMG signal collection device periodically collects surface EMG signals S1 from the multiple channels. A collection period can be defined according to a requirement. Optionally, pre-processing can be performed on the multi-channel S1 surface EMG signals. A pre-processing process may include: performing signal amplification processing, power frequency interference and intercept processing, filtering processing or the like on the collected surface electromyographic signals S1 from the multiple channels.

[0052] De preferência, o dispositivo de coleta de sinal eletromiográfico pode ser disposto em um braço do usuário. Caso tanto a mão esquerda quanto a mão direita do usuário sejam usados para realizar uma operação de toque, um dispositivo de coleta de sinal eletromiográfico precisa ser disposto em cada braço. Cada dispositivo de coleta de sinal eletromiográfico tem um identificador de dispositivo (ID de dispositivo) correspondente ao dispositivo de coleta de sinal eletromiográfico. O ID de dispositivo pode ser usado para distinguir exclusivamente entre os dispositivos de coleta de sinal eletromiográfico. O ID de dispositivo pode ser um número, uma letra ou pode ser estar em qualquer forma, o que não está limitado nessa modalidade da presente invenção. Quando um usuário realizar uma operação de múltiplos toques, o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir entre uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, de modo que possa implantado que um único usuário realize uma operação de toque com duas mãos ou múltiplos usuários realizem operações de toque em uma mesma região simultaneamente sem causar uma operação de toque equívoca.[0052] Preferably, the electromyographic signal collection device can be arranged on a user's arm. If both the user's left and right hand are used to perform a touch operation, an EMG signal collection device needs to be placed on each arm. Each EMG signal collection device has a device identifier (Device ID) corresponding to the EMG signal collection device. Device ID can be used to uniquely distinguish between EMG signal collection devices. The device ID can be a number, a letter or it can be in any form, which is not limited in this embodiment of the present invention. When a user performs a multi-touch operation, the device identifier of the EMG signal collection device can be used to distinguish between one of the touch operations that are performed by different users and a touch operation that is performed by the same user. user with the use of the left hand and the right hand, so that it can be implemented that a single user performs a touch operation with two hands or multiple users perform touch operations in the same region simultaneously without causing an ambiguous touch operation.

[0053] Etapa 203: O dispositivo de coleta de sinal eletromiográfico determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determina um primeiro tempo de início de toque de acordo com o gesto de mão. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico.[0053] Step 203: The electromyographic signal collection device determines, according to a time and frequency domain resource of surface electromyographic signals S1, a hand gesture in which a user performs a touch; and determines a first ring start time according to the hand gesture. The first touch start time is a start time at which the user performs a touch operation and which is identified by the EMG signal collection device.

[0054] Opcionalmente, em que o dispositivo de coleta de sinal eletromiográfico determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão (G) no qual um usuário realiza a toque pode incluir especificamente:[0054] Optionally, in which the electromyographic signal collection device determines, according to a time and frequency domain resource of surface electromyographic signals S1, a hand gesture (G) in which a user performs the touch can include specifically:

[0055] O dispositivo de coleta de sinal eletromiográfico determina o gesto de mão G de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão. De maneira específica, um tipo do gesto de mão G é determinado com o uso de um algoritmo de análise discriminante linear (Linear Discriminant Analysis, LDA a título de concisão) ou um algoritmo de máquina de vetores de suporte (Support Vector Machine, SVM a título de concisão). Um método para determinar o tipo do gesto de mão não é limitado nessa modalidade da presente invenção.[0055] The electromyographic signal collection device determines the hand gesture G according to an amplitude and with a frequency that are from the surface electromyographic signals S1 based on a type of a hand gesture. Specifically, a type of hand gesture G is determined using either a Linear Discriminant Analysis algorithm (LDA for brevity) or a Support Vector Machine algorithm (SVM a concise title). A method for determining the type of hand gesture is not limited to this embodiment of the present invention.

[0056] O tipo do gesto de mão G pode ser um gesto de mão de um único dedo de uma única mão ou pode ser um gesto de mão de múltiplos dedos de uma única mão. Cada tipo de gesto de mão G tem uma quantidade N1 de pontos de toque que é correspondente ao tipo de gesto de mão G. Por exemplo, uma quantidade N1 de pontos de toque que é correspondente a um gesto de um polegar de uma única mão é 1, e uma quantidade N1 de pontos de toque que é correspondente a um gesto de uma combinação de um dedo indicador e um dedo anelar que são de uma única mão é 2. O tipo do gesto de mão G não é limitada nessa modalidade da presente invenção. Opcionalmente, a fim de identificar um gesto de mão, uma definição de gesto de mão é predefinida e apenas um gesto de mão na definição pode ser identificado. O gesto de mão na definição pode incluir um gesto de mão comum na técnica ou pode ser um novo gesto de mão predefinido, o que não é limitado nessa modalidade da presente invenção.[0056] The G hand gesture type can be a single finger hand gesture of a single hand or it can be a multiple finger hand gesture of a single hand. Each hand gesture type G has an N1 amount of touch points that corresponds to the hand gesture type G. For example, an N1 amount of touch points that corresponds to a thumb gesture of a single hand is 1, and an N1 amount of touch points that is corresponding to a gesture of a combination of an index finger and a ring finger that are of a single hand is 2. The type of the G hand gesture is not limited in this embodiment of the present invention. Optionally, in order to identify a hand gesture, a hand gesture definition is predefined and only one hand gesture in the definition can be identified. The hand gesture in the definition may include a hand gesture common in the art or it may be a new predefined hand gesture, which is not limited in that embodiment of the present invention.

[0057] Opcionalmente, a determinação de um primeiro tempo de início de toque (T1) de acordo com o gesto de mão G pode incluir especificamente o seguinte: após adquirir o gesto de mão G, o dispositivo de coleta de sinal eletromiográfico define a operação de toque como o evento de toque eletromiográfico Touch_EMG e adquire um tempo de sistema atual e usa o tempo de sistema atual como o primeiro tempo de início de toque T1 no evento de toque eletromiográfico Touch_EMG.[0057] Optionally, the determination of a first touch start time (T1) according to the G hand gesture can specifically include the following: after acquiring the G hand gesture, the electromyographic signal collection device defines the operation as the Touch_EMG EMG touch event and acquires a current system time and uses the current system time as the first T1 touch start time in the Touch_EMG EMG touch event.

[0058] Etapa 205: O dispositivo de coleta de sinal eletromiográfico envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0058] Step 205: The electromyographic signal collection device sends first information to a processing device, so that the processing device generates a touch instruction according to the first information and with the second information that is sent by a location capture device and perform a corresponding interaction operation. The first information includes a device identifier of the EMG signal collection device, the hand gesture and the first touch start time. The second piece of information includes a number of tap points on which the user taps, a second tap start time, and coordinate information for each tap point. The second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device.

[0059] De acordo com o método de processamento de interação por toque fornecido nessa modalidade da presente invenção, um dispositivo de coleta de sinal eletromiográfico coleta periodicamente os sinais eletromiográficos de superfície de múltiplos canais, determina um gesto de mão de uma operação de toque e determina um primeiro tempo de início de toque de acordo com o gesto de mão. O dispositivo de coleta de sinal eletromiográfico envia as primeiras informações que incluem um identificador de dispositivo, o gesto de mão e o primeiro tempo de início de toque a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0059] According to the touch interaction processing method provided in this embodiment of the present invention, an electromyographic signal collection device periodically collects surface electromyographic signals from multiple channels, determines a hand gesture of a touch operation and determines a first ring start time according to the hand gesture. The EMG signal collection device sends the first information including a device identifier, the hand gesture and the first touch start time to a processing device, so that the processing device generates a touch instruction accordingly. with the first information and with the second information that is sent by a location capture device, and perform a corresponding interaction operation. Due to the fact that the device identifier of the EMG signal collection device can be used to distinguish one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the hand left- and right-handed, it can be implemented that a single user performs a two-handed touch operation or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0060] Opcionalmente, na modalidade supracitada, o método pode incluir adicionalmente: determinar, pelo dispositivo de coleta de sinal eletromiográfico de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, a força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. A determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.[0060] Optionally, in the aforementioned modality, the method may additionally include: determining, by the electromyographic signal collection device according to the time and frequency domain resource of the surface electromyographic signals S1, the operational force with which the user perform the touch. The first information additionally includes the operational force. Determining a first ring start time according to a hand gesture determines the first ring start time according to the hand gesture and operating force.

[0061] Opcionalmente, a determinação da força operacional (S) na qual o usuário realiza o toque pode incluir especificamente: adquirir, por meio do dispositivo de coleta de sinal eletromiográfico, um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e o cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.[0061] Optionally, determining the operating force (S) at which the user performs the touch may specifically include: acquiring, through the electromyographic signal collection device, a single channel electromyographic signal S2, performing the superimposition and the averaging the surface EMG signals S1, calculating an average amplitude of the single-channel EMG signal S2 using a sliding time window, and using the average amplitude of the single-channel EMG signal S2 as the operating force S.

[0062] A janela de tempo deslizante inclui uma largura I da janela de tempo deslizante e uma etapa de deslizamento J da janela de tempo deslizante. Os valores dos parâmetros podem ser definidos de acordo com uma exigência. Opcionalmente, a janela de tempo deslizante pode incluir adicionalmente uma quantidade de tempo de cálculo K da janela de tempo deslizante, em que K é um número inteiro maior que 1. A largura I da janela de tempo deslizante representa uma amplitude média Z1 realizando-se um cálculo de média em I valores do sinal eletromiográfico de canal único S2. A etapa de deslizamento J da janela de tempo deslizante representa calcular uma amplitude média de I valores do sinal eletromiográfico de canal único S2 em um intervalo de tempo regular J. A quantidade dos tempos de cálculo K da janela de tempo deslizante representa obter uma amplitude média Z2 realizando-se um cálculo de média em K resultados de cálculo. A amplitude média Z1 ou a amplitude média Z2 pode ser usada como a força operacional S. Por exemplo, é definida que I são cinco segundos, J é um segundo e K são 3. As etapas específicas do cálculo de uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e o uso da amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S são: calcular uma amplitude média Z1 do sinal eletromiográfico de canal único S2 em cinco segundos, calcular uma amplitude média Z1 a cada segundo, obter uma amplitude média Z2 realizando- se o cálculo de média em três amplitudes médias consecutivas Z1, e usar a amplitude média Z2 como a força operacional S.[0062] The sliding time window includes a sliding time window I width and a sliding time step J sliding time window. Parameter values can be set according to a requirement. Optionally, the sliding time window can additionally include a calculation time amount K of the sliding time window, where K is an integer greater than 1. The width I of the sliding time window represents an average amplitude Z1 taking place an average calculation on I values of the single channel electromyographic signal S2. Sliding time step J of sliding time window represents calculating an average amplitude of I values of single-channel EMG signal S2 in a regular time interval J. Amount of calculation times K of sliding time window represents obtaining average amplitude Z2 by performing an average calculation on K calculation results. The average amplitude Z1 or the average amplitude Z2 can be used as the operating force S. For example, it is defined that I is five seconds, J is one second and K is 3. The specific steps of calculating an average amplitude of the EMG signal single-channel EMG signal S2 using a sliding time window and using the average amplitude of the single-channel EMG signal S2 as the operating force S are: calculate an average amplitude Z1 of the single-channel EMG signal S2 in five seconds, calculate an average Z1 amplitude every second, obtain a Z2 average amplitude by averaging over three consecutive Z1 average amplitudes, and use the Z2 average amplitude as the operating force S.

[0063] Opcionalmente, a determinação do primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir especificamente: após o gesto de mão G e a força operacional S serem adquiridos, determinar o primeiro tempo de início de toque T1 consultando-se uma tabela, em que um primeiro limite predefinido S_th(G) de força operacional correspondente a cada gesto de mão G é pré-armazenado na tabela; e caso a força operacional S adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido S_th(G), adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque T1.[0063] Optionally, determining the first touch start time according to the hand gesture and the operating force can specifically include: after the hand gesture G and the operating force S are acquired, determine the first start time touch T1 by referring to a table, where a first predefined limit S_th(G) of operating force corresponding to each G hand gesture is pre-stored in the table; and in case the operating force S acquired according to the surface EMG signals S1 is greater than the first preset threshold S_th(G), acquire a current system time and use the current system time as the first ring start time T1 .

[0064] Na definição de gesto de mão predefinida, um primeiro limite predefinido correspondente S_th(G) é predefinida para cada gesto de mão G. O primeiro limite predefinido S_th(G) pode ser definido de acordo com uma exigência. Após o gesto de mão G e a força operacional correspondente S serem adquiridas, caso seja determinado que a força operacional S é maior que o primeiro limite predefinido S_th(G) correspondente ao gesto de mão G, ou seja, S>S_th(G), considera-se que a operação de toque é uma operação de toque válida e a operação de toque é definida como o evento de toque eletromiográfico Touch_EMG, e o tempo de sistema atual é adquirido e usado como o primeiro tempo de início de toque T1 do evento de toque eletromiográfico Touch_EMG.[0064] In the predefined hand gesture definition, a corresponding first predefined limit S_th(G) is predefined for each hand gesture G. The first predefined limit S_th(G) can be defined according to a requirement. After the hand gesture G and the corresponding operational strength S are acquired, if it is determined that the operational strength S is greater than the first predefined threshold S_th(G) corresponding to the hand gesture G, i.e. S>S_th(G) , the touch operation is considered to be a valid touch operation, and the touch operation is defined as the EMG touch event Touch_EMG, and the current system time is acquired and used as the first touch start time T1 of the electromyographic touch event Touch_EMG.

[0065] Opcionalmente, na modalidade supracitada, em que o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização inclui: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.[0065] Optionally, in the aforementioned mode, in which the processing device generates a touch instruction according to the first information and the second information that is sent by a location capture device includes: after determining that a time interval between the first touch start time and the second touch start time is less than a predefined threshold and that an amount of touch points that corresponds to the hand gesture is equal to the amount of touch points that are included in the second information, the processing device generates the touch instruction. The touch instruction can include the device identifier of the EMG signal collection device, the hand gesture, and coordinate information for each touch point. Optionally, the touch instruction can additionally include the operating force with which the user performs the touch.

[0066] Deve-se verificar que a instrução de toque inclui o gesto de mão G e um recurso adicional pode ser definido para o gesto de mão G, de modo a enriquecer as informações incluídas na instrução de toque. Por exemplo, quando o gesto de mão for um gesto de um único dedo de uma única mão, as instruções de toque diferentes podem ser geradas de acordo com dedos diferentes e pode ser definido que um polegar representa o movimento panorâmico de objeto, um dedo indicador representa a seleção por meio de tocadela e semelhantes; quando o gesto de mão for um gesto de um único dedo de uma única mão e uma instrução de toque gerada for um desenho a traço, pode ser definido que dedos diferentes representam cores ou tipos de traço diferentes; ou quando o gesto de mão for um gesto de múltiplos dedos de uma única mão, as instruções de toque diferentes podem ser geradas de acordo com uma combinação de diferentes dedos e pode ser definido que um polegar mais um dedo indicador representam escalonamento, um dedo indicador mais um dedo anelar representam ajuste de volume e um polegar mais um dedo anelar representam ajuste de brilho. Uma definição específica do gesto de mão G não é limitada nessa modalidade da presente invenção.[0066] It should be verified that the touch instruction includes the G hand gesture and an additional resource can be defined for the G hand gesture, in order to enrich the information included in the touch instruction. For example, when the hand gesture is a single finger gesture of a single hand, different touch instructions can be generated according to different fingers and it can be defined that a thumb represents object panning, an index finger represents selection via tapping and the like; when the hand gesture is a single-finger single-hand gesture and a generated touch instruction is a line drawing, different fingers can be defined to represent different colors or stroke types; or when the hand gesture is a multi-finger gesture of a single hand, different touch instructions can be generated according to a combination of different fingers, and it can be defined that a thumb plus an index finger represent scaling, an index finger plus a ring finger represent volume adjustment and a thumb plus a ring finger represent brightness adjustment. A specific definition of the hand gesture G is not limited in this embodiment of the present invention.

[0067] Deve-se verificar que a instrução de toque pode incluir adicionalmente a força operacional S e um recurso adicional pode ser definido para a força operacional S, de modo a enriquecer as informações incluídas na instrução de toque. Por exemplo, quando a instrução de toque gerada for um desenho a traço, pode ser definido que um valor da força operacional representa uma largura de um traço; ou quando a instrução de toque gerada for um ajuste de volume, pode ser definido que um valor da força operacional representa um valor de volume. Uma definição específica da força operacional S não é limitada nessa modalidade da presente invenção.[0067] It should be verified that the touch instruction can additionally include the operational strength S and an additional resource can be defined for the operational strength S, in order to enrich the information included in the touch instruction. For example, when the generated touch instruction is a line drawing, it can be defined that an operational force value represents a width of a line; or when the generated touch instruction is a volume adjustment, it can be defined that an operating force value represents a volume value. A specific definition of operational force S is not limited in this embodiment of the present invention.

[0068] A Figura 3 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção. Conforme mostrado na Figura 3, o dispositivo de processamento pode incluir: um módulo de recebimento de informações 11, configurado para receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações incluem uma quantidade de pontos de toque nos quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque; sendo que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificada pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificada pelo dispositivo de captura de localização; um módulo de geração de instrução 13 configurado para: caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluído nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e um módulo de execução de instrução 15 configurado para realizar uma operação de interação correspondente à instrução de toque.[0068] Figure 3 is a schematic structural diagram of a first embodiment of a processing device, according to the present invention. As shown in Figure 3, the processing device may include: an information receiving module 11, configured to receive first information sent by an electromyographic signal collection device and second information sent by a location capture device, in which the first information includes a device identifier of the EMG signal collection device, a hand gesture in which a user performs a tap, and a first tap start time; the second information includes a number of touch points on which the user performs the touch, a second touch start time and coordinate information of each touch point; wherein the first touch start time is a start time in which the user performs a touch operation and which is identified by the electromyographic signal collection device; and the second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device; an instruction generation module 13 configured to: if it is determined that a time interval between the first ring start time and the second ring start time is less than a predefined threshold and that a number of ring points that is corresponding to the hand gesture is equal to the amount of touch points that is included in the second information, generate a touch instruction, where the touch instruction includes the device identifier of the EMG signal collection device, the hand gesture, and the coordinate information of each touch point; and an instruction execution module 15 configured to perform an interaction operation corresponding to the touch instruction.

[0069] Além disso, o módulo de geração de instrução 13 é configurado adicionalmente para atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque que é enviado pelo dispositivo de coleta de sinal eletromiográfico e que é recebido continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.[0069] In addition, the instruction generation module 13 is additionally configured to update the touch instruction according to the hand gesture in which the user performs the touch that is sent by the electromyographic signal collection device and that is received continuously by the information receiving module and the coordinate information of each touch point that is sent by the location capture device.

[0070] Opcionalmente, as primeiras informações podem incluir adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque pode incluir adicionalmente a força operacional.[0070] Optionally, the first information may additionally include operational force with which the user performs the touch, and the touch instruction may additionally include the operational force.

[0071] Opcionalmente, o módulo de geração de instrução 13 é configurado adicionalmente para atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque e a força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e que são recebidos continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.[0071] Optionally, the instruction generation module 13 is additionally configured to update the touch instruction according to the hand gesture in which the user performs the touch and the operating force with which the user performs the touch that are sent by the electromyographic signal collection device and which are continuously received by the information receiving module and the coordinate information of each touch point which is sent by the location capture device.

[0072] Opcionalmente, o módulo de geração de instrução 13 é configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que a instrução de toque termina e apagar a instrução de toque.[0072] Optionally, the instruction generation module 13 is additionally configured for: if it is determined that the operating force is less than a second predefined limit, determine that the touch instruction ends and delete the touch instruction.

[0073] Opcionalmente, o dispositivo de coleta de sinal eletromiográfico pode incluir adicionalmente um módulo de armazenamento 17 configurado para manter uma lista de instruções de toque e configurado para armazenar a instrução de toque.[0073] Optionally, the electromyographic signal collection device may additionally include a storage module 17 configured to maintain a list of touch instructions and configured to store the touch instruction.

[0074] Deve-se verificar que uma forma do dispositivo de processamento não é limitada nessa modalidade da presente invenção. O dispositivo de processamento pode ser um chip, um telefone inteligente, um computador, um servidor ou semelhantes ou pode ser outro dispositivo que tem uma capacidade de cálculo ou de armazenamento.[0074] It should be noted that a form of processing device is not limited in this embodiment of the present invention. The processing device may be a chip, a smart phone, a computer, a server or the like, or it may be another device having a computing or storage capability.

[0075] De acordo com o dispositivo de processamento fornecido nessa modalidade da presente invenção, um módulo de recebimento de informações recebe primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização; um módulo de geração de instrução gera uma instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão e informações de coordenada de cada ponto de toque; e um módulo de execução de instrução realiza uma operação de interação correspondente à instrução de toque. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0075] According to the processing device provided in this embodiment of the present invention, an information receiving module receives first information sent by an electromyographic signal collection device and second information sent by a location capture device; an instruction generation module generates a touch instruction, wherein the touch instruction includes a device identifier of the EMG signal collection device, a hand gesture and coordinate information of each touch point; and an instruction execution module performs an interaction operation corresponding to the touch instruction. Due to the fact that the device identifier of the EMG signal collection device can be used to distinguish one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the hand left- and right-handed, it can be implemented that a single user performs a two-handed touch operation or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0076] A Figura 4 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção. Conforme mostrado na Figura 4, o dispositivo de coleta de sinal eletromiográfico pode incluir: um módulo de coleta 21 configurado para coletar periodicamente os sinais eletromiográficos de superfície S1 a partir de múltiplos canais; um módulo de processamento 23 configurado para determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e um módulo de envio 25 configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize a operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0076] Figure 4 is a schematic structural diagram of a first embodiment of an electromyographic signal collection device according to the present invention. As shown in Figure 4, the electromyographic signal collection device may include: a collection module 21 configured to periodically collect surface electromyographic signals S1 from multiple channels; a processing module 23 configured to determine, according to a time and frequency domain resource of the surface electromyographic signals S1, a hand gesture in which a user performs a touch; and determining a first touch start time according to the hand gesture, wherein the first touch start time is a start time at which the user performs a touch operation and which is identified by the signal collection device electromyographic; and a sending module 25 configured to send first information to a processing device, such that the processing device generates a touch instruction in accordance with the first information and with the second information that is sent by a location capturing device and perform the corresponding interaction operation. The first information includes a device identifier of the EMG signal collection device, the hand gesture and the first touch start time. The second piece of information includes a number of tap points on which the user taps, a second tap start time, and coordinate information for each tap point. The second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device.

[0077] Opcionalmente, em que um módulo de processamento 23 determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque inclui: o módulo de processamento 23 determina o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.[0077] Optionally, in which a processing module 23 determines, according to a time and frequency domain resource of the surface electromyographic signals S1, a hand gesture in which a user performs a touch includes: the processing module 23 determines the hand gesture according to an amplitude and with a frequency that are of the surface electromyographic signals S1 based on a type of a hand gesture.

[0078] Opcionalmente, o módulo de processamento 23 pode ser configurado adicionalmente para determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, a força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. Consequentemente, a determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.[0078] Optionally, the processing module 23 can be additionally configured to determine, according to the time and frequency domain resource of surface electromyographic signals S1, the operational force with which the user performs the touch. The first information additionally includes the operational force. Accordingly, determining a first ring start time according to a hand gesture determines the first ring start time according to the hand gesture and operating force.

[0079] Opcionalmente, em que o módulo de processamento 23 determina a força operacional com a qual o usuário realiza o toque pode incluir: o módulo de processamento 23 obtém um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcula uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usa a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.[0079] Optionally, in which the processing module 23 determines the operational force with which the user performs the touch, it can include: the processing module 23 obtains a single channel electromyographic signal S2, performing the superimposition and averaging on the surface EMG signals S1, calculates an average amplitude of the single-channel EMG signal S2 using a sliding time window, and uses the average amplitude of the single-channel EMG signal S2 as the operating force S.

[0080] Opcionalmente, em que o módulo de processamento 23 determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir: após adquirir o gesto de mão e a força operacional, o módulo de processamento 23 determina o primeiro tempo de início de toque consultando-se uma tabela, em que um primeiro limite predefinido de força operacional correspondente a cada gesto de mão é pré-armazenado na tabela; e caso a força operacional adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido, adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque.[0080] Optionally, in which the processing module 23 determines the first touch start time according to the hand gesture and the operational force can include: after acquiring the hand gesture and the operational force, the processing module 23 determines the first ring start time by consulting a table, wherein a first predefined operating force threshold corresponding to each hand gesture is pre-stored in the table; and in case the operating force acquired according to the surface EMG signals S1 is greater than the first preset threshold, acquire a current system time and use the current system time as the first ring start time.

[0081] Opcionalmente, em que o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização pode incluir: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.[0081] Optionally, in which the processing device generates a touch instruction according to the first information and the second information that is sent by a location capture device can include: after determining that a time interval between the first touch start time and the second touch start time is less than a predefined threshold, and a touch point amount that is corresponding to the hand gesture is equal to the touch point amount that is included in the second information, the device processing generates the touch instruction. The touch instruction can include the device identifier of the EMG signal collection device, the hand gesture, and coordinate information for each touch point. Optionally, the touch instruction can additionally include the operating force with which the user performs the touch.

[0082] Deve-se verificar que uma forma do dispositivo de coleta de sinal eletromiográfico não é limitada nessa modalidade da presente invenção. O dispositivo de coleta de sinal eletromiográfico pode estar em uma forma de um dispositivo vestível, tal como uma pulseira, ou um relógio ou pode ser múltiplos eletrodos que podem coletar um sinal eletromiográfico de superfície.[0082] It should be noted that a form of electromyographic signal collection device is not limited in this embodiment of the present invention. The EMG signal collection device may be in the form of a wearable device, such as a bracelet or watch, or it may be multiple electrodes that can collect a surface EMG signal.

[0083] De acordo com o dispositivo de coleta de sinal eletromiográfico fornecido nessa modalidade da presente invenção, um módulo de coleta sinais eletromiográficos de superfície S1 de múltiplos canais; um módulo de processamento determina um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; e um módulo de envio envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0083] According to the electromyographic signal collection device provided in this embodiment of the present invention, a multi-channel surface electromyographic signal collection module S1; a processing module determines a hand gesture in which a user performs a tap and a first tap start time; and a sending module sends first information to a processing device, so that the processing device generates a touch instruction in accordance with the first information and with the second information that is sent by a location capture device and performs a corresponding interaction operation, where the touch instruction includes a device identifier of the EMG signal collection device, the hand gesture, and coordinate information of each touch point. Due to the fact that the device identifier corresponding to the EMG signal collection device can be used to distinguish between one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the Left-handed and right-handed, it can be implemented that a single user performs a touch operation with two hands or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0084] A Figura 5 é um diagrama estrutural esquemático de uma primeira modalidade de um sistema de processamento de toque, de acordo com a presente invenção. Conforme mostrado na Figura 5, o sistema de processamento de toque pode incluir um dispositivo de captura de localização 105, um dispositivo de processamento 103 e pelo menos um dispositivo de coleta de sinal eletromiográfico 101. O dispositivo de captura de localização 105 pode ser qualquer dispositivo existente que pode adquirir uma quantidade de pontos de toque de uma operação de toque, um tempo de início de toque e coordenadas de um ponto de toque. O dispositivo de processamento 103 pode usar uma estrutura do dispositivo modalidade na Figura 3 e, consequentemente, pode executar uma solução técnica do método modalidade na Figura 1. O dispositivo de coleta de sinal eletromiográfico 101 pode usar uma estrutura do dispositivo modalidade na Figura 4 e, consequentemente, pode executar a solução técnica do método modalidade na Figura 2.[0084] Figure 5 is a schematic structural diagram of a first embodiment of a touch processing system, in accordance with the present invention. As shown in Figure 5, the touch processing system can include a location capture device 105, a processing device 103 and at least one electromyographic signal collection device 101. The location capture device 105 can be any device that can acquire a touch operation touch point quantity, a touch start time, and touch point coordinates. The processing device 103 can use a structure of the modality device in Figure 3 and, accordingly, can perform a technical solution of the modality method in Figure 1. The EMG signal collection device 101 can use a structure of the modality device in Figure 4 and , consequently, can perform the technical solution of the modality method in Figure 2.

[0085] Tanto o dispositivo de coleta de sinal eletromiográfico 101 quanto o dispositivo de captura de localização 105 são conectados comunicativamente ao dispositivo de processamento 103. O dispositivo de coleta de sinal eletromiográfico 101 e o dispositivo de captura de localização 105 podem se comunicar separadamente com o dispositivo de processamento 103 com o uso de uma rede cabeada, de uma rede sem fio, Bluetooth, WiFi ou semelhantes.[0085] Both the electromyographic signal collecting device 101 and the location capturing device 105 are communicatively connected to the processing device 103. The electromyographic signal collecting device 101 and the location capturing device 105 can communicate separately with the processing device 103 using a wired network, a wireless network, Bluetooth, WiFi or the like.

[0086] Opcionalmente, o dispositivo de captura de localização 105 pode incluir um módulo de captação capacitivo 1031, um módulo de captação infravermelho 1033 e um módulo de captação ultrassônico 1035. O módulo de captação capacitivo 1031 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de uma tela sensível ao toque capacitiva. O módulo de captação infravermelho 1033 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque infravermelho. O módulo de captação ultrassônico 1035 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque ultrassônico.[0086] Optionally, the location capture device 105 may include a capacitive capture module 1031, an infrared capture module 1033 and an ultrasonic capture module 1035. The capacitive capture module 1031 is configured to obtain the number of points of touch operation touch, touch start time, and touch point coordinates using a capacitive touch screen. Infrared pick-up module 1033 is configured to obtain touch point quantity of touch operation, touch start time, and touch point coordinates using an infrared touch pick-up system. The 1035 ultrasonic pickup module is configured to obtain the touch operation touch point quantity, touch start time, and touch point coordinates using an ultrasonic touch pickup system.

[0087] Opcionalmente, o dispositivo de captura de localização 105 e o dispositivo de processamento 103 podem ser integrados ou podem ser dispostos independentemente.[0087] Optionally, the location capturing device 105 and the processing device 103 can be integrated or can be arranged independently.

[0088] Opcionalmente, o sistema de processamento de toque pode incluir adicionalmente um aparelho de retroalimentação de usuário 107, configurado para exibir um resultado de execução de uma instrução de toque; por exemplo, o aparelho de retroalimentação de usuário 107 é uma tela de exibição de LED, um dispositivo de exibição projetor, um alto-falante ou um aparelho de retroalimentação tátil. Opcionalmente, o aparelho de retroalimentação de usuário 107 pode incluir um módulo de exibição 1071, um módulo de som 1073 e um módulo de retroalimentação tátil 1075.[0088] Optionally, the touch processing system may further include a user feedback apparatus 107, configured to display a result of executing a touch instruction; for example, user feedback apparatus 107 is an LED display screen, a projector display device, a loudspeaker, or a haptic feedback apparatus. Optionally, user feedback apparatus 107 may include a display module 1071, a sound module 1073, and a tactile feedback module 1075.

[0089] Deve-se verificar que o sistema de processamento de toque fornecido nessa modalidade da presente invenção pode ser aplicado a um dispositivo de toque eletrônico tradicional, tal como um telefone móvel sensível ao toque ou um computador sensível ao toque, ou pode ser aplicado a múltiplos campos, tais como educação, escritório empresarial, entretenimento e exibição de anúncios; por exemplo, a área de trabalho de uma mesa é usada para ensinar arte, a área de trabalho da mesa é usada como um papel para pintura, um dedo é usado como uma caneta para pintura e múltiplos estudantes completam uma pintura juntos no papel para pintura.[0089] It should be noted that the touch processing system provided in this embodiment of the present invention can be applied to a traditional electronic touch device, such as a touch-sensitive mobile phone or a touch-sensitive computer, or can be applied to multiple fields, such as education, corporate office, entertainment, and display advertising; for example, the desktop of a table is used to teach art, the desktop of the table is used as a painting paper, a finger is used as a pen to paint, and multiple students complete a painting together on the painting paper .

[0090] A Figura 6 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de processamento, de acordo com a presente invenção. Conforme mostrado na Figura 6, o dispositivo de processamento pode incluir um receptor 31, uma primeira memória 33 e um processador 35, em que o receptor 31 e a primeira memória 33 são conectados separadamente ao processador 35 com o uso de um barramento.[0090] Figure 6 is a schematic structural diagram of a first embodiment of a processing device according to the present invention. As shown in Figure 6, the processing device may include a receiver 31, a first memory 33 and a processor 35, wherein the receiver 31 and the first memory 33 are separately connected to the processor 35 using a bus.

[0091] O receptor 31 é configurado para receber as primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0091] The receiver 31 is configured to receive the first information sent by an electromyographic signal collection device and second information sent by a location capture device. First information includes a device identifier of the EMG signal collection device, a hand gesture in which a user taps, and a first tap start time. The second piece of information includes a number of tap points on which the user taps, a second tap start time, and coordinate information for each tap point. The first touch start time is a start time at which the user performs a touch operation and which is identified by the EMG signal collection device. The second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device.

[0092] A primeira memória 33 é configurada para armazenar uma instrução.[0092] The first memory 33 is configured to store an instruction.

[0093] O processador 35 é configurado para executar a instrução armazenada na primeira memória 33 de modo a realizar as seguintes etapas:[0093] The processor 35 is configured to execute the instruction stored in the first memory 33 in order to perform the following steps:

[0094] Caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluído nas segundas informações, gerar uma instrução de toque, em que a instrução de toque inclui o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e realizar uma operação de interação correspondente à instrução de toque.[0094] If it is determined that a time interval between the first touch start time and the second touch start time is less than a predefined threshold and an amount of touch points that is corresponding to the hand gesture is equal to the quantity of the touch points that is included in the second information, generate a touch instruction, where the touch instruction includes the device identifier of the EMG signal collection device, the hand gesture and the coordinate information of each touch point touch; and perform an interaction operation corresponding to the touch instruction.

[0095] Opcionalmente, o processador 35 pode ser configurado adicionalmente para realizar a seguinte etapa: atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque que é enviado pelo dispositivo de coleta de sinal eletromiográfico e que é recebido continuamente por um módulo de recebimento de informações, e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.[0095] Optionally, the processor 35 can be additionally configured to perform the following step: update the touch instruction according to the hand gesture in which the user performs the touch that is sent by the electromyographic signal collection device and that is continuously received by an information receiving module, and the coordinate information of each touch point that is sent by the location capture device.

[0096] Opcionalmente, as primeiras informações podem incluir adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque pode incluir adicionalmente a força operacional.[0096] Optionally, the first information may additionally include operational force with which the user performs the touch, and the touch instruction may additionally include the operational force.

[0097] Opcionalmente, o processador 35 pode ser configurado adicionalmente para: atualizar a instrução de toque de acordo com o gesto de mão no qual o usuário realiza o toque e com a força operacional com a qual o usuário realiza o toque que são enviados pelo dispositivo de coleta de sinal eletromiográfico e que são recebidos continuamente pelo módulo de recebimento de informações e as informações de coordenada de cada ponto de toque que são enviadas pelo dispositivo de captura de localização.[0097] Optionally, the processor 35 can be additionally configured to: update the touch instruction according to the hand gesture in which the user performs the touch and the operating force with which the user performs the touch that are sent by the electromyographic signal collection device and that are continuously received by the information receiving module and the coordinate information of each touch point that is sent by the location capture device.

[0098] Opcionalmente, o processador 35 pode ser configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que a instrução de toque termina e apagar a instrução de toque.[0098] Optionally, the processor 35 can be additionally configured to: if it is determined that the operating force is less than a second predefined limit, determine that the touch instruction ends and delete the touch instruction.

[0099] Opcionalmente, o dispositivo de processamento pode incluir adicionalmente uma segunda memória 37, configurada para manter uma lista de instruções de toque, em que a instrução de toque é armazenada na lista de instruções de toque. A segunda memória 37 é conectada ao processador 35 com o uso de um barramento.[0099] Optionally, the processing device may additionally include a second memory 37, configured to maintain a list of touch instructions, in which the touch instruction is stored in the list of touch instructions. The second memory 37 is connected to the processor 35 using a bus.

[0100] Deve-se verificar que uma forma do dispositivo de processamento não é limitada nessa modalidade da presente invenção. O dispositivo de processamento pode ser um chip, um telefone inteligente, um computador, um servidor ou semelhantes ou pode ser outro dispositivo que tem uma capacidade de cálculo ou de armazenamento.[0100] It should be noted that a form of processing device is not limited in this embodiment of the present invention. The processing device may be a chip, a smart phone, a computer, a server or the like, or it may be another device having a computing or storage capability.

[0101] De acordo com o dispositivo de processamento fornecido nessa modalidade da presente invenção, um receptor recebe primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização; e um processador gera uma instrução de toque e realiza uma operação de interação correspondente à instrução de toque, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão e informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0101] According to the processing device provided in this embodiment of the present invention, a receiver receives first information sent by an electromyographic signal collection device and second information sent by a location capture device; and a processor generates a touch instruction and performs an interaction operation corresponding to the touch instruction, wherein the touch instruction includes a device identifier of the EMG signal collection device, a hand gesture, and coordinate information of each point touch. Due to the fact that the device identifier of the EMG signal collection device can be used to distinguish one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the hand left- and right-handed, it can be implemented that a single user performs a two-handed touch operation or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0102] A Figura 7 é um diagrama estrutural esquemático de uma primeira modalidade de um dispositivo de coleta de sinal eletromiográfico de acordo com a presente invenção. Conforme mostrado na Figura 7, o dispositivo de coleta de sinal eletromiográfico pode incluir um processador 41, um transmissor 43 e uma terceira memória 45, em que o transmissor 43 e a terceira memória 45 são conectados separadamente ao processador 41 com o uso de um barramento.[0102] Figure 7 is a schematic structural diagram of a first embodiment of an electromyographic signal collection device according to the present invention. As shown in Figure 7, the electromyographic signal collection device may include a processor 41, a transmitter 43 and a third memory 45, wherein the transmitter 43 and the third memory 45 are separately connected to the processor 41 using a bus .

[0103] A terceira memória 45 é configurada para armazenar uma instrução.[0103] The third memory 45 is configured to store an instruction.

[0104] O processador 41 é configurado para executar a instrução armazenada na terceira memória 45 de modo a realizar as seguintes etapas: coletar periodicamente sinais eletromiográficos de superfície S1 dos múltiplos canais; e determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico.[0104] The processor 41 is configured to execute the instruction stored in the third memory 45 in order to perform the following steps: periodically collect surface electromyographic signals S1 from the multiple channels; and determining, according to a time and frequency domain feature of surface electromyographic signals S1, a hand gesture in which a user performs a touch; and determining a first touch start time according to the hand gesture, wherein the first touch start time is a start time at which the user performs a touch operation and which is identified by the signal collection device electromyographic.

[0105] Opcionalmente, a determinação, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, de um gesto de mão no qual um usuário realiza um toque pode incluir: determinar o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.[0105] Optionally, the determination, according to a time and frequency domain feature of surface electromyographic signals S1, of a hand gesture in which a user performs a touch may include: determining the hand gesture according to a amplitude and with a frequency that are of the S1 surface electromyographic signals based on a type of a hand gesture.

[0106] O transmissor 43 é configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize a operação de interação correspondente. As primeiras informações incluem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e o primeiro tempo de início de toque. As segundas informações incluem uma quantidade de pontos de toque nas quais o usuário realiza o toque, um segundo tempo de início de toque e informações de coordenada de cada ponto de toque. O segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.[0106] The transmitter 43 is configured to send first information to a processing device, so that the processing device generates a touch instruction according to the first information and with the second information that is sent by a capture device location and perform the corresponding interaction operation. The first information includes a device identifier of the EMG signal collection device, the hand gesture and the first touch start time. The second piece of information includes a number of tap points on which the user taps, a second tap start time, and coordinate information for each tap point. The second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device.

[0107] Opcionalmente, o processador 41 pode ser configurado adicionalmente para realizar as seguintes etapas: determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque. As primeiras informações incluem adicionalmente a força operacional. Consequentemente, a determinação de um primeiro tempo de início de toque de acordo com um gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.[0107] Optionally, the processor 41 can be additionally configured to perform the following steps: determine, according to the time and frequency domain resource of surface electromyographic signals S1, operational force with which the user performs the touch. The first information additionally includes the operational force. Accordingly, determining a first ring start time according to a hand gesture determines the first ring start time according to the hand gesture and operating force.

[0108] Opcionalmente, a determinação da força operacional com a qual o usuário realiza o toque pode incluir: obter um sinal eletromiográfico de canal único S2 realizando-se a sobreposição e o cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.[0108] Optionally, determining the operating force with which the user performs the touch can include: obtaining a single channel electromyographic signal S2 by performing the superimposition and averaging on the surface electromyographic signals S1, calculating an average amplitude of the single-channel EMG signal S2 using a sliding time window and use the average amplitude of the single-channel EMG signal S2 as the operating force S.

[0109] Opcionalmente, a determinação do primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional pode incluir: após adquirir o gesto de mão e a força operacional, determinar o primeiro tempo de início de toque consultando-se uma tabela, em que um primeiro limite predefinido de força operacional correspondente a cada gesto de mão é pré- armazenado na tabela; e caso a força operacional adquirida de acordo com os sinais eletromiográficos de superfície S1 seja maior que o primeiro limite predefinido, adquirir um tempo de sistema atual e usar o tempo de sistema atual como o primeiro tempo de início de toque.[0109] Optionally, determining the first ringing start time according to the hand gesture and operating force can include: after acquiring the hand gesture and operating force, determining the first ringing starting time by referring to if a table, wherein a predefined first limit of operating force corresponding to each hand gesture is pre-stored in the table; and in case the operating force acquired according to the surface EMG signals S1 is greater than the first preset threshold, acquire a current system time and use the current system time as the first ring start time.

[0110] Opcionalmente, o dispositivo de processamento gera uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização pode incluir: após determinar que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido e uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está incluída nas segundas informações, o dispositivo de processamento gera a instrução de toque. A instrução de toque pode incluir o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Opcionalmente, a instrução de toque pode incluir adicionalmente a força operacional com a qual o usuário realiza o toque.[0110] Optionally, the processing device generates a touch instruction according to the first information and the second information that is sent by a location capture device can include: after determining that a time interval between the first time of touch start and second touch start time is less than a predefined threshold, and a touch point amount that is corresponding to the hand gesture is equal to the touch point amount that is included in the second information, the processing device generates the touch instruction. The touch instruction can include the device identifier of the EMG signal collection device, the hand gesture, and coordinate information for each touch point. Optionally, the touch instruction can additionally include the operating force with which the user performs the touch.

[0111] Deve-se verificar que uma forma do dispositivo de coleta de sinal eletromiográfico não é limitada nessa modalidade da presente invenção. O dispositivo de coleta de sinal eletromiográfico pode estar em uma forma de um dispositivo vestível, tal como uma pulseira, ou um relógio ou pode ser múltiplos eletrodos que podem coletar um sinal eletromiográfico de superfície.[0111] It should be noted that a form of electromyographic signal collection device is not limited in this embodiment of the present invention. The EMG signal collection device may be in the form of a wearable device, such as a bracelet or watch, or it may be multiple electrodes that can collect a surface EMG signal.

[0112] De acordo com o dispositivo de coleta de sinal eletromiográfico fornecido nessa modalidade da presente invenção, um processador coleta sinais eletromiográficos de superfície S1 de múltiplos canais e determina um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; e um transmissor envia primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com as segundas informações que são enviadas por um dispositivo de captura de localização e realize uma operação de interação correspondente, em que a instrução de toque inclui um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque. Devido ao fato de que o identificador de dispositivo correspondente ao dispositivo de coleta de sinal eletromiográfico pode ser usado para distinguir uma dentre as operações de toque que são realizadas por diferentes usuários e uma operação de toque que é realizada por um mesmo usuário com o uso da mão esquerda e da mão direita, pode ser implantado que um único usuário realiza uma operação de toque com duas mãos ou múltiplos usuários realizam operações de toque em uma mesma região simultaneamente sem causar uma instrução de toque equívoca.[0112] According to the electromyographic signal collection device provided in this embodiment of the present invention, a processor collects surface electromyographic signals S1 from multiple channels and determines a hand gesture in which a user performs a touch and a first start time touch; and a transmitter sends first information to a processing device, such that the processing device generates a touch instruction in accordance with the first information and second information that is sent by a location capturing device and performs a touch operation. corresponding interaction, where the touch instruction includes a device identifier of the EMG signal collection device, the hand gesture, and coordinate information for each touch point. Due to the fact that the device identifier corresponding to the EMG signal collection device can be used to distinguish between one of the touch operations that are performed by different users and a touch operation that is performed by the same user using the Left-handed and right-handed, it can be implemented that a single user performs a touch operation with two hands or multiple users perform touch operations on the same region simultaneously without causing an equivocal touch instruction.

[0113] A Figura 8 é um diagrama estrutural esquemático de uma segunda modalidade de um sistema de processamento de toque, de acordo com a presente invenção. Conforme mostrado na Figura 8, o sistema de processamento de toque pode incluir um dispositivo de captura de localização 205, um dispositivo de processamento 203 e pelo menos um dispositivo de coleta de sinal eletromiográfico 201. O dispositivo de captura de localização 205 pode ser qualquer dispositivo existente que pode adquirir uma quantidade de pontos de toque de uma operação de toque, um tempo de início de toque e coordenadas de um ponto de toque. O dispositivo de processamento 203 pode usar uma estrutura do dispositivo modalidade na Figura 6 e, consequentemente, pode executar uma solução técnica do método modalidade na Figura 1. O dispositivo de coleta de sinal eletromiográfico 201 pode usar uma estrutura do dispositivo modalidade na Figura 7 e, consequentemente, pode executar a solução técnica do método modalidade na Figura 2.[0113] Figure 8 is a schematic structural diagram of a second embodiment of a touch processing system, according to the present invention. As shown in Figure 8, the touch processing system can include a location capture device 205, a processing device 203 and at least one electromyographic signal collection device 201. The location capture device 205 can be any device that can acquire a touch operation touch point quantity, a touch start time, and touch point coordinates. The processing device 203 can use a modality device structure in Fig. 6 and accordingly can perform a technical solution of the modality method in Fig. 1. The EMG signal collection device 201 can use a modality device structure in Fig. 7 and , consequently, can perform the technical solution of the modality method in Figure 2.

[0114] Tanto o dispositivo de coleta de sinal eletromiográfico 201 quanto o dispositivo de captura de localização 205 são conectados comunicativamente ao dispositivo de processamento 203. O dispositivo de coleta de sinal eletromiográfico 201 e o dispositivo de captura de localização 205 podem se comunicar separadamente com o dispositivo de processamento 203 com o uso de uma rede cabeada, de uma rede sem fio, Bluetooth, WiFi ou semelhantes.[0114] Both the electromyographic signal collection device 201 and the location capture device 205 are communicatively connected to the processing device 203. The electromyographic signal collection device 201 and the location capture device 205 can communicate separately with the processing device 203 using a wired network, a wireless network, Bluetooth, WiFi or the like.

[0115] Opcionalmente, o dispositivo de captura de localização 205 pode incluir um sensor capacitivo 2031, um sensor infravermelho 2033 e um sensor ultrassônico 2035. O sensor capacitivo 2031 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de uma tela sensível ao toque capacitiva. O sensor infravermelho 2033 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque infravermelho. O sensor ultrassônico 2035 é configurado para obter a quantidade dos pontos de toque da operação de toque, o tempo de início de toque e as coordenadas do ponto de toque com o uso de um sistema de captação de toque ultrassônico.[0115] Optionally, the location capture device 205 may include a capacitive sensor 2031, an infrared sensor 2033 and an ultrasonic sensor 2035. The capacitive sensor 2031 is configured to obtain the number of touch points of the touch operation, the time touch start point and touch point coordinates using a capacitive touch screen. The infrared sensor 2033 is configured to obtain the touch operation touch point quantity, touch start time, and touch point coordinates using an infrared touch pickup system. The 2035 ultrasonic sensor is configured to obtain the touch operation touch point quantity, touch start time, and touch point coordinates using an ultrasonic touch pickup system.

[0116] Opcionalmente, o dispositivo de captura de localização 205 e o dispositivo de processamento 203 podem ser integrados ou podem ser dispostos independentemente.[0116] Optionally, the location capture device 205 and the processing device 203 can be integrated or can be arranged independently.

[0117] Opcionalmente, o sistema de processamento de toque pode incluir adicionalmente um dispositivo de retroalimentação de usuário 207, configurado para exibir um resultado de execução de uma instrução de toque; por exemplo, o dispositivo de retroalimentação de usuário 207 é uma tela de exibição de LED, um dispositivo de exibição projetor, um alto-falante ou um dispositivo de retroalimentação tátil. Opcionalmente, o dispositivo de retroalimentação de usuário 207 pode incluir um dispositivo de exibição 2071, um dispositivo de som 2073 e um dispositivo de retroalimentação tátil 2075.[0117] Optionally, the touch processing system may additionally include a user feedback device 207, configured to display a result of executing a touch instruction; for example, user feedback device 207 is an LED display screen, a projector display device, a loudspeaker, or a haptic feedback device. Optionally, user feedback device 207 may include a display device 2071, a sound device 2073, and a haptic feedback device 2075.

[0118] Deve-se verificar que o sistema de processamento de toque fornecido nessa modalidade da presente invenção pode ser aplicado a um dispositivo de toque eletrônico tradicional, tal como um telefone móvel sensível ao toque ou um computador sensível ao toque ou pode ser aplicado a múltiplos campos, tais como educação, escritório empresarial, entretenimento e exibição de anúncio; por exemplo, uma área de trabalho de uma mesa é usada para é usada para ensinamento de arte, a área de trabalho da mesa é usada como um papel para pintura, um dedo é usado como uma caneta para pintura e múltiplos estudantes completam uma pintura juntos no papel para pintura.[0118] It should be noted that the touch processing system provided in this embodiment of the present invention can be applied to a traditional electronic touch device, such as a touch-sensitive mobile phone or a touch-sensitive computer or can be applied to multiple fields, such as education, business office, entertainment and advertisement display; for example, a desktop of a table is used for art teaching, a desktop of a table is used as a painting paper, a finger is used as a pen for painting, and multiple students complete a painting together on painting paper.

[0119] Por fim, deve-se observar que as modalidades mencionadas anteriormente estão destinadas simplesmente a descrever as soluções técnicas da presente invenção e não a limitar a presente invenção. Embora a presente invenção seja descrita detalhadamente com referência às modalidades mencionadas anteriormente, as pessoas de habilidade comum na técnica devem entender que é possível, ainda, realizar modificações nas soluções técnicas descritas nas modalidades mencionadas anteriormente ou realizar as substituições equivalentes em alguns ou todos os recursos técnicos, sem que haja afastamento do espírito e escopo das soluções técnicas das modalidades do presente pedido.[0119] Finally, it should be noted that the aforementioned embodiments are intended simply to describe the technical solutions of the present invention and not to limit the present invention. Although the present invention is described in detail with reference to the aforementioned embodiments, persons of ordinary skill in the art should understand that it is still possible to make modifications to the technical solutions described in the aforementioned embodiments or to make equivalent replacements in some or all of the features. technical solutions, without departing from the spirit and scope of the technical solutions of the modalities of this application.

Claims (15)

1. Método de processamento de interação por toque, CARACTERIZADO pelo fato de que compreende: receber (101), por meio de um dispositivo de processamento, primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações compreendem uma quantidade de pontos de toque em que o usuário realiza o toque, um segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; o primeiro tempo de início de toque é um tempo de início em que o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização; caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido, e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então gerar (103), pelo dispositivo de processamento, uma instrução de toque, em que a instrução de toque compreende o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão e as informações de coordenada de cada ponto de toque; e realizar (105), por meio do dispositivo de processamento, uma operação de interação correspondente à instrução de toque; caso seja determinado que o intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque não é menor que um limite predefinido, ou que a quantidade de pontos de toque que é correspondente ao gesto de mão não é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então a instrução de toque não é gerada.1. Touch interaction processing method, CHARACTERIZED by the fact that it comprises: receiving (101), by means of a processing device, first information sent by an electromyographic signal collection device and second information sent by a capture device location, in which the first information comprises a device identifier of the electromyographic signal collection device, a hand gesture in which a user performs a touch and a first touch start time; the second information comprises a number of touch points on which the user performs the touch, a second touch start time, and coordinate information of each touch point; the first touch start time is a start time at which the user performs a touch operation and which is identified by the electromyographic signal collection device; and the second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device; if it is determined that a time delay between the first touch start time and the second touch start time is less than a predefined threshold, and that a touch point amount that corresponds to the hand gesture is equal to the amount of the touch points that is comprised in the second information, then generating (103), by the processing device, a touch instruction, wherein the touch instruction comprises the device identifier of the electromyographic signal collection device, the hand gesture and the coordinate information of each touch point; and performing (105), by means of the processing device, an interaction operation corresponding to the touch instruction; if it is determined that the time interval between the first touch start time and the second touch start time is not less than a predefined threshold, or the amount of touch points that correspond to the hand gesture is not equal to the number of touch points that are included in the second information, then the touch instruction is not generated. 2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as primeiras informações compreendem adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque compreende adicionalmente a força operacional.2. Method, according to claim 1, CHARACTERIZED by the fact that the first information additionally comprises the operational force with which the user performs the touch, and the touch instruction additionally comprises the operational force. 3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o método compreende adicionalmente: caso seja determinado que a força operacional é menor que um segundo limite predefinido, apagar, por meio do dispositivo de processamento, a instrução de toque.3. Method, according to claim 2, CHARACTERIZED by the fact that the method additionally comprises: if it is determined that the operating force is less than a second predefined limit, erase, through the processing device, the touch instruction. 4. Método de processamento de interação por toque, CARACTERIZADO pelo fato de que compreende: coletar periodicamente (201), por meio de um dispositivo de coleta de sinal eletromiográfico, sinais eletromiográficos de superfície S1 a partir de múltiplos canais; determinar (203), por meio do dispositivo de coleta de sinal eletromiográfico de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início em que o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e enviar (205), por meio do dispositivo de coleta de sinal eletromiográfico, primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com segundas informações que são enviadas por um dispositivo de captura de localização quando o primeiro tempo de início de toque e um segundo tempo de inicio de toque forem menores que um limite predefinido, e uma quantidade de pontos de toque que é correspondente ao gesto de mão for igual à uma quantidade dos pontos de toque que está compreendida nas segundas informações, e realize uma operação de interação correspondente, sendo que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e o primeiro tempo de início de toque; as segundas informações compreendem a quantidade de pontos de toque no qual o usuário realiza o toque, o segundo tempo de início de toque e informações de coordenada de cada ponto de toque; sendo que o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.4. Touch interaction processing method, CHARACTERIZED in that it comprises: periodically collecting (201), by means of an electromyographic signal collection device, S1 surface electromyographic signals from multiple channels; determining (203), by means of the electromyographic signal collection device according to a time and frequency domain resource of the surface electromyographic signals S1, a hand gesture in which a user performs a touch; and determining a first touch start time according to the hand gesture, wherein the first touch start time is a start time when the user performs a touch operation and which is identified by the signal collection device electromyographic; and sending (205), through the electromyographic signal collection device, first information to a processing device, so that the processing device generates a touch instruction in accordance with the first information and with second information that is sent by a location capture device when the first touch start time and a second touch start time are less than a predefined threshold, and an amount of touch points that corresponds to the hand gesture is equal to an amount of the points touch that is comprised in the second information, and perform a corresponding interaction operation, the first information comprising a device identifier of the electromyographic signal collection device, the hand gesture, and the first touch start time; the second information comprises the number of touch points in which the user performs the touch, the second touch start time and coordinate information of each touch point; wherein the second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device. 5. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que a determinação, por meio do dispositivo de coleta de sinal eletromiográfico de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, de um gesto de mão no qual um usuário realiza um toque compreende: determinar, por meio do dispositivo de coleta de sinal eletromiográfico, o gesto de mão de acordo com uma amplitude e uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.5. Method, according to claim 4, CHARACTERIZED by the fact that the determination, by means of the electromyographic signal collection device according to a time and frequency domain resource of surface electromyographic signals S1, of a gesture of hand on which a user performs a touch comprises: determining, by means of the electromyographic signal collection device, the hand gesture according to an amplitude and a frequency that are of surface electromyographic signals S1 based on a type of a gesture hand. 6. Método, de acordo com a reivindicação 4, CARACTERIZADO pelo fato de que compreende adicionalmente: determinar, por meio do dispositivo de coleta de sinal eletromiográfico de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque, sendo que as primeiras informações compreendem adicionalmente a força operacional, e a determinação de um primeiro tempo de início de toque de acordo com o gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.6. Method, according to claim 4, CHARACTERIZED by the fact that it additionally comprises: determining, by means of the electromyographic signal collection device according to the time and frequency domain resource of the surface electromyographic signals S1, operational strength with which the user performs the touch, the first information additionally comprising the operating force, and the determination of a first touch start time according to the hand gesture determines the first touch start time according to the hand gesture and operating force. 7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que a determinação de força operacional com a qual o usuário realiza o toque compreende: adquirir, por meio do dispositivo de coleta de sinal eletromiográfico, um sinal eletromiográfico de canal único S2 realizando-se sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcular uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante, e usar a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.7. Method, according to claim 6, CHARACTERIZED by the fact that the determination of the operational force with which the user performs the touch comprises: acquiring, through the electromyographic signal collection device, a single channel electromyographic signal S2 performing overlay and averaging on the surface EMG signals S1, calculate an average amplitude of the single channel EMG signal S2 using a sliding time window, and use the average amplitude of the single channel EMG signal S2 as the operating force s. 8. Dispositivo de processamento, CARACTERIZADO pelo fato de que compreende: um módulo de recebimento de informações (11), configurado para receber primeiras informações enviadas por um dispositivo de coleta de sinal eletromiográfico e segundas informações enviadas por um dispositivo de captura de localização, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, um gesto de mão no qual um usuário realiza um toque e um primeiro tempo de início de toque; as segundas informações compreendem uma quantidade de pontos de toque nos quais o usuário realiza o toque, um segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização; um módulo de geração de instrução (13) configurado para: caso seja determinado que um intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque é menor que um limite predefinido, e que uma quantidade de pontos de toque que é correspondente ao gesto de mão é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então gerar uma instrução de toque, em que a instrução de toque compreende o identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e as informações de coordenada de cada ponto de toque, caso seja determinado que o intervalo de tempo entre o primeiro tempo de início de toque e o segundo tempo de início de toque não é menor que um limite predefinido, ou que a quantidade de pontos de toque que é correspondente ao gesto de mão não é igual à quantidade dos pontos de toque que está compreendida nas segundas informações, então a instrução de toque não é gerada; e um módulo de execução de instrução (15) configurado para realizar uma operação de interação correspondente à instrução de toque.8. Processing device, CHARACTERIZED by the fact that it comprises: an information receiving module (11), configured to receive first information sent by an electromyographic signal collection device and second information sent by a location capture device, in that the first information comprises a device identifier of the electromyographic signal collection device, a hand gesture in which a user performs a tap and a first tap start time; the second information comprises a number of touch points on which the user performs the touch, a second touch start time, and coordinate information of each touch point; the first touch start time is a start time at which the user performs a touch operation and which is identified by the electromyographic signal collection device; and the second touch start time is a start time at which the user performs the touch operation and which is identified by the location capture device; an instruction generation module (13) configured for: if it is determined that a time interval between the first ring start time and the second ring start time is less than a predefined threshold, and that a number of ring points touch that corresponds to the hand gesture is equal to the amount of touch points that are comprised in the second information, then generate a touch instruction, where the touch instruction comprises the device identifier of the electromyographic signal collection device, the hand gesture, and the coordinate information of each touch point, if it is determined that the time interval between the first touch start time and the second touch start time is not less than a predefined threshold, or the amount of touch points that corresponds to the hand gesture is not equal to the amount of touch points that are comprised in the second information, so the touch instruction is not generated; and an instruction execution module (15) configured to perform an interaction operation corresponding to the touch instruction. 9. Dispositivo de processamento, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que as primeiras informações compreendem adicionalmente força operacional com a qual o usuário realiza o toque, e a instrução de toque compreende adicionalmente a força operacional.9. Processing device, according to claim 8, CHARACTERIZED by the fact that the first information additionally comprises operational force with which the user performs the touch, and the touch instruction additionally comprises the operational force. 10. Dispositivo de processamento, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o módulo de geração de instrução é configurado adicionalmente para: caso seja determinado que a força operacional é menor que um segundo limite predefinido, determinar que instrução de toque termina, e apagar a instrução de toque.10. Processing device, according to claim 9, CHARACTERIZED by the fact that the instruction generation module is additionally configured to: if it is determined that the operating force is less than a second predefined threshold, determine which touch instruction ends , and delete the touch instruction. 11. Dispositivo de coleta de sinal eletromiográfico, CARACTERIZADO pelo fato de que compreende: um módulo de coleta (21), configurado para coletar periodicamente sinais eletromiográficos de superfície S1 a partir de múltiplos canais; um módulo de processamento (23), configurado para determinar, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque; e determinar um primeiro tempo de início de toque de acordo com o gesto de mão, em que o primeiro tempo de início de toque é um tempo de início no qual o usuário realiza uma operação de toque e que é identificado pelo dispositivo de coleta de sinal eletromiográfico; e um módulo de envio (25), configurado para enviar primeiras informações a um dispositivo de processamento, de modo que o dispositivo de processamento gere uma instrução de toque de acordo com as primeiras informações e com segundas informações que são enviadas por um dispositivo de captura de localização quando o primeiro tempo de início de toque e um segundo tempo de início de toque forem menores que um limite predefinido, e uma quantidade de pontos de toque que é correspondente ao gesto de mão for igual à uma quantidade dos pontos de toque que está compreendida nas segundas informações, e realize uma operação de interação correspondente, em que as primeiras informações compreendem um identificador de dispositivo do dispositivo de coleta de sinal eletromiográfico, o gesto de mão, e o primeiro tempo de início de toque; as segundas informações compreendem a quantidade de pontos de toque na qual o usuário realiza o toque, o segundo tempo de início de toque, e informações de coordenada de cada ponto de toque; e o segundo tempo de início de toque é um tempo de início no qual o usuário realiza a operação de toque e que é identificado pelo dispositivo de captura de localização.11. Electromyographic signal collection device, characterized by the fact that it comprises: a collection module (21), configured to periodically collect surface electromyographic signals S1 from multiple channels; a processing module (23), configured to determine, according to a time and frequency domain resource of the surface electromyographic signals S1, a hand gesture in which a user performs a touch; and determining a first touch start time according to the hand gesture, wherein the first touch start time is a start time at which the user performs a touch operation and which is identified by the signal collection device electromyographic; and a sending module (25), configured to send first information to a processing device, so that the processing device generates a touch instruction in accordance with the first information and with second information that is sent by a capture device location when the first touch start time and a second touch start time are less than a predefined threshold, and an amount of touch points that is corresponding to the hand gesture is equal to an amount of touch points that are understood in the second information, and perform a corresponding interaction operation, wherein the first information comprises a device identifier of the electromyographic signal collection device, the hand gesture, and the first touch start time; the second information comprises the number of touch points in which the user performs the touch, the second touch start time, and coordinate information of each touch point; and the second touch start time is a start time at which the user performs the touch operation and which is identified by the location capturing device. 12. Dispositivo de coleta, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que um módulo de processamento determina, de acordo com um recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, um gesto de mão no qual um usuário realiza um toque compreende: o módulo de processamento que determina o gesto de mão de acordo com uma amplitude e com uma frequência que são dos sinais eletromiográficos de superfície S1 com base em um tipo de um gesto de mão.12. Collection device, according to claim 11, CHARACTERIZED by the fact that a processing module determines, according to a time and frequency domain resource of surface electromyographic signals S1, a hand gesture in which a user performs a touch comprises: the processing module that determines the hand gesture according to an amplitude and with a frequency that are from the surface electromyographic signals S1 based on a type of a hand gesture. 13. Dispositivo de coleta, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o módulo de processamento é configurado adicionalmente para determinar, de acordo com o recurso de domínio de tempo e frequência dos sinais eletromiográficos de superfície S1, força operacional com a qual o usuário realiza o toque, em que as primeiras informações compreendem adicionalmente a força operacional, e a determinação de um primeiro tempo de início de toque de acordo com o gesto de mão determina o primeiro tempo de início de toque de acordo com o gesto de mão e com a força operacional.13. Collection device, according to claim 11, CHARACTERIZED by the fact that the processing module is additionally configured to determine, according to the time and frequency domain resource of surface electromyographic signals S1, operating force with the which the user performs the touch, in which the first information additionally comprises the operating force, and the determination of a first touch start time according to the hand gesture determines the first touch start time according to the touch gesture. hand and with operating force. 14. Dispositivo de coleta, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o módulo de processamento determina força operacional com a qual o usuário realiza o toque compreende: o módulo de processamento obtém um sinal eletromiográfico de canal único S2 realizando-se sobreposição e cálculo de média nos sinais eletromiográficos de superfície S1, calcula uma amplitude média do sinal eletromiográfico de canal único S2 com o uso de uma janela de tempo deslizante, e usa a amplitude média do sinal eletromiográfico de canal único S2 como a força operacional S.14. Collection device, according to claim 13, CHARACTERIZED by the fact that the processing module determines the operating force with which the user performs the touch comprises: the processing module obtains a single channel electromyographic signal S2 by performing superimposition and averaging on the surface EMG signals S1, calculates an average amplitude of the single-channel EMG signal S2 using a sliding time window, and uses the average amplitude of the single-channel EMG signal S2 as the operating force S . 15. Sistema de processamento de toque, compreendendo um dispositivo de captura de localização, CARACTERIZADO pelo fato de que o dispositivo de processamento é conforme definido em qualquer uma das reivindicações 8 a 10, e pelo menos um dispositivo de coleta de sinal eletromiográfico é conforme definido em qualquer uma das reivindicações 11 a 14, em que o dispositivo de coleta de sinal eletromiográfico e o dispositivo de captura de localização são ambos conectados comunicativamente ao dispositivo de processamento.15. Touch processing system, comprising a location capture device, CHARACTERIZED by the fact that the processing device is as defined in any one of claims 8 to 10, and at least one electromyographic signal collection device is as defined in any one of claims 11 to 14, wherein the electromyographic signal collection device and the location capture device are both communicatively connected to the processing device.
BR112017007752-3A 2014-10-16 2015-05-29 METHOD, DEVICE, AND TOUCH INTERACTION PROCESSING SYSTEM BR112017007752B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410549003.0 2014-10-16
CN201410549003.0A CN105573536B (en) 2014-10-16 2014-10-16 Processing method, the device and system of touch-control interaction
PCT/CN2015/080243 WO2016058387A1 (en) 2014-10-16 2015-05-29 Method, device and system for processing touch interaction

Publications (2)

Publication Number Publication Date
BR112017007752A2 BR112017007752A2 (en) 2018-02-06
BR112017007752B1 true BR112017007752B1 (en) 2023-01-31

Family

ID=55746078

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112017007752-3A BR112017007752B1 (en) 2014-10-16 2015-05-29 METHOD, DEVICE, AND TOUCH INTERACTION PROCESSING SYSTEM

Country Status (7)

Country Link
US (1) US10372325B2 (en)
EP (1) EP3200051B1 (en)
JP (1) JP6353982B2 (en)
KR (1) KR101875350B1 (en)
CN (1) CN105573536B (en)
BR (1) BR112017007752B1 (en)
WO (1) WO2016058387A1 (en)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
WO2017051687A1 (en) 2015-09-25 2017-03-30 株式会社リコー Digital blackboard, digital blackboard image processing method, and recording medium whereupon digital blackboard program is recorded
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11049053B2 (en) * 2018-03-29 2021-06-29 Ricoh Company, Ltd. Communication terminal, sharing system, communication method, and non-transitory recording medium storing program
EP3853698A4 (en) * 2018-09-20 2021-11-17 Facebook Technologies, LLC Neuromuscular text entry, writing and drawing in augmented reality systems
CN109542278B (en) * 2018-09-27 2022-02-11 江苏特思达电子科技股份有限公司 Touch data processing method and device and touch equipment
US10908783B2 (en) * 2018-11-06 2021-02-02 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects and providing feedback
CN111338516B (en) * 2020-02-26 2022-05-10 业成科技（成都）有限公司 Finger touch detection method and device, electronic equipment and storage medium
CN111783056B (en) * 2020-07-06 2024-05-14 诺百爱（杭州）科技有限责任公司 Method and device for identifying user identity based on electromyographic signals and electronic equipment
CN112506379A (en) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 Touch event processing method, device, equipment and storage medium
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113126771A (en) * 2021-05-07 2021-07-16 浙江柔灵科技有限公司 Myoelectric gesture recognition system with information feedback function
CN114642440B (en) * 2022-05-23 2022-08-12 博睿康科技（常州）股份有限公司 Method for acquiring preset duration of stimulation system, stimulation system and regulation and control method thereof
CN116243825B (en) * 2023-05-06 2023-07-25 成都市芯璨科技有限公司 Touch detection chip and device based on capacitance detection

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248873A (en) * 1994-03-08 1995-09-26 Sharp Corp Controller using myoelectric signal
EP1330777A1 (en) * 2000-10-27 2003-07-30 Elo Touchsystems, Inc. Touch confirming touchscreen utilizing plural touch sensors
JP4099117B2 (en) * 2003-07-22 2008-06-11 シャープ株式会社 Virtual keyboard system
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8022941B2 (en) 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US20100310136A1 (en) * 2009-06-09 2010-12-09 Sony Ericsson Mobile Communications Ab Distinguishing right-hand input and left-hand input based on finger recognition
JP4988016B2 (en) 2009-08-27 2012-08-01 韓國電子通信研究院 Finger motion detection apparatus and method
KR20110032640A (en) 2009-09-23 2011-03-30 삼성전자주식회사 Multi-touch sensing display apparatus
CN102117150A (en) * 2011-03-30 2011-07-06 汉王科技股份有限公司 Character post-processing method and system
CN102184056B (en) * 2011-04-26 2013-02-13 广东威创视讯科技股份有限公司 Method and device for identifying multiple touch points
US8692799B1 (en) 2011-07-05 2014-04-08 Cypress Semiconductor Corporation Single layer multi-touch capacitive sensor
CN103930858A (en) * 2012-01-05 2014-07-16 索尼爱立信移动通讯有限公司 Adjusting coordinates of touch input
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
US9201546B2 (en) 2012-03-09 2015-12-01 Elo Touch Solutions, Inc. Acoustic touch apparatus with multi-touch capability
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9011232B2 (en) * 2012-05-18 2015-04-21 Universal Entertainment Corporation Gaming machine and gaming method
JP5929572B2 (en) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 Operation display device and program
US9223459B2 (en) * 2013-01-25 2015-12-29 University Of Washington Through Its Center For Commercialization Using neural signals to drive touch screen devices

Also Published As

Publication number Publication date
CN105573536B (en) 2018-09-07
KR20170067873A (en) 2017-06-16
EP3200051A4 (en) 2017-09-20
KR101875350B1 (en) 2018-07-05
EP3200051B1 (en) 2018-12-12
EP3200051A1 (en) 2017-08-02
WO2016058387A1 (en) 2016-04-21
US20170220245A1 (en) 2017-08-03
CN105573536A (en) 2016-05-11
US10372325B2 (en) 2019-08-06
JP6353982B2 (en) 2018-07-04
JP2017534980A (en) 2017-11-24
BR112017007752A2 (en) 2018-02-06

Similar Documents

Publication Publication Date Title
BR112017007752B1 (en) METHOD, DEVICE, AND TOUCH INTERACTION PROCESSING SYSTEM
US11042290B2 (en) Touch screen track recognition method and apparatus
TWI579734B (en) 3d visualization
TWI537814B (en) Display, touch, and stylus synchronization
US20180253163A1 (en) Change of active user of a stylus pen with a multi-user interactive display
US9946395B2 (en) User interface method and apparatus
WO2014062583A1 (en) Character deletion during keyboard gesture
KR20110116463A (en) Method and apparatus for interface
CN103823630A (en) Virtual mouse
CN104007920A (en) Method for selecting waveforms on electronic test equipment
US20180210597A1 (en) Information processing device, information processing method, and program
CN104965657B (en) Method of toch control and device
US10095309B2 (en) Input device, system and method for finger touch interface
JP5736551B1 (en) Electronic device and control method
JP2016066254A (en) Electronic device with touch detection apparatus
US20140143726A1 (en) Method of choosing software button
KR102094751B1 (en) Method and apparatus for providing user interface
JP2016045553A (en) Information processing device, fingertip operation identification method thereof, and program
US20150042586A1 (en) Input Device
CN104484117A (en) Method and device for man-machine interaction
WO2020124422A1 (en) Handwriting system control method and handwriting system
CN105117127A (en) Input method switching method based on different populations
WO2016201760A1 (en) Method and system for identifying gesture in touch display device
CN105988916A (en) Method, device and system for visualizing touch point trajectory of touch-screen equipment
WO2014101476A1 (en) Method and apparatus for acquiring user instructions

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 29/05/2015, OBSERVADAS AS CONDICOES LEGAIS