CN110928432A - 指环鼠标、鼠标控制装置及鼠标控制系统 - Google Patents

指环鼠标、鼠标控制装置及鼠标控制系统 Download PDF

Info

Publication number
CN110928432A
CN110928432A CN201911019754.0A CN201911019754A CN110928432A CN 110928432 A CN110928432 A CN 110928432A CN 201911019754 A CN201911019754 A CN 201911019754A CN 110928432 A CN110928432 A CN 110928432A
Authority
CN
China
Prior art keywords
mouse
module
data
ring
inertia measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911019754.0A
Other languages
English (en)
Other versions
CN110928432B (zh
Inventor
闫野
范博辉
印二威
赵涛
谢良
邓宝松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center, National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical Tianjin (binhai) Intelligence Military-Civil Integration Innovation Center
Priority to CN201911019754.0A priority Critical patent/CN110928432B/zh
Publication of CN110928432A publication Critical patent/CN110928432A/zh
Application granted granted Critical
Publication of CN110928432B publication Critical patent/CN110928432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供一种指环鼠标、一种鼠标控制装置及一种鼠标控制系统。其中，所述指环鼠标包括：指环主体、第一惯性测量模块、数据采集模块和第一无线通信模块；其中，所述第一惯性测量模块用于在所述指环主体佩戴于用户手指后，根据用户手指的运动产生第一惯性测量数据，以及将所述第一惯性测量数据发送至所述数据采集模块；所述数据采集模块用于将所述第一惯性测量数据通过所述第一无线通信模块发送给与目标设备连接的鼠标控制装置，以使所述鼠标控制装置根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。本申请采用指环实现了鼠标的功能，从而不再依赖支撑面，提高操控的舒适性。

Description

指环鼠标、鼠标控制装置及鼠标控制系统
技术领域
本申请涉及鼠标技术领域，具体涉及一种指环鼠标、一种鼠标控制装置及一种鼠标控制系统。
背景技术
鼠标是计算机非常重要的一种输入设备，同时也是计算机系统显示纵横坐标定位的重要指示器，并可以通过左右按键和滚轮对光标所在位置的屏幕元素进行相应的操作。
现有技术中，鼠标按照其内部结构以及工作原理可分为机械式、光电式、激光式和蓝牙式等等，这些传统鼠标存在以下不足：
1.无法脱离支撑面，传统鼠标的正常使用都需要借助一个固定支撑面，再利用鼠标移动去控制光标移动，支撑面极大限制了操作的舒适性。
2.与键盘配合使用时较为繁琐。键盘与鼠标切换时右手(左手)需来回移动，高频率的移动也会让人产生疲劳感，极大的影响了人们的工作效率和舒适度。
3.传统鼠标体积较大，携带不够便捷，使用时美观度不足。
发明内容
本申请的目的是提供一种指环鼠标、一种鼠标控制装置及一种鼠标控制系统。
本申请第一方面提供一种指环鼠标，包括：
指环主体、第一惯性测量模块、数据采集模块和第一无线通信模块；其中，
所述第一惯性测量模块、所述数据采集模块和所述第一无线通信模块依次连接，并均设于所述指环主体上；
所述第一惯性测量模块用于在所述指环主体佩戴于用户手指后，根据用户手指的运动产生第一惯性测量数据，以及将所述第一惯性测量数据发送至所述数据采集模块；
所述数据采集模块用于将所述第一惯性测量数据通过所述第一无线通信模块发送给与目标设备连接的鼠标控制装置，以使所述鼠标控制装置根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。
在本申请第一方面的一些实施方式中，所述指环鼠标还包括：压力传感器；
所述压力传感器设于所述指环主体上并与所述数据采集单元连接，用于根据用户的按压操作生成压力传感信号，并将所述压力传感信号发送给数据采集模块；
所述数据采集模块还用于将所述压力传感信号发送给所述鼠标控制装置，以使所述鼠标控制装置根据所述压力传感信号生成鼠标指令。
在本申请第一方面的一些实施方式中，所述指环鼠标还包括：可充电电池和无线充电模块；
所述可充电电池和所述无线充电模块互相连接，并均设于所述指环主体上；
所述可充电电池用于为所述指环鼠标中的各电子元件供电；
所述无线充电模块用于通过无线充电方式为所述可充电电池充电。
本申请第二方面提供一种鼠标控制装置，包括：控制装置主体，以及设于所述控制装置主体上的第二惯性测量模块、第二无线通信模块、数据处理模块和物理通信接口；其中，
所述第二惯性测量模块、所述第二无线通信模块和所述物理通信接口均与所述数据处理模块连接；
所述控制装置主体通过所述物理通信接口与目标设备固定连接；
所述第二惯性测量模块用于测量静止状态下的第二惯性测量数据，以及将所述第二惯性测量数据发送至所述数据处理模块；
所述第二无线通信模块用于接收指环鼠标发送的第一惯性测量数据，并将所述第一惯性测量数据发送给所述数据处理模块；
所述数据处理模块用于根据所述第一惯性测量数据和所述第二惯性测量数据生成鼠标指令，并将所述鼠标指令通过所述物理通信接口发送给所述目标设备，以对所述目标设备进行操控。
在本申请第二方面的一些实施方式中，所述鼠标控制装置还包括：深度相机模块；
所述深度相机模块设于所述控制装置主体上并与所述数据处理模块连接，用于采集用户佩戴所述指环鼠标的手部的运动及姿态信息，并将所述运动及姿态信息发送给所述数据处理模块，以使所述数据处理模块根据所述第一惯性测量数据、所述第二惯性测量数据和所述运动及姿态信息生成鼠标指令。
在本申请第二方面的一些实施方式中，所述数据处理模块具体用于：
根据所述第一惯性测量数据和所述第二惯性测量数据，确定所述指环鼠标相对于所述鼠标控制装置的第三惯性测量数据；
根据所述第三惯性测量数据计算所述用户佩戴所述指环鼠标的手部的第一手部移动数据；以及，
根据所述深度相机模块采集的所述用户佩戴所述指环鼠标的手部的运动及姿态信息，采用光流法计算所述手部的第二手部移动数据；
将所述第一手部移动数据与所述第二手部移动数据进行多模态融合，得到第三手部移动数据；
根据所述第三手部移动数据生成鼠标移动指令。
在本申请第二方面的一些实施方式中，所述数据处理模块具体用于：
根据所述第一惯性测量数据进行手指运动特征提取，得到第一手指运动数据；
根据所述深度相机模块采集的所述用户佩戴所述指环鼠标的手部的运动及姿态信息进行手指运动特征提取，得到第二手指运动数据；
将所述第一手指运动数据与所述第二手指运动数据进行多模态融合，得到第三手指运动数据；
将所述第三手指运动数据输入预先训练好的长短期记忆神经网络模型，通过所述长短期记忆神经网络模型输出佩戴所述指环鼠标的手指的动作信息；
根据所述手指的动作信息生成鼠标操控指令，其中，所述鼠标操控指令包括：鼠标右击指令、鼠标左击指令、滚轮向上滚动指令、滚轮向下滚动指令、鼠标复位指令和鼠标平移指令中的至少一种。
在本申请第二方面的一些实施方式中，所述第二无线通信模块还用于接收所述指环鼠标发送的压力传感信号，并将所述压力传感信号发送给所述数据处理模块；
所述数据处理模块还用于根据所述压力传感信号生成鼠标指令。
在本申请第二方面的一些实施方式中，所述数据处理模块具体用于：
根据所述压力传感信号所表示的压力值是否大于预设压力阈值，生成鼠标开关指令。
本申请第三方面提供一种鼠标控制系统，包括：本申请第一方面提供的指环鼠标和本申请第二方面提供的鼠标控制装置。
相较于现有技术，本申请提供的指环鼠标，可以和与目标设备连接的鼠标控制装置配合使用，通过在指环主体上配置第一惯性测量模块、数据采集模块和第一无线通信模块，由所述第一惯性测量模块根据用户手指的运动产生第一惯性测量数据，并由数据采集模块采集后通过所述第一无线通信模块将所述第一惯性测量数据发送给与目标设备连接的鼠标控制装置，从而可以使所述鼠标控制装置根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。相较于现有技术，本申请采用指环实现了鼠标的功能，使用户通过佩戴指环鼠标的手指运动即可实现对目标设备的操控，从而不再依赖支撑面，提高操控的舒适性；另外，由于指环鼠标是基于指环实现的，因此，指环鼠标体积较小，还具有携带便捷、使用美观的优点；此外，通过手指动作即可实现鼠标操控，从而不需要用户在键盘与鼠标切换时来回大幅度移动手部，减少用户的疲劳感，从而有助于提高用户的工作效率和舒适度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本申请的一些实施方式所提供的一种指环鼠标的示意图；
图2示出了本申请的一些实施方式所提供的一种鼠标控制装置的示意图；
图3示出了本申请的一些实施方式所提供的一种鼠标控制系统的示意图；
图4示出了本申请的一些实施方式所提供的一种鼠标控制系统的逻辑框架图；
图5示出了本申请的一些实施方式所提供的一种鼠标控制系统的数据处理流程图；
图6示出了本申请的一些实施方式所提供的一种鼠标控制系统的结构示意图；
图7示出了本申请的一些实施方式所提供的一种鼠标操控指令的生成流程图；
图8示出了本申请的一些实施方式所提供的一种鼠标移动指令的生成流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外，术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种指环鼠标、一种鼠标控制装置及一种鼠标控制系统，下面结合附图进行示例性说明。
请参考图1，其示出了本申请的一些实施方式所提供的一种指环鼠标的示意图，如图1所示，所述指环鼠标10，可以包括：
指环主体101、第一惯性测量模块102、数据采集模块103和第一无线通信模块104；其中，
所述第一惯性测量模块102、所述数据采集模块103和所述第一无线通信模块104依次连接，并均设于所述指环主体101上；
所述第一惯性测量模块102用于在所述指环主体101佩戴于用户手指后，根据用户手指的运动产生第一惯性测量数据，以及将所述第一惯性测量数据发送至所述数据采集模块103；
所述数据采集模块103用于将所述第一惯性测量数据通过所述第一无线通信模块104发送给与目标设备连接的鼠标控制装置20，以使所述鼠标控制装置20根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。
相较于现有技术，本申请实施例提供的指环鼠标10，可以和与目标设备连接的鼠标控制装置20配合使用，通过在指环主体101上配置第一惯性测量模块102、数据采集模块103和第一无线通信模块104，由所述第一惯性测量模块102根据用户手指的运动产生第一惯性测量数据，并由数据采集模块103采集后通过所述第一无线通信模块104将所述第一惯性测量数据发送给与目标设备连接的鼠标控制装置20，从而可以使所述鼠标控制装置20根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。相较于现有技术，本申请采用指环实现了鼠标的功能，通过佩戴指环鼠标10的手指运动即可实现对目标设备的操控，从而不再依赖支撑面，提高操控的舒适性；另外，由于指环鼠标10是基于指环实现的，因此，指环鼠标10体积较小，还具有携带便捷、使用美观的优点；此外，通过手指动作即可实现鼠标操控，从而不需要用户在键盘与鼠标切换时来回大幅度移动手部，减少用户的疲劳感，从而有助于提高用户的工作效率和舒适度。
其中，在上述实施例中，所述指环主体101可以采用金属或塑料等材质制作而成，其指环直径可以固定大小，也可以是可调节大小，以适用于不同手指粗细的用户佩戴，本申请实施例不做限定。
所述第一惯性测量模块102可以采用惯性测量单元IMU(Inertial measurementunit)实现，相应的，所述第一惯性测量数据可以包括三轴角速度数据和三轴加速度数据，以全面、准确地确定手指的运动数据。
所述数据采集模块103可以采用具有数据处理功能的处理器实现，例如微处理器、微控制器等，本申请实施例不做限定。
所述第一无线通信模块104可以采用蓝牙通信模块、红外通信模块、WiFi通信模块、ZigBee通信模块等实现，本申请实施例不做限定，考虑到生产成本及数据传输效率，本申请实施例可以优选地采用蓝牙通信模块实现，以在降低生产成本的同时获取较高的数据传输效率。
在本申请实施例的一些变更实施方式中，所述指环鼠标10还可以包括：压力传感器；
所述压力传感器设于所述指环主体101上并与所述数据采集单元连接，用于根据用户的按压操作生成压力传感信号，并将所述压力传感信号发送给数据采集模块103；
所述数据采集模块103还用于将所述压力传感信号发送给所述鼠标控制装置20，以使所述鼠标控制装置20根据所述压力传感信号生成鼠标指令。
本实施方式中，所述压力传感器产生的压力传感信号可以用于生成所述指环鼠标10的鼠标开关指令，通过按压所述压力传感器，可以控制所述指环鼠标10在开启和关闭状态之间切换，从而确保用户可以随时随地地、方便地、按需开启或关闭所述指环鼠标10，满足用户多样化的鼠标操作需求，提升用户操作体验。
在本申请实施例的一些变更实施方式中，所述指环鼠标10还包括：可充电电池和无线充电模块；
所述可充电电池和所述无线充电模块互相连接，并均设于所述指环主体101上；
所述可充电电池用于为所述指环鼠标10中的各电子元件供电；
所述无线充电模块用于通过无线充电方式为所述可充电电池充电。
为了提升所述指环鼠标10的易用性和续航能力，本申请实施方式可以为指环鼠标10配置可充电电池和无线充电模块，利用可充电电池提高指环鼠标10的续航能力，利用无线充电模块提高指环鼠标10的充电便捷性，其中，由于采用了无线充电模块进行充电，可以将无线充电器配置于目标设备旁，例如键盘底部等，从而可以在用户操作过程中为所述指环鼠标10充电，进一步提升指环鼠标10的续航能力，进一步提升用户使用体验。
在上述的实施例中，提供了一种指环鼠标10，与之相对应的，本申请还提供一种鼠标控制装置20，所述鼠标控制装置20是与前述指环鼠标10互相配合实施的，属于相同的发明构思，因此，以下关于鼠标控制装置20的实施例说明，可参照前述关于指环鼠标10的实施例说明进行理解，部分内容不再赘述，相应的，前述关于指环鼠标10的实施例，也可以参照下述关于鼠标控制装置20的实施例说明进行理解。
请参考图2，其示出了本申请的一些实施方式所提供的一种鼠标控制装置20的示意图，如图所示，所述鼠标控制装置20，可以包括：控制装置主体201，以及设于所述控制装置主体201上的第二惯性测量模块202、第二无线通信模块203、数据处理模块204和物理通信接口205；其中，
所述第二惯性测量模块202、所述第二无线通信模块203和所述物理通信接口205均与所述数据处理模块204连接；
所述控制装置主体201通过所述物理通信接口205与目标设备固定连接；
所述第二惯性测量模块202用于测量静止状态下的第二惯性测量数据，以及将所述第二惯性测量数据发送至所述数据处理模块204；
所述第二无线通信模块203用于接收指环鼠标10发送的第一惯性测量数据，并将所述第一惯性测量数据发送给所述数据处理模块204；
所述数据处理模块204用于根据所述第一惯性测量数据和所述第二惯性测量数据生成鼠标指令，并将所述鼠标指令通过所述物理通信接口205发送给所述目标设备，以对所述目标设备进行操控。
本申请实施例提供的鼠标控制装置20，与本申请前述实施例提供的指环鼠标10出于相同的发明构思，至少具有以下相应的有益效果：通过配置第二惯性测量模块202并通过控制装置主体201与目标设备固定连接，从而可以测量静止状态下的第二惯性测量数据，然后由数据处理模块204根据所述第一惯性测量数据和所述第二惯性测量数据生成鼠标指令，并将所述鼠标指令通过物理通信接口205发送给所述目标设备，从而对所述目标设备进行操控。上述鼠标控制装置20通过与本申请前述实施例提供的指环鼠标10配合使用，可以确保所述指环鼠标10能够实现鼠标功能，使用户通过佩戴指环鼠标10的手指运动即可实现对目标设备的操控，从而不再依赖支撑面实现对目标设备的鼠标控制，提高操控的舒适性；另外，由于指环鼠标10是基于指环实现的，因此，指环鼠标10体积较小，还具有携带便捷、使用美观的优点；此外，通过手指动作即可实现鼠标操控，从而不需要用户在键盘与鼠标切换时来回大幅度移动手部，减少用户的疲劳感，从而有助于提高用户的工作效率和舒适度。
其中，在上述实施例中，所述鼠标控制装置20可以采用金属或塑料等材质制作而成，可以包括壳体和/或电路板，本申请实施例不做限定。
所述第二惯性测量模块202可以采用惯性测量单元IMU(Inertial measurementunit)实现，相应的，所述第二惯性测量数据可以包括三轴角速度数据和三轴加速度数据，以全面、准确地确定手指的运动数据。
所述数据处理模块204可以采用具有数据处理功能的处理器实现，例如微处理器、微控制器等，本申请实施例不做限定。
所述第二无线通信模块203可以采用蓝牙通信模块、红外通信模块、WiFi通信模块、ZigBee通信模块等实现，本申请实施例不做限定，考虑到生产成本及数据传输效率，本申请实施例可以优选地采用蓝牙通信模块实现，以在降低生产成本的同时获取较高的数据传输效率。
所述物理通信接口205可以采用USB(Universal Serial Bus，通用串行总线)接口等实现，本申请实施例不做限定。
在本申请实施例的一些变更实施方式中，所述鼠标控制装置20还可以包括：深度相机模块206；
所述深度相机模块206设于所述控制装置主体201上并与所述数据处理模块204连接，用于采集用户佩戴所述指环鼠标10的手部的运动及姿态信息，并将所述运动及姿态信息发送给所述数据处理模块204，以使所述数据处理模块204根据所述第一惯性测量数据、所述第二惯性测量数据和所述运动及姿态信息生成鼠标指令。
其中，所述深度相机模块206可以采用双目相机、深度摄像头等实现，从而采集深度影像，并利用深度影像获取用户佩戴所述指环鼠标10的手部的运动及姿态信息，本申请实施例不做限定。
通过本实施方式，可以进一步在鼠标控制装置20中配置深度相机模块206，利用深度相机模块206采集用户手部的运动及姿态信息，有助于所述数据处理模块204综合所述第一惯性测量数据、所述第二惯性测量数据和所述运动及姿态信息，生成更加精准的鼠标指令。
在本申请实施例的一些变更实施方式中，所述数据处理模块204具体用于：
根据所述第一惯性测量数据和所述第二惯性测量数据，确定所述指环鼠标10相对于所述鼠标控制装置20的第三惯性测量数据；
根据所述第三惯性测量数据计算所述用户佩戴所述指环鼠标10的手部的第一手部移动数据；以及，
根据所述深度相机模块206采集的所述用户佩戴所述指环鼠标10的手部的运动及姿态信息，采用光流法计算所述手部的第二手部移动数据；
将所述第一手部移动数据与所述第二手部移动数据进行多模态融合，得到第三手部移动数据；
根据所述第三手部移动数据生成鼠标移动指令。
在本申请实施例的一些变更实施方式中，所述数据处理模块204具体用于：
根据所述第一惯性测量数据进行手指运动特征提取，得到第一手指运动数据；
根据所述深度相机模块206采集的所述用户佩戴所述指环鼠标10的手部的运动及姿态信息进行手指运动特征提取，得到第二手指运动数据；
将所述第一手指运动数据与所述第二手指运动数据进行多模态融合，得到第三手指运动数据；
将所述第三手指运动数据输入预先训练好的长短期记忆神经网络模型，通过所述长短期记忆神经网络模型输出佩戴所述指环鼠标10的手指的动作信息；
根据所述手指的动作信息生成鼠标操控指令，其中，所述鼠标操控指令包括：鼠标右击指令、鼠标左击指令、滚轮向上滚动指令、滚轮向下滚动指令、鼠标复位指令和鼠标平移指令中的至少一种。
在本申请实施例的一些变更实施方式中，所述第二无线通信模块203还用于接收所述指环鼠标10发送的压力传感信号，并将所述压力传感信号发送给所述数据处理模块204；
所述数据处理模块204还用于根据所述压力传感信号生成鼠标指令。
在本申请实施例的一些变更实施方式中，所述数据处理模块204具体用于：
根据所述压力传感信号所表示的压力值是否大于预设压力阈值，生成鼠标开关指令。
本申请实施方式还提供一种与前述实施方式所提供的指环鼠标和鼠标控制装置对应的鼠标控制系统。请参考图3，其示出了本申请的一些实施方式所提供的一种鼠标控制系统的示意图，所述鼠标控制系统包括：
本申请前述任一实施方式所提供的指环鼠标10和本申请前述任一实施方式所提供的鼠标控制装置20。
所述鼠标控制系统具有与前述实施方式所提供的指环鼠标和鼠标控制装置相应的有益效果，至少包括以下有益效果：通过配置指环鼠标和鼠标控制装置，并将指环鼠标和与目标设备连接的鼠标控制装置配合使用，以及通过在指环主体上配置第一惯性测量模块、数据采集模块和第一无线通信模块，由所述第一惯性测量模块根据用户手指的运动产生第一惯性测量数据，并由数据采集模块采集后通过所述第一无线通信模块将所述第一惯性测量数据发送给与目标设备连接的鼠标控制装置；以及通过配置第二惯性测量模块并通过控制装置主体与目标设备固定连接，从而可以测量静止状态下的第二惯性测量数据，然后由数据处理模块根据所述第一惯性测量数据和所述第二惯性测量数据生成鼠标指令，并将所述鼠标指令通过物理通信接口发送给所述目标设备，从而对所述目标设备进行操控。从而可以使所述鼠标控制装置根据所述第一惯性测量数据和第二惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。相较于现有技术，本申请实施例采用指环实现了鼠标的功能，使用户通过佩戴指环鼠标的手指运动即可实现对目标设备的操控，从而不再依赖支撑面，提高操控的舒适性；另外，由于指环鼠标是基于指环实现的，因此，指环鼠标体积较小，还具有携带便捷、使用美观的优点；此外，通过手指动作即可实现鼠标操控，从而不需要用户在键盘与鼠标切换时来回大幅度移动手部，减少用户的疲劳感，从而有助于提高用户的工作效率和舒适度。
为了便于对本申请前述实施例进行了解，下面结合本申请实施例提供的一些具体实施例对上述鼠标控制系统进行说明，下述实施例说明可以参照前述图1、图2、图3及其对应的上述实施例说明进行理解，部分内容不再赘述，前述图1、图2、图3对应的实施例说明也可以参照下述实施例说明进行理解。
下述实施例说明可以参照图3至图8进行理解，其中，图4示出了本申请的一些实施方式所提供的一种鼠标控制系统的逻辑框架图，图5示出了本申请的一些实施方式所提供的一种鼠标控制系统的数据处理流程图，图6示出了本申请的一些实施方式所提供的一种鼠标控制系统的结构示意图，图7示出了本申请的一些实施方式所提供的一种鼠标操控指令的生成流程图，图8示出了本申请的一些实施方式所提供的一种鼠标移动指令的生成流程图,部分内容如图中记载所示参考理解，此处不再赘述.
如图3所示，鼠标控制系统的硬件框架主要由二部分组成，第一部分是戴在右手食指的指环鼠标10，第二部分是通过USB连接在智能设备(即目标设备30)上的集成处理器(即鼠标控制装置20)。下面将分别介绍这二部分。
第一部分，佩戴在右手食指的指环鼠标，该部分主要由压力传感器模块(即压力传感器)，蓝牙通信模块(第一无线通信模块的一种)，无线充电模块，IMU运动传感器模块(即第一惯性测量模块)，数据采集模块组成。压力传感器模块是用于检测大拇指有无按压此传感器，其主要目的是用于切换指环鼠标的开关状态；蓝牙通信模块主要是用于将数据采集模块上的IMU传感器信息和压力传感器信息传输给连接在智能设备上的集成处理器；无线充电模块主要是用于给指环鼠标进行充电，无线充电也提高了其使用的便捷性；IMU运动传感器主要是用于记录右手食指的运动信息，包括三轴的角速度和三轴的加速度，与深度相机信息结合后完成对鼠标光标移动的控制和单击双击等按键的控制。
第二部分，通过USB连接在目标设备上的鼠标控制装置，该部分主要由IMU运动传感器模块(即第二惯性测量模块)、深度相机模块、蓝牙通信模块(第二无线通信模块的一种)、模式转化模块(即数据处理模块)组成。IMU传感器模块主要是记录在静止状态下的三轴加速度和三轴角速度，以去除基线。深度相机模块采用双目相机，用于记录右手的姿态信息以及运动位移信息，与IMU传感器信息融合以完成对鼠标光标移动的控制和单击双击等按键的控制。蓝牙通信模块主要是用于接收指环鼠标发送的IMU信息和压力传感器信息。模式转化模块主要是将处理好的控制信号转化为鼠标的指令，如光标移动，鼠标左击，鼠标右击等等，蓝牙通信模块主要是将收集到的IMU信号与深度相机信号发送给目标设备进行处理，并接受指环鼠标发送的信息。
如图4所示，其示出了本申请的一些实施方式所提供的一种鼠标控制系统的逻辑框架图，该框架主要分为三大层：输入层，处理层，输出层。下面将分别介绍这三部分。
第一部分，输入层，主要是获取用户的多模态信息，主要包括压力传感器获取的压力信息，IMU传感器获取的右手食指运动学信息，深度相机获取右手的位置信息，其中压力传感器信息主要用于控制指环鼠标的开断状态，IMU运动传感器和深度相机获取的综合信息主要用于控制鼠标光标的移动以及单击、双击和滚轮等按击操作。
第二部分，处理层，主要是对接收到的压力传感器信息、IMU运动传感器信息以及深度相机信息进行综合处理，该层主要由三大部分组成：控制指环鼠标开关部分，控制鼠标光标移动部分，控制指环鼠标单击、双击、滚轮和复位部分；
控制指环鼠标开关部分，该部分是由一个压力传感器组成，位置位于指环鼠标的最左侧，主要功能是控制鼠标的开与关，需要切换鼠标的开与关状态时，只需用右手大拇指轻轻按压位于右手食指佩戴的指环鼠标最左侧的压力传感器，压力传感器受到按压后，若该压力信号按照一定规律转化的输出信号值大于一定的压力阈值时，则切换一次指环鼠标的开关状态，若小于该阈值则不进行转化开关状态。由于该压力传感器位于指环鼠标的最左侧，大拇指轻轻向右按压一下即可切换开关状态，此种设计也完全符合人们的生活习惯及其舒适性，符合人机交互的一大原则---人性化；
控制鼠标光标移动部分，该部分主要是由IMU运动传感器和深度相机模块组成，IMU运动传感器是惯性测量单元，可测量三轴的加速度和三轴的角速度(x轴，y轴，z轴)，IMU传感器安装在指环鼠标上和鼠标控制装置模块上，该系统的深度相机模块为了能够准确定位和计算物体的位置和移动距离，该系统采用双目相机，双目相机安装在鼠标控制装置模块上，拍到的影像为右手的运动情况。该部分的主要功能为控制鼠标光标的移动，实现原理是利用了IMU运动信号和双目相机捕捉的信息，先分别介绍其原理，最后再介绍二者的融合。
在该鼠标控制系统中，双目相机主要是确定右手的位置信息以及右手的运动位移，最后用计算出的运动位移转化为鼠标光标的移动，对于运动位移的计算，双目相机可采用SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)中的光流法去计算，光流法是一种描述像素随时间在图像之间运动的方法，随着时间的流逝，同一个像素会在图像中运动，而我们希望追踪它的运动过程。如果只计算部分像素的运动我们称为稀疏光流，计算所有像素的运动我们称为稠密光流。其中，稀疏光流以Lucas-Kanade光流为代表，可以在SLAM中用于追踪特征点的位置，因此在此系统中采用LK光流。在LK光流中，我们认为来自相机的图像是随着时间变化的，而图像可以看成时间的函数：I(t)。那么在t时刻，位于(x,y)的像素它的灰度为：I(x,y,t)。现在考虑某个固定的空间点，它在t时刻的像素坐标为(x,y)。我们假设在相机运动中，同一个空间点的像素灰度是不变的，这个假设叫灰度不变假设。这个假设是一个强假设，因为实际中灰度一般都会变化。
现在假设在t+dt的时刻它的位置运动到了(x+dx,y+dy)，则我们可以得到：
I(x,y,t)＝I(x+dx,y+dy,t+dt)
如果对上式中右侧进行一介泰勒展开：
Figure BDA0002246810030000141
由此可以得到：
Figure BDA0002246810030000142
对两侧同时除以dt，我们得到：
Figure BDA0002246810030000143
其中
Figure BDA0002246810030000144
为像素在x,y轴上的运动速度，把它们分别记为u,v。同时
Figure BDA0002246810030000145
记为图像在x,y方向上的梯度，分布记为IX,IY。再把图像灰度对于时间的变化量记为It，则我们可以把上式写为：
Figure BDA0002246810030000146
我们想计算的是像素运动u,v，但上面的单个式子是无法计算出来的。
因此需要额外的约束，在LK光流中，我们假设某个窗口内的像素具有相同的运动。现在考虑一个大小为w×w的窗口，它含有w2数量的像素。由于该窗口内像素具有同样的运动，因此方程个数为w2个。记：
Figure BDA0002246810030000151
我们得到：
Figure BDA0002246810030000152
对于这个超定方程，我们可以使用最小二乘解：
Figure BDA0002246810030000153
根据以上公式的推导，我们可以得到在t时间内，轴和y轴上的运动速度，最后将此速度乘以时间t，并进行二个方向的合成，即可得到整个右手的位移距离，这个位移即可和鼠标光标的移动建立一个比例关系。
在该鼠标控制系统中，IMU运动传感器位于右手食指佩戴的指环鼠标上和集成处理模块上(该模块通过USB接口与目标设备连接)，IMU传感器主要测量三轴的角速度信息和三轴的加速度信息，当我们移动右手想控制鼠标光标时，右手食指佩戴的指环鼠标上的IMU传感器会记录下移动过程中的三轴加速度信息，与此同时，位于集成处理模块上的IMU传感器也会记录下三轴的加速度信息，用指环鼠标上IMU传感器记录的加速度减去集成处理模块上IMU传感器记录的加速度，即可得到最终的加速度，此步相减的目的是为了消除在静止状态下加速度的初始值不为0的情况。用最终得到的加速度对时间进行2次积分即可得到位移，积分方式以下公式进行迭代
Figure BDA0002246810030000154
Figure BDA0002246810030000155
将以上公式迭代即可得到t时间内的位移，根据以上IMU运动传感器和双目相机均可得到在一定时间内右手的位移，若只用IMU运动传感器计算出的位移，由于二次积分会导致累计误差，计算出的位移有偏差，若只用双目相机计算出的位移，由于现实条件不完全满足灰度不变准则，计算出的位移也会有一定的误差，因此将二者多模态融合，设S1为IMU运动传感器计算出的位移，S2为双目相机计算出的位移，则最终位移量为S＝a*S1+b*S2，其中a，b为各自的权重系数,a和b的取值会决定最终指环鼠标的灵敏度。
双目相机还可捕捉右手的运动方向与位置，加上上述计算出的运动位移，当右手向左移动时，鼠标光标向左移动一定距离，当右手向右移动时，鼠标光标向右移动一定距离，当右手向上移动时，鼠标光标向上移动一定距离，当右手向下移动时，鼠标光标向下移动一定距离，以上鼠标光标移动的距离为计算出的位移乘以一个比例系数。
第三，控制指环鼠标单击、双击、滚轮和复位部分；该部分主要由佩戴在右手食指处的指环鼠标模块和鼠标控制装置模块中的双目相机去实现。此部分功能实现需要借助深度神经网络。LSTM是时间循环神经网络，它可以解决RNN存在的长期依赖问题，非常适合处理时间序列问题。右手食指单击对应鼠标左击功能，右手食指双击对应鼠标右击功能，右手食指从上往下滑对应鼠标的滚轮向下功能，右手食指从下往上滑对应鼠标的滚轮向上功能，右手握拳对应复位功能(鼠标光标回到屏幕正中央)。将双目相机捕捉的图像信息与指环鼠标上面的IMU运动传感器信息进行多模态特征提取，然后再输入到LSTM模型中，即可得到右手食指按击的识别概率结果，如果该概率值大于一定的阈值，则向模式转化模块发送鼠标的控制信号，如果该概率小于一定阈值，则放弃该动作的识别。其中对IMU运动传感器的特征提取方法包括MAV，RMS等等，MAV为幅值绝对值均值，RMS为均方根。LSTM(长短期记忆网络(LSTM，Long Short-Term Memory))能够处理长时间序列信息主要在其内部结构有输入门，遗忘门，输出门，其内部工作原理如下：LSTM第一步是用来决定什么信息可以通过记忆单元，这个决定由遗忘门层通过激活函数来控制，它会根据上一时刻的输出和当前时刻的输入来产生一个0到1的值，来决定是否让上一时刻学到的信息通过或部分通过，该步的公式如下：
ft＝σ(Wf.[ht-1,xt]+bf)
其中σ是激活函数，ht-1是上一时刻的输出，xt是当前输入，bf是偏置量，ft是遗忘门。
第二步是产生我们需要更新的新信息。这一步包含两部分，第一个是一个输入门层通过sigmoid激活函数来决定哪些值用来更新，第二个是一个tanh层用来生成新的候选值Ct，它作为当前层产生的候选值可能会添加到记忆单元中中。我们会把这两部分产生的值结合来进行更新。
it＝σ(Wi.[ht-1,xt]+bi)
Figure BDA0002246810030000171
其中，σ是激活函数，ht-1是上一时刻的输出，xt是当前输入，bi和bc是偏置量，tanh是一个激活函数，it是输出门。
第三步是对老的记忆单元进行更新，首先，我们将老的记忆单元乘以ft来忘掉我们不需要的信息，然后再与
Figure BDA0002246810030000172
相加，得到了候选值。公式如下：
Figure BDA0002246810030000173
其中，ft是遗忘门的输出，
Figure BDA0002246810030000174
是旧的记忆单元，Ct是新的记忆单元，it是输入门的输出。
最后一步是决定模型的输出，首先是通过sigmoid层来得到一个初始输出，然后使用tanh将Ct值缩放到-1到1间，再与sigmoid得到的输出逐对相乘，从而得到模型的输出，该步的公式如下：
Ot＝σ(Wo.[ht-1,xt]+bo)
ht＝Ot*tanh(Ct)
其中Ot是输出门的输出，ht-1是上一时刻的输出，xt是当前输入，bo是偏置量，Ct是新的记忆单元。
第三部分，输出层，主要是将处理层得到的控制指令进行输出显示，该层主要由模式转化模块组成。右手向左移动转化为鼠标光标向左平移，右手向右移动转化为鼠标光标向右平移，右手向上移动转化为鼠标光标向上平移，右手向下移动转化为鼠标光标向下平移，右手食指单击转化为鼠标左击功能，右手食指双击转化为鼠标右击功能，右手食指从上往下滑对应鼠标的滚轮向下功能，右手食指从下往上滑对应鼠标的滚轮向上功能，右手握拳对应复位功能(鼠标光标回到屏幕正中央)。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种指环鼠标，其特征在于，包括：指环主体、第一惯性测量模块、数据采集模块和第一无线通信模块；其中，
所述第一惯性测量模块、所述数据采集模块和所述第一无线通信模块依次连接，并均设于所述指环主体上；
所述第一惯性测量模块用于在所述指环主体佩戴于用户手指后，根据用户手指的运动产生第一惯性测量数据，以及将所述第一惯性测量数据发送至所述数据采集模块；
所述数据采集模块用于将所述第一惯性测量数据通过所述第一无线通信模块发送给与目标设备连接的鼠标控制装置，以使所述鼠标控制装置根据所述第一惯性测量数据生成鼠标指令并根据所述鼠标指令对所述目标设备进行操控。
2.根据权利要求1所述的指环鼠标，其特征在于，所述指环鼠标还包括：压力传感器；
所述压力传感器设于所述指环主体上并与所述数据采集单元连接，用于根据用户的按压操作生成压力传感信号，并将所述压力传感信号发送给数据采集模块；
所述数据采集模块还用于将所述压力传感信号发送给所述鼠标控制装置，以使所述鼠标控制装置根据所述压力传感信号生成鼠标指令。
3.根据权利要求1所述的指环鼠标，其特征在于，所述指环鼠标还包括：可充电电池和无线充电模块；
所述可充电电池和所述无线充电模块互相连接，并均设于所述指环主体上；
所述可充电电池用于为所述指环鼠标中的各电子元件供电；
所述无线充电模块用于通过无线充电方式为所述可充电电池充电。
4.一种鼠标控制装置，其特征在于，包括：控制装置主体，以及设于所述控制装置主体上的第二惯性测量模块、第二无线通信模块、数据处理模块和物理通信接口；其中，
所述第二惯性测量模块、所述第二无线通信模块和所述物理通信接口均与所述数据处理模块连接；
所述控制装置主体通过所述物理通信接口与目标设备固定连接；
所述第二惯性测量模块用于测量静止状态下的第二惯性测量数据，以及将所述第二惯性测量数据发送至所述数据处理模块；
所述第二无线通信模块用于接收指环鼠标发送的第一惯性测量数据，并将所述第一惯性测量数据发送给所述数据处理模块；
所述数据处理模块用于根据所述第一惯性测量数据和所述第二惯性测量数据生成鼠标指令，并将所述鼠标指令通过所述物理通信接口发送给所述目标设备，以对所述目标设备进行操控。
5.根据权利要求4所述的鼠标控制装置，其特征在于，所述鼠标控制装置还包括：深度相机模块；
所述深度相机模块设于所述控制装置主体上并与所述数据处理模块连接，用于采集用户佩戴所述指环鼠标的手部的运动及姿态信息，并将所述运动及姿态信息发送给所述数据处理模块，以使所述数据处理模块根据所述第一惯性测量数据、所述第二惯性测量数据和所述运动及姿态信息生成鼠标指令。
6.根据权利要求5所述的鼠标控制装置，其特征在于，所述数据处理模块具体用于：
根据所述第一惯性测量数据和所述第二惯性测量数据，确定所述指环鼠标相对于所述鼠标控制装置的第三惯性测量数据；
根据所述第三惯性测量数据计算所述用户佩戴所述指环鼠标的手部的第一手部移动数据；以及，
根据所述深度相机模块采集的所述用户佩戴所述指环鼠标的手部的运动及姿态信息，采用光流法计算所述手部的第二手部移动数据；
将所述第一手部移动数据与所述第二手部移动数据进行多模态融合，得到第三手部移动数据；
根据所述第三手部移动数据生成鼠标移动指令。
7.根据权利要求5所述的鼠标控制装置，其特征在于，所述数据处理模块具体用于：
根据所述第一惯性测量数据进行手指运动特征提取，得到第一手指运动数据；
根据所述深度相机模块采集的所述用户佩戴所述指环鼠标的手部的运动及姿态信息进行手指运动特征提取，得到第二手指运动数据；
将所述第一手指运动数据与所述第二手指运动数据进行多模态融合，得到第三手指运动数据；
将所述第三手指运动数据输入预先训练好的长短期记忆神经网络模型，通过所述长短期记忆神经网络模型输出佩戴所述指环鼠标的手指的动作信息；
根据所述手指的动作信息生成鼠标操控指令，其中，所述鼠标操控指令包括：鼠标右击指令、鼠标左击指令、滚轮向上滚动指令、滚轮向下滚动指令、鼠标复位指令和鼠标平移指令中的至少一种。
8.根据权利要求4所述的鼠标控制装置，其特征在于，所述第二无线通信模块还用于接收所述指环鼠标发送的压力传感信号，并将所述压力传感信号发送给所述数据处理模块；
所述数据处理模块还用于根据所述压力传感信号生成鼠标指令。
9.根据权利要求8所述的鼠标控制装置，其特征在于，所述数据处理模块具体用于：
根据所述压力传感信号所表示的压力值是否大于预设压力阈值，生成鼠标开关指令。
10.一种鼠标控制系统，其特征在于，包括：
权利要求1至3任一项所述的指环鼠标和权利要求4至9任一项所述的鼠标控制装置。
CN201911019754.0A 2019-10-24 2019-10-24 指环鼠标、鼠标控制装置及鼠标控制系统 Active CN110928432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911019754.0A CN110928432B (zh) 2019-10-24 2019-10-24 指环鼠标、鼠标控制装置及鼠标控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911019754.0A CN110928432B (zh) 2019-10-24 2019-10-24 指环鼠标、鼠标控制装置及鼠标控制系统

Publications (2)

Publication Number Publication Date
CN110928432A true CN110928432A (zh) 2020-03-27
CN110928432B CN110928432B (zh) 2023-06-23

Family

ID=69849714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911019754.0A Active CN110928432B (zh) 2019-10-24 2019-10-24 指环鼠标、鼠标控制装置及鼠标控制系统

Country Status (1)

Country Link
CN (1) CN110928432B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083832A (zh) * 2020-09-07 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于imu和红外感应的可移植触碰屏装置
CN112328156A (zh) * 2020-11-12 2021-02-05 维沃移动通信有限公司 输入设备的控制方法、装置和电子设备
WO2021203511A1 (zh) * 2020-04-07 2021-10-14 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、系统及存储介质
CN114625260A (zh) * 2022-03-23 2022-06-14 Oppo广东移动通信有限公司 交互方法、装置、电子设备及存储介质
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置
CN115562499A (zh) * 2022-11-16 2023-01-03 深圳市未来感知科技有限公司 基于智能指环的精准交互控制方法、系统及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797292A (zh) * 2004-12-28 2006-07-05 业盛科技股份有限公司 高灵敏度惯性鼠标
CN101598971A (zh) * 2008-06-03 2009-12-09 华硕电脑股份有限公司 计算机系统的输入装置及其操作方法
US20100066669A1 (en) * 2008-09-18 2010-03-18 Apple Inc. Using measurement of lateral force for a tracking input device
CN102566744A (zh) * 2010-12-22 2012-07-11 康佳集团股份有限公司 一种鼠标控制方法、装置及终端
CN103257723A (zh) * 2013-04-27 2013-08-21 西安交通大学 一种指上鼠标
KR101328385B1 (ko) * 2012-07-16 2013-11-13 이윤재 접촉식 손가락 마우스 및 이의 동작 방법
CN104345904A (zh) * 2013-07-23 2015-02-11 西安艾尔特仪器有限公司 一种手指式空中鼠标
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof
CN105204640A (zh) * 2015-09-24 2015-12-30 努比亚技术有限公司 一种穿戴式鼠标
CN107678542A (zh) * 2017-09-23 2018-02-09 武汉市烨震科技有限公司 一种指环类可穿戴设备及人机交互方法
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN108388355A (zh) * 2018-03-14 2018-08-10 极鱼（北京）科技有限公司 空中鼠标控制装置和方法
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
CN109696958A (zh) * 2018-11-28 2019-04-30 南京华捷艾米软件科技有限公司 一种基于深度传感器手势识别的手势控制方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1797292A (zh) * 2004-12-28 2006-07-05 业盛科技股份有限公司 高灵敏度惯性鼠标
CN101598971A (zh) * 2008-06-03 2009-12-09 华硕电脑股份有限公司 计算机系统的输入装置及其操作方法
US20100066669A1 (en) * 2008-09-18 2010-03-18 Apple Inc. Using measurement of lateral force for a tracking input device
CN102566744A (zh) * 2010-12-22 2012-07-11 康佳集团股份有限公司 一种鼠标控制方法、装置及终端
KR101328385B1 (ko) * 2012-07-16 2013-11-13 이윤재 접촉식 손가락 마우스 및 이의 동작 방법
CN103257723A (zh) * 2013-04-27 2013-08-21 西安交通大学 一种指上鼠标
CN104345904A (zh) * 2013-07-23 2015-02-11 西安艾尔特仪器有限公司 一种手指式空中鼠标
EP2942029A1 (en) * 2014-05-08 2015-11-11 Samsung Electronics Co., Ltd Surgical robots and control methods thereof
CN108351649A (zh) * 2015-09-15 2018-07-31 深圳市大疆创新科技有限公司 用于uav交互指令和控制的系统和方法
CN105204640A (zh) * 2015-09-24 2015-12-30 努比亚技术有限公司 一种穿戴式鼠标
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN107678542A (zh) * 2017-09-23 2018-02-09 武汉市烨震科技有限公司 一种指环类可穿戴设备及人机交互方法
CN108388355A (zh) * 2018-03-14 2018-08-10 极鱼（北京）科技有限公司 空中鼠标控制装置和方法
CN109166181A (zh) * 2018-08-12 2019-01-08 苏州炫感信息科技有限公司 一种基于深度学习的混合动作捕捉系统
CN109696958A (zh) * 2018-11-28 2019-04-30 南京华捷艾米软件科技有限公司 一种基于深度传感器手势识别的手势控制方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021203511A1 (zh) * 2020-04-07 2021-10-14 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、系统及存储介质
EP4134809A4 (en) * 2020-04-07 2024-03-20 JRD Communication (Shenzhen) Ltd METHOD AND SYSTEM FOR TEXT ENTRY USING VIRTUAL OR AUGMENTED REALITY AND STORAGE MEDIUM
CN112083832A (zh) * 2020-09-07 2020-12-15 中国人民解放军军事科学院国防科技创新研究院 基于imu和红外感应的可移植触碰屏装置
CN112083832B (zh) * 2020-09-07 2023-06-30 中国人民解放军军事科学院国防科技创新研究院 基于imu和红外感应的可移植触碰屏装置
CN112328156A (zh) * 2020-11-12 2021-02-05 维沃移动通信有限公司 输入设备的控制方法、装置和电子设备
CN112328156B (zh) * 2020-11-12 2022-05-17 维沃移动通信有限公司 输入设备的控制方法、装置和电子设备
CN114625260A (zh) * 2022-03-23 2022-06-14 Oppo广东移动通信有限公司 交互方法、装置、电子设备及存储介质
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置
CN115562499A (zh) * 2022-11-16 2023-01-03 深圳市未来感知科技有限公司 基于智能指环的精准交互控制方法、系统及存储介质

Also Published As

Publication number Publication date
CN110928432B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110928432B (zh) 指环鼠标、鼠标控制装置及鼠标控制系统
CN112789577B (zh) 增强现实系统中的神经肌肉文本输入、书写和绘图
CN104838337B (zh) 用于用户界面的无触摸输入
CN104238736B (zh) 利用抓握对象识别运动的装置、方法和系统
CN104536558B (zh) 一种智能指环和控制智能设备的方法
CN104254816B (zh) 数据输入装置
CN104156068B (zh) 一种基于虚拟手交互特征层模型的虚拟维修交互操作方法
CN102868811B (zh) 一种基于实时视频处理的手机屏幕操控方法
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
CN111722713A (zh) 多模态融合的手势键盘输入方法、设备、系统及存储介质
EP3951564A1 (en) Methods and apparatus for simultaneous detection of discrete and continuous gestures
CN103034343B (zh) 一种感知鼠标的控制方法和装置
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
CN105068657B (zh) 手势的识别方法及装置
JP2023537755A (ja) モーション信号とマウス信号を使用してホスト装置を制御するための電子装置
CN114417738B (zh) 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN111966217A (zh) 基于手势和眼动的无人机控制方法和系统
CN111552383A (zh) 虚拟增强现实交互设备的手指识别方法、系统及交互设备
CN111158476B (zh) 一种虚拟键盘的按键识别方法、系统、设备及存储介质
Prasad et al. A wireless dynamic gesture user interface for HCI using hand data glove
KR20120037739A (ko) 손동작 기반 사용자 인터페이스 장치 및 그 방법
Sung et al. Motion quaternion-based motion estimation method of MYO using K-means algorithm and Bayesian probability
CN112083832B (zh) 基于imu和红外感应的可移植触碰屏装置
CN107102725B (zh) 一种基于体感手柄进行虚拟现实移动的控制方法及系统
CN113918013A (zh) 一种基于ar眼镜的手势定向交互系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant