CN113472941A - 基于光电鼠标的数据发送与接收方法、终端、设备和系统 - Google Patents

基于光电鼠标的数据发送与接收方法、终端、设备和系统 Download PDF

Info

Publication number
CN113472941A
CN113472941A CN202110757065.0A CN202110757065A CN113472941A CN 113472941 A CN113472941 A CN 113472941A CN 202110757065 A CN202110757065 A CN 202110757065A CN 113472941 A CN113472941 A CN 113472941A
Authority
CN
China
Prior art keywords
optical mouse
texture image
movement
mouse
intelligent terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110757065.0A
Other languages
English (en)
Inventor
杨智策
王志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202110757065.0A priority Critical patent/CN113472941A/zh
Publication of CN113472941A publication Critical patent/CN113472941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03541—Mouse/trackball convertible devices, in which the same ball is used to track the 2D relative movement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供的一种基于光电鼠标的数据发送与接收方法、终端、设备和系统，包括智能终端；处理设备，通信连接光电鼠标；其中，智能终端的屏幕显示一纹理图像，纹理图像的移动方向和/或移动距离与比特预设的映射关系；光电鼠标用于放置于屏幕上，在纹理图像依据移动指令进行移动时，可刺激光电鼠标产生移动矢量；处理设备，依据光电鼠标报告的移动矢量进行调解，以获取智能终端所传输的数据。本申请在无额外硬件要求的情况下，可实现智能手机和电脑之间的轻量级通信通道。其扩展方式简单，无需额外投入和开销，通过智能终端来增强网页交互能力，可以广泛适用于多设备人机交互，物联网应用与服务等场景。

Description

基于光电鼠标的数据发送与接收方法、终端、设备和系统
技术领域
本发明涉及基于光电鼠标的数据传输技术领域，特别是涉及一种基于光电鼠标的数据发送与接收方法、终端、设备和系统。
背景技术
如今网络技术正在逐步发展。传统的网页主要作为用户从远程服务器上检索信息的输出接口，而现在网页越来越多地尝试利用客户端(如手机)的本地数据来丰富其功能，例如网页通过访问手机麦克风和摄像头实现网络电话系统。
为进一步增强网页获取智能手机中信息的场景服务，如允许网页检索存储在智能手机中的账户和密码凭证，以便自动填写登录表单；利用智能手机中的定位传感器，能让网页提供更精确的本地化服务；再如通过手机中的光线传感器，在线照片编辑器可以自动调整色彩空间，以适应环境光；以及接入智能终端的心率传感器能帮助远程健康诊断等等。本申请提出一种将光电鼠标放置于智能手机的显示屏幕之上，然后信息将从智能手机中直接传输给网络应用的方法。
而为了实现上述操作，本申请需要解决如下三个主要方面的技术问题：
1)为了让光电鼠标能够检测到，智能手机应该如何将数据调制在屏幕发射的光信号中；
2)当光电鼠标放置到屏幕上后，光电鼠标和屏幕如何建立通信连接；
3)不依赖额外的应用或插件，网页如何获取并解码通过光电鼠标传输的数据。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于光电鼠标的数据发送与接收方法、终端、设备和系统，以解决现有技术中存在的至少一个问题。
为实现上述目的及其他相关目的，本申请提供一种基于光电鼠标的数据发送方法，应用于智能终端，所述方法包括：在智能终端的屏幕显示一纹理图像；依据所述纹理图像的移动方向和/或移动距离与比特预设的映射关系，将待传输的数据包对应生成控制纹理图像移动的移动指令；当光电鼠标放置于屏幕上时，令纹理图像依据移动指令进行移动，以刺激光电鼠标产生移动矢量，并将移动矢量传输至通信连接该光电鼠标的处理设备，以供其依据映射关系解码出数据包。
于本申请的一实施例中，所述纹理图像的移动方向和/或移动距离与比特预设的映射关系包括以下任意一种：将移动距离设为固定值，对不同的移动方向进行调制，使对应的不同的方向偏移符号分别映射为不同的二进制比特；选取互为相反的一组方向为往复移动方向，对不同的移动距离进行调制，使对应的不同的距离偏移符号分别映射为不同的二进制比特；对不同的移动方向与不同的移动距离组合进行调制，使对应的不同的组合偏移符号分别映射为不同的二进制比特。
于本申请的一实施例中，所述方法包括：根据光电鼠标的最大可检测的移动速度，以及光电鼠标中图像传感器的采样频率，以确定所述纹理图像在两个连续显示帧中最大位移像素，据以限定为所述纹理图像最大的移动距离。
于本申请的一实施例中，所述光电鼠标对纹理图像进行移动检测的区域由光电鼠标的成像系统所覆盖的最大工作面积决定。
于本申请的一实施例中，所述映射关系还包括：对未进行移动进行调制，使对应的空偏移符号表示为二进制比特或空。
于本申请的一实施例中，所述数据包包括：用于识别数据包开始的前导码序列、及有效载荷字段；其中，所述前导码序列插入有一或多个偏移符号，用于前导码序列的校验；所述前导码序列可预设为已知的标准固定序列；和/或，所述有效载荷字段依据纠错编码而成，并映射到偏移符号上以进行传输；所述数据包中每个数据块通过校验码进行前向纠错以检测每个数据块中的错误；所述偏移符号包括：方向偏移符号、距离偏移符号、组合偏移符号、及空偏移符号中任意一种。
为实现上述目的及其他相关目的，本申请提供一种基于光电鼠标的数据接收方法，应用于通信连接有光电鼠标的处理设备，该光电鼠标放置于显示有纹理图像的智能终端的屏幕上，并产生移动矢量；所述方法包括：接收光电鼠标报告的移动矢量；依据已知的前导码序列与连续接收到的移动矢量进行比较，以确定前导码序列的开始；依据前导码序列后连续移动矢量对应于X轴或Y轴分量上的振幅分布，以确定最优重采样时间，据以从连续移动矢量中选取移动矢量子集；依据所述纹理图像的移动方向和距离与比特预设的映射关系，对移动矢量子集进行反方向调解，以完成数据包的接收。
于本申请的一实施例中，所述比较包括互相关处理，其包括：将接收到的连续移动矢量根据其时间戳分别与已知的前导码序列对应的移动矢量进行点乘以得到，以得到多个能量标量；依次判断各所述能量标量是否高于预设阈值，当高于阈值时，则对应移动矢量则判定为前导码序列的开始。
于本申请的一实施例中，所述依据前导码序列后连续移动矢量对应的振幅分布，以确定最优重采样时间，据以从连续移动矢量中选取移动矢量子集，包括：依据光电鼠标报告的各移动矢量，获取依据前导码序列后的各移动矢量在X轴或Y轴上的振幅分布情况；依据振幅分布情况，移动所述智能终端对应表征屏幕刷新周期大小的采样滑动窗口，以找到所述采样滑动窗口内所有光电鼠标对应的移动矢量的平均振幅为最大的时刻状态，以供将当前时刻状态的所述采样滑动窗口的中心时刻作为最优重采样时间；选取当前时刻状态的所述采样滑动窗口的内所有光电鼠标对应的移动矢量以作为移动矢量子集。。
于本申请的一实施例中，所述方法还包括：通过所述光电鼠标的锁定接口限制HTML控件中的光电鼠标光标，以防止光标越过窗口的边界并从鼠标移动事件中捕获和解调移动矢量。
为实现上述目的及其他相关目的，本申请提供一种智能终端，所述智能终端包括：存储器、处理器、及通信器；所述存储器用于存储数据发送指令；所述处理器运行计算机指令实现如上所述的数据发送方法；所述通信器用于与外部设备通信连接。
为实现上述目的及其他相关目的，本申请提供一种处理设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储数据接收指令；所述处理器运行计算机指令实现如上所述的数据接收方法；所述处理设备连接有光电鼠标；所述通信器用于与外部设备通信连接。
为实现上述目的及其他相关目的，本申请提供一种基于光电鼠标数据传输系统，所述系统包括：如上所述的智能终端；如上所述的处理设备；与所述处理设备通信连接的光电鼠标；其中，所述智能终端的屏幕显示一纹理图像，依据所述纹理图像的移动方向和/或移动距离与比特预设的映射关系，将待传输的数据包对应生成控制纹理图像移动的移动指令；所述光电鼠标用于放置于屏幕上，在纹理图像依据移动指令进行移动时，可刺激光电鼠标产生移动矢量；所述处理设备，用于依据光电鼠标报告的移动矢量进行调解，以获取智能终端所传输的数据包。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有数据发送指令，所述数据发送指令被运行时执行如上所述的数据发送方法；和/或，存储有数据接收指令，所述数据接收指令被运行时执行如上所述的数据接收方法。
综上所述，本申请的一种基于光电鼠标的数据发送与接收方法、终端、设备和系统，包括智能终端；处理设备；与所述处理设备通信连接的光电鼠标；其中，所述智能终端的屏幕显示一纹理图像，所述纹理图像的移动方向和/或移动距离与比特预设的映射关系；所述光电鼠标用于放置于屏幕上，在纹理图像依据移动指令进行移动时，可刺激光电鼠标产生移动矢量；所述处理设备，用于依据光电鼠标报告的移动矢量进行调解，以获取智能终端所传输的数据。
具有以下有益效果：
本申请在无额外硬件要求的情况下，可实现智能手机和电脑之间的轻量级通信通道。本申请利用智能手机的屏幕作为发射子系统，光学鼠标作为子系统，其扩展方式简单，无需额外投入和开销，通过智能手机来增强网页交互能力，可以广泛适用于多设备人机交互，物联网应用与服务等场景。
附图说明
图1显示为本申请于一实施例中基于光电鼠标数据传输系统的场景示意图。
图2显示为本申请于一实施例中纹理图像的模型示意图。
图3显示为本申请于一实施例中基于光电鼠标的数据发送方法的流程示意图。
图4显示为本申请于一实施例中基于光电鼠标的数据接收方法的流程示意图。
图5显示为本申请于一实施例中屏幕刷新频率与光电鼠标刷新频率对比的场景示意图。
图6A和6B显示为本申请于一实施例中两种不同的光电鼠标的移动矢量在X轴分量上的振幅分布的效果图。
图7显示为本申请于一实施例中方向偏移于二维空间中划分的模型示意图。
图8A显示为本申请于一实施例中本地定位服务的场景示意图。
图8B显示为本申请于一实施例中密码管理器的场景示意图。
图9显示为本申请于一实施例中智能终端的结构示意图。
图10显示为本申请于一实施例中处理设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本申请范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为进一步增强网页获取智能手机中信息的场景服务，本申请提出一种基于光电鼠标的数据发送与接收方法、终端、设备和系统，即将光电鼠标放置于智能手机的显示屏幕之上，然后信息将从智能手机中直接传输给网络应用。
需要说明的是，现有技术中存在一些技术手段，可实现与本申请类似的应用场景，但与本申请相比，均还存在一定不足，例如如下所述：
其一、手机到网页的共享系统。可使用媒体捕捉与媒体流接口[1]，兼容的浏览器能够接入摄像头，在智能手机上捕捉二维码流，实现与本申请类似的功能。在本申请中，光电鼠标就像一个摄像头，而智能手机的显示内容就像二维码。但本申请在应用接口兼容性、硬件可用性和视觉私密性上都优于基于摄像头的方法。
其二、利用智能手机增强台式机电脑，研究人员将智能手机和台式机结合起来的历史由来已久。项目[2]利用触摸屏PDA来显示台式机应用的用户界面，提供了一个额外的显示和控制界面。智能手机也被用于数据共享[3]、数学公式编辑[4]等。此外，智能手机作为一种可信的计算设备，能提高台式机的安全性[5]。这些工作都假设智能手机和台式机之间有网络连接，但忽略了建立和维护连接的实际开销。本申请提供了一种无处不在的、便捷的方式来将数据从智能手机传输到台式机。
其三、利用屏幕与相机的可见光通信(VLC)，由于光电鼠标传感器实际上是一个图像传感器，所以本发明与屏幕到相机的通信领域有关。最近在屏幕到相机的研究中，从数据传输速率[6]、计算开销[7]等多方面提高了性能。与上述不同的是，本申请利用的屏幕到鼠标通道是以前没有讨论过的。具体来说，由于光电鼠标默认只提供移动信息，本申请从鼠标的移动轨迹而不是图像中解码信息。
为了实现上述操作，本申请需要着重解决如下三个方面的技术问题：
1)为了让光电鼠标能够检测到，智能手机应该如何将数据调制在屏幕发射的光信号中；
2)当光电鼠标放置到屏幕上后，光电鼠标和屏幕如何建立通信连接；
3)不依赖额外的应用或插件，网页如何获取并解码通过光电鼠标传输的数据。
如图1所示，展示为本申请一实施例中的基于光电鼠标数据传输系统的场景示意图。如图所示，针对以上三个问题，所述系统包括：
智能终端100，包括但不限于智能手机、PAD、智能手表、车载终端等任何具有屏幕的设备，当然，该设备具有如定位、通信、数据存储或采集等功能会更佳，如带交互屏的家电设备、工业设备、医疗设备等等，以便依据本申请所述方法实现更丰富或更复杂的场景。
处理设备300；与所述处理设备通信连接的光电鼠标200。所述处理设备300优选为台式机电脑。
其中，所述智能终端100的屏幕显示一纹理图像110，所述纹理图像110的移动方向/或移动距离与比特预设的映射关系；所述光电鼠标200用于放置于屏幕上，在纹理图像110依据移动指令进行移动时，可刺激光电鼠标200产生移动矢量；所述处理设备300，用于依据光电鼠标200报告的移动矢量进行调解，以获取智能终端100所传输的数据。
简单来说，智能终端100作为发射子系统，优选地，其可以是一个运行在用户智能终端100中的应用程序APP或小程序。该智能终端100中的应用程序APP或小程序在其图形用户界面上显示一个方形的光学纹理图像110，如图2所示。通过移动智能终端100的屏幕上显示的该纹理图像110，能刺激放置在其上的光学鼠标200产生移动矢量。智能终端100或其上的应用程序还负责管理要传输的数据，例如，登录凭证、传感器的数据等。
所述处理设备300或处理设备打开的网页作为接收子系统。优选地，其可以是一个由网页服务器提供的网页脚本，运行在电脑的网络浏览器中。接收子系统的核心部分是解码器，解码器是从系统的光电鼠标200接口处获取移动矢量，并对其进行解码，以获得发射子系统传输的比特流。
如图3所示，展示为本申请一实施例中的基于光电鼠标的数据发送方法的流程示意图。
如图所示，所述数据发送方法应用于智能终端，所述数据发送方法包括：
步骤S310：在智能终端的屏幕显示一纹理图像。
简单来说，本申请提出通过屏幕显示如图2所示的纹理图像，主要是利用了光学鼠标传感器能够检测到屏幕上纹理的移动这一特点。其中，主要基于屏幕的可见光通信(VLC)技术和基于光电鼠标的信息获取技术。
需要说明的是，纹理图像的运动快慢决定了光电鼠标输出(或报告)移动矢量的强度，即移动矢量
Figure BDA0003148140690000071
的振幅，从而影响信道的质量，移动矢量的振幅越大信道的质量越高。因此，纹理图像及其运动模式的设计目标是最大限度地提高鼠标移动矢量的振幅，同时避免移动矢量方向的错误。
另外，为了能产生数字信号，光电鼠标下的CMOS类似于常见到的网格，它会把采样回来的图像分成很多紧密排列的小格，再在这些以小格为单位的图像中找出相同的像素点，也就是参照物。对比两次采样图像的相同像素点，也就知道了光电鼠标移动的方向。由于光电鼠标的采样频率或刷新频率是固定的，光电鼠标的移动速度也就能计算出来了。但是如果光电鼠标移动速度过快时，光电鼠标在连续两次扫描所得的图片中找不到相同的像素点，也就无法判断光标移动的速度和方向了，这就是光电鼠标刷新率不足产生的光标指针丢失的现象。对应的，如果本申请所述纹理图像移动速度过快或移动距离过大，将会造成光电鼠标的光标指针丢失。
因此，本申请需要预先确定纹理图像最大位移像素或最大位移距离，具体方法包括：根据光电鼠标的最大可检测的移动速度，以及光电鼠标中图像传感器的采样频率，以确定所述纹理图像在两个连续显示帧中最大位移像素，据以限定为所述纹理图像最大的移动距离。
优选地，将光电鼠标的最大可检测的移动速度除以光电鼠标中图像传感器的采样频率以得到最大位移像素。
本申请考虑到光电鼠标有一个最大可检测的移动速度，这与图像传感器的采样率有关。光电鼠标的数字信号处理器是通过比较连续的图像来测量运动的，而且要求两幅图像之间的位移不能太大，否则连续的图像会相差太多，无法正确判断位移。
举例来说，通常大多数鼠标的最大可检测的移动速度被限制在每秒30英寸左右[8]。由于图像传感器每秒采样大约3000幅图像，因此两幅连续的光电鼠标采样图像之间纹理的最大位移不应超过30/3000＝0.01英寸，相当于屏幕4个像素的宽度(每英寸约为400像素)。
需要说明的是，纹理图像所模拟的运动与真实的物理运动有很大的不同。假设，智能终端(如手机)屏幕刷新率(60Hz)比光电鼠标的采样率(3000Hz)慢得多，从光电鼠标传感器的角度来看，它的图像在大部分时间是相同的。因此，显示纹理的最大位移是由屏幕刷新时遇到的两幅图像决定的，而不是1/60秒内的所有图像。因此，显示纹理在两个连续显示帧中的位移距离应在4像素以内。
于本实施例中，为了模拟真实运动，光电鼠标采样得到的相邻图像中的纹理移动不应大于4个像素。这里从屏幕显示的纹理图像来看，不考虑屏幕像素刷新，虽然光电鼠标捕捉的屏幕纹理图像绝大多数的情况是图像都是相同的，但其中会有两张拍摄到屏幕变化的连续图像，按照上文分析，这两张图的纹理移动距离就应该限制在4个像素内，从而决定了屏幕显示纹理的最大位移。
举例来说，从光电鼠标拍摄或采集角度来看，例如光电鼠标一秒捕捉到3000张图像，其中有60张是智能终端的屏幕上纹理图像发生变化的。也就是1/60秒屏幕从A到B，体现到光电鼠标所拍摄的情况为：AAAAAA……AAAAAAB。
于本申请一实施例中，所述光电鼠标对纹理图像进行移动检测的区域由光电鼠标的成像系统所覆盖的最大工作面积决定。优选地，所述纹理图像的面积不小于该最大工作面积。
需要说明的是，通常光电鼠标的成像系统只能覆盖0.04英寸×0.04英寸(每英寸余约为400像素)的工作面面积。当光电鼠标放在如手机屏幕上时(像素密度约为400像素/英寸)。光电鼠标根据显示的纹理图像的16像素×16像素的区域进行移动检测。
于本申请一实施例中，为了唯一确定移位方向，所述方法还包括：令所述纹理图像中每个最大位移像素范围内的特征或图案与其周围相邻区域的特征或图案均不相同，以便准确确定每次移动的方向。
例如对于纹理图像中任何16×16像素的区域，在4个像素内应该没有相同的相邻区域。
优选地，所述纹理图像为黑白纹理图像，以增强光电鼠标的图像传感器的采集对比度。
优选地，所述纹理图像可以为条形码、点码、规则或不规则形状、字母、文字、数字、图案、色彩等等标识或符号中任意一种或多种组合。
步骤S320：依据所述纹理图像的移动方向和距离与比特预设的映射关系，将待传输的数据包对应生成控制纹理图像移动的移动指令。
于本申请一实施例中，所述纹理图像的移动方向和/或移动距离与比特预设的映射关系包括以下任意一种：
A、将移动距离设为固定值，对不同的移动方向进行调制，使对应的不同的方向偏移符号分别映射为不同的二进制比特。
B、选取互为相反的一组方向为往复移动方向，对不同的移动距离进行调制，使对应的不同的距离偏移符号分别映射为不同的二进制比特。
C、对不同的移动方向与不同的移动距离组合进行调制，使对应的不同的组合偏移符号分别映射为不同的二进制比特。
需要说明的是，与其他通信系统中的调制方法类似，本申请中纹理图像的移动方向和移动距离都可以用来表示比特。
其中，由于信道中含有较大的噪声，可以优选将移动距离设为固定值，只对移动方向进行调制。
于本申请一实施例中，所述移动方向包括但不限于：将上、下、左、右、左上、左下、右上、及右下等方向；所述移动距离可包含多个像素距离的移动距离，例如在最大位移像素或最大位移为4个像素，那么移动距离可分为1个像素单元、2个像素单元、3个像素单元、4个像素单元等不同的移动距离；所述不同的移动方向与不同的移动距离组合，例如，向右移动1个像素单元，向上移动2个像素单元等等。简单来说，通过不同的偏移符号来表示不同的二进制比特。
于本申请一实施例中，上述的映射关系A、B、C中均还包括：对未进行移动进行调制，使对应的空偏移符号表示为二进制比特或空。
举例来说，本申请预设的一种依据所述纹理图像的移动方向和距离与比特预设的映射关系，如下表1所示。
表1纹理图像的移动方向与比特预设的映射关系表
比特 00 01 10 11 null
符号 ↓ ← → ↑ ·
上表中使用四个移动方向的符号(→，↓，←，↑)来表示比特。间隔符号″●″代表该帧纹理图像没有移动，主要用于前导码。
举例来说，所述前导码是一个位序列用于检测接收器中的“0”和“1”电平。例如，前导码为一个字节，其值为01010101或10101010。
于本申请一实施例中，所述数据包包括：用于识别数据包开始的前导码序列、及有效载荷字段。其中，所述前导码序列插入有一或多个偏移符号，用于前导码序列的校验；所述前导码序列可预设为已知的标准固定序列。其中，偏移符号包括：方向偏移符号、距离偏移符号、组合偏移符号、及空偏移符号中任意一种。
简单来说，每个数据包都有一个前导码序列，用于识别数据包的开始。前导码序列也可以用来寻找数据符号的大致边界。本申请通过作为接收子系统的处理设备同步来确定更加精确的符号边界。例如，前导码序列使用符号序列为：←←●→→●。
另外，为了提高在这种恶劣条件下消息的成功传递率，所述有效载荷字段依据纠错编码成，并映射到偏移符号上以进行传输；所述数据包中每个数据块(如前导码序列对应的数据块、及有效载荷字段对应的数据块)通过校验码进行前向纠错以检测每个数据块中的错误。
优选地，本申请采用常见的任意纠错编码均可实现，例如采用里德-所罗门码(里所码)进行前向纠错。每个数据包由前前导码序和有效载荷字段组成。有效载荷首先被编码成里所块，然后映射到方向偏移符号上进行传输，并利用常见的任意校验码均以检测每个里所块中的错误，例如采用8位或16位的循环冗余校验用于检测每个里所块中的错误。
循环冗余校验(Cyclic Redundancy Check，CRC)是一种根据网络数据包或计算机文件等数据产生简短固定位数校验码的一种信道编码技术，主要用来检测或校验数据传输或者保存后可能出现的错误。它是利用除法及余数的原理来作错误侦测的。
于本实施例中，如表1所示的基于所述纹理图像的移动方向和距离与比特预设的映射关系，通过智能终端将待传输的数据生成一或多组移动方向符号的序列，并对应生成控制纹理图像相应移动动一动指令。
步骤S330：当光电鼠标放置于屏幕上时，令纹理图像依据移动指令进行移动，以刺激光电鼠标产生移动矢量，并将移动矢量传输至通信连接该光电鼠标的处理设备，以供其依据映射关系解码出数据包。
简单来说，当智能终端屏幕显示纹理图像准备就绪时，光电鼠标放置于屏幕上，然后令纹理图像依据移动指令进行移动，从而刺激光电鼠标产生移动矢量，或使光电鼠标感受到移动以产生移动矢量，进而光电鼠标将生成的移动矢量传输至通信连接该光电鼠标的处理设备。而处理设备则相当于解码器，通过对应的映射关系，可将移动矢量解码出数据包，从而实现基于光电鼠标的数据传输。
如图4所示，展示为本申请一实施例中的基于光电鼠标的数据接收方法的流程示意图。如图所示，所述数据接收方法应用于通信连接有光电鼠标的处理设备，该光电鼠标放置于显示有纹理图像的智能终端的屏幕上，并产生移动矢量；所述数据接收方法包括：
步骤S410：接收光电鼠标报告的移动矢量。
简单来说，光电鼠标报告的坐标形式的移动矢量，主要是利用光电鼠标内部的一块专用图像分析芯片(DSP，即数字微处理器)对移动轨迹上摄取的一系列图像进行分析处理，通过对这些图像上特征点位置的变化进行分析，来判断鼠标的移动方向和移动距离，从而完成光标的定位。
于本申请中，当光电鼠标下方的屏幕上显示的纹理图像移动时，可看作光电鼠标相对于纹理图像在移动，因此，光电鼠标获得了纹理图像上特征点位置的变化，进行光电鼠标获取了移动方向和移动距离，并将这些移动矢量以坐标形式报告给通信连接的处理设备。
于多个实施例中，光电鼠标报告的移动矢量为坐标形式移动矢量。例如(4，3)表示光电鼠标事件(移动矢量)向下4个像素，向左3个像素，(-1，-2)表示光电鼠标事件(移动矢量)向上2个像素，向右2的像素。
步骤S420：依据已知的前导码序列与连续接收到的移动矢量进行比较，以确定前导码序列的开始。
由于光电鼠标报告的所有移动矢量中还包括由多种因素造成的噪音移动矢量，因此，若想准确的解码出传输的数据，关键是需要确认数据包前导码序列的开始，即找到帧数数据的开始，而本申请主要通过依据已知的前导码序列与连续接收到的移动矢量进行比较，从而排除掉噪音移动矢量，进而确定前导码序列的开始。
优选地，本申请通过互相关处理来进行比较，其具体包括：
A、将接收到的连续移动矢量根据其时间戳分别与已知的前导码序列对应的移动矢量进行点乘以得到，以得到多个能量标量；
B、依次判断各所述能量标量是否高于预设阈值，当高于阈值时，则对应移动矢量则判定为前导码序列的开始。
简单来说，处理设备在接收光电鼠标报告的移动矢量后，首先进行前导码检测。具体方式是，不断地对接收到的移动矢量与已知的前导码序列做互相关。
需要说明的是，前导码序列可预设为已知的标准固定序列，即可以提前预设，并分别存入移动智能终端的APP中，或者处理设备中，以便分别执行数据发送和数据接收方法时，遵循同一前导码序列。
本申请中，前导码序列可看作是一个时间序列，以这个序列长度为滑动窗口，将接收到的连续移动矢量根据其时间戳与前导码对应点乘，即相当于根据滑动窗口，检测到的当前序列前导码的右边界、而向量的点乘结果为一个标量，即一个数值。
例如，比如前导码序列[x，y，z]，移动矢量：[a，b，c，d，e，f，j…]，则得到的能量标量分别为：
能量标量1＝(a×x+b×y+c×z)；
能量标量2＝(b×x+c×y+d×z)；
能量标量3＝(c×x+d×y+e×z)…。
然后，如果能量标量高于阈值，则可判定检测到器前导码序列的开端；然后作为接收子系统的处理设备就可以获取后续的数据符号的粗略边界，以便准备对移动矢量重采样。
另外，因为每个发送的数据序列为固定长度，故无需检测数据序列的结束。
如图5所示，展示为屏幕刷新频率与光电鼠标刷新频率对比的场景示意图。如图所示，在接收到的移动矢量中存在着采样偏移和噪声。屏幕刷新率(Fframe＝60Hz)和光电鼠标报告率(Fpolling＝125Hz)不同，带来了很大的采样偏移，如时隙3和14处报告的移动矢量与实际屏幕输出的矢量不同；移动矢量还包含噪声甚至错误的数值，如时隙7。
需要说明的是，通常光电鼠标采样频率比智能终端的屏幕刷新频率快，例如光电鼠标采样获得1000张图像，但是1000张对应的移动矢量并非都有用，会存在大量的未移动图像，因此，为解决屏幕与光电鼠标频率的差异所带来的采样偏移，本申请中处理设备还需要确定手机屏幕的刷新时间，以确定纹理图像的刷新频率，下面就是确定屏幕刷新频率的办法。
步骤S430：依据前导码序列后连续移动矢量对应于X轴或Y轴分量上的振幅分布，以确定最优重采样时间，据以从连续移动矢量中选取移动矢量子集。
于本申请一实施例中，步骤S430具体包括：
A、依据光电鼠标报告的各移动矢量，获取依据前导码序列后的各移动矢量在X轴或Y轴上的振幅分布情况；
B、依据振幅分布情况，移动所述智能终端对应表征屏幕刷新周期大小的采样滑动窗口，以找到所述采样滑动窗口内所有光电鼠标对应的移动矢量的平均振幅为最大的时刻状态，以供将当前时刻状态的所述采样滑动窗口的中心时刻作为最优重采样时间；
C、选取当前时刻状态的所述采样滑动窗口的内所有光电鼠标对应的移动矢量以作为移动矢量子集，其中，移动矢量子集主要是去除了采样滑动窗口外噪音移动矢量的部分。
于一或多个实施方案中，由于屏幕和鼠标不同步，处理设备并不知道屏幕刷新的准确时间。因此，需要通过分析采样的移动矢量振幅的统计数据，来推断屏幕刷新时间。
于本申请中，依据前导码序列后连续移动矢量可提取对应于X轴或Y轴分量上的振幅分布情况。以X轴为例，可得到如图6A或6B所示的来自两种不同的光电鼠标的移动矢量在X轴分量上的振幅分布的效果图。
如图6A或6B所示，为了估计屏幕刷新时间，将所有光电鼠标事件按照时间戳折叠在一个屏幕刷新周期内，其显示了一定周期的光电鼠标所报告的移动矢量，纵坐标是移动矢量在x轴的分量(左右)，+Y代表向右，-Y代表向左。根据其采样时间折叠到[0，Tframe]中，Tframe是屏幕刷新的时间，即1/60s，依据1s＝1000ms，可知1/60s＝0.0167s＝16.7ms。即对应图6A或6B中，16.7ms对应为屏幕刷新时间，可以在这个范围内搜索到最优重采样时间topt。图中的点是一个刷新周期Tframe中折叠的移动矢量在X轴分量的振幅，即[x,y]＝[ti modTframe，
Figure BDA0003148140690000131
由于光电鼠标每8ms报告一次，所以[topt-4ms，topt+4ms]mod Tframe范围所构成的采样滑动窗口内的样本需要找到最理想的，以减少比其他样本的噪声。进而由图中统计的数据，可找到光电鼠标事件聚集的汇报窗口(8ms)，即图上[0，8ms]处。即[0，8ms]对应的采样滑动窗口内的平均振幅为最大的状态，据以将当前所述采样滑动窗口的中心时刻(4ms)作为最优重采样时间。
于本申请一实施例中，假设topt就是估计得到的每一个屏幕刷新时间，而[topt-4ms，topt+4ms]中的样本振幅相对较大，光电鼠标汇报事件是每隔8ms一次，topt是当前光电鼠标汇报事件的预测中点，8/2＝4ms。这是因为topt反映了屏幕刷新的时间，因此本申请选择接近topt的样本进行解调。具体来说，由于屏幕帧率固定，第i帧的刷新时间就是topt(i)＝16.7*i+topt0，在每一帧，本申请选择最接近topt(i)的事件作为这一帧的移动矢量。
步骤S440：依据所述纹理图像的移动方向和距离与比特预设的映射关系，对移动矢量子集进行反方向调解，以完成数据包的接收。
具体地，对通过步骤S430中最优重采样时间确定的移动矢量子集，依据如图3所对应的基于光电鼠标的数据发送方法的步骤S320中所述纹理图像的移动方向和/或移动距离与比特预设的映射关系，进行反向调解的。
须知的是，解调是调制的逆过程。方向偏移键控的解调。处理系统将移动方向映射成比特，方向由移动矢量
Figure BDA0003148140690000132
的在X轴和Y轴的极向和振幅决定，如图7所示，它将二维空间划分为四个区域，然后查找表2，可使移动矢量被映射到比特。
表2调制过程中移动矢量与比特映射关系
Figure BDA0003148140690000133
需要说明的是，由于光电鼠标报告的移动矢量的方向与显示纹理的移动方向相反，所以表2和表1是相反的。
于一或多个可实现的实施例中，本申请将处理设备作为一个Javascript应用程序来实现，这样它就可以被嵌入到网页中。
于本申请一实施例中，所述方法还包括：通过所述光电鼠标的锁定接口限制HTML控件中的光电鼠标光标，以防止光标越过窗口的边界并从鼠标移动事件中捕获和解调移动矢量。具体地，通过这种方式，本申请可不依赖额外的应用或浏览器插件，即可实现网页内的数据接收和解码。
实施例一
在使用网页地图和在线购物系统等时，精准定位可以让用户获得更好的体验。这包括自动填写送货地址和推荐附近的优惠券活动。然而，常见的室内电脑缺乏专用的定位传感器。它们主要依靠IP地址来确定建筑物或街道街区级别的粗粒度位置。在依靠网络地址转换接入互联网的地区，位置误差可以跨越到数百米。相反，如今智能手机的定位方法更多样，更精确。虽然GPS在室内无法使用，但它的许多功能，如蜂窝基站和Wi-Fi接入点可以用于定位。支持Wi-Fi RTT的智能手机[2]甚至可以在室内进行本地化。
本申请利用智能手机具备基于GPS综合定位服务，来解决电脑缺乏精确的定位传感器的问题，通过从同一位置的智能手机上获取位置信息，实现电脑网页上的精准本地定位服务。如图8A所示，展示为本地定位服务的场景示意图。
实施例二
如今的网络密码很复杂，是人们记忆的负担。一种流行的缓解方式是将凭证存储在一个地方，例如密码管理器，它将密码锁定在USB加密狗或云端，并通过简单的点击或复制粘贴动作进行自动填充。然而，跨设备使用密码管理器并不总是方便。例如，在公共电脑或图书馆中的控制台，USB接口通常会被屏蔽，登录云端的过程中也会带来泄露管理器主密钥的风险。
本申请可将智能手机中存储的登录凭证共享到网页上并进行自动填写，允许网页检索存储在智能手机中的凭证，从而不受上述限制。如图8B所示，展示为密码管理器的场景示意图。
综上所述，本申请在无额外硬件要求的情况下，可实现智能手机和电脑之间的轻量级通信通道。本申请利用智能手机的屏幕作为发射子系统，光学鼠标作为子系统，其扩展方式简单，无需额外投入和开销，通过智能手机来增强网页交互能力，可以广泛适用于多设备人机交互，物联网应用与服务等场景。
如图9所示，展示为本申请于一实施例中的智能终端的结构示意图。如图所示，所述智能终端900包括：存储器901、处理器902、及通信器903；所述存储器901用于存储计算机指令；所述处理器902运行计算机指令实现如图3所述的数据发送方法；所述通信器903用于与外部设备通信连接。
举例来说，所述智能终端900可以为智能手机、PAD、智能手表、车载终端等，如图3所述的数据发送方法可依据所述智能终端900上搭载或安装的应用程序APP或小程序实现。而通信器903可通信连接对应应用程序APP或小程序的远程服务器，以实现对需要传输的数据对应转换成控制纹理图像移动的移动指令。
在一些实施例中，所述智能终端900中的所述存储器901的数量均可以是一或多个，所述处理器902的数量均可以是一或多个，所述通信器903的数量均可以是一或多个，而图9中均以一个为例。
于本申请一实施例中，所述智能终端900中的处理器902会按照如图3所述的数据发送方法，将一个或多个以应用程序的进程对应的指令加载到存储器901中，并由处理器902来运行存储在存储器901中的应用程序，从而实现如图3所述的数据发送方法。
所述存储器901可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器901存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器902可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器903用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器903可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中，所述计算机设备900的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图9中将各种总线都成为总线系统。
如图10所示，展示为本申请于一实施例中的处理设备的结构示意图。如图所示，所述处理设备1000包括：存储器1001、处理器1002、及通信器1003；所述存储器1001用于存储计算机指令；所述处理器1002运行计算机指令实现如图4所述的数据接收方法。所述通信器1003用于与外部设备通信连接。
举例来说，所述处理设备1000可以为终端设备，如服务器、台式计算机等。优选地，所述处理设备1000为台式计算机，通过与如图9所示的智能终端的协作，以使台式计算机实现智能终端所具备的异端定位、信息存储等数据服务。
需说明的是，如图4所述的数据接收方法可依据所述智能终端900上网页服务器提供的网页脚本实现。而通信器903可通信连接对应网页的远程服务器，以实现对光电鼠标获取的移动矢量转换为传输的数据。
在一些实施例中，所述处理设备1000的结构示意图与智能终端900的结构图类似，故这里不再赘述。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，存储有数据发送指令，所述数据发送指令被运行时执行如图3所述的数据发送方法；和/或，存储有数据接收指令，所述数据接收指令被运行时执行如图4所述的数据接收方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
综上所述，本申请提供的一种基于光电鼠标的数据发送与接收方法、终端、设备和系统，本申请在无额外硬件要求的情况下，可实现智能手机和电脑之间的轻量级通信通道。本申请利用智能手机的屏幕作为发射子系统，光学鼠标作为子系统，其扩展方式简单，无需额外投入和开销，通过智能手机来增强网页交互能力，可以广泛适用于多设备人机交互，物联网应用与服务等场景。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
参考文献：
[1]“Media Capture and Streams API,”https://www.w3.org/TR/mediacapture-streams/,2020.
[2]B.A.Myers,“Using handhelds and pcs together,”Communications of TheACM,vol.44,no.11,pp.34–41,2001.
[3]A.L.Simeone,J.Seifert,D.Schmidt,P.Holleis,E.Rukzio,andH.Gellersen,“A cross-device drag-and-drop technique,”in Proceedings of the12th International Conference on Mobile and Ubiquitous Multimedia,2013,p.10.
[4]H.Xia,J.Zhang,Y.Zhu,C.Yu,and Y.Shi,“Mobile assistant:enhancingdesktop interaction using mobile phone,”in Proceedings of the 2012 ACMinternational conference on Interactive tabletops and surfaces,2012,pp.379–382.
[5]A.Perrig,M.K.Reiter,and J.M.Mccune,“Reducing the trusted computingbase for applications on commodity systems,”2009.
[6]W.Hu,G.Hao,and Q.Pu,“Lightsync:unsynchronized visual communicationover screen-camera links,”2013.
[7]Z.Yang,Z.Wang,J.Zhang,C.Huang,and Q.Zhang,“Wearables can afford:Light-weight indoor positioning with visible light,”in Proceedings of the13th Annual International Conference on Mobile Systems,Applications,andServices,2015,pp.317–330.
[8]AVAGOTECH,“Solid-State Optical Mouse Lens Data Sheet,”https://www.sparkfun.com/datasheets/Widgets/AV02-1278EN.pdf,2019.

Claims (14)

1.一种基于光电鼠标的数据发送方法，其特征在于，应用于智能终端，所述方法包括：
在智能终端的屏幕显示一纹理图像；
依据所述纹理图像的移动方向和/或移动距离与比特预设的映射关系，将待传输的数据包对应生成控制纹理图像移动的移动指令；
当光电鼠标放置于屏幕上时，令纹理图像依据移动指令进行移动，以刺激光电鼠标产生移动矢量，并将移动矢量传输至通信连接该光电鼠标的处理设备，以供其依据映射关系解码出数据包。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
根据光电鼠标的最大可检测的移动速度，以及光电鼠标中图像传感器的采样频率，以确定所述纹理图像在两个连续显示帧中最大位移像素，据以限定为所述纹理图像最大的移动距离。
3.根据权利要求1所述的方法，其特征在于，所述光电鼠标对纹理图像进行移动检测的区域由光电鼠标的成像系统所覆盖的最大工作面积决定。
4.根据权利要求1所述的方法，其特征在于，所述纹理图像的移动方向和/或移动距离与比特预设的映射关系包括以下任意一种：
将移动距离设为固定值，对不同的移动方向进行调制，使对应的不同的方向偏移符号分别映射为不同的二进制比特；
选取互为相反的一组方向为往复移动方向，对不同的移动距离进行调制，使对应的不同的距离偏移符号分别映射为不同的二进制比特；
对不同的移动方向与不同的移动距离组合进行调制，使对应的不同的组合偏移符号分别映射为不同的二进制比特。
5.根据权利要求4所述的方法，其特征在于，所述映射关系还包括：对未进行移动进行调制，使对应的空偏移符号表示为二进制比特或空。
6.根据权利要求5所述的方法，其特征在于，所述数据包包括：用于识别数据包开始的前导码序列、及有效载荷字段；其中，
所述前导码序列插入有一或多个偏移符号，用于前导码序列的校验；所述前导码序列可预设为已知的标准固定序列；和/或，所述有效载荷字段依据纠错编码而成，并映射到偏移符号上以进行传输；
所述数据包中每个数据块通过校验码进行前向纠错以检测每个数据块中的错误；
所述偏移符号包括：方向偏移符号、距离偏移符号、组合偏移符号、及空偏移符号中任意一种。
7.一种基于光电鼠标的数据接收方法，其特征在于，应用于通信连接有光电鼠标的处理设备，该光电鼠标放置于显示有纹理图像的智能终端的屏幕上，并产生移动矢量；所述方法包括：
接收光电鼠标报告的移动矢量；
依据已知的前导码序列与连续接收到的移动矢量进行比较，以确定前导码序列的开始；
依据前导码序列后连续移动矢量对应于X轴或Y轴分量上的振幅分布，以确定最优重采样时间，据以从连续移动矢量中选取移动矢量子集；
依据所述纹理图像的移动方向和距离与比特预设的映射关系，对移动矢量子集进行反方向调解，以完成数据包的接收。
8.根据权利要求7所述的方法，其特征在于，所述比较包括互相关处理，其包括：
将接收到的连续移动矢量根据其时间戳分别与已知的前导码序列对应的移动矢量进行点乘以得到，以得到多个能量标量；
依次判断各所述能量标量是否高于预设阈值，当高于阈值时，则对应移动矢量则判定为前导码序列的开始。
9.根据权利要求7所述的方法，其特征在于，所述依据前导码序列后连续移动矢量对应的振幅分布，以确定最优重采样时间，据以从连续移动矢量中选取移动矢量子集，包括：
依据光电鼠标报告的各移动矢量，获取依据前导码序列后的各移动矢量在X轴或Y轴上的振幅分布情况；
依据振幅分布情况，移动所述智能终端对应表征屏幕刷新周期大小的采样滑动窗口，以找到所述采样滑动窗口内所有光电鼠标对应的移动矢量的平均振幅为最大的时刻状态，以供将当前时刻状态的所述采样滑动窗口的中心时刻作为最优重采样时间；
选取当前时刻状态的所述采样滑动窗口的内所有光电鼠标对应的移动矢量以作为移动矢量子集。
10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过所述光电鼠标的锁定接口限制HTML控件中的光电鼠标光标，以防止光标越过窗口的边界并从鼠标移动事件中捕获和解调移动矢量。
11.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器、及通信器；所述存储器用于存储数据发送指令；所述处理器运行计算机指令实现如权利要求1至6中任意一项所述的数据发送方法；所述通信器用于与外部设备通信连接。
12.一种处理设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储数据接收指令；所述处理器运行计算机指令实现如权利要求7至10中任意一项所述的数据接收方法；所述处理设备连接有光电鼠标；所述通信器用于与外部设备通信连接。
13.一种基于光电鼠标数据传输系统，其特征在于，所述系统包括：
如权利要求11所述的智能终端；
如权利要求12所述的处理设备；
与所述处理设备通信连接的光电鼠标；
其中，所述智能终端的屏幕显示一纹理图像，依据所述纹理图像的移动方向和/或移动距离与比特预设的映射关系，将待传输的数据包对应生成控制纹理图像移动的移动指令；
所述光电鼠标用于放置于屏幕上，在纹理图像依据移动指令进行移动时，可刺激光电鼠标产生移动矢量；
所述处理设备，用于依据光电鼠标报告的移动矢量进行调解，以获取智能终端所传输的数据包。
14.一种计算机可读存储介质，其特征在于，存储有数据发送指令，所述数据发送指令被运行时执行如权利要求1至6中任一项所述的数据发送方法；和/或，存储有数据接收指令，所述数据接收指令被运行时执行如权利要求7至10中任一项所述的数据接收方法。
CN202110757065.0A 2021-07-05 2021-07-05 基于光电鼠标的数据发送与接收方法、终端、设备和系统 Pending CN113472941A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110757065.0A CN113472941A (zh) 2021-07-05 2021-07-05 基于光电鼠标的数据发送与接收方法、终端、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110757065.0A CN113472941A (zh) 2021-07-05 2021-07-05 基于光电鼠标的数据发送与接收方法、终端、设备和系统

Publications (1)

Publication Number Publication Date
CN113472941A true CN113472941A (zh) 2021-10-01

Family

ID=77878065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110757065.0A Pending CN113472941A (zh) 2021-07-05 2021-07-05 基于光电鼠标的数据发送与接收方法、终端、设备和系统

Country Status (1)

Country Link
CN (1) CN113472941A (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187811A (zh) * 2019-04-18 2019-08-30 上海科技大学 一种基于光电鼠标与屏幕通信的人机交互方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110187811A (zh) * 2019-04-18 2019-08-30 上海科技大学 一种基于光电鼠标与屏幕通信的人机交互方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIWEI WANG, QIANYI HUANG, YIHUI YAN, HAITIAN REN, YIZHOU ZHANG: "MousePath: Enhancing PC Web Pages through Smartphone and Optical Mouse", 《2021 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS (PERCOM)》 *
ZHIWEI WANG, YIHUI YAN, QIANYI HUANG, HAITIAN REN, YIZHOU ZHANG: "Demo: Using Smartphone and Optical Mouse to Enhance Web Interaction", 《2021 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS WORKSHOPS AND OTHER AFFILIATED EVENTS (PERCOM WORKSHOPS)》 *

Similar Documents

Publication Publication Date Title
US10185878B2 (en) System and method for person counting in image data
CN103400099B (zh) 终端和二维码识别方法
CN103404114B (zh) 用于无线显示器的用户输入返回信道的方法和设备
CN103384995B (zh) 用于无线显示器的用户输入返回信道的方法和装置
US9924240B2 (en) Systems and methods for interactive video generation and rendering
CN102800065B (zh) 基于二维码识别跟踪的增强现实设备及方法
WO2019001006A1 (zh) 一种图像数据的编码、解码方法及装置
CN111868750A (zh) 用于减少的网络带宽的内容传输的机器学习系统
US10218440B2 (en) Method for visible light communication using display colors and pattern types of display
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
EP3335155B1 (en) Electronic device and operating method of the same
US11061540B2 (en) Remote support service with smart whiteboard
CN108985421A (zh) 编码信息的生成方法和识别方法
CN113469869B (zh) 一种图像管理方法和装置
JP2021006982A (ja) 文字の色を決定する方法および装置
CN106713739A (zh) 一种基于电子屏幕显示的二维码的识别方法
CN112996099B (zh) 抗时隙删除的极化时隙aloha的发送与接收方法
CN110309244B (zh) 一种目标点定位的方法和装置
CN113472941A (zh) 基于光电鼠标的数据发送与接收方法、终端、设备和系统
CN117076811A (zh) 一种网页导出方法、装置、设备及存储介质
KR101116582B1 (ko) 이차원 코드를 이용한 어플리케이션 다운로드 방법
CN111125564B (zh) 热力图生成方法、装置、计算机设备及存储介质
CN111866058A (zh) 数据处理方法及系统
CN104111951A (zh) 栅格图片的绘制方法及装置
Wang et al. Task-oriented and Semantics-aware Communication Framework for Augmented Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211001

RJ01 Rejection of invention patent application after publication