CN118355357A - 用于与电子设备相关联的远程控制和注解的设备和方法 - Google Patents
用于与电子设备相关联的远程控制和注解的设备和方法 Download PDFInfo
- Publication number
- CN118355357A CN118355357A CN202180104641.XA CN202180104641A CN118355357A CN 118355357 A CN118355357 A CN 118355357A CN 202180104641 A CN202180104641 A CN 202180104641A CN 118355357 A CN118355357 A CN 118355357A
- Authority
- CN
- China
- Prior art keywords
- pointing device
- mode
- imu
- annotation
- pass filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims description 28
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 description 17
- 230000015654 memory Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000007499 fusion processing Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Abstract
提供了一种定点设备,例如,遥控笔,所述定点设备包括多模开关或按钮,用于在三种或三种以上操作模式之间转换所述定点设备。操作模式可以包括第一模式、注解模式和空鼠模式。所述远程定点设备还包括惯性测量单元,所述惯性测量单元用于确定与所述定点设备相关联的方位信息,所述惯性测量单元提供用于确定光标在x和y中的变化的装置,所述光标与所述定点设备控制的显示设备的屏幕相关联。所述定点设备还用于根据所述定点设备执行的操作提供不同的控制/显示(control/display,C/D)增益。
Description
技术领域
本发明涉及电子设备,尤其涉及用于与电子设备相关联的远程控制和注解的设备和方法。
背景技术
使用定点设备来控制计算机和其它电子设备(以下称为计算设备)是本领域公知的。这种定点设备的示例可以包括计算机鼠标、跟踪球、跟踪垫、遥控器、小键盘、终端程序、触摸屏和笔。计算设备的示例包括笔记本电脑和台式电脑、平板电脑、智能手机、电视和各种联网智能音频/视频(audio/visual,A/V)设备。
有许多商业设备用于与大型显示器进行远程交互。Logitech Spotlight充当远程显示器上的激光笔,用户可以使用该设备移动光标。Apple TV遥控器等设备具有触摸板,可用于控制屏幕上的光标。Gyration Air Mouse等设备使用通常来自于相关联的陀螺仪的惯性测量单元(inertial measurement unit,IMU)数据,来估计控制光标的方位。此外,大多数商用遥控笔都用于类似上述空鼠的操作。然而,这些设备中的每个设备都不启用注解功能。
此外,Samsung Flip Pen或Microsoft Surface Hub Pen等设备没有远程模式,因为这些设备用于近场交互。
除了商用设备之外,各种研究论文还提出了不同的笔设计。一些设计提出在笔上放置标记,以实现基于视觉的跟踪。为了能够使用这些类型的笔,需要光学跟踪系统来跟踪笔的位置。其它的笔设计包括笔上的超声波发送器和显示器上的接收器,以便能够更精确地跟踪笔。然而,这些类型的系统中的每种类型的系统都需要额外的硬件设备来实现其功能。
因此,需要用于与电子设备相关联的远程控制和注解的设备、系统和方法,该电子设备消除或降低了现有技术中的一个或多个限制。
提供该背景信息以揭示申请人认为可能与本发明相关的信息。任何上述信息均不必视为或不应当理解为构成相对于本发明的现有技术。
发明内容
本发明实施例提供了用于与电子设备相关联的远程控制和注解的设备和方法。
根据实施例,提供了一种定点设备,所述定点设备包括多模开关模块,其中,所述多模开关模块在第一模式、空鼠模式和注解模式之间切换所述定点设备的模式。所述定点设备还包括控制模块,其中,所述控制模块检测所述定点设备的所述模式。所述定点设备还包括惯性测量单元(inertial measurement unit,IMU),其中,当所述控制模块检测到所述定点设备的所述模式从所述第一模式切换到所述空鼠模式或所述注解模式时,所述IMU获取指示所述定点设备的方位的信息。所述定点设备还包括通信模块,其中,所述通信模块从所述IMU获取所述信息,并将所述信息发送给显示设备。
在本文公开的示例提供了一种定点设备,该定点设备能够控制与显示设备相关联的光标的移动,并且用于在包括第一模式、空鼠模式和注解模式的多个模式之间转换。通过使用多模开关,切换模式很简单,并且不需要在与定点设备相关联的不同开关之间的移动。
在一些实施例中,所述第一模式为空闲模式,其中,所述定点设备的移动不改变与所述显示设备相关联的并由所述定点设备控制的所述光标的位置。在一些实施例中,所述第一模式为近场写入模式,其中,所述通信模块还用于发送指示所述近场写入模式的信息。例如,近场写入模式可以与使用定点设备在触摸屏上进行写入相关联。
根据实施例,当所述定点设备处于所述空鼠模式时,光标根据指示所述定点设备的所述方位的所述信息在所述显示设备上移动。
根据实施例,当所述定点设备处于所述注解模式时,根据指示所述定点设备的所述方位的所述信息,在所述显示设备上显示轨迹。
在一些实施例中,所述多模开关为具有至少三种状态的电容式触摸按钮,其中,每种状态对应于所述定点设备的所述模式中的一种模式。
在一些实施例中,所述电容式触摸按钮的所述至少三种状态包括对应于所述定点设备的所述第一模式的非触摸状态、对应于所述空鼠模式的触摸状态以及对应于所述注解模式的按压状态。
在一些实施例中,所述多模开关模块包括至少两个按钮的组合,其中,所述至少两个按钮中的每个按钮的状态组合对应于所述定点设备的所述模式中的一种模式,其中,不同的组合定义所述定点设备的每种模式。
在一些实施例中,所述IMU是包括陀螺仪和加速度计的6轴IMU,其中,所述陀螺仪和所述加速度计用于提供指示垂直方位(俯仰)的变化和水平方位(偏航)的变化的数据。在一些实施例中,所述IMU是包括陀螺仪、加速度计和磁力计的9轴IMU,其中,所述陀螺仪和所述加速度计用于提供至少指示所述定点设备的水平方位和垂直方位的变化的数据,其中,所述磁力计用于进一步提供用于精确确定所述定点设备的所述水平方位的所述变化的数据。
在一些实施例中,第一控制显示增益与所述空鼠模式相关联,第二控制显示增益与所述注解模式相关联,其中,所述第一显示增益与所述第二显示增益不同。
在一些实施例中,所述定点设备包括第一低通滤波器,其中,所述第一低通滤波器用于修改所述陀螺仪的输出。在一些实施例中,所述定点设备还包括第二低通滤波器,其中,所述第二低通滤波器用于修改所述加速度计的输出。
在一些实施例中,所述定点设备包括第一低通滤波器、第二低通滤波器和第三低通滤波器,其中,所述第一低通滤波器用于修改所述陀螺仪的输出,所述第二低通滤波器用于修改所述加速度计的输出,所述第三低通滤波器用于修改所述磁力计的输出。
根据本发明实施例的定点设备的技术优点可以是,使用电容式触摸按钮可以允许仅用一根手指轻松地进行三种模式切换,而无需改变握持方式。另一个技术优点可以是防止IMU漂移影响注解的性能。
根据本发明实施例的定点设备的另一个技术优点可以是传感器融合过程,该传感器融合过程可以在减少原始数据中的噪声时提供更快的收敛。
根据实施例,提供了一种通过定点设备与显示设备进行远程交互的方法。所述方法包括通过多模开关模块在第一模式、空鼠模式和注解模式之间切换所述定点设备。所述方法还包括控制模块检测所述定点设备的模式。所述方法还包括:当所述控制模块检测到所述定点设备从所述第一模式切换到所述注解模式或所述空鼠模式时,从惯性测量单元(inertial measurement unit,IMU)获取指示所述定点设备的方位的信息。所述方法还包括:通信模块获取所述信息,并将所述信息发送给所述显示设备。
在一些实施例中,所述方法还包括:在所述空鼠模式下操作所述定点设备时,应用第一控制显示增益,并使用指示所述定点设备的所述方位的所述信息来确定光标位置,以估计所述定点设备的水平方位和垂直方位以及所述定点设备的水平角速度和垂直角速度。
在一些实施例中,所述方法还包括:在所述注解模式下操作所述定点设备时,应用第二控制显示增益,并使用指示所述定点设备的所述方位的所述信息来确定所述光标的轨迹,以估计所述定点设备的水平方位和垂直方位以及所述定点设备的水平角速度和垂直角速度。
在一些实施例中,应用所述第一控制显示增益还包括:确定与所述定点设备相关联的速度,并且根据所述速度选择所述第一控制显示增益。在一些实施例中,应用所述第二控制显示增益还包括:确定与所述定点设备相关联的速度,并且根据所述速度选择所述第二控制显示增益。
在一些实施例中,当检测到所述定点设备处于所述注解模式时,所述方法还包括预测被注解的形状。
在一些实施例中,所述方法还包括使用第一低通滤波器对与所述IMU相关联的陀螺仪的输出进行滤波。在一些实施例中,所述方法还包括使用第二低通滤波器对与所述IMU相关联的加速度计的输出进行滤波。在一些实施例中,所述方法还包括使用第一低通滤波器、第二低通滤波器和第三低通滤波器进行滤波,其中,所述第一低通滤波器修改与所述IMU相关联的陀螺仪的输出,所述第二低通滤波器修改与所述IMU相关联的加速度计的输出,所述第三低通滤波器修改与所述IMU相关联的磁力计的输出。
在一些实施例中,所述第一模式为近场写入模式,其中,所述方法还包括:所述通信模块发送指示所述近场写入模式的信息。
在一些实施例中,在所述空鼠模式下,与所述显示设备相关联的光标至少部分地基于指示所述定点设备的方位的所述信息移动。
在一些实施例中,在所述注解模式下,显示与所述显示设备相关联的光标的轨迹,其中,所述轨迹至少部分地基于指示所述定点设备的方位的所述信息。
在一些实施例中,提供了一种计算机程序,所述计算机程序包括指令,所述程序在由计算机执行时,所述指令使得所述计算机执行上述方法。
在一些实施例中,提供了一种计算机可读介质,所述计算机可读介质包括指令,所述程序在由计算机执行时,所述指令使得所述计算机执行上述方法。
上文结合本发明的各个方面描述了本发明实施例,这些实施例可以基于这些方面实现。本领域技术人员将理解,实施例可以结合描述这些实施例的方面来实现,但也可以与该方面的其它实施例一起实现。当实施例相互排斥或彼此不兼容时,这对于本领域技术人员将是显而易见的。一些实施例可以结合一个方面进行描述,但也可以适用于其它方面,这对本领域技术人员是显而易见的。
附图说明
结合附图,通过以下具体实施方式,本发明的其它特征和优点将变得显而易见,在附图中:
图1示出了根据本发明实施例的具有多模开关的定点设备。
图2示出了根据本发明实施例的与定点设备相关联的模式转换。
图3示出了根据本发明的实施例的包括用于确定俯仰和偏航的滤波器的方法。
图4示出了根据本发明实施例的用于应用不同控制显示增益的方法。
图5示出了根据本发明实施例的控制显示增益之间的线性转换。
图6示出了根据本发明实施例的控制显示增益之间的曲线转换。
应注意,在整个附图中,相同的特征由相同的附图标记标识。
具体实施方式
已经认识到,定点设备(例如,遥控笔)没有注解模式。即使这些定点设备支持不同的模式,这些定点设备也使用常规的双状态按钮,这需要一个按钮来选择定点设备的每种操作模式。人们还认识到,使用陀螺仪数据来确定欧拉角(例如,与俯仰、偏航和滚转有关)的惯性测量单元(inertial measurement unit,IMU)导致长期使用后这种确定发生漂移。
根据实施例,提供了一种定点设备,例如,遥控笔,定点设备包括多模开关模块,例如,多模按钮或开关或电容式触摸按钮,用于在三种或三种以上操作模式之间转换定点设备。操作模式可以包括第一模式、注解模式和空鼠模式。根据实施例,定点设备还包括惯性测量单元,该惯性测量单元用于确定与定点设备相关联的方位信息(例如,俯仰和偏航),该惯性测量单元提供用于确定光标在x和y中的变化的装置,该光标与定点设备控制的显示设备的屏幕相关联。根据一些实施例,定点设备还用于根据定点设备执行的操作提供不同的控制/显示(control/display,C/D)增益。例如,当定点设备处于空鼠模式时,第一C/D增益被应用于光标的移动,而当定点设备处于注解模式时,第二C/D增益被应用于光标的移动。
本发明的实施例涉及一种定点设备,该定点设备包括多模开关模块,其中,多模开关模块用于在第一模式、空鼠模式和注解模式之间切换所述定点设备。定点设备还包括惯性测量单元(inertial measurement unit,IMU),该惯性测量单元用于确定指示与定点设备相关联的方位(例如,俯仰和偏航)的信息。定点设备还包括通信耦合到控制模块的通信模块,其中,控制模块可以连接到多模开关模块和IMU,以检测定点设备的模式。当控制模块检测到定点设备从第一模式切换到空鼠模式或注解模式时,IMU获取指示定点设备的方位的信息。通信模块用于将指示与定点设备相关联的方位信息的信息发送到显示设备。
根据一些实施例,向显示设备(PC或屏幕)发送的指示方位信息的信息是IMU原始数据。在这些实施例中,传感器融合和光标位置计算(例如,可以包括应用控制显示增益)由与显示设备相关联的处理器或微处理器执行。
根据一些实施例,发送到显示设备的指示方位信息的信息是在定点设备上执行的传感器融合的结果。在这些实施例中,光标位置计算(可以包括应用控制显示增益)由与显示设备相关联的处理器或微处理器执行。
根据一些实施例,发送到显示设备的指示方位信息的信息指示光标位置和可选的移动。在这些实施例中,在定点设备上执行传感器融合和光标计算。
在一些实施例中,第一模式为空闲模式,其中,定点设备的移动不引起与连接到定点设备的显示设备相关联的光标的移动。在一些实施例中,第一模式为近场写入模式,其中,定点设备使用近场通信与显示设备通信,以控制与该显示设备相关联的光标。例如,近场写入模式可以与使用定点设备在触摸屏上进行写入相关联。
根据实施例,空鼠模式定义了一种模式,其中,定点设备的移动改变与显示设备相关联并由定点设备控制的光标的位置。
根据实施例,注解模式定义了一种模式,其中,定点设备的移动改变与显示设备相关联并由定点设备控制的光标的位置。此外,在注解模式下,在显示屏上显示光标的轨迹痕迹。
在一些实施例中,IMU为包括陀螺仪和加速度计的6轴IMU。在一些实施例中,IMU为包括陀螺仪、加速度计和磁力计的9轴IMU。
在一些实施例中,第一控制显示增益与空鼠模式相关联,第二控制显示增益与注解模式相关联,其中,第一控制显示增益与第二控制显示增益不同。例如,第二控制显示增益使得能够更精确地移动光标。
在一些实施例中,定点设备包括一个或多个滤波器,用于对来自陀螺仪、加速度计和磁力计中的一个或多个的信息进行滤波。
图1示出了根据本发明的实施例的定点设备10的示意图,该定点设备可以执行本文中明确或隐式描述的方法和特征的任何或所有操作。如图所示,定点设备10被配置为笔,然而,也可以设想定点设备的其它物理配置,例如,鼠标、手套或本领域技术人员容易理解的定点设备的其它配置。内部模块可以被视为属于不同的类别,例如,用户接口模块、位置模块和通信模块。用户接口模块包括多模开关模块12。位置模块包括惯性测量单元(inertial measurement unit,IMU)16或能够至少确定定点设备的俯仰和偏航的变化的其它位置模块。在一些实施例中,IMU是可以包括陀螺仪和加速度计的6轴IMU,该IMU可以提供用于确定定点设备的俯仰和偏航的变化的装置。在一些实施例中,IMU是可以包括陀螺仪、加速度计和磁力计的9轴IMU,该IMU可以提供用于确定定点设备的俯仰和偏航的装置。
根据实施例,多模开关模块12可以放置在定点设备的方便位置上,并且可以是机械按钮、电容式或电阻式触摸表面或按钮、放置在与定点设备相关联的外壳侧面的力传感器,并且可以被实现为单个按钮。
根据实施例,通信模块14提供定点设备和显示设备之间的信息通信和传输,其中,与显示设备相关联的光标可以通过定点设备的移动来控制。该信息可以表示定点设备的移动。通信模块14可以用于使用多个通信协议中的一个或多个通信协议来进行传输,通信协议包括Wi-Fi、UWB、蓝牙、近场通信(near field communication,NFC)或容易理解的其它通信协议。
通信模块14可以包括对通信协议(例如,Wi-Fi、UWB、蓝牙、近场通信或其它通信协议)的硬件、固件和软件支持。Wi-Fi是指基于IEEE 802.11系列标准的一系列无线网络协议。Wi-Fi模块可以使用具有多个发送和接收天线的多输入多输出(multiple-inputmultiple-output,MIMO)技术。MIMO发送器和MIMO接收器之间的多个路径可以例如通过计算接收到的信号的到达角(angle of arrival,AoA)或飞行时间(time of flight,ToF),来估计设备的相对位置和距离。UWB是一种用于低能量、短距离和高带宽通信的无线技术,也可以用于利用该技术对设备进行基本精确定位。UWB位置检测可以使用测量接收信号强度(received signal strength,RSS)、AoA、到达时间(time of arrival,ToA)、到达时间差(time difference of arrival,TDoA)等技术来确定两个设备之间的相对方向和距离。UWB定位技术可用于确定设备在10cm内的位置。蓝牙(包括蓝牙低功耗(Bluetooth LowEnergy,BLE))可用于确定两个设备之间的距离。使用蓝牙确定距离的一种方法是测量RSS,这种技术在大约1m到5m的范围内可以是准确的。近场通信(Near-field communication,NFC)描述了一种可用于短距离非接触式数据交换的技术。两个支持NFC的设备通过点对点接触在0cm到2cm的距离内连接。这种连接可用于在设备之间交换数据(例如,过程数据、维护和服务信息)。支持NFC的定点设备可以与应用软件一起提供,例如,在连接到NFC兼容系统时读取电子标签或执行其它操作。
根据一些实施例,定点设备10可以包括处理器18,例如,微控制器,例如,中央处理单元(central processing unit,CPU)、存储器20,该存储器可以包括用于存储计算机指令和配置参数的非瞬时性大容量存储器。可选地,处理器或微控制器和存储器20可以在定点设备10之外和其它设备(例如,与定点设备10一起工作的计算机或显示设备)上实现。
存储器20可以包括任何类型的非瞬时性存储器,例如静态随机存取存储器(static random access memory,SRAM)、动态随机存取存储器(dynamic random accessmemory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、只读存储器(read-only memory,ROM)或其任意组合等。存储器还可以包括大容量存储元件,例如,任何类型的非瞬时性存储设备,例如,固态驱动器、硬盘驱动器、磁盘驱动器、光盘驱动器、USB驱动器或用于存储数据和机器可执行程序代码的任何计算机程序产品。根据某些实施例,可以在存储器上记录有可由处理器执行的语句和指令,用于执行本文中描述的一个或多个前述方法操作。
根据某些实施例,可以利用所述元件中的一个或多个元件,或者仅利用元件的子集。此外,定点设备10可以包含某些元件的多个实例,例如,多个处理器、存储器或模块。此外,硬件设备的元件可以在没有总线的情况下直接耦合至其它元件。附加地,除处理器和存储器之外,还可以采用集成电路等其它电子器件来执行所需的逻辑操作。
根据实施例,定点设备10能够至少控制与显示设备相关联的光标。显示设备包括使用一个或多个无线网络进行通信所必需的计算机硬件,这是由定点设备10控制显示设备所必需的。显示设备的非详尽列表可以包括计算机、平板电脑、电视和智能手机。计算机可以是笔记本电脑或台式电脑,包括处理器、内存和无线通信接口(例如,Wi-Fi、蓝牙等)。平板电脑类似于计算机,但通常具有基于触摸屏接口的GUI。电视包括屏幕和无线通信硬件,用于与定点设备通信。智能手机类似于平板电脑,是平板电脑的较小版本,增加了蜂窝通信硬件、软件、固件,通常使用触摸屏GUI进行控制。
图2示出了根据本发明实施例的与定点设备10相关联的模式转换。根据实施例,多模开关模块12(例如,电容式触摸按钮)可用于定点设备10(例如,遥控笔)中的多模切换。多模开关模块12可以具有三种操作状态,例如,非触摸或空状态、触摸状态和长按状态。这些操作状态可以映射到与显示设备的三种远程交互模式,例如,第一模式(例如,空闲或近场写入模式)、空鼠模式和注解模式。这种配置可以简化使用定点设备10进行远程交互时的用户体验。例如,如图所示,电容式触摸按钮的非触摸将定点设备置于第一模式110中。触摸(135)多模开关模块12(例如,电容式触摸按钮),会将定点设备10转换到空鼠模式130,并且移除与多模开关模块12(例如,电容式触摸按钮)的接触,会将定点设备转换回第一模式110。按压(125)电容式触摸按钮,会将定点设备10从空鼠模式130转换到注解模式120,并且松开按压,但保持对电容式触摸按钮的触摸,会将定点设备10转换回空鼠模式130。如图所示,从电容式触摸按钮的非触摸直接移动到电容式触摸按钮的按压,会将定点设备10从第一模式110转换到注解模式120,而完全移除对电容式触摸按钮的按压和触摸或完全松开电容式触摸按钮,会将定点设备10完全转换回第一模式110。
根据一些实施例,多模开关模块包括至少两个按钮的组合。例如,两个按钮中的任何一个按钮的非触摸或非接触都会导致定点设备在第一模式下工作。通过按压第一按钮,定点设备可以从第一模式转换到空鼠模式,并且松开对第一按钮的按压,会将定点设备转换回第一模式。当处于空鼠模式时,按压第二按钮(例如,除了按压第一按钮以外),会将定点设备转换到注解模式。通过松开对第二按钮的按压并保持对第一按钮的按压,定点设备可以返回到空鼠模式。当处于第一模式时,通过同时按压第一按钮和第二按钮,定点设备可以直接转换到注解模式,松开或同时按压两个按钮,会将定点设备转换回第一模式。容易理解的是,按压或松开两个或两个以上按钮的不同组合可以与定点设备的不同模式相关联。
根据实施例,惯性测量单元(inertial measurement unit,IMU)用于估计定点设备10(例如,遥控笔)的方位。欧拉角、偏航、俯仰和滚转用于表示方位估计。具体地,在注解模式期间,使用了偏航(水平方位)和俯仰(垂直方位)。根据一些实施例,为了准确地估计偏航和俯仰欧拉角,使用包括陀螺仪、加速度计和磁力计的9轴IMU。根据一些实施例,如果需要在短时间内使用增量或Δ偏航和俯仰,则可以使用包括陀螺仪和加速度计的6轴IMU。
根据实施例,使用电容式触摸按钮进行模式切换,可以帮助减少与俯仰和偏航相关联的、特别是与偏航相关联的漂移的影响。例如,在按钮的空状态(例如,电容式触摸按钮的非触摸)中,即使当用户旋转定点设备10(例如,控制笔)时,光标也不会移动。当用户触摸电容式触摸按钮时,光标移动(例如,转换到空鼠模式),当用户按压电容式触摸按钮时,光标随痕迹移动(例如,转换到注解模式)。要进入注解模式,用户首先进入空鼠模式,从而将光标移动到注解的起点。在第一模式(例如,空闲模式)或空鼠模式下引入的任何漂移将不会应用在注解模式中。由于注解模式使用偏航和俯仰的增量,通常不会持续很长时间,因此可以忽略注解模式下的漂移。
根据实施例,用户可以用一根手指轻松地在三种模式之间转换,无需改变抓握定点设备10(例如,控制笔)的姿势,也无需大幅移动定点设备10。为了开始注解,用户只需先触摸电容式触摸按钮,将光标移动到注解的起点,随后向下按压电容式触摸按钮,即可开始注解。除了使模式转换更容易之外,电容式触摸按钮的使用还减少了在注解模式下IMU漂移的影响。在第一模式(例如,空闲模式)和空鼠模式下,任何长时间的IMU漂移都不会影响通常与注解模式相关联的短时间段。可以在第一模式下解决现有的漂移,例如,无论用户在第一模式下如何旋转定点设备,这种移动都不会改变光标位置。只有角度的增量用于空鼠模式和注解模式。例如,当处于空鼠模式和注解模式时,偏航和俯仰角(例如,与俯仰和偏航相关联的Δ角)的连续值的差异用于在x和y方向上移动光标。
根据实施例,用于方位估计和传感器融合过程的惯性测量模块(inertialmeasurement unit,IMU)获取IMU原始数据并输出(Δ)偏航角和俯仰角。在一些实施例中,IMU原始数据包括陀螺仪和加速度计(例如,6轴IMU)数据。在一些实施例中,IMU原始数据包括陀螺仪、加速度计和磁力计(例如,9轴IMU)数据。传感器融合过程获取原始数据,并输出由欧拉角(偏航、俯仰和滚转)表示的方位估计。为了确定与定点设备(例如,笔)控制的显示设备相关联的光标在x轴和y轴的变化,在空鼠模式和注解模式下,需要考虑确定偏航和俯仰角。
根据实施例,传感器融合是将IMU原始数据作为输入和输出欧拉角以表示定点设备10的方位的过程。对于陀螺仪、加速度计和磁力计原始数据,应用1欧元滤波器,该滤波器可以提供更快的降噪装置。在一些实施例中,使用6轴IMU(例如,具有陀螺仪和加速度计)数据来计算准确的俯仰和滚转角,然后使用磁力计数据来计算更准确的偏航数据。已经发现,即使在长时间使用IMU后,该过程也能实现小漂移性能。
图3示出了根据本发明的实施例的包括用于确定俯仰和偏航的低通滤波器的方法。接收原始陀螺仪数据310,用于校准(335)。在校准期间,滤波器325(例如,1欧元滤波器)应用于原始陀螺仪数据,以便去除信号中的噪声。随后,估计该经滤波的数据,以去除陀螺仪数据中固有的偏移330。原始加速度计数据315也通过低通滤波器325(例如,1欧元滤波器)进行滤波。传感器融合340应用于校准的陀螺仪数据和经滤波的加速度计数据,以确定与俯仰和滚转相关的欧拉角。原始磁力计数据350也通过低通滤波器355(例如,1欧元滤波器)进行滤波,并且该滤波数据与来自传感器融合340的俯仰和滚转数据一起用于计算(360)与偏航相关的欧拉角。最后,该方法的输出是与俯仰和偏航相关的欧拉角,这些欧拉角可用于确定光标在x和y方向移动的变化,该光标与定点设备10控制的显示设备相关联。
容易理解,来自陀螺仪、加速度计和磁力计中的每一个的原始数据包括每个传感器的三个轴(例如,x轴、y轴和z轴)上的数据。因此,针对与每个轴相关联的数据应用滤波器,以便去除其中的噪声。因此,针对上面定义的方法,实际上将有9个滤波器,用于对相应的原始数据进行滤波。还应当理解,可以有三种不同的偏移应用于陀螺仪数据,即与数据相关联的偏移,该数据与轴(例如,x轴、y轴和z轴)中的每个轴相关联。
更详细地,根据本发明的实施例,9轴传感器融合过程将陀螺仪、加速度计、磁力计原始数据作为输入,并输出偏航和俯仰欧拉角。使用原始陀螺仪和加速度计值作为噪声样本,将1欧元滤波器应用于每个输出,以降低原始数据中的噪声。在滤波处理后,输出将是噪声较低的经滤波的样本值。对于6轴IMU,使用6个不同的1欧元滤波器来对陀螺仪和加速度计原始数据进行滤波,即每个轴一个欧元滤波器。对于9轴IMU,使用另外3个1欧元滤波器来对磁力计原始数据进行滤波。
很容易理解,可以使用其它滤波技术来降低IMU原始数据(即从陀螺仪和加速度计中接收的原始数据)中的噪声,并且在一些实施例中,进一步对磁力计原始数据进行滤波。其它滤波器可以包括高通滤波器、低通滤波器或容易理解的其它滤波器配置。
根据实施例,当IMU是静态的,即不移动时,理想的陀螺仪数据应该具有平均值零和小标准偏差。然而,实际上,陀螺仪原始数据中存在偏移和高频噪声。低通滤波器可以高效地降低噪声,从而降低标准偏差。在IMU的校准和滤波过程中,IMU可以在短时间内(例如,几秒钟)保持静止,对陀螺仪原始数据的读数进行平均(例如,从而确定与陀螺仪相关的偏移),并从来自陀螺仪的原始数据中减去该平均值。因此,可以根据收集到的数据减小与IMU相关联的典型偏移或固有偏移。
例如,定点设备(例如,遥控笔)可以静止10秒。如果IMU的数据频率为100Hz,则有1000个数据点用于gyro_x(陀螺仪数据的一个轴)。在原始数据中可以具有高频噪声。在将1欧元滤波器应用于gyro_x数据之后,确定另外1000个数据点具有更小噪声(即标准偏差)。然而,由于IMU设备的偏移,这1000个数据点的平均值(mean_gyro_x)不会为0。该mean_gyro_x可以被认为是IMU设备的默认偏移,可以从未来的gyro_x数据的均值中减去。经过这种类型的校准后,IMU gyro_x数据将具有较小的噪声(由于1欧元滤波器)和接近0的平均值(由于减去偏移)。容易理解,在该示例中定义的值(例如,IMU的静止时间和IMU采样频率)实际上可以改变。通过对gyro_y和陀gyro_z执行相同的校准过程,陀螺仪数据可以适用于后续融合过程。
根据实施例,在校准之后,可以使用6轴传感器融合(例如,应用于陀螺仪数据和加速度计数据的传感器融合)来确定俯仰和滚转角。由于偏航角表示垂直于重力方向的水平移动,因此当定点设备(例如,由IMU测量)仅水平移动(例如,仅偏航角改变的移动)时,加速度计无法测量。因此,根据6轴传感器融合仅确定俯仰和滚转角。
已有用于6轴传感器融合的算法。6轴传感器融合的基本思想是使用陀螺仪和加速度计传感器的不同特性来估计欧拉角(偏航、俯仰和滚转),从而表示设备方位。陀螺仪数据在短期内是准确的,但经过较长时间的积分后,误差就会累积,导致欧拉角不准确。加速度计数据从长远来看是准确的,因为由此引入的误差不会随着时间的推移而累积。然而,与加速度计数据相关的短期噪声较高,从而使得加速度计不适合短期使用。根据实施例,互补滤波器用于组合陀螺仪和加速度计传感器的特性,从而能够更准确地预测定点设备的方位。
Mahony在“Mahony,R.、Hamel,T和Pflimlin、J.M.等人在2008年的《特殊正交群上的非线性互补滤波器(Nonlinear complementary filters on the special orthogonalgroup)》(IEEE自动控制学报,53(5),第1203页到第1218页)”中提供的算法定义了可用于6轴传感器融合和9轴传感器融合的互补滤波器。这个想法是对陀螺仪数据进行积分,以获得欧拉角,同时尝试避免长期噪噪声,在积分之前使用加速度计数据来补偿陀螺仪数据。如前所述,6轴传感器融合只能给出准确的俯仰和滚转欧拉角。
以Mahony算法为例。例如,在下面的公式中定义为(q0,q1,q2,q3)的四元数用于表示世界坐标(R)和体坐标(b)之间的旋转。世界坐标是已知的,并且不会改变(例如,东,北,上)。因此,传感器融合的目标转换为求解这个四元数,其示例如下所示。
第一步骤是对来自IMU的加速度计数据进行归一化,如下文定义,其中,ax、ay和az分别是基于x轴、y轴和z轴的加速度计数据。在该等式中,invSqrt是平方根倒数速算法,可用于对向量进行归一化。
recipNorm=invSqrt(ax*ax+ay*ay+az*ax)
ax*=recipNorm
ay*=recipNorm
az*=recipNorm
接下来,使用四元数将现实世界的重力转换为IMU的体坐标。注意,世界坐标中的重力是(0,0,1)。
halfvx=q1*q3–q0*q2
halfvy=q0*q1+q2*q3
halfvz=q0*q0–0.5+q3*q3
接下来,确定真实重力(以体坐标表示)和IMU加速度计数据(也以体坐标表示)的叉积。这用于补偿陀螺仪数据。
halfex=(ay*halfvz–az*halfvy)
halfey=(az*halfvx–ax*halfvz)
halfez=(ax*halfvy–ay*halfvx)
接下来,使用叉积结果来补偿陀螺仪数据,对陀螺仪数据进行积分,并更新四元数。最后,四元数用于计算欧拉角,如下定义。
gx*=(0.5*delta t)
gy*=(0.5*delta t)
gz*=(0.5*delta t)
qa=q0
qb=q1
qc=q2
q0+=(–qb*gx–qc*gy–q3*gz)
q1+=(qa*gx+qc*gz–q3*gy)
q2+=(qa*gy–qb*gz+q3*gx)
q3+=(qa*gz+qb*gy–qc*gx)
其中,Δt是两次IMU读数之间的时间(例如,如果采样率为100Hz,则为0.01s)。
通过这种方式,准确的俯仰和滚转角可以通过6轴传感器融合过程来确定。当IMU还包括磁力计时,由于磁力计能够在偏航角发生变化时进行测量,因此来自磁力计的数据用于计算准确的偏航角。
接下来的步骤是从俯仰、滚转和磁力计数据中获得准确的偏航角。
其中,mx是x方向的磁力计
my是y方向的磁力计
mz是z方向的磁力计
Φ是滚转
ψ是偏航
Θ是俯仰
根据实施例,用于传感器融合的其它示例可以包括Mahony/Madgwich姿态和航向参考系统(attitude and heading reference system,AHRS)算法。
根据实施例,电容式触摸按钮的不同模式可以用作多模开关模块,触发进入不同的交互模式:第一模式、空鼠模式和注解模式。在不同的模式下,可以应用不同的控制显示(control/display,C/D)增益,来控制与显示设备相关联的光标移动。处于空鼠模式和处于注解模式时,光标移动的目标可以不同。例如,在空鼠模式下,用户可能希望尽可能快地将光标移动到目的地。空鼠模式下光标的目的地通常是注解模式下注解的起点。对于注解,目标是使光标移动更加准确。因此,通常较大的C/D增益用于空鼠模式,以实现更快的光标移动,较小的C/D增益用于注解模式,以实现更准确的且精确的光标移动。
图4示出了根据本发明实施例的用于应用不同控制显示增益的方法。IMU 410提供(415)对水平和垂直角度增量的估计,水平和垂直角度增量可以根据俯仰的变化和偏航的变化来确定。在通过第一触发器1(420)激活多模开关(例如,接触电容式触摸开关)时,定点设备进入空鼠模式,并且将第一控制显示(control/display,C/D)增益应用(425)于水平和垂直角度增量,这可以确定(430)与x和y方向相关联的坐标中的增量,x和y方向与光标相关联,该光标与定点设备控制的显示设备相关联。这可以是x轴坐标和y轴坐标的变化。
然而,如果通过第二触发器2(435)激活多模开关(例如,接触和按压电容式触摸开关),则定点设备进入注解模式,并且将第二控制显示(control/display,C/D)增益应用(440)于水平和垂直角度增量,这可以确定(445)与x和y方向相关联的坐标中的增量,x和y方向与光标相关联,该光标与定点设备控制的显示设备相关联。这可以是x轴坐标和y轴坐标的变化。
根据实施例,使用电容式触摸按钮可以使其更容易进行模式切换,并且可以减少在注解模式下使用期间IMU漂移的影响。在一些实施例中,在第一模式下,即,当用户没有触摸按钮时,定点设备(例如,遥控笔)的任何移动都不会移动光标。因此,在此期间的任何漂移都不会影响光标的移动。根据实施例,与通过使用9轴IMU接收到的数据相关联的传感器融合过程即使在长期使用之后也可以减少来自IMU的数据的漂移。在一些实施例中,针对不同的交互任务(例如,光标移动任务)应用不同的C/D增益,可以改善注解期间的用户体验。
根据实施例,C/D增益可以使用欧拉角(例如,俯仰、偏航和滚动)的变化(例如,Δ)来确定光标位置并因此确定移动。Δ偏航控制x坐标,Δ俯仰控制y坐标。根据实施例,使用Δ角的正切,可以对C/D增益提供某种物理意义。在以下公式中,curr_x和curr_y是当前的x和y坐标。delta_yaw和delta_pitch是偏航和俯仰角的两个连续读数之间的偏航和俯仰的增量。
curr_x=curr_x+(delta_yaw)*const_t
curr_y=curr_y+(delta_pitch)*const_t
或者,可以使用Δ角的正切,如下定义。
curr_x=curr_x+tan(delta_yaw)*const_t
curr_y=curr_y+tan(delta_pitch)*const_t
const_t可以是在空鼠模式和注解模式之间变化的常量。通常,空鼠模式需要更大的常数,因为用户通常需要尽可能快地将光标移动到期望位置。与空鼠模式相关联的光标轨迹可以被认为是不重要的,这与在注解模式下执行的任务相反。此外,对于不同的注解任务,例如,绘制大形状与绘制小形状,可以使用动态常数(因子)。在绘制大形状时,用户可能更喜欢更快地移动光标,因此可能需要更大的const_t。在绘制小形状时,精度通常更优选,因此可能需要更小的const_t。当确定增益因子时,需要权衡速度/精度。通常,较小的const_t将对应于较低的速度和较高的精度,较大的const_t将对应于较高的速度和较低的精度。
例如,对于徒手注解,光标移动的每一条痕迹都会保留在屏幕上。确定动态因子(例如,估计const_t)的方法中的一种方法是基于用户移动定点设备(例如,遥控笔)的速度来进行该确定。当角速度(可以根据陀螺仪数据来确定)较大时,可以使用更大的因子。当角速度较小时,可以使用较小的因子。可以通过用户研究来确定角速度的阈值。如果使用角速度的多个阈值来确定因子,并且角速度在这些阈值之间,则增益因子可以连续变化,在某些情况下,这可能是不期望的效果。
图5示出了根据本发明实施例的控制显示增益之间的线性转换。阈值的下限对应于较小的C/D增益。当用户在注解时移动定点设备(例如,遥控笔)的速度比下限速度慢时,可以假设用户在注解期间更喜欢更高的精度(例如,圈出少量文本、绘制特定类型的形状等),因此可以应用较小的增益。该阈值的上限对应于较大的C/D增益。当用户在注解时移动笔的速度比上限速度快时,可以假设用户在注解时(例如,在整个屏幕上绘制一条线)更喜欢更高的光标速度,因此可以应用更大的增益。当角速度在这两个阈值之间时,增益因子可以被视为连续变化。可以理解,如果将单个阈值用于C/D增益转换,则当用户围绕阈值速度移动定点设备时,光标移动会发生突变。这可能会导致不期望的用户体验。
根据实施例,不期望在笔划期间改变C/D增益。在笔划期间C/D增益的变化会使用户感到困惑,例如,当用户在注解模式下开始定点设备的笔划时,不期望在笔划完成之前改变C/D增益。例如,如果C/D增益在笔划期间改变,则当用户在位置A在注解模式下开始并在同一位置松开多模开关模块(例如,电容式触摸按钮)时,光标将不在同一位置,因为增益总是基于定点设备的速度而改变的。
根据实施例,定点设备在笔划的前t毫秒内的速度可以用于确定在整个笔划中应用哪个C/D增益。例如,当处于注解模式时,如果笔划的前30毫秒的平均速度低于阈值的下限,则可以假设用户在该注解任务中更喜欢更高的精度,因此,确定对整个笔划使用较小的C/D增益。另一方面,如果在笔划的前30毫秒内定点设备的平均速度快于阈值的上限,则可以假设用户在该注解任务中更喜欢更高的速度,因此,确定对整个笔划使用更大的C/D增益。
其它形式的C/D增益可用于空鼠模式和注解模式。例如,相同的线性C/D增益可用于空鼠模式和注解模式。此外,例如,如果使用不同的阈值来确定C/D增益的不同步长或变化,则这些阈值之间的C/D增益可以非线性地变化,从而导致阈值之间的C/D增益更加平缓地变化,而不是更突然地变化。渐变函数的一个示例可以是Sigmoid曲线,例如,逻辑函数,如图6所示。图6示出了根据本发明实施例的控制显示增益之间的曲线转换。
根据一些实施例,代替使用定点设备的角速度,可以基于在注解中绘制的特定形状来定义要应用的C/D增益。例如,绘制直线需要与绘制圆不同的C/D增益。
在一些实施例中,定点设备可以用于估计是否选择或已知目标形状的形状。如果已知用户想要绘制一条直线,则通过连接起点和当前光标位置来确定痕迹。如果线的方向也是预先确定的,则可以将痕迹限制为该特定方向。在注解模式期间,垂直于线方向的任何移动都不会对注解产生任何影响。在预先确定的注解形状是闭合形状(例如,圆)的情况下,可以使用类似的方法来通过特定形状限制光标移动。通过将光标移动限制为预定形状,可以绘制基本完美的直线/圆/矩形。
在一些情况下,可能不知道用户想要绘制什么形状。因此,当用户开始在注解模式下进行注解时,可能需要预测要绘制的形状。为了预测用户想要绘制什么形状,可能需要收集有关用户绘制不同形状的数据。例如,在用户研究中,可以要求参与者尝试执行不同形状和尺寸的任务,让他们在半空中用定点设备(例如,遥控笔)进行绘画,同时不向参与者提供任何视觉反馈。在分析不同图案的数据之前,可以收集每个形状和尺寸在整个过程中的定点设备移动信息(例如,角速度、欧拉角)。在该示例中,可以开发一个深度学习模型,该模型可以用于学习这些图案。因此,下次用户开始绘制形状时,在注解模式下进行注解的前几秒钟(或甚至更短)内,可以对用户想要绘制的形状进行预测,从而提供用于确定在注解模式期间应用的适当C/D增益的装置。
例如,在注解模式下,注解笔划的初始t毫秒可以用于预测用户想要绘制的形状。如果前几毫秒的笔划没有多少曲率,并且水平角速度通常大于垂直角速度,则可以假设用户想要绘制水平直线。在这种情况下,可以对水平和垂直光标移动应用不同const_t,帮助用户绘制更完美的直线。具体地,对于水平控制(例如,delta_yaw),可以使const_t更大,对于垂直(例如,delta_pitch)角度增量,可以应用较小的const_t。因此,笔划将保持接近水平直线,如下定义。
const_t_yaw=const_t
const_t_pitch=0
类似地,当垂直角速度通常大于水平角速度时,笔划可以保持接近水平直线,如下定义。
const_t_yaw=0
const_t_pitch=const_t
另一方面,如果从前t毫秒开始的笔划指示曲率大,则可以假设用户想要绘制一个圆形。在这种情况下,const_t可以保持不变。
const_t_yaw=const_t_pitch=const_t
应当理解,在注解模式期间预测或选择用于绘制的形状,可能需要计算能力,而该计算能力并不存在于定点设备中。在这种情况下,定点设备可以提供与俯仰和偏航的欧拉角的变化相关的信息,或者仅仅将IMU原始数据提供给与光标相关联的显示设备,并且显示设备可以在光标在与其相关联的屏幕上移动之前执行必要的计算。
应当理解的是,尽管为了说明的目的在此描述了该技术的具体实施例,但是可以在不脱离该技术范围的情况下进行各种修改。因此,说明书和附图仅被视为所附权利要求书限定的对本发明的说明,并且预期覆盖落入本发明的范围内的任何和所有修改、变化、组合或等同物。具体地,在该技术的范围内,提供一种计算机程序产品或程序元件,或一种程序存储设备或存储器设备(例如,磁导线或光导线、磁带或磁盘等),用于存储机器可读信号,根据该技术的方法控制定点设备的操作,和/或根据该技术的系统构造其部分或全部组件。
通过上述实施例的描述,本发明可以通过硬件和软件的结合来实现。基于这种理解,本发明的部分可以通过软件产品的形式体现。软件产品可以存储在非易失性或非瞬时性存储介质中,非易失性或非瞬时性存储介质可以是光盘只读存储器(compact diskread-only memory,CD-ROM)、USB闪存盘或可移动硬盘。软件产品包括许多指令,这些指令使得定点设备能够执行实施例中提供的方法。
虽然已经参考本发明的特定特征和实施例描述了本发明,但是显然可以在不脱离本发明的情况下对本发明进行各种修改和组合。因此,说明书和附图仅被视为所附权利要求书限定的对本发明的说明,并且预期覆盖落入本发明的范围内的任何和所有修改、变化、组合或等同物。
Claims (28)
1.一种定点设备,其特征在于,包括:
多模开关模块,其中,所述多模开关模块在第一模式、空鼠模式和注解模式之间切换所述定点设备的模式;
控制模块,其中,所述控制模块检测所述定点设备的所述模式;
惯性测量单元(inertial measurement unit,IMU),其中,当所述控制模块检测到所述定点设备的所述模式从所述第一模式切换到所述空鼠模式或所述注解模式时,所述IMU获取指示所述定点设备的方位的信息;
通信模块,其中,所述通信模块从所述IMU获取所述信息,并将所述信息发送给显示设备。
2.根据权利要求1所述的定点设备,其特征在于,所述第一模式为空闲模式。
3.根据权利要求1所述的定点设备,其特征在于,所述第一模式为近场写入模式,所述通信模块还用于发送指示所述近场写入模式的信息。
4.根据权利要求1至3中任一项所述的定点设备,其特征在于,当所述定点设备处于所述空鼠模式时,光标根据指示所述定点设备的所述方位的所述信息在所述显示设备上移动。
5.根据权利要求1至4中任一项所述的定点设备,其特征在于,当所述定点设备处于所述注解模式时,根据指示所述定点设备的所述方位的所述信息,在所述显示设备上显示轨迹。
6.根据权利要求1至5中任一项所述的定点设备,其特征在于,所述多模开关模块为具有至少三种状态的电容式触摸按钮,其中,每种状态对应于所述定点设备的所述模式中的一种模式。
7.根据权利要求6所述的定点设备,其特征在于,所述电容式触摸按钮的所述至少三种状态包括对应于所述定点设备的所述第一模式的非触摸状态、对应于所述空鼠模式的触摸状态以及对应于所述注解模式的按压状态。
8.根据权利要求1至5中任一项所述的定点设备,其特征在于,所述多模开关模块包括至少两个按钮的组合,其中,所述至少两个按钮中的每个按钮的状态组合对应于所述定点设备的所述模式中的一种模式,其中,不同的组合定义所述定点设备的每种模式。
9.根据权利要求1至8中任一项所述的定点设备,其特征在于,所述IMU是包括陀螺仪和加速度计的6轴IMU,其中,所述陀螺仪和所述加速度计用于提供指示所述定点设备的垂直方位和水平方位的变化的所述信息。
10.根据权利要求1至8中任一项所述的定点设备,其特征在于,所述IMU是包括陀螺仪、加速度计和磁力计的9轴IMU,其中,所述陀螺仪和所述加速度计用于提供至少指示所述定点设备的水平方位和垂直方位的变化的所述信息,所述磁力计用于进一步提供用于精确确定所述定点设备的所述水平方位的所述变化的数据。
11.根据权利要求1至10中任一项所述的定点设备,其特征在于,第一控制显示增益与所述空鼠模式相关联,第二控制显示增益与所述注解模式相关联,其中,所述第一显示增益与所述第二显示增益不同。
12.根据权利要求1至11中任一项所述的定点设备,其特征在于,还包括第一低通滤波器,其中,所述第一低通滤波器用于修改与所述IMU相关联的陀螺仪的输出。
13.根据权利要求1至12中任一项所述的定点设备,其特征在于,还包括第二低通滤波器,其中,所述第二低通滤波器用于修改与所述IMU相关联的加速度计的输出。
14.根据权利要求1至11中任一项所述的定点设备,其特征在于,还包括第一低通滤波器、第二低通滤波器和第三低通滤波器,其中,所述第一低通滤波器用于修改与所述IMU相关联的陀螺仪的输出,所述第二低通滤波器用于修改与所述IMU相关联的加速度计的输出,所述第三低通滤波器用于修改与所述IMU相关联的磁力计的输出。
15.一种通过定点设备与显示设备进行远程交互的方法,其特征在于,所述方法包括:
多模开关模块在第一模式、空鼠模式和注解模式之间切换所述定点设备;
控制模块检测所述定点设备的模式;
当所述控制模块检测到所述定点设备从所述第一模式切换到所述注解模式或所述空鼠模式时,从惯性测量单元(inertial measurement unit,IMU)获取指示所述定点设备的方位的信息;
通信模块获取所述信息,并将所述信息发送给所述显示设备。
16.根据权利要求15所述的方法,其特征在于,还包括:在所述空鼠模式下操作所述定点设备时,应用第一控制显示增益,并使用指示所述定点设备的所述方位的所述信息来确定光标位置,以估计所述定点设备的水平方位和垂直方位以及所述定点设备的水平角速度和垂直角速度。
17.根据权利要求15或16所述的方法,其特征在于,还包括:在所述注解模式下操作所述定点设备时,应用第二控制显示增益,并使用指示所述定点设备的所述方位的所述信息来确定所述光标的轨迹,以估计所述定点设备的水平方位和垂直方位以及所述定点设备的水平角速度和垂直角速度。
18.根据权利要求15或16所述的方法,其特征在于,应用所述第一控制显示增益还包括:确定与所述定点设备相关联的速度,并且根据所述速度选择所述第一控制显示增益。
19.根据权利要求17所述的方法,其特征在于,应用所述第二控制显示增益还包括:确定与所述定点设备相关联的速度,并且根据所述速度选择所述第二控制显示增益。
20.根据权利要求15所述的方法,其特征在于,当检测到所述定点设备处于所述注解模式时,所述方法还包括:预测被注解的形状。
21.根据权利要求15至20中任一项所述的方法,其特征在于,还包括:使用第一低通滤波器对与所述IMU相关联的陀螺仪的输出进行滤波。
22.根据权利要求15至21中任一项所述的方法,其特征在于,还包括:使用第二低通滤波器对与所述IMU相关联的加速度计的输出进行滤波。
23.根据权利要求15至20中任一项所述的方法,其特征在于,还包括:使用第一低通滤波器、第二低通滤波器和第三低通滤波器进行滤波,其中,所述第一低通滤波器修改与所述IMU相关联的陀螺仪的输出,所述第二低通滤波器修改与所述IMU相关联的加速度计的输出,所述第三低通滤波器修改与所述IMU相关联的磁力计的输出。
24.根据权利要求15至23中任一项所述的方法,其特征在于,所述第一模式为近场写入模式,其中,所述方法还包括:所述通信模块发送指示所述近场写入模式的信息。
25.根据权利要求15至23中任一项所述的方法,其特征在于,在所述空鼠模式下,与所述显示设备相关联的光标至少部分地基于指示所述定点设备的所述方位的所述信息移动。
26.根据权利要求15至23中任一项所述的方法,其特征在于,在所述注解模式下,显示与所述显示设备相关联的光标的轨迹,其中,所述轨迹至少部分地基于指示所述定点设备的所述方位的所述信息。
27.一种计算机程序,其特征在于,包括指令,所述程序在由计算机执行时,所述指令使得所述计算机执行根据权利要求15至26中任一项所述的方法。
28.一种计算机可读介质,其特征在于,包括指令,在由计算机执行时,所述指令使得所述计算机执行根据权利要求15至26中任一项所述的方法。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118355357A true CN118355357A (zh) | 2024-07-16 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10545579B2 (en) | Remote control with 3D pointing and gesture recognition capabilities | |
JP6971359B2 (ja) | 再帰型ニューラルネットワークを用いる姿勢予測 | |
US9201521B2 (en) | Storing trace information | |
JP2004227563A (ja) | 慣性センサの積分 | |
KR100501721B1 (ko) | 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법 | |
US20120013578A1 (en) | Pen-shaped pointing device and shift control method thereof | |
EP2752831B1 (en) | Input device, display device and method of controlling thereof | |
CN103677259A (zh) | 用于引导控制器的方法、多媒体装置及其目标跟踪装置 | |
CN107272892B (zh) | 一种虚拟触控系统、方法及装置 | |
US11507198B2 (en) | Gesture detection using external sensors | |
EP3767435A1 (en) | 6-dof tracking using visual cues | |
WO2016148857A1 (en) | Spatial motion-based user interactivity | |
US10466814B2 (en) | Electronic system, indicating device and operating method thereof | |
US11714493B2 (en) | Electromagnetically tracked three-dimensional air mouse | |
CN118355357A (zh) | 用于与电子设备相关联的远程控制和注解的设备和方法 | |
WO2023097573A1 (en) | Devices and methods for remote control and annotation associated with an electronic device | |
US9400181B2 (en) | Systems and methods for detection of magnetic and motion-based landmarks | |
KR101998662B1 (ko) | 동작 인식을 위한 장치 및 기록 매체 | |
US20190129442A1 (en) | Magnetic robot calibration | |
KR20160047710A (ko) | 사용자 동작 인식 방법 및 이를 적용한 동작 인식 장치 | |
Chu et al. | A study of motion recognition system using a smart phone | |
Sun et al. | iTracker: towards sustained self-tracking in dynamic feature environment with smartphones | |
EP2677401B1 (en) | Image data generation using a handheld electronic device | |
Chu et al. | Design and implementation of an intuitive gesture recognition system using a hand-held device | |
KR20140083848A (ko) | 센서 데이터를 활용한 제스처 인식 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |