CN118301396A - 一种遥控方法及遥控设备 - Google Patents
一种遥控方法及遥控设备 Download PDFInfo
- Publication number
- CN118301396A CN118301396A CN202410527018.0A CN202410527018A CN118301396A CN 118301396 A CN118301396 A CN 118301396A CN 202410527018 A CN202410527018 A CN 202410527018A CN 118301396 A CN118301396 A CN 118301396A
- Authority
- CN
- China
- Prior art keywords
- remote control
- control device
- image
- omt sensor
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000006073 displacement reaction Methods 0.000 claims abstract description 75
- 230000001133 acceleration Effects 0.000 claims abstract description 65
- 230000008859 change Effects 0.000 claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Abstract
本申请实施例提供了一种遥控方法及遥控设备。该遥控设备可以包括:IMU、第一OMT传感器和第二OMT传感器;第一OMT传感器设置在用户操作面的相对面,第二OMT传感器设置在与用户操作面相垂直的面。该遥控方法可包括:当通过IMU检测到遥控设备发生加速度变化时,可将该加速度变化时的位置标定为坐标原点,并通过OMT传感器测量大幅度移动的位移;同时通过IMU测量小幅度移动的相对位移。综合OMT传感器测量结果和IMU测量结果确定遥控设备的坐标,最后向电视机发送该坐标,以更新电视机的屏幕上光标位置。这样,可低成本实现定位,也可降低IMU累积误差的影响。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种遥控方法及遥控设备。
背景技术
随着智能电视技术的发展,用户和电视机的交互需求已经不能被传统按键遥控设备所满足了。用户需要快速地移动光标以选择电视内容,例如在智能电视上选择网页内容、选择商品,甚至需要在电视上输入信息。如何实现通过遥控设备控制电视机的光标移动是本领域技术人员关注的问题。
发明内容
本申请实施例提供了一种遥控方法及遥控设备,可改善仅通过IMU测量位置带来的累积误差,且只需引入低成本的OMT传感器,具有成本优势。
第一方面,本申请实施例提供了一种遥控方法,该方法可应用于遥控设备。该遥控设备可包括:惯性测量单元IMU、第一光学动态追踪OMT传感器和第二OMT传感器;所述遥控设备包括相对而设的第一面和第二面,所述第一面为用户操作面,所述第二面设置有所述第一OMT传感器,所述遥控设备还包括第三面,所述第三面与所述第一面垂直,所述第三面设置有所述第二OMT传感器。
该遥控方法可包括如下步骤:
遥控设备通过IMU检测到遥控设备发生加速度变化;
遥控设备将发生加速度变化时的位置标定为坐标原点;
基于坐标原点,遥控设备控制第一OMT传感器测量遥控设备的X,Y坐标值,控制第二OMT传感器测量遥控设备的Z坐标值;
遥控设备还控制IMU测量遥控设备的位移;
遥控设备根据第一OMT传感器和第二OMT传感器输出的坐标,以及IMU测得的移动位移,确定遥控设备的坐标;
遥控设备向电视机发送遥控设备的坐标,电视机用于根据遥控设备的坐标更新电视机的屏幕上光标位置。
第一方面中,第一OMT传感器、第二OMT传感器可分别是实施例中提及的第一OMT传感器、第二OMT传感器,IMU可是实施例中提及的IMU,第一面、第二面、第三面可分别是后续实施例中提及的第一面21、第二面22、第三面23。遥控设备可以是后续实施例中提及的遥控设备,电视机可以是后续实施例中提及的电视机。
第一方面中,遥控设备通过引入OMT传感器来测量遥控设备的大范围移动,并结合IMU测量遥控设备的小范围移动,从而将遥控设备的移动情况实时反馈至电视机,以使电视机根据遥控设备的最新坐标更新光标位置。这样,可改善仅通过IMU测量位置带来的累积误差,且只需引入低成本的OMT传感器,具有成本优势。
结合第一方面,在一些实施例中,遥控设备具体可以控制第一OMT传感器测量遥控设备在进行第一移动时的X,Y坐标值,控制第二OMT传感器测量遥控设备在进行第一移动时的Z坐标值。遥控设备还具体可以控制IMU测量遥控设备在进行第二移动时的移动位移。其中,第一移动的位移量大于第一位移量,第二移动的位移量小于或等于第一位移量。
也即,第一移动是大范围移动,第二移动时小范围移动;第一OMT传感器和第二OMT传感器可用于进行大范围移动的位置信息测量,IMU可用于进行小范围移动的位置信息测量。
结合第一方面,在一些实施例中,为了识别遥控设备是否在做大范围移动,遥控设备还可在每一次移动时检测位移量,将位移量大于第一位移量的移动确定为第一移动,将位移量小于或等于第一位移量的移动确定为第二移动。
结合第一方面,在一些实施例中,遥控设备根据第一OMT传感器和第二OMT传感器输出的坐标,以及IMU测得的移动位移,确定遥控设备的坐标,具体可包括:遥控设备可以基于第一OMT传感器和和第二OMT传感器输出的坐标,叠加上IMU 测得的移动位移,得到遥控设备的坐标。
结合第一方面,在一些实施例中,遥控设备可控制第一OMT传感器拍摄第一图像,控制第二OMT传感器拍摄第二图像,并基于第一图像确定X,Y坐标值,基于第二图像确定所Z坐标值。
遥控设备的坐标可包括三维坐标值X、Y、Z,其中,X和Y可以是基于第一OMT传感器拍摄的第一图像的图像内容确定的,由第一OMT传感器输出;Z可以是基于第二OMT传感器拍摄的第二图像的图像内容确定的,由第二OMT传感器输出。第一图像是指第一OMT传感器拍摄的第一图像,第二图像是指第二OMT传感器拍摄的照片。具体的,处理器35可在IMU检测到加速度变化后启动第一OMT传感器,第二OMT传感器,控制OMT传感器拍摄图像。相应的,若IMU较长时间都未检测到加速度变化,则遥控设备可关闭OMT传感器以节约功耗。
结合第一方面,在一些实施例中,遥控设备可通过下述方式基于第一图像确定X和Y:遥控设备可以利用发生加速度变化时的第一图像确定X轴,Y轴的坐标原点,即将发生加速度变化时的第一图像标定为X轴和Y轴的坐标原点;然后,基于所第一时刻的第一图像与发生加速度变化时的第一图像之间的图像内容差异确定X和Y。其中,发生加速度变化时可以是早于第一时刻的某个时刻,如检测到加速度变化后拍摄第一帧第一图像的时刻。换句话说,X和Y具体可以是基于第一时刻的第一图像和发生加速度变化时的第一图像之间的图像内容差异确定的,其中,发生加速度变化时的第一图像用于标定X轴和Y轴的坐标原点。
结合第一方面,在一些实施例中,第一时刻的第一图像和发生加速度变化时的第一图像之间的图像内容差异可具体用于确定第一图像中的第一物体在第一时刻相对于第一物体在发生加速度变化时的图像位移,该图像位移直接用于确定X和Y。这里,第一物体可以是从发生加速度变化时至第一时刻始终存在于第一图像中的某个物体,通过它的图像位移能够计算出遥控设备在X轴和Y轴的位移。例如,对于第一OMT传感器拍摄的多张第一图像来说,第一物体可以是拍摄到的地面上的某块地板或用户的脚部,因为当用户以标准姿势握持遥控设备时,第一OMT传感器朝向地面。
结合第一方面,在一些实施例中,遥控设备可通过下述方式基于第二图像确定Z:遥控设备可以利用发生加速度变化时的第二图像确定Z轴的坐标原点,即将发生加速度变化时的第二图像标定为Z轴的坐标原点;然后基于第一时刻的第二图像与发生加速度变化时的第二图像之间的图像内容差异确定Z。换句话说,Z具体可以是基于第一时刻的第二图像和发生加速度变化时的第二图像之间的图像内容差异确定的,其中,发生加速度变化时的第二图像用于标定Z轴的坐标原点。
结合第一方面,在一些实施例中,第一时刻的第二图像和发生加速度变化时的第二图像之间的图像内容差异可具体用于确定第二图像中的第二物体在第一时刻相对于第二物体在发生加速度变化时的图像位移,该图像位移直接用于确定Z。这里,第二物体可以是从发生加速度变化时至第一时刻始终存在于第二图像中的某个物体,通过它的图像位移能够计算出遥控设备在Z轴的位移。例如,对于第二OMT传感器拍摄的多张第二图像来说,第二物体可以是拍摄到的用户的前腹部或者用户前方的电视机。
结合第一方面,在一些实施例中,遥控设备具体可以将发生加速度变化的起始时刻的位置标定为坐标原点。
结合第一方面,在一些实施例中,为了减少IMU累积误差,在设定的第一时间,若遥控设备的位移量大于第一阈值,则遥控设备控制IMU进行初始化校准。
第二方面,本申请提供了一种遥控设备,该遥控设备可以包括一个或多个存储器、一个或多个处理器;该遥控设备还可以包括:惯性测量单元IMU、第一光学动态追踪OMT传感器和第二OMT传感器。该遥控设备可包括相对而设的第一面和第二面,第一面为用户操作面,第二面设置有第一OMT传感器,遥控设备还可包括第三面,第三面与第一面垂直,第三面设置有第二OMT传感器,存储器与一个或多个处理器耦合,存储器用于存储计算机程序,处理器调用计算机程序以实现第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序被处理器执行时,实现第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面,本申请提供一种计算机程序产品,包含计算机程序,当该计算机程序产品被处理器执行时,实现第一方面以及第一方面中任一可能的实现方式描述的方法。
附图说明
图1示出了一种遥控系统;
图2示出了一种利用遥控设备控制电视机光标的方案;
图3示出了本申请实施例提供的一种遥控设备的硬件架构;
图4示出了OMT传感器的测量原理;
图5为示出了本申请实施例提供的一种遥控设备的外观;
图6示出了握持遥控设备的一种标准姿势;
图7示出了使用本申请提供的遥控设备控制电视机的光标的一种应用场景;
图8示出了本申请实施例提供的遥控设备实现图7应用场景的硬件交互流程;
图9示出了本申请实施例提供的遥控设备实现图7应用场景的软件流程;
图10示出了本申请实施例提供的一种遥控方法的总体流程;
图11示出了本申请实施例提供的校准IMU的方法流程。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。
图1示出了一种遥控系统。如图1所示,该遥控系统可包括电视机10以及遥控设备20。遥控设备20上可配置有一个或多个按键,如电源键11、确认键(OK)12、返回键13、主页键14、菜单键15、音量加键16、音量减键17,以及方向左键12c,方向右键12d,方向上键12a,方向下键12b等等。遥控设备20可通过蓝牙等通信方式与电视机10通信,以向电视机10传输按键信号。该按键信号可由用户在遥控设备20上的按键操作触发而产生。
除了通过按键控制电视机10,遥控设备20还可以实时检测自身的位置变化,并将这种位置变化及时传输给电视机10,以使电视机10根据遥控设备20的位置确定光标100在屏幕上的位置。这样,用户便可以通过转动、移动遥控设备20控制电视机10上的光标100。
电视机10可以是遥控设备20的配套电视机,能够将遥控设备20传输过来的遥控设备20的坐标映射成光标100在屏幕上位置。
一种利用遥控设备控制电视机10光标100的方案是,通过遥控设备20中的惯性测量单元(inertial measurement unit,IMU)检测遥控设备的位移量以实现定位,如通过六轴IMU检测相对位置,然后电视机10基于该定位确定光标位置。但是,该方案的缺点是:IMU存在累积误差,累积误差会对测量精度产生影响。
另一种利用遥控设备控制电视机10光标的方案是,如图2所示,遥控设备20中同时配置超宽带(ultra wide band,UWB)模块和IMU,通过UWB模块测量到的遥控设备的绝对位置与IMU测量到的遥控设备的位移量实现定位,然后电视机10基于该定位确定光标位置。具体的,遥控设备通过UWB测量自身位置,再通过IMU测量位移量,进而确定遥控设备移动后的坐标;然后遥控设备可通过低功耗蓝牙(bluetooth low energy,BLE)将该坐标发送给电视机10,以使电视机10将该坐标映射成光标位置。但是,这种方案成本高,需要在电视机10与遥控设备中都配置UWB模块以及小型化天线,而且UWB导致功耗也高。
为解决上述部分或全部问题,本申请实施例提供了遥控设备以及遥控方法。
图3和图5示出了本申请实施例提供的遥控设备20。
如图3所示,遥控设备20可包括:惯性测量单元IMU 31,光学动态追踪OMT传感器32,光学动态追踪OMT传感器33,一个或多个按键34,处理器35,存储器40,无线通信模块37,天线39。遥控设备20中的各个部分之间可通过总线连接。
其中,IMU 31可用来检测加速度、倾斜、冲击、振动、旋转和多自由度运动。IMU 31可以是指利用加速度计和陀螺仪来测量物体单轴、双轴或三轴姿态角(或角速率)以及加速度的装置。IMU 31可例如是6轴IMU传感器,它内部可以在正交的三轴上安装陀螺仪和加速度计,共6个自由度,来测量物体在三维空间中的角速度和加速度;IMU也可以是9轴IMU,即可在6轴IMU的基础上加入磁力计,可进一步提升航向角的测量精度。
OMT传感器32、OMT传感器33可用于在大范围内(如80mm到无穷远)检测物体运动。OMT传感器可以持续的动态测量移动物体的坐标信息。OMT传感器可以包括拍摄模块和计算模块,可用于检测遥控设备20的坐标值。OMT传感器的主要工作原理是利用低分辨率高速相机拍照对比前后两帧图像进行位移量的标定和方向性的标定。如图4所示,OMT传感器拍摄到第一帧棋盘格图像,并以此标定坐标原点;在棋盘格发生移动时,OMT传感器拍摄它的第二帧图像,并基于第二帧图像和第一帧图像之间的图像内容差异输出坐标。例如,该图像内容差异可用于确定第一帧图像中的棋盘格相对于第一帧图像中的棋盘格的图像位移,该图像位移可用于确定棋盘格相对于原点的X轴、Y轴坐标,或Z轴坐标。
本申请实施例中,可以在遥控设备20移动时,控制OMT传感器实时的拍摄图像。OMT传感器可包括拍摄模块和计算模块,基于拍摄模块实时拍摄的图像帧,计算模块可确定测量坐标系的原点,并确定遥控设备20的实时坐标。最后,遥控设备可以将OMT传感器输出的该坐标反馈给电视机10。
本申请实施例中,OMT传感器可以是任意能通过持续拍摄多张图像来测量移动物体的位置信息的光学传感器(又可以称摄像头)。
如图5所示,遥控设备20可包括相对而设的第一面21和第二面22。第一面21可以为用户操作面,其上可设置用于接收用户如数操作的部件,如按键34,如菜单键、音量键等。按键34可以是实体按键,也可以是显示在触摸屏上的虚拟按键。如图5所示,OMT传感器32可以设置在第二面22。遥控设备20的电池盖也可以设置在第二面22。通常,第一面21可以称为遥控设备20的正面,第二面22可以称为遥控设备20的背面。图6示出了用户握持遥控设备20的标准姿势。如图6所示,当用户采用标准姿势握持遥控设备20时,第一面21朝向上方(如上方天空或天花板),方便用户手指(尤其拇指)操作第一面21上的按键;此时,第二面22朝向下方(如底面),被用户手掌托持。如图5所示,遥控设备20还可以包括第三面23,第三面23可以与第一面21垂直,OMT传感器33可设置在第三面23上。在用户采用图5所示的标准姿势握持遥控设备20时,第三面23可以对着用户,如与用户前腹相对;但不限于此,第三面23也可以是对着电视机10的那一面,即OMT传感器33可以设置在朝向电视机10的那一面。
具体的,OMT传感器32拍摄的图像可用于确定移动物体的X轴、Y轴坐标,OMT传感器33拍摄的图像可用于确定移动物体的Z轴坐标。后续实施例中会详细说明,这里先不展开。OMT传感器32、OMT传感器33可以使用高帧率以进行快速且精确的物体追踪。
本申请实施例中,移动物体是相对于遥控设备20来说的,是指相对于遥控设备20发生了移动的物体,并非相对于地球坐标系发生了绝对运动的物体。例如,相对于移动中的遥控设备20来说,一个绝对静止的物体也是移动物体。在本申请实施例涉及的应用场景中,电视机10、地面、屋顶等通常是静止的,用户通过移动遥控设备20来控制光标。在该示例中,静止的电视机10、地面、屋顶等相对于移动的遥控设备20来说可以是移动物体。
处理器35可以是微型控制单元(micro controller unit,MCU)。处理器35可以包括一个或多个接口,例如集成电路(inter-integrated circuit,I2C)接口,串行外设接口(serial peripheral interface,SPI),通用输入输出(general purpose I/O,GPIO)接口等。例如,处理器35与OMT传感器、IMU之间可采用SPI接口通信,处理器35与按键34之间可采用GPIO接口通信,处理器35与PMU 36之间可通过电源管理总线通信,处理器35与触摸面板38之间可采用I2C总线通信。
存储器40可以存储本申请实施例提供的遥控方法的计算机程序/指令,当处理器35从存储器40上读取该计算机程序/指令并运行该计算机程序/指令时,可使得遥控设备20执行本申请实施例提供的遥控方法的步骤。
无线通信模块37可包括蓝牙模块、无线保真(wireless fidelity,Wi-Fi)模块、ZigBee模块等。无线通信模块37可用于从向遥控设备20配套的电视机(如图1所示遥控系统中的电视机10)传输数据。该数据可包括遥控设备20的坐标信息,如遥控设备20的X轴、Y轴、Z轴坐标。这样,电视机10便可以根据该坐标信息确定光标100的位置,从而在屏幕上更新光标位置。
天线39可以和无线通信模块37耦合,使得遥控设备20可以通过无线通信技术与其他设备通信。无线通信模块37经由天线39接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器35。无线通信模块37还可以从处理器35接收待发送的信号,对其进行调频,放大,经天线39转为电磁波辐射出去。
图3示意的结构并不构成对遥控设备20的具体限定。遥控设备20可以包括比图示更多或更少的部分,或者组合某些部分,或者拆分某些部分,或者不同的部分布置。图示的各个部分可以以硬件,软件或软件和硬件的组合实现。例如,如图3所示,遥控设备20还可以包括电源管理单元(power management unit,PMU)36。
图7示出了用户使用本申请实施例提供的遥控设备20控制电视机10的光标的应用场景。如图7所示,用户可以从桌面或其他地方拿起遥控设备20,移动或转动遥控设备20以控制电视机10上的光标100从一个位置移动到另一个位置。图7中虚线表示光标、遥控设备在移动前的位置,实线表示光标、遥控设备在移动后的位置。
图8-图9示出了本申请实施例提供的遥控设备如何实现图7所示应用场景。
如图8以及图9中的S81至S82所示,当用户从桌面或其他地方拿起或放下遥控器时,遥控设备20中的IMU可检测到加速度变化,发生加速变化时的位置为拿起位置。如图8以及图9中的S83所示,OMT传感器32和OMT传感器33可标定拿起位置为坐标原点(x0,y0,z0)。如图8以及图9中的S84所示,在遥控设备20移动时,OMT传感器32和OMT传感器33可输出遥控设备20的X,Y,Z坐标;与此同时,如图8以及图9中的S85所示,IMU可进行相对位置的测量。具体的,OMT传感器可进行大范围移动的位置信息测量,IMU可进行小范围移动的位置信息测量。然后,如图8以及图9中的S86所示,OMT传感器、IMU可通过SPI总线向处理器35传输测量结果,处理器35可对OMT传感器的测量结果和IMU的测量结果进行混合计算得到遥控设备20的最新坐标(x1,y1,z1)。接下来,如图8以及图9中的S87所示,遥控设备20可通过低功耗蓝牙等无线通信模块37向电视机10发送该坐标(x1,y1,z1)。这里,混合计算可以是指:控制OMT传感器测量遥控设备20在进行大位移量的运动时的坐标值,控制IMU测量遥控设备20在进行小位移量的运动时的位移;然后,基于OMT传感器输出的坐标,叠加上IMU测得的移动位移,得到遥控设备20的坐标。
如图8以及图9中S88至S89所示,电视机10在通过通信模块收到该坐标之后,可通过处理器进行光标位置映射,基于遥控设备20的最新位置(x1,y1,z1)确定出光标的最新位置为(Xb,Yb),最后在屏幕上将光标100从位置(Xa,Ya)移动至位置(Xb,Yb),即进行光标位置更新。
如图9所示,具体如S90至S91所示,若IMU较长时间(如10分钟)未检测到加速度变化,则遥控设备20可进入休眠模式,可关闭OMT传感器、按键、无线通信模块、触摸面板等高功耗外设,以节约功耗。
本申请实施例提供的遥控设备20引入了OMT传感器32和OMT传感器33来测量遥控设备的大范围移动,并结合IMU测量遥控设备的小范围移动,从而将遥控设备的移动情况实时反馈至电视机10,以使电视机10根据遥控设备20的最新坐标更新光标位置。这样,可改善仅通过IMU测量位置带来的累积误差,且通过引入低成本的OMT传感器,相较于UWB芯片和天线具有显著的成本优势,软件算法复杂度低。
下面介绍本申请实施例提供的遥控方法。
图10示出了本申请实施例提供的一种遥控方法的总体流程。该方法可应用于在前实施例描述的遥控设备20,下面展开。
S101、遥控设备20可通过IMU 31检测到遥控设备20发生加速度变化。
具体的,IMU 31可通过SPI或I2C等接口向处理器35发送实时检测到的加速度信息。
S102、遥控设备20可将发生加速度变化时的位置标定为坐标原点。
例如,当用户从桌面或其他地方拿起遥控器时,遥控设备20中的IMU 31可检测到该加速度变化,发生加速变化时的位置为拿起位置,可标定拿起位置时OMT传感器32和OMT传感器33的拍摄图像为坐标原点(x0,y0,z0)。
具体的,遥控设备20可将发生该加速度变化的起始时刻的位置标定为坐标原点。
S103、基于该坐标原点,遥控设备20可控制OMT传感器32测量遥控设备20的X,Y坐标值,控制OMT传感器33测量遥控设备20的Z坐标值。
具体的,遥控设备20可控制OMT传感器32拍摄第一图像,控制OMT传感器33拍摄第二图像,并基于第一图像确定所述X,Y坐标值,基于所述第二图像确定所Z坐标值。
本申请实施中,遥控设备的坐标可包括三维坐标值X、Y、Z,其中,X和Y可以是基于OMT传感器32拍摄的第一图像的图像内容确定的,由OMT传感器32输出;Z可以是基于OMT传感器33拍摄的第二图像的图像内容确定的,由OMT传感器33输出。第一图像是指OMT传感器32拍摄的第一图像,第二图像是指OMT传感器33拍摄的照片。具体的,处理器35可在IMU 31检测到加速度变化后启动OMT传感器32,OMT传感器33,控制OMT传感器拍摄图像。相应的,若IMU 31较长时间都未检测到加速度变化,则遥控设备20可关闭OMT传感器以节约功耗。
在一些实施例中,遥控设备20可通过下述方式基于第一图像确定X和Y:遥控设备20可以利用发生加速度变化时的第一图像确定X轴,Y轴的坐标原点,即将发生加速度变化时的第一图像标定为X轴和Y轴的坐标原点;然后,基于所第一时刻的第一图像与发生加速度变化时的第一图像之间的图像内容差异确定X和Y。其中,发生加速度变化时可以是早于第一时刻的某个时刻,如检测到加速度变化后拍摄第一帧第一图像的时刻。换句话说,X和Y具体可以是基于第一时刻的第一图像和发生加速度变化时的第一图像之间的图像内容差异确定的,其中,发生加速度变化时的第一图像用于标定X轴和Y轴的坐标原点。
第一时刻的第一图像和发生加速度变化时的第一图像之间的图像内容差异可具体用于确定第一图像中的第一物体在第一时刻相对于第一物体在发生加速度变化时的图像位移,该图像位移直接用于确定X和Y。这里,第一物体可以是从发生加速度变化时至第一时刻始终存在于第一图像中的某个物体,通过它的图像位移能够计算出遥控设备20在X轴和Y轴的位移。例如,对于OMT传感器32拍摄的多张第一图像来说,第一物体可以是拍摄到的地面上的某块地板或用户的脚部,因为当用户以标准姿势握持遥控设备20时,OMT传感器32朝向地面。
在一些实施例中,遥控设备20可通过下述方式基于第二图像确定Z:遥控设备20可以利用发生加速度变化时的第二图像确定Z轴的坐标原点,即将发生加速度变化时的第二图像标定为Z轴的坐标原点;然后基于第一时刻的第二图像与发生加速度变化时的第二图像之间的图像内容差异确定Z。换句话说,Z具体可以是基于第一时刻的第二图像和发生加速度变化时的第二图像之间的图像内容差异确定的,其中,发生加速度变化时的第二图像用于标定Z轴的坐标原点。
第一时刻的第二图像和发生加速度变化时的第二图像之间的图像内容差异可具体用于确定第二图像中的第二物体在第一时刻相对于第二物体在发生加速度变化时的图像位移,该图像位移直接用于确定Z。这里,第二物体可以是从发生加速度变化时至第一时刻始终存在于第二图像中的某个物体,通过它的图像位移能够计算出遥控设备20在Z轴的位移。例如,对于OMT传感器33拍摄的多张第二图像来说,第二物体可以是拍摄到的用户的前腹部或者用户前方的电视机10。
S104、遥控设备20还可控制IMU 31测量遥控设备20的位移。
本申请实施例中,遥控设备20可控制OMT传感器32测量遥控设备20在进行第一移动时的X,Y坐标值,控制OMT传感器33测量遥控设备20在进行第一移动时的Z坐标值;而,可控制IMU 31测量遥控设备20在进行第二移动时的移动位移。其中,第一移动的位移量大于第一位移量,第二移动的位移量小于或等于第一位移量。也即,第一移动是大范围移动,第二移动时小范围移动;OMT传感器可用于进行大范围移动的位置信息测量,IMU可用于进行小范围移动的位置信息测量。
为了识别遥控设备20是否在做大范围移动,遥控设备20还可在每一次移动时检测位移量,将位移量大于第一位移量的移动确定为第一移动,将位移量小于或等于第一位移量的移动确定为第二移动。
S105、遥控设备20可根据OMT传感器32和OMT传感器33输出的坐标,以及IMU 31测得的位移,确定遥控设备20的坐标。
具体的,遥控设备20可以基于OMT传感器32和OMT传感器33输出的坐标,叠加上IMU31测得的移动位移,得到遥控设备20的坐标。
S106、遥控设备20可以向电视机发送遥控设备20的坐标,电视机10可用于根据遥控设备20的坐标更新电视机10的屏幕上光标位置。
具体的,电视机10在通过通信模块收到该坐标之后,可通过处理器进行光标位置映射,基于遥控设备20的最新位置确定出光标100的最新位置,最后在屏幕上将光标100从最近历史位置移动至最新光标位置。
可以看出,通过实施图9所示方法,遥控设备20避免了仅通过IMU 31测量遥控设备的位置,从而降低了IMU累积误差对测量结果的影响;而且,引入低成本的OMT传感器测量大范围移动,结合IMU测量小范围移动,可降低成本,且算法简单。
进一步的,为了减少IMU 31的累积误差,本申请实施例提供的遥控设备20还可以利用计时器设定时间,在设定时间内若检测到遥控设备20发生大范围移动,则可控制IMU进入初始化校准。具体流程可参考图11:
S91、到达计时器的设定时间。
S92、在该设定时间,判断遥控设备20的位移量是否大于第一位移量。即,判断是否发生大范围移动。若是,则执行S93-S95;否则执行S96。
S93、通过OMT传感器32和OMT传感器33测量遥控设备20的坐标。
关于如何利用OMT传感器测得遥控设备20的坐标,可参考前文,这里不再赘述。
S94、控制IMU 31进入初始化校准。
S95、IMU31的校准完成。
S96、通过OMT传感器32,OMT传感器33测得的坐标和IMU 31测得的位移确定遥控设备20的坐标。关于如何结合OMT传感器测得的坐标和IMU测得的位移确定遥控设备20的坐标,可参考前文,这里不再赘述。
本申请实施例中,计时器的设定时间可以是一个特定时长,例如8小时,即每8小时便尝试校准IMU;不限于此,该设定时间也可以是一个特定时间点,例如每天晚上12点,即每天晚上12点尝试校准IMU。实际应用中,可以根据需求选择该设定时间,本申请实施例对此不作限制。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序(也可以称为代码,或指令)。当该计算机程序被运行时,使得计算机执行前述任一个实施例中电子设备执行的方法。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在前述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请所描述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk)等。
本领域普通技术人员可以理解实现前述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如前述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上描述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (15)
1.一种遥控方法,其特征在于,应用于遥控设备,所述遥控设备包括:惯性测量单元IMU、第一光学动态追踪OMT传感器和第二OMT传感器;所述遥控设备包括相对而设的第一面和第二面,所述第一面为用户操作面,所述第二面设置有所述第一OMT传感器,所述遥控设备还包括第三面,所述第三面与所述第一面垂直,所述第三面设置有所述第二OMT传感器,所述方法包括:
所述遥控设备通过所述IMU检测到所述遥控设备发生加速度变化;
所述遥控设备将所述发生加速度变化时的位置标定为坐标原点;
基于所述坐标原点,所述遥控设备控制所述第一OMT传感器测量所述遥控设备的X,Y坐标值,控制所述第二OMT传感器测量所述遥控设备的Z坐标值;
所述遥控设备还控制所述IMU测量所述遥控设备的位移;
所述遥控设备根据所述第一OMT传感器和所述第二OMT传感器输出的坐标,以及所述IMU测得的移动位移,确定所述遥控设备的坐标;
所述遥控设备向电视机发送所述遥控设备的坐标,所述电视机用于根据所述遥控设备的坐标更新所述电视机的屏幕上光标位置。
2.根据权利要求1所述的方法,其特征在于,所述遥控设备控制所述第一OMT传感器测量所述遥控设备X,Y坐标值,控制所述第二OMT传感器测量所述遥控设备Z坐标值,具体包括:
所述遥控设备控制所述第一OMT传感器测量所述遥控设备在进行第一移动时的X,Y坐标值,控制所述第二OMT传感器测量所述遥控设备在进行所述第一移动时的Z坐标值;
所述遥控设备还控制所述IMU测量所述遥控设备的移动位移,具体包括:
所述遥控设备还控制所述IMU测量所述遥控设备在进行第二移动时的移动位移;
其中,所述第一移动的位移量大于第一位移量,所述第二移动的位移量小于或等于所述第一位移量。
3.根据权利要求2所述的方法,其特征在于,所述遥控设备根据所述第一OMT传感器和所述第二OMT传感器输出的坐标,以及所述IMU测得的移动位移,确定所述遥控设备的坐标,具体包括:
所述遥控设备基于所述第一OMT传感器和所述第二OMT传感器输出的坐标,叠加上所述IMU测得的移动位移,得到所述遥控设备的坐标。
4.根据权利要求3所述的方法,其特征在于,所述遥控设备将所述发生加速度变化时的位置标定为坐标原点,具体包括:所述遥控设备将所述发生加速度变化的起始时刻的位置标定为坐标原点。
5.根据权利要求4所述的方法,其特征在于,所述基于所述坐标原点,所述遥控设备控制所述第一OMT传感器测量所述遥控设备的X,Y坐标值,控制所述第二OMT传感器所述遥控设备的Z坐标值,具体包括:
所述遥控设备控制所述第一OMT传感器拍摄第一图像,控制所述第二OMT传感器拍摄第二图像,并基于所述第一图像确定所述X,Y坐标值,基于所述第二图像确定所述Z坐标值。
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一图像确定所述X,Y坐标值,具体包括:
基于第一时刻的所述第一图像与所述发生加速度变化时所述第一图像之间的图像内容差异确定X,Y坐标值,所述第一时刻晚于所述发生加速度变化时。
7.根据权利要求6所述的方法,其特征在于,所述第一时刻的所述第一图像与所述发生加速度变化时的所述第一图像之间的图像内容差异,用于确定所述第一图像中的第一物体在所述第一时刻相对于所述第一物体在所述发生加速度变化时的图像位移,所述图像位移用于确定所述X,Y坐标值。
8.根据权利要求5所述的方法,其特征在于,所述基于所述第二图像确定所述Z坐标值,具体包括:
所述遥控设备基于第一时刻的所述第二图像与所述发生加速度变化时的所述第二图像之间的图像内容差异确定所述Z坐标值,所述第一时刻晚于所述发生加速度变化时。
9.根据权利要求8所述的方法,其特征在于,所述第一时刻的所述第二图像与所述发生加速度变化时的所述第二图像之间的图像内容差异,用于确定所述第二图像中第二物体在所述第一时刻相对于所述第二物体在所述发生加速度变化时的图像位移,所述图像位移用于确定所述Z坐标值。
10.根据权利要求1-9中任一项所述的方法,其特征在于,还包括:所述遥控设备检测所述遥控设备的位移量。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在设定的第一时间,若遥控设备的位移量大于第一阈值,则所述遥控设备控制所述IMU进行初始化校准。
12.根据权利要求1所述的方法,其特征在于,所述第一面设置有一个或多个按键,所述按键用于接收用户操作。
13.一种遥控设备,其特征在于,所述遥控设备包括一个或多个存储器、一个或多个处理器;所述遥控设备还包括:惯性测量单元IMU、第一光学动态追踪OMT传感器和第二OMT传感器;所述遥控设备包括相对而设的第一面和第二面,所述第一面为用户操作面 ,所述第二面设置有所述第一OMT传感器,所述遥控设备还包括第三面,所述第三面与所述第一面垂直,所述第三面设置有所述第二OMT传感器,所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序,所述处理器调用所述计算机程序以实现权利要求1-12中任一项所述方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序;其特征在于,所述计算机程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-12中任一项所述方法的步骤。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118301396A true CN118301396A (zh) | 2024-07-05 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108682038B (zh) | 位姿确定方法、装置及存储介质 | |
CN111768454B (zh) | 位姿确定方法、装置、设备及存储介质 | |
CN110986930B (zh) | 设备定位方法、装置、电子设备及存储介质 | |
CN110967011A (zh) | 一种定位方法、装置、设备及存储介质 | |
CN110599549A (zh) | 界面显示方法、装置及存储介质 | |
CN109166150B (zh) | 获取位姿的方法、装置存储介质 | |
CN111031235B (zh) | 一种ois驱动电路结构、数据获取方法及电子设备 | |
CN112146678B (zh) | 一种确定校准参数的方法及电子设备 | |
CN111897429A (zh) | 图像显示方法、装置、计算机设备及存储介质 | |
WO2013148585A1 (en) | System and method for determining navigational states based on a uniform external magnetic field | |
WO2022160978A1 (zh) | 一种获取姿态信息的方法及电子设备 | |
CN111652942B (zh) | 摄像模组的标定方法、第一电子设备和第二电子设备 | |
CN114332423A (zh) | 虚拟现实手柄追踪方法、终端及计算可读存储介质 | |
WO2017005070A1 (zh) | 显示控制方法及装置 | |
CN113384880A (zh) | 虚拟场景显示方法、装置、计算机设备及存储介质 | |
CN108317992A (zh) | 一种物距测量方法及终端设备 | |
WO2022199102A1 (zh) | 图像处理方法及装置 | |
CN108196701B (zh) | 确定姿态的方法、装置及vr设备 | |
CN117191013A (zh) | 惯性测量单元误差校正方法、装置、电子设备及存储介质 | |
CN108494946B (zh) | 移动终端中电子罗盘的校正方法与装置 | |
CN118301396A (zh) | 一种遥控方法及遥控设备 | |
US8432360B2 (en) | Input apparatus, method and program | |
CN112835021B (zh) | 定位方法、装置、系统及计算机可读存储介质 | |
US11249562B2 (en) | Pointing electronic device with fast start-up recovery and corresponding method | |
CN210716984U (zh) | 管道检测装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |