CN114500978B - 显示设备、手柄以及虚拟目标定位追踪的校准方法 - Google Patents

Abstract

本申请提供实施例，属于显示技术，提供一种显示设备、手柄以及虚拟目标定位追踪的校准方法，该显示设备包括显示器，摄像头；分别与摄像头和显示器连接的处理器。该处理器被配置为获取至少一个连续的拍摄存储周期的时延偏差值，时延偏差值为拍摄存储周期内手柄灯的亮灯起始时刻与摄像头的拍摄起始时刻之间的差值；其中，拍摄存储周期时长与手柄灯状态的闪烁周期时长相同；当至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向手柄发送同步校准指令，同步校准指令用于指示将手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。通过本申请可以解决VR手柄操作延时或误操作的问题。

Description

显示设备、手柄以及虚拟目标定位追踪的校准方法

技术领域

本申请实施例涉及VR(Virtual Reality，虚拟现实)技术和AR(AugmentedReality，增强现实)技术。更具体地讲，涉及一种显示设备、手柄以及虚拟目标定位追踪的校准方法。

背景技术

目前，随着虚拟现实(Virtual Reality，简称VR)和增强现实(AugmentedReality，简称AR)技术的发展，VR头盔越来越在市场上活跃，例如教育培训行业、消防演练行业、虚拟驾驶行业和房地产行业均在使用VR头盔。而在VR头盔的使用中，需要配备VR手柄使用户在VR头盔显示的虚拟现实场景中可以进行虚拟目标的操控，VR手柄与VR头盔通信连接。比如在一些VR应用场景中，需要对在一个空间范围内运动的目标进行定位，如赛车游戏，需要对用户操控的赛车进行定位追踪。定位追踪的原理为：该VR手柄包括以一定空间结构排列的半导体发光二极管(Light Emitting Diode，简称LED)，其中LED的发光色为饱和度较高的可见光或红外光，利用VR头盔上的摄像头获取VR手柄上LED灯闪烁为亮的图像，VR头盔对该LED灯闪烁的图像进行分析后实现虚拟空间范围内运动的目标的定位追踪。

然而，现有技术中在进行虚拟空间范围内运动的目标的定位追踪时，摄像头的拍摄曝光和VR手柄上的灯闪烁存在时间偏移的问题，即摄像头的拍摄曝光和VR手柄上的灯闪烁不能实现严格的同步控制，这就容易造成在实际VR应用场景中，VR手柄操作延时、失败或误操作的问题。

发明内容

本申请示例性的实施方式提供一种显示设备、手柄以及虚拟目标定位追踪的校准方法，可解决在实际VR应用场景中，VR手柄操作延时、失败或误操作的问题。

第一方面，本申请实施例提供一种显示设备，与手柄通信连接，包括：

显示器，用于显示界面；

摄像头，用于获取图像数据；

分别与所述摄像头和所述显示器连接的处理器，所述处理器被配置为：

获取至少一个连续的拍摄存储周期的时延偏差值，所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与所述摄像头的拍摄起始时刻之间的差值；其中，所述拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向所述手柄发送同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。

本申请一些实施例中，所述向所述手柄发送同步校准指令之前，所述处理器还被配置为：

确定N个拍摄存储周期中起始的拍摄存储周期中所述手柄灯的亮灯起始时刻和所述N 个拍摄存储周期的时延偏差值的累计值之间的差值，为所述起始校准时刻。

本申请一些实施例中，所述预设偏差值为所述拍摄存储周期的四分之一时长。

本申请一些实施例中，所述处理器还被配置为：

获取所述手柄灯的拍摄图像，所述拍摄图像为所述手柄亮灯时拍摄得到的图像；

根据所述拍摄图像进行所述手柄在虚拟现实场景中的定位追踪。

第二方面，本申请实施例提供一种手柄，所述手柄上设置有手柄灯，包括：

收发器，被配置为接收显示设备发送的同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，所述显示设备的拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

控制器，被配置为根据所述同步校准指令校准所述手柄灯在下一个拍摄存储周期的亮灯起始时刻。

第三方面，本申请提供一种虚拟目标定位追踪的校准方法，应用于显示设备，所述显示设备与手柄通信连接，所述方法包括：

获取至少一个连续的拍摄存储周期的时延偏差值，所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与所述摄像头的拍摄起始时刻之间的差值；其中，所述拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向所述手柄发送同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。

本申请一些实施例中，所述向所述手柄发送同步校准指令之前，还包括：

确定N个拍摄存储周期内所述手柄灯首次亮灯起始时刻和所述N个拍摄存储周期的累计值之间的差值，为所述起始校准时刻。

本申请一些实施例中，所述预设偏差值为所述拍摄存储周期的四分之一时长。

本申请一些实施例中，所述方法还包括：

获取所述手柄灯的拍摄图像，所述拍摄图像为所述手柄亮灯时拍摄得到的图像；

根据所述拍摄图像进行所述手柄在虚拟现实场景中的定位追踪。

第四方面，本申请实施例提供一种虚拟目标定位追踪的校准方法，应用于手柄，所述手柄与显示设备通信连接，包括：

接收所述显示设备发送的同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，所述显示设备的拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

根据所述同步校准指令校准所述手柄灯在下一个拍摄存储周期的亮灯起始时刻。

第五方面，本申请实施例提供一种虚拟目标定位追踪的校准装置，应用于显示设备，包括：

获取模块，用于获取至少一个连续的拍摄存储周期的时延偏差值，所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与所述摄像头的拍摄起始时刻之间的差值。其中，所述拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同。

处理模块，用于当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向所述手柄发送同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于 1。其中，该预设偏差值为该拍摄存储周期的四分之一时长。

第六方面，本申请实施例提供一种虚拟目标定位追踪的校准装置，应用于手柄，包括：

接收模块，用于接收所述显示设备发送的同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，所述显示设备的拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同。

处理模块，用于根据所述同步校准指令校准所述手柄灯在下一个拍摄存储周期的亮灯起始时刻。

第七方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当计算机程序被处理器执行时实现如上任一方法实施例所述的方法。

第八方面，本申请实施例还提供一种显示系统，包括如第一方面所述的显示设备和如第二方面所述的手柄。

第九方面，本申请实施例提供一种运行指令的芯片，芯片用于执行如上所述的方法。

第十方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取计算机程序，该至少一个处理器执行所述计算机程序时可实现如上任一方法实施例所述的方法。

示例地，本申请提供的该显示设备可以为VR头盔。在整个该摄像头的拍摄过程中，对于与该显示设备配对成功的该手柄，在该摄像头的拍摄存储和该手柄的灯闪烁不同步的时候，可以根据至少一个连续的拍摄存储周期内该手柄灯的亮灯起始时刻和该摄像头的拍摄起始时刻之间的差值，生成用于校准该手柄灯闪烁的同步校准指令。该手柄根据该同步校准指令进行下一个拍摄存储周期的亮灯起始时刻校准为和该下一个拍摄存储周期的拍摄起始时刻相同。此时该摄像头可以在拍摄存储周期内实时并且完整得拍摄到该手柄灯亮的图像，从而避免了现有技术中因为该摄像头的拍摄存储和该手柄灯的闪烁不同步造成的无法准确有效追踪手柄位置的缺陷，解决了手柄应用时发生的手柄操作延时、失败或误操作的问题。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1中示例性示出了一些实施例中显示设备与控制装置之间操作场景的示意图；

图2中示例性示出了实施例一提供的显示设备的硬件配置框图；

图3中示例性示出了一些实施例中摄像头拍摄存储和手柄灯闪烁不同步的示意图；

图4中示例性示出了一些实施例中针对摄像头拍摄存储和手柄灯闪烁不同步的解决方法流程；

图5中示例性示出了实施例二提供的虚拟目标定位追踪的校准方法的流程示意图；

图6中示例性示出了实施例三提供的虚拟目标定位追踪的校准方法的流程示意图；

图7中示例性示出了实施例五提供的手柄的硬件配置框图；

图8中示例性示出了实施例六提供的虚拟目标定位追踪的校准方法的流程示意图；

图9中示例性示出了实施例七提供的虚拟目标定位追踪的校准装置的示意图；

图10中示例性示出了实施例八提供的虚拟目标定位追踪的校准装置的示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明 (Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中使用的术语“手柄”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。

图1中示例性示出了6自由度(degree of freedom，简称DOF)应用场景下，显示设备 10与手柄20之间操作场景的示意图。如图1中示出，该手柄20上设置有半导体发光二极管(Light Emitting Diode，简称LED)灯，该显示设备10上的摄像头200采集该手柄20亮灯时的图像，再由该显示设备10上的处理器300对该亮灯时的图像进行分析后实现该手柄 20的定位追踪，进而实现对虚拟空间范围内与手柄20对应的运动目标的定位追踪。

请参见图2，本申请实施例一提供一种显示设备10，该显示设备10包括显示器100、摄像头200和处理器300，该处理器300分别与该摄像头200和该显示器100连接。该显示器100用于显示界面，一些实施例中，该显示设备10可以是虚拟现实(Virtual Reality，简称VR)头盔，该显示器100可以理解为该VR头盔上的显示屏，用于显示VR头盔指示显示的界面。一些实施例中，该显示器100可以为有机电致发光显示器(Organic ElectroluminescenceDisplay，简称OLED)，也可以为其他类型的显示器，本申请不做限定。

该摄像头200设置在该显示设备10上，用于获取图像数据。一些实施例中，该显示设备10可以是VR头盔，该摄像头200可以是双目相机，该双目相机的型号可以根据实际需要选择，本申请不做限定。

该处理器300分别与该显示器100和该摄像头200连接，该处理器300被配置为获取至少一个连续的拍摄存储周期的时延偏差值，该时延偏差值为该拍摄存储周期内该手柄20灯的亮灯起始时刻，与该摄像头200的拍摄起始时刻之间的差值，其中，该拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

该拍摄存储周期包括拍摄周期和存储周期，该拍摄周期为摄像头200进行图像拍摄的时长，具体的，在本申请中指的是拍摄手柄亮灯时的图像的时长。该存储周期为该摄像头200 进行图像存储的时长，具体的，在本申请中指的是存储手柄亮灯时的图像的时长。该闪烁周期包括该手柄20灯的亮灯时长和灭灯时长，在该闪烁周期内该手柄灯先进行一次亮灯，再经历一次灭灯，该手柄20灯进行一次亮灯和进行一次灭灯的时长分别为该亮灯时长和该灭灯时长。

假设该摄像头200的拍摄帧率是60帧/秒(frame per second，简称FPS)，则该拍摄存储周期大约为16.667毫秒(millisecond，简称ms)，该拍摄存储周期中的拍摄周期为8.33ms，该拍摄存储周期中的存储周期为8.33ms，则对应的该手柄20灯的闪烁周期中亮灯时长和灭灯时长分别为8.33ms和8.33ms。若假设该拍摄周期和该存储周期均为8ms，则对应的该亮灯时长和灭灯时长分别为8ms和8ms。在该显示设备10启用之前，需要将该拍摄周期和该亮灯时长设置为相同、并将该存储周期和该灭灯时长设置为相同。

在本实施例中，该拍摄周期和该存储周期可以相同也可以不同，当该拍摄周期和该存储周期相同时，该拍摄周期、该存储周期、该亮灯时长和该灭灯时长均相同。当该拍摄周期的拍摄起始时刻和该手柄20灯的亮灯起始时刻相等时，该摄像头200的拍摄存储和该手柄20 的灯闪烁同步，该VR头盔在进行虚拟空间范围内运动的目标的定位追踪时不会造成VR手柄操作延时、失败或误操作的问题。当该拍摄周期的拍摄起始时刻和该手柄20灯的亮灯起始时刻之间存在延迟时，获取至少一个连续的拍摄存储周期的时延偏差值。

该处理器300还被配置为当该至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向该手柄发送同步校准指令，该同步校准指令用于指示将该手柄20灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。在一些实施例中，该预设偏差值可以为该拍摄存储周期的四分之一时长，即假设该拍摄存储周期为T，该预设偏差值即为T/4。当该摄像头200拍摄存储和该手柄20灯闪烁如图3所示出现不同步的状况时，执行如图4所示的方法流程图。

图4所示为针对该摄像头拍摄存储和手柄灯闪烁不同步的解决方法，包括：

S401，根据该摄像头的拍摄帧率确定该手柄灯的闪烁周期。

在该显示设备10启用之前，需要将该摄像头200的拍摄存储周期和该手柄20灯的闪烁周期设置为相同，该摄像头200的拍摄存储周期可以根据该摄像头200的拍摄帧率确定。举例说明，假设该摄像头200的拍摄帧率为60FPS，则该拍摄存储周期和该闪烁周期大约都等于16.667ms。

S402，获取该摄像头在起始的拍摄存储周期的拍摄起始时刻。

S403，获取该手柄灯在该起始的拍摄存储周期的亮灯起始时刻。

S404，获取至少一个连续的拍摄存储周期的时延偏差值，以及获取至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值，该时延偏差值为该拍摄存储周期内该手柄灯的亮灯起始时刻与该拍摄起始时刻之间的差值；N大于或等于1。

假设该拍摄起始时刻为tc，该亮灯起始时刻为tl，该时延偏差值为c，该时延偏差值的累计值为Δt。则c＝tl-tc，Δt＝c1+c2+…+cN，其中N大于或等于1。c1代表该起始的拍摄存储周期的时延偏差值，也可以理解为第1个拍摄存储周期的时延偏差值，c1＝tl-tc。c2代表该起始的拍摄存储周期的下一个拍摄存储周期的时延偏差值，也可以理解为第2个拍摄存储周期的时延偏差值，c2＝tl2-tc2，其中，tl2代表该第2个拍摄存储周期的亮灯起始时刻，tc2 代表该第2个拍摄存储周期的拍摄起始时刻。c3可以理解为第3个拍摄存储周期的时延偏差值，c3＝tl3-tc3，其中，tl3代表该第3个拍摄存储周期的亮灯起始时刻，tc3代表该第3个拍摄存储周期的拍摄起始时刻。cN可以理解为第N个拍摄存储周期的时延偏差值， cN＝tlN-tcN，其中，tlN代表该第N个拍摄存储周期的亮灯起始时刻，tcN代表第N个拍摄存储周期的拍摄起始时刻。

S405，判断该时延偏差值的累计值是否大于预设偏差值，其中，该预设偏差为该拍摄存储周期的四分之一时长。

S406，若该时延偏差值的累计值大于该预设偏差值，则根据该起始的拍摄存储周期的亮灯起始时刻和该时延偏差值的累计值的差值确定该手柄灯在下一个拍摄存储周期的亮灯起始时刻为起始校准时刻。

S407，根据该起始校准时刻生成同步校准指令，并向该手柄发送该同步校准指令，该同步校准指令用于指示将该手柄灯将下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻。

假设该拍摄存储周期为T，则判断Δt是否大于T/4。若Δt>T/4，则确定该起始校准时刻为tl-Δt。根据该起始校准时刻生成该同步校准指令后，该同步校准指令用于指示该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为tl-Δt。当该手柄20接收到该同步校准指令后，将该下一个拍摄存储周期的亮灯起始时刻校准为tl-Δt。此时，该下一个拍摄存储周期的拍摄起始时刻也为tl-Δt，在该下一个拍摄存储周期时，该摄像头200的拍摄存储和该手柄20 的灯闪烁同步。关于N的取值，当Δt＝c1时若Δt大于该预设偏差值，则N＝1。当Δt＝c2时若Δt大于该预设偏差值，则N＝2。即，N的数值取决于Δt与该预设偏差值之间的关系。

可选的，若该时延偏差值的累计值小于或等于该预设偏差值，则返回执行步骤S404。在该显示设备10的使用中，该显示设备10中的该处理器300可以不断得对该手柄20灯的闪烁进行监测，当该手柄20灯闪烁与该摄像头200的拍摄存储不同步达到时延偏差值大于该摄像头200的拍摄存储周期的四分之一时，该处理器300可以对该手柄20灯的闪烁进行控制，从而使该手柄20灯闪烁与该摄像头200的拍摄存储达到同步。

本实施例提供的该显示设备10在该摄像头200的拍摄存储和该手柄20的灯闪烁不同步的时候，可以根据至少一个连续的拍摄存储周期内该手柄20灯的亮灯起始时刻和该摄像头 200的拍摄起始时刻之间的差值，对该摄像头200的拍摄存储和该手柄20的灯闪烁进行同步，从而解决在手柄20应用时发生手柄操作延时、失败或误操作的问题。

在一些实施例中，向该手柄20发送同步校准指令之前，该处理器300还被配置为：

确定N个拍摄存储周期中起始的拍摄存储周期中该手柄灯的亮灯起始时刻和该N个拍摄存储周期的时延偏差值的累计值之间的差值，为该起始校准时刻。

例如，N＝3，则该起始的拍摄存储周期指的是3个连续的拍摄存储周期中起始的拍摄存储周期，假设该3个拍摄存储周期中起始的拍摄存储周期中该手柄20灯的亮灯起始时刻为 t1，该起始校准时刻为tr，该3个拍摄存储周期的时延偏差值的累计值为Δt＝c1+c2+c3，则 t1＝tr-Δt＝tr-(c1+c2+c3)。

在一些实施例中，该处理器300在对该手柄20发送同步校准指令，且该手柄20根据该同步校准指令校准该手柄20灯的闪烁和该摄像头200的拍摄存储同步后，该处理器300还被配置为获取该手柄20灯的拍摄图像，该拍摄图像为该手柄20亮灯时拍摄得到的图像。该拍摄图像是指该摄像头200在多个拍摄存储周期拍摄到的该手柄20亮灯时的图像。该处理器300再根据该拍摄图像进行该手柄20在虚拟现实场景中的定位追踪。在一些实施例中，该处理器300上的高清多媒体接口(High Definition Multimedia Interface，简称HDMI)接收该摄像头200拍摄的该手柄20亮灯时拍摄得到的图像，由该处理器300对该亮灯时拍摄得到的图像中灯闪烁进行编码后识别该手柄20的特征点，实现该手柄20的追踪定位。该处理器300还可以对确定的该手柄20在三维空间中的位置信息进行平滑和预测，实现该手柄20的定位追踪的时效性和流畅性。

本实施例提供的该显示设备10可以对获取的该手柄20灯的拍摄图像进行分析，确定该手柄20在三维空间的位置，进而实现该手柄在虚拟现实场景中的定位追踪。由于该摄像头 200的拍摄存储和该手柄20的灯闪烁同步，因此该摄像头200可以在拍摄周期内同步得拍摄到该手柄20灯亮的全部图像，使得该手柄20的定位追踪结果更加准确，不会造成该手柄 20操作延时、失败或误操作的问题。

请参见图5，本申请实施例二提供了一种虚拟目标定位追踪的校准方法，应用于前述的该显示设备10，该显示设备10与该手柄20通信连接，该虚拟目标定位追踪的校准方法包括：

S501，获取至少一个连续的拍摄存储周期的时延偏差值，该时延偏差值为该拍摄存储周期内该手柄灯的亮灯起始时刻，与该摄像头的拍摄起始时刻之间的差值。其中，该拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

如上所述，假设该摄像头200的拍摄帧率是60帧/秒(frame per second，简称FPS)，则该拍摄存储周期大约为16.667ms，该拍摄存储周期中的拍摄周期为8.33ms，该拍摄存储周期中的存储周期为8.33ms，则对应的该手柄20灯的闪烁周期中亮灯时长和灭灯时长分别为8.33ms和8.33ms。若假设该拍摄周期和该存储周期均为8ms，则对应的该亮灯时长和灭灯时长分别为8ms和8ms。在该显示设备10启用之前，需要将该拍摄周期、该存储周期、该亮灯时长和该灭灯时长设置为相同。当该拍摄周期的拍摄起始时刻和该手柄20灯的亮灯起始时刻相等时，该摄像头200的拍摄存储和该手柄20的灯闪烁同步，该VR头盔在进行虚拟空间范围内运动的目标的定位追踪时不会造成VR手柄操作延时、失败或误操作的问题。当该拍摄周期的拍摄起始时刻和该手柄20灯的亮灯起始时刻之间存在延迟时，获取至少一个连续的拍摄存储周期的时延偏差值。假设该拍摄周期的拍摄起始时刻为tc，该手柄20灯的亮灯起始时刻为tl，该时延偏差值为c，该至少一个连续的拍摄存储周期的时延偏差值为Δt，则c＝tl-tc，Δt＝c1+c2+…+cN，其中N大于或等于1。

S502，当该至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向该手柄发送同步校准指令，该同步校准指令用于指示将该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。

如上所述，在一些实施例中，该预设偏差值可以为该拍摄存储周期的四分之一时长，即假设该拍摄存储周期为T，该预设偏差值即为T/4。关于N的取值，当Δt＝c1时，Δt大于该预设偏差值，则N＝1。当Δt＝c2时，Δt大于该预设偏差值，则N＝2。即，N的数值取决于Δt 与该预设偏差值之间的关系。当Δt大于该预设偏差值时，该处理器300向该手柄20发送同步校准指令，该同步校准指令用于指示该手柄20灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻。假设该起始校准时刻为tr，则tr＝tl-Δt。当该手柄20接收到该同步校准指令后，将该下一个拍摄存储周期的亮灯起始时刻校准为tr。此时，该下一个拍摄存储周期的拍摄起始时刻也为tr，在该下一个拍摄存储周期时，该摄像头200的拍摄存储和该手柄 20的灯闪烁同步。

本实施例提供的虚拟目标定位追踪的校准方法在该摄像头200的拍摄存储和该手柄20 的灯闪烁不同步的时候，可以根据至少一个连续的拍摄存储周期内该手柄20灯的亮灯起始时刻和该摄像头200的拍摄起始时刻之间的差值，对该摄像头200的拍摄存储和该手柄20 的灯闪烁进行同步，从而解决在手柄20应用时发生手柄操作延时、失败或误操作的问题。

请参见图6，本申请实施例三提供了一种虚拟目标定位追踪的校准方法，包括：

S601，获取至少一个连续的拍摄存储周期的时延偏差值，该时延偏差值为该拍摄存储周期内该手柄灯的亮灯起始时刻，与该摄像头的拍摄起始时刻之间的差值；其中，该拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

本步骤的具体实现方式参照图5所示的实施例一中步骤S501的描述，此处不再进行详细解释。

S602，确定N个拍摄存储周期内该手柄灯首次亮灯起始时刻和该N个拍摄存储周期的累计值之间的差值，为该起始校准时刻。

例如，N＝3，则该起始的拍摄存储周期指的是3个连续的拍摄存储周期中起始的拍摄存储周期，假设该3个拍摄存储周期中起始的拍摄存储周期中该手柄20灯的亮灯起始时刻为 t1，该起始校准时刻为tr，该3个拍摄存储周期的时延偏差值的累计值为Δt＝c1+c2+c3，则 t1＝tr-Δt＝tr-(c1+c2+c3)。

S603，当该至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向该手柄发送同步校准指令，该同步校准指令用于指示将该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。

本步骤的具体实现方式参照图5所示的实施例二中步骤S502的描述，此处不再进行详细解释。

S604，获取该手柄灯的拍摄图像，该拍摄图像为该手柄亮灯时拍摄得到的图像。

S605，根据该拍摄图像进行该手柄在虚拟现实场景中的定位追踪。

关于步骤S604～S605，如上所述，在一些实施例中，该处理器300上的高清多媒体接口 (High Definition Multimedia Interface，简称HDMI)接收该摄像头200拍摄的该手柄20亮灯时拍摄得到的图像，由该处理器300对该亮灯时拍摄得到的图像中灯闪烁进行编码后识别该手柄20的特征点，实现该手柄20的追踪定位。

本实施例提供的该虚拟目标定位追踪的校准方法可以对获取的该手柄20灯的拍摄图像进行分析，确定该手柄20在三维空间的位置，进而实现该手柄在虚拟现实场景中的定位追踪。由于该摄像头200的拍摄存储和该手柄20的灯闪烁同步，因此该摄像头200可以在拍摄周期内同步得拍摄到该手柄20灯亮的全部图像，使得该手柄20的定位追踪结果更加准确，不会造成该手柄20操作延时、失败或误操作的问题。

请参见图7，本申请实施例四提供一种手柄20，该手柄20上设置有手柄灯，即LED灯。该手柄20包括收发器21和控制器22。该收发器21被配置为接收该显示设备10发送的同步校准指令，该同步校准指令用于指示将该手柄20灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，该显示设备100的拍摄存储周期时长与该手柄20灯状态的闪烁周期时长相同。该控制器22被配置为根据该同步校准指令校准该手柄20灯在下一个拍摄存储周期的亮灯起始时刻。具体的，该收发器21接收到该同步校准指令后将该同步校准指令发送给该控制器22，该控制器22根据该同步校准指令解析出该起始校准时刻，并将该下一个拍摄存储周期的亮灯起始时刻校准为该起始校准时刻，从而实现该手柄20灯闪烁和该摄像头200拍摄存储的同步。如上所述，该起始校准时刻为tl-Δt，tl为该起始的拍摄存储周期的亮灯起始时刻，Δt为至少一个连续的拍摄存储周期的时延偏差值的累计值。一些实施例中，该收发器21可以为通用串行总线(UniversalSerialBus，简称USB)。

请参见图8，本申请实施例五提供一种虚拟目标定位追踪的校准方法，应用于前述的该手柄20，该手柄20与该显示设备10通信连接，该虚拟目标定位追踪的校准方法包括：

S801，接收该显示设备发送的同步校准指令，该同步校准指令用于指示将该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，该显示设备的拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

具体的，该手柄20上的收发器21接收该显示设备10发送的该同步校准指令，该收发器21例如USB。该手柄20还包括控制器22，该收发器21接收到该同步校准指令后将该同步校准指令发送给该控制器22。

S802，根据该同步校准指令校准该手柄灯在下一个拍摄存储周期的亮灯起始时刻。

该控制器22根据该同步校准指令校准该手柄20灯在下一个拍摄存储周期的亮灯起始时刻为tl-Δt，tl为该起始的拍摄存储周期的亮灯起始时刻，Δt为至少一个连续的拍摄存储周期的时延偏差值的累计值。

请参见图9，本申请实施例六提供一种虚拟目标定位追踪的校准装置30，应用于该显示设备10。如图9所示，该虚拟目标定位追踪的校准装置30包括：获取模块31和处理模块32。

该获取模块31用于获取至少一个连续的拍摄存储周期的时延偏差值，该时延偏差值为该拍摄存储周期内该手柄灯的亮灯起始时刻，与该摄像头的拍摄起始时刻之间的差值。其中，该拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

该处理模块32用于当该至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向该手柄发送同步校准指令，该同步校准指令用于指示将该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1。其中，该预设偏差值为该拍摄存储周期的四分之一时长。

该处理模块32还用于确定N个拍摄存储周期内该手柄灯首次亮灯起始时刻和该N个拍摄存储周期的累计值之间的差值，为该起始校准时刻。

该获取模块31还用于获取该手柄灯的拍摄图像，该拍摄图像为该手柄亮灯时拍摄得到的图像。

该处理模块32还用于根据该拍摄图像进行该手柄在虚拟现实场景中的定位追踪。

本实施例提供的装置，可用于执行图2至图4所示的实施例二至实施例四中该显示设备 10执行的步骤，其实现原理和技术效果类似，在此不再赘述。

请参见图10，本申请实施例七提供一种虚拟目标定位追踪的校准装置40，应用于该手柄20。如图10所示，该虚拟目标定位追踪的校准装置40包括：接收模块41和处理模块42。

该接收模块41用于接收该显示设备发送的同步校准指令，该同步校准指令用于指示将该手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，该显示设备的拍摄存储周期时长与该手柄灯状态的闪烁周期时长相同。

该处理模块42用于根据该同步校准指令校准该手柄灯在下一个拍摄存储周期的亮灯起始时刻。

本实施例提供的装置，可用于执行图7所示实施例四中该手柄20执行的步骤，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里该的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个ASIC(Application Specific Integrated Circuit，特定集成电路)，或，一个或多个DSP (Digital Signal Processor，数字信号处理器)，或，一个或者多个FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如CPU或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以SOC(System-on-a-Chip，片上系统)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线 (例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD)) 等。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当计算机程序被处理器执行时实现如上任一方法实施例该的方法。

本申请实施例还提供一种显示系统，包括如上所述的该显示设备10和该手柄20。

本申请实施例还提供一种运行指令的芯片，芯片用于执行如上任一方法实施例该的方法。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中，至少一个处理器可以从该计算机可读存储介质中读取计算机程序，该至少一个处理器执行该计算机程序时可实现如上任一方法实施例该的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用该实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (8)

1.一种显示设备，与手柄通信连接，其特征在于，包括：

显示器，用于显示界面；

摄像头，用于获取图像数据；

分别与所述摄像头和所述显示器连接的处理器，所述处理器被配置为：

获取至少一个连续的拍摄存储周期的时延偏差值，所述时延偏差值为所述拍摄存储周期内手柄灯的亮灯起始时刻，与所述摄像头的拍摄起始时刻之间的差值；其中，所述拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向所述手柄发送同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1；

所述向所述手柄发送同步校准指令之前，所述处理器还被配置为：

确定N个拍摄存储周期中起始的拍摄存储周期中所述手柄灯的亮灯起始时刻和所述N个拍摄存储周期的时延偏差值的累计值之间的差值，为所述起始校准时刻。

2.根据权利要求1所述的设备，其特征在于，所述预设偏差值为所述拍摄存储周期的四分之一时长。

3.根据权利要求1或2所述的设备，其特征在于，所述处理器还被配置为：

获取所述手柄灯的拍摄图像，所述拍摄图像为所述手柄亮灯时拍摄得到的图像；

根据所述拍摄图像进行所述手柄在虚拟现实场景中的定位追踪。

4.一种手柄，其特征在于，所述手柄上设置有手柄灯，包括：

收发器，被配置为接收显示设备在获取至少一个连续的拍摄存储周期的时延偏差值，当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时发送的同步校准指令；所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与摄像头的拍摄起始时刻之间的差值；所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，所述显示设备的拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；所述起始校准时刻为显示设备在发送同步校准指令之前确定的，N个拍摄存储周期中起始的拍摄存储周期中所述手柄灯的亮灯起始时刻和所述N个拍摄存储周期的时延偏差值的累计值之间的差值；

控制器，被配置为根据所述同步校准指令校准所述手柄灯在下一个拍摄存储周期的亮灯起始时刻。

5.一种虚拟目标定位追踪的校准方法，其特征在于，应用于显示设备，所述显示设备与手柄通信连接，所述方法包括：

获取至少一个连续的拍摄存储周期的时延偏差值，所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与摄像头的拍摄起始时刻之间的差值；其中，所述拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；

当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时，向所述手柄发送同步校准指令，所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，N大于或等于1；

所述向所述手柄发送同步校准指令之前，还包括：

确定N个拍摄存储周期内所述手柄灯首次亮灯起始时刻和所述N个拍摄存储周期的累计值之间的差值，为所述起始校准时刻。

6.根据权利要求5所述的方法，其特征在于，所述预设偏差值为所述拍摄存储周期的四分之一时长。

7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：

获取所述手柄灯的拍摄图像，所述拍摄图像为所述手柄亮灯时拍摄得到的图像；

根据所述拍摄图像进行所述手柄在虚拟现实场景中的定位追踪。

8.一种虚拟目标定位追踪的校准方法，应用于手柄，所述手柄与显示设备通信连接，其特征在于，包括：

接收所述显示设备在获取至少一个连续的拍摄存储周期的时延偏差值，当所述至少一个连续的拍摄存储周期中的N个拍摄存储周期的时延偏差值的累计值大于预设偏差值时发送的同步校准指令；所述时延偏差值为所述拍摄存储周期内所述手柄灯的亮灯起始时刻，与摄像头的拍摄起始时刻之间的差值；所述同步校准指令用于指示将所述手柄灯在下一个拍摄存储周期的亮灯起始时刻校准为起始校准时刻，其中，所述显示设备的拍摄存储周期时长与所述手柄灯状态的闪烁周期时长相同；所述起始校准时刻为显示设备在发送同步校准指令之前确定的，N个拍摄存储周期中起始的拍摄存储周期中所述手柄灯的亮灯起始时刻和所述N个拍摄存储周期的时延偏差值的累计值之间的差值；

根据所述同步校准指令校准所述手柄灯在下一个拍摄存储周期的亮灯起始时刻。

Images