CN111243027A - 延时测量方法、装置及系统 - Google Patents

延时测量方法、装置及系统 Download PDF

Info

Publication number
CN111243027A
CN111243027A CN202010127309.2A CN202010127309A CN111243027A CN 111243027 A CN111243027 A CN 111243027A CN 202010127309 A CN202010127309 A CN 202010127309A CN 111243027 A CN111243027 A CN 111243027A
Authority
CN
China
Prior art keywords
display device
wearable display
target
image
frame body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010127309.2A
Other languages
English (en)
Other versions
CN111243027B (zh
Inventor
李治富
苗京花
李文宇
鄢名扬
张�浩
陈丽莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN202010127309.2A priority Critical patent/CN111243027B/zh
Publication of CN111243027A publication Critical patent/CN111243027A/zh
Application granted granted Critical
Publication of CN111243027B publication Critical patent/CN111243027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种延时测量方法、装置及系统,涉及图像处理领域。该延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头。测量组件带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备的姿态数据。摄像头拍摄可穿戴显示设备的显示屏显示的实际图像。控制组件在接收到该可穿戴显示设备的姿态数据和实际图像之后,可以基于该姿态数据和实际图像确定可穿戴显示设备显示的图像的延时。由于本申请提供的延时测量系统可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。

Description

延时测量方法、装置及系统
技术领域
本申请涉及图像处理技术领域,特别涉及一种延时测量方法、装置及系统。
背景技术
虚拟现实(virtual reality,VR)设备一般包括:传感器,处理器和显示器。该传感器可以采集用户头部的姿态数据并将该姿态数据发送至处理器。之后,处理器根据获取到的姿态数据渲染图像,并将渲染的图像发送至显示器。最后,显示器即可刷新其显示的图像。但是,由于处理器渲染图像的过程,以及显示器刷新其显示的图像的过程均需要耗费一定的时间,因此显示器中当前实际显示的图像相对于当前应当显示的图像存在一定的延时。
相关技术中,为了检测该显示器中显示的图像的延时,可以将该显示器固定后逐渐调整该显示器的位置。并且在调整显示器的位置的过程中,采用摄像头拍摄该显示器中显示的图像。之后,操作人员对该摄像头拍摄的图像进行逐帧分析以确定该显示器显示的图像的延时。
但是,相关技术中测量延时的方法需要操作人员对摄像头拍摄的图像进行逐帧分析,测量延时的效率较低。
发明内容
本申请提供了一种延时测量方法、装置及系统,可以解决相关技术中测量延时的效率较低的问题。所述技术方案如下:
一方面,提供了一种延时测量系统,所述延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头;
所述测量组件与所述可穿戴显示设备固定连接,且与所述控制组件通信连接,所述测量组件用于带动所述可穿戴显示设备转动,测量所述可穿戴显示设备的姿态数据,以及将所述姿态数据发送至所述控制组件;
所述摄像头与所述测量组件固定连接,并与所述可穿戴显示设备的显示屏相对设置,所述摄像头还与所述控制组件通信连接,所述摄像头用于拍摄所述可穿戴显示设备的显示屏中显示的实际图像,并将所述实际图像发送至所述控制组件;
所述控制组件用于根据所述姿态数据和所述实际图像确定所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
可选的,所述测量组件包括:基座,支架主体,以及驱动件;
所述摄像头、所述可穿戴显示设备和所述驱动件均与所述支架主体固定连接,所述支架主体与所述基座转动连接,所述驱动件用于驱动所述支架主体相对于所述基座转动。
可选的,所述支架主体包括:第一支撑架体,第二支撑架体,以及第三支撑架体;所述驱动件包括:第一子驱动件,第二子驱动件,以及第三子驱动件;
其中,所述第一子驱动件与所述第一支撑架体固定连接,所述第一支撑架体与所述基座转动连接,所述第一子驱动件用于驱动所述第一支撑架体相对于所述基座绕第一轴线转动;
所述第二子驱动件与所述第二支撑架体固定连接,所述第二支撑架体与所述第一支撑架体转动连接,所述第二子驱动件用于驱动所述第二支撑架体相对于所述第一支撑架体绕第二轴线转动;
所述第三子驱动件与所述第三支撑架体固定连接,所述第三支撑架体与所述第二支撑架体转动连接,所述第三子驱动件用于驱动所述第三支撑架体相对于所述第二支撑架体绕第三轴线转动;
其中,所述第一轴线,所述第二轴线,以及所述第三轴线两两垂直。
可选的,所述第一支撑架体包括:至少一个U型架体和设置在每个所述U型架体侧面的滑块,每个所述U型架体远离开口的一端与所述基座转动连接;
所述第二支撑架体为环形架体,所述环形架体位于所述U型架体设置有滑块的一侧,且所述环形架体的端面设置有环形的滑槽,所述滑块与所述滑槽滑动连接;
所述第三支撑架体呈杆状,所述第三支撑架体的两端分别与所述环形架体的内壁转动连接,所述摄像头和所述可穿戴显示设备均固定设置在所述第三支撑架体上。
可选的,所述第一支撑架体包括:两个U型架体和设置在每个所述U型架体的两个支臂的侧面的一个滑块;
所述环形架体位于两个所述U型架体之间,且所述环形架体的两个端面均设置有一个环形的所述滑槽,每个所述U型架体的侧面设置的滑块位于一个所述滑槽内。
可选的,所述控制组件用于:
根据所述姿态数据确定所述可穿戴设备的目标图像,并根据所述目标图像和所述实际图像确定所述可穿戴显示设备显示的实际图像的延时;
其中,所述目标图像为所述可穿戴显示设备的显示屏在目标时刻应当显示的图像。
另一方面,提供了一种延时测量方法,应用于上述方面所述的延时测量系统中的控制组件,所述方法包括:
接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据;
接收摄像头发送的所述可穿戴显示设备的显示屏在所述目标时刻显示的实际图像;
根据所述姿态数据和所述实际图像确定在所述目标时刻所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
可选的,所述可穿戴显示设备的显示屏显示的所述实际图像为全景图像的一部分,所述全景图像包括阵列排布的多个不同的子图像;
所述根据所述姿态数据和所述实际图像确定所述可穿戴显示设备显示的所述实际图像的延时,包括:
根据所述可穿戴显示设备在所述目标时刻的姿态数据,确定所述可穿戴显示设备在所述目标时刻的瞬时角速度;
获取所述实际图像中的第一特征点在所述全景图像中的第一坐标;
根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,确定所述可穿戴显示设备的显示屏在所述目标时刻应当显示的目标图像;
获取所述目标图像中的第二特征点在所述全景图像中的第二坐标,其中,所述第二特征点在所述目标图像中的坐标与所述第一特征点在所述实际图像中的坐标相同;
根据所述第一坐标和所述第二坐标,确定在所述目标时刻所述实际图像相对于所述目标图像的第一偏移量;
根据所述第一偏移量与所述目标时刻的瞬时角速度,确定在所述目标时刻所述可穿戴显示设备的显示屏显示的实际图像的延时,其中,所述延时与所述第一偏移量正相关,且与所述目标时刻的瞬时角速度负相关。
可选的,所述目标时刻的姿态数据包括:所述可穿戴显示设备绕第一轴线转动的第一角速度,绕第二轴线转动的第二角速度,以及绕第三轴线转动的第三角速度;
所述根据所述可穿戴显示设备在所述目标时刻的姿态数据,确定所述可穿戴显示设备在所述目标时刻的瞬时角速度,包括:
将所述第一角速度,所述第二角速度,以及所述第三角速度的矢量和,确定为所述可穿戴显示设备在所述目标时刻的瞬时角速度。
可选的,在接收所述测量组件发送的所述可穿戴显示设备在目标时刻的姿态数据之前,所述方法还包括:
获取所述可穿戴显示设备的显示屏在初始时刻显示的初始图像中的参考点在所述全景图像中的第三坐标,所述参考点为所述初始图像中的任一点;
所述根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,确定所述可穿戴显示设备的显示屏在所述目标时刻应当显示的目标图像,包括:
根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,以及在所述目标时刻之前的每个历史时刻的瞬时角速度,确定所述可穿戴显示设备在所述目标时刻所处的位置相对于在所述初始时刻所处的位置的第二偏移量;
根据所述第三坐标,以及所述第二偏移量确定目标点在所述全景图像中的第四坐标,其中,所述目标点在所述目标图像中的坐标与所述参考点在所述初始图像中的坐标相同;
根据所述第四坐标和所述可穿戴显示设备的显示屏的尺寸确定所述目标图像。
又一方面,提供了一种延时测量装置,应用于上述方面所述的延时测量系统中的控制组件,所述装置包括:
第一接收模块,用于接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据;
第二接收模块,用于接收摄像头发送的所述可穿戴显示设备的显示屏在所述目标时刻显示的实际图像;
确定模块,用于根据所述姿态数据和所述实际图像确定在所述目标时刻所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
再一方面,提供了一种延时测量装置,所述装置包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方面所述的延时测量方法。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述计算机可读存储介质在计算机上运行时,使得计算机执行如上述方面所述的延时测量方法。
本申请提供的技术方案带来的有益效果至少包括:
本申请提供了一种延时测量方法、装置及系统,该延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头。测量组件带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备的姿态数据。摄像头拍摄可穿戴显示设备的显示屏显示的实际图像。控制组件在接收到该可穿戴显示设备的姿态数据和实际图像之后,可以基于该姿态数据和实际图像确定可穿戴显示设备显示的图像的延时。由于本申请提供的延时测量系统可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种延时测量系统的结构示意图;
图2是本申请实施例提供的另一种延时测量系统的结构示意图;
图3是本申请实施例提供的一种U型架体和滑块的结构示意图;
图4是本申请实施例提供的一种第二支撑架体的结构示意图;
图5是本申请实施例提供的一种延时测量方法的流程图;
图6是本申请实施例提供的另一种延时测量方法的流程图;
图7是本申请实施例提供的一种可穿戴显示设备显示的初始图像与全景图像的关系示意图;
图8是本申请实施例提供的一种全景球的示意图;
图9是本申请实施例提供的可穿戴显示设备的显示屏在目标时刻显示的实际图像的示意图;
图10是本申请实施例提供的一种确定目标图像的流程图;
图11是本申请实施例提供的一种确定第二偏移量的示意图;
图12是本申请实施例提供的一种确定第一偏移量的示意图;
图13是本申请实施例提供的一种延时测量装置的示意图;
图14是本申请实施例提供的一种确定模块的示意图;
图15是本申请实施例提供的另一种延时测量装置的示意图;
图16是本申请实施例提供的又一种延时测量装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种延时测量系统的结构示意图。参考图1可以看出,该延时测量系统可以包括:可穿戴显示设备01,测量组件02,控制组件03,以及摄像头04。
该测量组件02可以与可穿戴显示设备01固定连接,且该测量组件02可以与控制组件03通信连接。该测量组件02可以用于带动可穿戴显示设备01转动,测量该可穿戴显示设备01的姿态数据,以及将该姿态数据发送至控制组件03。
该摄像头04可以与测量组件02固定连接,该摄像头04可以与可穿戴显示设备01的显示屏相对设置。并且,该摄像头04还可以与控制组件03通信连接,该摄像头04可以用于拍摄可穿戴显示设备01的显示屏中显示的实际图像,并将该实际图像发送至控制组件03。
该控制组件03可以用于根据姿态数据和实际图像确定可穿戴显示设备01的显示屏显示的实际图像的延时。
综上所述,本申请实施例提供了一种延时测量系统,该延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头。测量组件带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备的姿态数据。摄像头拍摄可穿戴显示设备的显示屏显示的实际图像。控制组件在接收到该可穿戴显示设备的姿态数据和实际图像之后,可以基于该姿态数据和实际图像确定可穿戴显示设备显示的图像的延时。由于本申请实施例提供的延时测量系统可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
在本申请实施例中,在测量组件02带动可穿戴显示设备转动之前,控制组件03可以向该测量组件02发送测量指令,该测量组件02可以响应于该测量指令,带动该可穿戴显示设备01转动,并测量该可穿戴显示设备01的姿态数据。并且,在摄像头04拍摄可穿戴显示设备01的显示屏中显示的实际图像之前,控制组件03可以向该摄像头04发送拍摄指令,该摄像头04可以响应于该拍摄指令拍摄可穿戴显示设备01的显示屏中显示的实际图像。其中,本申请实施例提供的可穿戴显示设备01可以为虚拟现实设备。
可选的,控制组件03向摄像头04发送拍摄指令,以及向测量组件02发送测量指令同步执行。或者,控制组件03可以先向摄像头04发送拍摄指令,之后再向测量组件02发送测量指令。
在本申请实施例中,控制组件03在接收到测量组件02发送的可穿戴显示设备01的姿态数据,以及摄像头04发送的该可穿戴显示设备的显示屏显示的实际图像之后,可以对该姿态数据进行处理,得到该可穿戴显示设备01的显示屏应当显示的目标图像。之后,控制组件03可以基于实际图像和目标图像,确定可穿戴显示设备01显示的实际图像的延时。
其中,摄像头04的刷新率可以大于可穿戴显示设备01的显示屏的刷新率。例如,可穿戴显示设备01的显示屏的刷新率可以为60Hz(赫兹)至90Hz,摄像头01的刷新率可以为120Hz。通过将摄像头04的刷新率设置为大于可穿戴显示设备01的显示屏的刷新率,可以保证该摄像头04能够准确记录该可穿戴显示设备的显示屏显示的实际图像。可选的,该摄像头04可以为灰度摄像头,该延时测量系统可以包括两个摄像头04,该两个摄像头04均可以用于拍摄可穿戴显示设备01的显示屏显示的实际图像。
图2是本申请实施例提供的另一种延时测量系统的结构示意图。参考图2,该测量组件02可以包括:基座021,支架主体022,以及驱动件023。其中,摄像头04、可穿戴显示设备01以及驱动件023可以均与支架主体022固定连接。支架主体022可以与基座021转动连接,驱动件023可以用于驱动支架主体022相对于基座021转动。
控制组件03向测量组件02发送测量指令后,驱动件023可以驱动支架主体022带动与其连接的可穿戴显示设备01和摄像头04转动。同时,该测量组件02可以测量该可穿戴显示设备01在转动过程中的姿态数据,并将该姿态数据发送至控制组件03。并且,在支架主体022带动可穿戴显示设备01和摄像头04转动的过程中,该可穿戴显示设备01的位置可以与摄像头04的位置相对固定,摄像头04能够实时稳定拍摄该可穿戴显示设备01的显示屏显示的实际图像,并将该实际图像发送至控制组件03。
参考图2,该支架主体022可以包括:第一支撑架体0221,第二支撑架体0222,以及第三支撑架体0223。驱动件023可以包括:第一子驱动件0231,第二子驱动件0232,以及第三子驱动件0233。
其中,第一子驱动件0231可以与第一支撑架体0221固定连接,第一支撑架体0221可以与基座021转动连接,第一子驱动件0231可以用于驱动第一支撑架体0221相对于基座021绕第一轴线Z转动。第二子驱动件0232可以与第二支撑架体0222固定连接,第二支撑架体0222可以与第一支撑架体0221转动连接,第二子驱动件0232可以用于驱动第二支撑架体0222相对于第一支撑架体0221绕第二轴线X转动。第三子驱动件0233可以与第三支撑架体0223固定连接,第三支撑架体0223可以与第二支撑架体0222转动连接,第三子驱动件0233可以用于驱动第三支撑架体0223相对于第二支撑架体0222绕第三轴线Y转动。其中,该第一轴线Z,第二轴线X,以及第三轴线Y可以两两垂直。
可选的,第一子驱动件0231,第二子驱动件0232,以及第三子驱动件0233可以均为伺服电机。并且,该第一子驱动件0231,第二子驱动件0232,以及第三子驱动件0233的转动精度可以达到0.01度,其转动速度可以达到180°/s(每秒180度)。
需要说明的是,第一支撑架体0221相对于基座021转动的角度可以称为偏航角。第二支撑架体0222相对于第一支撑架体0221转动的角度可以称为滚转角。第三支撑架体0223相对于第二支撑架体0222转动得劲角度可以称为俯仰角。
在本申请实施例中,摄像头04和可穿戴显示设备01可以均固定设置在第三支撑架体0223上。第三子驱动件0233在带动第三支撑架体0223相对于第二支撑架体0222绕第三轴线Y转动时,该摄像头04和可穿戴显示设备01可以与该第三支撑架体0223同步转动。并且,第三支撑架体0223与第二支撑架体0222转动连接,第二子驱动件0232在驱动第二支撑架体0222转动的过程中,该第三支撑架体0223以及与固定设置在该第三支撑架体0223上的摄像头04和可穿戴显示设备01可以与第二支撑架体0222同步转动。同时,第二支撑架体0222与第一支撑架体0221转动连接,第一子驱动件0231在驱动第一支撑架体0221转动的过程中,该第二支撑架体0222,第三支撑架体0223,以及摄像头04和可穿戴显示设备01可以与第一支撑架体0221同步转动。
由此该摄像头04和可穿戴显示设备01可以相对于基座021绕第一轴线Z,第二轴线X,以及第三轴线Y转动。也即是,测量组件02可以带动摄像头04和可穿戴显示设备01在空间任意方向上运动,真实模拟了用户在使用可穿戴显示设备01时该可穿戴显示设备01的运动轨迹,保证该测量组件02测量得到的该可穿戴显示设备01的姿态数据的有效性,从而保证控制组件03确定出的可穿戴显示设备01显示的图像的延时的准确性。
在本申请实施例中,第一支撑架体0221可以包括:至少一个U型架体02211和滑块02212。图3是本申请实施例提供的一种U型架体和滑块的结构示意图。参考图3可以看出,滑块02212可以设置在U型架体02211的侧面,且位于U型架体02211靠近开口的一端。并且,结合图1至图3,U型架体02211远离开口的一端可以与基座021转动连接,以实现第一支撑架体0221相对于基座021绕第一轴线Z转动。其中,该第一支撑架体0221相对于基座021绕第一轴线Z转动的角度范围可以为0度至360度。
图4是本申请实施例提供的一种第二支撑架体的结构示意图。参考图3可以看出,该第二支撑架体0222可以为环形架体。结合图1和图3,该环形架体0222可以位于U型架体02211设置有滑块02212的一侧,并且该环形架体0222的端面可以设置有环形的滑槽0222a,滑块02212与滑槽0222a滑动连接,以实现第二支撑架体0222相对于第一支撑架体0221绕第二轴线X转动。其中,第二支撑架体0222相对于第一支撑架体0221绕第二轴线X转动的角度范围可以为-180度至180度。
可选的,结合图1至图4,该第一支撑架体0221可以包括:两个U型架体02211和设置该每个U型架体02211的两个支臂的侧面的一个滑块02212。环形架体0222可以位于两个U型架体02211之间,且环形架体0222的两个端面均设置有一个环形的滑槽0222a,每个U型架体02211的侧面设置的滑块02212位于一个滑槽0222a内。通过设置两个U型架体02211,且每个U型架体02211均通过其上设置的滑块02212与环形架体0222转动连接,可以保证该U型架体02211与环形架体0222连接的可靠性。
参考图1,该第三支撑架体0223可以呈杆状。该第三支撑架体0223的两端可以分别与环形架体0222的内壁转动连接,以实现第三支撑架体0223相对于第二支撑架体0222绕第三轴线Y转动。
在本申请实施例中,摄像头04可以通过测量组件02与控制组件03通信连接。参考图2,该基座021上可以具有第一接口021a,第二接口021b,以及第三接口021c。控制组件03上可以具有第四接口03a,第五接口03b,以及第六接口03c。其中,该第一接口021a可以与第四接口03a连接,该第一接口021a可以用于接收控制组件03通过第四接口03a发送的测量指令,因此该第一接口021a和第四接口03a可以为称为命令(command,cmd)接口。第二接口021b可以与第五接口03b连接,该第二接口021b可以用于向第五接口03b发送可穿戴显示设备01的姿态数据,因此该第二接口021b和第五接口03b可以称为姿态(pose)接口。第三接口021c可以与第六接口03c连接,该第三接口021c可以用于向第六接口03c发送摄像头04拍摄的实际图像,该第三接口021c和第六接口03c可以称为录像(video)接口。
参考图2还可以看出,该延时测量系统中测量组件02还可以包括:固定件024。该固定件024可以与第三支撑架体0223固定连接,可穿戴显示设备01和摄像头04固定设置在该固定件024上。通过采用该固定件024固定可穿戴显示设备01和摄像头04,可以保证在支架主体022带动该可穿戴显示设备01和摄像头04运动的过程中,该可穿戴显示设备01和摄像头不会相对于该支撑架体022产生晃动,保证测试结果的准确性。
综上所述,本申请实施例提供了一种延时测量系统,该延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头。测量组件可以带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备的姿态数据。摄像头可以拍摄可穿戴显示设备的显示屏显示的实际图像。控制组件在接收到该可穿戴显示设备的姿态数据和实际图像之后,可以基于该姿态数据和实际图像确定可穿戴显示设备显示的图像的延时。由于本申请实施例提供的延时测量系统可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
图5是本申请实施例提供的一种延时测量方法的流程图。该方法可以应用于上述实施例提供的延时测量系统中的控制组件03。参考图5可以看出,该方法可以包括:
步骤101、接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据。
在本申请实施例中,控制组件可以与测量组件通信连接,该测量组件可以带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备在目标时刻的姿态数据。之后,该测量组件可以将该可穿戴显示设备在目标时刻的姿态数据发送至控制组件,控制组件即可接收到测量组件发送的可穿戴显示设备在目标时刻的姿态数据。
需要说明的是,在测量组件带动与其固定连接的可穿戴显示设备转动之前,该控制组件可以向该测量组件发送测量指令,该测量组件响应于该测量指令带动可穿戴显示设备转动,并测量该可穿戴显示设备在目标时刻的姿态数据。或者,测量组件也可以自动带动可穿戴显示设备转动,并测量与其固定连接的可穿戴显示设备在目标时刻的姿态数据,本申请实施例对此不做限定。
步骤102、接收摄像头发送的可穿戴显示设备的显示屏在目标时刻显示的实际图像。
在本申请实施例中,摄像头可以与控制组件通信连接,摄像头可以固定设置在测量组件上,且摄像头与可穿戴显示设备的显示屏相对设置。在测量组件带动可穿戴显示设备转动的过程中,也可以带动该摄像头转动。并且,在测量组件带动该可穿戴显示设备和该摄像头转动的过程中,该摄像头的位置和可穿戴显示设备的位置相对固定,该摄像头可以实时稳定拍摄到可穿戴显示设备的显示屏显示的实际图像。之后,摄像头可以将拍摄到的可穿戴显示设备的显示屏在目标时刻显示的实际图像发送至控制组件,该控制组件即可接收到该实际图像。
需要说明的是,在测量组件带动与其固定连接的可穿戴显示设备转动之前,该控制组件还可以向该摄像头发送拍摄指令,该摄像头响应于该拍摄指令拍摄可穿戴显示设备的显示屏显示的实际图像。或者,摄像头也可以自动拍摄可穿戴显示设备的显示屏显示的实际图像,本申请实施例对此不做限定。
步骤103、根据姿态数据和实际图像确定在目标时刻可穿戴显示设备的显示屏显示的实际图像的延时。
控制组件在接收到测量组件发送的可穿戴显示设备在目标时刻的姿态数据后,控制组件可以根据该姿态数据确定该可穿戴显示设备的目标图像。其中,该目标图像为可穿戴显示设备的显示屏在目标时刻应当显示的图像。之后,控制组件可以基于实际图像,以及目标图像确定出可穿戴显示设备显示的实际图像的延时。
综上所述,本申请实施例提供了一种延时测量方法,该方法可以根据接收到的可穿戴显示设备在目标时刻的姿态数据,以及可穿戴显示设备的显示屏在目标时刻显示的实际图像,确定可穿戴显示设备显示的图像的延时。由于本申请实施例提供的延时测量方法可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
图6是本申请实施例提供的另一种延时测量方法的流程图。该方法可以应用于上述实施例所述的延时测量系统中的控制组件03。参考图6可以看出,该方法可以包括:
步骤201、获取可穿戴显示设备的显示屏在初始时刻显示的初始图像中的参考点在全景图像中的第三坐标。
在本申请实施例中,初始时刻可以为测量组件带动可穿戴显示设备转动之前的时刻。也即是,在初始时刻测量组件中的第一子驱动件,第二子驱动件,以及第三子驱动件的转动速度均为0°/s(每秒0度)。
其中,该控制组件可以与摄像头通信连接。该摄像头能够拍摄到该可穿戴显示设备的显示屏在初始时刻显示的初始图像,并将该初始图像发送至控制组件,控制组件即可获取该可穿戴显示设备的显示屏在初始时刻显示的初始图像。
参考图7,可穿戴显示设备的显示屏在初始时刻显示的初始图像301可以为全景图像302的一部分,且该全景图像302可以包括阵列排布的多个不同的子图像。例如,图7中示出的该全景图像可以包括多个不同的黑白棋盘图,或者,该全景图像可以为其他类型的图像,本申请实施例对此不作限定,只需保证该全景图像包括的各个子图像均不同即可。其中,该全景图像的分辨率可以为5000×2500。
图8是本申请实施例提供的一种全景球的示意图。该全景图像302可以以该全景球的形式显示。也即是,可穿戴显示设备的位置不同,该可穿戴显示设备的显示屏中可以显示该全景图像302中的不同子图像。
并且,该全景图像302可以预先被存储在控制组件中。控制组件可以根据从摄像头接收到的初始图像301,以及其预先存储的全景图像302确定该初始图像301中的参考点在全景图像302中的第三坐标。
可选的,该参考点可以为初始图像301中的任一点。例如,该参考点可以为该初始图像的中点,则控制组件可以根据初始图像301的中点所处的区域的画面确定该初始图像301的中点在全景图像302中的第三坐标。参考图7可以看出,该参考点(初始图像的中点)在全景图像中的第三坐标可以为(4,2)。
需要说明的是,在测量组件带动可穿戴显示设备转动之前,该可穿戴显示设备可以处于静止状态,此时,该可穿戴显示设备的显示屏中显示的实际图像(初始图像)可以与该可穿戴显示设备的显示屏中应当显示的目标图像相同。
步骤202、接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据。
在本申请实施例中,控制组件还可以与测量组件通信连接,该测量组件可以带动与其固定连接的可穿戴显示设备转动,并测量该可穿戴显示设备在目标时刻的姿态数据。之后,该测量组件可以将该可穿戴显示设备在目标时刻的姿态数据发送至控制组件,控制组件即可接收到测量组件发送的可穿戴显示设备在目标时刻的姿态数据。
需要说明的是,在测量组件带动与其固定连接的可穿戴显示设备转动之前,该控制组件可以向该测量组件发送测量指令,该测量组件响应于该测量指令带动可穿戴显示设备转动,并周期性测量该可穿戴显示设备的姿态数据,以得到该可穿戴显示设备在每个时刻的姿态数据。又或者,测量组件也可以自动带动可穿戴显示设备转动,并周期性测量与其固定连接的可穿戴显示设备在目标时刻的姿态数据,本申请实施例对此不做限定。
步骤203、根据可穿戴显示设备在目标时刻的姿态数据,确定可穿戴显示设备在目标时刻的瞬时角速度。
在本申请实施例中,目标时刻的姿态数据可以包括:可穿戴显示设备在目标时刻绕第一轴线转动的第一角速度,绕第二轴线转动的第二角速度,以及绕第三轴线转动的第三角速度。
在测量组件带动可穿戴显示设备转动的过程中,控制组件可以获取到测量组件中第一子驱动件,第二子驱动件,以及第三子驱动件在目标时刻的瞬时角速度。并可以将该第一子驱动件在目标时刻的瞬时角速度
Figure BDA0002394787980000141
确定为可穿戴显示设备在目标时刻绕第一轴线Z转动的第一角速度,将第二子驱动件在目标时刻的瞬时角速度
Figure BDA0002394787980000142
确定为可穿戴显示设备在目标时刻绕第二轴线X转动的第二角速度,将第三子驱动件在目标时刻的瞬时角速度
Figure BDA0002394787980000143
确定为可穿戴显示设备在目标时刻绕第三轴线Y转动的第三角速度。
之后,控制组件可以根据可穿戴显示设备在目标时刻绕第一轴线Z转动的第一角速度,绕第二轴线X转动的第二角速度,以及绕第三轴线Y转动的第三角速度,确定该可穿戴显示设备在目标时刻的瞬时角速度。
可选的,控制组件可以将第一角速度,第二角速度,以及第三角速度的矢量和,确定为可穿戴显示设备在目标时刻的瞬时角速度。该可穿戴显示设备在目标时刻的瞬时角速度
Figure BDA0002394787980000144
可以满足:
Figure BDA0002394787980000145
其中,
Figure BDA0002394787980000146
为第一角速度的模,即第一角速度的大小,
Figure BDA0002394787980000147
为第二角速度的模,即第二角速度的大小,
Figure BDA0002394787980000148
为第三角速度的模,即第三角速度的大小。
Figure BDA0002394787980000149
为与第一轴线Z平行的单位矢量,
Figure BDA00023947879800001410
为与第二轴线X平行的单位矢量,
Figure BDA00023947879800001411
为与第三轴线Y平行的单位矢量。
步骤204、获取实际图像中的第一特征点在全景图像中的第一坐标。
在本申请实施例中,摄像头可以固定设置在测量组件上,且摄像头与可穿戴显示设备的显示屏相对设置。在测量组件带动可穿戴显示设备转动的过程中,也可以带动该摄像头转动。并且,在测量组件带动该可穿戴显示设备和该摄像头转动的过程中,该摄像头的位置和可穿戴显示设备的位置相对固定,该摄像头可以实时稳定拍摄到可穿戴显示设备的显示屏显示的实际图像。之后,摄像头可以将拍摄到的可穿戴显示设备的显示屏在目标时刻显示的实际图像发送至控制组件,该控制组件即可接收到该实际图像。
需要说明的是,控制组件接收到的实际图像303可以为全景图像302的一部分。在控制组件获取到实际图像303之后,可以在该实际图像303中进行标记,得到实际图像303包括的至少一个第一特征点303a。其中,每个第一特征点303a可以为该实际图像303中的任一点。
图9是本申请实施例提供的一种可穿戴显示设备的显示屏在目标时刻显示的实际图像的示意图。参考图9,实际图像303中可以包括三个第一特征点303a。控制组件在标记第一特征点303a之后,不仅可以获取该三个第一特征点303a在实际图像303中的坐标(M,N),还可以根据该实际图像303中该三个第一特征点303a所在区域的画面确定该第一特征点在全景图像302中的第一坐标(P,Q)。例如,三个第一特征点303a中的目标第一特征点k在实际图像303中的坐标约为(1.3,1.1),在全景图像302中的坐标约为(4,2)。
步骤205、根据可穿戴显示设备在目标时刻的瞬时角速度确定可穿戴显示设备的显示屏在目标时刻应当显示的目标图像。
在本申请实施例中,参考图8,在测量组件带动可穿戴显示设备和摄像头转动的过程中,例如沿H方向转动时,由于该可穿戴显示设备中的处理器渲染图像的过程,以及显示屏刷新其显示的图像的过程均需要耗费一定的时间,因此通常情况下可穿戴显示设备的显示屏在目标时刻显示的实际图像相对于其应当显示的目标图像存在一定的差异,即可穿戴显示设备的显示屏显示的实际图像存在延时。
该控制组件可以对接收到的可穿戴显示设备在目标时刻的姿态数据进行处理,得到该可穿戴显示设备在目标时刻的瞬时角速度,并根据该瞬时角速度确定该可穿戴显示设备的显示屏在目标时刻应当显示的目标图像,以便控制组件确定在目标时刻实际图像相对于目标图像的第一偏移量,进而根据该第一偏移量和目标时刻的瞬时角速度确定可穿戴显示设备的显示屏显示的实际图像的延时。
在本申请实施例中,参考图10,上述步骤205可以包括:
步骤2051、根据可穿戴显示设备在目标时刻的瞬时角速度,以及在目标时刻之前的每个历史时刻的瞬时角速度,确定可穿戴显示设备在目标时刻所处的位置相对于在初始时刻所处的位置的第二偏移量。
在本申请实施例中,控制组件可以根据每个时刻的姿态数据,确定该时刻的瞬时角速度。并且,控制组件可以在确定出T个时刻(目标时刻为第T个时刻)的瞬时角速度之后,根据该可穿戴显示设备在目标时刻的瞬时角速度,以及在目标时刻之前的每个历史时刻的瞬时角速度,确定可穿戴显示设备在目标时刻所处的位置相对于在初始时刻所处的位置的第二偏移量。
其中,可穿戴显示设备在目标时刻的瞬时角速度可以根据上述步骤203确定,目标时刻之前的每个历史时刻的瞬时角速度可以参考上述公式(1)确定。例如,控制组件确定目标时刻之前的第m个时刻的瞬时角速度
Figure BDA0002394787980000161
可以满足:
Figure BDA0002394787980000162
其中,0<m<T,
Figure BDA0002394787980000163
为可穿戴显示设备在第m个时刻绕第一轴线Z轴线转动的角速度的大小,
Figure BDA0002394787980000164
为可穿戴显示设备在第m个时刻绕第二轴线X转动的角速度大小,
Figure BDA0002394787980000165
为可穿戴显示设备在第m个时刻绕第三轴线Y转动的角速度的大小。
控制组件确定出的可穿戴显示设备在目标时刻(第T个时刻)所处的位置相对于在初始时刻所处的位置的第二偏移量ε可以满足:
Figure BDA0002394787980000166
其中,
Figure BDA0002394787980000167
可以为可穿戴显示设备在第n个时刻的瞬时角速度,且0<n≤T,T>1。Δt为相邻两个时刻之间的时长。该Δt可以为固定值,即在目标时刻以及目标时刻之前的每个历史时刻中每相邻两个时刻之间的时长为固定值。
Figure BDA0002394787980000168
为可穿戴显示设备在第n个时刻所处的位置相对于第n个时刻之前的一个时刻所处的位置的偏移量。
控制组件在确定出可穿戴显示设备在每一时刻所处的位置相对于前一时刻所处的位置的偏移量之后,可以对各个偏移量求和,从而得到可穿戴显示设备在目标时刻所处的位置相对于在初始时刻所处的位置的第二偏移量ε。其中,该第二偏移量ε可以用弧度衡量。
步骤2052、根据第三坐标,以及第二偏移量确定目标点在全景图像中的第四坐标。
在本申请实施例中,控制组件在步骤201中获取到初始图像301中的参考点301a在全景图像302中的第三坐标,并在步骤2051中获取到第二偏移量之后,参考图11,控制组件可以获取到以该参考点301a处为起点,与该参考点301a的第三坐标的距离为第二偏移量ε的多个点的坐标。也即是,控制组件可以获取以参考点301a为圆心,以第二偏移量ε为半径的目标圆形G中每一点的坐标。
并且,通常情况下测量组件带动可穿戴显示设备转动的过程中,该可穿戴显示设备的移动方向是固定的,即该可穿戴显示设备在任意时刻其瞬时角速度的方向是固定的。并且,控制组件在获取到可穿戴显示设备在目标时刻的瞬时角速度
Figure BDA0002394787980000169
之后,不仅可以确定该瞬时角速度的大小,还可以确定该瞬时角速度的方向。控制组件可以根据目标时刻的瞬时角速度的方向确定其与目标圆形的交点处的坐标,并将该坐标确定为目标点304a在全景图像302中的第四坐标。
其中,目标点304a可以为目标图像304中的一点,且目标点304a在目标图像304中的坐标与参考点301a在初始图像301中的坐标相同。例如,参考图11,若参考点301a为初始图像301中的中心点,则目标点304a可以为目标图像304中的中心点。
步骤2053、根据第四坐标和可穿戴显示设备的显示屏的尺寸确定目标图像。
在本申请实施例中,控制组件中可以预先存储有可穿戴显示设备的显示屏的尺寸,在确定出目标点在全景图像302中的第四坐标之后,可以根据该第四坐标以及其预先存储的可穿戴显示设备的显示屏的尺寸确定目标图像。
示例的,参考图11,假设目标点304a为目标图像304的中心点,可穿戴显示设备的显示屏是半径为R的圆形显示屏,则控制组件确定出的目标图像304可以为以目标点304a在全景图像302中的第四坐标为圆心,以R为半径的圆形图像,且该圆形图像为全景图像302中的部分图像。
或者,假设目标点304a为目标图像304的中心点,可穿戴显示设备的显示屏是宽为w,高为h的矩形,则控制组件确定出的目标图像304可以为以目标点304a在全景图像302中的第四坐标为中心,宽为w,高为h的矩形图像,且该矩形图像为全景图像302中的部分图像。
步骤206、获取目标图像中的第二特征点在全景图像中的第二坐标。
在本申请实施例中,控制组件在确定出目标图像之后,可以根据步骤204中确定出的第一特征点303a在实际图像303中的坐标,在目标图像304中进行标记,得到该目标图像304包括的至少一个第二特征点304b。之后,控制组件可以根据该目标图像304中至少一个第二特征点304b所处的区域的画面确定该至少一个第二特征点304b在全景图像302中的第二坐标。
其中,参考图12,每个第二特征点304b在目标图像304中的坐标,可以与一个第一特征点303a在实际图像303中的坐标相同。并且,控制组件确定出的目标图像中的第二特征点304b的数量可以大于1且小于或等于实际图像303中第一特征点303a的数量。若目标图像304中的第二特征点304b的数量等于实际图像303中第一特征点303a的数量,则目标图像304中的第二特征点304b可以与实际图像303中的第一特征点303a一一对应。
示例的,假设实际图像中包括三个第一特征点,且第一个第一特征点303a1在实际图像303中的坐标为(0.5,1.6),第二个第一特征点303a2在实际图像303中的坐标为(1.3,1.1),第三个第一特征点303a3在实际图像303中的坐标为(1.6,2.6)。则控制组件可以在目标图像304中确定出至少一个第二特征点,例如,确定出三个第二特征点,其中第一个第二特征点304b1在目标图像304中的坐标可以为(0.5,1.6),第二个第二特征点304b2在目标图像304中的坐标可以为(1.3,1.1),第三个第二特征点304b3在目标图像304中的坐标可以为(1.6,2.6)。
步骤207、根据第一坐标和第二坐标,确定在目标时刻实际图像相对于目标图像的第一偏移量。
在本申请实施例中,控制组件可穿戴显示设备的显示屏在目标时刻显示的实际图像303的第一特征点303a的第一坐标,以及可穿戴显示设备的显示屏在目标时刻应当显示的目标图像304的第二特征点304b的第二坐标,确定在目标时刻该可穿戴显示设备的显示屏显示的实际图像303相对于目标图像304的第一偏移量。
可选的,假设第一坐标为(P1,Q1),第二坐标为(P2,Q2),则该第一偏移量d可以满足:
Figure BDA0002394787980000181
需要说明的是,为了提高确定出的该第一偏移量的准确性,通常可以根据实际图像中的多个第一特征点中每个第一特征点的第一坐标,与目标图像中对应的一个第二特征点的第二坐标,确定出每个第一特征点与对应的一个第二特征点的偏移量,即确定出多个偏移量。并将多个偏移量的平均值确定为可穿戴显示设备的显示屏显示的实际图像相对于目标图像的第一偏移量。
示例的,参考图12,控制组件可以根据上述公式(3)确定出三个偏移量。其中第一个偏移量d1可以为实际图像303中第一个第一特征点303a1的第一坐标与目标图像304中第一个第二特征点304b1的第二坐标的偏移量。第二个偏移量d2可以为实际图像303中第二个第一特征点303a2的第一坐标与目标图像304中第二个第二特征点304b2的第二坐标的偏移量。第三个偏移量d3可以为实际图像303中第三个第一特征点303a3的第一坐标与目标图像304中第三个第二特征点304b3的第二坐标的偏移量。之后,控制组件可以根据确定出的三个偏移量,计算该三个偏移量的平均值,并将该平均值确定为第一偏移量,即d=(d1+d2+d3)/3。
步骤208、根据第一偏移量和目标时刻的瞬时角速度,确定在目标时刻可穿戴显示设备的显示屏显示的实际图像的延时。
在本申请实施例中,控制组件可以根据上述步骤207确定出的第一偏移量,以及上述步骤203确定出的可穿戴显示设备在目标时刻的瞬时角速度,确定在目标时刻可穿戴显示设备的显示屏显示的实际图像的延时。
可选的,该延时可以与第一偏移量正相关,且与目标时刻的瞬时角速度负相关。示例的,在目标时刻可穿戴显示设备的显示屏显示的实际图像的延时delay可以满足:
Figure BDA0002394787980000191
也即是,在本申请实施例中,控制组件可以将可穿戴显示设备在目标时刻的实际图像相对于目标图像的第一偏移量,与可穿戴显示设备在目标时刻的瞬时角速度的比值,确定为目标时刻可穿戴显示设备的显示屏显示的实际图像的延时。
需要说明的是,控制组件还可以具有显示屏,该控制组件确定出的延时可以实时显示在该显示屏中。例如,该控制组件的显示屏中可以显示有多个时刻确定出的延时的波形图,该波形图的横坐标可以为各个时刻,纵坐标可以为控制组件确定出的各个时刻的延时。
还需要说明的是,本申请实施例提供的延时测量方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。例如,步骤204可以在步骤203之前执行,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,本申请实施例提供了一种延时测量方法,该方法可以根据接收到的可穿戴显示设备在目标时刻的姿态数据,以及可穿戴显示设备的显示屏在目标时刻显示的实际图像,确定可穿戴显示设备显示的图像的延时。由于本申请实施例提供的延时测量方法可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
图13是本申请实施例提供的一种延时测量装置的结构示意图。该装置可以应用于上述实施例提供的延时测量系统中的控制组件03,参考图13可以看出,该装置可以包括:
第一接收模块401,用于接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据。
第二接收模块402,用于接收摄像头发送的可穿戴显示设备的显示屏在目标时刻显示的实际图像;
确定模块403,用于根据姿态数据和实际图像确定在目标时刻可穿戴显示设备的显示屏显示的实际图像的延时。
可选的,该可穿戴显示设备的显示屏显示的该实际图像为全景图像的一部分,该全景图像包括阵列排布的多个不同的子图像。
参考图14,该确定模块403可以包括:
第一确定子模块4031,用于根据该可穿戴显示设备在该目标时刻的姿态数据,确定该可穿戴显示设备在该目标时刻的瞬时角速度。
第一获取子模块4032,用于获取该实际图像中的第一特征点在该全景图像中的第一坐标。
第二确定子模块4033,用于根据该可穿戴显示设备在该目标时刻的瞬时角速度,确定该可穿戴显示设备的显示屏在该目标时刻应当显示的目标图像。
第二获取子模块4034,用于获取该目标图像中的第二特征点在该全景图像中的第二坐标,其中,该第二特征点在该目标图像中的坐标与该第一特征点在该实际图像中的坐标相同。
第三确定子模块4035,用于根据该第一坐标和该第二坐标,确定在该目标时刻该实际图像相对于该目标图像的第一偏移量。
第四确定子模块4036,用于根据该第一偏移量与该目标时刻的瞬时角速度,确定在该目标时刻该可穿戴显示设备的显示屏显示的实际图像的延时。其中,该延时与该第一偏移量正相关,且与该目标时刻的瞬时角速度负相关。
可选的,该目标时刻的姿态数据包括:可穿戴显示设备在目标时刻绕第一轴线转动的第一角速度,绕第二轴线转动的第二角速度,以及绕第三轴线转动的第三角速度。
第一确定子模块4031,用于将第一角速度,第二角速度,以及第三角速度的矢量和,确定为可穿戴显示设备在目标时刻的瞬时角速度。
可选的,参考图15,该延时测量装置还可以包括:
获取模块404,用于获取可穿戴显示设备的显示屏在初始时刻显示的初始图像中的参考点在全景图像中的第三坐标。该参考点为该初始图像中的任一点。
第二确定子模块4033,可以用于根据该可穿戴显示设备在该目标时刻的瞬时角速度,以及在该目标时刻之前的每个历史时刻的瞬时角速度,确定该可穿戴显示设备在该目标时刻所处的位置相对于在该初始时刻所处的位置的第二偏移量;根据该第三坐标,以及该第二偏移量确定目标点在该全景图像中的第四坐标,其中,该目标点在该目标图像中的坐标与该参考点在该初始图像中的坐标相同;根据该第四坐标和该可穿戴显示设备的显示屏的尺寸确定该目标图像。
综上所述,本申请实施例提供了一种延时测量装置,该装置可以根据接收到的可穿戴显示设备在目标时刻的姿态数据,以及可穿戴显示设备的显示屏在目标时刻显示的实际图像,确定可穿戴显示设备显示的图像的延时。由于本申请实施例提供的延时测量装置可以自动完成对可穿戴显示设备显示的图像的延时,无需操作人员对摄像头拍摄的图像进行分析,测量延时的效率较高。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置,模块,以及子模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图16是本申请实施例提供的又一种延时测量装置的结构示意图,参见图16,该装置50可以包括:处理器501、存储器502以及存储在该存储器502上并可在该处理器上运行的计算机程序,该处理器501执行该计算机程序时可以实现上述方法实施例提供的延时测量方法,例如图5,图6或图10所示的方法。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有操作,当该计算机可读存储介质在计算机上运行时,使得计算机执行上述方法实施例提供的延时测量方法,例如图5,图6或图10所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当计算机程序产品在所述计算机上运行时,使得计算机执行上述方法实施例提供的延时测量方法,例如图5,图6或图10所示的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来操作相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (13)

1.一种延时测量系统,其特征在于,所述延时测量系统包括:可穿戴显示设备,测量组件,控制组件,以及摄像头;
所述测量组件与所述可穿戴显示设备固定连接,且与所述控制组件通信连接,所述测量组件用于带动所述可穿戴显示设备转动,测量所述可穿戴显示设备的姿态数据,以及将所述姿态数据发送至所述控制组件;
所述摄像头与所述测量组件固定连接,并与所述可穿戴显示设备的显示屏相对设置,所述摄像头还与所述控制组件通信连接,所述摄像头用于拍摄所述可穿戴显示设备的显示屏中显示的实际图像,并将所述实际图像发送至所述控制组件;
所述控制组件用于根据所述姿态数据和所述实际图像确定所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
2.根据权利要求1所述的延时测量系统,其特征在于,所述测量组件包括:基座,支架主体,以及驱动件;
所述摄像头、所述可穿戴显示设备和所述驱动件均与所述支架主体固定连接,所述支架主体与所述基座转动连接,所述驱动件用于驱动所述支架主体相对于所述基座转动。
3.根据权利要求2所述的延时测量系统,其特征在于,所述支架主体包括:第一支撑架体,第二支撑架体,以及第三支撑架体;所述驱动件包括:第一子驱动件,第二子驱动件,以及第三子驱动件;
其中,所述第一子驱动件与所述第一支撑架体固定连接,所述第一支撑架体与所述基座转动连接,所述第一子驱动件用于驱动所述第一支撑架体相对于所述基座绕第一轴线转动;
所述第二子驱动件与所述第二支撑架体固定连接,所述第二支撑架体与所述第一支撑架体转动连接,所述第二子驱动件用于驱动所述第二支撑架体相对于所述第一支撑架体绕第二轴线转动;
所述第三子驱动件与所述第三支撑架体固定连接,所述第三支撑架体与所述第二支撑架体转动连接,所述第三子驱动件用于驱动所述第三支撑架体相对于所述第二支撑架体绕第三轴线转动;
其中,所述第一轴线,所述第二轴线,以及所述第三轴线两两垂直。
4.根据权利要求3所述的延时测量系统,其特征在于,
所述第一支撑架体包括:至少一个U型架体和设置在每个所述U型架体侧面的滑块,每个所述U型架体远离开口的一端与所述基座转动连接;
所述第二支撑架体为环形架体,所述环形架体位于所述U型架体设置有滑块的一侧,且所述环形架体的端面设置有环形的滑槽,所述滑块与所述滑槽滑动连接;
所述第三支撑架体呈杆状,所述第三支撑架体的两端分别与所述环形架体的内壁转动连接,所述摄像头和所述可穿戴显示设备均固定设置在所述第三支撑架体上。
5.根据权利要求4所述的延时测量系统,其特征在于,所述第一支撑架体包括:两个U型架体和设置在每个所述U型架体的两个支臂的侧面的一个滑块;
所述环形架体位于两个所述U型架体之间,且所述环形架体的两个端面均设置有一个环形的所述滑槽,每个所述U型架体的侧面设置的滑块位于一个所述滑槽内。
6.根据权利要求1至5任一所述的延时测量系统,其特征在于,所述控制组件用于:
根据所述姿态数据确定所述可穿戴设备的目标图像,并根据所述目标图像和所述实际图像确定所述可穿戴显示设备显示的实际图像的延时;
其中,所述目标图像为所述可穿戴显示设备的显示屏在目标时刻应当显示的图像。
7.一种延时测量方法,其特征在于,应用于权利要求1至6任一所述的延时测量系统中的控制组件,所述方法包括:
接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据;
接收摄像头发送的所述可穿戴显示设备的显示屏在所述目标时刻显示的实际图像;
根据所述姿态数据和所述实际图像确定在所述目标时刻所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
8.根据权利要求7所述的延时测量方法,其特征在于,所述可穿戴显示设备的显示屏显示的所述实际图像为全景图像的一部分,所述全景图像包括阵列排布的多个不同的子图像;
所述根据所述姿态数据和所述实际图像确定所述可穿戴显示设备显示的所述实际图像的延时,包括:
根据所述可穿戴显示设备在所述目标时刻的姿态数据,确定所述可穿戴显示设备在所述目标时刻的瞬时角速度;
获取所述实际图像中的第一特征点在所述全景图像中的第一坐标;
根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,确定所述可穿戴显示设备的显示屏在所述目标时刻应当显示的目标图像;
获取所述目标图像中的第二特征点在所述全景图像中的第二坐标,其中,所述第二特征点在所述目标图像中的坐标与所述第一特征点在所述实际图像中的坐标相同;
根据所述第一坐标和所述第二坐标,确定在所述目标时刻所述实际图像相对于所述目标图像的第一偏移量;
根据所述第一偏移量与所述目标时刻的瞬时角速度,确定在所述目标时刻所述可穿戴显示设备的显示屏显示的实际图像的延时,其中,所述延时与所述第一偏移量正相关,且与所述目标时刻的瞬时角速度负相关。
9.根据权利要求8所述的延时测量方法,其特征在于,所述目标时刻的姿态数据包括:所述可穿戴显示设备绕第一轴线转动的第一角速度,绕第二轴线转动的第二角速度,以及绕第三轴线转动的第三角速度;
所述根据所述可穿戴显示设备在所述目标时刻的姿态数据,确定所述可穿戴显示设备在所述目标时刻的瞬时角速度,包括:
将所述第一角速度,所述第二角速度,以及所述第三角速度的矢量和,确定为所述可穿戴显示设备在所述目标时刻的瞬时角速度。
10.根据权利要求9所述的延时测量方法,其特征在于,在接收所述测量组件发送的所述可穿戴显示设备在目标时刻的姿态数据之前,所述方法还包括:
获取所述可穿戴显示设备的显示屏在初始时刻显示的初始图像中的参考点在所述全景图像中的第三坐标,所述参考点为所述初始图像中的任一点;
所述根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,确定所述可穿戴显示设备的显示屏在所述目标时刻应当显示的目标图像,包括:
根据所述可穿戴显示设备在所述目标时刻的瞬时角速度,以及在所述目标时刻之前的每个历史时刻的瞬时角速度,确定所述可穿戴显示设备在所述目标时刻所处的位置相对于在所述初始时刻所处的位置的第二偏移量;
根据所述第三坐标,以及所述第二偏移量确定目标点在所述全景图像中的第四坐标,其中,所述目标点在所述目标图像中的坐标与所述参考点在所述初始图像中的坐标相同;
根据所述第四坐标和所述可穿戴显示设备的显示屏的尺寸确定所述目标图像。
11.一种延时测量装置,其特征在于,应用于权利要求1至6任一所述的延时测量系统中的控制组件,所述装置包括:
第一接收模块,用于接收测量组件发送的可穿戴显示设备在目标时刻的姿态数据;
第二接收模块,用于接收摄像头发送的所述可穿戴显示设备的显示屏在所述目标时刻显示的实际图像;
确定模块,用于根据所述姿态数据和所述实际图像确定在所述目标时刻所述可穿戴显示设备的显示屏显示的所述实际图像的延时。
12.一种延时测量装置,其特征在于,所述装置包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求7至10任一所述的延时测量方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述计算机可读存储介质在计算机上运行时,使得计算机执行如权利要求7至10任一所述的延时测量方法。
CN202010127309.2A 2020-02-28 2020-02-28 延时测量方法、装置及系统 Active CN111243027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010127309.2A CN111243027B (zh) 2020-02-28 2020-02-28 延时测量方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010127309.2A CN111243027B (zh) 2020-02-28 2020-02-28 延时测量方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111243027A true CN111243027A (zh) 2020-06-05
CN111243027B CN111243027B (zh) 2023-06-23

Family

ID=70871605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010127309.2A Active CN111243027B (zh) 2020-02-28 2020-02-28 延时测量方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111243027B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892658A (zh) * 2016-03-30 2016-08-24 华为技术有限公司 基于头戴显示设备预测头部姿态的方法和头戴显示设备
WO2016153603A1 (en) * 2015-03-23 2016-09-29 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN107580214A (zh) * 2017-07-31 2018-01-12 彩虹无人机科技有限公司 一种无人机视频传输延时测量方法
CN108431739A (zh) * 2016-01-25 2018-08-21 微软技术许可有限责任公司 用于增强现实环境的帧投影
CN109696191A (zh) * 2018-12-29 2019-04-30 北京理工大学 一种虚拟现实头戴显示设备的移动延迟测量方法
CN110177202A (zh) * 2018-10-31 2019-08-27 广东小天才科技有限公司 一种基于可穿戴设备的图像拍摄校正方法及可穿戴设备
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016153603A1 (en) * 2015-03-23 2016-09-29 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
CN107251098A (zh) * 2015-03-23 2017-10-13 英特尔公司 使用动态三维形状促进真实对象的真三维虚拟表示
CN108431739A (zh) * 2016-01-25 2018-08-21 微软技术许可有限责任公司 用于增强现实环境的帧投影
CN105892658A (zh) * 2016-03-30 2016-08-24 华为技术有限公司 基于头戴显示设备预测头部姿态的方法和头戴显示设备
CN106502427A (zh) * 2016-12-15 2017-03-15 北京国承万通信息科技有限公司 虚拟现实系统及其场景呈现方法
CN106998409A (zh) * 2017-03-21 2017-08-01 华为技术有限公司 一种图像处理方法、头戴显示器以及渲染设备
CN107580214A (zh) * 2017-07-31 2018-01-12 彩虹无人机科技有限公司 一种无人机视频传输延时测量方法
CN110177202A (zh) * 2018-10-31 2019-08-27 广东小天才科技有限公司 一种基于可穿戴设备的图像拍摄校正方法及可穿戴设备
CN109696191A (zh) * 2018-12-29 2019-04-30 北京理工大学 一种虚拟现实头戴显示设备的移动延迟测量方法
CN110244840A (zh) * 2019-05-24 2019-09-17 华为技术有限公司 图像处理方法、相关设备及计算机存储介质
CN114556879A (zh) * 2020-12-16 2022-05-27 深圳市大疆创新科技有限公司 延时检测方法、装置、系统、可移动平台和存储介质

Also Published As

Publication number Publication date
CN111243027B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108307190B (zh) 用于测试显示器的方法、装置和计算机可读介质
US8405720B2 (en) Automatic calibration of PTZ camera system
KR100936816B1 (ko) 카메라와 마크 출력에의한 포인팅 장치
CN107833237B (zh) 用于模糊视频中的虚拟对象的方法和设备
US7688381B2 (en) System for accurately repositioning imaging devices
US10606347B1 (en) Parallax viewer system calibration
CN113252309A (zh) 一种用于近眼显示设备的测试方法、测试装置及存储介质
JPH07286837A (ja) 球体の回転量測定装置及び測定方法
CN111459046B (zh) 一种图像导引头用目标及场景实时动态生成系统与方法
CN101601276A (zh) 抖动测定系统及抖动测定方法
CN106053874A (zh) 带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机
WO2020051831A1 (zh) 手持云台的控制方法及手持云台、手持设备
CN110324594A (zh) 一种投影画面防抖方法、装置及投影仪
CN111811462A (zh) 极端环境下大构件便携式视觉测距系统及方法
EP2706408A1 (en) Image stabilization system for handheld devices equipped with pico-projector
CN111243027B (zh) 延时测量方法、装置及系统
Aga et al. 24‐2: Latency Compensation for Optical See‐Through Head‐Mounted with Scanned Display
EP3882846A1 (en) Method and device for collecting images of a scene for generating virtual reality data
CN109698903A (zh) 图像获取方法及图像获取装置
CN110290410B (zh) 影像位置调节方法、装置、系统及调节信息生成设备
CN109781071A (zh) 热真空环境下着陆缓冲机构电爆展开高速摄影测量方法
CN114827557B (zh) 投影梯形校正方法、装置及投影系统
Scherfgen et al. A robust inside-out approach for 3D interaction with large displays
CN113658341A (zh) 一种ar眼镜中虚拟目标物的叠加方法
CN115421523A (zh) 一种精准自动跟踪目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant