CN117156119A - 基于ar设备的时间同步方法、装置、电子设备和介质 - Google Patents

基于ar设备的时间同步方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN117156119A
CN117156119A CN202310982455.7A CN202310982455A CN117156119A CN 117156119 A CN117156119 A CN 117156119A CN 202310982455 A CN202310982455 A CN 202310982455A CN 117156119 A CN117156119 A CN 117156119A
Authority
CN
China
Prior art keywords
time
deviation
equipment
synchronization
time synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310982455.7A
Other languages
English (en)
Inventor
张同全
杨明明
史高建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN202310982455.7A priority Critical patent/CN117156119A/zh
Publication of CN117156119A publication Critical patent/CN117156119A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/02Details
    • H04J3/06Synchronising arrangements
    • H04J3/0635Clock or time synchronisation in a network
    • H04J3/0638Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658Clock or time synchronisation among packet nodes
    • H04J3/0661Clock or time synchronisation among packet nodes using timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electric Clocks (AREA)

Abstract

本申请公开了一种基于AR设备的时间同步方法、装置、电子设备和介质,本申请涉及AR技术领域,所述基于AR设备的时间同步方法包括:依据预设的同步周期获取计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。本申请能实现AR设备和计算平台之间的时间同步。

Description

基于AR设备的时间同步方法、装置、电子设备和介质
技术领域
本申请涉及AR技术领域,尤其涉及一种基于AR设备的时间同步方法、装置、电子设备和介质。
背景技术
在分体式AR系统中,通过AR设备,如AR眼镜的IMU(Inertial Measurement Unit,惯性测量单元)传感器获取IMU数据,并通过计算平台外接的Camera(摄像机)来获取图像数据。再依据计算平台的时间戳将图像数据和IMU数据输入到空间SLAM(SimultaneousLocation And Mapping,同时定位与建图)算法中进行实时定位,并通过AR设备进行显示。但是由于SLAM产生pose(位姿)的频率非常高,需要图像数据和IMU数据之间具有非常高的时间同步要求,才能实现精准定位,但是目前的AR设备和计算平台之间无法做到时间精准同步,进而导致定位的准确性较低,使得通过AR设备显示的数据不准确。因此,如何实现AR设备和计算平台之间的时间同步成为了目前急需解决的技术问题。
发明内容
本申请的主要目的在于提供一种基于AR设备的时间同步方法、装置、电子设备和介质,旨在解决如何实现AR设备和计算平台之间的时间同步的技术问题。
为实现上述目的,本申请提供一种基于AR设备的时间同步方法,所述基于AR设备的时间同步方法应用于与AR设备连接的计算平台,包括以下步骤:
依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。
可选地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否小于第一预设时间阈值;
若所述时间偏差对应的绝对值小于第一预设时间阈值,则确定所述AR设备与所述计算平台处于时间同步阶段。
可选地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否大于第二预设时间阈值,其中,所述第二预设时间阈值大于所述第一预设时间阈值;
若所述时间偏差对应的绝对值大于第二预设时间阈值,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否大于第一偏差,其中,所述第一偏差为所述计算平台内部署的NTP服务器出现异常时在一个同步周期内的偏差;
若所述时间偏差对应的绝对值大于所述第一偏差,则继续确定下一个同步周期对应的时间偏差,若连续检测到预设数量的同步周期对应的时间偏差大于所述第一偏差,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差是否为负值;
若所述时间偏差为负值,则发送时间同步调整指令至AR设备,其中,所述AR设备依据时间同步调整指令将所述第二当前时间进行减小调整。
可选地,发送时间同步调整指令至AR设备的步骤,包括:
确定AR设备发送IMU数据对应的上报周期,若所述时间偏差对应的绝对值大于所述上报周期,则将所述上报周期和所述时间同步调整指令发送至AR设备,其中,所述AR设备依据所述时间同步调整指令将所述第二当前时间减小调整所述上报周期,得到调整后的第二当前时间。
可选地,计算平台内部署NTP服务器,所述依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间的步骤,包括:
在预设的同步周期内,依据预设的NTP协议获取所述NTP服务器的服务器时间,将所述服务器时间作为所述计算平台对应的第一当前时间,并获取所述AR设备对应的第二当前时间。
此外,本申请还提供一种基于AR设备的时间同步装置,所述基于AR设备的时间同步装置设置在于AR设备连接的计算平台,包括:
获取模块,用于依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
计算模块,用于计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
输出模块,用于依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。
本申请还提供一种电子设备,所述电子设备为实体设备,所述电子设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于AR设备的时间同步方法的程序,所述基于AR设备的时间同步方法的程序被处理器执行时可实现如上述的基于AR设备的时间同步方法的步骤。
本申请还提供一种可读存储介质,所述可读存储介质为所述计算机可读存储介质,所述计算机可读存储介质上存储有实现基于AR设备的时间同步方法的程序,所述实现基于AR设备的时间同步方法的程序被处理器执行以实现如上述基于AR设备的时间同步方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于AR设备的时间同步方法的步骤。
本申请的技术方案是通过依据同步周期获取计算平台对应的第一当前时间和AR设备对应的第二当前时间,将第一当前时间和第二当前时间之间的时间差值作为时间偏差,并依据时间偏差对AR设备进行时间同步处理,将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,输出位姿数据到AR设备进行渲染显示。从而可以实现AR设备和计算平台之间的时间同步,并在时间同步后才对图像数据和IMU数据进行图像处理,因此也可以使得获取到的位姿数据更加精准,通过AR设备显示的位姿数据更加准确。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于AR设备的时间同步方法中AR设备和计算平台的连接示意图;
图2为本申请基于AR设备的时间同步方法中第一实施例的流程示意图;
图3为本申请基于AR设备的时间同步方法中第二实施例的流程示意图;
图4为本申请基于AR设备的时间同步方法的整体流程示意图;
图5为本申请基于AR设备的时间同步装置的模块示意图;
图6为本申请中电子设备涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
由于目前的AR眼镜和计算平台之间无法做到时间精准同步,导致获取的位姿数据不准确,进而使得通过AR眼镜为用户显示的数据不准确。而本实施例可以实现计算平台和AR设备的时间同步,可以处理时间同步服务器如NTP服务器的时间波动异常,确保IMU数据对应的时间戳是递增的。
在本实施例中,可以设置计算平台和AR眼镜。例如,如图1所示,计算平台和AR眼镜连接,AR眼镜发送IMU数据到计算平台,计算平台根据IMU数据和图像数据计算pose数据(即位姿数据),并将pose数据发送至AR眼镜进行显示。
实施例一
基于此,请参照图2,本实施例提供一种基于AR设备的时间同步方法应用于与AR设备连接的计算平台,所述基于AR设备的时间同步方法包括:
步骤S10,依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
在本实施例中,还需要设置一个摄像装置,如摄像头。且摄像装置与计算平台连接。计算平台可以是车辆中的车机,此时与计算平台连接的AR设备可以是AR眼镜,且AR眼镜可以佩戴在主驾驶位或副驾驶位上的用户的头上,摄像装置可以安装在车辆上,通过摄像装置拍摄车辆周边的道路环境数据,得到图像数据。可选地,计算平台还可以是轮船上的控制终端,此时与计算平台连接的AR设备可以是AR眼镜,摄像装置可以安装在轮船上,通过摄像装置拍摄轮船运行时的水面环境数据,得到图像数据。
可选地,计算平台和AR设备之间可以通过无线网络连接协议建立IMU数据传输通道、配置数据传输通道和图像数据传输通道,通过配置数据传输通道管理AR设备和计算平台之间的通信连接状态,设置AR设备和与计算平台连接的摄像装置的数据采集参数。通过IMU数据传输通道传输AR设备采集的IMU数据,通过图像数据传输通道将计算平台计算的位姿数据pose传输至AR设备。
可选地,可以根据需要对计算平台和AR设备之间进行连接配置,实现计算平台对AR的配置管理。计算平台和AR设备通过配置数据传输通道进行数据采集参数协商确定,数据采集参数可以包括IMU采集速率,图像数据采集速率,数据传输帧率,数据传输码率。其中,图像数据采集速率可以用于摄像装置进行图像数据的采集。IMU采集速率可以用于AR设备进行IMU数据的采集。数据传输帧率和数据传输码率可以用于进行计算平台和AR设备之间的IMU数据和位姿数据的传输。
可选地,以计算平台为车辆中的车机,AR设备为AR眼镜为例进行举例说明。
在车辆行驶过程中,通过摄像装置采集车辆行驶前方道路环境数据得到图像数据。通过AR设备采集IMU(Inertial Measurement Unit,惯性测量单元)数据,将IMU数据传输至车机,以便车机根据IMU数据和图像数据确定车辆的位姿数据,并将其发送至AR设备进行显示,以使用户能实时知晓当前车辆的位姿数据。可选地,为了保障位姿数据的准确性,需要减少AR设备和车机之间的时间误差,以便根据同一时间周期内的图像数据和IMU数据来计算位姿数据,使得获取到的位姿数据更加准确。也就是需要实现AR设备和计算平台之间的时间同步。
因此在本实施例中,可以设置一个同步周期。同步周期可以是计算平台与AR设备之间同步时间的频率。
可选地,在到达同步周期后,可以获取计算平台对应的第一当前时间和AR设备对应的第二当前时间。可选地,在获取计算平台对应的第一当前时间时,可以确定计算平台对应的本地时钟,并将本地时钟记载的时间作为第一当前时间。可选地,为避免本地时钟出现异常,导致无法实现AR设备和计算平台之间的时间同步,还可以在计算平台中部署时间同步服务器,如NTP服务器。然后将NTP服务器记载的时间作为第一当前时间。
可选地,可以直接通过计算平台获取AR设备发送的时间节点,并将其作为第二当前时间。
步骤S20,计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
可选地,在确定计算平台对应的第一当前时间和AR设备对应的第二当前时间后,需要确定计算平台和AR设备之间的时间延迟,可以计算第一当前时间和第二当前时间之间的时间差值,并将此时间差值直接作为时间偏差。
步骤S30,依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示;
可选地,可以先确定提前设置好的时间同步处理条件,并在时间偏差满足时间同步处理条件时,对AR设备进行时间同步处理,比如将AR设备中时钟显示的第二当前时间调整为与第一当前时间相同等。
可选地,若第一当前时间时依据NTP服务器记载的时间进行确定的,还可以对计算平台本地的时钟进行调整。其调整方式与对AR设备进行时间同步处理的方式相同,比如在将AR设备中时钟显示的第二当前时间调整为与第一当前时间相同时,也将计算平台本地的时钟记载的时间调整为第一当前时间一致。
可选地,时间戳可以是一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据,通常是一个字符序列,唯一地标识在某一刻的时间,即:时间戳是一份能表示一份数据在一个特定时间点已经存在的完整的可验证数据。可选地,位姿数据可以包括图像数据上标注的坐标和方向,比如车辆在当前道路上的行驶方向和车辆当前所处位置的坐标。图像数据可以是一帧图像,也可以是一段视频流。
可选地,为保障数据最大程度上的对齐,在同一周期开始采集数据,以相同的速率采集IMU数据和图像数据。也就是此时的IMU数据和图像数据对应的时间戳需要对齐,保持一致。
可选地,在获取到同一时间戳对应的图像数据和IMU数据后,将IMU数据和图像数据输入到SALM模型(Simultaneous Localization and Mapping,即时定位与地图构建模型)中进行模型训练,输入得到pose,并将pose作为位姿数据,然后将位姿数据发送至AR设备进行渲染显示。
在本实施例中,通过依据同步周期获取计算平台对应的第一当前时间和AR设备对应的第二当前时间,将第一当前时间和第二当前时间之间的时间差值作为时间偏差,并依据时间偏差对AR设备进行时间同步处理,将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,输出位姿数据到AR设备进行渲染显示。从而可以实现AR设备和计算平台之间的时间同步,并在时间同步后才对图像数据和IMU数据进行图像处理,因此也可以使得获取到的位姿数据更加精准,通过AR设备显示的位姿数据更加准确。
实施例二
基于本申请第一实施例,在本申请另一实施例中,与上述实施例一相同或相似的内容,可以参考上文介绍,后续不再赘述。在此基础上,请参照图3,步骤S30,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
步骤a,检测所述时间偏差对应的绝对值是否小于第一预设时间阈值;
在本实施例中,第一预设时间阈值可以是用户提前设置的时间阈值,且是属于AR设备中系统和计算平台中系统可以接受的最大时间偏差值。比如设置为1ms。也就是只要AR设备和计算平台在同一个时间周期内的时间偏差小于第一预设时间阈值,都可以认为AR设备和计算平台处于时间同步状态,无需再次进行时间同步处理。因此可以检测时间偏差对应的绝对值是否小于第一预设时间阈值,并根据不同的检测结果执行不同的操作。
步骤b,若所述时间偏差对应的绝对值小于第一预设时间阈值,则确定所述AR设备与所述计算平台处于时间同步阶段。
可选地,在检测发现时间偏差对应的绝对值小于第一预设时间阈值后,就可以确定AR设备和计算平台在同一个时间周期内,各自内部的时钟所记载的时间比较接近,此时就可以认为AR设备和计算平台处于时间同步阶段,不需要进行时间同步处理。此时计算平台就可以直接执行获取同一时间戳对应的图像数据和IMU数据,依据所述图像数据和IMU数据确定位姿数据,输出所述位姿数据至所述AR设备进行渲染显示的步骤。
可选地,若时间偏差对应的绝对值大于或等于第一预设时间阈值,则需要进行后续的机制判断,以确定是否需要进行计算平台和AR设备之间的时间同步处理。
在本实施例中,通过在时间偏差对应的绝对值小于第一预设时间阈值时,直接确定AR设备与计算平台处于时间同步阶段,无需进行调整,从而可以实现在避免功耗过大的同时,又能保障后续预测的位姿数据基本满足用户需求。
进一步地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
步骤c,检测所述时间偏差对应的绝对值是否大于第二预设时间阈值,其中,所述第二预设时间阈值大于所述第一预设时间阈值;
在本实施例中,第二预设时间阈值可以是用户提前设置的大于第一预设时间阈值的时间阈值。可以依据计算平台内系统与AR设备内系统进行首次同步时的时间偏差设置第二预设时间阈值。比如将第二预设时间阈值设置为1000ms。
可选地,可以将时间偏差对应的绝对值与第二预设时间阈值进行比较,以确定时间偏差对应的绝对值是否大于第二预设时间阈值,并根据不同的检测结果执行不同的操作。
步骤d,若所述时间偏差对应的绝对值大于第二预设时间阈值,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,在经过判断发现时间偏差对应的绝对值大于第二预设时间阈值时,此时需要立即进行AR设备和计算平台之间的时间同步处理,并且在进行时间同步处理时,可以依据计算平台对应的第一当前时间对AR设备中的第二当前时间进行时间同步处理。可选地,可以将第一当前时间发送至AR设备,AR设备接收到第一当前时间,将AR设备内的时钟显示的第二当前时间更新为与第一当前时间一致。
可选地,若时间偏差对应的绝对值小于或等于第二预设时间阈值,可以直接对AR设备和计算平台进行时间同步处理,将AR设备中的第二当前时间更新为与第一当前时间一致。
在本实施例中,通过在时间偏差对应的绝对值大于第二预设时间阈值时,发送第一当前时间至AR设备进行时间同步处理,从而实现了AR设备与计算平台之间的时间同步。
进一步地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
步骤e,检测所述时间偏差对应的绝对值是否大于第一偏差,其中,所述第一偏差为所述计算平台内部署的NTP服务器出现异常时在一个同步周期内的偏差;
在本实施例中,第一偏差可以是一种时间上的偏差。可选地,在计算平台内部署有NTP服务器。第一偏差为计算平台内部署的NTP服务器在出现异常时在一个同步周期内的偏差。比如10ms等。
可选地,可以将时间偏差对应的绝对值与第一偏差进行比较,以确定时间偏差对应的绝对值是否大于第二预设时间阈值,并根据不同的检测结果执行不同的操作。
步骤f,若所述时间偏差对应的绝对值大于所述第一偏差,则继续确定下一个同步周期对应的时间偏差,若连续检测到预设数量的同步周期对应的时间偏差大于所述第一偏差,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,在检测到时间偏差对应的绝对值大于第一偏差时,此时可能是由于NTP服务器异常引起的异常,所以可以不用做时间同步处理。继续在下一个同步周期获取计算平台与AR设备之间的时间偏差。但是若连续检测到预设数量的同步周期对应的时间偏差大于第一偏差,则需要进行时间同步处理。可选地,预设数量可以是用户提前设置的出现时间偏差对应的绝对值大于第一偏差的次数,比如三次等。比如在连续三个同步周期内,每个同步周期对应的时间偏差均大于第一偏差,则需要进行时间同步处理。其中,在检测到时间偏差对应的绝对值大于第一偏差,不做时间同步处理的条件还需要满足其他不做时间同步处理的条件,比如时间偏差对应的绝对值小于第一预设时间阈值,或者大于第一预设时间阈值,小于第二预设时间阈值等。
可选地,在进行时间同步处理时,可以将第一当前时间发送至AR设备,AR设备接收到第一当前时间,将AR设备内的时钟显示的第二当前时间更新为与第一当前时间一致。
在本实施例中,通过在时间偏差对应的绝对值大于第一偏差,且连续检测到预设数量的同步周期对应的时间偏差大于第一偏差时,发送第一当前时间至AR设备进行时间同步处理,并且第一偏差为计算平台内部署的NTP服务器出现异常时在一个同步周期内的偏差,从而可以实现AR设备和计算平台之间的时间同步。
进一步地,依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
步骤g,检测所述时间偏差是否为负值;
步骤h,若所述时间偏差为负值,则发送时间同步调整指令至AR设备,其中,所述AR设备依据时间同步调整指令将所述第二当前时间进行减小调整。
在本实施例中,还可以对时间偏差进行检测,检测时间偏差是否为负值,若为负值,则可以确定AR设备对应的第二当前时间要大于计算平台对应的第一当前时间,也就是AR设备中的时间过快,需要进行向后调整。计算平台发送时间同步调整指令到AR设备,AR设备在接收到时间同步调整指令后,将AR设备中的第二当前时间进行减小调整,比如调整前为上午八点,调整后为上午7点。
可选地,若时间偏差为正值,则可以确定计算平台对应的第一当前时间要大于AR设备对应的第二当前时间,也就是AR设备中的时间过慢,此时需要向前调整。即AR设备需要将第二当前时间进行增加调整,比如调整前为上午八点,调整后为上午九点。可选地,可以根据第一当前时间对第二当前时间进行增加调整,以使调整后的第二当前时间与第一当前时间一致。
在本实施例中,通过在时间偏差为负值时,AR设备将第二当前时间进行减小调整,以实现AR设备和计算平台之间的时间同步。
进一步地,发送时间同步调整指令至AR设备的步骤,包括:
步骤i,确定AR设备发送IMU数据对应的上报周期,若所述时间偏差对应的绝对值大于所述上报周期,则将所述上报周期和所述时间同步调整指令发送至AR设备,其中,所述AR设备依据所述时间同步调整指令将所述第二当前时间减小调整所述上报周期,得到调整后的第二当前时间。
在本实施例中,为避免出现后一帧数据比前一帧数据的显示时间还早的反常现象。还可以先确定AR设备发送IMU数据到计算平台的时间周期,并将其作为上报周期。然后将时间偏差对应的绝对值与上报周期进行比较。若时间偏差对应的绝对值大于上报周期,则在AR设备中,可以直接将第二当前时间调慢上报周期,得到调整后的第二当前时间。比如若上报周期为10ms,则对第二当前时间调慢10ms。
在本实施例中,通过在时间偏差对应的绝对值大于IMU数据对应的上报周期时,AR设备将第二当前时间减小调整上报周期,以实现AR设备和计算平台之间的时间同步。
进一步地,计算平台内部署NTP服务器,所述依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间的步骤,包括:
步骤j,在预设的同步周期内,依据预设的NTP协议获取所述NTP服务器的服务器时间,将所述服务器时间作为所述计算平台对应的第一当前时间,并获取所述AR设备对应的第二当前时间。
可选地,计算平台可以直接获取AR设备的第二当前时间。并且AR设备可以将采集的IMU数据加时间戳后通过IMU数据传输通道发送至计算平台。可选地,AR设备采用配置的IMU采集速率采集IMU数据,基于AR设备的时钟对采集的IMU数据添加时间戳和添加帧头信息后封装成IMU数据帧,通过IMU数据传输通道使用TCP协议(Transmission ControlProtocol,传输控制协议)传输至计算平台。其中,IMU数据中的时间戳是依据AR设备中的第二当前时间确定的。
可选地,数据帧可以是数据链路层的协议数据单元,包括帧头、数据部分和帧尾。其中,帧头和帧尾包含一些必要的控制信息,比如同步信息,地址信息、差错控制信息、设备ID、数据类型等。数据部分包含网络层传下来的数据,比如IP数据包。TCP协议是一种面向连接的可靠的、基于字节流的传输层通信协议。
可选地,NTP(Network Time Protocol,网络时间协议)服务器是指用来使计算机时间同步化的一种协议,可以使计算机对其服务器或时钟源(如石英钟等)做同步化,可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒,WAN上几十毫秒)。
可选地,在到达预设的同步周期后,对计算平台内置的NTP服务器,可以根据提前设置的NTP协议进行获取相关参数信息,比如获取NTP服务器内的服务器时间,将服务器时间作为计算平台对应的第一当前时间。可选地,服务器时间可以是NTP服务器内时钟记载的时间。
在本实施例中,通过在同步周期内将NTP服务器的服务器时间作为第一当前时间,并获取AR设备对应的第二当前时间,从而保障了获取到的第一当前时间和第二当前时间的有效性。
此外,为辅助理解本实施例中进行AR设备和计算平台之间的时间同步的原理的理解,下面进行举例说明。
例如,参照图4,在开始进行AR设备和计算平台之间的时间同步时,并且在到达设置的同步周期后,通过NTP协议获取计算平台NTP服务器的时间,即第一当前时间。其中,同步周期的值越小,时间同步效果越精确。并获取AR设备当前时刻的系统时间,即第二当前时间。计算时间偏差skew,即第一当前时间和第二当前时间之间的时间差值。如果|skew|<t1,则不处理。t1为系统可以接受的时间偏差。如果|skew|>t2,则立即同步。t2为比较大的值,两个系统首次同步前的偏差。可选地,两个系统为计算平台中的系统和AR设备中的系统。如果|skew|>t3,第一次当做是NTP服务器异常,不处理。根据测试经验,下一次同步时,时间偏差就会正常。如果第一次就设置,后面会再次出现一次>t3的反向异常(第一次跑快,第二次变慢)。t3为NTP服务器出现异常时在一个同步周期T内的偏差,需要当前异常,不处理。但是如果连续出现该类偏差3次,则进行处理,同步时间。如果skew为负值,则需要把AR眼镜的时间向后调,出现后一帧数据比前一帧数据时间还早的反常情况。这在算法中是无法处理的,所以这种情况要避免。则当skew<0且|skew|>t4时需要将当前系统时间设置为调慢t4,确保数据帧时间戳不会后退。t4为IMU数据上报周期,确保时间戳不会后退。对于其他的skew(即skew其他值)需要立即进行时间同步处理,将其同步到NTP服务器时间。
实施例三
参照图5,本申请实施例还提供一种基于AR设备的时间同步装置,基于AR设备的时间同步装置设置在于AR设备连接的计算平台,包括:
获取模块A10,用于依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
计算模块A20,用于计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
输出模块A30,用于依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。
可选地,输出模块A30,用于:
检测所述时间偏差对应的绝对值是否小于第一预设时间阈值;
若所述时间偏差对应的绝对值小于第一预设时间阈值,则确定所述AR设备与所述计算平台处于时间同步阶段。
可选地,输出模块A30,用于:
检测所述时间偏差对应的绝对值是否大于第二预设时间阈值,其中,所述第二预设时间阈值大于所述第一预设时间阈值;
若所述时间偏差对应的绝对值大于第二预设时间阈值,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,输出模块A30,用于:
检测所述时间偏差对应的绝对值是否大于第一偏差,其中,所述第一偏差为所述计算平台内部署的NTP服务器出现异常时在一个同步周期内的偏差;
若所述时间偏差对应的绝对值大于所述第一偏差,则继续确定下一个同步周期对应的时间偏差,若连续检测到预设数量的同步周期对应的时间偏差大于所述第一偏差,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
可选地,输出模块A30,用于:
检测所述时间偏差是否为负值;
若所述时间偏差为负值,则发送时间同步调整指令至AR设备,其中,所述AR设备依据时间同步调整指令将所述第二当前时间进行减小调整。
可选地,输出模块A30,用于:
确定AR设备发送IMU数据对应的上报周期,若所述时间偏差对应的绝对值大于所述上报周期,则将所述上报周期和所述时间同步调整指令发送至AR设备,其中,所述AR设备依据所述时间同步调整指令将所述第二当前时间减小调整所述上报周期,得到调整后的第二当前时间。
可选地,获取模块A10,用于:
在预设的同步周期内,依据预设的NTP协议获取所述NTP服务器的服务器时间,将所述服务器时间作为所述计算平台对应的第一当前时间,并获取所述AR设备对应的第二当前时间。
本申请实施例提供的装置,采用上述实施例一至实施例二中任意一个实施例的基于AR设备的时间同步方法,能实现AR设备和计算平台之间的时间同步。与现有技术相比,本发明实施例提供的基于AR设备的时间同步装置的有益效果与上述实施例提供的基于AR设备的时间同步方法的有益效果相同,且所述基于AR设备的时间同步装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
实施例四
本发明实施例提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述实施例一中的基于AR设备的时间同步方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备的结构示意图。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常,以下系统可以连接至I/O接口:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置;包括例如磁带、硬盘等的存储装置;以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备,但是应理解的是,并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装,或者从ROM被安装。在该计算机程序被处理装置执行时,执行本公开实施例的方法中限定的上述功能。
本发明提供的电子设备,采用上述实施例中的基于AR设备的时间同步方法,能实现AR设备和计算平台之间的时间同步。与现有技术相比,本发明实施例提供的电子设备的有益效果与上述实施例提供的基于AR设备的时间同步方法的有益效果相同,且该电子设备中的其他技术特征与上一实施例方法公开的特征相同,在此不做赘述。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中,具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
实施例五
本发明实施例提供一种计算机可读存储介质,具有存储在其上的计算机可读程序指令,计算机可读程序指令用于执行上述实施例中的基于AR设备的时间同步方法。
本发明实施例提供的计算机可读存储介质例如可以是U盘,但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的;也可以是单独存在,而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被电子设备执行时,使得电子设备能执行上述实施例中的各个步骤。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质,存储有用于执行上述基于AR设备的时间同步方法的计算机可读程序指令,能实现AR设备和计算平台之间的时间同步。与现有技术相比,本发明实施例提供的计算机可读存储介质的有益效果与上述实施例一或实施例二提供的基于AR设备的时间同步方法的有益效果相同,在此不做赘述。
实施例六
本发明实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于AR设备的时间同步方法的步骤。
本申请提供的计算机程序产品能实现AR设备和计算平台之间的时间同步。与现有技术相比,本发明实施例提供的计算机程序产品的有益效果与上述任一实施例提供的基于AR设备的时间同步方法的有益效果相同,在此不做赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种基于AR设备的时间同步方法,其特征在于,所述基于AR设备的时间同步方法应用于与AR设备连接的计算平台,所述基于AR设备的时间同步方法包括以下步骤:
依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。
2.如权利要求1所述的基于AR设备的时间同步方法,其特征在于,所述依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否小于第一预设时间阈值;
若所述时间偏差对应的绝对值小于第一预设时间阈值,则确定所述AR设备与所述计算平台处于时间同步阶段。
3.如权利要求2所述的基于AR设备的时间同步方法,其特征在于,所述依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否大于第二预设时间阈值,其中,所述第二预设时间阈值大于所述第一预设时间阈值;
若所述时间偏差对应的绝对值大于第二预设时间阈值,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
4.如权利要求1所述的基于AR设备的时间同步方法,其特征在于,所述依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差对应的绝对值是否大于第一偏差,其中,所述第一偏差为所述计算平台内部署的NTP服务器出现异常时在一个同步周期内的偏差;
若所述时间偏差对应的绝对值大于所述第一偏差,则继续确定下一个同步周期对应的时间偏差,若连续检测到预设数量的同步周期对应的时间偏差大于所述第一偏差,则发送所述第一当前时间至所述AR设备进行时间同步处理,其中,所述AR设备将所述第二当前时间更新为与所述第一当前时间一致。
5.如权利要求1所述的基于AR设备的时间同步方法,其特征在于,所述依据所述时间偏差对所述AR设备进行时间同步处理的步骤,包括:
检测所述时间偏差是否为负值;
若所述时间偏差为负值,则发送时间同步调整指令至AR设备,其中,所述AR设备依据时间同步调整指令将所述第二当前时间进行减小调整。
6.如权利要求5所述的基于AR设备的时间同步方法,其特征在于,所述发送时间同步调整指令至AR设备的步骤,包括:
确定AR设备发送IMU数据对应的上报周期,若所述时间偏差对应的绝对值大于所述上报周期,则将所述上报周期和所述时间同步调整指令发送至AR设备,其中,所述AR设备依据所述时间同步调整指令将所述第二当前时间减小调整所述上报周期,得到调整后的第二当前时间。
7.如权利要求1所述的基于AR设备的时间同步方法,其特征在于,所述计算平台内部署NTP服务器,所述依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间的步骤,包括:
在预设的同步周期内,依据预设的NTP协议获取所述NTP服务器的服务器时间,将所述服务器时间作为所述计算平台对应的第一当前时间,并获取所述AR设备对应的第二当前时间。
8.一种基于AR设备的时间同步装置,其特征在于,所述基于AR设备的时间同步装置设置在于AR设备连接的计算平台,包括:
获取模块,用于依据预设的同步周期获取所述计算平台对应的第一当前时间和所述AR设备对应的第二当前时间;
计算模块,用于计算所述第一当前时间和所述第二当前时间之间的时间差值,将所述时间差值作为时间偏差;
输出模块,用于依据所述时间偏差对所述AR设备进行时间同步处理,依据时间同步处理结果将同一时间戳对应的图像数据和IMU数据进行图像处理,得到位姿数据,并输出所述位姿数据到所述AR设备进行渲染显示。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至7中任一项所述基于AR设备的时间同步方法的步骤。
10.一种介质,其特征在于,所述介质为计算机可读存储介质,所述计算机可读存储介质上存储有实现基于AR设备的时间同步方法的程序,所述实现基于AR设备的时间同步方法的程序被处理器执行以实现如权利要求1至7中任一项所述基于AR设备的时间同步方法的步骤。
CN202310982455.7A 2023-08-04 2023-08-04 基于ar设备的时间同步方法、装置、电子设备和介质 Pending CN117156119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310982455.7A CN117156119A (zh) 2023-08-04 2023-08-04 基于ar设备的时间同步方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310982455.7A CN117156119A (zh) 2023-08-04 2023-08-04 基于ar设备的时间同步方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN117156119A true CN117156119A (zh) 2023-12-01

Family

ID=88903524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310982455.7A Pending CN117156119A (zh) 2023-08-04 2023-08-04 基于ar设备的时间同步方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN117156119A (zh)

Similar Documents

Publication Publication Date Title
CN109104259B (zh) 一种多传感器对时同步系统和方法
CN109871385B (zh) 用于处理数据的方法和装置
CN107948463B (zh) 一种相机同步方法、装置及系统
WO2017088096A1 (zh) 飞行设备的数据同步和采集的方法、装置以及飞行设备
WO2017200300A3 (ko) 소음원 가시화 데이터 누적 표시방법 및 음향 카메라 시스템
JP7182020B2 (ja) 情報処理方法、装置、電子機器、記憶媒体およびプログラム
CN115391422B (zh) 车辆感知信息生成方法、装置、设备、介质和程序产品
CN112822480A (zh) Vr系统及其定位追踪方法
US11245763B2 (en) Data processing method, computer device and storage medium
CN111860551A (zh) 一种多传感器数据融合方法及装置、车载终端
CN113992860A (zh) 基于云边协同的行为识别方法、装置、电子设备和介质
CN117156119A (zh) 基于ar设备的时间同步方法、装置、电子设备和介质
CN107566685B (zh) 一种图像数据处理方法及电子设备
US20230177778A1 (en) Augmented reality using a split architecture
CN115866154A (zh) 车载多摄像头系统的时延测量方法、装置、系统及汽车
CN113765611B (zh) 时间戳确定方法及相关设备
CN115729743A (zh) 感知系统测试数据回灌装置、方法、可读存储介质
CN110892671A (zh) 一种飞行器、数据处理系统及针对飞行器的数据处理方法
KR102093223B1 (ko) 전력 제어 시스템의 시간 동기화 장치 및 그 방법
CN116366834B (zh) 用于远程驾驶的视频延时实时测量系统及方法
JP4225131B2 (ja) 磁界補正データ生成装置
CN113411368B (zh) 数据同步方法、装置、存储介质及电子设备
CN116156143A (zh) 数据生成方法、摄像设备、头戴式显示设备和可读介质
KR101614037B1 (ko) 싱크 정보를 이용한 데이터 기록 장치 및 그 방법, 데이터 복원 장치 및 그 방법
US11877090B2 (en) Control device, image recording method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination