CN110174120B - 用于ar导航模拟的时间同步方法及装置 - Google Patents

Abstract

本发明实施例提供一种用于AR导航模拟的时间同步方法及装置，属于车辆导航领域。所述方法包括：每隔预设周期读取一次视频帧数据，并将每次读取到的视频帧传输至AR导航系统的图像识别模块；以及针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据，并将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据。其能够有效解决最终模拟的AR导航效果的时间同步问题。

Description

用于AR导航模拟的时间同步方法及装置

技术领域

本发明涉及车辆导航领域，具体地涉及用于AR导航模拟的时间同步方法及装置。

背景技术

AR导航产品的运行依赖于实际环境数据，在室内对AR导航效果进行模拟(如需调试或测试时)或者演示时，实际的系统并不能实时提供满足运行条件的数据输入，从而不能有效模拟或者演示AR导航效果。

相关技术中，采样以下三种方案来解决上述技术问题：(1)实际上路测试，这种方式耗费人力、财力，并存在一定的人身及财产安全问题；(2)拍摄屏幕或者通过屏幕录制以保留视频为用户演示，这种方式智能用于演示而不能用于调试及测试。

发明内容

本发明实施例的目的是提供一种用于AR导航模拟的时间同步方法及装置，用于实现AR导航模拟过程中各类型数据的同步播放。

为了实现上述目的，本发明实施例提供一种用于AR导航模拟的时间同步方法，所述方法包括：每隔预设周期读取一次视频帧数据，并将每次读取到的视频帧传输至AR导航系统的图像识别模块；以及针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据，并将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据。

可选的，每隔所述预设周期读取一次视频帧数据包括：启动具有所述预设周期的定时器；以及每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧。

可选的，针对每次读取到的视频帧，根据所述读取到视频帧的播放时间戳读取其他类型的数据包括：在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据。

可选的，所述预设周期小于或等于最小的视频采集周期。

可选的，所述视频帧数据、所述GPS数据、所述惯导数据、和所述传感器数据被预先采集及存储。

相应的，本发明实施例还提供了一种用于AR导航模拟的时间同步装置，所述装置包括：第一读取模块，用于每隔预设周期读取一次视频帧数据；第一传输模块，用于将每次读取到的视频帧传输至AR导航系统的图像识别模块；第二读取模块，用于针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据；以及第二传输模块，用于将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据。

可选的，所述第一读取模块包括：启动单元，用于启动具有所述预设周期的定时器；以及读取单元，用于每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧。

可选的，所述第二读取模块用于在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据。

可选的，所述预设周期小于或等于最大的视频采集周期。

可选的，所述视频帧数据、所述GPS数据、所述惯导数据、和所述传感器数据被预先采集及存储。

相应的，本发明实施例还提供一种用于AR导航模拟的时间同步装置，所述装置包括存储器和处理器，所述存储器上存储有指令，该指令使得所述处理器能够执行上述的用于AR导航模拟的时间同步方法。

相应的，本发明实施例还提供一种处理器，用于运行程序，其中，所述程序被运行时用于执行上述的用于AR导航模拟的时间同步方法。

相应的，本发明实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于AR导航模拟的时间同步方法。

通过上述技术方案，首先每隔预设周期读取一次视频帧数据，针对每次读取到的视频帧，根据所述读取到视频帧的播放时间戳读取其他类型的数据，如此经由图像识别模块处理后的图像和经由融合定位模块处理后的其他类型的数据，输出至展示模块后可以实现时间上的同步，其具有以下优势：(1)使得AR导航的测试、调试、演示不再受到时间及场地限制，其可以选择合适的时间和地点，保障人身财产安全；(2)同步方式保证了时序及结果可重复，降低定位问题及测试验证成本；(4)不再受到输入硬件设备的限制，可通过模拟加速开发过程；(5)模拟过程可在非原始采集设备上进行，硬件要求大大降低；(6)可用于演示目的以进行产品的商业推广。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示出了根据本发明一实施例的用于AR导航模拟的时间同步方法的流程示意图；

图2示出了根据本发明另一实施例的用于AR导航模拟的时间同步方法的流程示意图；以及

图3示出了根据本发明一实施例的用于AR导航模拟的时间同步装置的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

为了能够模拟或者演示AR导航效果，也可以采用各个采集数据源独立播放以展示AR导航效果的方式。但是AR导航对数据同步要求非常严格，如果数据不同步，独立播放数据的效果将难以达到要求。本发明实施例提供的用于AR导航模拟的时间同步方法及装置旨在解决使用各个采集数据源独立播放以展示AR导航效果时的时间同步问题。

图1示出了根据本发明一实施例的用于AR导航模拟的时间同步方法的流程示意图。如图1所示，本发明实施例提供了一种用于AR导航模拟的时间同步方法，该方法可以包括步骤S110至步骤S120。

在步骤S110，每隔预设周期读取一次视频帧数据，并将每次读取到的视频帧传输至AR导航系统的图像识别模块。

在一些情况下，视频帧数据的采集频率可以是固定频率的。在另一些情况下，视频帧数据的采集频率可以是变频的，例如，不同时间段的采集频率可以不同。

图像识别模块用于对视频帧进行处理，其可以每次处理一个视频帧。因此，在步骤S110中可以设置每次至多读取一个视频帧，这可以通过对预设周期进行设置而实现。例如，可以设置预设周期小于或等于最小的视频采集周期。如果所存储的视频帧数据是以固定频率采集的，则预设周期可以设置为小于或等于该固定频率对应的采集周期。如果所存储的视频帧数据是以变频采集的，则预设周期可以设置为小于或等于最大采集频率对应的采集周期。如果可以保证每次读取至多一个视频帧，在一些情况下，执行读取时也可能会读取不到视频帧。

可以通过设置具有预设周期的定时器来再每个预设周期触发执行一次步骤S110。

在步骤S120，针对每次读取到的视频帧，根据所述读取到视频帧的播放时间戳读取其他类型的数据，并将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块。

本发明实施例中其他类型的数据可以包括以下一者或多者：GPS数据、惯导数据、和传感器数据。惯导数据例如可以包括加速度计数据和陀螺仪数据等。传感器数据例如可以包括车速数据、方向盘角等数据。视频帧数据、GPS数据、惯导数据、和传感器数据可以通过数据采集程序被预先采集及存储，采集的数据可以存储在相同或不同的存储模块中。视频帧数据、GPS数据、惯导数据、和传感器数据各自的采集频率可以不同，对应的，其各自的采集周期亦可以不同。GPS数据、惯导数据、和传感器数据各自的采集频率也可以是变频的。

本发明实施例中的播放时间戳是指对视频帧数据从头开始播放时的播放时间，其与视频帧的采集时间戳相关联。视频帧的采集时间戳是指采集视频帧的时刻，在进行视频帧的预先采集时，每采集一个视频帧，将对其采集时间戳进行记录。视频帧的播放时间戳可以是指使用视频帧的采集时间戳减去第一个视频帧的采集时间戳得到的时间值。

可以在每次读取到视频帧时，根据读取到的视频帧的播放时间戳执行一次对其他类型的数据的读取。所读取到的GPS数据、惯导数据、和传感器数据可以分别是一个或多个。

在本发明实施例中每隔预设周期读取一次视频帧数据，并将读取到的视频帧数据传输至图像识别模块进行处理，这相当于对预先存储的视频帧数据进行了一次重新采集。对应的，在每次读取到视频帧的情况下，根据读取到的视频帧的播放时间戳执行一次对其他类型的数据的读取，并将每次读取到的其他类型的数据传输至融合定位模块进行处理，相当于将其他类型的数据进行了一次重新采集，并且重新采集的时间与视频帧数据的播放时间戳同步。如此，图像识别模块独立播放的视频帧和融合定位模块独立播放的其他类型的数据能够在展示模块上保持同步，从而使得AR导航的模拟效果能够达到要求，其尤其适用于视频帧的数据采集时变频的情况。

图2示出了根据本发明另一实施例的用于AR导航模拟的时间同步方法的流程示意图。如图2所示，本发明实施例提供的用于AR导航模拟的时间同步方法包括步骤S210至步骤S230。在本发明实施例中，视频帧数据和其他类型的数据被预先采集并存储，采集到的每个数据都具有对应的采集时间戳。数据的播放时间戳可以是使用数据的采集时间戳减去采集相同类型的第一数据采集时间戳得到的时间值。例如，视频帧的播放时间戳可以是使用视频帧的采集时间戳减去第一个视频帧的采集时间戳得到的时间值。GPS数据的播放时间戳可以是使用该GPS数据的采集时间戳减去第一个GPS数据的采集时间戳得到的时间值。惯导数据的播放时间戳可以是使用该惯导数据数据的采集时间戳减去第一个惯导数据数据的采集时间戳得到的时间值。传感器数据的播放时间戳可以是使用该传感器数据的采集时间戳减去第一个传感器数据的采集时间戳得到的时间值。

在步骤S210，启动具有预设周期的定时器。

预设周期可以小于或等于最小的视频采集周期。定时器可以设置为启动后从0开始计时，每隔预设周期计时一次。

在步骤S220，每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧，并将每次读取到的视频帧传输至AR导航系统的图像识别模块。

在定时器每计时一次，读取一次视频帧。所读取到的视频帧的是播放时间戳不大于定时器的当前计数值且未被读取的视频帧。例如，在定时器计时值为tp时，读取播放时间戳小于tp且未被读取的视频帧，其中tp＝n*Tp，Tp是为定时器设置的周期，n为正整数。

由于定时器的周期小于或等于最小的视频采集周期，因此在每次读取视频帧时，至多只能读取到一个满足条件的视频帧，也可能读取不到满足条件的视频帧。在每次读取到视频帧的情况下，可以将读取到的视频帧传输至图像识别模块，以由图像识别模块对读取到的视频帧进行处理。

在步骤S230，在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据，并将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块。

例如，如果当前一次读取到的视频帧的播放时间戳为tq，则读取播放时间戳小于tq且未被读取的其他类型的数据。其他类型的数据可以包括以下一者或多者：GPS数据、惯导数据、和传感器数据。

所读取到的GPS数据、惯导数据、和传感器数据可以分别是一个或多个。在将读取到的其他类型的数据输送至融合定位模块后，融合定位模块可以对接收到的其他类型的数据进行处理。

在本发明实施例中每隔预设周期读取一次视频帧数据，并设置每次读取到至多一个视频帧，每读取到一个视频帧将所读取的该视频帧传输至图像识别模块。同时，针对每次读取到的一个视频帧，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据，将读取到的其他类型的数据传输至AR导航系统的融合定位模块。图像识别模块对接收到的视频帧进行实时处理，融合定位模块对接收到的其他类型的数据进行实时处理，展示模块可以对二者实时处理后的结果进行实时展示，以展示渲染的AR导航效果。这相当于设置了一种数据采集方式，对存储的视频帧数据和其他类型的数据进行同步采集，以解决最终模拟的AR导航效果的时间同步问题。

图3示出了根据本发明一实施例的用于AR导航模拟的时间同步装置的结构框图。如图3所示，本发明实施例还提供一种用于AR导航模拟的时间同步装置，所述装置可以包括：第一读取模块310，用于每隔预设周期读取一次视频帧数据；第一传输模块320，用于将每次读取到的视频帧传输至AR导航系统的图像识别模块；第二读取模块330，用于针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据；以及第二传输模块340，用于将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据。

第一读取模块可以包括：启动单元，用于启动具有所述预设周期的定时器；以及读取单元，用于每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧。第二读取模块可以用于在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据。

在具体实施时，视频帧数据和其他类型的数据被预先采集并存储，采集到的每个数据都记录有对应的采集时间戳。预设周期可以小于或等于最大的视频采集频率周期，以使得第一读取模块每次至少读取到一个视频帧。

图像识别模块对接收到的视频帧进行实时处理，融合定位模块对接收到的其他类型的数据进行实时处理，展示模块可以对二者实时处理后的结果进行实时展示，以展示渲染的AR导航效果。其可以解决最终模拟的AR导航效果的时间同步问题。

本发明实施例提供的用于AR导航模拟的时间同步装置可以集成于AR导航系统，例如，可以在AR导航系统设置模拟数据源接口和真实数据源接收。真实数据源接口用于实时读取真实的数据源。模拟数据源接口用于读取预先采集并存储的数据源。或者本发明实施例提供的用于AR导航模拟的时间同步装置可以集成于仅用于模拟的AR导航模拟系统，AR导航模拟系统上上可以仅设置有模拟数据源接口，以用于读取预先采集并存储的数据源。

本发明实施例提供的用于AR导航模拟的时间同步装置的具体工作原理及益处与本发明实施例提供的用于AR导航模拟的时间同步方法的具体工作原理及益处相似，这里将不再赘述。

相应的，本发明实施例提供的用于AR导航模拟的时间同步装置可包括处理器和存储器，所述存储器上存储有指令，该指令使得所述处理器能够执行本发明任意实施例所述的用于AR导航模拟的时间同步方法。上述的第一读取模块、第一传输模块、第二读取模块、第二传输模块、启动单元、读取单元等均可作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。其中，处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来执行根据本发明任意实施例所述的用于AR导航模拟的时间同步方法。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例还提供一种处理器，所述处理器用于运行程序，其中，所述程序被运行时用于执行根据本发明任意实施例所述的用于AR导航模拟的时间同步方法。

本发明实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器执行根据本发明任意实施例所述的用于AR导航模拟的时间同步方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种用于AR导航模拟的时间同步方法，其特征在于，所述方法包括：

每隔预设周期读取一次视频帧数据，并将每次读取到的视频帧传输至AR导航系统的图像识别模块；以及

针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据，并将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，

其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据，

其中针对每次读取到的视频帧，根据所述读取到视频帧的播放时间戳读取其他类型的数据包括：在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据。

2.根据权利要求1所述的方法，其特征在于，每隔所述预设周期读取一次视频帧数据包括：

启动具有所述预设周期的定时器；以及

每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧。

3.根据权利要求1所述的方法，其特征在于，所述预设周期小于或等于最小的视频采集周期。

4.根据权利要求1所述的方法，其特征在于，所述视频帧数据、所述GPS数据、所述惯导数据、和所述传感器数据被预先采集及存储。

5.一种用于AR导航模拟的时间同步装置，其特征在于，所述装置包括：

第一读取模块，用于每隔预设周期读取一次视频帧数据；

第一传输模块，用于将每次读取到的视频帧传输至AR导航系统的图像识别模块；

第二读取模块，用于针对每次读取到的视频帧，根据所述读取到的视频帧的播放时间戳读取其他类型的数据；以及

第二传输模块，用于将每次读取到的其他类型的数据传输至所述AR导航系统的融合定位模块，

其中所述其他类型的数据包括以下一者或多者：GPS数据、惯导数据、和传感器数据，

其中所述第二读取模块用于根据以下步骤读取所述其他类型的数据：在每次读取到视频帧的情况下，读取播放时间戳不大于当前一次读取到的视频帧的播放时间戳且未被读取的其他类型的数据。

6.根据权利要求5所述的装置，其特征在于，所述第一读取模块包括：

启动单元，用于启动具有所述预设周期的定时器；以及

读取单元，用于每隔一个所述预设周期读取播放时间戳不大于所述定时器的当前计数值且未被读取的视频帧。

7.根据权利要求5所述的装置，其特征在于，所述预设周期小于或等于最大的视频采集周期。

8.根据权利要求5所述的装置，其特征在于，所述视频帧数据、所述GPS数据、所述惯导数据、和所述传感器数据被预先采集及存储。

9.一种用于AR导航模拟的时间同步装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有指令，该指令使得所述处理器能够执行：根据权利要求1至4中任一项所述的用于AR导航模拟的时间同步方法。

10.一种处理器，其特征在于，用于运行程序，其中，所述程序被运行时用于执行：根据权利要求1至4中任一项所述的用于AR导航模拟的时间同步方法。

11.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有指令，该指令用于使得机器执行：根据权利要求1至4中任一项所述的用于AR导航模拟的时间同步方法。

Images