CN111829546A - 一种ar导航系统及设备、时钟校正方法 - Google Patents

Abstract

本发明公开一种AR导航系统和设备、时钟校正方法，该系统包括：视频采集终端和车载智能终端，所述视频采集终端和车载智能终端之间通过无线网络连接协议建立连接；所述视频采集终端，用于采集车辆前方的道路环境视频；所述车载智能终端，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在所述道路环境视频之上叠加导航指示，生成增强现实AR导航图像。在视频采集终端和车载智能设备之间建立通信连接，使得车载智能设备能够使用视频采集终端采集到的数据实现AR导航，解决了硬件能力缺乏导致的无法实现车载AR导航的问题。

Description

一种AR导航系统及设备、时钟校正方法

技术领域

本发明涉及AR导航技术领域，特别一种AR导航系统及设备、时钟校正方法。

背景技术

随着地图导航应用的不断发展，人们对导航指示的准确性和直观性的要求越来越高。为改善导航指示的准确性和直观性，增强现实(Augmented Reality，AR)导航功能应运而生，AR导航是在真实道路环境之上叠加虚拟导航指示，以帮助驾驶者更直观地确定车辆在道路上的行驶方向，更快地做出驾驶决策。

发明人发现实现AR导航功能至少需要摄像头和惯性测量单元(Inertialmeasurement unit，IMU)，但目前并不是所有的车辆会同时搭载摄像头和IMU，因此，如何在车辆自身的硬件能力缺乏的情况下，实现车载AR导航功能成为亟需解决的问题。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种AR导航方法系统及设备、时钟校正方法。

本发明实施例提供一种AR导航系统，至少包括：

视频采集终端和车载智能终端，所述视频采集终端和车载智能终端之间通过无线网络连接协议建立连接；

所述视频采集终端，用于采集车辆前方的道路环境视频；

所述车载智能终端，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在所述道路环境视频之上叠加导航指示，生成增强现实AR导航图像。

在一些可选的实施例中，所述车载智能终端，还用于显示所述AR导航图像；

或

所述系统还包括：车载多媒体设备，所述车载智能终端和所述车载多媒体设备通过车联网投屏协议建立连接，用于显示所述AR导航图像。

根据权利要求1所述的系统，其特征在于，所述车载智能终端，用于获取车辆位姿数据，具体包括：

根据惯性测量单元IMU数据和GNSS定位数据，获取车辆位姿数据，所述IMU数据是视频采集终端或者车载智能终端采集的。

在一些可选的实施例中，所述视频采集终端与车载智能终端之间通过无线网络连接协议建立的连接，具体包括：

通过无线网络连接协议建立IMU数据传输通道、道路环境视频数据传输通道和/或配置数据传输通道。

在一些可选的实施例中，所述车载智能终端和视频采集终端通过配置数据传输通道进行数据采集传输参数协商，所述数据采集传输参数包括：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率中的至少一项或任意项的组合；

所述视频采集速率和视频图像分辨率用于采集道路环境视频数据；

所述IMU采集速率用于采集IMU数据；

所述数据传输帧率和数据传输码率用于传输采集的道路环境视频数据。

在一些可选的实施例中，所述车辆位姿数据和所述道路环境视频的时间戳是对齐的。

在一些可选的实施例中，视频采集终端，具体用于将采集的IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端，将道路环境视频数据编码成指定格式的视频数据并加时间戳后通过道路环境视频数据传输通道发送给车载智能终端；

所述车载智能终端，具体用于接收视频采集终端发送的IMU数据和编码后的视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐。

在一些可选的实施例中，所述视频采集终端和车载智能终端基于各自的本地时钟及设备间的链路时延，将本地时钟校正至相同。

在一些可选的实施例中，所述车载智能终端作为授时设备搭建NTP客户端，所述视频采集终端作为被授时设备搭建NTP服务器，NTP客户端接收NTP服务器发送的车载智能终端的本地时钟。

在一些可选的实施例中，包括：

所述视频采集终端向所述车载智能终端发送请求帧，并接收所述车载智能终端回复的应答帧，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延；

或，所述车载智能终端向所述视频采集终端发送请求帧，并接收所述视频采集终端回复的应答帧，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延。

在一些可选的实施例中，当发送的请求帧为两个及以上时，根据所述请求帧的发送时间

和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延，包括：

获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；

将请求时间差和应答时间差的平均值确定为所述链路时延。

本发明实施例还提供一种时钟校正方法，包括：

接收授时设备发送的授时时间；

获取与授时设备进行数据传输的链路时延；

根据获取的所述授时时间和链路时延，将本地时钟校正至与所述授时设备的本地时钟一致。

在一些可选的实施例中，所述接收授时设备发送的授时时间，包括：

通过搭建的NTP客户端接收授时设备搭建的NTP服务器发送的授时时间。

在一些可选的实施例中，所述获取与授时设备进行数据传输的链路时延，包括：

向授时设备发送请求帧，并接收授时设备回复的应答帧；

根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延。

在一些可选的实施例中，所述根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延，包括：

获取至少一个请求帧的接收时间和发送时间的时间差，以及至少一个应答帧发送时间和接收时间的时间差；

确定得到的各时间差的平均值作为所述链路时延。

本发明实施例至少实现了如下技术效果：

在视频采集终端与车载智能终端之间通过无线网络连接协议建立连接，实现车载智能终端与视频采集终端之间的数据交互，使得车载智能终端能够获取到视频采集终端采集到的车辆前方的道路环境视频用于AR导航；视频采集终端根据获取的车辆位姿数据和已规划的导航引导路径在道路环境视频之上叠加导航指示，生成AR导航图像，从而摆脱车辆自身的硬件能力缺乏的限制，使用车辆记录仪之类的视频采集终端进行视频数据采集，提供给车载导航终端实现AR导航，利用现有设备的摄像头和IMU实现车载AR导航。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中一种AR导航系统的结构示意图；

图2为本发明实施例一提供的数据帧封装的示意图；

图3为本发明实施例一提供的数据帧解封装的示意图；

图4为本发明实施例二中另一种AR导航系统的结构示意图；

图5为本发明实施例三中视频采集终端的结构示意图；

图6为本发明实施例三中车载智能终端的结构示意图；

图7为本发明实施例四中AR导航方法的结构示意图；

图8为本发明实施例四提供AR导航方法的实现原理示意图；

图9为本发明实施例五中时钟校正方法的流程图；

图10为本发明实施例五中AR导航系统时间同步方法的流程图；

图11为本发明实施例五中AR导航系统时间同步的系统架构示例图；

图12为本发明实施例提供的确定链路时延的流程图；

图13为本发明实施例提供的时钟校正系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

为了解决现有技术中受限于现有车载导航设备的硬件能力不能实现AR导航的问题，本发明实施例提供一种AR导航系统，利用行车记录仪的视频采集能力和车载导航设备的导航能力，实现AR导航。下面通过具体的实施例进行详细描述。

实施例一

本发明实施例一提供了一种AR导航系统，如图1所示，该系统可以包括：视频采集终端和车载智能终端，视频采集终端和车载智能终端之间通过无线网络连接协议建立连接；

视频采集终端，用于采集车辆前方的道路环境视频；

车载智能终端，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在道路环境视频之上叠加导航指示，生成增强现实AR导航图像。

可选的，上述车载智能终端，用于还用于显示所述AR导航图像。

本实施例中，适用于车载智能终端既具备网络通信能力又具备视频显示功能的情况，利用车辆上已有的车载导航设备，例如具有视频显示功能的车盒或具有网络通信能力的车载多媒体设备，获取车辆记录仪等视频采集终端采集的道路环境视频来实现AR导航。

其中，视频采集终端是指记录车辆行驶途中的影像及声音等相关资讯的设备。车辆行驶过程中，视频采集终端边走边录像，同时把时间、速度、所在位置、方位等都记录在录像里。视频采集终端上安装有摄像头和IMU传感器，可以采集车辆行驶前方道路环境视频和车辆自身的IMU数据。

车载智能终端是指一个具有导航功能的设备，例如车盒，采用了车规级高性能处理器，内置4G网络，集成了导航、语音交互、车载娱乐、无感支付等车内服务能力，可实时在线更新迭代。

可选的，车载智能终端获取车辆位姿数据包括：根据惯性测量单元(InertialMeasurement Unit，IMU)数据和全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)定位数据，获取车辆位姿数据，其中，IMU数据是视频采集终端或者车载智能终端采集的。视频采集终端采集IMU数据后可以通过IMU数据传输通道传输给车载智能设备。

上述获取的车辆位姿数据和道路环境数据时间戳是对齐的。其中车辆位姿数据可以包括车辆位置数据和车辆姿态数据。车辆位置数据可以来自GNSS定位数据，车辆姿态数据可以根据IMU数据得到。

上述系统中，视频采集终端与车载智能终端之间通过无线网络连接协议建立IMU数据传输通道、道路环境视频数据传输通道和/或配置数据传输通道，通过配置数据传输通道管理视频采集终端和车载智能终端之间的通信连接状态，设置视频采集终端和车载智能终端的数据采集参数；通过IMU数据传输通道传输视频采集终端采集的IMU数据，通过道路环境视频数据传输通道传输视频采集终端采集的道路环境视频数据。

可以根据需要对车载智能终端和视频采集终端进行连接配置，实现车载智能终端对视频采集终端的配置管理。车载智能终端和视频采集终端通过配置数据传输通道进行数据采集传输参数协商，所述数据采集传输参数包括：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率中的至少一项或任意项的组合；视频采集速率和视频图像分辨率用于采集道路环境视频数据；IMU采集速率用于采集IMU数据；数据传输帧率和数据传输码率用于传输采集的道路环境视频数据。视频采集终端使用协商好的视频采集速率和视频图像分辨率采集道路环境视频数据和使用协商好的IMU采集速率采集IMU数据，使用协商好的数据传输帧率和数据传输码率传输采集的道路环境视频数据。视频采集终端使用本地时钟对采集的数据加时间戳，车载智能终端基于本地时钟对本地采集的数据和接收到的数据进行对齐。

视频采集终端可以将采集的道路环境视频数据发送给车载智能终端，也可以将采集的IMU数据发送给车载智能终端，视频采集终端将采集的IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端，将采集的道路环境视频数据编码成指定格式的视频数据并加时间戳后通过道路环境视频数据传输通道发送给车载智能终端。车载智能终端，用于接收视频采集终端发送的IMU数据和编码后的视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐，使用对齐后的IMU数据和视频数据生成AR导航图像。

视频采集终端采集IMU数据，将IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端，包括：视频采集终端采用配置的IMU采集速率采集IMU数据，基于视频采集终端的时钟采集到的IMU数据加时间戳和添加帧头信息后封装成IMU数据帧，通过IMU数据传输通道使用TCP协议传输给车载智能终端。

其中，IMU是测量物体三轴姿态角(或角速率)以及加速度的装置。一般情况下，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态，在导航中有着很重要的应用价值。上述为六轴惯性测量单元，当然也有九轴惯性测量传感器，包括：三个单轴的加速度计、三个单轴的陀螺和三个单轴的磁感应传感器，本发明实施例中的IMU为六轴惯性测量单元，当然其他的IMU设备本发明实施例对此也不作具体限定。

时间戳(Timestamp)是指一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，通常是一个字符序列，唯一地标识某一刻的时间，即：时间戳是一份能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据；所述封包是指数据要在通讯系统中必须要先经过某些处理，才能在网络当中传递，例如将数据切割为数个区块之后，才能在网络上依照某种通讯协议来传送，这种过程就好像将包裹打包一样；所述数据帧(Data frame)是指数据链路层的协议数据单元，它包括三部分：帧头，数据部分，帧尾。其中，帧头和帧尾包含一些必要的控制信息，比如同步信息、地址信息、差错控制信息、设备ID、数据类型等；数据部分则包含网络层传下来的数据，比如IP数据包。所述TCP(Transmission Control Protocol，传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议。

例如，在视频采集终端的时钟为T时刻开始以15HZ的采集速率采集IMU数据，并在采集的IMU数据上加上T时刻和以后采集时刻的时间戳，然后添加上帧头信息后对上述IMU数据、该IMU数据的时间戳和该IMU数据的帧头信息进行封装，封装成IMU数据帧，通过IMU通道使用TCP协议传输给车载智能终端。参照图2所示，摄像头传感器采集的道路环境视频和IMU传感器采集的IMU数据后，按照从①→②→③的顺序进行数据处理，首先是对道路环境视频和IMU数据加时间戳，然后再添加帧头数据。帧头中包含设备的ID、数据类型等。

视频采集终端采集车辆前方的道路环境视频，将道路环境视频数据编码成指定格式的视频数据并加时间戳后通过道路环境视频数据传输通道发送给车载智能终端，包括：视频采集终端采用配置的视频采集速率采集车辆前方的道路环境视频，对道路环境视频数据进行MJPEG编码，基于视频采集终端的时钟为编码后的视频数据加时间戳和添加帧头信息后封装成视频数据帧，通过视频数据通道采用TCP协议传输给车载智能终端。

道路环境视频是指通过视频采集终端上的摄像头采集到的视频数据，其格式主要为BAYER、YUV、RGB等，本发明实施例中视频采集终端采集到的原始视频数据的格式为YUV420，当然也可以是其他格式的视频数据，本发明实施例对此不作具体限定。所述MJPEG(Motion Joint Photographic Experts Group)编码是一种视频压缩格式，其中每一帧图像都分别使用JPEG编码，不使用帧间编码，压缩率通常在20:1-50:1范围内。

例如，本发明实施例中视频采集终端采集到的原始视频数据的格式为YUV420，需要对上述YUV420格式的原始视频数据编码成MJPEG格式的视频数据。其中本发明实施例中所使用的编码格式为MJPEG，上述将YUV420格式的原始视频数据进行JPEG格式的编码相对于现有技术中H264格式的编码，由于H264格式编码压缩了通常为1/100左右，避免了编码和解码耗时较长的问题，使AR导航地图使用更加流畅，而且H264格式的编码数据是通过RSTP(Rapid Spanning Tree Protocol，快速生成树协议)传输协议进行数据的首发，多层的实现机制对有实时性要求的AR导航系统很难完成。

车载智能终端接收视频采集终端发送的IMU数据和编码后的视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐，包括：车载智能终端通过IMU数据传输通道使用TCP协议接收行车记录发送的IMU数据帧，对IMU数据帧进行解析，得到带时间戳的IMU数据；车载智能终端通过道路环境视频数据传输通道使用TCP协议接收行车记录发送的视频数据帧，对视频数据帧进行解析，并对解析出的视频数据进行MJPEG解码，得到带时间戳的视频数据；车载智能终端基于时间戳匹配采集时刻相同的IMU数据和道路环境视频数据，实现将IMU数据和道路环境视频数据对齐。

其中，解码是指一种把数据还原成它所代表的内容或将电脉冲信号、光信号、无线电波等转换成它所代表的信息、数据等过程的特定方法，解码是接收者将接收到的符号或代码还原为信息的过程，与编码过程相对应。

参照图3所示，接收到上述IMU数据帧和MJPEG视频数据帧之后需要对数据帧进行解包，按照从(1)→(2)→(3)的顺序进行数据帧的解包处理，首先对数据帧解包出帧头数据，然后解包出用于将数据对齐的时间戳信息，最后得到IMU数据和MJPEG视频数据，然后基于时间戳将上述数据对齐。

在一个可选地实施例中，视频采集终端和车载智能终端通过配置数据传输通道对本地时钟进行同步和校正。

因为视频采集终端和车载智能终端分别属于两个不同的硬件载体，所以各自的本地时钟是不同的，需要通过配置通道对视频采集终端和车载智能终端的本地时钟进行同步和校正，以达到在同一时钟的情景下对数据进行采集的目的。

视频采集终端或车载智能终端基于各自的本地时钟及设备间的链路时延，将本地时钟校正至相同。视频采集终端和车载智能终端这两个设备可以基于其中一个设备的时钟同步另一个设备的时钟。视频采集终端和车载智能终端中的一个设备基于另一个设备的本地时钟和两个设备之间的链路时延，将本地时钟校正至与所述另一个设备的本地时钟一致。例如：视频采集终端基于车载智能终端的本地时钟和两个设备之间的链路时延，将本地时钟校正至与车载智能终端的本地时钟一致；反之亦可。

其中，视频采集终端和车载智能终端中的一个设备搭建NTP客户端，另一个设备搭建NTP服务器；例如：车载智能终端作为授时设备搭建NTP客户端，视频采集终端作为被授时设备搭建NTP服务器，NTP客户端接收NTP服务器发送的车载智能终端的本地时钟。又例如：视频采集终端作为授时设备搭建NTP客户端时，车载智能终端视频采集终端作为被授时设备则搭建NTP服务器，通过NTP客户端接收NTP服务器发送的车载智能终端的本地时钟。

可选的，视频采集终端获取两个设备之间的链路时延，包括：视频采集终端向车载智能终端发送请求帧，并接收车载智能终端回复的应答帧；根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。

可选的，车载智能终端获取两个设备之间的链路时延，包括：车载智能终端向视频采集终端发送请求帧，并接收视频采集终端回复的应答帧；根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。

当发送的请求帧为两个及以上时，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延，包括：获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；将请求时间差和应答时间差的平均值确定为所述链路时延

优选的，视频采集终端与车载智能终端采用相同的采集速率在相同的采集时刻采集数据。

为了保证数据最大程度上的对齐，在相同时刻开始采集数据，并且以相同的速率采集IMU数据和视频数据，如IMU数据和道路环境视频的采集时刻(时间戳)均为：T、T+1、T+3、T+5、T+7、T+9、T+11、T+13……，则且采集速率也相同，则所有的数据都是对齐的。

本发明实施例提供的上述AR导航系统通过建立IMU通道、视频数据通道和配置通道，实现数据之间的管理和传输，并且使用的MJPEG编码格式相对于现有技术中的H264编码格式，不仅仅降低了编码时间、提供了传输效率，更降低了整个传输延迟。使对延迟要求极高的AR导航应用优势更加明显。而且使用TCP传输方式而非现有技术中的RTSP传输方式减少了数据再次封包，更进一步提高传输效率、降低传输延迟，例如将800*800分辨率的解码由总时间60ms降低到30ms。

实施例二

本实施例二提供的AR导航系统，与实施例一中的系统不同之处在于，不在车载智能终端实现AR导航的视频显示，而是通过车载多媒体设备来进行显示。这种方案适用于车载智能终端不具备视频显示功能，或者需要在另外的车载多媒体设备上进行显示的情形。

本实施例二提供的AR导航系统，如图4所示，该系统可以包括：视频采集终端、车载智能终端和车载多媒体设备，视频采集终端和车载智能终端之间通过无线网络连接协议建立连接，车载智能终端和车载多媒体设备通过车联网投屏协议建立连接；

视频采集终端，用于采集车辆前方的道路环境视频；

车载智能终端，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在道路环境视频之上叠加导航指示，生成增强现实AR导航图像。

车载多媒体设备，用于显示所述AR导航图像。

视频采集终端和车载智能终端的功能参见实施例一所述，此处不再赘述。

实施例三

本发明实施例三提供上述AR导航系统的视频采集终端和车载智能终端的具体架构示例，其中：

视频采集终端的结构如图5所示，包括：采集模块51和通信模块52。

采集模块51，用于采集车辆前方的道路环境视频；

通信模块52，用于通过无线网络连接协议和车载智能终端建立连接，将道路环境视频发送给车载智能终端。

在一个可选的实施例中，采集模块51，还用于采集车辆的惯性测量单元IMU数据发送给车载智能终端。

在一个可选的实施例中，通信模块52，还用于通过无线网络连接协议建立IMU数据传输通道、道路环境视频数据传输通道和/或配置数据传输通道。

通信模块52，具体用于通过配置数据传输通道进行数据采集传输参数协商，数据采集传输参数包括：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率中的至少一项或任意项的组合；视频采集速率和视频图像分辨率用于采集道路环境视频数据；IMU采集速率用于采集IMU数据；数据传输帧率和数据传输码率用于传输采集的道路环境视频数据。

通信模块52，具体用于将采集的IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端，将道路环境视频数据编码成指定格式的视频数据并加时间戳后通过道路环境视频数据传输通道发送给车载智能终端。

在一个可选的实施例中，视频采集终端，还包括：时钟同步模块53，用于基于车载智能终端的本地时钟和与车载智能终端之间的链路时延，将本地时钟校正至与车载智能终端的本地时钟一致。

通信模块52，还用于向车载智能终端发送请求帧，并接收车载智能终端回复的应答帧；

时钟同步模块53，还用于根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。

时钟同步模块53，具体用于获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；将请求时间差和应答时间差的平均值确定为链路时延。

车载智能终端的结构如图6所示，包括：通信模块61和视频生成模块62。

通信模块61，用于通过无线网络连接协议和视频采集终端建立连接，接收视频采集终端发送的道路环境视频；

视频生成模块62，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在所述道路环境视频之上叠加导航指示，生成增强现实AR导航图像。

在一个可选的实施例中，视频生成模块62，具体用于根据惯性测量单元IMU数据和GNSS定位数据，获取车辆位姿数据，其中，IMU数据是视频采集终端或者车载智能终端采集的。

在一个可选的实施例中，通信模块61，还用于通过无线网络连接协议建立IMU数据传输通道、道路环境视频数据传输通道和/或配置数据传输通道。

通信模块61，具体用于通过配置数据传输通道进行数据采集传输参数协商，数据采集传输参数包括：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率中的至少一项或任意项的组合；视频采集速率和视频图像分辨率用于采集道路环境视频数据；IMU采集速率用于采集IMU数据；数据传输帧率和数据传输码率用于传输采集的道路环境视频数据。

在一个可选的实施例中，通信模块61，具体用于接收视频采集终端通过IMU数据传输通道发送的加时间戳后的IMU数据和通过道路环境视频数据传输通道发送的加时间戳并编码后的道路环境视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐。

在一个可选的实施例中，上述的车载智能终端，还包括时钟同步模块63，用于基于视频采集终端的本地时钟和与视频采集终端之间的链路时延，将本地时钟校正至与视频采集终端的本地时钟一致。

在一个可选的实施例中，通信模块61，还用于向视频采集终端发送请求帧，并接收视频采集终端回复的应答帧；

时钟同步模块63，还用于根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。

时钟同步模块63，具体用于获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；将请求时间差和应答时间差的平均值确定为链路时延。

在一个可选的实施例中，上述的车载智能终端，还包括视频显示模块64，用于显示AR导航图像。

实施例四

本实施例四提供一种AR导航方法。其中，所述AR导航是指真实场景中的道路和虚拟导航系统的指引部分进行了有机地结合，从而用户可以获得非常直观的实景导航体验。相比传统的二维或三维导航，尤其当面对一些比较复杂的岔路口时，会节约更多的时间，避免走错关键岔路。AR导航在进行实际导航之前，会先使用摄像头，把前方真实道路场景进行实时捕捉，然后它会结合汽车的当前定位、地图导航信息进行场景的AI识别，再融合数据计算分析，最后会生成导航指引，把它显示在屏幕上。这个过程所产生的实际效果，能创建出非常贴近用户真实视野的沉浸式导航画面，大大地降低用户对传统平面导航图的理解成本，可以说，即使是看不懂导航地图的“路痴”，在使用这种效果的导航时，也不会觉得认路很麻烦。而且AR车载导航技术，在实际使用中，已经可以应用在多种驾车场景里，并且引导用户做关键性的动作，例如：可以在道路上，很直观地提示出用户在何处应该转弯，何处需要进行提前变道并线，在复杂的岔路口等场景中，做出清晰的方向引导，使得用户不会再在高速行驶的时候，因为对导航不理解而错过关键的岔路口。

现有技术中，AR导航路线是在车载智能终端上实现的，而目前车载智能终端上没有摄像头传感器和IMU传感器，所有需要借助外接设备来获取视频数据和IMU数据。本发明实施例通过接入视频采集终端来采集所在车辆的视频数据和IMU数据，通过车载智能终端实现AR导航图像生成，并由车载智能终端或车载多媒体设备来进行显示。本实施例下面的描述中以车载多媒体设备进行显示为例来进行说明，该方法流程如图7所示，一个具体的实现原理架构如图8所示，该方法包括以下步骤：

S101：视频采集终端采集车辆前方的道路环境视频和车辆的IMU数据。

视频采集终端可以是车辆上安装的摄像头、录像机或行车记录仪等视频设备。视频采集终端可以实时采集车辆行进过程中的视频数据。

视频采集终端可以根据设定实时的采集道路环境视频和车辆的IMU数据，并在采集后提供给车载智能终端，也可以在车载智能终端请求获取时再根据需求向车载智能终端提供数据。当然可选的，视频采集终端也可以根据车载智能终端的导航指令启动数据采集。

在数据采集之前，视频采集终端可以与车载智能终端进行连接配置，实现车载智能终端对视频采集终端的配置管理，例如：连接的建立与断开、帧率/码率的设置、分辨率的设置以及时间的设置等。

参照图8所示的，可以配置IMU数据传输通道、道路环境视频数据传输通道和配置数据传输通道等连接通道实现数据的传输。通过配置数据传输通道协商数据采集和传输参数，包括下列参数中的至少一项：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率。

S102：视频采集终端将采集的道路环境视频和IMU数据发送给车载智能终端。

根据车载智能终端能力的不同，可以选择传输道路环境视频和IMU数据给车载智能终端，或传输道路环境视频给车载智能终端，IMU数据由车载智能终端自己采集。本实施例中以传输道路环境视频和IMU数据为例进行描述。

将IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端；将道路环境视频编码成指定格式的视频数据后加时间戳通过道路环境视频数据传输通道发送给车载智能终端；以便车载智能终端使用IMU数据和视频数据生成AR导航图像。

参照图8所示，视频采集终端上的IMU传感器(IMU Sensor)采集车辆的IMU数据，将IMU数据加上采集的时间戳后封包成IMU数据帧；当然，也可以将上述IMU数据和采集该IMU数据时的时间戳进行其他方式的封帧处理，本发明实施例对此不作具体限定。

参照图8所示，视频采集终端上的视频传感器(Camera Sensor)采集车辆前方的道路环境视频，将采集到的原始视频数据编码成指定格式的视频数据，并加时间戳后封包成指定格式的视频数据帧。

例如：将原始视频数据编码成MJPEG视频数据，将MJPEG视频数据和采集原始视频数据时的时间戳封包成MJPEG视频数据帧。当然，也可以将MJPEG视频数据和采集原始视频数据时的时间戳进行其他方式的封帧处理，本发明实施例对此不作具体限定。

将IMU数据帧和MJPEG视频数据帧发送给车载智能终端，可以通过TCP传输方式发送IMU数据帧和MJPEG视频数据帧。

本发明实施例中使用TCP传输方式将IMU数据帧和MJPEG视频数据帧发送给车载智能终端，相比现有技术中使用RSTP(Rapid Spanning Tree Protocol，快速生成树协议)传输方式可以减少再次封包，提高传输效率，降低了传输延迟。

S103：车载智能终端接收视频采集终端发送的道路环境视频和IMU数据。

车载智能终端通过IMU数据传输通道接收视频采集终端发送的加时间戳后的IMU数据，通过道路环境视频数据传输通道接收视频采集终端发送的加时间戳并编码后的道路环境视频数据。

其中IMU数据可以是IMU数据帧格式的数据，也可以是其他格式的封帧数据；MGPEG视频数据可以是MJPEG视频数据帧格式的数据，也可以是其他格式的封帧数据，本发明实施例对此不做具体限定。

S104：车载智能终端根据IMU数据和GNSS定位数据，获得车辆位姿数据。

车载智能终端接收到从视频采集终端发送的道路环境视频数据和IMU数据后，载智能终端接收视频采集终端发送的IMU数据和编码后的视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐。

车载智能终端可以根据接收到的IMU数据和自身的GNSS定位数据来确定车辆的实时位置和姿态，当然可选的也可以根据自己采集的IMU数据和和GNSS定位数据来确定车辆的实时位置和姿态。其中，GNSS定位数据用于确定车辆的实时位置，IMU数据中包括了三轴姿态角(或角速率)以及三轴加速度，即六轴数据，因此可以根据IMU数据确定车辆的实时姿态。

如图8所示的，车载智能终端通过TCP传输方式接收从视频采集终端发送的MJPEG视频数据帧和IMU数据帧，对MJPEG视频数据帧进行解包得到MJPEG视频数据和相应的时间戳，对IMU数据帧进行解包得到IMU数据(六轴数据)和相应的时间戳，然后对视频数据进行解码。

例如，参照图8所示，本发明实施例中将上述MJPEG视频数据解码成RGB格式的图像数据。当然，也可以解码成CMYK模式、HSB模式、Lab模式、位图模式、灰度模式、索引颜色模式、双色调模式或多通道模式的图像数据，只要能够满足AR导航图像的要求即可，本发明实施例对上述图像数据的格式不作具体限定。

S105：车载智能终端根据车辆位姿数据及已规划的导航引导路径，在道路环境视频之上叠加导航指示，生成AR导航图像。

车载智能终端确定车辆位姿数据，将规划的导航引导路径与道路环境视频进行匹配并在道路环境视频上叠加导航指示生成AR导航图像。

S106：车载智能终端将AR导航图像提供给车载多媒体设备。

车载智能终端具有视频显示功能，可以选择通过自身的显示屏幕显示所述AR导航设备，或投屏到车载多媒体设备进行显示。车载智能终端不具有视频显示功能，则直接投屏到车载多媒体设备进行显示。其中，车载智能终端和车载多媒体设备通过车联网投屏协议建立连接。

S107：车载多媒体设备显示AR导航图像。

本发明实施例通过视频采集终端采集该车辆的IMU数据和车辆前方的道路环境视频，并将IMU数据和道路环境视频数据通过TCP传输方式发送给车载智能终端，用于生成AR导航图像，并通过投屏的方式将AR导航图像提供给车载多媒体设备进行显示，使AR导航能够不受限于车载导航设备的硬件缺陷，方便的实现AR导航。

本实施例中使用的MJPEG编码格式相对于现有技术中的H264编码格式，不仅仅降低了编码时间、提供了传输效率，更降低了整个传输延迟。使对延迟要求极高的AR导航应用优势更加明显。而且使用TCP传输方式而非现有技术中的RTSP传输方式减少了数据再次封包，更进一步提高传输效率、降低传输延迟，例如将800*800分辨率的解码由总时间60ms降低到30ms。

实施例五

本发明实施例五提供一种时钟校正方法，其流程如图9所示，包括：

S201：接收授时设备发送的授时时间。

被授时设备可以通过搭建的NTP客户端接收授时设备搭建的NTP服务器发送的授时时间。

例如：在视频采集终端和车载智能终端之间实现时钟校正时，视频采集终端可以作为授时设备，相应的，车载智能终端则作为被授时设备，相反的，若车载智能终端作为授时设备，则相应的，视频采集终端则作为被授时设备。

本实施例下面的描述中均以视频采集终端则作为被授时设备，车载智能终端作为授时设备为例进行描述。则该步骤中，视频采集终端接收车载智能终端基于本地时钟发送的授时时间。

S202：获取与授时设备进行数据传输的链路时延。

被授时设备向授时设备发送请求帧，并接收授时设备回复的应答帧；根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。该步骤中，视频采集终端向车载智能终端发送请求帧，并接收车载智能终端回复的应答帧。

具体的，被授时设备确定链路时延时，包括：获取至少一个请求帧的接收时间和发送时间的时间差，以及至少一个应答帧发送时间和接收时间的时间差；确定得到的各时间差的平均值作为链路时延。

S203：根据获取的授时时间和链路时延，将本地时钟校正至与授时设备的本地时钟一致。

被授时设备将授时时间作为本地时钟，然后根据链路时延对本地时钟进行校正，将本地时钟校正至与授时设备的本地时钟一致。

本发明实施例五提供的上述时钟校正方法，可以用于AR导航系统中实现各设备之间的时间同步，AR导航系统时间同步方法的流程如图10所示，可以包括以下步骤：

步骤301：车载智能终端获取授时。

其中，车载智能终端可以是一个车盒，车盒是指一个具有导航功能的盒子，该盒子采用了车规级高性能处理器，内置4G网络，集成了导航、语音交互、车载娱乐、无感支付等车内服务能力，可实时在线更新迭代；授时(time service)是指利用无线电波发播标准时间信号的工作，根据授时手段的不同分为短波授时、长波授时、卫星授时、网络授时和电话授时等。

例如，由于车载智能终端上内置4G网络和GNSS定位设备，所以车载智能终端获取的授时可以是4G/WIFI网络授时，也可以是GNSS授时，如本发明实施例获取的是GNSS授时，本发明实施例中车载智能终端获取的授时为T，本发明实施例对具体的授时方式不作具体限定。

步骤302：将获取的授时发送给视频采集终端。

其中，视频采集终端可以是行车记录仪，行车记录仪是指记录车辆行驶途中的影像及声音等相关资讯的仪器。车辆行驶过程中，视频采集终端边走边录像，同时把时间、速度、所在位置、方位等都记录在录像里。视频采集终端上安装有摄像头传感器和IMU传感器，可以采集车辆行驶前方景物的道路环境视频和车辆自身的IMU数据。

例如，将获取的GNSS授时T发送给视频采集终端。

具体地，如图11所示，将授时发送给视频采集终端包括：通过车载智能终端上搭建的NTP服务器将授时发送给视频采集终端上搭建的NTP客户端。

其中，NTP(Network Time Protocol，网络时间协议)服务器是指用来使计算机时间同步化的一种协议，可以使计算机对其服务器或时钟源(如石英钟，GNSS等等)做同步化，可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒，WAN上几十毫秒)；NTP客户端是指与NTP服务器相对应，为用户提供服务的程序，本发明实施例是通过NTP客户端接收由NTP服务器发来的授时以及下文提到的链路时延数据。

当然，在将上述授时发送给视频采集终端之前，需要将视频采集终端和车载智能终端完成连接配置，实现车载智能终端对视频采集终端的配置管理，例如：连接的建立与断开、帧率/码率的设置、分辨率的设置以及时间的设置等。本发明实施例首先在车载智能终端端打开WIFI AP(基地台)，视频采集终端作为Station(站)连接到车载智能终端，建立TCP(Transmission Control Protocol，传输控制协议)连接，然后进行数据采集传输，在此过程中，任意时刻可配置视频采集终端采集分辨率、采集速率以及采集时刻的设置。

步骤303：车载智能终端根据授时采集车辆的GPS数据。

其中，GPS数据是指利用GPS定位卫星在全球范围内实时进行定位、导航的数据。

具体地，车载智能终端根据授时采集车辆的GPS数据，也可以是GNSS数据。可以包括：以与视频采集终端相同的采集时刻和相同的采集速率采集GPS数据。以相同的采集时刻和相同的采集速率采集视频采集终端上的数据和GPS数据，从最大程度上保证了所有数据的对齐性，完成了视频采集终端与车载智能终端不同硬件载体的精确时间同步。

其中，采集速率是指单位时间内对信号进行采集的速度；例如，车载智能终端和视频采集终端都是从T+M时刻开始采集数据，且车载智能终端采集GNSS数据的速率是15HZ，视频采集终端采集数据的速率也为15HZ。这样就保证了两个不同载体之间所采集的数据完全能够对齐。

此处需要说明的是，步骤302与步骤303执行顺序不分先后，先执行步骤302和先执行步骤303都可以，当然也可以同时执行步骤302与步骤303，本发明实施例对此不作具体限定。

步骤304：车辆上的视频采集终端接收车载智能终端发送的授时时间作为本地时钟。

其中，本地时钟是指为了获得准确的频率和定时信号而使用到的与设备直接关系的时钟源，本发明实施例上述的本地时钟是指视频采集终端自身的时钟。

例如，本发明实施例中视频采集终端的本地时钟用T’表示。

具体地，如图11所示，视频采集终端接收从车载智能终端发送的授时包括：通过上述视频采集终端上搭建的NTP客户端接收从上述车载智能终端上搭建的NTP服务器发送的授时。

步骤305，视频采集终端获取与车载智能终端之间的链路时延。

其中，链路是指从一个结点到相邻结点的一段物理线路，中间没有任何其他的交换结点，在进行数据通信时，两个设备之间的通路往往是由许多的链路串接而成的；链路时延是指在数据在网络介质中通过网络协议(如TCP/IP)进行传输，有一定的传输时间或者在超额的网络流量会导致设备反应缓慢，造成网络延迟。

例如，NTP服务器与NTP客户端之间本身有链路传输延迟，本发明实施例通过发送UDP(User Datagram Protocol，用户数据报协议)包进行时间上的同步信息传输。如本发明实施例中链路时延用△T表示，视频采集终端向车载智能终端发送数据的发送时间为t，车载智能终端接收到视频采集终端发来的该数据的接收时间为t’，发送时间t与接收时间t’之间的差值即为链路时延，同样的，车载智能终端向视频采集终端发送数据的时间与视频采集终端接收车载智能终端发来数据的时间之间的差值也为链路时延。视频采集终端获取与车载智能终端之间的链路时延在后面详细描述。

步骤306：视频采集终端根据链路时延对本地时钟进行校正。

其中，本地时钟的某些操作，达到为分布式系统提供一个统一时间标度的过程。在集中式系统中，由于所有进程或者模块都可以从系统唯一的全局时钟中获取时间，因此系统内任何两个事件都有着明确的先后关系。而在分布式系统中，由于物理上的分散性，系统无法为彼此间相互独立的模块提供一个统一的全局时钟，而由各个进程或模块各自维护它们的本地时钟。由于这些本地时钟的计时速率、运行环境存在不一致性，因此即使所有本地时钟在某一时刻都被校准，一段时间后，这些本地时钟也会出现不一致。为了这些本地时钟再次达到相同的时间值，必须进行时间同步操作。

例如，上述步骤304中视频采集终端的本地时钟为T’，根据上述步骤305中获得视频采集终端获取与车载智能终端之间的链路时延△T，则可计算得到矫正后的本地时钟为T’-△T，因此得到的上述校正后的本地时钟与步骤301中车载智能终端获得的授时T相等。

通过对上述本地时钟的矫正，使视频采集终端与车载智能终端基于同一时间进行数据的采集，保证了在时间上的一致性，从而最大程度上保证了数据的对齐性。

步骤307：视频采集终端采集车辆的道路环境视频和IMU数据，并根据校正后的本地时钟加时间戳。

其中，道路环境视频是指通过视频采集终端上的摄像头采集到的视频数据；IMU(Inertial measurement unit，简称IMU，中文名为：惯性测量单元)是测量物体三轴姿态角(或角速率)以及加速度的装置。一般情况下，一个IMU包含了加速度计和陀螺，加速度计检测物体在载体坐标系统独立的加速度信号，而陀螺检测载体相对于导航坐标系的角速度信号，测量物体的角速度和加速度，并以此解算出物体的姿态，在导航中有着很重要的应用价值。时间戳(timestamp)是指一个能表示一份数据在某个特定时间之前已经存在的、完整的、可验证的数据，通常是一个字符序列，唯一地标识某一刻的时间，即：时间戳是一份能够表示一份数据在一个特定时间点已经存在的完整的可验证的数据。

例如，上述道路环境视频的格式主要为BAYER、YUV、RGB等，本发明实施例中视频采集终端采集到的道路环境视频的格式为YUV420；再例如，上述惯性测量单元为包括三个单轴的加速度计和三个单轴的陀螺的六轴惯性测量单元，当然也可以是包括三个单轴的加速度计、三个单轴的陀螺和三个单轴的磁感应传感器的九轴惯性测量传感器。将上述步骤中采集到的IMU数据和道路环境视频发送给车载智能终端，其中IMU数据可以是IMU数据帧格式的数据，也可以是其他格式的封帧数据；道路环境视频可以是视频数据帧格式的数据，也可以是其他格式的封帧数据。当然其中也可以包括对上述数据进行封包和解包处理的过程，在此不再详细论述。

如图2所示，摄像头传感器采集的道路环境视频和IMU传感器采集的IMU数据后，按照从①→②→③的顺序进行数据处理，首先是对道路环境视频和IMU数据加时间戳，然后再添加帧头数据。帧头中包含设备的ID、数据类型等。

具体地，视频采集终端采集道路环境视频和IMU数据包括：以相同采集时刻和相同的采集速率采集道路环境视频和IMU数据。

其中，采集速率是指单位时间内对信号进行采集的速度；例如，均是从T+M时刻开始采集道路环境视频和IMU数据，采集道路环境视频的速率是1秒中采集15帧，则相应的1秒采集IMU数据的同样是15HZ。再例如，例如采集道路环境视频的速率是1秒中采集20帧，则相应的1秒采集IMU数据的同样是20HZ。以相同的采集速率采集道路环境视频和IMU数据，从最大程度上保证了所有数据的对齐性，完成了视频采集终端与车载智能终端不同硬件载体的精确时间同步。

步骤308：视频采集终端将带有时间戳的道路环境视频和IMU数据发送给车载智能终端。

例如，将IMU数据帧和MJPEG视频数据帧通过TCP传输方式发送给车载智能终端。其中，TCP(Transmission Control Protocol，传输控制协议)是一种面向连接的、可靠的、基于字节流的传输层通信协议。本发明实施例中使用TCP传输方式将IMU数据帧和MJPEG视频数据帧发送给车载智能终端，相比现有技术中使用RSTP(Rapid Spanning Tree Protocol，快速生成树协议)传输方式可以减少再次封包，提高传输效率，降低了传输延迟。

如图3所示，接收到上述IMU数据帧和MJPEG视频数据帧之后需要对数据帧进行解包，按照从(1)→(2)→(3)的顺序进行数据帧的解包处理，首先对数据帧解包出帧头数据，然后解包出用于将数据对齐的时间戳信息，最后得到IMU数据和MJPEG视频数据。

步骤309：接收从视频采集终端发送的带有时间戳的道路环境视频和IMU数据。

例如，该步骤中接收到的数据为视频采集终端发给车载智能终端的数据，其中IMU数据可以是IMU数据帧格式的数据，也可以是其他格式的封帧数据；道路环境视频可以是MGPEG视频数据、MJPEG视频数据帧格式的数据，也可以是其他格式的封帧数据，本发明实施例对此不做具体限定。具体地，可以是车载智能终端通过TCP传输方式接收从视频采集终端发送的MJPEG视频数据帧和IMU数据帧。

步骤310：根据时间戳和GNSS数据的采集时刻将GNSS数据、道路环境视频和IMU数据对齐。

由于AR导航图像是由多种数据进行场景的AI识别，再融合数据计算分析(包括将上述多种数据进行时间戳对齐等)，最后会生成导航指引并显示在上述AR导航图像的。因此将上述步骤中获取的IMU数据和道路环境视频与其他诸如汽车的当前定位(GNSS数据)、指引信息数据等共同生成AR导航图像，用户可以根据对齐后生成的AR导航图像进行AR导航。

具体地，当时间戳和采集时刻相匹配时，根据时间戳对应的采集时刻，将带有时间戳的道路环境视频和IMU数据，以及对应的采集时刻采集到的GNSS数据对齐。

如果有道路环境视频的时间戳或者IMU数据的时间戳或者GNSS数据的采集时刻没有对齐的现象，则不再使用多余的数据，本发明实施例中包含了此种情景。

例如：道路环境视频的采集时刻(时间戳)分别为：T、T+1、T+3、T+5、T+7、T+9、T+11、T+13……，IMU数据的采集时刻(时间戳)分别为：T、T+1、T+5、T+9、T+13……，则将T、T+1、T+5、T+9、T+13等时刻采集的道路环境视频和IMU数据进行对齐，将T+3、T+7、T+11等采集时刻采集的道路环境视频删除，不再用于生成AR导航图像。

视频采集终端获取与车载智能终端之间的链路时延的流程，如图12所示，包括以下步骤：

步骤401：视频采集终端向车载智能终端发送请求帧，并接收车载智能终端回复的应答帧。

其中，请求帧(Request frame，RTS frame)包含有帧控制域、帧交换所需时间长度(duration)/关联号(ID)域、两个地址域和帧校验域，发送这个帧的一个目的是将完成帧交换所需时间长度(duration)信息告知其邻近的设备(本发明实施例中指的是车载智能终端)；应答帧(Acknowledgement，ACK frame)它包含有帧控制域、帧交换所需时间长度(duration)/关联号(ID)域、1个地址域和帧校验域。使用这个帧有两个目的，一是对刚正确接收到的数据、管理帧、PS-Poll帧(字段说明帧)的确认。这也就告诉了ACK的接收者或者是刚收到的数据、管理帧、PS-Poll帧的发送者已经正确接收了，那么也就不需要重传刚收到的数据、管理帧、PS-Poll帧。ACK帧的第二个目的是在段突发传送过程中，它可以将时间长度(duration)通知给段接收者的邻近设备(本发明实施例中指的是视频采集终端)。

例如，上述应答帧可以是一个确认字符(Acknowledgement，简称：ACK)，在数据通信中，接收站发给发送站的一种传输类控制字符，表示发来的数据已确认接收无误。在TCP/IP协议中，如果接收方成功的接收到数据，那么会回复一个ACK数据，通常ACK数据有自己固定的格式和长度大小，由接收方回复给发送方。上述应答帧中不仅仅包含上述确认信息，还包括车载智能终端接收到请求帧的时间以及发送应答帧的时间。

步骤402：根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间获取链路时延。

更为具体地，计算至少一个请求帧的接收时间和发送时间的请求时间差，以及计算至少一个应答帧发送时间和接收时间的应答时间差；确定得到的各时间差的平均值作为链路时延。

例如，上述视频采集终端向车载智能终端发送请求帧，记录该时刻为t1；车载智能终端接收到上述视频采集终端发来的请求帧，记录该时刻为t2；然后上述车载智能终端给上述视频采集终端回复一个应答帧，记录该时刻为t3；视频采集终端接收到车载智能终端回复的应答帧，记录该时刻为t4。假设视频采集终端与车载智能终端之间的双向延时相等，则该次平均链路时延为：△T＝(t2-t1+t4-t 3)/2，多次类似测量然后求取平均值可以获取链路时延。当然，当上述视频采集终端与车载智能终端之间的双向延时不相等时，则该次链路时延为△T＝t4-t3，同样可以多次类似测量然后求取平均值可以获取链路时延。

实施例六

本发明实施例提供了一种时钟校正系统，如图13所示，本系统可以包括授时设备和被授时设备。

授时设备，用于基于本地时钟向被授时设备发送授时时间；

被授时设备，用于接收授时设备发送的授时时间；获取与授时设备进行数据传输的链路时延；根据获取的授时时间和链路时延，将本地时钟校正至与授时设备的本地时钟一致。

被授时设备接收授时设备发送的授时时间，包括通过搭建的NTP客户端接收授时设备搭建的NTP服务器发送的授时时间。

被授时设备获取与授时设备进行数据传输的链路时延，包括向授时设备发送请求帧，并接收授时设备回复的应答帧；根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延。

当发送的请求帧为两个及以上时，所述被授时设备根据请求帧的发送时间和接收时间以及应答帧的发送时间和接收时间确定链路时延，包括：获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；将请求时间差和应答时间差的平均值确定为链路时延。

本实施例所述设备的技术效果及相关举例说明可参见上述系统和方法实施例的相关内容，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种AR导航系统，其特征在于，至少包括：

视频采集终端和车载智能终端，所述视频采集终端和车载智能终端之间通过无线网络连接协议建立连接；

所述视频采集终端，用于采集车辆前方的道路环境视频；

所述车载智能终端，用于获取车辆位姿数据，根据车辆位姿数据及已规划的导航引导路径，在所述道路环境视频之上叠加导航指示，生成增强现实AR导航图像。

2.根据权利要求1所述的系统，其特征在于，所述车载智能终端，还用于显示所述AR导航图像；

或

所述系统还包括：车载多媒体设备，所述车载智能终端和所述车载多媒体设备通过车联网投屏协议建立连接，用于显示所述AR导航图像。

3.根据权利要求1所述的系统，其特征在于，所述车载智能终端，用于获取车辆位姿数据，具体包括：

根据惯性测量单元IMU数据和GNSS定位数据，获取车辆位姿数据，所述IMU数据是视频采集终端或者车载智能终端采集的。

4.根据权利要求3所述的系统，其特征在于，所述视频采集终端与车载智能终端之间通过无线网络连接协议建立的连接，具体包括：

通过无线网络连接协议建立IMU数据传输通道、道路环境视频数据传输通道和/或配置数据传输通道。

5.根据权利要求4所述的系统，其特征在于，所述车载智能终端和视频采集终端通过配置数据传输通道进行数据采集传输参数协商，所述数据采集传输参数包括：IMU采集速率、视频采集速率、数据传输帧率、数据传输码率、视频图像分辨率中的至少一项或任意项的组合；

所述视频采集速率和视频图像分辨率用于采集道路环境视频数据；

所述IMU采集速率用于采集IMU数据；

所述数据传输帧率和数据传输码率用于传输采集的道路环境视频数据。

6.根据权利要求1-5任一所述的系统，其特征在于，所述车辆位姿数据和所述道路环境视频的时间戳是对齐的。

7.根据权利要求6所述的系统，其特征在于，视频采集终端，具体用于将采集的IMU数据加时间戳后通过IMU数据传输通道发送给车载智能终端，将道路环境视频数据编码成指定格式的视频数据并加时间戳后通过道路环境视频数据传输通道发送给车载智能终端；

所述车载智能终端，具体用于接收视频采集终端发送的IMU数据和编码后的视频数据，对视频数据进行解码后，基于时间戳将IMU数据和解码后的视频数据进行对齐。

8.根据权利要求6所述的系统，其特征在于，所述视频采集终端和车载智能终端基于各自的本地时钟及设备间的链路时延，将本地时钟校正至相同。

9.根据权利要求8所述的系统，其特征在于，所述车载智能终端作为授时设备搭建NTP客户端，所述视频采集终端作为被授时设备搭建NTP服务器，NTP客户端接收NTP服务器发送的车载智能终端的本地时钟。

10.根据权利要求9所述的系统，其特征在于，包括：

所述视频采集终端向所述车载智能终端发送请求帧，并接收所述车载智能终端回复的应答帧，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延；

或，所述车载智能终端向所述视频采集终端发送请求帧，并接收所述视频采集终端回复的应答帧，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延。

11.根据权利要求10所述的系统，其特征在于，当发送的请求帧为两个及以上时，根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延，包括：

获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；

将请求时间差和应答时间差的平均值确定为所述链路时延。

12.一种时钟校正方法，其特征在于，包括：

接收授时设备发送的授时时间；

获取与授时设备进行数据传输的链路时延；

根据获取的所述授时时间和链路时延，将本地时钟校正至与所述授时设备的本地时钟一致。

13.根据权利要求12所述的方法，其特征在于，所述接收授时设备发送的授时时间，包括：

通过搭建的NTP客户端接收授时设备搭建的NTP服务器发送的授时时间。

14.根据权利要求12或13所述的方法，其特征在于，所述获取与授时设备进行数据传输的链路时延，包括：

向授时设备发送请求帧，并接收授时设备回复的应答帧；

根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延。

15.根据权利要求14所述的方法，其特征在于，当发送的请求帧为两个及以上时，所述根据所述请求帧的发送时间和接收时间以及所述应答帧的发送时间和接收时间确定所述链路时延，包括：

获取请求帧的接收时间和发送时间的请求时间差，以及，应答帧发送时间和接收时间的应答时间差；

将请求时间差和应答时间差的平均值确定为所述链路时延。

Images