CN113965285A - 一种基于ntp协议的跨系统多传感器时间同步与标定方法 - Google Patents
一种基于ntp协议的跨系统多传感器时间同步与标定方法 Download PDFInfo
- Publication number
- CN113965285A CN113965285A CN202111076037.9A CN202111076037A CN113965285A CN 113965285 A CN113965285 A CN 113965285A CN 202111076037 A CN202111076037 A CN 202111076037A CN 113965285 A CN113965285 A CN 113965285A
- Authority
- CN
- China
- Prior art keywords
- time
- synchronization
- sensor
- data
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
本发明公开了一种基于NTP协议的跨系统多传感器时间同步与标定方法,包括步骤A:设置Linux系统作为时间服务器;步骤B:基于网络协议,对Windows系统进行跨系统硬时间同步;步骤C:不同系统下多传感器的异步开启与结束;步骤D:根据网络信令传输的系统时间得到多传感器数据的时间戳;步骤E:根据软件匹配算法,针对不同系统提取出的时间戳进行同步对应;步骤F:在确认多传感器的头帧时间基础上,以最晚的开始时间为基础,将在此时间之前的数据删除,从而保证剩余数据集的时间戳同步与数据对应。本发明适用于跨系统条件下的不同采样率传感器,并在误差范围内有效完成同步。
Description
技术领域
本发明涉及多传感器融合领域,特别涉及一种基于NTP协议的跨系统多传感器时间同步与标定方法。
背景技术
多传感器融合是近年来导航与定位的研究热点,以其结合不同传感器的优点从而彼此弥补不同情况下的劣势,从而提升整体系统的鲁棒性以及准确度,使其适用于更多环境例如大雨、昏暗视野下的环境感知、目标检测等应用。具体等传感器融合主要包括摄像头提供丰富的视觉信息、激光雷达提供密集的环境3d点云、毫米波雷达提供恶劣天气条件下的目标距离、多普勒信息等。
其中决定融合算法的精度的一大主要内容为多传感器的时间同步,目前同步的算法主要集中于在Linux的ROS系统下,针对多个传感器的数据采集触发开启进行时间上的同步,并使用Linux系统时间作为时间戳。然而随着各大厂家的高精度毫米波雷达出现,与之对应的大量雷达处理算法主要以Windows系统的Matlab环境为主设计,因此在进行时间同步的时候就引入了多系统之间的同步问题,无法直接通过同步触发开启的方式进行同步。虽然同样存在针对Windows系统到Linux系统的雷达处理算法移植研究,从而继承原有的单系统同步方法,但是由于移植本身存在的效率代价以及后续开发的适应性,因此针对跨系统的时间同步也是很有意义的。
随着深度学习针对大数据的学习能力被广泛认可,以深度学习为基础的融合算法也层出不穷,与之对应的多传感器融合数据集也变得不可或缺,其中作为传感器数据间对应关系基础的同步时间戳也存在如何提取、基于什么样的硬时间戳、跨系统情况下的软时间同步等问题,并在误差允许范围内保证数据对应的准确性。
发明内容
为了克服现有技术中的不足,本发明提供一种基于NTP协议的跨系统多传感器时间同步与标定方法,针对多传感器采集处理算法在不同系统内实现从而无法直接实现同步触发的问题,利用Linux与Windows系统之间的NTP时间同步协议完成系统的硬时间同步,并通过软件匹配算法完成跨系统的时间同步并为数据集赋予精确的时间戳。
为了达到上述发明目的,解决其技术问题所采用的技术方案如下:
一种基于NTP协议的跨系统多传感器时间同步与标定方法,包括以下步骤:
步骤A:设置Linux系统作为时间服务器;
步骤B:基于网络协议,对Windows系统进行跨系统硬时间同步;
步骤C:不同系统下多传感器的异步开启与结束;
步骤D:根据网络信令传输的系统时间得到多传感器数据的时间戳;
步骤E:根据软件匹配算法,针对不同系统提取出的时间戳进行同步对应;
步骤F:在确认多传感器的头帧时间基础上,以最晚的开始时间为基础,将在此时间之前的数据删除,从而保证剩余数据集的时间戳同步与数据对应。
进一步的,在步骤A中,设置针对本机IP的时间服务器。
进一步的,在步骤B中,使用NTP网络时间同步协议,并采用局域网的形式,进行高频率的同步以及实时补偿,保证在数据采集中实时的时间同步,此处可以根据NTP的连接状况得到硬时间标定误差Eh。
进一步的,在步骤C中,在相同系统内的多传感器可以采用同步触发开启的方式进行同步,从而可以得到一个系统内统一的硬时间戳用以跨系统的时间匹配,以减少软时间同步带来的误差。
进一步的,在步骤D中,通过从主机到传感器的采集信令发送和接受对应的系统时间,为每帧数据提供对应系统的时间戳。
进一步的,在步骤E中,在采集完毕多传感器的数据之后,进行软时间同步的后处理,针对不同采样率的传感器,需考虑匹配间的误差是否会导致帧间误匹配,软时间的匹配误差应小于较小采样率的采样间隔,此处可以得到软时间匹配误差Es满足以下条件:
其中,Esmax为软时间匹配的最大误差,τn为第n个传感器的采样间隔。
进一步的,在步骤E中,在雷达与摄像头的传感器同步系统中,采用L1loss的误差标准,公式如下:
其中,Es为软时间匹配误差,Esmax为软时间匹配的最大误差,tRn为雷达第n帧的时间戳,tCn为摄像头第n帧的时间戳,N为数据集总帧数,τR、τC分别为雷达、摄像头的采样间隔。
进一步的,在步骤F中,在保证不同系统硬时间同步和时间戳软时间同步的基础上,可以保证在所有传感器都开启之后的数据帧同步对应,因此可以跳过不同系统的传感器同步触发,即满足以下条件:
其中,E为同步总误差,Eh为硬时间同步误差,Es为软时间匹配误差,τn为第n个传感器的采样间隔。
进一步的,在步骤F中,可以跳过不同系统的传感器同步触发,直接采用多传感器异步开启方式,得到的数据集的时间戳满足以下条件:
本发明由于采用以上技术方案,使之与现有技术相比,具有以下的优点和积极效果:
1、本发明直接通过跨时间的系统硬时间同步,减少了针对雷达处理算法在不同系统内移植的开发,提升了开发的效率;
2、本发明软时间同步在硬时间同步的基础上,可以针对不同采样率的多传感器数据进行同步,并在误差范围之内完成帧间的对应关系;
3、本发明无需考虑跨系统的同步触发问题,在牺牲极小数据量的基础上,为数据集提供精确的时间戳。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。附图中:
图1是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中的总体框架图;
图2是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中在摄像头、毫米波雷达同步实施例中存在的主要三个问题;
图3是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中基于NTP网络协议的跨系统时间同步架构图;
图4是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中Windows系统与时间服务器的同步结果;
图5是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中通过Wireshark软件筛选雷达网口得到数据帧对应时间戳;
图6是本发明一种基于NTP协议的跨系统多传感器时间同步与标定方法中多传感器数据集时间戳同步架构与误差分析。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例中,以摄像头(Linux系统)与毫米波雷达(Windows系统)跨系统时间同步为例,总体框架图参照图1。其中主要需要解决三个问题,参照图2,分别为跨系统硬时间同步、不同采样率软时间戳同步以及多传感器同步开启问题,下面对本发明的具体步骤作进一步的描述:
步骤A:设置Linux系统作为时间服务器;
在步骤A中,设置针对本机IP的时间服务器。本实施例中,针对搭建NTP(NetworkTime Protocol,网络时间协议)服务器,在安装NTP的基础上修改配置文件、时间服务器的地址,确认本机的IP并取消防火墙对123端口的限制;
步骤B:基于网络协议,对Windows系统进行跨系统硬时间同步;
进一步的,在步骤B中,使用NTP网络时间同步协议,并采用局域网的形式,进行高频率的同步以及实时补偿,保证在数据采集中实时的时间同步,此处可以根据NTP的连接状况得到硬时间标定误差Eh。
图3展示了基于NTP的双系统的时间同步过程,其中摄像头的采集处理在Linux环境下完成,毫米波雷达的采集处理在Windows系统下完成,Windows通过internet time输入步骤A中的IP连接时间服务器,并通过猎豹wifi将双系统置于局域网环境,完成实时补偿。图4展示了Windows环境下的同步结果,其中offset同步时间偏移Eh为1.894ms,实时同步间隔为10s。
步骤C:不同系统下多传感器的异步开启与结束;
进一步的,在步骤C中,在相同系统内的多传感器可以采用同步触发开启的方式进行同步,从而可以得到一个系统内统一的硬时间戳用以跨系统的时间匹配,以减少软时间同步带来的误差。
本实施例中,在完成硬时间同步的基础上,以程序触发的形式开启Linux环境下的摄像头数据采集和Windows环境下的毫米波雷达数据采集,其中雷达以网线进行数据读取,使用Wireshark记录雷达与Windows系统间的数据采集信令,不同传感器的程序的开启与结束可以异步完成。
步骤D:根据网络信令传输的系统时间得到多传感器数据的时间戳;
进一步的,在步骤D中,通过从主机到传感器的采集信令发送和接受对应的系统时间,为每帧数据提供对应系统的时间戳。
本实施例中,根据Wireshark记录的雷达与Windows系统间的数据采集信令传输时间,筛选网口IP提取出针对雷达网口的开始信令、每帧数据采集信令的系统时间,并通过索引得到对应数据帧。图5展示了Wireshark针对雷达的信令传输记录,其中192.168.100.5为雷达通信网口地址,54为对应雷达采集一帧数据的信令长度。
其中摄像头的数据采集率为33ms,雷达的数据采集率为50ms,Wireshark的平均数据读取率为25ms,因此雷达和Wireshark的帧数比例为1∶2,由于得到的时间戳格式不同,为tum格式和时分秒格式,通过时间转换得到统一的秒数。表一展示了对应摄像头与雷达的时间戳格式与统一转换的结果。
格式 | 实际数值 | 变化量 | 时间精度 | 转换值 | |
摄像头 | tum | 1520621175 986840704 | 33333334 | 0.033s | 92775.98684082032 |
Wireshark | 时分秒 | 19:18:44.000001 | 0.000001 | 0.000001s | 69524.000001 |
雷达 | / | Wireshark 2帧取1帧 | / | 0.05s | / |
表一
步骤E:根据软件匹配算法,针对不同系统提取出的时间戳进行同步对应;
本实施例中,采用KNN搜索方式,对双系统得到的统一格式的时间戳进行时间序列的同步。表二展示了基于KNN搜索算法得到的多传感器软时间戳匹配的误差结果,单位为秒。
表二
比较雷达和Wireshark两者对摄像头匹配的差异,误差标准为L1loss,公式如下:
其中,Es为软时间匹配误差,Esmax为软时间匹配的最大误差,tRn为雷达第n帧的时间戳,tCn为摄像头第n帧的时间戳,N为数据集总帧数,τR、τC分别为雷达、摄像头的采样间隔。可以看出最大的匹配误差相比较摄像头或者雷达两帧之间的最小差值要小,因此软时间序列匹配中存在的微小误差基本不会影响数据集中帧对应的准确性。
步骤F:在确认多传感器的头帧时间基础上,以最晚的开始时间为基础,将在此时间之前的数据删除,从而保证剩余数据集的时间戳同步与数据对应。
由于雷达开启存在延时,中间可能存在0.1到0.2秒不等的时延,因此会导致有3到4帧误差,跨系统的同步触发方式并不适用于此种情况。但是从步骤D中可以得知,从传输采集的信令中可以分别得到摄像头和雷达的开始帧时间,从步骤B完成跨系统硬时间同步的基础上,可以设置较晚开启的开始帧时间作为总体数据集的头帧,删除位于该时间之前的小部分数据,根据步骤E得到的多传感器数据帧对应关系,完成数据集的精确时间戳,即满足以下条件:
进一步的,在步骤F中,在保证不同系统硬时间同步和时间戳软时间同步的基础上,可以保证在所有传感器都开启之后的数据帧同步对应,因此可以跳过不同系统的传感器同步触发,即满足以下条件:
其中,E为同步总误差,Eh为硬时间同步误差,Es为软时间匹配误差,τn为第n个传感器的采样间隔。
本实施例中,如图6展示了多传感器数据集的时间戳同步架构与对应误差时间,其中硬时间标定误差在2ms的基础上,加上传感器同步的10ms低误差帧匹配,只要保证对雷达和摄像头的本身第一帧选取不存在问题的情况下,硬时间标定的误差Eh与软时间匹配误差Es的和小于采样率较高的摄像头的采样间隔的1/2,则可以无需同步开启,即可完成在误差范围内的数据集高精度时间戳提取,即满足以下条件。
其中,τR、τC分别为雷达、摄像头的采样间隔。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于NTP协议的跨系统多传感器时间同步与标定方法,其特征在于,包括以下步骤:
步骤A:设置Linux系统作为时间服务器;
步骤B:基于网络协议,对Windows系统进行跨系统硬时间同步;
步骤C:不同系统下多传感器的异步开启与结束;
步骤D:根据网络信令传输的系统时间得到多传感器数据的时间戳;
步骤E:根据软件匹配算法,针对不同系统提取出的时间戳进行同步对应;
步骤F:在确认多传感器的头帧时间基础上,以最晚的开始时间为基础,将在此时间之前的数据删除,从而保证剩余数据集的时间戳同步与数据对应。
2.根据权利要求1所述的一种基于NTP协议的跨系统多传感器时间同步与标定方法,其特征在于,在步骤A中,设置针对本机IP的时间服务器。
3.根据权利要求1所述的一种基于NTP协议的跨系统多传感器时间同步与标定方法,其特征在于,在步骤B中,使用NTP网络时间同步协议,并采用局域网的形式,进行高频率的同步以及实时补偿,保证在数据采集中实时的时间同步,此处可以根据NTP的连接状况得到硬时间标定误差Eh。
4.根据权利要求1所述的一种基于NTP协议的跨系统多传感器时间同步与标定方法,其特征在于,在步骤C中,在相同系统内的多传感器可以采用同步触发开启的方式进行同步,从而可以得到一个系统内统一的硬时间戳用以跨系统的时间匹配,以减少软时间同步带来的误差。
5.根据权利要求1所述的一种基于NTP协议的跨系统多传感器时间同步与标定方法,其特征在于,在步骤D中,通过从主机到传感器的采集信令发送和接受对应的系统时间,为每帧数据提供对应系统的时间戳。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111076037.9A CN113965285B (zh) | 2021-09-14 | 2021-09-14 | 一种基于ntp协议的跨系统多传感器时间同步与标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111076037.9A CN113965285B (zh) | 2021-09-14 | 2021-09-14 | 一种基于ntp协议的跨系统多传感器时间同步与标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113965285A true CN113965285A (zh) | 2022-01-21 |
CN113965285B CN113965285B (zh) | 2022-10-18 |
Family
ID=79461367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111076037.9A Active CN113965285B (zh) | 2021-09-14 | 2021-09-14 | 一种基于ntp协议的跨系统多传感器时间同步与标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113965285B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114383667A (zh) * | 2022-01-29 | 2022-04-22 | 重庆长安汽车股份有限公司 | 多传感器仿真数据同步注入方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060069939A1 (en) * | 2004-07-23 | 2006-03-30 | Kvaser Consultant Ab | Device in a modularized system for effecting time-stamping of events/reference events |
CN102571911A (zh) * | 2011-11-17 | 2012-07-11 | 电信科学技术第五研究所 | 一种基于ntp协议的计算机时间同步及监控方法 |
US20140359036A1 (en) * | 2013-05-31 | 2014-12-04 | Omx Technology Ab | Apparatus, system, and method of elastically processing message information from multiple sources |
CN113247246A (zh) * | 2021-06-29 | 2021-08-13 | 北京科技大学 | 一种基于非同步多相机的扑翼飞行器巡航控制系统 |
-
2021
- 2021-09-14 CN CN202111076037.9A patent/CN113965285B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060069939A1 (en) * | 2004-07-23 | 2006-03-30 | Kvaser Consultant Ab | Device in a modularized system for effecting time-stamping of events/reference events |
CN102571911A (zh) * | 2011-11-17 | 2012-07-11 | 电信科学技术第五研究所 | 一种基于ntp协议的计算机时间同步及监控方法 |
US20140359036A1 (en) * | 2013-05-31 | 2014-12-04 | Omx Technology Ab | Apparatus, system, and method of elastically processing message information from multiple sources |
CN113247246A (zh) * | 2021-06-29 | 2021-08-13 | 北京科技大学 | 一种基于非同步多相机的扑翼飞行器巡航控制系统 |
Non-Patent Citations (1)
Title |
---|
武晓春等: "城市轨道交通NTP时间服务器的研究与设计", 《兰州交通大学学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114383667A (zh) * | 2022-01-29 | 2022-04-22 | 重庆长安汽车股份有限公司 | 多传感器仿真数据同步注入方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113965285B (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103326802A (zh) | 一种实现同步采集的无线网络系统、同步采集装置及方法 | |
CN109587405B (zh) | 时间同步方法和装置 | |
CN108650051B (zh) | 通用全硬件一步式1588的时钟同步装置及方法 | |
CN111555834B (zh) | 基于ieee1588协议的无线网络的时钟同步方法及系统 | |
US9667370B2 (en) | Communication device with peer-to-peer assist to provide synchronization | |
CN101331736B (zh) | 使用传输时间作为提高简单网络时间协议精确度的方法 | |
CN112787740A (zh) | 一种多传感器时间同步装置及方法 | |
EP2288070A1 (en) | Time synchronizing method, device and system of master clock side and slave clock side in synchronous network | |
US20220360350A1 (en) | Method and apparatus for acquiring timestamp of data stream, storage medium, and electronic apparatus | |
CN113965285B (zh) | 一种基于ntp协议的跨系统多传感器时间同步与标定方法 | |
CN107276709B (zh) | 一种时间同步方法及系统 | |
CN111596721B (zh) | 一种数据时间标签的同步方法及设备 | |
CN103647614A (zh) | 基于ieee1588协议的可靠提高时间同步精度方法 | |
CN105391509A (zh) | 基于fpga的网口高精度时间标定方法 | |
CN103546273B (zh) | 基于ptp帧的频率同步装置及方法 | |
CN107272017A (zh) | 多激光雷达系统及其控制方法 | |
CN114337895A (zh) | 基于线性菊花链以太网拓扑的时钟同步系统 | |
CN113225152B (zh) | 一种相机同步的方法、装置及计算机可读介质 | |
US20220269223A1 (en) | Wireless time servicing method, device, and system | |
CN112564883B (zh) | 时间同步设备、方法以及自动驾驶系统 | |
CN111263294B (zh) | 一种基于飞机广播信号的设备节点间时间同步方法及装置 | |
CN117320144A (zh) | 基于无线通信的子母钟时间同步方法和系统 | |
CN113055113A (zh) | 时钟时间同步方法、装置、设备和存储介质 | |
US8180875B1 (en) | Ping-based communication system (PICS) | |
CN113014346A (zh) | 服务器时间偏差监测方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |