CN117152589A - 目标识别方法、系统及存储介质 - Google Patents
目标识别方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117152589A CN117152589A CN202311085087.2A CN202311085087A CN117152589A CN 117152589 A CN117152589 A CN 117152589A CN 202311085087 A CN202311085087 A CN 202311085087A CN 117152589 A CN117152589 A CN 117152589A
- Authority
- CN
- China
- Prior art keywords
- sensor
- acquisition
- time
- data
- synchronous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 230000001360 synchronised effect Effects 0.000 claims abstract description 143
- 238000005070 sampling Methods 0.000 claims abstract description 75
- 238000012360 testing method Methods 0.000 claims description 9
- 239000013078 crystal Substances 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 17
- 238000007689 inspection Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及目标识别技术领域,具体提供一种目标识别方法、系统及存储介质,旨在解决现有的目标识别方法因多个传感器的采集数据时间不一致而导致的识别结果不准确的技术问题。为此目的,本发明的目标识别方法包括:基于预定的全局时钟对所有的传感器进行时间同步;基于预设采集同步参数和每个传感器的采集方式信息,获得与每个传感器对应的数据采集起始时刻;控制每个传感器在与其对应的数据采集起始时刻对待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;基于多个同步采样数据,对待识别目标进行识别。本发明提供的技术方案,能够获得更加精确的目标识别结果。
Description
技术领域
本发明涉及目标识别技术领域,具体提供一种目标识别方法、系统及存储介质。
背景技术
在目前的目标识别系统中,当设置多个传感器对同一待识别目标进行数据采集时,往往存在采集数据不同步的问题。尤其对于不同类型的传感器来说,由于各传感器的扫描机制/扫描方式不同,传感器采集数据对应的时间不统一,导致待识别目标在不同传感器中被采集/扫描的时刻不同,在不同传感器的坐标系下,其对应的位置和尺寸也不一致,导致目前对目标的识别大部分是基于各传感器的采集数据获得各自的识别结果后,再将各自的识别结果进行融合以得到最终的目标识别结果。
实践表明,上述方案无法对运动物体、较小尺寸的物体进行精确识别,在实际应用中造成较多误报、漏报的情况。基于此,本领域需要一种新的目标识别方案来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分地解决现有的目标识别方法因多个传感器的采集数据时间不一致而导致的识别结果不准确的技术问题。
在第一方面,本发明提供一种目标识别方法,应用于目标识别系统;所述系统包括:至少两个用于对待识别目标进行数据采集的传感器;所述方法包括:
基于预定的全局时钟对所有的所述传感器进行时间同步;
基于预设采集同步参数和每个所述传感器的采集方式信息,获得与每个所述传感器对应的数据采集起始时刻;
控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;
基于所述多个同步采样数据,对所述待识别目标进行识别。
在上述目标识别方法的一个技术方案中,所述基于预定的全局时钟对所有的所述传感器进行时间同步,包括:
获取所述全局时钟作为主时钟;
采用gPTP将每个所述传感器的时钟与所述主时钟进行同步。
在上述目标识别方法的一个技术方案中,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号;
针对每个所述传感器执行以下操作:在与该传感器对应的数据采集起始时刻,将与该传感器对应的采集触发信号发送至该传感器,以使该传感器基于该采集触发信号开始对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
在上述目标识别方法的一个技术方案中,所述采集方式信息包括:采集频率;所述基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号,包括:
基于所述全局时钟的晶振频率生成同步信号;
对所述同步信号进行不同倍数的分频,生成与每个所述传感器对应的采集触发信号;其中,与每个所述传感器对应的所述采集触发信号的频率与该传感器的所述采集频率一致。
在上述目标识别方法的一个技术方案中,所述目标识别系统包括与待识别移动端进行信息交互的固定场端;所述传感器包括:安装于所述固定场端的预定位置的摄像机、激光雷达和GNSS天线中的至少一种;所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。
在上述目标识别方法的一个技术方案中,所述预设采集同步参数还包括:预设的参考位置坐标;所述方法还包括:
基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度;
和/或,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
控制每个所述传感器在与其对应的数据采集起始时刻,以与其对应的起始扫描角度对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
在上述目标识别方法的一个技术方案中,所述参考位置坐标至少一个;所述参考位置坐标采用以下方式预先设置:
基于每个所述传感器的安装位置信息,获得每个所述传感器的视场角信息;
获取所述固定场端中预定的ROI区域;
基于所述ROI区域和每个所述传感器的视场角信息,获得至少一个参考位置的坐标范围,以及,与每个所述参考位置对应的传感器;
从每个所述坐标范围中确定出与该坐标范围对应的参考位置坐标;其中,每个所述参考位置坐标满足以下条件:在预设的一个扫描周期中,与该参考位置对应的传感器扫描到该参考位置的时间戳差值最小。
在上述目标识别方法的一个技术方案中,所述基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度,包括:
将所述参考位置坐标转换到每个所述传感器的坐标系下,获得与每个所述传感器对应的参考坐标;
针对每个所述传感器,执行以下操作:基于与该传感器对应的参考坐标和该传感器的所述采集方式信息,获得该传感器的起始扫描角度。
在上述目标识别方法的一个技术方案中,所述方法还包括:
对所述同一时间轴下的多个同步采样数据进行检验;
当所述检验不通过时,更新所述采集同步参数。
在上述目标识别方法的一个技术方案中,所述对所述同一时间轴下的多个同步采样数据进行检验,包括:
针对每个所述同步采样数据,执行以下操作:
基于该同步采样数据对应的传感器的采集频率,计算所述预设采集同步参数下的该同步采样数据的帧起始位置对应的时刻;
判断该同步采样数据的帧起始位置对应的时刻是否与该传感器对应的所述采集触发信号相匹配;
当匹配时,确定该同步采样数据检验通过。
在上述目标识别方法的一个技术方案中,所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向;所述对所述同一时间轴下的多个同步采样数据进行检验,包括:
针对每个所述同步采样数据,执行以下操作:
获取该同步采样数据对应的传感器扫描至所述同步扫描方向的时刻作为实际时刻;
计算所述实际时刻与所述预设时刻之间的差值;
判断所述差值是否小于预设偏差阈值;
当所述差值小于所述预设偏差阈值时,确定该同步采样数据检验通过。
在上述目标识别方法的一个技术方案中,所述目标识别系统包括与待识别移动端进行信息交互的固定场端;所述方法还包括:
对所述待识别移动端和所述固定场端进行时间同步。
在上述目标识别方法的一个技术方案中,所述固定场端所用时间包括:预设的第一系统时间和预设的第一本地时间;所述待识别移动端所用时间包括:预设的第二系统时间和预设的第二本地时间;所述对所述待识别移动端和所述固定场端进行时间同步,包括:
获取所述第一系统时间与所述第二系统时间之间的时间差作为第一时间差;
获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差;
获取所述第二系统时间与所述第二本地时间之间的时间差作为第三时间差;
基于所述第一时间差、所述第二时间差和所述第三时间差,计算所述第一本地时间与所述第二本地时间之间的时间差;
基于所述第一本地时间与所述第二本地时间之间的时间差,对所述待识别移动端和所述固定场端进行时间同步。
在上述目标识别方法的一个技术方案中,所述对所述待识别移动端和所述固定场端进行时间同步,还包括:
检测所述固定场端与所述待识别移动端之间的链路延迟;
基于所述链路延迟和所述第一时间差,判断所述第一时间差是否可信;
所述获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差,包括:
当所述第一时间差可信时,获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差。
在第二方面,提供一种目标识别系统,该目标识别系统包括多个传感器、处理器和存储装置;所述传感器用于对待识别目标进行数据采集;所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述目标识别方法的技术方案中任一项技术方案所述的目标识别方法。
在第三方面,提供一种计算机可读存储介质,该计算机可读存储介质其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述目标识别方法的技术方案中任一项技术方案所述的目标识别方法。
方案1.一种目标识别方法,其特征在于,应用于目标识别系统;所述系统包括:至少两个用于对待识别目标进行数据采集的传感器;所述方法包括:
基于预定的全局时钟对所有的所述传感器进行时间同步;
基于预设采集同步参数和每个所述传感器的采集方式信息,获得与每个所述传感器对应的数据采集起始时刻;
控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;
基于所述多个同步采样数据,对所述待识别目标进行识别。
方案2.根据方案1所述的目标识别方法,其特征在于,所述基于预定的全局时钟对所有的所述传感器进行时间同步,包括:
获取所述全局时钟作为主时钟;
采用gPTP将每个所述传感器的时钟与所述主时钟进行同步。
方案3.根据方案1所述的目标识别方法,其特征在于,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号;
针对每个所述传感器执行以下操作:在与该传感器对应的数据采集起始时刻,将与该传感器对应的采集触发信号发送至该传感器,以使该传感器基于该采集触发信号开始对所述待识别目标进行数据采集,以获得同一时间轴下的多个同步采样数据。
方案4.根据方案3所述的目标识别方法,其特征在于,所述采集方式信息包括采集频率;所述基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号,包括:
基于所述全局时钟的晶振频率生成同步信号;
对所述同步信号进行不同倍数的分频,生成与每个所述传感器对应的采集触发信号;其中,与每个所述传感器对应的所述采集触发信号的频率与该传感器的所述采集频率一致。
方案5.根据方案1-4任一项所述的目标识别方法,其特征在于,所述目标识别系统包括与待识别移动端进行信息交互的固定场端;所述传感器包括:安装于所述固定场端的预定位置的摄像机、激光雷达和GNSS天线中的至少一种;所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。
方案6.根据方案5所述的目标识别方法,其特征在于,所述预设采集同步参数还包括:预设的参考位置坐标;所述方法还包括:
基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度;
和/或,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
控制每个所述传感器在与其对应的数据采集起始时刻,以与其对应的起始扫描角度对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
方案7.根据方案6所述的目标识别方法,其特征在于,所述参考位置坐标至少一个;所述参考位置坐标采用以下方式预先设置:
基于每个所述传感器的安装位置信息,获得每个所述传感器的视场角信息;
获取所述固定场端中预定的ROI区域;
基于所述ROI区域和每个所述传感器的视场角信息,获得至少一个参考位置的坐标范围,以及,与每个所述参考位置对应的传感器;
从每个所述坐标范围中确定出与该坐标范围对应的参考位置坐标;其中,每个所述参考位置坐标满足以下条件:在预设的一个扫描周期中,与该参考位置对应的传感器扫描到该参考位置的时间戳差值最小。
方案8.根据方案6所述的目标识别方法,其特征在于,所述基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度,包括:
将所述参考位置坐标转换到每个所述传感器的坐标系下,获得与每个所述传感器对应的参考坐标;
针对每个所述传感器,执行以下操作:基于与该传感器对应的参考坐标和该传感器的所述采集方式信息,获得该传感器的起始扫描角度。
方案9.根据方案4所述的目标识别方法,其特征在于,所述方法还包括:
对所述同一时间轴下的多个同步采样数据进行检验;
当所述检验不通过时,更新所述采集同步参数。
方案10.根据方案9所述的目标识别方法,其特征在于,所述对所述同一时间轴下的多个同步采样数据进行检验,包括:
针对每个所述同步采样数据,执行以下操作:
基于该同步采样数据对应的传感器的采集频率,计算所述预设采集同步参数下的该同步采样数据的帧起始位置对应的时刻;
判断该同步采样数据的帧起始位置对应的时刻是否与该传感器对应的所述采集触发信号相匹配;
当匹配时,确定该同步采样数据检验通过。
方案11.根据方案9所述的目标识别方法,其特征在于,所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向;所述对所述同一时间轴下的多个同步采样数据进行检验,包括:
针对每个所述同步采样数据,执行以下操作:
获取该同步采样数据对应的传感器扫描至所述同步扫描方向的时刻作为实际时刻;
计算所述实际时刻与所述预设时刻之间的差值;
判断所述差值是否小于预设偏差阈值;
当所述差值小于所述预设偏差阈值时,确定该同步采样数据检验通过。
方案12.根据方案1所述的目标识别方法,其特征在于,所述目标识别系统包括:与待识别移动端进行信息交互的固定场端;所述方法还包括:
对所述待识别移动端和所述固定场端进行时间同步。
方案13.根据方案12所述的目标识别方法,其特征在于,所述固定场端所用时间包括:预设的第一系统时间和预设的第一本地时间;所述待识别移动端所用时间包括:预设的第二系统时间和预设的第二本地时间;所述对所述待识别移动端和所述固定场端进行时间同步,包括:
获取所述第一系统时间与所述第二系统时间之间的时间差作为第一时间差;
获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差;
获取所述第二系统时间与所述第二本地时间之间的时间差作为第三时间差;
基于所述第一时间差、所述第二时间差和所述第三时间差,计算所述第一本地时间与所述第二本地时间之间的时间差;
基于所述第一本地时间与所述第二本地时间之间的时间差,对所述待识别移动端和所述固定场端进行时间同步。
方案14.根据方案13所述的目标识别方法,其特征在于,所述对所述待识别移动端和所述固定场端进行时间同步,还包括:
检测所述固定场端与所述待识别移动端之间的链路延迟;
基于所述链路延迟和所述第一时间差,判断所述第一时间差是否可信;
所述获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差,包括:
当所述第一时间差可信时,获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差。
方案15.一种目标识别系统,其特征在于,包括多个传感器、处理器和存储装置;所述传感器用于对待识别目标进行数据采集;所述存储装置适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行方案1至14中任一项所述的目标识别方法。
方案16.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行方案1至14中任一项所述的目标识别方法。
本发明上述一个或多个技术方案,至少具有如下一种或多种有益效果:
在实施本发明的技术方案中,通过基于预定的全局时钟对所有的传感器进行时间同步,并基于预设采集同步参数和每个传感器的采集方式信息,获得与每个传感器对应的数据采集起始时刻,控制每个传感器在与其对应的数据采集起始时刻对待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,基于该多个同步采样数据,对待识别目标进行识别,使得在设置有多个传感器的情况下,能够控制该多个传感器在统一的时间下进行同步数据采集,进而能够获得同一时间轴下的多个同步采样数据,以该同步采样数据进行目标识别,能够解决现有技术因多个传感器的采集数据时间不一致而导致的识别结果不准确的技术问题。相较于现有技术,本发明提供的技术方案能够获得更加精确的目标识别结果。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是本发明一个实施例的目标识别方法的主要步骤流程示意图;
图2是本发明一个实施例中多个传感器同步时序图;
图3是本发明一个实施例中参考位置选择示意图;
图4是本发明一个实施例中多个摄像机触发时序图;
图5是本发明一个实施例中激光雷达数据帧同步机制示意图;
图6是本发明一个实施例中换电站与电动汽车之间的数据传输示意图;
图7是本发明一个实施例的目标识别装置的主要结构框图示意图。
附图标记列表:
11:第一时间同步单元;12:起始时刻获取单元;
13:控制单元;14:识别单元。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
在目前的目标识别系统中,当设置多个传感器对同一待识别目标进行数据采集时,往往存在采集数据不同步的问题。例如,用于对电动汽车进行电池更换的换电站,其作为固定的基建系统,随着换电流程自动化需求中对于周围环境安全性要求的提高,对传感器视野覆盖率以及细小物体的识别要求也相应提高。以往的换电站周围通常布置有摄像机用于安防监控需求,目前已经有在换电站上布置多个不同类型传感器的方案以增强对换电站周围环境以及车辆的感知能力。
在现有固定位置的换电站和固定摆放的传感器布置方案中,由于各传感器的扫描机制/扫描方式不同,传感器采集数据对应的时间不统一,导致运动物体在不同传感器中被扫描的时刻不同,在不同传感器的坐标系下其对应位置和尺寸不一致,导致感知识别方案大部分基于各自传感器的采集数据进行目标识别后,再对各识别结果进行融合校验得到最终的感知识别结果。由于该方案无法结合不同类型传感器的特点对同一物体特别是运动物体进行更精确的识别和定位,对于小尺寸物体例如小型动物、锥桶以及三角警示牌的识别精度低,造成很多误报、漏报的情况发生。
本发明以换电站为例设计了一种固定传感器位置下的配置方式简单、感知精度高的多传感器融合方案,在不脱离本发明发明构思基础上,本发明的多传感器融合方案不局限于换电站,也可以用于充电站、蓄电站、洗车场、修车场等能够设置多传感器、且有目标识别需求的固定场所。
本方案利用全局时钟将感知识别系统的时间轴与各传感器时间轴进行同步,同时基于各传感器的扫描机制/扫描方式分别对传感器的起始扫描时刻进行配置,并监控其运行的稳定性以此得到同一时间轴下不同类型的同步采样数据。此外考虑到传感器的固定位置本方案将传感器的外参因素导入到同步方案中,基于各传感器的FOV(Field of View,视场角)覆盖情况选择共同参考点,实现了多传感器在时间和空间上的同步,为后续感知识别系统处理多传感器数据提供了基础,帮助感知识别系统利用多传感器原始数据进行前融合,实现对目标物体更好的信息识别。由于无线链路延迟不稳定,平均链路延迟大,本方案在固定场端(比如换电站)和移动端(比如电动汽车)之间建立时间同步机制,保证对双方收发消息基于时间同步结果进行转换,将对方的时间戳转换为本地可用的时间戳。通过软件对数据进行时间维度的补偿可以消除数据链路延迟大导致的不稳定问题。
参阅附图1,图1是本发明一个实施例的目标识别方法的主要步骤流程示意图。本发明的目标识别方法应用于目标识别系统,该系统包括:至少两个用于对待识别目标进行数据采集的传感器。如图1所示,本发明实施例中的目标识别方法主要包括下列步骤S101-步骤S104。
步骤S101,基于预定的全局时钟对所有的所述传感器进行时间同步;
本实施例中,所述目标识别系统包括:与待识别移动端进行信息交互的固定场端;其中,所述待识别移动端可以是汽车,也可以是其他待识别移动端。所述固定场端可以是用于对电动汽车进行电池更换的换电站、用于对电动汽车进行电池充电的充电站或蓄电站等。该固定场端还可以是洗车场或修车场等能够对车辆进行识别定位的固定场所所述传感器包括:安装于所述固定场端的预定位置的摄像机、激光雷达和GNSS天线中的至少一种。
以下以固定场端为换电站、待识别移动端为电动汽车为例,来说明本实施例的具体技术方案。
在一种实施方式中,所述待识别目标可以为静止或运动中的电动汽车。其中,电动汽车包括ADAS(Advanced Driving Assistance System,高级驾驶辅助系统)域控器;换电站包括用于进行各种数据处理的中央控制单元。所述全局时钟可以是上述中央控制单元基于本地晶振生成的时钟。为了准确、有效地实现多个传感器的时间同步,本实施例所述的基于预定的全局时钟对所有的所述传感器进行时间同步,包括:获取所述全局时钟作为主时钟;采用gPTP将每个所述传感器的时钟与所述主时钟进行同步。
本实施例中,各传感器与中央控制单元之间可以通过无线网络(如以太网)连接,也可以通过硬线连接。当通过无线网络连接时,可以采用gPTP将各传感器时钟与主时钟进行同步;当通过硬线连接时,可采用相应的硬线连接时间同步方案去做同步,直接基于本地的全局时钟生成对应的触发信号。本实施例以以太网连接为例,来描述各传感器与主时钟之间的同步方案。
本实施例中,换电站的中央控制单元将其自身基于本地晶振生成的全局时钟作为主时钟,并采用IEEE802.1AS协议的gPTP(generalized Precision Time Protocol,广义时钟同步协议)将每个摄像机和每个激光雷达的时钟与该主时钟进行同步。中央控制单元基于本地晶振生成的主时钟作为gPTP时间同步的源头,对所有与其连接的传感器发布同步信号和用于同步的时间戳。gPTP的目的是实现时间同步,时间实现同步后传感器都在统一的时间轴上,才有机会实现传感器采集同步,因此,实现gPTP是以太网上传感器时间同步的基础,只有基于gPTP时间同步机制并将本地时间戳和gPTP进行关联,才能确保所有传感器的时间轴统一,为后续传感器同步触发采样提供基础。
步骤S102,基于预设采集同步参数和每个所述传感器的采集方式信息,获得与每个所述传感器对应的数据采集起始时刻;
本实施例中,所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。该采集同步参数是基于用户的期望设置的。
例如,用户期望在8点所有传感器均扫描至X方向,则可以设置上述预设时刻为8点,上述同步扫描方向为X方向。
本实施例中,所述传感器的采集方式信息包括:该传感器的采集频率、旋转方向、旋转速度等。换电站的中央控制单元会根据用户设置的上述采集同步参数和每个传感器的上述采集方式信息,自动计算出每个传感器对应的数据采集起始时刻。
在一种实施方式中,中央控制单元也可以将上述采集同步参数直接发送给每个传感器,每个传感器基于该采集同步参数结合自身的采集方式,自动调整自身的数据采集起始时刻。
步骤S103,控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;
为了准确、有效地对每个传感器的数据采集过程进行控制,本实施例所述的控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号;针对每个所述传感器执行以下操作:在与该传感器对应的数据采集起始时刻,将与该传感器对应的采集触发信号发送至该传感器,以使该传感器基于该采集触发信号开始对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
如上文所述,本实施例所述的采集方式信息包括:采集频率。则本实施例所述的基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号,包括:基于所述全局时钟的晶振频率生成同步信号;对所述同步信号进行不同倍数的分频,生成与每个所述传感器对应的采集触发信号;其中,与每个所述传感器对应的所述采集触发信号的频率与该传感器的所述采集频率一致。
具体地,中央控制单元的SOC(System On Chip,片上系统)基于本地全局时钟生成一个高频的同步信号,基于该同步信号的频率对该同步信号进行不同倍数的分频,生成用于触发每个传感器的触发信号,即上述采集触发信号,随后通过硬线或无线网络(如以太网)的方式将该触发信号发送给各传感器,以使各传感器开始进行数据采集工作。需要说明的是,通过硬线传输的方式由于传输延迟很小,各传感器接收到触发信号后可立即开始数据采集工作。而通过无线网络传输时,需要考虑网络延迟问题,各触发信号会携带相应的时间戳,各传感器接收到触发信号后会基于对应的时间戳来确定其具体的数据采集时刻,以避免网络延迟对同步效果的影响。
在实际应用中,由于各传感器位置固定且扫描方式固定,站端传感器时间同步方案可以选择相对简单的方式以减少系统复杂度。基于SOC自身时间基准下设置ptp时间戳为整百ms为时间同步点(或其他任意值),如图2中第二个ptp时间轴箭头所示,即为上述通过全局时钟生成的同步信号。
假设用户期望激光雷达和摄像机能够在某一预设时刻扫描到某一预设的方向,例如,在8点扫描到X方向,由于每个传感器扫描方式固定,可以反推每个传感器的扫描起始时刻(即上述数据采集起始时刻)对应的ptp时间戳。例如,激光雷达可能在010ms时刻开始扫描,摄像机可能在078ms时刻开始扫描,在系统初始化阶段通过配置接口传入用户设置的上述采集同步参数,以使系统能够基于该采集同步参数和每个传感器的采集方式,自动计算出每个传感器开始进行数据采集的时刻。
进一步地,在一个实施例中,为了使各传感器达到更好的同步效果,所述的预设采集同步参数还包括:预设的参考位置坐标。则本实施例所述的目标识别方法还包括:基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度。在此前提下,本实施例所述的控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:控制每个所述传感器在与其对应的数据采集起始时刻,以与其对应的起始扫描角度对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
即在本实施例中,还通过获得每个传感器的起始扫描角度以使其达到更好的同步效果。
进一步地,在一个实施例中,为了准确地获得每个传感器的起始扫描角度,所述基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度,包括:将所述参考位置坐标转换到每个所述传感器的坐标系下,获得与每个所述传感器对应的参考坐标;针对每个所述传感器,执行以下操作:基于与该传感器对应的参考坐标和该传感器的所述采集方式信息,获得该传感器的起始扫描角度。
本实施例中,基于每个传感器的外参和内参对所述参考位置坐标进行旋转平移操作,可以将该参考位置坐标转换到每个传感器的坐标系下,获得与每个传感器对应的参考坐标。对于每个传感器来说,基于该参考坐标和该传感器本身的数据采集方式信息,可以计算出该传感器的起始扫描角度。
进一步地,在一个实施例中,为了使各传感器进一步达到更好的同步效果,所述参考位置坐标至少一个,本实施例所述的参考位置坐标采用以下方式预先设置:基于每个所述传感器的安装位置信息,获得每个所述传感器的视场角信息;获取所述换电站中预定的ROI区域;基于所述ROI区域和每个所述传感器的视场角信息,获得至少一个参考位置的坐标范围,以及,与每个所述参考位置对应的传感器;从每个所述坐标范围中确定出与该坐标范围对应的参考位置坐标;其中,每个所述参考位置坐标满足以下条件:在预设的一个扫描周期中,与该参考位置对应的传感器扫描到该参考位置的时间戳差值最小。
其中,所述时间戳差值最小的含义为,各传感器能够几乎同时扫描到该参考位置。之后,在各传感器继续扫描的过程中,其会逐渐远离参考位置而向扫描图像边缘扩散,各传感器扫描图像之间的时间差也会逐渐增大,符合在实际应用中对于画面关注位置(即参考位置)误差小、画面边缘误差大的预期。
其中,所述ROI(Region Of Interest,感兴趣区域)区域为换电站的中央控制单元在对目标物体进行识别时的感兴趣区域。基于该ROI区域和每个传感器的视场角,可以获得每个传感器的视场角中包含ROI区域的重叠区域,进而根据该重叠区域可以获得多个参考位置的坐标范围,基于上述参考位置坐标应该满足的条件,从每个坐标范围中可以确定出一个参考位置坐标。对于每个参考位置,可以选择以该参考位置为中心的预设范围内的传感器作为与该参考位置对应的传感器。
具体地,考虑到每个传感器的视场角不同且覆盖范围不同,为了达到最佳的同步效果,基于感知识别关心的区域(ROI区域)选择多个参考位置(即图3中的参考点),并对传感器进行分组。以换电站为例,本实施例基于站端坐标系下选择了对应多个参考点,如图3所示。图3中Ref M点为站内参考点,Ref P点为站外参考点,则站内的两个激光雷达可以基于传感器位置标定参数、参考点坐标以及其自身的扫描点云图(即激光雷达所采集的数据形成的点云图),计算出数据帧起始时刻,以用于后续的同步检验。假定传感器扫描方式固定的情况下,将上文中的预设时刻、与该预设时刻对应的所有传感器的同步扫描方向和每个传感器的起始扫描角度统一输入到传感器中进行配置,保证默认扫描方式下各传感器的同步效果满足识别精度需求。
需要说明的是,图3仅为参考点示意图,实际的参考点位置和数量本实施例不作具体限制。
进一步地,在一个实施例中,为了保证各传感器的同步效果,所述目标识别方法还包括:对所述同一时间轴下的多个同步采样数据进行检验;当所述检验不通过时,更新所述采集同步参数。
进一步地,在一个实施例中,为了准确、有效地同步效果进行检验,所述对所述同一时间轴下的多个同步采样数据进行检验,包括:针对每个所述同步采样数据,执行以下操作:基于该同步采样数据对应的传感器的采集频率,计算所述预设采集同步参数下的该同步采样数据的帧起始位置对应的时刻;判断该同步采样数据的帧起始位置对应的时刻是否与该传感器对应的所述采集触发信号相匹配;当匹配时,确定该同步采样数据检验通过。相应地,当不匹配时,确定该同步采样数据检验不通过。
如上文所述,所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。在此前提下,为了准确、有效地同步效果进行检验,本实施例所述的对所述同一时间轴下的多个同步采样数据进行检验,包括:针对每个所述同步采样数据,执行以下操作:获取该同步采样数据对应的传感器扫描至所述同步扫描方向的时刻作为实际时刻;计算所述实际时刻与所述预设时刻之间的差值;判断所述差值是否小于预设偏差阈值;当所述差值小于所述预设偏差阈值时,确定该同步采样数据检验通过。
即在本实施例中,可以采用上述两种检验方法对传感器的同步效果进行有效检验。
具体地,根据传感器的采集频率来推算当前预设采集同步参数下由该传感器采集的同步采样数据的帧起始位置,并获取该帧起始位置对应的时刻,判断该时刻是否与该传感器对应的采集触发信号相匹配,当匹配时,确定该同步采样数据检验通过,即确定各传感器是同步的。在各传感器同步的情况下,各传感器采集的数据的帧起始时刻稳定,则参考位置能够实现自动同步。同步检验的方式也可以是每隔一段时间(1分钟或5分钟,视传感器的稳定性确定)对传感器采集的数据进行解析,获取该传感器扫描至上述预设的同步扫描方向的时刻,并计算该时刻与上述用户期望的预设时刻之间的差值,判断该差值是否在允许的数值范围内。
本实施例基于全局时钟将各个传感器的时间统一,避免了多个传感器之间的互相耦合。在实际应用中,可以设置专门的时间同步模块,由该时间同步模块定期根据各传感器反馈数据的时间戳,对采集的数据进行检验,并判断是否需要更新采集同步参数,以实现各传感器所采集的数据在时间上的对齐。
在实际应用中,对于不同类型的摄像机,可以采用其芯片内部的硬件计数器,并基于采集同步参数对同步信号做定时触发。视频流接收端会基于数据的帧起始位置记录时间戳,同时记录触发同步信号的时间戳,时间同步模块会定时对于摄像机输出的时间戳进行校验,当出现摄像机同步误差超过设定值时,会根据偏差值输出对同步信号的相位调节值,更新硬件计数器Count值,保证调节后摄像机重新与全局时钟同步,实现与其他传感器的解耦。
图4是本实施例中多个摄像机触发时序图,显示了触发摄像机工作的时机。图4中的两个平行四边形代表摄像机曝光的时序,每次接收到触发信号时,其会延迟一段时间后再进行曝光操作,曝光操作之后会将相应的数据读出。参考曝光中心点指的是该摄像机的视觉中心,位于每个平行四边形的正中心,在该中心位置,假设其开始曝光的时刻为500ms,则通过本方案,可以将各个摄像机开始曝光的时刻均对齐到该500ms,则对于一个频率为10Hz的摄像机来说,其下一帧的曝光时刻应该为第600ms,如此,就实现了多个摄像机在时间上的对齐操作,从而实现了多个摄像机的同步采集。
在实际应用中,对于激光雷达,预设采集同步参数均通过以太网传输,且需要激光雷达通过支持gPTP协议实现与SOC之间的时间同步。由于以太网传输过程中数据链路延迟存在不确定性,得益于固定端场景下自身姿态和参考点的相对位置变化较小,使其并不需要高实时性动态调整上述采集同步参数,只需要激光雷达的扫描方式固定且电机旋转方向和转速稳定,在控制端进行定期的监控即可实现较好的同步效果。不过由于激光雷达扫描方式下数据的分布呈现一定规律性,固定端场景下多个激光雷达扫描到参考点周围不同区域内数据的时间戳是确定的。则该方案设计时需要考虑不同旋转方向上ROI区域时间戳的差异性。以图5为例,通过两个参考点Ref M和Ref P,换电站内和换电站外的区域被分成了四块,对激光雷达设定不同的旋转方向,对应每个区域内两个激光雷达数据时间的差值分布不同,需要保证感知的ROI区域时间戳差异最小,即保证在同一个扫描周期中,与该参考位置(即图5中的参考点)对应的传感器扫描到该参考位置的时间戳差值最小,从而达到最好的数据融合效果。
在图5中,Ref M1是为了与Ref M进行比较,从图中可看出,雷达C和雷达D扫描到Ref M的时间差为0,即雷达C和雷达D可以同时扫描到Ref M;而雷达C和雷达D扫描到Ref M1具有一定的时间差,即雷达C和雷达D不能同时扫描到Ref M1,则Ref M为雷达C和雷达D所对应的最优参考位置。同理,Ref P1是为了与Ref P进行比较,从图中可看出,雷达A和雷达B扫描到Ref P的时间差为0,即雷达A和雷达B可以同时扫描到Ref P;而雷达A和雷达B扫描到Ref P1具有一定的时间差,即雷达A和雷达B不能同时扫描到Ref P1,则Ref P为雷达A和雷达B所对应的最优参考位置。
步骤S104,基于所述多个同步采样数据,对所述待识别目标进行识别。
上述步骤S101-S104,本发明能够解决现有的目标识别方法因多个传感器的采集数据时间不一致而导致的识别结果不准确的技术问题。进一步地,对于待识别移动端和固定场端来说,待识别移动端和固定场端需要时间同步以确保两端的数据传输不会因为链路延迟导致实时性变差。如果没有时间同步的情况下,数据链路延迟10ms->100ms->1s对于业务的影响是直接的。如果两端实现了时间同步,则双方互传的数据附带了本地的时间戳,并且可以通过时间同步误差转换为对端的时间戳,则对端接受数据后虽然有一定的延迟,但是仍可以根据时间戳去匹配本地对应时间戳下的数据,从而达到较好的识别和控制精度,大大地降低了数据链路延迟不确定性对业务的影响,使得数据业务对于网络延迟的依赖性大大降低。
因此,为了达到上述效果,以获得更精确的目标识别结果,本发明一个实施例所述的目标识别方法还包括:对所述待识别移动端和所述固定场端进行时间同步。本实施例中,所述固定场端所用时间包括:预设的第一系统时间和预设的第一本地时间,即固定场端中不同的业务模块采用不同的时间基准,根据业务的不同,有些模块选用第一系统时间,有些模块选用第一本地时间。同样,所述待识别移动端所用时间包括:预设的第二系统时间和预设的第二本地时间,即待识别移动端中不同的业务模块也采用不同的时间基准,有些模块选用第二系统时间,有些模块选用第二本地时间。在此前提下,本实施例所述的对所述待识别移动端和所述固定场端进行时间同步,包括:获取所述第一系统时间与所述第二系统时间之间的时间差作为第一时间差;获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差;获取所述第二系统时间与所述第二本地时间之间的时间差作为第三时间差;基于所述第一时间差、所述第二时间差和所述第三时间差,计算所述第一本地时间与所述第二本地时间之间的时间差;基于所述第一本地时间与所述第二本地时间之间的时间差,对所述待识别移动端和所述固定场端进行时间同步。
以下仍以固定场端为换电站、待识别移动端为电动汽车为例,来说明本实施例提供的技术方案。
具体地,可以通过上述同步方法来对电动汽车和换电站进行时间同步。在一种实施方式中,基于优化后的Linux clockdiff命令,检测第一系统时间与第二系统时间之间的时间差作为第一时间差;获取第一系统时间与第一本地时间之间的时间差作为第二时间差;获取第二系统时间与第二本地时间之间的时间差作为第三时间差;基于上述第一时间差、第二时间差和第三时间差,计算第一本地时间与第二本地时间之间的时间差;基于第一本地时间与第二本地时间之间的时间差,对电动汽车和换电站进行时间同步。
本实施例所采用的Linux clockdiff命令,是优化后的Linux clockdiff命令,在测试次数、测试时间和系统偏差的计算逻辑等方面均进行了优化,以获得电动汽车和换电站之间更准确的时间偏差,进而在其二者之间达到更好的时间同步效果。
进一步地,在一个实施例中,为了达到更加准确的同步效果,所述对所述电动汽车和所述换电站进行时间同步,还包括:检测所述换电站与所述电动汽车之间的链路延迟;基于所述链路延迟和所述第一时间差,判断所述第一时间差是否可信;在此前提下,本实施例所述的获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差,包括:当所述第一时间差可信时,获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差。
具体地,本实施例对于换电站和电动汽车之间的时间同步方案依托于linux工具中的clockdiff工具和ping命令。对于数据传输的移动端和固定端时间同步,在两端各布置了一个转发器模块,如图6所示,由两个转发器模块对两端传输的信息进行时间戳转换。通过转发器模块在双方建立连接后发起clockdiff测试,不断使用ping命令测试双方链路延迟。结合clockdiff得到的两端系统时间偏差和ping命令结果,确定当前clockdiff结果是否可信,如果可信,则对固定端的本地时间和系统时间的差值、移动端的本地时间和系统时间的差值进行计算,发送到固定端或者移动端进一步计算两端本地时间之间的时间差,从而对两端时间进行同步。两端转发器对称布置,逻辑相同,双方均可以通过该方式得到两端的时间戳误差。此外,对称布置可以保证两端的控制逻辑复用,也可以考虑对于上行数据和下行数据统一在一端进行时间戳转换。转发器可以对链路状态进行判断,从而确定时间同步结果的正确性,将上述链路状态和确定的结果同步发送给数据消费方,即图6中的各应用模块。
除了与电动汽车进行时间同步,固定场端(如换电站)还可以与其他移动设备,如手机、平板等移动端进行时间同步,以保证两端在数据传输过程中时间戳的一致性。
本发明实施例提供的技术方案,通过基于预定的全局时钟对所有的传感器进行时间同步,并基于预设采集同步参数和每个传感器的采集方式信息,获得与每个传感器对应的数据采集起始时刻,控制每个传感器在与其对应的数据采集起始时刻对待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,基于该多个同步采样数据,对待识别目标进行识别,使得在设置有多个传感器的情况下,能够控制该多个传感器在统一的时间下进行同步数据采集,进而能够获得同一时间轴下的多个同步采样数据,以该同步采样数据进行目标识别,能够解决现有技术因多个传感器的采集数据时间不一致而导致的识别结果不准确的技术问题。相较于现有技术,本发明提供的技术方案能够获得更加精确的目标识别结果。
本发明利用固定站端(换电站端)的计算单元内的全局时钟去主动触发摄像机/激光雷达等多类型传感器,基于各传感器不同的扫描方式和工作原理基于统一时间基准在不同时刻给予修正量,实现多传感器数据同步采集和空间对齐。解决了现有技术中多传感器时间轴不统一,扫描方式不同导致的数据采样时刻不一致,由于不同传感器坐标系不同导致的数据图像无法在公共参考系下对齐的问题。
本发明在固定站端(换电站端)和移动端(电动汽车端)布置转发器模块,基于Linux下的clockdiff工具进行改进,获取双方系统的时间差值,并结合本地时间轴的差值进行转换。解决了固定站端和移动端通过无线互联方式,数据链路延迟大且延迟不稳定导致的识别结果误差大、控制精度差的问题。
本发明基于换电站场景下固定位置的传感器布置提供了一种简单鲁棒的多传感器同步的技术方案,为传感器的感知融合提供了更好的技术基础。解决了多传感器融合过程中因为采样时间不同步、空间坐标不同步导致图像出现运动模糊/图像关键特征丢失拉长/多传感器识别结果不一致,从而导致感知系统识别目标误识别或者漏识别的问题。此外,针对换电站端的计算平台和电动汽车以及其他移动设备例如手机之间的通信互联方案中,提供了一种时间同步方法,利用Linux下的clockdiff工具帮助移动端和站端计算两个系统间的时间误差,保证两个系统在数据传输过程中时间戳的一致性,降低了自动驾驶中对于数据链路延迟的依赖度,避免了由于移动端和站端的无线通信链路不稳定、环境干扰导致延迟抖动大而造成的业务中断,为移动端和站端的通信提供基础。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
进一步地,本发明还提供了一种目标识别装置。
参阅附图7,图7是本发明一个实施例的目标识别装置的主要结构框图。该装置应用于目标识别系统,该系统包括:至少两个用于对待识别目标进行数据采集的传感器。如图7所示,本发明实施例中的目标识别装置,主要包括第一时间同步单元11、起始时刻获取单元12、控制单元13和识别单元14。其中,
第一时间同步单元11,用于基于预定的全局时钟对所有的所述传感器进行时间同步;
起始时刻获取单元12,用于基于预设采集同步参数和每个所述传感器的采集方式信息,获得与每个所述传感器对应的数据采集起始时刻;
控制单元13,用于控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;
识别单元14,用于基于所述多个同步采样数据,对所述待识别目标进行识别。
本实施例中,所述第一时间同步单元11采用以下方式对所有的传感器进行时间同步:
获取所述全局时钟作为主时钟;
采用gPTP将每个所述传感器的时钟与所述主时钟进行同步。
本实施例中,所述控制单元13包括:
触发信号生成单元,用于基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号;
触发信号发送单元,用于针对每个所述传感器执行以下操作:在与该传感器对应的数据采集起始时刻,将与该传感器对应的采集触发信号发送至该传感器,以使该传感器基于该采集触发信号开始对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
本实施例中,所述采集方式信息包括:采集频率;所述触发信号生成单元采用以下方式生成与每个所述传感器对应的采集触发信号:
基于所述全局时钟的晶振频率生成同步信号;
对所述同步信号进行不同倍数的分频,生成与每个所述传感器对应的采集触发信号;其中,与每个所述传感器对应的所述采集触发信号的频率与该传感器的所述采集频率一致。
本实施例中,所述目标识别系统包括:用于对电动汽车进行电池更换的换电站;所述传感器包括:安装于所述换电站的预定位置的摄像机和激光雷达;所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。
本实施例中,所述预设采集同步参数还包括:预设的参考位置坐标。本实施例所述的目标识别装置还包括:
起始扫描角度获取单元,用于基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度;
所述控制单元13还用于控制每个所述传感器在与其对应的数据采集起始时刻,以与其对应的起始扫描角度对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
本实施例中,所述参考位置坐标至少一个;所述参考位置坐标采用以下方式预先设置:
基于每个所述传感器的安装位置信息,获得每个所述传感器的视场角信息;
获取所述换电站中预定的ROI区域;
基于所述ROI区域和每个所述传感器的视场角信息,获得至少一个参考位置的坐标范围,以及,与每个所述参考位置对应的传感器;
从每个所述坐标范围中确定出与该坐标范围对应的参考位置坐标;其中,每个所述参考位置坐标满足以下条件:在预设的一个扫描周期中,与该参考位置对应的传感器扫描到该参考位置的时间戳差值最小。
本实施例中,所述起始扫描角度获取单元采用以下方式获得每个所述传感器的起始扫描角度:
将所述参考位置坐标转换到每个所述传感器的坐标系下,获得与每个所述传感器对应的参考坐标;
针对每个所述传感器,执行以下操作:基于与该传感器对应的参考坐标和该传感器的所述采集方式信息,获得该传感器的起始扫描角度。
进一步地,本实施例所述的装置还包括:
检验单元,用于对所述同一时间轴下的多个同步采样数据进行检验;
更新单元,用于当所述检验不通过时,更新所述采集同步参数。
本实施例中,所述检验单元采用以下方式对所述同一时间轴下的多个同步采样数据进行检验:
针对每个所述同步采样数据,执行以下操作:
基于该同步采样数据对应的传感器的采集频率,计算所述预设采集同步参数下的该同步采样数据的帧起始位置对应的时刻;
判断该同步采样数据的帧起始位置对应的时刻是否与该传感器对应的所述采集触发信号相匹配;
当匹配时,确定该同步采样数据检验通过。
本实施例中,所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向;所述检验单元采用以下方式对所述同一时间轴下的多个同步采样数据进行检验:
针对每个所述同步采样数据,执行以下操作:
获取该同步采样数据对应的传感器扫描至所述同步扫描方向的时刻作为实际时刻;
计算所述实际时刻与所述预设时刻之间的差值;
判断所述差值是否小于预设偏差阈值;
当所述差值小于所述预设偏差阈值时,确定该同步采样数据检验通过。
本实施例中,所述目标识别系统包括:用于对电动汽车进行电池更换的换电站;本实施例所述的装置还包括:
第二时间同步单元,用于对所述电动汽车和所述换电站进行时间同步。
本实施例中,所述换电站所用时间包括:第一系统时间和第一本地时间;所述电动汽车所用时间包括:第二系统时间和第二本地时间;所述第二时间同步单元包括:
第一时间差获取单元,用于基于Linux clockdiff命令,检测所述第一系统时间与所述第二系统时间之间的时间差作为第一时间差;
第二时间差获取单元,用于获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差;
第三时间差获取单元,用于获取所述第二系统时间与所述第二本地时间之间的时间差作为第三时间差;
计算单元,用于基于所述第一时间差、所述第二时间差和所述第三时间差,计算所述第一本地时间与所述第二本地时间之间的时间差;
时间同步子单元,用于基于所述第一本地时间与所述第二本地时间之间的时间差,对所述电动汽车和所述换电站进行时间同步。
进一步地,本实施例中,所述第二时间同步单元还包括:
链路延迟检测单元,用于检测所述换电站与所述电动汽车之间的链路延迟;
判断单元,用于基于所述链路延迟和所述第一时间差,判断所述第一时间差是否可信;
所述第二时间差获取单元还用于在所述第一时间差可信时,获取所述第一系统时间与所述第一本地时间之间的时间差作为第二时间差。
在一些实施例中,第一时间同步单元11、起始时刻获取单元12、控制单元13和识别单元14中的一个或多个可以合并在一起成为一个模块。一个实施方式中,具体实现功能的描述可以参见步骤S101-S104所述。
上述目标识别装置以用于执行图1所示的目标识别方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,目标识别装置的具体工作过程及有关说明,可以参考目标识别方法的实施例所描述的内容,此处不再赘述。
在本发明实施例中装置可以是包括各种电子设备形成的控制装置。在一些可能的实施方式中,装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的目标识别方法的程序可以被分割成多段子程序,每段子程序分别可以由处理器加载并运行以执行上述方法实施例的目标识别方法的不同步骤。具体地,每段子程序可以分别存储在不同的存储器中,每个处理器可以被配置成用于执行一个或多个存储器中的程序,以共同实现上述方法实施例的目标识别方法,即每个处理器分别执行上述方法实施例的目标识别方法的不同步骤,来共同实现上述方法实施例的目标识别方法。
上述多个处理器可以是部署于同一个设备上的处理器,例如上述计算机设备可以是由多个处理器组成的高性能设备,上述多个处理器可以是该高性能设备上配置的处理器。此外,上述多个处理器也可以是部署于不同设备上的处理器,例如上述计算机设备可以是服务器集群,上述多个处理器可以是服务器集群中不同服务器上的处理器。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步地,本发明还提供了一种目标识别系统。在根据本发明的一个目标识别系统实施例中,目标识别系统包括多个传感器、处理器和存储装置;所述传感器用于对待识别目标进行数据采集;存储装置可以被配置成存储执行上述方法实施例的目标识别方法的程序,处理器可以被配置成用于执行存储装置中的程序,该程序包括但不限于执行上述方法实施例的目标识别方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步地,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的目标识别方法的程序,该程序可以由处理器加载并运行以实现上述目标识别方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步,应该理解的是,由于各个模块的设定仅仅是为了说明本发明的装置的功能单元,这些模块对应的物理器件可以是处理器本身,或者处理器中软件的一部分,硬件的一部分,或者软件和硬件结合的一部分。因此,图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是,可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理,因此,拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种目标识别方法,其特征在于,应用于目标识别系统;所述系统包括:至少两个用于对待识别目标进行数据采集的传感器;所述方法包括:
基于预定的全局时钟对所有的所述传感器进行时间同步;
基于预设采集同步参数和每个所述传感器的采集方式信息,获得与每个所述传感器对应的数据采集起始时刻;
控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据;
基于所述多个同步采样数据,对所述待识别目标进行识别。
2.根据权利要求1所述的目标识别方法,其特征在于,所述基于预定的全局时钟对所有的所述传感器进行时间同步,包括:
获取所述全局时钟作为主时钟;
采用gPTP将每个所述传感器的时钟与所述主时钟进行同步。
3.根据权利要求1所述的目标识别方法,其特征在于,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号;
针对每个所述传感器执行以下操作:在与该传感器对应的数据采集起始时刻,将与该传感器对应的采集触发信号发送至该传感器,以使该传感器基于该采集触发信号开始对所述待识别目标进行数据采集,以获得同一时间轴下的多个同步采样数据。
4.根据权利要求3所述的目标识别方法,其特征在于,所述采集方式信息包括采集频率;所述基于所述全局时钟和每个所述传感器的所述采集方式信息,生成与每个所述传感器对应的采集触发信号,包括:
基于所述全局时钟的晶振频率生成同步信号;
对所述同步信号进行不同倍数的分频,生成与每个所述传感器对应的采集触发信号;其中,与每个所述传感器对应的所述采集触发信号的频率与该传感器的所述采集频率一致。
5.根据权利要求1-4任意一项所述的目标识别方法,其特征在于,所述目标识别系统包括与待识别移动端进行信息交互的固定场端;所述传感器包括:安装于所述固定场端的预定位置的摄像机、激光雷达和GNSS天线中的至少一种;所述预设采集同步参数包括:至少一个预设时刻,以及,与每个所述预设时刻对应的所有所述传感器的同步扫描方向。
6.根据权利要求5所述的目标识别方法,其特征在于,所述预设采集同步参数还包括:预设的参考位置坐标;所述方法还包括:
基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度;
和/或,所述控制每个所述传感器在与其对应的数据采集起始时刻对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据,包括:
控制每个所述传感器在与其对应的数据采集起始时刻,以与其对应的起始扫描角度对所述待识别目标进行数据采集,获得同一时间轴下的多个同步采样数据。
7.根据权利要求6所述的目标识别方法,其特征在于,所述参考位置坐标至少一个;所述参考位置坐标采用以下方式预先设置:
基于每个所述传感器的安装位置信息,获得每个所述传感器的视场角信息;
获取所述固定场端中预定的ROI区域;
基于所述ROI区域和每个所述传感器的视场角信息,获得至少一个参考位置的坐标范围,以及,与每个所述参考位置对应的传感器;
从每个所述坐标范围中确定出与该坐标范围对应的参考位置坐标;其中,每个所述参考位置坐标满足以下条件:在预设的一个扫描周期中,与该参考位置对应的传感器扫描到该参考位置的时间戳差值最小。
8.根据权利要求6所述的目标识别方法,其特征在于,所述基于所述参考位置坐标和每个所述传感器的所述采集方式信息,获得每个所述传感器的起始扫描角度,包括:
将所述参考位置坐标转换到每个所述传感器的坐标系下,获得与每个所述传感器对应的参考坐标;
针对每个所述传感器,执行以下操作:基于与该传感器对应的参考坐标和该传感器的所述采集方式信息,获得该传感器的起始扫描角度。
9.根据权利要求4所述的目标识别方法,其特征在于,所述方法还包括:
对所述同一时间轴下的多个同步采样数据进行检验;
当所述检验不通过时,更新所述采集同步参数。
10.根据权利要求9所述的目标识别方法,其特征在于,所述对所述同一时间轴下的多个同步采样数据进行检验,包括:
针对每个所述同步采样数据,执行以下操作:
基于该同步采样数据对应的传感器的采集频率,计算所述预设采集同步参数下的该同步采样数据的帧起始位置对应的时刻;
判断该同步采样数据的帧起始位置对应的时刻是否与该传感器对应的所述采集触发信号相匹配;
当匹配时,确定该同步采样数据检验通过。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311085087.2A CN117152589A (zh) | 2023-08-25 | 2023-08-25 | 目标识别方法、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311085087.2A CN117152589A (zh) | 2023-08-25 | 2023-08-25 | 目标识别方法、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117152589A true CN117152589A (zh) | 2023-12-01 |
Family
ID=88883573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311085087.2A Pending CN117152589A (zh) | 2023-08-25 | 2023-08-25 | 目标识别方法、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117152589A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117935173A (zh) * | 2024-03-21 | 2024-04-26 | 安徽蔚来智驾科技有限公司 | 目标车辆的识别方法、场端服务器及可读存储介质 |
-
2023
- 2023-08-25 CN CN202311085087.2A patent/CN117152589A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117935173A (zh) * | 2024-03-21 | 2024-04-26 | 安徽蔚来智驾科技有限公司 | 目标车辆的识别方法、场端服务器及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109905194B (zh) | 一种车载终端系统和同步数据获取方法、装置 | |
EP4436275A1 (en) | Positioning method and apparatus, and storage medium | |
US10962633B2 (en) | Three-dimensional space detection system, positioning method and system | |
CN110329273B (zh) | 一种用于无人驾驶获取数据同步的方法及装置 | |
CN111585682B (zh) | 传感器时间同步方法、装置及终端设备 | |
Rauch et al. | Analysis of V2X communication parameters for the development of a fusion architecture for cooperative perception systems | |
CN117152589A (zh) | 目标识别方法、系统及存储介质 | |
WO2019194091A1 (ja) | 侵入検知システムおよび侵入検知方法 | |
CN112787740A (zh) | 一种多传感器时间同步装置及方法 | |
CN112261283A (zh) | 一种高速相机的同步采集方法、装置及系统 | |
CN115797401B (zh) | 对齐参数的验证方法、装置、存储介质及电子设备 | |
CN114614934A (zh) | 一种时间同步触发装置及方法 | |
CN113595667B (zh) | 一种用于电力终端的时间同步系统及其方法、基站 | |
US20240095654A1 (en) | Information output methods and apparatuses, computer equipment and readable storage media | |
CN111279637B (zh) | 一种信息同步方法、无人机、负载设备、系统及存储介质 | |
CN109699068B (zh) | 一种基站同步方法和装置 | |
CN112564883A (zh) | 时间同步设备、方法以及自动驾驶系统 | |
CN107612788B (zh) | 一种时间服务器故障检测方法、设备和系统 | |
CN111586833A (zh) | 一种定位方法、装置、终端、基站及管理功能实体 | |
CN114114344A (zh) | 一种便携式卫星定位授时设备 | |
CN116074857A (zh) | 无线通信网络场景中的定位测量方法、装置、设备和介质 | |
CN112995938A (zh) | 一种电力物联网领域传感器同步采集方法 | |
CN109451521A (zh) | 一种基站密集性分布式组网的gps同步方法 | |
Steinbaeck et al. | A hybrid timestamping approach for multi-sensor perception systems | |
JP7571034B2 (ja) | 通信装置および通信方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |