CN114333321A - 路侧装置 - Google Patents
路侧装置 Download PDFInfo
- Publication number
- CN114333321A CN114333321A CN202111678031.9A CN202111678031A CN114333321A CN 114333321 A CN114333321 A CN 114333321A CN 202111678031 A CN202111678031 A CN 202111678031A CN 114333321 A CN114333321 A CN 114333321A
- Authority
- CN
- China
- Prior art keywords
- sensor
- sensors
- road
- roadside
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供一种路侧装置,包括:设置在道路的一侧或两侧的多个路侧支架;用于探测道路且分布在多个路侧支架上的多个传感器,任意一个和/或在道路的纵向上相邻的路侧支架的多个传感器的探测区域重叠;采集模块用于接收多个传感器各自发送的数据;第一感知模块用于基于采集模块输出的数据确定多个传感器各自的第一感知数据;第二感知模块用于基于第一感知模块的输出确定多个重叠区域各自的第二感知数据;参数确定模块用于对于多个重叠区域的各区域,基于重叠区域的第二感知数据确定探测重叠区域的多个传感器的空间融合参数和/或时间融合参数;监控模块用于基于第一感知模块的输出和参数确定模块的输出监控道路,可较为准确反应道路的真实情况。
Description
技术领域
本发明涉及智能交通技术领域,尤其涉及路侧装置。
背景技术
随着社会经济的快速发展,智能交通作为重要手段实现道路安全监控。然而道路交通环境的日益复杂,对道路交通管理的要求也越来越高,现有的道路管理手段已不能满足智能管理和多样化出行服务的需求。为实现道路精细化管控,迫切需要多源交通信息全息感知和高质量交通数据提取技术。
相关技术中,虽然可以获取到多源的交通信息,但是亟需一种更为有效的获取处理多源的交通信息方式以较为准确的反映道路的真实情况,提高公路智能化管理与运营水平降低。
发明内容
本发明提供了一种路侧装置,一方面,可实现对不同的传感器的时间和空间标定的修正,有效解决了在传感器运行一段时间后不同的传感器感知到的数据时空不同步的问题,提升了后续数据融合的准确性,从而可以更为准确的反映出道路的真实情况,提高公路智能化管理与运营水平。另一方面,由于综合考虑多个传感器各自的采集情况,可以灵活在路侧支架上增加或删除传感器,从而适应不同的场景需求。
本发明提供了一种路侧装置,包括:
多个路侧支架,分别设置在道路的的两侧中的一侧或两侧,在所述道路的纵向上相邻的两个路侧支架之间的距离满足预设阈值;
多个传感器,分布在所述多个路侧支架上,用于探测所述道路;其中,任意一个所述路侧支架上的多个传感器的探测区域重叠和/或在所述道路的纵向上相邻的两个路侧支架各自设置的多个传感器的探测区域重叠;
采集模块,用于接收所述多个传感器各自发送的数据并输出;
第一感知模块,用于基于所述采集模块输出的数据,确定所述多个传感器各自的第一感知数据并输出;
第二感知模块,用于基于所述第一感知模块的输出,确定多个重叠区域各自的第二感知数据并输出;
参数确定模块,用于对于所述多个重叠区域的各区域,基于所述重叠区域的第二感知数据,确定探测所述重叠区域的多个传感器的空间融合参数和/或时间融合参数并输出;
监控模块,用于基于所述第一感知模块的输出和所述参数确定模块的输出,监控所述道路。
本发明提供了一种路侧装置,包括:多个路侧支架,分别设置在道路的两侧中的一侧或两侧,在道路的纵向上相邻的两个路侧支架之间的距离满足预设阈值;多个传感器,分布在多个路侧支架上,用于探测道路;其中,任意一个路侧支架上的多个传感器的探测区域重叠和/或在道路的纵向上相邻的两个路侧支架各自设置的多个传感器的探测区域重叠;采集模块,用于接收多个传感器各自发送的数据并输出;第一感知模块,用于基于采集模块输出的数据,确定多个传感器各自的第一感知数据并输出;第二感知模块,用于基于第一感知模块的输出,确定多个重叠区域各自的第二感知数据并输出;参数确定模块,用于对于多个重叠区域的各区域,基于重叠区域的第二感知数据,确定探测所述重叠区域的多个传感器的空间融合参数和/或时间融合参数并输出;监控模块,用于基于第一感知模块的输出和参数确定模块的输出,监控所述道路。综上所述,通过本发明的技术方案,一方面,可实现对不同的传感器的时间和空间标定的修正,有效解决了在传感器运行一段时间后不同的传感器感知到的数据时空不同步的问题,提升了后续数据融合的准确性,从而可以更为准确的反映出道路的真实情况,提高公路智能化管理与运营水平。另一方面,由于综合考虑多个传感器各自的采集情况,可以灵活在路侧支架上增加或删除传感器,从而适应不同的场景需求。
上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
为了更清楚地说明本发明实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的多个传感器分布在路侧支架的两侧的结构示意图一;
图1b为本发明实施例提供的多个传感器分布在路侧支架的两侧的结构示意图二;
图1c为本发明实施例提供的多个传感器分布在路侧支架的两侧的结构示意图三;
图1d为本发明实施例提供的多个传感器分布在路侧支架的两侧的结构示意图四;
图2为本发明实施例提供的多个传感器分布的场景示意图;
图3a为本发明实施例提供的多个传感器分布在路侧支架的一侧的结构示意图一;
图3b为本发明实施例提供的多个传感器分布在路侧支架的一侧的结构示意图二;
图3c为本发明实施例提供的多个传感器分布在路侧支架的一侧的结构示意图三;
图3d为本发明实施例提供的多个传感器分布在路侧支架的一侧的结构示意图四;
图4为本发明实施例提供的路侧装置的结构示意图;
图5为图4示出的路侧装置的处理方案的流程示意图;
图6为本发明实施例提供的传感器的横摆角的示意图;
图7为本发明实施例提供的传感器探测的目标物的横摆角的示意图;
图8为本发明实施例提供的多个传感器的位置示意图;
图9为本发明实施例提供的不同传感器探测的相同目标物的位置示意图;
图10为本发明实施例提供的电子设备的结构示意图;
其中,图中个附图标注说明如下:
100-路侧支架;110-支臂;111-第一侧;112-第二侧;200-传感器;210-第一传感器;211-近景传感器;212-远景传感器;220-第二传感器;230-第三传感器;300-第一区域;400-第二区域。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1a至图1c、图3a至图3c所示,装置包括多个路侧支架100,分别设置在道路的的两侧中的一侧或两侧,在道路的纵向上相邻的两个路侧支架100之间的距离满足预设阈值,比如100米,200米,具体需要传感器200的探测范围和实际需求确定;多个传感器200,分布在多个路侧支架100上;其中,任意一个路侧支架100上的多个传感器200的探测区域重叠和/或在道路的纵向上相邻的两个路侧支架100各自设置的多个传感器200的探测区域重叠;采集模块401,用于接收多个传感器200各自发送的数据并输出;第一感知模块402,用于基于采集模块输出的数据,确定多个传感器200各自的第一感知数据并输出;第二感知模块403,用于基于第一感知模块的输出,确定多个重叠区域各自的第二感知数据并输出;参数确定模块404,用于对于多个重叠区域的各区域,基于重叠区域的第二感知数据,确定探测重叠区域的多个传感器200的空间融合参数和/或时间融合参数并输出;监控模块405,用于基于第一感知模块的输出和参数确定模块的输出,监控道路。
作为一种可行的实现方式,路侧支架100包括支壁110,支壁110的第一侧111和/或第二侧112设置多个传感器100,支壁110沿道路的横向延伸。支壁110的第一侧111和/或第二侧112设置的多个传感器100沿道路的横向分布和/或沿垂直道路的方向分布。
在一个例子中,如图1d、图3d和图8所示,支壁110的第一侧111设置的多个传感器200的探测区域重叠。
在一个例子中,如图1d所示,支壁110的第一侧111设置的多个传感器200中部分传感器100的探测区域重叠。
在一个例子中,如图1a至1c所示,多个传感器200沿道路的横向分布在支壁110的第一侧111和第二侧112。
示例地,多个传感器200沿道路的横向对称分布在支壁110的第一侧111和第二侧112。在一些可能的情况下,多个传感器200沿道路的横向非对称分布,具体需要结合实际需求确定,本实施例对此不做具体限定。
在一个例子中,如图3a至3c所示,多个传感器200沿道路的横向分布在支壁110的第二侧112。
在一个例子中,如图2所示,传感器200的探测区域包括道路中的至少两个车道。当然,不同的传感器200可能探测车道的数量不同,优选相同。
在一个例子中,如图2所示,传感器200位于道路中的车道线的正上方,或者,道路中的任一车道的中间位置的正上方。
在一个例子中,路侧支架100上的多个传感器200包括第一传感器210、第二传感器220。
示例地,如图2所示,第一传感器210为摄像头,第二传感器220为毫米波雷达。
示例地,如图1d和3d所示,第一传感器210还包括近景传感器211和远景传感器212。其中,近景传感器211的探测开始位置等于或小于第二传感器220的探测开始位置,远景传感器212的探测结束位置大于或等于第二传感器220的探测结束位置,远景传感器212的探测开始位置等于或小于近景传感器211的探测结束位置。
示例地,如图1d和图3d,第一传感器210和第二传感器220沿垂直道路的方向分布。
在一些可能的情况下,第一传感器210距离道路的垂直高度大于第二传感器220距离道路的垂直高度。图8示出的h1至h7分别表示了传感器1至传感器7分别与道路之间的垂直高度。
示例地,第一传感器210和第二传感器220沿道路的横向分布(图中未示意)。
进一步地,路侧支架100上的多个传感器200还包括第三传感器230。
示例地,如图2所示,第三传感器230为激光雷达。
示例地,如图1d和图3d,第一传感器210、第二传感器220和第三传感器230沿垂直道路的方向分布。
在一些可能的情况下,第三传感器230距离道路的垂直高度小于第一传感器210距离道路的垂直高度、同时也小于第二传感器220距离道路的垂直高度。
在实际应用中,可以将第一传感器210、第二传感器220和第三传感器230作为一个传感器组,传感器组沿垂直道路的方向分布;对应的,在道路的车道数较多时,路侧支架100上可以沿道路的横向设置多个传感器组。换言之,第一传感器210、第二传感器220和第三传感器230各自沿道路的横向设置多个,且沿垂直道路的方向上同时分布第一传感器210、第二传感器220和第三传感器230。
需要说明的是,摄像头在复杂的路况与天气条件下存在盲区。而毫米波雷达受光照和天气因素影响较小,测距精度高,可通过多普勒偏移的原理实现更高精度的目标速度探测。激光雷达具有高分辨率、抗有源干扰能力强、对目标的距离追踪、低空探测性能好等优势。通常不同类型的传感器200的组合可较为准确的监控道路的真实情况。
在一个例子中,路侧支架100的支壁110的第一侧和第二侧均设置有多个传感器200。
如图1d所示,路侧支架100上的多个传感器200的探测区域分为第一区域300和第二区域400,第一区域300和第二区域400位于路侧支架100的两侧;其中,第一区域300和第二区域400分别设置有路侧支架100,第一区域300的结束位置等于或大于位于第二区域400的路侧支架100的第一区域300的开始位置,第二区域400的结束位置等于或大于位于第一区域300的路侧支架100的第二区域400的开始位置。
示例地,路侧支架100的支壁110的第一侧111和第二侧112设置有第一传感器210和第二传感器220;对应的,第一区域300包括路侧支架100的支壁110的第一侧111设置的第一传感器210和第二传感器220的探测区域;对应的,第二区域400包括路侧支架100的支壁110的第二侧112设置的第一传感器210和第二传感器220的探测区域组成。
优选地,第一传感器210为摄像头,第二传感器220为毫米波雷达。第一侧111和第二侧112的摄像头的探测区域对称,第一侧111和第二侧112的毫米波雷达的探测区域对称。
优选地,第一传感器210和第二传感器220沿垂直道路的方向设置;若道路较宽,第一传感器210和第二传感器220还可以沿道路的横向设置。
进一步,路侧支架100上的支壁110上设置有第三传感器230;其中,第一区域300和第二区域400均包括第三传感器230的探测区域。
示例地,第三传感器230为激光雷达,激光雷达上下摆动且以圆形向外发生激光。
在一个例子中,路侧支架100的支壁110的第二侧设置有多个传感器200。
如图3d所示,路侧支架100上的多个传感器200的探测区域为第二区域400,第二区域400位于路侧支架100的支架110的一侧;其中,第二区域400内设置有路侧支架100,第二区域400的结束位置等于或大于位于第二区域400的路侧支架100的第二区域400的开始位置。
示例地,路侧支架100的支壁110的第二侧112设置有第一传感器210和第二传感器220;对应的,第二区域400包括路侧支架100的支壁110的第二侧112设置的第一传感器210和第二传感器220的探测区域。
优选地,第一传感器210为摄像头,第二传感器220为毫米波雷达。
优选地,第一传感器210和第二传感器220沿垂直道路的方向设置;若道路较宽,第一传感器210和第二传感器220还可以沿道路的横向设置。
进一步,路侧支架100上的支壁110上设置有第三传感器230。
示例地,第三传感器230为激光雷达,激光雷达上下摆动且以圆形向外发生激光。
需要说明的是,上述多个传感器200在路侧支架100上的分布仅仅作为示例,并不构成具体限定,具体需要结合实际需求确定。
请参考图5,作为一种可行的实现方式,第一感知模块402包括:
预处理单元,用于基于参数确定模块上一次输出的空间融合参数和预存的预处理程序,对采集模块当前输出的数据进行处理,确定当前的预处理结果;其中,所述预处理结果用于表示相同时段内多个传感器各自采集的帧、帧的感知结果和帧的采样时刻;
缓存单元,用于缓存当前和之前的多个预处理结果;
时间融合单元,用于基于参数确定模块上一次输出的时间融合参数,对多个预处理结果进行时间融合,确定当前的时间融合结果;
目标融合单元,用于基于当前的时间融合结果进行目标融合,确定当前的目标融合结果;
感知单元,用于基于当前的目标融合结果和所述时间融合结果确定所述多个传感器各自的第一感知数据。
下文以n个传感器为例进行描述,为了便于区分,如图5所示,n个传感器分别称为传感器1、传感器2、……、传感器n。
如图5所示,空间融合单元存储了传感器1、传感器2、……、传感器n各自对应的预处理程序1、预处理程序2、……、预处理程序n。在一个例子中,若传感器相同,则预处理程序相同。
对于一个传感器1来说,通过预处理程序1对传感器1采集的数据进行预处理即可得到传感器采集的各帧各自的感知结果。示例地,当传感器1为摄像头,预处理程序1用于实现抗畸变变换、区域裁切、目标检测、目标识别、反透视变换、目标跟踪等,若摄像头分为远景摄像头和近景摄像头,进一步的,预处理程序1还用于实现远景摄像头和近景摄像头各自采集的帧的拼接合并。示例地,当传感器1为毫米波雷达,预处理程序1用于实现聚类、目标跟踪、噪声过滤、坐标系变换等。当传感器1为激光雷达,预处理程序1用于实现坐标系变换、道路区域提取、目标提取等。其他传感器类似,此处不做过多赘述。
在一些可能的情况,采集模块也可以实现部署预处理程序1至n。
在一个例子中,预处理单元还用于对多个传感器各自采集的数据进行帧同步,对应的,预处理结果中相同时段内的n个传感器各自采集的帧可以理解为帧同步得到的多个传感器各自采集的帧。
需要说明的是,帧同步可以理解为是指通过最近临匹配的方法找到与每一帧与基准传感器时间间隔最小的数据进行处理。示例地,确定n个传感器中的基准传感器,确定基准传感器最后采集的帧的采样时刻,通过最近临匹配的方法找到与该采样时刻差值最小的其他传感器采集的一帧,从而得到n个传感器各自在当前采集的帧。示例地,基准传感器可以理解为采样频率最大的传感器,或者,最迟感知到目标的传感器;对应的,预处理程序中的n个传感器各自采集的帧可以理解为多个传感器最后采集的一帧,即当前帧。
如图5所示,在一个例子中,缓存单元可以包括数据缓存队列1至数据缓存队列n。其中,数据缓存队列i用于缓存预处理单元在预设时段内传输的传感器i各自采集的帧,通常为帧序列,帧序列中的各帧关联其对应的感知结果和采样时刻。
示例地,预处理模块通过消息通道1至消息通道n缓存数据,得到数据缓存队列1至数据缓存队列n。
时间融合单元用于实现图5示出的时间融合。比如,将数据缓存队列1至数据缓存队列n进行时间融合,得到一个序列,该序列中各帧关联其对应的感知结果和采样时刻。
需要说明的是,图5示出的时间融合可以理解为将多个传感器各自采集的多帧统一到同一时间戳,即基于多个传感器之间的采样时差对齐不同传感器的时间起点,从而实现时间统一。
在一个例子中,目标融合单元用于实现图5示出的目标融合。其中,目标融合指的是将不同传感器在不同时刻感知到的目标进行融合,确定可信度更高的目标检测结果。目标融合技术为现有技术,此次不做过多赘述。
其中,目标融合结果包括若干个目标物各自在世界坐标系下的位置、该位置对应的帧、以及多个动态特征。其中,多个动态特征可以为是否运动,运动速度,加速度等。进一步,还可以包括目标物的多个静态特征,比如,车型,颜色,大小等。
具体地,传感器的第一感知数据可以包括该传感器采集的各帧各自的采样时刻、预处理感知结果和融合感知结果。其中,预处理感知结果可以理解为通过预处理单元处理后的帧的感知结果以及时间融合单元处理后的帧的采样时刻,帧的感知结果包括若干个目标物各自在世界坐标系下的位置、与传感器之间的相对位置、多个静态特征以及所在车道等。其中,相对位置指示了目标物和传感器之间的位置关系。静态特征可以理解为目标物的固有属性,比如,车型,颜色,大小,所在车道等。融合感知结果可以理解为目标融合后该帧的感知结果,详细内容可参加上文描述的目标融合结果。需要说明的是,预处理感知结果和融合感知结果仅仅是为了便于描述和区别所使用的命名,在一些可行的实现方式中,也可以称为第一感知结果和第二感知结果。
作为一种可行的实现方式,重叠区域的第二感知数据包括探测该重叠区域的多个传感器的预处理感知结果和融合感知结果。为了便于描述,将探测重叠区域的传感器称为目标传感器。这里,预处理感知结果指示了预处理单元处理后的重叠区域的感知结果以及时间融合单元处理后重叠区域内的目标物的采样时刻,比如,可以包括重叠区域内的目标物在世界坐标系下的位置、所在帧、与传感器的相对位置。融合感知结果指示了目标融合后重叠区域内的目标物在世界坐标系下的位置和该位置对应的采样时刻。
参数确定模块404用于实现图5示出的参数修正。在一个例子中,可以包括:区域确定单元、目标物判断单元、第一标定单元、第二标定单元和第三标定单元;对应的,监控模块405基于第二标定单元输出的当前的空间融合参数对当前的目标融合结果进行修正,确定当前的空间融合结果;其中,
区域确定单元,用于基于参数确定模块上一次输出的空间融合参数,确定重叠区域位置数据;其中,重叠区域位置数据指示了n个传感器形成的m个重叠区域;
目标物判断单元,用于对于m个重叠区域的各区域,基于重叠区域位置数据和第二感知数据确定是否存在第一目标物和/或第二目标物;
第一标定单元,用于对于不存在第一目标物的重叠区域,确定探测重叠区域的多个目标传感器最后一次确定的空间融合参数并输出;对于不存在第二目标物的重叠区域,确定探测重叠区域的多个目标传感器最后一次确定的时间融合参数并输出;
第二标定单元,用于对于存在第一目标物的重叠区域,基于预处理感知结果中多个目标传感器各自感知到的第一目标物的位置,对多个目标传感器各自的姿态角进行修正后输出;
第三标定单元,用于对于存在第二目标物的重叠区域,基于监控模块输出的当前的空间融合结果或者融合感知结果中的多个目标传感器各自感知到的第二目标物在不同时刻各自的位置,修正多个目标传感器的时间融合参数后输出。
需要说明的是,监控模块405针对当前的目标融合结果的输出是当前的输出,针对上一次的目标融合结果的输出是上一次的输出,在未输出当前的空间融合参数时,上一次的输出即为最后一次确定的空间融合参数,在未输出当前的时间融合参数时,上一次的输出即为最后一次确定的时间融合参数。值得注意的是,监控模块也可用于实现图5示出的目标融合。
可选地,空间融合参数包括形成该重叠区域的多个目标传感器各自的横摆角和俯仰角;时间融合参数包括形成该重叠区域的多个目标传感器之间的时间差值。
其中,姿态角指示了世界坐标系的正方向为基准的安装角和探测角之和。其中,探测角指示了传感器的探测范围,安装角指示了探测角靠近世界坐标系的正方向的边线和世界坐标系的正方向之间的角度。需要说明的是,对于传感器来说,探测角是不会发生变化的,但是有传感器可能在使用过程中发生细微的移动,从而导致安装角发生变化。
在一个例子中,对于传感器来说,姿态角包括横摆角A和俯仰角B。如图6所示,横摆角A为安装横摆角a1和传感器的探测横摆角a2之和。俯仰角B和俯仰角A类同,俯仰角B为安装俯仰角b1和传感器的探测俯仰角b2之和。
其中,多个目标传感器之间的采样时差指示了多个传感器中的参考传感器分别与其他传感器之间的采样时刻之间的时差。示例地,参考传感器可以为多个传感器中采样频率最大的传感器。
其中,当前的空间融合结果包括目标物在世界坐标系下的位置和该位置对应的帧。
其中,第一目标物为重叠区域内的静止或者以较低的速度行驶的目标物,优选静止。其中,较低的速度可以理解为步行速度或清扫车的速度,比如,5km/h。应该理解,在较低的速度行驶时传感器不容易发生漂移。因此,静止的或低速的目标物可以用于空间标定。需要说明的是,对于低速行驶的第一目标物,由于第一目标物匀速慢速行驶,因此第一目标物在不同时刻的位置之间的差值较小,在极短的时间内可以认为是静止的。
进一步地,一个重叠区域确定一个第一目标物即可。第一目标物与重叠区域中第一目标物之外的其他目标物的距离大于预设值,或者,第一目标物为重叠区域内唯一的目标物,或者,第一目标物为重叠区域内的任一车道内唯一的目标物。
示例地,存在第一目标物的重叠区域的处理过程类型,下文以一个重叠区域为例进行描述。第二标定单元具体可通过如下方式实现空间标定:
对于存在第一目标物的重叠区域,基于预处理感知结果或融合感知结果中第一目标物在世界坐标系下的位置,确定第一目标物的空间标定位置;对于多个目标传感器的任一传感器,基于目标传感器在世界坐标系下的位置、空间标定位置和世界坐标系的正方向,确定目标传感器的第一目标姿态角;基于预处理感知结果中第一目标物相对目标传感器的位置和世界坐标系的正方向,确定目标传感器的第二目标姿态角;基于第一目标姿态角和第二目标姿态角确定姿态角差值;基于姿态角差值、目标传感器的预设姿态角,对目标传感器的姿态角进行修正。
需要说明的是,当第一目标物静止时,空间标定位置可以为融合感知结果中第一目标物的位置,或者,为预处理感知结果中多个目标传感器各自感知的第一目标物的位置的加权平均。当第一目标物低速运动时,基于融合感知结果中的目标采样时刻下第一目标物在世界坐标系下的位置和世界坐标系的正方向确定第一目标物的空间标定位置;对于多个目标传感器的任一传感器,基于预处理感知结果中该目标传感器探测的第一目标物在不同采样时刻的世界坐标系下的位置和目标传感器在世界坐标系下的位置,确定目标采样时刻下第一目标物相对该目标传感器的相对位置,基于该相对位置和世界坐标系的正方向确定第二目标姿态角。其中,目标采样时刻应当为多个目标传感器各自探测的第一目标物的时段的交集中的任一采样时刻。
值得注意的是,基于目标传感器在世界坐标系下的位置、空间标定位置即可确定第一目标物相对于目标传感器的位置。另外,在一些可能的情况下,在第一目标物低速运动时,由于多个目标传感器之间的采样时差较小,因此,对于任意一个目标传感器,可以将预处理感知结果中距离目标采样时刻最近的采样时刻下的第一目标物相对该目标传感器的相对位置,作为目标采样时刻下第一目标物相对该目标传感器的相对位置。
对于任意一个传感器,在世界坐标系下目标物的大地投影坐标的计算公式如下:
其中,x表示世界坐标系下横轴的大地投影的坐标;y表示世界坐标系下纵轴的大地投影的坐标;z表示世界坐标系下竖轴的大地投影的坐标;s表示目标物和传感器的中心点之间的水平距离;如图8所示,h表示传感器和道路之间的垂直距离;如图7所示,α表示传感器的安装横摆角a1和第一目标物的探测横摆角a3之和;β表示传感器的安装俯仰角b1和第一目标物的探测俯仰角b3之和。
需要说明的是,知道了x、y、s、h即可解算公式(1)中的α和β。对于摄像头而言,通过逆透视变换可确定目标和传感器之间的水平距离s。需要说明的是,如图7所示,水平距离s可以理解为目标物和传感器的中心点之间的水平距离,传感器的姿态角发生了变化,水平距离s也是不变的。另外,图8中的h1至h7分别表示了传感器1至传感器7分别与道路之间的垂直距离。
其中,第一目标姿态角和第二目标姿态角均包括α和β;但是由于计算第一目标姿态角和第二目标姿态角使用的数据不同,因此第一目标姿态角和第二目标姿态角不同。姿态角差值包括横摆角差值和俯仰角差值。由于探测横摆角a3和探测俯仰角b3是不变的,因此,横摆角差值指示了安装横摆角a1的差值,俯仰角差值指示了安装俯仰角b1之间的差值。需要说明的是,基于空间标定位置和传感器在世界坐标系下的位置即可确定第一目标物距离该传感器的相对位置。
进一步的,对于传感器而言,基于姿态角差值和目标传感器的预设姿态角即可确定目标传感器修正后的姿态角,考虑到目标传感器和道路之间的垂直距离h是不变的,基于修正后的姿态角,即可修正目标传感器探测的各目标物的位置。
在一种可能的情况,第二目标物为重叠区域内的运动的目标物,通常以较高的速度行驶。
进一步地,一个重叠区域确定一个第二目标物即可。第二目标物与重叠区域中第二目标物之外的其他目标物的距离大于预设值,或者,第二目标物为重叠区域内唯一的目标物,或者,第二目标物为重叠区域内的任一车道内唯一的目标物。
在一个例子中,存在第二目标物的重叠区域的处理过程类型,下文以一个重叠区域为例进行描述。第三标定单元具体通过如下方式实现时间标定:
确定多个目标传感器中的参考传感器;对于多个目标传感器中参考传感器之外的各传感器,基于监控模块输出的空间融合结果中目标传感器感知到的第二目标物在世界坐标系下的时间标定位置,以及,参考传感器感知到的第二目标物相对时间标定位置的已通过位置、已通过位置对应的时刻、待通过位置和待通过位置对应的时刻,确定目标传感器和参考传感器之间的时差;其中,时间标定位置位于已通过位置和待通过位置之间。
如图9所示,对于多个目标传感器中参考传感器之外的各传感器,具体可通过如下公式(2)计算时间标定位置的出现时刻:
其中,P′表示目标传感器感知的第二目标物的时间标定位置;t′表示目标传感器感知第一目标的位置P′的时刻;P0表示参考传感器感知的第二目标物的已通过位置;P表示参考传感器感知的第二目标物的待通过位置;t0表示参考传感器感知第二目标的已通过位置P0的时刻;t表示参考传感器感知第二目标的待通过位置P的时刻。
在实际应用中,t′位于t0和t形成的时段内;第二目标物在P′的位置位于已通过位置P0和待通过位置P之间。参考传感器可以为多个目标传感器中采样频率最大的传感器。已通过位置P0和待通过位置P为参考传感器感知到第二目标物的位置中距离时间标定位置P′最近的两个位置。
在一种可能的情况,若相同的目标传感器分别与不同的参考传感器具有采样时差,比如目标传感器的探测范围包括多个重叠区域,则可基于此对不同参考传感器进行采样差值融合,比如,重新选择一个参考传感器,确定其他目标传感器分别与该参考传感器之间的采样时差。需要说明的是,若目标传感器的探测范围较远,则目标传感器的探测区域可以包括多个重叠区域,通常只有一个,具体需要结合实际情况确定,比如对于经常出事故的路段,则可以适当增加传感器的探测范围,让一个区域被更多的传感器所探测。
在一些可能的情况,不同重叠区域的参考传感器相同,比如,若参考传感器的探测范围包括至少两个重叠区域,则可基于此确定不同重叠区域的其他的目标传感器分别与该参考传感器之间的采样时差。
在一些可能的情况,可以基于不同参考传感器各自在最后一帧的采样时刻之间的差值,实现多个传感器之间的采样时差的融合。比如,从多个参考传感器中确定最终的参考传感器,确定其他的目标传感器分别与该参考传感器之间的采样时差。
另外,第一目标物和第二目标物均可以有多个。若存在部分的第一目标物所在的重叠区域相同,对于位于相同重叠区域的多个第一目标物,基于多个第一目标物分别进行空间标定(确定空间融合参数的过程),并对得到的结果(多个目标传感器各自的姿态角)进行融合,从而可较为准确的确定形成该重叠区域的多个传感器各自的姿态角。若存在部分的第二目标物所在的重叠区域相同,则可以对位于相同重叠区域的多个第二目标物分别进行时间标定(确定时间融合参数的过程),并对得到的结果(多个目标传感器之间的采样时差)进行融合,从而可较为准确的确定形成该重叠区域的多个传感器之间的采样时差。
进一步的,监控模块405,用于基于参数确定模块当前输出的时间融合参数对当前的空间融合结果中目标物在不同位置各自的采样时刻进行修正,确定当前的道路监控结果,实现道路监控。
作为一种可行的实现方式,装置还包括:若干个环境监测传感器,用于对道路的环境进行监测;采集装置,还用于接收若干个环境监测传感器采集的数据。
对应的,在目标融合的过程中可以考虑天气情况,从而实现对传感器采集的数据的筛选优化,确保目标融合结果的准确性。
需要说明的是,采集模块、第一感知模块、第二感知模块、参数确定模块、监控模块可以部署在相同的电子设备上,以可以部署在不同的电子设备上,具体需要结合实际需求确定。通常情况下,采集模块部署在路侧支架上,第一感知模块、第二感知模块、参数确定模块和监控模块部署在服务器等计算量较大的设备。为了便于描述,可以将第一感知模块、第二感知模块、参数确定模块和监控模块所对应的可执行代码称为路侧单元。
图5是本发明实施例提供的一种电子设备的结构示意图。在硬件层面,该电子设备包括处理器501以及存储有执行指令的存储器502,可选地还包括内部总线503及网络接口504。其中,存储器502可能包含内存5021,例如高速随机存取存储器(Random-AccessMemory,RAM),也可能还包括非易失性存储器5022(non-volatile memory),例如至少1个磁盘存储器等;处理器501、网络接口504和存储器502可以通过内部总线503相互连接,该内部总线503可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等;内部总线503可以分为地址总线、数据总线、控制总线等,为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。当然,该电子设备还可能包括其他业务所需要的硬件。当处理器501执行存储器502存储的执行指令时,处理器501执行本发明任意一个实施例中的方法,并至少用于执行如图5所示的方法。
在一种可能实现的方式中,处理器从非易失性存储器中读取对应的执行指令到内存中然后运行,也可从其它设备上获取相应的执行指令,以在逻辑层面上形成一种路侧单元。处理器执行存储器所存放的执行指令,以通过执行的执行指令实现本发明任实施例中提供的一种路侧单元所能实现的方法。
处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例还提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行执行指令时,所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图10所示的电子设备;执行指令是一种路侧单元所对应计算机程序。
本领域内的技术人员应明白,本发明的实施例可提供为方法或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或软件和硬件相结合的形式。
本发明中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种路侧装置,其特征在于,包括:
多个路侧支架,分别设置在道路的两侧中的一侧或两侧,在所述道路的纵向上相邻的两个路侧支架之间的距离满足预设阈值;
多个传感器,分布在所述多个路侧支架上,用于探测所述道路;其中,任意一个所述路侧支架上的多个传感器的探测区域重叠和/或在所述道路的纵向上相邻的两个路侧支架各自设置的多个传感器的探测区域重叠;
采集模块,用于接收所述多个传感器各自发送的数据并输出;
第一感知模块,用于基于所述采集模块输出的数据,确定所述多个传感器各自的第一感知数据并输出;
第二感知模块,用于基于所述第一感知模块的输出,确定多个重叠区域各自的第二感知数据并输出;
参数确定模块,用于对于所述多个重叠区域的各区域,基于所述重叠区域的第二感知数据,确定探测所述重叠区域的多个传感器的空间融合参数和/或时间融合参数并输出;
监控模块,用于基于所述第一感知模块的输出和所述参数确定模块的输出,监控所述道路。
2.根据权利要求1所述的路侧装置,其特征在于,对于所述多个路侧支架中的任意一个路侧支架,所述路侧支架上的多个传感器的探测区域分为第一区域和所述第二区域,所述第一区域和所述第二区域位于所述路侧支架的两侧;
其中,所述第一区域和所述第二区域分别设置有路侧支架,所述第一区域的结束位置等于或大于位于所述第二区域的路侧支架的第一区域的开始位置,所述第二区域的结束位置等于或大于位于所述第一区域的路侧支架的第二区域的开始位置;
或者,
对于所述多个路侧支架中的任意一个路侧支架,所述路侧支架上的多个传感器用于探测所述路侧支架的任意一侧的第三区域,且第三区域内设置有一个路侧支架,所述第三区域的结束位置等于或大于位于所述第三区域内的路侧支架的第三区域的开始位置。
3.根据权利要求2所述的路侧装置,其特征在于,所述路侧支架包括支壁,所述支壁的第一侧和/或第二侧设置多个传感器,所述支壁沿所述道路的横向延伸;
所述第一区域包括所述支壁的第一侧设置的多个传感器的探测区域;
所述第二区域包括所述支臂的第二侧设置的多个传感器的探测区域;
所述第三区域包括所述支臂的第一侧或第二侧设置的多个传感器的探测区域组成。
4.根据权利要求3所述的路侧装置,其特征在于,所述支壁的第一侧和/或第二侧设置的传感器的探测区域包括所述道路中的至少两个车道;
所述支壁的第一侧和/或第二侧设置的传感器位于所述道路中的任意一条车道线或任意一条车道的中间位置的正上方;
所述支壁的第一侧和第二侧各自设置的多个传感器以所述道路的横向对称;和/或,
所述支壁的第一侧和/或第二侧设置多个传感器沿所述道路的横向分布和/或沿垂直所述道路的方向分布;
所述第一传感器距离所述道路的垂直高度大于所述第二传感器距离所述道路的垂直高度。
5.根据权利要求2所述的路侧装置,其特征在于,所述支壁的第一侧或第二侧各自设置的多个传感器包括第一传感器、第二传感器;或者,包括第一传感器、第二传感器或和第三传感器。
6.根据权利要求3所述的路侧装置,其特征在于,所述第一传感器包括近景传感器和远景传感器;其中,所述近景传感器的探测开始位置等于或小于所述第二传感器的探测开始位置,所述远景传感器的探测结束位置大于或等于所述第二传感器的探测结束位置,所述远景传感器的探测开始位置等于或小于所述近景传感器的探测结束位置;
所述第一区域和所述第二区域均包括所述第三传感器的探测区域;
所述第三传感器距离所述道路的垂直高度小于所述第一传感器和/或所述第二传感器距离所述道路的垂直高度;和/或,
所述第二传感器距离所述道路的垂直高度小于所述第一传感器距离所述道路的垂直高度。
7.根据权利要求1所述的路侧装置,其特征在于,所述第一感知模块包括:
预处理单元,用于基于所述参数确定模块上一次输出的空间融合参数和预存的预处理程序,对所述采集模块当前输出的数据进行处理,确定当前的预处理结果;其中,所述预处理结果用于表示相同时段内所述多个传感器各自采集的帧、帧的感知结果和帧的采样时刻;
缓存单元,用于缓存当前和之前的多个预处理结果;
时间融合单元,用于基于所述参数确定模块上一次输出的时间融合参数,对所述多个预处理结果进行时间融合,确定当前的时间融合结果;
目标融合单元,用于基于所述当前的时间融合结果进行目标融合,确定当前的目标感知结果;
感知单元,用于基于当前的目标感知结果和当前的时间融合结果确定所述多个传感器各自的第一感知数据。
8.根据权利要求7所述的路侧装置,其特征在于,所述监控模块用于基于所述参数确定模块当前输出的空间融合参数对当前的目标融合结果进行修正,确定当前的空间融合结果;
所述参数确定模块,用于对于所述多个重叠区域的各区域,基于当前的空间融合结果中所述重叠区域对应的数据,确定探测所述重叠区域的多个传感器的当前的时间融合参数;
所述监控模块,用于基于所述参数确定模块当前输出的时间融合参数对所述当前的空间融合结果进行修正,确定当前的道路监控结果。
9.根据权利要求1所述的路侧装置,其特征在于,所述空间融合参数包括形成该所述重叠区域的多个传感器各自的横摆角和俯仰角;
所述时间融合参数包括形成该所述重叠区域的多个传感器之间的时间差值。
10.根据权利要求1所述的路侧装置,其特征在于,还包括:
至少一个环境监测传感器,用于对所述道路的环境进行监测;
所述采集装置,还用于接收所述至少一个环境监测传感器采集的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111678031.9A CN114333321B (zh) | 2021-12-31 | 2021-12-31 | 路侧装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111678031.9A CN114333321B (zh) | 2021-12-31 | 2021-12-31 | 路侧装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114333321A true CN114333321A (zh) | 2022-04-12 |
CN114333321B CN114333321B (zh) | 2023-09-12 |
Family
ID=81023446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111678031.9A Active CN114333321B (zh) | 2021-12-31 | 2021-12-31 | 路侧装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114333321B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120032835A1 (en) * | 2010-08-09 | 2012-02-09 | Silvia Mazzei | Three-dimensional target tracking |
CN112017437A (zh) * | 2020-09-10 | 2020-12-01 | 北京雷信科技有限公司 | 路口交通信息感知控制系统和方法 |
CN112208529A (zh) * | 2019-07-09 | 2021-01-12 | 长城汽车股份有限公司 | 用于目标检测的感知系统、驾驶辅助方法和无人驾驶设备 |
KR102253274B1 (ko) * | 2019-11-29 | 2021-05-18 | 이인텔리전스 주식회사 | 퓨전 신호 처리장치 |
CN112995943A (zh) * | 2021-05-13 | 2021-06-18 | 深圳市速腾聚创科技有限公司 | 多传感器的感知信息融合方法及相关设备 |
CN113419244A (zh) * | 2021-05-28 | 2021-09-21 | 同济大学 | 一种基于毫米波雷达数据的车辆轨迹拼接方法 |
-
2021
- 2021-12-31 CN CN202111678031.9A patent/CN114333321B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120032835A1 (en) * | 2010-08-09 | 2012-02-09 | Silvia Mazzei | Three-dimensional target tracking |
CN112208529A (zh) * | 2019-07-09 | 2021-01-12 | 长城汽车股份有限公司 | 用于目标检测的感知系统、驾驶辅助方法和无人驾驶设备 |
KR102253274B1 (ko) * | 2019-11-29 | 2021-05-18 | 이인텔리전스 주식회사 | 퓨전 신호 처리장치 |
CN112017437A (zh) * | 2020-09-10 | 2020-12-01 | 北京雷信科技有限公司 | 路口交通信息感知控制系统和方法 |
CN112995943A (zh) * | 2021-05-13 | 2021-06-18 | 深圳市速腾聚创科技有限公司 | 多传感器的感知信息融合方法及相关设备 |
CN113419244A (zh) * | 2021-05-28 | 2021-09-21 | 同济大学 | 一种基于毫米波雷达数据的车辆轨迹拼接方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114333321B (zh) | 2023-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6670912B2 (en) | Method for detecting stationary object located above road | |
US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
US9074906B2 (en) | Road shape recognition device | |
JP5761162B2 (ja) | 車両位置推定装置 | |
US10821975B2 (en) | Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method | |
CN102016921B (zh) | 图像处理装置 | |
EP1909064A1 (en) | Object detection device | |
US10074021B2 (en) | Object detection apparatus, object detection method, and program | |
JP6659367B2 (ja) | 物体検出装置および物体検出方法 | |
JP6628189B2 (ja) | 検出装置および検出方法 | |
US20150363653A1 (en) | Road environment recognition system | |
JP6806891B2 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP2018147399A (ja) | 物標検出装置 | |
WO2021094802A1 (ja) | 車両制御方法及び車両制御装置 | |
JP2020109560A (ja) | 信号機認識方法及び信号機認識装置 | |
JP3470172B2 (ja) | 交通流監視装置 | |
CN114333321B (zh) | 路侧装置 | |
CN110809228B (zh) | 速度测量方法、装置、设备和计算机可读存储介质 | |
JP2015004543A (ja) | 車両位置認識装置 | |
WO2022244063A1 (ja) | 判定装置、判定方法、及び判定プログラム | |
JP7325296B2 (ja) | 物体認識方法及び物体認識システム | |
JP2019027995A (ja) | 情報処理装置、プログラム、及び車両位置の推定方法 | |
CN114332786A (zh) | 数据处理方法及装置 | |
CN114127822B (zh) | 信息处理装置、信息处理方法以及信息处理程序 | |
RU2779773C1 (ru) | Способ распознавания светофора и устройство распознавания светофора |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |