CN114078325B - 多感知系统配准方法、装置、计算机设备和存储介质 - Google Patents

多感知系统配准方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114078325B
CN114078325B CN202010837452.0A CN202010837452A CN114078325B CN 114078325 B CN114078325 B CN 114078325B CN 202010837452 A CN202010837452 A CN 202010837452A CN 114078325 B CN114078325 B CN 114078325B
Authority
CN
China
Prior art keywords
perception
target
road side
sensing system
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010837452.0A
Other languages
English (en)
Other versions
CN114078325A (zh
Inventor
王邓江
关喜嘉
马冰
邓永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanji Technology Co Ltd
Original Assignee
Beijing Wanji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanji Technology Co Ltd filed Critical Beijing Wanji Technology Co Ltd
Priority to CN202010837452.0A priority Critical patent/CN114078325B/zh
Publication of CN114078325A publication Critical patent/CN114078325A/zh
Application granted granted Critical
Publication of CN114078325B publication Critical patent/CN114078325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请涉及一种多感知系统配准方法、装置、计算机设备和存储介质。所述方法包括:获取所述移动感知系统的当前位置信息;根据所述移动感知系统的当前位置信息计算所述移动感知系统与其他路侧感知系统的相对位置信息;根据所述移动感知系统与其他路侧感知系统的相对位置信息计算所述移动感知系统与所述其他路侧感知系统的相对位置变化信息;根据所述相对位置变化信息对所述多感知系统系统的配准参数进行调整,得到所述多感知系统系统的当前配准参数。采用本方法能够及时对移动感知系统和其他感知系统的配准参数进行配准,对整个全局场景进行全面完整的感知,使最终的检测结果更加准确。

Description

多感知系统配准方法、装置、计算机设备和存储介质
技术领域
本申请涉及通信技术领域,特别是涉及一种多感知系统配准方法、装置、计算机设备和存储介质。
背景技术
在交通管理时,可以在道路两侧设置路侧感知系统,路侧感知系统具备环境感知能力和交通目标监测跟踪能力,能够提供交通安全预警及效率服务,并能向车端、移动端和数据中心发送交通信息。
传统技术中,路侧感知系统是固定不动的,每个固定的路侧感知系统都有固定的覆盖范围,由于覆盖范围的限制或者障碍物遮挡等原因,导致路侧感知系统并不能完整覆盖整个交通场景,因利用路侧感知系统对整个交通场景进行检测时,会存在检测不准确的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高准确度的感知系统协同方法、装置、计算机设备和存储介质。
第一方面,提供一种多感知系统配准方法,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该方法包括:
获取该移动感知系统的当前位置信息;根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
第二方面,提供一种多感知系统协同感知方法,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该方法包括:
利用上述第一方面提供的多感知系统配准方法,获取该多感知系统系统的当前配准参数;分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步;基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
在其中一个实施例中,该基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果,包括:
确定全局场景中各该路侧感知系统之间的当前感知重叠区域;对该当前感知重叠区域对应的单感知系统感知数据进行数据增强处理,得到单感知系统增强感知数据;利用目标检测算法处理该单感知系统增强感知数据,得到各该路侧感知系统对应的当前感知重叠区域的目标检测结果。
在其中一个实施例中,该确定各该路侧感知系统之间的当前感知重叠区域,包括:
获取该移动感知系统的当前位置;根据该移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各该路侧感知系统的感知范围确定该各该路侧感知系统之间的当前感知重叠区域,其中,该其他路侧感知系统为该多感知系统系统中除该移动感知系统之外的路侧感知系统。
在其中一个实施例中,该基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果,包括:
将时空同步后的各该单感知系统感知数据进行目标检测,得到各该路侧感知系统的单感知系统目标检测结果;根据各该路侧感知系统的当前感知非重叠区域,确定各该路侧感知系统对应的当前感知非重叠区域对应的目标检测结果。
在其中一个实施例中,该全局场景下的感知信息包括该全局场景下的目标移动轨迹;将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息,包括:
将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹;其中,该在先目标检测结果包括在当前时刻之前的时刻所对应的目标检测结果。
在其中一个实施例中,该目标检测结果包括目标的位置、目标的速度以及目标的航向角,该在先目标检测结果还包括目标的预测信息;该将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹,包括:
根据各路侧感知系统的目标检测结果以及各路侧感知系统之间的相对位置计算对应目标在预设时长之后的位置和方向,得到各目标的预测信息;根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹。
在其中一个实施例中,该根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹,包括:
基于候选预测信息中的位置信息从该多个路侧感知系统中确定目标路侧感知系统;其中,该候选预测信息为任一一个该目标基于当前时刻的预测信息;在该预设时长之后,获取该目标路侧感知系统的当前单感知系统感知数据,并对该当前单感知系统感知数据进行目标检测,得到该目标路侧感知系统的当前目标检测结果;若该当前目标检测结果与该候选预测信息匹配,则将该候选预测信息对应的目标与当前目标检测结果中的目标进行关联。
在其中一个实施例中,该方法还包括:
若该当前目标检测结果与该候选预测信息不匹配,则判断该当前目标检测结果对应的目标是否为新增目标;若该当前目标检测结果对应的目标为新增目标,则在全局场景的感知信息中增加该新增目标的感知信息。
在其中一个实施例中,该方法还包括:
获取该候选预测信息中的位置信息,若该目标路侧感知系统未检测到与该位置信息对应的当前目标检测结果,则确定后续时刻中目标检测结果与预测信息匹配的目标后续时刻;该后续时刻为在该当前时刻之后的时刻;将该目标后续时刻之前所对应的候选预测信息,作为该目标路侧感知系统的目标检测结果。
在其中一个实施例中,该方法还包括:
根据该预测信息判断该全局场景下是否存在安全隐患;若存在安全隐患,则输出安全预警信息。
第三方面,提供一种多感知系统部署方法,该方法包括:
获取多感知系统系统的预设总检测范围;根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
在其中一个实施例中,根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统,包括:
根据环境复杂性和/或感知重要程度,确定该预设总检测范围的候选目标位置;其中,该候选目标位置为需部署路侧感知系统的位置;根据部署的该固定的路侧感知系统,从该候选目标位置中确定该移动感知系统的部署位置。
第四方面,提供一种多感知系统配准装置,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该装置包括:
获取模块,用于获取该移动感知系统的当前位置信息;
第一计算模块,用于根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;
第二计算模块,用于根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;
调整模块,用于根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
第五方面,提供一种多感知系统协同感知装置,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该系统包括:
第一获取模块,用于利用上述第一方面的多感知系统配准方法,获取该多感知系统系统的当前配准参数;
同步模块,用于分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步;
第二获取模块,用于基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;
生成模块,用于将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
第六方面,提供一种多感知系统部署装置,该装置包括:
获取模块,用于获取多感知系统系统的预设总检测范围;
第一部署模块,用于根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;
第二部署模块,用于根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
第七方面,提供一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,其特征在于,该处理器执行该计算机程序时实现上述第一方面、第二方面和第三方面任一所述的方法的步骤。
第八方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现上述第一方面、第二方面和第三方面任一所述的方法的步骤。
上述多感知系统配准方法、多感知系统协同感知方法、多感知系统部署方法、装置、计算机设备和存储介质,通过获取该移动感知系统的当前位置信息;然后根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;接着根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;最后根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。因为本申请中引入了移动感知系统,移动感知系统的位置灵活可变,可以通过调整移动感知系统的位置,对整个全局场景进行全面完整的感知,并且在移动感知系统的位置发生变化时,可以及时获取移动感知系统的位置信息,及时对移动感知系统和其他感知系统的配准参数进行配准,使最终的检测结果可以更加准确。
附图说明
图1为一个实施例中多感知系统配准方法的流程示意图;
图2为一个实施例中多感知系统协同感知方法的流程示意图;
图3为一个实施例中多感知系统协同感知方法中基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果的方法的流程示意图;
图4为一个实施例中多感知系统协同感知方法中确定各该路侧感知系统之间的当前感知重叠区域的方法的流程示意图;
图5为一个实施例中多感知系统协同感知方法中基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果的方法的流程示意图;
图6为一个实施例中多感知系统协同感知方法中将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹的方法的流程示意图;
图7为一个实施例中多感知系统协同感知方法中根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹的方法的流程示意图;
图8为一个实施例中多感知系统部署方法的流程示意图;
图9为一个实施例中多感知系统部署方法中根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统的方法的流程示意图;
图10为一个实施例中多感知系统配准装置的结构框图;
图11为一个实施例中多感知系统协同感知装置的结构框图;
图12为另一个实施例中多感知系统协同感知装置的结构框图;
图13为一个实施例中多感知系统部署装置的结构框图;
图14为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请实施例中,如图1所示,提供了一种多感知系统配准方法,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统。本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现本实施例中,该方法包括以下步骤:
步骤101,终端获取该移动感知系统的当前位置信息。
在本步骤中,终端获取移动感知系统的当前位置信息,因为移动感知系统的位置可以灵活变动,在移动感知系统的位置变动的过程中,各个感知系统之间的相对位置也会发生变化,为了可以对各个感知系统进行准确地配准,需要及时获取移动感知系统的当前位置信息。可选的,终端可以定时地获取移动感知系统的当前位置信息,也可以实时地获取移动感知系统的当前位置信息。
步骤102,终端根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息。
在终端获取到移动感知系统的当前位置信息之后,可以根据已有的其他路侧感知系统的位置信息和移动感知系统的当前位置信息计算出移动感知系统与其他路侧感知系统的相对位置信息,相对位置信息包括相对距离和相对角度等。在移动感知系统的位置发生变化的过程中,终端及时更新多感知系统系统中各感知系统的位置信息以及相对位置信息,有利于进一步的根据各感知系统之间的相对位置信息进行配准。
步骤103,终端根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息。
在本步骤中,在移动感知系统的位置发生变化之后,终端会及时更新多感知系统系统中各路侧感知系统的位置信息,同时,终端中还保存有移动感知系统位置发生变化之前,多感知系统系统中各路侧感知系统的位置信息,所以终端可以通过之前保存的位置信息以及更新后的位置信息,计算出移动感知系统与其他路侧感知系统的相对位置变化信息。
步骤104,终端根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
在多感知系统系统中,因为每个路侧感知系统的位置不同,并且各路侧感知系统都有自身的感知系统坐标系,为了能够对使用多感知系统系统中的各个路侧感知系统的数据,需要对所有的路侧感知系统进行配准,配准的目的是为了能够对不同的路侧感知系统的坐标系进行统一转换,配准需要用到配准参数,配准参数一般包括平移向量和旋转矩阵。当移动感知系统的位置发生变化时,意味着终端之前存储的配准参数已经不适用于当前的路侧感知系统,因此当终端更新了多感知系统系统中当前路侧感知系统的位置信息后,需要同时对多感知系统系统的配准参数进行调整更新,以得到最新的配准参数,然后利用最新的配准参数对多感知系统系统中的所有路侧感知系统进行配准。
上述多感知系统配准方法、多感知系统协同感知方法、多感知系统部署方法、装置、计算机设备和存储介质,通过获取该移动感知系统的当前位置信息;然后根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;接着根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;最后根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。因为本申请中引入了移动感知系统,移动感知系统的位置灵活可变,可以通过调整移动感知系统的位置,对整个全局场景进行全面完整的感知,并且在移动感知系统的位置发生变化时,可以及时获取移动感知系统的位置信息,及时对移动感知系统和其他感知系统的配准参数进行配准,使最终的检测结果可以更加准确。
在本申请实施例中,如图2所示,提供了一种多感知系统协同感知方法,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统。本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现本实施例中,该方法包括以下步骤:
步骤201,终端利用上述第一方面提供的多感知系统配准方法,获取该多感知系统系统的当前配准参数。
在本步骤中,终端可以利用上述实施例提供的多感知系统配准方法,对多感知系统系统中的所有路侧感知系统进行配准,然后利用配准后的路侧感知系统协同起来对全局场景进行感知。
步骤202,终端分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步。
其中,单感知系统感知数据可以为路侧感知系统所采集的当前检测范围内的采集数据,如点云数据或相机数据等。终端可以分别从各路侧感知系统中获取采集到的单感知系统感知数据。因各路侧感知系统都具有自身的感知系统坐标系,则所采集的单感知系统感知数据是处于各自的感知系统坐标系下的;为使得到的单感知系统感知数据处于同一基准下,从而得到同一基准下全局场景的感知信息,终端需先对各单感知系统感知数据进行时空同步处理。具体地,终端可以根据多感知系统系统的配准参数,对各路侧感知系统的单感知系统感知数据进行时空同步处理,可选地,终端可以根据配准参数(该配准参数可以包括平移向量和旋转矩阵等参数),将各单感知系统感知数据配准至同一时空。
步骤203,终端基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果。
具体地,终端可以对得到的时空处理后的单感知系统感知数据进行目标检测,得到各路侧感知系统检测范围内目标的位置、速度、航向角、加速度及类别(如行人、车辆等)等信息,作为目标检测结果。可选地,终端可以基于深度学习算法(如神经网络)对单感知系统感知数据进行目标检测,以得到目标检测结果。
步骤204,终端将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
具体地,各个路侧感知系统的目标检测结果都是基于单个路侧感知系统的,为得到整个多感知系统系统的目标检测结果,终端可以将各目标检测结果映射至全局场景,即将各路侧感知系统的目标检测结果映射为全局感知数据,得到全局场景下的感知信息。其中,全局场景为基于多感知系统系统的感知范围所确定的,则终端可以将各个目标检测结果“标记”至全局场景上,得到全局场景下的感知信息。
本实施例提供的多感知系统协同感知方法,终端根据多感知系统系统的配准参数,对获取到的各路侧感知系统的单感知系统感知数据进行时空同步处理,并基于时空同步处理后的单感知系统感知数据获取各个路侧感知系统的目标检测结果,然后将各个路侧感知系统的目标检测结果映射至全局场景,生成全局场景下的感知信息;其中,全局场景基于多感知系统系统的感知范围确定。该方法中,使用多感知系统系统覆盖整个交通场景的检测范围,并基于单个路侧感知系统的单感知系统感知数据得到整个全局场景的感知信息,即得到了整个交通场景的感知信息,大大提高了感知环境的范围,提高了最终的检测准确度。
为方便理解上述根据多感知系统系统的配准参数,对各路侧感知系统(以下称之为感知系统)的单感知系统感知数据进行时空同步处理的过程,下面对该过程进行详细介绍。该过程可以包括以下步骤:
(1)、终端利用测量仪测量各个路侧感知系统的经纬度信息,并根据经纬度信息确定初始配准参数。
其中,感知系统内部具有可以测量自身经纬度信息的测量仪,该经纬度信息为大地坐标系下感知系统的定位信息。每个感知系统具有自身的感知系统坐标系,通常不同感知系统的感知系统坐标系不同,因此不同感知系统采集的单感知系统感知数据是位于不同感知系统坐标系下的(以下以点云数据为例进行说明,以下的点云数据即单感知系统感知数据,第一点云数据即第一单感知系统感知数据,待配准点云数据即待配准感知数据)。
具体地,利用上述测量仪测量各个感知系统的经纬度信息后,终端可以根据各个感知系统的经纬度信息确定初始配准参数,该初始配准参数用于对各个感知系统采集的点云数据进行粗配准。可选地,终端可以根据各个感知系统的经纬度信息确定感知系统之间的距离,并根据感知系统之间的距离以及自身的感知系统坐标系确定初始配准参数;其中,该初始配准参数可以包括配准时所需的平移向量和旋转矩阵。
(2)、终端利用初始配准参数处理各路侧感知系统的单感知系统感知数据得到各路侧感知系统对应的第一单感知系统感知数据。
具体地,终端可以根据上述确定的初始配准参数处理各感知系统的点云数据,将各感知系统的点云数据同步至同一空间,得到各感知系统对应的第一点云数据。可选的,该同一空间可以为各感知系统中某个感知系统的感知系统坐标系空间,也可以为终端选取的某个基准坐标系空间(如大地坐标系)。可选地,假设初始配准参数中平移向量为T、旋转矩阵为R,则终端可以采用包含P0*R+T的关系式对感知系统的点云数据P0进行转换,得到第一点云数据。
(3)、终端根据预设条件从各路侧感知系统对应的第一单感知系统感知数据中,分别选取各路侧感知系统对应的待配准感知数据,并利用预设配准算法处理待配准感知数据,得到多感知系统系统的配准参数;预设条件用于表征所选取的待配准感知数据的数据范围。
其中,因上述粗配准过程是依据感知系统的经纬度信息所执行的,经纬度信息的准确度取决于感知系统自身的硬件因素,因此,为了进一步提高各感知系统点云数据在同一空间上的同步精度,则本实施例对各感知系统点云数据再进行一次精配准过程。
具体地,针对各感知系统对应的第一点云数据,终端可以根据预设条件分别从各第一点云数据选取各感知系统对应的待配准点云数据,该预设条件用于表征所选取的待配准点云数据的数据范围。可选地,可以选取第一点云数据中距离点云中心Xm(如10m)范围内的数据作为待配准点云数据,即只选取点云密度较大的点云数据,以减少配准过程的数据量。然后终端利用预设配准算法处理所选取的待配准点云数据,以得到多感知系统系统精配准时的配准参数,进而采用该配准参数对待配准数据进行配准。可选地,上述预设配准算法可以为最近点迭代算法(Iterative Closest Point,ICP),也可以为其他类型的点云配准算法,本实施例对此不做限制。由此,对于多个感知系统采集的点云数据,本实施例通过粗配准和精配准两个过程确定多感知系统系统的精确配准参数,进而根据该配准参数对感知系统的点云数据进行配准,大大提高了多个感知系统点云数据的空间同步性。
在一个实施例中,上述根据经纬度信息确定初始配准参数的过程,可以包括以下步骤:
(1)、终端根据各个感知系统的经纬度信息获取原始配准参数。
(2)、终端利用各感知系统检测范围内的共同目标对原始配准参数进行评估,根据评估结果获取初始配准参数。
具体地,根据各个感知系统的经纬度信息获取原始配准参数的过程可以参见上述实施例的描述,在此不再赘述。而得到原始配准参数后,终端进一步对该原始配准参数进行评估,以得到精度较高的配准参数,提高粗配准的结果精度。在得到原始配准参数之后,终端可以利用原始配准参数处理各感知系统的点云数据,然后对处理后的点云数据进行目标检测,利用各感知系统检测范围内的共同目标对上述原始配准参数进行评估,以获取初始配准参数。可选地,终端可以分别计算共同目标到各感知系统的距离,根据各距离的差值对原始配准参数进行评估,若距离差值小于预设的差值阈值,则将原始配准参数作为初始配准参数,若距离误差不小于差值阈值,则需重新利用测量仪测量各个感知系统的经纬度信息,并根据经纬度信息重新获取原始配准参数,以此重复执行,直至共同目标到各感知系统的距离差值小于差值阈值。可选地,终端还可以根据各感知系统检测到的共同目标的坐标之间的差异,对原始配准参数进行评估,以获取初始配准参数。
在另一种可实现的方式中,终端还可以获取各感知系统检测范围内共同目标的检测框,并确定共同目标的各检测框之间的重叠度;若各检测框之间的重叠度大于重叠度阈值,则将原始配准参数作为初始配准参数。可选地,可以采用基于深度学习的目标检测算法对各处理后的点云数据进行目标检测,确定各感知系统检测范围内的共同目标的检测框,该检测框可以为能够包围目标的最小三维框,具有长宽高等信息。然后根据共同目标的各检测框确定各检测框之间的重叠度,若重叠度大于预设的重叠度阈值(如90%),则说明得到的原始配准参数的精度已较高,可将原始配准参数作为初始配准参数;若重叠度不大于重叠度阈值,则说明得到的原始配准参数的精度还较低,需重新利用测量仪测量各个感知系统的经纬度信息,并根据经纬度信息重新获取原始配准参数,以此重复执行,直至共同目标的各检测框之间的重叠度大于重叠度阈值。由此,在保证粗配准具有一定精度的前提下再执行精配准过程,可以进一步提高进行点云配准的准确性。
在一个实施例中,终端还可以利用感知系统检测范围内目标的经纬度信息和感知系统的经纬度信息共同确定上述原始配准参数。上述根据各个感知系统的经纬度信息获取原始标定参数的过程可以包括:
(1)、终端获取各个感知系统检测范围内目标的经纬度信息。
(2)、终端根据各个感知系统的经纬度信息和目标的经纬度信息,确定各个感知系统之间的夹角和距离。
具体地,感知系统检测范围内目标的经纬度信息也可以为在大地坐标系下的位置信息,可以利用感知系统内部的测量仪进行测量;然后选取大地坐标系为基准坐标系,终端根据各个感知系统的经纬度信息、各个感知系统检测范围内目标的经纬度信息和每个感知系统的感知系统坐标系,确定每个感知系统坐标系中预设坐标轴与大地坐标系下基准方向的夹角,并根据各感知系统坐标系中预设坐标轴与基准方向的夹角确定各个感知系统之间的夹角。
示例性的,感知系统坐标系可以为一个三维坐标系,包括X轴、Y轴和Z轴,基准方向可以为正北方向,则终端可以确定感知系统坐标系中Y轴与大地坐标系下正北方向的夹角。假设感知系统A的经度为Aj、纬度为Aw,目标的经度为Bj、纬度为Bw,可选地,终端可以根据的关系式计算一个参考角度F;当然,终端也可以根据包含的其他关系式计算该参考角度。若目标在感知系统的感知系统坐标系的第一象限及Y轴正半轴,则感知系统坐标系中Y轴与正北方向的夹角Azimuth=F;若目标在感知系统坐标系的第二象限,则Azimuth=360°+A;若目标在感知系统坐标系的第三象限、第四象限及Y轴负半轴,则Azimuth=180°+A。由此,可计算得到感知系统A坐标系中Y轴与大地坐标系下正北方向的夹角Azimuth1,感知系统B坐标系中Y轴与大地坐标系下正北方向的夹角Azimuth2,通过将夹角Azimuth1和夹角Azimuth2进行求差操作,即得到感知系统A和感知系统B之间的夹角ΔA=Azimuth1-Azimuth2。
另外,终端还可以根据每个感知系统的经纬度信息确定两个感知系统之间的距离,如通过计算两个感知系统之间的经度差、以及计算两个感知系统之间的纬度差,再根据包含的距离公式确定两个感知系统之间的距离,其中为ΔJ经度差,ΔW为纬度差;可选地,终端还可以直接将ΔJ作为两个感知系统在经度方向上的距离,将ΔW作为纬度方向上的距离。
(3)、终端根据各个感知系统之间的夹角和距离,确定原始配准参数。
具体地,终端可以将感知系统之间的夹角作为旋转矩阵、将感知系统之间的距离作为平移向量,并将该旋转矩阵和平移向量作为原始配准参数。由此,基于感知系统的经纬度信息和目标的经纬度信息确定原始配准参数,可以提高得到的原始配准参数的精度,进而提高多个感知系统点云数据的空间同步性。
为方便理解上述利用预设配准算法处理待配准点云数据的过程,本实施例采用两个感知系统进行解释说明,假设一个感知系统的待配准点云数据为第二点云数据,另一个感知系统的待配准点云数据为第三点云数据,上述利用预设配准算法处理待配准感知数据,得到多感知系统系统的配准参数的过程,可以包括:
(1)、终端根据第二点云数据的点云点和第三点云数据的点云点之间的距离值,获取第二点云数据与第三点云数据中匹配的点对。
具体地,假设第二点云数据为P0,第三点云数据为Q,针对点云数据P0中的各个点云点,从点云数据Q中搜索与P0点云点距离最近的点云点,组成多个点对。
(2)、终端采用误差函数计算各点对的均方误差,确定均方误差的值最小时所对应的旋转转换参数,并利用旋转转换参数处理第二点云数据和第三点云数据,得到第一候选点云数据和第二候选点云数据。
具体地,每个点对包括一个P0的点云点和一个Q的点云点(pi,qi),其中,初始点对中的对应关系并不一定都是正确的,错误的对应关系会影响最终的配准结果,本实施例还可以采用方向向量阈值剔除错误的点对。然后,采用误差函数计算该多个点对的均方误差,确定该均方误差最小时的旋转转换参数,并采用旋转转换参数将第二点云数据P0转换为第一候选点云数据P1,需要是说明的是,此时可不必对第三点云数据进行转换,直接将第三点云数据Q作为第二候选点云数据;可选地,该误差函数的表达式可以为其中n为点对的个数,R为旋转转换参数中的旋转矩阵,t为旋转转换参数中的平移向量,当前确定的是均方误差最小时的R和t的取值,并根据pi'={Rpi+t,pi∈P0}的转换关系式将点云数据P0转换为P1。
(3)、终端计算第一候选点云数据和第二候选点云数据的均方误差,若均方误差小于误差阈值,将旋转转换参数作为多感知系统系统的配准参数。
然后,计算第一候选点云数据P1和第二候选点云数据Q之间的均方误差,可选地,可以采用的关系式计算该均方误差,需要说明的是,pi’为与qi位于同一个点对的pi转换而来的。若该均方误差小于误差阈值,则将上述得到的旋转转换参数作为多感知系统系统的配准参数。若该均方误差不小于预设误差,则再确定点云数据P1和Q之间的点对,重新执行计算点对的均方误差的过程,直至均方误差小于预设误差或者迭代次数达到预设次数为止。由此迭代获得精配准过程的配准参数,可大大提高得到的配准参数的精度。
在一个实施例中,终端得到上述各感知系统对应的待配准点云数据(如交叠区域对应的点云数据)之后,还可以基于待配准点云数据的数据精度和精度阈值,确定待配准点云数据中数据精度不大于精度阈值的待剔除数据,例如一些特征不明显的数据,并从待配准点云数据中剔除该待剔除数据。继而终端可以利用预设配准算法处理所述待配准点云数据,得到多感知系统系统的配准参数。由此,可保留各待配准点云数据中精度较高的数据,为后续的精配准过程提供高精度数据,以进一步提高点云配准结果的准确性。可选地,终端还可以对待配准点云数据进行地面点的滤除,即滤除待配准点云数据中的地面点数据,以减少地面点对数据配准过程的影响。
在一个实施例中,除了将多个感知系统的单感知系统感知数据进行空间同步之外,还可以将实现时间同步。可选地,时间同步的过程可以包括:接收各感知系统发送的感知系统时间轴;根据各感知系统的感知系统时间轴以及基准时间轴,将各感知系统时间轴同步至同一时间轴。具体地,首先选取一个基准时间轴,可选地,该基准时间轴可以为GPS时间轴;然后计算各感知系统的感知系统时间轴与基准时间轴之间的时间差ΔT1、ΔT2等等。若以两个感知系统为例,则将ΔT1与ΔT2之间的差值作为第一感知系统的感知系统时间轴与第二感知系统的感知系统时间轴之间的时间差,那么根据该时间差,第二感知系统可以将自身的感知系统时间轴同步至第一感知系统的感知系统时间轴上。由此,便实现了各感知系统之间的时间同步。
在其中一个实施例中,请参考图3,提供了一种多感知系统协同感知方法中基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果的方法,该方法包括:
步骤301,终端确定全局场景中各该路侧感知系统之间的当前感知重叠区域。
具体地,每个路侧感知系统都有固定大小的检测区域,当全局场景中存在多个路侧感知系统时,路侧感知系统的检测区域之间可能会存在重叠,因此就出现了感知重叠区域,当存在感知重叠区域时,各路侧感知系统采集的单感知系统感知数据也会存在交叠数据。例如,感知系统A和感知系统B检测区域的范围都是半径50m的圆形,感知系统A和感知系统B的距离为80m,则可以确定感知系统A和感知系统B的检测区域的感知重叠区域宽度为20m,感知重叠区域对应的单感知系统感知数据为该20m对应的采集数据。
步骤302,终端对该当前感知重叠区域对应的单感知系统感知数据进行数据增强处理,得到单感知系统增强感知数据。
基于上述步骤得到感知重叠区域对应的单感知系统感知数据之后,终端可以对该部分的单感知系统感知数据数据增强处理,得到增强单感知系统感知数据。例如进行稠密化处理,若单感知系统感知数据为点云数据,则可以采用插值算法增加该部分数据的点云密度,以提升其中目标的特征维度;若单感知系统感知数据为相机数据(图像数据),则可以采用差值算法增加像素点信息维度,进而得到增强单感知系统感知数据。
步骤303,终端利用目标检测算法处理该单感知系统增强感知数据,得到各该路侧感知系统对应的当前感知重叠区域的目标检测结果。
然后,终端可以利用目标检测算法处理上述增强单感知系统感知数据,该目标检测算法可以为基于深度学习的检测算法,如基于神经网络模型的算法,对增强单感知系统感知数据进行检测后得到各个路侧感知系统的目标检测结果。通过对单感知系统感知数据进行增强,可大大提高得到的目标检测结果的准确性。
可选地,当上述单感知系统感知数据为点云数据时,各路侧感知系统还可以共享其他感知系统基于增强单感知系统感知数据检测到的感知重叠区域内的目标检测结果。例如,感知系统A基于增强单感知系统感知数据检测到了重叠区域内一个目标的一部分(如检测到了一辆车的车头),感知系统B基于增强单感知系统感知数据检测到了该目标的另一部分(如检测到了该车的车身),那么感知系统B便可以共享到感知系统A的车头信息,使得所获得的目标检测结果具有完整性,也同时提高了感知系统B的检测能力。
在其中一个实施例中,请参考图4,提供了一种多感知系统协同感知方法中确定各该路侧感知系统之间的当前感知重叠区域的方法,该方法包括:
步骤401,终端获取该移动感知系统的当前位置。
移动感知系统在移动的过程中,其位置也在不断地发生变化,也就是说,该移动感知系统的检测区域也在不断的发生变化,这样一来,整个全局场景中的当前感知重叠区域也在不断地发生变化,因此,若想获得各路侧感知系统之间的当前感知重叠区域,就必须先获取各移动感知系统的当前位置。
步骤402,终端根据该移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各该路侧感知系统的感知范围确定该各该路侧感知系统之间的当前感知重叠区域,其中,该其他路侧感知系统为该多感知系统系统中除该移动感知系统之外的路侧感知系统。
在本步骤中,每个路侧感知系统都有固定大小的感知范围,在确定了各移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各个路侧感知系统的感知范围之后,就可以确定出当前各个路侧感知系统之间的当前感知重叠区域。例如,各个路侧感知系统的感知范围可以被认为是以路侧感知系统为圆心的圆,并且,已知各个路侧感知系统对应的圆的半径。那么,在已知路侧感知系统位置,以及路侧感知系统对应的半径的情况下,就可以得到各个路侧感知系统的感知范围,并且,也可以得到各路侧感知系统之间的当前感知重叠区域。这种确定各路侧感知系统之间的当前感知重叠区域的方法,在移动感知系统位置移动的过程中一样适用。
在本申请实施例中,通过及时获取移动感知系统的位置信息,可以快速通过移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各该路侧感知系统的感知范围确定该各该路侧感知系统之间的当前感知重叠区域。
在其中一个实施例中,请参考图5,提供了一种多感知系统协同感知方法中基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果的方法,该方法包括:
步骤501,终端将时空同步后的各该单感知系统感知数据进行目标检测,得到各该路侧感知系统的单感知系统目标检测结果。
在时空同步后,各路侧感知系统对应的单感知系统检测数据可以被统一到同一坐标系中,那么终端在利用目标检测算法对各个路侧感知系统的单感知系统感知数据进行目标检测时,可以利用上述实施例提供的方法,得到各路侧感知系统的单感知系统目标检测结果。该目标检测算法可以为基于深度学习的检测算法,如基于神经网络模型的算法。
步骤502,终端根据各该路侧感知系统的当前感知非重叠区域,确定各该路侧感知系统对应的当前感知非重叠区域对应的目标检测结果。
在全局场景中,各个路侧感知系统之间可能存在感知重叠区域,也可能存在感知非重叠区域,对于当前感知重叠区域,可以利用上述实施例提供的方法得到当前感知重叠区域的目标检测结果。对于当前感知非重叠区域,终端在获取到各个路侧感知系统的单感知系统目标检测结果之后,可以直接将各个路侧感知系统的单感知系统目标检测结果中当前感知非重叠区域对应的目标检测结果映射到全局场景中。
在本申请实施例中,终端可以将通过目标检测得到当前感知非重叠区域对应的目标检测结果,使全局场景的感知信息更加全面。
在其中一个实施例中,该全局场景下的感知信息包括该全局场景下的目标移动轨迹;本申请实施例提供了一种将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息的方法,该方法包括:
终端将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹;其中,该在先目标检测结果包括在当前时刻之前的时刻所对应的目标检测结果。
具体地,目标检测结果中可以包括目标在当前时刻的位置,那么在先目标检测结果中也包括目标在当前时刻之间的时刻的位置;其中,终端还可以对检测到的目标分配一个目标标识,以区分不同的目标,而相同的目标则使用相同的目标标识。因此,终端可以通过目标标识以及目标的位置,将目标检测结果和在先目标检测结果进行关联,得到全局场景下的目标移动轨迹。
需要说明的是,终端需要先判断当前的目标检测结果中的目标和在先目标检测结果中的目标是同一个目标时,才可为其分配相同的目标标识,以实现目标的跟踪过程。下面详细介绍一下实现目标跟踪的具体过程:
在其中一个实施例中,该目标检测结果包括目标的位置、目标的速度以及目标的航向角,该在先目标检测结果还包括目标的预测信息。请参考图6,提供了一种多感知系统协同感知方法中将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹的方法,该方法包括:
步骤601,终端根据各路侧感知系统的目标检测结果以及各路侧感知系统之间的相对位置计算对应目标在预设时长之后的位置和方向,得到各目标的预测信息。
具体地,终端可以根据当前时刻的目标的位置、速度和航向角,以及各路侧感知系统之间的相对位置,预测目标在预设时长(可以为多个预设时长)之后的位置和方向。例如,当前时刻为16:00:00,终端根据感知系统A与感知系统B之间的距离和相对角度,预测目标在16:00:05、16:00:10、16:00:15、16:00:20等十个后续时刻的预测信息,需要说明的是,所预测后续时刻的数量可以根据实际场景的需要进行设定。可选地,终端可以根据包含的关系式计算目标在Δt时间间隔后的位置,其中,(Xi,Yi)为目标在当前时刻的经度和纬度,Vi为目标在当前时刻的速度,ψi为目标在当前时刻的航向角;根据包含Vi+aiΔt的关系式计算目标在Δt时间间隔后的后续时刻的速度,其中ai为目标在当前时刻的加速度。
另外,各路侧感知系统在预设时长内也会不断的进行数据采集,并对每个时刻采集到的目标检测结果进行预测,将后一个时刻所得到的预测信息覆盖前一个时刻所得到的预测信息。示例性的,在16:00:00时刻预测了目标在16:00:05、16:00:10、16:00:15、16:00:20等十个时刻的预测信息;在16:00:05时仍检测到了该目标,则继续预测目标在16:00:10、16:00:15、16:00:20、16:00:25等十个时刻的预测信息,并将新预测的16:00:10、16:00:15、16:00:20时刻的预测信息覆盖第一次预测的预测信息。
步骤602,终端根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹。
具体地,终端可以将各目标的预测信息与当前时刻的目标检测结果进行匹配,若匹配上则表明该目标在当前时刻仍处于路侧感知系统的检测区域内,则将预测信息所对应的目标的目标标识赋予目标检测结果所对应的目标,根据该目标上一时刻的位置和当前时刻的位置即得到该目标的移动轨迹。
可选地,目标检测结果还可以包括目标的大小信息,根据全局场景中的目标检测结果和各目标的预测信息实现目标跟踪的过程,可以以下述方式实现(其中,下述的预测空间信息即预测信息):
(1)、终端从全局场景中的目标检测结果中获取当前时刻检测区域中每个目标的三维空间信息;三维空间信息包括目标的位置信息和大小信息。
其中,上述三维空间信息包括目标的位置信息和大小信息;位置信息即目标当前所在的地理位置,可以用大地坐标系下的经纬度信息表示,大小信息可以用能够包围该目标的检测框尺寸来表示,如检测框的长宽高等。
(2)、终端将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪;其中,预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,目标集合包括上一时刻检测区域中的目标。
其中,目标跟踪过程通常是将一个目标上一时刻的行驶状态(可以包括位置信息等)与当前时刻的行驶状态进行关联,以获得目标整个行驶状态的过程。本实施例中,终端可以将上一时刻检测到的目标以及各目标对应的三维空间信息进行存储,各目标可以位于目标集合中,该目标集合可以以列表形式进行存储。
具体地,终端可以将当前时刻检测到的各目标的三维空间信息和目标集合中各目标的预测空间信息进行比较,该预测空间信息为对目标集合中目标的三维空间信息进行预测所得到,即由上一时刻的三维空间信息预测的当前时刻的三维空间信息。若当前时刻中存在一目标(a)的三维空间信息与预测空间信息匹配,则可以将匹配到的预测空间信息对应的目标的标识作为当前时刻目标(a)的标识,由此对于目标(a)便可以确定其上一时刻的位置信息及当前时刻的位置信息,完成该目标的跟踪过程。
可选地,终端可以将当前时刻目标的位置信息与预测空间信息中的位置信息进行比较,若存在位置信息相同或相近的两个目标,再比较两者之间的大小信息;若大小信息也相同或相近,则可认为当前时刻的该目标与预测空间信息对应的目标为同一个目标,为当前时刻的该目标确定标识。由此充分考虑目标的在先目标检测结果以完成目标跟踪过程,可大大提高目标跟踪的准确性。
通常,路侧感知系统采集得到的单感知系统感知数据的数据量都较大,若上述将全部单感知系统感知数据进行时空同步难免会增加计算量。因此,本实施例中可以先进行目标检测,只将得到的三维空间信息进行坐标系转换,以提高计算效率。可选地,上述目标检测过程可以包括:
(3)、终端分别对各路侧感知系统的单感知系统感知数据进行目标检测处理,得到每个单感知系统感知数据中目标的三维空间信息。
具体地,终端可以先分别对各单感知系统感知数据进行目标检测处理,可选地,可以采用基于深度学习的目标检测算法执行该目标检测处理过程,得到每个单感知系统感知数据中目标的三维空间信息。
(4)、终端从多个单感知系统感知数据的多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,根据预设的转换矩阵,将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下,并对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息;其中,第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,一个点云数据对应多个三维空间信息。
其中,终端可以从上述多个三维空间信息中选定第一三维空间信息所在的坐标系为参照坐标系,将其他的三维空间信息都转换至该参考坐标系下,则实现多个三维空间信息位于同一坐标系下,且一个点云数据通常对应多个三维空间信息,即一个点云数据对应的场景中包括多个目标。具体地,终端可以根据预设的转换矩阵,将第二三维空间信息转换至上述参照坐标系下,该第二三维空间信息为多个三维空间信息中与第一三维空间信息对应不同点云数据的其他三维空间信息,即第一三维空间信息与第二三维空间信息是由不同点云数据得到的。可选地,转换矩阵可以表征参照坐标系与第二三维空间信息所在的坐标系之间的相对关系;可选地,可以根据ICP算法确定该转换矩阵,以将第二三维空间信息转换至第一三维空间信息所在的参照坐标系下。然后对转换后的第二三维空间信息和第一三维空间信息进行融合,得到融合三维空间信息,该融合操作可以为两个三维空间信息的取并集操作。
(5)、终端对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。
具体地,对于多感知系统的扫描区域存在重叠部分的场景,融合三维空间信息中可能会存在一个目标具有多个空间信息,即多个感知系统同时检测到了该目标,那么终端需要对该场景进行去冗处理,使得每个目标仅对应一个三维空间信息,即得到当前时刻检测区域中每个目标唯一的三维空间信息。可选地,终端可以采用非极大值抑制算法对融合三维空间信息进行去冗处理,得到当前时刻检测区域中每个目标的三维空间信息。可以理解为,从多个三维空间信息中选取最优的(如位置信息精度最高或检测框尺寸为能够将目标包围的最小框)作为最终的三维空间信息。进而将当前时刻检测区域中的每个目标的三维空间信息和目标集合中每个目标的预测空间信息进行比较,为三维空间信息与预测空间信息匹配的目标确定对应的标识,以完成目标跟踪。由此,通过将不同三维空间信息转换至同一坐标系下,使各三维空间信息处于同一空间域下,以提高后续目标跟踪结果的准确性;同时,仅将三维空间信息进行转换,还提高了转换效率。
在一个实施例中,上述将每个目标的三维空间信息与预测空间信息进行比较,为当前时刻检测区域中的目标确定标识的过程,可以包括以下步骤:
(1)、终端针对当前时刻每个三维空间信息对应的目标,识别目标的第一特征。
(2)、终端针对每个预测空间信息对应的目标,识别目标的第二特征。
具体地,针对当前时刻每个三维空间信息对应的目标,终端可以基于深度学习的目标识别算法识别目标的第一特征,以及针对每个预测空间信息对应的目标,也识别目标的第二特征。可选地,终端还可以采用点云重识别网络来识别目标特征。
(3)、若当前时刻中存在第一特征与第二特征的相似度大于相似度阈值的目标,终端将第二特征对应的目标的标识,作为第一特征对应的目标的标识。
具体地,在当前时刻所对应的所有目标中,若存在第一特征与第二特征的相似度大于相似度阈值的目标,即当前时刻的该目标在目标集合中存在,也即该目标在上一时刻也被扫描到;则终端可以将第二特征对应的目标的标识(该目标在目标集合中的标识),作为第一特征对应的目标的标识,即当前时刻的目标的标识,由此实现为当前时刻的目标确定标识的目的,并与上一时刻的目标进行了关联。
当然,在当前时刻的所有目标中,也必然会有第一特征与第二特征的相似度不大于相似度阈值的目标,即其通过相似度匹配未通过。可选地,终端可以再计算当前时刻对应的目标中相似度不大于相似度阈值的目标对应的三维空间信息与候选预测空间信息之间的交并比,该候选预测空间信息为目标集合中相似度不大于相似度阈值的目标的预测空间信息,即计算当前时刻与目标集合的目标中,相似度匹配未通过的目标的空间信息的交并比。若有交并比大于交并比阈值的情况,则将满足该条件的候选预测空间信息对应的目标的标识,作为当前时刻该三维空间信息对应的目标的标识。由此,通过目标特征和三维空间信息交并比的双重匹配,为当前时刻检测到的目标确定对应的标识,可大大提高确定的标识的准确性,进而提高目标跟踪结果的准确性。
在一个实施例中,涉及了终端将每个目标的三维空间信息与预测空间信息进行比较,为当前时刻检测区域中的目标确定标识的另一具体过程。该过程可以还包括以下步骤:
(4)、终端采用卡尔曼滤波器对目标集合中目标的三维空间信息进行预测,得到目标集合中每个目标的预测空间信息;其中,预测空间信息对应的目标的标识与目标集合中目标的标识相对应。
具体地,针对目标集合中的每个目标,终端采用卡尔曼滤波器对其三维空间信息进行预测,预测每个目标在当前时刻的预测空间信息,则每个预测空间信息对应的目标的标识即为对应的目标集合中目标的标识。
(5)、终端针对当前时刻的每个目标,计算三维空间信息和所有预测空间信息之间的交并比,若存在交并比大于交并比阈值的三维空间信息,将匹配的预测空间信息对应的目标的标识,作为三维空间信息对应目标的标识。
具体地,针对当前时刻检测到的每个目标,终端计算其三维空间信息与所有预测空间信息之间的交并比,该交并比可以为目标检测框尺寸的重合度;若存在交并比大于交并比阈值(如90%)的三维空间信息,则将与其匹配上的预测空间信息对应的目标的标识,作为该三维空间信息对应目标的标识。
当然,在当前时刻的所有目标中,也必然会存在交并比不大于交并比阈值的三维空间信息,即交并比匹配未通过,则终端可以识别第一目标的第三特征和第二目标的第四特征,该第一目标为当前时刻对应的目标中三维空间信息交并比不大于交并比阈值的目标,第二目标为目标集合中预测空间信息交并比不大于交并比阈值的目标,即当前时刻和目标集合中交并比匹配未通过的目标。可选地,可以采用点云重识别网络分别提取第三特征和第四特征。然后计算第三特征与第四特征的相似度,若存在相似度大于相似度阈值的情况,则将对应第二目标的标识作为匹配的第一目标的标识。由此,同样通过目标特征和三维空间信息交并比的双重匹配,为当前时刻检测到的目标确定对应的标识,可大大提高确定的标识的准确性,进而提高目标跟踪结果的准确性。
在一个实施例中,还会存在当前时刻未确定标识的目标,如新进入检测区域的目标,不在目标集合中存在,则终端可以对该未确定标识的目标分配随机标识,并将该目标和随机标识存储于目标集合中,且该随机标识与目标集合中其他目标的标识均不相同。由此,目标集合中的各目标可用于对下一时刻检测区域的目标进行匹配以确定标识。可选地,对于目标集合中的目标,还可能存在在下一时刻离开检测区域的情况,则终端可以将不再位于检测区域的目标从目标集合中移除。
在其中一个实施例中,请参考图7,提供了一种多感知系统协同感知方法中根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹的方法,该方法包括:
步骤701,终端基于候选预测信息中的位置信息从该多个路侧感知系统中确定目标路侧感知系统;其中,该候选预测信息为任一一个该目标基于当前时刻的预测信息。
具体地,终端根据候选预测信息中的位置信息可以获知目标将要达到哪里,并根据该位置信息和路侧感知系统的检测范围可以获知该位置是处于哪个路侧感知系统的检测范围内,则将该路侧感知系统作为目标路侧感知系统。
步骤702,在该预设时长之后,终端获取该目标路侧感知系统的当前单感知系统感知数据,并对该当前单感知系统感知数据进行目标检测,得到该目标路侧感知系统的当前目标检测结果。
步骤703,若该当前目标检测结果与该候选预测信息匹配,则终端将该候选预测信息对应的目标与当前目标检测结果中的目标进行关联。
具体地,确定了目标路侧感知系统之后,可以获取该目标路侧感知系统在预设时长之后的当前单感知系统感知数据,并对当前单感知系统感知数据进行目标检测,得到当前目标检测结果。然后对该目标检测结果和上述候选预测信息进行匹配,匹配过程可以参见上述实施例的描述(如根据目标特征、检测框交并比等方式),若匹配成功,则将候选预测信息对应的目标与该当前目标检测结果中的目标进行关联,即将候选预测信息对应的目标标识赋予当前目标检测结果中的目标。
可选地,若当前目标检测结果与候选预测信息不匹配,则目标路侧感知系统未检测到候选预测信息对应的目标,则判断当前目标检测结果对应的目标是否为新增目标,例如该目标在目标路侧感知系统之前都未检测到过,则认为是新增目标,则在全局场景的感知信息中增加该新增目标的感知信息,以提高全局场景感知信息的全面性。
可选地,终端还可以获取候选预测信息中的位置信息,若目标路侧感知系统未检测到与该位置信息对应的当前目标检测结果,即所预测的这个位置上目标路侧感知系统未检测到目标,表明目标路侧感知系统在此位置的感知能力较弱;则终端可以确定后续时刻中目标检测结果与预测信息匹配的目标后续时刻,即确定目标路侧感知系统检测到该目标的时刻;然后将目标后续时刻之前所对应的候选预测信息作为该目标路侧感知系统的目标检测结果。
示例性的,对于16:00:05时刻的当前目标检测结果,终端可以将该检测结果与候选预测信息进行匹配,若匹配成功,则该候选预测信息对应的目标即为目标路侧感知系统在当前时刻检测到的目标,时刻(16:00:05)为目标后续时刻,即可以认为该目标在(16:00:05)被目标路侧感知系统检测到了。若不存在匹配的位姿数据,则说明目标路侧感知系统在16:00:05还未检测到该目标,终端再根据16:00:10时刻的当前目标检测结果与16:00:10时刻的候选预测信息进行对比,若此时匹配上,则该候选预测信息对应的目标即为目标路侧感知系统在当前时刻检测到的目标,时刻(16:00:10)为目标后续时刻;并且将(16:00:10)之前的候选预测信息作为目标路侧感知系统的目标检测结果,则即使目标路侧感知系统在未检测目标时也可获取到对应的目标检测结果,提高了目标路侧感知系统的感知能力。若仍不存在匹配的位姿数据,则继续以后一个后续时刻的候选预测信息进行对比,直至确定目标后续时刻。
在其中一个实施例中,终端还可以根据得到的预测信息判断全局场景下是否存在安全隐患;若存在安全隐患,则输出安全预警信息。可选地,终端可以获取多个目标的预测信息,若多个目标的预测信息中的位置信息存在重叠,则确定全局场景下存在安全隐患。例如若两个或多个目标的预测信息中,存在位置信息重叠的情况,说明可能这两个或多个目标可能会发生碰撞,即存在安全隐患,则可以输出安全预警信息。
在本申请实施例中,如图8所示,提供了一种多感知系统部署方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现本实施例中,该方法包括以下步骤:
步骤801,终端获取多感知系统系统的预设总检测范围。
在本步骤中,可以根据需要人为设置整个多感知系统系统的总检测范围,也就是预设总检测范围。例如,可以划定某些路口或者某片连续区域为预设总检测范围。
步骤802,终端根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内。
在本步骤中,先验信息可以包括路侧感知系统的检测范围(感知范围)、路侧感知系统的传感器差异、某个区域的硬性要求以及某个区域的历史部署方式。终端可以根据先验信息生成部署信息,该部署信息的可以采用在地图上标点的形式展示,每个标点表示路侧感知系统的部署位置。
例如,某个区域适用于包含相机传感器的路侧感知系统,那么就在该区域部署包含相机传感器的路侧感知系统,又例如,某个区域强制规定必须使用三个以上的路侧感知系统进行检测,那么就在该区域部署三个以上的路侧感知系统,在或者,某个区域历史上一直采用两个路侧感知系统结合检测,那么就按照该区域的历史习惯,继续在该区域部署两个路侧感知系统。需要注意的是,在部署固定的路侧感知系统时,所有固定的路侧感知系统的检测范围不能超出预设总检测范围。
步骤803,终端根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
在终端部署完固定的路侧感知系统之后,还需要部署移动的路侧感知系统,固定的路侧感知系统和移动的路侧感知系统互相结合,才可以对全局场景进行更加全面的感知。具体的,终端可以根据预设总检测范围以及各个固定的路侧感知系统的检测范围,得到预设总检测范围中当前被固定的路侧感知系统所覆盖的区域有哪些,以及,预设总检测范围中未被固定的路侧感知系统覆盖的区域有哪些,然后根据预设总检测范围以及已经部署的固定的移动感知系统,灵活地部署移动感知系统。具体的,终端可以生成移动感知系统在不同时段的部署位置,以及移动感知系统在不同位置之间的转移路线。
本申请实施例提供的多感知系统部署方法,通过获取多感知系统系统的预设总检测范围;然后根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;最后根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。因为本申请提供的多感知系统部署方法,可以灵活地在预设总检测范围内部署固定的路侧感知系统和移动感知系统,其中,移动感知系统的位置灵活可变,采取固定感知系统和移动感知系统相结合的部署方式,可以对整个预设总检测范围进行更加全面准确地检测。
在其中一个实施例中,请参考图9,提供了一种多感知系统部署方法中根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统的方法,该方法包括:
步骤901,终端根据环境复杂性和/或感知重要程度,确定该预设总检测范围的候选目标位置;其中,该候选目标位置为需部署路侧感知系统的位置。
在本步骤中,环境复杂性可以根据预设总检测范围内不同区域的路口数量、车道数量和障碍物数量确定,一般来说,路口数量越多、车道数量越多或障碍物数量越多,表示该区域的环境复杂性越高,例如四车道比两车道的环境复杂性高,具体的,可以人为设定环境复杂性的判断标准。感知重要程度可以根据预设总检测范围内不同区域在不同时段的车流量、人流量和预设重要等级确定,一般来说,车流量越大、人流量越大或预设重要等级越高的区域感知重要程度越高。终端可以根据预设总检测范围内的环境复杂性和/或感知重要程度确定候选目标位置,该候选目标位置为需要部署路侧感知系统的位置。
步骤902,终端根据部署的该固定的路侧感知系统,从该候选目标位置中确定该移动感知系统的部署位置。
在终端已经部署好固定的路侧感知系统之后,还需要部署移动感知系统。终端可以结合已经部署好的固定的路侧感知系统的位置,以及基于上述步骤确定出的候选目标位置,确定出移动感知系统的位置。具体的,上述候选目标位置是通过环境复杂性和/或感知重要程度确定的,终端可以在候选目标位置中选择移动感知系统的部署位置,例如,当候选目标位置中某些位置已经被部署了固定的路侧感知系统后,那么在该位置处就不用再部署移动感知系统。
在本申请实施例中,通过环境复杂性和/或感知重要程度以及固定的路侧感知系统的位置,可以给出合适的移动感知系统的部署位置,由于移动感知系统和固定的路侧感知系统的合理部署,最终可以对整个场景进行全面监测。
应该理解的是,虽然图1至图9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1至图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本申请实施例中,如图10所示,提供了一种多感知系统配准装置1000,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该装置包括:获取模块1001、第一计算模块1002、第二计算模块1003和调整模块1004,其中:
获取模块1001,用于获取该移动感知系统的当前位置信息;
第一计算模块1002,用于根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;
第二计算模块1003,用于根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;
调整模块1004,用于根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
在本申请实施例中,如图11所示,提供了一种多感知系统协同感知装置1100,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,该装置包括:第一获取模块1101、同步模块1102、第二获取模块1103和生成模块1104,其中:
第一获取模块1101,用于利用上述第一方面的多感知系统配准方法,获取该多感知系统系统的当前配准参数;
同步模块1102,用于分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步;
第二获取模块1103,用于基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;
生成模块1104,用于将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
在其中一个实施例中,该第二获取模块1103具体用于,确定全局场景中各该路侧感知系统之间的当前感知重叠区域;对该当前感知重叠区域对应的单感知系统感知数据进行数据增强处理,得到单感知系统增强感知数据;利用目标检测算法处理该单感知系统增强感知数据,得到各该路侧感知系统对应的当前感知重叠区域的目标检测结果。
在其中一个实施例中,该第二获取模块1103具体用于,获取该移动感知系统的当前位置;根据该移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各该路侧感知系统的感知范围确定该各该路侧感知系统之间的当前感知重叠区域,其中,该其他路侧感知系统为该多感知系统系统中除该移动感知系统之外的路侧感知系统。
在其中一个实施例中,该第二获取模块1103具体用于,将时空同步后的各该单感知系统感知数据进行目标检测,得到各该路侧感知系统的单感知系统目标检测结果;根据各该路侧感知系统的当前感知非重叠区域,确定各该路侧感知系统对应的当前感知非重叠区域对应的目标检测结果。
在其中一个实施例中,该全局场景下的感知信息包括该全局场景下的目标移动轨迹;该生成模块1104具体用于,将映射至该全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹;其中,该在先目标检测结果包括在当前时刻之前的时刻所对应的目标检测结果。
在其中一个实施例中,该目标检测结果包括目标的位置、目标的速度以及目标的航向角,该在先目标检测结果还包括目标的预测信息;该生成模块1104具体用于,根据各路侧感知系统的目标检测结果以及各路侧感知系统之间的相对位置计算对应目标在预设时长之后的位置和方向,得到各目标的预测信息;根据各该目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到该全局场景下的目标移动轨迹。
在其中一个实施例中,该生成模块1104具体用于,基于候选预测信息中的位置信息从该多个路侧感知系统中确定目标路侧感知系统;其中,该候选预测信息为任一一个该目标基于当前时刻的预测信息;在该预设时长之后,获取该目标路侧感知系统的当前单感知系统感知数据,并对该当前单感知系统感知数据进行目标检测,得到该目标路侧感知系统的当前目标检测结果;若该当前目标检测结果与该候选预测信息匹配,则将该候选预测信息对应的目标与当前目标检测结果中的目标进行关联。
在本申请实施例中,请参考图12,提供了另一种多感知系统协同感知装置1200,该多感知系统协同感知装置1200除了包含多感知系统协同感知装置1100包含的各模块外,可选的。该多感知系统协同感知装置1200还包括:增加模块1105、确定模块1106和输出模块1107。
在其中一个实施例中,该增加模块1105用于,若该当前目标检测结果与该候选预测信息不匹配,则判断该当前目标检测结果对应的目标是否为新增目标;若该当前目标检测结果对应的目标为新增目标,则在全局场景的感知信息中增加该新增目标的感知信息。
在其中一个实施例中,该确定模块1106用于,获取该候选预测信息中的位置信息,若该目标路侧感知系统未检测到与该位置信息对应的当前目标检测结果,则确定后续时刻中目标检测结果与预测信息匹配的目标后续时刻;该后续时刻为在该当前时刻之后的时刻;将该目标后续时刻之前所对应的候选预测信息,作为该目标路侧感知系统的目标检测结果。
在其中一个实施例中,该输出模块1107用于,根据该预测信息判断该全局场景下是否存在安全隐患;若存在安全隐患,则输出安全预警信息。
在本申请实施例中,如图13所示,提供了一种多感知系统部署装置1300,该装置包括:获取模块1301、第一部署模块1302、第二部署模块1303,其中:
获取模块1301,用于获取多感知系统系统的预设总检测范围;
第一部署模块1302,用于根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;
第二部署模块1303,用于根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
在其中一个实施例中,该第二部署模块1303具体用于,根据环境复杂性和/或感知重要程度,确定该预设总检测范围的候选目标位置;其中,该候选目标位置为需部署路侧感知系统的位置;根据部署的该固定的路侧感知系统,从该候选目标位置中确定该移动感知系统的部署位置。
关于多感知系统配准装置、多感知系统协同感知装置和多感知系统部署装置的具体限定可以参见上文中对于多感知系统配准方法、多感知系统协同感知方法和多感知系统部署方法的限定,在此不再赘述。上述多感知系统配准装置、多感知系统协同感知装置和多感知系统部署装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在本申请实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多感知系统配准方法、多感知系统协同感知方法和多感知系统部署方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图14中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在本申请实施例中,提供了一种计算机设备,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取该移动感知系统的当前位置信息;
根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;
根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;
根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
在本申请实施例中,提供了一种计算机设备,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
利用上述第一方面提供的多感知系统配准方法,获取该多感知系统系统的当前配准参数;
分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步;
基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;
将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
在本申请实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取多感知系统系统的预设总检测范围;
根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;
根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
在本申请实施例中,提供了一种计算机可读存储介质,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取该移动感知系统的当前位置信息;根据该移动感知系统的当前位置信息计算该移动感知系统与其他路侧感知系统的相对位置信息;根据该移动感知系统与其他路侧感知系统的相对位置信息计算该移动感知系统与该其他路侧感知系统的相对位置变化信息;根据该相对位置变化信息对该多感知系统系统的配准参数进行调整,得到该多感知系统系统的当前配准参数。
在本申请实施例中,提供了一种计算机可读存储介质,用于多感知系统系统中,该多感知系统系统包括多个路侧感知系统,该多个路侧感知系统中包括至少一个移动感知系统,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
利用上述第一方面提供的多感知系统配准方法,获取该多感知系统系统的当前配准参数;分别获取各该路侧感知系统的单感知系统感知数据,根据该当前配准参数,对各该路侧感知系统的单感知系统感知数据进行时空同步;基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;将该各个路侧感知系统的目标检测结果映射至全局场景,生成该全局场景下的感知信息;其中,该全局场景基于该多感知系统系统的感知范围确定。
在本申请实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取多感知系统系统的预设总检测范围;根据先验信息在预设位置部署固定的路侧感知系统,该固定的路侧感知系统的检测范围在该预设总检测范围以内;根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种多感知系统配准方法,其特征在于,用于多感知系统中,所述多感知系统包括多个路侧感知系统,所述多个路侧感知系统中包括至少一个移动感知系统,所述方法包括:
获取所述移动感知系统的当前位置信息;
根据所述移动感知系统的当前位置信息计算所述移动感知系统与其他路侧感知系统的相对位置信息;
根据所述移动感知系统与其他路侧感知系统的相对位置信息计算所述移动感知系统与所述其他路侧感知系统的相对位置变化信息;
根据所述相对位置变化信息对所述多感知系统的配准参数进行调整,得到所述多感知系统的当前配准参数。
2.一种多感知系统协同感知方法,其特征在于,用于多感知系统中,所述多感知系统包括多个路侧感知系统,所述多个路侧感知系统中包括至少一个移动感知系统,所述方法包括:
利用如权利要求1所述的多感知系统配准方法,获取所述多感知系统的当前配准参数;
分别获取各所述路侧感知系统的单感知系统感知数据,根据所述当前配准参数,对各所述路侧感知系统的单感知系统感知数据进行时空同步;
基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;
将所述各个路侧感知系统的目标检测结果映射至全局场景,生成所述全局场景下的感知信息;其中,所述全局场景基于所述多感知系统的感知范围确定。
3.根据权利要求2所述的方法,其特征在于,所述基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果,包括:
确定全局场景中各所述路侧感知系统之间的当前感知重叠区域;
对所述当前感知重叠区域对应的单感知系统感知数据进行数据增强处理,得到单感知系统增强感知数据;
利用目标检测算法处理所述单感知系统增强感知数据,得到各所述路侧感知系统对应的当前感知重叠区域的目标检测结果。
4.根据权利要求3所述的方法,其特征在于,所述确定各所述路侧感知系统之间的当前感知重叠区域,包括:
获取所述移动感知系统的当前位置;
根据所述移动感知系统的当前位置、各其他路侧感知系统的安装位置以及各所述路侧感知系统的感知范围确定所述各所述路侧感知系统之间的当前感知重叠区域,其中,所述其他路侧感知系统为所述多感知系统中除所述移动感知系统之外的路侧感知系统。
5.根据权利要求2-4任意一项所述的方法,其特征在于,所述基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果,包括:
将时空同步后的各所述单感知系统感知数据进行目标检测,得到各所述路侧感知系统的单感知系统目标检测结果;
根据各所述路侧感知系统的当前感知非重叠区域,确定各所述路侧感知系统对应的当前感知非重叠区域对应的目标检测结果。
6.根据权利要求2所述的方法,其特征在于,所述全局场景下的感知信息包括所述全局场景下的目标移动轨迹;将所述各个路侧感知系统的目标检测结果映射至全局场景,生成所述全局场景下的感知信息,包括:
将映射至所述全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到所述全局场景下的目标移动轨迹;其中,所述在先目标检测结果包括在当前时刻之前的时刻所对应的目标检测结果。
7.根据权利要求6所述的方法,其特征在于,所述目标检测结果包括目标的位置、目标的速度以及目标的航向角,所述在先目标检测结果还包括目标的预测信息;所述将映射至所述全局场景中的目标检测结果和在先目标检测结果进行关联匹配,得到所述全局场景下的目标移动轨迹,包括:
根据各路侧感知系统的目标检测结果以及各路侧感知系统之间的相对位置计算对应目标在预设时长之后的位置和方向,得到各目标的预测信息;
根据各所述目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到所述全局场景下的目标移动轨迹。
8.根据权利要求7所述的方法,其特征在于,所述根据各所述目标的预测信息对全局场景中的目标检测结果进行关联匹配,得到所述全局场景下的目标移动轨迹,包括:
基于候选预测信息中的位置信息从所述多个路侧感知系统中确定目标路侧感知系统;其中,所述候选预测信息为任一一个所述目标基于当前时刻的预测信息;
在所述预设时长之后,获取所述目标路侧感知系统的当前单感知系统感知数据,并对所述当前单感知系统感知数据进行目标检测,得到所述目标路侧感知系统的当前目标检测结果;
若所述当前目标检测结果与所述候选预测信息匹配,则将所述候选预测信息对应的目标与当前目标检测结果中的目标进行关联。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若所述当前目标检测结果与所述候选预测信息不匹配,则判断所述当前目标检测结果对应的目标是否为新增目标;
若所述当前目标检测结果对应的目标为新增目标,则在全局场景的感知信息中增加所述新增目标的感知信息。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
获取所述候选预测信息中的位置信息,若所述目标路侧感知系统未检测到与所述位置信息对应的当前目标检测结果,则确定后续时刻中目标检测结果与预测信息匹配的目标后续时刻;所述后续时刻为在所述当前时刻之后的时刻;
将所述目标后续时刻之前所对应的候选预测信息,作为所述目标路侧感知系统的目标检测结果。
11.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述预测信息判断所述全局场景下是否存在安全隐患;
若存在安全隐患,则输出安全预警信息。
12.一种多感知系统部署方法,其特征在于,所述多感知系统部署方法用于部署权利要求1提供的多感知系统配准方法中的多感知系统,所述方法包括:
获取多感知系统的预设总检测范围;
根据先验信息在预设位置部署固定的路侧感知系统,所述固定的路侧感知系统的检测范围在所述预设总检测范围以内;
根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
13.根据权利要求12所述的方法,其特征在于,所述根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统,包括:
根据环境复杂性和/或感知重要程度,确定所述预设总检测范围的候选目标位置;其中,所述候选目标位置为需部署路侧感知系统的位置;
根据部署的所述固定的路侧感知系统,从所述候选目标位置中确定所述移动感知系统的部署位置。
14.一种多感知系统配准装置,其特征在于,用于多感知系统中,所述多感知系统包括多个路侧感知系统,所述多个路侧感知系统中包括至少一个移动感知系统,所述装置包括:
获取模块,用于获取所述移动感知系统的当前位置信息;
第一计算模块,用于根据所述移动感知系统的当前位置信息计算所述移动感知系统与其他路侧感知系统的相对位置信息;
第二计算模块,用于根据所述移动感知系统与其他路侧感知系统的相对位置信息计算所述移动感知系统与所述其他路侧感知系统的相对位置变化信息;
调整模块,用于根据所述相对位置变化信息对所述多感知系统的配准参数进行调整,得到所述多感知系统的当前配准参数。
15.一种多感知系统协同感知装置,其特征在于,用于多感知系统中,所述多感知系统包括多个路侧感知系统,所述多个路侧感知系统中包括至少一个移动感知系统,所述方法包括:
第一获取模块,用于利用如权利要求1所述的多感知系统配准方法,获取所述多感知系统的当前配准参数;
同步模块,用于分别获取各所述路侧感知系统的单感知系统感知数据,根据所述当前配准参数,对各所述路侧感知系统的单感知系统感知数据进行时空同步;
第二获取模块,用于基于时空同步后的单感知系统感知数据,获取各个路侧感知系统的目标检测结果;
生成模块,用于将所述各个路侧感知系统的目标检测结果映射至全局场景,生成所述全局场景下的感知信息;其中,所述全局场景基于所述多感知系统的感知范围确定。
16.一种多感知系统部署装置,其特征在于,所述多感知系统部署装置用于部署权利要求1提供的多感知系统配准方法中的多感知系统,所述装置包括:
获取模块,用于获取多感知系统的预设总检测范围;
第一部署模块,用于根据先验信息在预设位置部署固定的路侧感知系统,所述固定的路侧感知系统的检测范围在所述预设总检测范围以内;
第二部署模块,用于根据预设总检测范围以及固定的路侧感知系统,对应部署移动感知系统。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
CN202010837452.0A 2020-08-19 2020-08-19 多感知系统配准方法、装置、计算机设备和存储介质 Active CN114078325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010837452.0A CN114078325B (zh) 2020-08-19 2020-08-19 多感知系统配准方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010837452.0A CN114078325B (zh) 2020-08-19 2020-08-19 多感知系统配准方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114078325A CN114078325A (zh) 2022-02-22
CN114078325B true CN114078325B (zh) 2023-09-05

Family

ID=80282634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010837452.0A Active CN114078325B (zh) 2020-08-19 2020-08-19 多感知系统配准方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114078325B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923789A (zh) * 2010-03-24 2010-12-22 北京航空航天大学 一种基于多传感器信息融合的飞机安全进近方法
CN102737511A (zh) * 2012-07-04 2012-10-17 武汉大学 智能路侧系统
CN104038729A (zh) * 2014-05-05 2014-09-10 重庆大学 级联式多摄像机接力跟踪方法及系统
CN104915970A (zh) * 2015-06-12 2015-09-16 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
CN108776991A (zh) * 2018-04-17 2018-11-09 深圳清创新科技有限公司 三维建模方法、装置、存储介质和计算机设备
CN109100730A (zh) * 2018-05-18 2018-12-28 北京师范大学-香港浸会大学联合国际学院 一种多车协同快速建图方法
CN109429194A (zh) * 2017-08-17 2019-03-05 浙江大学 移动感知网络中的参考节点位置确定方法及装置
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN110132290A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 感知信息融合处理方法、装置、设备和存储介质
CN110412595A (zh) * 2019-06-04 2019-11-05 深圳市速腾聚创科技有限公司 路基感知方法、系统、车辆、设备和存储介质
CN110494900A (zh) * 2017-02-07 2019-11-22 韦奥机器人股份有限公司 工作空间安全监控和设备控制
CN110517521A (zh) * 2019-08-06 2019-11-29 北京航空航天大学 一种基于路车融合感知的车道偏离预警方法
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN111028340A (zh) * 2019-12-10 2020-04-17 苏州大学 精密装配中的三维重构方法、装置、设备及系统
CN111090095A (zh) * 2019-12-24 2020-05-01 联创汽车电子有限公司 信息融合环境感知系统及其感知方法
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN111354016A (zh) * 2020-02-28 2020-06-30 珠海大横琴科技发展有限公司 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
KR20200092819A (ko) * 2019-01-04 2020-08-04 (주)서울로보틱스 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749594B2 (en) * 2011-12-22 2017-08-29 Pelco, Inc. Transformation between image and map coordinates

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923789A (zh) * 2010-03-24 2010-12-22 北京航空航天大学 一种基于多传感器信息融合的飞机安全进近方法
CN102737511A (zh) * 2012-07-04 2012-10-17 武汉大学 智能路侧系统
CN104038729A (zh) * 2014-05-05 2014-09-10 重庆大学 级联式多摄像机接力跟踪方法及系统
CN104915970A (zh) * 2015-06-12 2015-09-16 南京邮电大学 一种基于轨迹关联的多目标跟踪方法
CN110494900A (zh) * 2017-02-07 2019-11-22 韦奥机器人股份有限公司 工作空间安全监控和设备控制
CN109429194A (zh) * 2017-08-17 2019-03-05 浙江大学 移动感知网络中的参考节点位置确定方法及装置
CN108776991A (zh) * 2018-04-17 2018-11-09 深圳清创新科技有限公司 三维建模方法、装置、存储介质和计算机设备
CN109100730A (zh) * 2018-05-18 2018-12-28 北京师范大学-香港浸会大学联合国际学院 一种多车协同快速建图方法
KR20200092819A (ko) * 2019-01-04 2020-08-04 (주)서울로보틱스 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN111247557A (zh) * 2019-04-23 2020-06-05 深圳市大疆创新科技有限公司 用于移动目标物体检测的方法、系统以及可移动平台
CN110132290A (zh) * 2019-05-20 2019-08-16 北京百度网讯科技有限公司 感知信息融合处理方法、装置、设备和存储介质
CN110412595A (zh) * 2019-06-04 2019-11-05 深圳市速腾聚创科技有限公司 路基感知方法、系统、车辆、设备和存储介质
CN110517521A (zh) * 2019-08-06 2019-11-29 北京航空航天大学 一种基于路车融合感知的车道偏离预警方法
CN110672088A (zh) * 2019-09-09 2020-01-10 北京航空航天大学 一种仿信鸽地貌感知归巢机制的无人机自主导航方法
CN111028340A (zh) * 2019-12-10 2020-04-17 苏州大学 精密装配中的三维重构方法、装置、设备及系统
CN111090095A (zh) * 2019-12-24 2020-05-01 联创汽车电子有限公司 信息融合环境感知系统及其感知方法
CN111275750A (zh) * 2020-01-19 2020-06-12 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN111354016A (zh) * 2020-02-28 2020-06-30 珠海大横琴科技发展有限公司 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统

Also Published As

Publication number Publication date
CN114078325A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
CN110856112B (zh) 一种群智感知的多源信息融合室内定位方法及系统
CN109901139B (zh) 激光雷达标定方法、装置、设备和存储介质
CN106793086B (zh) 一种室内定位方法
EP3309751B1 (en) Image processing device, method, and program
KR20200121274A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN104034316A (zh) 一种基于视频分析的空间定位方法
CN114091561A (zh) 目标跟踪方法、装置、服务器和可读存储介质
US20220277544A1 (en) Homography through satellite image matching
US11562495B2 (en) Identifying spatial locations of images using location data from mobile devices
US20200090405A1 (en) Geophysical sensor positioning system
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN114449533B (zh) 基站部署方法、环境感知方法、装置、计算机设备和存储介质
CN111241224B (zh) 目标距离估计的方法、系统、计算机设备和存储介质
CN114252884A (zh) 路侧雷达定位监测方法、装置、计算机设备和存储介质
CN114359334A (zh) 目标跟踪方法、装置、计算机设备和存储介质
CN114067556B (zh) 环境感知方法、装置、服务器和可读存储介质
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN111723597A (zh) 跟踪算法的精度检测方法、装置、计算机设备和存储介质
CN110636248A (zh) 目标跟踪方法与装置
CN114078325B (zh) 多感知系统配准方法、装置、计算机设备和存储介质
CN114067555B (zh) 多基站数据的配准方法、装置、服务器和可读存储介质
CN107992677B (zh) 基于惯导信息和亮度修正的红外弱小移动目标跟踪方法
WO2015040733A1 (ja) 測位システム、測位方法、および測位プログラム
CN117470280B (zh) 激光slam实时精度评估方法、装置、介质和设备
CN117036511B (zh) 多类型传感器的标定方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant