CN111353510B - 多传感器目标检测方法、装置、计算机设备和存储介质 - Google Patents

多传感器目标检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111353510B
CN111353510B CN201811560525.5A CN201811560525A CN111353510B CN 111353510 B CN111353510 B CN 111353510B CN 201811560525 A CN201811560525 A CN 201811560525A CN 111353510 B CN111353510 B CN 111353510B
Authority
CN
China
Prior art keywords
group
target
targets
sensor
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811560525.5A
Other languages
English (en)
Other versions
CN111353510A (zh
Inventor
伏东奇
左迈迪
宋汉辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201811560525.5A priority Critical patent/CN111353510B/zh
Publication of CN111353510A publication Critical patent/CN111353510A/zh
Application granted granted Critical
Publication of CN111353510B publication Critical patent/CN111353510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/251Fusion techniques of input or preprocessed data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请涉及一种多传感器目标检测方法、装置、计算机设备和存储介质。该方法包括:获取各传感器检测到的各目标;将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征;其中,各传感器按照检测方向进行分组;对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。由于各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合后,再进行组间特征融合,在提高目标检测精度的同时,避免了将不具备方向关联性的传感器检测到的特征进行融合,提高了传感器数据的融合效率,进而提升了目标检测效率。

Description

多传感器目标检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及目标检测技术领域,特别是涉及一种多传感器目标检测方法、装置、计算机设备和存储介质。
背景技术
随着人工智能的发展,各种智能化研究也越来越受到重视,特别是在智能驾驶领域,无人驾驶、路况智能检测更是成为当今的研究热点。为实现各智能化处理,通常需要利用传感器来感知环境,例如,在汽车的不同方向布置传感器,将不同方向上的传感数据进行融合来实现目标检测、目标跟踪等。
然而,由于各类型的传感器都存在一定局限性,比如摄像头测距和测速精度低、激光雷达对天气要求比较高、超声波雷达检测范围很小和距离很短等,因此,为避免单一传感器的局限性对目标检测精度的影响,通常还需要布置多种不同类型的传感器,通过将不同类型的传感器数据进行融合来取长补短。而随着传感器数量的增加,必然也降低了传感器数据的融合效率,进一步降低了目标检测效率。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高目标检测效率的多传感器目标检测方法、装置、计算机设备和存储介质。
一种多传感器目标检测方法,所述方法包括:
获取各传感器检测到的各目标;
将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测方向进行分组;
对相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征。
一种多传感器目标检测装置,所述装置包括:
目标获取模块,用于获取各传感器检测到的各目标;
组内融合模块,用于将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测方向进行分组;
组间融合模块,用于对相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取各传感器检测到的各目标;
将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测方向进行分组;
对相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取各传感器检测到的各目标;
将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测方向进行分组;
对相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征。
上述多传感器目标检测方法、装置、计算机设备和存储介质,各传感器按照检测方向进行分组,通过获取各传感器检测到的各目标,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。由于各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合后,再进行组间特征融合,在提高目标检测精度的同时,避免了将不具备方向关联性的传感器检测到的特征进行融合,提高了传感器数据的融合效率,进而提升了目标检测效率。
附图说明
图1为一个实施例中多传感器目标检测方法的应用环境图;
图2为一个实施例中多传感器目标检测方法的流程示意图;
图3为一个实施例中按照检测方向对传感器进行分组的示意图;
图4为一个实施例中多传感器目标检测方法的流程示意图;
图5为一个实施例中多传感器目标检测装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的多传感器目标检测方法,可以应用于如图1所示的应用环境中。其中,智能驾驶汽车102作为一智能设备,用于执行多传感器目标检测方法的各步骤,基于多传感器目标检测方法获得的最终目标特征进行各项决策处理,如基于最终目标特征进行行驶路线的规划、障碍物规避等。可以理解的是,在图1中虽然仅示出了智能驾驶汽车这一类智能设备,但在其他实施例中,智能设备还可以是智能机器人、无人机等其他智能化的设备,且多传感器目标检测方法可应用于任何基于多传感器数据进行目标检测的智能设备。
此外,本申请提供的多传感器目标检测方法除了应用于智能设备这一种终端以外,还可以应用于其他任何基于多传感器数据进行目标检测的终端或服务器。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种多传感器目标检测方法,以该方法应用于任何基于多传感器数据进行目标检测的终端、服务器为例进行说明,该方法包括以下步骤:
S202,获取各传感器检测到的各目标。
其中,目标是指传感器所处环境中的物体,比如,在智能驾驶领域,目标是指智能驾驶汽车(智能驾驶汽车上安装有传感器)所处环境中的障碍物。为检测所处环境的目标,通常在各方向设置有传感器,通过不同方向的传感器所采集的传感数据进行目标检测,获得各传感器检测到的各目标。
进一步地,以上所涉及的传感器包括但不限于摄像装置、雷达。其中,雷达可以是激光雷达、毫米波雷达和超声波雷达等其中的一种或多种。而为避免单一传感器的局限性对目标检测精度的影响,通常在检测环境中至少安装有两种不同的传感器。
S204,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征;其中,各传感器按照检测方向进行分组。
本实施例中,预先根据所配置的各传感器的检测范围对各传感器进行分组,将检测范围的重叠区域所占对应检测范围的比例达到分组阈值时,将对应的传感器划分为一组。其中分组阈值按需设定,比如可以设置为90%、80%、78%等,在此不作限定。也就是说,通过设置相应的分组阈值,将检测范围具有高度重叠的传感器划分为一组。
参照图3,将智能驾驶汽车上配置的各传感器划分至右前方、右方、右后方、后方、左后方、左方、左前方、前方和全局共9个组。其中,全局是指检测范围包括360度全视野。此外,还可将各传感器划分至前方、后方、左方、右方、全局共5个组等。
更为具体地,同一分组至少包括一个雷达和一个摄像装置。其中,雷达用于探测目标的纵向距离和速度,比如:障碍物距离车辆的纵向距离和速度;摄像装置用于测量目标的横向距离、准确类别和方位角(方位角包括:水平方位角、垂直方位角)以及长宽高。通过综合两类传感器的优势,在降低成本的同时实现了更多维度的目标感知。
进一步地,在配置传感器时,前方和后方所配置的雷达可以是毫米波雷达,以测量得到高精度的目标速度;在左方和右方配置的雷达可以是超声波雷达,以降低传感器成本。
具体地,当同一分组内各传感器检测到的目标为相同目标时,将相同目标的、且由该分组内传感器检测到的目标特征进行组内特征融合,获得各分组中检测到的所有目标的组内融合特征。例如,某一分组内的传感器1、传感器2和传感器3均检测到了目标A,而三个传感器针对目标A检测到的目标特征分别为目标特征A1、目标特征A2和目标特征A3,则将目标特征A1、目标特征A2和目标特征A3融合,得到目标A在该分组中的组内融合特征AF。
其中,目标特征是指用于表示目标的属性信息,比如目标特征可以包括但不限于目标的中心位置、长、宽、高、速度和朝向等。可以理解,由于不同传感器的性能差异,对于同一个目标,不同传感器检测到目标特征也可能存在差异。本实施例通过将相同目标的目标特征进行组内特征融合,以进行数据冗余互补,使通过融合获得的组内融合特征相比于未融合前的目标特征更加精确。
S206,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
具体地,将各分组检测到的相同目标的组内融合特征进行融合,使得各目标的最终目标特征有效融合了该目标对应的所有相关特征,实现了数据的全面覆盖,进一步提高了最终目标特征的精确度。
上述多传感器目标检测方法中,各传感器按照检测方向进行分组,通过获取各传感器检测到的各目标,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。由于各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合后,再进行组间特征融合,在提高目标检测精度的同时,避免了将不具备方向关联性(也即检测范围完全没有交集)的传感器检测到的特征进行融合,提高了传感器数据的融合效率,进而提升了目标检测效率。
在一实施例中,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征的步骤包括:根据组间方向关联性,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
其中,组间方向关联性是指分组之间的检测范围存在重叠区域,比如,对于检测范围为前方的这一分组,与之具有重叠区域的分组包括左前方、右前方和全局对应的分组,因此,左前方、右前方和全局对应的三个分组,相对于前方对应的分组具有组间方向关联性。
在一具体实施例中,预先基于组间方向关联性配置有组间融合映射表,该映射表记载了需要进行组间特征融合的分组集合。比如,左前方、右前方和全局对应的三个分组,相对于前方对应的分组具有组间方向关联性,将这四组作为需要进行组间特征融合的一个分组集合写入组间融合映射表中;右后方、右前方和全局对应的三个分组,相对于右方对应的分组具有组间方向关联性,将这四组作为需要进行组间特征融合的另一个分组集合写入组间融合映射表中;等等。
根据预先设置的组间融合映射表中的分组集合,对于任一分组集合中的分组,将各分组检测到的相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。例如,假设其中一个分组集合包括分组I、分组II和分组III,其中分组I和分组II中的传感器检测到了目标A,并基于组内特征融合获得了目标A在分组I中的组内融合特征AFI、目标A在分组II中的组内融合特征AFII,则将组内融合特征AFI和组内融合特征AFII进行组间特征融合,得到目标A的最终目标特征,并依照此方法得到各个目标的最终目标特征。
更具体地,根据预先设置的组间融合映射表中的分组集合,对于任一分组集合中的分组,当其中部分组内融合特征对应的目标为相同目标时,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
通过组间方向关联性进行组间特征融合,避免了对不相关的目标也进行融合,例如,前方和后方对应分组检测到的两组目标完全不相关,因此可避免将该两个分组检测到的目标的相关特征进行融合,从而大幅度提升融合效率。
进一步地,根据组间方向关联性,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征的步骤包括:根据组间方向关联性和各分组的分组权重,将关联分组内各传感器检测到的相同目标的组内融合特征加权求和,获得各目标的最终目标特征。
这里的关联分组也即指在组间融合映射表中属于同一分组集合的分组。本实施例中,组间融合映射表的分组集合中还记载有各分组的分组权重,以便于基于分组权重对组内融合特征进行加权求和。其中,在不同分组集合中,同一个分组的分组权重可以相同也可以不同,比如,在左前方、前方、右前方对应的三个分组组成的分组集合中,右前方对应分组的权重为0.2;在右前方、右方、右后方对应的三个分组组成的分组集合中,右前方对应分组的权重为0.3。各分组权重具体可按需进行设定。
在一实施例中,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征的步骤包括:根据各传感器的预设权重,将同一分组内各传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各目标的组内融合特征。
其中,各传感器被配置有不同的权重,根据各传感器的预设权重,对相同目标由不同传感器检测到的目标特征进行加权求和,从而获得各分组中对应的各目标的组内融合特征。
在一实施例中,获取各传感器检测到的各目标的步骤包括:以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标。
其中,标定传感器是指在各传感器中指定的任意一个传感器,比如可以是摄像头,也可以是毫米波雷达等。检测时间是指传感器对于某一目标进行数据采集时的时间点,当前检测时间则是指传感器检测到最新目标时,采集该目标对应数据时的时间点。由于目标特征是通过对传感器采集的数据进行处理后得到,而各传感器采集数据的时间间隔存在差异,因此,为避免目标特征对应的检测时间相差太大而影响融合效果,导致目标检测精确度低的问题,通过进行时间同步来确保各目标特征的时效性。
具体地,以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标,使得进行组内特征融合时,所融合的目标特征之间的时间差值最小化,尽可能使得所获得的各传感器检测到的目标趋于同步,从而确保组内融合特征的有效性。
在一实施例中,以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标的步骤之前,还包括:获取各传感器检测到的各目标的初始特征;对初始特征进行坐标转换,获得预设坐标系下的目标特征。
其中,初始特征是指在传感器对应的三维/二维坐标系下目标的属性信息。对于不同传感器,其对应的三维/二维坐标系也不同。并且,二维坐标系主要是针对图像采集类的传感器而言,因此,有些传感器可能只具备对应的三维坐标系,而不具备二维坐标系。预设坐标系为按需配置的一个坐标系,以智能驾驶汽车为例,预设坐标系可以是车身IMU(Inertial measurement unit,惯性测量单元)坐标系,以便于对各目标进行检测。
具体地,获取各传感器检测到的各目标的初始特征,分别根据各传感器的内参和/或外参,对各传感器检测到的初始特征进行坐标转换,获得预设坐标系下的目标特征。其中,外参是指用于实现预设坐标系与传感器对应的三维坐标系转换的参数;内参是指用于实现传感器的三维坐标系与传感器对应的二维坐标系转换的参数。
在一实施例中,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征的步骤之前,还包括:根据各目标的目标特征,获得同一分组内各传感器检测到的各目标之间的相似度;当相似度大于预设值时,将对应的目标标定为相同目标。
对于同一分组内不同传感器检测的目标,通过其目标特征进行相似度计算,获得不同传感器检测的目标之间的相似度,并判断相似度是否大于预设值,若大于则将对应的目标标定为相同目标。其中,预设值根据经验值进行确定,比如预设值可设定为98%,当三个目标之间的两两相似度均大于98%时,标定该三个目标为相同目标。
进一步地,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征的步骤之前,还包括:根据各目标的组内融合特征,获得不同分组内各传感器检测到的各目标之间的相似度;当相似度大于预设值时,将对应的目标标定为相同目标。
由于不同分组对应的检测范围可能存在重叠区域,因此,不同分组检测到的目标也可能为同一个目标(也即相同目标),因此,对于不同分组内检测的目标,通过其组内融合特征进行相似度计算,获得不同分组内检测的目标之间的相似度,并判断相似度是否大于预设值,若大于则将对应的目标标定为相同目标,以便对相同目标进行组间特征融合。
在另一实施例中,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征的步骤之后,还包括:根据组内融合特征,将目标与目标库中的跟踪目标进行匹配;当匹配失败时,将进行匹配的目标作为跟踪目标增加至目标库。
其中,跟踪目标是指当前已经被跟踪的目标。目标库中存储有所有的跟踪目标及其对应的组内融合特征。
具体地,根据各目标的组内融合特征以及目标库中跟踪目标对应的组内融合特征,对当前检测到的目标和跟踪目标进行匹配,当匹配失败时,说明当前检测到的目标是新增至检测环境中的目标,因此将该目标作为跟踪目标增加至目标库,以继续对该目标进行跟踪。其中,进行目标匹配时的方法可采用匈牙利匹配方法。
进一步地,多传感器目标检测方法还包括步骤:当预设时间内,目标库中任一跟踪目标未被成功匹配时,将该任一跟踪目标从目标库中删除。
若在一定的预设时间内,跟踪目标均未被成功匹配,说明该跟踪目标已经远离检测环境,因此将该跟踪目标从目标库中删除,以避免继续对该跟踪目标进行跟踪。
图4为其中一个完整实施例中,多传感器目标检测方法的流程示意图,参照图4,该方法包括以下步骤:
S402,获取各传感器检测到的各目标的初始特征。
S404,对初始特征进行坐标转换,获得预设坐标系下的目标特征。
S406,以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标。
S408,根据各目标的目标特征,获得同一分组内各传感器检测到的各目标之间的相似度。
S410,当相似度大于预设值时,将对应的两个目标标定为相同目标。
S412,根据各传感器的预设权重,将同一分组内各传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各目标的组内融合特征。其中,各传感器按照检测方向进行分组。
S414,根据组内融合特征,将目标与目标库中的跟踪目标进行匹配。
S416,当匹配失败时,将进行匹配的目标作为跟踪目标增加至目标库。
S418,当预设时间内,目标库中任一跟踪目标未被成功匹配时,将任一跟踪目标从目标库中删除。
S420,根据各目标的组内融合特征,获得不同分组内各传感器检测到的各目标之间的相似度。
S422,当相似度大于预设值时,将对应的两个目标标定为相同目标。
S424,根据组间方向关联性和各分组的分组权重,将关联分组内各传感器检测到的相同目标的组内融合特征加权求和,获得各目标的最终目标特征。
上述多传感器目标检测方法,将各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合,以融合通过不同传感器检测到的相同目标的目标特征,再基于组间方向关联性,将组内融合特征进行组间特征融合,使得各目标的最终目标特征有效融合了该目标对应的所有相关特征。通过组内和组间两层特征融合,实现了数据的全面覆盖,提高了目标检测精度,同时避免了将不具备方向关联性的传感器检测到的特征进行融合,相比于传统方法中将所有目标特征一次性全部融合的方式,有效提升了传感器数据的融合效率,进而提高了目标检测效率。
应该理解的是,虽然图2、4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种多传感器目标检测装置500,包括:目标获取模块502、组内融合模块504和组间融合模块506,其中:
目标获取模块502,用于获取各传感器检测到的各目标。
组内融合模块504,用于将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征;其中,各传感器按照检测方向进行分组。
组间融合模块506,用于对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
上述多传感器目标检测装置,各传感器按照检测方向进行分组,通过获取各传感器检测到的各目标,将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征,对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。由于各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合后,再进行组间特征融合,在提高目标检测精度的同时,避免了将不具备方向关联性的传感器检测到的特征进行融合,提高了传感器数据的融合效率,进而提升了目标检测效率。
在一实施例中,组间融合模块506还用于根据组间方向关联性,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
更具体地,组间融合模块506还用于根据组间方向关联性和各分组的分组权重,将关联分组内各传感器检测到的相同目标的组内融合特征加权求和,获得各目标的最终目标特征。
在一实施例中,组内融合模块504还用于根据各传感器的预设权重,将同一分组内各传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各目标的组内融合特征。
在一实施例中,目标获取模块502还用于以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标。
进一步地,多传感器目标检测装置还包括初始特征获取模块和坐标转换模块。其中,初始特征获取模块,用于获取各传感器检测到的各目标的初始特征;坐标转换模块,用于对初始特征进行坐标转换,获得预设坐标系下的目标特征。
在一实施例中,多传感器目标检测装置还包括相似度处理模块和标定模块。其中,相似度处理模块,用于根据各目标的目标特征,获得同一分组内各传感器检测到的各目标之间的相似度;标定模块,用于当相似度大于预设值时,将对应的目标标定为相同目标。
进一步地,相似度处理模块还用于根据各目标的组内融合特征,获得不同分组内各传感器检测到的各目标之间的相似度。
在一实施例中,多传感器目标检测装置还包括目标匹配模块和目标新增模块。其中,目标匹配模块,用于根据组内融合特征,将目标与目标库中的跟踪目标进行匹配;目标新增模块,用于当匹配失败时,将进行匹配的目标作为跟踪目标增加至目标库。
进一步地,多传感器目标检测装置还包括目标删除模块,用于当预设时间内,目标库中任一跟踪目标未被成功匹配时,将该任一跟踪目标从目标库中删除。
上述多传感器目标检测装置,将各传感器按照检测方向进行分组,通过将相同方向的各传感器检测到的目标进行组内特征融合,以融合通过不同传感器检测到的相同目标的目标特征,再基于组间方向关联性,将组内融合特征进行组间特征融合,使得各目标的最终目标特征有效融合了该目标对应的所有相关特征。通过组内和组间两层特征融合,实现了数据的全面覆盖,提高了目标检测精度,同时避免了将不具备方向关联性的传感器检测到的特征进行融合,相比于传统方法中将所有目标特征一次性全部融合的方式,有效提升了传感器数据的融合效率,进而提高了目标检测效率。
关于多传感器目标检测装置的具体限定可以参见上文中对于多传感器目标检测方法的限定,在此不再赘述。上述多传感器目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多传感器目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取各传感器检测到的各目标;
将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征;其中,各传感器按照检测方向进行分组;
对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据组间方向关联性,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各传感器的预设权重,将同一分组内各传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各目标的组内融合特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取各传感器检测到的各目标的初始特征;
对初始特征进行坐标转换,获得预设坐标系下的目标特征。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据各目标的目标特征,获得同一分组内各传感器检测到的各目标之间的相似度;
当相似度大于预设值时,将对应的目标标定为相同目标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据组内融合特征,将目标与目标库中的跟踪目标进行匹配;
当匹配失败时,将进行匹配的目标作为跟踪目标增加至目标库。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取各传感器检测到的各目标;
将同一分组内各传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各目标的组内融合特征;其中,各传感器按照检测方向进行分组;
对相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据组间方向关联性,将相同目标的组内融合特征进行组间特征融合,获得各目标的最终目标特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各传感器的预设权重,将同一分组内各传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各目标的组内融合特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与标准时间间隔最短的各目标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取各传感器检测到的各目标的初始特征;
对初始特征进行坐标转换,获得预设坐标系下的目标特征。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据各目标的目标特征,获得同一分组内各传感器检测到的各目标之间的相似度;
当相似度大于预设值时,将对应的目标标定为相同目标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据组内融合特征,将目标与目标库中的跟踪目标进行匹配;
当匹配失败时,将进行匹配的目标作为跟踪目标增加至目标库。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多传感器目标检测方法,其特征在于,所述方法包括:
以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与所述标准时间间隔最短的各目标;
将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测范围进行分组,当存在多个传感器所对应检测范围的重叠区域,占所对应检测范围的比例达到分组阈值时,将所述多个传感器划分为一组;
根据组间方向关联性,将相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征;所述组间方向关联性是指分组之间的检测范围存在重叠区域。
2.根据权利要求1所述的方法,其特征在于,所述标定传感器是指在各所述传感器中指定的任意一个传感器。
3.根据权利要求1所述的方法,其特征在于,所述将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征,包括:
根据各所述传感器的预设权重,将同一分组内各所述传感器检测到的相同目标的目标特征加权求和,获得各分组检测到的各所述目标的组内融合特征。
4.根据权利要求1所述的方法,其特征在于,各所述目标的目标特征是指用于表示各所述目标的属性信息,各所述目标的目标特征包括以下几项中的至少一部分:各所述目标的中心位置、长、宽、高、速度和朝向。
5.根据权利要求1所述的方法,其特征在于,所述将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征之前,还包括:
根据各所述目标的目标特征,获得同一分组内各所述传感器检测到的各所述目标之间的相似度;
当所述相似度大于预设值时,将对应的所述目标标定为相同目标。
6.根据权利要求1所述的方法,其特征在于,所述将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征之后,还包括:
根据所述组内融合特征,将所述目标与目标库中的跟踪目标进行匹配;
当匹配失败时,将进行匹配的所述目标作为跟踪目标增加至所述目标库。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述同一分组至少包括一个雷达和一个摄像装置。
8.一种多传感器目标检测装置,其特征在于,所述装置包括:
目标获取模块,用于以标定传感器的当前检测时间为标准时间,分别获取各传感器检测到的、且检测时间与所述标准时间间隔最短的各目标;
组内融合模块,用于将同一分组内各所述传感器检测到的相同目标的目标特征进行组内特征融合,获得各分组检测到的各所述目标的组内融合特征;其中,各所述传感器按照检测范围进行分组,当存在多个传感器所对应检测范围的重叠区域,占所对应检测范围的比例达到分组阈值时,将所述多个传感器划分为一组;
组间融合模块,用于根据组间方向关联性,将相同目标的所述组内融合特征进行组间特征融合,获得各所述目标的最终目标特征;所述组间方向关联性是指分组之间的检测范围存在重叠区域。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201811560525.5A 2018-12-20 2018-12-20 多传感器目标检测方法、装置、计算机设备和存储介质 Active CN111353510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811560525.5A CN111353510B (zh) 2018-12-20 2018-12-20 多传感器目标检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811560525.5A CN111353510B (zh) 2018-12-20 2018-12-20 多传感器目标检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111353510A CN111353510A (zh) 2020-06-30
CN111353510B true CN111353510B (zh) 2023-07-18

Family

ID=71196733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811560525.5A Active CN111353510B (zh) 2018-12-20 2018-12-20 多传感器目标检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111353510B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011479A (zh) * 2021-03-05 2021-06-22 北京中医药大学 一种用于智能制造的多源信息融合方法
CN113391305B (zh) * 2021-06-11 2022-09-30 森思泰克河北科技有限公司 多雷达融合的虚假目标抑制方法、装置及终端设备
CN114333294B (zh) * 2021-11-30 2022-12-13 上海电科智能系统股份有限公司 一种基于非全覆盖的多元多种物体感知识别跟踪方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101434A1 (zh) * 2015-12-16 2017-06-22 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1166922C (zh) * 2002-07-18 2004-09-15 上海交通大学 多传感器多目标信息融合方法
CN101252677B (zh) * 2007-10-19 2010-05-19 西安交通大学 一种基于多光谱图像传感器的目标跟踪方法
US8989442B2 (en) * 2013-04-12 2015-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Robust feature fusion for multi-view object tracking
CN103810382B (zh) * 2014-01-27 2017-01-25 中国电子科技集团公司第十研究所 机载分布式多传感器两级数据融合策略选择方法
CN103942447B (zh) * 2014-04-30 2015-03-04 中国人民解放军空军预警学院监控系统工程研究所 一种多源异类传感器数据融合方法及装置
CN108872991A (zh) * 2018-05-04 2018-11-23 上海西井信息科技有限公司 目标物检测与识别方法、装置、电子设备、存储介质
CN108828527B (zh) * 2018-06-19 2021-04-16 驭势(上海)汽车科技有限公司 一种多传感器数据融合方法、装置、车载设备及存储介质
CN108957413A (zh) * 2018-07-20 2018-12-07 重庆长安汽车股份有限公司 传感器目标定位准确度测试方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101434A1 (zh) * 2015-12-16 2017-06-22 深圳大学 一种多摄像机间人体目标再识别的方法及系统
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于决策距离的分布式多传感器动态分组算法;杨廷梧;苏明;党怀义;;计算机测量与控制;18(第08期);1950-1952 *

Also Published As

Publication number Publication date
CN111353510A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109975773B (zh) 毫米波雷达标定方法、装置、设备和存储介质
US10866101B2 (en) Sensor calibration and time system for ground truth static scene sparse flow generation
CN111353510B (zh) 多传感器目标检测方法、装置、计算机设备和存储介质
CN109901138B (zh) 激光雷达标定方法、装置、设备和存储介质
CN111413721B (zh) 车辆定位的方法、装置、控制器、智能车和系统
US20180356526A1 (en) Sensor calibration and time method for ground truth static scene sparse flow generation
CN110032181A (zh) 语义地图中障碍物定位方法、装置、计算机设备和存储介质
US11328516B2 (en) Apparatus and method for associating sensor data in vehicle
US10481267B2 (en) Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation
US20180357773A1 (en) Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
CN111891124B (zh) 目标信息融合的方法、系统、计算机设备和可读存储介质
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN112416018B (zh) 基于多信号采集与路径规划模型的无人机避障方法和装置
CN113777600A (zh) 一种多毫米波雷达协同定位跟踪方法
US20180357314A1 (en) Time synchronization and data acquisition system for ground truth static scene sparse flow generation
CN111536990A (zh) 在传感器之间的在线外参误标定检测
US20180357315A1 (en) UNDISTORTED RAW LiDAR SCANS AND STATIC POINT EXTRACTIONS SYSTEM FOR GROUND TRUTH STATIC SCENE SPARSE FLOW GENERATION
CN114371484A (zh) 车辆定位方法、装置、计算机设备和存储介质
CN117075167A (zh) 一种基于aoa的多无人机协同导航方法、装置及设备
CN113203424B (zh) 多传感器的数据融合方法、装置及相关设备
CN116931583A (zh) 移动对象的确定方法和避让方法、装置、设备及存储介质
US20230025981A1 (en) Method and apparatus with grid map generation
CN115184919A (zh) 目标跟踪方法、装置、基站和存储介质
CN111951304B (zh) 基于互监督孪生网络的目标跟踪方法、装置与设备
CN115272408A (zh) 车辆静止检测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant