CN113724298B - 多点位感知融合方法及装置、计算机可读存储介质 - Google Patents

多点位感知融合方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN113724298B
CN113724298B CN202111279353.6A CN202111279353A CN113724298B CN 113724298 B CN113724298 B CN 113724298B CN 202111279353 A CN202111279353 A CN 202111279353A CN 113724298 B CN113724298 B CN 113724298B
Authority
CN
China
Prior art keywords
target
point
tracking
targets
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111279353.6A
Other languages
English (en)
Other versions
CN113724298A (zh
Inventor
张枭勇
刘宇鸣
张炳振
邓普阳
陈振武
王宇
周勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202111279353.6A priority Critical patent/CN113724298B/zh
Publication of CN113724298A publication Critical patent/CN113724298A/zh
Application granted granted Critical
Publication of CN113724298B publication Critical patent/CN113724298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多点位感知融合方法及装置、计算机可读存储介质，方法包括：将感知区域进行空间网格划分，将多个点位对应感知区域的重叠区域所在网格进行标记，确定每个重叠区域对应的点位数量；获取多个点位的目标检测信息，根据目标检测信息确定各点位感知到的跟踪目标所在的网格；基于重叠区域所在网格和跟踪目标所在的网格，确定出现在重叠区域的跟踪目标；遍历每个重叠区域，判断重叠区域对应的点位数量是否大于或等于3；若是，则分别计算重叠区域内来源于不同点位的任意两个跟踪目标的重合度，生成重合度矩阵；基于重合度矩阵进行目标聚类，将聚类为同一组的跟踪目标的编号合并。本发明将多点位感知下的重复目标合并，提升目标跟踪效率。

Description

多点位感知融合方法及装置、计算机可读存储介质
技术领域
本发明涉及车路协同和目标跟踪技术领域，具体涉及一种多点位感知融合方法及装置、计算机可读存储介质。
背景技术
自动驾驶车辆在实际道路上要实现安全驾驶，不仅需要车载传感器检测车辆所处道路状况和周边环境，也需要路侧传感器将远大于车载传感器感知范围的信息传递给车辆，辅助车辆自动驾驶。
在路侧传感系统中，同一区域可能存在多个传感器监测，区域内多个点位传输感知信息汇集时可能存在相互重叠区域，若不妥善处理，可能导致互相干扰，降低感知准确性。
发明内容
本发明解决的问题是区域内多个点位传输感知信息汇集时可能存在相互重叠区域，若不妥善处理，可能导致互相干扰，降低感知准确性。
本发明提出一种多点位感知融合方法，包括：
将感知区域进行空间网格划分，将多个点位对应感知区域之间的重叠区域所在网格进行标记，确定每个重叠区域对应的点位数量；
获取多个点位的目标检测信息，根据所述目标检测信息确定各点位感知到的跟踪目标所在的网格；
基于所述重叠区域所在网格和所述跟踪目标所在的网格，确定出现在所述重叠区域的跟踪目标，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度大于第一预设值时，判定所述跟踪目标出现在所述重叠区域；
遍历每个重叠区域，判断所述重叠区域对应的点位数量是否大于或等于3；
若所述重叠区域对应的点位数量大于或等于3，则获取所述重叠区域内所有跟踪目标的轨迹数据、特征向量及三维检测框，分别计算所述重叠区域内来源于不同点位的任意两个跟踪目标的重合度，生成重合度矩阵，其中，所述重合度基于所述两个跟踪目标的第一轨迹相似度、第一特征向量相似度及第一三维检测框交并比生成；
以所述重叠区域对应的点位数量作为抑制参数，基于所述重合度矩阵进行目标聚类，得到所述重叠区域内跟踪目标的分组结果；
将聚类为同一组的跟踪目标的编号合并。
可选地，所述判断所述重叠区域对应的点位数量是否大于或等于3之后，还包括：
当所述重叠区域对应的点位数量小于3时，遍历所述重叠区域内的所有跟踪目标，获取与所述跟踪目标距离小于第二预设值的所有邻近目标，去除与所述跟踪目标来源于同一点位的邻近目标，将所述跟踪目标与剩余的邻近目标一一对比，得到进行对比的两个目标的第二轨迹相似度、第二特征向量相似度及第二三维检测框交并比；
根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，生成进行对比的两个目标的重合度；
当所述重合度大于第三预设值时，将进行对比的两个目标的编号合并。
可选地，所述重合度的计算方法包括：
根据所述第一轨迹相似度、所述第一特征向量相似度及所述第一三维检测框交并比，结合预设公式生成所述重合度，其中，所述预设公式包括：
Figure 89373DEST_PATH_IMAGE001
，
其中，
Figure 288273DEST_PATH_IMAGE002
和
Figure 222731DEST_PATH_IMAGE003
为进行对比的两个目标，
Figure 747254DEST_PATH_IMAGE004
为
Figure 501583DEST_PATH_IMAGE002
和
Figure 769753DEST_PATH_IMAGE003
的三维检测框交并比，
Figure 558718DEST_PATH_IMAGE005
为
Figure 988562DEST_PATH_IMAGE002
和
Figure 495767DEST_PATH_IMAGE003
的轨迹相似度，
Figure 36469DEST_PATH_IMAGE006
为
Figure 679940DEST_PATH_IMAGE002
和
Figure 546265DEST_PATH_IMAGE003
的特征向量的相似度，
Figure 275187DEST_PATH_IMAGE007
，
Figure 885160DEST_PATH_IMAGE008
，
Figure 648716DEST_PATH_IMAGE009
为预设的权重参数。
可选地，所述以所述重叠区域对应的点位数量作为抑制参数，基于所述重合度矩阵进行目标聚类，得到所述重叠区域内跟踪目标的分组结果包括：
定义一
Figure 420363DEST_PATH_IMAGE010
的度矩阵
Figure 636581DEST_PATH_IMAGE011
，其中，度矩阵
Figure 611814DEST_PATH_IMAGE011
中任一目标点的度数等于该目标点与其他目标点的相似度之和；
基于所述重合度矩阵生成邻接矩阵
Figure 229877DEST_PATH_IMAGE012
；
计算拉普拉斯矩阵
Figure 172425DEST_PATH_IMAGE013
，其中，
Figure 875939DEST_PATH_IMAGE014
；
基于所述度矩阵
Figure 827715DEST_PATH_IMAGE011
和所述邻接矩阵
Figure 34705DEST_PATH_IMAGE012
使用所有的目标点构建无向图，所述无向图为目标点之间的相似度，基于所述拉普拉斯矩阵将所述无向图切分成相互没有连接的子图，其中，切分约束为子图内的目标点数量小于或等于所述重叠区域对应的点位数量；
将切图后同一子图的目标点作为一组，保存每组目标内所有目标点的置信度和加权平均。
可选地，所述根据所述目标检测信息确定各点位感知到的跟踪目标所在的网格包括：
获取多个点位的目标检测信息，基于所述目标检测信息获取各个跟踪目标的时间戳；
获取当前的统一时间戳，分别计算各个跟踪目标的时间戳与所述统一时间戳的差值；
获取各个跟踪目标历史轨迹的平均速度；
分别基于各个跟踪目标对应的所述平均速度和所述差值，对各个跟踪目标的当前位置进行修正；
基于各个跟踪目标修正后的位置确定各个跟踪目标所在的网格。
可选地，所述根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，生成进行对比的两个目标的重合度之后，还包括：
当所述进行对比的两个目标的重合度小于所述第三预设值时，判断所述跟踪目标是否离开所述重叠区域，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度小于所述第一预设值时，判定所述跟踪目标离开所述重叠区域；
若否，则判断是否检测到特征向量更新信息，其中，当最新生成的特征向量对应的置信度大于原有特征向量对应的置信度，或者最新生成的特征向量对应的目标尺寸大于原有特征向量对应的目标尺寸，或者最新生成的特征向量对应的目标点云数大于原有特征向量对应的目标点云数时，将特征向量更新为所述最新生成的特征向量，否则不进行特征向量更新；
若检测到所述特征向量更新信息，则基于更新后的特征向量重新生成进行对比的两个目标的重合度，判断所述进行对比的两个目标的重合度与所述第三预设值的大小关系。
可选地，所述获取多个点位的目标检测信息包括：
遍历每个点位，获取所述点位的原始感知数据，基于所述原始感知数据进行目标检测，得到新目标；
通过二分图匹配将所述新目标与所述点位上一次感知的跟踪目标对应，再使用卡尔曼滤波算法对所述跟踪目标进行位置更新，将位置更新后的所述跟踪目标以预设标准封装后作为所述点位的目标检测信息。
可选地，所述预设标准中的封装内容包括：所述目标检测信息中每个目标的以下属性：时间戳、目标底面中心点位置、目标方向角、目标类别、目标的轨迹点集、目标的速度、目标的尺寸和目标的特征向量。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的多点位感知融合方法。
本发明还提出一种多点位感知融合装置，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的多点位感知融合方法。
本发明通过将感知区域进行空间网格划分，确定多点位感知区域之间的重叠区域所在网格，结合各点位感知到的跟踪目标所在的网格，确定出现在重叠区域的跟踪目标，通过重叠区域对应的点位数量，区分跟踪目标的处理方式，当重叠区域对应的点位数量大于或等于3时，计算重叠区域内两两跟踪目标之间的重合度，生成重合度矩阵，并基于重合度矩阵进行聚类，将聚类为一组的目标合并为同一目标，以实现多点位感知下的目标融合，提升目标跟踪效率，也可避免因两两对比产生误差而无法将多条轨迹还原到同一个跟踪目标的问题，也可通过重叠区域的设置减少目标之间的比较次数，降低计算量，提升计算效率。
附图说明
图1为本发明实施例多点位感知融合方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明实施例提出多点位感知融合系统，包括：感知装置、分析装置、融合装置及NTP(Network Time Protocol)服务器。其中，感知装置包含路侧传感器，如视频图像采集设备（如摄像头）、激光雷达、毫米波雷达等，用于采集原始感知数据，一个感知装置对应一个点位；分析装置用于分析感知装置采集的原始感知数据；融合装置用于将多个点位的数据进行融合；可选地，分析装置与感知装置集成在一个设备中。将所有装置的时间与NTP服务器同步，实现感知融合系统中所有装置的时钟同步。
如图1，在本发明一实施例中，所述多点位感知融合方法包括：
步骤S10，将感知区域进行空间网格划分，将多个点位对应感知区域之间的重叠区域所在网格进行标记，确定每个重叠区域对应的点位数量。
以固定尺度将感知区域所在空间进行体素划分（例如以5米为尺度划分），实现感知区域的空间网格划分并以八叉树结构进行索引。
每个点位都有对应的感知区域，多个点位的感知区域可能存在重叠，每个点位都会对重叠区域出现的目标进行检测，这时，就需要区分同一目标，避免为同一目标分配不同编号。
其中，重叠区域对应的点位数量，指感知区域落在该重叠区域的点位数量，或者，若两个以上点位的感知范围出现重叠区域，则该重叠区域对应的点位就是所述两个以上点位，即，重叠区域由其对应的点位的感知区域生成。
步骤S20，获取多个点位的目标检测信息，根据所述目标检测信息确定各点位感知到的跟踪目标所在的网格。
从目标检测信息中获取跟踪目标的坐标，目标检测信息中跟踪目标在局部坐标系中空间属性以局部坐标系的坐标、速度与尺寸体现，需要将其统一到GPS坐标系中。将局部坐标系的点转换到GPS坐标系下的方法为：
基于两个标定点
Figure 413734DEST_PATH_IMAGE015
和
Figure 604544DEST_PATH_IMAGE016
在局部坐标系下标定坐标
Figure 94431DEST_PATH_IMAGE017
GPS坐标下
Figure 687086DEST_PATH_IMAGE018
,
Figure 237016DEST_PATH_IMAGE020
，并设需要进行转换的点的坐标为
Figure 649543DEST_PATH_IMAGE021
，
Figure 943121DEST_PATH_IMAGE022
；
设向量1为
Figure 390283DEST_PATH_IMAGE023
，向量2为
Figure 111114DEST_PATH_IMAGE024
，其中，
Figure 276516DEST_PATH_IMAGE025
设
Figure 108206DEST_PATH_IMAGE026
联立方程组：
Figure 144295DEST_PATH_IMAGE027
其中norm操作为求2范数。通过求解上述方程组可以将待转换点的坐标从局部坐标系转换到GPS坐标系。
在将各点位感知到的跟踪目标转换到GPS坐标后，即可将跟踪目标定位到空间网格中，得到跟踪目标所在的网格。
步骤S30，基于所述重叠区域所在网格和所述跟踪目标所在的网格，确定出现在所述重叠区域的跟踪目标，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度大于第一预设值时，判定所述跟踪目标出现在所述重叠区域。
遍历每个跟踪目标，对每个跟踪目标，一一判断其是否出现在重叠区域。
跟踪目标所在的网格与重叠区域所在网格重合度，可以通过计算跟踪目标与重叠区域重合的网格数与跟踪目标所在网格数的比值。当跟踪目标大部分体积处于重叠区域时，判定跟踪目标出现在重叠区域。其中，第一预设值取值范围可以为30%-100%。
当跟踪目标所在的网格与重叠区域所在网格重合度小于或等于第一预设值时，判定跟踪目标未出现在重叠区域，无需对未出现在重叠区域的跟踪目标进行后续处理。
步骤S40，遍历每个重叠区域，判断所述重叠区域对应的点位数量是否大于或等于3。
对两个以上感知范围出现重叠区域时，同一个目标可能被多个感知点位生成跟踪目标，通过识别这些被重复生成的目标并将其合并到同一个，有利于减少数据量，提高跟踪准确性。当同一个目标有三条以上的轨迹，即被三个以上点位生成跟踪目标时，两两对比可能会出现误差，导致无法将多条轨迹还原到同一个目标。
当重叠区域对应的点位数量有3个以上时，在重叠区域内的目标可能被3个以上点位生成跟踪目标，因此，基于重叠区域对应的点位数量区分不同的重复目标识别方法，提升准确性。
步骤S50，若所述重叠区域对应的点位数量大于或等于3，则获取所述重叠区域内所有跟踪目标的轨迹数据、特征向量及三维检测框，分别计算所述重叠区域内来源于不同点位的任意两个跟踪目标的重合度，生成重合度矩阵，其中，所述重合度基于所述两个跟踪目标的第一轨迹相似度、第一特征向量相似度及第一三维检测框交并比生成。
可选地，根据所述第一轨迹相似度、所述第一特征向量相似度及所述第一三维检测框交并比，结合预设公式生成所述重合度，其中，所述预设公式包括：
Figure 36028DEST_PATH_IMAGE028
，
其中，
Figure 423147DEST_PATH_IMAGE002
和
Figure 58528DEST_PATH_IMAGE003
为进行对比的两个目标，
Figure 480282DEST_PATH_IMAGE004
为
Figure 542916DEST_PATH_IMAGE002
和
Figure 151752DEST_PATH_IMAGE003
的三维检测框交并比，
Figure 325244DEST_PATH_IMAGE005
为
Figure 601505DEST_PATH_IMAGE002
和
Figure 835040DEST_PATH_IMAGE003
的轨迹相似度，
Figure 196751DEST_PATH_IMAGE006
为
Figure 173934DEST_PATH_IMAGE002
和
Figure 570280DEST_PATH_IMAGE003
的特征向量的相似度，相似度计算方法为：欧几里得距离、曼哈顿距离或余弦相似度等。
Figure 974717DEST_PATH_IMAGE007
，
Figure 292566DEST_PATH_IMAGE008
，
Figure 73440DEST_PATH_IMAGE009
为预设的权重参数。
步骤S60，以所述重叠区域对应的点位数量作为抑制参数，基于所述重合度矩阵进行目标聚类，得到所述重叠区域内跟踪目标的分组结果。
步骤S70，将聚类为同一组的跟踪目标的编号合并。
进一步地，步骤S60包括：
定义一
Figure 324293DEST_PATH_IMAGE010
的度矩阵
Figure 899631DEST_PATH_IMAGE011
，其中，度矩阵
Figure 970355DEST_PATH_IMAGE011
中任一目标点的度数等于该目标点与其他目标点的相似度之和。以n=3为例，
Figure 292270DEST_PATH_IMAGE029
。
基于所述重合度矩阵生成邻接矩阵
Figure 397630DEST_PATH_IMAGE012
；
计算拉普拉斯矩阵
Figure 878290DEST_PATH_IMAGE013
，其中，
Figure 701889DEST_PATH_IMAGE014
，将该拉普拉斯矩阵作为切图操作的最优化公式。
基于所述度矩阵
Figure 558987DEST_PATH_IMAGE011
和所述邻接矩阵
Figure 784432DEST_PATH_IMAGE012
使用所有的目标点构建无向图，所述无向图为目标点之间的相似度，基于所述拉普拉斯矩阵将所述无向图切分成相互没有连接的子图，其中，切分约束为子图内的目标点数量小于或等于所述重叠区域对应的点位数量。其中，可使用RatioCut进行切图操作。
将切图后同一子图的目标点作为一组，进行合并，保存每组目标内所有目标点的置信度和加权平均，作为合并结果的属性数据。
通过将感知区域进行空间网格划分，确定多点位感知区域之间的重叠区域所在网格，结合各点位感知到的跟踪目标所在的网格，确定出现在重叠区域的跟踪目标，通过重叠区域对应的点位数量，区分跟踪目标的处理方式，当重叠区域对应的点位数量大于或等于3时，计算重叠区域内两两跟踪目标之间的重合度，生成重合度矩阵，并基于重合度矩阵进行聚类，将聚类为一组的目标合并为同一目标，以实现多点位感知下的目标融合，提升目标跟踪效率，也可避免因两两对比产生误差而无法将多条轨迹还原到同一个跟踪目标的问题，也可通过重叠区域的设置减少目标之间的比较次数，降低计算量，提升计算效率。
可选地，步骤S40之后，还包括：
步骤S80，当所述重叠区域对应的点位数量小于3时，遍历所述重叠区域内的所有跟踪目标，获取与所述跟踪目标距离小于第二预设值的所有邻近目标，去除与所述跟踪目标来源于同一点位的邻近目标，将所述跟踪目标与剩余的邻近目标一一对比，得到进行对比的两个目标的第二轨迹相似度、第二特征向量相似度及第二三维检测框交并比。
若跟踪目标出现在重叠区域，则将跟踪目标与周围网格内的其他跟踪目标尝试进行合并，使用第二预设值筛选出跟踪目标周围网格内的跟踪目标。同时，只有不同点位才会对同一跟踪目标得到不同的检测结果，因而去除与跟踪目标来源于同一点位的邻近目标，以减少与跟踪目标对比的邻近目标数量，减少计算量。
可通过欧几里得距离、曼哈顿距离或余弦相似度等计算特征向量相似度。
步骤S90，根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，生成进行对比的两个目标的重合度。
可将轨迹相似度、特征向量相似度及三维检测框交并比的加权和作为重合度，具体而言，步骤S90包括：根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，结合预设公式生成进行对比的两个目标的重合度，其中，所述预设公式包括：
Figure 701572DEST_PATH_IMAGE028
，
其中，
Figure 746888DEST_PATH_IMAGE002
和
Figure 407677DEST_PATH_IMAGE003
为进行对比的两个目标，
Figure 487628DEST_PATH_IMAGE004
为
Figure 310091DEST_PATH_IMAGE002
和
Figure 108283DEST_PATH_IMAGE003
的三维检测框交并比，
Figure 572762DEST_PATH_IMAGE005
为
Figure 507220DEST_PATH_IMAGE002
和
Figure 766163DEST_PATH_IMAGE003
的轨迹相似度，
Figure 520492DEST_PATH_IMAGE006
为
Figure 54242DEST_PATH_IMAGE002
和
Figure 577627DEST_PATH_IMAGE003
的特征向量的相似度，相似度计算方法为：欧几里得距离、曼哈顿距离或余弦相似度等。
Figure 7471DEST_PATH_IMAGE007
，
Figure 514676DEST_PATH_IMAGE008
，
Figure 320958DEST_PATH_IMAGE009
为预设的权重参数，相似度计算方法为：欧几里得距离、曼哈顿距离或余弦相似度等。
步骤S100，当所述进行对比的两个目标的重合度大于第三预设值时，将进行对比的两个目标的编号合并。
当所述进行对比的两个目标的重合度大于第三预设值时，说明对比的跟踪目标与邻近目标为同一目标，将二者的编号合并。
当所述进行对比的两个目标的重合度小于或等于第三预设值时，说明对比的跟踪目标与邻近目标为两个独立的目标，二者编号独立。
通过将感知区域进行空间网格划分，将多点位感知区域之间的重叠区域所在网格进行标记，并确定各点位感知的跟踪目标所在网格，通过网格重合度判断跟踪目标是否在重叠区域，以出现在重叠区域的跟踪目标为对比基点，识别出多点位下的同一目标，因多点位融合时待处理的目标较多，通过首先确定重叠区域，确定对比基点再进行比较，可减少目标比较次数以提高整体的算法效率。通过进行对比的两个目标的第二轨迹相似度、第二特征向量相似度及第二三维检测框交并比，确定两个目标的重合度，可汇集两个目标在多个方面的相似度，综合判断两个目标是否为同一目标，可获得更准确的相似判断结果，目标融合更为准确。
可选地，步骤S90，之后，还包括：
步骤S110，当所述进行对比的两个目标的重合度小于所述第三预设值时，判断所述跟踪目标是否离开所述重叠区域，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度小于所述第一预设值时，判定所述跟踪目标离开所述重叠区域。
步骤S120，若否，则判断是否检测到特征向量更新信息，其中，当最新生成的特征向量对应的置信度大于原有特征向量对应的置信度，或者最新生成的特征向量对应的目标尺寸大于原有特征向量对应的目标尺寸，或者最新生成的特征向量对应的目标点云数大于原有特征向量对应的目标点云数时，将特征向量更新为所述最新生成的特征向量，否则不进行特征向量更新。
步骤S130，若检测到所述特征向量更新信息，重新获取进行对比的两个目标的第二轨迹相似度、第二特征向量相似度及第二三维检测框交并比，根据重新获取的所述轨迹相似度、所述特征向量相似度及所述三维检测框交并比，生成进行对比的两个目标的重合度。
其中，置信度较高、尺寸或点云数量较大时目标受遮挡较少，保存目标获取当前特征向量时的置信度，以及获取当前特征向量时在图像中的尺寸或点云数量，基于在跟踪目标的过程中，随着置信度或尺寸/点云数量的提升更新特征向量，以保证特征向量的准确性，进而保证目标匹配的准确性。
对于未离开重叠区域的跟踪目标，在检测到特征向量更新信息时，基于最新获得的特征向量，重新计算跟踪目标与邻近目标的重合度，因为特征向量只有在置信度或者尺寸或者点云数量增大时才会更新，而置信度或者尺寸或者点云数量增大时，点位感知到的跟踪目标遮挡越少，其对应的特征向量越能准确表征跟踪目标的特征，可以避免因遮挡太多，特征向量无法表征跟踪目标导致的相似对比错误。
可选地，步骤S20中所述根据所述目标检测信息确定各点位感知到的跟踪目标所在的网格包括：
获取多个点位的目标检测信息，基于所述目标检测信息获取各个跟踪目标的时间戳；获取当前的统一时间戳，分别计算各个跟踪目标的时间戳与统一时间戳的差值；获取各个跟踪目标历史轨迹的平均速度，分别基于各个跟踪目标对应的平均速度和差值，对各个跟踪目标的当前位置进行修正；基于各个跟踪目标修正后的位置确定各个跟踪目标所在的网格。
其中，统一时间戳为融合装置固定频率下的时间节点。统一时间戳与跟踪目标时间戳之间的差值表示为
Figure 964429DEST_PATH_IMAGE030
，基于跟踪目标历史轨迹的平均速度v对当前位置s进行修正，修正后位置可为
Figure 830754DEST_PATH_IMAGE031
：
Figure 559676DEST_PATH_IMAGE032
，
因不同点位有不同的采集频率和数据上传时间，且融合装置自身也有固定的数据融合时间间隔，所以在判断两个目标是否为同一目标时，需要将该两个目标统一到同一时间戳，才能进行准确判断。例如，融合装置融合的时间为t1，而这次融合之前所有的感知数据输入都自带时间戳t2，则
Figure 169648DEST_PATH_IMAGE033
。
可选地，步骤S20中所述获取多个点位的目标检测信息包括：
遍历每个点位，获取所述点位的原始感知数据，基于所述原始感知数据进行目标检测，得到新目标；通过二分图匹配将所述新目标与所述点位上一次感知的跟踪目标对应，再使用卡尔曼滤波算法对所述跟踪目标进行位置更新，将位置更新后的所述跟踪目标以预设标准封装后作为所述点位的目标检测信息。
其中的新目标指所述点位最新采集的数据帧中的目标，需要通过二分图匹配将其与之前已感知的跟踪目标匹配，以区分哪些为同一目标，避免一目标多编号的情况，也实现对跟踪目标的跟踪。通过二分图匹配，获取新目标与点位上一次感知的跟踪目标的对应关系，更新跟踪目标当前最新的观测值，再通过卡尔曼滤波，结合点位上一时间点对当前时刻的目标位置预测值，以及观测误差、预测误差，得到对下一时间点的目标位置预测值，进而实现跟踪目标的位置更新。
预设标准中的封装内容包含所述目标检测信息中每个目标的以下属性：时间戳、目标底面中心点位置、目标方向角、目标类别、目标的轨迹点集、目标的速度、目标的尺寸、目标的特征向量。当某种传感器检测结果不具备对应属性时将结果置0。其中，时间戳精确到毫秒。目标底面中心点位置，其包含经度、纬度、高度，其中，经度可精确到小数点后6位，单位为度；纬度可精确到小数点后6位，单位为度；高度可精确到小数点后3位，单位为米。目标方向角，以正北方向为0度，方向角精确到小数点后3位，单位为度。目标类别用于表示目标是什么物体。目标的轨迹点集，包含目标过去预设帧数（如50帧）的中心点位置。目标的速度，包含经度方向的速度，纬度方向的速度，高度方向上的速度。目标的尺寸，包含目标长度，目标宽度，目标高度。
本发明一实施例中，多点位感知融合装置包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如上所述的多点位感知融合方法。本发明多点位感知融合装置相对于现有技术所具有的有益效果与上述多点位感知融合方法一致，此处不赘述。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种多点位感知融合方法，其特征在于，包括：
将感知区域进行空间网格划分，将多个点位对应感知区域之间的重叠区域所在网格进行标记，确定每个所述重叠区域对应的点位数量；
获取多个所述点位的目标检测信息，根据所述目标检测信息确定各所述点位感知到的跟踪目标所在的网格；
基于所述重叠区域所在网格和所述跟踪目标所在的网格，确定出现在所述重叠区域的所述跟踪目标，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度大于第一预设值时，判定所述跟踪目标出现在所述重叠区域；
遍历每个所述重叠区域，判断所述重叠区域对应的点位数量是否大于或等于3；
若所述重叠区域对应的点位数量大于或等于3，则获取所述重叠区域内所有所述跟踪目标的轨迹数据、特征向量及三维检测框，分别计算所述重叠区域内来源于不同点位的任意两个跟踪目标的重合度，生成重合度矩阵，其中，所述重合度基于两个所述跟踪目标的第一轨迹相似度、第一特征向量相似度及第一三维检测框交并比生成；
以所述重叠区域对应的点位数量作为抑制参数，基于所述重合度矩阵进行目标聚类，得到所述重叠区域内跟踪目标的分组结果；
将聚类为同一组的所述跟踪目标的编号合并；
所述重合度的计算方法包括：
根据所述第一轨迹相似度、所述第一特征向量相似度及所述第一三维检测框交并比，结合预设公式生成所述重合度，其中，所述预设公式包括：
Figure 687087DEST_PATH_IMAGE001
，
其中，
Figure 980665DEST_PATH_IMAGE002
和
Figure 614778DEST_PATH_IMAGE003
为进行对比的两个目标，
Figure 70030DEST_PATH_IMAGE004
为
Figure 173115DEST_PATH_IMAGE002
和
Figure 4805DEST_PATH_IMAGE003
的三维检测框交并比，
Figure 509736DEST_PATH_IMAGE005
为
Figure 135889DEST_PATH_IMAGE002
和
Figure 726270DEST_PATH_IMAGE003
的轨迹相似度，
Figure 361651DEST_PATH_IMAGE006
为
Figure 252247DEST_PATH_IMAGE002
和
Figure 501831DEST_PATH_IMAGE003
的特征向量的相似度，
Figure 376247DEST_PATH_IMAGE007
，
Figure 753001DEST_PATH_IMAGE008
，
Figure 29262DEST_PATH_IMAGE009
为预设的权重参数；
所述以所述重叠区域对应的点位数量作为抑制参数，基于所述重合度矩阵进行目标聚类，得到所述重叠区域内跟踪目标的分组结果包括：
定义一
Figure 200480DEST_PATH_IMAGE010
的度矩阵
Figure 765454DEST_PATH_IMAGE011
，其中，度矩阵
Figure 477058DEST_PATH_IMAGE011
中任一目标点的度数等于该目标点与其他目标点的相似度之和；
基于所述重合度矩阵生成邻接矩阵
Figure 607825DEST_PATH_IMAGE012
；
计算拉普拉斯矩阵
Figure 199212DEST_PATH_IMAGE013
，其中，
Figure 48219DEST_PATH_IMAGE014
；
基于所述度矩阵
Figure 766777DEST_PATH_IMAGE011
和所述邻接矩阵
Figure 955312DEST_PATH_IMAGE012
使用所有的目标点构建无向图，所述无向图为目标点之间的相似度，基于所述拉普拉斯矩阵将所述无向图切分成相互没有连接的子图，其中，切分约束为子图内的目标点数量小于或等于所述重叠区域对应的点位数量；
将切图后同一子图的目标点作为一组，保存每组目标内所有目标点的置信度和加权平均。
2.如权利要求1所述的多点位感知融合方法，其特征在于，所述判断所述重叠区域对应的点位数量是否大于或等于3之后，还包括：
当所述重叠区域对应的点位数量小于3时，遍历所述重叠区域内的所有所述跟踪目标，获取与所述跟踪目标距离小于第二预设值的所有邻近目标，去除与所述跟踪目标来源于同一点位的邻近目标，将所述跟踪目标与剩余的邻近目标一一对比，得到进行对比的两个目标的第二轨迹相似度、第二特征向量相似度及第二三维检测框交并比；
根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，生成进行对比的两个目标的重合度；
当所述进行对比的两个目标的重合度大于第三预设值时，将进行对比的两个目标的编号合并。
3.如权利要求1所述的多点位感知融合方法，其特征在于，所述根据所述目标检测信息确定各点位感知到的跟踪目标所在的网格包括：
获取多个所述点位的目标检测信息，基于所述目标检测信息获取各个所述跟踪目标的时间戳；
获取当前的统一时间戳，分别计算各个所述跟踪目标的时间戳与所述统一时间戳的差值；
获取各个所述跟踪目标历史轨迹的平均速度；
分别基于各个所述跟踪目标对应的所述平均速度和所述差值，对各个所述跟踪目标的当前位置进行修正；
基于各个所述跟踪目标修正后的位置确定各个所述跟踪目标所在的网格。
4.如权利要求2所述的多点位感知融合方法，其特征在于，所述根据所述第二轨迹相似度、所述第二特征向量相似度及所述第二三维检测框交并比，生成进行对比的两个目标的重合度之后，还包括：
当所述进行对比的两个目标的重合度小于所述第三预设值时，判断所述跟踪目标是否离开所述重叠区域，其中，当所述跟踪目标所在的网格与所述重叠区域所在网格重合度小于所述第一预设值时，判定所述跟踪目标离开所述重叠区域；
若否，则判断是否检测到特征向量更新信息，其中，当最新生成的特征向量对应的置信度大于原有特征向量对应的置信度，或者最新生成的特征向量对应的目标尺寸大于原有特征向量对应的目标尺寸，或者最新生成的特征向量对应的目标点云数大于原有特征向量对应的目标点云数时，将特征向量更新为所述最新生成的特征向量，否则不进行特征向量更新；
若检测到所述特征向量更新信息，则基于更新后的特征向量重新生成进行对比的两个目标的重合度，判断所述进行对比的两个目标的重合度与所述第三预设值的大小关系。
5.如权利要求1所述的多点位感知融合方法，其特征在于，所述获取多个点位的目标检测信息包括：
遍历每个所述点位，获取所述点位的原始感知数据，基于所述原始感知数据进行目标检测，得到新目标；
通过二分图匹配将所述新目标与所述点位上一次感知的跟踪目标对应，再使用卡尔曼滤波算法对所述跟踪目标进行位置更新，将位置更新后的所述跟踪目标以预设标准封装后作为所述点位的目标检测信息。
6.如权利要求5所述的多点位感知融合方法，其特征在于，所述预设标准中的封装内容包括：所述目标检测信息中每个目标的以下属性：时间戳、目标底面中心点位置、目标方向角、目标类别、目标的轨迹点集、目标的速度、目标的尺寸和目标的特征向量。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-6任一项所述的多点位感知融合方法。
8.一种多点位感知融合装置，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现如权利要求1-6任一项所述的多点位感知融合方法。
CN202111279353.6A 2021-11-01 2021-11-01 多点位感知融合方法及装置、计算机可读存储介质 Active CN113724298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279353.6A CN113724298B (zh) 2021-11-01 2021-11-01 多点位感知融合方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279353.6A CN113724298B (zh) 2021-11-01 2021-11-01 多点位感知融合方法及装置、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113724298A CN113724298A (zh) 2021-11-30
CN113724298B true CN113724298B (zh) 2022-03-18

Family

ID=78686219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279353.6A Active CN113724298B (zh) 2021-11-01 2021-11-01 多点位感知融合方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113724298B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115171378B (zh) * 2022-06-28 2023-10-27 武汉理工大学 一种基于路侧雷达长距离多车辆高精度检测追踪方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9291700B1 (en) * 2015-01-09 2016-03-22 NinthDecimal, Inc. Systems and methods to identify home addresses of mobile devices
CN106960390A (zh) * 2017-01-03 2017-07-18 上海大学 基于节点聚合度的重叠社区划分方法
CN107592654A (zh) * 2017-08-22 2018-01-16 北京航空航天大学 一种基于压缩感知的同频多辐射源场强定位方法
CN109101998A (zh) * 2018-07-13 2018-12-28 中国地质大学（武汉） 一种基于居民地上下文空间信息的聚类方法及系统
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN111127438A (zh) * 2019-12-25 2020-05-08 昆明理工大学 基于改进yolo算法的肺部ct图像中结节检测方法
CN111818313A (zh) * 2020-08-28 2020-10-23 深圳市城市交通规划设计研究中心股份有限公司 一种基于监控视频的车辆实时追踪方法及装置
CN112566032A (zh) * 2020-09-23 2021-03-26 深圳市速腾聚创科技有限公司 多站点路基网络感知方法、终端和系统
CN113310491A (zh) * 2021-05-17 2021-08-27 北京航空航天大学 一种考虑具体结构的无人机航路网自动生成方法
CN113379805A (zh) * 2021-08-12 2021-09-10 深圳市城市交通规划设计研究中心股份有限公司 一种交通节点的多信息资源融合处理方法
CN113570864A (zh) * 2021-09-22 2021-10-29 深圳市城市交通规划设计研究中心股份有限公司 一种电动自行车行驶路径匹配方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991691B (zh) * 2017-02-24 2019-10-18 北京理工大学 一种适用于摄像机网络下的分布式目标跟踪方法
CN110084831B (zh) * 2019-04-23 2021-08-24 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
DE112020002602T5 (de) * 2019-06-03 2022-03-03 Nvidia Corporation Multi-objektverfolgung mit hilfe von korrelationsfiltern in videoanalyseanwendungen
US10699563B1 (en) * 2019-07-12 2020-06-30 GM Global Technology Operations LLC Multi-sensor multi-object tracking
CN113506318B (zh) * 2021-07-12 2022-08-02 广东工业大学 一种车载边缘场景下的三维目标感知方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9291700B1 (en) * 2015-01-09 2016-03-22 NinthDecimal, Inc. Systems and methods to identify home addresses of mobile devices
CN106960390A (zh) * 2017-01-03 2017-07-18 上海大学 基于节点聚合度的重叠社区划分方法
CN107592654A (zh) * 2017-08-22 2018-01-16 北京航空航天大学 一种基于压缩感知的同频多辐射源场强定位方法
CN109101998A (zh) * 2018-07-13 2018-12-28 中国地质大学（武汉） 一种基于居民地上下文空间信息的聚类方法及系统
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN111127438A (zh) * 2019-12-25 2020-05-08 昆明理工大学 基于改进yolo算法的肺部ct图像中结节检测方法
CN111818313A (zh) * 2020-08-28 2020-10-23 深圳市城市交通规划设计研究中心股份有限公司 一种基于监控视频的车辆实时追踪方法及装置
CN112566032A (zh) * 2020-09-23 2021-03-26 深圳市速腾聚创科技有限公司 多站点路基网络感知方法、终端和系统
CN113310491A (zh) * 2021-05-17 2021-08-27 北京航空航天大学 一种考虑具体结构的无人机航路网自动生成方法
CN113379805A (zh) * 2021-08-12 2021-09-10 深圳市城市交通规划设计研究中心股份有限公司 一种交通节点的多信息资源融合处理方法
CN113570864A (zh) * 2021-09-22 2021-10-29 深圳市城市交通规划设计研究中心股份有限公司 一种电动自行车行驶路径匹配方法、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Grid Based Clustering Technique in Wireless Sensor Network using Hierarchical Routing Protocol;M. M. Kareem 等;《2018 IEEE 4th International Symposium on Telecommunication Technologies》;20190502;1-5 *
Multiple Object Tracking With Attention to Appearance, Structure, Motion and Size;H. Karunasekera 等;《IEEE Access》;20190731;第7卷;104423-104434 *
城市环境下智能车行车环境精确感知关键技术研究;孙朋朋;《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》;20200715(第07期);C035-6 *
时空图卷积网络与注意机制的视频目标分割;姚睿 等;《中国图象图形学报》;20211030;第26卷(第10期);2376-2387 *

Also Published As

Publication number Publication date
CN113724298A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
US11132810B2 (en) Three-dimensional measurement apparatus
JP2023523243A (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
KR102052114B1 (ko) 고정밀 전자지도 갱신을 위한 객체 변화 탐지 시스템 및 방법
DE102014224372B4 (de) Apparate, systeme und verfahren zur verarbeitung einer höhenkarte
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN104677361B (zh) 一种综合定位的方法
KR20200122987A (ko) 궤적 분류 모델의 트레이닝 방법 및 장치, 및 전가 기기
CN116625354B (zh) 一种基于多源测绘数据的高精度地形图生成方法及系统
CN108764157B (zh) 基于法向量高斯分布的建筑物激光脚点提取方法及系统
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN110795978B (zh) 路面点云数据提取方法、装置、存储介质及电子设备
CN113724298B (zh) 多点位感知融合方法及装置、计算机可读存储介质
CN110377670B (zh) 一种确定道路要素信息的方法、装置、介质及设备
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
KR101092250B1 (ko) 레인지 영상으로부터의 객체 분할 장치 및 방법
CN108763575B (zh) 基于像控点数据库的像控点自动选取方法
CN115638787A (zh) 一种数字地图生成方法、计算机可读存储介质及电子设备
CN113405519A (zh) 农机的作业亩数计算方法和农机的作业亩数计算系统
US20220179065A1 (en) Synthetic-aperture-radar image processing device and image processing method
CN114913175B (zh) 散斑图像质量评价方法、电子设备及存储介质
US9378555B2 (en) Enhanced outlier removal for 8 point algorithm used in camera motion estimation
CN112633143B (zh) 图像处理系统、方法、头戴设备、处理设备及存储介质
JP2016142533A (ja) 測量成果生成装置
CN114842084B (zh) 一种地图构建方法、装置及移动探测设备
US11836975B1 (en) System and method for mapping land parcels using computer processes and images of the land parcels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant