CN115205820A - 物体关联方法、计算机设备、计算机可读存储介质及车辆 - Google Patents

物体关联方法、计算机设备、计算机可读存储介质及车辆 Download PDF

Info

Publication number
CN115205820A
CN115205820A CN202210794214.5A CN202210794214A CN115205820A CN 115205820 A CN115205820 A CN 115205820A CN 202210794214 A CN202210794214 A CN 202210794214A CN 115205820 A CN115205820 A CN 115205820A
Authority
CN
China
Prior art keywords
recognized
identified
objects
sensor level
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210794214.5A
Other languages
English (en)
Inventor
李林
翟玉强
周跃寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Weilai Zhijia Technology Co Ltd
Original Assignee
Anhui Weilai Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Weilai Zhijia Technology Co Ltd filed Critical Anhui Weilai Zhijia Technology Co Ltd
Priority to CN202210794214.5A priority Critical patent/CN115205820A/zh
Publication of CN115205820A publication Critical patent/CN115205820A/zh
Priority to PCT/CN2023/104327 priority patent/WO2024007972A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶技术领域，具体提供一种物体关联方法、计算机设备、存储介质及车辆，旨在解决准确识别车辆周围物体的问题。本发明的方法包括根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对连续的多帧图像中的待识别物体进行关联，以形成单传感器级别的待识别物体；根据每个单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成跨传感器级别的待识别物体；根据每个跨传感器级别的待识别物体的图像特征，对跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。通过上述方式，可以避免将同一个待识别物体分裂成多个不同物体，从而提高物体识别的准确性。

Description

物体关联方法、计算机设备、计算机可读存储介质及车辆
技术领域
本发明涉及自动驾驶技术领域，具体提供一种物体关联方法、计算机设备、计算机可读存储介质及车辆。
背景技术
在自动驾驶过程中需要利用车载传感器识别车辆周围的物体，进而根据物体的位置和/或移动速度等信息来规划车辆的行驶轨迹，控制车辆按照行驶轨迹行驶。而为了提高物体识别的准确性与效率，通常会采用多个车载传感器进行物体识别，再对多个车载传感器的待识别物体进行关联得到最终的待识别物体。但是，由于不同车载传感器的图像采集精度和/或图像采集角度不同，会导致从不同车载传感器对同一物体采集的图像上提取到的图像特征存在一定差异，进而在对多个车载传感器的待识别物体进行关联后可能将同一个物体分裂成多个不同的物体，影响物体识别的准确性，进而降低车辆行驶的安全性。
相应地，本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何准确识别车辆周围的物体的技术问题的物体识别方法、计算机设备、计算机可读存储介质及车辆。
第一方面，提供一种物体关联方法，所述方法包括：
根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体；
根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体；
根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
在上述物体关联方法的一个技术方案中，“根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体”的步骤具体包括：
根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度；
根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体。
在上述物体关联方法的一个技术方案中，“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对所述当前帧待识别物体与所述前一帧待识别物体进行坐标系转换，以将所述当前帧待识别物体与所述前一帧待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上；
根据所述当前帧待识别物体与所述前一帧待识别物体在所述BEV图像上的坐标，分别计算所述当前帧待识别物体与当前车辆之间的物体距离，以及所述前一帧待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第一特征相似度；
和/或，“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算每个所述当前帧待识别物体的边界框与每个所述前一帧待识别物体的边界框的交并比；
根据所述交并比，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第二特征相似度。
在上述物体关联方法的一个技术方案中，“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；
若否，则继续判断当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
如果大于所述第二相似度阈值，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；如果小于等于所述第二相似度阈值，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体；
或者，“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值或者所述当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；若否，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体。
在上述物体关联方法的一个技术方案中，“根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体”的步骤具体包括：
根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度；
根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体。
在上述物体关联方法的一个技术方案中，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对每个所述单传感器级别的待识别物体进行坐标系转换，以将每个所述单传感器级别的待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上；
根据每个所述单传感器级别的待识别物体在所述BEV图像上的坐标，分别计算每个所述单传感器级别的待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第三特征相似度；
和/或，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算不同车载视觉传感器对应的所述单传感器级别的待识别物体的边界框的交并比；
根据所述交并比，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第四特征相似度；
和/或，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
采用重识别(Person Re-Identification)技术并根据每个所述单传感器级别的待识别物体的图像特征，分别获取每个所述单传感器级别的待识别物体的ReID特征；
根据所述ReID特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第五特征相似度；
和/或，“根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体”的步骤具体包括：
针对每个所述单传感器级别的待识别物体，判断是否存在与当前单传感器级别的待识别物体之间的特征相似度大于预设的第三相似度阈值的其他单传感器级别的待识别物体；
若是，则将所述当前单传感器级别的待识别物体与所述其他单传感器级别的待识别物体进行关联，以形成一个跨传感器级别的待识别物体；
若否，则将所述当前单传感器级别的待识别物体单独作为一个跨传感器级别的待识别物体。
在上述物体关联方法的一个技术方案中，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤进一步包括：
对所述第三特征相似度和/或所述第四特征相似度和/或所述第五特征相似度进行加权和计算，将计算结果作为最终的特征相似度。
在上述物体关联方法的一个技术方案中，“根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体”的步骤具体包括：
根据每个所述跨传感器级别的待识别物体的图像特征中的物体二维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度，根据所述二维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体；
和/或，根据每个所述跨传感器级别的待识别物体的图像特征中的物体三维信息，分别计算不同跨传感器级别的待识别物体之间的三维相似度，根据所述三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述物体关联方法的技术方案中任一项技术方案所述的物体关联方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述物体关联方法的技术方案中任一项技术方案所述的物体关联方法。
在第四方面，提供一种车辆，该车辆包括上述计算机设备技术方案所述的计算机设备。
方案1.一种物体关联方法，其特征在于，所述方法包括：
根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体；
根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体；
根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
方案2.根据方案1所述的物体关联方法，其特征在于，“根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体”的步骤具体包括：
根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度；
根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体。
方案3.根据方案2所述的物体关联方法，其特征在于，“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对所述当前帧待识别物体与所述前一帧待识别物体进行坐标系转换，以将所述当前帧待识别物体与所述前一帧待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上；
根据所述当前帧待识别物体与所述前一帧待识别物体在所述BEV图像上的坐标，分别计算所述当前帧待识别物体与当前车辆之间的物体距离，以及所述前一帧待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第一特征相似度；
和/或，
“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算每个所述当前帧待识别物体的边界框与每个所述前一帧待识别物体的边界框的交并比；
根据所述交并比，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第二特征相似度。
方案4.根据方案3所述的物体关联方法，其特征在于，“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；
若否，则继续判断当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
如果大于所述第二相似度阈值，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；如果小于等于所述第二相似度阈值，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体；
或者，
“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值或者所述当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；若否，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体。
方案5.根据方案1所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体”的步骤具体包括：
根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度；
根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体。
方案6.根据方案5所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对每个所述单传感器级别的待识别物体进行坐标系转换，以将每个所述单传感器级别的待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上；
根据每个所述单传感器级别的待识别物体在所述BEV图像上的坐标，分别计算每个所述单传感器级别的待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第三特征相似度；
和/或，
“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算不同车载视觉传感器对应的所述单传感器级别的待识别物体的边界框的交并比；
根据所述交并比，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第四特征相似度；
和/或，
“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
采用重识别(Person Re-Identification)技术并根据每个所述单传感器级别的待识别物体的图像特征，分别获取每个所述单传感器级别的待识别物体的ReID特征；
根据所述ReID特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第五特征相似度；
和/或，
“根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体”的步骤具体包括：
针对每个所述单传感器级别的待识别物体，判断是否存在与当前单传感器级别的待识别物体之间的特征相似度大于预设的第三相似度阈值的其他单传感器级别的待识别物体；
若是，则将所述当前单传感器级别的待识别物体与所述其他单传感器级别的待识别物体进行关联，以形成一个跨传感器级别的待识别物体；
若否，则将所述当前单传感器级别的待识别物体单独作为一个跨传感器级别的待识别物体。
方案7.根据方案6所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤进一步包括：
对所述第三特征相似度和/或所述第四特征相似度和/或所述第五特征相似度进行加权和计算，将计算结果作为最终的特征相似度。
方案8.根据方案1所述的物体关联方法，其特征在于，“根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体”的步骤具体包括：
根据每个所述跨传感器级别的待识别物体的图像特征中的物体二维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度，根据所述二维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体；
和/或，
根据每个所述跨传感器级别的待识别物体的图像特征中的物体三维信息，分别计算不同跨传感器级别的待识别物体之间的三维相似度，根据所述三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
方案9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行方案1至8中任一项所述的物体关联方法。
方案10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行方案1至8中任一项所述的物体关联方法。
方案11.一种车辆，其特征在于，所述车辆包括方案9所述的计算机设备。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，首先可以根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对连续的多帧图像中的待识别物体进行关联，以形成至少一个同一车载视觉传感器对应的单传感器级别的待识别物体；然后可以根据每个单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体；最后可以根据每个跨传感器级别的待识别物体的图像特征，对跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征可以表示待识别物体的历史时序特征信息，利用该历史时序特征信息对待识别物体进行关联，并形成单传感器级别的待识别物体，能够更好地建立待识别物体之间的关联性，有效避免了由于不同车载视觉传感器的图像采集精度和/或图像采集角度不同，导致从不同车载视觉传感器对同一待识别物体采集的图像上提取到的图像特征存在一定差异时会将同一个待识别物体分裂成多个不同物体的情况发生，从而提高了物体识别的准确性。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
图1是根据本发明的一个实施例的物体关联方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的形成单传感器级别的待识别物体的方法的主要步骤流程示意图；
图3是根据本发明的一个实施例的形成跨传感器级别的待识别物体的主要步骤流程示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。
参阅附图1，图1是根据本发明的一个实施例的物体关联方法的主要步骤流程示意图。如图1所示，本发明实施例中的物体关联方法主要包括下列步骤S101至步骤S103。
步骤S101：根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体。
车载视觉传感器是指设置于车辆上的用于获取图像的传感器(sensor)，待识别物体的图像特征包括但不限于待识别物体的物体位置信息、尺寸和朝向角(directioncosine)等，物体位置信息可以是待识别物体的二维坐标和三维坐标等。
车载视觉传感器采集的图像中可能包含多个不同的待识别物体，通过对连续的多帧图像中的待识别物体进行关联，可以将这些图像中相同的待识别物体关联起来，形成一个单传感器级别的待识别物体。
例如，车载视觉传感器A采集到的连续多帧图像都包含待识别物体OA1、OA2和OA3，通过对连续的多帧图像中的待识别物体进行关联，可以将每帧图像中的待识别物体OA1关联起来形成一个单传感器级别的待识别物体O′A1，可以将每帧图像中的待识别物体OA2关联起来形成一个单传感器级别的待识别物体O′A2，每帧图像中的待识别物体OA3关联起来形成一个单传感器级别的待识别物体O′A3。
步骤S102：根据每个单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体。
不同单传感器级别的待识别物体可能是相同的待识别物体，也可能不是相同的待识别物体，通过对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，可以将这些单传感器级别的待识别物体中相同的待识别物体关联起来，形成一个跨传感器级别的待识别物体。
例如，某台车上设置有三个车载视觉传感器A、B和C，根据车载视觉传感器A采集到的多帧图像中待识别物体OA的图像特征，可以得到车载视觉传感器A对应的单传感器级别的待识别物体O′A。类似地，还可以得到车载视觉传感器B对应的单传感器级别的待识别物体O′B，车载视觉传感器C对应的单传感器级别的待识别物体O′C。对待识别物体O′A、O′B、O′C进行关联，可以得到一个跨传感器级别的待识别物体O′ABC。
步骤S103：根据每个跨传感器级别的待识别物体的图像特征，对跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
不同跨传感器级别的待识别物体可能是相同的待识别物体，也可能不是相同的待识别物体，通过对跨传感器级别的待识别物体进行关联，可以将这些跨传感器级别的待识别物体中相同的待识别物体关联起来，形成最终的待识别物体。
由于同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征可以表示待识别物体的历史时序特征信息，利用该历史时序特征信息对待识别物体进行关联，并形成单传感器级别的待识别物体，能够更好地建立待识别物体之间的关联性，因而通过上述步骤S101至步骤S103所述的方法，能够有效避免从不同车载视觉传感器对同一待识别物体采集的图像上提取到的图像特征存在一定差异时会将同一个待识别物体分裂成多个不同物体的问题出现，进而提高待识别物体的识别准确性。
下面对上述步骤S101至步骤S103分别作进一步说明。
参阅附图2，为了准确地对同一车载视觉传感器采集到的连续的多帧图像中待识别物体进行关联，在上述步骤S101的一个实施方式中，可以通过下列步骤S1011至步骤S1012对待识别物体进行关联。
步骤S1011：根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个当前帧待识别物体与每个前一帧待识别物体之间的特征相似度。
特征相似度是指待识别物体的图像特征之间的相似度，特征相似度越大则表明待识别物体之间的相似程度越高，特征相似度越小则表明待识别物体之间的相似程度越低。
由于待识别物体的图像特征可以包括待识别物体的物体位置信息、尺寸和朝向角(direction cosine)等多种特征信息，因而在本实施方式中，可以根据不同的特征信息采取不同的方法来确定待识别物体之间的特征相似度。下面分别对根据图像特征中的物体位置信息和物体边界框，确定待识别物体之间的特征相似度的具体方法进行说明。
一、根据物体位置信息，确定特征相似度。
在本实施方式中，可以根据图像特征中的物体位置信息并通过下列步骤11至步骤13，确定待识别物体之间的特征相似度。
步骤11：根据图像特征中的物体位置信息分别对当前帧待识别物体与前一帧待识别物体进行坐标系转换，以将当前帧待识别物体与前一帧待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上。
在本实施方式中可以采用图像处理技术领域中常规的坐标系转换方法，根据待识别物体的物体位置信息，将待识别物体转换至BEV图像上，本实施方式不对上述坐标系转换方法进行赘述。
步骤12：根据当前帧待识别物体与前一帧待识别物体在BEV图像上的坐标，分别计算当前帧待识别物体与当前车辆之间的物体距离，以及前一帧待识别物体与当前车辆之间的物体距离。
本实施方式中可以通过下列方式来计算待识别物体与当前车辆之间的物体距离：
待识别物体在BEV图像上的坐标包括在BEV图像的图像坐标系中X轴的坐标和Y轴的坐标，在得到待识别物体在BEV图像上的坐标之后可以先对上述X轴的坐标和Y轴的坐标进行归一化处理，然后通过下列公式(1)计算待识别物体与当前车辆之间的物体距离。
Figure BDA0003731509080000131
公式(1)中各参数含义分别是：d1表示待识别物体与当前车辆之间的物体距离，xnor1表示归一化处理后的X轴的坐标，ynor1表示归一化处理后的Y轴的坐标。
此外，在另一些实施方式中，也可以采用欧式距离(Euclidean Distance)计算方法，根据待识别物体在BEV图像上的坐标计算待识别物体与当前车辆之间的物体距离。
步骤13：根据物体距离，分别确定每个当前帧待识别物体与每个前一帧待识别物体之间的第一特征相似度。
两个待识别物体的物体距离越接近，表明这两个待识别物体之间的相似程度越高。在本实施方式中可以先计算两个待识别物体的物体距离之间的距离偏差，然后对距离偏差进行取反运算，将取反运算的结果作为第一特征相似度，从而使得第一特征相似度与待识别物体之间的相似程度成正相关关系(第一特征相似度越大，则待识别物体之间的相似程度越高，反之待识别物体之间的相似程度越低)。其中，取反运算是指使运算结果与距离偏差成负相关关系的运算方法，即距离偏差越小，对距离偏差进行取反运算得到的运算结果越大。例如，在一些实施方式中，在计算出两个待识别物体的物体距离之间的距离偏差之后，可以通过下列公式(2)对距离偏差进行取反运算。
Figure BDA0003731509080000141
公式(2)中的参数d1′表示对距离偏差d1进行取反运算后得到的运算结果。
通过上述步骤11至步骤13所述的方法，可以根据图像特征中的物体位置信息，准确地确定出待识别物体之间的特征相似度。
二、根据物体边界框，确定特征相似度。
在本实施方式中，可以根据图像特征中的物体边界框并通过下列步骤21至步骤22，确定待识别物体之间的特征相似度。
步骤21：根据图像特征中的物体边界框，分别计算每个当前帧待识别物体的边界框与每个前一帧待识别物体的边界框的交并比(Intersection over Union)。
步骤22：根据交并比，分别确定每个当前帧待识别物体与每个前一帧待识别物体之间的第二特征相似度。
两个待识别物体的交并比越大，表明这两个待识别物体之间的相似程度越高，根据交并比确定出来的第二特征相似度与待识别物体之间的相似程度成正相关关系(第二特征相似度越大，则待识别物体之间的相似程度越高，反之待识别物体之间的相似程度越低)。
通过上述步骤21至步骤22所述的方法，可以根据图像特征中的物体边界框，准确地确定出待识别物体之间的特征相似度。
以上是对步骤S1011中确定待识别物体之间的特征相似度的方法的具体说明，下面继续对步骤S1012进行说明。
步骤S1012：根据特征相似度对当前帧待识别物体与前一帧待识别物体进行关联，以形成至少一个单传感器级别的待识别物体。
由于特征相似度的大小可以表示待识别物体之间相似程度的高低，因而根据特征相似度对待识别物体进行关联，可以更加准确地将相同的待识别物体关联到一起，形成单传感器级别的待识别物体。
在本实施方式中可以根据特征相似度的大小，将特征相似度较大的待识别物体关联到一起，形成单传感器级别的待识别物体。根据前述步骤S1011可知，可以根据不同的特征信息采取不同的方法来确定待识别物体之间的特征相似度，如第一特征相似度和第二特征相似度。相应地，在本实施方式中可以根据第一特征相似度对待识别物体进行关联，也可以根据第二特征相似度对待识别物体进行关联，还可以同时根据第一特征相似度和第二特征相似度对待识别物体进行关联。
具体而言，在一些实施方式中，针对每个当前帧待识别物体，可以分别通过下列步骤31至步骤33，并根据第一特征相似度或第二特征相似度对当前帧待识别物体与每个前一帧待识别物体进行关联。
步骤31：判断当前帧待识别物体与前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值或者当前帧待识别物体与前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；若第一特征相似度大于预设的第一相似度阈值，或者第二特征相似度大于预设的第二相似度阈值，则转至步骤32；否则，转至步骤33。
需要说明的是，本领域技术人员可以根据实际需求灵活设置预设的第一相似度阈值和第二相似度阈值的具体数值，本实施方式对此不进行具体限定。
步骤32：对当前帧待识别物体与前一帧待识别物体进行关联，形成一个单传感器级别的待识别物体，即将两个待识别物体关联起来，形成一个单传感器级别的待识别物体。
步骤33：不对当前帧待识别物体与前一帧待识别物体进行关联并将当前帧待识别物体单独作为一个单传感器级别的待识别物体。
通过上述步骤31至步骤33，可以根据第一特征相似度或第二特征相似度对待识别物体进行关联。而在另一些实施方式中，为了提高待识别物体关联的准确性，可以同时根据第一特征相似度与第二特征相似度对待识别物体进行关联。具体而言，在这些实施方式中，针对每个当前帧待识别物体，可以分别通过下列步骤41至步骤45对当前帧待识别物体与每个前一帧待识别物体进行关联。
步骤41：判断当前帧待识别物体与前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值；若大于，则转至步骤42；若小于等于，则转至步骤43。
步骤42：对当前帧待识别物体与前一帧待识别物体进行关联，形成一个单传感器级别的待识别物体。
步骤43：判断当前帧待识别物体与前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；若大于，则转至步骤44；若小于等于，则转至步骤45。
步骤44：对当前帧待识别物体与前一帧待识别物体进行关联，形成一个单传感器级别的待识别物体。
步骤45：不对当前帧待识别物体与前一帧待识别物体进行关联，并将当前帧待识别物体单独作为一个单传感器级别的待识别物体。
通过上述步骤41至步骤45所述的方法，在根据第一特征相似度判断出可以对待识别物体进行关联后就不再需要执行后续的步骤43至步骤45了，不仅可以减小用于执行上述方法的计算机等设备的资源消耗，还可以提高对待识别物体进行关联的效率。而在根据第一特征相似度无法判断出是否可以对待识别物体进行关联后，还可以进一步根据第二特征相似度进行判断，从而提高对待识别物体进行关联的准确性。
以上是对图1所示实施例中步骤S101的进一步说明，下面继续对图1所示实施例中的步骤S102作进一步说明。
参阅附图3，为了准确地对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体，在上述步骤S102的一个实施方式中，可以通过下列步骤S1021至步骤S1022对待识别物体进行关联。
步骤S1021：根据每个单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的单传感器级别的待识别物体之间的特征相似度。
特征相似度是指“单传感器级别的待识别物体”的图像特征之间的相似度，特征相似度越大则表明“单传感器级别的待识别物体”之间的相似程度越高，特征相似度越小则表明“单传感器级别的待识别物体”之间的相似程度越低。
“单传感器级别的待识别物体”的图像特征同样可以包括待识别物体的物体位置信息、尺寸和朝向角(direction cosine)等多种特征信息，因而在本实施方式中，同样可以根据不同的特征信息采取不同的方法来确定待识别物体之间的特征相似度。下面对本实施方式中确定待识别物体之间的特征相似度的具体方法进行说明。
一、根据物体位置信息，确定特征相似度。
在本实施方式中，可以根据图像特征中的物体位置信息并通过下列步骤51至步骤53，确定不同单传感器级别的待识别物体之间的特征相似度。
步骤51：根据图像特征中的物体位置信息分别对每个单传感器级别的待识别物体进行坐标系转换，以将每个单传感器级别的待识别物体转换至以当前车辆为BEV(BirdsEye Views)坐标系原点的BEV图像上。在本实施方式中可以采用图像处理技术领域中常规的坐标系转换方法，根据待识别物体的物体位置信息，将单传感器级别的待识别物体转换至BEV图像上，本实施方式不对上述坐标系转换方法进行赘述。
步骤52：根据每个单传感器级别的待识别物体在BEV图像上的坐标，分别计算每个单传感器级别的待识别物体与当前车辆之间的物体距离。
本实施方式中可以通过下列方式来计算单传感器级别的待识别物体与当前车辆之间的物体距离：
单传感器级别的待识别物体在BEV图像上的坐标包括在BEV图像的图像坐标系中X轴的坐标和Y轴的坐标，在得到单传感器级别的待识别物体在BEV图像上的坐标之后可以先对上述X轴的坐标和Y轴的坐标进行归一化处理，然后通过下列公式(3)计算单传感器级别的待识别物体与当前车辆之间的物体距离。
Figure BDA0003731509080000171
公式(3)中各参数含义分别是：d2表示单传感器级别的待识别物体与当前车辆之间的物体距离，xnor2表示归一化处理后的X轴的坐标，ynor2表示归一化处理后的Y轴的坐标。
此外，在另一些实施方式中，也可以采用欧式距离(Euclidean Distance)计算方法，根据单传感器级别的待识别物体在BEV图像上的坐标计算单传感器级别的待识别物体与当前车辆之间的物体距离。
步骤53：根据物体距离，分别确定不同车载视觉传感器对应的单传感器级别的待识别物体之间的第三特征相似度。
两个单传感器级别的待识别物体的物体距离越接近，表明这两个单传感器级别的待识别物体之间的相似程度越高。在本实施方式中可以先计算两个单传感器级别的待识别物体的物体距离之间的距离偏差，然后对距离偏差进行取反运算，将取反运算的结果作为第三特征相似度，从而使得第三特征相似度与单传感器级别的待识别物体之间的相似程度成正相关关系(第三特征相似度越大，则待识别物体之间的相似程度越高，反之待识别物体之间的相似程度越低)。取反运算是指使运算结果与距离偏差成负相关关系的运算方法，即距离偏差越小，对距离偏差进行取反运算得到的运算结果越大。例如，在一些实施方式中，在计算出两个单传感器级别的待识别物体的物体距离之间的距离偏差之后，可以通过下列公式(4)对距离偏差进行取反运算。
Figure BDA0003731509080000172
公式(4)中的参数d2′表示对距离偏差d2进行取反运算后得到的运算结果。
通过上述步骤51至步骤53所述的方法，可以根据图像特征中的物体位置信息，准确地确定出不同单传感器级别的待识别物体之间的特征相似度。
二、根据物体边界框，确定特征相似度。
在本实施方式中，可以根据图像特征中的物体边界框并通过下列步骤61至步骤62，确定不同单传感器级别的待识别物体之间的特征相似度。
步骤61：根据图像特征中的物体边界框，分别计算不同车载视觉传感器对应的单传感器级别的待识别物体的边界框的交并比(Intersection over Union)。
步骤62：根据交并比，分别确定不同车载视觉传感器对应的单传感器级别的待识别物体之间的第四特征相似度。
两个单传感器级别的待识别物体的交并比越大，表明这两个单传感器级别的待识别物体之间的相似程度越高，根据交并比确定出来的第四特征相似度与单传感器级别的待识别物体之间的相似程度成正相关关系(第四特征相似度越大，则待识别物体之间的相似程度越高，反之待识别物体之间的相似程度越低)。
通过上述步骤61至步骤62所述的方法，可以根据图像特征中的物体边界框，准确地确定出单传感器级别的待识别物体之间的特征相似度。
三、根据图像特征的ReID(Person Re-Identification)特征，确定特征相似度。
在本实施方式中，可以根据图像特征的ReID特征并通过下列步骤71至步骤72，确定不同单传感器级别的待识别物体之间的特征相似度。
步骤71：采用重识别(Person Re-Identification)技术并根据每个单传感器级别的待识别物体的图像特征，分别获取每个单传感器级别的待识别物体的ReID特征。
采用重识别技术可以将每个单传感器级别的待识别物体的图像特征全部映射到同一个维度的特征空间内，即每个单传感器级别的待识别物体的ReID特征是在相同维度的特征空间内的特征。
步骤72：根据ReID特征，分别确定不同车载视觉传感器对应的单传感器级别的待识别物体之间的第五特征相似度。
第五特征相似度越大，则表明单传感器级别的待识别物体之间的相似程度越高；第五特征相似度越小，则表明单传感器级别的待识别物体之间的相似程度越低。在本实施方式中可以采用图像处理技术领域中常规的特征相似度计算方法来根据ReID特征计算第五特征相似度。例如，可以计算不同待识别物体的ReID特征之间的欧式距离(EuclideanDistance)，进而再对欧式距离进行取反运算，得到第五特征相似度。其中，取反运算是指使运算结果与欧式距离成负相关关系的运算方法，即欧式距离越小，对欧式距离进行取反运算得到的运算结果越大。例如，取反运算可以计算欧式距离的倒数。
通过上述步骤71至步骤72所述的方法，可以根据图像特征中的ReID特征，准确地确定出不同单传感器级别的待识别物体之间的特征相似度。
进一步，在一些优选实施方式中，在通过上述方法确定出不同单传感器级别的待识别物体之间的第三特征相似度或第四特征相似度或第五特征相似度之后，还可以对第三特征相似度和/或第四特征相似度和/或第五特征相似度进行加权和计算，将计算结果作为最终的特征相似度。具体地，可以分别为第三特征相似度、第四特征相似度和第五特征相似度设置不同的权重，然后再根据该权重对第三特征相似度和/或第四特征相似度和/或第五特征相似度进行加权和计算。在一些实施方式中，可以根据第三特征相似度、第四特征相似度和第五特征相似度各自对应的权重，再通过下列公式(5)进行加权和计算，得到最终的特征相似度。
Sfinal＝k1×S1+k2×S2+k3×S3 (5)
公式(5)中各参数含义分别是：Sfinal表示最终的特征相似度，S1和k1分别表示第三特征相似度及其权重，S2和k2分别表示第四特征相似度及其权重，S3和k3分别表示第五特征相似度及其权重。需要说明的是，本领域技术人员可以根据实际需求灵活设置权重k1、k2和k3的具体数值，例如在一些优选实施方式中，k1＝k2＝k3＝1。
步骤S1022：根据特征相似度对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体。
由于特征相似度的大小可以表示单传感器级别的待识别物体之间相似程度的高低，因而根据特征相似度对单传感器级别的待识别物体进行关联，可以更加准确地将相同的单传感器级别的待识别物体关联到一起，形成跨传感器级别的待识别物体。
在一些实施方式中，针对每个单传感器级别的待识别物体，可以分别通过下列步骤81至步骤83对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体。
步骤81：判断是否存在与当前单传感器级别的待识别物体之间的特征相似度大于预设的第三相似度阈值的其他单传感器级别的待识别物体；若存在，则转至步骤82；若不存在，则转至步骤83。
本领域技术人员可以根据实际需求灵活设置预设的第三相似度阈值的具体数值，本发明实施例对此不进行具体限定。
此外，根据前述步骤S1021可知，可以采用不同的待识别物体之间的特征相似度的具体方法确定出不同的特征相似度，如第三特征相似度、第四特征相似度、第五特征相似度和最终的特征相似度等。在实施方式中采用上述特征相似度中的一个或多个来执行步骤81。
例如，当采用上述特征相似度中的一个执行步骤81时，可以根据最终的特征相似度执行步骤81，即判断是否存在与当前单传感器级别的待识别物体之间的“最终的特征相似度”大于预设的第三相似度阈值的其他单传感器级别的待识别物体；若存在，则转至步骤82；若不存在，则转至步骤83。
又例如，当采用上述特征相似度中的多个执行步骤81时，可以同时根据第三特征相似度和第四特征相似度执行步骤81，即判断是否存在与当前单传感器级别的待识别物体之间的第三特征相似度和第四特征相似度分别大于各自对应的第三相似度阈值的其他单传感器级别的待识别物体；若存在，则转至步骤82；若不存在，则转至步骤83。其中，第三特征相似度对应的第三相似度阈值，与第四特征相似度对应的第三相似度阈值可以相同，也可以不同。
步骤82：将当前单传感器级别的待识别物体与所述的其他单传感器级别的待识别物体进行关联，以形成一个跨传感器级别的待识别物体。
步骤83：将当前单传感器级别的待识别物体单独作为一个跨传感器级别的待识别物体。
通过上述步骤81至步骤83，可以根据单传感器级别的待识别物体之间的特征相似度对不同车载视觉传感器对应的单传感器级别的待识别物体进行准确关联，形成跨传感器级别的待识别物体。
以上是对图1所示实施例中步骤S102的进一步说明，下面继续对图1所示实施例中的步骤S103作进一步说明。
为了准确地对跨传感器级别的待识别物体进行关联，以形成最终的待识别物体，在上述步骤S103的一些实施方式中，可以根据跨传感器级别的待识别物体的图像特征中的物体二维信息和/或物体三维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度和/或三维相似度，根据二维相似度和/或三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。其中，物体二维信息至少包括待识别物体的二维坐标，物体三维信息至少包括待识别物体的三维坐标。
具体而言，在一些实施方式中，可以根据每个跨传感器级别的待识别物体的图像特征中的物体二维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度，根据二维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。具体地，如果两个跨传感器级别的待识别物体之间的二维相似度大于预设的二维相似度阈值，则对这两个跨传感器级别的待识别物体进行关联，形成一个最终的待识别物体；否则，不对这两个跨传感器级别的待识别物体进行关联，并将这两个跨传感器级别的待识别物体分别作为一个最终的待识别物体。
在另一些实施方式中，可以根据每个跨传感器级别的待识别物体的图像特征中的物体三维信息，分别计算不同跨传感器级别的待识别物体之间的三维相似度，根据三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。具体地，如果两个跨传感器级别的待识别物体之间的三维相似度大于预设的三维相似度阈值，则对这两个跨传感器级别的待识别物体进行关联，形成一个最终的待识别物体；否则，不对这两个跨传感器级别的待识别物体进行关联，并将这两个跨传感器级别的待识别物体分别作为一个最终的待识别物体。
在其他一些实施方式中，可以根据每个跨传感器级别的待识别物体的图像特征中的物体二维信息和物体三维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度和三维相似度，根据二维相似度和三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。具体地，如果两个跨传感器级别的待识别物体之间的二维相似度大于预设的二维相似度阈值并且三维相似度大于预设的三维相似度阈值，则对这两个跨传感器级别的待识别物体进行关联，形成一个最终的待识别物体；否则，不对这两个跨传感器级别的待识别物体进行关联，并将这两个跨传感器级别的待识别物体分别作为一个最终的待识别物体。
需要说明的是，本领域技术人员可以根据实际需求灵活设置预设的二维相似度阈值和预设的三维相似度阈值的具体数值，本实施方式对此不进行具体限定。
至此，已完成对上述步骤S103的进一步说明。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
进一步，本发明还提供了一种计算机设备。在根据本发明的一个计算机设备实施例中，计算机设备包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的物体关联方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的物体关联方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机设备可以是包括各种电子设备形成的控制装置设备。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的物体关联方法的程序，该程序可以由处理器加载并运行以实现上述物体关联方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种车辆。在根据本发明的一个车辆实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种物体关联方法，其特征在于，所述方法包括：
根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体；
根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体；
根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
2.根据权利要求1所述的物体关联方法，其特征在于，“根据同一车载视觉传感器采集到的连续的多帧图像中待识别物体的图像特征，对所述连续的多帧图像中的待识别物体进行关联，以形成至少一个所述同一车载视觉传感器对应的单传感器级别的待识别物体”的步骤具体包括：
根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度；
根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体。
3.根据权利要求2所述的物体关联方法，其特征在于，“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对所述当前帧待识别物体与所述前一帧待识别物体进行坐标系转换，以将所述当前帧待识别物体与所述前一帧待识别物体转换至以当前车辆为BEV(Birds Eye Views)坐标系原点的BEV图像上；
根据所述当前帧待识别物体与所述前一帧待识别物体在所述BEV图像上的坐标，分别计算所述当前帧待识别物体与当前车辆之间的物体距离，以及所述前一帧待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第一特征相似度；
和/或，
“根据当前帧图像中每个当前帧待识别物体的图像特征与前一帧图像中每个前一帧待识别物体的图像特征，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算每个所述当前帧待识别物体的边界框与每个所述前一帧待识别物体的边界框的交并比；
根据所述交并比，分别确定每个所述当前帧待识别物体与每个所述前一帧待识别物体之间的第二特征相似度。
4.根据权利要求3所述的物体关联方法，其特征在于，“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；
若否，则继续判断当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
如果大于所述第二相似度阈值，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；如果小于等于所述第二相似度阈值，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体；
或者，
“根据所述特征相似度对所述当前帧待识别物体与所述前一帧待识别物体进行关联，以形成至少一个所述单传感器级别的待识别物体”的步骤具体包括：
针对每个当前帧待识别物体，分别通过下列方式对所述当前帧待识别物体与每个所述前一帧待识别物体进行关联：
判断所述当前帧待识别物体与所述前一帧待识别物体之间的第一特征相似度是否大于预设的第一相似度阈值或者所述当前帧待识别物体与所述前一帧待识别物体之间的第二特征相似度是否大于预设的第二相似度阈值；
若是，则对所述当前帧待识别物体与所述前一帧待识别物体进行关联，形成一个所述单传感器级别的待识别物体；若否，则不对所述当前帧待识别物体与所述前一帧待识别物体进行关联并将所述当前帧待识别物体单独作为一个单传感器级别的待识别物体。
5.根据权利要求1所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，对不同车载视觉传感器对应的单传感器级别的待识别物体进行关联，以形成至少一个跨传感器级别的待识别物体”的步骤具体包括：
根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度；
根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体。
6.根据权利要求5所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体位置信息分别对每个所述单传感器级别的待识别物体进行坐标系转换，以将每个所述单传感器级别的待识别物体转换至以当前车辆为BEV(BirdsEye Views)坐标系原点的BEV图像上；
根据每个所述单传感器级别的待识别物体在所述BEV图像上的坐标，分别计算每个所述单传感器级别的待识别物体与当前车辆之间的物体距离；
根据所述物体距离，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第三特征相似度；
和/或，
“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
根据所述图像特征中的物体边界框，分别计算不同车载视觉传感器对应的所述单传感器级别的待识别物体的边界框的交并比；
根据所述交并比，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第四特征相似度；
和/或，
“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤具体包括：
采用重识别(Person Re-Identification)技术并根据每个所述单传感器级别的待识别物体的图像特征，分别获取每个所述单传感器级别的待识别物体的ReID特征；
根据所述ReID特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的第五特征相似度；
和/或，
“根据所述特征相似度对不同车载视觉传感器对应的所述单传感器级别的待识别物体进行关联，以形成至少一个所述跨传感器级别的待识别物体”的步骤具体包括：
针对每个所述单传感器级别的待识别物体，判断是否存在与当前单传感器级别的待识别物体之间的特征相似度大于预设的第三相似度阈值的其他单传感器级别的待识别物体；
若是，则将所述当前单传感器级别的待识别物体与所述其他单传感器级别的待识别物体进行关联，以形成一个跨传感器级别的待识别物体；
若否，则将所述当前单传感器级别的待识别物体单独作为一个跨传感器级别的待识别物体。
7.根据权利要求6所述的物体关联方法，其特征在于，“根据每个所述单传感器级别的待识别物体的图像特征，分别确定不同车载视觉传感器对应的所述单传感器级别的待识别物体之间的特征相似度”的步骤进一步包括：
对所述第三特征相似度和/或所述第四特征相似度和/或所述第五特征相似度进行加权和计算，将计算结果作为最终的特征相似度。
8.根据权利要求1所述的物体关联方法，其特征在于，“根据每个所述跨传感器级别的待识别物体的图像特征，对所述跨传感器级别的待识别物体进行关联，以形成最终的待识别物体”的步骤具体包括：
根据每个所述跨传感器级别的待识别物体的图像特征中的物体二维信息，分别计算不同跨传感器级别的待识别物体之间的二维相似度，根据所述二维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体；
和/或，
根据每个所述跨传感器级别的待识别物体的图像特征中的物体三维信息，分别计算不同跨传感器级别的待识别物体之间的三维相似度，根据所述三维相似度对不同跨传感器级别的待识别物体进行关联，以形成最终的待识别物体。
9.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的物体关联方法。
10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的物体关联方法。
CN202210794214.5A 2022-07-05 2022-07-05 物体关联方法、计算机设备、计算机可读存储介质及车辆 Pending CN115205820A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210794214.5A CN115205820A (zh) 2022-07-05 2022-07-05 物体关联方法、计算机设备、计算机可读存储介质及车辆
PCT/CN2023/104327 WO2024007972A1 (zh) 2022-07-05 2023-06-30 物体关联方法、计算机设备、计算机可读存储介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210794214.5A CN115205820A (zh) 2022-07-05 2022-07-05 物体关联方法、计算机设备、计算机可读存储介质及车辆

Publications (1)

Publication Number Publication Date
CN115205820A true CN115205820A (zh) 2022-10-18

Family

ID=83579834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210794214.5A Pending CN115205820A (zh) 2022-07-05 2022-07-05 物体关联方法、计算机设备、计算机可读存储介质及车辆

Country Status (2)

Country Link
CN (1) CN115205820A (zh)
WO (1) WO2024007972A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007972A1 (zh) * 2022-07-05 2024-01-11 安徽蔚来智驾科技有限公司 物体关联方法、计算机设备、计算机可读存储介质及车辆

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095746B2 (ja) * 2018-10-29 2022-07-05 日本電気株式会社 センサ情報統合システム、及びセンサ情報統合方法
CN109635861B (zh) * 2018-12-05 2021-01-01 百度在线网络技术（北京）有限公司 一种数据融合方法、装置、电子设备及存储介质
CN109583505A (zh) * 2018-12-05 2019-04-05 百度在线网络技术（北京）有限公司 一种多传感器的物体关联方法、装置、设备及介质
CN112084810B (zh) * 2019-06-12 2024-03-08 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN113807168A (zh) * 2021-08-05 2021-12-17 北京蜂云科创信息技术有限公司 一种车辆行驶环境感知方法、车载设备和存储介质
CN115205820A (zh) * 2022-07-05 2022-10-18 安徽蔚来智驾科技有限公司 物体关联方法、计算机设备、计算机可读存储介质及车辆

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007972A1 (zh) * 2022-07-05 2024-01-11 安徽蔚来智驾科技有限公司 物体关联方法、计算机设备、计算机可读存储介质及车辆

Also Published As

Publication number Publication date
WO2024007972A1 (zh) 2024-01-11

Similar Documents

Publication Publication Date Title
CN110286387B (zh) 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
EP2458528A2 (en) Image processing apparatus and method, and program
CN113269163B (zh) 基于鱼眼图像的立体泊车位检测方法及装置
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN113568416B (zh) 无人车轨迹规划方法、装置和计算机可读存储介质
CN112654998B (zh) 一种车道线检测方法和装置
CN112336342A (zh) 手部关键点检测方法、装置及终端设备
WO2024007972A1 (zh) 物体关联方法、计算机设备、计算机可读存储介质及车辆
CN115342796A (zh) 基于视觉激光融合的地图构建方法、系统、装置及介质
CN111914845A (zh) 一种车牌中字符分层方法、装置及电子设备
CN117830411A (zh) 跨模态定位方法、智能设备及存储介质
CN115546781A (zh) 一种点云数据的聚类方法以及装置
CN116523970B (zh) 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN115205846A (zh) 三维目标检测方法、计算机设备、存储介质及车辆
CN116343143A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN116052100A (zh) 图像感知方法、计算机设备、计算机可读存储介质及车辆
CN108022429B (zh) 一种车辆检测的方法及装置
KR102609829B1 (ko) 생성적 적대 신경망을 이용한 스테레오 매칭 신뢰도 추정 장치 및 방법
CN114140497A (zh) 目标车辆3d实时追踪方法及系统
CN111967290B (zh) 物体识别方法、装置及车辆
CN113570595A (zh) 车辆轨迹预测方法和车辆轨迹预测模型的优化方法
CN112270294A (zh) 一种水下航行器涡旋识别方法、装置及水下航行器
CN114413927B (zh) 车道线拟合方法、电子设备及存储介质
CN117475397B (zh) 基于多模态传感器的目标标注数据获取方法、介质及设备
CN116778170B (zh) 点云全景分割方法、控制装置、可读存储介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination