CN116091553A - 轨迹的确定方法、装置、电子设备、车辆和存储介质 - Google Patents

轨迹的确定方法、装置、电子设备、车辆和存储介质 Download PDF

Info

Publication number
CN116091553A
CN116091553A CN202310358082.6A CN202310358082A CN116091553A CN 116091553 A CN116091553 A CN 116091553A CN 202310358082 A CN202310358082 A CN 202310358082A CN 116091553 A CN116091553 A CN 116091553A
Authority
CN
China
Prior art keywords
recognition result
target
recognition
determining
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310358082.6A
Other languages
English (en)
Other versions
CN116091553B (zh
Inventor
于文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202310358082.6A priority Critical patent/CN116091553B/zh
Publication of CN116091553A publication Critical patent/CN116091553A/zh
Application granted granted Critical
Publication of CN116091553B publication Critical patent/CN116091553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种轨迹的确定方法、装置、电子设备、车辆和存储介质,涉及自动驾驶技术领域,该方法包括:针对预设时间段内多个识别时刻中的每个识别时刻对应的识别对象信息和真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度;针对每个对象识别结果,根据多个第一相似度,确定在预设时间段内对象识别结果与目标对象的相似度总和;根据相似度总和,从至少一个对象识别结果中确定目标识别结果;根据目标识别结果,确定目标对象的移动轨迹。这样,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。

Description

轨迹的确定方法、装置、电子设备、车辆和存储介质
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种轨迹的确定方法、装置、电子设备、车辆和存储介质。
背景技术
评测系统是自动驾驶感知算法迭代的重要环节,用于评价车辆的感知算法在行车过程中的表现。由于车辆可能会识别到多个对象识别结果,此时在对感知算法进行评测的时候,就需要先从多个对象识别结果中确定目标对象的移动轨迹。然后,基于识别到的目标对象的移动轨迹对车辆的感知算法进行评测。
目前,在确定目标对象的移动轨迹时,是根据时序上的优先顺序,优先将最先出现的对象识别结果分配给目标对象,也即根据最先出现的对象识别结果来确定目标对象的移动轨迹。但最先出现的对象识别结果并不一定是与目标对象最相似的识别结果。因此,上述方法可能会出现分配不合理的情况,从而进一步影响对车辆感知算法的评测。
发明内容
为克服相关技术中存在的问题,本公开提供一种轨迹的确定方法、装置、电子设备、车辆和存储介质。
根据本公开实施例的第一方面,提供一种轨迹的确定方法,所述方法包括:获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及所述预设时间段内目标对象对应的真实对象信息;针对所述预设时间段内多个识别时刻中的每个识别时刻对应的所述识别对象信息和所述真实对象信息,确定所述识别对象信息和所述真实对象信息之间的第一相似度;针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和;根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果;根据所述目标识别结果,确定所述目标对象的移动轨迹。
可选地,所述针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和包括:针对每个所述对象识别结果,从多个所述第一相似度中确定相似度大于或等于第一预设阈值的目标相似度,并根据所述目标相似度,确定所述相似度总和。
可选地,在所述目标相似度包括多个的情况下,所述根据所述目标相似度,确定所述相似度总和包括:将多个所述目标相似度的总和,作为所述相似度总和。
可选地,在所述对象识别结果包括一个的情况下,所述根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果包括:在所述相似度总和大于或等于第二预设阈值的情况下,将所述对象识别结果作为所述目标识别结果。
可选地,在所述对象识别结果包括多个的情况下;所述根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果包括:根据每个所述对象识别结果对应的所述相似度总和,确定多个所述对象识别结果与所述目标对象之间的第一代价矩阵;根据所述第一代价矩阵,从多个所述对象识别结果中确定目标识别结果。
可选地,所述根据所述第一代价矩阵,从多个所述对象识别结果中确定目标识别结果包括:根据所述第一代价矩阵,通过预设线性分配算法从多个所述对象识别结果中确定目标识别结果。
可选地,所述方法还包括:在所述目标识别结果对应的第一识别终止时刻与对象终止时刻不相同的情况下,循环执行第一确定步骤,直至遍历完成第一候选识别结果,得到第二识别结果;其中,所述对象终止时刻为所述预设时间段内所述目标对象最后出现的时刻,所述第一候选识别结果为所述第一识别终止时刻至所述对象终止时刻之间的时间段内对应的对象识别结果;所述根据所述目标识别结果,确定所述目标对象的移动轨迹包括:根据所述第二识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;其中,所述第一确定步骤包括:将所述第一识别终止时刻对应的目标识别结果作为第一识别结果;根据所述第一识别结果,从所述第一候选识别结果中确定第二识别结果;在所述第二识别结果对应的第二识别终止时刻与所述对象终止时刻不相同的情况下,将所述第二识别结果和所述目标识别结果作为新的目标识别结果。
可选地,所述根据所述第一识别结果,从所述第一候选识别结果中确定第二识别结果包括:根据所述第一识别结果,确定所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息;根据所述第一位置信息,从所述第一候选识别结果中确定所述第二识别结果。
可选地,所述根据所述第一识别结果,确定所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息包括:根据所述第一识别结果,通过卡尔曼滤波算法预测所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息。
可选地,所述根据所述第一位置信息,从所述第一候选识别结果中确定所述第二识别结果包括:确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二相似度;根据所述第二相似度,确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二代价矩阵;根据所述第二代价矩阵,从所述第一候选识别结果中确定所述第二识别结果。
可选地,所述方法还包括:在所述目标识别结果对应的第一识别起始时刻与对象起始时刻不相同的情况下,循环执行第二确定步骤,直至遍历完成第二候选识别结果,得到第四识别结果;其中,所述对象起始时刻为所述预设时间段内所述目标对象最先出现的时刻,所述第二候选识别结果为所述第一识别起始时刻至所述对象起始时刻之间的时间段内对应的对象识别结果;所述根据所述目标识别结果,确定所述目标对象的移动轨迹包括:根据所述第四识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;其中,所述第二确定步骤包括:将所述第一识别起始时刻对应的目标识别结果作为第三识别结果;根据所述第三识别结果,从所述第二候选识别结果中确定第四识别结果;在所述第四识别结果对应的第二识别起始时刻与所述对象起始时刻不相同的情况下,将所述第四识别结果和所述目标识别结果作为新的目标识别结果。
可选地,所述根据所述第三识别结果,从所述第二候选识别结果中确定第四识别结果包括:根据所述第三识别结果,确定所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息;根据所述第二位置信息,从所述第二候选识别结果中确定所述第四识别结果。
可选地,所述根据所述第三识别结果,确定所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息包括:根据所述第三识别结果,通过卡尔曼滤波算法预测所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息。
可选地,所述根据所述第二位置信息,从所述第二候选识别结果中确定所述第四识别结果包括:确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三相似度;根据所述第三相似度,确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三代价矩阵;根据所述第三代价矩阵,从所述第二候选识别结果中确定所述第四识别结果。
可选地,所述方法还包括:从所述识别对象信息中确定所述目标识别结果对应的目标对象信息;并确定所述目标识别结果对应的多个所述第一相似度;根据多个所述第一相似度、所述目标对象信息和所述真实对象信息,确定所述目标车辆的评估指标;所述评估指标用于表征所述目标车辆对所述目标对象的感知识别能力。
可选地,所述评估指标包括准确率、召回率和误差参数;所述根据多个所述第一相似度、所述目标对象信息和所述真实对象信息,确定所述目标车辆的评估指标包括:根据多个所述第一相似度,确定所述目标车辆对所述目标对象识别的准确率和召回率;根据所述目标对象信息和所述真实对象信息,确定所述目标车辆对所述目标对象识别的误差参数。
可选地,所述根据多个所述第一相似度,确定所述目标车辆对所述目标对象识别的准确率和召回率包括:根据多个所述第一相似度,将所述目标识别结果中所述第一相似度大于或等于第三预设阈值的识别结果作为成功识别结果;并将所述目标识别结果中所述第一相似度小于所述第三预设阈值的识别结果和所述对象识别结果中除所述目标识别结果以外的其他识别结果作为未成功识别结果;根据所述成功识别结果和所述未成功识别结果,确定所述准确率和所述召回率。
根据本公开实施例的第二方面,提供一种轨迹的确定装置,所述装置包括:获取模块,被配置为获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及所述预设时间段内目标对象对应的真实对象信息;第一确定模块,被配置为针对所述预设时间段内多个识别时刻中的每个识别时刻对应的所述识别对象信息和所述真实对象信息,确定所述识别对象信息和所述真实对象信息之间的第一相似度;第二确定模块,被配置为针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和;第三确定模块,被配置为根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果;第四确定模块,被配置为根据所述目标识别结果,确定所述目标对象的移动轨迹。
可选地,所述第二确定模块,被配置为针对每个所述对象识别结果,从多个所述第一相似度中确定相似度大于或等于第一预设阈值的目标相似度,并根据所述目标相似度,确定所述相似度总和。
可选地,在所述目标相似度包括多个的情况下,所述第二确定模块,被配置为将多个所述目标相似度的总和,作为所述相似度总和。
可选地,在所述对象识别结果包括一个的情况下,所述第三确定模块,被配置为在所述相似度总和大于或等于第二预设阈值的情况下,将所述对象识别结果作为所述目标识别结果。
可选地,在所述对象识别结果包括多个的情况下;所述第三确定模块,被配置为根据每个所述对象识别结果对应的所述相似度总和,确定多个所述对象识别结果与所述目标对象之间的第一代价矩阵;根据所述第一代价矩阵,从多个所述对象识别结果中确定目标识别结果。
可选地,所述第三确定模块,被配置为根据所述第一代价矩阵,通过预设线性分配算法从多个所述对象识别结果中确定目标识别结果。
可选地,所述装置还包括:第五确定模块,被配置为在所述目标识别结果对应的第一识别终止时刻与对象终止时刻不相同的情况下,循环执行第一确定步骤,直至遍历完成第一候选识别结果,得到第二识别结果;其中,所述对象终止时刻为所述预设时间段内所述目标对象最后出现的时刻,所述第一候选识别结果为所述第一识别终止时刻至所述对象终止时刻之间的时间段内对应的对象识别结果;所述第四确定模块,被配置为根据所述第二识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;其中,所述第一确定步骤包括:将所述第一识别终止时刻对应的目标识别结果作为第一识别结果;根据所述第一识别结果,从所述第一候选识别结果中确定第二识别结果;在所述第二识别结果对应的第二识别终止时刻与所述对象终止时刻不相同的情况下,将所述第二识别结果和所述目标识别结果作为新的目标识别结果。
可选地,所述第五确定模块,被配置为根据所述第一识别结果,确定所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息;根据所述第一位置信息,从所述第一候选识别结果中确定所述第二识别结果。
可选地,所述第五确定模块,被配置为根据所述第一识别结果,通过卡尔曼滤波算法预测所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息。
可选地,所述第五确定模块,被配置为确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二相似度;根据所述第二相似度,确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二代价矩阵;根据所述第二代价矩阵,从所述第一候选识别结果中确定所述第二识别结果。
可选地,所述装置还包括:第六确定模块,被配置为在所述目标识别结果对应的第一识别起始时刻与对象起始时刻不相同的情况下,循环执行第二确定步骤,直至遍历完成第二候选识别结果,得到第四识别结果;其中,所述对象起始时刻为所述预设时间段内所述目标对象最先出现的时刻,所述第二候选识别结果为所述第一识别起始时刻至所述对象起始时刻之间的时间段内对应的对象识别结果;所述第四确定模块,被配置为根据所述第四识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;其中,所述第二确定步骤包括:将所述第一识别起始时刻对应的目标识别结果作为第三识别结果;根据所述第三识别结果,从所述第二候选识别结果中确定第四识别结果;在所述第四识别结果对应的第二识别起始时刻与所述对象起始时刻不相同的情况下,将所述第四识别结果和所述目标识别结果作为新的目标识别结果。
可选地,所述第六确定模块,被配置为根据所述第三识别结果,确定所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息;根据所述第二位置信息,从所述第二候选识别结果中确定所述第四识别结果。
可选地,所述第六确定模块,被配置为根据所述第三识别结果,通过卡尔曼滤波算法预测所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息。
可选地,所述第六确定模块,被配置为确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三相似度;根据所述第三相似度,确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三代价矩阵;根据所述第三代价矩阵,从所述第二候选识别结果中确定所述第四识别结果。
可选地,所述装置还包括:第七确定模块,被配置为从所述识别对象信息中确定所述目标识别结果对应的目标对象信息,并确定所述目标识别结果对应的多个所述第一相似度;评估模块,被配置为根据多个所述第一相似度、所述目标对象信息和所述真实对象信息,确定所述目标车辆的评估指标;所述评估指标用于表征所述目标车辆对所述目标对象的感知识别能力。
可选地,所述评估指标包括准确率、召回率和误差参数;所述评估模块,被配置为根据多个所述第一相似度,确定所述目标车辆对所述目标对象识别的准确率和召回率;根据所述目标对象信息和所述真实对象信息,确定所述目标车辆对所述目标对象识别的误差参数。
可选地,所述评估模块,被配置为根据多个所述第一相似度,将所述目标识别结果中所述第一相似度大于或等于第三预设阈值的识别结果作为成功识别结果;并将所述目标识别结果中所述第一相似度小于所述第三预设阈值的识别结果和所述对象识别结果中除所述目标识别结果以外的其他识别结果作为未成功识别结果;根据所述成功识别结果和所述未成功识别结果,确定所述准确率和所述召回率。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为在调用所述存储器上存储的可执行指令时,实现本公开第一方面所提供的轨迹的确定方法的步骤。
根据本公开实施例的第四方面,提供一种车辆,包括本公开第三方面所提供的电子设备或与本公开第三方面所提供的电子设备连接。
根据本公开实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的轨迹的确定方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
通过上述技术方案,首先,能够针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度,以得到多个识别时刻对应的多个第一相似度。然后,可以根据多个第一相似度,确定预设时间段内该对象识别结果与目标对象的相似度总和。进而,可以根据该相似度总和,从至少一个该对象识别结果中确定目标对象的目标识别结果。然后根据目标识别结果,确定目标对象的移动轨迹。这样,从整个时序上根据对象识别结果与目标对象的相似度总和进行匹配,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种识别场景的示意图;
图2是根据一示例性实施例示出的一种轨迹的确定方法的流程图;
图3是根据一示例性实施例示出的另一种识别场景的示意图;
图4是根据一示例性实施例示出的另一种轨迹的确定方法的流程图;
图5是根据一示例性实施例示出的另一种轨迹的确定方法的流程图;
图6是根据一示例性实施例示出的另一种轨迹的确定方法的流程图;
图7是根据一示例性实施例示出的一种轨迹的确定装置的框图;
图8是根据一示例性实施例示出的另一种轨迹的确定装置的框图;
图9是根据一示例性实施例示出的另一种轨迹的确定装置的框图;
图10是根据一示例性实施例示出的另一种轨迹的确定装置的框图;
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书以及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必理解为特定的顺序或先后次序。另外,在参考附图的描述中,不同附图中的同一标记表示相同的要素。
在本公开的描述中,除非另有说明,“多个”是指两个或多于两个,其它量词与之类似;“至少一项(个)”、“一项(个)或多项(个)”或其类似表达,是指的这些项(个)中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,至少一项(个)a,可以表示任意数目个a;再例如,a,b和c中的一项(个)或多项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个;“和/或”是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。字符“/”表示前后关联对象是一种“或”的关系。
在介绍本公开所提供的轨迹的确定方法、装置、电子设备、车辆和存储介质之前,首先对本公开各个实施例所涉及的应用场景进行介绍。本公开应用于目标车辆识别目标对象移动轨迹的场景下,在该场景下由于车辆可能会识别到多个对象识别结果,且不同对象识别结果对应的识别标识不同,此时就需要先从多个对象识别结果中确定目标对象的目标识别结果,进而根据目标识别结果确定目标对象的移动轨迹。
但目前,在确定目标对象的移动轨迹时,是根据时序上的优先顺序,即优先确定最先出现的对象识别结果会被优先分配给目标对象,也即将最先出现的对象识别结果作为目标对象的识别结果。但最先出现的对象识别结果并不一定是与目标对象最相似的识别结果,因此,可能会出现分配不合理的情况,进而会进一步影响车辆感知算法的评测。
同时,若最先出现的对象识别结果包括多个,相关技术中还会根据单帧图像下的相似度,将相似度最高的作为目标对象的目标识别结果。但这种方式没有从整个时序上去考虑,也会存在分配不合理的情况。为了便于理解,如图1所示,图1中id=7719的由实线构成的包围框表示目标对象的真实对象信息,id=33的由长虚线构成的包围框与id=58的由长虚线和点构成的包围框表示目标车辆识别出的两个识别标识不同的对象识别结果,按照上述方法可以得到,t时刻目标车辆识别到两个对象识别结果,且经过比较id=33的对象识别结果与目标对象的相似度更高,则可以确定目标对象对应的目标识别结果为id=33的对象识别结果。基于上述场景,发明人发现从整个时序上来考虑,id=33的对象识别结果在t+3时刻不再出现,而从t时刻到t+3时刻之间的时间段来看,id=58的对象识别结果更接近目标对象的真实对象信息。可见,在这种场景下,id=33的对象识别结果可能为误检,而将误检的识别结果作为目标对象的目标识别结果是不准确的,也是不合理的,同时也不利于后续对于目标车辆感知算法的评测结果。
为了解决上述技术问题,本发明提供一种轨迹的确定方法、装置、电子设备、车辆和存储介质,首先,能够针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度,以得到多个识别时刻对应的多个第一相似度。然后,可以根据多个第一相似度,确定预设时间段内该对象识别结果与目标对象的相似度总和。进而,可以根据该相似度总和,从至少一个该对象识别结果中确定目标对象的目标识别结果。然后根据目标识别结果,确定目标对象的移动轨迹。这样,从整个时序上根据对象识别结果与目标对象的相似度总和进行匹配,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。以便后续在对目标车辆的感知能力进行评测的时候,能够基于准确的移动轨迹进行评测,有助于促进感知算法的迭代优化。
下面结合附图对本发明的具体实施方式进行详细说明。
图2是根据一示例性实施例示出的一种轨迹的确定方法的流程图,如图2所示,该方法可以包括以下步骤:
在步骤S101中,获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及该预设时间段内目标对象对应的真实对象信息。
其中,该目标车辆可以为具有自动驾驶功能的车辆,也即该目标车辆可以感知周围预设范围内的对象。该对象信息例如但不限于可以包括识别对象的横向坐标x、纵向坐标y、高度坐标z、检测长度l、检测宽度w、检测高度h、检测航向角theta、检测身份id、横向速度vx、纵向速度vy、检测置信度c、检测类型type等。该识别对象信息为目标车辆在预设时间段内的多个识别时刻中通过感知能力识别到预设范围内对象的对象信息,该真实对象信息为目标对象的对象信息。对于真实对象信息来说,由于该真实对象信息反映的是目标对象的实际信息,因此,在真实对象信息中,检测置信度可以固定为1。其中,该目标对象可以是车辆、行人和物体等。
另外,为了便于后续的比较计算,可以将识别对象信息与真实对象信息中的位置信息(如横向坐标x、纵向坐标y、高度坐标z、检测长度l、检测宽度w、检测高度h等)基于同一个坐标系进行确定。
在本步骤中,可以将预设时间段内的识别对象信息作一个数据合集,并将预设时间段内的真实对象信息作一个数据合集,便于后续的数据处理。
在步骤S102中,针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定该识别对象信息和该真实对象信息之间的第一相似度。
其中,该相似度例如但不限于可以是交并比(英文:Intersection of Union;简称:IoU)、欧几里得距离(Euclidean Distance)、皮尔逊相关系数等,本公开对此不作具体限定。
示例地,以相似度为交并比为例,在本步骤中可以针对预设时间段内多个识别时刻中每个识别时刻对应的识别对象信息和真实对象信息,确定该识别对象信息和真实对象信息之间的第一交并比。
需要说明的是,该多个识别时刻可以是预设时间段内的所有识别时刻,还可以是部分识别时刻,本公开对此不作具体限定。
可以理解的是,目标车辆在对周围环境进行对象识别的时候,还会识别出对象的检测类型(如车辆、行人等)并对同一物体标记为相同的id,例如图1中id=33框图的即为目标车辆识别出的同一物体在不同时刻的识别结果。因此,为了保证匹配时不出现类别的错误,在确定第一相似度时可以考虑到目标对象与对象识别结果的检测类型。例如可以在相似度的基础上乘以类别系数u,从而得到第一相似度。例如,若目标对象与对象识别结果的检测类型一致,则u=1,否则u=0。
示例地,若目标对象是车辆,而对象识别结果对应的检测类型为行人,即u=0,则可以将该对象识别结果对应的识别对象信息和该真实对象信息之间的第一相似度确定为0。
在步骤S103中,针对每个该对象识别结果,根据多个该第一相似度,确定在该预设时间段内该对象识别结果与该目标对象的相似度总和。
其中,该相似度总和可以用于反映同一识别id的对象识别结果在多个识别时刻下的第一相似度总和,进而可以得到每个识别id的对象识别结果的相似度总和。
在一种可能的实现方式中,可以将多个第一相似度的总和作为该相似度总和。
在另一种可能的实现方式中,考虑到部分单帧图像中,对象识别结果与目标对象偏差过大,也即第一相似度过低,那么在本实现方式中计算相似度总和时可以不考虑第一相似度过低的相似度值。示例地,针对每个该对象识别结果,可以从多个该第一相似度中确定相似度大于或等于第一预设阈值的目标相似度,并根据该目标相似度,确定该相似度总和。如可以将多个该目标相似度的总和,作为该相似度总和。
为了便于理解,下面对上述实现方式进行举例说明,假设对象识别结果的识别对象信息与目标对象的真实对象信息在t时刻、t+1时刻以及t+2时刻之间的第一相似度分别为0.1,0.6,0.7。若第一预设阈值为0.15,则在计算相似度总和时,可以将0.1的第一相似度不计入相似度总和中,也即该对象识别结果对应的相似度总和为0.6+0.7=1.3。
在步骤S104中,根据该相似度总和,从至少一个该对象识别结果中确定目标识别结果。
在一种可能的实现方式中,在该对象识别结果包括一个的情况下,若该相似度总和大于或等于第二预设阈值,则可以将该对象识别结果作为该目标识别结果。也就是说,若目标车辆只识别到一个标识id的对象识别结果,且相似度总和满足第二预设阈值,则可以确定该对象识别结果即为目标对象的识别结果。
在另一种可能的实现方式中,在该对象识别结果包括多个的情况下;首先,可以根据每个该对象识别结果对应的该相似度总和,确定多个该对象识别结果与该目标对象之间的第一代价矩阵。示例地,可以先确定多个对象识别结果与目标对象之间的相似度矩阵,该相似度矩阵的尺寸为n*m,n为对象识别结果的数量(也即识别id的数量,例如图1中id=33和id=58的是目标车辆识别出来的对象识别结果,即n=2),m为目标对象的数量(目标对象可以是一个或多个,例如图1中id=7719的即为目标对象的数量,即m=1),且矩阵中每个位置表示该对象识别结果与目标对象的相似度总和。之后,可以将该相似度矩阵乘以-1,得到该第一代价矩阵。在确定第一代价矩阵之后,可以根据该第一代价矩阵,从多个该对象识别结果中确定目标识别结果。示例地,可以根据该第一代价矩阵,通过预设线性分配算法从多个该对象识别结果中确定目标识别结果。其中,该预设线性分配算法例如可以是Jonker-Volgenant算法。这样,可以通过预设线性分配算法在总体代价最小的基础上将对象识别结果分配给目标对象。由此,可以得到每个目标对象与对象识别结果的对应关系,此时同一标识id的对象识别结果(即目标识别结果)将被分配为对应的目标对象,作为后续确定目标对象的移动轨迹的依据。
在步骤S105中,根据该目标识别结果,确定该目标对象的移动轨迹。
示例地,可以根据预设时间段内每个识别时刻的目标识别结果对应识别对象信息中的位置信息,确定目标对象的移动轨迹。
需要说明的是,若上述步骤中计算相似度总和时,去除掉了部分小于第一预设阈值的第一相似度,在本步骤确定目标对象的移动轨迹时,仍然需要根据该目标识别结果在预设时间段内的所有识别时刻对应的识别对象信息,确定目标对象的移动轨迹,以保证目标对象移动轨迹的完整性。
采用上述方法,首先,能够针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度,以得到多个识别时刻对应的多个第一相似度。然后,可以根据多个第一相似度,确定预设时间段内该对象识别结果与目标对象的相似度总和。进而,可以根据该相似度总和,从至少一个该对象识别结果中确定目标对象的目标识别结果。然后根据目标识别结果,确定目标对象的移动轨迹。这样,从整个时序上根据对象识别结果与目标对象的相似度总和进行匹配,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。
另外,考虑到在一些场景下,目标车辆的感知能力对于预设范围内对象的检测身份id可能出现识别错误的情况。换句话说,实际是同一个对象,但由于感知能力出现一些异常,导致预设时间段内不同时刻识别的检测身份id不一致。如图3所示,图3中A区域中的虚线构成的包围框为对象识别结果,由图可知每个时刻对应的检测身份id分别为id=71、id=72、id=73和id=74,实线构成的包围框为目标对象的真实对象信息,由图可知,目标对象对应的检测身份id=7719。由于目标车辆感知能力出现异常,导致实际为同一目标对象的识别结果,但是检测身份id表征它们为不同id的对象识别结果,在进行识别结果匹配时,只会将目标对象与同一个id的对象识别结果进行匹配,这就可能会导致丢失了部分有效的对象识别结果。在一些场景中,需要忽略目标车辆id识别能力带来的影响,只需要关注识别结果,因此,为了解决上述问题,针对上述场景,如图4所述,该方法还可以包括以下步骤:
在步骤S106中,在该目标识别结果对应的第一识别终止时刻与对象终止时刻不相同的情况下,循环执行第一确定步骤,直至遍历完成第一候选识别结果,得到第二识别结果。
其中,该第一识别终止时刻即为最后一次检测到目标识别结果对应的时刻,该对象终止时刻为该预设时间段内该目标对象最后出现的时刻,该第一候选识别结果为该第一识别终止时刻至该对象终止时刻之间的时间段内对应的对象识别结果。
在本步骤中,若目标识别结果对应的第一识别终止时刻与目标对象的对象终止时刻不相同,则可以表明目标车辆在识别到第一识别终止时刻之后出现了轨迹断裂。假设目标识别结果对应的第一识别终止时刻为t+2时刻,目标对象对应的对象终止时刻为t+4时刻,可见,目标车辆最后识别到目标对象的时间早于目标对象实际消失的时间。此时,可以从第一候选识别结果中确定第二识别结果,以便得到目标对象完整的移动轨迹。
相应地,上述步骤S105中根据该目标识别结果,确定该目标对象的移动轨迹可以包括:根据该第二识别结果和该目标识别结果,确定该目标对象的移动轨迹。也就是说,可以根据第二识别结果对应的识别对象信息与目标识别结果对应的识别对象信息,确定目标对象的移动轨迹。简单理解就是将第二识别结果对应的轨迹与目标识别结果对应的轨迹进行关联,均用于表征目标对象的移动轨迹。
示例地,如图3所示,在进行本实施例上述的方法之前,假设与目标对象匹配的目标对象结果的id=71,则由图3中A区域的轨迹可知,目标车辆识别到的目标对象的轨迹短于目标对象真实的轨迹。相比较而言,在根据该第二识别结果和该目标识别结果,确定该目标对象的移动轨迹后,如图3中B区域对应的id=71所在的轨迹可知。通过上述方法,能够使得未成功匹配的短轨迹,在满足一定条件的情况下,将多个短轨迹进行连接,以使得目标对象的移动轨迹尽可能完整。
其中,该第一确定步骤可以包括:
S1,将该第一识别终止时刻对应的目标识别结果作为第一识别结果。
S2,根据该第一识别结果,从该第一候选识别结果中确定第二识别结果。
具体地,根据该第一识别结果,从该第一候选识别结果中确定第二识别结果可以包括以下步骤:
S21,根据该第一识别结果,确定该第一识别结果的下一识别时刻对应的该目标对象的第一位置信息。
示例地,可以根据该第一识别结果,通过卡尔曼滤波算法预测该第一识别结果的下一识别时刻对应的该目标对象的第一位置信息。
S22,根据该第一位置信息,从该第一候选识别结果中确定该第二识别结果。
示例地,首先,可以确定该第一位置信息与该第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二相似度。然后,可以根据该第二相似度,确定该第一位置信息与该第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二代价矩阵。最后,可以根据该第二代价矩阵,从该第一候选识别结果中确定该第二识别结果。例如,可以根据该第二代价矩阵,通过预设线性分配算法从该第一候选识别结果中确定该第二识别结果。
需要说明的是,该第二相似度的计算方法可以参照第一相似度的计算方法,且第二代价矩阵的确定方法可以参照第一代价矩阵的确定方法,此处均不再赘述。
另外,在本步骤中,由于第一识别结果与第一候选识别结果的检测身份id不相同,为了保证匹配的准确性,若目标识别结果与第一候选识别结果在时间上有重叠,则将第二相似度设为0。换句话说,即同一识别时刻同时存在目标识别结果和第一候选识别结果时,第二相似度为0。
S3,在该第二识别结果对应的第二识别终止时刻与该对象终止时刻不相同的情况下,将该第二识别结果和该目标识别结果作为新的目标识别结果。
若第二识别结果对应的第二识别终止时刻与目标对象的对象终止时刻仍然不相同,表明可能还存在未匹配成功的对象识别结果,则可以将第二识别结果和该目标识别结果作为新的目标识别结果,然后再执行上述步骤S1~S2,直至第二识别终止时刻与对象终止时刻相同,或者遍历完成第一候选识别结果,从而得到第二识别结果。
相应地,在一些实施例中,如图5所示,该方法还可以包括以下步骤:
在步骤S107中,在该目标识别结果对应的第一识别起始时刻与对象起始时刻不相同的情况下,循环执行第二确定步骤,直至遍历完成第二候选识别结果,得到第四识别结果。
其中,该第一识别起始时刻即为首次检测到目标识别对象对应的时刻,该对象起始时刻为该预设时间段内该目标对象最先出现的时刻,该第二候选识别结果为该第一识别起始时刻至该对象起始时刻之间的时间段内对应的对象识别结果。
在本步骤中,若目标识别结果对应的第一识别起始时刻与目标对象的对象起始时刻不相同,则可以表明目标车辆在识别到第一识别起始时刻之前出现了轨迹断裂。假设目标识别结果对应的第一识别起始时刻为t+2时刻,目标对象对应的对象起始时刻为t时刻,可见,目标车辆识别到目标对象的时间晚于目标对象实际出现的时间。此时,可以从第二候选识别结果中确定第四识别结果,以便得到目标对象完整的移动轨迹。
相应地,上述步骤S105中根据该目标识别结果,确定该目标对象的移动轨迹可以包括:根据该第四识别结果和该目标识别结果,确定该目标对象的移动轨迹。也就是说,可以根据第四识别结果对应的识别对象信息和目标识别结果对应的识别对象信息,确定目标对象的移动轨迹。简答理解就是将第四识别结果对应的轨迹与目标识别结果对应的轨迹进行关联,均用于表征目标对象的移动轨迹。
其中,该第二确定步骤可以包括:
步骤A,将该第一识别起始时刻对应的目标识别结果作为第三识别结果。
步骤B,根据该第三识别结果,从该第二候选识别结果中确定第四识别结果。
具体地,根据该第三识别结果,从该第二候选识别结果中确定第四识别结果可以包括以下步骤:
步骤B1,根据该第三识别结果,确定该第三识别结果的上一识别时刻对应的该目标对象的第二位置信息。
示例地,可以根据该第三识别结果,通过卡尔曼滤波算法预测该第三识别结果的上一识别时刻对应的该目标对象的第二位置信息。
步骤B2,根据该第二位置信息,从该第二候选识别结果中确定该第四识别结果。
示例地,首先,可以确定该第二位置信息与该第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三相似度。然后,可以根据该第三相似度,确定该第二位置信息与该第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三代价矩阵。最后,可以根据该第三代价矩阵,从该第二候选识别结果中确定该第四识别结果。例如,可以根据该第三代价矩阵,通过预设线性分配算法从该第二候选识别结果中确定该第四识别结果。
同样地,该第三相似度的计算方法可以参照第一相似度的计算方法,且第三代价矩阵的确定方法可以参照第一代价矩阵的确定方法,此处均不再赘述。
相应地,在本步骤中,由于第三识别结果与第二候选识别结果的检测身份id不相同,为了保证匹配的准确性,若目标识别结果与第二候选识别结果在时间上有重叠,则将第三相似度设为0。换句话说,即同一识别时刻同时存在目标识别结果和第二候选识别结果时,第三相似度为0。
步骤C,在该第四识别结果对应的第二识别起始时刻与该对象起始时刻不相同的情况下,将该第四识别结果和该目标识别结果作为新的目标识别结果。
若第四识别结果对应的第二识别起始时刻与目标对象的对象起始时刻仍然不相同,表明可能还存在未匹配成功的对象识别结果,则可以将第四识别结果和该目标识别结果作为新的目标识别结果,然后再执行上述步骤A~步骤B,直至第二识别起始时刻与对象起始时刻相同,或者遍历完成第二候选识别结果,从而得到第四识别结果。
需要说明的是,图4和图5的实施例可以一起实施,还可以单独实施,本公开对此不作具体限定。
通过图4和图5的实施例,能够使得目标物体的移动轨迹尽可能的完整,以增加更多的目标识别结果用于后续对目标车辆的感知能力进行评测。
在一些实施例中,在得到目标对象的移动轨迹之后,如图6所示,该方法还可以包括以下步骤:
在步骤S108中,从该识别对象信息中确定该目标识别结果对应的目标对象信息,并确定该目标识别结果对应的多个该第一相似度。
在步骤S109中,根据多个该第一相似度、该目标对象信息和该真实对象信息,确定该目标车辆的评估指标。
其中,该评估指标用于表征该目标车辆对该目标对象的感知识别能力。该评估指标例如可以包括准确率、召回率和误差参数。
具体地,根据多个该第一相似度、该目标对象信息和该真实对象信息,确定该目标车辆的评估指标可以包括:
在步骤S1091中,根据多个该第一相似度,确定该目标车辆对该目标对象识别的准确率和召回率。
考虑到某些识别时刻对应的目标识别结果的第一相似度过低,若将该识别时刻对应的目标识别结果记作成功识别结果,可能会影响目标车辆评估指标的可靠性。因此,在本步骤中,还可以先根据多个该第一相似度,将该目标识别结果中该第一相似度大于或等于第三预设阈值(例如可以为0.5)的识别时刻对应的识别结果作为成功识别结果,并将该目标识别结果中该第一相似度小于该第三预设阈值的识别时刻对应的识别结果和该对象识别结果中除该目标识别结果以外的其他识别结果作为未成功识别结果。并可以确定未匹配成功的目标对象的数量。然后,可以根据该成功识别结果和该未成功识别结果,确定该准确率和该召回率。
示例地,可以通过以下公式确定准确率:
其中,P表示准确率,TP表示成功识别结果的数量,FP表示未成功识别结果的数量。
可以通过以下公式确定召回率:
其中,R表示召回率,TP表示成功识别结果的数量,FN表示未匹配成功的目标对象的数量。
在步骤S1092中,根据该目标对象信息和该真实对象信息,确定该目标车辆对该目标对象识别的误差参数。
其中,该误差参数例如但不限于可以包括纵向距离误差,横向距离误差,纵向速度误差,横向速度误差,行车航向角误差,长度误差,宽度误差,高度误差。示例地,可以通过真实对象信息中的纵向距离与目标对象信息中的纵向距离的差值,得到纵向距离误差。可以通过真实对象信息中的横向距离与目标对象信息中的横向距离的差值,得到横向距离误差。同理可以确定其余误差参数,此处不再赘述。
需要说明的是,在确定行车航向角误差的时候,考虑到目标车辆可能检测方向的偏差,但统计误差的关键在于确定数值上的差值。因此,为了避免目标车辆检测方向产生的偏差对误差确定的影响,在一些实施例中,还可以对航向角进行角度转换,例如可以将目标对象信息与真实对象信息中的航向角theta转换到[-π,π],然后计算转换后目标对象信息与真实对象信息中的航向角theta的差值。再将计算得到的差值转换到[0,π]的范围内,作为最终的行车航向角误差。
还可以进一步分析误差参数,例如确定每个误差参数的误差值平均值、误差绝对值平均值、标准差、误差绝对值50分位数、误差绝对值90分位数、误差绝对值95分位数等,以便更加全面的对目标对象信息和真实对象信息进行比对。还可以针对不同预设距离内的目标对象信息和真实对象信息进行比对,例如,若目标对象出现的总距离为150米,预设距离为10米,则可以将0~150米范围内划分为15个分段,然后分别分析每个分段内的误差参数。
这样,根据上述方法中确定的目标车辆的移动轨迹,来确定目标车辆的评估指标,以便于后续根据评估指标对目标车辆的感知能力进行迭代优化。由于本实施例中提高了目标车辆的移动轨迹确定的准确性,因此,能够使得目标车辆的评估指标更加可靠。
采用上述方法,首先,能够针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度,以得到多个识别时刻对应的多个第一相似度。然后,可以根据多个第一相似度,确定预设时间段内该对象识别结果与目标对象的相似度总和。进而,可以根据该相似度总和,从至少一个该对象识别结果中确定目标对象的目标识别结果。然后根据目标识别结果,确定目标对象的移动轨迹。这样,从整个时序上根据对象识别结果与目标对象的相似度总和进行匹配,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。
图7是根据一示例性实施例示出的一种轨迹的确定装置的框图,如图7所示,该装置200包括:
获取模块201,被配置为获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及该预设时间段内目标对象对应的真实对象信息;
第一确定模块202,被配置为针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定该识别对象信息和该真实对象信息之间的第一相似度;
第二确定模块203,被配置为针对每个该对象识别结果,根据多个该第一相似度,确定在该预设时间段内该对象识别结果与该目标对象的相似度总和;
第三确定模块204,被配置为根据该相似度总和,从至少一个该对象识别结果中确定目标识别结果;
第四确定模块205,被配置为根据该目标识别结果,确定该目标对象的移动轨迹。
可选地,该第二确定模块203,被配置为针对每个该对象识别结果,从多个该第一相似度中确定相似度大于或等于第一预设阈值的目标相似度,并根据该目标相似度,确定该相似度总和。
可选地,在该目标相似度包括多个的情况下,该第二确定模块203,被配置为将多个该目标相似度的总和,作为该相似度总和。
可选地,在该对象识别结果包括一个的情况下,该第三确定模块204,被配置为在该相似度总和大于或等于第二预设阈值的情况下,将该对象识别结果作为该目标识别结果。
可选地,在该对象识别结果包括多个的情况下;该第三确定模块204,被配置为根据每个该对象识别结果对应的该相似度总和,确定多个该对象识别结果与该目标对象之间的第一代价矩阵;根据该第一代价矩阵,从多个该对象识别结果中确定目标识别结果。
可选地,该第三确定模块204,被配置为根据该第一代价矩阵,通过预设线性分配算法从多个该对象识别结果中确定目标识别结果。
可选地,如图8所示,该装置200还包括:
第五确定模块206,被配置为在该目标识别结果对应的第一识别终止时刻与对象终止时刻不相同的情况下,循环执行第一确定步骤,直至遍历完成第一候选识别结果,得到第二识别结果。
其中,该对象终止时刻为该预设时间段内该目标对象最后出现的时刻,该第一候选识别结果为该第一识别终止时刻至该对象终止时刻之间的时间段内对应的对象识别结果;
该第四确定模块205,被配置为根据该第二识别结果和该目标识别结果,确定该目标对象的移动轨迹;
其中,该第一确定步骤包括:
将该第一识别终止时刻对应的目标识别结果作为第一识别结果;
根据该第一识别结果,从该第一候选识别结果中确定第二识别结果;
在该第二识别结果对应的第二识别终止时刻与该对象终止时刻不相同的情况下,将该第二识别结果和该目标识别结果作为新的目标识别结果。
可选地,该第五确定模块206,被配置为根据该第一识别结果,确定该第一识别结果的下一识别时刻对应的该目标对象的第一位置信息;根据该第一位置信息,从该第一候选识别结果中确定该第二识别结果。
可选地,该第五确定模块206,被配置为根据该第一识别结果,通过卡尔曼滤波算法预测该第一识别结果的下一识别时刻对应的该目标对象的第一位置信息。
可选地,该第五确定模块206,被配置为确定该第一位置信息与该第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二相似度;根据该第二相似度,确定该第一位置信息与该第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二代价矩阵;根据该第二代价矩阵,从该第一候选识别结果中确定该第二识别结果。
可选地,如图9所示,该装置200还包括:
第六确定模块207,被配置为在该目标识别结果对应的第一识别起始时刻与对象起始时刻不相同的情况下,循环执行第二确定步骤,直至遍历完成第二候选识别结果,得到第四识别结果;其中,该对象起始时刻为该预设时间段内该目标对象最先出现的时刻,该第二候选识别结果为该第一识别起始时刻至该对象起始时刻之间的时间段内对应的对象识别结果;
该第四确定模块205,被配置为根据该第四识别结果和该目标识别结果,确定该目标对象的移动轨迹;
其中,该第二确定步骤包括:
将该第一识别起始时刻对应的目标识别结果作为第三识别结果;
根据该第三识别结果,从该第二候选识别结果中确定第四识别结果;
在该第四识别结果对应的第二识别起始时刻与该对象起始时刻不相同的情况下,将该第四识别结果和该目标识别结果作为新的目标识别结果。
可选地,该第六确定模块207,被配置为根据该第三识别结果,确定该第三识别结果的上一识别时刻对应的该目标对象的第二位置信息;根据该第二位置信息,从该第二候选识别结果中确定该第四识别结果。
可选地,该第六确定模块207,被配置为根据该第三识别结果,通过卡尔曼滤波算法预测该第三识别结果的上一识别时刻对应的该目标对象的第二位置信息。
可选地,该第六确定模块207,被配置为确定该第二位置信息与该第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三相似度;根据该第三相似度,确定该第二位置信息与该第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三代价矩阵;根据该第三代价矩阵,从该第二候选识别结果中确定该第四识别结果。
可选地,如图10所示,该装置200还包括:
第七确定模块208,被配置为从该识别对象信息中确定该目标识别结果对应的目标对象信息,并确定该目标识别结果对应的多个该第一相似度;
评估模块209,被配置为根据多个该第一相似度、该目标对象信息和该真实对象信息,确定该目标车辆的评估指标;该评估指标用于表征该目标车辆对该目标对象的感知识别能力。
可选地,该评估指标包括准确率、召回率和误差参数;该评估模块209,被配置为根据多个该第一相似度,确定该目标车辆对该目标对象识别的准确率和召回率;根据该目标对象信息和该真实对象信息,确定该目标车辆对该目标对象识别的误差参数。
可选地,该评估模块209,被配置为根据多个该第一相似度,将该目标识别结果中该第一相似度大于或等于第三预设阈值的识别结果作为成功识别结果;并将该目标识别结果中该第一相似度小于该第三预设阈值的识别结果和该对象识别结果中除该目标识别结果以外的其他识别结果作为未成功识别结果;根据该成功识别结果和该未成功识别结果,确定该准确率和该召回率。
采用上述装置,首先,能够针对该预设时间段内多个识别时刻中的每个识别时刻对应的该识别对象信息和该真实对象信息,确定识别对象信息和真实对象信息之间的第一相似度,以得到多个识别时刻对应的多个第一相似度。然后,可以根据多个第一相似度,确定预设时间段内该对象识别结果与目标对象的相似度总和。进而,可以根据该相似度总和,从至少一个该对象识别结果中确定目标对象的目标识别结果。然后根据目标识别结果,确定目标对象的移动轨迹。这样,从整个时序上根据对象识别结果与目标对象的相似度总和进行匹配,能够更加准确的将对象识别结果分配给目标对象,进而确保目标车辆识别的目标对象的移动轨迹更加准确。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在本公开实施例中尽管在附图中以特定的顺序描述操作或步骤,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作或步骤,或是要求执行全部所示的操作或步骤以得到期望的结果。在本公开的实施例中,可以串行执行这些操作或步骤;也可以并行执行这些操作或步骤;也可以执行这些操作或步骤中的一部分。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的轨迹的确定方法的步骤。
图11是根据一示例性实施例示出的一种电子设备300的框图。例如,电子设备300可以被提供为一服务器。参照图11,电子设备300包括处理组件322,其进一步包括一个或多个处理器,以及由存储器332所代表的存储器资源,用于存储可由处理组件322的执行的指令,例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件322被配置为执行指令,以执行上述方法轨迹的确定方法。
电子设备300还可以包括一个电源组件326被配置为执行电子设备300的电源管理,一个有线或无线网络接口350被配置为将电子设备300连接到网络,和一个输入/输出接口358。电子设备300可以操作基于存储在存储器332的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM或类似。
本公开还提供一种车辆,其包括图11所提供的电子设备或与图11所提供的电子设备连接。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (21)

1.一种轨迹的确定方法,其特征在于,所述方法包括:
获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及所述预设时间段内目标对象对应的真实对象信息;
针对所述预设时间段内多个识别时刻中的每个识别时刻对应的所述识别对象信息和所述真实对象信息,确定所述识别对象信息和所述真实对象信息之间的第一相似度;
针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和;
根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果;
根据所述目标识别结果,确定所述目标对象的移动轨迹。
2.根据权利要求1所述的方法,其特征在于,所述针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和包括:
针对每个所述对象识别结果,从多个所述第一相似度中确定相似度大于或等于第一预设阈值的目标相似度,并根据所述目标相似度,确定所述相似度总和。
3.根据权利要求2所述的方法,其特征在于,在所述目标相似度包括多个的情况下,所述根据所述目标相似度,确定所述相似度总和包括:
将多个所述目标相似度的总和,作为所述相似度总和。
4.根据权利要求1所述的方法,其特征在于,在所述对象识别结果包括一个的情况下,所述根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果包括:
在所述相似度总和大于或等于第二预设阈值的情况下,将所述对象识别结果作为所述目标识别结果。
5.根据权利要求1所述的方法,其特征在于,在所述对象识别结果包括多个的情况下;所述根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果包括:
根据每个所述对象识别结果对应的所述相似度总和,确定多个所述对象识别结果与所述目标对象之间的第一代价矩阵;
根据所述第一代价矩阵,从多个所述对象识别结果中确定目标识别结果。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一代价矩阵,从多个所述对象识别结果中确定目标识别结果包括:
根据所述第一代价矩阵,通过预设线性分配算法从多个所述对象识别结果中确定目标识别结果。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述目标识别结果对应的第一识别终止时刻与对象终止时刻不相同的情况下,循环执行第一确定步骤,直至遍历完成第一候选识别结果,得到第二识别结果;其中,所述对象终止时刻为所述预设时间段内所述目标对象最后出现的时刻,所述第一候选识别结果为所述第一识别终止时刻至所述对象终止时刻之间的时间段内对应的对象识别结果;
所述根据所述目标识别结果,确定所述目标对象的移动轨迹包括:
根据所述第二识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;
其中,所述第一确定步骤包括:
将所述第一识别终止时刻对应的目标识别结果作为第一识别结果;
根据所述第一识别结果,从所述第一候选识别结果中确定第二识别结果;
在所述第二识别结果对应的第二识别终止时刻与所述对象终止时刻不相同的情况下,将所述第二识别结果和所述目标识别结果作为新的目标识别结果。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一识别结果,从所述第一候选识别结果中确定第二识别结果包括:
根据所述第一识别结果,确定所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息;
根据所述第一位置信息,从所述第一候选识别结果中确定所述第二识别结果。
9.根据权利要求8所述的方法,其特征在于,所述根据所述第一识别结果,确定所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息包括:
根据所述第一识别结果,通过卡尔曼滤波算法预测所述第一识别结果的下一识别时刻对应的所述目标对象的第一位置信息。
10.根据权利要求8所述的方法,其特征在于,所述根据所述第一位置信息,从所述第一候选识别结果中确定所述第二识别结果包括:
确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二相似度;
根据所述第二相似度,确定所述第一位置信息与所述第一识别结果的下一识别时刻对应的第一候选识别结果之间的第二代价矩阵;
根据所述第二代价矩阵,从所述第一候选识别结果中确定所述第二识别结果。
11.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在所述目标识别结果对应的第一识别起始时刻与对象起始时刻不相同的情况下,循环执行第二确定步骤,直至遍历完成第二候选识别结果,得到第四识别结果;其中,所述对象起始时刻为所述预设时间段内所述目标对象最先出现的时刻,所述第二候选识别结果为所述第一识别起始时刻至所述对象起始时刻之间的时间段内对应的对象识别结果;
所述根据所述目标识别结果,确定所述目标对象的移动轨迹包括:
根据所述第四识别结果和所述目标识别结果,确定所述目标对象的移动轨迹;
其中,所述第二确定步骤包括:
将所述第一识别起始时刻对应的目标识别结果作为第三识别结果;
根据所述第三识别结果,从所述第二候选识别结果中确定第四识别结果;
在所述第四识别结果对应的第二识别起始时刻与所述对象起始时刻不相同的情况下,将所述第四识别结果和所述目标识别结果作为新的目标识别结果。
12.根据权利要求11所述的方法,其特征在于,所述根据所述第三识别结果,从所述第二候选识别结果中确定第四识别结果包括:
根据所述第三识别结果,确定所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息;
根据所述第二位置信息,从所述第二候选识别结果中确定所述第四识别结果。
13.根据权利要求12所述的方法,其特征在于,所述根据所述第三识别结果,确定所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息包括:
根据所述第三识别结果,通过卡尔曼滤波算法预测所述第三识别结果的上一识别时刻对应的所述目标对象的第二位置信息。
14.根据权利要求12所述的方法,其特征在于,所述根据所述第二位置信息,从所述第二候选识别结果中确定所述第四识别结果包括:
确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三相似度;
根据所述第三相似度,确定所述第二位置信息与所述第三识别结果的上一识别时刻对应的第二候选识别结果之间的第三代价矩阵;
根据所述第三代价矩阵,从所述第二候选识别结果中确定所述第四识别结果。
15.根据权利要求1至14中任一项所述的方法,其特征在于,所述方法还包括:
从所述识别对象信息中确定所述目标识别结果对应的目标对象信息;
并确定所述目标识别结果对应的多个所述第一相似度;
根据多个所述第一相似度、所述目标对象信息和所述真实对象信息,确定所述目标车辆的评估指标;所述评估指标用于表征所述目标车辆对所述目标对象的感知识别能力。
16.根据权利要求15所述的方法,其特征在于,所述评估指标包括准确率、召回率和误差参数;所述根据多个所述第一相似度、所述目标对象信息和所述真实对象信息,确定所述目标车辆的评估指标包括:
根据多个所述第一相似度,确定所述目标车辆对所述目标对象识别的准确率和召回率;
根据所述目标对象信息和所述真实对象信息,确定所述目标车辆对所述目标对象识别的误差参数。
17.根据权利要求16所述的方法,其特征在于,所述根据多个所述第一相似度,确定所述目标车辆对所述目标对象识别的准确率和召回率包括:
根据多个所述第一相似度,将所述目标识别结果中所述第一相似度大于或等于第三预设阈值的识别结果作为成功识别结果;
并将所述目标识别结果中所述第一相似度小于所述第三预设阈值的识别结果和所述对象识别结果中除所述目标识别结果以外的其他识别结果作为未成功识别结果;
根据所述成功识别结果和所述未成功识别结果,确定所述准确率和所述召回率。
18.一种轨迹的确定装置,其特征在于,所述装置包括:
获取模块,被配置为获取预设时间段内目标车辆在预设范围内的至少一个对象识别结果对应的识别对象信息,以及所述预设时间段内目标对象对应的真实对象信息;
第一确定模块,被配置为针对所述预设时间段内多个识别时刻中的每个识别时刻对应的所述识别对象信息和所述真实对象信息,确定所述识别对象信息和所述真实对象信息之间的第一相似度;
第二确定模块,被配置为针对每个所述对象识别结果,根据多个所述第一相似度,确定在所述预设时间段内所述对象识别结果与所述目标对象的相似度总和;
第三确定模块,被配置为根据所述相似度总和,从至少一个所述对象识别结果中确定目标识别结果;
第四确定模块,被配置为根据所述目标识别结果,确定所述目标对象的移动轨迹。
19.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为在调用所述存储器上存储的可执行指令时,实现权利要求1至17中任一项所述方法的步骤。
20.一种车辆,其特征在于,包括如权利要求19所述的电子设备或与权利要求19所述的电子设备连接。
21.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1至17中任一项所述方法的步骤。
CN202310358082.6A 2023-04-04 2023-04-04 轨迹的确定方法、装置、电子设备、车辆和存储介质 Active CN116091553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310358082.6A CN116091553B (zh) 2023-04-04 2023-04-04 轨迹的确定方法、装置、电子设备、车辆和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310358082.6A CN116091553B (zh) 2023-04-04 2023-04-04 轨迹的确定方法、装置、电子设备、车辆和存储介质

Publications (2)

Publication Number Publication Date
CN116091553A true CN116091553A (zh) 2023-05-09
CN116091553B CN116091553B (zh) 2023-06-30

Family

ID=86199505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310358082.6A Active CN116091553B (zh) 2023-04-04 2023-04-04 轨迹的确定方法、装置、电子设备、车辆和存储介质

Country Status (1)

Country Link
CN (1) CN116091553B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374359A1 (en) * 2017-06-22 2018-12-27 Bakhi.com Times Technology (Beijing) Co., Ltd. Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
US20210350146A1 (en) * 2020-11-30 2021-11-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Vehicle Tracking Method, Apparatus, and Electronic Device
CN114332817A (zh) * 2021-12-28 2022-04-12 北京世纪高通科技有限公司 一种同行车辆的确定方法、装置、设备及存储介质
CN114724122A (zh) * 2022-03-29 2022-07-08 北京卓视智通科技有限责任公司 一种目标追踪方法、装置、电子设备及存储介质
CN114802233A (zh) * 2022-06-22 2022-07-29 小米汽车科技有限公司 车辆控制方法、装置、电子设备及存储介质
CN114913197A (zh) * 2022-07-15 2022-08-16 小米汽车科技有限公司 车辆轨迹预测方法、装置、电子设备及存储介质
CN115147796A (zh) * 2022-07-14 2022-10-04 小米汽车科技有限公司 评测目标识别算法的方法、装置、存储介质及车辆

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180374359A1 (en) * 2017-06-22 2018-12-27 Bakhi.com Times Technology (Beijing) Co., Ltd. Evaluation framework for predicted trajectories in autonomous driving vehicle traffic prediction
US20210350146A1 (en) * 2020-11-30 2021-11-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Vehicle Tracking Method, Apparatus, and Electronic Device
CN114332817A (zh) * 2021-12-28 2022-04-12 北京世纪高通科技有限公司 一种同行车辆的确定方法、装置、设备及存储介质
CN114724122A (zh) * 2022-03-29 2022-07-08 北京卓视智通科技有限责任公司 一种目标追踪方法、装置、电子设备及存储介质
CN114802233A (zh) * 2022-06-22 2022-07-29 小米汽车科技有限公司 车辆控制方法、装置、电子设备及存储介质
CN115147796A (zh) * 2022-07-14 2022-10-04 小米汽车科技有限公司 评测目标识别算法的方法、装置、存储介质及车辆
CN114913197A (zh) * 2022-07-15 2022-08-16 小米汽车科技有限公司 车辆轨迹预测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚畅;王华君;李荣;徐平平;: "基于状态依赖检测的视频运动目标轨迹跟踪算法", 现代电子技术, no. 07 *

Also Published As

Publication number Publication date
CN116091553B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11205276B2 (en) Object tracking method, object tracking device, electronic device and storage medium
US11727578B2 (en) Crowd type classification system, crowd type classification method and storage medium for storing crowd type classification program
CN110751096B (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN112016531A (zh) 模型训练方法、对象识别方法、装置、设备及存储介质
CN113269042B (zh) 基于行驶车辆违章识别的智能交通管理方法及系统
CN114943750A (zh) 目标跟踪方法、装置及电子设备
CN115174231A (zh) 一种基于AI Knowledge Base的网络欺诈分析方法及服务器
CN112309126A (zh) 车牌检测方法、装置、电子设备及计算机可读存储介质
CN116091553B (zh) 轨迹的确定方法、装置、电子设备、车辆和存储介质
CN112215222A (zh) 车牌识别方法、装置、设备及存储介质
CN111371984B (zh) 确定抓拍机异常的方法、装置及存储介质
CN115908498B (zh) 一种基于类别最优匹配的多目标跟踪方法及装置
CN116662315A (zh) 基于大数据的时空轨迹补全的方法、装置、设备及介质
US20230401809A1 (en) Image data augmentation device and method
CN115391596A (zh) 视频档案生成方法、装置及存储介质
CN110706263A (zh) 一种图像处理方法、装置、设备和计算机可读存储介质
CN117556187B (zh) 基于深度学习的云数据修复方法、系统及可读存储介质
CN113127804B (zh) 确定车辆故障次数的方法、装置、计算机设备和存储介质
CN116467102B (zh) 一种基于边缘算法的故障检测方法及装置
CN116560894B (zh) 应用机器学习的无人机故障数据分析方法、服务器及介质
CN112836684B (zh) 基于辅助驾驶的目标尺度变化率计算方法、装置及设备
CN117830958B (zh) 旅客通关候检管理方法、装置及电子设备
CN118277798A (zh) 数据的关联方法和系统、存储介质和电子装置
CN118154905A (zh) 一种车辆检测方法、设备、装置及介质
CN116959216A (zh) 一种实验操作监测预警方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant