CN115222791A - 目标关联方法、装置、可读存储介质及芯片 - Google Patents

目标关联方法、装置、可读存储介质及芯片 Download PDF

Info

Publication number
CN115222791A
CN115222791A CN202210837770.6A CN202210837770A CN115222791A CN 115222791 A CN115222791 A CN 115222791A CN 202210837770 A CN202210837770 A CN 202210837770A CN 115222791 A CN115222791 A CN 115222791A
Authority
CN
China
Prior art keywords
weight
target
association
objects
targets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210837770.6A
Other languages
English (en)
Other versions
CN115222791B (zh
Inventor
牛凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210837770.6A priority Critical patent/CN115222791B/zh
Publication of CN115222791A publication Critical patent/CN115222791A/zh
Application granted granted Critical
Publication of CN115222791B publication Critical patent/CN115222791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本公开涉及一种目标关联方法、装置、可读存储介质及芯片,涉及自动驾驶技术领域。所述方法包括:在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重;根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;对满足预设条件的联合权重所对应的两个目标物进行关联;其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。使用本公开提出的目标关联方法,可以提高对同为一个物体的两个目标物进行关联的准确性。

Description

目标关联方法、装置、可读存储介质及芯片
技术领域
本公开涉及自动驾驶技术领域,尤其涉及一种目标关联方法、装置、可读存储介质及芯片。
背景技术
目前,在自动驾驶技术领域中,出现了多传感器融合的方案,多传感器融合的方案可以融合不同传感器的结果,来结合不同传感器的优势,使得融合后的结果更加准确。例如,多传感器融合方案可以将摄像头采集到的目标物的深度距离与雷达采集到的目标物的深度距离进行融合,使得得到的目标物的深度距离更加准确。
在对图像采集装置所采集到的目标物的深度距离与雷达采集到的目标物的深度距离进行融合之前,需要图像采集装置所采集的目标物与雷达所采集的目标物进行关联,才能使得融合的深度距离是同一目标物的深度距离。
相关技术中,在图像采集装置与雷达所采集的目标物均是多个远距离的目标物的情况下,图像采集装置与雷达所采集的远距离的目标物准确性较低,容易导致关联的两个目标物并非同一目标物;在图像采集装置与雷达所采集的目标物在透视平面的投影存在相互重叠的情况下,也容易导致关联的两个目标物并非是同一目标物。
发明内容
为克服相关技术中存在的问题,本公开提供一种目标关联方法、装置、可读存储介质及芯片。
根据本公开实施例的第一方面,提供一种目标关联方法,所述方法包括:
在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;
在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重;
根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;
对满足预设条件的联合权重所对应的两个目标物进行关联;
其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。
可选地,所述根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重,包括:
在所述任意两个目标物的历史轨迹长度大于预设轨迹长度,且所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物的历史移动轨迹之间的距离,或根据所述任意两个目标物的移动速度之间的相似度,得到第三关联权重;
根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重。
可选地,所述根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重,包括:
根据所述第一关联权重的第一系数与所述第一关联权重、所述第二关联权重的第二系数与第二关联权重以及所述第三关联权重的第三系数与第三关联权重,得到所述联合权重。
可选地,所述根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重,包括:
从所述第一关联权重、第二关联权重以及所述第三关联权重中确定数值最大的关联权重;
将所述数值最大的关联权重作为联合权重。
可选地,所述在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重,包括:
将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置信息;
根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离;
对所述任意两个目标物之间的距离进行归一化,得到所述第一关联权重。
可选地,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;
所述根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离,包括:
根据所述第一目标物的中心位置与所述第二目标物之间的距离,或根据所述第一目标物的边缘位置与所述第二目标物之间的距离,确定所述任意两个目标物之间的距离。
可选地,所述任意两个目标物的位置通过以下步骤得到:
根据所述任意两个目标物的目标物信息以及所述任意两个目标物所在的坐标系,将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置。
可选地,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;
所述在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,包括:
将所述第一目标物投影在所述透视图平面,得到所述第一目标物的第一投影区域;
将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域;
根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重。
可选地,在所述第二投影区域为点区域的情况下,所述根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重,包括:
在所述第二投影区域位于所述第一投影区域内的情况下,确定所述第二关联权重为第一预设权重;
在所述第二投影区域位于所述第一投影区域外的情况下,确定所述第二关联权重为第二预设权重。
可选地,在所述第二投影区域为线区域的情况下,所述根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重,包括:
将所述第二投影区域占据所述第一投影区域的比例,作为所述第二关联权重。
可选地,所述第二投影区域包括点区域,所述将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域,包括:
将所述第二目标物位于预设高度的区域,投影在所述透视图平面,得到所述点区域。
可选地,所述第二投影区域包括线区域,所述将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域,包括:
将所述第二目标物位于预设高度范围的区域,投影在所述透视图平面,得到所述线区域。
可选地,所述任意两个目标物之间的位置关系通过以下步骤得到:
根据所述任意两个目标物的目标物信息、所述任意两个目标物所在的坐标系以及所述透视图平面所在的坐标系,将所述任意两个目标物投影在所述透视图平面,得到所述任意两个目标物之间的位置关系。
可选地,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,包括:
在所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重。
根据本公开实施例的第二方面,提供一种目标关联装置,包括:
第一关联权重确定模块,被配置为在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;
第二关联权重确定模块,被配置为在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,所述透视图平面与所述俯视平面所在的坐标系不同;
第一联合权重确定模块,被配置为根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;
关联模块,被配置为对满足预设条件的联合权重所对应的两个目标物进行关联;
其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。
根据本公开实施例的第三方面,提供一种目标关联装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行所述可执行指令以实现本公开实施例的第一方面所提供的目标关联方法的步骤。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开实施例的第一方面所提供的目标关联方法的步骤。
根据本公开实施例的第五方面,提供一种芯片,包括处理器和接口;所述处理器用于读取指令以执行本公开实施例的第一方面所提供的目标关联方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
对于远距离的目标物或被遮挡的目标物而言,在图像采集装置与雷达采集的目标物在俯视平面的位置信息不准确的情况下,所得到的俯视平面中任意两个目标物之间的距离的可信度较低,得到的第一关联权重的可信度也较低。但是在透视平面中任意两个目标物之间在的位置关系是准确的,使得得到的任意两个目标物之间的位置关系的可信度较高,且得到的第二关联权重的可信度也较高。通过可信度较高的第二关联权重来对可信度较低的第一关联权重进行补偿,得到联合权重,可以提升得到的联合权重的可信度。
对于在同一直线上近距离的目标物而言,在雷达所采集的目标物的投影位于图像采集装置采集的目标物的投影区域的同一位置的情况下,所得到的透视图平面中任意两个目标物之间的位置关系的可信度较低,得到的第二关联权重的可信度较低。但是在俯视平面中任意两个目标物之间的距离是准确的,使得得到的任意两个目标物之间的距离的可信度较高,且得到的第一关联权重的可信度较高。通过可信度较高的第一关联权重来对可信度较低的第二关联权重进行补偿,得到联合权重,可以提升得到的联合权重的可信度。
在联合权重的可信度较高的情况下,依据联合权重来进行两个目标物之间的关联的准确性也较高,减少了误关联所带来的计算出的深度距离不准的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种目标关联方法的流程图。
图2是根据一示例性实施例示出的图像采集装置与雷达采集的多个目标物的示意图。
图3是根据一示例性实施例示出的多个位于同一直线上的目标物投影在图像采集装置采集的目标物的投影区域上的示意图。
图4是根据一示例性实施例示出的图像采集装置与雷达采集多个车辆的示意图。
图5是根据一示例性实施例示出的图像采集装置采集的目标物与雷达采集的目标物投影在俯视平面上的示意图。
图6是根据一示例性实施例示出的点区域与第一投影区域A和第一投影区域B之间的位置关系图。
图7是根据一示例性实施例示出的线区域与第一投影区域C和第一投影区域D之间的位置关系图。
图8是根据一示例性实施例示出的一种目标关联装置的框图。
图9是一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下,并获得由相应装置所有者给予授权的情况下进行的。
相关技术中,请参阅图2与图5所示,可以将图像采集装置所采集的多个目标物与雷达所采集的多个目标物投影在俯视平面,再计算图像采集装置采集的多个目标物与雷达采集的多个目标物之间,任意两个目标物相隔的距离,在两个目标物之间的距离较近时,确定两个目标物为同一目标物。然而对于远距离目标物而言,图像采集装置在采集远距离目标物后得到与目标物相关的图像,再拟合图像中目标物的位置信息,来确定远距离目标物与图像采集装置之间的距离,远距离目标物在图像上的尺寸较小,导致拟合出的远距离目标物的位置信息不准确;雷达对远距离目标物的探测能力不足,也会导致雷达探测出的远距离目标物在俯视平面的位置信息不准确;对于被障碍物遮挡的目标物而言,由于目标物的轮廓不完整,导致图像采集装置所采集的目标物也是不完整的,进而使得图像采集装置与雷达采集的被障碍物遮挡的目标物在俯视平面的位置信息也不准确。在图像采集装置采集的目标物在俯视平面的位置信息不准确的情况下,会使得计算出的两个目标物之间的距离不准确,导致两个目标物误关联。
请参阅图3所示,也可以将图像采集装置所采集的多个目标物与雷达所采集的多个目标物投影在透视图平面,再确定雷达所采集的目标物的投影是否在图像采集装置所采集的目标物的投影区域之内,在雷达采集的目标物的投影在图像采集装置所采集的目标物的投影区域之内时,确定两个目标物为同一目标物。然而,请参阅图3所示,在雷达所采集的多个目标物位于同一直线上相互重叠时,雷达所采集的多个目标物的投影是位于图像采集装置所采集的目标物的投影区域的同一位置上,造成雷达采集的多个目标物与图像采集装置的目标物误关联。
在两个不为同一目标物的目标物关联的情况下,会对两个并无关联的目标物的深度距离进行融合,导致计算出的深度距离的准确性较低。
为了提升两个目标物之间的关联准确性,以及保障计算出的深度距离的准确性。本公开提出在俯视平面中根据任意两个目标物之间的距离,得到任意两个目标物之间的第一关联权重;在透视图平面中,根据任意两个目标物之间的位置关系,得到任意两个目标物之间的第二关联权重;再综合考虑第一关联权重与第二关联权重,得到任意两个目标物之间的联合权重;最后将满足预设条件的联合权重进行关联。
在这个过程中,对于远距离的目标物或被遮挡的目标物而言,在图像采集装置与雷达采集的目标物在俯视平面的位置信息不准确的情况下,所得到的俯视平面中任意两个目标物之间的距离的可信度较低,得到的第一关联权重的可信度也较低。但是在透视平面中任意两个目标物之间在的位置关系是准确的,使得得到的任意两个目标物之间的位置关系的可信度较高,且得到的第二关联权重的可信度也较高。通过可信度较高的第二关联权重来对可信度较低的第一关联权重进行补偿,得到联合权重,可以提升得到的联合权重的可信度。
对于在同一直线上近距离的目标物而言,在雷达所采集的目标物的投影位于图像采集装置采集的目标物的投影区域的同一位置的情况下,所得到的透视图平面中任意两个目标物之间的位置关系的可信度较低,得到的第二关联权重的可信度较低。但是在俯视平面中任意两个目标物之间的距离是准确的,使得得到的任意两个目标物之间的距离的可信度较高,且得到的第一关联权重的可信度较高。通过可信度较高的第一关联权重来对可信度较低的第二关联权重进行补偿,得到联合权重,可以提升得到的联合权重的可信度。
在联合权重的可信度较高的情况下,依据联合权重来进行两个目标物之间的关联的准确性也较高,减少了误关联所带来的计算出的深度距离不准的问题。
图1是根据一示例性实施例示出的一种目标关联方法的流程图,如图1所示,目标关联方法用于自动驾驶车辆与终端等设备中,包括以下步骤。
在步骤S11中,在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重。
本公开中,在通过图像采集装置采集了目标物的图像之后,先将目标物在图像的像素坐标系中的坐标信息转换成目标物在相机坐标系的三维空间中的三维信息;再将目标物的三维信息从相机坐标系转移至车体坐标系中,得到图像采集装置采集的目标物在车体坐标系中的目标物信息。在通过雷达采集了目标物的图像之后,先得到目标物在毫米波雷达坐标系的二维空间的二维信息;再将目标物的二维信息从毫米波雷达坐标系转移至车体坐标系中,得到雷达采集的目标物在车体坐标系中的目标物信息。
由于俯视平面(BEV平面,Birds-Eye View)是位于车体坐标系中的,所以位于车体坐标系中的目标物信息无需再次进行坐标系的转换,可以直接将任意两个目标物在车体坐标系中的目标物信息投影在俯视平面上,根据目标物信息中的目标物的位置信息,来得到任意两个目标物的位置。
其中,图像采集装置采集的三维信息包括:目标物在三维空间中的位置、大小、朝向、速度与目标物标识等信息;图像采集装置所采集的目标物投影在俯视平面中的目标物信息包括:目标物的位置、大小、朝向与速度等信息。
雷达采集的二维信息包括:目标物在二维空间中的位置、速度、朝向、目标物标识等信息;雷达所采集的目标物投影在俯视平面中的目标物信息包括:目标物的位置与速度等信息。
雷达可以是激光雷达,由于雷达无法识别目标物的尺寸,所以雷达所采集的是目标物的二维信息,而无法采集目标物的尺寸信息。图像采集装置可以为摄像头,摄像头采集的是目标物的图像,可以依据目标物的图像来得到目标物在三维空间中的三维信息。
其中,在得到任意两个目标物在俯视平面上的位置信息之后,可以根据任意两个目标物的位置信息,来计算任意两个目标物之间的距离,以得到任意两个目标物之间的第一关联权重。
其中,第一关联权重表征了任意两个目标物在俯视平面上的相关性,任意两个目标物之间的距离越近,相关性越大,所得到的第一关联权重越大;任意两个目标物之间的距离越远,相关性越小,所得到的第一关联权重越小。
在步骤S12中,在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重。
本公开中,在将图像采集装置所采集的目标物的三维信息转换成车体坐标系下的目标物信息,将雷达所采集的目标物的二维信息转换成车体坐标系下的目标物信息之后,由于透视图平面是位于相机坐标系下的,所以还需要将位于车体坐标系中的目标物信息转换成位于相机坐标系下的目标物信息,才能得到任意两个目标物之间的位置关系。
其中,可以根据任意两个目标物在车体坐标系中的目标物信息、任意两个目标物所在的车体坐标系以及透视图平面所在的相机坐标系,将任意两个目标物的目标物信息投影在透视图平面,得到任意两个目标物之间的位置关系。具体可以将任意两个目标物在车体坐标系中的坐标转换成相机坐标系中的坐标。
其中,请参阅图3所示,将图像采集装置的目标物投影在透视图平面上是一个区域,在透视图平面中呈现的是目标物的外轮廓,例如目标物是正方体的情况下,将正方体投影在透视图平面上是一个正方形的外轮廓。由于雷达无法识别目标物的尺寸,所以可以按照后续提出的投影方法,将雷达采集的目标物投影在透视图平面上,呈现为一个点或者是一条线。
其中,第二关联权重表征了任意两个目标物在透视图平面上的相关性,任意两个目标物中,雷达采集的目标物在透视图平面上的投影区域,占据图像采集装置采集的目标物在透视图平面上的投影区域越多,相关性越大,所得到的第二关联权重越大;反之,则相关性越小,第二关联权重越小。
本公开中,在任意两个目标物之间的距离小于预设距离的情况下,根据任意两个目标物之间的位置关系,得到任意两个目标物之间的第二关联权重。
其中,在任意两个目标物之间的距离大于或等于预设距离的情况下,表明该两个目标物不为同一目标物,此时则无需继续进行第二关联权重的计算,减少了计算负荷;在任意两个目标物之间的距离小于预设距离的情况下,表明两个目标物可能为同一目标物,此时可以继续进行第二关联权重的计算,以进一步确定两个目标物是否为同一目标物。
在步骤S13中,根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重。
相关技术中,是从任意两个目标物之间的距离中,将距离最小的两个目标物进行关联,或者是将雷达采集的目标物的投影区域占据图像采集装置采集的目标物的投影区域的比例中,选择比例最大的两个目标物进行关联,两个技术之间相互独立,并未结合对方技术的优势来弥补自身技术的不足,从而容易导致两个目标物之间的误关联。
而本公开中引出了联合权重的概念,利用第一关联权重对第二关联权重进行补偿,来得到联合权重,避免了选择比例最大的两个目标物进行关联所导致的误关联;也可以利用第二关联权重来对第一关联权重进行补偿,来得到联合权重,避免了选择距离最小的两个目标物进行关联所导致的误关联。
其中,可以根据第一关联权重的第一系数与第一关联权重、第二关联权重的系数与第二关联权重,来得到联合权重。具体地,可以将第一系数与第一关联权重相乘后得到的数值,与第二系数与第二关联权重相乘后得到的数值相加,作为联合权重。
例如,在对远距离的目标物进行关联,或对具有遮挡的目标物进行关联的情况下,第一关联权重的可信度较低,第二关联权重的可信度较高,此时可以设置第一系数小于第二系数。如此,第二系数乘以第二关联权重后得到的数值更大,第一系数乘以第一关联权重后得到的数值更小,使得得到的联合权重受到第二关联权重的影响较大,而受到第一关联权重的影响较小,基于可信度更高的第二关联权重来对可信度较低的第一关联权重进行补偿,得到了可信度较高的联合权重。
又如,在对近距离的在同一直线上的目标物进行关联的情况下,第一关联权重的可信度较高,第二关联权重的可信度较低,此时可以设置第一系数大于第二系数。如此,第一系数乘以第一关联权重后得到的数值更大,第二系数乘以第二关联权重后得到的数值更小,使得得到的联合权重受到第一关联权重的影响较大,而受到第二关联权重的影响较小,基于可信度更高的第一关联权重来对可信度较低的第二关联权重进行补偿,得到了可信度较高的联合权重。
具体地,也可以从第一关联权重与第二关联权重中选择数值最大的关联权重,来作为联合权重。
例如,在对远距离的目标物进行关联,或对具有遮挡的目标物进行关联的情况下,由于透视图平面中任意两个目标物之间的位置关系是准确的,所以得到的为同一物体的两个目标物之间的第二关联权重往往较大,此时可以从第一关联权重与第二关联权重中,选择数值最大的关联权重,来作为联合权重,以表明两个目标物之间的相关性随着透视图平面中任意两个目标物之间的位置关系而变化。
又如,在对近距离的且位于同一直线上的目标物进行关联的情况下,由于俯视平面中任意两个目标物之间的位置关系是准确的,所以得到的为同一物体的两个目标物之间的第一关联权重往往较大,此时可以从第一关联权重与第二关联权重中,选择数值最大的关联权重,来作为联合权重,以表明两个目标物之间的相关性随着透视图平面中任意两个目标物之间的位置关系而变化。
其中,第一关联权重与第二关联权重相加后为固定不变的值,例如为1。
在步骤S14中,对满足预设条件的联合权重所对应的两个目标物进行关联。
本公开中,在得到任意两个目标物之间的联合权重之和,需要采取贪心算法或匈牙利算法,来从多个联合权重之中,得到目标联合权重,并将目标联合权重对应的两个目标物进行关联。
其中,预设条件随着算法的不同而不同,在采用贪心算法的情况下,预设条件则是预设值;在采用匈牙利算法的情况下,预设条件则是多个权重之和中最大的权重之和。
具体地,在采用贪心算法得到目标联合权重的情况下,可以先将多个联合权重中数值最大的联合权重与预设值比较,若大于预设值,则将该联合权重作为第一个目标联合权重;在确定了第一个目标联合权重之后,将目标联合权重对应的两个目标物,从剩余的任意两个目标物中剔除;再从剩余的任意两个目标物中,权重数值最大的联合权重再与预设值比较,若大于预设值,则将该联合权重作为第二个目标联合权重,如此反复迭代,直至图像采集装置采集得到的目标物与雷达采集得到的目标物之间一一关联。
例如,请参阅图4所示,位于当前车辆上的图像采集装置采集到前方有车辆A与车辆B,位于当前车辆上的雷达采集到前方有车辆1与车辆2。车辆A与车辆1之间的联合权重为0.8,车辆A与车辆2之间的联合权重为0.3,车辆B与车辆1之间的联合权重为0.2,车辆B与车辆2之间的联合权重为0.7,假设预设值为0.5。
将上面四个联合权重按照从小到大的顺序排列为:0.8、0.7、0.3、0.2,先将0.8与预设值比较,确定0.8大于0.5,则将车辆A与车辆1进行关联,将从车辆A与车辆1剔除后,图像采集装置所采集的目标物只剩车辆B,雷达采集的目标物只剩车辆2,所以将剩余的车辆B与车辆2进行关联。
具体地,在采用匈牙利算法得到目标联合权重的情况下,可以将得到的多个联合权重进行两两相加,得到多个权重之和,从多个权重之和中选择数值最大的权重之和作为目标权重之和,将目标权重之和所对应的多组目标对进行关联。
例如,具有四个联合权重0.8、0.7、0.3、0.2,将这四个联合权重两两相加后,得到1.5、1.1、1、1、0.9、0.5这六个权重之和,将首次得到的最大的权重之和1.5作为目标权重之和,将目标权重之和所对应的车辆A与车辆1进行关联,以及车辆B与车辆2进行关联。
其中,在存在有多个最大的权重之和的情况下,将首次计算得到的最大权重之和作为目标权重之和。
例如,在得到1与1这两个权重之和后,将首次得到的1所对应的多组目标对进行关联。
在一种可能的实施方式中,在对远距离且位于同一直线上的目标物进行关联,或在对目标物有遮挡且位于同一直线上的目标物进行关联的情况下,由于计算出的第一关联权重的可信度较低,第二关联权重的可信度也较低,最终得到的联合权重的可信度也较低,为了提升联合权重的可信度,还包括以下步骤:
在步骤S21中,在所述任意两个目标物的历史轨迹长度大于预设轨迹长度,且所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物的历史移动轨迹之间的距离,或根据所述任意两个目标物的移动速度之间的相似度,得到第三关联权重。
本公开中,图像采集装置与雷达不仅可以获取到目标物的目标物信息,还能确定目标物的历史移动轨迹,进而确定两个目标物的历史移动轨迹之间的距离;在得到了图像采集装置采集到的目标物在车体坐标系上的目标物信息以及雷达采集到的目标物在车体坐标系上的目标物信息之后,由于目标物信息中具有目标物的移动速度,所以可以从目标物信息中得到任意两个目标物的移动速度,再确定任意两个目标物的移动速度的相似度。
具体地,在采用任意两个目标物的历史移动轨迹之间的距离来得到第三关键权重的情况下,可以将任意两条历史移动轨迹上处于不同时刻上的多个距离进行加权平均,将加权平均后得到的距离作为任意两个历史移动轨迹之间的距离;再将任意两个历史移动轨迹之间的距离进行归一化,得到第三关联权重。
具体地,在采用任意两个目标物的移动速度之间的相似度,来得到第三关联权重的情况下,可以先计算任意两个目标物每一时刻的速度的余弦相似度,再将多个不同时刻下的余弦相似度进行加权平均,将加权平均后得到的余弦相似度作为第三联合权重。
其中,第三联合权重表征了任意两个目标物之间的相关性,相关性越大,表明两个目标物为同一目标物的可能性越高,第三联合权重越大;相关性越小,表明两个目标物为同一目标物的可能性越小,第三联合权重越小。
由于两个目标物的历史移动轨迹之间的距离越近,越说明两个目标物为同一目标物,且两个目标物的速度的相似度越高,越说明两个目标物为同一目标物,所以可以将任意两个目标物的历史移动轨迹之间的距离以及两个目标物的移动速度的相似度,来作为第三联合权重。
其中,对于车辆而言,在车辆移动的过程中,移动的历史轨迹长度往往较长,所以在任意两个目标物的历史轨迹长度小于或等于预设轨迹长度的情况下,说明系统可能计算错误,可以将历史轨迹长度小于或等于预设轨迹长度的目标物进行剔除,以保障在任意两个目标物的历史轨迹长度大于预设轨迹长度的情况下,才计算两个目标物之间的第三关联权重。预设轨迹长度可以为5cm,也可以为10cm,根据具体目标物一般情况下的历史移动轨迹来确定。
其中,在两个目标物之间的距离大于或等于预设距离的情况下,表明两个目标物之间并无关联,此时可以不计算两个目标物之间的第三关联权重,以减少计算损耗;在两个目标物之间的距离小于预设距离的情况下,表明两个目标物可能为同一目标物,此时为了进一步确定两个目标物是否为同一目标物,可以计算任意两个目标物之间的第三关联权重。预设距离也可以根据实际经验所确定,本公开在此不做限制。
在步骤S22中,根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重。
本公开中,可以根据第一关联权重的第一系数与第一关联权重、第二关联权重的第二系数与第二关联权重以及第三关联权重的第三系数与第三关联权重,得到联合权重。
其中,在根据关联权重以及关联权重对应的系数来得到联合权重的情况下,可以将第一系数乘以第一关联权重的数值,与第二系数乘以第二关联权重的数值,以及第三系数乘以第三关联权重的数值相加,得到联合权重。
例如,在图像采集装置与雷达所采集的远距离目标物的在俯视平面上的位置信息的准确性较低,导致投影在俯视平面上的第一关联权重的可信度较低的情况下,图像采集装置与雷达所采集的远距离目标物在透视图平面上的位置信息比较准确,且采集的两个目标物的历史移动轨迹也比较准确,此时可以控制第三系数与第二系数大于第一系数,以提高第二关联权重与第三关联权重的比例,使得计算出的联合权重受到第二关联权重与第三关联权重的影响性较大,而受到第一关联权重的影响性较小,以达到第二关联权重与第三关联权重对第一关联权重进行补偿的目的,计算出的联合权重的可信度更高。
例如,在图像采集装置与雷达所采集的近距离目标物存在相互重叠的情况下,导致投影在透视图平面上的第二关联权重的可信度较低的情况下,由于目标物距离较近,图像采集装置与雷达所采集的近距离目标物在俯视平面上的位置信息比较准确,且采集的两个目标物的历史移动轨迹也比较准确,此时可以控制第一系数与第三系数大于第二系数,以提高第一关联权重与第三关联权重的比例,使得计算出的联合权重受到第三关联权重与第一关联权重的影响性较大,而受到第二关联权重的影响性较小,以达到第一关联权重与第三关联权重对第二关联权重进行补偿的目的。
又如,在第一关联权重与第二关联权重的可信度均较低的情况下,可以提高第三系数,降低第一系数与第二系数,以通过第三关联权重来对第一关联权重与第二关联权重进行补偿。
本公开中,也可以从第一关联权重、第二关联权重以及第三关联权重中确定出数值最大的关联权重,将数值最大的关联权重作为联合权重。
例如,在对远距离目标物或有遮挡的不完整目标物进行关联的情况下,由于透视图平面中任意两个目标物之间的位置关系是准确的,任意两个目标物的历史移动轨迹也是准确的,所以得到的同为一个目标物的两个目标物的第二关联权重与第三关联权重往往较大,此时可以从以上三个关联权重中选择数值最大的关联权重,来作为联合权重。
又如,在对近距离的且位于同一直线上的目标物进行关联的情况下,由于俯视平面中任意两个目标物之间的位置关系是准确的,任意两个目标物的历史移动轨迹也是准确的,所以得到的为同一目标物的两个目标物之间的第一关联权重往往较大,此时可以从以上三个关联权重中,选择数值最大的关联权重,来作为联合权重。
其中,第一系数、第二系数以及第三系数的总和为固定值,例如可以为1。
通过本公开提出的目标关联方法,可以针对不同场景下的目标物(不同场景下的目标物包括:近距离被遮挡目标物、远距离目标物以及远距离被遮挡目标物),来调整第一系数、第二系数以及第三系数各自所占的比例,使得计算出任意两个目标物的联合权重的可信度更高,最终依据可信度较高的联合权重,也能够对两个目标物进行准确地关联。
在一种可能的实施方式中,可以通过以下步骤来确定任意两个目标物之间的第一关联权重:
在步骤S31中,将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置信息。
本公开中,俯视平面指的是水平上的平面,目标物投影在俯视平面上后,在俯视平面上可以得到任意两个目标物在横向上的轮廓,因此俯视平面上可以体现任意两个目标物之间的距离。
具体投影时,可以依据任意两个目标物的目标物信息中任意两个目标物的位置,以及任意两个目标物所在的坐标系,将任意两个目标物投影在俯视平面,得到任意两个目标物在俯视平面上的位置。
在确定出任意两个目标物所在的坐标系为车体坐标系,且俯视平面也为车体坐标系的情况下,则无需进行目标物信息的坐标系转换,直接将目标物投影在俯视平面上即可。
在步骤S32中,根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离。
本公开中,在任意两个目标物包括第一目标物与第二目标物,第一目标物通过图像采集装置采集得到,第二目标物通过雷达采集得到的情况下,可以根据所述第一目标物的中心位置与所述第二目标物之间的距离,或根据所述第一目标物的边缘位置与所述第二目标物之间的距离,确定所述任意两个目标物之间的距离。
请参阅图5所示,雷达采集的第二目标物投影在俯视平面上后,呈现为一个点,图像采集装置采集的第一目标物投影在俯视平面上后,为一个第三投影区域,例如,在第一目标物为椎体的情况下,第一目标物投影在俯视平面上则为一个矩形的投影区域。
其中,在确定第一目标物与第二目标物之间的距离时,可以将第一目标物的中心点与第二目标物之间的距离,作为任意两个目标物之间的距离;也可以将第一目标物靠近图像采集装置的一侧与第二目标物之间的距离,作为任意两个目标物之间的距离。
在步骤S33中,对所述任意两个目标物之间的距离进行归一化,得到所述第一关联权重。
本本公开中,在得到多个任意两个目标物之间的距离之后,可以将多个距离进行归一化,使得得到后的数值被分布在[0,1]的区间内,并作为第一关联权重。
在一种可能的实施方式中,可以通过以下步骤来确定任意两个目标物之间的第二关联权重:
在步骤S41中,将所述第一目标物投影在所述透视图平面,得到所述第一目标物的第一投影区域。
本公开中,透视图平面指的是将三维空间中的目标物投影到二维空间的平面上。在透视图平面上可以体现目标物纵向上的轮廓,因此透视图平面上可以体现第一目标物纵向的轮廓。
例如,在第一目标物为椎体的情况下,透视图平面上的第一投影区域是椎体的三角形轮廓。
在步骤S42中,将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域。
本公开中,雷达可以识别到周围有第二目标物,但是雷达无法采集第二目标物的高度信息,所以需要设置预设高度与预设高度范围,来截取第二目标物在预设高度上的点区域或预设高度范围上的线区域,进而通过该点区域与线区域代表该第二目标物,具体可以通过以下方式来得到第二目标物投影在透视图平面上的第二投影区域。
方式1:将所述第二目标物位于预设高度的区域,投影在所述透视图平面,得到所述点区域。
具体地,针对不同的第二目标物来设置不同的预设高度,来截取第二目标物在预设高度上的点,再将该点投影在透视图平面上得到点区域。
例如,对于大型车辆而言,以第一预设高度来截取大型车辆上的点;对于小型车辆而言,以第二预设高度来截取小型车辆上的点,第二预设高度小于第一预设高度。第一预设高度与第二预设高度可以为靠近各自对应的第二目标物顶部所在的高度。
方式2:将所述第二目标物位于预设高度范围的区域,投影在所述透视图平面,得到所述线区域。
具体地,针对不同的第二目标物来设置不同的预设高度范围,来截取第二目标物在预设高度范围上的竖直线,再将该竖直线投影在透视图平面上得到线区域。
例如,对于大型车辆而言,以第一预设高度范围来截取第一竖直线,对于小型车辆而言,以第二高度范围来截取第二竖直线。第一预设高度范围于第二预设高度范围可以为各自对应的第二目标物底部到第二目标物顶部的高度范围。
在步骤S43中,根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重。
方式3:在所述第二投影区域位于所述第一投影区域内的情况下,确定所述第二关联权重为第一预设权重;在所述第二投影区域位于所述第一投影区域外的情况下,确定所述第二关联权重为第二预设权重。
本公开中,第一预设权重可以为1,第二预设权重可以为0。
具体地,在点区域位于第一投影区域内的情况下,说明第一目标物与第二目标物可能为同一目标物,此时第二关联权重的数值可以为1,表明第一目标物与第二目标物的相关性较大;在点区域位于第一投影区域外的情况下,说明第一目标物与第二目标物不为同一目标物,此时第二关联权重的数值可以为0,表明第一目标物与第二目标物的相关性较小。
例如,请参阅图6所示,大型车辆的点投影在图像采集装置采集的大型车辆的第一投影区域A内,且位于图像采集装置采集的小型车辆的第一投影区域B外,表明大型车辆与图像采集装置采集的大型车辆很有可能为同一目标物,大型车辆与图像采集装置采集的小型车辆不为同一目标物。
方式4:将所述第二投影区域占据所述第一投影区域的比例,作为所述第二关联权重。
本公开中,第二投影区域占据第一投影区域的比例越大,表明第一目标物与第二目标物之间的相关性越大,第一目标物与第二目标物越有可能为同一目标物;第二投影区域占据第一投影区域的比例越小,表明第一目标物与第二目标物之间的相关性越小,第一目标物与第二目标物越不可能为同一目标物。
其中,第二投影区域占据第一投影区域的比例指的是第二投影区域占据第一投影区域高度上的比例。
例如,请参阅图7所示,小型车辆的线投影在大型车辆的第一投影区域C内,占据第一投影区域C的比例为30%;小型车辆的线投影在小型车辆的第一投影区域D内,占据第一投影区域D的比例为80%,此时可以将0.5作为小型车辆与大型车辆之间的第二关联权重,将0.8作为小型车辆与小型车辆之间的第二关联权重。
图8是根据一示例性实施例示出的一种目标关联装置的框图。参照图8,该目标关联装置120包括:第一关联权重确定模块121、第二关联权重确定模块122、第一联合权重确定模块123以及关联模块124。
第一关联权重确定模块121,被配置为在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;
第二关联权重确定模块122,被配置为在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,所述透视图平面与所述俯视平面所在的坐标系不同;
第一联合权重确定模块123,被配置为根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;
关联模块124,被配置为对满足预设条件的联合权重所对应的两个目标物进行关联;其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。
可选地,第一联合权重确定模块123被配置为:
第三关联权重确定模块,被配置为在所述任意两个目标物的历史轨迹长度大于预设轨迹长度,且所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物的历史移动轨迹之间的距离,或根据所述任意两个目标物的移动速度之间的相似度,得到第三关联权重;
第二联合权重确定模块,被配置为根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重。
可选地,第二联合权重确定模块包括:
第三联合权重确定模块,被配置为根据所述第一关联权重的第一系数与所述第一关联权重、所述第二关联权重的第二系数与第二关联权重以及所述第三关联权重的第三系数与第三关联权重,得到所述联合权重。
可选地,第二联合权重确定模块包括:
最大关联权重确定模块,被配置为从所述第一关联权重、第二关联权重以及所述第三关联权重中确定数值最大的关联权重;
第三联合权重确定模块,被配置为将所述数值最大的关联权重作为联合权重。
可选地,第一关联权重确定模块121包括:
位置信息确定模块,被配置为将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置信息;
第一距离确定模块,被配置为根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离;
归一化模块,被配置为对所述任意两个目标物之间的距离进行归一化,得到所述第一关联权重。
可选地,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;第一距离确定模块包括:
第二距离确定模块,被配置为根据所述第一目标物的中心位置与所述第二目标物之间的距离,或根据所述第一目标物的边缘位置与所述第二目标物之间的距离,确定所述任意两个目标物之间的距离。
可选地,目标关联装置120包括:
第一位置确定模块,被配置为根据所述任意两个目标物的目标物信息以及所述任意两个目标物所在的坐标系,将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置。
可选地,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;第二关联权重确定模块122包括:
第一投影区域确定模块,被配置为将所述第一目标物投影在所述透视图平面,得到所述第一目标物的第一投影区域;
第二投影区域确定模块,被配置为将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域;
第一子模块,被配置为根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重。
可选地,第一子模块包括:
第一预设权重确定模块,被配置为在所述第二投影区域位于所述第一投影区域内的情况下,确定所述第二关联权重为第一预设权重;
第二预设权重确定模块,被配置为在所述第二投影区域位于所述第一投影区域外的情况下,确定所述第二关联权重为第二预设权重。
可选地,第一子模块包括:
比例确定模块,被配置为将所述第二投影区域占据所述第一投影区域的比例,作为所述第二关联权重。
可选地,所述第二投影区域包括点区域,第二投影区域确定模块包括:
点区域确定模块,被配置为将所述第二目标物位于预设高度的区域,投影在所述透视图平面,得到所述点区域。
可选地,所述第二投影区域包括线区域,第二投影区域确定模块包括:
线区域确定模块,被配置为将所述第二目标物位于预设高度范围的区域,投影在所述透视图平面,得到所述线区域。
可选地,目标关联装置120包括:
第二位置确定模块,被配置为根据所述任意两个目标物的目标物信息、所述任意两个目标物所在的坐标系以及所述透视图平面所在的坐标系,将所述任意两个目标物投影在所述透视图平面,得到所述任意两个目标物之间的位置关系。
可选地,第二关联权重确定模块122包括:
第三子模块,被配置为在所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的目标关联方法的步骤。
上述装置除了可以是独立的电子设备外,也可是独立电子设备的一部分,例如在一种实施例中,该装置可以是集成电路(Integrated Circuit,IC)或芯片,其中该集成电路可以是一个IC,也可以是多个IC的集合;该芯片可以包括但不限于以下种类:GPU(GraphicsProcessing Unit,图形处理器)、CPU(Central Processing Unit,中央处理器)、FPGA(Field Programmable Gate Array,可编程逻辑阵列)、DSP(Digital Signal Processor,数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、SOC(System on Chip,SoC,片上系统或系统级芯片)等。上述的集成电路或芯片中可以用于执行可执行指令(或代码),以实现上述的目标关联方法。其中该可执行指令可以存储在该集成电路或芯片中,也可以从其他的装置或设备获取,例如该集成电路或芯片中包括处理器、存储器,以及用于与其他的装置通信的接口。该可执行指令可以存储于该存储器中,当该可执行指令被处理器执行时实现上述的目标关联方法;或者,该集成电路或芯片可以通过该接口接收可执行指令并传输给该处理器执行,以实现上述的目标关联方法。
参阅图9,图9是一示例性实施例示出的一种车辆600的功能框图示意图。车辆600可以被配置为完全或部分自动驾驶模式。例如,车辆600可以通过感知系统620获取其周围的环境信息,并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶,或者将分析结果呈现给用户以实现部分自动驾驶。
车辆600可包括各种子系统,例如,信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。可选的,车辆600可包括更多或更少的子系统,并且每个子系统都可包括多个部件。另外,车辆600的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中,信息娱乐系统610可以包括通信系统611,娱乐系统612以及导航系统613。
通信系统611可以包括无线通信系统,无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信系统可使用3G蜂窝通信,例如CDMA、EVD0、GSM/GPRS,或者4G蜂窝通信,例如LTE。或者5G蜂窝通信。无线通信系统可利用WiFi与无线局域网(wireless local area network,WLAN)通信。在一些实施例中,无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信系统,例如,无线通信系统可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统612可以包括显示设备,麦克风和音响,用户可以基于娱乐系统在车内收听广播,播放音乐;或者将手机和车辆联通,在显示设备上实现手机的投屏,显示设备可以为触控式,用户可以通过触摸屏幕进行操作。
在一些情况下,可以通过麦克风获取用户的语音信号,并依据对用户的语音信号的分析实现用户对车辆600的某些控制,例如调节车内温度等。在另一些情况下,可以通过音响向用户播放音乐。
导航系统613可以包括由地图供应商所提供的地图服务,从而为车辆600提供行驶路线的导航,导航系统613可以和车辆的全球定位系统621、惯性测量单元622配合使用。地图供应商所提供的地图服务可以为二维地图,也可以是高精地图。
感知系统620可包括感测关于车辆600周边的环境的信息的若干种传感器。例如,感知系统620可包括全球定位系统621(全球定位系统可以是GPS系统,也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit,IMU)622、激光雷达623、毫米波雷达624、超声雷达625以及摄像装置626。感知系统620还可包括被监视车辆600的内部系统的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆600的安全操作的关键功能。
全球定位系统621用于估计车辆600的地理位置。
惯性测量单元622用于基于惯性加速度来感测车辆600的位姿变化。在一些实施例中,惯性测量单元622可以是加速度计和陀螺仪的组合。
激光雷达623利用激光来感测车辆600所位于的环境中的物体。在一些实施例中,激光雷达623可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。
毫米波雷达624利用无线电信号来感测车辆600的周边环境内的物体。在一些实施例中,除了感测物体以外,毫米波雷达624还可用于感测物体的速度和/或前进方向。
超声雷达625可以利用超声波信号来感测车辆600周围的物体。
摄像装置626用于捕捉车辆600的周边环境的图像信息。摄像装置626可以包括单目相机、双目相机、结构光相机以及全景相机等,摄像装置626获取的图像信息可以包括静态图像,也可以包括视频流信息。
决策控制系统630包括基于感知系统620所获取的信息进行分析决策的计算系统631,决策控制系统630还包括对车辆600的动力系统进行控制的整车控制器632,以及用于控制车辆600的转向系统633、油门634和制动系统635。
计算系统631可以操作来处理和分析由感知系统620所获取的各种信息以便识别车辆600周边环境中的目标、物体和/或特征。目标可以包括行人或者动物,物体和/或特征可包括交通信号、道路边界和障碍物。计算系统631可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪等技术。在一些实施例中,计算系统631可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。计算系统631可以将所获取的各种信息进行分析并得出对车辆的控制策略。
整车控制器632可以用于对车辆的动力电池和引擎641进行协调控制,以提升车辆600的动力性能。
转向系统633可操作来调整车辆600的前进方向。例如在一个实施例中可以为方向盘系统。
油门634用于控制引擎641的操作速度并进而控制车辆600的速度。
制动系统635用于控制车辆600减速。制动系统635可使用摩擦力来减慢车轮644。在一些实施例中,制动系统635可将车轮644的动能转换为电流。制动系统635也可采取其他形式来减慢车轮644转速从而控制车辆600的速度。
驱动系统640可包括为车辆600提供动力运动的组件。在一个实施例中,驱动系统640可包括引擎641、能量源642、传动系统643和车轮644。引擎641可以是内燃机、电动机、空气压缩引擎或其他类型的引擎组合,例如汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎641将能量源642转换成机械能量。
能量源642的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源642也可以为车辆600的其他系统提供能量。
传动系统643可以将来自引擎641的机械动力传送到车轮644。传动系统643可包括变速箱、差速器和驱动轴。在一个实施例中,传动系统643还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮644的一个或多个轴。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651,处理器651可以执行存储在例如存储器652这样的非暂态计算机可读介质中的指令653。在一些实施例中,计算平台650还可以是采用分布式方式控制车辆600的个体组件或子系统的多个计算设备。
处理器651可以是任何常规的处理器,诸如商业可获得的CPU。可替换地,处理器651还可以包括诸如图像处理器(Graphic Process Unit,GPU),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、片上系统(System on Chip,SOC)、专用集成芯片(Application Specific Integrated Circuit,ASIC)或它们的组合。尽管图9功能性地图示了处理器、存储器、和在相同块中的计算机的其它元件,但是本领域的普通技术人员应该理解该处理器、计算机、或存储器实际上可以包括可以或者可以不存储在相同的物理外壳内的多个处理器、计算机、或存储器。例如,存储器可以是硬盘驱动器或位于不同于计算机的外壳内的其它存储介质。因此,对处理器或计算机的引用将被理解为包括对可以或者可以不并行操作的处理器或计算机或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,处理器只执行与特定于组件的功能相关的计算。
在本公开实施方式中,处理器651可以执行上述的目标关联方法。
在此处所描述的各个方面中,处理器651可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器652可包含指令653(例如,程序逻辑),指令653可被处理器651执行来执行车辆600的各种功能。存储器652也可包含额外的指令,包括向信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令653以外,存储器652还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在车辆600在自主、半自主和/或手动模式中操作期间被车辆600和计算平台650使用。
计算平台650可基于从各种子系统(例如,驱动系统640、感知系统620和决策控制系统630)接收的输入来控制车辆600的功能。例如,计算平台650可利用来自决策控制系统630的输入以便控制转向系统633来避免由感知系统620检测到的障碍物。在一些实施例中,计算平台650可操作来对车辆600及其子系统的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与车辆600分开安装或关联。例如,存储器652可以部分或完全地与车辆600分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图9不应理解为对本公开实施例的限制。
在道路行进的自动驾驶汽车,如上面的车辆600,可以识别其周围环境内的物体以确定对当前速度的调整。物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶汽车所要调整的速度。
可选地,车辆600或者与车辆600相关联的感知和计算设备(例如计算系统631、计算平台650)可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆600能够基于预测的识别的物体的行为来调整它的速度。换句话说,自动驾驶汽车能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)何种稳定状态。在这个过程中,也可以考虑其它因素来确定车辆600的速度,诸如,车辆600在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶汽车的速度的指令之外,计算设备还可以提供修改车辆600的转向角的指令,以使得自动驾驶汽车遵循给定的轨迹和/或维持与自动驾驶汽车附近的物体(例如,道路上的相邻车道中的车辆)的安全横向和纵向距离。
上述车辆600可以为各种类型的行驶工具,例如,轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、娱乐车、火车等等,本公开实施例不做特别的限定。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的目标关联方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种目标关联方法,其特征在于,所述方法包括:
在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;
在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重;
根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;
对满足预设条件的联合权重所对应的两个目标物进行关联;
其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重,包括:
在所述任意两个目标物的历史轨迹长度大于预设轨迹长度,且所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物的历史移动轨迹之间的距离,或根据所述任意两个目标物的移动速度之间的相似度,得到第三关联权重;
根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重,包括:
根据所述第一关联权重的第一系数与所述第一关联权重、所述第二关联权重的第二系数与第二关联权重以及所述第三关联权重的第三系数与第三关联权重,得到所述联合权重。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一关联权重、所述第二关联权重以及所述第三关联权重,得到所述联合权重,包括:
从所述第一关联权重、第二关联权重以及所述第三关联权重中确定数值最大的关联权重;
将所述数值最大的关联权重作为联合权重。
5.根据权利要求1所述的方法,其特征在于,所述在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重,包括:
将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置信息;
根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离;
对所述任意两个目标物之间的距离进行归一化,得到所述第一关联权重。
6.根据权利要求5所述的方法,其特征在于,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;
所述根据所述任意两个目标物的位置信息,确定所述任意两个目标物之间的距离,包括:
根据所述第一目标物的中心位置与所述第二目标物之间的距离,或根据所述第一目标物的边缘位置与所述第二目标物之间的距离,确定所述任意两个目标物之间的距离。
7.根据权利要求1所述的方法,其特征在于,所述任意两个目标物的位置通过以下步骤得到:
根据所述任意两个目标物的目标物信息以及所述任意两个目标物所在的坐标系,将所述任意两个目标物投影在所述俯视平面,得到所述任意两个目标物的位置。
8.根据权利要求1所述的方法,其特征在于,所述任意两个目标物包括第一目标物与第二目标物,所述第一目标物通过图像采集装置采集得到,所述第二目标物通过雷达采集得到;
所述在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,包括:
将所述第一目标物投影在所述透视图平面,得到所述第一目标物的第一投影区域;
将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域;
根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重。
9.根据权利要求8所述的方法,其特征在于,在所述第二投影区域为点区域的情况下,所述根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重,包括:
在所述第二投影区域位于所述第一投影区域内的情况下,确定所述第二关联权重为第一预设权重;
在所述第二投影区域位于所述第一投影区域外的情况下,确定所述第二关联权重为第二预设权重。
10.根据权利要求8所述的方法,其特征在于,在所述第二投影区域为线区域的情况下,所述根据所述第一投影区域与所述第二投影区域之间的位置关系,确定所述第二关联权重,包括:
将所述第二投影区域占据所述第一投影区域的比例,作为所述第二关联权重。
11.根据权利要求8所述的方法,其特征在于,所述第二投影区域包括点区域,所述将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域,包括:
将所述第二目标物位于预设高度的区域,投影在所述透视图平面,得到所述点区域。
12.根据权利要求8所述的方法,其特征在于,所述第二投影区域包括线区域,所述将所述第二目标物投影在所述透视图平面,得到所述第二目标物的第二投影区域,包括:
将所述第二目标物位于预设高度范围的区域,投影在所述透视图平面,得到所述线区域。
13.根据权利要求1所述的方法,其特征在于,所述任意两个目标物之间的位置关系通过以下步骤得到:
根据所述任意两个目标物的目标物信息、所述任意两个目标物所在的坐标系以及所述透视图平面所在的坐标系,将所述任意两个目标物投影在所述透视图平面,得到所述任意两个目标物之间的位置关系。
14.根据权利要求1所述的方法,其特征在于,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,包括:
在所述任意两个目标物之间的距离小于预设距离的情况下,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重。
15.一种目标关联装置,其特征在于,包括:
第一关联权重确定模块,被配置为在俯视平面中,根据任意两个目标物之间的距离,得到所述任意两个目标物之间的第一关联权重;
第二关联权重确定模块,被配置为在透视图平面中,根据所述任意两个目标物之间的位置关系,得到所述任意两个目标物之间的第二关联权重,所述透视图平面与所述俯视平面所在的坐标系不同;
第一联合权重确定模块,被配置为根据所述第一关联权重与所述第二关联权重,得到所述任意两个目标物之间的联合权重;
关联模块,被配置为对满足预设条件的联合权重所对应的两个目标物进行关联;
其中,所述任意两个目标物中的一个目标物通过图像采集装置采集得到,另一个目标物通过雷达采集得到。
16.一种目标关联装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
执行所述可执行指令以实现权利要求1~14任一项所述方法的步骤。
17.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1~14中任一项所述方法的步骤。
18.一种芯片,其特征在于,包括处理器和接口;所述处理器用于读取指令以执行权利要求1~14中任一项所述的方法。
CN202210837770.6A 2022-07-15 2022-07-15 目标关联方法、装置、可读存储介质及芯片 Active CN115222791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210837770.6A CN115222791B (zh) 2022-07-15 2022-07-15 目标关联方法、装置、可读存储介质及芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210837770.6A CN115222791B (zh) 2022-07-15 2022-07-15 目标关联方法、装置、可读存储介质及芯片

Publications (2)

Publication Number Publication Date
CN115222791A true CN115222791A (zh) 2022-10-21
CN115222791B CN115222791B (zh) 2023-08-15

Family

ID=83611579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210837770.6A Active CN115222791B (zh) 2022-07-15 2022-07-15 目标关联方法、装置、可读存储介质及芯片

Country Status (1)

Country Link
CN (1) CN115222791B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116007637A (zh) * 2023-03-27 2023-04-25 北京集度科技有限公司 定位装置、方法、车载设备、车辆、及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111709923A (zh) * 2020-06-10 2020-09-25 中国第一汽车股份有限公司 一种三维物体检测方法、装置、计算机设备和存储介质
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN114299417A (zh) * 2021-12-09 2022-04-08 连云港杰瑞电子有限公司 一种基于雷视融合的多目标跟踪方法
CN114488123A (zh) * 2022-02-09 2022-05-13 超级视线科技有限公司 一种雷达数据和相机数据融合方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111257866A (zh) * 2018-11-30 2020-06-09 杭州海康威视数字技术股份有限公司 车载摄像头和车载雷达联动的目标检测方法、装置及系统
US20200284883A1 (en) * 2019-03-08 2020-09-10 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device
CN111709923A (zh) * 2020-06-10 2020-09-25 中国第一汽车股份有限公司 一种三维物体检测方法、装置、计算机设备和存储介质
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN114299417A (zh) * 2021-12-09 2022-04-08 连云港杰瑞电子有限公司 一种基于雷视融合的多目标跟踪方法
CN114488123A (zh) * 2022-02-09 2022-05-13 超级视线科技有限公司 一种雷达数据和相机数据融合方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OLIVIER AYCARD ET.AL: "Intersection Safety using Lidar and Stereo Vision sensors", 《2011 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》, pages 863 - 869 *
陆峰 等: "基于DSmT理论的多视角融合目标检测识别", 《机器人》, vol. 40, no. 5, pages 723 - 733 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116007637A (zh) * 2023-03-27 2023-04-25 北京集度科技有限公司 定位装置、方法、车载设备、车辆、及计算机程序产品

Also Published As

Publication number Publication date
CN115222791B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN114779790B (zh) 识别障碍物方法、装置、车辆、服务器、存储介质及芯片
CN115100377B (zh) 地图构建方法、装置、车辆、可读存储介质及芯片
CN115147796A (zh) 评测目标识别算法的方法、装置、存储介质及车辆
CN115123257B (zh) 路面减速带位置识别方法、装置、车辆、存储介质及芯片
CN114842075B (zh) 数据标注方法、装置、存储介质及车辆
CN115265561A (zh) 车辆定位方法、装置、车辆及介质
CN115205365A (zh) 车辆距离检测方法、装置、车辆、可读存储介质及芯片
CN115220449A (zh) 路径规划的方法、装置、存储介质、芯片及车辆
CN115222791B (zh) 目标关联方法、装置、可读存储介质及芯片
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115100630B (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN115221151B (zh) 车辆数据的传输方法、装置、车辆、存储介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115082886B (zh) 目标检测的方法、装置、存储介质、芯片及车辆
CN115407344B (zh) 栅格地图创建方法、装置、车辆及可读存储介质
CN115082573B (zh) 参数标定方法、装置、车辆及存储介质
CN115139946B (zh) 车辆落水检测方法、车辆、计算机可读存储介质及芯片
CN114972824B (zh) 杆件检测方法、装置、车辆和存储介质
CN115063639B (zh) 生成模型的方法、图像语义分割方法、装置、车辆及介质
CN115179930B (zh) 车辆控制方法、装置、车辆及可读存储介质
CN114822216B (zh) 生成车位地图的方法、装置、车辆、存储介质及芯片
CN114877911B (zh) 路径规划方法、装置、车辆及存储介质
CN115205461B (zh) 场景重建方法、装置、可读存储介质及车辆
CN115082772B (zh) 地点识别方法、装置、车辆、存储介质及芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant