CN118172629A - 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质 - Google Patents

车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质 Download PDF

Info

Publication number
CN118172629A
CN118172629A CN202310362899.0A CN202310362899A CN118172629A CN 118172629 A CN118172629 A CN 118172629A CN 202310362899 A CN202310362899 A CN 202310362899A CN 118172629 A CN118172629 A CN 118172629A
Authority
CN
China
Prior art keywords
vehicle
detection
image acquisition
size
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310362899.0A
Other languages
English (en)
Inventor
蒋思凡
渚泽青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jianzhi Qiji Technology Co ltd
Original Assignee
Shanghai Jianzhi Qiji Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jianzhi Qiji Technology Co ltd filed Critical Shanghai Jianzhi Qiji Technology Co ltd
Priority to CN202310362899.0A priority Critical patent/CN118172629A/zh
Publication of CN118172629A publication Critical patent/CN118172629A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种车辆鸟瞰视图的融合方法，包括：获取车辆多个图像采集装置分别进行图像采集并进行对象检测处理得到的处理结果，多个图像采集装置采集图像的视场不同，在处理结果包括检测对象且检测对象位于多个图像采集装置视场交叠区域的情况下，计算检测对象的交并比，以及根据交并比对检测对象进行融合得到目标对象，并根据目标对象生成车辆鸟瞰视图。本发明由车身上多个图像采集装置分别进行图像采集并识别出图中车辆，当检测到的车辆位于多个图像采集装置视场交叠区域中时，通过计算图像识别结果的交并比融合得到目标车辆整体图像识别结果，据此生成车辆鸟瞰视图。根据交并比进行融合的方法降低了多个图像采集装置下多目标跟踪的算力需求。

Description

车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种车辆鸟瞰视图的融合方法、车辆和计算机可读存储介质。
背景技术
日益发展的自动驾驶技术对实时性有着较高的要求。目前，多摄像头介入的车辆跟踪技术采用数据级融合和目标级融合之间的特征级融合。然而在实际车辆行驶中，由于周围车辆行驶的随机性，多摄像头下的多目标跟踪需要利用复杂的神经网络与雷达等传感器，对算力及设备要求高，不利于中低端设备采用。
发明内容
本发明提供了一种车辆鸟瞰视图的融合方法、车辆和计算机可读存储介质。
本发明的车辆鸟瞰视图的融合方法，包括：
获取车辆多个图像采集装置分别进行图像采集并进行对象检测处理得到的处理结果，所述多个图像采集装置采集图像的视场不同；
在所述处理结果包括检测对象且所述检测对象位于多个所述图像采集装置视场交叠区域的情况下，计算所述检测对象的交并比；
根据所述交并比对所述检测对象进行融合得到目标对象；
根据所述目标对象生成车辆鸟瞰视图。
如此，本发明中车身上多个图像采集装置分别进行图像采集并识别出图中车辆，当检测到的车辆位于多个图像采集装置视场交叠区域中时，通过计算图像识别结果的交并比融合得到目标车辆整体图像识别结果，据此生成车辆鸟瞰视图，降低了多个图像采集装置下多目标跟踪的算力需求。
在某些实施方式中，所述获取车辆多个图像采集装置分别对图像进行采集并进行对象检测处理得到的处理结果，包括：
获取多个所述图像采集装置分别对同一时刻采集所述车辆周围环境的图像帧进行对象检测处理得到的所述处理结果。
车身不同位置上固定的多个图像采集装置，可分别在不同视角下采集车辆周围环境的图像帧，并可识别出图像帧内的车辆，图像识别结果为后续检测对象的交并比计算提供依据。
在某些实施方式中，所述在所述处理结果包括检测对象且所述检测对象位于多个所述图像采集装置视场交叠区域的情况下，计算所述检测对象的交并比，包括：
在所述视场交叠区域对应的多个所述图像采集装置中，确定每个所述图像采集装置的处理结果中位于所述视场交叠区域的所述目标对象的位置和尺寸；
根据所述检测对象的位置和尺寸计算所述检测对象的交并比。
如此，对存在于视场交叠区域中的车辆，确定该车辆在多个图像采集装置图像识别结果在对应图像帧中的位置和尺寸，能够通过图像识别结果在图像帧中的位置和尺寸信息计算交并比。
在某些实施方式中，所述根据所述检测对象的位置和尺寸计算所述检测对象的交并比，包括：
将每个所述检测对象的形状按预设方向拆解成多个三角形；
根据多个所述三角形的交点确定重叠三角形两两的重叠面积；
根据所述重叠面积计算所述检测对象的重叠总面积；
根据每个所述检测对象的面积和所述重叠总面积确定所述检测对象的合并面积；
根据所述合并面积和所述重叠总面积计算所述交并比。
如此，计算出视场交叠区域中的车辆的各图像采集装置下的图像识别边界框的交并比，交并比大小可用于后续的各图像采集装置相同车辆的图像匹配过程。
在某些实施方式中，所述根据所述交并比对所述检测对象进行融合得到目标对象，包括：
根据所述交并比建立二分图；
基于所述二分图匹配位于多个所述图像采集装置视场交叠区域的所述检测对象并融合得到所述目标对象。
如此，根据交并比建立的两个图像采集装置视场交叠区域二分图，二分图有助于建立各个图像采集装置采集到的车辆图像进行匹配，最终融合得到目标对象。
在某些实施方式中，所述根据所述交并比建立二分图的步骤之后，所述根据所述交并比对所述检测对象进行融合得到目标对象，包括：
根据所述交并比的类型确定比较阈值；
根据所述检测对象的距离和对应的所述交并比调整所述二分图的连接边。
如此，本发明中具有不同取值范围的交并比类型及其阈值可根据实际运用场景的精度需求进行选取。并同时考虑车辆距离和交并比达到阈值的情况确定二分图的连接边的保留或删除，精简了后续算法匹配二分图的过程，减少了时间和算力资源的浪费。
在某些实施方式中，所述基于所述二分图匹配位于多个所述图像采集装置视场交叠区域的所述检测对象并融合得到所述目标对象，包括：
使用预设算法对所述二分图进行匹配处理；
将匹配到的位于多个所述图像采集装置视场交叠区域的所述检测对象赋予相同的全局身份编码；
根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计；
根据综合投票估计的结果确定所述目标对象。
如此，二分图的算法匹配能够匹配多个摄像头视场交叠区域下同一车辆的图像，在对匹配为同一车辆的图像赋予相同全局身份编码后，根据计算所得的车辆位置和车辆图像的尺寸综合投票估计得出融合后整车图像识别边界框尺寸，最终可确定整车图像。
在某些实施方式中，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
获取历史帧估计的相同全局身份信息的所述检测对象的稳定性；
根据所述检测对象的稳定性确定所述检测对象的第一投票权重；
根据所述检测对象的第一投票权重和所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计。
如此，历史帧的稳定性影响该二分图连接线路在整车图像的边界框尺寸融合过程中的投票权重。历史帧稳定性强，则表示该车辆相对于摄像头所在车辆的位置变化不大，该二分图连接线路无需调整，第一投票权重越高，越能作为估测整车图像边界框尺寸的依据。
在某些实施方式中，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
获取相同全局身份信息的所述检测对象在对应图像帧的截断比例；
根据所述截断比例确定对应的所述检测对象的第一投票权重；
根据所述检测对象的第一投票权重和所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计。
如此，当前图像帧的截断比例影响该图像帧在整车图像的边界框尺寸融合过程中的投票权重。截断比例越低，则第一投票权重越高，越能作为估测整车图像边界框尺寸的依据。
在某些实施方式中，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
在相同全局身份信息的所述检测对象的朝向角度的角度差小于第一预设值，且交并比大于第二预设值的情况下，根据所述检测对象的朝向角度采用均值估算得到融合后所述目标对象的朝向角度。
如此，二分图匹配得到的一组具有相同全局身份信息两个车辆图像交并比较大，角度差较小，两个车辆图像置信度较高，整车图像的朝向角度可以直接采取均值估算的方法得到。设置关于角度差的第一预设值和关于交并比的第二预设值并通过预设值条件判断，直接跳转至均值计算能够简化图像融合的计算过程。
在某些实施方式中，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
在相同全局身份信息的所述检测对象的朝向角度的角度差大于第一预设值的情况下，根据所述检测对象在对应图像帧的截断比和检测面积确定所述检测对象的第二投票权重；
根据所述检测对象的第二投票权重和所述检测对象的朝向角度估算得到融合后所述目标对象的朝向角度。
如此，二分图匹配得到的一组具有相同全局身份信息两个车辆图像角度差较大，两个车辆图像重合程度低。设置关于角度差的第一预设值并需要结合图像帧的截断比例和图像识别中车辆图像边界框的面积融合计算，最终得到整车图像的朝向角度。使得在图像采集条件较差的情况下也能得到目标对象相对准确的朝向角度值。
在某些实施方式中，所述根据综合投票估计的结果确定所述目标对象，包括：
在综合投票估计的结果中，对融合后的所述目标对象的尺寸做最大外接矩形得到所述目标对象。
如此，经过上述综合投票过程后，融合得到的整车图像的尺寸及朝向角度的结果，得到整车图像的边界框，以便通过得到的整车图像边界框得到车辆鸟瞰视图。
本发明的车辆，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述车辆鸟瞰视图融合方法。
本发明的计算机可读存储介质，存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，实现上述车辆鸟瞰视图的融合方法。
本发明的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施方式的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本发明车辆鸟瞰视图的融合方法的流程示意图。
图2是本发明车辆多摄像头设置方式的示意图。
图3是本发明车辆图像相对位置示意图。
图4是本发明构建的一种二分图。
图5是本发明车辆图像匹配方法的流程示意图。
图6是本发明车辆图像融合方法的流程示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施方式进行详细的描述。以下实施方式仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。
在本文中提及“实施方式”意味着，结合实施方式描述的特定特征、结构或特性可以包含在本发明的至少一个实施方式中。在说明书中的各个位置出现该短语并不一定均是指相同的实施方式，也不是与其它实施方式互斥的独立的或备选的实施方式。本领域技术人员显式地和隐式地理解的是，本文所描述的实施方式可以与其它实施方式相结合。
请参阅图1，本发明提供一种车辆鸟瞰视图的融合方法，包括：
01：获取车辆多个图像采集装置分别进行图像采集并进行对象检测处理得到的处理结果；
02：在处理结果包括检测对象且检测对象位于多个图像采集装置视场交叠区域的情况下，计算检测对象的交并比；
03：根据交并比对检测对象进行融合得到目标对象；
04：根据目标对象生成车辆鸟瞰视图。
本发明还提供了一种车辆，车辆包括存储器和处理器。本发明的车辆鸟瞰视图的融合方法可以由本发明的车辆实现。具体地，存储器中存储有计算机程序，处理器用于获取车辆多个图像采集装置分别进行图像采集并进行对象检测处理得到的处理结果，并在处理结果包括检测对象且检测对象位于多个图像采集装置视场交叠区域的情况下，计算检测对象的交并比，以及根据交并比对检测对象进行融合得到目标对象，并根据目标对象生成车辆鸟瞰视图。
车辆的多个图像采集装置是指固定于车辆不同位置的摄像头，一般具有不同的视野和视场角。请参阅图2，在多摄像头车辆系统场景中，摄像头可见视野之间的画面可能有重叠，车辆周围的相同车辆可能会同时出现在两个不同的摄像机画面中。请参阅图2，目标1在两个摄像头视角的重叠处，每个摄像头在单一视角下都无法完整地感知到这辆车的整车信息，可称为存在截断。
交并比是图像识别结果两个边界框交集和并集之比，其中交集边界框和并集边界框均为区域。交并比的计算即为交集边界框面积大小与并集边界框大小的比值。
理论上，鸟瞰视图可以应用在数据级融合、特征级融合和目标级融合中，但由于自动驾驶技术对于实时性有着较高的要求，实现数据级融合和难度较高，相关技术中更多采用的是特征级融合。特征级融合需要同时以多个摄像头的特征图为输入，并需要利用复杂的神经网络与雷达等传感器，对算力及设备要求高，不利于实现低成本的实时性目标车辆跟踪。本发明的车辆鸟瞰视图的融合方法基于目标级融合，通过一系列改进方法，降低了多个图像采集装置下多目标跟踪的算力需求。
具体地，本发明提出的车辆鸟瞰视图的融合方法，适用于的多目标场景车辆，包括车身多个不同位置固定有摄像头的车辆。首先，车身上固定的多个图像采集装置，即摄像头，分别在不同视角下对车辆周围进行拍摄，并对图像进行对象检测处理识别出图像中的车辆。当图像识别结果包含车辆，且该车辆处在多个摄像头视场的交叠区域时，计算该车辆在多个摄像头中俯视图下的交并比，并根据交并比对所有属于同一车辆的车辆图像进行融合，最终根据融合后的整车图像得到车辆鸟瞰视图。其中，交并比的计算及检测对象融合过程将在下文中详细说明。
综上所述，如此，本发明中车身上多个图像采集装置分别进行图像采集并识别出图中车辆，当检测到的车辆位于多个图像采集装置视场交叠区域中时，通过计算图像识别结果的交并比融合得到目标车辆整体图像识别结果，据此生成车辆鸟瞰视图。根据交并比进行融合的方法降低了多个图像采集装置下多目标跟踪的算力需求。
请参阅图2，在某些实施方式中，步骤01还包括：
011：获取多个图像采集装置分别对同一时刻采集车辆周围环境的图像帧进行对象检测处理得到的处理结果。
在某些实施方式中，处理器用于获取多个图像采集装置分别对同一时刻采集车辆周围环境的图像帧进行对象检测处理得到的处理结果。
具体地，车身不同位置上固定的多个图像采集装置，即摄像头，可分别在不同视角下对车辆周围进行拍摄，以采集车辆周围环境的图像帧。随后，摄像头可对采集到的图像帧进行对象检测处理，识别出图像中是否存在车辆，并相继通过外参矩阵和内参矩阵的映射处理得到的处理结果。每个摄像头的处理结果都包含了该摄像头的独立的目标车辆位置和相对自车的坐标距离，以及该视野下的目标车辆长宽、速度等特征属性，图像帧的处理结果包括完整的车辆图像或车辆部分图像俯视图下的图像识别边界框，边界框通常为矩形。得到的车辆图像的图像识别边界框，即图像检测的处理结果。
如此，车身不同位置上固定的多个图像采集装置，可分别在不同视角下采集车辆周围环境的图像帧，并可识别出图像帧内的车辆，图像识别结果为后续检测对象的交并比计算提供依据。
请参阅图2，在某些实施方式中，步骤02还包括：
021：在视场交叠区域对应的多个图像采集装置中，确定每个图像采集装置的处理结果中位于视场交叠区域的目标对象的位置和尺寸；
022：根据检测对象的位置和尺寸计算检测对象的交并比。
在某些实施方式中，处理器用于在视场交叠区域对应的多个图像采集装置中，确定每个图像采集装置的处理结果中位于视场交叠区域的目标对象的位置和尺寸，并根据检测对象的位置和尺寸计算检测对象的交并比。
具体地，当图像识别结果包含车辆，且该车辆处在多个摄像头视场的交叠区域时，在交叠区域中确定每个摄像头对象检测处理产生的处理结果，处理结果可包括完整的车辆图像或车辆部分图像俯视图下的图像识别边界框，边界框通常为矩形。确定处理得到的图像识别边界框在视场交叠区域中的位置和尺寸，最后可以通过在测距测速后的真实坐标系位置结合测量出的长宽来进行车辆交并比的计算。计算交并比的具体过程将在下文详细说明。
如此，对存在于视场交叠区域中的车辆，确定该车辆在多个图像采集装置图像识别结果在对应图像帧中的位置和尺寸，能够通过图像识别结果在图像帧中的位置和尺寸信息计算交并比。
请参阅图3，在某些实施方式中，步骤021包括：
0221：将每个检测对象的形状按预设方向拆解成多个三角形；
0222：根据多个三角形的交点确定重叠三角形两两的重叠面积；
0223：根据重叠面积计算检测对象的重叠总面积；
0224：根据每个检测对象的面积和重叠总面积确定检测对象的合并面积；
0225：根据合并面积和重叠总面积计算交并比。
在某些实施方式中，处理器用于将每个检测对象的形状按预设方向拆解成多个三角形，根据多个三角形的交点确定重叠三角形两两的重叠面积，根据重叠面积计算检测对象的重叠总面积，根据每个检测对象的面积和重叠总面积确定检测对象的合并面积，以及根据合并面积和重叠总面积计算交并比。
在实际场景中，同一车辆在不同摄像头下拍摄的图像的相对位置可能不处于相对水平或垂直的状态，故需要通过更普适的方法计算交并比。具体地，图3展示了不同摄像头检测结果投射到自车坐标系的俯视图时可能出现的情况，将对视场交叠区域中的车辆进行图像识别的结果，即两个图像识别边界框，按预设的顺时针或逆时针方向分别拆解成多个三角形，例如，每个矩形可以拆解为两个三角形。针对一个边界框中每个三角形的顶点和另一边界框中每个三角形重叠面积，确定一个边界框中每个三角形顶点和另一边界框中每个三角形的矢量边的位置关系，即可以是一个边界框中的三角形顶点在另一边界框三角形边左侧面积计算为负值，右边面积计算为正值。随后通过一个边界框中每个三角形的顶点和另一边界框中每个三角形矢量边的位置关系以交点坐标计算对应的重叠三角形两两重叠的面积，并将两两重叠部分面积相加即得到重叠部分总面积。
然后根据每个检测对象的面积和重叠部分总面积计算检测对象的合并面积，例如将每个检测对象的面积之和减去重叠部分总面积得到检测对象的合并面积。
本发明对于识别出车辆图像的边界框的合并面积与重叠面积的计算方法不做具体限定。交并比即为计算出的重叠面积与合并面积之比。
如此，计算出视场交叠区域中的车辆的各图像采集装置下的图像识别边界框的交并比，交并比大小可用于后续的各图像采集装置相同车辆的图像匹配过程。
请参阅图2、图4及图5，在某些实施方式中，步骤03还包括：
031：根据交并比建立二分图；
032：基于二分图匹配位于多个图像采集装置视场交叠区域的检测对象并融合得到目标对象。
在某些实施方式中，处理器用于根据交并比建立二分图，以及基于二分图匹配位于多个图像采集装置视场交叠区域的检测对象并融合得到目标对象。
请参阅图4，在上述步骤中计算出交并比后，来自两个摄像头的车辆信息可以组成二分图。请参阅图4，在某些实施方式中，具体地，二分图中A和C是两个独立的点集，代表实际场景中两个视场交叠的摄像头。A和C中所有点均代表相应摄像头对拍摄到的各个车辆对象检测处理产生的处理结果，即含有位置和尺寸信息的图像识别矩形边界框。二分图的边，即独立点集A和C之间的连线上的数字代表该组图像识别矩形边界框的交并比。
进一步地，基于上述根据交并比建立的两个图像采集装置视场交叠区域二分图，依次对车辆图像进行匹配。请参阅图2及图5，多摄像头车辆中，对于具有不同视场的6个摄像头，将不同摄像头拍摄到的属于同一车辆的图像进行匹配，可以采取的其中一种匹配顺序，最终融合得到该车辆完整图像。图像融合步骤将在下文详细叙述。
如此，根据交并比建立的两个图像采集装置视场交叠区域二分图，二分图有助于建立各个图像采集装置采集到的车辆图像进行匹配，最终融合得到目标对象。
请参阅图4，在某些实施方式中，本发明的融合方法中，步骤031之后，还包括：
033：根据交并比的类型确定比较阈值；
034：根据检测对象的距离和对应的交并比调整二分图的连接边。
在某些实施方式中，处理器用于根据交并比的类型确定比较阈值，以及根据检测对象的距离和对应的交并比调整二分图的连接边。
交并比除了本发明中采用的两个图像识别边界框交集和并集之比，即IoU(Intersection over union)，还可以采用GIoU(Generalized IoU)。在不同类型交并比的计算中，IoU只关注重叠区域不同，GIoU除了重叠区域还关注其他的非重合区域，能更好地反映两个边界框的重合度。除此之外，本发明还可以使用其他类型的交并比计算方法，如DIoU(Distance-IoU)和CIoU(Complete-IoU)。
具体地，不同类型的交并比具有不同的取值范围，例如，IoU取值为[0,1]，GIoU有对称区间，取值范围[-1,1]，而CIoU取值为[0,2]。不同类型的交并比可选择不同的阈值，在本发明的某些实施方式中，可采用IoU阈值为0.5，则对于在前文根据交并比建立的二分图中独立点集A和C之间的连线上，数字大于0.5表示匹配状态良好，低于阈值的代表该组图像识别矩形边界框相关性较低，即可能分别属于不同车辆。此时可以通过计算此二分图连接边两端表示车辆的距离并综合交并比来确定是否将该二分图连接边删除。在图4所示的二分图中，值为0.1、0.45、0.2、0.3的连接线在交并比阈值为0.5时需要被删除。
如此，本发明中具有不同取值范围的交并比类型及其阈值可根据实际运用场景的精度需求进行选取。并同时考虑车辆距离和交并比达到阈值的情况确定二分图的连接边的保留或删除，精简了后续算法匹配二分图的过程，减少了时间和算力资源的浪费。
请参阅图6，在某些实施方式中，步骤033包括：
0321：使用预设算法对二分图进行匹配处理；
0322：将匹配到的位于多个图像采集装置视场交叠区域的检测对象赋予相同的全局身份编码；
0323：根据相同全局身份信息和检测对象的尺寸做融合后目标对象的尺寸的综合投票估计；
0324：根据综合投票估计的结果确定目标对象。
在某些实施方式中，处理器用于使用匈牙利算法对二分图进行匹配处理，并将匹配到的位于多个图像采集装置视场交叠区域的检测对象赋予相同的全局身份编码，以及根据相同全局身份信息的检测对象的尺寸做融合后目标对象的尺寸的综合投票估计，并根据综合投票估计的结果确定目标对象。
对二分图的匹配处理是指，设G为一个二分图，若在G的子图M中，任意两条连接边都没有公共节点，称M是二分图G的一组匹配。
进一步地，在二分图中，包含连接边数量最多的一组匹配称为二分图的最大匹配。由一组匹配求得最大匹配的过程需要通过预设算法来实现，本发明的某些实施方案中，可使用匈牙利算法，即通过不断查找增广路求最大匹配的方法。查找增广路基本原理即是，对于二分图G中一种匹配M，从匹配M外的一个未匹配点依次经过非匹配边和匹配边，若能够到达另一个为匹配点，则该路线为增广路。本发明使用的二分图的匹配算法包括匈牙利算法或其他算法，在此不作限定。
二分图的匹配处理完成后，具体地，将位于多个摄像头视场交叠区域的车辆的图像进行匹配，并赋予代表同一车辆的相同全局身份编码。而后根据具有相同全局身份信息的车辆图像的长、宽、高信息做融合后整车图像识别边界框的长、宽、高信息综合投票估计，最后根据综合投票估计结果确定整车图像。不同场景下综合投票估计方法将在下文中详细说明。
如此，二分图的算法匹配能够匹配多个摄像头视场交叠区域下同一车辆的图像，在对匹配为同一车辆的图像赋予相同全局身份编码后，根据计算所得的车辆位置和车辆图像的尺寸综合投票估计得出融合后整车图像识别边界框尺寸，最终可确定整车图像。
请参阅图6，在某些实施方式中，步骤0333包括：
03231：获取历史帧估计的相同全局身份信息的检测对象的稳定性；
03232：根据检测对象的稳定性确定检测对象的第一投票权重；
03233：根据检测对象的第一投票权重和检测对象的尺寸做融合后目标对象的尺寸的综合投票估计。
在某些实施方式中，处理器用于获取历史帧估计的相同全局身份信息的检测对象的稳定性，并根据检测对象的稳定性确定检测对象的第一投票权重，以及根据检测对象的第一投票权重和检测对象的尺寸做融合后目标对象的尺寸的综合投票估计。
历史帧包括当前时刻之前一段时间内，车辆存储器存储的一段时间内各摄像头采集的图像帧。
第一投票权重是根据车辆图像相关情况在融合信息过程中得到融合后整车图像尺寸时，二分图中每一端点所占权重。
具体地，车辆车身上各个摄像头采集的周围车辆图像帧保存在车辆存储器中。历史帧进行二分图匹配后得到的相同全局身份信息的车辆图像具有较高稳定性，即在历史帧中，该车辆相对摄像头所在车辆的位置变化不大，一直可以通过同一个或相同的多个摄像头进行识别，且二分图的路线无需调整。
确定二分图中各路第一投票权重后，根据摄像头拍摄的车辆图像的第一投票权重和车辆图像的尺寸做融合后，对整车图像边界框的尺寸进行综合投票估计。
如此，历史帧的稳定性影响该二分图连接线路在整车图像的边界框尺寸融合过程中的投票权重。历史帧稳定性强，则表示该车辆相对于摄像头所在车辆的位置变化不大，该二分图连接线路无需调整，第一投票权重越高，越能作为估测整车图像边界框尺寸的依据。
请参阅图6，在某些实施方式中，步骤0333还包括：
03234：获取相同全局身份信息的检测对象在对应图像帧的截断比例；
03235：根据截断比例确定对应的检测对象的第一投票权重；
03236：根据检测对象的第一投票权重和检测对象的尺寸做融合后目标对象的尺寸的综合投票估计。
在某些实施方式中，处理器用于获取相同全局身份信息的检测对象在对应图像帧的截断比例，并根据截断比例确定对应的检测对象的第一投票权重，以及据检测对象的第一投票权重和检测对象的尺寸做融合后目标对象的尺寸的综合投票估计。
图像帧的截断比例指，当前每个摄像头在单一视角下都无法完整地感知到这辆车的整车信息的情况下，被截断在摄像头视场外的图像区域占整车图像的比例。
第一投票权重是根据车辆图像相关情况在融合信息过程中得到融合后整车图像尺寸时，二分图中每一端点所占权重。
具体地，当被拍摄的车辆行驶到摄像头视场交叠区域时，每个摄像头在单一视角下都无法完整的感知到具有相同全局身份信息车辆的整车信息，车辆图像画面存在截断。截断比例越高，则表示被拍摄的车辆在该摄像头视场内的部分越小。因此，截断比例越小，第一投票权重越高。
确定二分图中各路第一投票权重后，根据摄像头拍摄的车辆图像的第一投票权重和车辆图像的尺寸做融合后，对整车图像边界框的尺寸进行综合投票估计。
如此，当前图像帧的截断比例影响该图像帧在整车图像的边界框尺寸融合过程中的投票权重。截断比例越低，则第一投票权重越高，越能作为估测整车图像边界框尺寸的依据。
请参阅图6，在某些实施方式中，步骤0323包括：
03237：在相同全局身份信息的检测对象的朝向角度的角度差小于第一预设值，且交并比大于第二预设值的情况下，根据检测对象的朝向角度采用均值估算得到融合后目标对象的朝向角度。
在某些实施方式中，处理器用于在相同全局身份信息的检测对象的朝向角度的角度差小于第一预设值，且交并比大于第二预设值的情况下，根据检测对象的朝向角度采用均值估算得到融合后目标对象的朝向角度。
第二投票权重是根据车辆图像相关情况在融合信息过程中得到融合后整车图像朝向角度时，二分图中每一端点所占权重。
具体地，对于二分图中匹配成功具有相同全局身份信息的两个车辆图像，若检测到其角度差小于一定角度，即小于关于角度差的第一预设值，且此两个图像的交并比大于一定值，即大于关于交并比的第二预设值时，由于二分图匹配得到的一组两个车辆图像置信度较高，整车图像的朝向角度可以直接采取均值估算的方法得到。
如此，二分图匹配得到的一组具有相同全局身份信息两个车辆图像交并比较大，角度差较小，两个车辆图像置信度较高，整车图像的朝向角度可以直接采取均值估算的方法得到。设置关于角度差的第一预设值和关于交并比的第二预设值并通过预设值条件判断，直接跳转至均值计算能够简化图像融合的计算过程。
请参阅图6，在某些实施方式中，步骤0333包括：
03238：在相同全局身份信息的检测对象的朝向角度的角度差大于第一预设值的情况下，根据检测对象在对应图像帧的截断比例和检测面积确定检测对象的第二投票权重；
03239：根据检测对象的第二投票权重和检测对象的朝向角度估算得到融合后目标对象的朝向角度。
在某些实施方式中，处理器用于在相同全局身份信息的检测对象的朝向角度的角度差小于第一预设值，根据检测对象在对应图像帧的截断比和检测面积确定检测对象的第二投票权重，以及根据检测对象的第二投票权重和检测对象的朝向角度估算得到融合后目标对象的朝向角度。
第二投票权重是根据车辆图像相关情况在融合信息过程中得到融合后整车图像朝向角度时，二分图中每一端点所占权重。
具体地，对于二分图中匹配成功具有相同全局身份信息的两个车辆图像，若检测到其角度差大于一定角度，即大于关于角度差的第二预设值时，由于二分图匹配得到的一组两个车辆图像置信度较低，若直接采取均值估算的方法得到整车图像的朝向角度则可能不够准确。此时需要引入对应图像帧的截断比例和图像识别中车辆图像边界框的面积共同确定检测对象的第二投票权重。
确定二分图中各路第二投票权重后，根据摄像头拍摄的车辆图像的第二投票权重估算得到整车图像的朝向角度。
如此，二分图匹配得到的一组具有相同全局身份信息两个车辆图像角度差较大，两个车辆图像重合程度低。设置关于角度差的第一预设值并需要结合图像帧的截断比例和图像识别中车辆图像边界框的面积融合计算，最终得到整车图像的朝向角度。使得在图像采集条件较差的情况下也能得到目标对象相对准确的朝向角度值。
在某些实施方式中，步骤0334包括：
03241：在综合投票估计的结果中，对融合后的目标对象的尺寸做最大外接矩形得到目标对象。
在某些实施方式中，处理器用于在综合投票估计的结果中，对融合后的目标对象的尺寸做最大外接矩形得到目标对象。
具体地，经过上述综合投票过程后，融合得到的整车图像的尺寸及朝向角度的结果，做其外接矩形得到整车图像的边界框。
如此，经过上述综合投票过程后，融合得到的整车图像的尺寸及朝向角度的结果，得到整车图像的边界框，以便通过得到的整车图像边界框得到车辆鸟瞰视图。
本发明还提供了一种计算机可读存储介质，存储有计算机程序，当计算机程序被一个或多个处理器执行时，实现上述车辆鸟瞰视图的融合方法。
在本说明书的描述中，参考术语“上述”、“具体地”、“进一步地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不预定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (14)

1.一种车辆鸟瞰视图的融合方法，其特征在于，包括：
获取车辆多个图像采集装置分别进行图像采集并进行对象检测处理得到的处理结果，所述多个图像采集装置采集图像的视场不同；
在所述处理结果包括检测对象且所述检测对象位于多个所述图像采集装置视场交叠区域的情况下，计算所述检测对象的交并比；
根据所述交并比对所述检测对象进行融合得到目标对象；
根据所述目标对象生成车辆鸟瞰视图。
2.根据权利要求1所述的车辆鸟瞰视图的融合方法，其特征在于，所述获取车辆多个图像采集装置分别对图像进行采集并进行对象检测处理得到的处理结果，包括：
获取多个所述图像采集装置分别对同一时刻采集所述车辆周围环境的图像帧进行对象检测处理得到的所述处理结果。
3.根据权利要求1所述的车辆鸟瞰视图的融合方法，其特征在于，所述在所述处理结果包括检测对象且所述检测对象位于多个所述图像采集装置视场交叠区域的情况下，计算所述检测对象的交并比，包括：
在所述视场交叠区域对应的多个所述图像采集装置中，确定每个所述图像采集装置的处理结果中位于所述视场交叠区域的所述目标对象的位置和尺寸；
根据所述检测对象的位置和尺寸计算所述检测对象的交并比。
4.根据权利要求3所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据所述检测对象的位置和尺寸计算所述检测对象的交并比，包括：
将每个所述检测对象的形状按预设方向拆解成多个三角形；
根据多个所述三角形的交点确定重叠三角形两两的重叠面积；
根据所述重叠面积计算所述检测对象的重叠总面积；
根据每个所述检测对象的面积和所述重叠总面积确定所述检测对象的合并面积；
根据所述合并面积和所述重叠总面积计算所述交并比。
5.根据权利要求1所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据所述交并比对所述检测对象进行融合得到目标对象，包括：
根据所述交并比建立二分图；
基于所述二分图匹配位于多个所述图像采集装置视场交叠区域的所述检测对象并融合得到所述目标对象。
6.根据权利要求5所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据所述交并比建立二分图的步骤之后，所述根据所述交并比对所述检测对象进行融合得到目标对象，包括：
根据所述交并比的类型确定比较阈值；
根据所述检测对象的距离和对应的所述交并比调整所述二分图的连接边。
7.根据权利要求5所述的车辆鸟瞰视图的融合方法，其特征在于，所述基于所述二分图匹配位于多个所述图像采集装置视场交叠区域的所述检测对象并融合得到所述目标对象，包括：
使用预设算法对所述二分图进行匹配处理；
将匹配到的位于多个所述图像采集装置视场交叠区域的所述检测对象赋予相同的全局身份编码；
根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计；
根据综合投票估计的结果确定所述目标对象。
8.根据权利要求7所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
获取历史帧估计的相同全局身份信息的所述检测对象的稳定性；
根据所述检测对象的稳定性确定所述检测对象的第一投票权重；
根据所述检测对象的第一投票权重和所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计。
9.根据权利要求7所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
获取相同全局身份信息的所述检测对象在对应图像帧的截断比例；
根据所述截断比例确定对应的所述检测对象的第一投票权重；
根据所述检测对象的第一投票权重和所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计。
10.根据权利要求7所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
在相同全局身份信息的所述检测对象的朝向角度的角度差小于第一预设值，且交并比大于第二预设值的情况下，根据所述检测对象的朝向角度采用均值估算得到融合后所述目标对象的朝向角度。
11.根据权利要求7所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据相同全局身份信息的所述检测对象的尺寸做融合后所述目标对象的尺寸的综合投票估计，包括：
在相同全局身份信息的所述检测对象的朝向角度的角度差大于第一预设值的情况下，根据所述检测对象在对应图像帧的截断比和检测面积确定所述检测对象的第二投票权重；
根据所述检测对象的第二投票权重和所述检测对象的朝向角度估算得到融合后所述目标对象的朝向角度。
12.根据权利要求7所述的车辆鸟瞰视图的融合方法，其特征在于，所述根据综合投票估计的结果确定所述目标对象，包括：
在综合投票估计的结果中，对融合后的所述目标对象的尺寸做最大外接矩形得到所述目标对象。
13.一种车辆，其特征在于，所述车辆包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1-12任一项所述的车辆鸟瞰视图的融合方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，实现如权利要求1-12任一项所述的车辆鸟瞰视图的融合方法。
CN202310362899.0A 2023-04-04 2023-04-04 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质 Pending CN118172629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310362899.0A CN118172629A (zh) 2023-04-04 2023-04-04 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310362899.0A CN118172629A (zh) 2023-04-04 2023-04-04 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN118172629A true CN118172629A (zh) 2024-06-11

Family

ID=91357354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310362899.0A Pending CN118172629A (zh) 2023-04-04 2023-04-04 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN118172629A (zh)

Similar Documents

Publication Publication Date Title
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
EP3346418A1 (en) Method and system for vehicle localization from camera image
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
US8503730B2 (en) System and method of extracting plane features
WO2012155121A2 (en) Systems and methods for estimating the geographic location at which image data was captured
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
CN111583118B (zh) 图像拼接方法、装置、存储介质及电子设备
CN115273034A (zh) 一种基于车载多传感器融合的交通目标检测与跟踪方法
CN113450390B (zh) 一种基于路侧摄像头的目标跟踪方法、装置及电子设备
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114663471A (zh) 一种目标跟踪方法、装置及计算机可读存储介质
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
CN113450389B (zh) 一种目标跟踪方法、装置及电子设备
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
CN114092850A (zh) 重识别方法、装置、计算机设备和存储介质
CN118172629A (zh) 车辆鸟瞰视图的融合方法、车辆及计算机可读存储介质
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN113256574B (zh) 一种三维目标检测方法
CN114283401A (zh) 障碍物识别方法和装置以及驾驶方法和装置
CN116245730A (zh) 图像拼接的方法、装置、设备以及存储介质
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN113326715B (zh) 一种目标关联方法及装置
CN113011212B (zh) 图像识别方法、装置及车辆
Haoran et al. MVM3Det: a novel method for multi-view monocular 3D detection
Bonin-Font et al. A monocular mobile robot reactive navigation approach based on the inverse perspective transformation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination