CN113869422B - 多相机目标匹配方法、系统、电子设备及可读存储介质 - Google Patents
多相机目标匹配方法、系统、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113869422B CN113869422B CN202111151369.9A CN202111151369A CN113869422B CN 113869422 B CN113869422 B CN 113869422B CN 202111151369 A CN202111151369 A CN 202111151369A CN 113869422 B CN113869422 B CN 113869422B
- Authority
- CN
- China
- Prior art keywords
- target
- calculating
- area
- camera
- projection overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 45
- 238000013507 mapping Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种多相机目标匹配方法、系统、电子设备及可读存储介质，该方法包括：确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项。本发明提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
Description
技术领域
本发明涉及智能驾驶技术领域，具体涉及一种多相机目标匹配方法、系统、电子设备及可读存储介质。
背景技术
为了实现自动驾驶车辆的全方位视觉感知，需要在自动驾驶车辆不同角度安装多个摄像头。多相机融合匹配跟踪能解决大部分单相机存在的诸如目标遮挡、暂时消失、快速运动、相似外观等问题。而多相机在融合过程中会有部分重叠区域，如若将多个相机的单独跟踪结果叠加，会出现重叠区域中相同物体多次出现、ID重复且混乱等问题，对在车辆控制、检测目标可视化等方面造成较大影响，进而影响辅助驾驶系统的使用体验。因此，如何提高车辆环境下的跨相机目标匹配和跟踪精度，是一个亟需解决的问题。
相关技术中提出了一种将长焦相机图像中的目标框，映射到短焦相机中对应目标框位置，计算两目标框之间的IOU(intersection-over-union，交并比)判断两目标间是否相匹配，再将两个匹配位置的目标融合。该方法仅使用了图像2D框四个目标点的重叠占比进行匹配，如有同一相机中存在两个重叠车辆，匹配的效果会非常差，鲁棒性不高，因此在匹配精度上无法满足要求。
相关技术中，还提出了通过计算三维位置坐标差以及外观相似性的方式，确定外观相似性较高且三维位置相近的两个目标为同一个目标。该方法使用的外观相似性在多角度的相机观察下并不实用，如车头和车身在外观上看到的会是两个不同的外观。再者，使用三维位置坐标之差来判断车辆是否相近也不可取。物体在近距离情况下一个图像像素差和远距离的一个像素差对应的距离差别极大。
相关技术中，还提出了使用多相机在固定视角下的信息跟踪，利用目标位置、大小和颜色相加作为权重相互匹配，得到对应的误差协方差矩阵。车辆的大小比较接近，而且计算出来的目标框精度并不是非常高，误差较大，不适于做车辆下的目标匹配。颜色可以作为一种匹配的方式，但需要多传递一个图像信息来做匹配，增加了时间复杂度。再者车辆间相近颜色的较多，加上两个车辆重叠区域比较大的时候报错明显，不太适合作为匹配方式。
多相机融合的主要难点在于不同环境下目标相似度很小，这样相同目标在不同相机视角下也会有很显著的区别。目前，在车辆环境下的多相机融合方法多使用距离关系及目标的外观信息(包括颜色、纹理、形状等)。使用距离的目标匹配方案极度依赖检测框的精确程度，如检测框接地点上下摆动，会导致得到的目标检测结果有较大差别，很容易造成匹配失败。不同方向的目标在颜色、外观等图像特征上也会有比较大的差异，加上光照、遮挡等环境影响，极大的增加了该种判断方式的不确定性。此外，特征相近的物体很容易发生匹配错误。这些都导致了现有算法在车辆环境下的多相机匹配鲁棒性并不好，除却理想场景很容易匹配错误。
发明内容
有鉴于此，本发明的目的在于提供一种多相机目标匹配方法、系统、电子设备及可读存储介质，以解决现有技术中多目标聚集在一起时，容易误匹配的问题。
根据本发明实施例的第一方面，提供一种多相机目标匹配方法，包括：
确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项。
优选地，所述确定待匹配的第一目标和第二目标，包括：
计算第一目标和第二目标在极坐标系下的距离；
计算第一目标和第二目标在极坐标系下的方向角差值；
判断所述距离是否小于等于距离阈值，且，所述方向角差值是否小于等于角度阈值，若是，确定所述第一目标和第二目标为待匹配的目标；
其中，所述距离阈值根据第一目标和第二目标的极坐标动态确定。
优选地，分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，包括：
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，将所述投影重叠区域面积占比作为所述重合度；或者，
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影面积正交比，将所述投影面积正交比作为所述重合度。
优选地，所述分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，包括：
将第二目标投影到第一目标所在相机图像中，分别计算第一目标的2D检测框和第二目标的2D映射框的投影重叠区域面积占比，得到第一投影投影重叠区域面积占比和第二投影重叠区域面积占比；
将第一目标投影到第二目标所在相机图像中，分别计算第二目标的2D检测框和第一目标的2D映射框的投影重叠区域面积占比，得到第三投影投影重叠区域面积占比和第四投影重叠区域面积占比；
则将所述投影重叠区域面积占比的乘积作为所述重合度，具体为：
计算第一投影重叠区域面积占比和第二投影重叠区域面积占比之和；
计算第三投影重叠区域面积占比和第四投影重叠区域面积占比之和；
将两个和的乘积作为所述重合度。
优选地，所述方法，还包括：
若第二目标和/或第一目标出现在各自所在相机图像的边缘，计算将第二目标投影到第一目标所在相机图像中后的第一面积补偿系数，和/或，将第一目标投影到第二目标所在相机图像中后的第二面积补偿系数；
用所述第一面积补偿系数和第二面积补偿系数分别补偿对应项的投影重叠区域面积占比。
优选地，所述方法，还包括：
计算第一目标和第二目标在极坐标下的距离得分；
计算第一目标和第二目标的速度相似性评分；
计算第一目标和第二目标在时域上的匹配性得分；
将第一目标和第二目标的重合度与距离得分相乘后，与所述速度相似性评分、时域上的匹配性得分求和，作为第一目标和第二目标的相似性评分。
优选地，所述方法，还包括：
根据第一目标和第二目标的匹配结果，将当前多路相机图像融合为一帧；
初始化一ID队列，为当前帧融合图像中的目标统一分配跟踪ID；
将所述跟踪ID，及每个跟踪ID所对应的目标ID、各目标ID对应的相机编号、各目标ID的总数量对应存储到匹配跟踪信息表中。
根据本发明实施例的第二方面，提供一种多相机目标匹配系统，包括：
确定模块，用于确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
计算模块，用于分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项。
根据本发明实施例的第三方面，提供一种电子设备，包括：
通信模块、处理器和存储器，其中，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行上述的方法。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行上述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
当相邻相机重叠视野内的目标为多个且这多个目标聚集在一起时，那么这多个目标在某个相机视角下就会出现重叠，此时，若再将其他相机图像上的目标投影到该相机图像上进行目标匹配，就会出现实际并不是同一目标的两个目标的重合度非常高，造成误匹配。本发明提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种多相机目标匹配方法的流程图；
图2是根据一示例性实施例示出的将第二目标投影到第一目标所在相机图像中计算投影重叠区域面积占比的示意图；
图3是根据一示例性实施例示出的当第一相机图像中存在两个位置相邻的目标时计算投影重叠区域面积占比的示意图；
图4是根据一示例性实施例示出的一种多相机目标匹配系统的示意框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
需要说明的是，本发明各实施例所提及的“相机”是指“车载相机”。优选地，所述第一目标和第二目标定义为车辆，但在某些特殊的应用场景下，也可以将第一目标和第二目标定义为车道上的各种静态障碍物和/或动态障碍物，例如，绿化树、标识牌、泥坑、石头、动物、行人等。
另外，在某些特殊的应用场景下，所述“相机”也可以定义为“非车载相机”，例如安装在教室内的多个监控相机，安装在商场不同角落的监控相机，安装在安全城市中的多个监控相机等。
实施例一
图1是根据一示例性实施例示出的一种多相机目标匹配方法的流程图，如图1所示，该方法包括：
步骤S1、确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
步骤S2、分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项。
需要说明的是，以“相机”是指“车载相机”。优选地，所述第一目标和第二目标定义为车辆为例，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
可以理解的是，当相邻相机重叠视野内的目标为多个且这多个目标聚集在一起时，那么这多个目标在某个相机视角下就会出现重叠，此时，若再将其他相机图像上的目标投影到该相机图像上进行目标匹配，就会出现实际并不是同一目标的两个目标的重合度非常高，造成误匹配。本实施例提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
在具体实践中，所述步骤S11中“确定待匹配的第一目标和第二目标”，包括：
1、计算第一目标和第二目标在极坐标系下的距离，包括：
确定图像坐标系下，第一目标的几何中心点坐标(x1，y1)，和，第二目标的几何中心点坐标(x2，y2)；
将第一目标的几何中心点坐标(x1，y1)转换为极坐标系下的极坐标距离ρ1和极坐标方向角θ1；将第一目标的几何中心点坐标(x2，y2)转换为极坐标系下的极坐标距离ρ2和极坐标方向角θ2；
计算第一目标的几何中心点与第二目标的几何中心点在极坐标系下的距离，并将计算结果作为第一目标和第二目标在极坐标系下的距离。
而在极坐标系下，已知两点极坐标，求两点在极坐标系下的距离为现有技术，本实施例不再赘述。
2、计算第一目标和第二目标在极坐标系下的方向角差值，具体为：
θ＝min(|θ1-θ2|，360-|θ1-θ2|)。
为了便于理解，举例说明如下：
假设θ1＝80°，θ2＝30°，那么两者之间的方向角差值θ＝50°；
假设θ1＝80°，θ2＝340°，那么两者之间的方向角差值θ＝100°；
假设θ1＝80°，θ2＝70°，那么两者之间的方向角差值θ＝10°；
假设θ1＝1°，θ2＝350°，那么两者之间的方向角差值θ＝11°。
3、判断所述距离是否小于等于距离阈值，且，所述方向角差值是否小于等于角度阈值，若是，确定所述第一目标和第二目标为待匹配的目标；
其中，所述距离阈值根据第一目标和第二目标的极坐标动态确定。
可以理解的是，假设任意一点与相机中心点之间的距离误差为n个像素，那么实际测量出的距离误差为：
其中，f为相机焦距，H为相机高度，Z为在相机坐标系下该点与相机中心点之间的实际水平距离。
可见，在相机坐标系下距离相机越远的点，在相机图像上的坐标误差越大。因此，在计算完第一目标和第二目标在极坐标系下的距离，必须确定一个动态的距离阈值，用于判断第一目标和第二目标是否为待匹配目标。
而第一目标和第二目标之间的方位角差值，并不会因为存在像素误差带来数值的失真，因此角度阈值可以设定为一个固定值。
在具体实践中，所述距离阈值和角度阈值的确定方法有多种，本实施例给出了一种示例性的距离阈值和角度阈值的确定方法，具体为：
其中，f1(ρ)为两点之间距离判断阈值，f2(θ)为两点之间方位角判断阈值；
λ1为固定值，默认值为2(m)；λ2为固定值，默认值为30(°)；η为距离系数，其取值范围和默认值分别为0＜η＜1和0.2；优选地，ρ＝(ρ1+ρ2)/2。
需要说明的是，上述阈值公式及阈值公式中的各参数的取值范围根据历史经验或者实验数据进行确定。
在具体实践中，所述步骤S12中“分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度”，包括：
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，将所述投影重叠区域面积占比作为所述重合度；或者，
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影面积正交比，将所述投影面积正交比作为所述重合度。
其中，分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，包括：
一、将第二目标投影到第一目标所在相机图像中，分别计算第一目标的2D检测框和第二目标的2D映射框的投影重叠区域面积占比，得到第一投影投影重叠区域面积占比和第二投影重叠区域面积占比，包括：
S11、根据预设检测模型(例如，卷积神经网络模型)，从第一相机图像中检测出第一目标的2D检测框(参见图2所示)，从第二相机图像中检测出第二目标的2D检测框；
S12、将第二目标的2D检测框投影到第一相机图像中，得到第二目标的2D映射框，具体为：
先根据提前标定的第二相机的内外参，将第二目标的2D检测框转换为车辆坐标系下的3D框，然后再根据提前标定的第一相机的内外参，将第二目标的3D框投影到第一相机图像中，得到第二目标的2D映射框。
在具体实践中，若车载相机为针孔相机，设N为相机数量，S为相机集合S＝{S1,S2,.....,Si,....,Sj.....,SN}，N≥2，3D框上任一点P在第一相机图像中的坐标为pi，在第二相机图像中的坐标为pj，可以用如下公式表示：
sipi＝KiP，sjpj＝Kj(RP+t)
其中，Si表示P在相机i坐标系中的深度大小，Sj表示P在相机j坐标系中的深度大小；Ki为第一相机的内参，Kj为第二相机的内参，R，t为相机i和j间的相对位姿关系。sipi和pi为投影关系，它们在齐次坐标系下的意义是相等的，即
由此得到：
合并上式，可得3D框上任一点P在像素坐标pi和pj之间的映射关系：
因此，当车载相机为针孔相机时，可以通过公式
将第一相机图像中的坐标pi映射为第二相机图像中的坐标pj，或者，将第二相机图像中的坐标pj映射为第一相机图像中的坐标pi。
在具体实践中，若车载相机为针孔相机或鱼眼相机，由于通过上述方法得到的3D框并不够精确，车辆底部框到顶部的线段长均不相同，该3D框投影到相机图像中后，得到的2D映射框精度也不高。
为提高2D映射框精度，在具体实践中，可以在3D框的下边沿坐标上直接加上一个固定高度h(所述固定高度h可以直接取上一帧跟踪结果里获取的车辆高度，也可以参考相同目标类别的车辆高度设为一个定值)，得到修正后的3D框的上边沿坐标，然后将修正后的3D框再映射到相机图像中，得到2D映射框的坐标，具体为：
2D框下边沿任一点pi坐标为：
2D框上边沿任一点p′i坐标为：
S13、分别计算第一目标的2D检测框的面积、第二目标的2D映射框的面积，及两者投影重叠区域的面积占比，得到第一投影投影重叠区域面积占比和第二投影重叠区域面积占比。
参见图2，图2中
代表第二目标的2D映射框的面积，
代表第一目标的2D检测框的面积，Ii为投影重叠区域的面积。
可以理解的是，当第一目标未出现在第一相机图像边缘时，通过预设检测模型，能够检测出一个完整的2D检测框；当第一目标出现在第一相机图像边缘时，通过预设检测模型，能够预估出一个完整的2D检测框。也就是说，不论第一目标是否完整出现在第一相机图像中，通过预设检测模型都能得到一个完整的2D检测框，进而计算出第一目标的2D检测框的面积
同理，当第二目标未出现在第二相机图像边缘时，通过预设检测模型，能够检测出一个完整的2D检测框。当第二目标出现在第二相机图像边缘时，通过预设检测模型，能够预估出一个完整的2D检测框；但是将第二目标投影到第一目标所在相机图像中时，由于准确的映射关系只在图像框范围内有效，需要将第二目标的2D检测框进行裁剪，只保留相机图像边缘内的图像部分，这样将第二目标投影到第一目标所在相机图像中时，得到的第二目标的映射框就会不完整。如果直接用缺失的2D映射框的面积去计算投影重叠区域的面积占比，会导致结果失真，因此，为了补偿边缘处面积缺失带来的影响，需要引入面积补偿系数
具体为：
当第二目标的2D映射框完整时，
当第二目标的2D映射框不完整时，
第一投影重叠区域面积占比：
第二投影重叠区域面积占比：
为了便于理解，举例说明如下：
假设第一目标未出现在第一相机图像边缘，第二目标未出现在第二相机图像边缘，第一目标的2D检测框的面积为50，第二目标的2D检测框的面积为100，第二目标的2D映射框的面积为80(第二目标的2D映射框的面积可能比第二目标的2D检测框的面积大，也可能比第二目标的2D检测框的面积小，此处的80只是为了举例说明，并不用来限定两者的大小关系)，第一目标的2D检测框和第二目标的2D映射框两者相交面积为20，那么，
假设第一目标出现在第一相机图像边缘，第二目标出现在第二相机图像边缘，预设检测模型预估出的第一目标的完整的2D检测框的面积为50，预设检测模型预估出的第二目标的完整的2D检测框的面积为100，第二目标出现在图像边缘内的面积为80，那么面积补偿系数wa＝80/100＝0.8，第二目标的映射框的面积为40，第一目标的2D检测框和第二目标的2D映射框两者相交面积为20，那么，
可以理解的是，
和
分别为Ii与
间的面积占比，当面积占比越高时，表示两个框的相似度越大，第一目标和第二目标的重合度越高。
可以理解的是，相机的单向投影存在一定的局限性。
假设第一相机图像上存在位置相邻的两个目标m和n，参见图3，
理想情况下，
和
应该有最大的投影重叠面积，但是，如图3所示，当存在多目标相邻时，
可能会与
有最大的投影重叠面积，造成目标之间的误匹配。
因此，在具体实践中，需要分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比。
二、将第一目标投影到第二目标所在相机图像中，分别计算第二目标的2D检测框和第一目标的2D映射框的投影重叠区域面积占比，得到第三投影投影重叠区域面积占比和第四投影重叠区域面积占比，包括：
S21、将第一目标的2D检测框投影到第二相机图像中，得到第一目标的2D映射框；
S22、分别计算第二目标的2D检测框的面积、第一目标的2D映射框的面积，及两者投影重叠区域的面积占比，得到第三投影投影重叠区域面积占比和第四投影重叠区域面积占比：
需要说明的是，由于第三投影重叠区域面积占比和第四投影重叠区域面积占比计算方法，与第一投影重叠区域面积占比和第二投影重叠区域面积占比计算方法相同，故此处不再对上述步骤S21～S22的具体实现方式进行赘述，具体可参见步骤S11～S13的相关介绍。
则，将所述投影重叠区域面积占比的乘积作为所述重合度，包括：
计算第一投影重叠区域面积占比和第二投影重叠区域面积占比之和；
计算第三投影重叠区域面积占比和第四投影重叠区域面积占比之和；
将两个和的乘积作为所述重合度：
在具体实践中，为了计算第一目标和第二目标相似性评分，还包括：
计算第一目标和第二目标在极坐标下的距离得分；
计算第一目标和第二目标的速度相似性评分；
计算第一目标和第二目标在时域上的匹配性得分；
将第一目标和第二目标的重合度与距离得分相乘后，与所述速度相似性评分、时域上的匹配性得分求和，作为第一目标和第二目标的相似性评分。
(1)计算第一目标和第二目标在极坐标下的距离得分：
第一目标和第二目标的位置关系可以通过目标间极坐标的相对关系计算得到，由于正反向投影能表达角度的不同，因此并不需要再次为角度添加权重，而只考虑距离的远近，使用Mdistance表示距离分项：
可见，两待匹配目标相对极坐标距离越近，该项得分越高。
(2)计算第一目标和第二目标的速度相似性评分：
通过使用单相机跟踪得到各目标相对同一坐标系(如车辆坐标系)的速度关系，使用多帧的速度关系得到一个用Mvelocity表示的速度分项，速度相似性计算公式为
若simv大于一阈值(默认值为-0.3)，可以保证该帧的方向一致性，在多数帧的方向一致性相近，Mvelocity给定一常数，0≤Mvelocity≤1，推荐默认值为0.3；若方向并不一致，则Mvelocity值为0。
(3)计算第一目标和第二目标在时域上的匹配性得分：
为了确保目标匹配的稳定性，防止匹配项在不同帧间的跳动，引入时域信息，即添加判断两个待匹配目标在上一帧是否为匹配目标的分项Mmatched，如果上一帧两相机视角下目标是匹配的，则添加Mmatched，减小了在临界相似度上匹配关系在不同帧间来回跳动的可能。Mmatched在上一帧没匹配到待匹配的目标时值为0，匹配上时为一常数项，0≤Mmatched≤1，推荐默认值0.2。
则，第一目标和第二目标相似性评分的计算公式如下：
在具体实践中，为了计算(3)第一目标和第二目标在时域上的匹配性得分，需要为每一帧融合图像，建立一张匹配跟踪信息表，包括：
根据第一目标和第二目标的匹配结果，将当前多路相机图像融合为一帧；
初始化一ID队列，为当前帧融合图像中的目标统一分配跟踪ID；
将所述跟踪ID，及每个跟踪ID所对应的目标ID、各目标ID对应的相机编号、各目标ID的总数量对应存储到匹配跟踪信息表中。
参见表一，多目标的跟踪ID统一分配，可保证ID的不重复性。
当跟踪ID为1的目标被相机CAMERA_1和CAMERA_2匹配到时，记录CAMERA_1和CAMERA_2下匹配目标的目标ID(如表中的9和7)，因为有两个相机匹配到了该目标，在MATCHNUM位置的值为2。
则，上述的(3)第一目标和第二目标在时域上的匹配性得分Mmatched＝0.2。
当跟踪ID为2的目标仅有一个相机CAMERA_1跟踪到时，记录CAMERA_1下该目标的目标ID(如表中的7)，此时MATCH NUM位置的值为1。
则，上述的(3)第一目标和第二目标在时域上的匹配性得分Mmatched＝0。
当跟踪ID为4的目标在被相机CAMERA_1、CAMERA_2、CAMERA_j匹配到时，记录CAMERA_1、CAMERA_2、CAMERA_j下匹配目标的目标ID(如表中的1、2和4)，因为有三个相机匹配到了该目标，在MATCH NUM位置的值为3。
则，上述的(3)第一目标和第二目标在时域上的匹配性得分Mmatched＝0.2。
可见，在多相机匹配跟踪系统中，每个相机都有自己的一套目标ID用于目标跟踪，但使用本实施例提供的匹配跟踪信息表对各相机的目标ID进行匹配存储，即使不同的相机使用相同的目标ID也不会发生冲突。
可以理解的是，多相机由于FOV(field of view:视场角)不同，或目标过大过长，如大型卡车等，会出现多个相机覆盖同一目标的情况。该存储方式可以根据不同相机视角下的目标ID，来查询任一目标是否有其他相机发生过匹配，进而实现跨多相机目标匹配的目的。
进一步地，还可以利用表一所示的匹配跟踪信息表进行目标跟踪，包括：
当MATCH NUM为1时，即仅在一个相机中观测到该目标，此时该目标没有添加更多的观测信息，故仍使用单相机跟踪结果(如位姿、速度等)；
当MATCH NUM大于等于2时，此时多个相机中观测到了同一目标，可以利用多个相机视角下的信息，对该目标做滤波或优化来矫正目标的位姿、更新目标大小、速度等。
表一
实施例二
图4是根据一示例性实施例示出的一种多相机目标匹配系统100的示意框图，如图4所示，该系统100包括：
确定模块101，用于确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
计算模块102，用于分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项。
需要说明的是，以“相机”是指“车载相机”。优选地，所述第一目标和第二目标定义为车辆为例，本实施例提供的技术方案适用的应用场景包括但不限于：车辆的自动驾驶、辅助驾驶等。本实施例提供的技术方案在实际使用时，可以加载在当前车辆的中控系统中使用，也可以加载在电子设备中使用；所述电子设备包括但不限于：车载电脑和外接计算机设备。
需要说明的是，由于本实施例各模块的实现方式可参见实施例一中的相关介绍，本实施例不再赘述。
可以理解的是，当相邻相机重叠视野内的目标为多个且这多个目标聚集在一起时，那么这多个目标在某个相机视角下就会出现重叠，此时，若再将其他相机图像上的目标投影到该相机图像上进行目标匹配，就会出现实际并不是同一目标的两个目标的重合度非常高，造成误匹配。本实施例提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
实施例三
根据一示例性实施例示出的一种电子设备，包括：
通信模块、处理器和存储器，其中，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如实施例一所述的方法。
需要说明的是，所述电子设备包括但不限于：车载电脑和外接的计算机设备。通信模块包括但不限于：有线通信模块和无线通信模块，例如：WCDMA、GSM、CDMA和/或LTE通讯模块、ZigBee模块、蓝牙模块、Wi-Fi模块等。
处理器包括但不限于：CPU、单片机、PLC控制器、FPGA控制器等。
存储器可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓存存储器；还可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
可以理解的是，当相邻相机重叠视野内的目标为多个且这多个目标聚集在一起时，那么这多个目标在某个相机视角下就会出现重叠，此时，若再将其他相机图像上的目标投影到该相机图像上进行目标匹配，就会出现实际并不是同一目标的两个目标的重合度非常高，造成误匹配。本实施例提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
实施例四
根据一示例性实施例示出的一种计算机可读存储介质，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行如实施例一所述的方法。
本实施例公开的计算机可读存储介质包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以理解的是，当相邻相机重叠视野内的目标为多个且这多个目标聚集在一起时，那么这多个目标在某个相机视角下就会出现重叠，此时，若再将其他相机图像上的目标投影到该相机图像上进行目标匹配，就会出现实际并不是同一目标的两个目标的重合度非常高，造成误匹配。本实施例提供的技术方案，通过分别将待匹配的两个目标投影到对方的相机图像上计算重合度，使得在一个相机视角下因为重合度较高被误匹配的目标，在另一个相机视角下得到纠正，提高了系统目标匹配的准确度，减少了误匹配的发生概率。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种多相机目标匹配方法，其特征在于，包括：
确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项；
其中，所述分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，包括：
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，将所述投影重叠区域面积占比作为所述重合度；
其中，所述分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，包括：
将第二目标投影到第一目标所在相机图像中，分别计算第一目标的2D检测框和第二目标的2D映射框的投影重叠区域面积占比，得到第一投影重叠区域面积占比和第二投影重叠区域面积占比；
将第一目标投影到第二目标所在相机图像中，分别计算第二目标的2D检测框和第一目标的2D映射框的投影重叠区域面积占比，得到第三投影重叠区域面积占比和第四投影重叠区域面积占比；
将所述投影重叠区域面积占比作为所述重合度，具体为：
计算第一投影重叠区域面积占比和第二投影重叠区域面积占比之和；
计算第三投影重叠区域面积占比和第四投影重叠区域面积占比之和；
将两个和的乘积作为所述重合度。
2.根据权利要求1所述的方法，其特征在于，所述确定待匹配的第一目标和第二目标，包括：
计算第一目标和第二目标在极坐标系下的距离；
计算第一目标和第二目标在极坐标系下的方向角差值；
判断所述距离是否小于等于距离阈值，且，所述方向角差值是否小于等于角度阈值，若是，确定所述第一目标和第二目标为待匹配的目标；
其中，所述距离阈值根据第一目标和第二目标的极坐标动态确定。
3.根据权利要求1所述的方法，其特征在于，还包括：
若第二目标和/或第一目标出现在各自所在相机图像的边缘，计算将第二目标投影到第一目标所在相机图像中后的第一面积补偿系数，和/或，将第一目标投影到第二目标所在相机图像中后的第二面积补偿系数；
用所述第一面积补偿系数和第二面积补偿系数分别补偿对应项的投影重叠区域面积占比。
4.根据权利要求1~3任一项所述的方法，其特征在于，还包括：
计算第一目标和第二目标在极坐标下的距离得分；
计算第一目标和第二目标的速度相似性评分；
计算第一目标和第二目标在时域上的匹配性得分；
将第一目标和第二目标的重合度与距离得分相乘后，与所述速度相似性评分、时域上的匹配性得分求和，作为第一目标和第二目标的相似性评分。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据第一目标和第二目标的匹配结果，将当前多路相机图像融合为一帧；
初始化一ID队列，为当前帧融合图像中的目标统一分配跟踪ID；
将所述跟踪ID，及每个跟踪ID所对应的目标ID、各目标ID对应的相机编号、各目标ID的总数量对应存储到匹配跟踪信息表中。
6.一种多相机目标匹配系统，其特征在于，包括：
确定模块，用于确定待匹配的第一目标和第二目标，所述第一目标和第二目标为当前时刻出现在相邻相机重叠视野内的目标；
计算模块，用于分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，并将所述重合度作为计算所述第一目标和第二目标相似性评分的参考项；
其中，所述分别计算所述第一目标和第二目标投影到对方所在相机图像后的重合度，包括：
分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，将所述投影重叠区域面积占比作为所述重合度；
其中，所述分别计算所述第一目标和第二目标投影到对方所在相机图像后的投影重叠区域面积占比，包括：
将第二目标投影到第一目标所在相机图像中，分别计算第一目标的2D检测框和第二目标的2D映射框的投影重叠区域面积占比，得到第一投影重叠区域面积占比和第二投影重叠区域面积占比；
将第一目标投影到第二目标所在相机图像中，分别计算第二目标的2D检测框和第一目标的2D映射框的投影重叠区域面积占比，得到第三投影重叠区域面积占比和第四投影重叠区域面积占比；
将所述投影重叠区域面积占比作为所述重合度，具体为：
计算第一投影重叠区域面积占比和第二投影重叠区域面积占比之和；
计算第三投影重叠区域面积占比和第四投影重叠区域面积占比之和；
将两个和的乘积作为所述重合度。
7.一种电子设备，其特征在于，包括：
通信模块、处理器和存储器，其中，所述存储器中存储有程序指令；
所述处理器用于执行存储器中存储的程序指令，执行如权利要求1~5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，其上存储有可擦写的计算机程序；
当所述计算机程序在计算机设备上运行时，使得所述计算机设备执行如权利要求1~5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151369.9A CN113869422B (zh) | 2021-09-29 | 2021-09-29 | 多相机目标匹配方法、系统、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111151369.9A CN113869422B (zh) | 2021-09-29 | 2021-09-29 | 多相机目标匹配方法、系统、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113869422A CN113869422A (zh) | 2021-12-31 |
| CN113869422B true CN113869422B (zh) | 2022-07-12 |
Family
ID=78992719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111151369.9A Active CN113869422B (zh) | 2021-09-29 | 2021-09-29 | 多相机目标匹配方法、系统、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113869422B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114708336B (zh) * | 2022-03-21 | 2023-02-17 | 禾多科技（北京）有限公司 | 多相机在线标定方法、装置、电子设备和计算机可读介质 |
| CN115249355B (zh) * | 2022-09-22 | 2022-12-27 | 杭州枕石智能科技有限公司 | 目标关联方法、设备及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165629A (zh) * | 2018-09-13 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 多焦距视觉障碍物感知方法、装置、设备及存储介质 |
| CN111222579A (zh) * | 2020-01-09 | 2020-06-02 | 北京百度网讯科技有限公司 | 跨相机的障碍物关联方法、装置、设备、电子系统及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106157329B (zh) * | 2015-04-20 | 2021-08-17 | 中兴通讯股份有限公司 | 一种自适应目标跟踪方法及装置 |
| CN112640417B (zh) * | 2019-08-09 | 2021-12-31 | 华为技术有限公司 | 匹配关系确定方法及相关装置 |
-
2021
- 2021-09-29 CN CN202111151369.9A patent/CN113869422B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165629A (zh) * | 2018-09-13 | 2019-01-08 | 百度在线网络技术（北京）有限公司 | 多焦距视觉障碍物感知方法、装置、设备及存储介质 |
| CN111222579A (zh) * | 2020-01-09 | 2020-06-02 | 北京百度网讯科技有限公司 | 跨相机的障碍物关联方法、装置、设备、电子系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113869422A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11276191B2 (en) | Estimating dimensions for an enclosed space using a multi-directional camera | |
| US10796151B2 (en) | Mapping a space using a multi-directional camera | |
| KR102516326B1 (ko) | 이미지 라인들로부터의 카메라 외부 파라미터들 추정 | |
| Schneider et al. | Fusing vision and lidar-synchronization, correction and occlusion reasoning | |
| US10176564B1 (en) | Collaborative disparity decomposition | |
| CN110568447A (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| CN113869422B (zh) | 多相机目标匹配方法、系统、电子设备及可读存储介质 | |
| US11195252B2 (en) | System and method for rectifying a wide-angle image | |
| JP2004086779A (ja) | 障害物検出装置及びその方法 | |
| CN103745452A (zh) | 相机外参评估方法、装置、相机外参标定方法和装置 | |
| CN110798677B (zh) | 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备 | |
| Schneider et al. | On the accuracy of dense fisheye stereo | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| Ohashi et al. | Fisheye stereo camera using equirectangular images | |
| CN106524995A (zh) | 基于可见光图像实时检测目标物体空间距离的定位方法 | |
| Pauls et al. | Automatic mapping of tailored landmark representations for automated driving and map learning | |
| Chen et al. | Low cost and efficient 3D indoor mapping using multiple consumer RGB-D cameras | |
| TWI662694B (zh) | 三維影像攝取方法及系統 | |
| CN115019167A (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 | |
| Zhao et al. | The construction method of the digital operation environment for bridge cranes | |
| Pereira | Automated calibration of multiple LIDARs and cameras using a moving sphere | |
| Brown et al. | Self-calibration from vehicle information | |
| Van De Wouw et al. | Fast 3D Scene Alignment with Stereo Images using a Stixel-based 3D Model. | |
| Berrio et al. | Semantic sensor fusion: From camera to sparse LiDAR information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |