CN116630219B - 多相机的图像融合方法、装置及车辆 - Google Patents
多相机的图像融合方法、装置及车辆 Download PDFInfo
- Publication number
- CN116630219B CN116630219B CN202310899571.2A CN202310899571A CN116630219B CN 116630219 B CN116630219 B CN 116630219B CN 202310899571 A CN202310899571 A CN 202310899571A CN 116630219 B CN116630219 B CN 116630219B
- Authority
- CN
- China
- Prior art keywords
- camera
- image sensing
- image
- sensing result
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 abstract description 9
- 230000008447 perception Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本公开是关于一种多相机的图像融合方法、装置及车辆，属于自动驾驶技术领域。该方法包括：基于多相机进行图像感知，得到多相机中每个相机的图像感知结果，其中多相机中包括第一相机和一个或多个第二相机；针对每个第二相机，基于第二相机与第一相机之间的单应性矩阵，向第一相机的图像坐标系下投影第二相机的图像感知结果，得到第二相机对应的投影图像感知结果；对第一相机自身的图像感知结果和第二相机的投影图像感知结果进行融合，得到目标图像感知结果。由此，本方案基于第一相机和第二相机的图像感知结果以及单应性矩阵，得到第二相机对应的投影图像感知结果。将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种多相机的图像融合方法、装置及车辆。
背景技术
目前具有自动驾驶功能的汽车上普遍装备有朝向车辆前方的多枚不同焦距的相机，来共同完成行车过程中不同距离下的感知。但当前对于多个相机的感知结果的融合，容易受到相机内参标定精度的影响，导致误差较大，且技术难度和资源消耗大。
发明内容
为克服相关技术中存在的问题，本公开提供一种多相机的图像融合方法、装置、车辆、计算机可读存储介质，以解决多相机感知结果融合效率低、难度大，且感知结果融合精度较低的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种多相机的图像融合方法，包括：基于多相机进行图像感知，得到所述多相机中每个相机的图像感知结果，其中所述多相机中包括第一相机和一个或多个第二相机；针对每个所述第二相机，基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，得到所述第二相机对应的投影图像感知结果；对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果。
在本公开的一个实施例中，所述基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，包括：获取所述第二相机的图像感知结果所包括的第一坐标点；针对每个所述第一坐标点，对所述单应性矩阵和所述第一坐标点进行矩阵运算，得到所述第二坐标点，其中，所述第二坐标点为所述第一坐标点投影至所述第一相机的图像坐标系下的位置。
在本公开的一个实施例中，所述对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果，包括：从所有图像感知结果中确定重复的两个及两个以上的图像感知结果；保留所述重复的两个及两个以上的图像感知结果中其中一个图像感知结果，并删除剩余的重复的感知图像结果，得到所述目标图像感知结果。
在本公开的一个实施例中，所述保留所述重复的两个及两个以上的图像感知结果中其中一个图像感知结果，包括：获取所述两个及两个以上的图像感知结果的置信度，并保留所述置信度最高的重复的图像感知结果；或者，确定所述重复的两个及两个以上的图像感知结果中属于所述第一标相机的重复的图像感知结果，并保留剩余所述第一相机的重复的图像感知结果。
在本公开的一个实施例中，所述对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果，包括：获取每个图像感知结果的置信度，并按照所述置信度从大到小的顺序对所述图像感知结果进行排序；从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，获取所述图像感知结果i对应的未处理感知结果集合，并获取所述感知结果集合中每个图像感知结果与所述图像感知结果i之间的重叠面积；其中，所述i为大于或者等于1的整数；从所述感知结果集合中删除所述重叠面积大于或者等于设定阈值的图像感知结果，并基于更新后的所述感知结果集合继续对图像感知结果i+1进行遍历直至遍历结束。
在本公开的一个实施例中，所述单应性矩阵的确定过程，包括：获取所述第一相机的第一标定图像和所述第二相机的第二标定图像；对所述第一标定图像和所述第二标定图像进行特征点匹配，得到匹配的目标特征点对；基于所述目标特征点对，确定所述第一相机与所述第二相机间的单应性矩阵。
在本公开的一个实施例中，所述对所述第一标定图像和所述第二标定图像进行特征点匹配，得到匹配的目标特征点对，包括：对所述第一标定图像和所述第二标定图像进行特征提取，得到第一特征点和第二特征点；对所述第一特征点和所述第二特征点进行特征点匹配，得到匹配的候选特征点对；对所述候选特征点对进行筛选，得到所述目标特征点对。
在本公开的一个实施例中，所述对所述第一标定图像和所述第二标定图像进行特征提取，得到第一特征点和第二特征点，包括：从所述第一标定图像和所述第二标定图像分别获取所述剩余相机与所述目标相机可视角度重合的第一图像区域和第二图像区域；对所述第一图像区域进行特征提取得到所述第一特征点，并对所述第二图像区域进行特征提取得到所述第二特征点。
在本公开的一个实施例中，所述对所述第一特征点和所述第二特征点进行特征点匹配，得到匹配的候选特征点对，包括：获取所述第一特征点和所述第二特征点的坐标；基于所述坐标，判断所述第一特征点和所述第二特征点是否处于设定范围内，从中确定并过滤未处于所述设定范围内的特征点，得到第一目标特征点和第二目标特征点；对所述第一候选特征点和第二候选特征点进行特征点匹配，得到所述候选特征点对。
在本公开的一个实施例中，所述对所述候选特征点对进行筛选，得到所述目标特征点对，包括：针对每个所述候选特征点对，确定所述候选特征点对中所述第一候选特征点的第一坐标和所述第二候选特征点的第二坐标，并获取所述第一坐标与所述第二坐标的差值；对所述差值大于或者等于设定阈值的候选特征点对进行剔除，得到所述目标特征点对。
根据本公开实施例的第二方面，提供一种多相机的图像融合装置，包括：感知模块，用于基于多相机进行图像感知，得到所述多相机中每个相机的图像感知结果，其中所述多相机中包括第一相机和一个或多个第二相机；投影模块，用于针对每个所述第二相机，基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，得到所述第二相机对应的投影图像感知结果；融合模块，用于对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果。
根据本公开实施例的第三方面，提供一种车辆，包括处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现本公开实施例第一方面所述方法的步骤。
根据本公开实施例的第四方面提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被车辆执行时实现本公开实施例第一方面所述方法的步骤。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被车辆执行时实现如本公开实施例第一方面所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图。
图2是根据本公开的一些实施例示出的另一种多相机的图像融合方法的流程图。
图3是根据本公开的一些实施例示出的另一种多相机的图像融合方法的流程图。
图4是根据本公开的一些实施例示出的另一种多相机的图像融合方法的流程图。
图5是根据本公开的一些实施例示出的一种多相机的图像融合方法中单应性矩阵的确定过程的流程图。
图6是根据本公开的一些实施例示出的另一种多相机的图像融合方法中单应性矩阵的确定过程的流程图。
图7是根据本公开的一些实施例示出的另一种多相机的图像融合方法的流程图。
图8是根据本公开的一些实施例示出的一种多相机的图像融合装置的框图。
图9是根据本公开的一些实施例实施例示出的一种车辆的功能框图示意图。
具体实施方式
这里将详细地对本公开一些实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。本文所描述的方法、装置和/或系统的各种改变、变型及等同物将在理解本公开之后变得显而易见。例如，本文所描述的操作的顺序仅仅为示例，且并非受限于本文中所阐述的那些顺序，而是除了必须以特定顺序进行的操作之外，如在理解本公开之后变得显而易见的那样可进行改变。另外，为提升清楚性和简洁性，对本领域中已知的特征的描述可被省略。
以下本公开的一些实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图，如图1所示，该多相机的图像融合方法的流程包括但不限于以下步骤：
S101，基于多相机进行图像感知，得到多相机中每个相机的图像感知结果，其中多相机中包括第一相机和一个或多个第二相机。
需要说明的是，本公开实施例中多相机的图像融合方法的执行主体为电子设备，该电子设备可以是车辆控制系统或车载终端等。本公开实施例的多相机的图像融合方法可以由本公开实施例的多相机的图像融合装置执行，本公开实施例的多相机的图像融合装置可以配置在任意电子设备中，以执行本公开实施例的多相机的图像融合方法。
在一些实现中，多个相机通过同时采集同一场景的图像信息，对采集的图像进行二维图像感知，得到每个相机的图像感知结果，感知结果包括但不限于：检测框、关键点、分割图像等结果。其中，检测框中包含左上角和右下角的两个坐标点，关键点为坐标点，分割结果中的每个点都有其对应的坐标点。
可以理解的是，车辆上的多相机一般是一体制造安装，安装距离近，利用二维图像感知技术，对多相机采集的图像进行图像感知，使得相机的感知范围广，提高算法效率和精度。
在一些实现中，多个相机间可以根据相机的焦距确定第一相机和第二相机，相机的焦距较大的相机为第一相机，剩余的一个或多个相机则为第二相机。例如，可以在车辆上安装广角、正常焦距、长焦等三个前视相机。其中，广角相机的焦距大于正常焦距相机和长焦相机的焦距，则广角相机为第一相机，正常焦距相机和长焦相机为第二相机。可以理解的是，具有较大焦距的相机可以采集到场景中较远的距离的图像，以实现对周围环境进行深度感知，为自动驾驶技术提供基础。
S102，针对每个第二相机，基于第二相机与第一相机之间的单应性矩阵，向第一相机的图像坐标系下投影第二相机的图像感知结果，得到第二相机对应的投影图像感知结果。
在一些实现中，获取每个第二相机与第一相机之间的单应性矩阵，其中，单应性矩阵描述了两个相机间的几何变换关系。可选地，可以将预先计算好的单应性矩阵存储在电子设备的内存中，并直接从内存中读取每个第二相机与第一相机之间的单应性矩阵。
进一步地，基于该单应性矩阵，将第二相机的图像感知结果，投影到第一相机的图像坐标系下，得到第二相机在第一相机的图像坐标系下的投影图像感知结果。基于第二相机与第一相机之间的单应性矩阵，对第二相机的图像感知结果进行矩阵运算，得到第二相机的图像感知结果在第一相机的图像坐标后得到的投影图像感知结果。
S103，对第一相机自身的图像感知结果和第二相机的投影图像感知结果进行融合，得到目标图像感知结果。
可以理解的是，为了确保图像感知结果的准确性，对于同一个物体会有一个或多个图像感知结果，将第一相机自身的图像感知结果和第二相机的投影图像感知结果进行融合，也就是将第一相机自身的图像感知结果和第二相机的投影图像感知结果中重复的图像感知结果删除，则保留的图像感知结果为目标图像感知结果。其中，重复的图像感知结果中包含两个及两个以上的图像感知结果。
在一些实现中，可以基于目标图像感知结果，对车辆进行自动驾驶控制。可选地，车辆可以根据目标图像感知结果，确定当前环境的障碍物，分析交通状况、道路规则等，进而控制车辆进行避障，以及确定最佳路线和导航方案等。目标图像感知结果提供了准确全面的环境信息，有助于提高自动驾驶的安全性和行车效率。
需要说明的是，本公开的多相机的图像融合方法可以应用于车辆的自动驾驶中，基于目标图像感知结果，可以提供广阔的视野，以消除视觉死角，增强自动驾驶系统的视觉感知能力，帮助自动驾驶系统准确地检测和识别其他车辆、行人和其他障碍物，提高自动驾驶系统决策的准确性，实现安全可靠的自动驾驶，有助于推动自动驾驶技术的发展和应用。
在本公开的多相机的图像融合方法中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
图2是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图，如图2所示，该多相机的图像融合方法的流程包括但不限于以下步骤：
S201，基于多相机进行图像感知，得到多相机中每个相机的图像感知结果，其中多相机中包括第一相机和一个或多个第二相机。
在本公开实施例中，步骤S201的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S202，获取第二相机的图像感知结果所包括的第一坐标点。
在一些实现中，可以从第二相机的图像感知结果中获取第一坐标点。可选地，可以第一坐标点包括检测框中包含的左上角和右下角的两个坐标点、关键点的坐标点，以及分割结果中的每个点对应的坐标点。
S203，针对每个第一坐标点，对单应性矩阵和第一坐标点进行矩阵运算，得到第二坐标点，其中，第二坐标点为第一坐标点投影至第一相机的图像坐标系下的位置。
在一些实现中，从第二相机的图像感知结果中获取第一坐标点，并基于与第一相机之间的单应性矩阵，进行矩阵运算，得到第二坐标点，也就是通过单应性矩阵将第一坐标点投影至第一相机的图像坐标系下的位置，从而可以得到第二相机的图像感知结果在第一相机的图像坐标后得到的投影图像感知结果。
可选地，将每个第一坐标点与单应性矩阵进行矩阵运算，得到第二坐标点。计算第二坐标点的公式如下所示：
（1）
其中，H为第二相机与第一相机间的单应性矩阵，（x 2,y 2,1）为第一坐标点，（x 1,y 1,1）为第二坐标点。
S204，对第一相机自身的图像感知结果和第二相机的投影图像感知结果进行融合，得到目标图像感知结果。
在本公开实施例中，步骤S204的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
在本公开的多相机的图像融合方法中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
图3是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图，如图3所示，该多相机的图像融合方法的流程包括但不限于以下步骤：
S301，基于多相机进行图像感知，得到多相机中每个相机的图像感知结果，其中多相机中包括第一相机和一个或多个第二相机。
在本公开实施例中，步骤S301的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S302，针对每个第二相机，基于第二相机与第一相机之间的单应性矩阵，向第一相机的图像坐标系下投影第二相机的图像感知结果，得到第二相机对应的投影图像感知结果。
在本公开实施例中，步骤S302的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S303，从所有图像感知结果中确定重复的两个及两个以上的图像感知结果。
可选地，可以通过计算图像感知结果的相似度，确定图像感知结果是否重复。若两个及两个以上的图像感知结果的相似度超过设定阈值，则确定该两个及两个以上的图像感知结果重复。
可选地，可以计算图像感知结果之间的交并比（Intersection over Union，IoU），来衡量图像感知结果的重叠程度。若两个及两个以上的图像感知结果的IoU超过设定阈值，则确定该两个及两个以上的图像感知结果重复。
S304，保留重复的两个及两个以上的图像感知结果中其中一个图像感知结果，并删除剩余的重复的感知图像结果，得到目标图像感知结果。
在一些实现中，对于重复的图像感知结果，选择其中一个作为要保留的图像感知结果，并将剩余的图像感知结果删除，则保留的一个图像感知结果为目标图像感知结果。可选地，可以根据一定的优先级，从重复的两个及两个以上的图像感知结果中确定需保留的一个图像感知结果。
在一些实现中，图像感知结果的置信度可以评估图像感知结果的可靠性和准确性，置信度越高图像感知结果越准确。可选地，通过获取两个及两个以上的图像感知结果的置信度，并保留置信度最高的重复的图像感知结果，将剩余的重复的感知图像结果删除，得到目标图像感知结果。
可选地，可以将属于第一标相机的图像感知结果作为较高优先级，保留较高优先级的图像感知结果。通过确定重复的两个及两个以上的图像感知结果中属于第一标相机的重复的图像感知结果，并保留剩余第一相机的重复的图像感知结果，将剩余的重复的感知图像结果删除，得到目标图像感知结果。
在本公开的多相机的图像融合方法中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
图4是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图，如图4所示，该多相机的图像融合方法的流程包括但不限于以下步骤：
S401，基于多相机进行图像感知，得到多相机中每个相机的图像感知结果，其中多相机中包括第一相机和一个或多个第二相机。
在本公开实施例中，步骤S401的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S402，针对每个第二相机，基于第二相机与第一相机之间的单应性矩阵，向第一相机的图像坐标系下投影第二相机的图像感知结果，得到第二相机对应的投影图像感知结果。
在本公开实施例中，步骤S402的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S403，获取每个图像感知结果的置信度，并按照置信度从大到小的顺序对图像感知结果进行排序。
可选地，可以使用非极大值抑制（Non-maximum suppression，NMS），从第一相机自身的图像感知结果和第二相机的投影图像感知结果中确定重复的两个及两个以上的图像感知结果。并将重复的图像感知结果中的一个或多个图像感知结果删除，保留一个图像感知结果，则保留的图像感知结果为目标图像感知结果。可选地，基于图像感知结果的置信度和图像感知结果之间的重叠面积，确定图像感知结果是否重复。
在一些实现中，可以通过比较第一相机的图像感知结果与第二相机对应的投影图像感知结果，确定图像感知结果的置信度。例如，通过比较图像感知结果的一致性和重叠度，如比较检测框或关键点是否一致，进而确定图像感知结果的置信度。
可以理解的是，置信度表示对图像感知结果的置信程度或信任程度。置信度是范围在0到1之间的值，其中0表示完全不可信或不确定，1表示完全可信或确定。较高的置信度表示图像感知结果更可靠、准确，而较低的置信度则表示图像感知结果存在较大的不确定性或可能存在误差。
进一步地，根据每个图像感知结果的置信度，基于置信度从大到小的顺序，对图像感知结果进行排序，得到排序好的图像感知结果。其中，第一个图像感知结果的置信度最高。
S404，从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，获取图像感知结果i对应的未处理感知结果集合，并获取感知结果集合中每个图像感知结果与图像感知结果i之间的重叠面积。其中，i为大于或者等于1的整数。
在一些实现中，对排序好的图像感知结果，从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，则剩余的感知结果为图像感知结果i对应的未处理的感知结果集合。计算图像感知结果i与每个图像感知结果之间的重叠面积，并记录重叠面积的大小。
可选地，可以基于感知结果中检测框之间的重叠面积，得到每个图像感知结果与图像感知结果i之间的重叠面积。其中，i为大于或者等于1的整数。
S405，从感知结果集合中删除重叠面积大于或者等于设定阈值的图像感知结果，并基于更新后的感知结果集合继续对图像感知结果i+1进行遍历直至遍历结束。
在一些实现中，可以设定一个重叠面积的阈值，当感知结果集合中的图像感知结果与图像感知结果i之间的重叠面积大于或者等于设定阈值，将该图像感知结果删除，更新感知结果集合。
进一步地，基于更新后的感知结果集合，对图像感知结果i+1进行遍历，获取感知结果集合中每个图像感知结果与图像感知结果i+1之间的重叠面积，删除重叠面积大于或者等于设定阈值的图像感知结果，更新感知结果集合。重复此操作，直至遍历结束，此时保留的图像感知结果间的重叠面积均小于设定阈值，则保留的图像感知结果为目标图像感知结果。
在本公开的多相机的图像融合方法中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
在上述实施例的基础上，本公开实施例可以对多相机的图像融合方法中单应性矩阵的确定过程进行解释说明，如图5所示，该单应性矩阵的确定过程的流程包括但不限于以下步骤：
S501，获取第一相机的第一标定图像和第二相机的第二标定图像。
在一些实现中，可以预设一张平面标定板，该平面标定板上包括特征丰富的物品。使用第一相机和第二相机分别拍摄平面标定板，得到第一相机的第一标定图像和第二相机的第二标定图像。
示例性说明，可以将特征丰富的物品固定在墙面上，将该墙面作为平面标定板，进而对墙面进行拍摄，得到第一相机的第一标定图像和第二相机的第二标定图像。
S502，对第一标定图像和第二标定图像进行特征点匹配，得到匹配的目标特征点对。
在一些实现中，通过提取第一标定图像第一特征点和第二标定图像的第二特征点，基于特征点，对第一标定图像和第二标定图像进行特征点匹配，得到匹配的目标特征点对。可选地，可以基于就近原则，对第一特征点和第二特征点进行匹配，得到匹配的目标特征点对。其中，目标特征点对中包括匹配成功的一个第一特征点和一个第二特征点。
可选地，可以基于尺度不变特征变换（Scale-Invariant Feature Transform，SIFT）、加速稳健特征（Speeded-Up Robust Features，SURF）、定向快速特征和二进制描述子特征（Oriented FAST and Rotated BRIEF，ORB），对第一标定图像和第二标定图像进行特征点提取，本公开对特征点的提取方法不做限定。
S503，基于目标特征点对，确定第一相机与第二相机间的单应性矩阵。
在一些实现中，对于每个目标特征点对，可以将其表示为坐标形式，如（x 1,y 1）和（x 2,y 2），其中，x、y分别表示特征点在标定图像中的坐标。可选地，可以通过构建线性方程组，使用最小二乘法求解线性方程组，得到第一相机与第二相机间的单应性矩阵。其中，单应性矩阵为3*3的矩阵，形如上述公式（1）中的矩阵H。
可选地，还可以使用随机抽样一致（Random Sample Consensus，RANSAC）算法，计算第一相机与第二相机间的单应性矩阵。由于单应性矩阵使用齐坐标系，如（x,y,1），设单应性矩阵中右下角的值为1，则单应性矩阵中存在8个未知数。从目标特征点对中选择4个特征点，使用最小二乘法计算单应性矩阵中的未知数，进而得到第一相机与第二相机间的单应性矩阵。
可以理解的是，在得到第一相机与第二相机间的单应性矩阵后，还可以使用额外的目标特征点对来验证该单应性矩阵的准确性。可选地，可以将目标特征点对中的第二特征点，通过上述公式（1）进行单应性矩阵的矩阵运算，投影至第一相机的图像坐标系上，并与目标特征点对中的第一特征点进行比较，验证单应性矩阵的准确性。
在本公开的多相机的图像融合方法中，通过获取第一相机的第一标定图像和第二相机的第二标定图像，并对第一标定图像和第二标定图像进行特征点匹配，得到匹配的目标特征点对，保证了特征的丰富度和辨识度，提高了特征点匹配的准确率。进而基于目标特征点对，确定第一相机与第二相机间的单应性矩阵，以实现多相机间的图像感知结果的融合，减少了对于相机内外参的依赖，减少了对于感知目标的深度估计的依赖，提高了图像融合的效率。
在上述实施例的基础上，本公开实施例对单应性矩阵的确定过程进行解释说明，如图6所示，该单应性矩阵的确定过程的流程包括但不限于以下步骤：
S601，获取第一相机的第一标定图像和第二相机的第二标定图像。
在本公开实施例中，步骤S601的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
S602，对第一标定图像和第二标定图像进行特征提取，得到第一特征点和第二特征点。
在一些实现中，可以根据第一相机和第二相机的可视角度，基于重合的可视角度从第一标定图像和第二标定图像中确定第一图像区域和第二图像区域，进而对第一图像区域和第二图像区域进行特征提取，得到第一特征点和第二特征点。
可选地，从第一标定图像和第二标定图像分别获取剩余相机与目标相机可视角度重合的第一图像区域和第二图像区域。其中，剩余相机为第二相机，目标相机为第一相机。进一步地，通过SIFT、SURF、ORB等特征提取方法，对第一图像区域进行特征提取得到第一特征点，并对第二图像区域进行特征提取得到第二特征点。
S603，对第一特征点和第二特征点进行特征点匹配，得到匹配的候选特征点对。
在一些实现中，可以基于暴力匹配（Brute Force Matcher，BFMatcher）等匹配方法，对第一标定图像的第一特征点和第二标定图像的第二特征点进行特征点匹配，得到匹配的候选特征点对。
可以理解的是，为了提升特征点匹配的成功率，通过设定特征点的范围，对在设定范围内的第一特征点和第二特征点进行匹配，得到匹配的候选特征点对。可选地，可以将平面标定板上特征丰富的区域作为设定范围，对在设定范围内的第一特征点和第二特征点进行特征点匹配。
可选地，获取第一特征点和第二特征点的坐标。基于坐标，判断第一特征点和第二特征点是否处于设定范围内，从中确定并过滤未处于设定范围内的特征点，将未处于设定范围内的特征点删除，得到第一目标特征点和第二目标特征点，也就是第一候选特征点和第二候选特征点。进而对第一候选特征点和第二候选特征点进行特征点匹配，得到候选特征点对。
S604，对候选特征点对进行筛选，得到目标特征点对。
在一些实现中，由于第一相机与第二相机间的距离很近，匹配的特征点的坐标距离也很近，因此，可以对候选特征点对进行筛选过滤，得到准确匹配的特征点对，作为目标特征点对。
可选地，针对每个候选特征点对，确定候选特征点对中第一候选特征点的第一坐标和第二候选特征点的第二坐标，并获取第一坐标与第二坐标的差值。设置坐标差值的阈值，若候选特征点对的第一坐标与第二坐标的差值小于设定阈值，则保留该候选特征点对。对差值大于或者等于设定阈值的候选特征点对进行剔除，得到目标特征点对。
S605，基于目标特征点对，确定第一相机与第二相机间的单应性矩阵。
在本公开实施例中，步骤S605的实现方式可以分别采用本公开各实施例中的任一种方式实现，在此并不对此作出限定，也不再赘述。
在本公开的多相机的图像融合方法中，通过获取第一相机的第一标定图像和第二相机的第二标定图像，并对第一标定图像和第二标定图像进行特征点匹配，得到匹配的目标特征点对，保证了特征的丰富度和辨识度，提高了特征点匹配的准确率。进而基于目标特征点对，确定第一相机与第二相机间的单应性矩阵，以实现多相机间的图像感知结果的融合，减少了对于相机内外参的依赖，减少了对于感知目标的深度估计的依赖，提高了图像融合的效率。
图7是根据本公开的一些实施例示出的一种多相机的图像融合方法的流程图，如图7所示，该多相机的图像融合方法的流程包括但不限于以下步骤：
S701，预先对多相机中的第一相机与第二相机之间的单应性矩阵的标定。
在一些实现中，通过获取第一相机的第一标定图像和第二相机的第二标定图像，并对第一标定图像和第二标定图像进行特征点匹配，得到匹配的目标特征点对。进而基于目标特征点对，确定第一相机与第二相机间的单应性矩阵。本公开实施例可以使用上述实施例中任一确定单应性矩阵的方法，这里不再赘述。
S702，基于多相机进行图像感知，得到多相机中每个相机的图像感知结果。
S703，针对每个第二相机，基于第二相机与第一相机之间的单应性矩阵，向第一相机的图像坐标系下投影第二相机的图像感知结果，得到第二相机对应的投影图像感知结果。
S704，从所有图像感知结果中确定重复的两个及两个以上的图像感知结果。
S705，保留重复的两个及两个以上的图像感知结果中其中一个图像感知结果，并删除剩余的重复的感知图像结果，得到目标图像感知结果。
S706，基于图像感知结果，对车辆进行自动驾驶控制。
在本公开的多相机的图像融合方法中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。进一步地，车辆可以根据目标图像感知结果，确定当前环境的障碍物，分析交通状况、道路规则等，进而控制车辆进行避障，以及确定最佳路线和导航方案等。
图8是根据本公开的一些实施例示出的一种多相机的图像融合装置框图800。参照图8，该装置包括感知模块801，投影模块802和融合模块803。
感知模块801，用于基于多相机进行图像感知，得到所述多相机中每个相机的图像感知结果，其中所述多相机中包括第一相机和一个或多个第二相机。
投影模块802，用于针对每个所述第二相机，基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，得到所述第二相机对应的投影图像感知结果。
融合模块803，用于对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果。
在本公开的一个实施例中，所述投影模块802，还用于：获取所述第二相机的图像感知结果所包括的第一坐标点；针对每个所述第一坐标点，对所述单应性矩阵和所述第一坐标点进行矩阵运算，得到所述第二坐标点，其中，所述第二坐标点为所述第一坐标点投影至所述第一相机的图像坐标系下的位置。
在本公开的一个实施例中，所述融合模块803，还用于：从所有图像感知结果中确定重复的两个及两个以上的图像感知结果；保留所述重复的两个及两个以上的图像感知结果中其中一个图像感知结果，并删除剩余的重复的感知图像结果，得到所述目标图像感知结果。
在本公开的一个实施例中，所述融合模块803，还用于：获取所述两个及两个以上的图像感知结果的置信度，并保留所述置信度最高的重复的图像感知结果；或者，确定所述重复的两个及两个以上的图像感知结果中属于所述第一标相机的重复的图像感知结果，并保留剩余所述第一相机的重复的图像感知结果。
在本公开的一个实施例中，所述融合模块803，还用于：获取每个图像感知结果的置信度，并按照所述置信度从大到小的顺序对所述图像感知结果进行排序；从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，获取所述图像感知结果i对应的未处理感知结果集合，并获取所述感知结果集合中每个图像感知结果与所述图像感知结果i之间的重叠面积；其中，所述i为大于或者等于1的整数；从所述感知结果集合中删除所述重叠面积大于或者等于设定阈值的图像感知结果，并基于更新后的所述感知结果集合继续对图像感知结果i+1进行遍历直至遍历结束。
在本公开的一个实施例中，所述投影模块802，还用于：获取所述第一相机的第一标定图像和所述第二相机的第二标定图像；对所述第一标定图像和所述第二标定图像进行特征点匹配，得到匹配的目标特征点对；基于所述目标特征点对，确定所述第一相机与所述第二相机间的单应性矩阵。
在本公开的一个实施例中，所述投影模块802，还用于：对所述第一标定图像和所述第二标定图像进行特征提取，得到第一特征点和第二特征点；对所述第一特征点和所述第二特征点进行特征点匹配，得到匹配的候选特征点对；对所述候选特征点对进行筛选，得到所述目标特征点对。
在本公开的一个实施例中，所述投影模块802，还用于：从所述第一标定图像和所述第二标定图像分别获取所述剩余相机与所述目标相机可视角度重合的第一图像区域和第二图像区域；对所述第一图像区域进行特征提取得到所述第一特征点，并对所述第二图像区域进行特征提取得到所述第二特征点。
在本公开的一个实施例中，所述投影模块802，还用于：获取所述第一特征点和所述第二特征点的坐标；基于所述坐标，判断所述第一特征点和所述第二特征点是否处于设定范围内，从中确定并过滤未处于所述设定范围内的特征点，得到第一目标特征点和第二目标特征点；对所述第一候选特征点和第二候选特征点进行特征点匹配，得到所述候选特征点对。
在本公开的一个实施例中，所述投影模块802，还用于：针对每个所述候选特征点对，确定所述候选特征点对中所述第一候选特征点的第一坐标和所述第二候选特征点的第二坐标，并获取所述第一坐标与所述第二坐标的差值；对所述差值大于或者等于设定阈值的候选特征点对进行剔除，得到所述目标特征点对。
在本公开的多相机的图像融合装置中，通过车辆的自身的多个相机进行图像感知，得到第一相机和第二相机的图像感知结果，以保障相机的感知范围较大。基于第二相机与第一相机之间的单应性矩阵，将第二相机的图像感知结果投影至第一相机的图像坐标系下，得到第二相机对应的投影图像感知结果，无需进行三维坐标转换，使得投影图像感知结果精度更高。进而将图像感知结果进行融合，得到目标感知结果，以获得更准确和全面的环境信息，提高相机的感知距离。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种车辆900的框图。例如，车辆900可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆900可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图9，车辆900可包括各种子系统，例如，信息娱乐系统901、感知系统902、决策控制系统903、驱动系统904以及计算平台905。其中，车辆900还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆900的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统901可以包括通信系统，娱乐系统以及导航系统等。
感知系统902可以包括若干种传感器，用于感测车辆900周边的环境的信息。例如，感知系统902可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统903可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统904可以包括为车辆900提供动力运动的组件。在一个实施例中，驱动系统904可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆900的部分或所有功能受计算平台905控制。计算平台905可包括至少一个处理器951和存储器952，处理器951可以执行存储在存储器952中的指令953。
处理器951可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器952可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令953以外，存储器952还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器952存储的数据可以被计算平台905使用。
在本公开实施例中，处理器951可以执行指令953，以完成上述的多相机的图像融合方法的全部或部分步骤。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的多相机的图像融合方法的步骤。
此外，在本文中使用词语“示例性的”以表示充当示例、实例、示图。在本文中被描述为“示例性的”任何方面或设计都不一定理解为与其他方面或设计相比是有利的。相反，使用词语示例性的旨在以具体的方式呈现概念。如在本文中所使用的，术语“或”旨在表示包括性的“或”而不是排他性的“或”。即，除非另外指定，或者从上下文中清楚，否则“X应用A或B”旨在表示自然的包括性排列中的任何一种排列。即，如果X应用A；X应用B；或者X应用A和B两者，则“X应用A或B”在前述实例中的任何一个实例下都满足。另外，除非另外指定或者从上下文中清楚指向单数形式，否则如在该公开和所附权利要求中所使用的冠词“一”和“一个”通常被理解为表示“一个或多个”。
同样，尽管已经关于一个或多个实现示出并描述了本公开，但是在阅读并理解了该说明书和附图之后，本领域技术人员将想到等同的变型和修改。本公开包括所有这样的修改和变型，并且仅由权利要求的范围来限制。特别关于由上文所描述的组件（例如，元件、资源等）执行的各种功能，除非另外指出，否则用于描述这样的组件的术语旨在对应于执行所描述的组件的具体功能的任何组件（功能上等价的），即使结构上不等价于所公开的结构。另外，尽管可以已经关于几个实现中的仅仅一个而公开了本公开的特定的特征，但是如可以是期望的并且有利于任何给定的或特定的应用的那样，这样的特征可以与其它实现的一个或多个其它特征相结合。此外，就在具体实施方式或者权利要求中所使用的“包括”、“拥有”、“具有”、“有”、或其变型而言，这样的术语旨在作为类似于术语“包含”的方式是包括性的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
在上述详细描述中，参考了附图，其中通过图示的方式示出了可以实践本公开的特定方面。在这点上，可以参考所描述的图的取向来使用诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示方向或表示位置关系的术语。由于所描述的器件的部件可以以多个不同的取向定位，所以方向术语可以用于说明的目的，而不是限制性的。应当理解，在不脱离本公开的概念的情况下，可以利用其它方面并且可以进行结构或逻辑改变。因此，以下详细描述不应被视为限制意义。
应当理解，除非另外特别指出，否则本文描述的各种本公开的一些实施例的特征可以彼此组合。如在本文中使用的，术语“和/或”包括相关所列项中的任一者以及任何两者或更多者的任何组合；类似地，“.......中的至少一个”包括相关所列项中的任一者以及任何两者或更多者的任何组合。
应当理解，除非另有明确的规定和限定，本公开的实施例中所采用的，术语“接合”、“附接”、“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本文中的具体含义。
此外，关于在表面“之上”形成或位于表面“之上”的部件、元件或材料层中所使用的词语“之上”在本文中可用于表示部件、元件或材料层“间接”定位（例如，放置、形成、沉积等）在该表面上而使得一个或多个附加部件、元件或层布置在该表面与所述部件、元件或材料层之间。然而，关于在表面“之上”形成或位于表面“之上”的部件、元件或材料层中所使用的词语“之上”还可以可选地具有特定含义：部件、元件或材料层“直接”定位（例如，放置、形成、沉积等）在该表面上、例如与该表面直接接触。
尽管本文中可使用诸如“第一”、“第二”和“第三”的术语来描述各种构件、部件、区域、层或区段，但是这些构件、部件、区域、层或区段并不受限于这些术语。相反地，这些术语仅用于将一个构件、部件、区域、层或区段与另一个构件、部件、区域、层或区段区分开。因此，在不脱离各示例的教导的情况下，本文所描述的示例中所提到的第一构件、部件、区域、层或区段也可以被称作第二构件、部件、区域、层或区段。另外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本文描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
应当理解，在本文中使用空间相对术语，诸如“上方”、“上部”、“下方”和“下部”等来描述图中所示的一个元件与另一元件的关系。除了附图中描绘的定向之外，这种空间相对术语还旨在包含装置在使用或操作中的不同定向。例如，如果附图中的装置被翻转，则描述为在相对于另一元件的“上方”或“上部”的元件则将处于相对于该另一元件的“下方”或“下部”。因此，根据装置的空间定向，术语“上方”包含上方和下方两种定向。装置可具有其他方式的定向（例如，旋转90度或处于其他定向），并且本文中使用的空间相对术语应相应地进行解释。
Claims (12)
1.一种多相机的图像融合方法，其特征在于，所述方法包括：
基于多相机进行图像感知，得到所述多相机中每个相机的图像感知结果，其中所述多相机中包括第一相机和一个或多个第二相机，所述第一相机的焦距大于所述第二相机的焦距，且所述第一相机与所述第二相机采集同一场景的图像信息；
针对每个所述第二相机，基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，得到所述第二相机对应的投影图像感知结果；
获取所述图像感知结果的置信度，根据所述图像感知结果的置信度，或者，所述图像感知结果对应的相机，对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果，包括：
通过比较所述图像感知结果的一致性获取每个图像感知结果的置信度，并按照所述置信度从大到小的顺序对所述图像感知结果进行排序；
从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，获取所述图像感知结果i对应的未处理感知结果集合，并获取所述感知结果集合中每个图像感知结果与所述图像感知结果i之间的重叠面积；其中，所述i为大于或者等于1的整数；
从所述感知结果集合中删除所述重叠面积大于或者等于设定阈值的图像感知结果，并基于更新后的所述感知结果集合继续对图像感知结果i+1进行遍历直至遍历结束。
2.根据权利要求1中所述的方法，其特征在于，所述基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，包括：
获取所述第二相机的图像感知结果所包括的第一坐标点；
针对每个所述第一坐标点，对所述单应性矩阵和所述第一坐标点进行矩阵运算，得到第二坐标点，其中，所述第二坐标点为所述第一坐标点投影至所述第一相机的图像坐标系下的位置。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果，还包括：
从所有图像感知结果中确定重复的两个及两个以上的图像感知结果；
保留所述重复的两个及两个以上的图像感知结果中其中一个图像感知结果，并删除剩余的重复的感知图像结果，得到所述目标图像感知结果。
4.根据权利要求3所述的方法，其特征在于，所述保留所述重复的两个及两个以上的图像感知结果中其中一个图像感知结果，包括：
获取所述两个及两个以上的图像感知结果的置信度，并保留所述置信度最高的重复的图像感知结果；或者，
确定所述重复的两个及两个以上的图像感知结果中属于所述第一相机的重复的图像感知结果，并保留剩余所述第一相机的重复的图像感知结果。
5.根据权利要求1中所述的方法，其特征在于，所述单应性矩阵的确定过程，包括：
获取所述第一相机的第一标定图像和所述第二相机的第二标定图像；
对所述第一标定图像和所述第二标定图像进行特征点匹配，得到匹配的目标特征点对；
基于所述目标特征点对，确定所述第一相机与所述第二相机间的单应性矩阵。
6.根据权利要求5中所述的方法，其特征在于，所述对所述第一标定图像和所述第二标定图像进行特征点匹配，得到匹配的目标特征点对，包括：
对所述第一标定图像和所述第二标定图像进行特征提取，得到第一特征点和第二特征点；
对所述第一特征点和所述第二特征点进行特征点匹配，得到匹配的候选特征点对；
对所述候选特征点对进行筛选，得到所述目标特征点对。
7.根据权利要求6中所述的方法，其特征在于，所述对所述第一标定图像和所述第二标定图像进行特征提取，得到第一特征点和第二特征点，包括：
从所述第一标定图像和所述第二标定图像分别获取剩余相机与目标相机可视角度重合的第一图像区域和第二图像区域；
对所述第一图像区域进行特征提取得到所述第一特征点，并对所述第二图像区域进行特征提取得到所述第二特征点。
8.根据权利要求6中所述的方法，其特征在于，所述对所述第一特征点和所述第二特征点进行特征点匹配，得到匹配的候选特征点对，包括：
获取所述第一特征点和所述第二特征点的坐标；
基于所述坐标，判断所述第一特征点和所述第二特征点是否处于设定范围内，从中确定并过滤未处于所述设定范围内的特征点，得到第一目标特征点和第二目标特征点；
对第一候选特征点和第二候选特征点进行特征点匹配，得到所述候选特征点对。
9.根据权利要求5-8中任一项所述的方法，其特征在于，对候选特征点对进行筛选，得到所述目标特征点对，包括：
针对每个所述候选特征点对，确定所述候选特征点对中第一候选特征点的第一坐标和第二候选特征点的第二坐标，并获取所述第一坐标与所述第二坐标的差值；
对所述差值大于或者等于设定阈值的候选特征点对进行剔除，得到所述目标特征点对。
10.一种多相机的图像融合装置，其特征在于，所述装置包括：
感知模块，用于基于多相机进行图像感知，得到所述多相机中每个相机的图像感知结果，其中所述多相机中包括第一相机和一个或多个第二相机，所述第一相机的焦距大于所述第二相机的焦距，且所述第一相机与所述第二相机采集同一场景的图像信息；
投影模块，用于针对每个所述第二相机，基于所述第二相机与所述第一相机之间的单应性矩阵，向所述第一相机的图像坐标系下投影所述第二相机的图像感知结果，得到所述第二相机对应的投影图像感知结果；
融合模块，用于获取所述图像感知结果的置信度，根据所述图像感知结果的置信度，或者，所述图像感知结果对应的相机，对所述第一相机自身的图像感知结果和所述第二相机的投影图像感知结果进行融合，得到目标图像感知结果；
所述融合模块具体用于：
通过比较所述图像感知结果的一致性获取每个图像感知结果的置信度，并按照所述置信度从大到小的顺序对所述图像感知结果进行排序；
从置信度最高的图像感知结果按序进行遍历，针对当前遍历到的图像感知结果i，获取所述图像感知结果i对应的未处理感知结果集合，并获取所述感知结果集合中每个图像感知结果与所述图像感知结果i之间的重叠面积；其中，所述i为大于或者等于1的整数；
从所述感知结果集合中删除所述重叠面积大于或者等于设定阈值的图像感知结果，并基于更新后的所述感知结果集合继续对图像感知结果i+1进行遍历直至遍历结束。
11.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
实现权利要求1-9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899571.2A CN116630219B (zh) | 2023-07-21 | 2023-07-21 | 多相机的图像融合方法、装置及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310899571.2A CN116630219B (zh) | 2023-07-21 | 2023-07-21 | 多相机的图像融合方法、装置及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116630219A CN116630219A (zh) | 2023-08-22 |
| CN116630219B true CN116630219B (zh) | 2023-11-14 |
Family
ID=87617378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310899571.2A Active CN116630219B (zh) | 2023-07-21 | 2023-07-21 | 多相机的图像融合方法、装置及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116630219B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332648A (zh) * | 2022-03-07 | 2022-04-12 | 荣耀终端有限公司 | 一种位置标识方法及电子设备 |
| CN114418021A (zh) * | 2022-01-25 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 模型优化方法、装置及计算机程序产品 |
| CN114612678A (zh) * | 2022-02-23 | 2022-06-10 | 武汉路特斯汽车有限公司 | 视觉感知算法评测方法 |
| CN114913290A (zh) * | 2022-05-24 | 2022-08-16 | 北京地平线信息技术有限公司 | 多视角融合的场景重建方法、感知网络训练方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220114805A1 (en) * | 2021-12-22 | 2022-04-14 | Julio Fernando Jarquin Arroyo | Autonomous vehicle perception multimodal sensor data management |
-
2023
- 2023-07-21 CN CN202310899571.2A patent/CN116630219B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418021A (zh) * | 2022-01-25 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 模型优化方法、装置及计算机程序产品 |
| CN114612678A (zh) * | 2022-02-23 | 2022-06-10 | 武汉路特斯汽车有限公司 | 视觉感知算法评测方法 |
| CN114332648A (zh) * | 2022-03-07 | 2022-04-12 | 荣耀终端有限公司 | 一种位置标识方法及电子设备 |
| CN114913290A (zh) * | 2022-05-24 | 2022-08-16 | 北京地平线信息技术有限公司 | 多视角融合的场景重建方法、感知网络训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116630219A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| JP6931096B2 (ja) | オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両 | |
| CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
| CN104833370B (zh) | 用于映射、定位和位姿校正的系统和方法 | |
| CN107636679B (zh) | 一种障碍物检测方法及装置 | |
| WO2021227645A1 (zh) | 目标检测方法和装置 | |
| US11417017B2 (en) | Camera-only-localization in sparse 3D mapped environments | |
| WO2021143286A1 (zh) | 车辆定位的方法、装置、控制器、智能车和系统 | |
| CN110807350A (zh) | 用于面向扫描匹配的视觉slam的系统和方法 | |
| WO2020043081A1 (zh) | 定位技术 | |
| CN110858405A (zh) | 车载摄像头的姿态估计方法、装置和系统及电子设备 | |
| JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
| CN114111774B (zh) | 车辆的定位方法、系统、设备及计算机可读存储介质 | |
| WO2024012211A1 (zh) | 自动驾驶环境感知方法、介质及车辆 | |
| CN116997771A (zh) | 车辆及其定位方法、装置、设备、计算机可读存储介质 | |
| US20210190509A1 (en) | Position estimating apparatus and position estimating method | |
| CN116380088B (zh) | 车辆定位方法、装置、车辆及存储介质 | |
| CN116630219B (zh) | 多相机的图像融合方法、装置及车辆 | |
| CN112785653A (zh) | 车载相机姿态角标定方法 | |
| CN112689234A (zh) | 室内车辆定位方法、装置、计算机设备和存储介质 | |
| CN115661589A (zh) | 评测融合感知算法的方法、装置、存储介质及车辆 | |
| Kim et al. | A geodetic normal distribution map for long-term LiDAR localization on earth | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| CN116934870A (zh) | 单应性矩阵的确定方法、装置及车辆 | |
| WO2020021596A1 (ja) | 車両位置推定装置および車両位置推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |