CN116485907A - 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统 - Google Patents

一种环视相机外参确定方法、装置及环视鸟瞰图采集系统 Download PDF

Info

Publication number
CN116485907A
CN116485907A CN202310369309.7A CN202310369309A CN116485907A CN 116485907 A CN116485907 A CN 116485907A CN 202310369309 A CN202310369309 A CN 202310369309A CN 116485907 A CN116485907 A CN 116485907A
Authority
CN
China
Prior art keywords
looking
camera
around camera
projection point
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310369309.7A
Other languages
English (en)
Inventor
陈贤波
李佳宁
李�杰
毛慧
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202310369309.7A priority Critical patent/CN116485907A/zh
Publication of CN116485907A publication Critical patent/CN116485907A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种环视相机外参确定方法、装置及环视鸟瞰图采集系统，基于第一环视相机和第二环视相机采集到的图像数据生成第一虚拟图像和第二虚拟图像，根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像以及第一投影点在第二虚拟图像中的投影点；根据第一投影点和第二投影点的像素值的第一差异调整初始外参，得到第一环视相机和第二环视相机的矫正外参。基本本申请确定的矫正外参能够更准确地对环视相机采集到的图像进行拼接。

Description

一种环视相机外参确定方法、装置及环视鸟瞰图采集系统
技术领域
本申请涉及机器视觉技术领域，特别是涉及一种环视相机外参确定方法、装置及环视鸟瞰图采集系统。
背景技术
为准确获取目标对象，如车辆、自动导引机器人等，周围环境，以根据周围环境合理地控制目标对象的移动，可以在目标对象四周设置环视相机，示例性的，如图1a所示。基于各个环视相机采集到的图像数据，生成目标对象各个方位上的鸟瞰图，通过拼接这些鸟瞰图即可生成能够有效反映目标对象周围情况的环视鸟瞰图，示例性的，如图1b所示。
在拼接各个方位上的鸟瞰图时，是基于各环视相机的位姿进行拼接的，若无法准确确定各环视相机的位姿，则可能导致各个方位上的鸟瞰图无法准备地被拼接，示例性的，如图1c所示，其中，环视鸟瞰图中的斑马线出现断裂。
因此，如何准确地确定各环视相机的外参成为亟待解决的技术问题。
发明内容
本申请实施例的目的在于提供一种环视相机外参确定方法，以实现准确地确定各环视相机的外参。具体技术方案如下：
根据本申请实施例的第一方面，提供了一种环视相机外参确定方法，所述方法包括：
基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述地面共视区域为所述第一环视相机的视野与第二环视相机的视野之间的重叠区域，所述第一环视相机和所述第二环视相机设置于可移动对象；
基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像，其中，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点；
根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
在一种可能的实施例中，所述方法还包括：
基于所述第一环视相机采集到的图像数据，生成所述地面共视区域的鸟瞰图；
在所述鸟瞰图中确定梯度满足预设梯度条件的像素点，作为目标像素点，其中，所述预设梯度条件包括：梯度大于预设梯度阈值；
所述确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点，包括：
将所述目标像素点投影至所述第一虚拟图像，得到第一投影点；并将所述第一投影点投影至所述第二虚拟图像，得到第二投影点。
在一种可能的实施例中，所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参以及所述初始位姿，得到所述可移动对象的矫正位姿、所述第一环视相机和所述第二环视相机的相对处于所述矫正位姿的所述可移动对象的矫正外参。
在一种可能的实施例中，所述方法还包括：
根据所述矫正外参和所述矫正位姿，确定所述第一投影点在所述第二虚拟图像中的第三投影点；
直至所述第一投影点和所述第三投影点的像素值的第二差异满足预设收敛条件，根据所述第二差异调整所述矫正外参和所述矫正位姿，得到新的矫正外参和新的矫正位姿，并返回执行所述根据所述矫正外参和所述矫正位姿，确定所述第一投影点在所述第二虚拟图像中的第三投影点的步骤。
在一种可能的实施例中，所述方法还包括：
根据所述第一环视相机和所述第二环视相机的初始外参，分别确定所述第一环视相机的位置和所述第二环视相机的位置与先验位置条件之间的匹配程度；
所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
根据所述第一投影点和所述第二投影点的像素值的第一差异以及所述匹配程度，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
在一种可能的实施例中，所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
确定以所述初始外参为自变量、所述第一差异为因变量的损失函数的梯度下降方向；
沿所述梯度下降方向调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
根据本申请实施例的第二方面，提供了一种环视鸟瞰图采集系统，所述系统包括第一环视相机、第二环视相机、处理器，所述第一环视相机的视野和所述第二环视相机的视野之间存在重叠的地面共视区域；
所述第一环视相机和所述第二环视相机设置于所述可移动对象，且所述第一环视相机和所述第二环视相机用于采集可移动对象不同方位处的图像数据；
所述处理器，用于基于所述第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像；基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像；根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点，并根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参；其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
所述处理器，还用于基于所述矫正参数、所述第一环视相机和所述第二环视相机的所述矫正外参，生成所述可移动对象不同方位处的鸟瞰图；拼接各所述鸟瞰图，得到所述可移动对象的环视鸟瞰图。
根据本申请实施例的第三方面，提供了一种环视相机外参确定装置，所述装置包括：
第一生成模块，用于基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述地面共视区域为所述第一环视相机的视野与第二环视相机的视野之间的重叠区域，所述第一环视相机和所述第二环视相机设置于可移动对象；
第二生成模块，用于基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像，其中，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
确定模块，用于根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点；
调整模块，用于根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
根据本申请实施例的第四方面，提供了一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现上述任一所述的一种环视相机外参确定方法。
根据本申请实施例的第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的一种环视相机外参确定方法。
本申请实施例有益效果：
本申请实施例提供的一种环视相机外参确定方法、装置及环视鸟瞰图采集系统，可以将地面共视区域中相同的空间点分别映射至第一虚拟图像和第二虚拟图像，由于第一虚拟图像和第二虚拟图像分别为模拟得到的第一虚拟相机和第二虚拟相机采集得到的图像，且第一虚拟相机和第二虚拟相机朝向地面共视区域，因此第一环视相机和第二环视相机的地面共视区域同样也是第一虚拟相机和第二虚拟相机的地面共视区域，因此基于地面共视区域内空间点在第一虚拟图像和第二虚拟图像上的投影点，能够确定第一虚拟相机和第二虚拟相机的外参，又由于第一虚拟相机与第一环视相机的位置相同，且虽然第一虚拟相机与第一环视相机的朝向不同，但是第一虚拟相机相对第一环视相机的朝向是已知的，因此可以根据第一虚拟相机的外参推算出第一环视相机的外参，同理于第一虚拟相机和第一环视相机，根据第二虚拟相机的外参也能够推算出第二环视相机的外参，即通过确定虚拟相机和第二虚拟相机的外参，即可实现确定第一环视相机和第二环视相机的外参。另一方面，本申请中用于确定外参的投影点是在第一虚拟图像和第二虚拟图像中的投影点，又由于第一虚拟相机的外参是相对于第一环视相机的相对外参，该相对外参并不会随着矫正过程中第一环视相机的外参的变化而变化，因此，第一虚拟图像所属的图像坐标系在矫正过程中也是固定的，无需随着矫正过程重新生成虚拟图像，也无需确定新的投影点，即无需重新将空间点重新投影至第一虚拟图像，仅需将第一投影点重新投影至第二虚拟图像，有效降低选取投影点所需的计算量，提高矫正效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1a为本申请实施例提供的环视相机布局示意图；
图1b为本申请提供的准确拼接的环视鸟瞰图的示意图；
图1c为本申请提供的未准确拼接生成的环视鸟瞰图的示意图；
图1d为本申请提供的地面共视区域示意图；
图1e为本申请提供的车辆未倾斜时的环视相机光轴示意图；
图1f为本申请提供的车辆倾斜时的环视相机光轴示意图；
图2为本申请提供的环视相机外参确定方法的一种流程示意图；
图3a为本申请提供的虚拟相机示意图；
图3b为本申请提供的虚拟图像示意图；
图3c为本申请提供的原始图像示意图；
图4为本申请提供的环视相机外参确定方法的另一种流程示意图；
图5为本申请提供的环视相机外参确定方法的又一种流程示意图；
图6为本申请提供的环视相机外参确定方法的另一种流程示意图；
图7为本申请提供的环视相机外参确定方法的又一种流程示意图；
图8为本申请提供的环视相机外参确定方法中参数迭代流程示意图；
图9为本申请提供的环视相机外参确定装置的一种结构示意图；
图10为本申请提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。
为更清楚的本申请提供的环视相机外参确定方法进行说明，下面将对本申请提供的环视相机外参标定方法的一种可能的应用场景进行示例性说明，可以理解的是，以下示例仅是本申请提供的环视相机外参确定方法的一种可能的应用场景，在其他可能的实施例中本申请提供的环视相机外参确定方法也可以应用于其他可能的实施例中，以下示例对此不作任何限制。
具备自动驾驶或辅助驾驶功能的车辆为实现自动驾驶或辅助驾驶功能，需要准确识别车辆周围地面上的交通标识，如斑马线、转向箭头等。因此，可以如图1a所示，在车辆的前方、左侧、右侧以及后方分别设置环视相机，在车辆行驶过程中，各个环视相机分别采集图像数据，基于各环视相机采集到的图像数据生成鸟瞰图，并根据各相机的外参对生成的各鸟瞰图进行拼接，得到如图1b所示的环视鸟瞰图。
但是，若无法准确确定各环视相机的外参，则将导致无法准确地将各鸟瞰图拼接为环视鸟瞰图，各鸟瞰图拼接处可能存在一定的偏移，形成如图1c所示的环视鸟瞰图，由图1c可见，在拼接得到的环视鸟瞰图中斑马线存在断裂。
可以理解的是，相邻的环视相机的视野存在一定的重叠，本文中将该重叠区域称为该两个环视相机的地面共视区域，如图1a所示的环视相机布局，地面共视区域如图1d所示，其中，以粗实线包围的区域即为地面共视区域。
地面共视区域中的空间点将同时被相邻的两个环视相机拍摄得到，因此两个环视相机采集到的图像中数据中均存在与该空间点对应的像素点，为方便描述，将该两个相邻的环视相机分别记为第一环视相机和第二环视相机，并将该空间点记为点P，在第一环视相机采集到的图像数据中点P对应于像素点x1，在第二环视相机采集到的图像数据中点P对应于像素点x2。由于像素点的像素值取决于对应的空间点的亮度，因此理论上像素点x1的像素值I1等于像素点x2的像素值I2。
而像素点x1的像素坐标可以根据第一环视相机的外参以及空间点P的空间坐标确定得到，同理，像素点x2的像素坐标可以根据第二环视相机的外参以及空间点P的空间坐标确定得到。在第一环视相机和第二环视相机的外参准确的情况下，存在公式(1)：
I1(f(P))- I2(g(P))＝0 … (1)
其中，I1(·)为第一环视相机采集到的图像数据中像素坐标与像素值的对应关系，I2(·)为第二环视相机采集到的图像数据中像素坐标与像素值的对应关系，f(·)为空间坐标系与第一环视相机的图像坐标系之间的坐标转换关系，g(·)为空间坐标系与第二环视相机的图像坐标系之间的坐标转换关系，P为点P的空间坐标。
但是，如果第一环视相机和第二环视相机的外参不准确，则f(P)将与像素点x1存在一定的差异，同时，g(P)也将与像素点x2存在一定的差异。因此公式(1)等式右边不严格为0，而是等于一个残差，将该残差记为loss，则公式(1)改写为公式(2)：
I1(f(P))- I2(g(P))＝loss … (2)
公式(2)可以视为以第一环视相机和第二环视相机的外参为自变量，loss为因变量的函数，由公式(1)可知，当第一环视相机和第二环视相机的外参为真实外参时，loss为0。因此，可以认为当loss越接近于0时，第一环视相机和第二环视相机的外参越接近于真实外参。因此可以确定loss的梯度下降方向，并沿着该梯度方向调整第一环视相机和第二环视相机的外参，从而使得调整后的外参更加接近于真实外参，即实现外参的矫正。
但是该外参的矫正过程存在以下问题：
问题1：该方案是简单地基于共视区域地面空间点构建的loss，因此等效于在矫正第一环视相机和第二环视相机在空间坐标系下的外参，即矫正第一环视相机和第二环视相机相对地面的外参，而环视相机在实际工作过程中是安装于车辆上的，因此环视相机采集到的图像不仅取决于环视相机相对地面的外参，还取决于车辆的位姿，而车辆的位姿根据应用场景的不同可能不同。
示例性的，参见图1e和图1f，图1e和图1f所示的场景中车辆所处的位姿不同，基于上述方案在图1e所示场景中对第一环视相机和第二环视相机的外参进行矫正，以使得第一环视相机和第二环视相机采集到的图像能够准确地进行拼接，但是若将矫正得到的位姿应用于图1f所示的场景，则如图1f所示，第一环视相机和第二环视相机采集到的图像在拼接后将出现拼接缝。可见，按照上述方案难以准确地矫正设置于车辆上的环视相机的位姿。
问题2：图像具有一定的连续性，因此图像中一个像素点的像素值可能与该像素点周边的其他像素点的像素值接近，即该像素点的梯度较小。若在第一环视相机采集到的图像数据中点f(P)处的梯度较小(同理g(P)处的梯度也将较小)，则即使f(P)与像素点x1存在一定的差异，且g(P)与像素点x2存在一定的差异，由于像素点x1与周围像素点的像素值相近，且像素点x2与周围像素点的像素值相近，因此loss也仍然较小，进而错误地认为外参接近于真实的外参，即导致经过矫正的外参仍然不够准确。
因此，为准确地对外参进行矫正，需要选取梯度尽可能大的点进行矫正，如斑马线的轮廓线处。但是，在外参矫正的过程中，环视相机的外参将随着矫正发生变化，而随着外参的变化，图像坐标系也将发生变化，进而导致之前选取的像素点无法继续使用，因此需要不断地重新选取用于矫正的像素点，同时，如前述分析，用于矫正的像素点不能够随意选取，而是需要选择梯度尽可能大的像素点，因此选取像素点也需要占用一定的系统资源，而该方案中由于需要多次重复选取像素点，导致占用过多系统资源，进而导致矫正效率较低。
基于此，本申请提供了一种环视相机外参确定方法，如图2所示，包括：
S201，基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像。
其中，第一虚拟相机与第一环视相机的位置相同且朝向地面共视区域，地面共视区域为第一环视相机和第二环视相机的视野之间的重叠区域，第一环视相机和第二环视相机设置于可移动对象。
S202，基于第二环视相机采集到的图像数据，生成第二虚拟相机采集地面共视区域得到的第二虚拟图像。
其中，第二虚拟相机与第二环视相机的位置相同且朝向地面共视区域。
S203，根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点。
S204，根据第一投影点和第二投影点的像素值的第一差异，调整第一环视相机和第二环视相机的初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参。
选用该实施例，一方面，将地面共视区域中相同的空间点分别映射至第一虚拟图像和第二虚拟图像，由于第一虚拟图像和第二虚拟图像分别为模拟得到的第一虚拟相机和第二虚拟相机采集得到的图像，且第一虚拟相机和第二虚拟相机朝向地面共视区域，因此第一环视相机和第二环视相机的地面共视区域同样也是第一虚拟相机和第二虚拟相机的地面共视区域，因此基于地面共视区域内空间点在第一虚拟图像和第二虚拟图像上的投影点，能够确定第一虚拟相机和第二虚拟相机的外参，又由于第一虚拟相机与第一环视相机的位置相同，且虽然第一虚拟相机与第一环视相机的朝向不同，但是第一虚拟相机相对第一环视相机的朝向是已知的，因此可以根据第一虚拟相机的外参推算出第一环视相机的外参，同理于第一虚拟相机和第一环视相机，根据第二虚拟相机的外参也能够推算出第二环视相机的外参，即通过确定虚拟相机和第二虚拟相机的外参，即可实现确定第一环视相机和第二环视相机的外参。
另一方面，由于本申请中在构建第一差异时不仅考虑了初始外参同时还考虑了可移动对象的初始位姿，因此第一差异中不仅可以反映出初始外参导致的第一投影点和第二投影点的像素值的差异，还能够反映出可移动对象的位姿导致的第一投影点和第二投影点的像素值的差异，因此根据第一差异调整初始外参时能够在一定程度上排除初始位姿对像素值的差异的影响，从而通过调整初始外参尽可能消除初始外参导致的像素值的差异，因此调整后得到的矫正外参几乎(甚至完全)不受可移动对象位姿的影响，即调整后得到的矫正外参可以视为环视相机相对可移动对象的外参，因此对于处于不同位姿的可移动对象均可以使用矫正外参准确地进行图像拼接，即可以解决上述问题1。
又一方面，本申请中用于确定外参的投影点是在第一虚拟图像和第二虚拟图像中的投影点，又由于第一虚拟相机的外参是相对于第一环视相机的相对外参，该相对外参并不会随着矫正过程中第一环视相机的外参的变化而变化，因此，第一虚拟图像所属的图像坐标系在矫正过程中也是固定的，无需随着矫正过程重新生成虚拟图像，也无需确定新的投影点，即无需重新将空间点重新投影至第一虚拟图像，仅需将第一投影点重新投影至第二虚拟图像，有效降低选取投影点所需的计算量，提高矫正效率，即解决上述问题2。
下面将对前述S201-S204进行详细说明：
在S201中，虚拟相机并非真实存在的相机，而是仅存在于逻辑上的相机，虚拟图像为模拟得到的、假设虚拟相机真实存在的情况下该虚拟相机应当拍摄到的图像。第一虚拟相机的位置与第一环视相机相同是指：假设第一虚拟相机处于与第一环视相机相同的位置。
第一虚拟相机的视野内至少包括地面共视区域，且为使得第一虚拟图像中尽可能包括完整的地面共视区域，地面共视区域应当尽可能处于第一虚拟相机的视野中心，因此第一虚拟相机的光轴应当尽可能靠近地面共视区域的中心。
第一虚拟相机假定的内参与第一环视相机不同，为了尽可能采集到周围的图像信息，第一环视相机往往为大视场角的相机，如鱼眼相机。而对于第一虚拟相机而言，为了降低第一虚拟图像因仿射现象产生的图像变形，第一虚拟相机的视场角应当在使得第一虚拟相机的视野覆盖地面共视区域的情况下尽可能小。
第一虚拟相机和第一环视相机的关系可以如图3a所示，可见，两个相机处于相同的位置，第一环视相机为大视场角相机，且光轴朝向正前方(即图3a中的下方)，第一虚拟相机的光轴相当于对第一环视相机的光轴进行旋转得到的，且对准地面共视区域，并且第一虚拟相机的视场角明显小于第一环视相机。
拍摄得到的图像分别如图3b、图3c所示，其中，图3b为第一虚拟图像，图3c为第一环视相机采集到的图像数据(下文称原始图像)。由图3a可见，地面共视区域处于第一环视相机的视野边缘，因此一方面仿射现象严重，即图像变形严重，进而导致难以基于原始图像准确确定梯度，即难以根据第一环视相机采集到的图像数据合理选取用于矫正的投影点。
另一方面，地面共视区域中部分空间点超过90°的视野边界线，根据小孔成像原理，这些空间点所处区域的尺寸将变为无穷大，因此无法选取这些空间点对应的投影点进行矫正。导致能够被选取用于矫正的投影点减少，可能因无法选取足够多的投影点而无法准确地进行矫正。
而在第一虚拟图像中，由于地面共视区域靠近第一虚拟相机中的视野中心，因此不存在前述问题。即能够基于第一虚拟图像相对准确地确定梯度，从而选取投影点，同时，能够选择地面共视区域中各空间点对应的投影点矫正初始外参，降低因无法选取足够多的投影点而无法准确地进行矫正的可能性。
本申请中的可移动对象可以是任意具备移动能力的设备，包括但不限于车辆、可移动导引机器人等。
在S202中，第二环视相机和第二虚拟相机之间的关系与前述第一环视相机和第一虚拟相机相同，可以参见前述S201中关于第一环视相机和第一虚拟相机的相关说明，在此不再赘述。
在S203中，第一投影点为空间点在第一虚拟图像中的投影点，第二投影点为第一投影点在第二虚拟图像中的投影点，可以理解的是，如果初始外参以及初始位姿足够准确，理论上第二投影点即为该空间点在第二虚拟图像中的投影点，即第二投影点为相同的空间点在第二虚拟图像中的投影点，因此理论上第一投影点和第二投影点的像素值的第一差异应当为0。在一种可能的实施例中，可以是选取空间点，并将选取的空间点投影至第一虚拟图像得到第一投影点，并投影至第二虚拟图像中得到第二投影点。
本申请中的初始位姿可以是按照任意位姿确定方法确定得到的位姿，还可以是在确定得到的位姿的基础上进行矫正得到的位姿，本申请对于矫正位姿所使用的位姿矫正方法不进行任何限定，并且下文中还将对如何对可移动对象的位姿进行矫正进行示例性说明，在此不再赘述。
可以理解的是，如前述说明，为提高确定得到的外参的准确性，应当使得投影点处的梯度尽可能大，而在选取空间点时难以确定该空间点对应的投影点处的梯度是否足够大。因此，在一种可能的实施例中，可以在第一虚拟图像中选取梯度足够大的第一投影点，并将第一投影点投影至第二虚拟图像，得到第二投影点。本文中的梯度足够大可以是指梯度大于预设梯度阈值，也可以是指梯度最大的前N个投影点，其中N为任意正整数。
在又一种可能的实施例中，还可以是基于第一环视相机采集到的图像数据，生成地面共视区域的鸟瞰图，在鸟瞰图中确定梯度满足预设梯度条件的像素点，作为目标像素点。将目标像素点投影至第一虚拟图像，得到第一投影点，并将第一投影点投影至第二虚拟图像，得到第二投影点。
其中，预设梯度条件为梯度足够大。可以理解的是，相比于第一虚拟图像，鸟瞰图能够视为地面的正视图，能够有效避免因拍摄角度导致地图像失真，因此基于鸟瞰图能够更准确地确定各像素点的梯度，从而选取梯度足够大的投影点。
初始外参可以是通过任意外参确定方法确定得到的外参，示例性的，初始外参可以是预先使用本申请提供的环视相机外采确定方法确定得到的矫正外参，也可以是预先使用本申请提供的环视相机外采确定方法以外的其他外参确定方法确定得到的外参，本申请对此不作任何限制。
在S204中，如前述说明，理论上第一投影点和第二投影点之间的第一差异应当为0，因此第一差异能够反映出初始外参与真实外参之间的差异，通过调整初始外参使得第一差异趋近于0，即可确定出相较于初始外参更为准确的矫正外参。
为更清楚的对本申请提供的环视相机外参确定方法进行说明，下面将结合具体的图例进行说明，参见图1a，为描述方便，分别将该四个环视相机称为左相机、右相机、前相机以及后相机，其中，左相机为图1a中位于左侧的环视相机，右相机为图1a中位于右侧的环视相机，以此类推。假设需要确定图1a中左相机、右相机以及后相机的外参。
流程如图4所示，首先，基于左相机和右相机采集到的图像数据和初始外参，分别生成左相机和右相机对应的鸟瞰图，为描述方便，将左相机对应的鸟瞰图称为左鸟瞰图，右相机对应的鸟瞰图称为右鸟瞰图。
在左鸟瞰图中选取位于左相机与后相机的地面共视区域中梯度足够大的像素点，作为第一目标像素点。在右鸟瞰图中选取位于右相机与后相机的地面共视区域中梯度足够大的像素点，作为第二目标像素点。
基于初始外参，将第一目标像素点投影至左虚拟相机采集到的左虚拟图像，得到左投影点，其中左虚拟相机的位置与左相机相同，且朝向左相机与后相机的地面共视区域。并将第二目标像素点投影至右虚拟相机采集到的右虚拟图像，得到右投影点，其中右虚拟相机的位置与右相机相同，且朝向右相机与后相机的地面共视区域。
基于初始外参，将左投影点投影至第一后虚拟相机采集到的第一后虚拟图像，得到第一后投影点，其中后虚拟相机的位置与后相机相同，且朝向左相机与后相机的地面共视区域。并将右投影点投影至第二后虚拟相机采集到的第二后虚拟图像，得到第二后投影点，其中第二后虚拟相机的位置与后相机相同，且朝向右相机与后相机的地面共视区域。
基于左投影点和第一后投影点的像素值的差异，以及右投影点和第二后投影点的像素值的差异，调整左相机、右相机以及后相机的初始外参，以使得该两个差异的总和降低，得到左相机、右相机以及后相机的矫正外参。调整的方式可以如前述公式(1)(2)的说明，通过最小化残差loss来调整初始外参，因此该步骤也可以称为优化环视外参以最小化残差。
该示例中，左相机和右相机相当于前述第一环视相机，后相机相当于前述第二环视相机，左虚拟相机和右虚拟相机相当于前述第一虚拟相机，第一后虚拟相机和第二后虚拟相机相当于前述第二虚拟相机。左投影点、右投影点相当于前述第一投影点，第一后投影点和第二后投影点相当于前述第二投影点。可以参照前述相关说明，在此不再赘述。
可以理解的是，确定得到的矫正位姿可能仍然不够准确，在一种可能的实施例中，为了进一步提高矫正位姿的准确性，可以对矫正位姿进行矫正，以得到更为准确的新的矫正位姿。
示例性的，如图5所示，图5所示为本申请提供的环视相机外参确定方法的另一种流程示意图，包括：
S501，基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像。
该步骤与前述S201相同，可以参见前述S201的相关说明，在此不再赘述。
S502，基于第二环视相机采集到的图像数据，生成第二虚拟相机采集地面共视区域得到的第二虚拟图像。
该步骤与前述S202相同，可以参见前述S202的相关说明，在此不再赘述。
S503，根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点。
该步骤与前述S203相同，可以参见前述S203的相关说明，在此不再赘述。
S504，根据第一投影点和第二投影点的像素值的第一差异，调整第一环视相机和第二环视相机的初始外参，得到第一环视相机和第二环视相机的矫正外参。
该步骤与前述S204相同，可以参见前述S204的相关说明，在此不再赘述。
S505，根据第一环视相机和第二环视相机的矫正外参、可移动对象的初始位姿，确定第一投影点在第二虚拟图像中的第三投影点。
如前述说明，第一投影点不会发生变化，因此该步骤相当于根据矫正外参，将第一投影点重新投影至第二虚拟图像，得到第三投影点。
S506，直至第二差异满足预设收敛条件，根据第二差异调整矫正外参，得到新的矫正外参，并返回执行S505。
其中，第二差异为第一投影点和第三投影点的像素值的差异。预设收敛条件可以是第二差异小于预设差异阈值，也可以是本次循环中的第二差异相比于上次循环中的第二差异的变化小于预设变化阈值，即第二差异已经足够收敛。
可以理解的是，若第二差异满足预设收敛条件，则可以认为矫正外参已经足够接近真实外参，因此无需重新确定新的矫正外参。反之，若第二差异不满足预设收敛条件，则可以认为矫正外参与真实外参还有一定差距，需要进一步对矫正外参进行矫正，以得到更为准确的矫正外参。
选用该实施例，能够通过迭代的方式不断地对矫正外参进行矫正，直至矫正外参足够接近真实外参，从而进一步提高得到的矫正外参的准确性。
仍以需要确定图1a中左相机、右相机以及后相机的外参的应用场景为例，则图5所示的流程可以如图6所示，在第一次确定出矫正外参之前的流程与图4相同，可以参见图4的相关说明，在此不再赘述。
在第一次确定出矫正外参后，根据新的矫正外参将左投影点投影至第一虚拟后图像，得到新的第一后投影点，并将右投影点投影至第二虚拟后图像，得到新的第二后投影点，基于新的第一后投影点和新的第二后投影点，确定左投影点与第一后投影点之间的差异以及右投影点和第二后投影点之间的差异是否足够小，若足够小，则结束矫正，若不足够小，则基于新的第一后投影点和新的第二后投影点继续调整矫正外参。
图4、图6所示，仅是本申请提供的环视相机外参确定方法的两种可能的流程示意图，在其他可能的实施例中，本申请提供的环视相机外参确定可以用于同时确定三个以上的环视相机的外参，可以理解的是，如前述说明，由于本申请提供的环视相机外参确定方法针对每个图像帧仅需选取一次投影点，因此能够有效降低选取投影点所产生的计算量，因此在硬件性能受限的情况下，能够同时确定更多环视相机的外参。
可移动对象的位姿可能随时间的变化而发生变化，示例性的，可移动对象初始位姿如图1e所示，而随着可移动对象的移动位姿逐渐变化至图1f所示，若忽略该变化则可能导致两个环视相机对应的鸟瞰图无法准确的拼接，形成如图1c所示的环视鸟瞰图。
基于此，在一种可能的实施例中，如图7所示，包括：
S701，基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像。
该步骤与前述S201相同，可以参见前述S201的相关描述，在此不再赘述。
S702，基于第二环视相机采集到的图像数据，生成第二虚拟相机采集地面共视区域得到的第二虚拟图像。
该步骤与前述S202相同，可以参见前述S202的相关描述，在此不再赘述。
S703，根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点。
该实施例中，初始外参以及后续的矫正外参均是指环视相机相对可移动对象的外参。可移动对象的位姿包括：可移动对象的高度以及可移动对象相对地面的倾角。
S704，根据第一投影点和第二投影点的像素值的第一差异，调整初始外参以及初始位姿，得到可移动对象的矫正位姿和第一环视相机和第二环视相机相对处于矫正位姿的可移动对象的矫正外参。
选用该实施例，在矫正初始外参的同时，将可移动对象的位姿作为矫正的对象，通过同时矫正初始外参和初始位姿，从而将可移动对象的位姿的变化对环视相机的影响考虑进来，降低因可移动对象的位姿发生改变导致无法准确拼接得到环视鸟瞰图的可能性。
可以理解的是，虽然当外参等于真实外参时，前述第一差异、第二差异将等于0，但是实际上受限制于各种条件，难以确定出使得第一差异、第二差异正好等于0的外参，而只能够找到使得第一差异、第二差异尽可能接近于0的外参。但是，由于各种原因，如前述梯度过小、尺度漂移现象等，当外参远离真实外参时，也可能使得第一差异、第二差异趋近于0，进而导致确定出的矫正参数不够准确。
基于此，在一种可能的实施例中，可以加入先验约束条件，以尽可能将确定出的矫正外参约束在真实外参附近，降低错误地将远离真实外参的错误外参确定为矫正外参的可能性。示例性的，在一种可能的实施例中，在调整初始外参时，除了基于前述第一差异，还同时基于匹配程度，其中，匹配程度是指：第一环视相机的位置和第二环视相机的位置与先验位置条件之间的匹配程度。
先验位置条件可以是基于经验或实际情况设置的、第一环视相机和第二环视相机的位置所应当满足的条件，示例性的，若根据第一环视相机和第二环视相机的安装位置，可以预先估计第一环视相机位于第二环视相机正前方5米处，则可以是指先验位置条件：第一环视相机的位置相对第二环视相机的位置为正前方5米。
若在此基础上，同时对可移动对象的初始位姿进行矫正，则矫正的过程可以视为图9所示的参数迭代图。图8所示的示例中，环视相机的外参由旋转分量和平移分量构成，旋转分量用于表示环视相机的朝向，平移分量用于表示环视相机的位置。
图中标注有“RBCx”的圆形表示旋转分量，下标BCF表前相机、下标BCL表示左相机、下标BCR表右相机、下标BCB表示后相机，示例性的，标注有“RBCF”的圆形表示前相机的外参中的旋转分量。标注有“TBCx”的圆形表示平移分量，各下标含义与旋转分量相同，示例性的，标注有“RBCF”的圆形表示前相机的外参中的平移分量。该示例中的外参是指相机坐标系相对车身坐标系的外参。
图中“Tilt&Height”的圆形表示可移动对象的位姿。星形表示残差，粗框的方形表示所连接的参数的先验条件，其中，粗框白色方形表示所连接的平移分量的先验条件，示例性的，图中与标注有“RBCF”的圆形连接的粗框白色方形表示前相机的平移分量的先验条件。粗框灰色方形表示倾角先验条件。连接线表示约束关系。由图8可见，平移分量受到先验位置条件的约束，同时可移动对象的位姿受到先验倾角条件的约束。各参数均受到最小化残差的约束。
对应于前述一种环视相机外参确定方法，本申请相应地提供了一种环视鸟瞰图采集系统，该系统包括第一环视相机、第二环视相机、处理器，第一环视相机的视野和第二环视相机的视野之间存在重叠的地面共视区域；
第一环视相机和第二环视相机设置于可移动对象，且第一环视相机和第二环视相机用于采集可移动对象不同方位处的图像数据；
处理器，用于基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像；基于第二环视相机采集到的图像数据，生成第二虚拟相机采集地面共视区域得到的第二虚拟图像；根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点，并根据第一投影点和第二投影点的像素值的第一差异，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参；其中，第一虚拟相机与第一环视相机的位置相同且朝向地面共视区域，第二虚拟相机与第二环视相机的位置相同且朝向地面共视区域；
处理器还用于基于矫正参数、第一环视相机和第二环视相机的矫正外参，生成可移动对象不同方位处的鸟瞰图；拼接各鸟瞰图，得到可移动对象的环视鸟瞰图。
对应于前述一种环视相机外参确定方法，本申请相应地提供了一种环视相机外参确定装置，如图9所示，图9为本申请提供的环视相机外参确定装置的一种结构示意图，包括：
第一生成模块901，用于基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，第一虚拟相机与第一环视相机的位置相同且朝向地面共视区域，地面共视区域为第一环视相机的视野与第二环视相机的视野之间的重叠区域，第一环视相机和第二环视相机设置于可移动对象；
第二生成模块902，用于基于第二环视相机采集到的图像数据，生成第二虚拟相机采集地面共视区域得到的第二虚拟图像，其中，第二虚拟相机与第二环视相机的位置相同且朝向地面共视区域；
确定模块903，用于根据第一环视相机和第二环视相机的初始外参、可移动对象的初始位姿，确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点；
调整模块904，用于根据第一投影点和第二投影点的像素值的第一差异，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参。
在一种可能的实施例中，该装置还包括：
基于第一环视相机采集到的图像数据，生成地面共视区域的鸟瞰图；
在鸟瞰图中确定梯度满足预设梯度条件的像素点，作为目标像素点，其中，所述预设梯度条件包括：梯度大于预设梯度阈值；
确定地面共视区域内的空间点在第一虚拟图像中的第一投影点以及第一投影点在第二虚拟图像中的第二投影点，包括：
将目标像素点投影至第一虚拟图像，得到第一投影点；并将第一投影点投影至第二虚拟图像，得到第二投影点。
在一种可能的实施例中，该装置还包括：
根据第一投影点和第二投影点的像素值的第一差异，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参，包括：
根据第一投影点和第二投影点的像素值的第一差异，调整初始外参以及初始位姿，得到可移动对象的矫正位姿、第一环视相机和第二环视相机的相对处于矫正位姿的可移动对象的矫正外参。
在一种可能的实施例中，该装置还包括：
根据矫正外参和矫正位姿，确定第一投影点在第二虚拟图像中的第三投影点；
直至第一投影点和第三投影点的像素值的第二差异满足预设收敛条件，根据第二差异调整矫正外参和矫正位姿，得到新的矫正外参和新的矫正位姿，并返回执行根据矫正外参和矫正位姿，确定第一投影点在第二虚拟图像中的第三投影点的步骤。
在一种可能的实施例中，该装置还包括：
根据第一环视相机和所述第二环视相机的初始外参，分别确定第一环视相机的位置和第二环视相机的位置与先验位置条件之间的匹配程度；
根据第一投影点和第二投影点的像素值的第一差异，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参，包括：
根据第一投影点和第二投影点的像素值的第一差异以及匹配程度，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参。
在一种可能的实施例中，该装置还包括：
根据第一投影点和第二投影点的像素值的第一差异，调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参，包括：
确定以初始外参为自变量、第一差异为因变量的损失函数的梯度下降方向；
沿梯度下降方向调整初始外参，得到第一环视相机和第二环视相机相对可移动对象的矫正外参。
本申请实施例还提供了一种电子设备，如图10所示，包括:
存储器101，用于存放计算机程序；
处理器102，用于执行存储器101上所存放的程序时，实现如下步骤：
基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述地面共视区域为所述第一环视相机的视野与第二环视相机的视野之间的重叠区域，所述第一环视相机和所述第二环视相机设置于可移动对象；
基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像，其中，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点；
根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
并且上述电子设备还可以包括通信总线和/或通信接口，处理器102、通信接口、存储器101通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种环视相机外参确定方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种环视相机外参确定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者固态硬盘Solid StateDisk(SSD)等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种环视相机外参确定方法，其特征在于，所述方法包括：
基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述地面共视区域为所述第一环视相机的视野与第二环视相机的视野之间的重叠区域，所述第一环视相机和所述第二环视相机设置于可移动对象；
基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像，其中，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点；
根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述第一环视相机采集到的图像数据，生成所述地面共视区域的鸟瞰图；
在所述鸟瞰图中确定梯度满足预设梯度条件的像素点，作为目标像素点，其中，所述预设梯度条件包括：梯度大于预设梯度阈值；
所述确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点，包括：
将所述目标像素点投影至所述第一虚拟图像，得到第一投影点；并将所述第一投影点投影至所述第二虚拟图像，得到第二投影点。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参以及所述初始位姿，得到所述可移动对象的矫正位姿、所述第一环视相机和所述第二环视相机的相对处于所述矫正位姿的所述可移动对象的矫正外参。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述矫正外参和所述矫正位姿，确定所述第一投影点在所述第二虚拟图像中的第三投影点；
直至所述第一投影点和所述第三投影点的像素值的第二差异满足预设收敛条件，根据所述第二差异调整所述矫正外参和所述矫正位姿，得到新的矫正外参和新的矫正位姿，并返回执行所述根据所述矫正外参和所述矫正位姿，确定所述第一投影点在所述第二虚拟图像中的第三投影点的步骤。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一环视相机和所述第二环视相机的初始外参，分别确定所述第一环视相机的位置和所述第二环视相机的位置与先验位置条件之间的匹配程度；
所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
根据所述第一投影点和所述第二投影点的像素值的第一差异以及所述匹配程度，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参，包括：
确定以所述初始外参为自变量、所述第一差异为因变量的损失函数的梯度下降方向；
沿所述梯度下降方向调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
7.一种环视鸟瞰图采集系统，其特征在于，所述系统包括第一环视相机、第二环视相机、处理器，所述第一环视相机的视野和所述第二环视相机的视野之间存在重叠的地面共视区域；
所述第一环视相机和所述第二环视相机设置于所述可移动对象，且所述第一环视相机和所述第二环视相机用于采集可移动对象不同方位处的图像数据；
所述处理器，用于基于所述第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像；基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像；根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点，并根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参；其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
所述处理器，还用于基于所述矫正参数、所述第一环视相机和所述第二环视相机的所述矫正外参，生成所述可移动对象不同方位处的鸟瞰图；拼接各所述鸟瞰图，得到所述可移动对象的环视鸟瞰图。
8.一种环视相机外参确定装置，其特征在于，所述装置包括：
第一生成模块，用于基于第一环视相机采集到的图像数据，生成第一虚拟相机采集地面共视区域得到的第一虚拟图像，其中，所述第一虚拟相机与所述第一环视相机的位置相同且朝向所述地面共视区域，所述地面共视区域为所述第一环视相机的视野与第二环视相机的视野之间的重叠区域，所述第一环视相机和所述第二环视相机设置于可移动对象；
第二生成模块，用于基于所述第二环视相机采集到的图像数据，生成第二虚拟相机采集所述地面共视区域得到的第二虚拟图像，其中，所述第二虚拟相机与所述第二环视相机的位置相同且朝向所述地面共视区域；
确定模块，用于根据所述第一环视相机和所述第二环视相机的初始外参、所述可移动对象的初始位姿，确定所述地面共视区域内的空间点在所述第一虚拟图像中的第一投影点以及所述第一投影点在所述第二虚拟图像中的第二投影点；
调整模块，用于根据所述第一投影点和所述第二投影点的像素值的第一差异，调整所述初始外参，得到所述第一环视相机和所述第二环视相机相对所述可移动对象的矫正外参。
9.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法。
CN202310369309.7A 2023-04-07 2023-04-07 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统 Pending CN116485907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310369309.7A CN116485907A (zh) 2023-04-07 2023-04-07 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310369309.7A CN116485907A (zh) 2023-04-07 2023-04-07 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统

Publications (1)

Publication Number Publication Date
CN116485907A true CN116485907A (zh) 2023-07-25

Family

ID=87213036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310369309.7A Pending CN116485907A (zh) 2023-04-07 2023-04-07 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统

Country Status (1)

Country Link
CN (1) CN116485907A (zh)

Similar Documents

Publication Publication Date Title
JP7448921B2 (ja) リアビュー可視化のためのリアスティッチされたビューパノラマ
US9686479B2 (en) Method for combining multiple image fields
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
EP3028252B1 (en) Rolling sequential bundle adjustment
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6663040B2 (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
WO2020014909A1 (zh) 拍摄方法、装置和无人机
KR100914211B1 (ko) 왜곡 영상 보정 장치 및 방법
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
CN110660105B (zh) 一种全景环视系统的标定参数优化方法及装置
CN112816949B (zh) 传感器的标定方法及装置、存储介质、标定系统
CN105023260A (zh) 一种全景图像融合方法及融合装置
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
CN111292278B (zh) 图像融合方法及装置、存储介质、终端
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
DK3189493T3 (en) PERSPECTIVE CORRECTION OF DIGITAL PHOTOS USING DEPTH MAP
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN110750094A (zh) 确定可移动设备的位姿变化信息的方法、装置和系统
Lin et al. Real-time low-cost omni-directional stereo vision via bi-polar spherical cameras
KR20180131743A (ko) Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치
CN116485907A (zh) 一种环视相机外参确定方法、装置及环视鸟瞰图采集系统
WO2021004642A1 (en) A camera calibration method, a computer program, a computer-readable recording medium and a camera calibration system
CN115004683A (zh) 成像装置、成像方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination