CN110473262A - 多目相机的外参标定方法、装置、存储介质及电子设备 - Google Patents
多目相机的外参标定方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110473262A CN110473262A CN201910778299.6A CN201910778299A CN110473262A CN 110473262 A CN110473262 A CN 110473262A CN 201910778299 A CN201910778299 A CN 201910778299A CN 110473262 A CN110473262 A CN 110473262A
- Authority
- CN
- China
- Prior art keywords
- monocular camera
- image
- outer ginseng
- coordinate
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000208340 Araliaceae Species 0.000 title claims abstract description 136
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 title claims abstract description 136
- 235000003140 Panax quinquefolius Nutrition 0.000 title claims abstract description 136
- 235000008434 ginseng Nutrition 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000013519 translation Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 7
- 238000000926 separation method Methods 0.000 abstract description 6
- 238000005259 measurement Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种多目相机的外参标定方法、装置、存储介质及电子设备，其中，该方法包括：获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；确定多个目标对象相对于第一图像的三维坐标，并确定每个目标对象在第二图像中的图像坐标；根据多个目标对象的三维坐标和相应的图像坐标标定第一单目相机与第二单目相机之间的外参。通过本发明实施例提供的多目相机的外参标定方法、装置、存储介质及电子设备，不需要分别标定每个单目相机的外参，可以减少处理量，提高标定效率；且标定过程不需要专业的标定人员参与，标定方式简单、有效；该方式还实现了内参和外参的分离标定，从而在多目相机的内参精度高时，能够提高外参精度。
Description
技术领域
本发明涉及多目相机的外参标定技术领域，具体而言，涉及一种多目相机的外参标定方法、装置、存储介质及电子设备。
背景技术
双目相机成像系统在实际使用中，首要必须要进行标定，标定过程中确定的内参是相机本身固有的、与位置无关的内部几何与光学参数，例如图像主点坐标、焦距、镜头畸变等；而外参是指双相机的相对位置关系，一般用旋转矩阵和平移向量表示。
传统双目相机标定方法一般是同时标定内参和外参，内参外参的标定精度互相影响；且需要左右分别单目标定，同时确定左目相机和右目相机的内外参，之后再确定左目相机与右目相机之间的旋转矩阵和平移向量。传统标定方法标定过程复杂，对标定人员的知识水平要求较高，且未实现内参外参分离标定。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种多目相机的外参标定方法、装置、存储介质及电子设备。
第一方面，本发明实施例提供了一种多目相机的外参标定方法，包括：
获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；
根据所述第一图像以及所述第一单目相机之前采集的历史图像分别确定多个目标对象相对于所述第一图像的三维坐标，并确定每个所述目标对象在所述第二图像中的图像坐标，所述目标对象为真实存在的对象且存在于所述第一图像、所述第二图像和所述历史图像中；
根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在一种可能的实现方式中，所述根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参包括：
确定所述第二单目相机的内参矩阵；
根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在一种可能的实现方式中，所述根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参包括：
建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为所述第二单目相机的内参矩阵，R为所述第二单目相机与所述第一单目相机之间的旋转矩阵，t为所述第二单目相机与所述第一单目相机之间的平移向量；
联立多个目标对象的三维坐标与图像坐标之间的关系，确定所述第一单目相机与所述第二单目相机之间的外参，所述外参包括旋转矩阵R和平移向量t。
在一种可能的实现方式中，该方法还包括：
确定所述第一单目相机的光心与所述第二单目相机的光心之间的直线距离，或者确定第一单目相机距离地面的直线高度；
根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参。
在一种可能的实现方式中，所述根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参，包括：
确定所述第二单目相机与所述第一单目相机之间的平移向量t，根据所述直线距离lLR确定尺度信息s，且或者，提取所述第一图像和所述历史图像中的地面特征点并确定所述地面的平面方程，根据所述平面方程确定所述第一双目相机距离地面的非米制高度h，并根据所述直线高度H确定尺度信息s，
根据所述尺度信息s，将非米制单位下的平移向量t转换为米制单位下的平移向量t'，且t'＝s×t。
第二方面，本发明实施例还提供了一种多目相机的外参标定装置，包括：
图像获取模块，用于获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；
坐标确定模块，用于根据所述第一图像以及所述第一单目相机之前采集的历史图像分别确定多个目标对象相对于所述第一图像的三维坐标，并确定每个所述目标对象在所述第二图像中的图像坐标，所述目标对象为真实存在的对象且存在于所述第一图像、所述第二图像和所述历史图像中；
外参标定模块，用于根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在一种可能的实现方式中，所述外参标定模块包括：
内参确定单元，用于确定所述第二单目相机的内参矩阵；
外参标定单元，用于根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在一种可能的实现方式中，所述外参标定单元具体用于：
建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为所述第二单目相机的内参矩阵，R为所述第二单目相机与所述第一单目相机之间的旋转矩阵，t为所述第二单目相机与所述第一单目相机之间的平移向量；
联立多个目标对象的三维坐标与图像坐标之间的关系，确定所述第一单目相机与所述第二单目相机之间的外参，所述外参包括旋转矩阵R和平移向量t。
第三方面，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于上述任意一项所述的多目相机的外参标定方法。
第四方面，本发明实施例还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一项所述的多目相机的外参标定方法。
本发明实施例上述第一方面提供的方案中，通过第一单目相机采集的第一图像和历史图像确定目标对象相对于该第一单目相机的三维坐标，并基于第二单目相机采集的第二图像确定相同的目标对象相对于该第二单目相机的图像坐标，利用三维坐标与图像坐标之间的关系来表征第一单目相机与第二单目相机之间的外参，从而实现相机的外参标定。本实施例不需要分别标定每个单目相机的外参，可以减少处理量，提高标定效率；且标定过程不需要专业的标定人员参与，标定方式简单、有效；该方式还实现了内参和外参的分离标定，从而在多目相机的内参精度高时，能够提高外参精度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种多目相机的外参标定方法的流程图；
图2示出了本发明实施例所提供的多目相机的外参标定方法中，多目相机的成像原理示意图；
图3示出了本发明实施例所提供的多目相机的外参标定方法中，标定第一单目相机与第二单目相机之间的外参的具体方法流程图；
图4示出了本发明实施例所提供的一种多目相机的外参标定装置的结构示意图；
图5示出了本发明实施例所提供的用于执行多目相机的外参标定方法的电子设备的结构示意图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种多目相机的外参标定方法，参见图1所示，包括：
步骤101：获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像。
本发明实施例中，需要进行外参标定的多目相机包含多个单目相机，该多目相机具体可以为双目相机，即包含两个单目相机，此时的第一单目相机可以为左目相机，第二单目相机可以为右目相机。在进行外参标定之前，需要固定多目相机，以保证多个单目相机之间的位置或位姿是相对固定的。同时，多个单目相机具有足够大的公共视野，以保证不同的单目相机可以采集到相同的事物，使得不同单目相机所采集的图像中包含多个相同的对象。本实施例中，第一单目相机和第二单目相机为两个不同的单目相机，第一单目相机和第二单目相机分别并同时采集两张图像，即第一图像和第二图像；由于第一单目相机和第二单目相机具有公共视野，则可以保证第一图像与第二图像中包含相同的对象。
例如，参见图2所示，图2中的O1表示第一单目相机的光心，O2表示第二单目相机的光心；世界点P为真实世界的一个点，该世界点P位于两个单目相机的公共视野内，该世界点P映射第一单目相机的成像平面的点P1，相应的，第一图像上也存在与该世界点P相对应的点P1；同理，世界点P映射第二单目相机的成像平面的点P2，且第二图像上存在与该世界点P相对应的点P2。
步骤102：根据第一图像以及第一单目相机之前采集的历史图像分别确定多个目标对象相对于第一图像的三维坐标，并确定每个目标对象在第二图像中的图像坐标，目标对象为真实存在的对象且存在于第一图像、第二图像和历史图像中。
本发明实施例中，预先确定多个真实存在的目标对象，该目标对象均位于第一单目相机和第二单目相机的公共视野内。同时，第一单目相机在获取该第一图像之间还需要采集其他时刻的图像，即历史图像，该历史图像为第一单目相机与真实的目标对象发生相对移动之后采集的图像，即对于同一个目标对象，该目标对象位于第一图像和历史图像的不同位置，基于目标对象在第一图像和历史图像中的位置可以确定该目标对象相对于第一图像的三维坐标，该三维坐标具体可以是该目标对象在第一单目相机的相机坐标系下的坐标，且该三维坐标为采集第一图像时所对应的坐标。
其中，首先确定第一单目相机的内参，该第一单目相机的内参可以是预先已知的，也可以基于其他的内参标定方法来确定该第一单目相机的内参。本实施例中，可以利用现有的SLAM(Simultaneous localization and mapping，同步定位与建图)技术，基于第一单目相机的内参以及目标对象在第一图像和历史图像中的位置来确定目标对象相对于第一图像的三维坐标，也可采用其他技术或算法，本实施例对确定目标对象三维坐标的过程不做限定。
同时，第二图像也采集到了目标对象，基于该第二图像的图像坐标系(或像素坐标系)即可确定该目标对象在第二图像中的二维坐标，即图像坐标。本实施例中确定目标对象的三维坐标和图像坐标时，需要该目标对象存在于第一图像、第二图像和历史图像三者中；其中，由于目标对象为真实世界中的事物，例如一个点等，本实施例中的“目标对象存在于第一图像、第二图像和历史图像中”指的是目标对象映射至第一图像、第二图像和历史图像中，或者说第一图像、第二图像和历史图像中均包含与该目标对象相对应的区域或像素。
步骤103：根据多个目标对象的三维坐标和相应的图像坐标标定第一单目相机与第二单目相机之间的外参。
本实施例中，目标对象的三维坐标是与第一图像相对应的坐标，例如是第一单目相机的相机坐标系下的坐标，目标对象的图像坐标为与第二图像相对应的坐标，而该三维坐标和图像坐标对应相同的目标对象，故可以基于两个单目相机之间的外参建立同一目标对象的三维坐标与图像坐标之间的关系，进而基于多个目标对象可以联立方程组，从而确定第一单目相机与第二单目相机之间的外参。其中，目标对象的三维坐标与图像坐标之间的关系也与多目相机的内参有关，本实施例可以预先确定多目相机的内参，之后再基于上述过程确定第一单目相机与第二单目相机之间的外参，从而实现内参标定与外参标定的分离。
本实施例提供的外参标定方法适用于多目相机，比如双目相机、三目相机等，上述步骤101-103详细介绍了两个单目相机之间的外参标定过程，当存在更多的单目相机时，任意两个单目相机之间均可以采用上述的外参标定方法，此处不做赘述。例如，若该多目相机包含三个单目相机A、B、C，则单目相机AB之间可以采用上述方法标定单目相机A与单目相机B之间的外参；同样的也可以标定单目相机B与单目相机C之间的外参、单目相机A与单目相机C之间的外参。此外，也可以根据实际需要只标定部分两个单目相机之间的外参。例如，当不需要标定单目相机A与C之间的外参时，可以只标定单目相机A与单目相机B之间的外参、单目相机B与单目相机C之间的外参。
此外，本实施例提供的外参标定方法可以实时执行，即当第一单目相机与第二单目相机之间的相对位置发生变化后，则可以实时进行外参标定并更新第一单目相机与第二单目相机之间的外参。本实施例中的“多目相机”指的是包含多个单目相机的相机集合，每个单目相机可以为常规的摄像头，单目相机之间可以随意安装组合，一般只需要保证具有公共视野即可；而传统的多目相机，例如双目相机，需要保证多个单目相机之间相对位置要始终保持不变，从而对多目相机的固定模组的设计和工艺提出了严苛的要求。而本实施例中的外参标定方法可以实时执行，即使单目相机之间的位置发生了变化也能及时调整并标定外参，大大降低了对固定工艺的要求，降低了多目相机应用的成本，且单目相机之间可以比较随意地安装组合，降低了安装要求。
本发明实施例提供的一种多目相机的外参标定方法，通过第一单目相机采集的第一图像和历史图像确定目标对象相对于该第一单目相机的三维坐标，并基于第二单目相机采集的第二图像确定相同的目标对象相对于该第二单目相机的图像坐标，利用三维坐标与图像坐标之间的关系来表征第一单目相机与第二单目相机之间的外参，从而实现相机的外参标定。本实施例不需要分别标定每个单目相机的外参，可以减少处理量，提高标定效率；且标定过程不需要专业的标定人员参与，标定方式简单、有效；该方式还实现了内参和外参的分离标定，从而在多目相机的内参精度高时，能够提高外参精度。
在上述实施例的基础上，参见图3所示，上述步骤103“根据多个目标对象的三维坐标和相应的图像坐标标定第一单目相机与第二单目相机之间的外参”包括：
步骤1031：确定第二单目相机的内参矩阵。
本发明实施例中，可以预先确定内参，之后再进行外参标定，即不需要同时标定内参、外参。具体的，需要首选确定第二单目相机的内参矩阵；其中，该内参矩阵可以采用其他的内参标定方法进行标定，或者由相机制造商提供，本实施例对此不做限定。
步骤1032：根据第二单目相机的内参矩阵、多个目标对象的三维坐标和相应的图像坐标标定第一单目相机与第二单目相机之间的外参。
本发明实施例中，在内参矩阵已知的前提下，可以建立目标对象的三维坐标和相应的图像坐标之间的数学关系，基于多个目标对象建立多个数学关系，从而可以求得包含多项参数的外参。
本实施例中，多目相机的外参表示的是两个单目相机的坐标系之间的转换关系，目标对象的三维坐标为与第一单目相机的相机坐标系相关的坐标，该目标对象的图像坐标也对应第二单目相机的相机坐标系相关的一个坐标。具体的，若目标对象的图像坐标为(u2,v2)，该目标对象在第二单目相机的相机坐标系下的坐标为(xc2,yc2,zc2)，则：
其中，K为第二单目相机的内参矩阵。后续将z2作为比例系数即可得到三维坐标与图像坐标之间的等式关系。
可选的，上述步骤1032“根据第二单目相机的内参矩阵、多个目标对象的三维坐标和相应的图像坐标标定第一单目相机与第二单目相机之间的外参”包括：
步骤A1：建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为第二单目相机的内参矩阵，R为第二单目相机与第一单目相机之间的旋转矩阵，t为第二单目相机与第一单目相机之间的平移向量。
步骤A2：联立多个目标对象的三维坐标与图像坐标之间的关系，确定第一单目相机与第二单目相机之间的外参，外参包括旋转矩阵R和平移向量t。
本发明实施例中，预先确定第二单目相机的内参，即可以预先确定第二单目相机的内参矩阵K，之后利用该内参矩阵K以及需要确定的外参(即旋转矩阵R和平移向量t)即可建立同一个目标对象在两个单目相机的相机坐标系下的坐标之间的等式关系。其中，旋转矩阵包含三个未知量，平移向量t也包含三个未知量，则基于六个不同的目标对象所建立的等式关系即可求解出旋转矩阵R和平移向量t。
在上述实施例的基础上，由于目标对象的三维坐标、图像坐标等均为非米制单位，故还需要确定米制单位的外参。具体的，该确定米制单位外参的过程包括：
步骤B1：确定第一单目相机的光心与第二单目相机的光心之间的直线距离，或者确定第一单目相机距离地面的直线高度。
步骤B2：根据直线距离或直线高度确定尺度信息，并根据尺度信息确定米制单位下的外参。
本发明实施例中，可以人工测量第一单目相机的光心与第二单目相机的光心之间的直线距离，或者第一单目相机距离地面的直线高度，该直线距离和直线高度均为米制单位下的数值，可以为三维重建提供绝对尺度。之后基于多目相机采集的图像所确定的光心距离或相机距离地面高度即可确定相应的尺度信息，该尺度信息用于将非米制单位的外参转换为米制单位的外参。本发明实施例中，米制单位指的是米、厘米、毫米等长度单位。
具体的，上述步骤B2“根据直线距离或直线高度确定尺度信息，并根据尺度信息确定米制单位下的外参”包括：
步骤B21：确定第二单目相机与第一单目相机之间的平移向量t，根据直线距离lLR确定尺度信息s，且或者，提取第一图像和历史图像中的地面特征点并确定地面的平面方程，根据平面方程确定第一双目相机距离地面的非米制高度h，并根据直线高度H确定尺度信息s，
本发明实施例中，在上述步骤103确定外参中的平移向量t之后，基于测量的直线距离lLR以及该平移向量t即可确定尺度信息s，其中，||t||表示平移向量t的模。
或者，基于第一图像和历史图像中的地面特征点可以确定地面的平面方程，该平面方程为在第一双目相机的相机坐标系下的方程，进而可以确定第一双目相机距离地面的非米制高度h，例如，将第一双目相机的光心与该平面方程之间的距离作为第一双目相机距离地面的非米制高度h；在确定非米制高度h后即可根据直线高度H和该非米制高度h确定相应的尺度信息s。其中，基于第一图像和历史图像中的地面特征点确定地面的平面方程为现有的成熟技术，此处不做赘述步骤B22：根据尺度信息s，将非米制单位下的平移向量t转换为米制单位下的平移向量t'，且t'＝s×t。
本发明实施例中，在确定尺度信息s之后，即可将非米制单位下的平移向量t转换为米制单位下的平移向量t'。本实施例中通过确定米制单位下的外参，后续使用多目相机时不需要进行单位转换，方便后续处理。
本发明实施例提供的一种多目相机的外参标定方法，通过第一单目相机采集的第一图像和历史图像确定目标对象相对于该第一单目相机的三维坐标，并基于第二单目相机采集的第二图像确定相同的目标对象相对于该第二单目相机的图像坐标，利用三维坐标与图像坐标之间的关系来表征第一单目相机与第二单目相机之间的外参，从而实现相机的外参标定。本实施例不需要分别标定每个单目相机的外参，可以减少处理量，提高标定效率；且标定过程不需要专业的标定人员参与，标定方式简单、有效；该方式还实现了内参和外参的分离标定，从而在多目相机的内参精度高时，能够提高外参精度。将目标对象的图像坐标转换为与第二单目相机的相机坐标系相关的坐标可以方便建立三维坐标与图像坐标之间的关系。通过确定米制单位下的外参，后续使用多目相机时不需要进行单位转换，方便后续处理。
以上详细介绍了多目相机的外参标定方法的流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。
本发明实施例提供的一种多目相机的外参标定装置，参见图4所示，包括：
图像获取模块41，用于获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；
坐标确定模块42，用于根据所述第一图像以及所述第一单目相机之前采集的历史图像分别确定多个目标对象相对于所述第一图像的三维坐标，并确定每个所述目标对象在所述第二图像中的图像坐标，所述目标对象为真实存在的对象且存在于所述第一图像、所述第二图像和所述历史图像中；
外参标定模块43，用于根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在上述实施例的基础上，所述外参标定模块43包括：
内参确定单元，用于确定所述第二单目相机的内参矩阵；
外参标定单元，用于根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
在上述实施例的基础上，所述外参标定单元具体用于：
建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为所述第二单目相机的内参矩阵，R为所述第二单目相机与所述第一单目相机之间的旋转矩阵，t为所述第二单目相机与所述第一单目相机之间的平移向量；
联立多个目标对象的三维坐标与图像坐标之间的关系，确定所述第一单目相机与所述第二单目相机之间的外参，所述外参包括旋转矩阵R和平移向量t。
在上述实施例的基础上，该装置还包括尺度信息确定模块；所述尺度信息确定模块用于：
确定所述第一单目相机的光心与所述第二单目相机的光心之间的直线距离，或者确定第一单目相机距离地面的直线高度；
根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参。
在上述实施例的基础上，所述尺度信息确定模块根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参，包括：
确定所述第二单目相机与所述第一单目相机之间的平移向量t，根据所述直线距离lLR确定尺度信息s，且或者，提取所述第一图像和所述历史图像中的地面特征点并确定所述地面的平面方程，根据所述平面方程确定所述第一双目相机距离地面的非米制高度h，并根据所述直线高度H确定尺度信息s，
根据所述尺度信息s，将非米制单位下的平移向量t转换为米制单位下的平移向量t'，且t'＝s×t。
本发明实施例提供的一种多目相机的外参标定方法，通过第一单目相机采集的第一图像和历史图像确定目标对象相对于该第一单目相机的三维坐标，并基于第二单目相机采集的第二图像确定相同的目标对象相对于该第二单目相机的图像坐标，利用三维坐标与图像坐标之间的关系来表征第一单目相机与第二单目相机之间的外参，从而实现相机的外参标定。本实施例不需要分别标定每个单目相机的外参，可以减少处理量，提高标定效率；且标定过程不需要专业的标定人员参与，标定方式简单、有效；该方式还实现了内参和外参的分离标定，从而在多目相机的内参精度高时，能够提高外参精度。将目标对象的图像坐标转换为与第二单目相机的相机坐标系相关的坐标可以方便建立三维坐标与图像坐标之间的关系。通过确定米制单位下的外参，后续使用多目相机时不需要进行单位转换，方便后续处理。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其包含用于执行上述的多目相机的外参标定方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。
其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图5示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。
该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的多目相机的外参标定方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种多目相机的外参标定方法，其特征在于，包括：
获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；
根据所述第一图像以及所述第一单目相机之前采集的历史图像分别确定多个目标对象相对于所述第一图像的三维坐标，并确定每个所述目标对象在所述第二图像中的图像坐标，所述目标对象为真实存在的对象且存在于所述第一图像、所述第二图像和所述历史图像中；
根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
2.根据权利要求1所述的方法，其特征在于，所述根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参包括：
确定所述第二单目相机的内参矩阵；
根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参包括：
建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为所述第二单目相机的内参矩阵，R为所述第二单目相机与所述第一单目相机之间的旋转矩阵，t为所述第二单目相机与所述第一单目相机之间的平移向量；
联立多个目标对象的三维坐标与图像坐标之间的关系，确定所述第一单目相机与所述第二单目相机之间的外参，所述外参包括旋转矩阵R和平移向量t。
4.根据权利要求1所述的方法，其特征在于，还包括：
确定所述第一单目相机的光心与所述第二单目相机的光心之间的直线距离，或者确定第一单目相机距离地面的直线高度；
根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参。
5.根据权利要求4所述的方法，其特征在于，所述根据所述直线距离或所述直线高度确定尺度信息，并根据所述尺度信息确定米制单位下的外参，包括：
确定所述第二单目相机与所述第一单目相机之间的平移向量t，根据所述直线距离lLR确定尺度信息s，且或者，提取所述第一图像和所述历史图像中的地面特征点并确定所述地面的平面方程，根据所述平面方程确定所述第一双目相机距离地面的非米制高度h，并根据所述直线高度H确定尺度信息s，
根据所述尺度信息s，将非米制单位下的平移向量t转换为米制单位下的平移向量t'，且t'＝s×t。
6.一种多目相机的外参标定装置，其特征在于，包括：
图像获取模块，用于获取第一单目相机采集的第一图像和第二单目相机同时采集的第二图像；
坐标确定模块，用于根据所述第一图像以及所述第一单目相机之前采集的历史图像分别确定多个目标对象相对于所述第一图像的三维坐标，并确定每个所述目标对象在所述第二图像中的图像坐标，所述目标对象为真实存在的对象且存在于所述第一图像、所述第二图像和所述历史图像中；
外参标定模块，用于根据多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
7.根据权利要求6所述的装置，其特征在于，所述外参标定模块包括：
内参确定单元，用于确定所述第二单目相机的内参矩阵；
外参标定单元，用于根据所述第二单目相机的内参矩阵、多个所述目标对象的三维坐标和相应的图像坐标标定所述第一单目相机与所述第二单目相机之间的外参。
8.根据权利要求7所述的装置，其特征在于，所述外参标定单元具体用于：
建立目标对象的三维坐标(xc1,yc1,zc1)与图像坐标(u2,v2)之间的关系：
其中，K为所述第二单目相机的内参矩阵，R为所述第二单目相机与所述第一单目相机之间的旋转矩阵，t为所述第二单目相机与所述第一单目相机之间的平移向量；
联立多个目标对象的三维坐标与图像坐标之间的关系，确定所述第一单目相机与所述第二单目相机之间的外参，所述外参包括旋转矩阵R和平移向量t。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-5任意一项所述的多目相机的外参标定方法。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5任意一项所述的多目相机的外参标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910778299.6A CN110473262A (zh) | 2019-08-22 | 2019-08-22 | 多目相机的外参标定方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910778299.6A CN110473262A (zh) | 2019-08-22 | 2019-08-22 | 多目相机的外参标定方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110473262A true CN110473262A (zh) | 2019-11-19 |
Family
ID=68513371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910778299.6A Pending CN110473262A (zh) | 2019-08-22 | 2019-08-22 | 多目相机的外参标定方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110473262A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179358A (zh) * | 2019-12-30 | 2020-05-19 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111241224A (zh) * | 2020-01-10 | 2020-06-05 | 福瑞泰克智能系统有限公司 | 目标距离估计的方法、系统、计算机设备和存储介质 |
| CN111311693A (zh) * | 2020-03-16 | 2020-06-19 | 威海经济技术开发区天智创新技术研究院 | 一种多目摄像头的在线标定方法及系统 |
| CN111784783A (zh) * | 2020-08-14 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的系统和方法 |
| CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
| CN112233189A (zh) * | 2020-12-14 | 2021-01-15 | 深圳普罗米修斯视觉技术有限公司 | 多深度相机外部参数标定方法、装置及存储介质 |
| CN112581542A (zh) * | 2020-12-24 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶单目标定算法的评估方法、装置及设备 |
| CN112668505A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 基于路侧相机的外参的三维感知信息获取方法和路侧设备 |
| WO2021237574A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 相机参数确定方法、装置和可读存储介质 |
| CN113744347A (zh) * | 2020-04-02 | 2021-12-03 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN113781548A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 多设备的位姿测量方法、电子设备及系统 |
| CN114022570A (zh) * | 2022-01-05 | 2022-02-08 | 荣耀终端有限公司 | 相机间外参的标定方法及电子设备 |
| WO2022037285A1 (zh) * | 2020-08-20 | 2022-02-24 | 北京达佳互联信息技术有限公司 | 相机外参标定方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012643A1 (en) * | 2014-07-10 | 2016-01-14 | Seiko Epson Corporation | HMD Calibration with Direct Geometric Modeling |
| CN107481288A (zh) * | 2017-03-31 | 2017-12-15 | 触景无限科技（北京）有限公司 | 双目摄像头的内外参确定方法和装置 |
| CN108416812A (zh) * | 2018-03-20 | 2018-08-17 | 中国电子科技集团公司第五十四研究所 | 一种单摄像机镜像双目视觉系统的标定方法 |
| CN108734744A (zh) * | 2018-04-28 | 2018-11-02 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
| CN109211264A (zh) * | 2017-07-06 | 2019-01-15 | 杭州海康机器人技术有限公司 | 测量系统的标定方法、装置、电子设备及可读存储介质 |
| CN109767474A (zh) * | 2018-12-31 | 2019-05-17 | 深圳积木易搭科技技术有限公司 | 一种多目相机标定方法、装置及存储介质 |
-
2019
- 2019-08-22 CN CN201910778299.6A patent/CN110473262A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160012643A1 (en) * | 2014-07-10 | 2016-01-14 | Seiko Epson Corporation | HMD Calibration with Direct Geometric Modeling |
| CN107481288A (zh) * | 2017-03-31 | 2017-12-15 | 触景无限科技（北京）有限公司 | 双目摄像头的内外参确定方法和装置 |
| CN109211264A (zh) * | 2017-07-06 | 2019-01-15 | 杭州海康机器人技术有限公司 | 测量系统的标定方法、装置、电子设备及可读存储介质 |
| CN108416812A (zh) * | 2018-03-20 | 2018-08-17 | 中国电子科技集团公司第五十四研究所 | 一种单摄像机镜像双目视觉系统的标定方法 |
| CN108734744A (zh) * | 2018-04-28 | 2018-11-02 | 国网山西省电力公司电力科学研究院 | 一种基于全站仪的远距离大视场双目标定方法 |
| CN109767474A (zh) * | 2018-12-31 | 2019-05-17 | 深圳积木易搭科技技术有限公司 | 一种多目相机标定方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 徐秋宇: "精密角度基准下的多相机定位系统高精度标定", 《光学学报》 * |
| 杨景豪 等: "双目立体视觉测量系统的标定", 《光学精密仪器》 * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179358A (zh) * | 2019-12-30 | 2020-05-19 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111179358B (zh) * | 2019-12-30 | 2024-01-05 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111241224A (zh) * | 2020-01-10 | 2020-06-05 | 福瑞泰克智能系统有限公司 | 目标距离估计的方法、系统、计算机设备和存储介质 |
| CN111311693A (zh) * | 2020-03-16 | 2020-06-19 | 威海经济技术开发区天智创新技术研究院 | 一种多目摄像头的在线标定方法及系统 |
| CN111311693B (zh) * | 2020-03-16 | 2023-11-14 | 威海经济技术开发区天智创新技术研究院 | 一种多目摄像头的在线标定方法及系统 |
| CN113744347B (zh) * | 2020-04-02 | 2023-06-16 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN113744346B (zh) * | 2020-04-02 | 2023-06-23 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN113744347A (zh) * | 2020-04-02 | 2021-12-03 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| CN113744346A (zh) * | 2020-04-02 | 2021-12-03 | 深圳市瑞立视多媒体科技有限公司 | 大空间环境下边扫场边标定方法、装置、设备及存储介质 |
| WO2021237574A1 (zh) * | 2020-05-28 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 相机参数确定方法、装置和可读存储介质 |
| CN113781548A (zh) * | 2020-06-10 | 2021-12-10 | 华为技术有限公司 | 多设备的位姿测量方法、电子设备及系统 |
| CN111862180B (zh) * | 2020-07-24 | 2023-11-17 | 盛景智能科技(嘉兴)有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
| CN111862180A (zh) * | 2020-07-24 | 2020-10-30 | 三一重工股份有限公司 | 一种相机组位姿获取方法、装置、存储介质及电子设备 |
| CN111784783A (zh) * | 2020-08-14 | 2020-10-16 | 支付宝(杭州)信息技术有限公司 | 相机外参标定的系统和方法 |
| WO2022037285A1 (zh) * | 2020-08-20 | 2022-02-24 | 北京达佳互联信息技术有限公司 | 相机外参标定方法及装置 |
| CN112233189A (zh) * | 2020-12-14 | 2021-01-15 | 深圳普罗米修斯视觉技术有限公司 | 多深度相机外部参数标定方法、装置及存储介质 |
| CN112581542A (zh) * | 2020-12-24 | 2021-03-30 | 北京百度网讯科技有限公司 | 自动驾驶单目标定算法的评估方法、装置及设备 |
| CN112668505A (zh) * | 2020-12-30 | 2021-04-16 | 北京百度网讯科技有限公司 | 基于路侧相机的外参的三维感知信息获取方法和路侧设备 |
| US11893884B2 (en) | 2020-12-30 | 2024-02-06 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device |
| CN114022570B (zh) * | 2022-01-05 | 2022-06-17 | 荣耀终端有限公司 | 相机间外参的标定方法及电子设备 |
| CN114022570A (zh) * | 2022-01-05 | 2022-02-08 | 荣耀终端有限公司 | 相机间外参的标定方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110473262A (zh) | 多目相机的外参标定方法、装置、存储介质及电子设备 | |
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| US20200394445A1 (en) | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle | |
| CN108734744B (zh) | 一种基于全站仪的远距离大视场双目标定方法 | |
| CN110677599B (zh) | 一种重建360度全景视频图像的系统和方法 | |
| CN106780590A (zh) | 一种深度图的获取方法及系统 | |
| CN102692236A (zh) | 基于rgb-d相机的视觉里程计方法 | |
| CN109579868A (zh) | 车外目标定位方法、装置及汽车 | |
| CN110378972A (zh) | 一种内参标定的方法、装置及设备 | |
| CN112465877B (zh) | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 | |
| CN109978954A (zh) | 基于箱体的雷达和相机联合标定的方法和装置 | |
| CN114926378B (zh) | 一种声源跟踪的方法、系统、装置和计算机存储介质 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN110675436A (zh) | 基于3d特征点的激光雷达与立体视觉配准方法 | |
| CN109931906A (zh) | 摄像机测距方法、装置以及电子设备 | |
| CN113034347B (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| CN105698751A (zh) | 一种测距系统、测距方法、测距装置、以及拍摄装置 | |
| CN111932637B (zh) | 一种车身相机外参自适应标定方法和装置 | |
| CN111818260B (zh) | 一种自动聚焦方法和装置及电子设备 | |
| CN109711035A (zh) | 城市模型构建方法及装置 | |
| Freundlich et al. | Exact bias correction and covariance estimation for stereo vision | |
| CN112233149A (zh) | 场景流的确定方法及装置、存储介质、电子装置 | |
| CN114063046A (zh) | 参数标定方法、装置、计算机设备和存储介质 | |
| CN108257184A (zh) | 一种基于正方形点阵合作目标的相机姿态测量方法 | |
| CN110322518B (zh) | 立体匹配算法的评价方法、评价系统及测试设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191119 |