CN111862230B - 一种双目相机的调校方法和装置 - Google Patents

一种双目相机的调校方法和装置 Download PDF

Info

Publication number
CN111862230B
CN111862230B CN202010502598.XA CN202010502598A CN111862230B CN 111862230 B CN111862230 B CN 111862230B CN 202010502598 A CN202010502598 A CN 202010502598A CN 111862230 B CN111862230 B CN 111862230B
Authority
CN
China
Prior art keywords
atlas
theoretical
points
distance
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010502598.XA
Other languages
English (en)
Other versions
CN111862230A (zh
Inventor
朱海涛
孙钊
刘永才
裴珊珊
王欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Smarter Eye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smarter Eye Technology Co Ltd filed Critical Beijing Smarter Eye Technology Co Ltd
Priority to CN202010502598.XA priority Critical patent/CN111862230B/zh
Publication of CN111862230A publication Critical patent/CN111862230A/zh
Priority to US17/123,999 priority patent/US11445162B2/en
Application granted granted Critical
Publication of CN111862230B publication Critical patent/CN111862230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了双目相机的调校方法，包括以下步骤：S2：对在相距特定距离的两点分别拍摄的图集1和图集2，分别提取特征点；S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；S4：筛选公共特征点，并分别计算公共特征点的第一理论距离特定帧数和第二理论距离特定帧数；S5：对公共特征点的理论距离差进行高斯拟合，并提取方差作为评价指标；S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；S7：调整双目相机的姿态参数，然后回到步骤S3。本发明可以实现对双目相机“极线对齐”模型的修正。

Description

一种双目相机的调校方法和装置
技术领域
本发明涉及汽车辅助驾驶和自动驾驶领域，尤其涉及其中的双目相机。
背景技术
正确的立体匹配是双目相机能够正常工作的基础，这就要求双目相机满足“极线对齐”的理论模型。在理论的极线对齐状态下，极线对齐误差为0，其计算方法是，左图的特征点像素行坐标减去右图特征点像素的行坐标。但是在实际使用中，由于各种因素的综合作用，双目相机之间的位姿关系会随着时间的推移，逐渐发生变化。这就导致“极线对齐”的理论模型被破坏，需要调校，调节相机的姿态参数R、T。
发明内容
本发明的目的在于提供一种双目相机的调校方法和装置，其可以实现对双目相机“极线对齐”模型的修正。
本发明提供的双目相机的调校方法，包括以下步骤：S2：对在相距特定距离的两点分别拍摄的图集1和图集2，分别提取特征点；S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；S4：筛选公共特征点，并分别计算公共特征点的第一理论距离特定帧数和第二理论距离特定帧数；S5：对公共特征点的理论距离差进行高斯拟合，并提取方差作为评价指标；S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；S7：调整双目相机的姿态参数，然后回到步骤S3。
其中，在步骤S2之前还包括步骤S1：在相距特定距离的两点分别拍摄图集1和图集2，其包括以下步骤：S11、在双目相机静止状态下，拍摄当前场景图特定帧数，标记为图集1；S12、在相同场景下，相机沿固定方向移动特定距离后，再次拍摄静止状态下的场景特定帧数，标记为图集2。
其中，步骤S3包括以下步骤：S31、对图集1的每一帧图像，计算每一个特征点的视差值；S32、对每一个特征点，对特定帧数图像中的视差值进行统计分析，得到高斯拟合模型；S33、取上述高斯拟合模型的期望值作为此特征点的理论视差值；S34、对图集1中的每一个特征点都重复上述过程，则得到图集1中的全部特征点的理论视差值；S35、针对图集2重复步骤S31～S34，得到图集2的全部特征点的理论视差值。
其中，步骤S4包括以下步骤：S41、在图集1和图集2内，挑选在两个图集内都存在的公共特征点；S42、对图集1中每一个挑选出的公共特征点，根据其理论视差值计算第一理论距离特定帧数；S43、对图集2中每一个挑选出的公共特征点，根据其理论视差值计算第二理论距离特定帧数。
其中，步骤S5包括以下步骤：S51：对于每一个挑选出的公共特征点，根据该点第一理论距离和第二理论距离，计算该点的距离差；S52：对所有挑选出的公共特征点的距离差进行高斯拟合，得到高斯分布，期望值等于特定距离，提取方差作为评价指标。
本发明还提供一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行以下步骤：S2：对在相距特定距离的两点分别拍摄的图集1和图集2，分别提取特征点；S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；S4：筛选公共特征点，并分别计算公共特征点的第一理论距离特定帧数和第二理论距离特定帧数；S5：对公共特征点的理论距离差进行高斯拟合，并提取方差作为评价指标；S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；S7：调整双目相机的姿态参数，然后回到步骤S3。
本发明还提供一种带有双目相机的汽车，其中具有：处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：S2：对在相距特定距离的两点分别拍摄的图集1和图集2，分别提取特征点；S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；S4：筛选公共特征点，并分别计算公共特征点的第一理论距离特定帧数和第二理论距离特定帧数；S5：对公共特征点的理论距离差进行高斯拟合，并提取方差作为评价指标；S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；S7：调整双目相机的姿态参数，然后回到步骤S3。
本发明的有益效果在于：在相距特定距离的两点分别拍摄图集1和图集2，分别计算在两个图集内都存在的公共特征点的第一理论距离和第二理论距离，对公共特征点的理论距离差进行高斯拟合，并提取方差作为评价指标，判断评价指标小于阈值时结束调校，大于阈值则继续调整双目相机的姿态参数并重复评价过程。由此实现对双目相机“极线对齐”模型的修正。
附图说明
图1是本发明双目相机的调校方法的实施例的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。
如图1所示，本发明双目相机的调校方法包括以下步骤：
S1：在相距特定距离s的两点分别拍摄图集1和图集2；
S2：分别对图集1和图集2提取特征点；
S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；
S4：筛选公共特征点，并分别计算公共特征点的理论距离Z1和Z2；
S5：对公共特征点的理论距离差△＝Z1-Z2进行高斯拟合，并提取方差σ2作为评价指标；
S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；
S7：调整双目相机的姿态参数R和T，然后回到步骤S3。
其中，步骤S1如下进行：
S11、在双目相机静止状态下，拍摄当前场景图100帧，标记为图集1；
S12、在相同场景下，相机沿固定方向移动距离s后，再次拍摄静止状态下的场景100帧，标记为图集2。
步骤S3如下进行：
S31、对图集1的每一帧图像，计算每一个特征点的视差值；
S32、对每一个特征点，对100帧图像中的100个视差值进行统计分析，其中横坐标x为视差值，纵坐标y为出现的频次，得到期望值为d，方差为的高斯拟合模型；
S33、取上述高斯拟合模型的期望值d作为此特征点的理论视差值；
S34、对图集1中的每一个特征点都重复上述过程，则得到图集1中的全部特征点的理论视差值；
S35、针对图集2重复步骤S31～S34，得到图集2的全部特征点的理论视差值。
步骤S4如下进行：
S41、在图集1和图集2内，挑选在两个图集内都存在的公共特征点；
S42、对图集1中每一个挑选出的公共特征点，根据理论视差值计算理论距离Z1；
S43、对图集2中每一个挑选出的公共特征点，根据理论视差值计算理论距离Z2。
步骤S5如下进行：
S51：对于每一个挑选出的公共特征点，根据该点在图集1的理论距离Z1i和在图集2的理论距离Z2i，计算该点的距离差Δi＝Z1i-Z2i；
S52：对所有挑选出的公共特征点的距离差Δi进行高斯拟合，得到期望值为Δc，方差为的高斯分布，期望值Δc等于拍摄图集1、图集2时相机所移动的特定距离s。
步骤S6如下进行：
拟合得到的高斯分布参数中，若方差小于预设阈值，则结束调校，若方差大于预设阈值，则判定双目相机需要校正，继续调校。
此外，对于其中存储有多条指令而所述指令适于由处理器加载并执行上述方法的存储设备，其包含在本发明的保护范围之内。对于具有所述存储设备和处理器的带有双目立体相机的汽车，其亦包含在本发明的保护范围之内。
以上是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明基本原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种双目相机的调校方法，其特征在于，包括以下步骤：
S2：对在相距特定距离s的两点分别拍摄的图集1和图集2，分别提取特征点；
S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；
步骤S3包括以下步骤：
S31、对图集1的每一帧图像，计算每一个特征点的视差值；
S32、对每一个特征点，对特定帧数图像中的视差值进行统计分析，得到高斯拟合模型；
S33、取上述高斯拟合模型的期望值d作为此特征点的理论视差值；
S34、对图集1中的每一个特征点都重复上述过程，则得到图集1中的全部特征点的理论视差值；
S35、针对图集2重复步骤S31~S34，得到图集2的全部特征点的理论视差值；
S4：筛选公共特征点，并分别计算公共特征点的第一理论距离Z1和第二理论距离Z2；
S5：对公共特征点的理论距离差△=Z1-Z2进行高斯拟合，并提取方差σ2作为评价指标；
S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；
S7：调整双目相机的姿态参数（R、T），然后回到步骤S3，其中，R，T为双目相机的姿态参数。
2.如权利要求1所述的双目相机的调校方法，其特征在于，在步骤S2之前还包括步骤S1：在相距特定距离s的两点分别拍摄图集1和图集2，其包括以下步骤：
S11、在双目相机静止状态下，拍摄当前场景图特定帧数，标记为图集1；
S12、在相同场景下，相机沿固定方向移动特定距离s后，再次拍摄静止状态下的场景特定帧数，标记为图集2。
3.如权利要求1所述的双目相机的调校方法，其特征在于，步骤S4包括以下步骤：
S41、在图集1和图集2内，挑选在两个图集内都存在的公共特征点；
S42、对图集1中每一个挑选出的公共特征点，根据其理论视差值计算第一理论距离Z1；
S43、对图集2中每一个挑选出的公共特征点，根据其理论视差值计算第二理论距离Z2。
4.如权利要求1所述的双目相机的调校方法，其特征在于，步骤S5包括以下步骤：
S51：对于每一个挑选出的公共特征点，根据该点第一理论距离Z1和第二理论距离Z2，计算该点的距离差△=Z1-Z2；
S52：对所有挑选出的公共特征点的距离差△进行高斯拟合，得到高斯分布，期望值d等于特定距离s，提取方差σ2作为评价指标。
5.一种存储设备，其特征在于，其中存储有多条指令，所述指令适于由处理器加载并执行以下步骤：
S2：对在相距特定距离s的两点分别拍摄的图集1和图集2，分别提取特征点；
S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；
步骤S3包括以下步骤：
S31、对图集1的每一帧图像，计算每一个特征点的视差值；
S32、对每一个特征点，对特定帧数图像中的视差值进行统计分析，得到高斯拟合模型；
S33、取上述高斯拟合模型的期望值d作为此特征点的理论视差值；
S34、对图集1中的每一个特征点都重复上述过程，则得到图集1中的全部特征点的理论视差值；
S35、针对图集2重复步骤S31~S34，得到图集2的全部特征点的理论视差值；
S4：筛选公共特征点，并分别计算公共特征点的第一理论距离Z1和第二理论距离Z2；
S5：对公共特征点的理论距离差△=Z1-Z2进行高斯拟合，并提取方差σ2作为评价指标；
S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；
S7：调整双目相机的姿态参数（R、T），然后回到步骤S3，其中，R，T为双目相机的姿态参数。
6.一种带有双目立体相机的汽车，其特征在于，具有：
处理器，适于实现各指令；
以及存储设备，适于存储多条指令，所述指令适于由处理器加载并执行以下步骤：
S2：对在相距特定距离s的两点分别拍摄的图集1和图集2，分别提取特征点；
S3：分别拟合特征点的高斯分布参数，并提取期望值作为理论视差；
步骤S3包括以下步骤：
S31、对图集1的每一帧图像，计算每一个特征点的视差值；
S32、对每一个特征点，对特定帧数图像中的视差值进行统计分析，得到高斯拟合模型；
S33、取上述高斯拟合模型的期望值d作为此特征点的理论视差值；
S34、对图集1中的每一个特征点都重复上述过程，则得到图集1中的全部特征点的理论视差值；
S35、针对图集2重复步骤S31~S34，得到图集2的全部特征点的理论视差值；
S4：筛选公共特征点，并分别计算公共特征点的第一理论距离Z1和第二理论距离Z2；
S5：对公共特征点的理论距离差△=Z1-Z2进行高斯拟合，并提取方差σ2作为评价指标；
S6：判断评价指标是否小于阈值：若是，结束调校；若否，继续下面的步骤；
S7：调整双目相机的姿态参数（R、T），然后回到步骤S3，其中，R，T为双目相机的姿态参数。
CN202010502598.XA 2020-06-05 2020-06-05 一种双目相机的调校方法和装置 Active CN111862230B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010502598.XA CN111862230B (zh) 2020-06-05 2020-06-05 一种双目相机的调校方法和装置
US17/123,999 US11445162B2 (en) 2020-06-05 2020-12-16 Method and device for calibrating binocular camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010502598.XA CN111862230B (zh) 2020-06-05 2020-06-05 一种双目相机的调校方法和装置

Publications (2)

Publication Number Publication Date
CN111862230A CN111862230A (zh) 2020-10-30
CN111862230B true CN111862230B (zh) 2024-01-12

Family

ID=72985439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010502598.XA Active CN111862230B (zh) 2020-06-05 2020-06-05 一种双目相机的调校方法和装置

Country Status (2)

Country Link
US (1) US11445162B2 (zh)
CN (1) CN111862230B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284653A (zh) * 2017-07-20 2019-01-29 微软技术许可有限责任公司 基于计算机视觉的细长物体检测
CN109523595A (zh) * 2018-11-21 2019-03-26 南京链和科技有限公司 一种建筑工程直线棱角间距视觉测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US10602126B2 (en) * 2016-06-10 2020-03-24 Lucid VR, Inc. Digital camera device for 3D imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284653A (zh) * 2017-07-20 2019-01-29 微软技术许可有限责任公司 基于计算机视觉的细长物体检测
CN109523595A (zh) * 2018-11-21 2019-03-26 南京链和科技有限公司 一种建筑工程直线棱角间距视觉测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于实例分割的双目特征点匹配目标识别和定位研究;李山坤;陈立伟;李爽;;无线电工程(第02期);全文 *

Also Published As

Publication number Publication date
US11445162B2 (en) 2022-09-13
CN111862230A (zh) 2020-10-30
US20210385425A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
US9307134B2 (en) Automatic setting of zoom, aperture and shutter speed based on scene depth map
JP4864835B2 (ja) 色補正装置、方法及びプログラム
US8199202B2 (en) Image processing device, storage medium storing image processing program, and image pickup apparatus
US20110032341A1 (en) Method and system to transform stereo content
US20090092282A1 (en) System and Method for Tracking Objects with a Synthetic Aperture
CN107240082B (zh) 一种拼接线优化方法及设备
CN112116639B (zh) 一种图像配准方法、装置及电子设备和存储介质
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
KR101364860B1 (ko) 입체 영상의 입체감 향상을 위한 입체 영상 변환 방법 및 이를 기록한 기록매체
KR20170070620A (ko) 스테레오 영상 매칭 방법 및 장치
CN111179195B (zh) 深度图像空洞填充方法、装置、电子设备及其存储介质
US20110293175A1 (en) Image processing apparatus and method
CN111862230B (zh) 一种双目相机的调校方法和装置
CN110766711A (zh) 一种视频镜头分割方法、系统、装置和存储介质
CN114693760A (zh) 图像校正方法、装置及系统、电子设备
US9113145B2 (en) Contrast matching for stereo image
US20140210963A1 (en) Parallax adjustment apparatus and method of controlling operation of same
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
CN113284195B (zh) 双目立体视觉成像的在线补偿方法及其系统
CN111739158B (zh) 一种三维场景图像恢复方法
CN112233164B (zh) 一种视差图错误点识别与校正方法
CN113344988B (zh) 立体匹配方法、终端及存储介质
CN107204013B (zh) 应用于双目立体视觉中的像素点视差值计算方法及装置
CN107330932B (zh) 一种修补视差图中噪点的方法及装置
CN111524075A (zh) 深度图像滤波方法、图像合成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant