CN113112553A - 双目相机的参数标定方法、装置、电子设备及存储介质 - Google Patents
双目相机的参数标定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113112553A CN113112553A CN202110578756.4A CN202110578756A CN113112553A CN 113112553 A CN113112553 A CN 113112553A CN 202110578756 A CN202110578756 A CN 202110578756A CN 113112553 A CN113112553 A CN 113112553A
- Authority
- CN
- China
- Prior art keywords
- parameter
- calibrated
- error value
- binocular camera
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开提供了一种双目相机的参数标定方法、装置、电子设备及存储介质，属于图像处理技术领域。所述方法包括：从视差图像包含的标识图形中，获取多个目标点；确定多个目标点在任一张原始图像中的多个投影点；根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整；将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。本公开采用原始图像和视差图像中的标识图形，对双目相机中待标定参数进行标定，该种标定方式不受限于时间和空间等因素，能够在有限的时间和空间内实现快速标定，扩大了该方法的应用范围。
Description
技术领域
本公开涉及图像处理技术领域，特别涉及一种双目相机的参数标定方法、装置、电子设备及存储介质。
背景技术
近年来，随着智能驾驶技术的发展，无人驾驶汽车已成为工业界和学术界研究的热点。无人驾驶汽车主要采用双目相机拍摄车辆周围的驾驶环境，根据拍摄的道路、车辆位置和障碍物等信息，控制车辆的转向和速度，从而确保车辆能够安全、可靠地在道路上行驶。然而，双目相机随着使用出现老化，使得测距误差增大或者检测障碍物密度下降，导致对障碍物进行检测时出现误检和漏检等问题，而这些问题直接响了无人驾驶汽车的安全性。因此，为了提高无人驾驶汽车的安全性，需要对双目相机的参数进行标定。
目前，相关技术在对双目相机的参数进行标定时，主要采用如下方法：在实验室中离线标定相机的内参数矩阵，通过高精度电控平台带动相机作两组相互独立的三正交运动，采用FOE点的性质列出线性方程唯一求解出相机的内参数；在实验现场通过8-点法求解两幅图像之间基础矩阵，分解本质矩阵的方法，实现相机外参数的实时在线标定；利用图像信息重建高精度三维标尺的长度，实现相机比例因子的求解。
然而，上述方法对时间和空间要求比较高，在实际应用中受限于空间、时间等方面的因素，导致该方法应用范围具有一定的局限性。
发明内容
本公开实施例提供了一种双目相机的参数标定方法、装置、电子设备及存储介质，不受限于时间和空间等因素，能够扩大标定方法的应用范围，所述技术方案如下：
第一方面，提供了一种双目相机的参数标定方法，所述方法包括：
根据两张原始图像，生成包含标识图形的视差图像，所述原始图像为设置于所述标识图形前方第一预设距离的双目相机对所述标识图形拍摄得到；
从所述视差图像包含的标识图形中，获取多个目标点；
确定所述多个目标点在任一张原始图像中的多个投影点；
根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整；
将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
在本公开的另一个实施例中，所述从所述视差图像包含的标识图形中，获取多个目标点，包括：
计算所述视差图像包含的标识图形中每个像素点到所述双目相机的距离；
如果任一像素点与所述双目相机之间的距离和第二预设距离之间的差值在预设范围内，将所述像素点确定为目标点。
在本公开的另一个实施例中，所述根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整，包括：
为所述待标定参数设置初始参数值；
根据所述多个目标点的坐标、所述多个投影点的坐标、所述待标定参数的初始参数值，计算第一最小化重投影误差值；
如果所述第一最小化重投影误差值不满足所述第一阈值条件，则调整所述待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足所述第一阈值条件。
在本公开的另一个实施例中，所述将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果之前，还包括：
根据所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值和所述两张原始图像，生成新的视差图像；
获取所述新的视差图像包含的标识图形中各个像素点在所述原始图像上的投影点；
根据所述各个像素点的坐标及其投影点的坐标、以及所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算第二最小化重投影误差值；
如果所述第二最小化重投影误差值满足所述第一阈值条件，执行将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果的步骤。
在本公开的另一个实施例中，所述将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果之前，还包括：
基于所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算所述新的视差图像的填充率；
如果所述新的视差图像的填充率满足第二阈值条件，则执行将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果的步骤。
在本公开的另一个实施例中，所述方法还包括：
以所述标定结果为待标定参数的初始参数值，按照根据所述两张原始图像确定所述标定结果的过程，对所述双目相机的参数进行标定，直至标定次数达到预设次数；
将达到所述预设次数时的标定结果确定为最终标定结果。
第二方面，提供了一种双目相机的参数标定装置，所述装置包括：
生成模块，用于根据两张原始图像，生成包含标识图形的视差图像，所述原始图像为设置于所述标识图形前方第一预设距离的双目相机对所述标识图形拍摄得到；
获取模块，用于从所述视差图像包含的标识图形中，获取多个目标点；
确定模块，用于确定所述多个目标点在任一张原始图像中的多个投影点；
调整模块，用于根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整；
所述确定模块，还用于将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
在本公开的另一个实施例中，所述获取模块，用于计算所述视差图像包含的标识图形中每个像素点到所述双目相机的距离；如果任一像素点与所述双目相机之间的距离和第二预设距离之间的差值在预设范围内，将所述像素点确定为目标点。
在本公开的另一个实施例中，所述调整模块，用于为所述待标定参数设置初始参数值；根据所述多个目标点的坐标、所述多个投影点的坐标、所述待标定参数的初始参数值，计算第一最小化重投影误差值；如果所述第一最小化重投影误差值不满足所述第一阈值条件，则调整所述待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足所述第一阈值条件。
在本公开的另一个实施例中，所述装置还包括：
所述生成模块，用于根据所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值和所述两张原始图像，生成新的视差图像；
所述获取模块，还用于用于获取所述新的视差图像包含的标识图形中各个像素点在所述原始图像上的投影点；
计算模块，用于根据所述各个像素点的坐标及其投影的坐标点、以及所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算第二最小化重投影误差值；
所述确定模块，还用于如果所述第二最小化重投影误差值满足所述第一阈值条件，将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
在本公开的另一个实施例中，所述装置还包括：
计算模块，用于基于所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算所述视差图像的填充率；
所述确定模块，还用于如果所述视差图像的填充率满足第二阈值条件，将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
在本公开的另一个实施例中，所述装置还包括：
标定模块，用于以所述标定结果为待标定参数的初始参数值，按照根据所述两张原始图像确定所述标定结果的过程，对所述双目相机的参数进行标定，直至标定次数达到预设次数；
所述确定模块，用于将达到所述预设次数时的标定结果确定为最终标定结果。
第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如第一方面所述的双目相机的参数标定方法。
第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如第一方面所述的双目相机的参数标定方法。
本公开实施例提供的技术方案带来的有益效果是：
采用原始图像和视差图像中的标识图形，通过计算视差图像中标识图形中的目标点与原始图像上的映射点之间的最小化重投影误差，对双目相机中待标定参数进行标定，该种标定方式不受限于时间和空间等因素，能够在有限的时间和空间内实现快速标定，扩大了该方法的应用范围。该方法且只需采用双目相机拍摄包含标识图形的原始图像，并基于拍摄的原始图像，生成能够反应出双目之间的位置关系的视差图像，无需进行其他复杂操作，标定时间较短，标定精度较高。
附图说明
为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本公开实施例提供的一种双目相机的参数标定方法的流程图；
图2是本公开实施例提供的另一种双目相机的参数标定方法的流程图；
图3是本公开实施例提供的一张标识图形的示意图；
图4是本公开实施例提供的一张原始图像的示意图；
图5是本公开实施例提供的一种双目相机的参数标定过程的示意图；
图6是本公开实施例提供的一种双目相机的参数标定装置结构示意图；
图7示出了本公开一个示例性实施例提供的一种电子设备的结构框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
可以理解，本公开实施例所使用的术语“每个”、“多个”及“任一”等，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指对应的多个中的任意一个。举例来说，多个词语包括10个词语，而每个词语是指这10个词语中的每一个词语，任一词语是指10个词语中的任意一个词语。
本公开实施例提供了一种双目相机的参数标定方法，参见图1，本公开实施例提供的方法流程包括：
101.根据两张原始图像，生成包含标识图形的视差图像。
其中，原始图像为设置于标识图形前方第一预设距离的双目相机对标识图形拍摄得到。
102.从视差图像包含的标识图形中，获取多个目标点。
103.确定多个目标点在任一张原始图像中的多个投影点。
104.根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整。
105.将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。
本公开实施例提供的方法，采用原始图像和视差图像中的标识图形，通过计算视差图像中标识图形中的目标点与原始图像上的映射点之间的最小化重投影误差，对双目相机中待标定参数进行标定，该种标定方式不受限于时间和空间等因素，能够在有限的时间和空间内实现快速标定，扩大了该方法的应用范围。该方法且只需采用双目相机拍摄包含标识图形的原始图像，并基于拍摄的原始图像，生成能够反应出双目之间的位置关系的视差图像，无需进行其他复杂操作，标定时间较短，标定精度较高。
在本公开的另一个实施例中，从视差图像包含的标识图形中，获取多个目标点，包括：
计算视差图像包含的标识图形中每个像素点到双目相机的距离；
如果任一像素点与双目相机之间的距离和第二预设距离之间的差值在预设范围内，将像素点确定为目标点。
在本公开的另一个实施例中，根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整，包括：
为待标定参数设置初始参数值；
根据多个目标点的坐标、多个投影点的坐标、待标定参数的初始参数值，计算第一最小化重投影误差值；
如果第一最小化重投影误差值不满足第一阈值条件，则调整待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足第一阈值条件。
在本公开的另一个实施例中，将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果之前，还包括：
根据第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值和两张原始图像，生成新的视差图像；
获取新的视差图像包含的标识图形中各个像素点在原始图像上的投影点；
根据各个像素点及其投影点、以及第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算第二最小化重投影误差值；
如果第二最小化重投影误差值满足第一阈值条件，执行将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果的步骤。
在本公开的另一个实施例中，将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果之前，还包括：
基于第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算新的视差图像的填充率；
如果新的视差图像的填充率满足第二阈值条件，则执行将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果的步骤。
在本公开的另一个实施例中，方法还包括：
以标定结果为待标定参数的初始参数值，按照根据两张原始图像确定标定结果的过程，对双目相机的参数进行标定，直至标定次数达到预设次数；
将达到预设次数时的标定结果确定为最终标定结果。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本公开实施例提供了一种双目相机的参数标定方法，参见图2，以电子设备执行本公开实施例为例，该电子设备可以为终端，也可以为服务器。当电子设备为终端时，该电子设备可以为智能手机、平板电脑、笔记本电脑等。本公开实施例提供的方法流程包括：
201.电子设备根据两张原始图像，生成包含标识图形的视差图像。
其中，原始图像为设置于标识图形前方第一预设距离的双目相机对标识图形拍摄得到。该标识图形为纹理丰富且在水平方向没有重复纹理的图形，采用该标识图形对双目相机的参数进行标定，能够保证双目相机的参数收敛。该标识图形的形状可以为圆形、长方形、正方形等，本公开实施例不对标识图形的形状作具体的限定。该标识图形上设置有定位点，该定位点通常设置在标识图形的四周，用于对标识图形进行定位。参见图3所示的标识图形，该标识图形的形状为长方形，在长方形的四个角上分别设置有一个定位点，四个定位点在参数标定过程中用于定位出标识图形所在的区域。该第一预设距离为能够保证原始图像中标识图形在原始图像中的占比满足预设条件的距离，该预设条件可以为大于第一数值小于第二数值，该第一数值小于第二数值，该第一数值可以为1/10、1/9等，该第二数值可以为1/4、1/3等。例如图4所示的原始图像，该原始图像中的标识图形在原始图像中的占比大于1/9小于1/4。
电子设备根据两张原始图像，生成包含标识图形的视差图像时，可获取两张原始图像中相同位置的像素点的像素值，并基于双目相机当前的参数和两张原始图像中相同位置的像素点的像素值，计算视差图像上各个像素点的像素值，进而基于视差图像上各个位置上的像素点及像素值，得到视差图像，该视差图像也包括标识图形。当然，电子设备还可以采取其他方法生成视差图像，本公开实施例不再一一说明。
202.电子设备从视差图像包含的标识图形中，获取多个目标点。
其中，目标点为视差图像中与双目相机之间的距离与第二预设距离之间的差值在预设范围内的像素点，该第二预设距离为技术人员输入的视差图像中的像素点与双目相机的距离真值，该第二预设距离可以为15厘米、20厘米等，本公开实施例不对第二预设距离作具体的限定。预设范围为双目相机允许的误差范围，该预设范围可以为-2厘米～2厘米、-4厘米～4厘米等等，本公开实施例不对预设范围作具体的限定。
电子设备从视差图像包含的标识图形中，获取多个目标点时，可采用如下方法：
2021.电子设备计算视差图像包含的标识图形中每个像素点到双目相机的距离。
电子设备遍历视差图像，查找视差图像中四个定位点的位置，并根据标识图形的形状，将四个定位点所围成的区域确定为标识图形所在的区域。例如，标识图形的形状为长方形，则将四个定位点围成的长方形区域，确定为标识图形所在的区域；如果标识图形的形状为圆形，则将该四个定位点围成的圆形区域，确定为标识图像所在的区域。接着，电子设备遍历标识图形中每个像素点，应用形似三角形原理，计算每个像素点到双目相机的距离，该每个像素点到双目相机的距离为每个像素点在视差图像的距离值。
以标识图形中的任一像素点Pi为例，该像素点Pi在视差图像中的坐标表示为(x，y，z)，其中z表示像素点Pi的深度距离，即为像素点Pi到双目相机的距离。电子设备在计算该像素点Pi到双目相机的距离时，应用公式z＝fb/disprity进行计算，其中，f表示双目相机的焦距，b表示双目相机的双目之间的距离，该disprity＝left_x-right_x，该left_x和right_x分别表示左右两张原始图像中生成该像素点Pi的两个像素点的横坐标。
2022.如果任一像素点与双目相机之间的距离和第二预设距离之间的差值在预设范围内，电子设备将像素点确定为目标点。
对于标识图形上的任一像素点，如果该像素点与双目相机之间的距离和第二预设距离之间的差值在预设范围内，则电子设备将像素点确定为目标点。
进一步地，为了提高对双目相机的参数标定速度，电子设备可从与双目相机之间的距离和第二预设距离之间的差值在预设范围内的像素点中，获取预设数量个像素点作为目标点，该预设数量可以为10个、15个、20个等等。
203.电子设备确定多个目标点在任一张原始图像中的多个投影点。
基于所确定的多个目标点，电子设备从两张原始图像中选择任一张原始图像，并确定出每个目标点在原始像素点上的投影点。电子设备在确定每个目标点的投影点时，可采用与生成视差图像相反的算法，确定出目标点在该原始图像上的投影点。例如，电子设备根据输入的左右原始图像，采用匹配算法可以计算出视差图像，该视差图像中的每个像素点在左右原始图像中对应的像素点通过匹配算法可以得到，相应地，对于视差图像中的每个像素点，电子设备能够获取到在原始图像上对应匹配点即投影点的坐标。
204.电子设备根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整。
通常双目相机的参数包括内参数和外参数。内参数为双目相机本身固有的参数，包括焦距、光心、位置等。外参数表示双目相机在世界坐标系(也称为全局坐标系)中的位置和方向，本公开实施例中待标定参数即为双目相机的外参数，该外参数包括坐标参数、旋转角度参数等。该坐标参数用于表示双目相机三个坐标轴坐标偏差，本公开实施例中采用T表示。该旋转角度参数表示双目相机三个坐标轴的旋转角度偏差，本能公开实施例中采用R表示。
电子设备根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整的过程，包括以下步骤：
2041.电子设备为待标定参数设置初始参数值。
其中，初始参数值为系统出厂时的标定结果。在后续计算过程中，电子设备通过对该初始参数值不断进行调整，得到标定结果。
2042.电子设备根据多个目标点的坐标、多个投影点的坐标、待标定参数的初始参数值，计算第一最小化重投影误差值。
基于多个目标点的坐标、多个投影点的坐标、待标定参数的初始参数值，电子设备可采用成本函数，计算第一最小化重投影误差值。该成本函数可以表示为：
其中，ui表示第i个目标点的投影点，pi表示第i个目标点，k表示双目相机的内参数，R0′表示旋转角度参数的初始参数值，T0′表示坐标参数的初始参数值，n表示目标点的个数。
2043.如果第一最小化重投影误差值不满足第一阈值条件，则电子设备调整待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足第一阈值条件。
其中，第一阈值条件可以为第一最小化重投影误差小于预设阈值，该预设阈值可根据双目相机的校正精度确定。如果基于为待标定参数设置的初始参数值，电子设备计算出第一最小化重投影误差值大于预设阈值，不满足第一阈值条件，则电子设备将调整待标定参数的参数值，并基于调整后的待标定参数的参数值、多个目标点的坐标、多个投影点的坐标，重新计算第一最小化重投影误差，直至计算得到的第一最小化重投影误差值满足第一阈值条件。
205.电子设备获取第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，并对该待标定参数对应的参数值进行校验。
电子设备获取第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，并对该待标定参数的参数值进行校验，以确保该待标定参数的参数值准确。具体校验过程如下：
2051.电子设备根据第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值和两张原始图像，生成新的视差图像。
电子设备基于第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值和两张原始图像，对视差图像进行重构，得到新的视差图像。
2052.电子设备获取新的视差图像包含的标识图形中各个像素点在原始图像上的投影点。
电子设备获取新的视差图像包含的标识图形中各个像素点，并确定新的视差图像包含的标识图形中各个像素点在原始图像上的投影点。
2053.电子设备根据各个像素点及其投影点、以及第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算第二最小化重投影误差值。
电子设备基于视差图像包含的标识图形中各个像素点的坐标、各个像素点在原始图像上各个投影点的坐标以及第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，采用成本函数，计算第二最小化重投影误差值。
2054.如果第二最小化重投影误差值满足第一阈值条件，电子设备基于第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算新的视差图像的填充率。
其中，填充率是指新的视差图像包含的标识图形中目标点占新的视差图像包含的标识图形中全部像素点的比率。电子设备基于第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算每个像素点与双目相机之间的距离，并获取距离与第二预设距离之间的差值在预设范围内的像素点，将获取到的像素点的数量与全部像素点的数量之间的比值，确定为新的视差图像的填充率。
2055.如果新的视差图像的填充率满足第二阈值条件，电子设备确定对该待标定参数校验通过。
其中，第二阈值条件为填充率大于第二阈值，该第二阈值可以为90％、95％等等。
206.当校验通过时，电子设备将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。
上述以采用一次拍摄的原始图像对双目相机的参数进行标定为例，当然，为了提高标定结果的准确性，电子设备可采用多次拍摄的原始图像，对双目相机的参数进行标定，该多次拍摄的原始图像可以为位于同一位置上的双目相机对标识图形进行拍摄得到，还可以为位于不同位置上的双目相机对标识图形进行拍摄得到。电子设备以上一次的标定结果作为本次待标定参数的初始参数的参数值，对待标定参数的参数值进行迭代优化，直至标定次数达到预设次数，该预设次数可以为5次、10次等，本公开实施例不对预设次数作具体的限定。具体地，当得到待标定参数的标定结果，电子设备再次拍摄两张原始图像，并以该标定结果为待标定参数的初始参数值，按照上述步骤201至步骤205中根据两张原始图像确定标定结果的过程，对双目相机的参数进行标定，得到本次标定的标定结果，然后电子设备以本次标定的标定结果为待标定参数的初始参数值，对待标定参数的参数值进行优化，直至标定次数达到预设次数，然后，电子设备将达到预设次数时的标定结果确定为最终标定结果。
上述对双目相机的参数标定过程，下面以图5为例进行详细说明。
参见图5，将双目相机垂直设置于标识板前面M位置，该M位置能够保证标识板在拍摄的原始图像中的面积Sm满足:(1/4)stotal>Sm<(1/9)stotal，stotal为原始图像的面积，通过计算原始图像的长和宽的乘积得到。电子设备根据拍摄的原始图像，生成视差图，并根据视差图和原始图像中标识板所在的区域以及为待标定参数设置的初始参数值，计算第一最小化重投影误差值minf(x)，如果该minf(x)小于N，则输出该待标定参数的初始参数值R0和T0，并根据输出的初始参数值R0和T0以及重构的视差图，计算第二最小化重投影误差值，如果该第二最小化重投影误差值小于Ts，则输出当前的R和T。
本公开实施例提供的方法，采用原始图像和视差图像中的标识图形，通过计算视差图像中标识图形中的目标点与原始图像的匹配点之间的最小化重投影误差，对双目相机中待标定参数进行标定，该种标定方式不受限于时间和空间等因素，能够在有限的时间和空间内实现快速标定，扩大了该方法的应用范围。且该方法只需采用双目相机拍摄包含标识图形的原始图像，基于拍摄的原始图像，即可生成能够反应出双目之间的位置关系的视差图像，无需进行其他复杂操作，标定时间较短，标定精度较高。
参见图6，本公开实施例提供了一种双目相机的参数标定装置，该装置包括：
生成模块601，用于根据两张原始图像，生成包含标识图形的视差图像，原始图像为设置于标识图形前方第一预设距离的双目相机对标识图形拍摄得到；
获取模块602，用于从视差图像包含的标识图形中，获取多个目标点；
确定模块603，用于确定多个目标点在任一张原始图像中的多个投影点；
调整模块604，用于根据多个目标点的坐标和多个投影点的坐标，通过计算第一最小化重投影误差值，对双目相机的待标定参数的参数值进行调整；
确定模块603，还用于将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。
在本公开的另一个实施例中，获取模块602，用于计算视差图像包含的标识图形中每个像素点到双目相机的距离；如果任一像素点与双目相机之间的距离和第二预设距离之间的差值在预设范围内，将像素点确定为目标点。
在本公开的另一个实施例中，调整模块604，用于为待标定参数设置初始参数值；根据多个目标点的坐标、多个投影点的坐标、待标定参数的初始参数值，计算第一最小化重投影误差值；如果第一最小化重投影误差值不满足第一阈值条件，则调整待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足第一阈值条件。
在本公开的另一个实施例中，该装置包括：
生成模块，还用于根据第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值和两张原始图像，生成新的视差图像；
获取模块，还用于获取新的视差图像包含的标识图形中各个像素点在原始图像上的投影点；
计算模块，还用于根据各个像素点的坐标及其投影点的坐标、以及第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算第二最小化重投影误差值；
确定模块，还用于如果第二最小化重投影误差值满足第一阈值条件，将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。
在本公开的另一个实施例中，该装置还包括：
计算模块，用于基于第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，计算视差图像的填充率；
确定模块603，还用于如果视差图像的填充率满足第二阈值条件，将第一最小化重投影误差值满足第一阈值条件时待标定参数对应的参数值，确定为待标定参数的标定结果。
在本公开的另一个实施例中，该装置还包括：
标定模块，用于以标定结果为待标定参数的初始参数值，按照根据两张原始图像确定标定结果的过程，对双目相机的参数进行标定，直至标定次数达到预设次数；
确定模块603，用于将达到预设次数时的标定结果确定为最终标定结果。
综上，本公开实施例提供的装置，采用原始图像和视差图像中的标识图形，通过计算视差图像中标识图形中的目标点与原始图像上的映射点之间的最小化重投影误差，对双目相机中待标定参数进行标定，该种标定方式不受限于时间和空间等因素，能够在有限的时间和空间内实现快速标定，扩大了该方法的应用范围。该方法且只需采用双目相机拍摄包含标识图形的原始图像，并基于拍摄的原始图像，生成能够反应出双目之间的位置关系的视差图像，无需进行其他复杂操作，标定时间较短，标定精度较高。
图7示出了本公开一个示例性实施例提供的一种电子设备700的结构框图。通常，设备700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本公开中方法实施例提供的双目相机的参数标定方法。
在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：电源704。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
电源704用于为电子设备700中的各个组件进行供电。电源704可以是交流电、直流电、一次性电池或可充电电池。当电源704包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备700的处理器执行以完成上述视频处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本公开实施例提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以实现双目相机的参数标定方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种双目相机的参数标定方法，其特征在于，所述方法包括：
根据两张原始图像，生成包含标识图形的视差图像，所述原始图像为设置于所述标识图形前方第一预设距离的双目相机对所述标识图形拍摄得到；
从所述视差图像包含的标识图形中，获取多个目标点；
确定所述多个目标点在任一张原始图像中的多个投影点；
根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整；
将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
2.根据权利要求1所述的方法，其特征在于，所述从所述视差图像包含的标识图形中，获取多个目标点，包括：
计算所述视差图像包含的标识图形中每个像素点到所述双目相机的距离；
如果任一像素点与所述双目相机之间的距离和第二预设距离之间的差值在预设范围内，将所述像素点确定为目标点。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整，包括：
为所述待标定参数设置初始参数值；
根据所述多个目标点的坐标、所述多个投影点的坐标、所述待标定参数的初始参数值，计算第一最小化重投影误差值；
如果所述第一最小化重投影误差值不满足所述第一阈值条件，则调整所述待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足所述第一阈值条件。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果之前，还包括：
根据所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值和所述两张原始图像，生成新的视差图像；
获取所述新的视差图像包含的标识图形中各个像素点在所述原始图像上的投影点；
根据所述各个像素点的坐标及其投影点的坐标、以及所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算第二最小化重投影误差值；
如果所述第二最小化重投影误差值满足所述第一阈值条件，执行将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果的步骤。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果之前，还包括：
基于所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，计算所述新的视差图像的填充率；
如果所述新的视差图像的填充率满足第二阈值条件，则执行将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果的步骤。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
以所述标定结果为待标定参数的初始参数值，按照根据所述两张原始图像确定所述标定结果的过程，对所述双目相机的参数进行标定，直至标定次数达到预设次数；
将达到所述预设次数时的标定结果确定为最终标定结果。
7.一种双目相机的参数标定装置，其特征在于，所述装置包括：
生成模块，用于根据两张原始图像，生成包含标识图形的视差图像，所述原始图像为设置于所述标识图形前方第一预设距离的双目相机对所述标识图形拍摄得到；
获取模块，用于从所述视差图像包含的标识图形中，获取多个目标点；
确定模块，用于确定所述多个目标点在任一张原始图像中的多个投影点；
调整模块，用于根据所述多个目标点的坐标和所述多个投影点的坐标，通过计算第一最小化重投影误差值，对所述双目相机的待标定参数的参数值进行调整；
所述确定模块，还用于将所述第一最小化重投影误差值满足第一阈值条件时所述待标定参数对应的参数值，确定为所述待标定参数的标定结果。
8.根据权利要求7所述的装置，其特征在于，所述调整模块，用于为所述待标定参数设置初始参数值；根据所述多个目标点的坐标、所述多个投影点的坐标、所述待标定参数的初始参数值，计算第一最小化重投影误差值；如果所述第一最小化重投影误差值不满足所述第一阈值条件，则调整所述待标定参数的参数值，直至计算得到的第一最小化重投影误差值满足所述第一阈值条件。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至6中任一项所述的双目相机的参数标定方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至6中任一项所述的双目相机的参数标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578756.4A CN113112553B (zh) | 2021-05-26 | 2021-05-26 | 双目相机的参数标定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110578756.4A CN113112553B (zh) | 2021-05-26 | 2021-05-26 | 双目相机的参数标定方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112553A true CN113112553A (zh) | 2021-07-13 |
| CN113112553B CN113112553B (zh) | 2022-07-29 |
Family
ID=76723692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110578756.4A Active CN113112553B (zh) | 2021-05-26 | 2021-05-26 | 双目相机的参数标定方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112553B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023124398A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 一种外参标定方法及控制设备 |
| WO2023241372A1 (zh) * | 2022-06-13 | 2023-12-21 | 华为技术有限公司 | 相机内参标定方法及相关设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106920276A (zh) * | 2017-02-23 | 2017-07-04 | 华中科技大学 | 一种三维重建方法和系统 |
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
| CN109215082A (zh) * | 2017-06-30 | 2019-01-15 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
| CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
| CN111047709A (zh) * | 2019-11-29 | 2020-04-21 | 暨南大学 | 一种双目视觉裸眼3d图像生成方法 |
| CN111145271A (zh) * | 2019-12-30 | 2020-05-12 | 广东博智林机器人有限公司 | 相机参数的精确度的确定方法、装置、存储介质及终端 |
| CN111220120A (zh) * | 2019-12-02 | 2020-06-02 | 上海航天控制技术研究所 | 一种动平台双目测距自校准方法及装置 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN112308925A (zh) * | 2019-08-02 | 2021-02-02 | 上海肇观电子科技有限公司 | 可穿戴设备的双目标定方法、设备及存储介质 |
| CN112330752A (zh) * | 2020-11-13 | 2021-02-05 | 深圳先进技术研究院 | 多相机联合标定方法、装置、终端设备及可读存储介质 |
| CN112348899A (zh) * | 2019-08-07 | 2021-02-09 | 虹软科技股份有限公司 | 标定参数的获取方法、装置、处理器及电子设备 |
| CN112581369A (zh) * | 2020-12-24 | 2021-03-30 | 中国银联股份有限公司 | 图像拼接方法以及装置 |
| CN112686961A (zh) * | 2020-12-31 | 2021-04-20 | 杭州海康机器人技术有限公司 | 一种深度相机标定参数的修正方法、装置 |
-
2021
- 2021-05-26 CN CN202110578756.4A patent/CN113112553B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| CN106920276A (zh) * | 2017-02-23 | 2017-07-04 | 华中科技大学 | 一种三维重建方法和系统 |
| US20200151908A1 (en) * | 2017-06-30 | 2020-05-14 | Hangzhou Hikvision Digital Technology Co., Ltd. | Camera parameter calibration method, device, apparatus, and system |
| CN109215082A (zh) * | 2017-06-30 | 2019-01-15 | 杭州海康威视数字技术股份有限公司 | 一种相机参数标定方法、装置、设备及系统 |
| CN108053450A (zh) * | 2018-01-22 | 2018-05-18 | 浙江大学 | 一种基于多约束的高精度双目相机标定方法 |
| CN109272570A (zh) * | 2018-08-16 | 2019-01-25 | 合肥工业大学 | 一种基于立体视觉数学模型的空间点三维坐标求解方法 |
| CN112308925A (zh) * | 2019-08-02 | 2021-02-02 | 上海肇观电子科技有限公司 | 可穿戴设备的双目标定方法、设备及存储介质 |
| CN112348899A (zh) * | 2019-08-07 | 2021-02-09 | 虹软科技股份有限公司 | 标定参数的获取方法、装置、处理器及电子设备 |
| WO2021022989A1 (zh) * | 2019-08-07 | 2021-02-11 | 虹软科技股份有限公司 | 标定参数的获取方法、装置、处理器及电子设备 |
| CN111047709A (zh) * | 2019-11-29 | 2020-04-21 | 暨南大学 | 一种双目视觉裸眼3d图像生成方法 |
| CN111220120A (zh) * | 2019-12-02 | 2020-06-02 | 上海航天控制技术研究所 | 一种动平台双目测距自校准方法及装置 |
| CN111145271A (zh) * | 2019-12-30 | 2020-05-12 | 广东博智林机器人有限公司 | 相机参数的精确度的确定方法、装置、存储介质及终端 |
| CN111784778A (zh) * | 2020-06-04 | 2020-10-16 | 华中科技大学 | 基于线性求解非线性优化的双目相机外参标定方法和系统 |
| CN112330752A (zh) * | 2020-11-13 | 2021-02-05 | 深圳先进技术研究院 | 多相机联合标定方法、装置、终端设备及可读存储介质 |
| CN112581369A (zh) * | 2020-12-24 | 2021-03-30 | 中国银联股份有限公司 | 图像拼接方法以及装置 |
| CN112686961A (zh) * | 2020-12-31 | 2021-04-20 | 杭州海康机器人技术有限公司 | 一种深度相机标定参数的修正方法、装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023124398A1 (zh) * | 2021-12-31 | 2023-07-06 | 华为技术有限公司 | 一种外参标定方法及控制设备 |
| WO2023241372A1 (zh) * | 2022-06-13 | 2023-12-21 | 华为技术有限公司 | 相机内参标定方法及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112553B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3951721A1 (en) | Method and apparatus for determining occluded area of virtual object, and terminal device | |
| US10726580B2 (en) | Method and device for calibration | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN113112553B (zh) | 双目相机的参数标定方法、装置、电子设备及存储介质 | |
| US20230037922A1 (en) | Image display method and apparatus, computer device, and storage medium | |
| CN109615664B (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
| CN110782517B (zh) | 点云标注方法、装置、存储介质及电子设备 | |
| CN108648141B (zh) | 一种图像拼接方法及装置 | |
| CN114387347B (zh) | 确定外参标定的方法、装置、电子设备及介质 | |
| CN110337674A (zh) | 三维重建方法、装置、设备及存储介质 | |
| CN114494388B (zh) | 一种大视场环境下图像三维重建方法、装置、设备及介质 | |
| CN114187589A (zh) | 一种目标检测方法、装置、设备和存储介质 | |
| CN110458954B (zh) | 一种等高线生成方法、装置及设备 | |
| CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
| CN116415652A (zh) | 一种数据生成方法、装置、可读存储介质及终端设备 | |
| CN114663615A (zh) | 电子地图显示方法及装置、电子设备 | |
| CN115575931A (zh) | 标定方法、装置、电子设备及存储介质 | |
| CN112150621B (zh) | 基于正射投影的鸟瞰图生成方法、系统及存储介质 | |
| CN117252914A (zh) | 深度估计网络的训练方法、装置、电子设备及存储介质 | |
| CN114371475A (zh) | 一种优化标定参数的方法、系统、设备及计算机存储介质 | |
| CN104182993B (zh) | 一种目标跟踪的方法 | |
| CN113790711A (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
| CN112070810A (zh) | 定位方法、可移动设备及计算机可读存储介质 | |
| JP7425169B2 (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| CN110675445A (zh) | 一种视觉定位方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |