CN110619665A - 虚拟仿真环境下双目相机的标定及验证方法 - Google Patents

虚拟仿真环境下双目相机的标定及验证方法 Download PDF

Info

Publication number
CN110619665A
CN110619665A CN201910864274.8A CN201910864274A CN110619665A CN 110619665 A CN110619665 A CN 110619665A CN 201910864274 A CN201910864274 A CN 201910864274A CN 110619665 A CN110619665 A CN 110619665A
Authority
CN
China
Prior art keywords
camera
binocular
virtual
simulation environment
virtual simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910864274.8A
Other languages
English (en)
Inventor
张斌
张东辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bee Sparrow Network Technology Co Ltd
Xian Jiaotong University
Original Assignee
Shanghai Bee Sparrow Network Technology Co Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bee Sparrow Network Technology Co Ltd, Xian Jiaotong University filed Critical Shanghai Bee Sparrow Network Technology Co Ltd
Priority to CN201910864274.8A priority Critical patent/CN110619665A/zh
Publication of CN110619665A publication Critical patent/CN110619665A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种虚拟仿真环境下双目相机的标定和验证方法，在虚拟仿真环境中制作标定板，双目虚拟相机，以及靶标物体，使双目虚拟相机对标定板采集图像数据，获得标定图像，计算并记录双目虚拟相机的内外参；将靶标物体放到与双目虚拟相机垂直距离确定的位置，使双目虚拟相机采集靶标物体的图像数据，求得靶标物体上特殊点之间的视差，根据双目测距公式以及之前所求双目虚拟相机的内外参数，计算靶标物体的距离双目相机的深度距离，利用深度距离与之前在虚拟仿真环境中的垂直距离求得相对误差，将计算得到的相对误差与误差系数对比，可反映相机内外参的准确程度，进而推算出虚拟仿真环境提供图像数据的准确程度。

Description

虚拟仿真环境下双目相机的标定及验证方法
技术领域
本发明属于虚拟现实以及计算机视觉技术领域，特别涉及一种虚拟仿真环境下的双目相机标定和验证方法。
背景技术
虚拟仿真环境的仿真技术正在蓬勃发展，百度、微软等都构建了自己的无人驾驶仿真平台，同时，也有一些科研机构构建了外太空环境的仿真平台，构建这些平台的目的是为了利用这些仿真环境中的传感器来收集数据，之后利用收集到的数据可以来训练和验证算法，在利用这些数据进行试验之前，需要验证这些传感器收集到的数据的准确性。即需要对传感器的参数进行标定验证，只有对传感器的参数进行验证之后，才能保证仿真平台提供数据的可靠性，才能保证相关算法在仿真平台与现实环境中的无差别运行。
目前国内缺少在仿真平台中对这些传感器的参数测量和验证的方法，尤其是仿真平台提供的视觉传感器，视觉传感器采集到的图像数据可以为多种算法所用，但是如果不对视觉传感器进行验证的话，数据的可靠性就值得商榷。
发明内容
本发明的目的在于提供一种虚拟仿真环境下双目相机的标定及验证方法，以解决上述技术问题。
为了实现上述目的，本发明采用如下技术方案：
虚拟仿真环境下双目相机的标定及验证方法，包括以下步骤：
S101、在虚拟仿真环境中制作相机标定用标定板以及验证阶段用靶标物体；
S102、在虚拟仿真环境中生成用来采集图像数据的双目虚拟相机；
S103、在虚拟仿真环境中使用双目虚拟相机来采集不同方向、不同距离的标定板图像；
S104、按照张氏标定法利用采集到的标定板图像数据对双目虚拟相机进行标定，计算并记录双目虚拟相机的内外参；
S105、在虚拟仿真环境中，将多个靶标物体安置在垂直距离与相机为定值的距离处；
S106、利用左、右目相机采集到图像之间的视差、以及相机的内外参数计算靶标物体的深度距离；
S107、计算得到的靶标物体的深度距离与虚拟仿真环境中设置的距离之间的相对误差。
进一步的，步骤S101具体包括：利用虚拟仿真环境中的长方体制作标定板，将长方体的表面贴图设置为黑白栅格或白底黑点图，同时按照虚拟仿真环境中的长度单位设置标定板尺寸；制作靶标物体时使得靶标物体的清晰的提供多个特殊点，之后能够利用所述多个特殊点计算视差的平均值。
进一步的，步骤S102中生成用来采集图像数据的双目虚拟相机，将双目相机在虚拟仿真环境下的位置固定，使双目相机能够在同一时刻对同一个物体采集数据。
进一步的，步骤S103中，在虚拟仿真环境中使用双目虚拟相机采集20组不同方向上、不同距离的标定板图像，保证采集到的标定板图像满足标定程序的要求。
进一步的，步骤S105中，将多个靶标物体依次安置在与相机垂直距离递增的位置，记录靶标物体与相机之间的垂直距离，同时保证左、右目虚拟相机采集的图像数据包含所有靶标物体的多个特殊点。
进一步的，步骤S106中对读取左、右目相机采集到左、右目图像中同一个靶标物体上的多个特殊点的像素坐标，分别求出多个特殊点之间的坐标平均坐标在相同垂直距离之间的靶标之间的平均视差为利用步骤S104中计算得到的相机的内参fl以及外参Tx，根据双目测距公式计算并记录靶标物体的深度距离Z。
进一步的，步骤S107中，按照公式求解并记录虚拟垂直距离和根据视差计算的深度计算距离之间的相对误差；如果计算的某一个平均点误差较大，则对该靶标重新取点验证，如果多于一点误差过大，对整个方法进行检查。
进一步的，根据相对误差能够判断出所求相机内参的准确度，明确虚拟仿真中的图像数据的准确程度。
进一步的，其中，虚拟垂直距离为X；
X＜10m内的平均点相对误差需要小于1％；
10m≤X＜20m之内的平均点相对误差需要小于3％；
20m≤X＜30m之内的平均点相对误差需要小于5％；
30m≤X≤40m之内的平均点相对误差需要小于8％；
不满足以上条件均为误差较大的情况。
相对于现有技术，本发明具有以下有益效果：
本发明提供了一种虚拟仿真环境下双目相机的标定和验证方法，通过在虚拟仿真环境中制作标定板，双目虚拟相机，以及靶标物体，利用程序使双目虚拟相机对标定板采集图像数据，获得标定图像，之后通过张氏标定法计算并记录双目虚拟相机的内外参；将靶标物体放到与双目虚拟相机垂直距离确定的位置，利用程序使双目虚拟相机采集靶标物体的图像数据，利用左、右目相机采集靶标物体的图像数据，求得靶标物体上特殊点之间的视差，根据双目测距公式以及之前所求双目虚拟相机的内外参数，计算靶标物体的距离双目相机的深度距离，进而根据相对误差求值公式来利用深度距离与之前在虚拟仿真环境中的垂直距离求得相对误差，将计算得到的相对误差与误差系数对比，即可反映相机内外参的准确程度，进而推算出虚拟仿真环境提供图像数据的准确程度。
本发明具有广泛的可用性，操作简单，容易复现，极大地提高了虚拟仿真环境中图像数据的可靠程度，同时弥补了虚拟仿真环境中对双目相机标定和验证方法的缺失。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的该虚拟仿真环境下的双目相机标定板表面贴图。
图2为本发明实施例提供的应用该虚拟仿真环境下的靶标物体的表面贴图。
图3为本发明实例提供的虚拟仿真环境下利用双目相机采集到的标定板图像。
图4为本发明实例提供的虚拟仿真环境下靶标物体的排次位置图。
图5为本发明实例提供的是在虚拟仿真环境中左、右目相机采集的靶标物体的图片。
图6为本发明实施例提供的应用该虚拟仿真环境下的双目相机标定和验证方法的流程框图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
请参阅图1至图6所示，本发明提供一种虚拟仿真环境下的双目相机标定和验证方法，主要包括如下步骤：
S101：在虚拟仿真中制作相机标定所需的标定板以及验证阶段所需的靶标物体。
S102：在虚拟仿真环境中生成用来采集图像数据的双目虚拟相机。
S103：在虚拟仿真环境中使用双目虚拟相机采集不同方向上不同距离的标定板图像。
S104：按照张氏标定法利用采集到的标定板图像数据对双目虚拟相机进行标定，计算并记录双目虚拟相机的内外参。
S105：在虚拟仿真环境中，将多个靶标物体安置在垂直距离与相机为定值的距离处。
S106：利用左、右目相机采集到图像之间的视差，以及相机的内外参数计算靶标物体的深度距离。
S107：计算得到的靶标物体的深度距离与虚拟仿真环境中设置的距离之间的相对误差。
在本实施例中，进一步的，在S101中利用程序Unreal4来仿真构建虚拟仿真环境，利用Unreal4中的提供的长方体组件来制作标定板，将长方体的厚度比例缩小到0.01，之后将标定板的表面贴图设置为图1所提供的黑白栅格表面贴图，同时按照Unreal4中的长度单位设置标定板的尺寸，这里设置使其每个栅格长度为5cm；同样的Unreal4中制作靶标物体，利用图2提供五角星表面贴图使得靶标物体的清晰的提供五个特殊点，以便之后可以利用这五个特殊点来计算视差的平均值。
在本实施例中，进一步的，在S102中生成用来采集图像数据的双目虚拟相机，利用Unreal4来生成相机组件，并在构建的虚拟仿真环境中将两个相机作为一个机械臂对象的组件，固定在机械臂上构成双目相机，确保双目相机在同一时刻对同一个物体采集图像数据，同时也要确保当移动机械臂的位置和方向，以及旋转机械臂时，相机会随机械臂做同样的动作；双目虚拟相机彼此之间的相对位姿保持不变，双目虚拟相机相对于机械臂的位置也保持不变。在Unreal构建的虚拟仿真环境中，将机械臂放置到虚拟仿真环境中坐标O(-1500,0,-100)处，同时双目虚拟相机的坐标也固定下来分别为Riqht(-398.20，1000.60，180.865)Left(-398.92，780.914，180.235)
在本实施例中，进一步的，在所述S103中，利用S102中构建的双目虚拟相机来采集标定板图像，将标定板的放置到虚拟仿真环境中，将其坐标设置为P(1350，888，250)，运行程序使标定板移动，使双目虚拟相机来采集20组不同方向上、不同距离上的标定板图像，将采集到标定板图像按左、右目相机分别保存到两个文件夹下。
在本实施例中，进一步的，在所述S104下，利用S103中所采集到的左、右目相机图像运行相机标定程序，计算得到左右目的相机内外参。记录数据如下
在本实施例中，进一步的，在所述S105中将S101生成的靶标物体按照图4安置Unreal4生成的虚拟仿真环境中，放置7个靶标物体，它们和双目相机之间的垂直距离分别为5m、10m、15m、20m、25m、30m、35m，放置的时候需要保证这7个靶标物体之间不能互相遮挡，同时需要保证左、右目虚拟相机采集的图像数据包含每个靶标物体的五个特殊点。
在本实施例中，进一步的，在所述S106对读取左、右目相机采集到左、右目图像中同一个靶标物体上的多个特殊点的像素坐标，分别求出多个特殊点之间的坐标平均坐标所以在相同垂直距离之间的靶标它们之间的平均视差为利用步骤四中计算得到的相机的内参fl以及外参Tx根据双目测距公式来计算并记录靶标物体的深度距离Z。
在本实施例中，进一步的，在所述S107中，按照公式来求解并记录虚拟垂直距离和根据视差计算的深度计算距离之间的相对误差。如果计算的某一个平均点误差较大，则对该靶标重新取点验证，如果多于一点误差过大，就需要对整个方法进行检查；其中虚拟垂直距离10m内的平均点相对误差需要小于1％，虚拟垂直距离10m-20m之内的平均点相对误差需要小于3％，虚拟垂直距离20m-30m之内的平均点相对误差需要小于5％，虚拟垂直距离30m-40m之内的平均点相对误差需要小于8％，不满足以上条件的均为误差较大情况。根据相对误差即可判断出所求相机内参的准确度，进而可以明确虚拟仿真中的图像数据的准确性。
以上所述，仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.虚拟仿真环境下双目相机的标定及验证方法，其特征在于，包括以下步骤：
S101、在虚拟仿真环境中制作相机标定用标定板以及验证阶段用靶标物体；
S102、在虚拟仿真环境中生成用来采集图像数据的双目虚拟相机；
S103、在虚拟仿真环境中使用双目虚拟相机来采集不同方向、不同距离的标定板图像；
S104、按照张氏标定法利用采集到的标定板图像数据对双目虚拟相机进行标定，计算并记录双目虚拟相机的内外参；
S105、在虚拟仿真环境中，将多个靶标物体安置在垂直距离与相机为定值的距离处；
S106、利用左、右目相机采集到图像之间的视差、以及相机的内外参数计算靶标物体的深度距离；
S107、计算得到的靶标物体的深度距离与虚拟仿真环境中设置的距离之间的相对误差。
2.根据权利要求1所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S101具体包括：利用虚拟仿真环境中的长方体制作标定板，将长方体的表面贴图设置为黑白栅格或白底黑点图，同时按照虚拟仿真环境中的长度单位设置标定板尺寸；制作靶标物体时使得靶标物体的清晰的提供多个特殊点，之后能够利用所述多个特殊点计算视差的平均值。
3.根据权利要求1所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S102中生成用来采集图像数据的双目虚拟相机，将双目相机在虚拟仿真环境下的位置固定，使双目相机能够在同一时刻对同一个物体采集数据。
4.根据权利要求1所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S103中，在虚拟仿真环境中使用双目虚拟相机采集20组不同方向上、不同距离的标定板图像，保证采集到的标定板图像满足标定程序的要求。
5.根据权利要求2所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S105中，将多个靶标物体依次安置在与相机垂直距离递增的位置，记录靶标物体与相机之间的垂直距离，同时保证左、右目虚拟相机采集的图像数据包含所有靶标物体的多个特殊点。
6.根据权利要求5所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S106中对读取左、右目相机采集到左、右目图像中同一个靶标物体上的多个特殊点的像素坐标，分别求出多个特殊点之间的坐标平均坐标在相同垂直距离之间的靶标之间的平均视差为利用步骤S104中计算得到的相机的内参fl以及外参Tx，根据双目测距公式计算并记录靶标物体的深度距离Z。
7.根据权利要求1所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，步骤S107中，按照公式求解并记录虚拟垂直距离和根据视差计算的深度计算距离之间的相对误差；如果计算的某一个平均点误差较大，则对该靶标重新取点验证，如果多于一点误差过大，对整个方法进行检查。
8.根据权利要求7所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，根据相对误差能够判断出所求相机内参的准确度，明确虚拟仿真中的图像数据的准确程度。
9.根据权利要求7所述的虚拟仿真环境下双目相机的标定及验证方法，其特征在于，其中，虚拟垂直距离为X；
X＜10m内的平均点相对误差需要小于1％；
10m≤X＜20m之内的平均点相对误差需要小于3％；
20m≤X＜30m之内的平均点相对误差需要小于5％；
30m≤X≤40m之内的平均点相对误差需要小于8％；
不满足以上条件均为误差较大的情况。
CN201910864274.8A 2019-09-12 2019-09-12 虚拟仿真环境下双目相机的标定及验证方法 Pending CN110619665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864274.8A CN110619665A (zh) 2019-09-12 2019-09-12 虚拟仿真环境下双目相机的标定及验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864274.8A CN110619665A (zh) 2019-09-12 2019-09-12 虚拟仿真环境下双目相机的标定及验证方法

Publications (1)

Publication Number Publication Date
CN110619665A true CN110619665A (zh) 2019-12-27

Family

ID=68923225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864274.8A Pending CN110619665A (zh) 2019-09-12 2019-09-12 虚拟仿真环境下双目相机的标定及验证方法

Country Status (1)

Country Link
CN (1) CN110619665A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802119A (zh) * 2021-01-13 2021-05-14 北京中科慧眼科技有限公司 基于双目相机的出厂测距检验方法、系统和设备
WO2022252873A1 (zh) * 2021-05-31 2022-12-08 北京字跳网络技术有限公司 相机内参的标定验证方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050042A1 (en) * 2006-05-31 2008-02-28 Zhang Guangjun Hardware-in-the-loop simulation system and method for computer vision
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN108830905A (zh) * 2018-05-22 2018-11-16 苏州敏行医学信息技术有限公司 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080050042A1 (en) * 2006-05-31 2008-02-28 Zhang Guangjun Hardware-in-the-loop simulation system and method for computer vision
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN108830905A (zh) * 2018-05-22 2018-11-16 苏州敏行医学信息技术有限公司 仿真医疗器械的双目标定定位方法及虚拟仿真医教系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802119A (zh) * 2021-01-13 2021-05-14 北京中科慧眼科技有限公司 基于双目相机的出厂测距检验方法、系统和设备
WO2022252873A1 (zh) * 2021-05-31 2022-12-08 北京字跳网络技术有限公司 相机内参的标定验证方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN102278946B (zh) 摄像装置以及长度测量方法
TWI607412B (zh) 多維度尺寸量測系統及其方法
Pandey et al. Extrinsic calibration of a 3d laser scanner and an omnidirectional camera
US9210404B2 (en) Calibration and registration of camera arrays using a single circular grid optical target
CN109801374B (zh) 一种通过多角度图像集重构三维模型的方法、介质及系统
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN111127540B (zh) 一种三维虚拟空间自动测距方法及系统
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
CN109341537A (zh) 基于双目视觉的尺寸测量方法和装置
CN112232279A (zh) 一种人员间距检测方法和装置
CN110232707A (zh) 一种测距方法及装置
CN110619665A (zh) 虚拟仿真环境下双目相机的标定及验证方法
Schreve How accurate can a stereovision measurement be?
CN112102387A (zh) 一种基于深度相机深度估计性能的测试方法与测试系统
JP7100199B2 (ja) カメラを較正するための構成及び該構成の計測
CN114494388A (zh) 一种大视场环境下图像三维重建方法、装置、设备及介质
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
Kassebaum et al. 3-D target-based distributed smart camera network localization
JP6688518B1 (ja) 三次元空間における座標軸決定方法並びに面特定方法
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
CN109816628A (zh) 人脸评价方法及相关产品
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
Sebar et al. A trustable 3D photogrammetry approach for cultural heritage
KR101189167B1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
CN115471566A (zh) 一种双目标定方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191227