CN113077524A - 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 - Google Patents
一种双目鱼眼相机自动标定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113077524A CN113077524A CN202110437039.XA CN202110437039A CN113077524A CN 113077524 A CN113077524 A CN 113077524A CN 202110437039 A CN202110437039 A CN 202110437039A CN 113077524 A CN113077524 A CN 113077524A
- Authority
- CN
- China
- Prior art keywords
- frame image
- reference frame
- current frame
- camera
- fisheye camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 235000005121 Sorbus torminalis Nutrition 0.000 claims description 6
- 244000152100 Sorbus torminalis Species 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种鱼眼相机自动标定方法、装置、设备及存储介质，属于相机标定技术领域，所述方法包括：S1，接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；S2，分别对当前帧图像和参考帧图像进行角点检测，提取当前帧图像和参考帧图像中的特征点；S3，对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对；S4，将特征点匹配对从当前帧图像投影至参考帧图像中，并计算特征点匹配对在参考帧图像中的距离；S5，根据特征点匹配对在参考帧图像中的距离生成代价函数，并通过代价函数优化相机内外参数。本发明通过构建特征点匹配对和代价函数，以优化相机内外参数，提高整体自动标定效率。
Description
技术领域
本发明涉及相机标定技术领域，特别涉及一种双目鱼眼相机自动标定方法、装置、设备及存储介质。
背景技术
在机器视觉应用中，为了确定物体的三维几何位置与图像中对应点之间的位置，必须建立相机成像的几何模型，而几何模型的参数也被称为相机参数。通过实验和计算得出这一参数的过程称为相机标定。
近年来，随着计算机视觉技术的快速发展和移动硬件处理能力的不断提升，鱼眼相机由于其超大广角的优点在相机市场中得到广泛应用。但由于较大的视角导致相机标定精度出现降低，对相机视觉应用产生直接的影响。现有的生产线运用的自动标定方法主要为基于棋盘格检测和基于直线检测的自动标定方法。其中，基于棋盘格检测的自动标定方法由于存在冗余棋盘格角点，会给角点检测算法带来干扰，存在角点误检、少检和棋盘生成错误等问题等；基于直线检测的方案需要检测出一定数量的不共线直线，且优化复杂度高，相对耗时较大，同样不适合生产线标定等实时性要求高的场景。
因此，如何实现对双目鱼眼相机进行自动标定，以满足生产线中双目鱼眼相机自动标定的高精度和高实时性要求，成为生产双目鱼眼相机中亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明提供的一种双目鱼眼相机自动标定方法，通过建立匹配对和单位球坐标系，降低重投影误差，优化相机参数，从而满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
本发明实施例提供一种双目鱼眼相机自动标定方法，采用了如下所述的技术方案：
一种双目鱼眼相机自动标定方法，方法包括：
S1，接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
S2，分别对当前帧图像和参考帧图像进行角点检测，提取当前帧图像和参考帧图像中的特征点；
S3，对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对；
S4，将特征点匹配对从当前帧图像投影至参考帧图像中，并计算特征点匹配对在参考帧图像中的距离；
S5，根据特征点匹配对在参考帧图像中的距离生成代价函数，并通过代价函数优化双目鱼眼相机内外参数。
进一步地，步骤S2中的标定物为多个分布均匀的黑白棋盘格，且多个黑白棋盘格呈弧形分布。
进一步地，双目鱼眼相机包括第一鱼眼镜头和第二鱼眼镜头，第一鱼眼镜头和第二鱼眼镜头相邻且背向设置，步骤S1接收所述双目鱼眼相机上传的所述标定物的当前帧图像和参考帧图像，具体包括：
控制第一鱼眼镜头对标定物进行拍摄，得到标定物的当前帧图像；
控制第二鱼眼镜头对标定物进行拍摄，得到标定物的参考帧图像，其中，当前帧图像和参考帧图像的视场角为200度的棋盘格图像，当前帧图像和参考帧图像的视场角重合度为20度；
接收双目鱼眼相机上传的当前帧图像和所述参考帧图像。
进一步地，在步骤S3对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对之前，方法还包括：
分别对当前帧图像和参考帧图像进行光学缺陷检测，以去除当前帧图像和参考帧图像中的光学缺陷。
进一步地，步骤S3对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对，具体包括：
分别对当前帧图像和参考帧图像的特征点进行方位排序；
根据当前帧图像和参考帧图像的特征点方位排序结果进行方位排序匹配，得到当前帧图像和参考帧图像的特征点匹配对。
进一步地，步骤S4将特征点匹配对从当前帧图像投影至参考帧图像中，具体包括：
基于相机内参数将特征点匹配对中处于当前帧图像上的特征点投影到相机坐标系中；
基于相机外参数将投影到相机坐标系中的特征点的坐标进行坐标旋转；
基于相机内参数将坐标旋转后的特征点的坐标投影到参考帧图像中。
进一步地，步骤S5中的代价函数F具体为：
其中，ui cur为当前帧第i点投影在参考帧的横坐标，vi cur为当前帧第i点投影在参考帧的纵坐标，ui ref为参考帧帧第i’点在参考帧的横坐标，vi ref为参考帧帧i’点在参考帧的纵坐标。
本发明实施例还提供一种双目鱼眼相机自动标定装置，采用了如下所述的技术方案：
一种双目鱼眼相机自动标定装置，装置包括：
拍摄模块，用于接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
角点检测模块，用于分别对当前帧图像和参考帧图像进行角点检测，提取当前帧图像和参考帧图像中的特征点；
匹配模块，用于对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对；
投影模块，用于将特征点匹配对从当前帧图像投影至参考帧图像中，并计算特征点匹配对在参考帧图像中的距离；
优化模块，用于根据特征点匹配对在参考帧图像中的距离生成代价函数，并通过代价函数优化双目鱼眼相机内外参数。
本发明实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现上述的双目鱼眼相机自动标定方法的步骤。
本发明实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述的双目鱼眼相机自动标定方法的步骤。
与现有技术相比，本发明实施例主要有以下有益效果：
本发明提供的一种鱼眼相机自动标定方法、装置、设备及存储介质，属于相机标定技术领域，本发明通过通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
附图说明
为了更清楚地说明本发明中的方案，下面将对本发明实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明可以应用于其中的示例性系统架构图；
图2示出了根据本发明的双目鱼眼相机自动标定方法的一个实施例的流程图；
图3示出了根据本发明的双目鱼眼相机自动标定装置的一个实施例的结构示意图；
图4示出了根据本发明的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同；本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明；本发明的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本发明的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本发明方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本发明实施例所提供的双目鱼眼相机自动标定方法一般由服务器执行，相应地，双目鱼眼相机自动标定装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本发明的双目鱼眼相机自动标定的方法的一个实施例的流程图。所述的双目鱼眼相机自动标定方法，包括以下步骤：
S1，接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
S2，分别对当前帧图像和参考帧图像进行角点检测，提取当前帧图像和参考帧图像中的特征点；
S3，对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对；
S4，将特征点匹配对从当前帧图像投影至参考帧图像中，并计算特征点匹配对在参考帧图像中的距离；
S5，根据特征点匹配对在参考帧图像中的距离生成代价函数，并通过代价函数优化双目鱼眼相机内外参数。
其中，双目鱼眼相机包括两个鱼眼镜头，两个鱼眼镜头背向设置，拍摄角度为一前一后，在接收到用户的相机标定指令后，机械臂自动抓取双目鱼眼相机，并将双目鱼眼相机传送至圆形标定物圆心位置。进一步地，标定物为多个分布均匀的黑白棋盘格，且多个黑白棋盘格呈弧形分布。
在本实施例中，双目鱼眼相机自动标定方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收到用户的相机标定指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在本发明一种具体的实施例中，双目鱼眼相机的鱼眼镜头为视场角大于180度的鱼眼镜头，在进行相机标定时，通过运用机械臂将双目鱼眼相机放在标定物的指定位置，两个前后相邻的鱼眼镜头各拍摄一张200度视场角棋盘格照片，其中两张棋盘格照片重合20度视场角，且要求标定物处于重合区域内。标定物为分布均匀的多个黑白棋盘格图像，呈弧形状排布，且满足鱼眼镜头拍摄重合20度视场角内均有特征点的要求。两张棋盘格照片中，其中一张照片作为当前帧照片，另一张作为参考帧照片。
通过对两张黑白棋盘格照片进行多次角点循环检测，获取两张黑白棋盘格照片特征点，其中，对两张黑白棋盘格照片进行四边形检测，然后按对角两个四边形相对的两个点，取其连线的中间点作为角点，该角点即为对角两个四边形的特征点，根据上述方法获得两张黑白棋盘格照片中的所有特征点。然后对两张黑白棋盘格照片进行光学缺陷检测，以便进行光学干扰排除，排除反光的棋盘格。最后根据当前帧照片与参考帧照片各所提取的特征点进行方位排序匹配，得到当前帧照片和参考帧照片的特征点匹配对。
基于相机内外参数将特征点匹配对中处于当前帧图像上的特征点投影到参考帧照片上，在参考帧照片的坐标系中，计算特征点匹配对之间的距离，通过特征点匹配对之间的距离构建代价函数F，通过代价函数F对双目鱼眼相机内外参数进行优化。
本发明提供的一种鱼眼相机自动标定方法，属于相机标定技术领域，所述方法通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
进一步地，双目鱼眼相机包括第一鱼眼镜头和第二鱼眼镜头，第一鱼眼镜头和第二鱼眼镜头相邻且背向设置，步骤S1接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像，具体包括：
控制第一鱼眼镜头对标定物进行拍摄，得到标定物的当前帧图像；
控制第二鱼眼镜头对标定物进行拍摄，得到标定物的参考帧图像，其中，当前帧图像和参考帧图像的视场角为200度的棋盘格图像，当前帧图像和参考帧图像的视场角重合度为20度；
接收所述双目鱼眼相机上传的所述当前帧图像和所述参考帧图像。
其中，双目鱼眼相机的鱼眼镜头为视场角大于180度的鱼眼镜头，双目鱼眼相机包括第一鱼眼镜头和第二鱼眼镜头，第一鱼眼镜头和第二鱼眼镜头相邻且背向设置，拍摄角度为一前一后，在进行相机标定时，两个前后相邻的鱼眼镜头各拍摄一张200度视场角棋盘格照片，其中两张棋盘格照片重合20度视场角，且要求标定物处于重合区域内。通过第一鱼眼镜头对标定物进行拍摄，得到标定物的当前帧图像，通过第二鱼眼镜头对标定物进行拍摄，得到标定物的参考帧图像。
通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。
进一步地，步骤S2分别对当前帧图像和参考帧图像进行角点循环检测。
具体的，特征点是通过多次角点循环检测的获得的，角点检测方法如下：首先，采用局部平均自适应阈值化方法对黑白棋盘格照片中图像直方图进行均衡化，再黑白棋盘格照片进行二值化使图像膨胀，然后分离黑白棋盘格照片中各个黑块四边形，接着进行四边形检测，并识别出每个四边形的相邻四边形，并记录每个四边形的相邻四边形数量；按照是否具有四个相邻四边形为原则，对每个四边形进行分类，其中，具有四个相邻四边形的四边形为目标棋盘方格。
通过判断预设的角点数量和目标棋盘方格数量是否相同，来决定是否继续进行角点检测。若预设的角点数量和目标棋盘方格数量不相同，则进行角点循环检测，直至检验目标棋盘方格数量与预设的角点数量相同。每个目标棋盘方格的序号可按邻近关系排序，然后按对角两个四边形相对的两个点，取其连线的中间点作为角点，该角点即为对角两个四边形的特征点，根据上述角点循环检测的方法获得两张黑白棋盘格照片中的所有特征点。
进一步地，在步骤S3对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对之前，方法还包括：
分别对当前帧图像和参考帧图像进行光学缺陷检测，以去除当前帧图像和参考帧图像中的光学缺陷。
具体的，在对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对之前，还需要对当前帧图像和参考帧图像进行光学缺陷检测，进行光学干扰排除，排除反光的棋盘格，本发明通过排除光学干扰，建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率。
进一步地，步骤S3对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对，具体包括：
分别对当前帧图像和参考帧图像的特征点进行方位排序；
根据当前帧图像和参考帧图像的特征点方位排序结果进行方位排序匹配，得到当前帧图像和参考帧图像的特征点匹配对。
其中，在双目鱼眼相机的两个鱼眼镜头拍摄的当前帧照片和参考帧照片中，左右两边棋盘格图像是对应相同的，因此两张图片不存在镜像关系，可以直接根据方位排序进行特征点匹配。具体的，分别对当前帧图像和参考帧图像的特征点进行方位排序，根据当前帧图像和参考帧图像的特征点方位排序结果进行方位排序匹配，得到当前帧图像和参考帧图像的特征点匹配对。通过特征点匹配对能进一步提高标定的准确度，减少角点误差对后续投影过程的影响。
进一步地，步骤S4将特征点匹配对从当前帧图像投影至参考帧图像中，具体包括：
基于相机内参数将特征点匹配对中处于当前帧图像上的特征点投影到相机坐标系中；
基于相机外参数将投影到相机坐标系中的特征点的坐标进行坐标旋转；
基于相机内参数将坐标旋转后的特征点的坐标投影到参考帧图像中。
在当前帧图像的坐标系下，基于相机内参数将特征点匹配对中处于当前帧图像上的特征点投影到相机坐标系中，并通过预设的畸变模型去除图像畸变，其中，当前帧图像的坐标系为二维坐标，相机坐标系为三维坐标系。畸变模型的数学函数及过程：利用精密光学仪器测量镜头视场角内每一度入射角A和相应经过畸变的入射角B，用一个二元9次方方程拟合入射角A和B的数学关系，形成一个数学模型，用于调整相机投影畸变。
在参考帧图像的坐标系下，通过相机外参数将投影到相机坐标系中的特征点的坐标进行旋转，得到特征点的新的相机坐标，然后基于相机内参数将特征点的新的相机坐标投影到参考帧图像中，得到投影到参考帧图像的特征点的坐标，通过预设的畸变模型去除图像畸变。最后，在参考帧照片的坐标系中，计算投影到参考帧照片的特征点和初始存在于参考帧照片的特征点之间的距离，通过计算的特征点的距离构建代价函数F，通过代价函数F对双目鱼眼相机内外参数进行优化，其中，通过代价函数计算得出特征点匹配对的误差距离，叠加的误差距离后，利用最小二乘法，优化调整相机的内外参数。
通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。
进一步地，步骤S5中的代价函数F具体为：
其中，ui cur为当前帧第i点投影在参考帧的横坐标，vi cur为当前帧第i点投影在参考帧的纵坐标，ui ref为参考帧帧第i’点在参考帧的横坐标，vi ref为参考帧帧i’点在参考帧的纵坐标。
本发明提供的一种鱼眼相机自动标定方法，属于相机标定技术领域，所述方法通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本发明提供了一种双目鱼眼相机自动标定装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的双目鱼眼相机自动标定装置包括：
拍摄模块101，用于接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
角点检测模块102，用于分别对当前帧图像和参考帧图像进行角点检测，提取当前帧图像和参考帧图像中的特征点；
匹配模块103，用于对当前帧图像和参考帧图像中的特征点进行排序，并建立当前帧图像和参考帧图像的特征点匹配对；
投影模块104，用于将特征点匹配对从当前帧图像投影至参考帧图像中，并计算特征点匹配对在参考帧图像中的距离；
优化模块105，用于根据特征点匹配对在参考帧图像中的距离生成代价函数，并通过代价函数优化双目鱼眼相机内外参数。
进一步地，标定物为多个分布均匀的黑白棋盘格，且多个黑白棋盘格呈弧形分布。
进一步地，双目鱼眼相机包括第一鱼眼镜头和第二鱼眼镜头，第一鱼眼镜头和第二鱼眼镜头相邻且背向设置，拍摄模块101具体包括：
第一控制单元，用于控制第一鱼眼镜头对标定物进行拍摄，得到标定物的当前帧图像；
第二控制单元，用于控制第二鱼眼镜头对标定物进行拍摄，得到标定物的参考帧图像，其中，当前帧图像和参考帧图像的视场角为200度的棋盘格图像，当前帧图像和参考帧图像的视场角重合度为20度；
接收单元，用于接收所述双目鱼眼相机上传的所述当前帧图像和所述参考帧图像。
进一步地，该双目鱼眼相机自动标定装置还包括：
缺陷检测模块，用于分别对当前帧图像和参考帧图像进行光学缺陷检测，以去除当前帧图像和参考帧图像中的光学缺陷。
进一步地，匹配模块103具体包括：
方位排序单元，用于分别对当前帧图像和参考帧图像的特征点进行方位排序；
匹配单元，用于根据当前帧图像和参考帧图像的特征点方位排序结果进行方位排序匹配，得到当前帧图像和参考帧图像的特征点匹配对。
进一步地，投影模块104具体包括：
第一投影单元，用于基于相机内参数将特征点匹配对中处于当前帧图像上的特征点投影到相机坐标系中；
坐标旋转单元，用于基于相机外参数将投影到相机坐标系中的特征点的坐标进行坐标旋转；
第二投影单元，用于基于相机内参数将坐标旋转后的特征点的坐标投影到参考帧图像中。
进一步地，代价函数F具体为：
其中，ui cur为当前帧第i点投影在参考帧的横坐标，vi cur为当前帧第i点投影在参考帧的纵坐标，ui ref为参考帧帧第i’点在参考帧的横坐标，vi ref为参考帧帧i’点在参考帧的纵坐标。
本发明提供的一种鱼眼相机自动标定装置，属于相机标定技术领域，所述装置通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如双目鱼眼相机自动标定方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述双目鱼眼相机自动标定方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本发明提供的一种设备，属于相机标定技术领域，本发明通过通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
本发明还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的双目鱼眼相机自动标定方法的步骤。
本发明提供的一种存储介质，属于相机标定技术领域，本发明通过通过利用均匀分布的多个棋盘格图像以及鱼眼相机拍摄图像的特点，通过建立特征点匹配对，优化标定步骤，降低重投影误差，并利用生成代价函数，优化相机内外参数，提高整体自动标定效率，有效解决棋盘格检测自动标定法出现的角点误检、少检和棋盘生成错误等问题对后续标定的影响，提高相机标定的精确度。相较于现有技术，本发明技术方案全程自动化，操作简单，优化时间短，且精度较高，可满足生产线中鱼眼相机自动标定的高精度和高实时性要求。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，附图中给出了本发明的较佳实施例，但并不限制本发明的专利范围。本发明可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。
Claims (10)
1.一种双目鱼眼相机自动标定方法，其特征在于，所述方法包括：
S1，接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
S2，分别对所述当前帧图像和所述参考帧图像进行角点检测，提取所述当前帧图像和所述参考帧图像中的特征点；
S3，对所述当前帧图像和所述参考帧图像中的特征点进行排序，并建立所述当前帧图像和所述参考帧图像的特征点匹配对；
S4，将所述特征点匹配对从当前帧图像投影至参考帧图像中，并计算所述特征点匹配对在所述参考帧图像中的距离；
S5，根据所述特征点匹配对在参考帧图像中的距离生成代价函数，并通过所述代价函数优化所述双目鱼眼相机内外参数。
2.如权利要求1所述的双目鱼眼相机自动标定方法，其特征在于，所述步骤S1中的标定物为多个分布均匀的黑白棋盘格，且所述多个黑白棋盘格呈弧形分布。
3.如权利要求2所述的双目鱼眼相机自动标定方法，其特征在于，所述双目鱼眼相机包括第一鱼眼镜头和第二鱼眼镜头，所述第一鱼眼镜头和所述第二鱼眼镜头相邻且背向设置，所述步骤S1接收所述双目鱼眼相机上传的所述标定物的当前帧图像和参考帧图像，具体包括：
控制所述第一鱼眼镜头对所述标定物进行拍摄，得到所述标定物的当前帧图像；
控制所述第二鱼眼镜头对所述标定物进行拍摄，得到所述标定物的参考帧图像，其中，所述当前帧图像和所述参考帧图像的视场角为200度的棋盘格图像，所述当前帧图像和所述参考帧图像的视场角重合度为20度；
接收所述双目鱼眼相机上传的所述当前帧图像和所述参考帧图像。
4.如权利要求1所述的双目鱼眼相机自动标定方法，其特征在于，在所述步骤S3对所述当前帧图像和所述参考帧图像中的特征点进行排序，并建立所述当前帧图像和所述参考帧图像的特征点匹配对之前，所述方法还包括：
分别对所述当前帧图像和所述参考帧图像进行光学缺陷检测，以去除所述当前帧图像和所述参考帧图像中的光学缺陷。
5.如权利要求1所述的双目鱼眼相机自动标定方法，其特征在于，所述步骤S3对所述当前帧图像和所述参考帧图像中的特征点进行排序，并建立所述当前帧图像和所述参考帧图像的特征点匹配对，具体包括：
分别对所述当前帧图像和所述参考帧图像的特征点进行方位排序；
根据所述当前帧图像和所述参考帧图像的特征点方位排序结果进行方位排序匹配，得到所述当前帧图像和所述参考帧图像的特征点匹配对。
6.如权利要求1所述的双目鱼眼相机自动标定方法，其特征在于，所述步骤S4将所述特征点匹配对从当前帧图像投影至参考帧图像中，具体包括：
基于相机内参数将所述特征点匹配对中处于所述当前帧图像上的特征点投影到相机坐标系中；
基于相机外参数将投影到所述相机坐标系中的特征点的坐标进行坐标旋转；
基于相机内参数将坐标旋转后的特征点的坐标投影到所述参考帧图像中。
7.如权利要求1所述的双目鱼眼相机自动标定方法，其特征在于，所述步骤S5中的代价函数F具体为：
其中，ui cur为当前帧第i点投影在参考帧的横坐标，vi cur为当前帧第i点投影在参考帧的纵坐标，ui ref为参考帧帧第i’点在参考帧的横坐标，vi ref为参考帧帧i’点在参考帧的纵坐标。
8.一种双目鱼眼相机自动标定装置，其特征在于，所述装置包括：
拍摄模块，用于接收双目鱼眼相机上传的标定物的当前帧图像和参考帧图像；
角点检测模块，用于分别对所述当前帧图像和所述参考帧图像进行角点检测，提取所述当前帧图像和所述参考帧图像中的特征点；
匹配模块，用于对所述当前帧图像和所述参考帧图像中的特征点进行排序，并建立所述当前帧图像和所述参考帧图像的特征点匹配对；
投影模块，用于将所述特征点匹配对从当前帧图像投影至参考帧图像中，并计算所述特征点匹配对在所述参考帧图像中的距离；
优化模块，用于根据所述特征点匹配对在参考帧图像中的距离生成代价函数，并通过所述代价函数优化所述双目鱼眼相机内外参数。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的双目鱼眼相机自动标定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的双目鱼眼相机自动标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110437039.XA CN113077524B (zh) | 2021-04-22 | 2021-04-22 | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110437039.XA CN113077524B (zh) | 2021-04-22 | 2021-04-22 | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113077524A true CN113077524A (zh) | 2021-07-06 |
| CN113077524B CN113077524B (zh) | 2023-12-08 |
Family
ID=76618405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110437039.XA Active CN113077524B (zh) | 2021-04-22 | 2021-04-22 | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113077524B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379853A (zh) * | 2021-08-13 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 相机内参的获取方法、装置、设备及可读存储介质 |
| CN113628283A (zh) * | 2021-08-10 | 2021-11-09 | 地平线征程(杭州)人工智能科技有限公司 | 摄像装置的参数标定方法、装置、介质以及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN108171759A (zh) * | 2018-01-26 | 2018-06-15 | 上海小蚁科技有限公司 | 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 |
| WO2020063708A1 (zh) * | 2018-09-28 | 2020-04-02 | 杭州海康威视数字技术股份有限公司 | 鱼眼摄像机内参标定方法、装置和系统、标定装置控制器以及标定器具 |
-
2021
- 2021-04-22 CN CN202110437039.XA patent/CN113077524B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN108171759A (zh) * | 2018-01-26 | 2018-06-15 | 上海小蚁科技有限公司 | 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端 |
| WO2020063708A1 (zh) * | 2018-09-28 | 2020-04-02 | 杭州海康威视数字技术股份有限公司 | 鱼眼摄像机内参标定方法、装置和系统、标定装置控制器以及标定器具 |
Non-Patent Citations (1)
| Title |
|---|
| 李剑;曾丹;张之江;朱沁怡;: "基于双目鱼眼相机的柱状投影全景行车记录仪", 电子测量技术, no. 10 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113628283A (zh) * | 2021-08-10 | 2021-11-09 | 地平线征程(杭州)人工智能科技有限公司 | 摄像装置的参数标定方法、装置、介质以及电子设备 |
| CN113628283B (zh) * | 2021-08-10 | 2024-05-17 | 地平线征程(杭州)人工智能科技有限公司 | 摄像装置的参数标定方法、装置、介质以及电子设备 |
| CN113379853A (zh) * | 2021-08-13 | 2021-09-10 | 腾讯科技（深圳）有限公司 | 相机内参的获取方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113077524B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7118244B2 (ja) | グラフィックコード認識方法及び装置、並びに、端末及びプログラム | |
| CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN111754394B (zh) | 鱼眼图像中的对象检测方法、装置及存储介质 | |
| CN113724368B (zh) | 图像采集系统、三维重建方法、装置、设备以及存储介质 | |
| CN113077524B (zh) | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 | |
| CN111325798B (zh) | 相机模型纠正方法、装置、ar实现设备及可读存储介质 | |
| CN113673519B (zh) | 基于文字检测模型的文字识别方法及其相关设备 | |
| CN108492284B (zh) | 用于确定图像的透视形状的方法和装置 | |
| CN115937546A (zh) | 图像匹配、三维图像重建方法、装置、电子设备以及介质 | |
| CN111192312B (zh) | 基于深度学习的深度图像获取方法、装置、设备及介质 | |
| CN109785444A (zh) | 图像中现实平面的识别方法、装置及移动终端 | |
| CN115830604A (zh) | 面单图像矫正方法、装置、电子设备及可读存储介质 | |
| CN115471439A (zh) | 显示面板缺陷的识别方法、装置、电子设备及存储介质 | |
| CN112927163A (zh) | 图像数据增强方法、装置、电子设备及存储介质 | |
| WO2024002064A1 (zh) | 三维模型构建方法、装置、电子设备及存储介质 | |
| CN108776959B (zh) | 图像处理方法、装置及终端设备 | |
| CN112991175B (zh) | 一种基于单ptz摄像头的全景图片生成方法及设备 | |
| CN115250329B (zh) | 摄像头的控制方法、装置、计算机设备及存储介质 | |
| CN114066731A (zh) | 生成全景图的方法、装置、电子设备及存储介质 | |
| CN109444905A (zh) | 一种基于激光的动态物体检测方法、装置及终端设备 | |
| CN113791426A (zh) | 雷达p显界面生成方法、装置、计算机设备及存储介质 | |
| CN113780269A (zh) | 图像识别方法、装置、计算机系统及可读存储介质 | |
| CN114820575B (zh) | 图像验证方法、装置、计算机设备及存储介质 | |
| CN112001247A (zh) | 多目标检测方法、设备及存储装置 | |
| CN113538449A (zh) | 一种图像矫正方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |