CN114387353A - 一种相机标定方法、标定装置及计算机可读存储介质 - Google Patents

一种相机标定方法、标定装置及计算机可读存储介质 Download PDF

Info

Publication number
CN114387353A
CN114387353A CN202210051874.4A CN202210051874A CN114387353A CN 114387353 A CN114387353 A CN 114387353A CN 202210051874 A CN202210051874 A CN 202210051874A CN 114387353 A CN114387353 A CN 114387353A
Authority
CN
China
Prior art keywords
deep learning
learning model
camera
calibration
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210051874.4A
Other languages
English (en)
Inventor
葛嵩松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuzhidao Medical Instrument Co ltd
Original Assignee
Shanghai Shuzhidao Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuzhidao Medical Technology Co ltd filed Critical Shanghai Shuzhidao Medical Technology Co ltd
Priority to CN202210051874.4A priority Critical patent/CN114387353A/zh
Publication of CN114387353A publication Critical patent/CN114387353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种相机标定方法、标定装置及计算机可读存储介质，其中，相机标定方法包括：建立深度学习模型，确定所述深度学习模型的训练目标集及训练样本集，并对所述深度学习模型进行训练；在所述深度学习模型训练完成后，获取第一标定板图像，提取所述第一标定板图像中的特征点的第一像素坐标及与所述第一像素坐标对应的第一标定板坐标；通过完成训练的深度学习模型对所述第一像素坐标与所述第一标定板坐标的映射关系进行分析，输出相机参数。本申请提供的相机标定方法、标定装置及计算机可读存储介质，能够有效提高相机标定的便捷性及准确性。

Description

一种相机标定方法、标定装置及计算机可读存储介质
技术领域
本申请属于机器视觉标定技术领域，尤其涉及一种相机标定方法、标定装置及计算机可读存储介质。
背景技术
随着硬件以及算法的发展，机器视觉在工业领域取得了越来越多的应用。相机标定是这一系列应用的基础，众多学者针对相机标定展开了研究。相机标定，是指通过一系列的特征点，构建标定板坐标系与图像坐标系的关系，求解相机的内部和外部参数。这些参数的准确程度直接决定了最终计算图像深度的准确程度。相比于一般的工业场景，医疗手术机器人对定位精度有着更高的要求，因此，也对相机标定任务提出了挑战。
张正友在2000年发表在《IEEE Transactions on Pattern Analysis andMachine Intelligence》的论文“A flexible new technique for camera calibration”中提出了一种标定方法，取得了工业上的普遍认可。众多学者想进一步优化张正友提出的标定方法，以提高相机标定的准确性。如：P.Zhao于2011年柏林会议上发表的“CameraCalibration Technology Based on Circular Points for Binocular StereovisionSystem”提出圆形标定板替代棋盘格标定板，在标定板上检测圆形并利用圆心来构建标定板坐标系与图像坐标系，该方法能有效提高特征点检测的准确性，并最终提高深度计算的准确率；X.Liu在2018年在《Applied Optics》上发表的“Precise and robust binocularcamera calibration based on multiple constraints”中指出，张正友提出的标定方法仅优化重投影误差，难以得到准确的相机内部和外部参数，X.Liu等人提出通过优化重投影误差，极线误差等组合误差，可以得到更准确的标定参数。
然而，目前针对张正友标定方法的优化，仅在一定程度上取得了改进效果，现有的相机标定方法，依然存在以下问题：1、为了得到更准确的相机参数，需要预先拍摄大量的标定板图像；2、特征点定位存在误差，误差可能是由特征点检测算法带来的误差，也可能是因为光学成像的时候带来的系统误差，这些误差可以统一称之为噪声；3、方程求解陷入局部最优解的问题，从而导致求解的相机参数存在一定误差。如：P.Zhao等人提出的圆形标定板，虽然比棋盘格标定板更容易检测特征点，但是，特征点定位依然会受到噪声的影响；X.Liu等人提出的多误差优化策略，无法确保多误差的组合能得到相机参数的全局最优解。如何提高相机标定的便捷性及准确性，仍然是亟待解决的问题。
发明内容
针对上述技术问题，本申请提供一种相机标定方法、标定装置及计算机可读存储介质，以提高相机标定的便捷性及准确性。
本申请提供了一种相机标定方法，包括：建立深度学习模型，确定所述深度学习模型的训练目标集及训练样本集，并对所述深度学习模型进行训练；在所述深度学习模型训练完成后，获取第一标定板图像，提取所述第一标定板图像中的特征点的第一像素坐标及与所述第一像素坐标对应的第一标定板坐标；通过完成训练的深度学习模型对所述第一像素坐标与所述第一标定板坐标的映射关系进行分析，输出相机参数。
在一实施方式中，所述深度学习模型包括特征点优化模块、相机参数回归模块；在所述深度学习模型训练完成后，所述特征点优化模块用于对所述第一像素坐标进行优化；所述相机参数回归模块用于对所述第一标定板坐标及优化后的第一像素坐标的映射关系进行分析，输出所述相机参数。
在一实施方式中，确定所述深度学习模型的训练目标集，包括：获取不同的第二标定板图像，提取所述不同的第二标定板图像中的特征点的第二像素坐标及与所述第二像素坐标对应的第二标定板坐标；根据所述第二像素坐标与所述第二标定板坐标的多组映射关系，确定所述深度学习模型的训练目标集。
在一实施方式中，所述根据所述第二像素坐标与所述第二标定板坐标的多组映射关系，确定所述深度学习模型的训练目标集的步骤，包括：通过张氏标定法，对所述第二像素坐标与所述第二标定板坐标的多组映射关系进行分析，确定多组相机参数；根据同一参数在所述多组相机参数中的参数值的分布情况，确定对应参数的取值范围；在各参数的所述取值范围内选择预设数量的参数值进行随机组合，生成多组目标相机参数，所述多组目标相机参数构成所述深度学习模型的训练目标集。
在一实施方式中，所述根据同一参数在所述多组相机参数中参数值的分布情况，确定对应参数的取值范围的步骤，包括：获取所述同一参数在所述多组相机参数中的所述参数值的平均值及方差；根据所述参数值的平均值及方差，确定所述取值范围。
在一实施方式中，所述根据所述参数值的平均值及方差，确定所述取值范围的步骤，包括：根据所述参数值的平均值及方差，将所述取值范围确定为：(mean-3*std，mean+3*std)，其中，mean表示所述参数值的平均值；std表示所述参数值的方差。
在一实施方式中，确定所述深度学习模型的训练样本集，包括：获取选定的标定板中的特征点的第三标定板坐标；根据所述第三标定板坐标及所述训练目标集中的多组目标相机参数，结合张氏标定法，确定与所述第三标定板坐标对应的多组第三像素坐标；在所述多组第三像素坐标的基础上增加噪声，得到多组第四像素坐标；将所述多组第四像素坐标组成的集合作为所述深度学习模型的训练样本集；其中，所述噪声包括高斯噪声、椒盐噪声中的至少一项。
在一实施方式中，对所述深度学习模型进行训练，包括：将所述第三标定板坐标及所述第四像素坐标输入所述深度学习模型；通过损失函数对所述深度学习模型进行训练；通过所述深度学习模型输出与所述目标相机参数的误差小于或等于目标误差的相机参数，并对所述深度学习模型的模型参数进行更新。
在一实施方式中，所述通过损失函数对所述深度学习模型进行训练的步骤，包括：
所述损失函数采用以下公式进行计算：
Figure BDA0003474560850000041
在所述训练的过程中，保证所述损失函数的函数值最小；
其中，loss为所述损失函数，para为所述相机参数的真实值，
Figure BDA0003474560850000042
为所述相机参数的估计值，point为所述第四像素坐标的真实值，
Figure BDA0003474560850000043
为所述第四像素坐标的估计值，α为权重因子。
在一实施方式中，在所述深度学习模型的训练过程中，所述深度学习模型中的特征点优化模块用于对所述第四像素坐标进行优化；所述深度学习模型中的相机参数回归模块用于对所述第三标定板坐标及优化后的第四像素坐标的映射关系进行分析，输出与所述目标相机参数的误差小于或等于目标误差的相机参数。
本申请还提供了一种相机标定装置，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述标定方法的步骤。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述标定方法的步骤。
本申请提供的一种相机标定方法、标定装置及计算机可读存储介质，具有以下有益效果：
1、通过真实应用场景下相机参数所有可能的参数值，确定深度学习模型的训练样本集及训练目标集，并通过这些训练数据对深度学习模型进行训练，实现训练完成的深度学习模型在实际应用时能够获得相机参数的全局最优解，提高相机标定的准确性的效果；
2、通过深度学习模型在训练过程中对大量的训练数据进行学习，实现训练完成的深度学习模型在实际应用时仅需少量的标定板图像即可得到准确的相机参数，提高相机标定的便捷性的效果；
3、通过对训练样本添加噪声，并通过带噪声的训练样本对深度训练模型进行训练，实现训练完成的深度学习模型在实际应用时能够排除噪声对相机参数的影响，对噪声更鲁棒，提高相机标定的准确性的效果；
4、通过深度学习模型的特征点优化模块对特征点的像素坐标进行优化，并在损失函数中增加特征点像素坐标的约束条件对特征点优化模块进行训练，实现训练完成的特征点优化模块在实际应用时能够输出更加精确的特征点像素坐标，提高相机标定的准确性的效果；
5、通过深度学习模型的相机参数回归模块直接对相机参数进行回归，不计算重投影或者极线误差，并在损失函数中增加相机参数的约束条件对相机参数回归模块进行训练，实现训练完成的相机参数回归模块在实际应用时能够输出更加准确的相机参数，提高相机标定的准确性的效果。
附图说明
图1是本申请实施例提供的标定板的示意图；
图2是本申请实施例一提供的相机标定方法的流程示意图；
图3是本申请实施例一提供的深度学习模型的结构示意图；
图4是本申请实施例二提供的相机标定方法的具体流程示意图；
图5是本申请实施例三提供的相机标定装置的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请技术方案做进一步的详细阐述。除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1是本申请实施例提供的标定板的示意图。如图1所示，图1(a)表示棋盘格标定板，棋盘格标定板的特征点为黑白格相交的角点；图1(b)表示圆形标定板，圆形标定板的特征点为圆形图案的圆心。可选地，标定板图像中的特征点通过角点检测算法或边缘检测算法提取。
第一实施例
本实施例提供了深度学习模型的训练样本集与训练目标集的确定方法、深度学习模型的训练过程，以及深度学习模型训练完成后，在实际应用中，对相机进行标定的方法。
图2是本申请实施例一提供的相机标定方法的流程示意图。如图2所示，本申请的标定方法可以包括如下步骤：
步骤S101：建立深度学习模型，确定深度学习模型的训练目标集及训练样本集，并对深度学习模型进行训练；
其中，深度学习模型包括特征点优化模块、相机参数回归模块；可选地，深度学习模型采用通用网络结构作为骨干结构，通用网络结构包括全连接、全卷积、或者循环卷积网络，并结合残差网络，批次归一化等技术优化网络结构。
在一实施方式中，步骤S101中确定深度学习模型的训练目标集，包括：
获取不同的第二标定板图像，提取不同的第二标定板图像中的特征点的第二像素坐标及与第二像素坐标对应的第二标定板坐标；其中，不同的第二标定板图像，包括通过相机对同一第二标定板以不同的拍摄角度、不同的相对位置进行拍摄获取的图像。
通过张氏标定法，对第二像素坐标与第二标定板坐标的多组映射关系进行分析，确定多组相机参数；其中，张氏标定法采用的公式如下：
Figure BDA0003474560850000061
其中，(u，v)为标定板图像中特征点的像素坐标，(U，V，W)为与像素坐标对应的标定板坐标，Z为尺度因子；相机参数包括12个参数：像距(f)，一个像素在感光板上的物理长度(dX、dY)，感光板中心在像素坐标系下的像素坐标(u0，v0)，感光板的横边和纵边之间的角度(θ)，相机的旋转矩阵(R)，相机的平移矩阵(T)；其中，相机的旋转矩阵(R)包括3个旋转参数，相机的旋转矩阵(T)包括3个平移参数。
根据同一参数在多组相机参数中的参数值的分布情况，确定对应参数的取值范围；可选地，在一种优选的实施例中，相机各参数的参数值服从正态分布，选用参数值的平均值及方差表征参数值的分布情况；获取同一参数在多组相机参数中的参数值的平均值及方差；根据参数值的平均值及方差，确定对应参数的取值范围；优选地，各参数的取值范围需满足各参数的参数值的正态分布概率大于97％；
可选地，根据参数值的平均值及方差，将对应参数的取值范围确定为：
(mean-3*std，mean+3*std)
其中，mean表示参数值的平均值；std表示参数值的方差。
在各参数的取值范围内选择预设数量的参数值进行随机组合，生成多组目标相机参数，示例性地，相机各参数在其取值范围内均选择100个参数值进行组合，则得到10012组目标相机参数，多组目标相机参数构成深度学习模型的训练目标集。
在一实施方式中，步骤S101中确定深度学习模型的训练样本集，包括：
获取选定的标定板中的特征点的第三标定板坐标；根据第三标定板坐标及多组目标相机参数，结合张氏标定法，确定与第三标定板坐标对应的多组第三像素坐标；在多组第三像素坐标的基础上增加噪声，得到多组第四像素坐标；将多组第四像素坐标组成的集合作为深度学习模型的训练样本集。
其中，选定的标定板可为第一标定板图像对应的标定板、第二标定板图像对应的标定板或其他标定板，第一标定板图像对应的标定板与第二标定板图像对应的标定板可为同一标定板或不同的标定板；噪声包括高斯噪声、椒盐噪声中的至少一项。
具体地，高斯噪声指概率密度函数服从高斯分布的一类噪声，即某个强度的噪声点个数最多，离这个强度越远噪声点个数越少，且这个规律服从高斯分布；椒盐噪声又称为脉冲噪声，是一种随机出现的白点(盐噪声)或者黑点(椒噪声)。
在一实施方式中，步骤S101中对深度学习模型进行训练，包括：
将第三标定板坐标及第四像素坐标输入深度学习模型；通过损失函数对深度学习模型进行训练；通过深度学习模型输出与目标相机参数的误差小于或等于目标误差的相机参数，并对深度学习模型的模型参数进行更新。
步骤S102：在深度学习模型训练完成后，获取第一标定板图像，提取第一标定板图像中的特征点的第一像素坐标及与第一像素坐标对应的第一标定板坐标；
可选地，通过相机对标定板进行拍摄，得到标定板图像；借助opencv函数库提取标定板图像中特征点的像素坐标，另外，标定板中特征点的位置是预先设定的，以标定板中的一个特征点为原点建立标定板坐标系，根据特征点所处的行和列，将标定板图像中的特征点与标定板中的特征点相匹配，确定与标定板图像中特征点的像素坐标对应的标定板坐标。
步骤S103：通过完成训练的深度学习模型对第一像素坐标与第一标定板坐标的映射关系进行分析，输出相机参数。
可选地，深度学习模型的结构如图3所示。在深度学习模型训练完成后，特征点优化模块用于对第一像素坐标A进行优化；相机参数回归模块用于对第一标定板坐标B及优化后的第一像素坐标的映射关系进行分析，输出相机参数C。
以双目相机为例，第一像素坐标A包括左侧相机第一像素坐标A1、右侧相机第一像素坐标A2；目标相机参数包括左侧相机参数C1、右侧相机参数C2。其中，
Figure BDA0003474560850000091
C1＝(fl,dXl,dYl,u0l,v0l,θl,Rl,Tl)，C2＝(fr,dXr,dYr,u0r,v0r,θr,Rr,Tr)；若选择带有8行6列角点的棋盘格作为标定板，则m＝48。
其中，像素坐标为标定板图像中的特征点在像素坐标系下的坐标，像素坐标系为二维坐标系，其坐标原点在标定板图像的左上角，特征点的像素坐标为(m,n)，表示该特征点在横坐标方向离坐标原点m个像素，在纵坐标方向离坐标原点n个像素；
标定板坐标为标定板中的特征点在标定板坐标系下的坐标，标定板坐标系为三维坐标系，其坐标原点在标定板的左上角，特征点的标定板坐标为(m,n,k)，表示该特征点在横坐标方向离坐标原点m毫米，在纵坐标方向离坐标原点n毫米，在垂直于横、纵坐标平面的方向离坐标原点k毫米；
第一标定板图像、第一像素坐标、第一标定板坐标为深度学习模型训练完成后，在实际应用时，为标定相机参数而获取的图像与坐标；第二标定板图像、第二像素坐标、第二标定板坐标为对深度学习模型进行训练前，为确定深度学习模型的训练目标集而获取的图像与坐标；第三像素坐标、第四像素坐标、第三标定板坐标为对深度学习模型进行训练前，为确定深度学习模型的训练样本集而获取的坐标。
本申请实施例一提供的相机标定方法，基于真实应用场景下相机参数所有可能的参数值，确定深度学习模型的训练样本集及训练目标集，并通过这些训练数据对深度学习模型进行训练，使得训练完成的深度学习模型在实际应用时能够获得相机参数的全局最优解，提高了相机标定的准确性；深度学习模型在训练过程中对大量的训练数据进行学习，使得训练完成的深度学习模型在实际应用时仅需少量的标定板图像即可得到准确的相机参数，提高了相机标定的便捷性；对训练样本添加噪声，并通过带噪声的训练样本对深度训练模型进行训练，使得训练完成的深度学习模型在实际应用时能够排除噪声对相机参数的影响，对噪声更鲁棒，提高了相机标定的准确性。
实施例二
本实施例提供了深度学习模型的具体训练过程，与实施例一的区别为特征点优化模块、相机参数回归模块在深度学习模型训练过程中发挥的具体作用，以及损失函数在特征点优化模块及相机参数回归模块训练过程中的约束作用。
图4是本申请实施例二提供的相机标定方法的具体流程示意图。如图4所示，本申请提供的相机标定方法，包括：
步骤S201：获取第三标定板坐标及第四像素坐标；
步骤S202：将第四像素坐标输入至特征点优化模块进行优化；
步骤S203：将第三标定板坐标及优化后的第四像素坐标输入至相机参数回归模块进行映射关系分析，并输出相机参数；
步骤S204：判断输出的相机参数与目标相机参数的误差是否小于或等于目标误差；
若输出的相机参数与目标相机参数的误差大于目标误差，则执行步骤S205：将深度学习模型的模型参数更新为过程参数，并返回执行步骤S202，继续对深度学习模型进行训练；
若输出的相机参数与目标相机参数的误差小于或等于目标误差，则执行步骤S206：将深度学习模型的模型参数更新为最终参数，深度学习模型训练完成。
可选地，过程参数为输出的相机参数与目标相机参数的误差大于目标误差时，确定的模型参数；最终参数为输出的相机参数与目标相机参数的误差小于或等于目标误差时，确定的模型参数。
在深度学习模型的训练过程中，特征点优化模块用于对第四像素坐标进行优化；相机参数回归模块用于对第三标定板坐标及优化后的第四像素坐标的映射关系进行分析，输出与目标相机参数的误差小于或等于目标误差的相机参数。
值得一提的是，在深度学习模型的训练过程中，通过损失函数对深度学习模型进行训练。可选地，损失函数采用以下公式进行计算：
Figure BDA0003474560850000111
在训练过程中，保证损失函数的函数值最小；
其中，loss为损失函数，para为相机参数的真实值，
Figure BDA0003474560850000112
为相机参数的估计值，point为第四像素坐标的真实值，
Figure BDA0003474560850000113
为第四像素坐标的估计值，α为权重因子。
具体地，损失函数的第一部分对相机参数进行优化，第二部分对特征点的像素坐标进行优化，两部分损失由权重α进行综合，可选地，α的取值范围为(0，1)；其中，在对相机参数进行优化时，采用相对误差作为损失函数，以克服相机不同参数之间量纲不一致的问题；在对特征点的像素坐标进行优化时，采用绝对误差作为损失函数。
本实施例的具体实现方法参考实施例一，此处不再赘述。
本申请实施例二提供的相机标定方法，通过深度学习模型的特征点优化模块对特征点的像素坐标进行优化，并在损失函数中增加特征点像素坐标的约束条件对特征点优化模块进行训练，使得训练完成的特征点优化模块在实际应用时能够输出更加精确的特征点像素坐标；通过深度学习模型的相机参数回归模块直接对相机参数进行回归，不计算重投影或者极线误差，并在损失函数中增加相机参数的约束条件对相机参数回归模块进行训练，使得训练完成的相机参数回归模块在实际应用时能够输出更加准确的相机参数，有效地提高了相机标定的准确性。
实施例三
本实施例提供了一种相机标定装置，与实施例一、实施例二的区别为相机标定装置的具体结构，以及通过相机标定装置实现相机标定方法的过程。
图5是本申请实施例三提供的相机标定装置的结构示意图。如图5所示，该实施例的标定装置包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个标定方法实施例中的步骤，例如图2所示的步骤S101至S103。
所述标定装置可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图5仅仅是标定装置的示例，并不构成对标定装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述标定装置还可以包括输入输出设备、网络接入设备、总线等。
所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器111可以是所述标定装置的内部存储单元，例如标定装置的硬盘或内存。所述存储器111也可以是所述标定装置的外部存储设备，例如所述标定装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述标定装置的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述标定装置所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述标定方法的步骤。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种相机标定方法，其特征在于，包括：
建立深度学习模型，确定所述深度学习模型的训练目标集及训练样本集，并对所述深度学习模型进行训练；
在所述深度学习模型训练完成后，获取第一标定板图像，提取所述第一标定板图像中的特征点的第一像素坐标及与所述第一像素坐标对应的第一标定板坐标；
通过完成训练的所述深度学习模型对所述第一像素坐标与所述第一标定板坐标的映射关系进行分析，输出相机参数。
2.如权利要求1所述的标定方法，其特征在于，所述深度学习模型包括特征点优化模块、相机参数回归模块；
所述特征点优化模块用于对所述第一像素坐标进行优化；所述相机参数回归模块用于对所述第一标定板坐标及优化后的所述第一像素坐标的映射关系进行分析，输出所述相机参数。
3.如权利要求1所述的标定方法，其特征在于，确定所述深度学习模型的训练目标集，包括：
获取不同的第二标定板图像，提取所述不同的第二标定板图像中的特征点的第二像素坐标及与所述第二像素坐标对应的第二标定板坐标；
根据所述第二像素坐标与所述第二标定板坐标的多组映射关系，确定所述深度学习模型的所述训练目标集。
4.如权利要求3所述的标定方法，其特征在于，所述根据所述第二像素坐标与所述第二标定板坐标的多组映射关系，确定所述深度学习模型的所述训练目标集的步骤，包括：
通过张氏标定法，对所述第二像素坐标与所述第二标定板坐标的多组映射关系进行分析，确定多组相机参数；
根据同一参数在所述多组相机参数中的参数值的分布情况，确定对应参数的取值范围；
在各参数的所述取值范围内选择预设数量的参数值进行随机组合，生成多组目标相机参数，所述多组目标相机参数构成所述深度学习模型的所述训练目标集。
5.如权利要求4所述的标定方法，其特征在于，所述根据同一参数在所述多组相机参数中参数值的分布情况，确定对应参数的取值范围的步骤，包括：
获取所述同一参数在所述多组相机参数中的所述参数值的平均值及方差；
根据所述参数值的平均值及方差，确定所述取值范围。
6.如权利要求5所述的标定方法，其特征在于，所述根据所述参数值的平均值及方差，确定所述取值范围的步骤，包括：
根据所述参数值的平均值及方差，将所述取值范围确定为：
(mean-3*std，mean+3*std)
其中，mean表示所述参数值的平均值；std表示所述参数值的方差。
7.如权利要求1所述的标定方法，其特征在于，确定所述深度学习模型的训练样本集，包括：
获取选定的标定板中的特征点的第三标定板坐标；
根据所述第三标定板坐标及所述训练目标集中的多组目标相机参数，结合张氏标定法，确定与所述第三标定板坐标对应的多组第三像素坐标；
在所述多组第三像素坐标的基础上增加噪声，得到多组第四像素坐标；
将所述多组第四像素坐标组成的集合作为所述深度学习模型的训练样本集；
其中，所述噪声包括高斯噪声、椒盐噪声中的至少一项。
8.如权利要求7所述的标定方法，其特征在于，对所述深度学习模型进行训练，包括：
将所述第三标定板坐标及所述第四像素坐标输入所述深度学习模型；
通过损失函数对所述深度学习模型进行训练；
通过所述深度学习模型输出与所述目标相机参数的误差小于或等于目标误差的相机参数，并对所述深度学习模型的模型参数进行更新。
9.如权利要求8所述的标定方法，其特征在于，所述通过损失函数对所述深度学习模型进行训练的步骤，包括：
所述损失函数采用以下公式进行计算：
Figure FDA0003474560840000031
在所述训练的过程中，保证所述损失函数的函数值最小；
其中，loss为所述损失函数，para为所述相机参数的真实值，
Figure FDA0003474560840000032
为所述相机参数的估计值，point为所述第四像素坐标的真实值，
Figure FDA0003474560840000033
为所述第四像素坐标的估计值，α为权重因子。
10.如权利要求7所述的标定方法，其特征在于，在所述深度学习模型的训练过程中，所述深度学习模型中的特征点优化模块用于对所述第四像素坐标进行优化；所述深度学习模型中的相机参数回归模块用于对所述第三标定板坐标及优化后的第四像素坐标的映射关系进行分析，输出与所述目标相机参数的误差小于或等于目标误差的相机参数。
11.一种相机标定装置，包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述标定方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被计算机执行时实现如权利要求1-10中任一项所述标定方法的步骤。
CN202210051874.4A 2022-01-17 2022-01-17 一种相机标定方法、标定装置及计算机可读存储介质 Pending CN114387353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210051874.4A CN114387353A (zh) 2022-01-17 2022-01-17 一种相机标定方法、标定装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210051874.4A CN114387353A (zh) 2022-01-17 2022-01-17 一种相机标定方法、标定装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114387353A true CN114387353A (zh) 2022-04-22

Family

ID=81200975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210051874.4A Pending CN114387353A (zh) 2022-01-17 2022-01-17 一种相机标定方法、标定装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114387353A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468708A (zh) * 2023-04-25 2023-07-21 安徽农业大学 基于深度学习的单帧正交条纹标靶图像的特征点检测方法
CN116912320A (zh) * 2023-09-13 2023-10-20 齐鲁空天信息研究院 对象高程坐标的定位方法、装置、电子设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468708A (zh) * 2023-04-25 2023-07-21 安徽农业大学 基于深度学习的单帧正交条纹标靶图像的特征点检测方法
CN116912320A (zh) * 2023-09-13 2023-10-20 齐鲁空天信息研究院 对象高程坐标的定位方法、装置、电子设备及介质
CN116912320B (zh) * 2023-09-13 2023-12-22 齐鲁空天信息研究院 对象高程坐标的定位方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
CN107633536B (zh) 一种基于二维平面模板的相机标定方法及系统
CN110909693B (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
WO2018120038A1 (zh) 一种目标检测的方法及装置
CN112837303A (zh) 一种用于模具监视的缺陷检测方法、装置、设备及介质
CN114387353A (zh) 一种相机标定方法、标定装置及计算机可读存储介质
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
US20190279022A1 (en) Object recognition method and device thereof
CN111105452A (zh) 基于双目视觉的高低分辨率融合立体匹配方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111462246B (zh) 一种结构光测量系统的设备标定方法
CN115147499A (zh) 标定参数确定方法、混合标定板、装置、设备和介质
CN111739071A (zh) 基于初始值的快速迭代配准方法、介质、终端和装置
CN114155285B (zh) 基于灰度直方图的图像配准方法
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
CN110728718A (zh) 改进摄像机标定各参数的方法
CN111383264A (zh) 一种定位方法、装置、终端及计算机存储介质
CN111553969B (zh) 一种基于梯度域的纹理映射方法、介质、终端和装置
CN104573698A (zh) 面向成像测量的图像纹理主方向识别方法
CN112529943B (zh) 一种物体检测方法、物体检测装置及智能设备
CN114648544A (zh) 一种亚像素椭圆提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220531

Address after: 201200 1st floor, building 12, 718 Chuansha Road, Pudong New Area, Shanghai

Applicant after: Shanghai shuzhidao Medical Instrument Co.,Ltd.

Address before: Room 8, No. 1098, Chuansha Road, Pudong New Area, Shanghai 201200

Applicant before: Shanghai shuzhidao Medical Technology Co.,Ltd.