CN115345948A - 相机标定方法、装置、电子设备及计算机可读存储介质 - Google Patents

相机标定方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115345948A
CN115345948A CN202211051892.9A CN202211051892A CN115345948A CN 115345948 A CN115345948 A CN 115345948A CN 202211051892 A CN202211051892 A CN 202211051892A CN 115345948 A CN115345948 A CN 115345948A
Authority
CN
China
Prior art keywords
camera
calibration
sample image
external reference
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211051892.9A
Other languages
English (en)
Inventor
李耀萍
朱磊
贾双成
单国航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202211051892.9A priority Critical patent/CN115345948A/zh
Publication of CN115345948A publication Critical patent/CN115345948A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种相机标定方法、装置、电子设备及计算机可读存储介质。该方法包括：获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。

Description

相机标定方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种相机标定方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术和卫星定位技术的快速发展，车辆的导航技术也日益进步，自动驾驶技术也在日益成熟。
无论是车辆导航技术还是车辆自动驾驶技术，都需要采集车载相机对行驶道路进行图像拍摄，并基于拍摄得到的图像，识别出道路上车道线的分布情况。而相机在使用之前，都需要进行标定，现有技术中，对相机进行标定时，一般都是采用人工标注的方式，存在人工标注误差，可能存在标注图片-标定计算-结果不好-重新标定的情况，耗时耗力，并且可能导致标定结果不准确，影响导航和自动驾驶的准确性。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种相机标定方法、装置、电子设备及计算机可读存储介质，能够采用机器学习模型，对相机进行自动标定，无需人工标注，提升相机标定的效率和准确性。
本申请第一方面提供一种相机标定方法，该方法包括：
获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；
将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
作为本申请一种可能的实施方式，在该实施方式中，所述预设的相机外参标定模型通过如下方法训练：
获取样本图像集，所述样本图像集中的每张样本图像多包含至少三条车道线；
采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型；
当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
作为本申请一种可能的实施方式，在该实施方式中，所述采用所述样本图像集，对预先设置的相机外参标定模型进行训练，包括：
将所述样本图像输入所述预先设置的相机外参标定模型；
将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
作为本申请一种可能的实施方式，在该实施方式中，所述误差函数为投影线段所在的直线的平行程度，所述当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练，包括：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
本申请第二方面提供一种相机标定装置，该装置包括：
图像获取模块，获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；；
外参确定模块，用于将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
作为本申请一种可能的实施方式，在该实施方式中，所述外参确定模块还包括相机外参标定模型训练模块，所述相机外参标定模型训练模块包括：
样本集获取模块，用于获取样本图像集，所述样本图像集中的每张样本图像多包含至少三条车道线；
训练模块，用于采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型；
误差判定模块，用于当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
作为本申请一种可能的实施方式，在该实施方式中，所述训练模块包括：
图像输入单元，用于将所述样本图像输入所述预先设置的相机外参标定模型；
图像处理单元，用于将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
标定单元，用于调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
作为本申请一种可能的实施方式，在该实施方式中，所述误差函数为投影线段所在的直线的平行程度，所述误差判定模块用于：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的相机标定方法的流程示意图；
图2是本申请实施例示出的车道线示意图；
图3是本申请实施例示出的投影线段示意图；
图4是本申请实施例示出的相机外参标定模型的方法流程示意图；
图5是本申请实施例示出的相机外参确定方法的流程示意图；
图6是本申请实施例示出的一种相机标定装置的结构示意图；
图7是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
随着计算机技术和卫星定位技术的快速发展，车辆的导航技术也日益进步，自动驾驶技术也在日益成熟。无论是车辆导航技术还是车辆自动驾驶技术，都需要采集车载相机对行驶道路进行图像拍摄，并基于拍摄得到的图像，识别出道路上车道线的分布情况。而相机在使用之前，都需要进行标定，现有技术中，对相机进行标定时，一般都是采用人工标注的方式，存在人工标注误差，可能存在标注图片-标定计算-结果不好-重新标定的情况，耗时耗力，并且可能导致标定结果不准确，影响导航和自动驾驶的准确性。
针对上述问题，本申请实施例提供一种相机标定方法，能够采用机器学习模型，对相机进行自动标定，无需人工标注，提升相机标定的效率和准确性。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的相机标定方法的流程示意图。
参见图1，本申请实施例示出的相机标定方法包括：
步骤S101，获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线。
在本申请实施例中，标定样本图像用于标定待标定相机的外参，待标定相机是指自动驾驶车辆上用于采集道路图像的相机，可以是单目相机。在本申请实施中，标定样本图像可以是实景道路图像，也可以是通过代码生成的车道线mask图像，其中，当标定样本图像是实景道路图像中，需要对实景道路图像中的车道线进行提取，得到车道线mask图像。可选的，在本申请实施例中，一般采用通过代码生成的车道线mask图像，其中，该车道线mask中至少包含三条车道线，为保证对相机外参标定的准确性，该车道线mask图像中的至少三条车道线是相互平行的直车道线。
作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，如图2所示，标定样本图像中包括三条车道线，其中，在车道线mask图像中，车道线以白色显示，其它区域以黑色显示。可选的，在具体实施过程中，标定样本图像中的车道线数量可以根据实际情况确定，也可以多于三条车道线，对此，本申请不做限制。
步骤S102，将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
在本申请实施例中，预设的相机外参标定模型是一种深度学习的神经网络模型，可以通过学习训练，通过标定样本图像实现待标定相机的自动标定。
在本申请实施例中，相机外参标定模型在通过标定样本图像对待标定相机的外参进行标定时，先设定一个相机外参的值，在保证车道线平行的情况下，通过不断调整外参，求解该外参的最优值。作为本申请一种可能的实施方式，如图3所示，为求解出相机外参的最优值后，基于该最优值，将车道线投影到投影空间，得到三条车道线相互平行的图片。
作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，标定样本图像中提取的车道线上的某个点在相机坐标系中的坐标为(xc,yc,zc),其对应于投影空间中的点的坐标为(xw,yw,zw),在进行坐标转换时，采用公式(1)进行计算：
[xc,yc,zc]＝(R|T)[xw,yw,zw] (1)
其中，R为3*3的旋转矩阵，T为3*1的平移矩阵，则可得公式(2)：
Figure BDA0003823953390000061
其中，R、T为待标定相机的外参。
在本申请实施例中，在采用公式(1)进行计算时，通过不断调整待标定相机的外参，进而调整图像中车道线在投影空间中的投影线段的位置，当每个投影线段所在直线平行时，将对应的待标定相机的外参确定为最佳外参。可选的，可以通过计算每个投影线段所在直线的斜率判断每个投影线段所在的直线是否平行，作为本申请一种可能的实施方式，当所有投影线段所在直线的斜率都在一个预设的斜率范围内时，可判定所有投影线段所在直线平行。
本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。在求解相机外参的最优解时，通过判断车道线在投影空间是否平行的方式，直观准确。
作为本申请一种可能的实施方式，在该实施方式中，如图4所示，所述预设的相机外参标定模型通过如下方法训练：
步骤S401，获取样本图像集，所述样本图像集中的每张样本图像多包含至少三条车道线。
在本申请实施例中，样本图像集是指由样本图像组成的集合，样本图像可以用来训练深度学习神经网络模型，每张样本图像中都至少包含三条车道线，可选的，样本图像可以是通过代码生成的车道线mask图像。在本申请实施例中，样本图像集中样本图像的数量可以是10000张，可选的，具体数量可以根据实际情况确定，理论上样本图像集中样本图像的数量越多，对模型的训练效果越好。
步骤S402，采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型。
在本申请实施例中，采用样本图像对预设设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型，可选的训练过程为将相机外参作为求解值，求解相机外参的最优解。
作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，在对相机外参标定模型进行训练时，相机外参标定模型对标定样本图像的处理过程为将标定样本图像中的车道线投影到预设的投影空间，得到每条车道线对应的投影线段，通过不断调整待标定相机的外参，逐步求解待标定相机外参的最优解，直至至少三条投影线段所在的直线相互平行时，确定对应的相机外参为最优解。可选的，在投影时，可以采用公式(1)中方式，将标定样本图像中的车道线用点表示，并根据每个点的坐标，将其投影到投影空间。
步骤S403，当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
在本申请实施例中，在对相机外参标定模型进行训练时，通过误差函数判断训练结果。误差函数可以是各投影线段所在的直线的平行程度，例如各投影线段所在直线的斜率的差值。可选的，可以设定一个斜率差值阈值，如0.01，当标定样本图像中各车道线对应于投影空间的投影线段所在直线的斜率差值都不超过0.01时，表示其对应的相机外参为最优解。
本申请实施例通过对相机外参标定模型进行训练，训练好的外参标定模型能够全自动的完成待标定相机的外参标定，无需人工标注，避免人工误差，节约人力的同时，提高相机标定的准确度。
作为本申请一种可能的实施方式，在该实施方式中，如图5所示，所述采用所述样本图像集，对预先设置的相机外参标定模型进行训练，包括：
步骤S501，将所述样本图像输入所述预先设置的相机外参标定模型；
步骤S502，将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
步骤S503，调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
在本申请实施例中，在对相机外参标定模型进行训练时，通过误差函数判断训练结果。误差函数可以是各投影线段所在的直线的平行程度，如各投影线段所在直线的斜率的差值。可选的，可以设定一个斜率差值阈值，如0.01，当标定样本图像中各车道线对应于投影空间的投影线段所在直线的斜率差值都不超过0.01时，表示其对应的相机外参为最优解。在对相机外参标定模型进行训练时，通过误差函数判断训练结果。误差函数可以是各投影线段所在的直线的平行程度，如各投影线段所在直线的斜率的差值。可选的，可以设定一个斜率差值阈值，如0.01，当标定样本图像中各车道线对应于投影空间的投影线段所在直线的斜率差值都不超过0.01时，表示其对应的相机外参为最优解。将标定样本图像中的车道线投影到投影空间中时，通过调整相机外参标定模型中相机外参的取值，使得每张标定样本图像中车道线在投影空间中投影得到的投影线段所在的直线平行，其中，重合也可以是平行的一种形式，从而确定待标定相机的最佳外参。作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，在采用公式(1)进行计算时，通过不断调整待标定相机的外参，进而调整每张标定样本图像中车道线在投影空间中的投影线段的位置，当每个投影线段所在直线平行时，将对应的待标定相机的外参确定为最佳外参。可选的，可以通过计算每个投影线段所在直线的斜率判断每个投影线段所在的直线是否平行，作为本申请一种可能的实施方式，当所有投影线段所在直线的斜率都在一个预设的斜率范围内时，可判定所有投影线段所在直线平行。
本申请实施例通过对相机外参标定模型进行训练，得到训练好的相机外参标定模型后，可以实现相机的自动化标定。
作为本申请一种可能的实施方式，在该实施方式中，所述误差函数为投影线段所在的直线的平行程度，所述当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练，包括：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
在本申请实施例中，误差函数可以是各投影线段所在的直线的平行程度，如各投影线段所在直线的斜率的差值。可选的，可以设定一个斜率差值阈值，如0.01，当标定样本图像中各车道线对应于投影空间的投影线段所在直线的斜率差值都不超过0.01时，表示其对应的相机外参为最优解。在对相机外参标定模型进行训练时，通过误差函数判断训练结果。误差函数可以是各投影线段所在的直线的平行程度，如各投影线段所在直线的斜率的差值。可选的，可以设定一个斜率差值阈值，如0.01，当标定样本图像中各车道线对应于投影空间的投影线段所在直线的斜率差值都不超过0.01时，表示其对应的相机外参为最优解。
本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。
与前述应用功能实现方法实施例相对应，本申请还提供了一种相机标定装置、电子设备及相应的实施例。
图6是本申请实施例示出的相机标定装置的结构示意图。
参见图6，本申请实施例示出的相机标定装置包括图像获取模块610和外参确定模块620，其中：
图像获取模块610，用于获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；
外参确定模块620，用于将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
作为本申请一种可能的实施方式，在该实施方式中，所述外参确定模块还包括相机外参标定模型训练模块，所述相机外参标定模型训练模块包括：
样本集获取模块，用于获取样本图像集，所述样本图像集中的每张样本图像多包含至少三条车道线；
训练模块，用于采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型；
误差判定模块，用于当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
作为本申请一种可能的实施方式，在该实施方式中，所述训练模块包括：
图像输入单元，用于将所述样本图像输入所述预先设置的相机外参标定模型；
图像处理单元，用于将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
标定单元，用于调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
作为本申请一种可能的实施方式，在该实施方式中，所述误差函数为投影线段所在的直线的平行程度，所述误差判定模块用于：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
在本申请实施例中，标定样本图像用于标定待标定相机的外参，待标定相机是指自动驾驶车辆上用于采集道路图像的相机，可以是单目相机。在本申请实施中，标定样本图像可以是实景道路图像，也可以是通过代码生成的车道线mask图像，其中，当标定样本图像是实景道路图像中，需要对实景道路图像中的车道线进行提取，得到车道线mask图像。可选的，在本申请实施例中，一般采用通过代码生成的车道线mask图像，其中，该车道线mask中至少包含三条车道线，为保证对相机外参标定的准确性，该车道线mask图像中的至少三条车道线是相互平行的直车道线。
作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，如图2所示，标定样本图像中包括三条车道线，其中，在车道线mask图像中，车道线以白色显示，其它区域以黑色显示。可选的，在具体实施过程中，标定样本图像中的车道线数量可以根据实际情况确定，也可以多域三条车道线，对此，本申请不做限制。
在本申请实施例中，预设的相机外参标定模型是一种深度学习的神经网络模型，可以通过学习训练，通过标定样本图像实现待标定相机的自动标定。
在本申请实施例中，相机外参标定模型在通过标定样本图像对待标定相机的外参进行标定时，先设定一个相机外参的值，在保证车道线平行的情况下，通过不断调整外参，求解该外参的最优值。作为本申请一种可能的实施方式，如图3所示，为求解出相机外参的最优值后，基于该最优值，将车道线投影到投影空间，得到三条车道线相互平行的图片。
作为本申请一种可能的实施方式，为方便说明，以一个具体实施例为例，标定样本图像中提取的车道线上的某个点在相机坐标系中的坐标为(xc,yc,zc),其对应于投影空间中的点的坐标为(xw,yw,zw),在进行坐标转换时，采用公式(1)进行计算：
[xc,yc,zc]＝(R|T)[xw，yw,zw] (1)
其中，R为3*3的旋转矩阵，T为3*1的平移矩阵，则可得公式(2)：
Figure BDA0003823953390000111
其中，RT为待标定相机的外参。
在本申请实施例中，在采用公式(1)进行计算时，通过不断调整待标定相机的外参，进而调整图像中车道线在投影空间中的投影线段的位置，当每个投影线段所在直线平行时，将对应的待标定相机的外参确定为最佳外参。可选的，可以通过计算每个投影线段所在直线的斜率判断每个投影线段所在的直线是否平行，作为本申请一种可能的实施方式，当所有投影线段所在直线的斜率都在一个预设的斜率范围内时，可判定所有投影线段所在直线平行。
本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。在求解相机外参的最优解时，通过判断车道线在投影空间是否平行的方式，直观准确。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
本申请实施例通过将标定样本图像输入至相机外参标定模型中，通过模型自动完成相机标定，无需人工标注，避免人工误差，通过机器学习的方式，提升模型标定的准确性。
图7是本申请实施例示出的电子设备的结构示意图。
参见图7，电子设备70包括存储器710和处理器720。
处理器720可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器710可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器720或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器710可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器710可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器710上存储有可执行代码，当可执行代码被处理器720处理时，可以使处理器720执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种相机标定方法，其特征在于，所述方法包括：
获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；
将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
2.根据权利要求1所述的相机标定方法，其特征在于，所述预设的相机外参标定模型通过如下方法训练：
获取样本图像集，所述样本图像集中的每张样本图像包含至少三条车道线；
采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型；
当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
3.根据权利要求2所述的相机标定方法，其特征在于，所述采用所述样本图像集，对预先设置的相机外参标定模型进行训练，包括：
将所述样本图像输入所述预先设置的相机外参标定模型；
将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
4.根据权利要求3所述的相机标定方法，其特征在于，所述误差函数表示的是投影线段所在的直线的平行程度，所述当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练，包括：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
5.一种相机标定装置，其特征在于，所述装置包括：
图像获取模块，用于获取标定样本图像，所述标定样本图像用于标定待标定相机，所述标定样本图像中至少包括三条车道线；
外参确定模块，用于将所述标定样本图像输入至预设的相机外参标定模型，得到所述待标定相机的外参。
6.根据权利要求5所述的相机标定装置，其特征在于，所述外参确定模块还包括相机外参标定模型训练模块，所述相机外参标定模型训练模块包括：
样本集获取模块，用于获取样本图像集，所述样本图像集中的每张样本图像多包含至少三条车道线；
训练模块，用于采用所述样本图像集，对预先设置的相机外参标定模型进行训练，其中，所述相机外参标定模型为深度学习神经网络模型；
误差判定模块，用于当所述相机外参标定模型的误差函数的值小于预设阈值时，完成所述相机外参标定模型的训练。
7.根据权利要求6所述的相机标定装置，其特征在于，所述训练模块包括：
图像输入单元，用于将所述样本图像输入所述预先设置的相机外参标定模型；
图像处理单元，用于将所述样本图像中的至少三条车道线投影到预设的投影空间，得到至少三条投影线段；
标定单元，用于调节所述相机外参标定模型中的相机外参，以使所述至少三条投影线段所在的直线平行。
8.根据权利要求7所述的相机标定装置，其特征在于，所述误差函数为投影线段所在的直线的平行程度，所述误差判定模块用于：
当所述至少三条投影线段的平行程度满足预设要求时，完成所述相机外参标定模型的训练。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至4中任一项所述的方法。
CN202211051892.9A 2022-08-31 2022-08-31 相机标定方法、装置、电子设备及计算机可读存储介质 Pending CN115345948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211051892.9A CN115345948A (zh) 2022-08-31 2022-08-31 相机标定方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211051892.9A CN115345948A (zh) 2022-08-31 2022-08-31 相机标定方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115345948A true CN115345948A (zh) 2022-11-15

Family

ID=83955349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211051892.9A Pending CN115345948A (zh) 2022-08-31 2022-08-31 相机标定方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115345948A (zh)

Similar Documents

Publication Publication Date Title
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN101295402B (zh) 信息处理设备和信息处理方法
CN110969662B (zh) 鱼眼摄像机内参标定方法、装置、标定装置控制器和系统
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
JP2022514891A (ja) 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN111784784B (zh) Imu内参的标定方法、装置、电子设备仪及存储介质
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN116052117A (zh) 基于位姿的交通要素匹配方法、设备和计算机存储介质
CN115345948A (zh) 相机标定方法、装置、电子设备及计算机可读存储介质
CN113393527A (zh) 车载移动测量系统中的相机外参标定方法、装置和系统
CN115235484A (zh) 高精地图停止线的生成方法及装置
CN115235493A (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
CN116051812A (zh) 目标检测方法、装置及电子设备、存储介质
CN114119963A (zh) 一种高精地图路牌的生成方法及装置
CN115311370A (zh) 相机外参标定、评价方法、装置、电子设备及存储介质
CN115795070B (zh) 检测地图过期路牌的方法、装置、电子设备和存储介质
CN114332130A (zh) 高精图像的单目相机采集方法及装置
CN113408509B (zh) 用于自动驾驶的标识牌识别方法及装置
CN114332131A (zh) 用于调整单目相机放置角度的方法和装置
CN115375580A (zh) 样本图像增强方法、装置、电子设备及计算机可读存储介质
CN113763483B (zh) 行车记录仪俯仰角标定方法及装置
CN116089560B (zh) 轨迹点赋值方法、装置、设备及存储介质
CN114565682A (zh) 相机的外参自动标定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination