CN114708333A - 自动标定相机外参模型的生成方法及装置 - Google Patents

自动标定相机外参模型的生成方法及装置 Download PDF

Info

Publication number
CN114708333A
CN114708333A CN202210227265.XA CN202210227265A CN114708333A CN 114708333 A CN114708333 A CN 114708333A CN 202210227265 A CN202210227265 A CN 202210227265A CN 114708333 A CN114708333 A CN 114708333A
Authority
CN
China
Prior art keywords
lane line
camera
picture
semantic
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210227265.XA
Other languages
English (en)
Other versions
CN114708333B (zh
Inventor
孟鹏飞
单国航
贾双成
朱磊
潘冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202210227265.XA priority Critical patent/CN114708333B/zh
Priority claimed from CN202210227265.XA external-priority patent/CN114708333B/zh
Publication of CN114708333A publication Critical patent/CN114708333A/zh
Application granted granted Critical
Publication of CN114708333B publication Critical patent/CN114708333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种自动标定相机外参模型的生成方法及装置。获取相机上传的图片；根据图片利用初始神经网络标定生成第一相机外参；对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；对第一相机外参和语义图片进行拟合，得到第一车道线方程组；根据图片采用预置标定法生成第二相机外参；对第二相机外参和语义图片进行拟合，得到第二车道线方程组；比对第一车道线方程组和第二车道线方程组，得到第一损失函数；根据第一损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。由于模型是根据第一损失函数不断更新初始神经网络满足收敛条件所得到的，模型能够对相机外参自动标定，大大提高了标定效率。

Description

自动标定相机外参模型的生成方法及装置
技术领域
本申请涉及相机标定技术领域，尤其涉及一种自动标定相机外参模型的生成方法及装置。
背景技术
相机外参又被称为相机位姿，由旋转矩阵和平移矩阵组成。相机外参标定指的是确定一个旋转矩阵和平移矩阵，用来描述相机坐标系和其他坐标系(比如世界坐标系)的转换关系。在车载视觉的应用领域中，相机外参标定是一个关键的环节，因为标定的准确性决定了车载视觉系统能否有效地定位、测距等涉及到二维和三维交互的功能。
目前在相关技术中，针对相机外参标定的方法多数采用传统计算标定方法，例如张正友标定法，这一方法需要利用标定板在图像平面的成像位置，从而计算出相机的外参。但上述标定方法的标定效率有待商榷，无法高效率地针对不同相机的外参进行标定。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种自动标定相机外参模型的生成方法及装置，使得生成的模型能够自动对相机外参进行标定，大大提高标定效率高。
本申请的第一方面提供了一种自动标定相机外参模型的生成方法，包括：
获取相机上传的图片；
根据所述图片利用初始神经网络标定生成第一相机外参；
对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；
对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组；
根据所述图片采用预置标定法生成第二相机外参；
对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组；
比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数；
根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
优选的，所述比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数后，还包括：
对所述语义图片中的不同车道线进行聚类，计算得到第一车道线距集；
根据所述语义图片在高精地图中的车道线距离，得到第二车道线距集；
将所述第一车道线距集和所述第二车道线距集相加，得到第二损失函数；
所述根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型，包括：
根据所述第一损失函数和第二损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
优选的，所述对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线，包括：
利用全卷积神经网络对所述图片进行语义分割，标识所述图片中的不同车道线，得到语义图片，其中每一所述车道线均包含若干车道线像素坐标系点。
优选的，所述对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组，包括：
获取相机的内参；
根据所述相机的内参和所述第一相机外参将每一所述车道线包含的所述车道线像素坐标点转换成车道线世界坐标系点；
利用最小二乘法将每一所述车道线对应的所述车道线世界坐标系点进行拟合，得到第一车道线方程组。
优选的，所述对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组，包括：
获取相机的内参；
根据所述相机的内参和所述第二相机外参将每一所述车道线包含的所述车道线像素坐标系点转换成车道线世界坐标系点；
利用最小二乘法将每一所述车道线对应的所述车道线世界坐标系点进行拟合，得到第二车道线方程组。
优选的，所述对所述语义图片中的不同车道线进行聚类，计算得到第一车道线距集，包括：
对所述语义图片中不同所述车道线包含的若干所述车道线像素坐标系点进行聚类，得到不同所述车道线对应的车道线像素坐标系中点，计算两两所述车道线对应的所述车道线像素坐标系中点间的距离，得到第一车道线距集。
优选的，所述根据所述第一损失函数和所述第二损失函数更新所述初始神经网络，包括：
将所述第一损失函数对应的损失值与所述第二损失函数对应的损失值相加得到目标损失值，根据所述目标损失值更新所述初始神经网络。
本申请的第二方面提供了一种自动标定相机外参模型的生成装置，包括：
获取模块，用于获取相机上传的图片；
第一外参生成模块，用于根据所述图片利用初始神经网络标定生成第一相机外参；
语义分割模块，用于对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；
第一拟合模块，用于对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组；
第二外参生成模块，用于根据所述图片采用预置标定法生成第二相机外参；
第二拟合模块，用于对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组；
第一比对模块，用于比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数；
生成模块，用于根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
本申请的第三方面提供了一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的自动标定相机外参模型的生成方法。
本申请的第三方面提供了一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的自动标定相机外参模型的生成方法。
本申请提供的技术方案可以包括以下有益效果：
本申请的技术方案，获取相机上传的图片；根据图片利用初始神经网络标定生成第一相机外参；对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；对第一相机外参和语义图片进行拟合，得到第一车道线方程组；根据图片采用预置标定法生成第二相机外参；对第二相机外参和语义图片进行拟合，得到第二车道线方程组；比对第一车道线方程组和第二车道线方程组，得到第一损失函数；根据第一损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。
通过上述技术方案，由于模型是根据第一损失函数不断更新初始神经网络，以使初始神经网络满足收敛条件所得到的。使得后期能够使用模型对相机外参的自动标定，无需采用传统计算标定方法来完成对相机外参的标定，大大提高了标定效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的自动标定相机外参模型的生成方法的流程示意图；
图2是本申请另一实施例示出的自动标定相机外参模型的生成方法的流程示意图；
图3是本申请实施例示出的自动标定相机外参模型的生成装置的结构示意图；
图4是本申请另一实施例示出的自动标定相机外参模型的生成装置的结构示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
目前在相关技术中，针对相机外参标定的方法多数采用传统计算标定方法，这一方法需要利用标定板在图像平面的成像位置，从而计算出相机的外参。但上述标定方法的标定效率有待商榷，无法高效率地针对不同相机的外参进行标定。
因此，为了解决上述技术问题，本申请提供了一种自动标定相机外参模型的生成方法及装置，使得生成的模型能够自动对相机外参进行标定，大大提高标定效率高。
图1示出了本申请实施例中的一种自动标定相机外参模型的生成方法的流程示意图。
请参阅图1，一种自动标定相机外参模型的生成方法，包括如下步骤：
步骤S111、获取相机上传的图片。
需要说明的是，图片来源于相机上传的视频流数据，例如，在相机上传的视频流数据中，选取某帧图片作为相机上传的图片。相机指代的是具备录制视频功能的设备，例如相机可以是车载相机；又如相机也可以是手机相机。
步骤S112、根据图片利用初始神经网络标定生成第一相机外参。
需要说明的是，根据图片利用初始神经网络对图片进行标定，生成第一相机外参。初始神经网络为卷积神经网络，其能够对相机外参进行初步标定，后续步骤将会对初始神经网络进行不断更新调整，让初始神经网络满足收敛条件，生成出一个能够准确且快速自动标定相机外参的标定模型。
步骤S113、对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线。
需要说明的是，对图片进行语义分割，将图片输入至全卷积神经网络(FullyConvolution Network，FCN)，利用全卷积神经网络对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线。语义分割的过程是标识出图片中的不同车道线，得到语义图片。语义图片中的不同车道线均是由若干车道线像素坐标系点组成。
步骤S114、对第一相机外参和语义图片进行拟合，得到第一车道线方程组。
需要说明的是，由于相机内参在相机出厂后是恒定不变的，因此，通过获取相机内参，根据相机内参和第一相机外参将每一车道线包含的车道线像素坐标系点转换成车道线世界坐标系点，车道线像素坐标系点即在像素坐标系下的坐标点，车道线世界坐标系点即在世界坐标系的坐标点(世界坐标系也称为地理坐标系)。对应转换完成后利用最小二乘法将每一车道线对应的车道线世界坐标系点进行拟合，得到第一车道线方程组。
第一车道线方程组可以采用如下公式进行表示：
a1xi 3+b1xi 2+c1xi+d1＝yi (1)
其中，a1、b1、c1、d1为通过最小二乘法计算出来的系数，(xi，yi)为对应的车道线世界坐标系点。
步骤S115、根据图片采用预置标定法生成第二相机外参。
需要说明的是，第一相机外参是利用全卷积网络生成的，而第二相机外参则是采用预置标定法生成的。预置标定法在本申请中不作具体限定。
步骤S116、对第二相机外参和语义图片进行拟合，得到第二车道线方程组。
需要说明的是，对第二相机外参和语义图片进行拟合，拟合的原理与对第一相机外参和语义图片进行拟合的原理相同。同样是根据相机内参和第二相机外参将每一车道线包含的车道线像素坐标系点转换成车道线世界坐标系点。对应转换完成后利用最小二乘法将每一车道线对应的车道线世界坐标系点进行拟合，得到第二车道线方程组。
第二车道线方程组可以采用如下公式进行表示：
a2xi 3+b2xi 2+c2xi+d2＝yi (2)
其中，a2、b2、c2、d2为通过最小二乘法计算出来的系数，(xi，yi)为对应的车道线世界坐标系点。
步骤S117、比对第一车道线方程组和第二车道线方程组，得到第一损失函数。
需要说明的是，通过比对第一车道线方程组和第二车道线方程组的方式，得到第一损失函数。第一损失函数对应有损失值，后续是基于第一损失函数对应的损失值来更新初始神经网络。
步骤S118、根据第一损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。
需要说明的是，由于模型是根据第一损失函数不断更新初始神经网络，以使初始神经网络满足收敛条件所得到的。使得后期能够使用模型完成对相机外参的自动标定，无需采用传统计算标定方法来完成对相机外参的标定，大大提高了标定效率。
图2示出了本申请另一实施例中的一种自动标定相机外参模型的生成方法的流程示意图。
请参阅图2，一种自动标定相机外参模型的生成方法，包括如下步骤：
步骤S211、获取相机上传的图片。
需要说明的是，图片来源于相机上传的视频流数据，例如，在相机上传的视频流数据中，选取某帧图片作为相机上传的图片。相机指代的是具备录制视频功能的设备，例如相机可以是车载相机；又如相机也可以是手机相机。
步骤S212、根据图片利用初始神经网络标定生成第一相机外参。
需要说明的是，根据图片利用初始神经网络对图片进行标定，生成第一相机外参。初始神经网络为卷积神经网络，其能够对相机外参进行初步标定，后续步骤将会对初始神经网络进行不断更新调整，让初始神经网络满足收敛条件，生成出一个能够准确且快速自动标定相机外参的标定模型。
步骤S213、对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线。
需要说明的是，对图片进行语义分割，将图片输入至全卷积神经网络(FullyConvolution Network，FCN)，利用全卷积神经网络对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线。语义分割的过程是标识出图片中的不同车道线，得到语义图片。语义图片中的不同车道线均是由若干车道线像素坐标系点组成。
步骤S214、对第一相机外参和语义图片进行拟合，得到第一车道线方程组。
需要说明的是，由于相机内参在相机出厂后是恒定不变的，因此，通过获取相机内参，根据相机内参和第一相机外参将每一车道线包含的车道线像素坐标系点转换成车道线世界坐标系点，车道线像素坐标系点即在像素坐标系下的坐标点，车道线世界坐标系点即在世界坐标系的坐标点(世界坐标系也称为地理坐标系)。对应转换完成后利用最小二乘法将每一车道线对应的车道线世界坐标系点进行拟合，得到第一车道线方程组。
步骤S215、根据图片采用预置标定法生成第二相机外参。
需要说明的是，第一相机外参是利用全卷积网络生成的，而第二相机外参则是采用预置标定法生成的。预置标定法在本申请中不作具体限定。
步骤S216、对第二相机外参和语义图片进行拟合，得到第二车道线方程组。
需要说明的是，对第二相机外参和语义图片进行拟合，拟合的原理与对第一相机外参和语义图片进行拟合的原理相同。同样是根据相机内参和第二相机外参将每一车道线包含的车道线像素坐标系点转换成车道线世界坐标系点。对应转换完成后利用最小二乘法将每一车道线对应的车道线世界坐标系点进行拟合，得到第二车道线方程组。
步骤S217、比对第一车道线方程组和第二车道线方程组，得到第一损失函数。第一损失函数的可参考如下式子：
Figure BDA0003536135640000091
其中，I1对应的是第一车道线方程组中的yi值，I2对应的是第二车道线方程组中的yi值，p为图片中车道线点的个数，d2对应的是第一损失函数的损失值。
需要说明的是，通过比对第一车道线方程组和第二车道线方程组的方式，得到第一损失函数。第一损失函数对应有损失值，后续步骤是基于第一损失函数对应的损失值来更新初始神经网络。
步骤S218、对语义图片中的不同车道线进行聚类，计算得到第一车道线距集。
需要说明的是，由于语义图片中已经识别出了不同车道线，且不同车道线均包含若干车道线像素坐标系点。为了能够更加精确地计算两两车道线间的距离，采用聚类的方式对语义图片中不同车道线包含的若干车道线像素坐标系点进行聚类，得到不同车道线对应的车道线像素坐标系中点，计算两两车道线对应的车道线像素坐标系中点间的距离，得到第一车道线距集{D1、D2、D3、……、Dn}。
步骤S219、根据语义图片在高精地图中的车道线距离，得到第二车道线距集。
需要说明的是，由于高精地图是绘制出来的地图，高精地图内具有车道线元素，且高精地图内还记录着有两两车道线距离的数据，通过根据语义图片在高精地图中的车道线距离，得到第二车道线距集{d1、d2、d3、…、dn}。
步骤S220、将第一车道线距集和第二车道线距集相加，得到第二损失函数。
需要说明的是，通过将第一车道线距集{D1、D2、D3、……、Dn}和第二车道线距集{d1、d2、d3、…、dn}相加的方式，得到第二损失函数。第二损失函数对应有损失值，后续步骤是基于第二损失函数对应的损失值来更新初始神经网络。第二损失函数是由第一车道线距集{D1、D2、D3、……、Dn}和第二车道线距集{d1、d2、d3、…、dn}相加得到的，即第二损失函数同样也是关于车道线的距离集。第二损失函数对应的损失值可以将多个车道线距进行相加求均值得到。
步骤S221、根据第一损失函数和第二损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。
需要说明的是，将第一损失函数对应的损失值与第二损失函数对应的损失值相加得到目标损失值，根据目标损失值更新初始神经网络。若每次用于更新初始神经网络的目标损失值变化幅度很小时，即目标损失值Lossi+1减去目标损失值Lossi小于或者等于预设阈值时，则判定初始神经网络达到收敛条件，此时就完成了自动标定相机外参模型的生成。
完成自动标定相机外参模型的生成后，后续仅需要往自动标定相机外参模型内输入相机上传的图片，自动标定相机外参模型就能够根据图片自动标定出相机外参，无需再利用传统计算标定的方式来计算得到相机外参，能够极大提高对相机外参的效率。此外由于是借助第一损失函数和第二损失函数使初始神经网络收敛生成自动标定相机外参模型的，使得模型对于相机外参的标定精准度高，标定出来的相机外参更加接近真实值，相机外参标定的准确性能够很好地让视觉系统(例如车载视觉系统)进行有效地定位、测距等涉及到二维和三维交互的功能。
与前述的功能方法实施例相对应，本申请提供了一种自动标定相机外参模型的生成装置及相应的实施例。
图3示出了本申请实施例中示出的一种自动标定相机外参模型的生成装置的结构示意图。
请参阅图3，一种自动标定相机外参模型的生成装置300，包括：获取模块311、第一外参生成模块312、语义分割模块313、第一拟合模块314、第二外参生成模块315、第二拟合模块316、第一比对模块317及生成模块318。其中：
获取模块311用于获取相机上传的图片；
第一外参生成模块312用于根据图片利用初始神经网络标定生成第一相机外参；
语义分割模块313用于对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；
第一拟合模块314用于对第一相机外参和语义图片进行拟合，得到第一车道线方程组；
第二外参生成模块315用于根据图片采用预置标定法生成第二相机外参；
第二拟合模块316用于对第二相机外参和语义图片进行拟合，得到第二车道线方程组；
第一比对模块317用于比对第一车道线方程组和第二车道线方程组，得到第一损失函数；
生成模块318用于根据第一损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。
本实施例的装置，获取模块311获取相机上传的图片；第一外参生成模块312根据图片利用初始神经网络标定生成第一相机外参；语义分割模块313对图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；第一拟合模块314对第一相机外参和语义图片进行拟合，得到第一车道线方程组；第二外参生成模块315根据图片采用预置标定法生成第二相机外参；第二拟合模块316对第二相机外参和语义图片进行拟合，得到第二车道线方程组；第一比对模块317比对第一车道线方程组和第二车道线方程组，得到第一损失函数；生成模块318根据第一损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。由于模型是根据第一损失函数不断更新初始神经网络，以使初始神经网络满足收敛条件所得到的。使得后期能够使用模型对相机外参的自动标定，无需采用传统计算标定方法来完成对相机外参的标定，大大提高了标定效率。
图4示出了本申请另一实施例中的一种自动标定相机外参模型的生成装置的结构示意图。
请参阅图4，一种自动标定相机外参模型的生成装置300，包括：获取模块311、第一外参生成模块312、语义分割模块313、第一拟合模块314、第二外参生成模块315、第二拟合模块316、第一比对模块317、聚类模块318、道距模块319、第二比对模块320及生成模块321。
其中，获取模块311、第一外参生成模块312、语义分割模块313、第一拟合模块314、第二外参生成模块315、第二拟合模块316、第一比对模块317的功能描述请参阅图3，此处不再赘述。
聚类模块318用于对语义图片中的不同车道线进行聚类，计算得到第一车道线距集；
道距模块319用于根据语义图片在高精地图中车道线距离，得到第二车道线距集；
第二比对模块320用于比对第一车道线距集和第二车道线距集，得到第二损失函数；
生成模块321用于根据第一损失函数和第二损失函数更新初始神经网络，以使初始神经网络满足收敛条件，得到自动标定相机外参模型。
关于上述实施例中的装置，其中各个模块及单元执行操作的具体方式已经在有关该装置所对应的方法实施例中进行了详细描述，此处将不再做详细阐述说明。
请参阅图5，电子设备500包括处理器510和存储器520。
处理器510可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器520可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器510或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器520可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。存储器520上存储有可执行代码，当可执行代码被处理器510处理时，可以使处理器510执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种自动标定相机外参模型的生成方法，其特征在于，包括：
获取相机上传的图片；
根据所述图片利用初始神经网络标定生成第一相机外参；
对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；
对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组；
根据所述图片采用预置标定法生成第二相机外参；
对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组；
比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数；
根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
2.根据权利要求1所述的自动标定相机外参模型的生成方法，其特征在于，所述比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数后，还包括：
对所述语义图片中的不同车道线进行聚类，计算得到第一车道线距集；
根据所述语义图片在高精地图中的车道线距离，得到第二车道线距集；
将所述第一车道线距集和所述第二车道线距集相加，得到第二损失函数；
所述根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型，包括：
根据所述第一损失函数和第二损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
3.根据权利要求1所述的自动标定相机外参模型的生成方法，其特征在于，所述对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线，包括：
利用全卷积神经网络对所述图片进行语义分割，标识所述图片中的不同车道线，得到语义图片，其中每一所述车道线均包含若干车道线像素坐标系点。
4.根据权利要求1所述的自动标定相机外参模型的生成方法，其特征在于，所述对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组，包括：
获取相机的内参；
根据所述相机的内参和所述第一相机外参将每一所述车道线包含的所述车道线像素坐标点转换成车道线世界坐标系点；
利用最小二乘法将每一所述车道线对应的所述车道线世界坐标系点进行拟合，得到第一车道线方程组。
5.根据权利要求1所述的自动标定相机外参模型的生成方法，其特征在于，所述对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组，包括：
获取相机的内参；
根据所述相机的内参和所述第二相机外参将每一所述车道线包含的所述车道线像素坐标系点转换成车道线世界坐标系点；
利用最小二乘法将每一所述车道线对应的所述车道线世界坐标系点进行拟合，得到第二车道线方程组。
6.根据权利要求2所述的自动标定相机外参模型的生成方法，其特征在于，所述对所述语义图片中的不同车道线进行聚类，计算得到第一车道线距集，包括：
对所述语义图片中不同所述车道线包含的若干所述车道线像素坐标系点进行聚类，得到不同所述车道线对应的车道线像素坐标系中点，计算两两所述车道线对应的所述车道线像素坐标系中点间的距离，得到第一车道线距集。
7.根据权利要求2所述的自动标定相机外参模型的生成方法，其特征在于，所述根据所述第一损失函数和所述第二损失函数更新所述初始神经网络，包括：
将所述第一损失函数对应的损失值与所述第二损失函数对应的损失值相加得到目标损失值，根据所述目标损失值更新所述初始神经网络。
8.一种自动标定相机外参模型的生成装置，其特征在于，包括：
获取模块，用于获取相机上传的图片；
第一外参生成模块，用于根据所述图片利用初始神经网络标定生成第一相机外参；
语义分割模块，用于对所述图片进行语义分割，得到语义图片，其中语义分割的类型包括车道线；
第一拟合模块，用于对第一相机外参和所述语义图片进行拟合，得到第一车道线方程组；
第二外参生成模块，用于根据所述图片采用预置标定法生成第二相机外参；
第二拟合模块，用于对第二相机外参和所述语义图片进行拟合，得到第二车道线方程组；
第一比对模块，用于比对所述第一车道线方程组和所述第二车道线方程组，得到第一损失函数；
生成模块，用于根据所述第一损失函数更新所述初始神经网络，以使所述初始神经网络满足收敛条件，得到自动标定相机外参模型。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的自动标定相机外参模型的生成方法。
10.一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的自动标定相机外参模型的生成方法。
CN202210227265.XA 2022-03-08 自动标定相机外参模型的生成方法及装置 Active CN114708333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210227265.XA CN114708333B (zh) 2022-03-08 自动标定相机外参模型的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210227265.XA CN114708333B (zh) 2022-03-08 自动标定相机外参模型的生成方法及装置

Publications (2)

Publication Number Publication Date
CN114708333A true CN114708333A (zh) 2022-07-05
CN114708333B CN114708333B (zh) 2024-05-31

Family

ID=

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160176343A1 (en) * 2013-08-30 2016-06-23 Clarion Co., Ltd. Camera Calibration Device, Camera Calibration System, and Camera Calibration Method
CN106097322A (zh) * 2016-06-03 2016-11-09 江苏大学 一种基于神经网络的视觉系统标定方法
CN106127789A (zh) * 2016-07-04 2016-11-16 湖南科技大学 结合神经网络与虚拟靶标的立体视觉标定方法
CN109493389A (zh) * 2018-10-15 2019-03-19 同济大学 一种基于深度学习的相机标定方法及系统
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
US20200027241A1 (en) * 2018-07-19 2020-01-23 GM Global Technology Operations LLC Auto-calibration for vehicle cameras
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN111028288A (zh) * 2019-10-23 2020-04-17 淮安奇幻科技有限公司 一种基于深度学习技术的双目标定系统
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法
US20200242804A1 (en) * 2019-01-25 2020-07-30 Adobe Inc. Utilizing a critical edge detection neural network and a geometric model to determine camera parameters from a single digital image
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN111768452A (zh) * 2020-06-30 2020-10-13 天津大学 一种基于深度学习的非接触式自动贴图方法
CN111815713A (zh) * 2020-05-29 2020-10-23 安徽酷哇机器人有限公司 自动标定相机外参的方法及系统
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112700500A (zh) * 2020-12-08 2021-04-23 中大检测(湖南)股份有限公司 一种双目相机标定方法、装置及可读存储介质
CN112785655A (zh) * 2021-01-28 2021-05-11 中汽创智科技有限公司 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质
CN113111707A (zh) * 2021-03-07 2021-07-13 上海赛可出行科技服务有限公司 一种基于卷积神经网络的前车检测与测距方法
CN113446957A (zh) * 2021-05-08 2021-09-28 北京航空航天大学 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN113674357A (zh) * 2021-08-04 2021-11-19 禾多科技（北京）有限公司 相机外参标定方法、装置、电子设备和计算机可读介质
CN113808219A (zh) * 2021-09-17 2021-12-17 西安电子科技大学 基于深度学习的雷达辅助相机标定方法
US20210406561A1 (en) * 2019-03-12 2021-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for lane detection
CN113870361A (zh) * 2021-09-29 2021-12-31 北京有竹居网络技术有限公司 深度相机的标定方法、装置、设备及存储介质
CN114022564A (zh) * 2021-10-28 2022-02-08 中国第一汽车股份有限公司 视觉传感器标定方法、控制器、服务器和存储介质
CN114119770A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于深度学习的多传感器外参联合标定方法及系统

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160176343A1 (en) * 2013-08-30 2016-06-23 Clarion Co., Ltd. Camera Calibration Device, Camera Calibration System, and Camera Calibration Method
CN106097322A (zh) * 2016-06-03 2016-11-09 江苏大学 一种基于神经网络的视觉系统标定方法
CN106127789A (zh) * 2016-07-04 2016-11-16 湖南科技大学 结合神经网络与虚拟靶标的立体视觉标定方法
US20190164312A1 (en) * 2017-11-29 2019-05-30 Adobe Inc. Neural network-based camera calibration
US20200027241A1 (en) * 2018-07-19 2020-01-23 GM Global Technology Operations LLC Auto-calibration for vehicle cameras
CN110969664A (zh) * 2018-09-30 2020-04-07 北京初速度科技有限公司 一种相机外部参数的动态标定方法
CN109493389A (zh) * 2018-10-15 2019-03-19 同济大学 一种基于深度学习的相机标定方法及系统
CN111383281A (zh) * 2018-12-29 2020-07-07 天津大学青岛海洋技术研究院 一种基于rbf神经网络的摄像机标定方法
WO2020151212A1 (zh) * 2019-01-24 2020-07-30 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
US20200242804A1 (en) * 2019-01-25 2020-07-30 Adobe Inc. Utilizing a critical edge detection neural network and a geometric model to determine camera parameters from a single digital image
US20210406561A1 (en) * 2019-03-12 2021-12-30 Zhejiang Dahua Technology Co., Ltd. Systems and methods for lane detection
CN111028288A (zh) * 2019-10-23 2020-04-17 淮安奇幻科技有限公司 一种基于深度学习技术的双目标定系统
CN111815713A (zh) * 2020-05-29 2020-10-23 安徽酷哇机器人有限公司 自动标定相机外参的方法及系统
CN111768452A (zh) * 2020-06-30 2020-10-13 天津大学 一种基于深度学习的非接触式自动贴图方法
CN112085801A (zh) * 2020-09-08 2020-12-15 清华大学苏州汽车研究院（吴江） 基于神经网络的三维点云和二维图像融合的校准方法
CN112700500A (zh) * 2020-12-08 2021-04-23 中大检测(湖南)股份有限公司 一种双目相机标定方法、装置及可读存储介质
CN112785655A (zh) * 2021-01-28 2021-05-11 中汽创智科技有限公司 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质
CN113111707A (zh) * 2021-03-07 2021-07-13 上海赛可出行科技服务有限公司 一种基于卷积神经网络的前车检测与测距方法
CN113446957A (zh) * 2021-05-08 2021-09-28 北京航空航天大学 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN113674357A (zh) * 2021-08-04 2021-11-19 禾多科技（北京）有限公司 相机外参标定方法、装置、电子设备和计算机可读介质
CN113808219A (zh) * 2021-09-17 2021-12-17 西安电子科技大学 基于深度学习的雷达辅助相机标定方法
CN113870361A (zh) * 2021-09-29 2021-12-31 北京有竹居网络技术有限公司 深度相机的标定方法、装置、设备及存储介质
CN114022564A (zh) * 2021-10-28 2022-02-08 中国第一汽车股份有限公司 视觉传感器标定方法、控制器、服务器和存储介质
CN114119770A (zh) * 2021-11-22 2022-03-01 华南理工大学 一种基于深度学习的多传感器外参联合标定方法及系统

Similar Documents

Publication Publication Date Title
US8755630B2 (en) Object pose recognition apparatus and object pose recognition method using the same
WO2005122091A1 (en) Computer modeling of physical scenes
CN113096192B (zh) 图像传感器内参标定方法、装置、设备及存储介质
WO2023028880A1 (zh) 车载相机的外部参数的标定方法及相关装置
CN111784784B (zh) Imu内参的标定方法、装置、电子设备仪及存储介质
CN114998773A (zh) 适用于无人机系统航拍图像的特征误匹配剔除方法及系统
CN114821530A (zh) 基于深度学习的车道线检测方法及系统
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN114708333B (zh) 自动标定相机外参模型的生成方法及装置
CN115937325B (zh) 一种结合毫米波雷达信息的车端摄像头标定方法
CN114708333A (zh) 自动标定相机外参模型的生成方法及装置
CN114677448A (zh) 车载相机的外参校正方法、装置及电子设备、存储介质
CN115993132A (zh) 视觉惯性里程计初始化方法、装置及飞行汽车
CN114049394B (zh) 一种单目测距方法、装置、设备及存储介质
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN112634141B (zh) 一种车牌矫正方法、装置、设备及介质
CN115690711A (zh) 一种目标检测方法、装置及智能车辆
CN115661258A (zh) 标定方法及装置、畸变校正方法及装置、存储介质、终端
CN113065566B (zh) 一种误匹配去除方法、系统及应用
CN114897990A (zh) 一种基于神经网络的相机畸变标定方法、系统和存储介质
CN114025079B (zh) 一种图像质量优化参数的处理方法、装置和系统
US11882262B2 (en) System and method for stereoscopic image analysis
CN116258793A (zh) 车道线拟合方法、设备及计算机可读存储介质
CN116309772A (zh) 单目相机绝对深度获取方法、装置、设备及存储介质
CN116580095A (zh) 一种目标定位方法和装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant