CN115546313A - 车载相机自校准方法、装置、电子设备及存储介质 - Google Patents

车载相机自校准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115546313A
CN115546313A CN202211231918.8A CN202211231918A CN115546313A CN 115546313 A CN115546313 A CN 115546313A CN 202211231918 A CN202211231918 A CN 202211231918A CN 115546313 A CN115546313 A CN 115546313A
Authority
CN
China
Prior art keywords
key frame
frame images
key
selecting
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211231918.8A
Other languages
English (en)
Inventor
顾乐妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211231918.8A priority Critical patent/CN115546313A/zh
Publication of CN115546313A publication Critical patent/CN115546313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/90—Identifying an image sensor based on its output data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种车载相机自校准方法、装置、电子设备及存储介质，其中，方法包括：选取多个关键帧图像，并进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标；选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。由此，解决了外参相机自校准计算量大、环境要求高的问题，优化变量较少，便于实现。

Description

车载相机自校准方法、装置、电子设备及存储介质
技术领域
本申请涉及智能驾驶技术领域，特别涉及一种车载相机自校准方法、装置、电子设备及存储介质。
背景技术
在智能驾驶使用的传感器中，相机以其价格低廉，适应性好等优点得到了广泛应用。大多ADAS(Advanced Driving Assistance System，高级驾驶辅助系统)功能都是基于视觉影像处理开发的，车载相机也就成为了实现众多预警、识别等感知功能的硬件基础。车载相机根据不同的功能，特性，安装位置，又可以分为众多种类，例如环视相机，前视双目或多目相机，侧视相机等等，通常一辆汽车上会搭载多个甚至十几个相机。为了合理地对相机的感知信息加以利用，相机标定就成了不可或缺的步骤，而标定的精度也直接影响到视觉感知，视觉定位等功能的精度。
相关技术中通过检测虚线车道线端点并构建平行四边形，然后计算四边形的双平行线消失点在图像坐标系下的坐标和自定义的物理坐标，联立理论消失点的数学表达式和实际消失点坐标，求解外部参数；另一种利用一个相机连续帧看到同一特征点或不同相机看到同一特征点，加以匹配和跟踪，并结合定位信息计算出相机与车身的转换关系标定外参，不依赖于特定的标定图案而采用环境种的自然特征点。
然而，相关技术只能计算出外部参数的旋转角，无法计算摄像头与车身的位置关系，并且其需要找到一条虚线车道线清晰，并且虚线长度相等的道路，标定时也必须保证车辆平行车道线行驶，否则会大大影响精度，该条件并不是所有地区都能轻易满足，所以不适合大量推广，而且对于环视鱼眼摄像头，标定精度依旧不足；另一种需要在首次标定时记录环境地图，由于场地在进行闭环检测后地图数据才足够精确，对场地范围以及周边特征物均有要求，用户使用不方便，并且所需算法需要匹配特征点，耗时多，场地大数据多，计算量大。
发明内容
本申请提供一种车载相机自校准方法装置、电子设备及存储介质，以解决了相机自校准计算量大、环境要求高的问题，优化变量较少，便于实现。
本申请第一方面实施例提供一种车载相机自校准方法，包括以下步骤：选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到所述每个关键帧的俯视图，并对所述每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和所述多个目标类别的语义点坐标；选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；基于预设的非线性优化算法，求解所述所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
可选地，在一些实施例中，所述选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，包括：针对相邻两个关键帧图像，将前一个关键帧图像中的所述多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；根据预设选取策略选取同一语义类别的关键点，并根据所述同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
可选地，在一些实施例中，所述根据预设选取策略选取同一语义类别的关键点，包括：判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值；若所述偏差大于所述预设值，则重新确定所述相邻两个关键帧图像；否则，根据最近邻原则选取所述同一语义类别的关键点。
可选地，在一些实施例中，所述选取多个关键帧图像，包括：从预设的车载里程计数据中选取所述多个关键帧图像。
可选地，在一些实施例中，所述相邻两个关键帧图像之间存在部分共视区域，且存在多个预设类别图案。
本申请第二方面实施例提供一种车载相机自校准装置，包括：选取模块，用于选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到所述每个关键帧的俯视图，并对所述每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和所述多个目标类别的语义点坐标；约束方程建立模块，用于选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；以及校准模块，用于基于预设的非线性优化算法，求解所述所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
可选地，在一些实施例中，所述约束方程建立模块，还用于：针对相邻两个关键帧图像，将前一个关键帧图像中的所述多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；根据预设选取策略选取同一语义类别的关键点，并根据所述同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
可选地，在一些实施例中，所述根据预设选取策略选取同一语义类别的关键点，包括：判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值；若所述偏差大于所述预设值，则重新确定所述相邻两个关键帧图像；否则，根据最近邻原则选取所述同一语义类别的关键点。
可选地，在一些实施例中，所述选取多个关键帧图像，包括：从预设的车载里程计数据中选取所述多个关键帧图像。
可选地，在一些实施例中，所述相邻两个关键帧图像之间存在部分共视区域，且存在多个预设类别图案。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车载相机自校准方法。
本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车载相机自校准方法。
由此，通过选取多个关键帧图像，并进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标，并选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，并基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。由此，解决了车辆在使用过程中相机位置变化影响用户体验的问题，对其他需要使用标定数据的算法提供了更精确的数据，提高标定精度，且优化变量较少，计算量小，计算速度快，环境要求较低，便于用户实现。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的车载相机自校准方法的流程图；
图2为根据本申请一个具体实施例提供的车载相机自校准方法的流程图；
图3为根据本申请实施例提供的车载相机自校准装置的方框示意图；
图4为根据本申请实施例提供的电子设备的示意图。
附图标记说明：10-车载相机自校准装置、100-选取模块、200-约束方程建立模块和300-校准模块。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的车载相机自校准方法、装置、电子设备及存储介质。
在介绍本申请实施例的车载相机自校准方法之前，先介绍一下相机标定。
相机标定包括内参标定和外参标定。相机内参包括偏心，畸变等，在相机生产完成后便不会产生变化，所以在相机出厂时就可完成内参标定，后续如何使用该相机，都无需重新进行内参标定。而外参标定则需要相机装车后进行，相机外参包括旋转与位移，即相机坐标系与车身坐标系的转换关系。
通常车辆生产时都有标定工位，下线时均已经过标定。相关技术中广泛应用的车载相机标定方案，多数还是利用标定场地上的特征点在图像上的坐标以及车身坐标系下的物理坐标，求解得到外参矩阵，即旋转矩阵和位移向量。
标定对精度要求很高，受环境等因素的影响很大，所以标定效果很大程度上取决于标定场地。对于车辆的下线标定，车辆生产商通常会建造标定专属的高精度场地，对于地面的平整度，以及标定图案的尺寸都经过精细的调整，同时设置车轮卡正器来固定车辆位置，但是往往这样的高精度场地在一定程度上也无法满足标定高精度、高通过率的要求。
相机装车后如果相机位置有所变化，或者更换相机等都需要重新标定外参。用户在使用车辆过程中，由于车辆承重变化，长期使用后的车胎变化，都会导致出厂标定数据的不准确。此时用户无法重新标定相机，使其效果达到出厂水平，影响后续用户体验。
为解决上述问题，本申请实施例提出一种车载相机自校准方法，在该方法中，通过选取多个关键帧图像，并进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标，并选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，并基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。由此，解决了车辆在使用过程中相机位置变化影响用户体验的问题，对其他需要使用标定数据的算法提供了更精确的数据，提高标定精度，且优化变量较少，计算量小，计算速度快，环境要求较低，便于用户实现。
具体而言，图1为本申请实施例所提供的一种车载相机自校准方法的流程示意图。
如图1所示，该车载相机自校准方法包括以下步骤：
在步骤S101中，选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标。
可选地，在一些实施例中，选取多个关键帧图像，包括：从预设的车载里程计数据中选取多个关键帧图像。
可选地，在一些实施例中，相邻两个关键帧图像之间存在部分共视区域，且存在多个预设类别图案。
其中，目标类别可以是车道线，箭头，斑马线等。
具体地，根据车载里程计的数据，每间隔一段距离或角度选取一个关键帧，要求关键帧的图像清晰，没有运动模糊。两个关键帧之间有部分共视区域且有一定数量的特殊类别图案根据相机内外参做IPM(Inverse Perspective Mapping，逆透视映射)，可以将关键帧的原图转换成俯视图，采用深度学习的方法对俯视图进行语义分割，记录分割后地面上的特殊类别语义点坐标及其类别，例如车道线，箭头，斑马线等。
在步骤S102中，选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程。
可选地，在一些实施例中，选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，包括：针对相邻两个关键帧图像，将前一个关键帧图像中的多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；根据预设选取策略选取同一语义类别的关键点，并根据同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
可选地，在一些实施例中，根据预设选取策略选取同一语义类别的关键点，包括：判断前一个关键帧图像与当前关键帧图像的偏差是否大于预设值；若偏差大于预设值，则重新确定相邻两个关键帧图像；否则，根据最近邻原则选取同一语义类别的关键点。
具体地，根据两帧之间里程计的数据，将前一个关键帧中记录的特殊类别语义点转换到当前关键帧的坐标系下，根据最近邻原则选取同一语义类别的关联点，如果里程计数据偏差较大，可以使用ICP(Iterative Closest Point，迭代最近点算法)+RANSAC(Random Sample Consensus，随机抽样一致算法)的方法更新关联点对，寻找关键帧间最合适的关联点，并将其对应的原图点坐标以点对的形式保存。如果行车过程中形成闭环，可将闭环帧的关联点对记录下来。
在步骤S103中，基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
具体地，每一对关联点对应物理世界中的同一个点，及物理坐标相等，根据该约束建立方程。罗列出所有关键帧间所有约束方程，数量越多，结果越鲁棒。采用非线性优化的方法将所有变量计算出来，其中，待优化的变量包括关键帧间的姿态变化和相机的外参。
由此，如图2所示，本申请实施例通过选取关键帧，并进行逆透视映射将关键帧的原图转换成俯视图，将得到的俯视图进行图像语义分割，寻找关联点，并建立约束方程，并通过非线性优化求解优化变量。利用两关键帧间有共视区域以及语义分割的点有类别属性等特点，在用户使用过程中就可以完成相机的自校准，环境要求低，便于用户实现。
根据本申请实施例提出的车载相机自校准方法，通过选取多个关键帧图像，并进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标，并选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，并基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。由此，解决了车辆在使用过程中相机位置变化影响用户体验的问题，对其他需要使用标定数据的算法提供了更精确的数据，提高标定精度，且优化变量较少，计算量小，计算速度快，环境要求较低，便于用户实现。
其次参照附图描述根据本申请实施例提出的车载相机自校准装置。
图3是本申请实施例的车载相机自校准装置的方框示意图。
如图3所示，该车载相机自校准装置10包括：选取模块100、约束方程建立模块200和校准模块300。
其中，选取模块100，用于选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标；约束方程建立模块200，用于选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；校准模块300，用于基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
可选地，在一些实施例中，约束方程建立模块，还用于：针对相邻两个关键帧图像，将前一个关键帧图像中的多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；根据预设选取策略选取同一语义类别的关键点，并根据同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
可选地，在一些实施例中，根据预设选取策略选取同一语义类别的关键点，包括：判断前一个关键帧图像与当前关键帧图像的偏差是否大于预设值；若偏差大于预设值，则重新确定相邻两个关键帧图像；否则，根据最近邻原则选取同一语义类别的关键点。
可选地，在一些实施例中，选取多个关键帧图像，包括：从预设的车载里程计数据中选取多个关键帧图像。
可选地，在一些实施例中，相邻两个关键帧图像之间存在部分共视区域，且存在多个预设类别图案。
需要说明的是，前述对车载相机自校准方法实施例的解释说明也适用于该实施例的车载相机自校准装置，此处不再赘述。
根据本申请实施例提出的车载相机自校准装置，通过选取多个关键帧图像，并进行逆透视变换，得到每个关键帧的俯视图，并对每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和多个目标类别的语义点坐标，并选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，根据关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，并基于预设的非线性优化算法，求解所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。由此，解决了车辆在使用过程中相机位置变化影响用户体验的问题，对其他需要使用标定数据的算法提供了更精确的数据，提高标定精度，且优化变量较少，计算量小，计算速度快，环境要求较低，便于用户实现。
图4为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
处理器402执行程序时实现上述实施例中提供的车载相机自校准方法。
进一步地，电子设备还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车载相机自校准方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种车载相机自校准方法，其特征在于，包括以下步骤：
选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到所述每个关键帧的俯视图，并对所述每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和所述多个目标类别的语义点坐标；
选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；以及
基于预设的非线性优化算法，求解所述所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
2.根据权利要求1所述的方法，其特征在于，所述选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程，包括：
针对相邻两个关键帧图像，将前一个关键帧图像中的所述多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；
根据预设选取策略选取同一语义类别的关键点，并根据所述同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
3.根据权利要求2所述的方法，其特征在于，所述根据预设选取策略选取同一语义类别的关键点，包括：
判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值；
若所述偏差大于所述预设值，则重新确定所述相邻两个关键帧图像；否则，根据最近邻原则选取所述同一语义类别的关键点。
4.根据权利要求1所述的方法，其特征在于，所述选取多个关键帧图像，包括：
从预设的车载里程计数据中选取所述多个关键帧图像。
5.根据权利要求2所述的方法，其特征在于，所述相邻两个关键帧图像之间存在部分共视区域，且存在多个预设类别图案。
6.一种车载相机自校准装置，其特征在于，包括：
选取模块，用于选取多个关键帧图像，并对每个关键帧图像进行逆透视变换，得到所述每个关键帧的俯视图，并对所述每个关键帧的俯视图进行语义分割，从语义分割后的俯视图中获取多个目标类别和所述多个目标类别的语义点坐标；
约束方程建立模块，用于选取两个关键帧图像间属于同一语义类别的关键点组成关联点对，并根据所述关联点对指向预设物理世界中同一点的关系建立目标约束方程，得到所有关键帧图像间所有约束方程；以及
校准模块，用于基于预设的非线性优化算法，求解所述所有关键帧图像间所有约束方程，并根据求解结果自校准关键帧间的姿态变化和车载相机的外参。
7.根据权利要求6所述的装置，其特征在于，所述约束方程建立模块，还用于：
针对相邻两个关键帧图像，将前一个关键帧图像中的所述多个目标类别的语义点坐标转换至当前关键帧图像对应的坐标系；
根据预设选取策略选取同一语义类别的关键点，并根据所述同一语义类别的关键点建立目标约束方程，得到所有关键帧图像间所有约束方程。
8.根据权利要求7所述的装置，其特征在于，所述根据预设选取策略选取同一语义类别的关键点，包括：
判断所述前一个关键帧图像与所述当前关键帧图像的偏差是否大于预设值；
若所述偏差大于所述预设值，则重新确定所述相邻两个关键帧图像；否则，根据最近邻原则选取所述同一语义类别的关键点。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的车载相机自校准方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的车载相机自校准方法。
CN202211231918.8A 2022-09-30 2022-09-30 车载相机自校准方法、装置、电子设备及存储介质 Pending CN115546313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211231918.8A CN115546313A (zh) 2022-09-30 2022-09-30 车载相机自校准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211231918.8A CN115546313A (zh) 2022-09-30 2022-09-30 车载相机自校准方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115546313A true CN115546313A (zh) 2022-12-30

Family

ID=84733128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211231918.8A Pending CN115546313A (zh) 2022-09-30 2022-09-30 车载相机自校准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115546313A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485912A (zh) * 2023-04-25 2023-07-25 北京拙河科技有限公司 一种光场相机多模组协调方法及装置
CN117274402A (zh) * 2023-11-24 2023-12-22 魔视智能科技(武汉)有限公司 相机外参的标定方法、装置、计算机设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116485912A (zh) * 2023-04-25 2023-07-25 北京拙河科技有限公司 一种光场相机多模组协调方法及装置
CN116485912B (zh) * 2023-04-25 2023-12-05 北京拙河科技有限公司 一种光场相机多模组协调方法及装置
CN117274402A (zh) * 2023-11-24 2023-12-22 魔视智能科技(武汉)有限公司 相机外参的标定方法、装置、计算机设备及存储介质
CN117274402B (zh) * 2023-11-24 2024-04-19 魔视智能科技(武汉)有限公司 相机外参的标定方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN110322513B (zh) 一种相机外参标定方法、装置及电子设备
CN115546313A (zh) 车载相机自校准方法、装置、电子设备及存储介质
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
JP7289927B2 (ja) 二次元コードの認識方法、生成方法、装置、二次元コード及び小車
CN111815713A (zh) 自动标定相机外参的方法及系统
CN112862890B (zh) 道路坡度预测方法、装置和存储介质
US20210362741A1 (en) Method for constructing driving coordinate system, and application thereof
CN112183171A (zh) 一种基于视觉信标建立信标地图方法、装置
CN105118086A (zh) 3d-aoi设备中的3d点云数据配准方法及系统
CN111862235A (zh) 双目相机自标定方法及系统
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN109115232B (zh) 导航的方法和装置
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、系统、设备和介质
CN114241062A (zh) 自动驾驶的相机外参确定方法、装置和计算机可读存储介质
CN114119749A (zh) 一种基于密集关联的单目3d车辆检测方法
CN112785653A (zh) 车载相机姿态角标定方法
CN110033492B (zh) 摄像机标定方法及终端
CN115456898A (zh) 停车场的建图方法、装置、车辆及存储介质
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法
CN115493568A (zh) 一种基于机器视觉的单目相机室内坐标定位方法
CN115147497A (zh) 一种标定方法、装置及电子设备
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN114511600A (zh) 基于点云配准的位姿计算方法和系统
CN114755663A (zh) 车辆传感器的外参校准方法、装置及计算机可读存储介质
CN114419118A (zh) 三维点云配准方法、移动设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination