CN113034613B - 相机的外部参数标定方法及相关装置 - Google Patents

相机的外部参数标定方法及相关装置 Download PDF

Info

Publication number
CN113034613B
CN113034613B CN202110320713.6A CN202110320713A CN113034613B CN 113034613 B CN113034613 B CN 113034613B CN 202110320713 A CN202110320713 A CN 202110320713A CN 113034613 B CN113034613 B CN 113034613B
Authority
CN
China
Prior art keywords
camera
edge
ground area
straight line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110320713.6A
Other languages
English (en)
Other versions
CN113034613A (zh
Inventor
杨洁
高鹏飞
郑建宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202110320713.6A priority Critical patent/CN113034613B/zh
Publication of CN113034613A publication Critical patent/CN113034613A/zh
Application granted granted Critical
Publication of CN113034613B publication Critical patent/CN113034613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种相机的外部参数标定方法及相关装置。该方法包括：获取相机移动过程中拍摄的第一图像，所述第一图像包括地面区域的图像；获取所述地面区域的参考坐标；根据所述地面区域的参考坐标和所述地面区域的实际坐标，得到所述相机的参考外部参数；获取预设时间段内所述相机的参数误差，所述相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差；在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数。根据本申请实施例，实现自动调整相机的外部参数，减少进行人工标定的次数。

Description

相机的外部参数标定方法及相关装置
技术领域
本申请涉及计算机领域，尤其涉及一种相机的外部参数标定方法及相关装置。
背景技术
可移动设备上会安装相机来获取环境信息。通常需要对相机进行标定，并利用标定后的相机来获取环境的鸟瞰图，辅助可移动设备进行环境测量。然而，可移动设备在运动的过程中，相机的外部参数容易发生微小偏移，例如，当姿态角发生微小偏移时，可能会引起鸟瞰图的明显旋转或扭曲，使得环境测量的精度降低。
发明内容
本申请提供一种相机的外部参数标定方法及相关装置，能够自动标定相机的外部参数，减少人工标定的次数。本申请的技术方案如下：
根据本申请实施例的第一方面，提供一种相机的外部参数标定方法，包括：
获取相机移动过程中拍摄的第一图像，所述第一图像包括地面区域的图像；
获取所述地面区域的参考坐标；
根据所述地面区域的参考坐标和所述地面区域的实际坐标，得到所述相机的参考外部参数，所述参考外部参数包括姿态角；
获取预设时间段内所述相机的参数误差，所述相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差；
在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，所述第一参考外部参数为参数误差在预设范围内的参考外部参数。
在一些实施例中，在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，包括：
在参数误差的分布比率不大于第一阈值的情况下，将所述相机的外部参数调整为第一参考外部参数，所述参数误差的分布比率为所述预设范围内的参数误差在误差分布中所占的比率。
在一些实施例中，所述获取地面区域的参考坐标，包括：
根据语义分割算法和边缘检测算法分别对第一图像进行分割，得到语义分割图和第一边缘分割图，所述语义分割图包括以所述地面区域为前景的图像，所述第一边缘分割图包括以所述地面区域的边缘为前景的图像以及以除所述地面区域外其它区域的边缘为前景的图像；
对所述语义分割图和所述第一边缘分割图进行合并处理，得到第二边缘分割图，所述第二边缘分割图包括以所述地面区域的边缘为前景的图像；
根据所述第二边缘分割图和所述第一图像，确定所述地面区域的边缘直线信息；
根据所述地面区域的边缘直线信息，确定所述地面区域的参考坐标。
在一些实施例中，所述根据所述第二边缘分割图和所述第一图像，确定所述地面区域的边缘直线信息，包括：
利用图像细化算法对所述第二边缘分割图进行处理，得到第三边缘分割图，所述第三边缘分割图包括地面区域的边缘连通域的骨架；
利用图像直线提取算法对所述第三边缘分割图进行处理，得到第一边缘直线信息；
利用图像直线提取算法对所述第一图像进行处理，得到第二边缘直线信息；
根据所述第一边缘直线信息和所述第二边缘直线信息，计算第一边缘直线与第二边缘直线的余弦相似度；
在所述第一边缘直线与所述第二边缘直线的余弦相似度小于阈值的情况下，确定所述第二边缘直线信息为所述地面区域的边缘直线信息。
在一些实施例中，所述根据所述地面区域的边缘直线信息，确定所述地面区域的参考坐标，包括：
根据所述地面区域的边缘直线信息，确定像素点集合，所述像素点集合包括地面区域边缘直线的像素点集合；
对所述像素点集合进行平面拟合，得到所述地面区域的目标边缘直线信息；
根据所述地面区域的目标边缘直线信息，确定所述地面区域的参考坐标。
在一些实施例中，所述根据所述地面区域的目标边缘直线信息，确定所述地面区域的参考坐标，包括：
根据所述地面区域的目标边缘直线信息，确定所述地面区域的边缘直线交点；
根据参考坐标系，确定与所述地面区域的边缘直线交点对应的所述地面区域的参考坐标，所述参考坐标系以目标边缘直线交点为原点。
在一些实施例中，在所述获取预设时间段内相机的参数误差之后，所述方法还包括：
在所述预设时间段内所述相机的参数误差表征所述相机的姿态不稳定的情况下，生成第一提示信息，所述第一提示信息用于提示对所述相机的外部参数进行静态标定。
在一些实施例中，在所述获取预设时间段内相机的参数误差之后，所述方法还包括：
在所述预设时间段内所述相机的参数误差表征所述相机的姿态不稳定的情况下，生成第二提示信息，所述第二提示信息用于提示可移动设备开启识别障碍物模式。
根据本申请实施例的第二方面，提供一种相机的外部参数标定装置，包括：
图像获取模块，被配置为执行获取相机移动过程中拍摄的第一图像，所述第一图像包括地面区域的图像；
坐标获取模块，被配置为执行获取所述地面区域的参考坐标；
参数得到模块，被配置为执行根据所述地面区域的参考坐标和所述地面区域的实际坐标，得到所述相机的参考外部参数，所述参考外部参数包括姿态角；
误差获取模块，被配置为执行获取预设时间段内所述相机的参数误差，所述相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差；
参数调整模块，被配置为执行在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，所述第一参考外部参数为参数误差在预设范围内的参考外部参数。
根据本申请实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如本申请实施例第一方面所述的相机的外部参数标定方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，包括：当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本申请实施例第一方面所述的相机的外部参数标定方法。
根据本申请实施例的第五方面，提供一种计算机程序产品，包括：所述计算机程序或指令被处理器执行时实现如本申请实施例第一方面所述的相机的外部参数标定方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请的实施例中，根据相机移动过程中拍摄的第一图像，获取到地面区域的参考坐标，并利用地面区域的参考坐标以及地面区域的实际坐标，计算出相机的参考外部参数，如此，无需额外放置测量标志即可计算出相机的外部参数，实现自动计算相机的参考外部参数。以及在预设时间段内相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，如此，利用参数误差序列来对相机的稳定性进行判断，以及根据相机的姿态稳定性来确定是否对相机的外部参数进行调整，从而实现自动调整相机的外部参数，减少进行人工标定的次数，达到自动校正优化相机的外部参数的目的，提高相机的工作效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
图1示出了本申请一个实施例提供的相机的外部参数标定方法的流程示意图；
图2示出了本申请一个实施例提供的相机的外部参数标定方法的流程示意图；
图3示出了本申请一个实施例提供的地砖角点检测的流程示意图；
图4示出了本申请一个实施例提供的语义分割图；
图5示出了本申请一个实施例提供的RCF边缘检测图；
图6示出了本申请一个实施例提供的第二边缘分割图；
图7示出了本申请一个实施例提供的细化中心线的示意图；
图8示出了本申请一个实施例提供的地砖边缘直线的示意图；
图9示出了本申请一个实施例提供的相机的外部参数标定装置框图；
图10示出了本申请一实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
首先，对本申请涉及的技术术语进行介绍：
相机标定简单来说是从世界坐标系转换为相机坐标系，再由相机坐标系转换为图像坐标系的过程。即相机的标定是指世界坐标到像素坐标的映射。
相机的内部参数是与相机自身特性相关参数，例如，相机的焦距以及像素大小等。相机的外部参数是相机在世界坐标系中的参数，例如相机的位置以及姿态角等。
世界坐标系是用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入。
相机坐标系是在相机上建立的坐标系，为了从相机的角度描述物体位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。
图像坐标系是为了描述成像过程中物体从相机坐标系到图像坐标系的投影透射关系而引入，方便进一步得到像素坐标系下的坐标。
二值图像是指图像中每个像素的灰度值不是取黑就是取白。二值图像可以理解为黑白图像。
灰度图像是指图像中每个像素可以由0到255的灰度值表示，具体表现为从全黑到全白中间有255个介于中间的灰色值可取。
形态学主要用于从图像中提取对表达和描绘区域形状有意义的图像分量。二值图像的基本形态学运算，包括腐蚀、膨胀、开和闭。所有形态学处理都是针对二值图像中前景物体进行的。
目前，相机的姿态标定主要使用棋盘格和标志物进行静态标定的方法，这种方法精度高，但是实施繁琐，并且在可移动设备上移动过程中，相机的外部参数会逐渐偏离最初的静态标定参数。
有鉴于此，本申请实施例提供了一种相机的外部参数标定方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。下面首先对本申请实施例所提供的相机的外部参数标定方法进行介绍。
需要说明的是，在本申请实施例中，相机可以集成在可移动设备上，可移动设备可以为可以自主运动的机器设备。由于相机固定在可移动设备上，相机在可移动设备上的位置的变化对鸟瞰图的影响较小。相机姿态的微小移动则会引起鸟瞰图的明显变化。因此相机抖动时，仅考虑相机姿态的改变。
图1示出了本申请一个实施例提供的相机的外部参数标定方法的流程示意图。如图1所示，相机的外部参数标定方法用于相机的外部参数标定装置中，包括以下步骤。
步骤S11，获取相机移动过程中拍摄的第一图像。
这里，第一图像可以为包含周围环境的图像。周围环境可以包括地面区域，地面区域可以为地面上利用固定形状的材料铺设的区域。固定形状的材料可以为可以在地面铺设的装修材料，如矩形的地板砖和矩形的木质地板等。第一图像可以包括地面区域的图像。
此外，周围环境还可以包括除地面区域的其它区域。其它区域可以为障碍物区域等非地面区域。
例如，周围环境可以为室内环境，室内空间由3面墙壁围成，室内地面铺设有地板砖。第一图像可以为包含室内环境的图像，可以包括由地板砖铺设的地面区域以及由三面墙壁构成的其它区域的图像。
在此需要说明的是，本申请实施例中，地面不仅可以指空间上的下方，还可以指相机在运动过程中的运动平面。也就是说，地面区域还可以指在相机的运动平面上利用固定形状的材料铺设的区域，例如，室内侧壁铺设有地板砖，相机沿室内侧壁运动，地面区域可以为由地板砖铺设的侧壁区域。在本申请实施例中，对地面区域的范围不做限制。
步骤S12，获取地面区域的参考坐标。
这里，地面区域的参考坐标可以为地面特征点的参考坐标。地面特征点可以为固定形状的材料的角点。相机的外部参数标定装置利用第一图像，获取地面区域的参考坐标。
步骤S13，根据地面区域的参考坐标和地面区域的实际坐标，得到相机的参考外部参数。
这里，相机的参考外部参数为拍摄的第一图像时相机的参考外部参数。考虑到由于相机固定在可移动设备上，相机在可移动设备上的位置的变化对鸟瞰图的影响较小。相机姿态的微小移动则会引起鸟瞰图的明显变化。因此，在相机抖动时，仅考虑相机姿态的改变，在本申请实施例中，可以将相机的姿态角作为相机的参考外部参数。地面区域的实际坐标可以为地面特征点的实际参考坐标。地面特征点的实际参考坐标可以根据材料的实际尺寸信息计算。例如一个80厘米的正方形地板砖，以地板砖的左下角为原点，建立局部坐标系，该局部坐标系与世界坐标系平行。如此，地板砖的其它三个角的坐标分别为(0，0.8，0)，(0.8，0，0)，(0.8，0.8，0)。
可选的，相机的外部参数标定装置根据地面区域的参考坐标和地面区域的实际坐标，利用共线方程求解相机的参考外部参数。
步骤S14，获取预设时间段内相机的参数误差。
这里，相机的参数误差可以为相机的参考外部参数与相机的外部参数之间的误差。初始的相机的外部参数可以根据相机的静态标定确定的。预设时间段内相机的参数误差可以为参数误差序列。相机的外部参数标定装置获取预设时间段内拍摄的多张第一图像，确定出与多张第一图像对应的相机的参考外部参数序列。并且计算出相机的参考外部参数序列与相机的外部参数之间的误差序列。
步骤S15，在预设时间段内相机的参数误差表征相机的姿态稳定的情况下，将相机的外部参数调整为第一参考外部参数。
这里，第一参考外部参数可以为参数误差在预设范围内的参考外部参数。相机的外部参数标定装置确定预设时间段内相机的参数误差表征相机的姿态稳定，将相机的外部参数更新为第一参考外参数。
在一些实施例中，为了使得相机的外部参数更加接近实际的外部参数，第一参考外部参数可以为参数误差在预设范围内的参考外部参数序列的众数，即第一参考外部参数可以参考外部参数序列出现最多的参考外部参数。参考外部参数序列可以包括预设时间段内参数误差在预设范围内的相机的参考外部参数。
在上述实施例中，根据相机移动过程中拍摄的第一图像，获取到地面区域的参考坐标，并利用地面区域的参考坐标以及地面区域的实际坐标，计算出相机的参考外部参数，如此，无需额外的测量标志即可计算出相机的外部参数，实现自动计算相机的参考外部参数。以及在预设时间段内相机的参数误差表征所述相机的姿态稳定的情况下，将相机的外部参数调整为第一参考外部参数，如此，利用参数误差序列来对相机的稳定性进行判断，以及根据相机的姿态稳定性来确定是否对相机的外部参数进行调整，从而实现自动调整相机的外部参数，减少进行人工标定的次数，达到自动校正优化相机的外部参数的目的，提高相机的工作效率。
下面介绍各个步骤的具体实现方式。
在一些实施例中，在步骤S11中，第一图像可以为畸形矫正后的图像。
这里，相机的外部参数标定装置获取相机的初始内部参数和初始外部参数。相机的初始内部参数和初始的外部参数可以通过对相机进行静态标定得到。相机的外部参数标定装置根据相机的初始内部参数和外部参数对相机拍摄的原始图像进行畸形矫正，得到第一图像。
在此需要说明的是，本申请实施例中，相机的初始外部参数除了通过静态标定得到，还可以通过其它标定方案得到，例如利用惯性传感器标定相机的初始外部参数。在本申请实施例中，对相机的初始外部参数的标定方法不做限制。
此外，本申请实施例中，相机的静态标定的过程可以如下：首先通过标定板标定相机的内参，然后以可移动设备的中心为坐标原点，以可移动设备前进方向为世界坐标系的X轴，Y轴指向右侧，Z轴垂直与XY平面，指向上，建立世界坐标系。然后通过在地面放置测量标志，确定测量标志在世界坐标系中的三维坐标，依据共线方程标定相机相对于地面的外部参数。以及，在静态标定过程中，确定相机与可移动设备的连接装置稳定，将静态标定得到的标定值作为相机的外部参数的真实值。
在一些实施例中，为了提高提取地面区域的准确性，在步骤S12中，获取地面区域的参考坐标，可以包括：
根据语义分割算法和边缘检测算法分别对第一图像进行分割，得到语义分割图和第一边缘分割图。
这里，前景是指图像中感兴趣的对象。图像语义分割算法结合了图像分类、目标检测和图像分割等算法，通过一定的方法将图像分割成具有不同语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的推理过程，最终得到具有对每个像素进行标注的分割图像。
在本申请实施例中，语义分割图可以包括以地面区域为前景的图像。相机的外部参数标定装置根据语义分割算法分割第一图像，得到具有一定语义含义的区域块，并识别出各个区域块的语义类别，提取标记为地面区域的像素，得到以地面区域作为前景的语义分割图。如此，利用语义分割算法对图像进行分割，可以将识别到的区别特征语义投影到像素空间上，从而可以提高对对象区域识别的准确性。
可选的，语义分割算法可以为基于深度学习的语义分割算法，例如基于候选区域的深度语义分割算法、基于全卷积的深度语义分割算法等。
这里，边缘检测是基于边界分割方法最基本的处理，边缘检测实质是采用某种算法提取图像中对象与背景间、对象与对象间的交界线。由于图像物体中的边缘表现为灰度变化。因此，在边缘检测算法中，可通过计算灰度的不连续性来增强和检测边缘。
在本申请实施例中，第一边缘分割图可以包括以地面区域的边缘为前景的图像以及以除地面区域外其它区域的边缘为前景的图像。相机的外部参数标定装置根据边缘检测算法分割第一图像，并识别出第一图像中各个区域的边缘，从而得到以各个区域边缘为前景的第一边缘分割图。可选地，边缘检测算法可以为基于深度学习的边缘检测算法，如基于更丰富特征(Richer Convolutional Features，RCF)的边缘检测模型。
需要说明的是，在本申请实施例中，语义分割图和第一边缘图均为二值图像。在上述图像中，前景的像素值与背景的像素值不同。在对第一图像进行分割后，还需对图像中前景进行形态学处理，从而得到语义分割图和第一边缘分割图。
对语义分割图和第一边缘分割图进行合并处理，得到第二边缘分割图。
这里，第二边缘分割图包括以地面区域的边缘为前景的图像。由于第一边缘分割图既包括地面区域的边缘，又包括除地面区域外的其它区域的边缘。因此，为了去除其它区域的边缘信息，保留地面区域的边缘，相机的外部参数标定装置对语义分割图和第一边缘分割图进行合并处理，求取两者的交集，得到第二边缘分割图。
需要说明的是，在本申请实施例中，在进行合并处理时，语义分割图中前景与第一边缘分割图中的前景颜色不一样。
在一些实施例中，在语义分割图和第一边缘分割图中，前景可以用白色表示，背景可以用黑色表示。在对语义分割图和第一边缘分割图进行合并处理之前，相机的外部参数标定装置需要对语义分割图进行取反处理，以使在语义分割图中，前景用黑色表示，背景用白色表示，从而达到语义分割图中前景与第一边缘分割图中的前景颜色不一样的效果。
这里，白色可以指灰度值为0，黑色可以指灰度值为255。
根据第二边缘分割图和第一图像，确定地面区域的边缘直线信息。
这里，地面区域的边缘直线信息可以包括地面区域的边缘直线的参数信息。根据地面区域的边缘直线信息，可以确定地面区域的边缘直线。地面区域的边缘直线可以为地面铺设的材料的边缘直线，例如地板砖的边缘直线。相机的外部参数标定装置根据第二边缘分割图中的地面区域的边缘直线信息，从第一图像中筛选出地面区域的边缘直线信息。如此，可以确定原始图像中地面区域的边缘直线。
根据地面区域的边缘直线信息，确定地面区域的参考坐标。
这里，地面区域的参考坐标可以为地面特征点的参考坐标。地面特征点可以为地面铺设的材料的角点。地面特征点在第二边缘分割图和第一图像可以为地面区域的边缘直线的交点。相机的外部参数标定装置根据地面区域的边缘直线信息，计算出地面区域的边缘直线交点，从而确定出地面区域的参考坐标。
在上述实施例中，利用语义分割算法来提取第一图像中地面区域的特征信息，从而利用了语义的信息分割并识别出地面区域，提高识别地面区域的准确性，有助于针对性地提取地面区域的特征信息。
在一些实施例中，根据第二边缘分割图和第一图像，确定地面区域的边缘直线信息，可以包括：
利用图像细化算法对第二边缘分割图进行处理，得到第三边缘分割图。
这里，图像细化是指二值图像的骨架化的一种操作运算。细化是将图像的线条从多像素宽度减少到单位像素宽度过程的简称。细化结果尽量是原图像的中心线。骨架是二维二值目标的重要拓扑描述。图像细化算法可以包括Hiditch算法、Pavlidis算法以及Rosenfeld算法等。
在本申请实施例中，第三边缘分割图包括地面区域的边缘连通域的骨架。地面区域的边缘连通域的骨架可以为地面区域的边缘直线的中心线。第三边缘分割图可以是将地面区域边缘直线细化后的图像。
例如，相机的外部参数标定装置利用Rosenfeld细化算法，对第二边缘分割图像中地面区域的边缘直线进行细化处理，得到地面区域的边缘连通域的骨架。
利用图像直线提取算法对第三边缘分割图进行处理，得到第一边缘直线信息。
这里，图像直线提取是指提取图像中的直线。图像直线提取算法可以包括霍夫变换和直线段检测(Line Segment Detector，LSD)等直线提取算法。其中，LSD算法一般是首先计算图像中所有点的梯度大小和方向，然后将梯度方向变化小且相邻的点作为一个连通域，接着根据每一个域的矩形度判断是否需要按照规则将其断开以形成多个矩形度较大的域，最后对生成的所有的域做改善和筛选，保留其中满足条件的域，即为最后的直线检测结果。
在本申请实施例中，第一边缘直线信息可以为第三边缘分割图中地面区域的边缘直线信息。边缘直线信息可以为边缘直线的参数信息，如边缘直线方程的参数向量。相机的外部参数标定装置利用图像直线提取算法对第三边缘分割图中地面区域的边缘直线进行提取，得到第一边缘直线信息。
例如，第一边缘直线表示为：
其中，i表示第i条边缘直线，npe表示第三边缘分割图中边缘直线的总数，和/>表示第i条边缘直线方程的参数，即边缘直线信息。
利用图像直线提取算法对第一图像进行处理，得到第二边缘直线信息。
这里，第二边缘直线信息可以包括第一图像中地面区域的边缘直线信息。相机的外部参数标定装置利用图像直线提取算法对第一图像中地面区域的边缘直线进行提取，得到第二边缘直线信息。
例如，第二边缘直线表示为：
其中，i表示第i条边缘直线，npo表示第一图像中边缘直线的总数，和/>表示第i条边缘直线方程的参数，即边缘直线信息。
根据第一边缘直线信息和第二边缘直线信息，计算第一边缘直线与第二边缘直线的余弦相似度。
这里，根据第一边缘直线信息可以确定第一边缘直线。根据第二边缘直线信息可以确定第二边缘直线。并且由于第一边缘直线与第二边缘直线为不同图像中的地面区域的边缘直线，因此，两者有对应关系。
由于从第一图像中提取的第二边缘直线信息可能存在不为地面区域的边缘直线信息，因此，相机的外部参数标定装置需要确定第一边缘直线与第二边缘直线是否相似，从而从第二边缘直线中筛选出属于地面区域的边缘直线。具体地，相机的外部参数标定装置根据计算第一边缘直线与第二边缘直线的余弦相似度，确认第一边缘直线与第二边缘直线是否相似。
此外，余弦相似度可以根据由第一边缘直线信息组成的向量与由第二边缘直线信息组成的向量计算得到。
例如，为第三边缘分割图中第i条边缘直线的直线参数组成的向量，/>为第一图像中第i条边缘直线中直线参数组成的向量，计算/>与/>的余弦相似度。
在第一边缘直线与第二边缘直线的余弦相似度小于阈值的情况下，确定第二边缘直线信息为地面区域的边缘直线信息。
这里，相机的外部参数标定装置根据第一边缘直线与第二边缘直线的余弦相似度与阈值的关系，筛选出符合条件的第二边缘直线。
在第一边缘直线与第二边缘直线的余弦相似度小于阈值的情况下，确认第二边缘直线属于地面区域的边缘直线，保留第二边缘直线。将第二边缘直线作为地面区域的边缘直线，确定第二边缘直线信息为地面区域的边缘直线信息。在第一边缘直线与第二边缘直线的余弦相似度大于阈值的情况下，确认第二边缘直线不属于地面区域的边缘直线，删除第二边缘直线。
例如，阈值为T，在与/>的余弦相似度小于T的情况下，确认/>属于地面区域的边缘直线，保留/>在/>与/>的余弦相似度大于T的情况下，确认/>不属于地面区域的边缘直线，删除/>
在上述实施例中，利用经过形态学处理得到的地面区域的边缘直线，筛选出第一图像中的地面区域的边缘直线，从而可以准确提取地面区域的边缘直线，以便后续地面特征点的提取。
在一些实施例中，根据地面区域的边缘直线信息，确定地面区域的参考坐标，可以包括：
根据地面区域的边缘直线信息，确定像素点集合。
这里，像素点集合可以包括二值图中地面区域的边缘直线的像素点集合。相机的外部参数标定装置根据第一图像中的地面区域的边缘直线信息，确定组成第一图像中的地面区域的边缘直线的像素点集合。将第一图像中的地面区域的边缘直线的像素点集合转换为二值图中地面区域的边缘直线的像素点集合。
对像素点集合进行平面拟合，得到地面区域的目标边缘直线信息。
这里，平面拟合是指平面上一系列的点，用一条光滑的曲线连接起来。拟合的曲线可以用函数表示。平面拟合可以采用各种算法实现，例如最小二乘法以及随机抽样一致算法(Random Sample Consensus，RANSAC)等算法。其中，RANSAC算法的基本思想是根据寻找的模型去拟合数据的思想，满足可行条件的尽量少的已知数据去得到一个初始解然后剔除异常数据，并使用一致性数据集去扩大已知数据集。
在本申请实施例中，目标边缘直线信息可以包括地面区域的拟合边缘直线信息。相机的外部参数标定装置根据边缘直线的像素点集合拟合地面区域的平面，得到地面区域的拟合平面，从而确定地面区域的拟合边缘直线信息。
可选的，相机的外部参数标定装置可以采用RANSAC算法对地面区域进行平面拟合，如此，可以剔除离群点，进一步提高了拟合地面区域的边缘直线的准确性。
根据地面区域的目标边缘直线信息，确定地面区域的参考坐标。
这里，相机的外部参数标定装置根据地面区域的拟合边缘直线信息，确定地面区域的参考坐标，如此，根据拟合的地面区域的边缘直线信息，提取地面区域特征点，可以进一步提高提取地面特征点的准确性。
在一些实施例中，根据地面区域的目标边缘直线信息，确定地面区域的参考坐标，可以包括：
根据地面区域的目标边缘直线信息，确定地面区域的边缘直线交点。
这里，地面区域的边缘直线交点可以为地面区域两条边缘直线的交点。相机的外部参数标定装置根据地面区域的拟合边缘直线信息，计算所有拟合边缘直线的交点，从而确定出地面区域的边缘直线的交点。
根据参考坐标系，确定与地面区域的边缘直线交点对应的地面区域的参考坐标。
这里，参考坐标系以目标边缘直线交点为原点，并且参考坐标系以沿边缘直线的横向为Y轴，以沿边缘直线的纵向为X轴。相机的外部参数标定装置根据构建的坐标系，将边缘直线交点的像素坐标转换至参考坐标系中，从而得到边缘直线交点的参考坐标。参考坐标可以为图像上的像素坐标。其中，目标边缘直线交点可以为任意一个边缘直线交点。
可选地，目标边缘直线交点包括靠近第一图像左下角的边缘直线交点。
此外，相机的外部参数标定装置将位于每条横向边缘直线上的交点列为一组，构建nx组坐标点，即最终的地面区域的参考点为P＝{Pi＝(xi,yi),i∈[1,nx]}，其中，x，y表示参考坐标系中坐标点的坐标。
在上述实施例中，通过对地面区域的平面拟合来确定地面区域的参考坐标，可以进一步保证提取特征点的准确性，以及减少检测错误点位带来的误差。
在一些实施例中，在步骤S15中，由于相机沿X轴方向运动，相机的航偏角对于鸟瞰图的影响可以忽略，因此，参数误差可以包括俯仰角和横滚角。如此，可以降低计算量，提高相机的外部参数标定的效率。
在一些实施例中，步骤S15，在预设时间段内相机的参数误差表征所述相机的姿态稳定的情况下，将相机的外部参数调整为第一参考外部参数，可以包括：
在参数误差的分布比率不大于第一阈值的情况下，将相机的外部参数调整为第一参考外部参数。
这里，相机的参数误差可以为相机的参考外部参数与相机的外部参数之间的误差。由于参考外部参数和外部参数可以包括姿态角。因此，相机的参数误差可以包括相机的姿态误差。相机的姿态误差可以属于高斯分布N[μ,σ2]，其中，μ表示期望，σ2表示标准差。参数误差的分布比率可以为预设范围内的参数误差在误差分布中所占的比率。
以及，参数误差的分布比率大于第一阈值，可以表示预设时间段内相机的参数误差表征所述相机的姿态稳定。相机的外部参数标定装置比较参数误差的分布比率与第一阈值的大小，确定相机的姿态是否稳定，从而确定是否将相机的外部参数调整为第一参考外部参数。例如，相机的外部参数标定装置在确定参数误差的分布比率大于第一阈值的情况下，确定出相机的姿态稳定，将相机的外部参数调整为第一参考外部参数。
在一些实施例中，预设范围可以为[μ-3σ,μ+3σ]。
在一些实施例中，参数误差的分布比率不大于第一阈值，可以表示预设时间段内相机的参数误差表征所述相机的姿态不稳定。
在上述实施例中，通过对预设时间段内参数误差的判断来确定相机的姿态是否稳定，可以减少对相机稳定性的误判次数，同时，可以及时调整相机的外部参数，提高相机的外部参数的稳定性。
在一些实施例中，在步骤S14，获取预设时间段内相机的参数误差之后，该方法还包括：
在预设时间段内相机的参数误差表征相机的姿态不稳定的情况下，生成第一提示信息。
这里，第一提示信息用于提示对相机的外部参数进行静态标定。相机的姿态不稳定表示相机的抖动在不可接受范围内，相机需要重新进行静态标定。相机的外部参数标定装置在确定相机的姿态不稳定的情况下，确定相机需要重新进行静态标定，生成第一提示信息。
在上述实施例中，可以在相机存在较大抖动时，提示用户对相机重新进行静态标定，如此，可以及时对相机进行静态标定，以便及时更新相机的外部参数，从而提高相机的外部参数的精度，使得鸟瞰图的准确率提高，以及环境测量的精度提高。
在一些实施例中，在步骤S14，获取预设时间段内相机的参数误差之后，该方法还包括：
在预设时间段内相机的参数误差表征相机的姿态不稳定的情况下，生成第二提示信息。
这里，第二提示信息用于提示可移动设备开启识别障碍物模式。相机集成在可移动设备上。可移动设备可以为可自主运动的机器，相机跟随可移动设备运动。通过判断相机的稳定性可以间接判断周围环境状况。相机的姿态不稳定表示相机的抖动在不可接受范围内。相机的外部参数标定装置在确定相机的姿态不稳定的情况下，确定周围环境中障碍物太多，生成第二提示信息。如此，可以在周围环境复杂时，提示可移动设备主动识别障碍物，进行有效避障。
在一些实施例中，为了及时更新相机的外部参考参数，以及使得可移动设备及时避开障碍物，在步骤S14，获取预设时间段内相机的参数误差之后，该方法还包括：
在预设时间段内相机的参数误差表征相机的姿态不稳定的情况下，生成第一提示信息和第二提示信息。
在上述实施例中，可以在相机存在较大抖动时，提示用户对相机重新进行静态标定，以及提示可移动设备开启识别障碍物模式。如此，不仅可以及时对相机进行静态标定，以便及时更新相机的外部参数，还可以在周围环境复杂时，提示可移动设备主动识别障碍物，进行有效避障。
在一些实施例中，在步骤S14，获取预设时间段内相机的参数误差之前，该方法还包括：
获取可移动设备运动的路况信息。
在路况信息表示路况不平稳的情况下，确定获取预设时间段内相机的参数误差。
这里，根据路况信息可以确定路况是否平稳。例如，路况信息可以为路况平稳，或者路况不平稳。需要说明的是，在本申请实施例中，获取可移动设备运动的路况信息的方式有多种，例如，接收输入的路况信息，获取路况信息。或者，通过其它测量元件的测量数据，计算路况信息。
在一些实施例中，在路况信息表示路况平稳的情况下，相机的外部参数标定装置根据实时的参数误差与第二阈值的大小，确定是否更新相机的外部参数。
例如，在实时的参数误差小于第二阈值的情况下，相机的外部参数标定装置无需更新相机的外部参数。
在实时的参数误差小于第二阈值的情况下，相机的外部参数标定装置更新相机的外部参数。
在一些实施例中，在实时的参数误差小于第二阈值的情况下，将相机的外部参数调整为第一参考外部参数。
在上述实施例中，通过路况信息来对相机的外部参数标定方式进行选择，可以进一步优化相机的外部参数标定方法，减少在相机标定过程中非必要的计算量，提高标定相机的工作效率。
为了进一步理解本申请实施例提供的相机的外部参数标定方法，本申请实施例还提供另一种相机的外部参数标定方法，以对安装在可移动设备上的相机进行外部参数标定为例进行说明。图2示出了本申请一个实施例提供的相机的外部参数标定方法的流程示意图。如图2所示，相机的外部参数标定方法包括：
步骤S21，获取相机的静态标定参数。
这里，相机的静态标定的过程可以为：首先通过标定板标定相机的内参。然后以可移动设备的中心为坐标原点，以可移动设备前进方向为世界坐标系的X轴，Y轴指向右侧，Z轴垂直与XY平面，指向上，建立世界坐标系。然后通过在地面放置测量标志，确定测量标志在世界坐标系中的三维坐标，依据共线方程标定相机相对于地面的外部参数。以及，在静态标定过程中，确定相机与可移动设备的连接装置稳定，将静态标定得到的标定值作为相机的外部参数的真实值。
步骤S22，指示相机正常移动。
步骤S23，基于地砖(即地面上铺设的材料)检测实时计算相机的参考外部参数，并且保存参考外部参数至参数队列中。
这里，获取相机在移动过程中拍摄的图像。根据图像中的地砖的信息，实时计算相机的参考外部参数。
步骤S24，根据接收的指令，确定是否统计相机误差分布状况。在确定统计相机误差分布状况的情况下，转入步骤S25。在确定不统计相机误差分布状况的情况下，转入步骤S211。
这里，相机误差(即相机的参数误差)可以为相机的参考外部参数与相机的外部参数之间的误差。外部参数包括姿态角。姿态角的误差分布服从高斯分布。
需要说明的是，由于相机固定在可移动设备上，相机位置的变化对鸟瞰图的影响较小。相机姿态的微小移动则会引起鸟瞰图的明显变化，因此在相机抖动时，仅考虑机器姿态的改变。
在一些实施例中，由于可移动设备沿X轴方向前进，相机的姿态角中航偏角对于鸟瞰图的影响可以忽略，因此，为了减少计算量，相机误差可以包括俯仰角的误差以及横滚角的误差。
步骤S25，确定可移动设备运动场景路况复杂。
步骤S26，统计预设时间段内相机的参数误差序列。
这里，按照步骤S22，实时标定相机运动过程中的姿态。根据相机的实时姿态与静态标定参数中的姿态，计算出相机的实时参数误差。统计预设时间段内的参数误差，得到参数误差序列。并且将参数误差序列存储在误差队列中。
步骤S27，计算参数误差的分布比率。
这里，参数误差的分布比率可以为预设范围内的参数误差在误差分布中所占的比率。例如，参数误差包括俯仰角的误差以及横滚角的误差，统计俯仰角的误差以及横滚角的误差分别满足[μpitch-3σpitch,μpitch+3σpitch]，[μroll-3σroll,μroll+3σroll]阈值的误差序列以及/>计算满足上述阈值的误差在各自误差分布中占的比率ρpitch，以及ρroll。
步骤S28，比较参数误差的分布比率是否小于第一阈值。在参数误差的分布比率小于或等于第一阈值的情况下，转入步骤S29。在参数误差的分布比率大于第一阈值的情况下，转入步骤S210。
步骤S29，在参数误差的分布比率小于或等于第一阈值的情况下，确定相机的外部参数与实际外部参数有较大偏差。转入步骤S21。
这里，在参数误差的分布比率小于或等于第一阈值的情况下，相机的抖动在不可接受范围内，相机的外部参数与实际外部参数存在较大偏差，需要重新进行静态标定。
在一些实施例中，在参数误差的分布比率小于或等于第一阈值的情况下，生成第一提示信息。
这里，第一提示信息用于提示对相机的外部参数进行静态标定。可以在相机存在较大抖动时，提示用户对相机重新进行静态标定，如此，可以及时对相机进行静态标定，以便及时更新相机的外部参数，从而提高相机的外部参数的精度，使得鸟瞰图的准确率提高，以及环境测量的精度提高。
在一些实施例中，在参数误差的分布比率小于或等于第一阈值的情况下，生成第二提示信息。
这里，第二提示信息用于提示可移动设备开启识别障碍物模式。如此，通过判断相机的稳定性可以间接判断周围环境状况，可以在周围环境复杂时，提示可移动设备主动识别障碍物，进行有效避障。
在一些实施例中，在参数误差的分布比率小于或等于第一阈值的情况下，生成第一提示信息和第二提示信息。
步骤S210，在参数误差的分布比率大于第一阈值的情况下，确定相机的外部参数与实际外部参数未有较大偏差。
步骤S211，按照三倍标准差，从参数队列中选择参数序列的众数(第一参考外部参数)，优化当前相机的外部参数(即将相机的外部参数调整为第一参考外部参数)。
步骤S212，确定可移动设备运动场景路况平整。
步骤S213，计算相机的外部参数的实时偏差情况。
步骤S214，比较相机的外部参数的实时偏差是否大于第二阈值。在相机的外部参数的实时偏差大于第二阈值的情况下，转入步骤S211。在相机的外部参数的实时偏差小于第二阈值的情况下，转入步骤S22。
在一些实施例中，步骤S22，基于地砖实时计算相机的参考外部参数，可以包括地砖角点信息以及相机的动态标定等过程。其中，地砖角点信息是指通过语义分割方法分割室内地砖边缘信息，再通过边缘信息检测地砖角点位置。相机动态标定是指基于静态初始外参和检测到的地板角点信息，建立损失函数将地砖角点拟合到同一地平面上，得到新的相机的外部参数，以便优化相机的外部参数。
图3示出了本申请一个实施例提供的地砖角点检测的流程示意图。如图3所示，地砖角点信息，包括以下步骤：
步骤S221，对图像进行畸变矫正，获取第一图像P0。
步骤S222，基于双边分割网络(Bilateral Segmentation Network，BiSeNet)的语义分割算法对第一图像进行分割，得到BiSeNet语义分割图PS(即语义分割图)。
这里，图4示出了本申请一个实施例提供的语义分割图。参见图4，PS为二值图像。在PS中，地面区域为前景。前景像素值为255，背景像素值为0
步骤S223，基于RCF边缘检测算法对第一图像进行分割，得到RCF边缘检测图(即第一边缘分割图)PE。
这里，图5示出了本申请一个实施例提供的RCF边缘检测图。参见图5，PE为二值图像。在PE中，既包括地砖边缘(即地面区域的边缘)，又包括机柜、墙壁等其它无关区域物体的边缘(即除所述地面区域外其它区域的边缘)。前景像素值为255，背景像素值为0。
在此需要说明的是，步骤S222与步骤S223不分先后顺序。
步骤S224，求取PS和PE的交集，得到第二边缘分割图PE1。
这里，在求取PS和PE的交集，需要对PS进行取反，即将前景像素值变换为0，背景像素值为255。图6示出了本申请一个实施例提供的第二边缘分割图。参见图6，在PE1中，包括地砖边缘。
步骤S225，基于Rosenfeld细化算法细化PE1中地砖边缘的中心线。
这里，图7示出了本申请一个实施例提供的细化中心线的示意图。参见图7，采用Rosenfield细化算法，对边缘分割图PE1进行处理，提取地砖边缘连通域的骨架。
步骤S226，基于LSD直线提取算法检测地砖边缘的直线。
这里，图8示出了本申请一个实施例提供的地砖边缘直线的示意图。参见图8，采用LSD算法在细化后的二值图像中检测出地砖边缘直线(即第一边缘直线)：
步骤S227，基于LSD直线提取算法检测第一图像中地砖边缘直线(即第二边缘直线)。
这里，采用LSD算法对第一图像P0进行检测，得到P0上的边缘直线：
在此需要说明的是，步骤S227与步骤S222至步骤S226不分先后顺序。
步骤S228，基于RANSAC算法拟合地砖边缘直线。
这里，P0上的地砖边缘直线与细化后的二值图像中的地砖边缘直线是对应的关系，故第一边缘直线在第二边缘直线中，从第二边缘直线中筛选出与第一边缘直线相似的直线。
边缘直线筛选方法为：为细化后的二值图像中第i条边缘直线参数组成的向量，/>为第一图像中第i条边缘直线参数组成的向量，计算/>与的余弦相似度。在余弦相似度小于阈值的情况下，保留/>在余弦相似度大于阈值的情况下，删除/>
将组成P0地砖边缘直线的像素点集合，变换为组成与P0对应的二值图像中的地砖边缘直线的像素点集合。采用RANSAC算法进行拟合，得到最终的地砖边缘直线。
步骤S229，筛选坐标点(即地面区域的参考坐标)。
这里，求取所有地砖边缘直线的交点，以最靠近左下角的坐标点作为坐标原点，每条横向直线上的交点为一组，构建组坐标点序列，即为最终标定参考坐标点P＝{Pi＝(xi,yi),i∈[1,nx]}。
在一些实施例中，相机动态标定可以使用地砖检测算法，可以实时获取地砖在图像上的像素坐标。地砖的真实尺寸已知，以地砖的左上角为原点，建立局部坐标系，局部坐标系的XYZ轴与世界坐标系平行。根据共线方程可以解算相机的外部参数。
图9示出了本申请一个实施例提供的相机的外部参数标定装置框图。参照图9，相机的外部参数标定装置30包括图像获取模块31、坐标获取模块32、参数得到模块33、误差获取模块34以及参数调整模块35。
图像获取模块31，被配置为执行获取相机移动过程中拍摄的第一图像。第一图像包括地面区域的图像。
坐标获取模块32，被配置为执行获取地面区域的参考坐标。
参数得到模块33，被配置为执行根据地面区域的参考坐标和地面区域的实际坐标，得到相机的参考外部参数。参考外部参数包括姿态角。
误差获取模块34，被配置为执行获取预设时间段内所述相机的参数误差。相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差。
参数调整模块35，被配置为执行在所述预设时间段内相机的参数误差表征所述相机的姿态稳定的情况下，将相机的外部参数调整为第一参考外部参数。第一参考外部参数为参数误差在预设范围内的参考外部参数。
在上述实施例中，根据相机移动过程中拍摄的第一图像，获取到地面区域的参考坐标，并利用地面区域的参考坐标以及地面区域的实际坐标，计算出相机的参考外部参数，如此，无需额外的测量标志即可计算出相机的外部参数，实现自动计算相机的参考外部参数。以及在预设时间段内相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，如此，利用参数误差序列来对相机的稳定性进行判断，以及根据相机的姿态稳定性来确定是否对相机的外部参数进行调整，从而实现自动调整相机的外部参数，减少进行人工标定的次数，达到自动校正优化相机的外部参数的目的，提高相机的工作效率。
在一些实施例中，参数调整模块35，具体被配置为执行在参数误差的分布比率不大于第一阈值的情况下，将相机的外部参数调整为第一参考外部参数。参数误差的分布比率为所述预设范围内的参数误差在误差分布中所占的比率。
在一些实施例中，坐标获取模块32包括：
分割子模块，被配置为执行根据语义分割算法和边缘检测算法分别对第一图像进行分割，得到语义分割图和第一边缘分割图。语义分割图包括以地面区域为前景的图像。第一边缘分割图包括以地面区域的边缘为前景的图像以及以除地面区域外其它区域的边缘为前景的图像。
合并子模块，被配置为执行对语义分割图和第一边缘分割图进行合并处理，得到第二边缘分割图。第二边缘分割图包括以地面区域的边缘为前景的图像。
边缘直线确定子模块，被配置为执行根据第二边缘分割图和所述第一图像，确定地面区域的边缘直线信息。
坐标确定子模块，被配置为执行根据地面区域的边缘直线信息，确定地面区域的参考坐标。
在一些实施例中，边缘直线确定子模块，具体被配置为执行利用图像细化算法对第二边缘分割图进行处理，得到第三边缘分割图，第三边缘分割图包括地面区域的边缘连通域的骨架；利用图像直线提取算法对第三边缘分割图进行处理，得到第一边缘直线信息；利用图像直线提取算法对第一图像进行处理，得到第二边缘直线信息；根据第一边缘直线信息和第二边缘直线信息，计算第一边缘直线与第二边缘直线的余弦相似度；在第一边缘直线与第二边缘直线的余弦相似度小于阈值的情况下，确定第二边缘直线信息为地面区域的边缘直线信息。
在一些实施例中，坐标确定子模块，具体被配置为执行根据地面区域的边缘直线信息，确定像素点集合，像素点集合包括地面区域边缘直线的像素点集合；对像素点集合进行平面拟合，得到地面区域的目标边缘直线信息；根据地面区域的目标边缘直线信息，确定地面区域的参考坐标。
在一些实施例中，坐标确定子模块，还被配置为根据地面区域的目标边缘直线信息，确定地面区域的边缘直线交点；根据参考坐标系，确定与地面区域的边缘直线交点对应的地面区域的参考坐标。参考坐标系以目标边缘直线交点为原点。
在一些实施例中，该装置还包括第一生成模块。
第一生成模块，被配置为执行在预设时间段内相机的参数误差表征相机的姿态不稳定的情况下，生成第一提示信息。第一提示信息用于提示对相机的外部参数进行静态标定。
在一些实施例中，该装置还包括第二生成模块。
第二生成模块，被配置为执行在预设时间段内相机的参数误差表征相机的姿态不稳定的情况下，生成第二提示信息。第二提示信息用于提示可移动设备开启识别障碍物模式。
本申请实施例提供的相机的外部参数标定装置能够实现图1至图3的方法实施例实现的各个过程，并能够达到相同的有益效果，为避免重复，这里不再赘述。
图10示出了本申请一实施例提供的电子设备的硬件结构示意图。
电子设备可以包括处理器41以及存储有计算机程序指令的存储器42。
具体地，上述处理器41可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器42可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器42可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器42可包括可移除或不可移除(或固定)的介质。在特定实施例中，存储器42是非易失性固态存储器。
存储器可包括只读存储器(ROM)，随机存取存储器(RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请的第一方面的方法所描述的操作。
处理器41通过读取并执行存储器42中存储的计算机程序指令，以实现上述实施例中的任意一种相机的外部参数标定方法。
在一个示例中，电子设备还可包括通信接口43和总线44。其中，如图10所示，处理器41、存储器42、通信接口43通过总线44连接并完成相互间的通信。
通信接口43，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线44包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线44可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以基于相机移动过程中拍摄的第一图像执行本申请实施例中的相机的外部参数标定方法，从而实现结合图1、图2、图3以及图9描述的相机的外部参数标定方法和装置。
另外，结合上述实施例中的相机的外部参数标定方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种相机的外部参数标定方法。
此外，结合上述实施例中的相机的外部参数标定方法，本申请实施例可提供一种计算机程序产品，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备、移动终端或其中的处理器执行本申请各个实施例所述相机的外部参数标定方法的全部或部分步骤。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (10)

1.一种相机的外部参数标定方法，其特征在于，包括：
获取相机移动过程中拍摄的第一图像，所述第一图像包括地面区域的图像；
获取所述地面区域的参考坐标；
根据所述地面区域的参考坐标和所述地面区域的实际坐标，得到所述相机的参考外部参数，所述参考外部参数包括姿态角；
获取预设时间段内所述相机的参数误差，所述相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差；
在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，所述第一参考外部参数为参数误差在预设范围内的参考外部参数；
所述获取地面区域的参考坐标，包括：
根据语义分割算法和边缘检测算法分别对第一图像进行分割，得到语义分割图和第一边缘分割图，所述语义分割图包括以所述地面区域为前景的图像，所述第一边缘分割图包括以所述地面区域的边缘为前景的图像以及以除所述地面区域外其它区域的边缘为前景的图像；
对所述语义分割图和所述第一边缘分割图进行合并处理，得到第二边缘分割图，所述第二边缘分割图包括以所述地面区域的边缘为前景的图像；
根据所述第二边缘分割图和所述第一图像，确定所述地面区域的边缘直线信息；
根据所述地面区域的边缘直线信息，确定所述地面区域的参考坐标；
所述根据所述第二边缘分割图和所述第一图像，确定所述地面区域的边缘直线信息，包括：
利用图像细化算法对所述第二边缘分割图进行处理，得到第三边缘分割图，所述第三边缘分割图包括地面区域的边缘连通域的骨架；
利用图像直线提取算法对所述第三边缘分割图进行处理，得到第一边缘直线信息；
利用图像直线提取算法对所述第一图像进行处理，得到第二边缘直线信息；
根据所述第一边缘直线信息和所述第二边缘直线信息，计算第一边缘直线与第二边缘直线的余弦相似度；
在所述第一边缘直线与所述第二边缘直线的余弦相似度小于阈值的情况下，确定所述第二边缘直线信息为所述地面区域的边缘直线信息。
2.根据权利要求1所述的方法，其特征在于，在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，包括：
在参数误差的分布比率不大于第一阈值的情况下，将所述相机的外部参数调整为第一参考外部参数，所述参数误差的分布比率为所述预设范围内的参数误差在误差分布中所占的比率。
3.根据权利要求1所述的方法，其特征在于，所述根据所述地面区域的边缘直线信息，确定所述地面区域的参考坐标，包括：
根据所述地面区域的边缘直线信息，确定像素点集合，所述像素点集合包括地面区域边缘直线的像素点集合；
对所述像素点集合进行平面拟合，得到所述地面区域的目标边缘直线信息；
根据所述地面区域的目标边缘直线信息，确定所述地面区域的参考坐标。
4.根据权利要求3所述的方法，其特征在于，所述根据所述地面区域的目标边缘直线信息，确定所述地面区域的参考坐标，包括：
根据所述地面区域的目标边缘直线信息，确定所述地面区域的边缘直线交点；
根据参考坐标系，确定与所述地面区域的边缘直线交点对应的所述地面区域的参考坐标，所述参考坐标系以目标边缘直线交点为原点。
5.根据权利要求1所述的方法，其特征在于，在所述获取预设时间段内相机的参数误差之后，所述方法还包括：
在所述预设时间段内所述相机的参数误差表征所述相机的姿态不稳定的情况下，生成第一提示信息，所述第一提示信息用于提示对所述相机的外部参数进行静态标定。
6.根据权利要求1所述的方法，其特征在于，在获取预设时间段内相机的参数误差之后，所述方法还包括：
在所述预设时间段内所述相机的参数误差表征所述相机的姿态不稳定的情况下，生成第二提示信息，所述第二提示信息用于提示可移动设备开启识别障碍物模式。
7.一种相机的外部参数标定装置，其特征在于，包括：
图像获取模块，被配置为执行获取相机移动过程中拍摄的第一图像，所述第一图像包括地面区域的图像；
坐标获取模块，被配置为执行获取所述地面区域的参考坐标；
参数得到模块，被配置为执行根据所述地面区域的参考坐标和所述地面区域的实际坐标，得到所述相机的参考外部参数，所述参考外部参数包括姿态角；
误差获取模块，被配置为执行获取预设时间段内所述相机的参数误差，所述相机的参数误差为所述相机的参考外部参数与所述相机的外部参数之间的误差；
参数调整模块，被配置为执行在所述预设时间段内所述相机的参数误差表征所述相机的姿态稳定的情况下，将所述相机的外部参数调整为第一参考外部参数，所述第一参考外部参数为参数误差在预设范围内的参考外部参数；
所述坐标获取模块包括：
分割子模块，被配置为执行根据语义分割算法和边缘检测算法分别对第一图像进行分割，得到语义分割图和第一边缘分割图，所述语义分割图包括以所述地面区域为前景的图像，所述第一边缘分割图包括以所述地面区域的边缘为前景的图像以及以除所述地面区域外其它区域的边缘为前景的图像；
合并子模块，被配置为执行对所述语义分割图和所述第一边缘分割图进行合并处理，得到第二边缘分割图，所述第二边缘分割图包括以所述地面区域的边缘为前景的图像；
边缘直线确定子模块，被配置为执行根据所述第二边缘分割图和所述第一图像，确定所述地面区域的边缘直线信息；
坐标确定子模块，被配置为执行根据所述地面区域的边缘直线信息，确定所述地面区域的参考坐标；
所述边缘直线确定子模块，具体被配置为执行利用图像细化算法对所述第二边缘分割图进行处理，得到第三边缘分割图，所述第三边缘分割图包括地面区域的边缘连通域的骨架；
利用图像直线提取算法对所述第三边缘分割图进行处理，得到第一边缘直线信息；
利用图像直线提取算法对所述第一图像进行处理，得到第二边缘直线信息；
根据所述第一边缘直线信息和所述第二边缘直线信息，计算第一边缘直线与第二边缘直线的余弦相似度；
在所述第一边缘直线与所述第二边缘直线的余弦相似度小于阈值的情况下，确定所述第二边缘直线信息为所述地面区域的边缘直线信息。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的相机的外部参数标定方法。
9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至6中任一项所述的相机的外部参数标定方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序或指令被处理器执行时实现如权利要求1至6中任一项所述的相机的外部参数标定方法。
CN202110320713.6A 2021-03-25 2021-03-25 相机的外部参数标定方法及相关装置 Active CN113034613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110320713.6A CN113034613B (zh) 2021-03-25 2021-03-25 相机的外部参数标定方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110320713.6A CN113034613B (zh) 2021-03-25 2021-03-25 相机的外部参数标定方法及相关装置

Publications (2)

Publication Number Publication Date
CN113034613A CN113034613A (zh) 2021-06-25
CN113034613B true CN113034613B (zh) 2023-09-19

Family

ID=76473871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110320713.6A Active CN113034613B (zh) 2021-03-25 2021-03-25 相机的外部参数标定方法及相关装置

Country Status (1)

Country Link
CN (1) CN113034613B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430462B (zh) * 2022-04-07 2022-07-05 北京御航智能科技有限公司 无人机自主拍照参数调整方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN109408856A (zh) * 2018-09-04 2019-03-01 顺丰科技有限公司 多相机的地面标定方法、装置、设备及存储介质
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统
CN111931550A (zh) * 2020-05-22 2020-11-13 天津大学 一种基于智能距离感知技术的婴儿监护方法
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112180362A (zh) * 2019-07-05 2021-01-05 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037575A1 (zh) * 2018-08-22 2020-02-27 深圳市大疆创新科技有限公司 图像深度估计方法、装置、可读存储介质及电子设备
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784672A (zh) * 2016-08-26 2018-03-09 百度在线网络技术（北京）有限公司 用于获取车载相机的外部参数的方法和装置
CN109408856A (zh) * 2018-09-04 2019-03-01 顺丰科技有限公司 多相机的地面标定方法、装置、设备及存储介质
CN112180362A (zh) * 2019-07-05 2021-01-05 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
CN110660023A (zh) * 2019-09-12 2020-01-07 中国测绘科学研究院 一种基于图像语义分割的视频拼接方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统
CN111931550A (zh) * 2020-05-22 2020-11-13 天津大学 一种基于智能距离感知技术的婴儿监护方法
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于单目视觉的堆叠箱体工件空间位姿求解研究;刘年福;中国优秀硕士学位论文全文数据库 (基础科学辑);I138-1250 *

Also Published As

Publication number Publication date
CN113034613A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN107844750B (zh) 一种水面全景图像目标检测识别方法
CN110919653B (zh) 机器人的爬楼控制方法、装置、存储介质和机器人
CN110930459B (zh) 灭点提取方法、相机标定方法以及存储介质
Zhou et al. Efficient road detection and tracking for unmanned aerial vehicle
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
Arróspide et al. Homography-based ground plane detection using a single on-board camera
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN112200771B (zh) 一种高度测量方法、装置、设备和介质
Muñoz-Bañón et al. Targetless camera-LiDAR calibration in unstructured environments
CN109919002B (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN103106659A (zh) 基于双目视觉稀疏点匹配的空旷区域目标检测与跟踪方法
CN104820996A (zh) 一种基于视频的自适应分块的目标跟踪方法
CN114419165B (zh) 相机外参校正方法、装置、电子设备和存储介质
CN106558051A (zh) 一种改进的从单幅图像检测道路的方法
CN111149131A (zh) 区划线识别装置
Li et al. Road markings extraction based on threshold segmentation
CN113034613B (zh) 相机的外部参数标定方法及相关装置
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN111667429B (zh) 一种巡检机器人目标定位校正方法
CN109102520A (zh) 基于模糊均值聚类与卡尔曼滤波跟踪相结合的运动目标检测方法
EP4052224B1 (en) Method for generating a three dimensional, 3d, model
CN116385994A (zh) 一种三维道路线提取方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant