CN110363821B - 单目相机安装偏差角的获取方法、装置、相机及存储介质 - Google Patents

单目相机安装偏差角的获取方法、装置、相机及存储介质 Download PDF

Info

Publication number
CN110363821B
CN110363821B CN201910629440.6A CN201910629440A CN110363821B CN 110363821 B CN110363821 B CN 110363821B CN 201910629440 A CN201910629440 A CN 201910629440A CN 110363821 B CN110363821 B CN 110363821B
Authority
CN
China
Prior art keywords
monocular
camera
acceleration information
coordinate system
monocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910629440.6A
Other languages
English (en)
Other versions
CN110363821A (zh
Inventor
郝冰涛
熊君君
王治金
叶攀
王向鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN201910629440.6A priority Critical patent/CN110363821B/zh
Publication of CN110363821A publication Critical patent/CN110363821A/zh
Application granted granted Critical
Publication of CN110363821B publication Critical patent/CN110363821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本申请实施例公开了一种单目相机安装偏差角的获取方法、装置、相机及存储介质，单目相机安装在可移动设备上，该获取方法包括：获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。本申请能够不受拍照场景的限制，不依靠测量工具，仅依靠相机拍照完成相机安装偏差角的检测，提高相机安装偏差角获取的便捷度。

Description

单目相机安装偏差角的获取方法、装置、相机及存储介质
技术领域
本申请涉及检测技术领域，具体涉及一种单目相机安装偏差角的获取方法、装置、相机及存储介质。
背景技术
在快递用三轮车和摩托车上放置单目相机进行视频采集时，往往难以保证相机相对车体完全水平，有时很容易出现相机装斜、装偏的情况，因此进行相机相对车体安装偏差角的快速检测十分必要。传统的相机相对车体安装偏差角检测方法，主要存在以下问题：1、检测时需要拍摄特定的目标，比如拍摄目标为两条平行的车道线，或者目标为特制的棋盘格标定板；2、通过别的测量设备辅助检测，比如水平仪、倾角仪等。这些现实情况给相机相对车辆安装偏差角的检测带来了很大的难题。
也即，现有技术中，检测相机相对可移动设备的安装偏差角，会受拍照场景的限制，需要依靠测量工具，降低了相机安装偏差角获取的便捷度。
发明内容
本申请实施例提供一种单目相机安装偏差角的获取方法、装置、相机及存储介质，能够不受拍照场景的限制，不依靠测量工具，仅依靠相机拍照完成相机安装偏差角的检测，提高相机安装偏差角获取的便捷度。
第一方面，本申请提供一种单目相机安装偏差角的获取装置，所述单目相机安装在可移动设备上，所述获取装置包括：
获取单元，用于获取单目相机拍摄的多帧图像；
初始化单元，用于根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系；
运动轨迹计算单元，用于基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹；
安装偏差角计算单元，用于基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，所述安装偏差角包括所述单目相机相对所述可移动设备的第一俯仰角和航向角。
其中，所述可移动设备上安装有加速度计，所述获取单元具体用于：
通过所述加速度计获取所述可移动设备的三轴加速度信息；
判断所述三轴加速度信息是否满足预设的加速度条件；
若否，则所述初始化单元根据所述多帧图像对所述单目相机进行单目视觉初始化，得到所述单目视觉坐标系。
其中，所述三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数，每个三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息，
所述初始化单元具体还用于：
获取n个所述第一加速度信息的第一标准差、n个所述第二加速度信息的第二标准差以及n个所述第三加速度信息的第三标准差；
分别判断所述第一标准差是否小于第一预设值，所述第二标准差是否小于第二预设值，所述第三标准差是否小于第三预设值；
若所述第一标准差不小于第一预设值，或所述第二标准差不小于第二预设值，或所述第三标准差不小于第三预设值，则所述三轴加速度信息不满足预设的加速度条件。
其中，所述安装偏差角还包括所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角，所述安装偏差角计算单元具体用于：
若所述三轴加速度信息满足所述预设的加速度条件，则分别获取n个所述第一加速度信息的第一平均值、n个所述第二加速度信息的第二平均值、n个所述第三加速度信息的第三平均值，以及所述加速度计相对所述单目相机的相对位置；
基于所述第一平均值、所述第二平均值、所述第三平均值以及所述相对位置，计算所述第二俯仰角和所述第一横滚角。
其中，所述相对位置包括所述加速度计相对所述单目相机的旋转矩阵，所述安装偏差角计算单元具体还用于：
分别对所述第一平均值、所述第二平均值以及所述第三平均值进行归一化处理，得到第一归一化值、第二归一化值以及第三归一化值；
根据所述第二归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第三俯仰角；
根据所述第一归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第二横滚角；
根据所述第三俯仰角、所述第二横滚角、所述加速度计相对所述单目相机的旋转矩阵，计算所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角。
其中，所述初始化单元还具体用于：
通过预设抽样策略，对所述多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵；
基于所述对极几何矩阵，计算所述多帧图像中的至少两帧图像的帧间位姿；
基于所述多帧图像中的至少两帧图像的帧间位姿和预设三角化策略，建立所述单目视觉坐标系。
其中，所述初始化单元具体还用于：
从所述多帧图像中提取特征点；
通过特征点匹配，从所述多帧图像中获取第一初始帧和第二初始帧，其中，所述第一初始帧与所述第二初始帧之间的匹配特征点的数量大于第四预设值；
通过预设抽样策略，对所述第一初始帧与所述第二初始帧之间的匹配特征点进行抽样计算，得到所述对极几何矩阵。
其中，所述运动轨迹计算单元具体还用于：
从所述多帧图像中提取m个连续的关键帧，其中，m为正整数，且不小于3；
基于所述m个连续关键帧，通过预设位姿估算策略，得到所述相机在所述单目视觉坐标系上的m个位置；
通过预设拟合策略对所述m个位置进行拟合，得到所述运动轨迹。
其中，所述安装偏差角计算单元具体还用于：
判断所述运动轨迹是否为直线；
若是，则基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角。
第二方面，本申请提供一种单目相机安装偏差角的获取方法，所述单目相机安装在可移动设备上，所述获取方法包括：
获取单目相机拍摄的多帧图像；
根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系；
基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹；
基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，所述安装偏差角包括所述单目相机相对所述可移动设备的第一俯仰角和航向角。
其中，所述可移动设备上安装有加速度计，所述根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系，包括：
通过所述加速度计获取所述可移动设备的三轴加速度信息；
判断所述三轴加速度信息是否满足预设的加速度条件；
若否，则根据所述多帧图像对所述单目相机进行单目视觉初始化，得到所述单目视觉坐标系。
其中，所述三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数，每个三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息；
所述判断所述三轴加速度信息是否满足预设的加速度条件，包括：
获取n个所述第一加速度信息的第一标准差、n个所述第二加速度信息的第二标准差以及n个所述第三加速度信息的第三标准差；
分别判断所述第一标准差是否小于第一预设值，所述第二标准差是否小于第二预设值，所述第三标准差是否小于第三预设值；
若所述第一标准差不小于第一预设值，或所述第二标准差不小于第二预设值，或所述第三标准差不小于第三预设值，则所述三轴加速度信息不满足预设的加速度条件。
其中，所述安装偏差角还包括所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角，所述获取方法还包括：
若所述三轴加速度信息满足所述预设的加速度条件，则分别获取n个所述第一加速度信息的第一平均值、n个所述第二加速度信息的第二平均值、n个所述第三加速度信息的第三平均值，以及所述加速度计相对所述单目相机的相对位置；
基于所述第一平均值、所述第二平均值、所述第三平均值以及所述相对位置，计算所述第二俯仰角和所述第一横滚角。
其中，所述相对位置包括所述加速度计相对所述单目相机的旋转矩阵，所述基于所述第一平均值、所述第二平均值、所述第三平均值以及所述相对位置，计算所述第二俯仰角和所述第一横滚角，包括：
分别对所述第一平均值、所述第二平均值以及所述第三平均值进行归一化处理，得到第一归一化值、第二归一化值以及第三归一化值；
根据所述第二归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第三俯仰角；
根据所述第一归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第二横滚角；
根据所述第三俯仰角、所述第二横滚角、所述加速度计相对所述单目相机的旋转矩阵，计算所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角。
其中，所述根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系，包括：
通过预设抽样策略，对所述多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵；
基于所述对极几何矩阵，计算所述多帧图像中的至少两帧图像的帧间位姿；
基于所述多帧图像中的至少两帧图像的帧间位姿和预设三角化策略，建立所述单目视觉坐标系。
其中，所述通过预设抽样策略，对所述多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵，包括：
从所述多帧图像中提取特征点；
通过特征点匹配，从所述多帧图像中获取第一初始帧和第二初始帧，其中，所述第一初始帧与所述第二初始帧之间的匹配特征点的数量大于第四预设值；
通过预设抽样策略，对所述第一初始帧与所述第二初始帧之间的匹配特征点进行抽样计算，得到所述对极几何矩阵。
其中，所述基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹，包括：
从所述多帧图像中提取m个连续的关键帧，其中，m为正整数，且不小于3；
基于所述m个连续关键帧，通过预设位姿估算策略，得到所述相机在所述单目视觉坐标系上的m个位置；
通过预设拟合策略对所述m个位置进行拟合，得到所述运动轨迹。
其中，所述基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，包括：
判断所述运动轨迹是否为直线；
若是，则基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角。
第三方面，本申请还提供一种相机，所述相机包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第二方面中任一项所述的单目相机安装偏差角的获取方法。
第四方面，本申请还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第二方面中任一项所述的单目相机安装偏差角的获取方法。
本申请的有益效果是：本申请提供一种单目相机安装偏差角的获取方法，单目相机安装在可移动设备上，该获取方法包括：获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。本申请在现有技术获取安装偏差角受制于拍照场景和测量工具的情况下，创造性的提出仅依靠相机拍照完成相机安装偏差角检测的方案，具体的，根据相机拍摄的多帧图像建立单目视觉坐标系，根据多帧图像计算相机在单目视觉坐标系下的运动轨迹，并根据运动轨迹在单目视觉坐标系下的投影关系，检测相机相对可移动设备的安装偏差角，在此过程中仅仅只需要用到相机拍摄的多帧图像。本申请能够不受拍照场景的限制，不依靠测量工具，提高相机安装偏差角获取的便捷度，方便了用户。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的单目相机安装偏差角的获取方法的一个实施例流程示意图；
图2是本申请实施例提供的单目相机安装偏差角的获取方法的另一个实施例流程示意图；
图3是本申请实施例中提供的单目相机安装偏差角的获取装置的一个实施例结构示意图；
图4是本申请实施例中提供的相机的一个实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本申请实施例提供一种单目相机安装偏差角的获取方法、装置、相机及存储介质。以下分别进行详细说明。
首先，本申请实施例中提供一种单目相机安装偏差角的获取方法，所述单目相机安装在可移动设备上，所述获取方法包括：获取单目相机拍摄的多帧图像；根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系；基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹；基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，所述安装偏差角包括所述单目相机相对所述可移动设备的第一俯仰角和航向角。
本申请实施例中，单目相机安装偏差角的获取装置可以集成在单目相机中，也可以与单目相机相互独立，并通过有线方式或者无线方式进行通讯。单目相机安装在可移动设备上，且在拍摄多帧图像时，与可移动设备的相对位置保持不变。
本申请实施例中，可移动设备可以是无人机、轮船、潜水艇、汽车、火车、三轮车以及摩托车等可移动设备。单目相机本申请对此不作限定。
请参阅图1，图1是本申请实施例提供的单目相机安装偏差角的获取方法的一个实施例流程示意图。该单目相机安装偏差角的获取方法的的具体流程可以如下：
S11：获取单目相机拍摄的多帧图像。
本申请实施例中，获取装置获取单目相机逐帧拍摄的多帧连续的图像。需要说明的是，获取装置可以在相机逐帧拍摄图像时，实时获取相机拍摄的图像以进行处理，也可以获取相机存储在相机上的多帧图像，本申请对此不作限定。并且，获取装置可以在获取图像的同时，实时对获取到的图像进行后续的处理，从而提高效率。
S12：根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系。
本申请实施例中，在获取到多帧图像后，通过预设抽样策略，对多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵。其中，对极几何矩阵可以是单应性矩阵，也可以是基础矩阵。基于对极几何矩阵，得到多帧图像中的至少两帧图像的帧间位姿。基于多帧图像中的至少两帧图像的帧间位姿和预设三角化策略，建立单目视觉坐标系。
其中，位姿包括位置和姿态，预设抽样策略可以是RANSAC算法。RANSAC算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。通过RANSAC可以得到最优的单应性矩阵和基础矩阵，从而保证后续位姿计算的准确性。
在一个具体的实施例中，根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系，可以包括以下步骤：
S121、从多帧图像中提取特征点。
其中，一个图像的特征点由两部分构成：关键点和描述子。关键点指的是该特征点在图像中的位置，有些还具有方向、尺度信息；描述子通常是一个向量，按照人为的设计的方式，描述关键点周围像素的信息。
具体的，可以通过通过SIFT算法、SURF算法，FAST算法、ORB算法等，从从多帧图像中提取特征点。SIFT算法的全称是Scale Invariant Feature Transform，尺度不变特征变换，2004年由加拿大教授David G.Lowe提出的。SURF全称Speeded Up Robust Features，是在SIFT算法的基础上提出的，主要针对SIFT算法运算速度慢，计算量大的缺点进行了改进。FAST算法检测局部像素灰度变化明显的地方，以速度快而著称，其全称为：Features FromAccelerated Segment Test。在FAST算法的思想很简单：如果一个像素与周围邻域的像素差别较大(过亮或者过暗)，那么可以认为该像素是一个角点。和其他的特征点提取算法相比，FAST算法只需要比较像素和其邻域像素的灰度值大小，十分便捷。ORB的全称是Oriented FAST and Rotated BRIEF，是目前来说非常好的能够进行的实时的图像特征提取和描述的算法，它改进了FAST特征提取算法，并使用速度极快的二进制描述子。
S122、通过特征点匹配，从多帧图像中获取第一初始帧和第二初始帧，其中，第一初始帧与第二初始帧之间的匹配特征点的数量大于第四预设值。
具体的，可以交叉匹配和近邻匹配等方法，进行特征点匹配，本申请对此不作限定。其中，第四预设值的大小可以根据具体情况设定，例如，100、120等，本申请对此不作限定。
S123、通过预设抽样策略，对第一初始帧与第二初始帧之间的匹配特征点进行抽样计算，得到单应性矩阵和基础矩阵。
具体的，首先，由抽样点对，计算出单次单应性矩阵和基础矩阵，例如通过四对点计算单次单应性矩阵，通过八点法计算单次基础矩阵。通过若干次RANSAC抽样，计算出最优的单应性矩阵和基础矩阵。
S124、基于单应性矩阵或基础矩阵，得到第一初始帧与第二初始帧的帧间位姿。
具体的，在同时计算单应矩阵和基础矩阵后对两个模型进行打分。选择得分高的模型用来位姿计算。打分是用求得的单应性矩阵和基础矩阵将前一帧上的特征点投影到下一帧，并将下一帧的特征点投影到前一帧来计算重投影误差的和。基于单应性矩阵或基础矩阵，得到第一初始帧与第二初始帧的帧间位姿。
S125、基于第一初始帧与第二初始帧的帧间位姿和预设三角化策略，建立单目视觉坐标系。
具体的，得到第一初始帧与第二初始帧的帧间位姿后，则基于第一初始帧与第二初始帧的帧间位姿和预设三角化策略，求解第一初始帧与第二初始帧的匹配特征点对的深度。根据第一初始帧与第二初始帧的匹配特征点对的深度，以第一初始帧为参考帧数，建立单目视觉坐标系。预设三角化测量可以是线性三角形法中的齐次方法。通过三角化，得到匹配特征点对应的三维信息。
进一步的，在得到第一初始帧与第二初始帧的匹配特征点对的深度和单目视觉坐标系后，通过光束调整对第一初始帧与第二初始帧的匹配特征点对的深度进行优化，从而提高计算精准度。
S13：基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹。
本申请实施例中，从多帧图像中提取m个连续的关键帧，其中，m为正整数，且不小于3。具体的，通过特征点匹配，获取m个连续的关键帧。优选的，m为5。其中，相邻两个关键帧之间匹配的特征点的数量大于第五预设值，第五预设值根据具体情况设定，例如100、120等，本申请对此不作限定。
在提取m个连续的关键帧后，基于m个连续关键帧，通过预设位姿估算策略，得到相机在单目视觉坐标系上的m个位置。其中，相机在单目视觉坐标系上的m个位置，包括相机在单目视觉坐标系上的m个三维坐标。通过选取适当数目的关键帧进行位姿计算，既能保证较准的检测精度，也能快速的检测出结果。其中，预设位置估算策略为PNP算法。在对相机进行单目视觉初始化之后，即可通过PNP算法进行位姿计算。PNP问题是求解3D-2D点对运动的方法。他描述了当知道n个三维空间点坐标及其二维投影位置时，如何估计相机的位姿。我们可以想象，在一幅图像中，最少只要知道三个点的空间坐标即3D坐标，就可以用于估计相机的运动以及相机的姿态。而特征点的空间坐标，我们可以通过深度来确定。因此，PNP方法不需要使用对极约束，又可以在很少的匹配点中获得较好的运动估计。PNP常见的解法有直接线性变换和P3P等。通过PNP来计算位姿，无回环检测和重定位功能，无图像显示和地图功能，简化了功能，大大提升了检测速度。
在得到相机在单目视觉坐标系上的m个位置后，通过预设拟合策略对m个位置进行拟合，得到运动轨迹。其中，预设拟合策略可以是最小二乘法。最小二乘法是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
S14：基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。
本申请实施例中，判断运动轨迹是否为直线；若是，则基于运动轨迹在单目视觉坐标系上的投影，得到单目相机相对可移动设备的第一俯仰角和航向角。在运动轨迹为直线时计算安装偏差角，能够得到更精确的安装偏差角。
区别于现有技术，本申请提供一种单目相机安装偏差角的获取方法，单目相机安装在可移动设备上，该获取方法包括：获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。本申请根据相机拍摄的多帧图像建立单目视觉坐标系，根据多帧图像计算相机在单目视觉坐标系下的运动轨迹，并根据运动轨迹在单目视觉坐标系下的投影关系，检测相机相对可移动设备的安装偏差角，能够不受拍照场景的限制，不依靠测量工具，仅依靠相机拍照完成相机安装偏差角的检测，提高相机安装偏差角获取的便捷度。
为了具体的说明上述单目相机安装偏差角的获取方法，请参阅图2，图2是本申请实施例提供的单目相机安装偏差角的获取方法的另一个实施例流程示意图。本实施例中，可移动设备上安装有加速度计。该单目相机安装偏差角的获取方法的具体流程可以如下：
S21：获取单目相机拍摄的多帧图像。
本申请实施例中，S21与S11相同，S21的实现具体可参照S11的具体实现过程，在此不再赘述。
S22：通过加速度计获取可移动设备的三轴加速度信息。
本申请实施例中，可移动设备的三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数。通过加速度计获取n个三轴加速度信息，其中，n为正整数。由于加速度计和单目相机均安装在可移动设备上，因此可移动设备的三轴加速度信息、加速度计的三轴加速度信息以及单目相机的三轴加速度信息是一样的。
在一个具体的实施例中，三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息。第一加速度信息、第二加速度信息以及第三加速度信息为，三轴加速度信息在加速度计的三个轴向上的分量，n大于2。
需要说明的是，S21和S22的顺序可以调换，本申请对此不作限定。
S23：判断三轴加速度信息是否满足预设的加速度条件。
本申请实施例中，获取n个第一加速度信息的第一标准差、n个第二加速度信息的第二标准差以及n个第三加速度信息的第三标准差。分别判断第一标准差是否小于第一预设值，第二标准差是否小于第二预设值，第三标准差是否小于第三预设值。若第一标准差不小于第一预设值，或第二标准差不小于第二预设值，或第三标准差不小于第三预设值，则n个三轴加速度信息不满足预设的加速度条件，执行S24。对应的，若第一标准差小于第一预设值，且第二标准差小于第二预设值，且第三标准差小于第三预设值，则n个三轴加速度信息满足预设的加速度条件，执行S28。
在一个具体的实施例中，根据公式(1)分别获取获取n个第一加速度信息的第一标准差、n个第二加速度信息的第二标准差以及n个第三加速度信息的第三标准差。
Figure GDA0003055985530000141
其中，acci为加速度信息的值，std为标准差。
具体的，将n个第一加速度信息代入公式(1)，得到第一标准差stdx，将n个第二加速度信息代入公式(1)，得到第二标准差stdy，将n个第三加速度信息代入公式(1)，得到第三标准差stdz。
在一个具体的实施例中，第一预设值、第二预设值以及第三预设值可以相等，也可以不相等，根据具体情况设定，本申请对此不作限定。根据公式(2)判断n个三轴加速度信息是否满足预设的加速度条件。
boolFlagstatic＝(stdx＜Thraccx)&&(stdy＜Thraccy)&&(stdz＜Thraccz) (2)
其中，Flagstatic为判断结果，Thraccx为第一预设值，Thraccy为第二预设值，Thraccz为第三预设值。
当Flagstatic输出结果为“否”时，即第一标准差不小于第一预设值，或第二标准差不小于第二预设值，或第三标准差不小于第三预设值，则n个三轴加速度信息不满足预设的加速度条件，执行S24。当Flagstatic输出结果为“是”时，即第一标准差小于第一预设值，且第二标准差小于第二预设值，且第三标准差小于第三预设值，则n个三轴加速度信息满足预设的加速度条件，执行S28。
S24：根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系。
本申请实施例中，S24与S12相同，S24的实现具体可参照S12的具体实现过程，在此不再赘述。
S25：基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；
本申请实施例中，S25与S13相同，S25的实现具体可参照S13的具体实现过程，在此不再赘述。
S26：判断运动轨迹是否为直线。
本申请实施例中，在通过最小二乘法或者其他预设拟合策略得到轨迹后，根据运动轨迹对应的曲线方程判断运动轨迹是否为直线，如果是直线，则执行步骤27；如果不是直线，则重新获取多帧图像，并基于重新获取的多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系上的新的运动轨迹，并判断新的运动轨迹是否为直线。在运动轨迹为直线时计算安装偏差角，能够得到更精确的安装偏差角。
S27：基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。
本申请实施例中，单目视觉坐标系包括x轴、y轴以及z轴。当判断运动轨迹是直线时，根据公式(3)计算单目相机相对可移动设备的安装偏差角。
Figure GDA0003055985530000151
其中，PitchAcam为第一俯仰角，Yawcam为航向角，LineProjx为运动轨迹在单目视觉坐标系的x轴上的投影，LineProjy为运动轨迹在单目视觉坐标系的y轴上的投影，LineProjz为运动轨迹在单目视觉坐标系的z轴上的投影。
S28：分别获取n个第一加速度信息的第一平均值、n个第二加速度信息的第二平均值、n个第三加速度信息的第三平均值，以及加速度计相对单目相机的相对位置。
在一个具体的实施例中，通过公式(4)分别获取n个第一加速度信息的第一平均值、n个第二加速度信息的第二平均值、n个第三加速度信息的第三平均值。
Figure GDA0003055985530000161
其中，meanacc为加速度平均值，acci为单个加速度信息的值。
将n个第一加速度信息代入公式(4)，得到第一平均值meanaccx；将n个第二加速度信息代入公式(4)，得到第二平均值meanaccy；将n个第三加速度信息代入公式(4)，得到第三平均值meanaccz；
其中，加速度计相对单目相机的相对位置包括加速度计相对单目相机的旋转矩阵，加速度计相对单目相机的旋转矩阵可预先测量或者预先设置，本申请对此不作限定。在一个具体的实施例中，加速度计相对单目相机的旋转矩阵为Racc2cam。
S29：基于第一平均值、第二平均值、第三平均值以及相对位置，计算第二俯仰角和第一横滚角。
本申请实施例中，安装偏差角还包括单目相机相对可移动设备的第二俯仰角和第一横滚角。首先分别对第一平均值、第二平均值以及第三平均值进行归一化处理，得到第一归一化值、第二归一化值以及第三归一化值。
具体的，根据公式(5)对第一平均值meanaccx、第二平均值meanaccy以及第三平均值meanaccz进行归一化处理，得到第一归一化值meanAaccx、第二归一化值meanAaccy以及第三归一化值meanAaccz。
Figure GDA0003055985530000162
进一步的，根据第二归一化值meanAaccy和第三归一化值meanAaccz，得到加速度计相对可移动设备的第三俯仰角PitchCcam；根据第一归一化值meanAaccx和第三归一化值meanAaccz，得到加速度计相对可移动设备的第二横滚角RollBacc。
具体的，根据公式(6)得到加速度计相对可移动设备的第三俯仰角PitchCacc、加速度计相对可移动设备的第二横滚角RollBacc。
Figure GDA0003055985530000171
进一步的，根据第三俯仰角PitchCacc、第二横滚角RollBacc、加速度计相对单目相机的旋转矩阵Racc2cam，计算单目相机相对可移动设备的第二俯仰角和第一横滚角。
具体的，根据公式(7)得到单目相机相对可移动设备的第二俯仰角PitchBcam和第一横滚角RollAcam。
Figure GDA0003055985530000172
其中，Racc2cam为加速度计相对单目相机的旋转矩阵。
进一步的，在得到单目相机相对可移动设备的第二俯仰角PitchBcam、第一横滚角RollAcam第一俯仰角PitchAcam、航向角Yawcam后，将第二俯仰角PitchBcam、第一横滚角RollAcam和航向角Yawcam确定为单目相机相对可移动设备的安装偏差角。由于第二俯仰角PitchBcam的准确度高于第一俯仰角PitchAcam，因此，当存在第二俯仰角PitchBcam时，用第二俯仰角PitchBcam作为单目相机相对可移动设备的安装偏差角，能够提高安装偏差角的准确度。
区别于现有技术，本申请提供一种单目相机安装偏差角的获取方法，单目相机安装在可移动设备上，该获取方法包括：获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。本申请能够不受拍照场景的限制，不依靠测量工具，仅依靠相机拍照完成相机安装偏差角的检测，提高相机安装偏差角获取的便捷度。
参阅图3，本申请还提供一种单目相机安装偏差角的获取装置30，单目相机安装在可移动设备上，获取装置30包括获取单元301、初始化单元302、运动轨迹计算单元303以及安装偏差角计算单元304。
获取单元301，用于获取单目相机拍摄的多帧图像；
初始化单元302，用于根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；
运动轨迹计算单元303，用于基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；
安装偏差角计算单元304，用于基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。
其中，可移动设备上安装有加速度计，获取单元301具体用于：
通过加速度计获取可移动设备的三轴加速度信息；
判断三轴加速度信息是否满足预设的加速度条件；
若否，则初始化单元302根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系。
其中，三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数，每个三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息，
初始化单元302具体还用于，
获取n个第一加速度信息的第一标准差、n个第二加速度信息的第二标准差以及n个第三加速度信息的第三标准差；
分别判断第一标准差是否小于第一预设值，第二标准差是否小于第二预设值，第三标准差是否小于第三预设值；
若第一标准差不小于第一预设值，或第二标准差不小于第二预设值，或第三标准差不小于第三预设值，则三轴加速度信息不满足预设的加速度条件。
其中，安装偏差角还包括单目相机相对可移动设备的第二俯仰角和第一横滚角，安装偏差角计算单元304具体用于，
若三轴加速度信息满足预设的加速度条件，则分别获取n个第一加速度信息的第一平均值、n个第二加速度信息的第二平均值、n个第三加速度信息的第三平均值，以及加速度计相对单目相机的相对位置；
基于第一平均值、第二平均值、第三平均值以及相对位置，计算第二俯仰角和第一横滚角。
其中，相对位置包括加速度计相对单目相机的旋转矩阵，安装偏差角计算单元304具体还用于，
分别对第一平均值、第二平均值以及第三平均值进行归一化处理，得到第一归一化值、第二归一化值以及第三归一化值；
根据第二归一化值和第三归一化值，得到加速度计相对可移动设备的第三俯仰角；
根据第一归一化值和第三归一化值，得到加速度计相对可移动设备的第二横滚角；
根据第三俯仰角、第二横滚角、加速度计相对单目相机的旋转矩阵，计算单目相机相对可移动设备的第二俯仰角和第一横滚角。
其中，初始化单元302还具体用于，
通过预设抽样策略，对多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵；
基于对极几何矩阵，计算多帧图像中的至少两帧图像的帧间位姿；
基于多帧图像中的至少两帧图像的帧间位姿和预设三角化策略，建立单目视觉坐标系。
其中，初始化单元302具体还用于，
从多帧图像中提取特征点；
通过特征点匹配，从多帧图像中获取第一初始帧和第二初始帧，其中，第一初始帧与第二初始帧之间的匹配特征点的数量大于第四预设值；
通过预设抽样策略，对第一初始帧与第二初始帧之间的匹配特征点进行抽样计算，得到对极几何矩阵。
其中，运动轨迹计算单元303具体还用于，
从多帧图像中提取m个连续的关键帧，其中，m为正整数，且不小于3；
基于m个连续关键帧，通过预设位姿估算策略，得到相机在单目视觉坐标系上的m个位置；
通过预设拟合策略对m个位置进行拟合，得到运动轨迹。
其中，安装偏差角计算单元304具体还用于，
判断运动轨迹是否为直线；
若是，则基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角。
本申请实施例还提供一种相机，相机包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行图1-图2及其文字描述的任一实施例中单目相机安装偏差角的获取方法的步骤。
如图4所示，其示出了本申请实施例所涉及的相机的结构示意图，具体来讲：
该相机可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图4中示出的相机结构并不构成对相机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器501是该相机的控制中心，利用各种接口和线路连接整个相机的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行相机的各种功能和处理数据，从而对相机进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据相机的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
相机还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该相机还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，相机还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，相机中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。
为此，本申请实施例提供一种存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。该存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种单目相机安装偏差角的获取方法中的步骤。例如，该指令可以执行如下步骤：
获取单目相机拍摄的多帧图像；根据多帧图像对单目相机进行单目视觉初始化，得到单目视觉坐标系；基于多帧图像对相机进行位姿计算，得到相机在单目视觉坐标系下的运动轨迹；基于运动轨迹在单目视觉坐标系上的投影，计算单目相机相对可移动设备的安装偏差角，安装偏差角包括单目相机相对可移动设备的第一俯仰角和航向角。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上对本申请实施例所提供的一种单目相机安装偏差角的获取方法、装置、相机及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种单目相机安装偏差角的获取装置，其特征在于，所述单目相机安装在可移动设备上，所述获取装置包括：
获取单元，用于获取单目相机拍摄的多帧图像；
初始化单元，用于根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系；
运动轨迹计算单元，用于基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹；
安装偏差角计算单元，用于基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，所述安装偏差角包括所述单目相机相对所述可移动设备的第一俯仰角和航向角。
2.根据权利要求1所述的获取装置，其特征在于，所述可移动设备上安装有加速度计，所述获取单元具体用于：
通过所述加速度计获取所述可移动设备的三轴加速度信息；
判断所述三轴加速度信息是否满足预设的加速度条件；
若否，则所述初始化单元根据所述多帧图像对所述单目相机进行单目视觉初始化，得到所述单目视觉坐标系。
3.根据权利要求2所述的获取装置，其特征在于，所述三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数，每个三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息，
所述初始化单元具体用于：
获取n个所述第一加速度信息的第一标准差、n个所述第二加速度信息的第二标准差以及n个所述第三加速度信息的第三标准差；
分别判断所述第一标准差是否小于第一预设值，所述第二标准差是否小于第二预设值，所述第三标准差是否小于第三预设值；
若所述第一标准差不小于第一预设值，或所述第二标准差不小于第二预设值，或所述第三标准差不小于第三预设值，则所述三轴加速度信息不满足预设的加速度条件。
4.一种单目相机安装偏差角的获取方法，其特征在于，所述单目相机安装在可移动设备上，所述获取方法包括：
获取单目相机拍摄的多帧图像；
根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系；
基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹；
基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，所述安装偏差角包括所述单目相机相对所述可移动设备的第一俯仰角和航向角。
5.根据权利要求4所述的获取方法，其特征在于，所述可移动设备上安装有加速度计，所述根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系，包括：
通过所述加速度计获取所述可移动设备的三轴加速度信息；
判断所述三轴加速度信息是否满足预设的加速度条件；
若否，则根据所述多帧图像对所述单目相机进行单目视觉初始化，得到所述单目视觉坐标系。
6.根据权利要求5所述的获取方法，其特征在于，所述三轴加速度信息包括n个三轴加速度信息，n为不小于2的正整数，每个三轴加速度信息包括第一加速度信息、第二加速度信息以及第三加速度信息；
所述判断所述三轴加速度信息是否满足预设的加速度条件，包括：
获取n个所述第一加速度信息的第一标准差、n个所述第二加速度信息的第二标准差以及n个所述第三加速度信息的第三标准差；
分别判断所述第一标准差是否小于第一预设值，所述第二标准差是否小于第二预设值，所述第三标准差是否小于第三预设值；
若所述第一标准差不小于第一预设值，或所述第二标准差不小于第二预设值，或所述第三标准差不小于第三预设值，则所述三轴加速度信息不满足预设的加速度条件。
7.根据权利要求6所述的获取方法，其特征在于，所述安装偏差角还包括所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角，所述获取方法还包括：
若所述三轴加速度信息满足所述预设的加速度条件，则分别获取n个所述第一加速度信息的第一平均值、n个所述第二加速度信息的第二平均值、n个所述第三加速度信息的第三平均值，以及所述加速度计相对所述单目相机的相对位置；
基于所述第一平均值、所述第二平均值、所述第三平均值以及所述相对位置，计算所述第二俯仰角和所述第一横滚角。
8.根据权利要求7所述的获取方法，其特征在于，所述相对位置包括所述加速度计相对所述单目相机的旋转矩阵，所述基于所述第一平均值、所述第二平均值、所述第三平均值以及所述相对位置，计算所述第二俯仰角和所述第一横滚角，包括：
分别对所述第一平均值、所述第二平均值以及所述第三平均值进行归一化处理，得到第一归一化值、第二归一化值以及第三归一化值；
根据所述第二归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第三俯仰角；
根据所述第一归一化值和第三归一化值，得到所述加速度计相对所述可移动设备的第二横滚角；
根据所述第三俯仰角、所述第二横滚角、所述加速度计相对所述单目相机的旋转矩阵，计算所述单目相机相对所述可移动设备的第二俯仰角和第一横滚角。
9.根据权利要求5所述的获取方法，其特征在于，所述根据所述多帧图像对所述单目相机进行单目视觉初始化，得到单目视觉坐标系，包括：
通过预设抽样策略，对所述多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵；
基于所述对极几何矩阵，计算所述多帧图像中的至少两帧图像的帧间位姿；
基于所述多帧图像中的至少两帧图像的帧间位姿和预设三角化策略，建立所述单目视觉坐标系。
10.根据权利要求9所述的获取方法，其特征在于，所述通过预设抽样策略，对所述多帧图像中的至少两帧图像进行抽样计算，得到对极几何矩阵，包括：
从所述多帧图像中提取特征点；
通过特征点匹配，从所述多帧图像中获取第一初始帧和第二初始帧，其中，所述第一初始帧与所述第二初始帧之间的匹配特征点的数量大于第四预设值；
通过预设抽样策略，对所述第一初始帧与所述第二初始帧之间的匹配特征点进行抽样计算，得到所述对极几何矩阵。
11.根据权利要求9所述的获取方法，其特征在于，所述基于所述多帧图像对所述相机进行位姿计算，得到所述相机在所述单目视觉坐标系下的运动轨迹，包括：
从所述多帧图像中提取m个连续的关键帧，其中，m为正整数，且不小于3；
基于所述m个连续关键帧，通过预设位姿估算策略，得到所述相机在所述单目视觉坐标系上的m个位置；
通过预设拟合策略对所述m个位置进行拟合，得到所述运动轨迹。
12.根据权利要求4所述的获取方法，其特征在于，所述基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角，包括：
判断所述运动轨迹是否为直线；
若是，则基于所述运动轨迹在所述单目视觉坐标系上的投影，计算所述单目相机相对所述可移动设备的所述安装偏差角。
13.一种相机，其特征在于，所述相机包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求4至12任一项所述的单目相机安装偏差角的获取方法。
14.一种存储介质，其特征在于，所述存储介质中存储计算机程序，所述计算机程序适于处理器进行加载，以执行权利要求4至12任一项所述的单目相机安装偏差角的获取方法。
CN201910629440.6A 2019-07-12 2019-07-12 单目相机安装偏差角的获取方法、装置、相机及存储介质 Active CN110363821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910629440.6A CN110363821B (zh) 2019-07-12 2019-07-12 单目相机安装偏差角的获取方法、装置、相机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910629440.6A CN110363821B (zh) 2019-07-12 2019-07-12 单目相机安装偏差角的获取方法、装置、相机及存储介质

Publications (2)

Publication Number Publication Date
CN110363821A CN110363821A (zh) 2019-10-22
CN110363821B true CN110363821B (zh) 2021-09-28

Family

ID=68218986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910629440.6A Active CN110363821B (zh) 2019-07-12 2019-07-12 单目相机安装偏差角的获取方法、装置、相机及存储介质

Country Status (1)

Country Link
CN (1) CN110363821B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452776B (zh) * 2023-06-19 2023-10-20 国网浙江省电力有限公司湖州供电公司 基于视觉同步定位与建图系统的低碳变电站场景重建方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761439B1 (en) * 2011-08-24 2014-06-24 Sri International Method and apparatus for generating three-dimensional pose using monocular visual sensor and inertial measurement unit
CN103035008B (zh) * 2012-12-15 2015-08-12 北京工业大学 一种多相机系统的加权标定方法
CN103399652B (zh) * 2013-07-19 2017-02-22 哈尔滨工程大学 一种基于OpenCV摄像头标定的3D输入方法
CN104180808B (zh) * 2014-08-05 2017-02-15 南京航空航天大学 一种用于自主空中加油的圆形锥套视觉位姿解算方法
CN105730705B (zh) * 2016-02-14 2017-11-10 中国船舶工业系统工程研究院 一种飞行器摄像定位系统
CN106204574B (zh) * 2016-07-07 2018-12-21 兰州理工大学 基于目标平面运动特征的相机位姿自标定方法
CN108022264B (zh) * 2016-11-01 2023-06-13 北京墨土科技有限公司 相机位姿确定方法及设备
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN108447097B (zh) * 2018-03-05 2021-04-27 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN108986037B (zh) * 2018-05-25 2020-06-16 重庆大学 基于半直接法的单目视觉里程计定位方法及定位系统
CN109544629B (zh) * 2018-11-29 2021-03-23 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备

Also Published As

Publication number Publication date
CN110363821A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN107990899B (zh) 一种基于slam的定位方法和系统
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN107292927A (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN109752003B (zh) 一种机器人视觉惯性点线特征定位方法及装置
WO2016199605A1 (ja) 画像処理装置および方法、並びにプログラム
JP7036400B2 (ja) 自車位置推定装置、自車位置推定方法、及び自車位置推定プログラム
US10755433B2 (en) Method and system for scanning an object using an RGB-D sensor
CN111279354A (zh) 图像处理方法、设备及计算机可读存储介质
CN105324792B (zh) 用于估计移动元件相对于参考方向的角偏差的方法
EP2887315A1 (en) Calibration device, method for implementing calibration, program and camera for movable body
CN112116651B (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
JP2017504253A (ja) 車両の外側寸法を監視するための方法ならびに装置
CN108932737A (zh) 车载相机俯仰角标定方法和装置、电子设备以及车辆
CN110942470B (zh) 图像处理装置
CN111572633B (zh) 转向角度检测方法、装置及系统
CN103900473A (zh) 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
CN111791235A (zh) 一种机器人多相机视觉惯性点线特征定位方法及装置
CN111273701B (zh) 一种云台视觉控制系统以及控制方法
CN114494150A (zh) 一种基于半直接法的单目视觉里程计的设计方法
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
CN110363821B (zh) 单目相机安装偏差角的获取方法、装置、相机及存储介质
Huttunen et al. A monocular camera gyroscope
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN112907633B (zh) 动态特征点识别方法及其应用
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant