CN111739102A - 电子设备的内外参标定方法、装置和计算机设备 - Google Patents

电子设备的内外参标定方法、装置和计算机设备 Download PDF

Info

Publication number
CN111739102A
CN111739102A CN202010461109.0A CN202010461109A CN111739102A CN 111739102 A CN111739102 A CN 111739102A CN 202010461109 A CN202010461109 A CN 202010461109A CN 111739102 A CN111739102 A CN 111739102A
Authority
CN
China
Prior art keywords
average
parameters
parameter
internal
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010461109.0A
Other languages
English (en)
Other versions
CN111739102B (zh
Inventor
王成
刘海伟
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202010461109.0A priority Critical patent/CN111739102B/zh
Publication of CN111739102A publication Critical patent/CN111739102A/zh
Application granted granted Critical
Publication of CN111739102B publication Critical patent/CN111739102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种电子设备的内外参标定方法、装置和计算机设备，其中，该电子设备的内外参标定方法包括：获取多组原始标定参数，每一组原始标定参数包括相机内参、惯性测量单元内参和联合外参；根据多组原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。通过本申请，解决了如何保证标定质量并简化标定流程的问题。

Description

电子设备的内外参标定方法、装置和计算机设备
技术领域
本申请涉及电子技术领域，特别是涉及一种电子设备的内外参标定方法、装置和计算机设备。
背景技术
AR(Augmented Reality，增强现实)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，从而实现屏幕上的虚拟世界与现实世界场景的结合和互动。AR技术应用于电子设备，通过对电子设备的惯性测量单元(Inertial measurement unit，简称IMU)和相机(camera)进行标定，来支持定位算法的正常运行。
在相关技术中，通过运行相机内参标定算法，对采集的相机内参数据进行数据处理，得到标定好的相机内参；运行IMU内参标定算法对采集的惯性测量单元内参数据进行数据处理，得到标定好的惯性测量单元内参；运行相机-IMU外参标定算法对标定好的相机内参和惯性测量单元内参进行数据处理，得到标定好的联合外参。这种标定方法的操作步骤比较繁琐，采集成本比较高，且标定流程有一定的重复劳动。
目前针对相关技术中，针对如何保证标定质量并简化标定流程的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种电子设备的内外参标定方法、装置和计算机设备，以至少解决相关技术中如何保证标定质量并简化标定流程的问题。
第一方面，本申请实施例提供了一种电子设备的内外参标定方法，所述电子设备包括相机和惯性测量单元，包括：
获取多组原始标定参数，每一组所述原始标定参数包括相机内参、惯性测量单元内参和联合外参；
根据多组所述原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；
将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
在其中一些实施例中，所述方法还包括：
获取所述相机的几何模型；
获取所述惯性测量单元的动力学模型；
根据所述几何模型和所述动力学模型，构建所述联合模型。
在其中一些实施例中，所述将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值包括：
根据所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参对所述联合模型进行初始化，得到初始状态向量；
通过预设跟踪定位算法对所述初始状态向量进行迭代估计，直至收敛，得到所述相机内参标定值、所述惯性测量单元内参标定值和所述联合外参标定值。
在其中一些实施例中，所述原始标定参数是通过对多台电子设备采集的原始数据进行标定得到的，多台所述电子设备具有相同的焦距和相同的分辨率。
在其中一些实施例中，所述根据多组所述原始标定参数，计算得到平均联合外参包括：
根据所述相机与所述惯性测量单元的相对位姿关系，对多组所述联合外参进行分类；
针对每一类别，计算得到多个所述联合外参的平均值；
根据所有所述平均值，得到所述平均联合外参。
在其中一些实施例中，所述联合外参包括相互耦合的平移量和旋转量；所述针对每一类别，计算得到多个所述联合外参的平均值包括：
针对每一类别，获取多个所述联合外参的平移量和旋转量；
对所有所述平移量求平均值，得到第一均值；以及对所有所述旋转量求平均值，得到第二均值；
根据所述第一均值和所述第二均值，得到多个所述联合外参的平均值。
在其中一些实施例中，所述对所有所述旋转量求平均值，得到第二均值包括：
将每一所述旋转量用向量表示，得到多个向量；
计算每一所述向量的特征值；
将特征值最大的向量作为目标向量；
根据所述目标向量，得到所述第二均值。
第二方面，本申请实施例提供了一种电子设备的内外参标定装置，所述电子设备包括相机和惯性测量单元，其特征在于，所述装置包括：
获取模块，用于获取多组原始标定参数，每一组所述原始标定参数包括相机内参、惯性测量单元内参和联合外参；
处理模块，用于根据多组所述原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；
迭代模块，用于将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的电子设备的内外参标定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的电子设备的内外参标定方法。
相比于相关技术，本申请实施例提供的电子设备的内外参标定方法、装置和计算机设备，通过获取多组原始标定参数，每一组原始标定参数包括相机内参、惯性测量单元内参和联合外参；根据多组原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值，解决了如何保证标定质量并简化标定流程的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例的内外参标定方法的流程图；
图2为本申请实施例中获取内外参标定值的流程图；
图3为本申请实施例中构建联合模型的流程图；
图4为本申请实施例中计算平均联合外参的流程图；
图5为本申请实施例中计算联合外参的平均值的流程图；
图6为本申请实施例中计算第二均值的流程图；
图7为本申请具体实施例的内外参标定方法的流程图；
图8是根据本申请实施例的内外参标定装置的结构框图；
图9为根据本申请实施例的外参标定设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所描述的各种技术，可以但不仅限于应用于手机、电视和电脑等电子设备，以支持定位算法在电子设备上正常运行。
本实施例提供一种电子设备的内外参标定方法。图1为本申请实施例的内外参标定方法的流程图，如图1所示，该流程包括如下步骤：
步骤S110，获取多组原始标定参数，每一组原始标定参数包括相机内参、惯性测量单元内参和联合外参。
需要说明的是，相机内参为已标定的相机内参。惯性测量单元内参为已标定的惯性测量单元IMU内参。联合外参为已标定的相机与惯性测量单元IMU的联合外参。
可以从已标定的电子设备的数据库中，获取多组原始标定参数。也可以从企业网站公开的数据库中，获取多组原始标定参数。本申请对获取多组原始标定参数的途径不作限制。例如，可以获取谷歌公开的某些手机的内外参数据，作为原始标定参数。
步骤S120，根据多组原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参。
具体地，可以通过对多组相机内参求平均值，得到电子设备的平均相机内参；通过对多组联合外参求平均值，得到电子设备的平均联合外参；通过对多组联合外参求平均值，得到电子设备的平均联合外参。
例如，可以采用主成分分析算法PCA(Principal Component Analysis，简称PCA)对多台已标定的电子设备的相机内参进行统计，计算得到平均相机内参；以及，可以采用主成分分析算法PCA对多台已标定的电子设备的惯性测量单元内参进行统计，计算得到平均惯性测量单元内参；以及，可以采用主成分分析算法PCA对多台已标定的电子设备的联合外参进行统计，计算得到平均联合外参。
需要说明的是，虽然不同电子设备使用的相机有一定的品质差别，但是AR技术中采用的定位算法一般都是在固定分辨率、固定焦距的条件下运行，因此，不同电子设备的相机内参的差异不大。由此可知，对多组相机内参求平均值，计算得到电子设备的平均相机内参，并不会对相机内参的标定质量产生影响。
电子设备使用的惯性测量单元IMU都是消费级的，其噪声级别基本属于同一数量级，惯性测量单元内参较为接近，因此，不同电子设备的惯性测量单元内参的差异不大。由此可知，对多组联合外参求平均值，计算得到电子设备的平均联合外参，并不会对惯性测量单元内参的标定质量产生影响。
由于电子设备的相机和惯性测量单元一般都是按照固定相对位姿放置的，因此，不同电子设备的联合外参也比较接近。由此可知，对多组联合外参求平均值，计算得到电子设备的平均联合外参，并不会对联合外参的标定质量产生影响。
步骤S130，将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
可以构建相机与惯性测量单元的联合模型，联合模型包括预设跟踪定位算法。根据平均相机内参、平均惯性测量单元内参和平均联合外参，对联合模型初始化，得到联合模型的初始化状态。运行预设跟踪定位算法以对初始化状态进行更新，根据更新后联合模型的状态，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
通过上述步骤S110至步骤S130，根据标定好的电子设备来获取多组原始标定参数，可以直接得到了已标定的相机内参、惯性测量单元内参以及联合外参，省略了标定电子设备的内外参的步骤，缩短标定时间。根据多组原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参，并不会对电子设备的内外参标定质量产生影响。将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，可以直接得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值，实现了保证内外参标定质量的前提下，简化了标定流程，提高了标定效率，解决了如何保证标定质量并简化标定流程的问题。
在其中一些实施例中，原始标定参数是通过对多台电子设备采集的原始数据进行标定得到的，多台电子设备具有相同的焦距和相同的分辨率。
原始数据包括但不仅限于相机内参数据和IMU采集到的运动信息。可以通过运行相机内参标定算法，对采集的相机内参数据进行数据处理，得到标定好的相机内参，并将已标定的相机内参发送给惯性测量单元IMU。利用惯性测量单元IMU采集到的运动信息，标定惯性测量单元IMU的内参，得到惯性测量单元内参。根据相机内参以及惯性测量单元内参，标定相机与惯性测量单元IMU的联合外参。
需要说明的是，对采集原始数据的电子设备设置相同焦距和相同分辨率，以得到比较稳定的原始标定参数。例如，标定多台手机的内外参时，将每一台手机的焦距对焦到1m，并设置每一台手机的分辨率为1920*1080ppi。
通过上述实施例，获取的原始标定参数是通过对具有相同焦距和相同分辨率的电子设备采集的原始数据进行标定得到，固定了焦距和分辨率，使得标定得到的多组原始标定参数更加稳定，可以进一步提高标定质量。
图2为本申请实施例中获取内外参标定值的流程图，如图2所示，该流程包括如下步骤：
步骤S210，根据平均相机内参、平均惯性测量单元内参和平均联合外参对联合模型进行初始化，得到初始状态向量。
联合模型还包括预设状态方程。可以根据平均相机内参、平均惯性测量单元内参、平均联合外参以及预设状态方程，对联合模型进行初始化，得到初始状态向量。
步骤S220，通过预设跟踪定位算法对初始状态向量进行迭代估计，直至收敛，得到相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
通过运行预设跟踪定位算法以更新初始状态向量，得到下一时刻的状态向量，进行多次迭代估计，直至收敛，得到到相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
可以采用基于机器学习的跟踪定位算法，也可以采用基于深度学习的跟踪定位算法，本申请对采用的预设跟踪定位算法不作限制。
例如，采用EKF滤波算法对初始状态向量进行迭代估计。EKF(ExtendedKalmanFilter，简称EKF)是一种基于概率模型的状态和参数的估计方法，可以用于解决非线性系统模型的估计问题。EKF是对标准Kalman滤波进行扩展，用Taylor级数展开的一阶项来近似非线性的方程，从而运用Kalman滤波对系统状态进行递归估计，以测量误差为依据进行估计和校正，不断逼近真实值。也就是EKF对非线性系统线性化，再利用卡尔曼滤波进行线性系统的估计。
通过上述步骤S210至步骤S220，根据平均相机内参、平均惯性测量单元内参和平均联合外参对联合模型进行初始化，得到初始状态向量。通过预设跟踪定位算法对初始状态向量进行在线迭代估计，得到了比较准确的相机内参标定值、惯性测量单元内参标定值和联合外参标定值，实现了在线估计电子设备的内外参标定值。
图3为本申请实施例中构建联合模型的流程图，如图3所示，该流程包括如下步骤：
步骤S310，获取相机的几何模型。
获取相机的内参，作为相机的几何模型。
步骤S320，获取惯性测量单元的动力学模型。
获取惯性测量单元的内参，作为惯性测量单元的动力学模型。
步骤S330，根据几何模型和动力学模型，构建联合模型。
根据相机的内参和惯性测量单元的内参，建立相机和惯性测量单元IMU之间的第一位姿变换，即外参；以及建立IMU局部坐标系和世界坐标系之间的第二位姿变换。从而可以得到相机局部坐标系和世界坐标系之间的位姿变换，即全局位姿，也就是联合模型输出的轨迹。可以通过外参实现从相机局部坐标系转换到IMU局部坐标系，通过全局位姿实现从IMU局部坐标系转换到世界坐标系。从而通过联合模型实现根据图像像素点坐标跟踪到该像素点在世界坐标系的坐标，以实现对图像像素点的定位。
需要说明的是，位姿(pose)变换表示旋转和平移的耦合变量。
在其中一些实施例中，电子设备包括多个相机和多个IMU。根据多个相机的内参、多个IMU的内参以及多个相机与多个IMU之间的外参，构建联合模型。
通过上述实施例，根据多个相机的内参、多个IMU的内参以及多个相机与多个IMU之间的外参，构建联合模型，可以进一步提高定位精度。
通过上述步骤S310至步骤S330，获取相机的几何模型，获取惯性测量单元的动力学模型，通过将几何模型和动力学模型进行融合，构建联合模型，提高跟踪定位精准度，从而可以提高迭代估计的准确性。
图4为本申请实施例中计算平均联合外参的流程图，如图4所示，该流程包括如下步骤：
步骤S410，根据相机与惯性测量单元的相对位姿关系，对多组联合外参进行分类。
相对位姿关系表示相机与惯性测量单元的相对位置和相对姿态。
例如，在三维坐标系中，位姿可以表示为(x,y,z,yaw,pitch,roll)，前三个元素表示物体的位置，后三个元素表示物体的姿态。其中，yaw表示航向角，绕Z轴旋转；pitch表示俯仰角，绕Y轴旋转；roll表示翻滚角，绕X轴旋转。
具体地，可以根据相机与惯性测量单元的相对位姿关系，将相对位姿关系比较接近的联合外参归为一类。
步骤S420，针对每一类别，计算得到多个联合外参的平均值。
可以采用主成分分析算法(principal component analysis，简称PCA)计算联合外参的平均值，也可以采用独立成分分析算法(Independent Component Analysis，ICA)计算联合外参的平均值，本实施例不作限制。
步骤S430，根据所有平均值，得到平均联合外参。
通过上述步骤S410至步骤S430，根据相机与惯性测量单元的相对位姿关系，对多组联合外参进行分类，针对每一类别，计算得到多个联合外参的平均值，从而可以得到更加准确的平均联合外参。
图5为本申请实施例中计算联合外参的平均值的流程图，如图5所示，该流程包括如下步骤：
步骤S510，针对每一类别，获取多个联合外参的平移量和旋转量。
联合外参包括相互耦合的平移量(Translation)和旋转量(Rotation)。
步骤S520，对所有平移量求平均值，得到第一均值；以及对所有旋转量求平均值，得到第二均值。
其中，平移量为向量，因此，对所有平移量求向量平均值，得到第一均值。旋转量比较复杂，可以将旋转量转化为向量后再求平均值，计算得到第二均值。
在其中一些实施例中，图6为本申请实施例中计算第二均值的流程图，如图6所示，该流程包括如下步骤：
步骤S610，将每一旋转量用向量表示，得到多个向量。
步骤S620，计算每一向量的特征值。
步骤S630，将特征值最大的向量作为目标向量。
步骤S640，根据目标向量，得到第二均值。
具体地，将每一个旋转量用一个四元数quaternion来表示，将每一个quaternion作为一个1*4的向量，得到多个向量。计算每一向量的特征值，将特征值最大的向量作为第二均值。
通过上述步骤S610至步骤S640，将每一旋转量用向量表示，得到多个向量，计算每一向量的特征值，将特征值最大的向量作为第二均值，通过将复杂的旋转量转换为向量，从而可以简单、快速的计算出多个旋转量平均值。
步骤S530，根据第一均值和第二均值，得到多个联合外参的平均值。
通过上述步骤S510至步骤S530，获取多个联合外参的平移量和旋转量。通过分别求解所有平移量和所有旋转量的均值，并根据得到的第一均值和第二均值，得到多个联合外参的平均值，提高了多个联合外参的平均值的求解精度，进一步提高了求解平均联合外参的准确度。
下面通过具体实施例对本申请实施例进行描述和说明。
图7为本申请具体实施例的内外参标定方法的流程图，如图7所示，该内外参标定方法包括如下步骤：
步骤S701，获取多组原始标定参数，每一组原始标定参数包括相机内参、惯性测量单元内参和联合外参；原始标定参数是通过对具有相同焦距和相同分辨率的电子设备采集的原始数据进行标定得到的。
步骤S702，根据多组原始标定参数，分别计算得到平均相机内参和平均惯性测量单元内参。
步骤S703，根据相机与惯性测量单元的相对位姿关系，对多组联合外参进行分类，针对每一类别，计算得到多个联合外参的平均值；根据所有平均值，得到平均联合外参。
步骤S704，将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，结合图3，步骤S310和步骤S320的执行顺序可以互换，即可以先执行步骤S310，然后执行步骤S320；也可以先执行步骤S320，然后执行步骤S310。再例如，结合图7，步骤S702和步骤S703的顺序也可以互换。
本实施例还提供了一种电子设备的内外参标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的内外参标定装置的结构框图，如图8所示，该装置包括：
获取模块810，用于获取多组原始标定参数，每一组原始标定参数包括相机内参、惯性测量单元内参和联合外参；
处理模块820，用于根据多组原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；
迭代模块830，用于将平均相机内参、平均惯性测量单元内参和平均联合外参输入至预先构建好的联合模型中，得到电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
在其中一些实施例中，获取相机的几何模型；获取惯性测量单元的动力学模型；根据几何模型和动力学模型，构建联合模型。
在其中一些实施例中，迭代模块830包括初始化单元831和迭代单元832，其中：
初始化单元831，用于根据平均相机内参、平均惯性测量单元内参和平均联合外参对联合模型进行初始化，得到初始状态向量。
迭代单元832，用于通过预设跟踪定位算法对初始状态向量进行迭代估计，直至收敛，得到相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
在其中一些实施例中，原始标定参数是通过对具有相同焦距和相同分辨率的电子设备采集的原始数据进行标定得到的。
在其中一些实施例中，处理模块820包括外参分类单元821、均值计算单元822和平均外参获取823，其中：
外参分类单元821，用于根据相机与惯性测量单元的相对位姿关系，对多组联合外参进行分类；
均值计算单元822，用于针对每一类别，计算得到多个联合外参的平均值；
平均外参获取823，用于根据所有平均值，得到平均联合外参。
在其中一些实施例中，均值计算单元822包括数据获取子单元8221、第一计算子单元8222、第二计算子单元8223和均值获取子单元8224，其中：
数据获取子单元8221，用于针对每一类别，获取多个联合外参的平移量和旋转量；
第一计算子单元8222，用于对所有平移量求平均值，得到第一均值；
第二计算子单元8223，用于对所有旋转量求平均值，得到第二均值；
均值获取子单元8224，用于根据第一均值和第二均值，得到多个联合外参的平均值。
在其中一些实施例中，第二计算子单元8223还用于将每一旋转量用向量表示，得到多个向量；计算每一向量的特征值；将特征值最大的向量作为目标向量；根据目标向量，得到第二均值。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例电子设备的内外参标定方法可以由电子设备的内外参标定设备来实现。图9为根据本申请实施例的内外参标定设备的硬件结构示意图。
电子设备的内外参标定设备可以包括处理器91以及存储有计算机程序指令的存储器92。
具体地，上述处理器91可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器95可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器95可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器95可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器95可在数据处理装置的内部或外部。在特定实施例中，存储器95是非易失性(Non-Volatile)存储器。在特定实施例中，存储器95包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器95可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器92所执行的可能的计算机程序指令。
处理器91通过读取并执行存储器92中存储的计算机程序指令，以实现上述实施例中的任意一种电子设备的内外参标定方法。
在其中一些实施例中，电子设备的内外参标定设备还可包括通信接口93和总线90。其中，如图9所示，处理器91、存储器92、通信接口93通过总线90连接并完成相互间的通信。
通信接口93用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口93还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线90包括硬件、软件或两者，将电子设备的内外参标定设备的部件彼此耦接在一起。总线90包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线90可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(MicroChannel Architecture，简称为MCA)总线、外围组件互连(Peripheral ComponentInterconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SerialAdvanced Technology Attachment，简称为SATA)总线、视频电子标准协会局部(VideoElectronics Standards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线90可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备的内外参标定设备可以基于获取到的电子设备的内外参标定，执行本申请实施例中的电子设备的内外参标定方法，从而实现结合图1描述的电子设备的内外参标定方法。
另外，结合上述实施例中的电子设备的内外参标定方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种电子设备的内外参标定方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种电子设备的内外参标定方法，所述电子设备包括相机和惯性测量单元，其特征在于，包括：
获取多组原始标定参数，每一组所述原始标定参数包括相机内参、惯性测量单元内参和联合外参；
根据多组所述原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；
将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述相机的几何模型；
获取所述惯性测量单元的动力学模型；
根据所述几何模型和所述动力学模型，构建所述联合模型。
3.根据权利要求1所述的方法，其特征在于，所述将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值包括：
根据所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参对所述联合模型进行初始化，得到初始状态向量；
通过预设跟踪定位算法对所述初始状态向量进行迭代估计，直至收敛，得到所述相机内参标定值、所述惯性测量单元内参标定值和所述联合外参标定值。
4.根据权利要求1所述的方法，其特征在于，所述原始标定参数是通过对多台电子设备采集的原始数据进行标定得到的，多台所述电子设备具有相同的焦距和相同的分辨率。
5.根据权利要求1所述的方法，其特征在于，所述根据多组所述原始标定参数，计算得到平均联合外参包括：
根据所述相机与所述惯性测量单元的相对位姿关系，对多组所述联合外参进行分类；
针对每一类别，计算得到多个所述联合外参的平均值；
根据所有所述平均值，得到所述平均联合外参。
6.根据权利要求5所述的方法，其特征在于，所述联合外参包括相互耦合的平移量和旋转量；所述针对每一类别，计算得到多个所述联合外参的平均值包括：
针对每一类别，获取多个所述联合外参的平移量和旋转量；
对所有所述平移量求平均值，得到第一均值；以及对所有所述旋转量求平均值，得到第二均值；
根据所述第一均值和所述第二均值，得到多个所述联合外参的平均值。
7.根据权利要求6所述的定方法，其特征在于，所述对所有所述旋转量求平均值，得到第二均值包括：
将每一所述旋转量用向量表示，得到多个向量；
计算每一所述向量的特征值；
将特征值最大的向量作为目标向量；
根据所述目标向量，得到所述第二均值。
8.一种电子设备的内外参标定装置，所述电子设备包括相机和惯性测量单元，其特征在于，所述装置包括：
获取模块，用于获取多组原始标定参数，每一组所述原始标定参数包括相机内参、惯性测量单元内参和联合外参；
处理模块，用于根据多组所述原始标定参数，分别计算得到平均相机内参、平均惯性测量单元内参以及平均联合外参；
迭代模块，用于将所述平均相机内参、所述平均惯性测量单元内参和所述平均联合外参输入至预先构建好的联合模型中，得到所述电子设备中相机内参标定值、惯性测量单元内参标定值和联合外参标定值。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的电子设备的内外参标定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的电子设备的内外参标定方法。
CN202010461109.0A 2020-05-27 2020-05-27 电子设备的内外参标定方法、装置和计算机设备 Active CN111739102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010461109.0A CN111739102B (zh) 2020-05-27 2020-05-27 电子设备的内外参标定方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010461109.0A CN111739102B (zh) 2020-05-27 2020-05-27 电子设备的内外参标定方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN111739102A true CN111739102A (zh) 2020-10-02
CN111739102B CN111739102B (zh) 2023-07-21

Family

ID=72647860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010461109.0A Active CN111739102B (zh) 2020-05-27 2020-05-27 电子设备的内外参标定方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN111739102B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227241A1 (zh) * 2021-04-28 2022-11-03 上海有个机器人有限公司 一种平面运动约束方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059154B1 (en) * 2008-10-06 2011-11-15 Verint Systems Ltd. Systems and methods for automatic camera calibration
US20150130951A1 (en) * 2013-10-28 2015-05-14 The Regents Of The University Of Michigan Interactive camera calibration tool
CN108375382A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 基于单目视觉的位置姿态测量系统精度检校方法和装置
US20180373318A1 (en) * 2017-06-23 2018-12-27 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110880189A (zh) * 2018-09-06 2020-03-13 舜宇光学（浙江）研究院有限公司 联合标定方法及其联合标定装置和电子设备
CN111145267A (zh) * 2019-12-25 2020-05-12 重庆自行者科技有限公司 基于imu辅助的360度全景视图多相机标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059154B1 (en) * 2008-10-06 2011-11-15 Verint Systems Ltd. Systems and methods for automatic camera calibration
US20150130951A1 (en) * 2013-10-28 2015-05-14 The Regents Of The University Of Michigan Interactive camera calibration tool
US20180373318A1 (en) * 2017-06-23 2018-12-27 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
CN108375382A (zh) * 2018-02-22 2018-08-07 北京航空航天大学 基于单目视觉的位置姿态测量系统精度检校方法和装置
CN110880189A (zh) * 2018-09-06 2020-03-13 舜宇光学（浙江）研究院有限公司 联合标定方法及其联合标定装置和电子设备
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN111145267A (zh) * 2019-12-25 2020-05-12 重庆自行者科技有限公司 基于imu辅助的360度全景视图多相机标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FARAZ M. MIRZAEI ET AL.: "A Kalman Filter-Based Algorithm for IMU-Camera Calibration: Observability Analysis and Performance Evaluation", 《IEEE TRANSACTIONS ON ROBOTICS》 *
潘林豪 等: "单目相机-IMU外参自动标定与在线估计的视觉-惯导SLAM", 《仪器仪表学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227241A1 (zh) * 2021-04-28 2022-11-03 上海有个机器人有限公司 一种平面运动约束方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN111739102B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN107967693B (zh) 视频关键点处理方法、装置、计算设备及计算机存储介质
EP3528489B1 (en) Method and system for panoramic video stabilization, and portable terminal
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
CN110163087B (zh) 一种人脸姿态识别方法及系统
CN108871311B (zh) 位姿确定方法和装置
CN111784776B (zh) 视觉定位方法及装置、计算机可读介质和电子设备
CN111325798B (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN110379017B (zh) 一种场景构建方法、装置、电子设备及存储介质
CN110660098A (zh) 基于单目视觉的定位方法和装置
CN112444798A (zh) 多传感器设备时空外参标定方法、装置以及计算机设备
CN110825079A (zh) 一种地图构建方法及装置
CN110111364B (zh) 运动检测方法、装置、电子设备及存储介质
EP4290459A1 (en) Augmented reality method and related device thereof
CN111739102A (zh) 电子设备的内外参标定方法、装置和计算机设备
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN112258647B (zh) 地图重建方法及装置、计算机可读介质和电子设备
CN110956131B (zh) 单目标追踪方法、装置及系统
CN112287792A (zh) 采集人脸图像的方法、装置及电子设备
CN111862150A (zh) 图像跟踪的方法、装置、ar设备和计算机设备
CN109543557B (zh) 视频帧的处理方法、装置、设备以及存储介质
CN114225420A (zh) 动作数据获取方法、系统、装置、设备和存储介质
CN113899357B (zh) 视觉slam的增量建图方法、装置、机器人及可读存储介质
CN116448105B (zh) 位姿更新方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant