CN114170296A - 基于多模式综合决策的旋转平均估计方法以及装置 - Google Patents

基于多模式综合决策的旋转平均估计方法以及装置 Download PDF

Info

Publication number
CN114170296A
CN114170296A CN202111329649.4A CN202111329649A CN114170296A CN 114170296 A CN114170296 A CN 114170296A CN 202111329649 A CN202111329649 A CN 202111329649A CN 114170296 A CN114170296 A CN 114170296A
Authority
CN
China
Prior art keywords
camera
absolute rotation
rotation
rotation mode
absolute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111329649.4A
Other languages
English (en)
Other versions
CN114170296B (zh
Inventor
由清圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airlook Aviation Technology Beijing Co ltd
Original Assignee
Airlook Aviation Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airlook Aviation Technology Beijing Co ltd filed Critical Airlook Aviation Technology Beijing Co ltd
Priority to CN202111329649.4A priority Critical patent/CN114170296B/zh
Publication of CN114170296A publication Critical patent/CN114170296A/zh
Application granted granted Critical
Publication of CN114170296B publication Critical patent/CN114170296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种基于多模式综合决策的旋转平均估计方法以及装置。该方法包括获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。本申请解决了每张图像的绝对旋转矩阵无法较好地估计的技术问题。通过本申请可更加准确的估计每个图像的绝对旋转矩阵。

Description

基于多模式综合决策的旋转平均估计方法以及装置
技术领域
本申请涉及无人机相机系统领域，具体而言，涉及一种基于多模式综合决策的旋转平均估计方法及装置。
背景技术
通过无人机相机系统，能够估计出每张图像绝对旋转矩阵，从而确定出旋转参数。
由于缺乏综合决策机制，无法较为准确地估计得到无人机相机系统中每张图像的绝对旋转矩阵。
针对相关技术中每张图像的绝对旋转矩阵无法较好地估计的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于多模式综合决策的旋转平均估计方法以及装置，以解决每张图像的绝对旋转矩阵无法较好地估计的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于多模式综合决策的旋转平均估计方法。
根据本申请的用于无人机相机系统的旋转参数估计方法包括：获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
进一步地，得到所述决策结果，还包括：判断所述相机绝对旋转模式是否满足目标绝对旋转模式的条件；如果判断满足，则将当前的所述相机绝对旋转模式确定为目标绝对旋转模式；如果判断不满足，则继续迭代并重新判断。
进一步地，所述多个相机绝对旋转模式包括：相机第一绝对旋转模式，
所述相机第一绝对旋转模式，用于将每张图像的绝对旋转矩阵初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；在经过初始化之后，将每张图像的所述旋转矩阵均调整到垂直向下的状态。
进一步地，所述多个相机绝对旋转模式包括：相机第二绝对旋转模式，所述无人机相机系统包括五目相机系统，
所述相机第二绝对旋转模式，用于基于所述五目相机系统的情况，分别对所述五目相机系统中得到的不同图像进行旋转矩阵的初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；在经过初始化之后，将所述无人机相机系统中的其他相机系统按照与下视夹角45度的方式，计算每张图像的初始化绝对旋转矩阵。
进一步地，所述根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：基于相机的当前绝对旋转模式，初始化每张图像的绝对旋转矩阵Ri；根据所述当前对决旋转模式和每张图像对之间的相对旋转模式之间的关系Rj＝RijRi，得到估计误差：
Rj-RijRi＝ε
基于所述Rj-RijRi＝ε对全局所有图像进行非线性优化，获取当前初始值情况下误差最小的绝对旋转矩阵Ri,Rj...；其中，相对旋转矩阵Rij基于图像对之间的匹配关系确定的。
进一步地，根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差最小；获取所述无人机相机系统的整体误差最小的所述相机绝对旋转模式；当判断所述无人机相机系统的整体误差最小的所述相机绝对旋转模式大于第一预设阈值且随机迭代次数小于第二预设阈值的情况下，采用引入随机变量的方式继续调整每张图像的所述绝对旋转矩阵。
进一步地，所述获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵，包括：根据所述多个相机绝对旋转模式，获取得到相机旋转模式集合；选择所述相机旋转模式集合中多个绝对旋转模式，得到有效的绝对旋转模式集合。
为了实现上述目的，根据本申请的另一方面，提供了一种基于多模式综合决策的旋转平均估计装置。
根据本申请的用于无人机相机系统的旋转参数确定装置包括：获取模块，用于获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；调整模块，用于根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；决策模块，用于通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
为了实现上述目的，根据本申请的另一个方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
为了实现上述目的，根据本申请的再一个方面，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
在本申请实施例中用于无人机相机系统的旋转参数估计方法以及装置，采用获取相机旋转模式集合的方式，通过根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，达到了通过决策结果，估计出旋转参数的目的，从而实现了基于多模式综合决策的准确估计的技术效果，进而解决了每张图像的绝对旋转矩阵无法较好地估计的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于多模式综合决策的旋转平均估计方法的硬件结构示意图；
图2是根据本申请实施例的基于多模式综合决策的旋转平均估计方法流程示意图；
图3是根据本申请实施例的基于多模式综合决策的旋转平均估计装置结构示意图；
图4是根据本申请实施例的基于多模式综合决策的旋转平均估计方法中设定无人机的相机系统绝对旋转模式的示意图；
图5根据本申请实施例的基于多模式综合决策的旋转平均估计方法的实现原理示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，无人机相机系统中分别表示绕三个轴的旋转值Pitch，Yaw，Roll，并且分别代表绕x，y，z的旋转值。可以理解，通过无人机相机系统，基于图像对之间的匹配关系，可以求出两张照片之间的相对旋转矩阵。
如图2所示，该方法包括如下的步骤S201至步骤S203：
步骤S201，获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；
步骤S202，根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；
步骤S203，通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
从以上的描述中，可以看出，本申请实现了如下技术效果：
采用获取相机旋转模式集合的方式，通过根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，达到了通过决策结果，估计出旋转参数的目的，从而实现了基于多模式综合决策的准确估计的技术效果，进而解决了每张图像的绝对旋转矩阵无法较好地估计的技术问题。
上述步骤S201中首先需要获取得到所述相机旋转模式集合。在所述相机旋转模式集合中是由多个相机绝对旋转模式得到的。
通过所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵。可以理解，可以通过设定相机绝对旋转模式进行每张图像的初始化。
上述步骤S202中接着根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵。
作为一种可选的实施方式，每个有效的所述相机绝对旋转模式需要通过相关方法进行确定，在本申请的实施例中并不进行具体限定。
作为一种可选的实施方式，以使所述无人机相机系统的整体误差达到预设条件可以是使所述无人机相机系统的整体误差达到最小。
作为一种可选的实施方式，所述的预设非线性优化方法可以是迭代方法，即给定一个起始点，不断迭代产生新的，并最终收敛。
上述步骤S203中还需要通过多种模式综合决策判断，通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。即通过非线性优化的方式得到并最终确定当前最优的相机绝对旋转模式。
作为本实施例中的优选，得到所述决策结果，还包括：判断所述相机绝对旋转模式是否满足目标绝对旋转模式的条件；如果判断满足，则将当前的所述相机绝对旋转模式确定为目标绝对旋转模式；如果断不满足，则继续迭代并重新判断。
具体实施时，在得到所述决策结果的过程中，还需要判断所述相机绝对旋转模式是否满足目标绝对旋转模式的条件。比如，需要判断相对旋转模式是否是最优的或者误差最小的。
进一步，如果判断满足，则将当前的所述相机绝对旋转模式确定为目标绝对旋转模式即确定出目标绝对旋转模式是哪一个旋转模式；如果断不满足，则继续迭代并重新判断即继续进行非线性优化。
作为本实施例中的优选，所述多个相机绝对旋转模式包括：相机第一绝对旋转模式，所述相机第一绝对旋转模式，用于将每张图像的绝对旋转矩阵初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；在经过初始化之后，将每张图像的所述旋转矩阵均调整到垂直向下的状态。
具体实施时，相机第一绝对旋转模式即Mode_1，将所有的图像的绝对旋转矩阵初始化为(0，-90，0),三个字段分别表示Yaw\Pitch\R oll，故就需要将所有图像的旋转矩阵都调整到垂直向下状态。
作为本实施例中的优选，如图4所示，所述多个相机绝对旋转模式包括：相机第二绝对旋转模式，所述无人机相机系统包括五目相机系统，所述相机第二绝对旋转模式，用于基于所述五目相机系统的情况，分别对所述五目相机系统中得到的不同图像进行旋转矩阵的初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；在经过初始化之后，将所述无人机相机系统中的其他相机系统按照与下视夹角45度的方式，计算每张图像的初始化绝对旋转矩阵。
具体实施时，相机第二绝对旋转模式即Mode_2，针对五目相机系统的情况，分别对五目得到的不同图像进行旋转矩阵的初始化，如下视相机的绝对旋转矩阵初始化为(0，-90，0)，同时将其他相机按照与下视夹角45度的关系初始化绝对旋转矩阵。
作为本实施例中的优选，所述根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：
基于相机的当前绝对旋转模式，初始化每张图像的绝对旋转矩阵Ri；根据所述当前对决旋转模式和每张图像对之间的相对旋转模式之间的关系Rj＝RijRi，得到估计误差：Rj-RijRi＝ε
基于所述Rj-RijRi＝ε对全局所有图像进行非线性优化，获取当前初始值情况下误差最小的绝对旋转矩阵Ri,Rj...；其中，相对旋转矩阵Rij基于图像对之间的匹配关系确定的。
具体实施时，基于当前绝对旋转模式，初始化每个图像的绝对旋转矩阵Ri；然后，基于公式Rj＝RijRi(1)得到Rj-RijRi＝ε(2)，其中ε为误差，基于式(2)对全局所有图像进行非线性优化，获取当前初始值情况下误差最小的绝对旋转矩阵Ri,Rj...。
作为本实施例中的优选，根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差最小；获取所述无人机相机系统的整体误差最小的所述相机绝对旋转模式；当判断所述无人机相机系统的整体误差最小的所述相机绝对旋转模式大于第一预设阈值且随机迭代次数小于第二预设阈值的情况下，采用引入随机变量的方式继续调整每张图像的所述绝对旋转矩阵。
具体实施时，当判断所述无人机相机系统的整体误差最小的所述相机绝对旋转模式大于第一预设阈值且随机迭代次数小于第二预设阈值的情况下，采用引入随机变量的方式继续调整每张图像的所述绝对旋转矩阵。
需要注意的是，所述第一预设阈值以及所述第二预设阈值是根据实际情况设置的，并不作为本申请实施例中的限定。
作为本实施例中的优选，所述获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵，包括：根据所述多个相机绝对旋转模式，获取得到相机旋转模式集合；选择所述相机旋转模式集合中多个绝对旋转模式，得到有效的绝对旋转模式集合。
具体实施时，通过选择有效的绝对旋转模式集合，可以选择多种绝对旋转模式。根据所述多个相机绝对旋转模式，获取得到相机旋转模式集合；选择所述相机旋转模式集合中多个绝对旋转模式，得到有效的绝对旋转模式集合。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述方法的用于无人机相机系统的旋转参数确定装置，如图3所示，该装置包括：
获取模块301，用于获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；
调整模块302，用于根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；
决策模块303，用于通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
上述获取模块301中首先需要获取得到所述相机旋转模式集合。在所述相机旋转模式集合中是由多个相机绝对旋转模式得到的。
通过所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵。可以理解，可以通过设定相机绝对旋转模式进行每张图像的初始化。
上述调整模块302中接着根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵。
作为一种可选的实施方式，每个有效的所述相机绝对旋转模式需要通过相关方法进行确定，在本申请的实施例中并不进行具体限定。
作为一种可选的实施方式，以使所述无人机相机系统的整体误差达到预设条件可以是使所述无人机相机系统的整体误差达到最小。
作为一种可选的实施方式，所述的预设非线性优化方法可以是迭代方法，即给定一个起始点，不断迭代产生新的，并最终收敛。
上述决策模块303中还需要通过多种模式综合决策判断，通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。即通过非线性优化的方式得到并最终确定当前最优的相机绝对旋转模式。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
为了更好的理解上述的基于多模式综合决策的旋转平均估计方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
本申请实施例中的基于多模式综合决策的旋转平均估计方法，实现了基于多模式综合决策的准确估计的技术效果，进而解决了每张图像的绝对旋转矩阵无法较好地估计的技术问题。
如图5所示，是本申请实施例中的方法的流程示意图，具体包括如下步骤：
步骤S501，获得整体误差最小的模式设置为最佳模式。
步骤S502，将当前模式设置为最佳模式。
步骤S503，最佳模式误差小于等于(大于)阈值。
步骤S504，选择最佳模式绝对旋转矩阵运算结束。
步骤S505，随机迭代次数小于阈值。
步骤S506，如果否，选择最佳模式绝对旋转矩阵运算结束。
步骤S507，如果是，基于最佳模式引入随机数。
根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差最小；获取所述无人机相机系统的整体误差最小的所述相机绝对旋转模式；当判断所述无人机相机系统的整体误差最小的所述相机绝对旋转模式大于第一预设阈值且随机迭代次数小于第二预设阈值的情况下，采用引入随机变量的方式继续调整每张图像的所述绝对旋转矩阵
步骤S508，通过预设非线性优化方法计算过程。
基于当前绝对旋转模式，初始化每个图像的绝对旋转矩阵Ri
基于公式Rj＝RijRi(1)得到Rj-RijRi＝ε(2)，其中ε为误差，基于式(2)对全局所有图像进行非线性优化，获取当前初始值情况下误差最小的绝对旋转矩阵Ri,Rj...。
基于图像对之间的匹配关系，可以求出两张照片之间的相对旋转矩阵Rij，基于各个图像对之间的相对旋转矩阵。
步骤S509，整体误差小于最佳模式，如果是则进入步骤S502。如果否，则进入步骤S505。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多模式综合决策的旋转平均估计方法，其特征在于，包括：
获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；
根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使无人机相机系统的整体误差达到预设条件；
通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
2.根据权利要求1所述的方法，其特征在于，得到所述决策结果，还包括：
判断所述相机绝对旋转模式是否满足目标绝对旋转模式的条件；
如果判断满足，则将当前的所述相机绝对旋转模式确定为目标绝对旋转模式；
如果判断不满足，则继续迭代并重新判断。
3.根据权利要求2所述的方法，其特征在于，所述多个相机绝对旋转模式包括：相机第一绝对旋转模式，
所述相机第一绝对旋转模式，用于将每张图像的绝对旋转矩阵初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；
在经过初始化之后，将每张图像的所述旋转矩阵均调整到垂直向下的状态。
4.根据权利要求2所述的方法，其特征在于，所述多个相机绝对旋转模式包括：相机第二绝对旋转模式，所述无人机相机系统包括五目相机系统，
所述相机第二绝对旋转模式，用于基于所述五目相机系统的情况，分别对所述五目相机系统中得到的不同图像进行旋转矩阵的初始化后，得到(0，-90，0)，其中，三个字段分别依次包括：Yaw偏航角，Pitch俯仰角，Roll翻滚角；
在经过初始化之后，将所述无人机相机系统中的其他相机系统按照与下视夹角45度的方式，计算每张图像的初始化绝对旋转矩阵。
5.根据权利要求1所述的方法，其特征在于，所述根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：
基于相机的当前绝对旋转模式，初始化每张图像的绝对旋转矩阵Ri；
根据所述当前对决旋转模式和每张图像对之间的相对旋转模式之间的关系Rj＝RijRi，得到估计误差：
Rj-RijRi＝ε
基于所述Rj-RijRi＝ε对全局所有图像进行非线性优化，获取当前初始值情况下误差最小的绝对旋转矩阵Ri,Rj...；
其中，相对旋转矩阵Rij基于图像对之间的匹配关系确定的。
6.根据权利要求5所述的方法，其特征在于，根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件，包括：
根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差最小；
获取所述无人机相机系统的整体误差最小的所述相机绝对旋转模式；
当判断所述无人机相机系统的整体误差最小的所述相机绝对旋转模式大于第一预设阈值且随机迭代次数小于第二预设阈值的情况下，采用引入随机变量的方式继续调整每张图像的所述绝对旋转矩阵。
7.根据权利要求1所述的方法，其特征在于，所述获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵，包括：
根据所述多个相机绝对旋转模式，获取得到相机旋转模式集合；
选择所述相机旋转模式集合中多个绝对旋转模式，得到有效的绝对旋转模式集合。
8.一种基于多模式综合决策的旋转平均估计装置，其特征在于，包括：
获取模块，用于获取相机旋转模式集合，其中所述旋转模式集合是由多个相机绝对旋转模式得到的，所述相机对决旋转模式用于初始化每张图像的绝对旋转矩阵；
调整模块，用于根据所述相机旋转模式集合中的每个有效的所述相机绝对旋转模式，按照预设非线性优化方法调整每张图像的所述绝对旋转矩阵，以使所述无人机相机系统的整体误差达到预设条件；
决策模块，用于通过决策结果，估计出旋转参数，其中所述旋转参数至少包括所述相机旋转模式集合中的其中一个相机绝对旋转模式。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项所述的方法。
CN202111329649.4A 2021-11-10 2021-11-10 基于多模式综合决策的旋转平均估计方法以及装置 Active CN114170296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111329649.4A CN114170296B (zh) 2021-11-10 2021-11-10 基于多模式综合决策的旋转平均估计方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111329649.4A CN114170296B (zh) 2021-11-10 2021-11-10 基于多模式综合决策的旋转平均估计方法以及装置

Publications (2)

Publication Number Publication Date
CN114170296A true CN114170296A (zh) 2022-03-11
CN114170296B CN114170296B (zh) 2022-10-18

Family

ID=80478670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111329649.4A Active CN114170296B (zh) 2021-11-10 2021-11-10 基于多模式综合决策的旋转平均估计方法以及装置

Country Status (1)

Country Link
CN (1) CN114170296B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104019799A (zh) * 2014-05-23 2014-09-03 北京信息科技大学 一种利用局部参数优化计算基础矩阵的相对定向方法
US20170254906A1 (en) * 2016-03-01 2017-09-07 International Business Machines Corporaton Acceleration of real time computer vision processing on uavs through gps attitude estimation
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN109741403A (zh) * 2018-12-29 2019-05-10 重庆邮电大学 一种基于全局线性的相机平移标定方法
CN110246194A (zh) * 2019-06-25 2019-09-17 中国人民解放军国防科技大学 一种像机与惯性测量单元旋转关系快速标定方法
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112258409A (zh) * 2020-10-22 2021-01-22 中国人民武装警察部队工程大学 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104019799A (zh) * 2014-05-23 2014-09-03 北京信息科技大学 一种利用局部参数优化计算基础矩阵的相对定向方法
US20170254906A1 (en) * 2016-03-01 2017-09-07 International Business Machines Corporaton Acceleration of real time computer vision processing on uavs through gps attitude estimation
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107507277A (zh) * 2017-07-31 2017-12-22 北京康邦科技有限公司 三维点云重构方法和装置、服务器及可读存储介质
CN108280858A (zh) * 2018-01-29 2018-07-13 重庆邮电大学 多视图重建中的一种线性全局相机运动参数估计方法
CN108873917A (zh) * 2018-07-05 2018-11-23 太原理工大学 一种面向移动平台的无人机自主着陆控制系统及方法
CN109741403A (zh) * 2018-12-29 2019-05-10 重庆邮电大学 一种基于全局线性的相机平移标定方法
CN110246194A (zh) * 2019-06-25 2019-09-17 中国人民解放军国防科技大学 一种像机与惯性测量单元旋转关系快速标定方法
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112258409A (zh) * 2020-10-22 2021-01-22 中国人民武装警察部队工程大学 一种用于无人驾驶的单目相机绝对尺度恢复方法及装置

Also Published As

Publication number Publication date
CN114170296B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US10740881B2 (en) Deep patch feature prediction for image inpainting
US20220026905A1 (en) Object modeling with adversarial learning
Çiğla et al. Efficient edge-preserving stereo matching
CN110243390B (zh) 位姿的确定方法、装置及里程计
US9401026B2 (en) Method and apparatus for image segmentation algorithm
CN107843251A (zh) 移动机器人的位姿估计方法
CN108038886A (zh) 双目摄像系统标定方法、装置及其汽车
CN112243518A (zh) 获取深度图的方法、装置及计算机存储介质
CN110147816A (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN116402876A (zh) 双目深度估计方法、装置、嵌入式设备和可读存储介质
CN110310243B (zh) 一种无人机摄影测量的图像校正方法、系统和存储介质
CN114170296B (zh) 基于多模式综合决策的旋转平均估计方法以及装置
CN109691185B (zh) 一种定位方法、装置、终端和可读存储介质
CN111665490B (zh) 目标跟踪方法和装置、存储介质及电子装置
CN116402126A (zh) 一种防御数据投毒攻击的联邦学习方法
US10628965B2 (en) Systems and methods for illuminant-invariant model estimation
EP4030383A1 (en) Probabilistic sampling acceleration and corner feature extraction for vehicle systems
An et al. Information-based bit allocation for cooperative visual sensing in vehicular networks
CN106558077A (zh) 位置误差的矫正方法及装置
CN111739102B (zh) 电子设备的内外参标定方法、装置和计算机设备
US20180158194A1 (en) Determining Optical Flow
O'Connor et al. Distributed TV-L1 image fusion using PDMM
CN110060343B (zh) 地图构建方法及系统、服务器、计算机可读介质
CN113971687A (zh) 对象跟踪方法、装置电子设备及存储介质
CN107967691A (zh) 一种视觉里程计算方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant