CN116432360B - 柔性交互式相机网络最优布局调整方法及空间再定位方法 - Google Patents

柔性交互式相机网络最优布局调整方法及空间再定位方法 Download PDF

Info

Publication number
CN116432360B
CN116432360B CN202310701317.7A CN202310701317A CN116432360B CN 116432360 B CN116432360 B CN 116432360B CN 202310701317 A CN202310701317 A CN 202310701317A CN 116432360 B CN116432360 B CN 116432360B
Authority
CN
China
Prior art keywords
camera
network
imaging
target
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310701317.7A
Other languages
English (en)
Other versions
CN116432360A (zh
Inventor
张贵阳
杨兰玉
满增光
吴健
吉思雨
钱龙根
吴春彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Institute of Technology
Original Assignee
Changshu Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changshu Institute of Technology filed Critical Changshu Institute of Technology
Priority to CN202310701317.7A priority Critical patent/CN116432360B/zh
Publication of CN116432360A publication Critical patent/CN116432360A/zh
Application granted granted Critical
Publication of CN116432360B publication Critical patent/CN116432360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种柔性交互式相机网络最优布局调整方法及空间再定位方法，包括：根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；根据综合分布误差理论得到多相机系统视觉测量的整体误差；多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数；通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。利用多相机网络获取的冗余信息提高对目标重定位的精度和鲁棒性，有效增强了柔性交互式相机网络的目标空间定位能力。

Description

柔性交互式相机网络最优布局调整方法及空间再定位方法
技术领域
本发明属于相机网络布局技术领域，本发明涉及一种柔性交互式相机网络最优布局调整方法及空间再定位方法。
背景技术
当前，视觉测量技术被广泛应用于现代航空航天、机器人导航及空间场景重构等领域，视觉测量技术因其具有精度高、测量范围大和重复性测量结果稳定等优点得到了广泛的关注与应用。然而随着应用需求的提升，在一些场景中对目标定位的范围、精度等要求越发苛刻，此时需要通过增加相机的数量构成相机网络来扩大测量视场，同时利用多相机获取的冗余信息阻止含有噪声数据集的偏执，以此抑制干扰、保证定位结果的鲁棒性。由此带来了两个问题，一是如何对多个相机的布局进行优化设置，二是如何对多个相机得到的数据进行计算得到精确的目标定位结果。
为了解决上述问题，提升机器视觉空间定位能力，通常传统方法对多相机间的相对位姿矩阵进行局部优化，同时在透视投影误差函数的建立以及单机内参优化等方面进行了诸多尝试，这种方法虽然在定位精度上取得了一定的提升，然而却忽略了相机网络架构的不同导致位姿测量结果的差异。相机网络架构中基线、视场、深度方向距离、光轴夹角等参数都会影响目标的定位精度，这也是针对不同场景下的对象进行视觉定位时需要更新相机网络布局的原因。因此如何搭建相机网络架构，实现选定量测特征点的空间三维坐标解算是解决实际问题中面临的一个挑战。目前视觉设备中相机网络的空间分布和定向都是通过人工完成的，即进行简单排布或根据先验信息进行相机布局的似然调整。这样的调整方式不仅难以保证模型的质量，同时需要耗费大量的时间和精力进行试错、改进。尤其对于面向不同应用场景下的非标设备，相机网络模块搭建通常效率很低。这就要求必须研究相机网络空间排布全局优化方法，建立柔性交互式相机网络布局调整策略，克服依据多相机布局经验进行人工调整的局限性，实现不同场景下基于最优相机网络架构的目标再定位功能。
发明内容
本发明的目的在于提供一种柔性交互式相机网络最优布局调整方法及空间再定位方法，得出相机网络对目标成像的优化函数，通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，利用多相机网络获取的冗余信息提高对目标重定位的精度和鲁棒性，有效增强了柔性交互式相机网络的目标空间定位能力。
实现本发明目的的技术解决方案为：
一种柔性交互式相机网络最优布局调整方法，包括以下步骤：
S01：根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
S02：根据综合分布误差理论得到多相机系统视觉测量的整体误差；
S03：多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数；
S04：通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
优选的技术方案中，所述S01中多相机成像网络成像精度的影响因子模型为：
其中，为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，即为相机方位角，/>为相机基线长度，/>为相机的数量，/>为点的世界坐标，/>、/>为空间点经某个相机成像后的像素坐标。
优选的技术方案中，所述S02中多相机系统视觉测量的整体误差分别表示为，，/>轴的测量误差，用/>表示，则有：
式中，、/>、/>分别为/>、/>、/>轴的误差，/>表示各参量的误差因子，/>，/>表示相机方位角向量，式中下标 />、/>表示相机索引， 各坐标点的误差表示为：
其中，表示相机/>和/>间的基线长度，下标/>、/>、/> 、/>表示相机索引，由上式得出光轴基线夹角、投影角、基线长度和相机焦距影响因子对测量误差的影响，分别为如下式：
。
优选的技术方案中，所述S03中构建相机网络对目标成像的优化函数包括：
空间中一点在相机中的成像使用像素坐标和经过该点的光线向量表示：
其中，、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参，/>为点的投影坐标，/>为相机索引；
多相机网络的目标空间误差表示：
其由点的欧式距离误差和光线误差两部分组成，为单位矩阵；
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建目标优化函数为：
其中，、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>为空间坐标，/>即为一个特征点在相机/>中成像的像素坐标，/>为相机的空间方位参数，/>。
优选的技术方案中，所述S03中目标特征点集的获取方法包括：
使用下式对图像进行高斯卷积：
其中，为目标成的像，/>为高斯函数，/>为高斯函数标准差，为点的空间三维坐标，/>为目标上一点/>在成像中对应的像素值；
然后使用下式计算高斯差分响应值图像：
其中，为相邻尺度空间倍数的常数；
通过对响应值图像进行非最大值抑制，得到尺度空间不变特征点，这些点构成的集合，作为候选的特征点进行进一步分析筛选；
通过下式计算点的梯度结构张量来追踪关键点大致方向：
其中，为以点/>为中心的高斯滤波窗口，/>为空间目标所成的像在/>处的梯度， />表示矩阵转置；
特征点的梯度结构张量为实对称矩阵，使用下式对其进行正交特征分解，并使用特征向量来标识特征点的局部方向：
其中，为分解得到的正交矩阵，由特征向量组成；/>为对角矩阵，其对角线上的值为特征值；/>为索引值，/>为/>对应的特征值，/>为特征向量的数量，/>为分解矩阵/>的特征向量。
优选的技术方案中，使用以下准则对特征点进行筛选：
（1）绝对值准则：使用式，排除候选特征点集合中高斯差分数值小于一定比例的最大高斯差分值的点，其中=/>为比例因子：
（2）特征值稳定性准则：将所有特征值按升序排序，去除满足下式的特征点：
其中，为梯度结构张量/>的特征值，/>为稳定性度量参数；
（3）角度准则：如果图像梯度与特征向量的夹角大于一定阈值，则去除该特征点，即/>，其中，/>为图像在特征点处的梯度，/>为特征向量的索引；
得到最终的符合尺度不变性的特征点集合。
本发明还公开了一种柔性交互式相机网络的空间再定位方法，通过上述的柔性交互式相机网络最优布局调整方法得到相机网络最优布局；根据相机网络的联合标定参数，获得目标的再定位信息。
本发明又公开了一种柔性交互式相机网络最优布局调整系统，包括：
多相机网络布局模型构建模块，根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
多相机网络布局误差分析模块，根据综合分布误差理论得到多相机系统视觉测量的整体误差；
相机网络目标优化函数构建模块，多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数；
优化调整模块，通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
优选的技术方案中，所述相机网络目标优化函数中构建模块构建相机网络对目标成像的优化函数包括：
空间中一点在相机中的成像使用像素坐标和经过该点的光线向量表示：
其中，、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参，/>为点的投影坐标，/>为相机索引；
多相机网络的目标空间误差表示：
其由点的欧式距离误差和光线误差两部分组成，为单位矩阵；
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建目标优化函数为：
其中，、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>为空间坐标，/>即为一个特征点在相机/>中成像的像素坐标，/>为相机的空间方位参数，/>。
本发明又公开了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的柔性交互式相机网络最优布局调整方法。
本发明与现有技术相比，其显著优点为：
1、得出相机网络对目标成像的优化函数，通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，利用多相机网络获取的冗余信息提高对目标重定位的精度和鲁棒性，有效增强了柔性交互式相机网络的目标空间定位能力。
2、通过研究相机网络空间排布全局优化方法，建立柔性交互式相机网络的布局优化策略，克服依据多相机布局经验进行人工调整的局限性，实现不同场景下基于最优相机网络架构的目标再定位功能。
附图说明
图1为相机投影示意图；
图2为相机联合标定示意图；
图3为相机空间成像示意图；
图4为多相机联合交互的目标最优区域成像网络架构示意图；
图5为摄像机布局精度分析模型；
图6为多相机网络空间立体成像模型；
图7为MATLAB生成不规则立体图；
图8为传统方法相机网络排布；
图9为传统方法相机网络排布平面图；
图10为本发明方法相机网络排布；
图11为本发明方法相机网络排布平面图。
具体实施方式
本发明的原理是：根据光学成像原理，得到柔性交互式相机网络的成像质量与相机基线、安装方位、相机焦距等因素的关系，从而进一步得出相机网络对目标成像的优化函数，并通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，达到最优化布局的目的，从而提高对目标再定位的精度。
实施例1：
一种柔性交互式相机网络最优布局调整方法，包括以下步骤：
S01：根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
S02：根据综合分布误差理论得到多相机系统视觉测量的整体误差；
S03：多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数；
S04：通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
一实施例中，步骤S01中多相机成像网络成像精度的影响因子模型为：
其中，为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，即为相机方位角，/>为相机基线长度，/>为相机的数量，/>为点的世界坐标，/>、/>为空间点经某个相机成像后的像素坐标。
一实施例中，步骤S02中多相机系统视觉测量的整体误差分别表示为，/>，/>轴的测量误差，用/>表示，则有：
式中，、/>、/>分别为/>、/>、/>轴的误差，/>表示各参量的误差因子，，/>表示相机方位角向量，各坐标点的误差表示为：
其中，表示相机/>和/>间的基线长度，/> 、/>表示相机索引，由上式得出光轴基线夹角、投影角、基线长度和相机焦距影响因子对测量误差的影响，分别为如下式：
。
一实施例中，步骤S03中构建相机网络对目标成像的优化函数包括：
空间中一点在相机中的成像使用像素坐标和经过该点的光线向量表示：
其中，、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参，/>为点的投影坐标，/>为相机索引；
多相机网络的目标空间误差表示：
其由点的欧式距离误差和光线误差两部分组成，为单位矩阵；
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建目标优化函数为：
其中，、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>为空间坐标，/>即为一个特征点在相机/>中成像的像素坐标，/>为相机的空间方位参数，/>。
一实施例中，步骤S03中目标特征点集的获取方法包括：
使用下式对图像进行高斯卷积：
其中，为目标成的像，/>为高斯函数，/>为高斯函数标准差，为点的空间三维坐标，/>为目标上一点/>在成像中对应的像素值；
然后使用下式计算高斯差分响应值图像：
其中，为相邻尺度空间倍数的常数；
通过对响应值图像进行非最大值抑制，得到尺度空间不变特征点，这些点构成的集合，作为候选的特征点进行进一步分析筛选；
通过下式计算点的梯度结构张量来追踪关键点大致方向：
其中，为以点/>为中心的高斯滤波窗口，/>为空间目标所成的像在/>处的梯度；
特征点的梯度结构张量为实对称矩阵，因此可以使用式对其进行正交特征分解，并使用特征向量来标识特征点的局部方向：
其中，为分解得到的正交矩阵，由特征向量组成；/>为对角矩阵，其对角线上的值为特征值；/>为索引值，/>为/>对应的特征值，/>为特征向量的数量，/>为分解矩阵=/>特征向量。/>
一实施例中，使用以下准则对特征点进行筛选：
（1）绝对值准则：使用式，排除候选特征点集合中高斯差分数值小于一定比例的最大高斯差分值的点，其中/>为比例因子：
（2）特征值稳定性准则：将所有特征值按升序排序，去除满足下式的特征点：
其中，为梯度结构张量/>的特征值，/>为稳定性度量参数；
（3）角度准则：如果图像梯度与特征向量的夹角大于一定阈值，则去除该特征点，即/>，其中，/>为图像在特征点处的梯度，/>为特征向量的索引；
得到最终的符合尺度不变性的特征点集合。
另一实施例中，一种柔性交互式相机网络的空间再定位方法，通过上述的柔性交互式相机网络最优布局调整方法得到相机网络最优布局；根据相机网络的联合标定参数，获得目标的再定位信息。
另一实施例中，一种计算机存储介质，其上存储有计算机程序，计算机程序被执行时实现上述的柔性交互式相机网络最优布局调整方法。
另一实施例中，一种柔性交互式相机网络最优布局调整系统，包括：
多相机网络布局模型构建模块10，根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
多相机网络布局误差分析模块20，根据综合分布误差理论得到多相机系统视觉测量的整体误差；
相机网络目标优化函数构建模块30，多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数；
优化调整模块40，通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
具体的，下面以一较佳的实施例为例对柔性交互式相机网络最优布局调整系统的工作流程说明如下：
步骤一：相机联合标定。
步骤11：单个相机的标定。相机标定是根据空间点的世界坐标和像素坐标，计算得到相机参数的过程。相机标定通常涉及四个坐标系：世界坐标、相机坐标、图像坐标和像素坐标，大部分相机成像模型为小孔成像模型，如图1所示。相机参数包括内参、外参、畸变参数等，由世界坐标到相机坐标的变换为刚体变换，其映射关系即为相机的外参，包括旋转矩阵和平移矩阵。由相机坐标系到像素坐标系的映射参数为相机内参，相机投影的数学模型可由式（17)的齐次坐标等式表示，其中为目标点像素坐标，/>为尺度因子，/>、、/>、/>、/>（通常较小可忽略）为5个相机内部参数，/>、/>分别为相机旋转矩阵和平移矩阵，/>为点的世界坐标。
我们使用张正友标定法对相机进行标定，标定时将世界坐标系定义为标定板所在平面，因此标定板上给所有点的坐标均为0，此时式可转换为如下形式：
其中、/>为旋转矩阵的前两个列分量，/>表示相机内参矩阵。将相机参数用/>表示，则/>为相机内、外参数的积，将式（17)表示为如下形式：
此时由式(19)可得：
上式中，可以通过图像识别算法从图像中提取，因为标定板所在平面为世界坐标系，因此/>可以根据标定板中目标点的距离等信息方便得求得，只要得到4个以上的点对应的/>和/>坐标值，根据式(20)即可得到/>中各个元素值，最终求得/>。
在旋转矩阵中，/>、/>存在单位正交关系，即：
同时、/>和/>存在如下关系：
其中、/>为/>的前两个列分量。通过式(18)(19)(21)和(22)，即可得到最终的相机内、外参数。
步骤12：联合标定。多相机网络成像需要将各个相机的坐标统一到一个坐标系中。使用同一标定板，将相机进行固定，通过平移、旋转等改变标定板姿态，如图2所示，各个相机对标定板进行成像以确定网络整体的联合参数，其计算如式（23）所示，其中、/>为相机的编号，/>、/>、/>、/>分别表示对应相机的旋转和平移矩阵，/>、/>为多相机网络的联合标定参数，/>为相机数量。
步骤二：目标三维特征点提取。获取局部不变性特征是机器视觉和图像处理过程中的重要环节，本发明通过改进尺度不变特征转换SIFT (Scale-invariant featuretransform)算法，进行目标三维空间的特征点提取，以下简称SIFT-3D算法。
在SIFT-3D算法中，首先使用式（24）对图像进行高斯卷积，其中为目标成的像，/>为高斯函数，/>为高斯函数标准差，/>为点的空间三维坐标，为目标上一点/>在成像中对应的像素值。然后使用式（25）计算高斯差分响应值图像/>，其中/>为相邻尺度空间倍数的常数。通过对响应值图像/>进行非最大值抑制，可以得到尺度空间不变特征点，这些点构成的集合，作为候选的特征点进行进一步分析筛选。
为筛选具有旋转不变特性的特征点，通过式（26）计算点的梯度结构张量来追踪关键点大致方向，其中/>为以点/>为中心的高斯滤波窗口，/>为空间目标所成的像在/>处的梯度。
特征点的梯度结构张量为实对称矩阵，因此可以使用式（27）对其进行正交特征分解，并使用特征向量来标识特征点的局部方向，其中/>为分解得到的正交矩阵，由特征向量组成；/>为对角矩阵，其对角线上的值为特征值；/>为索引值， />为/>对应的特征值，/>为特征向量的数量，/>为分解矩阵/>的特征向量且，其中/>、/>为图像点的索引，/>为点的数量。
为从候选特征点集合中进一步获取更准确的结果，使用以下准则对特征点进行筛选：
（1）绝对值准则。使用式（28），排除候选特征点集合中高斯差分数值小于一定比例的最大高斯差分值的点，其中为比例因子。
（2）特征值稳定性准则。将所有特征值按升序排序，去除满足式（29）的特征点，其中为梯度结构张量/>的特征值，/>为稳定性度量参数。
（3）角度准则。如式（30）所示，如果图像梯度与特征向量的夹角大于一定阈值，则去除该特征点，其中/>为图像在特征点处的梯度，/>为特征向量的索引。
经过以上步骤，即可得到最终的符合尺度不变性的特征点集合。
步骤三：多相机网络布局误差分析。
多相机网络布局误差分析。空间中一点所发出的光线是向四周进行辐射的，当相机在对某个区域成像时，其所接收到的光线是构成这片区域中所有点的光线汇聚而成的一个光锥体，如图3所示。相机所接收到的光强可以用式（31）进行表示，其中为相机接收到的某一个点的光强，/>为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，/>、/>、/>表示某点坐标，/>表示相机成像区域，/>即为相机接收到的整个区域的光强函数。
为了从单相机成像推导出多相机成像的最优网络交互模型，首先搭建如图4所示的多相机网络架构模型。多相机网络架构目标空间定位精度与相机光轴夹角、相机倾斜度、成像区域、目标深度距离和相机间基线长度等因素都有密切的关系。多相机网络布局的数学模型如图5所示，摄像机图像坐标系由表示，/>、/>表示相机索引，/>表示相机的光轴，/>表示相机/>和/>间的基线长度，物点/>的空间坐标由/>表示，其在相机/>中的成像用/>表示，/>是/>在水平面上的投影点，/>、/>和/>表示相机光轴与空间坐标轴的夹角，相机焦距用/>表示。据此我们构建多相机成像网络成像精度的影响因子模型，如式（32）所示，其中/>为相机焦距，/>为相机基线长度，/>为相机的数量，/>、/>为空间点经某个相机成像后的像素坐标。
图5所示的点几何关系可用摄像机布局结构参数和投影角度表示出来。设由相机/>经过重构计算得到的对应的/>点空间坐标用/>表示，/>点由不同相机/>重构计算得到的三维坐标可表示为：
其中，，/>，/>，。式（33）可表示为（34），其中/>表示相机方位角向量，。
根据综合分布误差理论，多相机系统视觉测量的整体误差可由为、/>、/>轴的测量误差进行表示，设/>、/>、/>轴的误差分别为/>、/>、/>，整体误差用/>表示，则有：
/>
式中，表示各参量的误差因子，因此，各坐标点的误差可表示为：
由式（35）-（38），可以得出光轴空间角、基线长度和相机焦距等影响因子对测量误差的影响，分别如式（39）-（43）所示。
/>
步骤四：多相机目标网络优化布局及空间再定位求解。
在多相机网络中，对目标的一个特征点，同时会有多个相机进行成像，根据多个相机的成像结果可以计算得到一个特征点的三维信息，如图6所示。因此为了获取目标的精确三维信息，本发明通过最小化特征点总体误差对网络结构进行优化调整。
空间中一点在相机中的成像可以使用像素坐标和经过该点的光线向量表示，如式（44）所示，其中、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参， />为点的投影坐标，/>为相机索引。
多相机网络的目标空间误差由式（45）表示，其由点的欧式距离误差和光线误差两部分组成，为单位矩阵。
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建式（46）所示的目标函数，其中、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>即为一个特征点在相机/>中成像的像素坐标，相机的空间方位参数，/>，其中/>为相机焦距， />、/>、/>为相机方位角。
根据步骤三中多相机网络成像与各个参数的关系，使用迭代优化算法求解式（46），最终得到各个相机的位置和方向，并根据相机网络的联合标定参数，获得目标的再定位信息。
为验证本发明对目标的再定位性能，首先通过MATLAB在40m×40m×10m的空间中生成如图7中所示的不规则立体图形，并设置5个相机模拟交互式相机网络的排布。首先通过传统的经验法对相机进行排列，多相机网络在空间中近似均匀分布，如图8和图9所示；然后使用本发明方法进行相机网络的优化排布，如图10和图11所示。使用两种方法得到的相机网络对立体图形进行三维重构，立体图像的顶点为目标特征点，得到立体图形顶点的空间坐标及平均误差如表1所示。
表1的数据表明，采用本发明方法所得到的相机网络优化布局测量的平均误差优于0.04m，相对于传统相机网络调整方法的精度有着较大的提升，因为本发明提出的相机网络布局优化方法能够尽可能有效地规避大视场测量模型累积误差以及目标面倾角、畸变所产生的影响。
其次通过构建飞行器在大视场中的运动再定位场景对本发明方法进行实际验证。首先搭建大视场实验测量场景，场景空间尺度为10m×8m×3m，飞行器模拟装置安装在旋转平台上，转台具有俯仰、偏航与滚转三个方向上的自由度，转台位于试验场地面中心位置处；全站仪能够辅助获取飞行器模拟装置的特征点坐标作为参考测量信息；测量系统中有四台4M140 MCX高速数字相机，其可以在金属架上进行移动，并具有俯仰、偏航与滚转三个方向上的自由度，每个相机在满分辨率下拍摄最高速度140fps；最大分辨率2048×2048pixels；像元尺寸；焦距/>。
实验时，通过转台的运动带动飞行器模拟装置进行运动，运动轨迹设置为幅值为0°到30°的正弦曲线，测量时通过所有特征点坐标的平均值来代表飞行器模拟装置的空间三维位置。分别采用传统方法和本发明方法得到的交互式相机网络每隔5°对飞行器模拟装置进行位姿测量和三维重构，并于全站仪测得的数据进行比较，取多次测量的平均值，得到表2所示的测量结果。从表2中可以看出使用本发明方法得到的测量结果平均误差为0.011m，最大误差不超过0.013m，大幅优于传统方法的测量结果，证明了本发明方法的有效性和可靠性。
上述实施例为本发明优选地实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种柔性交互式相机网络最优布局调整方法，其特征在于，包括以下步骤：
S01：根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
S02：根据综合分布误差理论得到多相机系统视觉测量的整体误差；
S03：多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数，构建的优化函数为：
，
其中，、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>为空间坐标，/>即为一个特征点在相机/>中成像的像素坐标，/>为相机的空间方位参数，，/>、/>分别表示相机的旋转矩阵、平移矩阵，/>为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，即为相机方位角；
S04：通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
2.根据权利要求1所述的柔性交互式相机网络最优布局调整方法，其特征在于，所述S01中多相机成像网络成像精度的影响因子模型为：
，
其中，为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，即为相机方位角，/>为相机基线长度，/>为相机的数量，/>为点的世界坐标，/>、/>为空间点经某个相机成像后的像素坐标。
3.根据权利要求1所述的柔性交互式相机网络最优布局调整方法，其特征在于，所述S02中多相机系统视觉测量的整体误差分别表示为，/>，/>轴的测量误差，用/>表示，则有：/>，
式中，、/>、/>分别为/>、/>、/>轴的误差，/>表示各参量的误差因子，，/>表示相机方位角向量，式中下标/>、/>表示相机索引，各坐标点的误差表示为：
，
，
，
其中，表示相机/>和/>间的基线长度，下标/>、/>、/>、/>表示相机索引，由上式得出光轴基线夹角、投影角、基线长度和相机焦距影响因子对测量误差的影响，分别为如下式：，
，
，
，
。
4.根据权利要求1所述的柔性交互式相机网络最优布局调整方法，其特征在于，所述S03中构建相机网络对目标成像的优化函数包括：
空间中一点在相机中的成像使用像素坐标和经过该点的光线向量表示：，
其中，、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参，/>为点的投影坐标，为相机索引；
多相机网络的目标空间误差表示：，
其由点的欧式距离误差和光线误差两部分组成，为单位矩阵；
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建目标优化函数。
5.根据权利要求1所述的柔性交互式相机网络最优布局调整方法，其特征在于，所述S03中目标特征点集的获取方法包括：
使用下式对图像进行高斯卷积：
，
其中，为目标成的像，/>为高斯函数，/>为高斯函数标准差，
为点的空间三维坐标，/>为目标上一点/>在成像中对应的像素值；
然后使用下式计算高斯差分响应值图像：
，
其中，为相邻尺度空间倍数的常数；
通过对响应值图像进行非最大值抑制，得到尺度空间不变特征点，这些点构成的集合，作为候选的特征点进行进一步分析筛选；
通过下式计算点的梯度结构张量来追踪关键点大致方向：
，
其中，为以点/>为中心的高斯滤波窗口，/>为空间目标所成的像在/>处的梯度，/>表示矩阵转置；
特征点的梯度结构张量为实对称矩阵，使用下式对其进行正交特征分解，并使用特征向量来标识特征点的局部方向：
，
其中，为分解得到的正交矩阵，由特征向量组成；/>为对角矩阵，其对角线上的值为特征值；/>为索引值，/>为/>对应的特征值，/>为特征向量的数量，/>为分解矩阵/>的特征向量。
6.根据权利要求5所述的柔性交互式相机网络最优布局调整方法，其特征在于，使用以下准则对特征点进行筛选：
（1）绝对值准则：使用式，排除候选特征点集合中高斯差分数值小于一定比例的最大高斯差分值的点，其中/>为比例因子：
（2）特征值稳定性准则：将所有特征值按升序排序，去除满足下式的特征点：，
其中，为梯度结构张量/>的特征值，/>为特征值索引，/>为稳定性度量参数；
（3）角度准则：如果图像梯度与特征向量的夹角大于一定阈值，则去除该特征点，即，其中，/>为图像在特征点处的梯度，/>为特征向量的索引；
得到最终的符合尺度不变性的特征点集合。
7.一种柔性交互式相机网络的空间再定位方法，其特征在于，通过权利要求1-6任一项所述的柔性交互式相机网络最优布局调整方法得到相机网络最优布局；根据相机网络的联合标定参数，获得目标的再定位信息。
8.一种柔性交互式相机网络最优布局调整系统，其特征在于，包括：
多相机网络布局模型构建模块，根据光学成像原理构建多相机网络布局的数学模型，进一步构建多相机成像网络成像精度的影响因子模型；
多相机网络布局误差分析模块，根据综合分布误差理论得到多相机系统视觉测量的整体误差；
相机网络目标优化函数构建模块，多相机网络在不同的空间位置上获取目标特征点集的成像，计算多相机网络的目标空间误差，构建相机网络对目标成像的优化函数，构建的优化函数为：，
其中，、/>分别为相机和特征点的数量，/>为相机索引，/>为特征点索引，/>为空间坐标，/>即为一个特征点在相机/>中成像的像素坐标，/>为相机的空间方位参数，，/>、/>分别表示相机的旋转矩阵、平移矩阵，/>为相机焦距，/>、/>和/>表示相机光轴与空间坐标轴的夹角，即为相机方位角；
优化调整模块，通过迭代优化算法最小化特征点总体误差对网络结构进行优化调整，最终得到各个相机的位置和方位信息。
9.根据权利要求8所述的柔性交互式相机网络最优布局调整系统，其特征在于，所述相机网络目标优化函数中构建模块构建相机网络对目标成像的优化函数包括：
空间中一点在相机中的成像使用像素坐标和经过该点的光线向量表示：
，
其中，、/>、/>分别表示相机的旋转矩阵、平移矩阵和内参，/>为点的投影坐标，为相机索引；
多相机网络的目标空间误差表示：，
其由点的欧式距离误差和光线误差两部分组成，为单位矩阵；
多相机网络在不同的空间位置上获取目标特征点集的成像，为获得各个相机的最佳观测方位和姿态，构建目标优化函数。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现权利要求1-6任一项所述的柔性交互式相机网络最优布局调整方法。
CN202310701317.7A 2023-06-14 2023-06-14 柔性交互式相机网络最优布局调整方法及空间再定位方法 Active CN116432360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310701317.7A CN116432360B (zh) 2023-06-14 2023-06-14 柔性交互式相机网络最优布局调整方法及空间再定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310701317.7A CN116432360B (zh) 2023-06-14 2023-06-14 柔性交互式相机网络最优布局调整方法及空间再定位方法

Publications (2)

Publication Number Publication Date
CN116432360A CN116432360A (zh) 2023-07-14
CN116432360B true CN116432360B (zh) 2023-09-15

Family

ID=87085916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310701317.7A Active CN116432360B (zh) 2023-06-14 2023-06-14 柔性交互式相机网络最优布局调整方法及空间再定位方法

Country Status (1)

Country Link
CN (1) CN116432360B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN114399554A (zh) * 2021-12-08 2022-04-26 凌云光技术股份有限公司 一种多相机系统的标定方法及系统
CN114581515A (zh) * 2020-12-02 2022-06-03 中国科学院沈阳自动化研究所 一种基于最优路径转换的多相机标定参数优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581515A (zh) * 2020-12-02 2022-06-03 中国科学院沈阳自动化研究所 一种基于最优路径转换的多相机标定参数优化方法
CN113409404A (zh) * 2021-06-29 2021-09-17 常熟理工学院 基于新型相关函数约束的cuda架构并行优化立体变形测量方法
CN114399554A (zh) * 2021-12-08 2022-04-26 凌云光技术股份有限公司 一种多相机系统的标定方法及系统

Also Published As

Publication number Publication date
CN116432360A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN109269430B (zh) 基于深度提取模型的多株立木胸径被动测量方法
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN104537707B (zh) 像方型立体视觉在线移动实时测量系统
US8223208B2 (en) Device and method for calibrating an imaging device for generating three dimensional surface models of moving objects
CN107155341B (zh) 三维扫描系统和框架
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN110334701B (zh) 数字孪生环境下基于深度学习和多目视觉的数据采集方法
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN113920205B (zh) 一种非同轴相机的标定方法
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN115375842A (zh) 一种植株三维重建方法、终端及存储介质
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN104504691B (zh) 基于低秩纹理的摄像机位置和姿态测量方法
Heather et al. Multimodal image registration with applications to image fusion
CN112929626A (zh) 一种基于智能手机影像的三维信息提取方法
CN116625258A (zh) 链条间距测量系统及链条间距测量方法
CN116432360B (zh) 柔性交互式相机网络最优布局调整方法及空间再定位方法
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN116309879A (zh) 一种机器人辅助的多视角三维扫描测量方法
CN111951295A (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
CN116524109A (zh) 一种基于WebGL的三维桥梁可视化方法及相关设备
CN110969650B (zh) 一种基于中心投影的强度图像与纹理序列间的配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant